JP2011077913A - 情報伝達処理装置及び情報伝達処理システム並びにこれらに用いるコンピューター・プログラム - Google Patents

Abstract

【課題】非接触かつインタラクティブに通行人に対して広報情報を配信するとともに、当該情報の到達の度合いをリアルタイムに計測して把握することができる次世代の情報伝達処理装置及び情報伝達処理システム並びにこれらに用いるコンピューター・プログラムを提供すること。
【解決手段】少なくとも画像表示装置と、当該画像表示装置の前方を撮影可能な撮像装置と、当該撮像装置によって撮影された映像から前記画像表示装置の前方域を通過する通行人の当該画像表示装置に対して向けられた視線を検出する視線検出部と、前記画像表示装置に表示する画像データを格納して管理する画像管理部を有し、前記視線検出部が通行人の視線を検出したとき、前記画像管理部が当該画像管理部に格納された特定の画像データを読み出して前記画像表示装置に表示するようにした。
【選択図】 図１

Description

本発明は、いわゆるデジタル・サイネージを利用した情報伝達処理装置、情報伝達処理システム、及びこれらに用いるコンピューター・プログラムに関し、より詳しくは、設置された画像表示装置に対し視聴者により投げ掛けられる視線をトリガーとして更に詳細な情報を表示するなど様々なイベントを実行すると共に、当該表示内容の視聴者への到達の度合いについてリアルタイムに集計把握することができるようにした情報伝達処理装置等に関する。

ポスターなどのように画像がすでに固定された紙媒体を用いて行う広報活動（宣伝・広告活動を含む。以下同じ。）、又は固定された複数の静止画像を単に切り替えながら表示するロール・スクリーンによる広報活動、あるいは同一の動画像を繰り返し再生するだけのビデオ広報などに比べると、画像表示装置に表示する画像をコンピューターによって制御することができるデジタル・サイネージを用いて行う広報は、多様な映像コンテンツをあらゆる表示態様によって実現することができることから、特に情報配信の分野において優れた効果を期待できる。

このデジタル・サイネージによれば、テレビ放送を利用した従来型の広報活動のように不特定の者に対して単一のコンテンツを一時に配信するのみならず、特定の時刻・場所において其々に異なる内容の映像コンテンツを中央で集中的に制御しながら掲示することができるので、セグメントされた特定層に対し情報を投入することにより効果的な広報活動を展開することができるようになる。

また、表示内容の変更に関しても、画像表示装置に表示する画像ファイルのデータを変更すれば足りるので、従来型ポスターによる広報のような固定物の取り換えが不要であるなど、さまざまな点において優位性を認めることができる。

しかしながら、上記のような特長を有するデジタル・サイネージにあっても、コンテンツの配信行為が配信事業者側から視聴者側への一方向的ないわゆるプッシュ型メディアであるという点においては、従来型の広報態様と何ら変わりがないため、広報内容の視聴者への到達の度合いなどを事業者側が把握することはできない。

また、一定程度にターゲットの範囲を絞ることができたとしても、それが1：n（コンテンツ：通行人）方式のいわゆるプッシュ型メディアによる情報提供方法である以上、視聴者個人へ訴えかけることができる1：1対応のプル型メディアとしての広報活動を実現することはまったく不可能であるため、視聴者からの情報訴求率という点においては依然として大きな課題を残している。

しかも、特定の場所・時刻において特定コンテンツを用いた広報活動ができるとしても、そもそもそこに視聴者のいることは保証されないため、当該場所で当該時刻にヒトがいなければ何らの情報伝達効果も期待できず、その効果の度合いを正確に把握できないことは勿論である。

そこで本発明は、従来型のデジタル・サイネージに存する上記の問題点に鑑み、非接触かつインタラクティブ（双方向）であって、かつ、視聴者に対する極めて高い情報伝達力を発揮する広報活動を実現できるとともに、併せて当該情報の到達の度合いをリアルタイムに計測して把握することができる情報伝達処理装置及び情報伝達処理システム並びにこれらに用いるコンピューター・プログラムを提供することによって、次世代のデジタル・サイネージを実現することを課題とする。

上記の課題を解決することを目的としてなされた本発明情報伝達処理装置の構成は、少なくとも画像表示装置と、当該画像表示装置の前方域を撮影可能な撮像装置と、当該撮像装置が撮影する映像から前記画像表示装置の前方域を通過する通行人が前記撮像装置又は前記画像表示装置に対して向ける視線を検出可能な視線検出部と、前記画像表示装置に表示する画像データを格納して管理する画像管理部を有し、前記視線検出部が通行人の視線を検出したとき、これをトリガーとして前記画像管理部が当該画像管理部に格納された特定の画像データを読み出すとともに前記画像表示装置に表示するようにしたことを特徴とするものである。

本発明情報伝達処理装置における画像管理部は、視線検出部が通行人の視線を検出した時に画像表示装置が表示していた画像データに予め紐付けて格納された画像データを読み出すように構成することが可能である。

上記の課題を解決することを目的としてなされた本発明情報伝達処理装置の他の構成は、少なくとも音声出力装置と、画像表示装置と、当該画像表示装置の前方域を撮影可能な撮像装置と、当該撮像装置によって撮影された映像から前記画像表示装置の前方域を通過する通行人が前記撮像装置又は前記画像表示装置に対して向ける視線を検出可能な視線検出部と、前記音声出力装置から出力する音声データを格納して管理する音声管理部と、前記画像表示装置に表示する画像データを格納して管理する画像管理部を有し、前記視線検出部が通行人の視線を検出したとき、前記音声管理部が当該音声管理部に格納された特定の音声データを読み出して前記音声出力装置から出力するようにしたことを特徴とするものである。

本発明情報伝達処理装置における音声管理部は、視線検出部が通行人の視線を検出した時に画像表示装置に表示していた画像データ及び前記音声出力装置から出力していた音声データのいずれか又は両方に予め紐付けて格納された音声データを当該音声出力装置から出力するように構成することが可能である。

また、本発明情報伝達処理装置は、撮像装置によって撮影された映像から画像表示装置の前方域を通過する通行人を検出する通行人検出部をさらに有し、当該通行人検出部は通行人を検出した回数を計測し、前記視線検出部は視線を検出した回数を計測するように構成することが可能である。

さらに、前記通行人検出部は、前記映像中の任意の複数点（たとえば4点）を観測点として通行人の検出を行うように構成することが可能である。

本発明情報伝達処理装置は、適宜の記憶領域をさらに有し、当該記憶領域は、視線検出部が視線を検出した時刻及び通行人検出部が通行人を検出した時刻のいずれか又は両方を記録するように構成することも可能である。

また、前記記憶領域は、前記視線検出部が視線を検出している時間を記録するように構成することが可能である。

さらに、前記記憶領域は、前記視線検出部が視線を検出した時に前記画像表示装置に表示されていた画像データ及び前記音声出力装置から出力していた音声データのいずれか又は両方に関する情報を記録するように構成することも可能である。

本発明情報伝達処理装置において、視線検出部は、画像表示装置の前方域を通過する通行人が撮像装置又は前記画像表示装置に対して向ける視線を検出するとともに当該撮像装置又は当該画像表示装置から前記通行人がいる場所までの距離（及び方位）を計測し、視線の検出後、当該通行人が当該撮像装置又は当該画像表示装置に近付いて来るか、又は遠ざかっていくか、或いはそのまま当該場所から見続けているかについて判断するように構成することが可能である。

また、本発明情報伝達処理装置は、前記視線検出部が前記画像表示装置の前方域を通過する通行人が前記撮像装置又は前記画像表示装置に対して向ける視線を検出するとともに当該撮像装置又は当該画像表示装置から前記通行人がいる場所までの距離を計測し、視線の検出後、当該通行人が当該撮像装置又は当該画像表示装置に近付いて来るか、又は遠ざかっていくか、或いはそのまま当該場所から見続けているかについての判断をしたとき、当該判断をトリガーとして前記画像管理部が当該画像管理部に格納された特定の画像データを読み出すとともに前記画像表示装置に表示するように構成することが可能である。

あるいは、前記視線検出部が前記画像表示装置の前方域を通過する通行人が前記撮像装置又は前記画像表示装置に対して向ける視線を検出するとともに当該撮像装置又は当該画像表示装置から前記通行人がいる場所までの距離を計測し、視線の検出後、当該通行人が当該撮像装置又は当該画像表示装置に近付いて来るか、又は遠ざかっていくか、或いはそのまま当該場所から見続けているかについての判断をしたとき、当該判断をトリガーとして前記音声管理部が当該音声管理部に格納された特定の音声データを読み出すとともに前記音声出力装置から出力するように構成することも任意である。

さらに、本発明情報伝達処理装置における前記画像管理部又は前記音声管理部は、前記視線検出部の判断の結果によって表示する画像データ又は出力する音声データを選択するように構成することが可能である。

本発明情報伝達処理装置においては、アニメーションを生成可能なアニメーション生成部をさらに有し、前記画像管理部は目形状を有する画像に係る画像データを格納するとともに当該画像を前記画像表示装置に表示し、前記視線検出部が通行人の視線を検出したとき、これをトリガーとして前記アニメーション生成部は前記目形状の視線が前記通行人の方に向きを変えるように動くアニメーションを生成することによって当該通行人と視線を合わせるように構成することが可能である。

また、前記アニメーション生成部は、前記目形状と前記通行人の視線が合った時に、当該目形状が瞬きをするように動くアニメーションを生成するように構成することが可能である。

さらに、前記アニメーション生成部は、前記目形状と前記通行人の視線を合わせるようアニメーションを生成した後は、当該目形状の視線が前記通行人を目で追うように動くアニメーションを生成するように構成することが可能である。

上記の課題を解決することを目的としてなされた本発明情報伝達処理システムの構成は、少なくとも前記情報伝達処理装置と、当該情報伝達処理装置にインターネット又はローカル・エリア・ネットワーク等の電気通信ネットワークを介して接続されたサーバー・コンピューターを備えてなる情報伝達処理システムであって、前記サーバー・コンピューターは、前記画像表示装置に表示する画像データを前記情報伝達処理装置に配信する画像データ配信部を有し、前記情報伝達処理装置は、受信した画像データを前記画像管理部に格納して管理するとともに当該画像データを前記画像表示装置に表示するようにしたことを特徴とするものである。

本発明情報伝達処理システムにおいて、前記サーバー・コンピューターは、前記音声出力装置から出力する音声データを前記情報伝達処理装置に配信する音声データ配信部をさらに有し、前記情報伝達処理装置は、受信した音声データを前記音声管理部に格納して管理するとともに当該音声データを前記音声出力装置から出力するように構成することが可能である。

また、前記情報伝達処理装置は、少なくとも通行人又は視線を検出した回数又は時刻に関する情報を前記サーバー・コンピューターに送信可能な情報送信部を有し、前記サーバー・コンピューターは、さらにディスプレイ装置を有し、前記情報送信部から送信された前記情報を受信するとともに当該情報の集計結果を作成して当該ディスプレイ装置に表示するように構成することが可能である。

さらに、本発明情報伝達処理システムにおいて前記情報送信部が送信する情報には前記情報伝達処理装置の設置場所に関する情報を含むように構成することが可能である。

上記の課題を解決することを目的としてなされた本発明情報伝達処理プログラムの構成は、前記情報伝達処理装置を動作させるために当該情報伝達処理装置に実装されることを特徴とするものである。

上記の課題を解決することを目的としてなされた本発明情報伝達処理プログラムの他の構成は、前記情報伝達処理システムを動作させるために前記情報伝達処理装置及び前記サーバー・コンピューターのいずれか又は両方に実装されることを特徴とするものである。

本発明によれば、画像表示装置の前方域を通過する通行人の視線を検出したときこれをイベント・トリガーとしてたとえばその表示内容を切り替えるとともに音声ないし効果音を同期再生させることも可能となるので、広報ツールとしてのきわめて高い訴求力を期待することができるようになる。

また、アンケートなどと異なり、視聴者からの何らの接触行為も必要としない広報ツールであることから、完全非接触型でかつインタラクティブな広報事業を実現しうる。

しかも、画像表示装置には目形状を有するヒトの顔（或いはそのイラスト等）が表示されていることから通行人の高い注意力を喚起できるとともに、視線検出部が通行人の視線を検出したとき、この目形状の発する視線を当該通行人に向けることによって両者の間にはアイコンタクトが生じ、これをイベント・トリガーとして前記画像表示装置の表示内容を変化させ通行人に対して様々な信号を送るように演出することによってあたかも画像表示装置と対話しているかのような感覚を喚起させることができることから、1：1対応のプル型メディアとして広報活動を実現することができるようになる。

また、アイコンタクトの発生後、画像表示装置は目形状が当該通行人の移動を目で追いかけるように動作する様子を表示するので、一旦つかんだ視聴者の意識を途中で手離すことなく広報画面へ確実に繋いでおくことができる。

さらに、視線検出部は、通行人の視線を検出するとともに当該通行人がいる場所までの距離を計測して、視線検出後に当該通行人が撮像装置ないし画像表示装置に近付いて来るか、又は遠ざかっていくか、或いはそのまま当該場所から見続けているかについて判断することができるので、たとえば近付いて来る者に対してはより詳細な広報内容を表示して見せたり、遠ざかっていく者に対してはより印象深く興味を惹きやすい広報内容に切り替えて見せたり、或いはそのまま見続けているものに対してはもっと画像表示装置の近くへ来るように促すコンテンツを表示するなどといったように、前記判断の結果から通行人の属性（位置や動きなど）に対応して表示内容を切り替えることが可能となる。

本発明において、記憶領域は画像表示装置が表示していた如何なる内容に対して、いつ、どこで、どれくらいの時間、その場所を通過する通行人から視線が向けられていたかに関し、正確かつ詳細な客観的情報を把握することができる。

しかも、通行人検出部は画像表示装置を見た人だけでなくその場を単に通過しただけの人の数についても計測するため、広報内容の伝達及び到達の度合いについて根拠のある数字（evidence
of media value）を以て評価することができ、併せて当該広報事業の有効性に関しても検証することができるようになる。

また、画像表示装置に表示する広報内容の変更については、サーバー・コンピューターから各地に点在する複数の情報伝達処理装置に対して、新たな画像データ・音声データを一括配信することにより集中管理することができるので、全世界的に正確かつ一律な広報活動を継続することができるとともに、集計したリアルタイムなログに基づくよりダイナミックで効果的な広報活動を実現することもできるようになる。

本発明情報伝達処理システムの構成を例示した模式図 本発明情報伝達処理システムの構成を例示したブロック図 本発明情報伝達処理装置の設定態様を例示した模式図 本発明情報伝達処理装置の設定態様を例示したブロック図 本発明情報伝達処理装置の構成を例示したブロック図 本発明情報伝達処理装置における画像表示装置の動作状況を例示したブロック図 本発明情報伝達処理装置における画像表示装置及び撮像装置の設置態様を例示した正面図 本発明情報伝達処理装置又は本発明情報伝達処理システムにおけるサーバー・コンピューターが集計したログの解析結果を例示したグラフ 本発明情報伝達処理システムの一実施例を示すフローチャート 本発明情報伝達処理装置において背景値を評価する手法の一例を示した図 本発明情報伝達処理装置において測定した背景値と時刻の関係の一例を示したグラフ 本発明情報伝達処理装置において測定した背景値と時刻の関係の一例を示したグラフ 本発明情報伝達処理装置における観測点の設定を例示したグラフ 本発明情報伝達処理装置が通行人の視線を検出するに際して用いる特徴パターンを例示した図 本発明情報伝達処理装置が通行人の視線を検出するに際して用いる特徴パターンを例示した図 本発明情報伝達処理装置における視線検出手段の一例を表した模式図 本発明情報伝達処理装置における視線検出手段の処理の流れの一例を表した模式図 本発明情報伝達処理装置の動作の流れの一例を表すフローチャート 本発明情報伝達処理装置に備わる画像表示装置に目形状を有する画像を表示した状態の一例を示した正面図

本発明の実施の形態例について、図面を参照しつつ、以下に詳細な説明をする。

図1において、2は本発明情報伝達処理システムの全体を表しており、インターネットを介して接続されたサーバー・コンピューターCSと複数の本発明情報伝達処理装置1を有してなるものである。

本実施例において本発明情報伝達処理装置1は、画像表示装置D、音声出力装置S、端末コンピューターCL、及びローカル・サーバーLSを具備してなり、図1に示すとおり、たとえば地方局Aの地域においてはローカル・サーバーLSに対し4台の端末コンピューターCLが、地方局Bにおいては3台の端末コンピューターCLが、地方局Cにおいては2台の端末コンピューターCLがそれぞれ接続されている。

本発明情報伝達処理装置1において、複数の端末コンピューターCLと情報をやり取りするローカル・サーバーLSは必須の構成要件ではなく、サーバー・コンピューターCSと端末コンピューターCLを直接的に接続する構成を採用することは任意である（図9に示すとおり、本実施例においては、画像表示装置Dに表示する広報のコンテンツの企画・制作が行われた後、当該コンテンツ画像のデータは一旦サーバー・コンピューターCSに格納され、各地方局のサーバー（ローカル・サーバーLS）が定期的にサーバー・コンピューターCSに問い合わせて当該データをダウンロードすると共にこれを各情報伝達処理装置1に配信するように構成している）。

本発明情報伝達処理装置1に備わる画像表示装置Dの近傍（図7に示すとおり、たとえば上部）には、WEBカメラなどのように当該画像表示装置Dの前方域を撮影可能な撮像装置Cが配設されている。

また、端末コンピューターCLは、図5に示すとおり、撮像装置Cによって撮影された映像の中から画像表示装置Dの前方域を通過する通行人Pが当該画像表示装置Dに対して向ける視線の存在を検出する視線検出部Eと、同映像中から画像表示装置Dの前方域を通過する通行人Pの存在を検出する通行人検出部Bと、前記画像表示装置Dに再生表示する画像データを格納して管理する画像管理部Gと、前記音声出力装置Sから再生出力する音声データを格納して管理する音声管理部Vを具備してなる。

なお、端末コンピューターCLには視線検出部E及び通行人検出部Bから収集した各種ログの解析結果を表示するディスプレイ装置m及び当該ログに基づく各種情報をサーバー・コンピューターCSに送信する情報送信部ISlが、当該サーバー・コンピューターCSには各情報伝達処理装置1から情報を受信する情報受信部IRs及び当該受信情報の集計結果を表示するディスプレイ装置Mがそれぞれ備わっている。

まず、本発明情報伝達処理装置1における画像表示装置Dを地方局Aの地域内にある駅構内壁面など人目につきやすい場所へ、たとえば図3に示すような態様によって、あらかじめ設置しておく。

画像表示装置Dは、アイドリング時においては画像管理部Gに格納されている任意の広報用画像データを再生表示しており、たとえば図6に示すようにいくつかの広報用コンテンツ画像を一定の時間を隔て切り替えながら表示し、又はたとえば図19に示すように目形状の画像を表示したりしている。

ここで、前記駅構内を通過する通行人Pが壁面に設置された画像表示装置Dの前方域にさしかかり撮像装置Cによって撮影可能な範囲内（本実施例においてはたとえば視野角約120度のWEBカメラを用いることとする。）に入ったとき、通行人検出部Bはたとえば以下のような適宜の通行人検出手段BDによって通行人Pの存在を認識し、本発明情報伝達処理装置1は当該通行人Pを認識した時刻Tとともにこれを任意の記録領域に記録する。

上記の通行人検出手段BDにつき、たとえば最も確実でシンプルな手段のひとつとしては、撮像装置Cの捉えている映像の1点を観測点としてこれに注目しながら、当該観測点を遮るものがあるか否かに関し時系列に沿って監視する方法がある。

すなわち具体的には、通行人Pの往来がある環境において、撮像装置Cにより撮影する映像の背景が固定された状態にあって、かつ、上記観測点を遮るものが認められる場合には、当該観測点を通過する通行人Pが存在するものと評価することができる。

特に、本実施例における通行人検出手段BDは、図13に示すように4つの観測点a・b・c・dを設けており、検出精度を向上させることによって観測漏れを著しく低減できるとともに、併せて通行人Pの通過する方向についても検出できるようになるので、撮像装置Cの撮影可能範囲内に入ってから画像表示装置Dの略正面域に到達する前に元の方向に引き返す者など、通行人Pの挙動についてより正確な評価を行うことが可能となる（たとえば通行人Pが順に観測点abbaを遮る行動をとった場合には、当該通行人Pは当初a側からd側へ向かって歩いていたがbとcの間に差し掛かったとき引き返したものと評価することができるようになる）。

また、デジタル処理された映像は、明るさの情報（現時点においてこの明るさの範囲は白から黒までの8ビット（256階調）が一般的である。）を持つ点の集合として評価されるが、カラー映像によれば仮に明るさにおける変化がなかったとしても色の変化に対して反応することができるようになる。

ところが、実際にWEBカメラ等からの映像信号を分析すると、自然光のもとであれ人工光のもとであれ、一見変化していないように見える映像でも数値としてはかなりの揺れ（原因としてはカメラの精度や環境光の肉眼では感じられない変化などが考えられる。）が存在することが分かっている。

したがって、映像中の1点に注目して観測を行うためには、当該観測点における瞬間的な値を基準にするのではなく、たとえば数秒間の明るさの平均値を以てこれをその背景値として評価するのが望ましく、本実施例においても通行人検出部Bは、具体的には図10に示すようにある時刻Atにおける背景値はdT秒前から当該時刻Atまでの明るさの平均値として算出しており、同様に他の時刻Btにおける背景点のデータについても測定時刻を起点にdT秒前からの平均値として評価している。

上記のような手法により、本発明情報伝達処理装置1は、適宜のサンプリング・レートを以て観測点の背景値を常に更新している。

dT秒の望ましい設定値に関しては、環境にもよるが、短すぎると環境の偶発的な変化に反応してしまう一方、長すぎると日が落ちて照明が変わるなど環境変化に順応し難くなるといった不具合があることから、本実施例においては5〜10秒に設定するものとする。

なお、図11に示すように、画像表示装置Dに表示された広報内容に興味を持ち長時間その場に立ち止まる通行人Pがいる場合でも、観測点が通行人Pによって遮られている間は背景値の算出を中止して、通行人Pが通過して元の状態に戻ってから背景値の評価を再開するので、通行人P自体を背景と認識するといった不具合はない。

また、実際の観測に当たっては動的な平衡状態を想定しておく必要があることから、常に変動する背景値においては赤・緑・青のそれぞれの値に関して図10に示すような適宜の一定範囲（閾値thb以上閾値tha以下）をブレ幅とする平衡状態とみなした上で、当該範囲の上限値を超え或いは下限値を下回ったときに通行人Pが通過していると判断するものとしている。

映像上の1点を監視すること自体は処理負荷がきわめて低いので、複数の点を同時に監視することが可能であり、これによれば、背景色の異なる点を観測点として選ぶことによって背景色と同じ色の服装の通行人Pの通過を補足でき、またある1点でのエラーを他の監視点がリカバーできるので全体としての測定精度を向上させることができ、しかも上述のとおり通行人Pの通過方向についても検出することができるようになるとともに、さらには照明の点灯など環境の急激な変化に対応することも可能となる（複数の観測点が同時に同一の変化を観測したときは急激な環境の変化があったと評価するものとしている）。

前述のとおり、図13に示す例においては、時系列に沿ってabcdの順に遮断が検出された場合、通行人Pが向かって左から右に通過したものと評価することができる。

これに対して、abbaの順に遮断が記録された場合には、通行人Pが左から現れて、画像表示装置Dの前方域を通過することなくもときた方向へ戻って行ったものと評価することができる。

また、すべてのポイントが一定時間以上同時に変化を記録するときは、たとえば外が暗くなる或いは照明がついたなど、環境の急激な変化として評価することによって背景値の記録を再開できるようにしている。

以上のように通行人検出部Bは、通行人検出手段BDにのはたらきによって通行人Pの往来を把握しその数を計測するとともに通過時刻についても併せてログをとることができるようになる。

やがて、通行人Pが画像表示装置Dの前方域に到達して当該画像表示装置Dないしその近傍に配設された撮像装置Cの方に視線を向けるとき、当該撮像装置Cはその撮影した映像のデータを視線検出部Eに送り出すとともに、当該視線検出部Eは適宜の視線検出手段EDによって同映像中から前記通行人Pの視線を見つけ出す。

本実施例において上記の視線検出手段EDとしては、まずはHaas-Like特徴を用いて大まかな特徴を検出し、その特徴に基づき機械学習アルゴリズムの一種であるブースティンを用いて作成した分類器を利用することによって通行人Pの視線の存在を認識する方法を採用している。

すなわち、撮像装置Cによって撮影された映像を構成する画像シーケンスがその取り込まれたフレーム毎に小さな検出窓5に分割され、続いて当該検出窓5として分割された各画像の断片に対して図14に例示するような特徴パターンを順次適応していくこととなる。

本実施例における視線の存在については、たとえば図15に示すとおり、左右の目を横断する領域は目の下部域に比べて暗い、目は中央部分が暗くその左右は明るい、目と目の間は目部分に比べて明るいなどのいくつかの特徴パターンの集合として定義している。

なお、上記検出窓5に視線が含まれている確率は一般的にはかなり低いことが想定されるので、視線を含まない画像サンプルとの比較を優先的に行うことによって視線を含む検出窓6だけを対象に絞込み、処理の高速化を図ることが可能である。

具体的には図17に示すとおり、分類器は弱い分類器1から分類器nを数珠繋ぎに結合してなるものであることから、最初の分類器1で視線を含まないと評価されると処理は中断して視線を含まない検出窓7と評価され処理は次の検出窓5に移行するように構成している。

すべての弱い分類器1から分類器nをパスした検出窓5のみが視線を含む検出窓6として評価され、視線の中心座標、サイズ、並びに画像表示装置Dないし撮像装置Cから当該視線を発する通行人Pまでの距離及び方位（映像中のx・y座標）があわせて算出されることになる。

画像表示装置Dないし撮像装置Cから通行人Pまでの距離の算出方法としては、上記視線検出手段EDによって検出された目の画像の大きさ（たとえば左右の端から端までの長さなど）に基づき、これをあらかじめ目画像の大きさと画像表示装置Dないし撮像装置Cまでの距離との関係について蓄積しておいたデータベースに照らして算出する方法や、あるいはよりシンプルには当該目形状の大きさの変化に基づく相対距離の評価によって通行人Pの挙動を把握するなど、絶対距離・相対距離に拘わらず、適宜の方法を考えることができる。

また、上記目画像の大きさとあわせて、その左右の中心部分の映像中におけるxy座標を測定することによって、通行人Pのいる方位についても把握することができるので、これによってたとえば座標が略同じで大きさのみ大きくなっているときには近付いている、あるいは大きさが略同じであってx座標が増しているときには画像表示装置Dを見ながら右方向に移動しているなどと評価する方法を採用することも任意である。

上記のとおりHaas-Like特徴とブースティンを組み合わせた視線検出のロジックは、高速処理が可能である点を特に評価することができるが、Haas-Like特徴のパターンを増やすことによって処理速度は犠牲になるものの検出精度を飛躍的に高めることも可能である。

なお、画像表示装置Dを見るという動作は瞬間的なものではなく、また撮像装置Cからの映像は間断なく流れてくるので、一つのフレームを見逃しても次のフレームで検出できれば足り、実際にもたとえば2GHzのCPUで毎秒3〜5フレームを処理することが可能であることから、数フレーム程度の検出漏れは画像表示装置Dに対する視線の有無を判断するに当たっては問題とならない。

このように視線検出手段EDによれば、画像表示装置Dの前方域を通過する通行人Pが当該画像表示装置Dないし撮像装置Cを見たかどうかを判断することができ、その時刻、座標、距離、見ていた時間などをログとして書き出し、集計後は端末コンピューターCLの適宜の記憶領域に解析データとして情報を保存するとともに、当該情報を情報送信部ISlよりサーバー・コンピューターCSに送信することができるようになる。

また、本発明情報伝達処理装置1は、前述のとおり画像表示装置Dにたとえば図19に示すようなキョロキョロと視線を動かす目形状の画像を表示しておき、前記視線検出部Eが通行人Pの視線を検出したときには、これをイベント・トリガーとして同装置1に備わるアニメーション生成部APが当該目形状に一旦瞬きをさせた後この通行人Pと視線を合わせるように動く（たとえば図19における19A又は19Cのような状態から19Bの状態に変化する）画像を生成するものとして構成することができる。

とりわけヒトのヒトに対するパターン認識が鋭敏なものであることについては、現代の認知科学の進歩によって科学的に、あるいは人面岩・人面蟹など昔からヒトはヒトのパターンを優先的に探す傾向を持つといったことから経験的にも確かに裏付けられるものであるところ、本発明情報伝達処理装置1は、上記のような構成により前記目形状を目で捉えた通行人Pに視線の交錯を意識させることによってきわめて強い印象を与えることができるようになる。

しかも、本実施例において当該目形状は、視線検出部E及びアニメーション生成部APによって、一旦通行人Pとアイコンタクトを持った後さらにその視線を追尾するように動作するアニメーション（CGその他これに類する動画を含む。）として生成され画像表示装置Dに表示されるので、通行人Pの意識に強く呼びかけることが可能である。

また、視線検出部Eは、画像表示装置Dの前方域を通過する通行人Pが撮像装置C又は前記画像表示装置Dに対して向ける視線を検出するとともに当該撮像装置C又は当該画像表示装置Dから前記通行人Pがいる場所までの距離を計測することができる。

視線を検出する時、視線検出部Eは、たとえば前述のデータベースを用いてなす距離算出方法のような適宜の方法に基づき、通行人Pが撮像装置C又は画像表示装置Dに近付いて来るか、又は遠ざかっていくか、或いはそのままその場所から当該画像表示装置Dらの方を見続けているかについて判断する。

そして、画像管理部Gは、視線検出時において画像表示装置Dに表示していた画像データ及びこれに関連性を有する特定の画像データ（の集合）の両者をあらかじめ紐付けて格納しており、上記判断の結果に応じて、たとえば近付いてくる通行人Pに対してはより興味を抱かせるようコンテンツ、遠ざかってゆく人に対してはもっと印象深いコンテンツ、その場に留まる人に対しては画像表示装置Dの方に近付いて来るように促すコンテンツをそれぞれ選択的に表示することによって、視聴者に対してあたかも1対1で対話しているかのような感覚を想起させることができる。

このようにして、視線検出部Eが通行人Pの視線を検出したときには、これをイベント・トリガーとして、画像管理部Gが当該画像管理部Gに格納された特定の画像データを読み出し、あるいは音声管理部Vが当該音声管理部Vに格納された特定の音声データを出力することによって、端末コンピューターCLがこれを任意のサンプリング・レートで演算処理したものを画像表示装置Dにおいて表示し、あるいは音声出力装置Sにおいて再生出力するなど、さまざまなイベントを呼び出すことができるようになる。

このとき、図7に示すように、アイドリング状態にある画像表示装置Dの目立つ箇所に新たなウィンドウWを表示させ、前述の紐付けられた関連情報を音声や動画と共に再生すれば、きわめて効果的な広報活動を実現できるようになることは勿論である。

また、サーバー・コンピューターCSは、さまざまな場所に点在する本発明情報伝達処理装置1に備わる情報送信部ISlから送信された解析データを情報受信部IRsにおいて受信すると、当該データに係る各種情報に基づいて統計的データに基づく（たとえば図8に示すような）グラフを作成するとともにこれをディスプレイ装置M上に表示して閲覧可能な状態にすることができ、広報事業者側は当該グラフに基づく統計データを一元的に管理することができるようになる。

また、これらの統計データから、地域や時間帯によって最も効果的な広報コンテンツを各情報伝達処理装置1に一括で又は個別に配信することが可能となり、従来にないダイナミックな広報事業を展開することが可能となる。

いわゆる広報・宣伝のダイナミックな目論見は「目を魅く（attention）」「関心を持ってもらう（interest）」「強く魅かれる（desire）」「行動する（action）」といった流れを演出することにあるところ、上述のとおり本発明情報伝達処理装置1は、ヒトのヒトに対するパターン認識の鋭敏性を利用することによってきわめて情報訴求力の高い非接触型のインタラクティブな広報メディアを実現し得るものであり、これらの要件を完全に満たすまったく新規で強力な広報ツールとして成立するものである。

以上のとおり、本発明は、画像表示装置の前方域を通過する人の視線を検出したときその表示内容が切り替わって変化するため、広報ツールとしてきわめて高い訴求力を発揮することができ、また、アンケートなどと異なり、視聴者からの何らの接触行為も必要としない完全非接触型であって、かつ、双方向にインタラクティブな広報事業を実現することができ、さらに、画像表示装置が表示していた如何なる内容に対して、いつ、どこで、どれくらいの時間、通行人から視線が向けられていたかについて、正確かつ詳細な情報を把握することができ、しかも、画像表示装置を見た人だけでなくその場を単に通過しただけの人の数も併せて計測することができるため、広報内容の到達度について根拠のある数字によって評価することが可能となり、併せてその有効性についても検証することができ、また、画像表示装置に表示するコンテンツの変更については、サーバー・コンピューターから各地に点在する複数の情報伝達処理装置に対して新たな画像データを一括配信することにより集中管理することができるので、全世界的に一律な広報活動を継続的に行うことが可能となるとともに、集計した各種のリアルタイムなログに基づくよりダイナミックで効果的な広報活動を実現することができるようになるといった効果を有することから、情報伝達処理装置、情報伝達処理方法、及びこれらに用いるコンピューター・プログラムに適用してきわめて有用である。

1 情報伝達処理装置
2 情報伝達処理システム
CS サーバー・コンピューター
M，m ディスプレイ装置
LS ローカル・サーバー
CL 端末コンピューター
D 画像表示装置
C 撮像装置
W ウィンドウ
P 通行人
E 視線検出部
B 通行人検出部
G 画像管理部
V 音声管理部
ISl 情報送信部
IRl 情報受信部
AP アニメーション生成部
S 音声出力装置

Claims (22)

1. 少なくとも画像表示装置と、当該画像表示装置の前方域を撮影可能な撮像装置と、当該撮像装置が撮影する映像から前記画像表示装置の前方域を通過する通行人が前記撮像装置又は前記画像表示装置に対して向ける視線を検出可能な視線検出部と、前記画像表示装置に表示する画像データを格納して管理する画像管理部を有し、
   前記視線検出部が通行人の視線を検出したとき、これをトリガーとして前記画像管理部が当該画像管理部に格納された特定の画像データを読み出すとともに前記画像表示装置に表示するようにしたことを特徴とする情報伝達処理装置。
2. 請求項1の情報伝達処理装置において、
   前記画像管理部は、前記視線検出部が通行人の視線を検出した時に前記画像表示装置が表示していた画像データに予め紐付けて格納された画像データを読み出すようにした情報伝達処理装置。
3. 少なくとも音声出力装置と、画像表示装置と、当該画像表示装置の前方域を撮影可能な撮像装置と、当該撮像装置によって撮影された映像から前記画像表示装置の前方域を通過する通行人が前記撮像装置又は前記画像表示装置に対して向ける視線を検出可能な視線検出部と、前記音声出力装置から出力する音声データを格納して管理する音声管理部と、前記画像表示装置に表示する画像データを格納して管理する画像管理部を有し、
   前記視線検出部が通行人の視線を検出したとき、前記音声管理部が当該音声管理部に格納された特定の音声データを読み出して前記音声出力装置から出力するようにしたことを特徴とする情報伝達処理装置。
4. 請求項3の情報伝達処理装置において、
   前記音声管理部は、前記視線検出部が通行人の視線を検出した時に前記画像表示装置に表示していた画像データ及び前記音声出力装置から出力していた音声データのいずれか又は両方に予め紐付けて格納された音声データを当該音声出力装置から出力するようにした情報伝達処理装置。
5. 請求項1〜4のいずれかの情報伝達処理装置において、
   前記撮像装置によって撮影された映像から前記画像表示装置の前方域を通過する通行人を検出する通行人検出部をさらに有し、
   当該通行人検出部は通行人を検出した回数を計測し、
   前記視線検出部は視線を検出した回数を計測するようにした情報伝達処理装置。
6. 請求項1〜5のいずれかの情報伝達処理装置において、
   前記通行人検出部は、少なくとも前記映像中の任意の複数点を観測点として通行人の検出を行うようにした情報伝達処理装置。
7. 請求項1〜6のいずれかの情報伝達処理装置において、
   適宜の記憶領域をさらに有し、
   当該記憶領域は、前記視線検出部が視線を検出した時刻及び前記通行人検出部が通行人を検出した時刻のいずれか又は両方を記録するようにした情報伝達処理装置。
8. 請求項7の情報伝達処理装置において、
   前記記憶領域は、前記視線検出部が視線を検出している時間を記録するようにした情報伝達処理装置。
9. 請求項7又は8の情報伝達処理装置において、
   前記記憶領域は、前記視線検出部が視線を検出した時に前記画像表示装置に表示されていた画像データ及び前記音声出力装置から出力していた音声データのいずれか又は両方に関する情報を記録するようにした情報伝達処理装置。
10. 請求項1〜9のいずれかの情報伝達処理装置において、
    前記視線検出部は、前記画像表示装置の前方域を通過する通行人が前記撮像装置又は前記画像表示装置に対して向ける視線を検出するとともに当該撮像装置又は当該画像表示装置から前記通行人がいる場所までの距離を計測し、視線の検出後、当該通行人が当該撮像装置又は当該画像表示装置に近付いて来るか、又は遠ざかっていくか、或いはそのまま当該場所から見続けているかについて判断するようにした情報伝達処理装置。
11. 請求項10の情報伝達処理装置において、
    前記視線検出部が前記画像表示装置の前方域を通過する通行人が前記撮像装置又は前記画像表示装置に対して向ける視線を検出するとともに当該撮像装置又は当該画像表示装置から前記通行人がいる場所までの距離を計測し、視線の検出後、当該通行人が当該撮像装置又は当該画像表示装置に近付いて来るか、又は遠ざかっていくか、或いはそのまま当該場所から見続けているかについての判断をしたとき、当該判断をトリガーとして前記画像管理部が当該画像管理部に格納された特定の画像データを読み出すとともに前記画像表示装置に表示するようにした情報伝達処理装置。
12. 請求項10の情報伝達処理装置のうち前記音声出力装置を有する情報伝達処理装置において、
    前記視線検出部が前記画像表示装置の前方域を通過する通行人が前記撮像装置又は前記画像表示装置に対して向ける視線を検出するとともに当該撮像装置又は当該画像表示装置から前記通行人がいる場所までの距離を計測し、視線の検出後、当該通行人が当該撮像装置又は当該画像表示装置に近付いて来るか、又は遠ざかっていくか、或いはそのまま当該場所から見続けているかについての判断をしたとき、当該判断をトリガーとして前記音声管理部が当該音声管理部に格納された特定の音声データを読み出すとともに前記音声出力装置から出力するようにした情報伝達処理装置。
13. 請求項11又は12の情報伝達処理装置において、
    前記画像管理部又は前記音声管理部は、前記視線検出部の判断の結果によって表示する画像データ又は出力する音声データを選択するようにした情報伝達処理装置。
14. 請求項1〜13のいずれかの情報伝達処理装置において、
    アニメーションを生成可能なアニメーション生成部をさらに有し、
    前記画像管理部は目形状を有する画像に係る画像データを格納するとともに当該画像を前記画像表示装置に表示し、
    前記視線検出部が通行人の視線を検出したとき、これをトリガーとして前記アニメーション生成部は前記目形状の視線が前記通行人の方に向きを変えるように動くアニメーションを生成することによって当該通行人と視線を合わせるようにした情報伝達処理装置。
15. 請求項14の情報伝達処理装置において、
    前記アニメーション生成部は、前記目形状と前記通行人の視線が合った時に、当該目形状が瞬きをするように動くアニメーションを生成するようにした情報伝達処理装置。
16. 請求項13又は14の情報伝達処理装置において、
    前記アニメーション生成部は、前記目形状と前記通行人の視線を合わせるようアニメーションを生成した後は、当該目形状の視線が前記通行人を目で追うように動くアニメーションを生成するようにした情報伝達処理装置。
17. 少なくとも請求項1〜15のいずれかの情報伝達処理装置と、当該情報伝達処理装置にインターネット又はローカル・エリア・ネットワーク等の電気通信ネットワークを介して接続されたサーバー・コンピューターを備えてなる情報伝達処理システムであって、
    前記サーバー・コンピューターは、前記画像表示装置に表示する画像データを前記情報伝達処理装置に配信する画像データ配信部を有し、
    前記情報伝達処理装置は、受信した画像データを前記画像管理部に格納して管理するとともに当該画像データを前記画像表示装置に表示するようにしたことを特徴とする情報伝達処理システム。
18. 請求項16の情報伝達処理システムにおいて、
    前記サーバー・コンピューターは、前記音声出力装置から出力する音声データを前記情報伝達処理装置に配信する音声データ配信部をさらに有し、
    前記情報伝達処理装置は、受信した音声データを前記音声管理部に格納して管理するとともに当該音声データを前記音声出力装置から出力するようにした情報伝達処理システム。
19. 請求項16又は17の情報伝達処理システムにおいて、
    前記情報伝達処理装置は、少なくとも通行人又は視線を検出した回数又は時刻に関する情報を前記サーバー・コンピューターに送信可能な情報送信部を有し、
    前記サーバー・コンピューターは、さらにディスプレイ装置を有し、前記情報送信部から送信された前記情報を受信するとともに当該情報の集計結果を作成して当該ディスプレイ装置に表示するようにした情報伝達処理システム。
20. 請求項16〜18のいずれかの情報伝達処理システムにおいて、
    前記情報送信部が送信する情報には前記情報伝達処理装置の設置場所に関する情報を含むようにした情報伝達処理システム。
21. 請求項1〜15のいずれかの情報伝達処理装置を動作させるために当該情報伝達処理装置に実装される情報伝達処理プログラム。
22. 請求項16〜19のいずれかの情報伝達処理システムを動作させるために前記情報伝達処理装置及び前記サーバー・コンピューターのいずれか又は両方に実装される情報伝達処理プログラム。

Images