JP2018010431A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】所定領域へ表示される画像について視聴者との対話性を向上させること。【解決手段】第１の投影面に第１の画像を投影する第１の画像投影装置と、第２の投影面へ第２の画像を投影する第２の画像投影装置とに接続された画像処理装置は、前記第２の投影面への進入者を検出し、前記進入者の動作を監視する監視部と、前記第２の投影面への進入者の検出に応じ、前記進入者に対する第１コンテンツを前記第１の画像に描画する第１コンテンツ描画部と、前記第１コンテンツに対して前記進入者が回答するための第２コンテンツを前記第２の画像に描画する第２コンテンツ描画部と、前記第２コンテンツに対して前記進入者によって回答されたことが前記監視部によって検出されると、前記第１コンテンツに対する前記進入者の回答として受け付ける受付部と、を有する。【選択図】図１５

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

近年、広告媒体としてデジタルサイネージが一般的に利用されるようになっている。デジタルサイネージでは、表示内容を動的に切り換えたり、動画を表示したりすることができるため、多様な広告を表示することができる。その結果、静的な広告に比べて、通行人等の視聴者に対して多様なメッセージを発信することができる。

しかしながら、従来のデジタルサイネージは、対話性（インタラクティブ性）に乏しく、視聴者に対して一方的にメッセージを発信するものであった。例えば、従来のデジタルサイネージでは、広告に対する視聴者の反応を自動的に確認するのが困難であった。

本発明は、上記の点に鑑みてなされたものであって、所定領域へ表示される画像について視聴者との対話性を向上させることを目的とする。

そこで上記課題を解決するため、第１の投影面に第１の画像を投影する第１の画像投影装置と、第２の投影面へ第２の画像を投影する第２の画像投影装置とに接続された画像処理装置は、前記第２の投影面への進入者を検出し、前記進入者の動作を監視する監視部と、前記第２の投影面への進入者の検出に応じ、前記進入者に対する第１コンテンツを前記第１の画像に描画する第１コンテンツ描画部と、前記第１コンテンツに対して前記進入者が回答するための第２コンテンツを前記第２の画像に描画する第２コンテンツ描画部と、前記第２コンテンツに対して前記進入者によって回答されたことが前記監視部によって検出されると、前記第１コンテンツに対する前記進入者の回答として受け付ける受付部と、を有する。

所定領域へ表示される画像について視聴者との対話性を向上させることができる。

本発明の実施の形態におけるデジタルサイネージの構成要素を説明するための図である。 回答領域への視聴者の進入時の状態を示す図である。 質問の表示例を示す図である。 回答の第１の表示例を示す図である。 回答の第２の表示例を示す図である。 視聴者への回答の提示例を示す図である。 視聴者からの回答の受け付け例を示す図である。 質問の切り替え時の表示例を示す図である。 別の視聴者が回答領域へ進入した場合を示す図である。 本発明の実施の形態におけるシステム構成例を示す図である。 アンケート表示装置の外観の一例を示す図である。 アンケート表示装置の内部構造の一例を示す図である。 アンケート表示装置及び集計用プロジェクタの設置場所の一例を示す図である。 本発明の実施の形態における画像処理装置のハードウェア構成例を示す図である。 本発明の実施の形態における画像処理装置及び集計装置の機能構成例を示す図である。 視聴者監視部が実行する処理手順の一例を説明するためのフローチャートである。 視聴者情報記憶部の構成例を示す図である。 質問描画部が実行する処理手順の一例を説明するためのフローチャートである。 質問記憶部の構成例を示す図である。 回答描画部が実行する処理手順の一例を説明するためのフローチャートである。 回答受付部が実行する処理手順の一例を説明するためのフローチャートである。 集計結果記憶部の構成例を示す図である。 回答集計部が実行する処理手順の一例を説明するためのフローチャートである。

以下、図面に基づいて本発明の実施の形態を説明する。まず、本実施の形態におけるデジタルサイネージの概要について説明する。本実施の形態では、デジタルサイネージの内容がアンケートである例について説明する。

図１は、本発明の実施の形態におけるデジタルサイネージの構成要素を説明するための図である。図１には、本発明の実施の形態におけるデジタルサイネージの構成要素として、質問領域ｑ１、質問領域ｑ２、集計領域ｇ１、回答領域ａ１、及び回答領域ａ２が示されている。質問領域ｑ１、質問領域ｑ２、及び集計領域ｇ１は、例えば、壁面等の鉛直面（垂直面）等において形成される。回答領域ａ１及びａ２は、例えば、床面等の水平面において形成される。

質問領域ｑ１及びｑ２は、アンケートの質問が表示される領域である。回答領域ａ１は、質問領域ｑ１に表示された質問に対する回答を視聴者から受け付けるための領域である。回答領域ａ２は、質問領域ｑ２に表示された質問に対する回答を視聴者から受け付けるための領域である。集計領域ｇ１は、アンケートの質問ごとに、回答領域ａ１及び回答領域ａ２において受け付けられた回答の集計結果が円グラフによって表示される領域である。

なお、質問領域ｑ１及び回答領域ａ１と、質問領域ｑ２及び回答領域ａ２とのうちいずれか一方は設けられなくてもよい。以下、質問領域ｑ１と質問領域ｑ２を区別しない場合、単に、「質問領域ｑ」という。同様に、回答領域ａ１と回答領域ａ２とを区別しない場合、単に、「回答領域ａ」という。

図２は、回答領域への視聴者の進入時の状態を示す図である。図２において、（１）は、視聴者ｘが回答領域ａに進入する前の状態を示す。この状態において、質問領域ｑには、スクリーンセーバのような動画が表示されている。すなわち、質問は表示されていない。

（２）は、視聴者ｘが回答領域ａに足を踏み入れた状態を示す。この状態の回答領域ａにおいて、視聴者ｘの足下には、例えば、波紋の広がりを示す画像が表示される。

（３）は、視聴者ｘが回答領域ａにおいて、歩を進めた状態を示す。回答領域ａには、視聴者ｘが歩を進めるたびに、視聴者ｘの足下に波紋が表示される。広がった波紋はやがて消えてゆく。

（２）及び（３）のような表示により、視聴者ｘの行動が把握されている印象を視聴者ｘに与えることができ、視聴者ｘの興味を引くことができる。

なお、質問領域ｑ、回答領域ａ、及び集計領域ｇ１への画像の表示は、プロジェクタによって行われる。

図３は、質問の表示例を示す図である。視聴者ｘが回答領域ａに進入してから一定時間（例えば、数秒）が経過すると、質問領域ｑでは質問の表示が開始される。

まず、質問の１文字目が表示される（１）。例えば、質問の各文字は、上方から落下してきてもよい。続いて、表示された文字の周囲に波紋が広がる（２）。（３）及び（４）に示されるように、質問を構成する文字列内の順番で、各文字が表示される。なお、各文字のフォントサイズはランダムであり、フォントサイズに従って、波紋の大きさが異なる。

全ての文字が表示されると、（５）に示されるように、回答領域ａの中央に質問が大きく表示される。その後、質問に対する回答の選択肢の表示領域を確保するために、質問の表示サイズは縮小され、質問は上方に移動する。この際、各文字の波紋の動きも小さくなる（６）。

図４は、回答の第１の表示例を示す図である。図３の（６）の状態に続いて、回答の一方の選択肢に対応する円形の画像及びテキスト（「ブルー」）が、質問領域ｑにフェードインする（１）。続いて、他方の選択肢に対応する円形の画像及びテキスト（「レッド」）が、質問領域ｑにフェードインする（２）。続いて、（３）に示されるように、それぞれの選択肢の画像及びテキストが縮小する。続いて、一方の選択肢の画像に「Ａ」の文字が付加され（４）、他方の選択肢の画像に「Ｂ」の文字が付加されて（５）、回答の表示が完成する。なお、「Ａ」及び「Ｂ」は、選択肢の識別情報である。

図５は、回答の第２の表示例を示す図である。図５には、各選択肢がテキストのみによって構成される場合の回答の表示例が示されている。この場合、まず、回答の一方の選択肢のテキスト（「持ってる」）が、質問領域ｑにフェードインする（１）。続いて、他方の選択肢の画像及びテキスト（「持ってない」）が、質問領域ｑにフェードインする（２）。続いて、（３）に示されるように、それぞれの選択肢のテキストが縮小する。続いて、一方の選択肢に「Ａ」の文字を含む円形の画像が付加され（４）、他方の選択肢に「Ｂ」の文字を含む円形の画像が付加されて（５）、回答の表示が完成する。

図６は、視聴者への回答の提示例を示す図である。図６において（１）は、図５の（５）の状態である。回答の完成後、各選択肢の円形の画像（以下、「回答ボール」という。）の複製が、（２）に示されるように、壁面を伝って回答領域ａにおける視聴者ｘの足下に落ちてくる。その結果、質問に対する回答が自らに対して要求されていることを視聴者ｘに認識させることができる。

図７は、視聴者からの回答の受け付け例を示す図である。視聴者ｘによっていずれかの回答ボールが一定時間以上継続して踏まれると（１）、踏まれた方の回答ボールが膨張し、踏まれなかった方の回答ボールが非表示となる（２）。また、踏まれた方の回答ボールが膨張しきったタイミングで、質問領域ｑでは、質問に対する回答の集計結果を示す円グラフが質問に代わって表示される。

続いて、踏まれた方の回答ボールが回答領域ａ及び壁面を伝って、質問領域ｑにおける当該回答ボールの複製元の位置に移動する（３）（４）。続いて、集計結果の円グラフにおいて、視聴者ｘによって踏まれた方（選択された方）の回答に対応する領域が拡大して、当該領域に示されている合計数に１が加算される（５）。

続いて、円グラフにおいて拡大された領域が元の大きさに戻り（６）、円グラフに代わって元の質問が表示される（７）。

図８は、質問の切り替え時の表示例を示す図である。図７の（７）に続いて、質問及び当該質問の回答の表示完了時から一定時間（例えば、３０秒）が経過したタイミングが到来すると、質問領域ｑに表示されている質問等は、フェードアウトして非表示となる（１）（２）。続いて、別の質問の表示が開始される（３）。なお、質問の切り換えは、視聴者ｘによって回答ボールが踏まれない場合でも行われる。

図９は、別の視聴者が回答領域へ進入した場合を示す図である。図９において、（１）は、視聴者ｘが回答領域ａに進入した後、質問の表示が開始される前に視聴者ｙが回答領域ａに進入してきた場合を示す。（２）は、視聴者ｘが回答領域ａに進入した後、質問の表示中に視聴者ｙが回答領域ａに進入してきた場合を示す。（３）は、視聴者ｘが回答領域ａに進入し、質問の表示が完成した時点で視聴者ｙが回答領域ａに進入してきた場合を示す。（１）〜（３）のいずれの場合も、視聴者ｘと同様、視聴者ｙの足下にも波紋が広がる。

（４）は、視聴者ｘに対して回答ボールが落ちてきたときに、視聴者ｙが回答領域ａに進入してきた場合を示す。（５）は、視聴者ｘが回答ボールを踏んでいるときに視聴者ｙが回答領域ａに進入してきた場合を示す。（６）は、視聴者ｘの回答ボールが複製元に移動しているときに視聴者ｙが回答領域ａに進入してきた場合を示す。（７）は、円グラフの表示時に視聴者ｙが回答領域ａに進入してきた場合を示す。（４）〜（７）のいずれも場合も、視聴者ｙに対して回答ボールが落ちてくる。

以下、上記のような表示を実現するシステムについて説明する。図１０は、本発明の実施の形態におけるシステム構成例を示す図である。図１０において、アンケート表示装置１は、垂直プロジェクタ２０ｖ、水平プロジェクタ２０ｈ、視聴者検出器３０、検出情報処理装置４０、及び画像処理装置１０等を含む。垂直プロジェクタ２０ｖ及び水平プロジェクタ２０ｈと画像処理装置１０とは、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等、画像をデジタル信号で伝送する通信インタフェースを介して接続される。また、画像処理装置１０と検出情報処理装置４０とは、検出情報処理装置４０と通信ケーブルを介して接続される。検出情報処理装置４０と視聴者検出器３０とは、例えば、通信ケーブルによって接続される。

垂直プロジェクタ２０ｖは、質問領域ｑに対して画像の投影を行うプロジェクタである。水平プロジェクタ２０ｈは、回答領域ａに対して画像の投影を行うプロジェクタである。視聴者検出器３０は、視聴者の動作等を検出するセンサである。例えば、Ｋｉｎｅｃｔ（キネクト）等の距離画像センサが視聴者検出器３０として利用されてもよい。検出情報処理装置４０は、視聴者検出器３０から出力されるセンサデータを、画像処理装置１０にとって都合の良い形式の情報（以下、「検出情報」という。）に加工するコンピュータである。

画像処理装置１０は、検出情報処理装置４０から入力される検出情報に応じ、垂直プロジェクタ２０ｖ及び水平プロジェクタ２０ｈによって投影される画像について、図１〜図９に示したような描画処理を実行するコンピュータである。

画像処理装置１０は、ネットワークを介して集計装置５０に接続される。集計装置５０は、回答結果を集計するコンピュータである。集計装置５０には、ＨＤＭＩ等の通信インタフェースを介して集計用プロジェクタ６０が接続される。集計用プロジェクタ６０は、集計装置５０による集計結果を示す画像を集計領域ｇ１に投影するプロジェクタである。

なお、検出情報処理装置４０、画像処理装置１０、及び集計装置５０は、ＰＣ（Personal Computer）等を用いて実現されてもよい。また、検出情報処理装置４０、画像処理装置１０、及び集計装置５０は、共通のコンピュータを用いて実現されてもよい。また、垂直プロジェクタ２０ｖ、水平プロジェクタ２０ｈ、及び集計用プロジェクタ６０としては、ミラー反射式の超短焦点のプロジェクタが好適である。

また、アンケート表示装置１は、１対の質問領域ｑ及び回答領域ａに対して１つ設置される。したがって、図１に示したような構成においては、質問領域ｑ１及び回答領域ａ１に対するアンケート表示装置１と、質問領域ｑ２及び回答領域ａ２に対するアンケート表示装置１とが設置される。

アンケート表示装置１は、例えば、図１１及び図１２に示されるように構成されてもよい。図１１は、アンケート表示装置の外観の一例を示す図である。図１１において（１）は、アンケート表示装置１の筐体を背面側（裏面側）から見た図である。

（２）は、アンケート表示装置１の筐体を正面側から見た図である。アンケート表示装置１の筐体は、窓ｗ１、ｗ２、及びｗ３の３つの窓を有する。窓ｗ１は、垂直プロジェクタ２０ｖ用の窓である。窓ｗ２は、視聴者検出器３０用の窓である。窓ｗ３は、水平プロジェクタ２０ｈ用の窓である。

図１２は、アンケート表示装置の内部構造の一例を示す図である。図１２では、台ｔ１の上に垂直プロジェクタ２０ｖ及び視聴者検出器３０が載置されている。垂直プロジェクタ２０ｖは、窓ｗ１を通して、質問領域ｑに画像を投影可能なように載置される。視聴者検出器３０は、窓ｗ２を通して視聴者の動作を検出可能なように載置される。また、台ｔ２の上に、水平プロジェクタ２０ｈが載置されている。水平プロジェクタ２０ｈは、窓ｗ３を通して回答領域ａに画像を投影可能なように載置される。更に、台ｔ３の上に画像処理装置１０が載置され、画像処理装置１０の上に検出情報処理装置４０が載置されている。

図１３は、アンケート表示装置及び集計用プロジェクタの設置場所の一例を示す図である。アンケート表示装置１は、その背面が質問領域ｑが形成される壁面に対向するように設置される。

また、集計用プロジェクタ６０は、集計領域ｇ１が形成される壁面に画像を投影可能なように設置される。なお、図１３では、集計用プロジェクタ６０が２つ設置された例が示されている。図１３は、集計領域ｇ１の全部を一つのプロジェクタによって投影することができない場合、左半分を一方の集計用プロジェクタ６０によって投影し、右半分を他方の集計用プロジェクタ６０によって投影する例を示したものである。

図１４は、本発明の実施の形態における画像処理装置のハードウェア構成例を示す図である。図１４の画像処理装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。

画像処理装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って画像処理装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェース、及びプロジェクタと接続するためのインタフェース等をまとめて表現したものである。

なお、検出情報処理装置４０及び集計装置５０等も、図１４に示されるようなハードウェア構成を有していてもよい。

図１５は、本発明の実施の形態における画像処理装置及び集計装置の機能構成例を示す図である。図１５において、画像処理装置１０は、画像出力部１１、視聴者監視部１２、質問描画部１３、回答描画部１４、及び回答受付部１５等を有する。これら各部は、画像処理装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。画像処理装置１０は、また、視聴者情報記憶部１６及び質問記憶部１７等を利用する。これら各記憶部は、例えば、補助記憶装置１０２、又は画像処理装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。

画像出力部１１は、投影対象の画像（以下、「投影対象画像」という。）を、垂直プロジェクタ２０ｖ及び水平プロジェクタ２０ｈに出力する。例えば、１つの投影対象画像の半分の領域に係る画像（以下、「質問領域画像」という。）が垂直プロジェクタ２０ｖに出力され、他の半分に係る画像（以下、「回答領域画像」という。）が水平プロジェクタに出力される。すなわち、質問領域画像は、垂直プロジェクタ２０ｖによって質問領域ｑに投影される。回答領域画像は、水平プロジェクタ２０ｈによって回答領域ａに投影される。このような制御は、マルチモニタ又はマルチディスプレイといった仕組みと同様に行うことができる。

視聴者監視部１２は、視聴者の動作を監視し、回答領域ａへの視聴者の進入、回答領域ａ内の視聴者の移動、回答領域ａからの視聴者の退出等を検出する。回答領域ａに進入した視聴者に関する情報は、当該視聴者が回答領域ａから退出するまで視聴者情報記憶部１６に記憶される。

質問描画部１３は、質問領域画像に対して質問の描画を行う。質問領域画像に対する質問の描画は、質問領域ｑへの質問の投影（表示）と等価である。質問の内容等は、予め質問記憶部１７に記憶されている。

回答描画部１４は、質問領域画像及び回答領域画像に対して回答ボールの描画を行う。質問領域画像又は回答領域画像に対する回答ボールの描画は、質問領域ｑ又は回答領域ａへの回答ボールの投影（表示）と等価である。

回答受付部１５は、回答領域ａにおいて、回答ボールが一定時間継続して踏まれていたことを検出することで、視聴者からの回答を受け付ける。

一方、集計装置５０は、回答集計部５１を有する。回答集計部５１は、集計装置５０にインストールされた１以上のプログラムが、集計装置５０のＣＰＵに実行させる処理により実現される。集計装置５０は、また、集計結果記憶部５２を利用する。集計結果記憶部５２は、例えば、集計装置５０の補助記憶装置、又は集計装置５０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。

回答集計部５１は、視聴者によって選択された回答を質問ごとに集計する。集計結果は、集計結果記憶部５２に記憶される。回答集計部５１は、また、集計用プロジェクタ６０によって集計領域ｇ１に投影される画像の描画を行う。

以下、画像処理装置１０又は集計装置５０が実行する処理手順について説明する。図１６は、視聴者監視部が実行する処理手順の一例を説明するためのフローチャートである。

視聴者監視部１２には、検出情報処理装置４０から、継続的に又は定期的に、視聴者検出器３０によって検出された各視聴者に関する検出情報が入力される。検出情報には、例えば、視聴者の体の各部の位置情報等が含まれる。本実施の形態では、視聴者の左右の足の位置情報が検出情報に含まれていればよい。

視聴者監視部１２は、新規の視聴者の検出情報が検出情報処理装置４０から受信されると（Ｓ１０１でＹｅｓ）、当該視聴者が回答領域ａに進入しているか否かを判定する（Ｓ１０２）。当該判定は、回答領域ａの範囲情報と、検出情報とに基づいて行うことができる。回答領域ａの範囲情報及び視聴者の検出情報は、例えば、回答領域画像及び質問領域画像を含む投影対象画像の座標系における座標値を利用して表現されてもよい。なお、新規の視聴者とは、視聴者情報が視聴者情報記憶部１６に登録されていない視聴者をいう。

視聴者監視部１２は、視聴者が回答領域ａに進入していないと判定した場合（Ｓ１０２でＮｏ）、当該視聴者に関してステップＳ１０３以降を実行しない。一方、視聴者監視部１２は、視聴者が回答領域ａに進入していると判定した場合（Ｓ１０２でＹｅｓ）、当該視聴者に対応する視聴者情報を視聴者情報記憶部１６に登録する（Ｓ１０３）。

図１７は、視聴者情報記憶部の構成例を示す図である。視聴者情報記憶部１６には、視聴者ごとにレコード（当該レコードに記憶される情報を「視聴者情報」という。）が記憶される。視聴者情報は、視聴者ＩＤ、位置情報、質問ＩＤ、回答位置情報、及び回答フラグ等を含む。視聴者ＩＤは、視聴者情報の登録時に視聴者監視部１２によって自動的に割り当てられる、視聴者ごとの識別情報である。位置情報は、視聴者の位置を示す情報である。本実施の形態では、左右の足先のそれぞれの位置情報であるとする。質問ＩＤは、視聴者に対して提示された質問の識別情報である。回答位置情報は、視聴者の足下に表示されている各回答ボール（２つの選択肢のそれぞれに対応する回答ボール）の位置情報である。回答フラグは、質問ＩＤに係る質問に対して回答済みか否かを示す情報である。回答済みである場合、回答フラグにはＴＲＵＥが記録され、未回答である場合、回答フラグにはＦＡＬＳＥが記録される。なお、位置情報及び回答位置情報は、予め規定された３次元座標系における座標値でもよい。

ステップＳ１０３の時点では、視聴者ＩＤ及び位置情報が記録された新たな視聴者情報が視聴者情報記憶部１６に記憶される。位置情報は、検出情報から抽出される。

続いて、視聴者監視部１２は、新たな視聴者が回答領域ａへ進入したことを示す通知（以下、「視聴者進入通知」という。）を質問描画部１３及び回答描画部１４へ送信する（Ｓ１０４）。視聴者進入通知には、当該視聴者の視聴者情報が含まれる。続いて、視聴者監視部１２は、回答領域画像において、当該視聴者に対応する視聴者情報の位置情報に係る位置に波紋を描画する（Ｓ１０５）。その結果、当該視聴者の足下に波紋が投影される。

一方、既存の視聴者の検出情報が検出情報処理装置４０から受信されると（Ｓ１０６でＹｅｓ）、視聴者監視部１２は、当該視聴者が回答領域ａから退出したか否かを判定する（Ｓ１０７）。当該判定は、回答領域ａの範囲情報と、検出情報とに基づいて行うことができる。なお、既存の視聴者とは、視聴者情報が視聴者情報記憶部１６に登録されている視聴者をいう。

視聴者監視部１２は、当該視聴者が回答領域ａから退出したと判定した場合（Ｓ１０７でＹｅｓ）、視聴者が退出したことを示す通知（以下、「視聴者退出通知」という。）を質問描画部１３及び回答描画部１４へ送信する（Ｓ１０８）。視聴者退出通知には、当該視聴者の視聴者情報が含まれる。続いて、視聴者監視部１２は、当該視聴者の視聴者情報を視聴者情報記憶部１６から削除する（Ｓ１０９）。

一方、当該視聴者が回答領域ａから退出していないと判定した場合（Ｓ１０７でＮｏ）、視聴者監視部１２は、当該視聴者に対して視聴者情報記憶部１６に記憶されている視聴者情報の位置情報を、受信された検出情報から抽出される位置情報によって更新する（Ｓ１１０）。続いて、視聴者監視部１２は、視聴者が移動したことを示す通知（以下、「視聴者移動通知」という。）を回答描画部１４に送信する（Ｓ１１１）。視聴者移動通知には、更新後の視聴者情報が含まれる。

続いて、視聴者監視部１２は、回答領域画像において、当該視聴者に対応する視聴者情報の位置情報に係る位置に波紋を描画する（Ｓ１１２）。その結果、当該視聴者の足下に波紋が投影される。

図１８は、質問描画部が実行する処理手順の一例を説明するためのフローチャートである。

質問描画部１３は、処理を開始すると、質問領域画像にスクリーンセーバの動画を描画する（Ｓ２０１）。この状態において、視聴者進入通知を視聴者監視部１２から受信すると（Ｓ２０２でＹｅｓ）、質問描画部１３は、いずれかの質問が質問領域画像に描画されていれば（Ｓ２０３でＮｏ）、当該視聴者進入通知を無視する。一方、質問が質問領域画像に描画されていなければ（Ｓ２０３でＹｅｓ）、質問描画部１３は、質問記憶部１７に記憶されている質問の中から描画対象とする質問を一つ選択する（Ｓ２０４）。

図１９は、質問記憶部の構成例を示す図である。図１９に示されるように、質問記憶部１７には、質問ごとに、質問ＩＤ、質問内容、回答Ａ、及び回答Ｂ等が記憶されている。

質問ＩＤは、質問ごとの識別情報である。質問内容は、質問の内容を示す文字列である。回答Ａは、質問に対する回答の一方の選択肢を示す文字列である。回答Ｂは、質問に対する回答の他方の選択肢を示す文字列である。なお、画像によって選択肢が表現される場合には、当該画像が格納されたファイルのファイル名等が回答Ａ及び回答Ｂの情報に含まれてもよい。

本実施の形態では、全ての質問について、回答の選択肢が２つ（回答Ａ又は回答Ｂ）で有る例が示されているが、３つ以上の選択肢を回答に含む質問が設定されてもよい。

ステップＳ２０４では、例えば、ランダムに質問が選択されてもよい。又は、最後に描画された質問の次の質問が選択されてもよい。他の方法によって質問が選択されてもよい。

続いて、質問描画部１３は、選択された質問の質問ＩＤを、視聴者情報記憶部１６に記憶されている全ての視聴者情報に設定する（Ｓ２０５）。この際、当該全ての視聴者情報の回答位置情報は削除（クリア）される。また、当該全ての視聴者情報の回答フラグは、ＦＡＬＳＥに設定される。

続いて、質問描画部１３は、選択された質問の質問内容を、質問領域画像に描画する（Ｓ２０６）。その結果、図３の（１）〜（６）に示したような表示が実現される。

質問の描画が完了すると、質問描画部１３は、質問及の描画の完了を示す通知（以下、「質問描画完了通知」という。）を、回答描画部１４に送信する（Ｓ２０７）。質問描画完了通知には、描画された質問の質問ＩＤが含まれる。なお、質問描画部１３は、質問描画完了通知を送信した時点から、時間の経過の計測を開始する。以下、当該時間からの経過時間を、「質問表示時間」という。

質問表示時間が一定時間（例えば、３０秒等）以上になると（Ｓ２０８でＹｅｓ）、ステップＳ２０４以降が再実行される。すなわち、描画される（投影される）質問が、一定時間間隔で自動的に切り替わる。

また、質問描画部１３は、視聴者退出通知を視聴者監視部１２から受信すると（Ｓ２０９でＹｅｓ）、回答領域ａ内の視聴者数が０であるか否かを判定する（Ｓ２１０）。当該判定は、視聴者情報記憶部１６を参照することで行うことができる。視聴者情報記憶部１６に記憶されている視聴者情報の数が、回答領域ａ内の視聴者の数を示すからである。

回答領域ａ内の視聴者数が０であれば（Ｓ２１０でＹｅｓ）、ステップＳ２０１に戻る。その結果、スクリーンセーバが質問領域ｑに表示される。

図２０は、回答描画部が実行する処理手順の一例を説明するためのフローチャートである。

回答描画部１４は、質問描画完了通知を質問描画部１３から受信すると（Ｓ３０１でＹｅｓ）、当該質問描画完了通知に含まれている質問ＩＤに対応する回答Ａ及び回答Ｂのそれぞれの回答ボール等を質問領域画像に描画する（Ｓ３０２）。その結果、図４の（１）〜（５）又は図５の（１）〜（５）に示したような表示が実現される。なお、質問描画完了通知に含まれている質問ＩＤに対応する回答Ａ及び回答Ｂは、質問記憶部１７から取得可能である。

続いて、回答描画部１４は、回答位置情報に値が記憶されていない全ての視聴者情報を視聴者情報記憶部１６から取得する（Ｓ３０３）。続いて、回答描画部１４は、質問領域画像における各回答ボールの複製を、回答領域画像において、取得された各視聴者情報に係る各視聴者の足下に対応する位置へ移動させる（Ｓ３０４）。すなわち、図６の（２）に示したような表示が実現される。なお、各視聴者の足下の位置は、当該各視聴者情報の位置情報に基づいて特定可能である。例えば、視聴者情報の位置情報が示す位置から質問領域ｑが形成された壁面の方向へ所定距離ずれた位置に回答ボールが移動されてもよい。そうすることで、視聴者のつま先の少し前に回答ボールを表示することができる。

続いて、回答描画部１４は、ステップＳ３０３において取得された各視聴者情報に対応する、視聴者情報記憶部１６に記憶されている各視聴者情報の回答位置情報に、それぞれの回答ボールの表示位置を記録する（Ｓ３０５）。

また、質問領域画像に回答ボールが描画されている状態（質問領域ｑに質問と回答ボールとが表示されている状態）において（Ｓ３０６でＹｅｓ）、回答描画部１４が視聴者進入通知を受信した場合（Ｓ３０７でＹｅｓ）、ステップＳ３０３以降が実行される。その結果、図９の（４）〜（７）に示した表示が実現される。

また、質問領域画像に回答ボールが描画されている状態において（Ｓ３０６でＹｅｓ）、回答描画部１４が視聴者移動通知を受信した場合（Ｓ３０８でＹｅｓ）、回答描画部１４は、視聴者移動通知に係る視聴者の足が２つの回答ボールのいずれかの範囲内に含まれているか否かを判定する（Ｓ３０９）。すなわち、当該視聴者が、２つの回答ボールのうちのいずれかを踏んでいるか否かが判定される。当該判定は、視聴者移動通知に含まれている視聴者情報に含まれている位置情報と、当該視聴者情報に含まれている回答位置情報とに基づいて行うことができる。

回答描画部１４は、回答ボールが踏まれていないと判定した場合（Ｓ３０９でＮｏ）、視聴者移動通知に含まれている視聴者情報の回答フラグがＦＡＬＳＥであるか否かを判定する（Ｓ３１０）。当該回答フラグがＦＡＬＳＥである場合（すなわち、視聴者移動通知に係る視聴者が、表示中の質問に対して未回答である場合）（Ｓ３１０でＹｅｓ）、回答描画部１４は、視聴者移動通知に含まれている視聴者情報の位置情報が示す位置の近辺（所定の範囲内）に、回答ボールの描画位置を移動する（Ｓ３１１）。すなわち、回答ボールが視聴者の移動に伴って（視聴者の移動に追随して）移動する。この際、回答描画部１４は、視聴者移動通知に含まれている視聴者情報に対応する、視聴者情報記憶部１６に記憶されている視聴者情報の回答位置情報を、回答ボールの移動後の位置を示す情報に更新する。なお、当該回答フラグがＴＲＵＥである場合（Ｓ３１０でＮｏ）、ステップＳ３１１は実行されない。したがって、この場合、当該視聴者の足下には回答ボールは表示されない。

一方、回答描画部１４は、回答ボールが踏まれている判定した場合（Ｓ３０９でＮｏ）、回答が選択されたことを示す通知（以下、「回答選択通知」という。）を、回答受付部１５に送信する（Ｓ３１０）。回答選択通知には、視聴者移動通知に含まれている視聴者情報の視聴者ＩＤと、踏まれた回答ボールに対応する回答を示す情報（以下、「選択回答情報」という。）とが含まれる。選択回答情報の内容は、例えば、「回答Ａ」又は「回答Ｂ」である。

また、質問領域画像に回答ボールが描画されている状態において（Ｓ３０６でＹｅｓ）、回答描画部１４が視聴者退出通知を受信した場合（Ｓ３１３でＹｅｓ）、回答描画部１４は、視聴者退出通知に係る視聴者に対して回答ボールを描画済みであるか否かを判定する（Ｓ３１４）。当該判定は、視聴者退出通知に含まれている視聴者情報の回答位置情報に値が記録されているか否かに基づいて行うことができる。当該回答位置情報に値が記録されている場合（すなわち、当該視聴者に対して回答ボールが描画されている場合）（Ｓ３１４でＹｅｓ）、回答描画部１４は、当該回答ボールを回答領域画像から消去する（Ｓ３１５）。

図２１は、回答受付部が実行する処理手順の一例を説明するためのフローチャートである。

回答受付部１５は、回答選択通知を回答描画部１４から受信すると（Ｓ４０１でＹｅｓ）、当該回答選択通知に含まれている視聴者ＩＤに対応する視聴者情報を視聴者情報記憶部１６から取得する（Ｓ４０２）。続いて、回答受付部１５は、当該回答選択通知に含まれている選択回答情報に係る回答に対して回答領域画像に描画されている回答ボールを、段階的に拡大する（Ｓ４０３）。回答ボールを踏んでいる足が移動しない状態が（Ｓ４０４でＹｅｓ）、一定時間（例えば、３秒等）継続するまで（Ｓ４０５でＮｏ）、ステップＳ４０２及びＳ４０３が繰り返される。その結果、図７の（２）に示した表示が実現される。一定時間が経過する前に、回答ボールを踏んでいる足が移動した場合（Ｓ４０４でＮｏ）、回答選択通知は無視される。

なお、回答ボールを踏んでいる足の移動の有無は、繰り返し実行されるステップＳ４０２において取得される視聴者情報に基づいて判定することができる。すなわち、前回取得された視聴者情報の位置情報と、今回取得された視聴者情報との位置情報とが比較されればよい。

回答ボールを踏んでいる足が一定時間移動しなかった場合（Ｓ４０５でＹｅｓ）、回答受付部１５は、受信された回答選択通知に含まれている視聴者ＩＤに対応付けられて視聴者情報記憶部１６に記憶されている視聴者情報の回答フラグをＴＲＵＥに更新する（Ｓ４０６）。

続いて、回答受付部１５は、当該視聴者情報に含まれている質問ＩＤに対応する集計結果を、集計装置５０の集計結果記憶部５２から取得する（Ｓ４０７）。

図２２は、集計結果記憶部の構成例を示す図である。図２２に示されるように、集計結果記憶部５２は、質問ごとに、質問ＩＤ、回答Ａ合計、及び回答Ｂ合計が記憶される。回答Ａ合計は、回答Ａを選択した視聴者の合計数である。回答Ｂ合計は、回答Ｂを選択した視聴者の合計数である。

ステップＳ４０７では、対象の質問ＩＤに対応するレコードが集計結果記憶部５２から取得される。

続いて、回答受付部１５は、取得された集計結果を示す円グラフを質問領域画像に描画する（Ｓ４０８）。続いて、回答受付部１５は、選択された（踏まれた）回答ボールを、回答領域画像から質問領域画像における当該回答ボールの複製元の位置へ移動する（Ｓ４０９）。その結果、図７の（３）及び（４）に示した表示が実現される。

続いて、回答受付部１５は、質問領域画像に描画した円グラフを更新する（Ｓ４１０）。具体的には、選択された回答（回答Ａ又は回答Ｂ）の合計数に１が加算される。その結果、図７の（５）に示したような表示が実現される。

続いて、回答受付部１５は、回答が確定したことを示す通知（以下、「回答確定通知」という。）を集計装置５０の回答集計部５１へ送信する（Ｓ４１１）。回答確定通知には、回答選択通知に含まれていた視聴者ＩＤに対応する視聴者情報の質問ＩＤと、回答選択通知に含まれていた選択回答情報とが含まれる。

図２３は、回答集計部が実行する処理手順の一例を説明するためのフローチャートである。

回答集計部５１は、回答確定通知を受信すると（Ｓ５０１でＹｅｓ）、集計結果記憶部５２に記憶されている集計結果を更新する（Ｓ５０２）。具体的には、当該回答確定通知に含まれている質問ＩＤに対応するレコードにおいて、当該回答確定通知に含まれている選択回答情報に対応する合計数に１が加算される。

続いて、回答集計部５１は、集計領域ｇ１に投影される画像において、集計結果が更新された円グラフの内容を、更新後の集計結果に基づいて更新する（Ｓ５０３）。

上述したように、本実施の形態によれば、デジタルサイネージの視聴者に対して質問を提示することができ、当該視聴者から質問に対する回答を受け付けることができる。その結果、所定領域へ表示される画像について視聴者との対話性を向上させることができる。

なお、本実施の形態では、質問が表示される例が示されたが、質問が表示されずに回答のみが表示されてもよい。例えば、何らかの商品が提供される場において、顧客が所望する商品の画像を含む回答ボールが表示されてもよい。表示された回答ボールの中から顧客によって選択された回答ボールに対応する商品が顧客に提供されてもよい。

また、回答領域ａは、床ではなく、テーブル等の台の表面に形成されてもよい。この場合、回答ボールの選択は、手によって行われてもよい。

また、回答領域ａは、質問領域ｑと同じ面に形成されてもよい。例えば、回答領域ａ及び質問領域ｑが壁面（略垂直面）に形成されてもよいし、双方が床面（略水平面）に形成されてもよい。

なお、本実施の形態において、質問領域ｑが形成される面は、第１の投影面の一例である。質問領域画像は第１の画像の一例である。垂直プロジェクタ２０ｖは、第１の画像投影装置の一例である。回答領域ａが形成される面は、第２の投影面の一例である。回答領域画像は第２の画像の一例である。水平プロジェクタ２０ｈは、第２の画像投影装置の一例である。視聴者は、進入者の一例である。視聴者監視部１２は、監視部の一例である。回答受付部１５は、受付部の一例である。質問は第１コンテンツの一例である。回答は、第２コンテンツの一例である。質問描画部１３は、第１コンテンツ描画部の一例である。回答描画部１４は、第２コンテンツ描画部の一例である。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１ アンケート表示装置
１０ 画像処理装置
１１ 画像出力部
１２ 視聴者監視部
１３ 質問描画部
１４ 回答描画部
１５ 回答受付部
１６ 視聴者情報記憶部
１７ 質問記憶部
２０ｖ 垂直プロジェクタ
２０ｈ 水平プロジェクタ
３０ 視聴者検出器
４０ 検出情報処理装置
５０ 集計装置
５１ 回答集計部
５２ 集計結果記憶部
６０ 集計用プロジェクタ
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
Ｂ バス

特開２０１０−２１８４８９号公報

Claims (5)

1. 第１の投影面に第１の画像を投影する第１の画像投影装置と、第２の投影面へ第２の画像を投影する第２の画像投影装置とに接続された画像処理装置であって、
   前記第２の投影面への進入者を検出し、前記進入者の動作を監視する監視部と、
   前記第２の投影面への進入者の検出に応じ、前記進入者に対する第１コンテンツを前記第１の画像に描画する第１コンテンツ描画部と、
   前記第１コンテンツに対して前記進入者が回答するための第２コンテンツを前記第２の画像に描画する第２コンテンツ描画部と、
   前記第２コンテンツに対して前記進入者によって回答されたことが前記監視部によって検出されると、前記第１コンテンツに対する前記進入者の回答として受け付ける受付部と、
   を有することを特徴とする画像処理装置。
2. 前記第２コンテンツ描画部は、前記監視部によって検出される前記進入者の移動に伴って、前記第２コンテンツを移動させる、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記第２コンテンツ描画部は、前記第２コンテンツを前記第１の画像に描画し、前記第１の画像に描画された前記第２コンテンツを前記第２の画像に移動させる、
   ことを特徴とする請求項２記載の画像処理装置。
4. 第１の投影面に第１の画像を投影する第１の画像投影装置と、第２の投影面へ第２の画像を投影する第２の画像投影装置とに接続された画像処理装置が、
   前記第２の投影面への進入者を検出し、前記進入者の動作を監視する監視手順と、
   前記第２の投影面への進入者の検出に応じ、前記進入者に対する第１コンテンツを前記第１の画像に描画する第１コンテンツ描画手順と、
   前記第１コンテンツに対して前記進入者が回答するための第２コンテンツを前記第２の画像に描画する第２コンテンツ描画手順と、
   前記第２コンテンツに対して前記進入者によって回答されたことが前記監視手順において検出されると、前記第１コンテンツに対する前記進入者の回答として受け付ける受付手順と、
   を実行することを特徴とする画像処理方法。
5. 第１の投影面に第１の画像を投影する第１の画像投影装置と、第２の投影面へ第２の画像を投影する第２の画像投影装置とに接続された画像処理装置に、
   前記第２の投影面への進入者を検出し、前記進入者の動作を監視する監視手順と、
   前記第２の投影面への進入者の検出に応じ、前記進入者に対する第１コンテンツを前記第１の画像に描画する第１コンテンツ描画手順と、
   前記第１コンテンツに対して前記進入者が回答するための第２コンテンツを前記第２の画像に描画する第２コンテンツ描画手順と、
   前記第２コンテンツに対して前記進入者によって回答されたことが前記監視手順において検出されると、前記第１コンテンツに対する前記進入者の回答として受け付ける受付手順と、
   を実行させることを特徴とするプログラム。

Images