JP2017123505A - コンテンツ再生装置、コンテンツ再生方法及びプログラム - Google Patents

Abstract

【課題】設置周囲の環境等からの影響を勘案し、音声による情報を確実に伝達させる。
【解決手段】画像情報、第１の音声情報、及び第２の音声情報を含むコンテンツ情報を取得して記憶するコンテンツメモリ20と、画像情報に基づいた投影を行なう投影系21〜25と、第１の音声情報により音処理部36を用いて無指向性スピーカSPＡにより放音させ、撮像部IMでの顔認識処理により人物の到来を受付けて、第２の音声情報により音処理部36を用いて指向性スピーカSP１により正面方向に放音させるＣＰＵ32とを備える。
【選択図】図３

Description

本発明は、例えば店舗等で不特定多数の顧客に商品の説明を実施する必要がある環境に好適なコンテンツ再生装置、コンテンツ再生方法及びプログラムに関する。

閲覧者に対し、印象を高めることができる映像出力装置を提供するべく、例えば人型形状のスクリーンに人物を投影するようにした技術が提案されている。（例えば、特許文献１）

特開２０１１−１５０２２１号公報

上記特許文献に記載された技術も含め、人型など何らかのキャラクタの形状を模したスクリーンを用いる表示装置では、投影面積の多くを人やキャラクタの画像が占めるため、実際に訴求したい情報、例えば商品の情報等を表示するための領域が狭くなり、その分だけ音声コンテンツでそれらの情報を表現する必要性が生じることになる。

ところで、この種の表示装置を比較的狭小な店舗内で複数台設置して運用することを考えた場合、互いの音声コンテンツが混ざって個々の装置からの音声内容が聞き取り難くなり、来店客に情報が伝わらなくなる可能性がある。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、設置される周囲の状態を勘案し、音声による情報を確実に伝達させることが可能なコンテンツ再生装置、コンテンツ再生方法及びプログラムを提供することにある。

本発明の一態様は、画像の表示を行なう表示部と、第１の音声情報を第１のスピーカにより放音させる第１の音声出力部と、上記表示部での画像表示、及び上記第１の音声出力部での放音の少なくとも一方に対する応答を受付け、受付けた応答結果により第２の音声情報を上記第１のスピーカより指向性の高い第２のスピーカにより放音させる第２の音声出力部と、を備えることを特徴とする。

本発明によれば、設置される周囲の状態からの影響を勘案し、音声による情報を確実に伝達させることが可能となる。

本発明の一実施形態に係るサイネージシステム全体の構成を示す図。 同実施形態に係るサイネージ装置の外観構成を示す斜視図。 同実施形態に係るサイネージ装置の電子回路の機能構成を示すブロック図。 同実施形態に係るサイネージ装置による第１の動作例の処理内容を示すフローチャート。 同実施形態に係るサイネージ装置による第２の動作例の処理内容を示すフローチャート。 同実施形態に係るサイネージ装置による第３の動作例の処理内容を示すフローチャート。 同実施形態に係るサイネージ装置による第４の動作例の処理内容を示すフローチャート。 同実施形態に係るサイネージ装置による第５の動作例の処理内容を示すフローチャート。

以下、本発明を店舗で使用されるサイネージシステムに適用した場合の一実施形態について、図面を参照して説明する。

［構成］
図１は、同システム全体の接続構成を示すブロック図である。店舗フロア内に複数のサイネージ装置１０，１０，‥‥が設置される。これらサイネージ装置１０，１０，‥‥が、無線ＬＡＮやインターネットを含むネットワークＮＷを介して、外部の販売支援サーバＳＶと接続される。

販売支援サーバＳＶは、各サイネージ装置１０，１０，‥‥で再生するための複数のコンテンツデータを記憶するデータベース（ＤＢ）を備える。

図２は、上記サイネージ装置１０の外観構成を示す斜視図である。サイネージ装置１０はプロジェクタ技術を用いた電子マネキンであり、装置筐体１０Ａの上面前端側に、交換可能なサイネージボードＳＢが立設される。このサイネージボードＳＢは、サイネージ１０の本来は矩形の投影可能領域内に収まるように設置された、任意形状を有する半透過板状の構成を有する。このサイネージボードＳＢは、サイネージ装置１０に対して着脱可能である。

サイネージボード（表示部）ＳＢは、装置筐体１０Ａの上面に設けられた、ここでは図示しないリアプロジェクション方式の投影レンズから出射された光像が背面側から投影されることで、形状に合致した画像を表示する。

このサイネージボードＳＢの下部には複数、ここでは４個の操作ボタンＢ１〜Ｂ４を合わせて投影しており、当該ボタン中のいずれかを来店客がタッチ操作した場合、ボード取付け基部に配列された、それぞれが指向性を有するライン状の赤外線センサアレイ（不図示）により当該操作位置が検知可能となっている。

さらに装置筐体１０Ａの前面の略中央には、このサイネージ装置１０の前面側の環境を撮影するための超広角光学系の撮像部ＩＭと、無指向性スピーカＳＰＡ、及び指向性スピーカＳＰ１を備える。

無指向性スピーカＳＰＡは、サイネージ装置１０の周囲の広い範囲にわたって、サイネージ装置１０からの距離に応じた均等な音場での放音を行なう。

さらに装置筐体１０Ａの前面左右コーナ部には指向性スピーカＳＰ２，ＳＰ３を備えると共に、装置筐体１０Ａの左右側面の後端側にも指向性スピーカＳＰ４，ＳＰ５を備える。

上記指向性スピーカＳＰ１〜ＳＰ５は、図示する如く互いに異なる方向に向けて設置された、例えば３０°程度の超指向性を有するスピーカである。

この種の指向性スピーカは、例えばオーディオ・スポットライト（登録商標）やハイパーソニック・サウンド（ＨＳＳ）（登録商標）とも呼称され、超音波の振動により可聴域の音を生成するパラメトリック・スピーカ技術により実現される。

次に図３によりサイネージ１０の主として電子回路の機能構成を説明する。コンテンツメモリ２０には上記販売支援サーバＳＶから受信したコンテンツデータが記憶される。このコンテンツデータ（コンテンツ情報）は、複数の画像データと第１の音声データ、及び第２の音声データ、制御データ等から構成される。コンテンツデータ中の画像データは、後述するＣＰＵ３２により読出され、バスＢを介して投影画像駆動部２１に送られる。

投影画像駆動部２１は、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば１２０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、表示素子であるマイクロミラー素子２２を表示駆動する。

このマイクロミラー素子２２は、アレイ状に配列された複数個、例えばＷＸＧＡ（横１２８０画素×縦７６８画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。

一方で、光源部２３から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。光源部２３は、半導体発光素子であるＬＥＤを有し、Ｒ，Ｇ，Ｂの原色光を時分割で繰返し出射する。光源部２３が有するＬＥＤは、広義でのＬＥＤとして、ＬＤ（半導体レーザ）や有機ＥＬ素子を含むものとしても良い。

この光源部２３からの原色光が、ミラー２４で全反射して上記マイクロミラー素子２２に照射される。そして、マイクロミラー素子２２での反射光で光像が形成され、形成された光像が投影レンズ部２５を介して上記サイネージボードＳＢに背面側から投射される。

上記撮像部ＩＭは、サイネージ装置１０の正面方向を向いた超広角系の撮影レンズ部２７、及びこの撮影レンズ部２７の焦点位置に配設された固体撮像素子であるＣＭＯＳイメージセンサ２８を含む。

ＣＭＯＳイメージセンサ２８で得られる画像信号は、Ａ／Ｄ変換器２９でデジタル化された後、撮影画像処理部３０に送られる。

この撮影画像処理部３０は、画像処理専用のプロセッサで構成されるもので、上記ＣＭＯＳイメージセンサ２８を走査駆動して撮影動作を実行させ、撮影により得た画像データをデータファイル化して、後述するＣＰＵ３２に送出する。

加えて撮影画像処理部３０は、撮影により得た画像データに対する顔認識処理を実行し、顔全体の輪郭、顔を構成する各パーツである眉、目、鼻、口、耳の形状と配置バランス、目の下の涙袋やほうれい線、肌の色素の量、瞳の色などを認識、抽出することで、画像中の人物の性別、表情、年齢層、人種等を算出する。このような顔認識を下記する受付部で受付ける。

上記各回路の動作すべてを、受付部であるＣＰＵ３２が制御する。このＣＰＵ３２は、メインメモリ３３及びプログラムメモリ３４と直接接続される。メインメモリ３３は、例えばＳＲＡＭで構成され、ＣＰＵ３２のワークメモリとして機能する。プログラムメモリ３４は、電気的書換可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ３２が実行する動作プログラムや各種定型データ等を記憶する。

ＣＰＵ３２は、上記プログラムメモリ３４に記憶されている動作プログラムや定型データ等を読出し、メインメモリ３３に展開して記憶させた上で当該プログラムを実行することにより、このサイネージ１０を統括して制御する。

上記ＣＰＵ３２は、操作部３５からの操作信号に応じて各種投影動作を実行する。この操作部３５は、サイネージ１０の本体に備える、電源キーを含むいくつかの操作キーのキー操作信号、または上記サイネージボードＳＢの一部に仮想的に投影する上記操作ボタンＢ１〜Ｂ４への操作を検出する、上記赤外線センサアレイからの検出信号を受付け、受付けた操作に応じた信号を上記ＣＰＵ３２へ送出する。このようなボタン操作も受付部で受けつける。

上記ＣＰＵ３２はさらに、上記バスＢを介して音処理部３６、無線ＬＡＮインタフェース（Ｉ／Ｆ）３８と接続される。
音処理部３６は、ＰＣＭ音源等の音源回路を備え、投影動作時に上記コンテンツメモリ２０から読出されるコンテンツデータ中の第１の音声データ及び第２の音声データをそれぞれアナログ化し、上記無指向性スピーカＳＰＡと、指向性スピーカＳＰ１〜ＳＰ５のいずれかとを個別に駆動して放音させる。

無線ＬＡＮインタフェース３８は、無線ＬＡＮアンテナ３９を介して図示しない最寄りの無線ＬＡＮルータと接続し、データの送受を行なうもので、上記図１の販売支援サーバＳＶと交信する。

［第１の動作例］
次に上記実施形態の第１の動作例について説明する。
なお本動作例にあっては、コンテンツメモリ２０にデフォルトのコンテンツデータとして、例えば推薦商品を紹介する画像データと、当該商品を宣伝するための第１の音声データ、当該商品の詳細な情報や関連商品の情報を再生させるためのボタン操作をガイドするガイドメッセージ用の第２の音声データとを予め記憶しているものとする。

図４は、主として端末側の装置であるサイネージ装置１０で実行される、コンテンツの再生に係る動作を示すフローチャートである。

その処理当初にＣＰＵ３２は、コンテンツメモリ２０に予め記憶されているデフォルトのコンテンツデータを選択する（ステップＳ１０１）。この選択したコンテンツデータに関し、ＣＰＵ３２は画像データと上記無指向性スピーカＳＰＡで放音するための第１の音声データとを読出し対象として設定する（ステップＳ１０２）。

そして、この設定した条件に基づき、ＣＰＵ３２はコンテンツメモリ２０から順次コンテンツデータを読出させて、上記投影画像駆動部２１、マイクロミラー素子２２、光源部２３、ミラー２４、及び投影レンズ部２５からなる投影系によるサイネージボードＳＢへの画像投影と、音処理部３６による放音、ここでは無指向性スピーカＳＰＡでの第１の音声データの放音とを実行させる（ステップＳ１０３）。

同時にＣＰＵ３２は、上記撮像部ＩＭによるサイネージ装置１０前方の撮影と撮影画像処理部３０による撮影画像中の人物の顔認識とを実行させる（ステップＳ１０４）。この顔認識処理の結果から、ＣＰＵ３２は少なくとも一人分の顔認識を行なうことができたか否かにより、サイネージ装置１０の正面に人がいるか否かを判断する（ステップＳ１０５）。

ここで一人分の顔認識を行なうこともできず、サイネージ装置１０の正面には人がいないと判断した場合（ステップＳ１０５のＮｏ）、次にＣＰＵ３２は、この人がいない状態で予め設定された一定時間、例えば２［分］分が経過したか否かを判断する（ステップＳ１０６）。

人がいない状態で一定時間が経過していないと判断した場合（ステップＳ１０６のＮｏ）、ＣＰＵ３２は上記ステップＳ１０３からの処理に戻り、その時点の条件でのコンテンツ再生を継続する。

こうして人がいない状態でステップＳ１０３〜Ｓ１０６の処理を繰返し実行して一定時間が経過した時点で、上記ステップＳ１０６において一定時間が経過したと判断すると（ステップＳ１０６のＹｅｓ）、ＣＰＵ３２は上記ステップＳ１０１からの処理に戻り、デフォルトのコンテンツデータを選択する時点から同様の処理を実行する。

また上記ステップＳ１０５において、少なくとも一人分の顔認識を行なうことができ、サイネージ装置１０の正面に人がいると判断した場合、次にＣＰＵ３２はサイネージボードＳＢの操作ボタンＢ１〜Ｂ４への操作を促すガイドメッセージである第２の音声データをコンテンツメモリ２０から読出し、音処理部３６により、サイネージ装置１０の正面方向に対向している指向性スピーカＳＰ１から放音させるよう、追加設定する（ステップＳ１０７）。

その後、ＣＰＵ３２は操作ボタンＢ１〜Ｂ４に対する操作があったか否かを操作部３５からの入力により判断する（ステップＳ１０８）。

操作ボタンＢ１〜Ｂ４に対する操作がないと判断した場合（ステップＳ１０８）、ＣＰＵ３２は上記ステップＳ１０３からの処理に戻り、以後その時点で設定されている条件でのコンテンツ再生を継続する。

こうしてサイネージ装置１０の正面に少なくとも一人の来店客がいる状態で、ステップＳ１０３〜Ｓ１０５，Ｓ１０７，Ｓ１０８の処理を繰返し実行し、サイネージボードＳＢでの画像投影と無指向性スピーカＳＰＡによる放音と合わせて、サイネージ装置１０の正面にいる来店客にのみ聴くことが可能な操作ボタンＢ１〜Ｂ４の操作を促すガイドメッセージ音声を出力し続ける。

上記ステップＳ１０８において、サイネージボードＳＢの操作ボタンＢ１〜Ｂ４のいずれかが操作されたと操作部３５からの入力により判断した場合（ステップＳ１０８のＹｅｓ）、ＣＰＵ３２はその時点で操作されたボタンに対応するコンテンツデータの配信を、ネットワークＮＷを介して上記販売支援サーバＳＶにリクエストする（ステップＳ１０９）。

そして、このリクエストに応答して販売支援サーバＳＶから送られてくるコンテンツデータを受信し、受信したコンテンツデータをコンテンツメモリ２０に記憶させた上で、次に再生するコンテンツデータとして選択する（ステップＳ１１０）。

その後、ＣＰＵ３２は上記ステップＳ１０２からの処理に移行し、あらたに選択したコンテンツデータに関して、サイネージボードＳＢで投影するための画像データと無指向性スピーカＳＰＡ用の音声データとを設定して、新たなコンテンツデータによる再生を開始する。

本動作例によれば、サイネージ装置１０の正面にいる来店客に対してのみ、サイネージボードＳＢの操作ボタンＢ１〜Ｂ４の操作を促すガイドメッセージ音声を指向性スピーカＳＰ１により出力させることができるため、サイネージ装置１０の正面にはいないその他の来店客は、無指向性スピーカＳＰＡから出力される第１の音声データに基づく一般的な音声しか聞こえず、周囲の来店客に不要な情報を与えずに混乱させることがない。

加えて、サイネージ装置１０での再生コンテンツに興味を持ち、サイネージ装置１０の正面に位置する来店客には適切なガイドを行なうことができるので、当該来店客は落ち着いて操作ボタンＢ１〜Ｂ４への任意操作を行なうことができるようになる。

［第２の動作例］
次に上記実施形態の第２の動作例について説明する。
なお本動作例にあっては、コンテンツメモリ２０にデフォルトのコンテンツデータとして、例えば推薦商品を紹介する画像データと、当該商品を宣伝するための第１の音声データとを予め記憶しているものとする。

画像データの一部では、上記操作ボタンＢ１〜Ｂ４への操作を促す画像として、他の商品を紹介するコンテンツへの移行を指示するボタン画像と、第１の音声データで出力される音声の言語とは異なる他の言語の音声出力を指示するボタン画像が含まれているものとする。

図５は、主として端末側の装置であるサイネージ装置１０で実行される、コンテンツの再生に係る動作を示すフローチャートである。

その処理当初にＣＰＵ３２は、コンテンツメモリ２０に予め記憶されているデフォルトのコンテンツデータの画像データと、上記無指向性スピーカＳＰＡで放音するための第１の音声データとを読出し対象として設定する（ステップＳ２０１）。

そして、この設定した条件に基づき、ＣＰＵ３２はコンテンツメモリ２０から順次コンテンツデータを読出させて、上記投影画像駆動部２１、マイクロミラー素子２２、光源部２３、ミラー２４、及び投影レンズ部２５からなる投影系によるサイネージボードＳＢへの画像投影と、音処理部３６による放音、ここでは無指向性スピーカＳＰＡでの第１の音声データの放音とを実行させる（ステップＳ２０２）。

同時にＣＰＵ３２は、上記撮像部ＩＭによるサイネージ装置１０前方の撮影と、撮影画像処理部３０による撮影画像中の人物の顔認識とを実行させる（ステップＳ２０３）。この顔認識処理の結果から、ＣＰＵ３２は少なくとも一人分の顔認識を行なうことができたか否かにより、サイネージ装置１０の正面に人がいるか否かを判断する（ステップＳ２０４）。

ここで一人分の顔認識を行なうこともできず、サイネージ装置１０の正面には人がいないと判断した場合（ステップＳ２０４のＮｏ）、次にＣＰＵ３２は、この人がいない状態で予め設定された一定時間、例えば２［分］分が経過したか否かを判断する（ステップＳ２０５）。

人がいない状態で一定時間が経過していないと判断した場合（ステップＳ２０５のＮｏ）、ＣＰＵ３２は上記ステップＳ２０２からの処理に戻り、その時点の条件でのコンテンツ再生を継続する。

こうして人がいない状態でステップＳ２０２〜Ｓ２０５の処理を繰返し実行して一定時間が経過した時点で、上記ステップＳ２０５において一定時間が経過したと判断すると（ステップＳ２０５のＹｅｓ）、ＣＰＵ３２は上記ステップＳ２０１からの処理に戻り、デフォルトのコンテンツデータを選択する時点から同様の処理を実行する。

また上記ステップＳ２０４において、少なくとも一人分の顔認識を行なうことができ、サイネージ装置１０の正面に人がいると判断した場合、次にＣＰＵ３２は操作ボタンＢ１〜Ｂ４に対する操作があったか否かを操作部３５からの入力により判断する（ステップＳ２０６）。

操作ボタンＢ１〜Ｂ４に対する操作がないと判断した場合（ステップＳ２０６のＮｏ）、ＣＰＵ３２は上記ステップＳ２０２からの処理に戻り、以後その時点で設定されている条件でのコンテンツ再生を継続する。

こうしてサイネージ装置１０の正面に各なくとも一人の来店客がいる状態で、ステップＳ２０２〜Ｓ２０４，Ｓ２０６の処理を繰返し実行し、サイネージボードＳＢでの画像投影と無指向性スピーカＳＰＡによる放音によるコンテンツ再生を継続しながら、操作ボタンＢ１〜Ｂ４のいずれかに対する操作がなされるのを待機する。

ステップＳ２０６において、操作ボタンＢ１〜Ｂ４に対する操作があったと操作部３５からの入力により判断した場合（ステップＳ２０６のＹｅｓ）、次にＣＰＵ３２は操作されたボタンが、既に無指向性スピーカＳＰＡから出力している第１の音声データの言語と異なる言語を選択するためのものであるか否かを判断する（ステップＳ２０７）。

ここで操作されたボタンが、第１の音声データの言語と異なる言語を選択するためのものではないと判断した場合（ステップＳ２０７のＮｏ）、その操作されたボタンは、他の商品を紹介するためのコンテンツデータを選択するためのものであることになるため、ＣＰＵ３２は選択された商品のコンテンツデータを構成する画像データと、無指向性スピーカＳＰＡで出力させるための第１の音声データとの配信を、ネットワークＮＷを介して上記販売支援サーバＳＶにリクエストする（ステップＳ２０８）。

そして、このリクエストに応答して販売支援サーバＳＶから送られてくるコンテンツデータを受信し、受信したコンテンツデータをコンテンツメモリ２０に記憶させた上で、その画像データと上記無指向性スピーカＳＰＡで放音するための第１の音声データとを読出し対象として設定する（ステップＳ２０９）。

その後、ＣＰＵ３２は上記ステップＳ２０２からの処理に移行し、サイネージボードＳＢで投影するための画像データと無指向性スピーカＳＰＡ用の音声データとで、あらたに選択されたコンテンツデータによる再生を開始する。

また上記ステップＳ２０７において、操作されたボタンが、第１の音声データの言語と異なる言語を選択するためのものであると判断した場合（ステップＳ２０７のＹｅｓ）、ＣＰＵ３２は選択された言語の音声データの配信を、ネットワークＮＷを介して上記販売支援サーバＳＶにリクエストする（ステップＳ２１０）。

そして、このリクエストに応答して販売支援サーバＳＶから送られてくる音声データを受信し、受信した音声データを第２の音声データとしてコンテンツメモリ２０に記憶させた上で、その第２の音声データをコンテンツメモリ２０から読出し、音処理部３６により、サイネージ装置１０の正面方向に対向している指向性スピーカＳＰ１から放音させるよう、追加設定した上で（ステップＳ２０９）、上記ステップＳ２０２からの処理に戻る。

こうしてサイネージ装置１０の正面に各なくとも一人の来店客がいる状態で、ステップＳ２０２〜Ｓ２０４，Ｓ２０６の処理を繰返し実行し、サイネージボードＳＢでの画像投影と無指向性スピーカＳＰＡによる放音と合わせて、サイネージ装置１０の正面にいる来店客にのみ聴くことが可能な第２の音声データによる、上記第１の音声の言語と異なる言語での第２の音声を出力し続ける。

本動作例によれば、サイネージ装置１０が設置された店舗において、最も母国語であると思われる率の高い言語での第１の音声を無指向性スピーカＳＰＡにより出力させると共に、ボタン操作により選択された言語での第２の音声をサイネージ装置１０の正面方向に向いている指向性スピーカＳＰ１により出力させる。

これにより、全体で必要とされていると思われる言語での音声出力を無指向性スピーカＳＰＡを用いて維持しながら、ボタン操作を行なった来店客に対しても所望された言語での指向性スピーカＳＰ１を用いた音声出力を同時に実行することができる。

［第３の動作例］
次に上記実施形態の第３の動作例について説明する。
なお本動作例にあっては、コンテンツメモリ２０にデフォルトのコンテンツデータとして、例えば推薦商品を紹介する画像データと、当該商品を宣伝するための第１の音声データとを予め記憶しているものとする。

図６は、主として端末側の装置であるサイネージ装置１０で実行される、コンテンツの再生に係る動作を示すフローチャートである。

その処理当初にＣＰＵ３２は、コンテンツメモリ２０に予め記憶されているデフォルトのコンテンツデータの画像データと、上記無指向性スピーカＳＰＡで放音するための第１の音声データとを読出し対象として設定する（ステップＳ３０１）。

そして、この設定した条件に基づき、ＣＰＵ３２はコンテンツメモリ２０から順次コンテンツデータを読出させて、上記投影画像駆動部２１、マイクロミラー素子２２、光源部２３、ミラー２４、及び投影レンズ部２５からなる投影系によるサイネージボードＳＢへの画像投影と、音処理部３６による放音、ここでは無指向性スピーカＳＰＡでの第１の音声データの放音とを実行させる（ステップＳ３０２）。

同時にＣＰＵ３２は、上記撮像部ＩＭによるサイネージ装置１０前方の撮影と、撮影画像処理部３０による撮影画像中の人物の顔認識とを実行させる（ステップＳ３０３）。この顔認識処理の結果から、ＣＰＵ３２は少なくとも一人分の顔認識を行なうことができたか否かにより、サイネージ装置１０の正面に人がいるか否かを判断する（ステップＳ３０４）。

ここで一人分の顔認識を行なうこともできず、サイネージ装置１０の正面には人がいないと判断した場合（ステップＳ３０４のＮｏ）、次にＣＰＵ３２は、この人がいない状態で予め設定された一定時間、例えば２［分］分が経過したか否かを判断する（ステップＳ３０５）。

人がいない状態で一定時間が経過していないと判断した場合（ステップＳ３０５のＮｏ）、ＣＰＵ３２は上記ステップＳ３０２からの処理に戻り、その時点の条件でのコンテンツ再生を継続する。

こうして人がいない状態でステップＳ３０２〜Ｓ３０５の処理を繰返し実行して一定時間が経過した時点で、上記ステップＳ３０５において一定時間が経過したと判断すると（ステップＳ３０５のＹｅｓ）、ＣＰＵ３２は上記ステップＳ３０１からの処理に戻り、デフォルトのコンテンツデータを選択する時点から同様の処理を実行する。

また上記ステップＳ３０４において、少なくとも一人分の顔認識を行なうことができ、サイネージ装置１０の正面に人がいると判断した場合、次にＣＰＵ３２は撮影画像処理部３０により上記顔認識の結果に対する追加処理として、顔全体の輪郭、顔を構成する各パーツである眉、目、鼻、口、耳の形状と配置バランス、肌の色素の量、瞳の色などを認識、抽出することで、画像中の人物の人種を判定する（ステップＳ３０６）。

ここで複数の来店者が認識されていた場合には、サイネージ装置１０の正面からの位置、すなわち撮影画像中の被写体の位置によりそれぞれの人物の重み付けを行ない、人種毎の人数も勘案することで、最も優先順位の高い人種を判定する。

ＣＰＵ３２は、この判定結果を用いて、その時点でコンテンツデータを再生している商品の音声データとの配信を、ネットワークＮＷを介して上記販売支援サーバＳＶにリクエストする（ステップＳ３０７）。

そして、このリクエストに応答して販売支援サーバＳＶから送られてくる、当該人種に対応していると思われる第１候補の言語での音声データと、第２候補の言語での音声データとを受信し、受信した各音声データをコンテンツメモリ２０に記憶させた上で、上記第１候補の言語での音声データを無指向性スピーカＳＰＡで放音するための音声データとして、上記第２候補の言語での音声データを上記指向性スピーカＳＰ１で放音するための音声データとして、それぞれ設定する（ステップＳ３０８）。

その後、ＣＰＵ３２は上記ステップＳ３０２からの処理に移行し、あらたに設定した条件に基づいて、サイネージボードＳＢで投影するための画像データと無指向性スピーカＳＰＡ用の音声データ、指向性スピーカＳＰ１用の音声データとで、コンテンツの再生を開始する。

本動作例によれば、サイネージ装置１０の前方に位置する来店客の人種を判定し、判定した人種で最も使用されていると思われる言語を第１候補、次点の言語を第２候補として、無指向性スピーカＳＰＡと、サイネージ装置１０正面に向いた指向性スピーカＳＰ１とで音声を出力させる。

これにより、来店客自身によるボタン操作等を必要とせず、来店客の人種に合致すると思われる言語での音声を提供できる。

［第４の動作例］
次に上記実施形態の第４の動作例について説明する。
なお本動作例にあっては、コンテンツメモリ２０にデフォルトのコンテンツデータとして、例えば推薦商品を紹介する画像データと、当該商品を宣伝するための第１の音声データとを予め記憶しているものとする。

図７は、主として端末側の装置であるサイネージ装置１０で実行される、コンテンツの再生に係る動作を示すフローチャートである。

その処理当初にＣＰＵ３２は、コンテンツメモリ２０に予め記憶されているデフォルトのコンテンツデータの画像データと、上記無指向性スピーカＳＰＡで放音するための第１の音声データとを読出し対象として設定する（ステップＳ４０１）。

そして、この設定した条件に基づき、ＣＰＵ３２はコンテンツメモリ２０から順次コンテンツデータを読出させて、上記投影画像駆動部２１、マイクロミラー素子２２、光源部２３、ミラー２４、及び投影レンズ部２５からなる投影系によるサイネージボードＳＢへの画像投影と、音処理部３６による放音、ここでは無指向性スピーカＳＰＡでの第１の音声データの放音とを実行させる（ステップＳ４０２）。

同時にＣＰＵ３２は、操作ボタンＢ１〜Ｂ４に対する操作があったか否かを操作部３５からの入力により判断する（ステップＳ４０３）。

操作ボタンＢ１〜Ｂ４に対する操作がないと判断した場合（ステップＳ４０３のＮｏ）、ＣＰＵ３２は上記ステップＳ４０２からの処理に戻り、以後その時点で設定されている条件でのコンテンツ再生を継続する。

こうしてサイネージ装置１０の正面に各なくとも一人の来店客がいる状態で、ステップＳ４０２，Ｓ４０３の処理を繰返し実行し、サイネージボードＳＢでの画像投影と無指向性スピーカＳＰＡによる放音によるコンテンツ再生を継続しながら、操作ボタンＢ１〜Ｂ４のいずれかに対する操作がなされるのを待機する。

ステップＳ４０３において、操作ボタンＢ１〜Ｂ４に対する操作があったと操作部３５からの入力により判断した場合（ステップＳ４０３のＹｅｓ）、次にＣＰＵ３２は操作されたボタンが、既に無指向性スピーカＳＰＡから出力している第１の音声データの言語と異なる言語を選択するためのものであるか否かを判断する（ステップＳ４０４）。

ここで操作されたボタンが、第１の音声データの言語と異なる言語を選択するためのものではないと判断した場合（ステップＳ４０４のＮｏ）、その操作されたボタンは、他の商品を紹介するためのコンテンツデータを選択するためのものであることになるため、ＣＰＵ３２は選択された商品のコンテンツデータを構成する画像データと、無指向性スピーカＳＰＡで出力させるための第１の音声データとの配信を、ネットワークＮＷを介して上記販売支援サーバＳＶにリクエストする（ステップＳ４０５）。

そして、このリクエストに応答して販売支援サーバＳＶから送られてくるコンテンツデータを受信し、受信したコンテンツデータをコンテンツメモリ２０に記憶させた上で、その画像データと上記無指向性スピーカＳＰＡで放音するための第１の音声データとを読出し対象として設定する（ステップＳ４０６）。

その後、ＣＰＵ３２は上記ステップＳ４０２からの処理に移行し、サイネージボードＳＢで投影するための画像データと無指向性スピーカＳＰＡ用の音声データとで、あらたに選択されたコンテンツデータによる再生を開始する。

また上記ステップＳ４０４において、操作されたボタンが、その時点で無指向性スピーカＳＰＡから出力している音声データの言語と異なる言語を選択するためのものであると判断した場合（ステップＳ４０４のＹｅｓ）、ＣＰＵ３２は選択された言語の音声データの配信を、ネットワークＮＷを介して上記販売支援サーバＳＶにリクエストする（ステップＳ４０７）。

そして、このリクエストに応答して販売支援サーバＳＶから送られてくる音声データを受信し、受信した音声データを第１の音声データとしてコンテンツメモリ２０に記憶させた上で、その第１の音声データをコンテンツメモリ２０から読出し、音処理部３６により、無指向性スピーカＳＰＡから放音させるよう設定する（ステップＳ４０８）。

さらにＣＰＵ３２は、その時点で第１の音声データとして選択された言語が、デフォルトの音声データの言語と異なるかどうかを判断する（ステップＳ４０９）。

ここで第１の音声データとして選択された言語がデフォルトの音声データの言語と同じであると判断した場合（ステップＳ４０９のＮｏ）、そのまま上記ステップＳ４０２からの処理に戻り、その時点で設定されている条件でのコンテンツの再生を開始する。

また上記ステップＳ４０９において、第１の音声データとして選択された言語とデフォルトの音声データの言語とが異なると判断した場合（ステップＳ４０９のＹｅｓ）、ＣＰＵ３２はあらためてその時点で選択されているコンテンツデータの商品に関するデフォルトの言語での音声データとの配信を、ネットワークＮＷを介して上記販売支援サーバＳＶにリクエストする（ステップＳ４１０）。

そして、このリクエストに応答して販売支援サーバＳＶから送られてくる音声データを受信し、受信したコンテンツデータをコンテンツメモリ２０に記憶させた上で、その音声データをサイネージ装置１０の側面に向けて設置された指向性スピーカＳＰ４，ＳＰ５で放音するための第２の音声データとして追加設定し（ステップＳ４１１）、上記ステップＳ４０２からの処理に戻る。

こうしてサイネージ装置１０の正面に少なくとも一人の来店客がいる状態で、ステップＳ４０２，Ｓ４０３の処理を繰返し実行し、サイネージボードＳＢでの画像投影と来店客自身が選択して言語での無指向性スピーカＳＰＡによる放音とが行なわれる。この場合に、サイネージ装置１０の前方には向いていない、サイネージ装置１０の左右側方に向けて、デフォルトの言語での音声データが指向性スピーカＳＰ４，ＳＰ５により放音される。

本動作例によれば、来店客が自身の所望する言語による音声データを無指向性スピーカＳＰＡからの放音により聞いている間、この店舗で商品の説明を行なう説明員、スタッフ等はサイネージ装置１０の左右いずれかの側方で待機して、無指向性スピーカＳＰＡからの音声の言語が直接は理解できなくとも、指向性スピーカＳＰ４，ＳＰ５からの放音により、同様の接続内容をデフォルトの言語の音声により理解できる。

そのため、来店客からの質問等があった場合など、接客対応に的確にフィードバックできるようになる。

［第５の動作例］
次に上記実施形態の第５の動作例について説明する。
なお本動作例にあっては、コンテンツメモリ２０にデフォルトのコンテンツデータとして、例えば推薦商品を紹介する画像データと、当該商品を宣伝するための第１の音声データとを予め記憶しているものとする。

図８は、主として端末側の装置であるサイネージ装置１０で実行される、コンテンツの再生に係る動作を示すフローチャートである。

その処理当初にＣＰＵ３２は、コンテンツメモリ２０に予め記憶されているデフォルトのコンテンツデータの画像データと、上記無指向性スピーカＳＰＡで放音するための第１の音声データとを読出し対象として設定する（ステップＳ５０１）。

そして、この設定した条件に基づき、ＣＰＵ３２はコンテンツメモリ２０から順次コンテンツデータを読出させて、上記投影画像駆動部２１、マイクロミラー素子２２、光源部２３、ミラー２４、及び投影レンズ部２５からなる投影系によるサイネージボードＳＢへの画像投影と、音処理部３６による放音、ここでは無指向性スピーカＳＰＡでの第１の音声データの放音とを実行させる（ステップＳ５０２）。

同時にＣＰＵ３２は、上記撮像部ＩＭによるサイネージ装置１０の前方を中心とした広い範囲の撮影と、撮影画像処理部３０による撮影画像中の人物の顔認識とを実行させる（ステップＳ５０３）。この顔認識処理の結果から、ＣＰＵ３２は少なくとも一人分の顔認識を行なうことができたか否かにより、サイネージ装置１０の周囲に人がいるか否かを判断する（ステップＳ５０４）。

ここで一人分の顔認識を行なうこともできず、サイネージ装置１０の周囲には人がいないと判断した場合（ステップＳ５０４のＮｏ）、次にＣＰＵ３２は、この人がいない状態で予め設定された一定時間、例えば２［分］分が経過したか否かを判断する（ステップＳ５０５）。

人がいない状態で一定時間が経過していないと判断した場合（ステップＳ５０５のＮｏ）、ＣＰＵ３２は上記ステップＳ５０２からの処理に戻り、その時点の条件でのコンテンツ再生を継続する。

こうして人がいない状態でステップＳ５０２〜Ｓ５０５の処理を繰返し実行して一定時間が経過した時点で、上記ステップＳ５０５において一定時間が経過したと判断すると（ステップＳ５０５のＹｅｓ）、ＣＰＵ３２は上記ステップＳ５０１からの処理に戻り、デフォルトのコンテンツデータを選択する時点から同様の処理を実行する。

また上記ステップＳ５０４において、少なくとも一人分の顔認識を行なうことができ、サイネージ装置１０の周囲に人がいると判断した場合、次にＣＰＵ３２は撮影画像処理部３０により上記顔認識の結果に対する追加処理として、顔全体の輪郭、顔を構成する各パーツである眉、目、鼻、口、耳の形状と配置バランス、目の下の涙袋やほうれい線、肌の色素の量などを認識、抽出することで、画像中の人物の年齢層を判定する（ステップＳ５０６）。

年齢層の判定に関しては、例えば「５才未満」「５才以上１０才未満」「１０才代」「２０才代」「３０才代」‥‥「６０才代」「７０才代以上」というように大まかな年齢層を判定するものとする。

ここで複数の来店者が認識されていた場合には、それぞれの来店者毎に年齢層の判定を行なう。

ＣＰＵ３２は、この判定結果を用いて、サイネージ装置１０の周囲に少なくとも一人の高齢者が存在するか否かを、例えば上記判定結果で「７０才代以上」がいたか否かにより判断する（ステップＳ５０７）。

ここでサイネージ装置１０の周囲には高齢者がいなかったと判断した場合（ステップＳ５０７のＮｏ）、ＣＰＵ３２はそのまま上記ステップＳ５０２からの処理に戻って、コンテンツ再生の動作を継続する。

また上記ステップＳ５０７において、サイネージ装置１０の周囲に高齢者が少なくとも一人存在すると判断した場合（ステップＳ５０７のＹｅｓ）、ＣＰＵ３２は高齢者であると判定したすべての来店客の方向に該当するように指向性スピーカＳＰ１〜ＳＰ５の中から適切なものを選択した上で、その時点で再生している第１の音声データを選択した指向性スピーカでも放音するよう追加設定した上で（ステップＳ５０８）、上記ステップＳ５０２からの処理に戻る。

本動作例によれば、サイネージ装置１０の周囲に高齢者の来店客が存在していると判定した場合に、その対応する方向にある指向性スピーカを選択して、無指向性スピーカＳＰＡで放音している音声と同様の音声を放音させることにより、無指向性スピーカＳＰＡでの音圧を上げることなく、スポットで必要と思われる方向にのみ音圧を上げた音声データの出力が実現できる。

以上詳述した如く本実施形態によれば、設置されている周囲の人的環境等からの影響を勘案し、音声による情報を確実に伝達させることが可能となる。

また上記実施形態では、サイネージ装置１０が設置される周囲の人的環境を検出するために、撮像部ＩＭで撮影した画像から顔認識処理を行なうものとしたので、ボタンやキー等の指示操作を強いることなく、適切な環境を認識することができる。

特に上記顔認識処理としては、対象となる被写体の人物の数、表情、性別、年齢層、人種等を判定するものとしたので、サイネージ装置１０が設置されている人的環境をより詳細且つ的確に把握することができ、きめ細かなコンテンツデータのサービスが実現できる。

また本実施形態では、サイネージボードＳＢの操作ボタンＢ１〜Ｂ４に対する操作を受付けて対応するようにしたので、サイネージ装置１０でのコンテンツ再生を必要とする人の所望する条件を直接把握して対応することができる。

上記第１の動作例では、サイネージ装置１０の正面に対向した指向性スピーカＳＰ１によりガイドメッセージを出力させるようにしたので、特にサイネージ装置１０での再生コンテンツに興味があると思われる人物にのみ聞こえるようにガイドメッセージ音声を出力することで、その他の人物に不要な音声を出力することなく、煩雑な音声環境となるのを回避できる。

また上記第２乃至第４の動作例では、複数の言語による音声を指向性スピーカを用いて選択的に出力させるようにしたので、無指向性スピーカＳＰＡでの出力と合わせて、来店客だけでなく相談員、スタッフ等店舗側の人員にとってもより的確な言語を選択して音声を出力させることができる。

さらに上記第４及び第５の動作例では、それぞれ異なる方向に向けて設置された複数の指向性スピーカのうち、適切なものを選択した上で音声を出力させるものとしたので、多様な要求に対応して、きめ細やかなコンテンツデータのサービスが提供できる。

なお上記実施形態は、サイネージ装置１０をＤＬＰ（登録商標）（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）方式のプロジェクタ技術を用いて構成した場合について説明したが、本実施形態は投影装置や投影方式等を限定するものではなく、例えばカラー液晶パネルを用いたタブレット状のコンテンツ再生装置としても良い。
また上記実施形態は、第１の音声情報を無指向性スピーカにより放音させ、表示部での画像表示、及び無指向性スピーカでの放音の少なくとも一方に対する応答を受付け、受付けた応答結果により第２の音声情報を指向性スピーカにより放音させるものとしたが、この構成に限らない。第１の音声情報を放音させるスピーカは、無指向性スピーカでなくても、第２のスピーカより指向性の低いスピーカであれば良い。換言すると、第２のスピーカは、第１のスピーカより指向性の高いスピーカであれば良い。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
画像の表示を行なう表示部と、
第１の音声情報を第１のスピーカにより放音させる第１の音声出力部と、
上記表示部での画像表示、及び上記第１の音声出力部での放音の少なくとも一方に対する応答を受付け、受付けた応答結果により第２の音声情報を上記第１のスピーカより指向性の高い第２のスピーカにより放音させる第２の音声出力部と、
を備えることを特徴とするコンテンツ再生装置。
［請求項２］
上記画像の画像情報、上記第１の音声情報、及び上記第２の音声情報を含むコンテンツ情報を取得する取得部と、
上記応答を受付ける受付部と、
を備え、
上記第１のスピーカは無指向性スピーカを含み、上記第２のスピーカは指向性スピーカを含むことを特徴とする請求項１記載のコンテンツ再生装置。
［請求項３］
上記受付部は、上記表示部での画像表示、及び上記第１の音声出力部での放音の少なくとも一方に対して到来する人物を撮影し、撮影した画像に対する顔認識処理を行なってその認識結果を受付けることを特徴とする請求項２記載のコンテンツ再生装置。
［請求項４］
上記顔認識処理による認識結果は、人物の数、表情、性別、年齢層、人種のうち少なくとも１つを含むことを特徴とする請求項３記載のコンテンツ再生装置。
［請求項５］
上記受付部は、上記表示部での画像表示、及び上記第１の音声出力部での放音の少なくとも一方に対するキー操作を受付けることを特徴とする請求項２記載のコンテンツ再生装置。
［請求項６］
上記第２の音声情報は、上記画像に関連付けられたガイドメッセージであることを特徴とする請求項１乃至５いずれか記載のコンテンツ再生装置。
［請求項７］
上記第２の音声情報は、上記第１の音声情報で使用される言語と異なる言語であることを特徴とする請求項１乃至６いずれか記載のコンテンツ再生装置。
［請求項８］
上記第２の音声出力部は、それぞれ異なる方向に向けて設置された複数の指向性スピーカの一部を選択的に用いることを特徴とする請求項２乃至７いずれか記載のコンテンツ再生装置。
［請求項９］
画像の表示を行なう表示部を備えた装置でのコンテンツ再生方法であって、
第１の音声情報を第１のスピーカにより放音させる第１の音声出力工程と、
上記表示部での画像表示、及び上記第１の音声出力工程での放音の少なくとも一方に対する応答を受付け、受付けた応答結果により第２の音声情報を上記第１のスピーカより指向性の高い第２のスピーカにより放音させる第２の音声出力工程と、
を有することを特徴とするコンテンツ再生方法。
［請求項１０］
画像の表示を行なう表示部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、
第１の音声情報を第１のスピーカにより放音させる第１の音声出力部、及び
上記表示部での画像表示、及び上記第１の音声出力部での放音の少なくとも一方に対する応答を受付け、受付けた応答結果により第２の音声情報を上記第１のスピーカより指向性の高い第２のスピーカにより放音させる第２の音声出力部、
として機能させることを特徴とするプログラム。

１０…サイネージ装置、
１０Ａ…装置筐体、
２０…コンテンツメモリ、
２１…投影画像駆動部、
２２…マイクロミラー素子２２、
２３…光源部、
２４…ミラー、
２５…投影レンズ部、
２７…撮影レンズ部、
２８…ＣＭＯＳイメージセンサ、
２９…Ａ／Ｄ変換器、
３０…撮影画像処理部、
３２…ＣＰＵ（受付部）、
３３…メインメモリ、
３４…プログラムメモリ、
３５…操作部、
３６…音処理部、
３８…無線ＬＡＮインタフェース（Ｉ／Ｆ）、
３９…無線ＬＡＮアンテナ、
Ｂ…バス、
Ｂ１〜Ｂ４…操作ボタン、
ＩＭ…撮像部、
ＮＷ…ネットワーク、
ＳＢ…サイネージボード（表示部）、
ＳＰＡ…無指向性スピーカ、
ＳＰ１〜ＳＰ５…指向性スピーカ（パラメトリック・スピーカ）、
ＳＶ…販売支援サーバ。

Claims (10)

1. 画像の表示を行なう表示部と、
   第１の音声情報を第１のスピーカにより放音させる第１の音声出力部と、
   上記表示部での画像表示、及び上記第１の音声出力部での放音の少なくとも一方に対する応答を受付け、受付けた応答結果により第２の音声情報を上記第１のスピーカより指向性の高い第２のスピーカにより放音させる第２の音声出力部と、
   を備えることを特徴とするコンテンツ再生装置。
2. 上記画像の画像情報、上記第１の音声情報、及び上記第２の音声情報を含むコンテンツ情報を取得する取得部と、
   上記応答を受付ける受付部と、
   を備え、
   上記第１のスピーカは無指向性スピーカを含み、上記第２のスピーカは指向性スピーカを含むことを特徴とする請求項１記載のコンテンツ再生装置。
3. 上記受付部は、上記表示部での画像表示、及び上記第１の音声出力部での放音の少なくとも一方に対して到来する人物を撮影し、撮影した画像に対する顔認識処理を行なってその認識結果を受付けることを特徴とする請求項２記載のコンテンツ再生装置。
4. 上記顔認識処理による認識結果は、人物の数、表情、性別、年齢層、人種のうち少なくとも１つを含むことを特徴とする請求項３記載のコンテンツ再生装置。
5. 上記受付部は、上記表示部での画像表示、及び上記第１の音声出力部での放音の少なくとも一方に対するキー操作を受付けることを特徴とする請求項２記載のコンテンツ再生装置。
6. 上記第２の音声情報は、上記画像に関連付けられたガイドメッセージであることを特徴とする請求項１乃至５いずれか記載のコンテンツ再生装置。
7. 上記第２の音声情報は、上記第１の音声情報で使用される言語と異なる言語であることを特徴とする請求項１乃至６いずれか記載のコンテンツ再生装置。
8. 上記第２の音声出力部は、それぞれ異なる方向に向けて設置された複数の指向性スピーカの一部を選択的に用いることを特徴とする請求項２乃至７いずれか記載のコンテンツ再生装置。
9. 画像の表示を行なう表示部を備えた装置でのコンテンツ再生方法であって、
   第１の音声情報を第１のスピーカにより放音させる第１の音声出力工程と、
   上記表示部での画像表示、及び上記第１の音声出力工程での放音の少なくとも一方に対する応答を受付け、受付けた応答結果により第２の音声情報を上記第１のスピーカより指向性の高い第２のスピーカにより放音させる第２の音声出力工程と、
   を有することを特徴とするコンテンツ再生方法。
10. 画像の表示を行なう表示部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、
    第１の音声情報を第１のスピーカにより放音させる第１の音声出力部、及び
    上記表示部での画像表示、及び上記第１の音声出力部での放音の少なくとも一方に対する応答を受付け、受付けた応答結果により第２の音声情報を上記第１のスピーカより指向性の高い第２のスピーカにより放音させる第２の音声出力部、
    として機能させることを特徴とするプログラム。