JP2010026551A - 表示システム、及び、表示システムの制御方法 - Google Patents

Abstract

【課題】効果的な情報伝達ができる表示システムを提供する。
【解決手段】複数の画像を、それぞれ異なる特定の方向からのみ視認可能なように液晶表示パネル１０に同時に表示する表示装置２と、特定の方向に音声を出力する超指向性スピーカ４と、表示装置２の液晶表示パネル１０の前方を撮影して撮影画像を生成するカメラ装置５と、カメラ装置５が生成した撮影画像に基づいて、撮影画像に写っている人物を検出すると共に、この人物の移動方向及び位置を検出する移動方向検出部３１ｂと、移動方向検出部３１ｂが検出した人物の移動方向及び位置に基づいて、人物が視認可能な画像に対応する音声を人物に向けて超指向性スピーカ４から出力する制御部３１と、を備えるようにした。
【選択図】図７

Description

本発明は、複数の画像を、それぞれ異なる特定の方向からのみ視認可能なように表示画面に同時に表示する表示装置を備える表示システムに関する。

従来、１の視野角方向から視認することができる画像と、この１の視野角方向と異なる視野角方向から視認することができる画像とを同時に表示する表示手段を備えた表示装置が知られている（例えば、特許文献１参照）。この種の表示装置は、視野角に応じて異なる画像を同時に表示できるため、例えば、カーナビゲーション装置のディスプレイに用いられ、運転席に座る運転手と、助手席に座る搭乗者とに、同時に、それぞれ異なる画像を表示する、といった形で使用されている。
特開２００５−２８４５９２号公報

上述した表示装置を、建物内の廊下等の歩行者が往来する場所に設置し、歩行者の視野角に応じて異なる画像を表示して、画像が示す情報を歩行者に伝達することを考えた場合、視野角に応じて同時に異なる画像を表示できるという表示装置の特性を利用して、歩行者に効果的に情報伝達を行いたい、とするニーズがある。
本発明は、上述した事情に鑑みてなされたものであり、効果的な情報伝達ができる表示システムを提供することを目的とする。

上記目的を達成するために、本発明は、表示システムにおいて、複数の画像を、それぞれ異なる特定の方向からのみ視認可能なように表示画面に同時に表示する表示装置と、特定の方向に音声を出力する超指向性スピーカと、前記表示装置の前記表示画面の前方を撮影して撮影画像を生成する撮影手段と、前記撮影手段が生成した前記撮影画像に基づいて、前記撮影画像に写っている人物を検出すると共に、この人物の移動方向及び位置を検出する移動方向検出手段と、前記移動方向検出手段が検出した前記人物の移動方向及び位置に基づいて、前記人物が視認可能な前記画像に対応する音声を前記人物に向けて前記超指向性スピーカから出力する音声出力制御手段と、を備えること、を特徴とする。
この構成によれば、超指向性スピーカから１人の人物に向かって音声を出力する際、この人物の移動方向及び位置に基づいて、この人物から視認可能な画像に対応する音声が出力される。このため、この人物から視認可能な画像に対応し、かつ、この人物の進行方向に基づくこの人物の状況が反映された、この人物に適した情報を有する音声を出力することができ、効果的な情報伝達を実現できる。

ここで、上記発明の表示システムにおいて、前記超指向性スピーカの音声出力の方向を移動可能に構成し、前記撮影手段が生成した前記撮影画像に基づいて、前記撮影画像に写っている人物を検出し、この人物の移動を検出すると共に、検出した前記人物の移動に対応して前記超指向性スピーカの音声出力の方向を移動するスピーカ制御手段をさらに備えるようにしてもよい。
この構成によれば、特定の方向に音声を出力するという超指向性スピーカの特性を利用し、１人の人物が移動しても、この人物に対して特定の音声を出力するという状態を維持することができ、音声による効果的な情報伝達を実現できる。特に、人物に対して出力される特定の音声は、この人物に適した情報を有する音声であるため、より効果的な情報伝達を実現できる。

また、上記発明の表示システムにおいて、前記撮影手段が生成した前記撮影画像に基づいて、前記撮影画像に写っている人物を検出すると共に、この人物の属性を判別する属性判別手段をさらに備え、前記音声出力制御手段は、前記位置等検出手段が検出した前記人物の移動方向及び位置、及び、前記属性判別手段が判別した前記人物の属性に基づいて、前記人物が視認可能な前記画像に対応する音声を前記人物に向けて前記超指向性スピーカから出力するようにしてもよい。
この構成によれば、人物に対し超指向性スピーカから音声を出力する場合、人物の位置、及び、進行方向のみならず、人物の属性に応じた情報を有する音声が出力される。従って、人物の属性が反映され、よりこの人物に適した音声を出力することができ、さらに効果的な情報伝達を実現できる。

また、上記発明の表示システムにおいて、前記超指向性スピーカを複数備えるようにしてもよい。
この構成によれば、複数の人物に対し、それぞれに適した音声を、同時に、出力できるため、効果的な情報伝達を実現できる。

また、上記目的を達成するために、本発明は、複数の画像を、それぞれ異なる特定の方向からのみ視認可能なように表示画面に同時に表示する表示装置と、特定の方向に音声を出力する超指向性スピーカと、を備える表示システムを制御する制御方法であって、前記表示装置の前記表示画面の前方を撮影して撮影画像を生成し、前記撮影画像に基づいて、前記撮影画像に写っている人物を検出すると共に、この人物の移動方向及び位置を検出し、検出した前記人物の移動方向及び位置に基づいて、前記人物が視認可能な前記画像に対応する音声を前記人物に向けて前記超指向性スピーカから出力すること、を特徴とする。
この制御方法によれば、超指向性スピーカから１人の人物に向かって音声を出力する際、この人物の移動方向及び位置に基づいて、この人物から視認可能な画像に対応する音声が出力される。このため、この人物から視認可能な画像に対応し、かつ、この人物の進行方向に基づくこの人物の状況が反映された、この人物に適した情報を有する音声を出力することができ、効果的な情報伝達を実現できる。

本発明によれば、画像を表示する表示システムを用いて、人物の移動方向、及び、位置に応じて、この人物に適した情報を有する音声を出力できるため、効果的な情報伝達を実現できる。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本実施形態に係る表示システム１の構成を示す図である。
表示システム１は、表示制御装置３に、同時に複数の画像を表示可能な表示装置２、複数（２台）の超指向性スピーカ４Ｌ、４Ｒ（以下、特に区別しない場合は符号４を付す）、及び、カメラ装置５（撮影手段）を接続して構成される。表示装置２が表示する画像は、静止画像及び動画像のいずれであってもよい。

表示装置２は、図１に平面視で示すように、表示装置２に向かって右側（目視方向ＥＲ）から見た場合と、表示装置２に向かって左側（目視方向ＥＬ）から見た場合とで、異なる画像が視認されるように、複数の画像を表示する。ここで、目視方向とは、表示装置２の外部から表示装置２を見る視線の方向（ビューアングル）を指す。
本実施形態において、表示装置２は液晶表示パネル１０（表示画面）を有する液晶表示装置として構成され、液晶表示パネル１０と、液晶表示パネル１０の背面側から照明するバックライト（図示略）と、を備えている。また、液晶表示パネル１０には、右用表示画素１０Ａと左用表示画素１０Ｂとが水平方向に並べて設けられ、液晶表示パネル１０は、右用表示画素１０Ａを通った光を目視方向ＥＲ側だけに出射させるとともに、左用表示画素１０Ｂを通った光を目視方向ＥＬ側だけに出射させる偏光部材を備えている。このため、表示装置２が、右用表示画素１０Ａのみを用いて目視方向ＥＲ用の画像を表示する一方、左用表示画素１０Ｂのみを用いて目視方向ＥＬ用の画像を表示することで、目視方向ＥＲから表示装置２を見る場合と、目視方向ＥＬから表示装置２を見る場合とで、異なる画像を見ることができる。

図２は、本実施形態に係る表示装置２を歩行路６の壁７に設けた場合の状態を上から見た図である。また、図３（Ａ）は、目視方向ＥＬ用の画像である画像ＧＬの一例を示す図であり、図３（Ｂ）は、目視方向ＥＲ用の画像である画像ＧＲの一例を示す図である。
図２における歩行路６とは、ある店舗の出入口に設けられた歩行用の道であり、店舗に入店する入店者は、歩行路６を進行方向Ｙ１へ向かって進むことによって店舗に入店し、また、店舗から退店する退店者は、歩行路６を進行方向Ｙ２へ向かって進むことによって店舗から退店するものとする。
本実施形態では、液晶表示パネル１０に画像を表示することにより、この画像を視認する入店者及び退店者の各々に、各々にとって有益な情報を提供し、さらに、これら入店者及び退店者に対し超指向性スピーカ４を介して音声を出力し、音声が示す情報を提供することを目的として、歩行路６の壁７に表示装置２が設けられている。

図２において、エリアＡＬは、目視方向ＥＬ用の画像である画像ＧＬ（図３（Ａ））が視認可能なエリアである。具体的には、エリアＡＬ内に存在し、進行方向Ｙ１へ進んで店舗へ入店しようとしている入店者Ｊ１が表示装置２を目視した場合、目視方向が目視方向ＥＬとなるため、目視方向ＥＬ用の画像として表示装置２に表示されている画像ＧＬ（図３（Ａ））が視認されることとなる。図３（Ａ）に示すように、画像ＧＬは、入店者向けの情報（「いらっしゃいませ」という表示）、及び、入店者にとって有益な情報（「本日の目玉商品」という表示）が表示されており、入店者Ｊ１は、表示装置２を目視することにより有益な情報を取得できる。
また、図２において、エリアＡＲは、目視方向ＥＲ用の画像である画像ＧＲ（図３（Ｂ））が視認可能なエリアである。具体的には、エリアＡＲ内に存在し、進行方向Ｙ２へ進んで退店しようとしている退店者Ｊ２が表示装置２を目視した場合、目視方向が目視方向ＥＲとなるため、目視方向ＥＲ用の画像として表示装置２に表示されている画像ＧＲ（図３（Ｂ））が視認されることとなる。図３（Ｂ）に示すように、画像ＧＲは、退店者向けの情報（「ありがとうございました」という表示）、及び、退店者にとって有益な情報（「明日の目玉商品」という表示）が表示されており、退店者Ｊ２は、表示装置２を目視することにより有益な情報を取得できる。

図４は、液晶表示パネル１０の概略構造を示す要部断面図であり、図５は図４中に符号Ａで示す部分の拡大断面図であり、図６は、図４の液晶表示パネルのマトリックス配線とストライプ状の遮光膜の説明のための平面図である。
液晶表示パネル１０は、ガラス基板１１の表面に、半導体スイッチング素子であるＴＦＴ（図示せず）、画素電極１２、水平方向に延びる走査線１３（図６参照）、及び、鉛直方向に延びる信号線１４をマトリックス状に配置した上に、表面が平らになるように有機絶縁膜１５を設け、その絶縁膜１５上にＣｒ（クロム）等の金属を含む材料からなる遮光膜１６を設けたアクティブマトリクス基板１８と、このアクティブマトリクス基板１８に対向させて、別のガラス基板１９の表面にカラーフィルタ層２０を設け、さらにこのカラーフィルタ層２０の上にＩＴＯ（Indium Tin Oxide）等からなる透明な対向電極２１を設けたカラーフィルタ基板２３を有している。そして、アクティブマトリクス基板１８及びカラーフィルタ基板２３を対向させた間隙に液晶２４が充填されている。
これらアクティブマトリクス基板１８及びカラーフィルタ基板２３は一体となって液晶表示パネル１０を構成し、液晶表示パネル１０の外側の面、すなわちアクティブマトリクス基板１８の裏側とカラーフィルタ基板２３の表側には、それぞれ、偏光板１７及び偏光板２２が設けられている。また、液晶表示パネル１０の内側の面、すなわち、アクティブマトリクス基板１８の表側とカラーフィルタ基板２３の裏側の面には、配光膜２５、２６が形成され、これら配光膜２５、２６が対向している。配光膜２５は、アクティブマトリクス基板１８を構成する遮光膜１６の上に形成され、配光膜２６は、カラーフィルタ基板２３を構成する対向電極２１の上に形成されている。

液晶表示パネル１０においては、広幅の信号線１４と狭幅の信号線１４’とが、左右方向に交互に並べて配置され、各々の信号線１４、１４’の間には、右視点用画素電極１２Ｒ１、１２Ｇ１、１２Ｂ１と左視点用画素電極１２Ｒ２、１２Ｇ２、１２Ｂ２とが配置される。その並び順は、図４及び図６に示したように、右視点用画素電極１２Ｒ１、広幅の信号線１４、左視点用画素電極１２Ｒ２、狭幅の信号線１４’、右視点用画素電極１２Ｇ１、広幅の信号線１４、左視点用画素電極１２Ｇ２という順になる。
信号線１４、１４’及び走査線１３は、Ａｌ（アルミニウム）／Ｍｏ（モリブデン）等の金属を含む遮光性の導体材料で形成されるので、液晶表示パネル１０においては、少なくとも信号線１４、１４’が下部遮光膜として機能し、信号線１４と信号線１４’との間は光を透過させる経路となる。また、画素電極１２を覆う絶縁膜１５には、ストライプ状の遮光膜１６が形成される。遮光膜１６には縦方向に延びるスリット状の開口部２７が形成され、この開口部２７においてのみ光が透過可能となっている。このため、液晶表示パネル１０の背面側に設けられたバックライト（図示せず）が発した光は、信号線１４、１４’及び遮光膜１６により遮られ、信号線１４と信号線１４’との間、及び、開口部２７を通った光のみが、液晶表示パネルの前面にいる人物の目に入射する。

従って、液晶表示パネル１０においては、信号線１４、１４’とストライプ状の遮光膜の開口部２７との相互の位置関係により、光の透過方向、すなわち指向性を制御することができ、これによって、液晶表示パネル１０の前面における複数の位置から、それぞれ異なる画像を異なる方向から同時に観察可能とすることができる。
なお、本第１の実施形態の液晶表示パネル１０は、目視方向ＥＲ（図１）及び目視方向ＥＬ（図１）に対応する方向に向けて、２種類の画像を同時に表示する。このため、液晶表示パネル１０の正面方向へ向かう光をブラックマトリクス２８により遮ることで、正面方向への光漏れを防止し、目視方向ＥＲ、ＥＬから異なる画像を明瞭に視認可能としている。また、狭幅の信号線１４’に重なる位置において、遮光膜１６には開口部２７を設けてもよく設けなくてもよい。この位置に開口部を設ける場合は、液晶表示パネル１０の正面から垂線方向に出てくる光を遮光するために、別途、カラーフィルタ層２０の対応する位置にブラックマトリクスを設ける方がよい。

液晶表示パネル１０においては、広幅の信号線１４と狭幅の信号線１４’とが左右いずれかの視点用の画素電極１２を介して交互に設けられているため、広幅の信号線１４の左右に位置する各画素電極１２を視認できる視野角が大きくなるので、左右の別方向に位置する人物がそれぞれの情報を明確に視認しやすくなる。
また、液晶表示パネル１０においては、幅広の信号線１４の上に当たる絶縁膜１５の表面にストライプ状の遮光膜１６が、信号線の幅方向の左側を幅ｗ１だけ、右側を幅ｗ２だけ被覆するように設けられており、その他の部分は開口部２７となっている。そして、目視方向ＥＲ、ＥＬからは、開口部２７を通して右視点用画素電極１２Ｒ１、１２Ｇ１、１２Ｂ１又は左視点用画素電極１２Ｒ２、１２Ｇ２、１２Ｂ２を透視することで、各画素電極により表示される画像を見ることになる。この場合、ｗ１＝ｗ２であれば、左右対称の指向性を実現でき、また、ｗ１≠ｗ２とすれば左右非対称の指向性を実現できるため、目視方向ＥＲ、ＥＬのバランス及び絶縁膜１５の厚みも考慮した上で、ｗ１及びｗ２を定めることにより開口部２７の位置及び大きさが決定される。なお、ｗ１及びｗ２の少なくとも一方は「０」であってもかまわない。

図７は、表示システム１の機能的構成を示すブロック図である。
表示システム１を構成する表示制御装置３は、例えば、パーソナルコンピュータとして実現されるものであり、図７に示すように、制御部３１と、入力部３２と、表示部３３と、記録媒体読取装置３４と、インタフェース部３５と、音声出力部３６と、台座駆動部３７と、記憶部３８と、を備えている。
制御部３１は、表示制御装置３の各部を中枢的に制御するものであり、演算実行手段としてのＣＰＵ（Central Processing Unit）や、このＣＰＵに実行される基本制御プログラムや、この基本制御プログラムに係るデータ等を不揮発的に記憶するＲＯＭ（Read Only Memory）、ＣＰＵに実行されるプログラムやこのプログラムに係るデータ等を一時的に記憶するＲＡＭ（Random Access Memory）、その他の周辺回路等を備えている。また、制御部３１は、図７に示すように、エリア進入退出検出部３１ａと、移動方向検出部３１ｂ（移動方向検出手段）と、スピーカ台座制御部３１ｃ（スピーカ制御手段）と、属性判別部３１ｄ（属性判別手段）と、を備えているが、これらの機能及び動作については後述する。

入力部３２は、マウスやキーボード等の入力デバイスに接続され、オペレータによるこれら入力デバイスの操作を検出して、この操作に対応する操作信号を制御部３１に出力する。
表示部３３は、制御部３１の制御の下、各種情報を表示するものであり、例えば液晶表示パネルを用いて構成される。
記録媒体読取装置３４は、ＣＤ、ＤＶＤ、或いは次世代型ＤＶＤ等の光ディスク型記録媒体、ＭＯ等の光磁気記録媒体、磁気記録媒体、半導体記憶素子を利用した記憶装置、磁気的記録媒体を利用した記録装置等から、プログラムやデータを読み取る装置である。記録媒体読取装置３４は、制御部３１の制御の下、液晶表示パネル１０に表示する画像に係るデータ、及び、超指向性スピーカ４から出力する音声に係るデータを読み取り、制御部３１に出力する。制御部３１は、記録媒体読取装置３４が読み取った画像に係るデータ、及び、音声に係るデータを記憶部３８に記憶させる。
インタフェース部３５は、信号伝送ケーブル等を介して表示装置２に接続され、制御部３１の制御に従って、表示装置２との間で各種信号を送受信する。また、インタフェース部３５は、信号伝送ケーブル等を介してカメラ装置５に接続され、制御部３１の制御に従って、カメラ装置５との間で各種信号を送受信する。

音声出力部３６は、超指向性スピーカ４に接続され、制御部３１の制御の下、記憶部３８に記憶された音声データに係る音声を超指向性スピーカ４から出力する。超指向性スピーカ４とは、特定の方向に音声を出力できるスピーカであり、例えば、超音波トランスデューサを備え、この超音波トランスデューサによって超音波帯域の搬送波を可聴帯域の音声信号によって変調した変調波を出力することで、高い指向性を備える音声を出力可能な超音波スピーカが用いられる。本実施形態に係る表示システム１は、図２及び図３に示すように、複数（２台）の超指向性スピーカ４を備えており、それぞれの超指向性スピーカ４が、スピーカ台座４１Ｌ，４１Ｒ（以下、特に区別しない場合は符号４１を付す）に載置されている。
台座駆動部３７は、制御部３１の制御の下、スピーカ台座４１に内蔵されているモータ（不図示）を駆動することにより、超指向性スピーカ４を回転するものである。具体的には、超指向性スピーカ４は、スピーカ台座４１に内蔵されているモータの動力を伝える回転軸に接続されており、モータの駆動に応じて、図２に示すように、中心軸Ｔを中心に、回転方向Ｙ３及び回転方向Ｙ４が示す水平方向に回転する構成となっている。台座駆動部３７は、超指向性スピーカ４が出力する音声の方向を所望の方向にすべく、制御部３１の制御の下、モータにモータ駆動制御信号を送信して超指向性スピーカ４を回転する。
記憶部３８は、磁気的、光学的記録媒体または半導体記憶素子を用いた記憶装置を備え、各種のプログラムやデータ等を不揮発的に記憶する。また、記憶部３８は、図７に示すように、画像データテーブル３８ａと、音声データテーブル３８ｂとが記憶されているが、これらテーブルの内容については後述する。

表示装置２は、表示制御装置３に接続されるインタフェース部２０１と、インタフェース部２０１を介して入力された表示信号を取得する描画制御部２０２と、描画制御部２０２に接続された描画メモリ２０３と、描画制御部２０２の制御に従って液晶表示パネル１０を駆動する液晶駆動回路２０４と、液晶表示パネル１０とを備えている。
描画制御部２０２は、インタフェース部２０１を介して表示制御装置３から入力された表示信号を取得し、描画メモリ２０３に一時的に記憶する。そして、描画制御部２０２は、液晶表示パネル１０における描画タイミングに合わせて描画メモリ２０３から表示信号を読み出し、液晶表示パネル１０における右用表示画素１０Ａ、左用表示画素１０Ｂの構成に合わせて液晶駆動回路２０４に順次出力する。描画メモリ２０３は、描画制御部２０２の制御に従って表示信号を一時的に記憶する。
液晶駆動回路２０４は、描画制御部２０２から入力される表示信号に従って液晶表示パネル１０を駆動することにより、液晶表示パネル１０に画像を表示させる。また、液晶駆動回路２０４は、描画制御部２０２からの表示信号の入力状態等に合わせてバックライト（図示略）の点灯制御等を行う。

カメラ装置５は、表示制御装置３に接続されるインタフェース部５０１と、撮影制御部５０２と、撮影部５０３と、を備えている。
撮影制御部５０２は、表示制御装置３の制御部３１の制御の下、撮影部５０３を制御する。
撮影部５０３は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子（図示略）、撮影レンズ群（図示略）、ズームやフォーカス等の調整を行うためにレンズ群を駆動するレンズ駆動部（図示略）等を備え、撮影制御部５０２の制御に従って撮影を行う。撮影制御部５０２は、撮影部５０３が備える撮像素子から出力されるデータを所定形式のデータに変換し、撮影画像データとして表示制御装置３の制御部３１に出力する。
図２及び図３に示すように、カメラ装置５は、表示装置２の天部に設けられ、液晶表示パネル１０の前方を撮影する。このカメラ装置５は、例えば広角カメラが用いられ、少なくともエリアＡＬ及びエリアＡＲに対応する空間を撮影できるよう構成されている。従って、エリアＡＬまたはエリアＡＲに人物が存在する場合、カメラ装置５によってこの人物が撮影される。

次いで、表示制御装置３の制御部３１が備える、エリア進入退出検出部３１ａ、移動方向検出部３１ｂ、スピーカ台座制御部３１ｃ、及び、属性判別部３１ｄについて説明する。
エリア進入退出検出部３１ａは、カメラ装置５から入力された撮影画像データに基づいて、エリアＡＬまたはエリアＡＲのいずれかに人物が進入したこと、及び、エリアＡＬまたはエリアＡＲのいずれかから人物が退出したこと、を検出するものである。ここで、エリア進入退出検出部３１ａの具体的な動作について一例を挙げて説明する。
例えば、エリア進入退出検出部３１ａは、撮影画像データのサンプリングを行い、サンプリングした撮影画像データを分析し、この撮影画像データに写っている人物の顔を検出し、検出した顔の領域を特定する。顔の検出、及び、顔領域の特定は、例えば、顔を表すテンプレートを用いたパターンマッチング等の既存の技術を用いることができる。さらに、エリア進入退出検出部３１ａは、撮影画像データにおける顔領域の位置に基づいて、この人物の位置を推定すると共に、この人物がエリアＡＬ、エリアＡＲ、または、これらエリアの外、のいずれに存在するのかを検出する。エリア進入退出検出部３１ａは、サンプリングした各撮影画像データにおいて特定した顔領域を追跡すると共に、撮影画像データ毎に上述した動作を行い、人物がエリアＡＬまたはエリアＡＲのいずれかに進入したこと、及び、エリアＡＬまたはエリアＡＲのいずれかから人物が退出したこと、を検出する。

移動方向検出部３１ｂは、カメラ装置５から入力された撮影画像データに基づいて、この撮影画像データに写っている人物を検出すると共に、この人物の進行方向、及び、位置を検出するものである。本実施形態において、人物の位置とは、人物がエリアＡＲまたはエリアＡＬに存在する場合において、この人物が存在するエリアのことである。ここで、移動方向検出部３１ｂの具体的な動作について一例を挙げて説明する。
例えば、移動方向検出部３１ｂは、撮影画像データのサンプリングを行い、サンプリングした撮影画像データを分析し、この撮影画像データに写っている人物の顔を検出し、検出した顔の領域を特定する。次いで、移動方向検出部３１ｂは、撮影画像データにおける顔領域の位置に基づいて、この人物の位置を推定すると共に、この人物がエリアＡＬまたはエリアＡＲのいずれかに存在するか否か、存在する場合いずれのエリアに存在するかを検出する。
さらに、顔領域を検出した場合、移動方向検出部３１ｂは、サンプリングした各撮影画像データにおいて顔領域を追跡し、顔領域の移動ベクトルを検出し、検出した移動ベクトルに基づいて、この人物が進んでいる方向、具体的には、この人物が進行方向Ｙ１または進行方向Ｙ２のいずれの進行方向に進んでいるかを検出する。

図８は、スピーカ台座制御部３１ｃの動作を説明するための図である。
スピーカ台座制御部３１ｃは、カメラ装置５から入力された撮影画像データに基づいて、この撮影画像データに写っている人物を検出し、この人物に向かって音声が出力されるよう超指向性スピーカ４の向きを変更すると共に、この人物の移動を検出し、検出した人物の移動に応じて、超指向性スピーカ４を回転することにより、超指向性スピーカ４から出力される音声の方向がこの人物に向かっている状態を維持するものである。例えば、図８に示すように、人物Ｊ５が矢印Ｙ６に向かって移動する場合、この移動に合わせて超指向性スピーカ４を回転方向Ｙ３に回転し、超指向性スピーカ４から出力される音声の方向が人物Ｊ５に向けられた状態を維持する。ここで、スピーカ台座制御部３１ｃの具体的な動作について一例を挙げて説明する。
例えば、スピーカ台座制御部３１ｃは、カメラ装置５から入力される撮影画像データのサンプリングを行い、サンプリングした撮影画像データを分析し、この撮影画像データに写っている人物の顔を検出し、検出した顔の領域を特定する。さらに、スピーカ台座制御部３１ｃは、撮影画像データにおける顔領域の位置を分析し、この分析結果に基づいて、超指向性スピーカ４から出力される音声の方向をこの人物の顔に向けるためには、超指向性スピーカ４をどの方向にどれだけ回転させればよいかを算出する。この際、記憶部３８に、撮影画像データにおける顔領域の位置と、この顔領域に係る人物の顔に向けて音声を出力する際の超指向性スピーカ４の向きと、を対応付けて記憶するテーブルを記憶し、このテーブルの内容に基づいて超指向性スピーカ４の回転方向、及び、回転量を算出する構成としてもよい。次いで、スピーカ台座制御部３１ｃは、台座駆動部３７を制御して、算出した超指向性スピーカ４の回転方向、及び、回転量に応じたモータ駆動制御信号をスピーカ台座４１に内蔵されたモータに出力し、超指向性スピーカ４を回転する。この動作を、撮影画像データから顔領域が検出されている間継続することにより、スピーカ台座制御部３１ｃは、超指向性スピーカ４から出力される音声の方向を人物の顔に向けた状態を維持する。

属性判別部３１ｄは、カメラ装置５から入力された撮影画像データに基づいて、この撮影画像データに写っている人物を検出し、この人物の属性を判別するものである。本実施形態において、人物の属性とは、この人物の性別のことである。ここで、属性判別部３１ｄの具体的な動作について一例を挙げて説明する。
例えば、属性判別部３１ｄは、カメラ装置５から入力される撮影画像データのサンプリングを行い、サンプリングした撮影画像データを分析し、この撮影画像データに写っている人物の顔を検出し、検出した顔の領域を特定する。次いで属性判別部３１ｄは、特定した顔領域の特徴を抽出し、抽出した顔領域の特徴に基づいて性別を判別する。

次いで、記憶部３８に記憶されている画像データテーブル３８ａ、及び、音声データテーブル３８ｂについて図９を用いて説明する。
図９（Ａ）は、記憶部３８に記憶された画像データテーブル３８ａの構成を模式的に示す図である。
図９（Ａ）に示すように、画像データテーブル３８ａは、画像名称フィールドと、左方向用画像データフィールドと、右方向用画像データフィールドと、を備えている。左方向用画像データフィールドには、左方向用画像データが記憶される。左方向用画像データとは、目視方向ＥＬ用の画像データのことであり、例えば、図３（Ａ）に示す画像ＧＬに係る画像データＬＤ１が左方向用画像データとして記憶部３８に記憶される。また、右方向用画像データフィールドには、右方向用画像データが記憶される。右方向用画像データとは、目視方向ＥＲ用の画像データのことであり、例えば、図３（Ｂ）に示す画像ＧＲに係る画像データＲＤ１が右方向用画像データとして記憶部３８に記憶される。図９（Ａ）に示すように、画像データテーブル３８ａにおいては、１の左方向用画像データと、１の右方向用画像データとが対応付けて記憶されており、液晶表示パネル１０に画像が表示される際は、対応付けて記憶されている左方向用画像データに係る画像と、右方向用画像データに係る画像とが同時に表示される。
画像名称フィールドには画像名称が記憶される。画像名称とは、対応付けて記憶された左方向用画像データ及び右方向用画像データに一意に付される総称のことであり、図９（Ａ）の例では、対応する画像データＬＤ１及び画像データＲＤ１の画像名称として画像名称ＧＤ１が付されている。

図９（Ｂ）は、記憶部３８に記憶された音声データテーブル３８ｂの構成を模式的に示す図である。
上述したように、表示システム１は、歩行路６を歩行する人物に対して超指向性スピーカ４から音声を出力し、音声に係る情報を人物に対し提供する。ここで、本実施形態に係る表示システム１は、超指向性スピーカ４による音声の出力に際し、歩行路６を歩行する１人の人物に対し、この人物の位置、この人物の進行方向、この人物の属性という３つの条件に応じて、この人物に向けて特定の超指向性スピーカ４から特定の音声を出力する構成となっている。そして、音声データテーブル３８ｂでは、これら３つの条件と、この条件が成立した場合に出力する音声に係る音声データと、この音声を出力する特定の超指向性スピーカ４を示す値と、を関連付けて記憶している。

図９（Ｂ）に示すように、音声データテーブル３８ｂは、条件名フィールドと、条件フィールドと、出力対象音声データフィールドと、出力対象超指向性スピーカフィールドと、を備えている。
条件名フィールドには、条件毎に一意に付与される条件名が記憶される。
条件フィールドは、上述した条件が記憶されるフィールドであり、人物の位置フィールドと、進行方向フィールドと、属性フィールドと、を備えている。
人物の位置フィールドは、１人の人物の位置についての条件が記憶されるフィールドであり、図２のエリアＡＬを示す値またはエリアＡＲを示す値が記憶される。上述したように、人物の位置は、移動方向検出部３１ｂによって検出される。
進行方向フィールドは、１人の人物の進行方向についての条件が記憶されるフィールドであり、図２の進行方向Ｙ１を示す値または進行方向Ｙ２を示す値が記憶される。上述したように、人物の進行方向は、移動方向検出部３１ｂによって検出される。
属性フィールドには、１人の人物の属性についての条件が記憶されるフィールドであり、属性としての性別を示す値、具体的には、男性を示す値または女性を示す値が記憶される。上述したように、人物の属性は、属性判別部３１ｄによって検出される。
出力対象音声データフィールドには、条件フィールドに記憶された条件が成立した場合に、出力される音声データが条件毎に記憶される。
出力対象超指向性スピーカフィールドには、条件フィールドに記憶された条件が成立した場合に、音声を出力する一方の超指向性スピーカ４を示す値が記憶される。
例えば、図９（Ｂ）を参照して、１人の人物について、この人物がエリアＡＬに存在し、この人物の進行方向が進行方向Ｙ１であり、この人物が男性である場合、条件Ｐ１が成立するため、音声データＬＭが超指向性スピーカ４Ｌから出力されることになる。

ここで、本実施形態における条件と、出力対象音声データと、出力対象超指向性スピーカと、の関係について図２及び図９（Ｂ）を用いて詳述する。
１人の人物について、図９（Ｂ）の音声データテーブル３８ｂが示す条件Ｐ１が成立する場合、この人物は、図２の入店者Ｊ１のように、エリアＡＬに存在して進行方向Ｙ１に進む男性の入店者ということになる。この場合、この人物に対して、エリアＡＬから目視できる画像、すなわち、図３（Ａ）に示す画像ＧＬに対応し、かつ、入店者向けかつ男性向けの音声を出力すれば、この人物に対し効果的に情報伝達できる。また、超指向性スピーカ４Ｌ、４Ｒのうち、エリアＡＬに近い、つまり、この人物に近い場所に位置する超指向性スピーカ４Ｌから音声を出力すれば、効率よく音声を出力できる。これを鑑み、条件Ｐ１が成立した場合に出力される音声データＬＭに係る音声は、画像ＧＬに対応し、かつ、入店者向けかつ男性向けの音声となっている。例えば、音声データＬＭに係る音声は男性用化粧品を本日の目玉商品として紹介する音声となっている。また、条件Ｐ１が成立した場合、音声データＬＭに係る音声は、人物に近い場所に位置する超指向性スピーカ４Ｌから出力される。
また、１人の人物について、条件Ｐ２が成立する場合、この人物は、エリアＡＬに存在して進行方向Ｙ１に進む女性の入店者ということになる。これを鑑み、条件Ｐ２が成立した場合に出力される音声データＬＷは、エリアＡＬから視認可能な画像ＧＬに対応すると共に、入店者向けかつ女性向けの内容を含む音声となっている。なお、条件Ｐ２が成立した場合、音声データＬＷに係る音声は、この人物に近い場所に位置する超指向性スピーカ４Ｌから出力される。
また、１人の人物について、条件Ｐ３が成立する場合、この人物は、エリアＡＲに存在して進行方向Ｙ２に進む男性の退店者ということになる。これを鑑み、条件Ｐ３が成立した場合に出力される音声データＲＭは、エリアＡＲから視認可能な画像ＧＲに対応すると共に、退店者向けかつ男性向けの内容を含む音声となっている。なお、条件Ｐ３が成立した場合、音声データＲＭに係る音声は、この人物に近い場所に位置する超指向性スピーカ４Ｒから出力される。
また、１人の人物について、条件Ｐ４が成立する場合、この人物は、エリアＡＲに存在して進行方向Ｙ２に進む女性の退店者ということになる。これを鑑み、条件Ｐ４が成立した場合に出力される音声データＲＷは、エリアＡＲから視認可能な画像ＧＲに対応すると共に、退店者向けかつ女性向けの内容を含む音声となっている。なお、条件Ｐ４が成立した場合、音声データＲＷに係る音声は、この人物に近い場所に位置する超指向性スピーカ４Ｒから出力される。

このように本実施形態では、歩行路６を歩行する１人の人物について超指向性スピーカ４から音声を出力する際、この人物の位置、及び、進行方向に応じて出力する音声データが特定され、この音声が出力される。ここで、人物の位置によってこの人物から視認可能な画像が特定されると共に、人物の進行方向からこの人物が入店者か退店者かが特定される。従って、人物の位置、及び、進行方向に応じて出力する音声が定められることにより、この人物から視認可能な画像に対応し、かつ、この人物が入店者または退店者のいずれであるかに応じた、最適な音声をこの人物に出力することができ、表示システム１において効果的な情報伝達を実現できる。
また、本実施形態では、歩行路６を歩行する１人の人物について超指向性スピーカ４から音声を出力する場合、人物の位置、及び、進行方向のみならず、人物の属性に応じて出力する音声データが定められ、この音声が出力される。従って、人物の属性が反映され、よりこの人物に適した音声を、この人物に出力することができ、さらに効果的な情報伝達を実現できる。
なお、図９（Ｂ）の音声データテーブル３８ｂの例では、図２のエリアＡＬ内に存在し、進行方向Ｙ２へ進んで退店しようとしている退店者Ｊ３に対しては、何ら音声が出力されないこととなる。しかしながら、この退店者Ｊ３は、歩行の過程でエリアＡＲを通過しており、このエリアＡＲにおいて退店者Ｊ３にとって有益な情報を画像及び音声によって取得しているため、退店者Ｊ３にとって何ら不利益を及ぼさない。このことは、エリアＡＲ内に存在し、進行方向Ｙ１へ進んで入店しようとしている入店者Ｊ４についても、同様である。

次いで、表示システム１の動作について説明する。
図１０は、表示システム１の動作を示すフローチャートである。
なお、図１０に示すフローチャートの動作の前提として、図９（Ａ）の画像データテーブル３８ａの画像名称ＧＤ１に係る画像が液晶表示パネル１０に表示されており、図３に示すように、目視方向ＥＬ用の画像として左方向用画像データである画像データＬＤ１に係る画像ＧＬが、目視方向ＥＲ用の画像として右方向用画像データである画像データＲＤ１に係る画像ＧＲが、液晶表示パネル１０に表示されている状態であるものとする。また、カメラ装置５によって、液晶表示パネル１０の前方が撮影されている状態であるものとする。なお、図１０のフローチャートにおいて、表示制御装置３の制御部３１は、音声出力制御部として機能する。
表示制御装置３の制御部３１のエリア進入退出検出部３１ａは、エリアＡＬまたはエリアＡＲへの人物の進入があったか否かを監視する（ステップＳ１１）。エリアＡＬまたはエリアＡＲへの人物の進入があった場合（ステップＳ１１：ＹＥＳ）、制御部３１の移動方向検出部３１ｂは、この人物の位置、すなわち、この人物が存在するエリアと、この人物の進行方向を検出する（ステップＳ１２）。次いで、制御部３１の属性判別部３１ｄは、この人物の属性、すなわち、この人物が男性か女性かを判別する（ステップＳ１３）。

人物の位置、進行方向を検出し、人物の属性を判別した後、制御部３１は、記憶部３８に記憶された音声データテーブル３８ｂを参照し、条件フィールドに記憶されている条件のうち、成立する条件があるか否かを判別する（ステップＳ１４）。
成立する条件がない場合（ステップＳ１４：ＮＯ）、制御部３１は、処理をステップＳ１１に戻す。一方、成立する条件がある場合（ステップＳ１４：ＹＥＳ）、制御部３１は、出力対象音声データフィールドを参照し、成立する条件に対応する音声データを特定すると共に、出力対象超指向性スピーカフィールドを参照し、特定した音声データに係る音声を出力する一方の超指向性スピーカ４を特定する（ステップＳ１５）。上述したように、このステップＳ１５で特定された音声データは、人物の位置、進行方向、及び、属性に基づくこの人物にとって最適の音声データである。また、特定された超指向性スピーカ４は、２台の超指向性スピーカ４のうち、この人物に近い場所に位置する超指向性スピーカ４である。
次いで、制御部３１のスピーカ台座制御部３１ｃは、台座駆動部３７を制御して、ステップＳ１６で特定された超指向性スピーカ４を回転し、この超指向性スピーカ４から出力される音声の方向を人物に向けると共に、この人物の移動に対応して超指向性スピーカ４を回転する（ステップＳ１６）。さらに、制御部３１は、ステップＳ１６で特定された音声データを記憶部３８から読み出し、音声出力部３６を制御して、読み出した音声データに係る音声を超指向性スピーカ４から出力する（ステップＳ１７）。

音声を出力した後、制御部３１は、移動方向検出部３１ｂによって現在の人物の位置及び進行方向を検出すると共に、音声データテーブル３８ｂの条件フィールドを参照し、この人物について現在も条件が成立しているか否かを監視する（ステップＳ１８）。条件が成立している場合（ステップＳ１８：ＹＥＳ）、制御部３１のスピーカ台座制御部３１ｃによって超指向性スピーカ４から出力される音声の方向が人物に向けられると共に、音声の出力が継続される（ステップＳ１９）。
このように、本実施形態では、条件が成立している間、スピーカ台座制御部３１ｃが１人の人物に向かって音声が出力されるよう超指向性スピーカ４の向きを変更すると共に、この人物の移動を検出し、検出した人物の移動に応じて、超指向性スピーカ４を回転し、この人物に向かって音声が出力されている状態が維持される。このため、音声による効果的な情報伝達を実現できる。
一方、条件が成立していない場合（ステップＳ１８：ＮＯ）、制御部３１は、音声の出力を停止する（ステップＳ２０）。

以上説明したように、本実施形態では、歩行路６を歩行する１人の人物について超指向性スピーカ４から音声を出力する場合、移動方向検出部３１ｂによってこの人物の位置、及び、進行方向が検出され、検出された人物の位置、及び、進行方向に応じて出力する音声データが定められ、この音声が出力される。ここで、人物の位置によってこの人物から視認可能な画像が特定されると共に、人物の進行方向からこの人物が入店者か退店者かが特定される。従って、人物の位置、及び、進行方向に応じて出力する音声が定められることにより、この人物から視認可能な画像に対応し、かつ、この人物が入店者または退店者のいずれに該当するかに対応した最適な音声をこの人物に出力することができ、表示システム１において効果的な情報伝達を実現できる。

また、本実施形態では、１人の人物に対し音声を出力する際、スピーカ台座制御部３１ｃが、１人の人物に向かって音声が出力されるよう超指向性スピーカ４の向きを変更すると共に、この人物の移動を検出し、検出した人物の移動に応じて、超指向性スピーカ４を回転することにより、この人物に向かって音声が出力されている状態を維持する。従って、特定の方向に音声を出力するという超指向性スピーカ４の特性を利用し、１人の人物に対してのみ特定の音声を出力するという状態を維持することができ、音声による効果的な情報伝達を実現できる。

また、本実施形態では、歩行路６を歩行する１人の人物について超指向性スピーカ４から音声を出力する場合、人物の位置、及び、進行方向のみならず、属性判別部によって判別された人物の属性に応じて出力する音声データが定められ、この音声が出力される。従って、人物の属性が反映され、よりこの人物に適した音声を、この人物に出力することができ、さらに効果的な情報伝達を実現できる。

また、本実施形態に係る表示システム１は、複数の超指向性スピーカ４を備えている。従って、歩行路６を歩行する複数の人物に対し、それぞれに適した音声を、同時に、出力できる。なお、本実施形態では、超指向性スピーカ４を２台備える構成であったが、超指向性スピーカ４の台数はこれに限らない。

なお、上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
本実施形態では、属性判別部３１ｄが属性として人物の性別を判別する構成としたが、判別される属性は性別に限らない。例えば、属性判別部３１ｄが人物が日本人であるか外国人であるかを判別する構成とし、日本人の場合にはこの人物に対し日本語の音声が出力されるようにし、外国人の場合にはこの人物に対し外国語の音声が出力されるようにしてもよい。
また、本実施形態では、歩行路６の壁７に表示装置２を設けた場合を例にして説明したが、表示装置２が設けられる場所はこれに限らず、移動する人物が目視可能な様々な場所に設けることができる。

表示システムの概略構成を示す図である。 表示装置が歩行路の壁に設けられた様子を示す図である。 表示装置に表示される画像の例を示す図である。 液晶表示パネルの概略構造を示す要部断面図である。 図４中に符号Ａで示す部分の拡大断面図である。 液晶表示パネルの配線の構成を示す要部平面図である。 表示システムの機能的構成を示すブロック図である。 スピーカ台座制御部の動作を説明するための図である。 記憶部に記憶されるテーブルの構成を模式的に示す図である。 表示システムの動作を示すフローチャートである。

符号の説明

１…表示システム、２…表示装置、４、４Ｌ、４Ｒ…超指向性スピーカ、５…カメラ装置（撮影手段）、１０…液晶表示パネル（表示画面）、３１…制御部（音声出力制御手段）、３１ｂ…移動方向検出部（移動方向検出手段）、３１ｃ…スピーカ台座制御部（スピーカ制御手段）、３１ｄ…属性判別部（属性判別手段）。

Claims (5)

1. 複数の画像を、それぞれ異なる特定の方向からのみ視認可能なように表示画面に同時に表示する表示装置と、
   特定の方向に音声を出力する超指向性スピーカと、
   前記表示装置の前記表示画面の前方を撮影して撮影画像を生成する撮影手段と、
   前記撮影手段が生成した前記撮影画像に基づいて、前記撮影画像に写っている人物を検出すると共に、この人物の移動方向及び位置を検出する移動方向検出手段と、
   前記移動方向検出手段が検出した前記人物の移動方向及び位置に基づいて、前記人物が視認可能な前記画像に対応する音声を前記人物に向けて前記超指向性スピーカから出力する音声出力制御手段と、を備えること、
   を特徴とする表示システム。
2. 前記超指向性スピーカの音声出力の方向を移動可能に構成し、
   前記撮影手段が生成した前記撮影画像に基づいて、前記撮影画像に写っている人物を検出し、この人物の移動を検出すると共に、検出した前記人物の移動に対応して前記超指向性スピーカの音声出力の方向を移動するスピーカ制御手段をさらに備えること、
   を特徴とする請求項１に記載の表示システム。
3. 前記撮影手段が生成した前記撮影画像に基づいて、前記撮影画像に写っている人物を検出すると共に、この人物の属性を判別する属性判別手段をさらに備え、
   前記音声出力制御手段は、前記位置等検出手段が検出した前記人物の移動方向及び位置、及び、前記属性判別手段が判別した前記人物の属性に基づいて、前記人物が視認可能な前記画像に対応する音声を前記人物に向けて前記超指向性スピーカから出力すること、
   を特徴とする請求項１または２に記載の表示システム。
4. 前記超指向性スピーカを複数備えること、
   を特徴とする請求項１乃至３のいずれかに記載の表示システム。
5. 複数の画像を、それぞれ異なる特定の方向からのみ視認可能なように表示画面に同時に表示する表示装置と、特定の方向に音声を出力する超指向性スピーカと、を備える表示システムの制御方法であって、
   前記表示装置の前記表示画面の前方を撮影して撮影画像を生成し、
   前記撮影画像に基づいて、前記撮影画像に写っている人物を検出すると共に、この人物の移動方向及び位置を検出し、
   検出した前記人物の移動方向及び位置に基づいて、前記人物が視認可能な前記画像に対応する音声を前記人物に向けて前記超指向性スピーカから出力すること、
   を特徴とする表示システムの制御方法。

Images