JP2010020053A - 表示システム、表示制御装置、および、表示制御方法 - Google Patents
表示システム、表示制御装置、および、表示制御方法 Download PDFInfo
- Publication number
- JP2010020053A JP2010020053A JP2008179879A JP2008179879A JP2010020053A JP 2010020053 A JP2010020053 A JP 2010020053A JP 2008179879 A JP2008179879 A JP 2008179879A JP 2008179879 A JP2008179879 A JP 2008179879A JP 2010020053 A JP2010020053 A JP 2010020053A
- Authority
- JP
- Japan
- Prior art keywords
- display
- user
- input
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】複数の表示装置を並べて構成される表示領域を効果的に使用して情報を提供する表示システム、表示制御装置、及び表示制御方法を提供する。
【解決手段】複数の表示装置20A、20Bを並べて構成される表示ユニット2に接続された表示制御装置5によって、表示ユニット2の近傍にいる人を利用者として認識し、その位置を検出し、検出した利用者の位置に基づいて、表示オブジェクトを表示する表示位置を決定し、決定した表示位置に表示オブジェクトを表示するとともに、以前に位置を検出した利用者が別の位置に移動した場合には、移動後の位置に基づいて新たに表示位置を決定して、表示オブジェクトを新たな表示位置に移動させ、表示装置20Bにおいて入力が行われた場合には、入力された内容に基づいて表示オブジェクトを変化させる。
【選択図】図1
【解決手段】複数の表示装置20A、20Bを並べて構成される表示ユニット2に接続された表示制御装置5によって、表示ユニット2の近傍にいる人を利用者として認識し、その位置を検出し、検出した利用者の位置に基づいて、表示オブジェクトを表示する表示位置を決定し、決定した表示位置に表示オブジェクトを表示するとともに、以前に位置を検出した利用者が別の位置に移動した場合には、移動後の位置に基づいて新たに表示位置を決定して、表示オブジェクトを新たな表示位置に移動させ、表示装置20Bにおいて入力が行われた場合には、入力された内容に基づいて表示オブジェクトを変化させる。
【選択図】図1
Description
本発明は、複数の表示装置により表示を行う表示システム、この表示システムにおける表示状態を制御する表示制御装置、および、表示制御方法に関する。
従来、複数の表示装置を並べて一つの大型の画面を構成する手法が知られている(例えば、特許文献1参照)。特許文献1には、複数の画像表示部を並べて配設することで、大型の画面として機能するマルチディスプレイ装置を構成する場合に、各々の画像表示部に対し、表示データをそれぞれ入力するものが開示されている。このように複数の表示装置を並べて全体として一つの画面のように表示をさせることは、一般に、タイリング表示と呼ばれる。このようなマルチディスプレイ装置は、例えば、広告表示を目的として壁面等に設置される。
特開2001−275137号公報
ところで、マルチディスプレイ装置を用いて広告等を表示する場合は、通常の表示装置に表示される映像を拡大して表示することが多く、マルチディスプレイ装置に合わせた特有の表示方法は無かった。このため、マルチディスプレイ装置の特性を生かした表示を行う方法がなく、この表示による効果的な情報提供の方法もなかった。
そこで、本発明は、複数の表示装置を並べて構成される表示領域を効果的に使用して情報を提供する表示システム、表示制御装置、及び表示制御方法を提供することを目的とする。
そこで、本発明は、複数の表示装置を並べて構成される表示領域を効果的に使用して情報を提供する表示システム、表示制御装置、及び表示制御方法を提供することを目的とする。
上記課題を解決するため、本発明は、複数の表示装置を並べて構成される表示ユニットと、前記表示ユニットの近傍にいる人を利用者として認識し、その位置を検出する位置検出手段と、前記位置検出手段により検出された利用者の位置に基づいて、表示オブジェクトを表示する表示位置を決定する位置決定手段と、前記位置決定手段により決定された表示位置に前記表示オブジェクトを表示する表示制御手段と、利用者による入力を受け付ける入力部と、を備え、前記表示制御手段は、以前に前記位置検出手段によって位置が検出された利用者が別の位置に移動し、移動後の位置に基づいて前記位置決定手段によって新たに表示位置が決定された場合に、前記表示オブジェクトを新たな表示位置に移動させ、前記入力部に入力が行われた場合には、前記入力部に入力された内容に基づいて前記表示オブジェクトを変化させること、を特徴とする表示システムを提供する。
この構成によれば、複数の表示装置を並べて構成される表示ユニットの近傍における利用者の位置を検出して、この利用者の位置に基づいて表示オブジェクトの表示位置を決定して表示し、利用者が移動した場合は表示オブジェクトの表示位置を移動させ、さらに、利用者による入力に応じて表示オブジェクトを変化させる。このため、利用者の移動に合わせて表示オブジェクトを移動させることにより、歩行中または移動中の利用者の動きを妨げることなく、各種情報を見やすく、利便性の高い形態で提供できる。これにより、大画面化が容易であるという、複数の表示装置を並べて構成される表示ユニットの特性を生かして、移動中の利用者に対し、利用者の移動を妨げないように画像等の表示オブジェクトによる情報提供を行うことができる。加えて、入力部により受け付けた入力の内容に基づいて表示オブジェクトを変化させることにより、双方向的な情報の提供を行えるという利点がある。
この構成によれば、複数の表示装置を並べて構成される表示ユニットの近傍における利用者の位置を検出して、この利用者の位置に基づいて表示オブジェクトの表示位置を決定して表示し、利用者が移動した場合は表示オブジェクトの表示位置を移動させ、さらに、利用者による入力に応じて表示オブジェクトを変化させる。このため、利用者の移動に合わせて表示オブジェクトを移動させることにより、歩行中または移動中の利用者の動きを妨げることなく、各種情報を見やすく、利便性の高い形態で提供できる。これにより、大画面化が容易であるという、複数の表示装置を並べて構成される表示ユニットの特性を生かして、移動中の利用者に対し、利用者の移動を妨げないように画像等の表示オブジェクトによる情報提供を行うことができる。加えて、入力部により受け付けた入力の内容に基づいて表示オブジェクトを変化させることにより、双方向的な情報の提供を行えるという利点がある。
上記構成において、少なくとも一部の前記表示装置が前記入力部を備え、前記表示制御手段は、前記表示オブジェクトを表示中の前記表示装置の前記入力部に対する入力が行われた場合に、その入力内容に基づいて前記表示オブジェクトを変化させるものとしてもよい。
この場合、利用者に対して表示オブジェクトを表示する表示装置が入力部を備えており、表示オブジェクトを表示中の表示装置の入力部において入力が行われた場合に表示オブジェクトを変化させるので、利用者にとって見やすくかつ操作しやすい場所に入力部を設けることにより利便性の向上を図るとともに、表示オブジェクトを表示中の表示装置の入力部における入力に対応することで、無関係な入力に伴う誤動作を防止できる。
この場合、利用者に対して表示オブジェクトを表示する表示装置が入力部を備えており、表示オブジェクトを表示中の表示装置の入力部において入力が行われた場合に表示オブジェクトを変化させるので、利用者にとって見やすくかつ操作しやすい場所に入力部を設けることにより利便性の向上を図るとともに、表示オブジェクトを表示中の表示装置の入力部における入力に対応することで、無関係な入力に伴う誤動作を防止できる。
また、上記構成において、前記表示制御手段は、前記入力部において行き先を指定する入力が行われた場合に、前記表示オブジェクトとして入力された行き先への道案内をする画像を表示させるものとしてもよい。
この場合、表示装置により表示される表示オブジェクトを利用して道案内を行うので、見やすく分かりやすい形態で道案内を行うことができる。特に、大画面化が容易な表示ユニットの特性を生かして、移動中の利用者の移動を妨げないように道案内用の画像を表示することで、固定的な道案内の表示に比べて格段に分かりやすい案内を行うことができる。
この場合、表示装置により表示される表示オブジェクトを利用して道案内を行うので、見やすく分かりやすい形態で道案内を行うことができる。特に、大画面化が容易な表示ユニットの特性を生かして、移動中の利用者の移動を妨げないように道案内用の画像を表示することで、固定的な道案内の表示に比べて格段に分かりやすい案内を行うことができる。
さらに、上記構成において、前記位置検出手段は、前記表示ユニットを視認可能な範囲を撮影するカメラと、前記カメラの撮影画像に含まれる人物画像を検出することによって利用者を認識し、検出した人物画像が、以前に認識された利用者の人物画像か否かを判別する画像認識手段と、を備えて構成されるものであってもよい。
この場合、カメラの撮影画像から人物画像を検出することで利用者を認識し、この人物画像から、既に利用者として認識された人物か否かを速やかに判別することにより、利用者の移動を速やかに検出できる。
この場合、カメラの撮影画像から人物画像を検出することで利用者を認識し、この人物画像から、既に利用者として認識された人物か否かを速やかに判別することにより、利用者の移動を速やかに検出できる。
また、上記構成において、前記表示ユニットに表示される表示オブジェクトを視認可能な範囲に向けて音声を出力する複数の音声出力装置と、前記位置決定手段により決定された表示位置に基づいて、複数の前記音声出力装置から一部の前記音声出力装置を選択し、選択した前記音声出力装置から、前記表示制御装置の制御により表示される前記表示オブジェクトに対応する音声を出力させる音声出力制御手段と、を備えるものであってもよい。
この場合、表示ユニットにおいて利用者の近くから表示オブジェクトとともに音声を出力することで、利用者の移動に合わせて、歩行中または移動中の利用者の動きを妨げることなく、多くの情報を利便性の高い形態で提供できる。
この場合、表示ユニットにおいて利用者の近くから表示オブジェクトとともに音声を出力することで、利用者の移動に合わせて、歩行中または移動中の利用者の動きを妨げることなく、多くの情報を利便性の高い形態で提供できる。
また、本発明は、複数の表示装置を並べて構成される表示ユニットと、利用者による入力を受け付ける入力部とに接続され、前記表示ユニットの近傍にいる人を利用者として認識し、その位置を検出する位置検出手段と、前記位置検出手段により検出された利用者の位置に基づいて、表示オブジェクトを表示する表示位置を決定する位置決定手段と、前記位置決定手段により決定された表示位置に前記表示オブジェクトを表示する表示制御手段と、を備え、前記表示制御手段は、以前に前記位置検出手段によって位置が検出された利用者が別の位置に移動し、移動後の位置に基づいて前記位置決定手段によって新たに表示位置が決定された場合に、前記表示オブジェクトを新たな表示位置に移動させ、前記入力部に入力が行われた場合には、前記入力部に入力された内容に基づいて前記表示オブジェクトを変化させること、を特徴とする表示制御装置を提供する。
この構成によれば、複数の表示装置を並べて構成される表示ユニットの近傍における利用者の位置を検出して、この利用者の位置に基づいて表示オブジェクトの表示位置を決定して表示し、利用者が移動した場合は表示オブジェクトの表示位置を移動させ、さらに、利用者による入力に応じて表示オブジェクトを変化させる。このため、利用者の移動に合わせて表示オブジェクトを移動させることにより、歩行中または移動中の利用者の動きを妨げることなく、各種情報を見やすく、利便性の高い形態で提供できる。これにより、大画面化が容易であるという、複数の表示装置を並べて構成される表示ユニットの特性を生かして、移動中の利用者に対し、利用者の移動を妨げないように画像等の表示オブジェクトによる情報提供を行うことができる。加えて、入力部により受け付けた入力の内容に基づいて表示オブジェクトを変化させることにより、双方向的な情報の提供を行えるという利点がある。
この構成によれば、複数の表示装置を並べて構成される表示ユニットの近傍における利用者の位置を検出して、この利用者の位置に基づいて表示オブジェクトの表示位置を決定して表示し、利用者が移動した場合は表示オブジェクトの表示位置を移動させ、さらに、利用者による入力に応じて表示オブジェクトを変化させる。このため、利用者の移動に合わせて表示オブジェクトを移動させることにより、歩行中または移動中の利用者の動きを妨げることなく、各種情報を見やすく、利便性の高い形態で提供できる。これにより、大画面化が容易であるという、複数の表示装置を並べて構成される表示ユニットの特性を生かして、移動中の利用者に対し、利用者の移動を妨げないように画像等の表示オブジェクトによる情報提供を行うことができる。加えて、入力部により受け付けた入力の内容に基づいて表示オブジェクトを変化させることにより、双方向的な情報の提供を行えるという利点がある。
また、本発明は、複数の表示装置を並べて構成される表示ユニットと、利用者による入力を受け付ける入力部とに接続された表示制御装置によって、前記表示ユニットの近傍にいる人を利用者として認識し、その位置を検出し、検出した利用者の位置に基づいて、表示オブジェクトを表示する表示位置を決定し、決定した表示位置に前記表示オブジェクトを表示するとともに、以前に位置を検出した利用者が別の位置に移動した場合には、移動後の位置に基づいて新たに表示位置を決定し、前記表示オブジェクトを新たな表示位置に移動させ、前記入力部に入力が行われた場合には、前記入力部に入力された内容に基づいて前記表示オブジェクトを変化させること、を特徴とする表示制御方法を提供する。
この方法によれば、複数の表示装置を並べて構成される表示ユニットの近傍における利用者の位置を検出して、この利用者の位置に基づいて表示オブジェクトの表示位置を決定して表示し、利用者が移動した場合は表示オブジェクトの表示位置を移動させ、さらに、利用者による入力に応じて表示オブジェクトを変化させる。このため、利用者の移動に合わせて表示オブジェクトを移動させることにより、歩行中または移動中の利用者の動きを妨げることなく、各種情報を見やすく、利便性の高い形態で提供できる。これにより、大画面化が容易であるという、複数の表示装置を並べて構成される表示ユニットの特性を生かして、移動中の利用者に対し、利用者の移動を妨げないように画像等の表示オブジェクトによる情報提供を行うことができる。加えて、入力部により受け付けた入力の内容に基づいて表示オブジェクトを変化させることにより、双方向的な情報の提供を行えるという利点がある。
この方法によれば、複数の表示装置を並べて構成される表示ユニットの近傍における利用者の位置を検出して、この利用者の位置に基づいて表示オブジェクトの表示位置を決定して表示し、利用者が移動した場合は表示オブジェクトの表示位置を移動させ、さらに、利用者による入力に応じて表示オブジェクトを変化させる。このため、利用者の移動に合わせて表示オブジェクトを移動させることにより、歩行中または移動中の利用者の動きを妨げることなく、各種情報を見やすく、利便性の高い形態で提供できる。これにより、大画面化が容易であるという、複数の表示装置を並べて構成される表示ユニットの特性を生かして、移動中の利用者に対し、利用者の移動を妨げないように画像等の表示オブジェクトによる情報提供を行うことができる。加えて、入力部により受け付けた入力の内容に基づいて表示オブジェクトを変化させることにより、双方向的な情報の提供を行えるという利点がある。
本発明によれば、利用者の移動に合わせて表示オブジェクトを移動させることにより、歩行中または移動中の利用者の動きを妨げることなく、各種情報を見やすく、利便性の高い形態で提供できる。
以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明を適用した実施形態に係る表示システム1の概略構成を示す図である。
この図1に示す表示システム1は、表示パネルを備えた表示装置20を縦横に多数並べて構成される表示ユニット2を備えている。各々の表示装置20は、信号線11を介して個々に表示制御装置5に接続されており、表示システム1は表示制御装置5の制御によって、表示ユニット2に画像等を表示するシステムである。さらに、表示装置20は音声を出力する機能を有しており、表示制御装置5の制御によって、各々の表示装置20から音声を出力できる。表示ユニット2を構成する表示装置20には2種類あり、一つは表示及び音声出力を行う表示装置20A、もう一つは表示及び音声出力に加えて、タッチセンサ28により入力操作を受け付ける表示装置20Bである。
図1は、本発明を適用した実施形態に係る表示システム1の概略構成を示す図である。
この図1に示す表示システム1は、表示パネルを備えた表示装置20を縦横に多数並べて構成される表示ユニット2を備えている。各々の表示装置20は、信号線11を介して個々に表示制御装置5に接続されており、表示システム1は表示制御装置5の制御によって、表示ユニット2に画像等を表示するシステムである。さらに、表示装置20は音声を出力する機能を有しており、表示制御装置5の制御によって、各々の表示装置20から音声を出力できる。表示ユニット2を構成する表示装置20には2種類あり、一つは表示及び音声出力を行う表示装置20A、もう一つは表示及び音声出力に加えて、タッチセンサ28により入力操作を受け付ける表示装置20Bである。
表示ユニット2は、屋内または屋外の通路或いは地下通路等の壁面に設置され、この通路に沿って設置される。このため、表示ユニット2は、図1に示すように横長に構成される。図1に示す例では、表示ユニット2を構成する表示装置20A、20Bは縦方向に6枚並んでおり、このうち下から3枚目は全て表示装置20Bであり、その他の表示装置は全て表示装置20Aで構成されている。
本実施形態では、通路の壁面に設置される表示ユニット2の一部の表示装置20A、20Bに道案内用の画像を表示するとともに、表示装置20A、20Bから道案内用の音声を出力して、表示ユニット2の前を歩く歩行者(利用者)に、道案内のサービスを提供する例について説明する。
本実施形態では、通路の壁面に設置される表示ユニット2の一部の表示装置20A、20Bに道案内用の画像を表示するとともに、表示装置20A、20Bから道案内用の音声を出力して、表示ユニット2の前を歩く歩行者(利用者)に、道案内のサービスを提供する例について説明する。
また、表示ユニット2には複数のカメラ30及びマイク40が取り付けられており、表示制御装置5は、カメラ30により撮影された画像およびマイク40により検出された音声に基づいて、表示装置20に表示させる画像や表示装置20により出力する音声を制御する。
カメラ30は、例えばデジタルビデオカメラにより構成され、表示制御装置5の制御に従って撮影を開始し、撮影しながら、或いは所定時間毎に、撮影した動画のデータを表示制御装置5へ出力する。カメラ30をデジタルスチルカメラで構成することも可能であり、この場合、カメラ30は、表示制御装置5の制御に従って撮影を行い、撮影した静止画像のデータを表示制御装置5へ出力する。
カメラ30は、例えばデジタルビデオカメラにより構成され、表示制御装置5の制御に従って撮影を開始し、撮影しながら、或いは所定時間毎に、撮影した動画のデータを表示制御装置5へ出力する。カメラ30をデジタルスチルカメラで構成することも可能であり、この場合、カメラ30は、表示制御装置5の制御に従って撮影を行い、撮影した静止画像のデータを表示制御装置5へ出力する。
カメラ30が撮影する範囲(領域)は、表示ユニット2の前方で、表示ユニット2に表示される画像を見ることが可能な領域である。つまり、カメラ30は、表示ユニット2を見ることが可能な場所にいる人の姿を撮影する。
表示制御装置5は、カメラ30が撮影した撮影画像から人物画像(人の姿の画像)を認識及び抽出する機能を有する。この機能によって認識された人物画像は、その後の処理において、表示ユニット2を利用する利用者として認識される。表示制御装置5は、カメラ30の撮影画像において認識した人物画像が、いったん認識した利用者の画像であるか否かを判別することが可能であり、撮影画像に基づいて利用者の位置を特定することによって、利用者の位置および利用者の移動を検出できる。
表示制御装置5は、カメラ30の撮影画像において認識した人物画像に基づき、その人の年齢や性別等の属性を判定することも可能であり、その人の顔の向きを識別することで表示ユニット2を見ているか否かを判別することも可能である。
なお、表示ユニット2が多数の表示装置20で構成され、広い表示領域を有するものである場合、表示ユニット2は相当遠方からも視認可能であるが、このような場合のカメラ30の焦点距離は、例えば表示ユニット2の近くに居る人を鮮明に撮影できるよう設定される。これは、上述した表示装置20による音声出力機能と表示装置20における表示とを連動させる場合に、表示ユニット2に近い人を対象にすれば、より効果的であるためである。
表示システム1は、全てのカメラ30を用いることで、表示ユニット2に表示される画像を良好に視認可能な範囲として、表示ユニット2の前方、及び、表示ユニット2の斜め前に広がる領域を撮影する。ここで必要なカメラ30の数は各カメラ30の画角等によって適宜決定され、例えば焦点距離が35〜24mmの広角レンズや、21mm以下の超広角レンズ(焦点距離はいずれも35mmフィルム換算)、或いは魚眼レンズを用いて、カメラ30の設置台数を少なくすることも可能である。
表示制御装置5は、カメラ30が撮影した撮影画像から人物画像(人の姿の画像)を認識及び抽出する機能を有する。この機能によって認識された人物画像は、その後の処理において、表示ユニット2を利用する利用者として認識される。表示制御装置5は、カメラ30の撮影画像において認識した人物画像が、いったん認識した利用者の画像であるか否かを判別することが可能であり、撮影画像に基づいて利用者の位置を特定することによって、利用者の位置および利用者の移動を検出できる。
表示制御装置5は、カメラ30の撮影画像において認識した人物画像に基づき、その人の年齢や性別等の属性を判定することも可能であり、その人の顔の向きを識別することで表示ユニット2を見ているか否かを判別することも可能である。
なお、表示ユニット2が多数の表示装置20で構成され、広い表示領域を有するものである場合、表示ユニット2は相当遠方からも視認可能であるが、このような場合のカメラ30の焦点距離は、例えば表示ユニット2の近くに居る人を鮮明に撮影できるよう設定される。これは、上述した表示装置20による音声出力機能と表示装置20における表示とを連動させる場合に、表示ユニット2に近い人を対象にすれば、より効果的であるためである。
表示システム1は、全てのカメラ30を用いることで、表示ユニット2に表示される画像を良好に視認可能な範囲として、表示ユニット2の前方、及び、表示ユニット2の斜め前に広がる領域を撮影する。ここで必要なカメラ30の数は各カメラ30の画角等によって適宜決定され、例えば焦点距離が35〜24mmの広角レンズや、21mm以下の超広角レンズ(焦点距離はいずれも35mmフィルム換算)、或いは魚眼レンズを用いて、カメラ30の設置台数を少なくすることも可能である。
マイク40は、表示ユニット2の前方からの音声を集音してアナログ電気信号に変換するマイクであり、このアナログ電気信号は表示制御装置5へ出力される。このマイク40は、後述するように利用者による音声の入力を受け付けることから、入力部として機能する。
図2は表示装置20Aの構成を示し、図2Aは正面図、図2Bは縦断面図である。
図2A及び図2Bに示すように、表示装置20Aは、所定の奥行きを有する直方体の枠21に各部を収容して構成され、枠21には透明な前面パネル22が嵌め込まれている。前面パネル22の奥には、画像を表示する表示パネル23、表示パネル23を照明するバックライト24、制御基板25が収容されている。
表示パネル23は、例えば、カラーフィルタや偏光板等を備え、後述する駆動回路213(図4A)により駆動されて画像(静止画像及び動画像を含む)を表示する透過型の液晶表示パネルである。バックライト24は、表示パネル23の背面から光を照射して、表示パネル23に表示された画像を視認可能とする照明装置であり、冷陰極管やLED等の光源と、表示パネル23の全体に均等に光を照射するための拡散板とを備えている。
図2A及び図2Bに示すように、表示装置20Aは、所定の奥行きを有する直方体の枠21に各部を収容して構成され、枠21には透明な前面パネル22が嵌め込まれている。前面パネル22の奥には、画像を表示する表示パネル23、表示パネル23を照明するバックライト24、制御基板25が収容されている。
表示パネル23は、例えば、カラーフィルタや偏光板等を備え、後述する駆動回路213(図4A)により駆動されて画像(静止画像及び動画像を含む)を表示する透過型の液晶表示パネルである。バックライト24は、表示パネル23の背面から光を照射して、表示パネル23に表示された画像を視認可能とする照明装置であり、冷陰極管やLED等の光源と、表示パネル23の全体に均等に光を照射するための拡散板とを備えている。
制御基板25は、表示装置20の動作を制御する制御部200A(図4A)が実装された基板である。
また、前面パネル22の裏面には複数の振動子26が貼付されている。振動子26は、音声信号に従って振動を発生することで、前面パネル22を振動させる素子である。振動子26によって前面パネル22を振動させることにより、前面パネル22は、スピーカの振動板と同様に機能して、音声を出力する。すなわち、前面パネル22と振動子26とは協働して、音声出力装置として機能する。
また、前面パネル22の裏面には複数の振動子26が貼付されている。振動子26は、音声信号に従って振動を発生することで、前面パネル22を振動させる素子である。振動子26によって前面パネル22を振動させることにより、前面パネル22は、スピーカの振動板と同様に機能して、音声を出力する。すなわち、前面パネル22と振動子26とは協働して、音声出力装置として機能する。
図3は表示装置20Bの構成を示し、図3Aは正面図、図3Bは縦断面図である。
図3A及び図3Bに示すように、表示装置20Bは、表示装置20Aと同様の枠21に、表示装置20Aが備える前面パネル22、表示パネル23、バックライト24及び制御基板25を収容し、前面パネル22の裏面には振動子26が貼付された構成を有する。表示装置20Bは、表示装置20Aと同様に、表示パネル23によって画像を表示するとともに、振動子26の振動により前面パネル22から音声を出力する機能を備える。
さらに、表示装置20Bは、前面パネル22の表面に重畳配置されたタッチセンサ28を備えている。タッチセンサ28は、前面パネル22に対する接触操作を検出するセンサであり、例えば、静電容量式或いは圧力検知式のセンサで構成される。タッチセンサ28が接触操作を検出する検出領域は、表示パネル23による表示領域のほぼ全体を覆っている。
図3A及び図3Bに示すように、表示装置20Bは、表示装置20Aと同様の枠21に、表示装置20Aが備える前面パネル22、表示パネル23、バックライト24及び制御基板25を収容し、前面パネル22の裏面には振動子26が貼付された構成を有する。表示装置20Bは、表示装置20Aと同様に、表示パネル23によって画像を表示するとともに、振動子26の振動により前面パネル22から音声を出力する機能を備える。
さらに、表示装置20Bは、前面パネル22の表面に重畳配置されたタッチセンサ28を備えている。タッチセンサ28は、前面パネル22に対する接触操作を検出するセンサであり、例えば、静電容量式或いは圧力検知式のセンサで構成される。タッチセンサ28が接触操作を検出する検出領域は、表示パネル23による表示領域のほぼ全体を覆っている。
図4は、表示装置20A、20Bの構成を示す機能ブロック図であり、図4Aは表示装置20Aの構成を示し、図4Bは表示装置20Bの構成を示す。
図4Aに示す表示装置20Aは、上述した制御基板25に実装される制御部200Aを備え、この制御部200Aは、各種プログラムを実行して表示装置20の各種機能を実現するCPU201、CPU201により実行されるプログラム及び当該プログラムに係るデータを記憶したROM202、プログラムやデータ等を一時的に記憶するRAM203、表示装置20Aに固有のIDや表示装置20の動作に関する設定情報等を記憶した不揮発性メモリ204、及び、信号線11を介して表示制御装置5に接続されるインタフェース(I/F)部205を備え、これらの各部はバス206を介して相互に接続されている。
不揮発性メモリ204に記憶されるIDは、表示ユニット2を構成する各々の表示装置20に固有の情報であり、表示ユニット2における当該表示装置20Aの位置を示す情報を含んでいてもよい。
図4Aに示す表示装置20Aは、上述した制御基板25に実装される制御部200Aを備え、この制御部200Aは、各種プログラムを実行して表示装置20の各種機能を実現するCPU201、CPU201により実行されるプログラム及び当該プログラムに係るデータを記憶したROM202、プログラムやデータ等を一時的に記憶するRAM203、表示装置20Aに固有のIDや表示装置20の動作に関する設定情報等を記憶した不揮発性メモリ204、及び、信号線11を介して表示制御装置5に接続されるインタフェース(I/F)部205を備え、これらの各部はバス206を介して相互に接続されている。
不揮発性メモリ204に記憶されるIDは、表示ユニット2を構成する各々の表示装置20に固有の情報であり、表示ユニット2における当該表示装置20Aの位置を示す情報を含んでいてもよい。
また、制御部200Aは、バス206に接続され、CPU201の制御に従って表示パネル23に表示する画像を描画する画像処理部211と、画像処理部211に描画された画像を保持する描画メモリ212と、画像処理部211により描画された画像を表示パネル23に表示させる駆動回路213とを備え、駆動回路213は表示パネル23に接続されている。
制御部200Aは、さらに、バス206に接続され、CPU201の制御に従って音声信号を生成して振動子26に出力する音声処理部221を備えている。振動子26は、音声処理部221から入力される音声信号に基づいて振動を生成し、この音声信号に基づく音声を前面パネル22から出力させる。
制御部200Aは、さらに、バス206に接続され、CPU201の制御に従って音声信号を生成して振動子26に出力する音声処理部221を備えている。振動子26は、音声処理部221から入力される音声信号に基づいて振動を生成し、この音声信号に基づく音声を前面パネル22から出力させる。
表示装置20Aは、信号線11を介して接続された表示制御装置5から画像データが入力されると、この画像データに基づいて画像処理部211によって描画を行い、表示パネル23に画像を表示する。この画像は、動画像であっても静止画像であってもよい。また、表示装置20Aは、表示制御装置5から音声データが入力されると、入力されたデータに基づいて音声処理部221によって音声信号を生成して、振動子26によって前面パネル22を振動させることにより、スピーカとして前面パネル22から音声を出力する。
図4Bに示す表示装置20Bは、表示装置20Aが備える制御部200Aと同様に、CPU201、ROM202、RAM203、固有のID等を記憶した不揮発性メモリ204、インタフェース部205、画像処理部211、描画メモリ212、駆動回路213、及び音声処理部221を備えた制御部200Bを有する。この制御部200Bが備える各部の機能は、上述した表示装置20Aの制御部200Aと同様である。
さらに、制御部200Bは、タッチセンサ28に接続され、タッチセンサ28における接触操作の有無、及び、接触操作された操作位置の位置座標を検出する入力検出部231を備える。入力検出部231は、接触操作の有無、及び、操作位置の位置座標を示す操作信号を生成して、CPU201に出力する。この入力検出部231は、タッチセンサ28とともに、本発明の入力部として機能する。
ここで、表示装置20BのCPU201は、入力検出部231から接触操作があったことを示す操作信号が入力された場合、操作位置の位置座標を示す情報を、インタフェース部205を介して表示制御装置5へ送信する。
さらに、制御部200Bは、タッチセンサ28に接続され、タッチセンサ28における接触操作の有無、及び、接触操作された操作位置の位置座標を検出する入力検出部231を備える。入力検出部231は、接触操作の有無、及び、操作位置の位置座標を示す操作信号を生成して、CPU201に出力する。この入力検出部231は、タッチセンサ28とともに、本発明の入力部として機能する。
ここで、表示装置20BのCPU201は、入力検出部231から接触操作があったことを示す操作信号が入力された場合、操作位置の位置座標を示す情報を、インタフェース部205を介して表示制御装置5へ送信する。
図5は、表示制御装置5の構成を示す機能ブロック図である。
表示制御装置5は、各種プログラムを実行して表示制御装置5の各種機能を実現するCPU51、CPU51により実行されるプログラム及び当該プログラムに係るデータを記憶したROM52、プログラムやデータ等を一時的に記憶するRAM53、キーボードやマウス等の入力デバイスにおける入力操作を検出して、入力操作に応じた操作信号をCPU51に出力する入力部54、及び、CPU51による処理結果等を表示画面(図示略)に表示させる表示部55を備え、これらの各部はバス50を介して相互に接続されている。
表示制御装置5は、各種プログラムを実行して表示制御装置5の各種機能を実現するCPU51、CPU51により実行されるプログラム及び当該プログラムに係るデータを記憶したROM52、プログラムやデータ等を一時的に記憶するRAM53、キーボードやマウス等の入力デバイスにおける入力操作を検出して、入力操作に応じた操作信号をCPU51に出力する入力部54、及び、CPU51による処理結果等を表示画面(図示略)に表示させる表示部55を備え、これらの各部はバス50を介して相互に接続されている。
また、表示制御装置5は、外部装置に接続されるインタフェースとして、インタフェース部56、画像入力部57、音声入力部58、及び通信インタフェース部59を備えている。これらのインタフェースは、バス50に接続され、CPU51に相互接続される。
インタフェース部56には複数の表示装置20A、20Bが各々接続されており、インタフェース部56は、CPU51の制御に従って各表示装置20A、20Bに対する各種データの送受信を行う。インタフェース部56には、タッチセンサ28によって接触操作を検出した表示装置20Bから、操作信号が入力される。インタフェース部56は、表示装置20Bから入力された操作信号をCPU51に出力し、CPU51は、この操作信号に基づいて、表示装置20Bにおける入力内容を取得する。
インタフェース部56には複数の表示装置20A、20Bが各々接続されており、インタフェース部56は、CPU51の制御に従って各表示装置20A、20Bに対する各種データの送受信を行う。インタフェース部56には、タッチセンサ28によって接触操作を検出した表示装置20Bから、操作信号が入力される。インタフェース部56は、表示装置20Bから入力された操作信号をCPU51に出力し、CPU51は、この操作信号に基づいて、表示装置20Bにおける入力内容を取得する。
ここで、入力内容を識別する処理は、CPU51が行う。すなわち、CPU51は、表示装置20Bから入力された操作信号から操作位置の座標を取得するとともに、その表示装置20Bにより表示中の画像(例えば、入力用の画像等)と操作位置とを比較することで、接触された画像の内容を特定し、これをもとに入力内容を識別してもよい。この場合、CPU51は、いずれかの表示装置20Bにおいて接触操作が行われた場合に、この操作に応答して当該表示装置20Bによって操作用の画面を表示させ、この操作用の画面の表示中における接触操作の内容を識別するようにしてもよい。この場合、操作用の画面として、行き先を尋ねる文字列や、行き先の文字入力またはアイコンの選択入力を促す画像や文字列を表示することで、利用者に対し、操作方法を案内できる。なお、同様の手順によって、表示装置20BのCPU201が入力内容を識別する処理を行うことも勿論可能であり、この場合、表示装置20Bから表示制御装置5に対し、入力内容を示す操作信号を出力すればよい。
画像入力部57には、表示ユニット2に取り付けられた複数のカメラ30が各々接続され、これらのカメラ30により撮影された撮影画像のデータ(以下、撮影画像データ)の入力を受けて、入力された撮影画像データをCPU51に出力する。また、画像入力部57は、CPU51の制御に従って、カメラ30の動作開始/停止等を制御する。
音声入力部58は、表示ユニット2に取り付けられた複数のマイク40の各々に接続され、マイク40から入力されるアナログ電気信号をデジタルデータに変換してCPU51に出力する。
通信インタフェース部59は、外部の通信回線を介して、インターネット等のネットワーク12に接続されており、CPU51の制御に従って、ネットワーク12を介して外部のサーバ装置(図示略)から各種情報を受信する。
音声入力部58は、表示ユニット2に取り付けられた複数のマイク40の各々に接続され、マイク40から入力されるアナログ電気信号をデジタルデータに変換してCPU51に出力する。
通信インタフェース部59は、外部の通信回線を介して、インターネット等のネットワーク12に接続されており、CPU51の制御に従って、ネットワーク12を介して外部のサーバ装置(図示略)から各種情報を受信する。
表示制御装置5は、磁気的記録媒体または半導体メモリ素子等により構成される記憶部6を有し、この記憶部6に、表示システム1を制御するためのプログラム及びデータを記憶している。
記憶部6は、CPU51により実行されるプログラムとして、表示システム1を制御するための初期設定を行う初期設定プログラム61、表示ユニット2における表示装置20A、20Bの配置状態を示す配置情報62、及び、表示ユニット2による画像表示及び音声出力を制御するための表示制御プログラム63を記憶している。
また、記憶部6は、表示装置20A、20Bに表示される画像データを記憶する表示データ記憶領域64(表示データ記憶手段)、及び、表示装置20A、20Bから音声を出力するためのデータを記憶する音声データ記憶領域65(音声データ記憶手段)を有する。
さらに、記憶部6は、表示装置20A、20Bに表示する画像データを決定するためのオブジェクト対応テーブル66、及び、表示装置20A、20Bから出力する音声データを決定するための入力対応テーブル67を記憶している。
記憶部6は、CPU51により実行されるプログラムとして、表示システム1を制御するための初期設定を行う初期設定プログラム61、表示ユニット2における表示装置20A、20Bの配置状態を示す配置情報62、及び、表示ユニット2による画像表示及び音声出力を制御するための表示制御プログラム63を記憶している。
また、記憶部6は、表示装置20A、20Bに表示される画像データを記憶する表示データ記憶領域64(表示データ記憶手段)、及び、表示装置20A、20Bから音声を出力するためのデータを記憶する音声データ記憶領域65(音声データ記憶手段)を有する。
さらに、記憶部6は、表示装置20A、20Bに表示する画像データを決定するためのオブジェクト対応テーブル66、及び、表示装置20A、20Bから出力する音声データを決定するための入力対応テーブル67を記憶している。
CPU51は、初期設定プログラム61を実行することにより、表示ユニット2を構成する各々の表示装置20A、20Bの動作状態や表示装置20A、20Bの数、カメラ30及びマイク40の数及び動作状態等を検出し、表示システム1を制御するための情報を取得する。また、CPU51は、初期設定プログラム61を実行することで、各々の表示装置20A、20B、カメラ30及びマイク40の動作状態を初期化する。
この初期設定プログラム61の実行時に、CPU51は、表示ユニット2を構成する全ての表示装置20A、20Bから各々の表示装置20A、20Bに固有のIDを取得するとともに、表示ユニット2における表示装置20A、20Bの配置状態を検出し、各表示装置20A、20BのIDを用いて各表示装置20A、20Bの位置を特定する配置情報62を生成して、記憶する。
この初期設定プログラム61の実行時に、CPU51は、表示ユニット2を構成する全ての表示装置20A、20Bから各々の表示装置20A、20Bに固有のIDを取得するとともに、表示ユニット2における表示装置20A、20Bの配置状態を検出し、各表示装置20A、20BのIDを用いて各表示装置20A、20Bの位置を特定する配置情報62を生成して、記憶する。
配置情報62は、後述するように、CPU51が各々の表示装置20A、20Bにおける表示及び音声出力を制御すべく、個々の表示装置20A、20Bとその位置とを識別するために用いられる。
CPU51は、配置情報62に基づいて表示ユニット2を構成する個々の表示装置20A、20Bを識別し、各表示装置20A、20Bに表示させる画像の表示データを各表示装置20A、20Bの位置に基づいて生成し、生成した表示データを、配置情報62に含まれるIDに基づいて特定される表示装置20A、20Bに対して信号線11を介して送出する。また、音声についても同様であり、特定の表示装置20A、20Bにより音声を出力させる場合には、その表示装置20A、20Bに出力させる音声データを、配置情報62に含まれるIDに基づいて、信号線11を介して送出する。
CPU51は、配置情報62に基づいて表示ユニット2を構成する個々の表示装置20A、20Bを識別し、各表示装置20A、20Bに表示させる画像の表示データを各表示装置20A、20Bの位置に基づいて生成し、生成した表示データを、配置情報62に含まれるIDに基づいて特定される表示装置20A、20Bに対して信号線11を介して送出する。また、音声についても同様であり、特定の表示装置20A、20Bにより音声を出力させる場合には、その表示装置20A、20Bに出力させる音声データを、配置情報62に含まれるIDに基づいて、信号線11を介して送出する。
その後、CPU51は、表示制御プログラム63を実行して、表示制御処理を行う。
この表示制御処理において、CPU51は、カメラ30から入力される撮影画像のデータを取得し、撮影画像において人物の画像を認識し、認識した人物に対して出力する画像及び音声を決定する。さらに、CPU51は、認識した人物の位置に近い位置から画像及び音声を出力するため、表示ユニット2を構成する表示装置20A、20Bの中から、出力を行う表示装置20A、20Bを決定する。そして、CPU51は、決定した表示装置20A、20Bによって、撮影画像において認識した人物に対応する画像及び音声を出力する。この画像及び音声は、例えば、表示ユニット2の前にいる人を特定の場所に案内するための案内用の画像及び音声である。
この画像及び音声の出力中に、マイク40によって、対象となっている人物の声が検出された場合、CPU51は、検出された音声の内容を特定し、特定した内容に対応する音声を、出力中の音声に代えて出力する。
また、いずれかの表示装置20Bによって画像を表示している間に、この表示装置20Bによって接触操作を検出した場合、CPU51は、この操作の内容に従って、出力する画像及び音声を変化させる処理を行う。この接触操作は、例えば、案内する行き先の場所を指定する操作であり、この操作に対応して、CPU51は、出力中の画像及び音声を、指定された行き先に案内を行うための画像及び音声に変更する。
この表示制御処理において、CPU51は、カメラ30から入力される撮影画像のデータを取得し、撮影画像において人物の画像を認識し、認識した人物に対して出力する画像及び音声を決定する。さらに、CPU51は、認識した人物の位置に近い位置から画像及び音声を出力するため、表示ユニット2を構成する表示装置20A、20Bの中から、出力を行う表示装置20A、20Bを決定する。そして、CPU51は、決定した表示装置20A、20Bによって、撮影画像において認識した人物に対応する画像及び音声を出力する。この画像及び音声は、例えば、表示ユニット2の前にいる人を特定の場所に案内するための案内用の画像及び音声である。
この画像及び音声の出力中に、マイク40によって、対象となっている人物の声が検出された場合、CPU51は、検出された音声の内容を特定し、特定した内容に対応する音声を、出力中の音声に代えて出力する。
また、いずれかの表示装置20Bによって画像を表示している間に、この表示装置20Bによって接触操作を検出した場合、CPU51は、この操作の内容に従って、出力する画像及び音声を変化させる処理を行う。この接触操作は、例えば、案内する行き先の場所を指定する操作であり、この操作に対応して、CPU51は、出力中の画像及び音声を、指定された行き先に案内を行うための画像及び音声に変更する。
図6は、記憶部6が有する記憶領域の構成を模式的に示す図であり、図6Aは表示データ記憶領域64の構成を示し、図6Bは音声データ記憶領域65の構成を示す。
表示データ記憶領域64には、複数の表示オブジェクトが、その表示サイズに対応づけて記憶される。これらの表示オブジェクトは、表示ユニット2の一部分を構成する1または複数の表示装置20A、20Bによって表示可能な画像(動画像または静止画像)である。本実施形態における表示オブジェクトは、後述するように、表示ユニット2が設置された通路において道案内を行うための画像であり、例えば、ほぼ等身大の人物の画像や、行き先への移動方向を指し示す記号等である。これらの表示オブジェクトは、その行き先や、案内する内容に応じて様々なものが用意され、表示データ記憶領域64に記憶されている。
表示データ記憶領域64には、複数の表示オブジェクトが、その表示サイズに対応づけて記憶される。これらの表示オブジェクトは、表示ユニット2の一部分を構成する1または複数の表示装置20A、20Bによって表示可能な画像(動画像または静止画像)である。本実施形態における表示オブジェクトは、後述するように、表示ユニット2が設置された通路において道案内を行うための画像であり、例えば、ほぼ等身大の人物の画像や、行き先への移動方向を指し示す記号等である。これらの表示オブジェクトは、その行き先や、案内する内容に応じて様々なものが用意され、表示データ記憶領域64に記憶されている。
表示制御装置5は、表示ユニット2を構成する多数の表示装置20A、20Bのうち、一部の表示装置20A、20Bを用いて、表示オブジェクトを表示する。また、一つの表示ユニット2において、同時に複数の表示オブジェクトを表示することも可能であり、この場合、各々の表示オブジェクトが重ならないよう制御を行えばよい。
各表示オブジェクトに対応づけられる表示サイズは、その表示オブジェクトを表示するために必要な表示装置20A、20Bの数を示す情報であり、例えば、縦3枚×横2枚の6枚の表示装置20A、20Bに跨って表示される表示オブジェクトの表示サイズは、「3×2」と表現される。
各表示オブジェクトに対応づけられる表示サイズは、その表示オブジェクトを表示するために必要な表示装置20A、20Bの数を示す情報であり、例えば、縦3枚×横2枚の6枚の表示装置20A、20Bに跨って表示される表示オブジェクトの表示サイズは、「3×2」と表現される。
また、音声データ記憶領域65には複数の音声オブジェクトが記憶される。各々の音声オブジェクトは、表示装置20A、20Bから出力される音声の音声データであり、再生時間の長さは音声オブジェクト毎に異なっていてもよいし、同一であってもよい。表示制御装置5は、一つの音声オブジェクトに基づく音声を複数の表示装置20A、20Bから同時に出力することも可能である。
本実施形態における音声オブジェクトは、後述するように、表示ユニット2が設置された通路において道案内を行うための音声であり、例えば、表示データ記憶領域64に記憶された表示オブジェクトに対応する音声である。これらの音声オブジェクトは、その行き先や、案内する内容に応じて様々なものが用意され、音声データ記憶領域65に記憶されている。
本実施形態における音声オブジェクトは、後述するように、表示ユニット2が設置された通路において道案内を行うための音声であり、例えば、表示データ記憶領域64に記憶された表示オブジェクトに対応する音声である。これらの音声オブジェクトは、その行き先や、案内する内容に応じて様々なものが用意され、音声データ記憶領域65に記憶されている。
ここで、表示データ記憶領域64に記憶される表示オブジェクトのデータフォーマットや、音声データ記憶領域65に記憶される音声オブジェクトのデータフォーマット等は任意である。
また、音声データ記憶領域65に記憶する音声オブジェクトは、音声をデジタル化した音声データそのものであってもよいが、音声データをCPU51が合成するための情報であってもよい。すなわち、CPU51が表示装置20A、20Bにより出力する音声を、その都度合成して、合成した音声データを表示装置20A、20Bに出力する構成とし、音声データ記憶領域65には、音声データを合成するための波形データや辞書ファイル等を記憶しておいてもよい。
また、音声データ記憶領域65に記憶する音声オブジェクトは、音声をデジタル化した音声データそのものであってもよいが、音声データをCPU51が合成するための情報であってもよい。すなわち、CPU51が表示装置20A、20Bにより出力する音声を、その都度合成して、合成した音声データを表示装置20A、20Bに出力する構成とし、音声データ記憶領域65には、音声データを合成するための波形データや辞書ファイル等を記憶しておいてもよい。
さらに、表示データ記憶領域64に記憶される表示オブジェクト、及び、音声データ記憶領域65に記憶される音声オブジェクトは、予め表示制御装置5が記憶しているデータに限らず、例えば、CPU51の制御により、通信インタフェース部59からネットワーク12を介して、外部のサーバ装置(図示略)からダウンロードされるものであってもよい。この場合、表示オブジェクト及び音声オブジェクトを更新し、新しい表示オブジェクトや音声オブジェクトを取得して出力できるので、より興趣性に富む表示を行うことができる。また、表示システム1により広告を出力する場合には、最新の商品やサービスに関する広告を行うための情報を、表示制御装置5が速やかに取得できるという利点がある。また、例えば、音声オブジェクトとして、後述するように天気予報の音声を出力する場合など、常に最新の情報が要求される場合には、CPU51の制御により、ネットワーク12を介して最新の情報を取得して音声データ記憶領域65に記憶するようにしてもよい。
図7は、記憶部6に記憶されるオブジェクト対応テーブル66の構成例を模式的に示す図である。
オブジェクト対応テーブル66は、表示データ記憶領域64に記憶された表示オブジェクト及び音声データ記憶領域65に記憶された音声オブジェクトの中から、表示ユニット2によって出力させる表示オブジェクト及び音声オブジェクトを選択するためのテーブルである。オブジェクト対応テーブル66には、出力する内容と、その内容に対応する表示オブジェクト及び音声オブジェクトが設定されている。出力する内容としては、例えば、道案内の行き先が設定されており、その他に、天気予報の出力、出力が要らない旨が指示された場合の出力、及び、行き先等が指定されていない状態での出力を設定できる。また、一つの行き先に対して、利用者の位置から行き先までの距離毎に、複数の表示オブジェクト及び音声オブジェクトを対応づけることもできる。
オブジェクト対応テーブル66は、表示データ記憶領域64に記憶された表示オブジェクト及び音声データ記憶領域65に記憶された音声オブジェクトの中から、表示ユニット2によって出力させる表示オブジェクト及び音声オブジェクトを選択するためのテーブルである。オブジェクト対応テーブル66には、出力する内容と、その内容に対応する表示オブジェクト及び音声オブジェクトが設定されている。出力する内容としては、例えば、道案内の行き先が設定されており、その他に、天気予報の出力、出力が要らない旨が指示された場合の出力、及び、行き先等が指定されていない状態での出力を設定できる。また、一つの行き先に対して、利用者の位置から行き先までの距離毎に、複数の表示オブジェクト及び音声オブジェクトを対応づけることもできる。
図7に例示するオブジェクト対応テーブル66では、「○○線」への乗り換え場所まで道案内を行う場合の表示オブジェクトとして表示オブジェクトA、Bが設定され、音声オブジェクトとして音声オブジェクトA、Bが設定されている。表示オブジェクトA及び音声オブジェクトAは、利用者の位置から「○○線」への乗り換え場所まで10m以上の距離がある場合に対応し、表示オブジェクトB及び音声オブジェクトBは、利用者の位置から「○○線」への乗り換え場所までの距離が10m未満の場合に対応する。
また、図7の例では、「1番出口」まで道案内を行う場合に対応づけて、距離毎に表示オブジェクトC〜E及び音声オブジェクトC〜Eが設定されている。
また、図7の例では、「1番出口」まで道案内を行う場合に対応づけて、距離毎に表示オブジェクトC〜E及び音声オブジェクトC〜Eが設定されている。
図8は、表示オブジェクトの構成例を示す図である。
図8Aは、オブジェクト対応テーブル66において「○○線」への乗り換え場所まで道案内するための表示オブジェクトとして設定された表示オブジェクトAの構成例であり、図8Bは同じく「○○線」への乗り換え場所まで道案内するための表示オブジェクトとして設定された表示オブジェクトBの構成例である。
図8Aの表示オブジェクトAは、利用者が、行き先である「○○線」への乗り換え場所まで10m以上離れている場合に表示される表示オブジェクトである。行き先まで真っ直ぐ進むよう案内する文字と、進むべき方向を示す矢印の画像とが組み合わされて構成されている。
これに対し、表示オブジェクトBは、利用者が、行き先である「○○線」への乗り換え場所まで10m未満のところにいる場合に表示される表示オブジェクトである。行き先までは左に進むよう案内する文字と、進むべき方向を示す矢印の画像とが組み合わされて構成されている。行き先が近いことから、進行方向を案内する文字及び矢印の画像は、表示オブジェクトAとは異なっている。
図8Aは、オブジェクト対応テーブル66において「○○線」への乗り換え場所まで道案内するための表示オブジェクトとして設定された表示オブジェクトAの構成例であり、図8Bは同じく「○○線」への乗り換え場所まで道案内するための表示オブジェクトとして設定された表示オブジェクトBの構成例である。
図8Aの表示オブジェクトAは、利用者が、行き先である「○○線」への乗り換え場所まで10m以上離れている場合に表示される表示オブジェクトである。行き先まで真っ直ぐ進むよう案内する文字と、進むべき方向を示す矢印の画像とが組み合わされて構成されている。
これに対し、表示オブジェクトBは、利用者が、行き先である「○○線」への乗り換え場所まで10m未満のところにいる場合に表示される表示オブジェクトである。行き先までは左に進むよう案内する文字と、進むべき方向を示す矢印の画像とが組み合わされて構成されている。行き先が近いことから、進行方向を案内する文字及び矢印の画像は、表示オブジェクトAとは異なっている。
さらに、図7に例示するオブジェクト対応テーブル66には、道案内に代えて天気予報の画像及び音声を出力するための表示オブジェクト及び音声オブジェクトが設定され、案内が不要であるとの入力が行われた場合に対応する表示オブジェクト及び音声オブジェクトも設定されている。案内が不要と入力された場合に対応する表示オブジェクトGは、例えば、刺激の少ない明るさや色で構成された画像であり、この場合に対応する音声オブジェクトGは、例えば無音のデータである。
また、このオブジェクト対応テーブル66には、利用者に対して案内を開始する際に最初に使用される表示オブジェクト及び音声オブジェクトが設定されている。この案内開始時に対応する表示オブジェクトI及び音声オブジェクトIは、例えば、これから道案内を開始する旨を利用者に伝え、入力を促す画像及び音声である。これらの表示オブジェクトI及び音声オブジェクトIは、表示制御装置5がカメラ30の撮影画像から利用者の画像を認識及び抽出し、その位置を特定し、表示オブジェクト及び音声オブジェクトの出力を開始する際に、使用される。
また、このオブジェクト対応テーブル66には、利用者に対して案内を開始する際に最初に使用される表示オブジェクト及び音声オブジェクトが設定されている。この案内開始時に対応する表示オブジェクトI及び音声オブジェクトIは、例えば、これから道案内を開始する旨を利用者に伝え、入力を促す画像及び音声である。これらの表示オブジェクトI及び音声オブジェクトIは、表示制御装置5がカメラ30の撮影画像から利用者の画像を認識及び抽出し、その位置を特定し、表示オブジェクト及び音声オブジェクトの出力を開始する際に、使用される。
表示制御装置5は、表示ユニット2に取り付けられたマイク40によって検出された音声を解析し、カメラ30の撮影画像において認識し、利用者の音声を抽出する。また、表示制御装置5は、画像を表示中の表示装置20Bに対して利用者が接触操作を行った場合に、この表示装置20Bから出力される情報に基づいて、操作の内容を取得する。
そして、表示制御装置5は、音声または接触操作による入力内容が、オブジェクト対応テーブル66に設定された内容のいずれかに該当する場合には、オブジェクト対応テーブル66に設定された表示オブジェクト及び音声オブジェクトを読み出して、既に上記人物に向けて出力中の表示オブジェクト及び音声オブジェクトから切り替えて、表示装置20A、20Bによって出力する。
そして、表示制御装置5は、音声または接触操作による入力内容が、オブジェクト対応テーブル66に設定された内容のいずれかに該当する場合には、オブジェクト対応テーブル66に設定された表示オブジェクト及び音声オブジェクトを読み出して、既に上記人物に向けて出力中の表示オブジェクト及び音声オブジェクトから切り替えて、表示装置20A、20Bによって出力する。
図9及び図10は、表示システム1の動作を示すフローチャートであり、特に、表示制御装置5の動作を示す。図10には、図9の一部処理を詳細に示す。
この図9に示す動作の実行時、表示制御装置5のCPU51は、位置検出手段、位置決定手段、表示制御手段、画像認識手段、及び、音声出力制御手段として機能する。
表示制御装置5は、表示システム1の動作開始に伴って初期設定プログラム61に基づく初期設定を行った後、カメラ30による撮影、マイク40による音声検出、表示装置20Bによるタッチセンサ28への操作検出、及び、表示制御プログラム63に基づく表示制御処理を開始する(ステップS11)。
続いて、表示制御装置5は、カメラ30から入力される撮影画像において人物画像を認識する処理を行い、撮影画像中の人物画像を検出する(ステップS12)。このステップS12で、表示制御装置5は、複数のカメラ30の各々から入力される撮影画像を個々に解析して人物画像を検出するとともに、各カメラ30の撮影画像の重複部分を特定することによって、同一の人物画像を重複して検出しないよう処理を行う。
この図9に示す動作の実行時、表示制御装置5のCPU51は、位置検出手段、位置決定手段、表示制御手段、画像認識手段、及び、音声出力制御手段として機能する。
表示制御装置5は、表示システム1の動作開始に伴って初期設定プログラム61に基づく初期設定を行った後、カメラ30による撮影、マイク40による音声検出、表示装置20Bによるタッチセンサ28への操作検出、及び、表示制御プログラム63に基づく表示制御処理を開始する(ステップS11)。
続いて、表示制御装置5は、カメラ30から入力される撮影画像において人物画像を認識する処理を行い、撮影画像中の人物画像を検出する(ステップS12)。このステップS12で、表示制御装置5は、複数のカメラ30の各々から入力される撮影画像を個々に解析して人物画像を検出するとともに、各カメラ30の撮影画像の重複部分を特定することによって、同一の人物画像を重複して検出しないよう処理を行う。
表示制御装置5は、撮影画像から人物画像が検出されたか否かを判別し(ステップS13)、人物画像を検出しなかった場合は(ステップS13;No)、ステップS12に戻り、人物画像を検出した場合は(ステップS13;Yes)、その人物画像が、以前の処理で既に検出された利用者の画像であるか否かを判別する(ステップS14)。
ステップS12で検出された人物画像が既に検出された利用者でない場合(ステップS14;No)、表示制御装置5は、最初に出力するオブジェクトとしてオブジェクト対応テーブル66に設定された表示オブジェクト及び音声オブジェクトを、表示データ記憶領域64及び音声データ記憶領域65から読み出す(ステップS15)。
ステップS12で検出された人物画像が既に検出された利用者でない場合(ステップS14;No)、表示制御装置5は、最初に出力するオブジェクトとしてオブジェクト対応テーブル66に設定された表示オブジェクト及び音声オブジェクトを、表示データ記憶領域64及び音声データ記憶領域65から読み出す(ステップS15)。
続いて、表示制御装置5は、検出した人物画像に対応する表示オブジェクトを、その人物画像に近い位置に表示するため、表示オブジェクトの表示サイズに基づいて表示位置を決定する(ステップS16)。
このステップS16で、表示制御装置5は、表示オブジェクトの表示サイズに適合する数の表示装置20A、20Bを選択する。例えば、表示オブジェクトの表示サイズが「3×2」(縦3枚×横2枚)である場合、ステップS12で人物画像を検出した位置の最も近くに、縦3列×横2列の6枚の表示装置20A、20Bを選択して、表示位置として決定する。ここで選択される表示装置20A、20Bの数は表示オブジェクトの表示サイズに適合していればよく、表示サイズと同数であってもよいし、表示サイズを所定倍率で拡大または縮小したサイズと同数であってもよい。この場合、表示オブジェクトの縦横比が保持されるよう拡大または縮小したサイズであることが好ましく、例えば、上記の例で表示サイズが「3×2」の表示オブジェクトに対して縦6枚×横4枚の表示装置20A、20Bを選択することが可能である。
続いて、表示制御装置5は、表示位置として決定した表示装置20A、20Bに対して表示オブジェクトを表示するための画像データを送信し、表示オブジェクトを表示させるとともに、音声オブジェクトに基づく音声を出力するための音声データを送信して、表示装置20A、20Bから音声を出力させ(ステップS18)、ステップS23に移行する。
このステップS16で、表示制御装置5は、表示オブジェクトの表示サイズに適合する数の表示装置20A、20Bを選択する。例えば、表示オブジェクトの表示サイズが「3×2」(縦3枚×横2枚)である場合、ステップS12で人物画像を検出した位置の最も近くに、縦3列×横2列の6枚の表示装置20A、20Bを選択して、表示位置として決定する。ここで選択される表示装置20A、20Bの数は表示オブジェクトの表示サイズに適合していればよく、表示サイズと同数であってもよいし、表示サイズを所定倍率で拡大または縮小したサイズと同数であってもよい。この場合、表示オブジェクトの縦横比が保持されるよう拡大または縮小したサイズであることが好ましく、例えば、上記の例で表示サイズが「3×2」の表示オブジェクトに対して縦6枚×横4枚の表示装置20A、20Bを選択することが可能である。
続いて、表示制御装置5は、表示位置として決定した表示装置20A、20Bに対して表示オブジェクトを表示するための画像データを送信し、表示オブジェクトを表示させるとともに、音声オブジェクトに基づく音声を出力するための音声データを送信して、表示装置20A、20Bから音声を出力させ(ステップS18)、ステップS23に移行する。
ステップS23で、表示制御装置5は、マイク40により集音した音声、或いは、表示装置20Bのタッチセンサ28への操作により、利用者から入力が行われた場合に、この入力の内容に基づいて、出力中の表示オブジェクト及び音声オブジェクトを切り替える入力検出処理を行う。このステップS23の入力検出処理について図10に詳細に示す。
図10に示す入力検出処理で、表示制御装置5は、マイク40によって利用者の音声を検出したか否かを判別する(ステップS31)。このステップS31では、マイク40が検出した音声の方向に基づいて、その音声が利用者の音声か否かを判別する。すなわち、表示制御装置5は、ステップS12で検出した人物画像の位置、すなわち利用者の位置から来た音声を利用者の音声として処理し、他の方向からきた音声は処理対象としない。
マイク40によって利用者の音声を検出した場合(ステップS31;Yes)、表示制御装置5は、その音声に対応する利用者を識別する(ステップS32)。このステップS32の処理は、例えば複数の利用者が表示ユニット2の前にいて、各利用者に対して個別に表示オブジェクト及び音声オブジェクトを出力している状態で、いずれかの利用者が音声で指示を行った場合に、この利用者を特定するための処理である。
マイク40によって利用者の音声を検出した場合(ステップS31;Yes)、表示制御装置5は、その音声に対応する利用者を識別する(ステップS32)。このステップS32の処理は、例えば複数の利用者が表示ユニット2の前にいて、各利用者に対して個別に表示オブジェクト及び音声オブジェクトを出力している状態で、いずれかの利用者が音声で指示を行った場合に、この利用者を特定するための処理である。
表示制御装置5は、さらに、マイク40により検出した音声の内容を識別し(ステップS33)、その音声の内容に対応する表示オブジェクト及び音声オブジェクトを、オブジェクト対応テーブル66に基づいて特定し、表示データ記憶領域64及び音声データ記憶領域65から読み出す(ステップS34)。そして、表示制御装置5は、読み出した表示オブジェクト及び音声オブジェクトを、出力中の表示オブジェクト及び音声オブジェクトから切り替えて出力させ(ステップS35)、ステップS36に移行する。
また、マイク40により利用者からの音声を検出していない場合は(ステップS31;No)、表示制御装置5はステップS36に移行する。
また、マイク40により利用者からの音声を検出していない場合は(ステップS31;No)、表示制御装置5はステップS36に移行する。
ステップS36で、表示制御装置5は、表示ユニット2のいずれかの表示装置20Bにおいて、タッチセンサ28により接触操作を検出したか否かを判別する。この判別は、例えば、表示装置20Bから接触操作を示す操作信号がインタフェース部56に入力されたか否かに基づいて行われる。
ここで、いずれかの表示装置20Bが接触操作を検出した場合(ステップS36;Yes)、表示制御装置5は、接触操作を検出した表示装置20Bが、表示オブジェクトを表示中の表示装置20Bであるか否かを判別する(ステップS37)。表示オブジェクトを表示中の表示装置20Bにおいて接触操作を検出した場合(ステップS37;Yes)、表示制御装置5は、操作により入力された内容を識別し(ステップS38)、その入力内容に対応する表示オブジェクト及び音声オブジェクトを、オブジェクト対応テーブル66に基づいて特定し、表示データ記憶領域64及び音声データ記憶領域65から読み出す(ステップS39)。そして、表示制御装置5は、読み出した表示オブジェクト及び音声オブジェクトを、出力中の表示オブジェクト及び音声オブジェクトから切り替えて出力させ(ステップS40)、図10の処理を終了して図9の動作に戻る。
また、いずれの表示装置20Bにおいても接触操作を検出していない場合(ステップS36;No)、及び、接触操作を検出した表示装置20Bが表示オブジェクトを表示中でなかった場合(ステップS37;No)、表示制御装置5は、図10の処理を終了して図9の動作に戻る。
ここで、いずれかの表示装置20Bが接触操作を検出した場合(ステップS36;Yes)、表示制御装置5は、接触操作を検出した表示装置20Bが、表示オブジェクトを表示中の表示装置20Bであるか否かを判別する(ステップS37)。表示オブジェクトを表示中の表示装置20Bにおいて接触操作を検出した場合(ステップS37;Yes)、表示制御装置5は、操作により入力された内容を識別し(ステップS38)、その入力内容に対応する表示オブジェクト及び音声オブジェクトを、オブジェクト対応テーブル66に基づいて特定し、表示データ記憶領域64及び音声データ記憶領域65から読み出す(ステップS39)。そして、表示制御装置5は、読み出した表示オブジェクト及び音声オブジェクトを、出力中の表示オブジェクト及び音声オブジェクトから切り替えて出力させ(ステップS40)、図10の処理を終了して図9の動作に戻る。
また、いずれの表示装置20Bにおいても接触操作を検出していない場合(ステップS36;No)、及び、接触操作を検出した表示装置20Bが表示オブジェクトを表示中でなかった場合(ステップS37;No)、表示制御装置5は、図10の処理を終了して図9の動作に戻る。
以上の図10の動作により、表示制御装置5は、音声または表示装置20Bへの接触操作によって、行き先を指定あるいは変更する入力が行われた場合に、オブジェクト対応テーブル66に基づいて、入力内容(行き先など)に応じて表示オブジェクト及び音声オブジェクトを新たに選んで出力する。このため、行き先の指定や行き先の変更の指示に迅速に応答できる。また、天気予報を求める入力や、案内が不要である旨の入力がなされた場合も、オブジェクト対応テーブル66に基づいて適切な表示オブジェクト及び音声オブジェクトに切り替えることができる。
なお、図10のステップS35及びS40においては、表示オブジェクトを切り替える際に表示位置を変更しないようにしても良いが、表示オブジェクトの切り替えの前後で表示オブジェクトのサイズが変わる場合等には、表示オブジェクトの切り替えに伴って表示位置を変更してもよい。
また、図10のステップS33において音声の内容を識別する際に、マイク40が検出した音声の言語を特定し、この言語に対応する音声オブジェクトをステップS34で読み出すようにしてもよい。この場合、利用者が使用する言語が様々であっても、その利用者に会わせた言語で音声出力を行える。
なお、図10のステップS35及びS40においては、表示オブジェクトを切り替える際に表示位置を変更しないようにしても良いが、表示オブジェクトの切り替えの前後で表示オブジェクトのサイズが変わる場合等には、表示オブジェクトの切り替えに伴って表示位置を変更してもよい。
また、図10のステップS33において音声の内容を識別する際に、マイク40が検出した音声の言語を特定し、この言語に対応する音声オブジェクトをステップS34で読み出すようにしてもよい。この場合、利用者が使用する言語が様々であっても、その利用者に会わせた言語で音声出力を行える。
一方、図9において、ステップS12で検出された人物画像が、それ以前にステップS12の処理を行った際に検出された利用者の画像である場合(ステップS14;Yes)、表示制御装置5は、その利用者の位置が、前回検出された位置から移動したか否かを判別する(ステップS18)。
ここで、利用者が移動していた場合(ステップS18;Yes)、表示制御装置5は、移動の前後の位置と、道案内の行き先との距離等に基づいて、表示オブジェクト及び音声オブジェクトを変更する必要があるか否かを判別する(ステップS19)。このステップS19では、例えば図7に例示したように、オブジェクト対応テーブル66において、利用者の位置と行き先との間の距離毎に、複数の表示オブジェクト及び音声オブジェクトが対応づけられている場合には、現在の利用者の位置と行き先との間の距離に基づいて、現在出力中の表示オブジェクト及び音声オブジェクトを変更するか否かを判別する。例えば、利用者の位置と行き先との間の距離に関係なく表示オブジェクト及び音声オブジェクトが設定されている場合は、ステップS19では変更の必要がないと判別される。
ここで、利用者が移動していた場合(ステップS18;Yes)、表示制御装置5は、移動の前後の位置と、道案内の行き先との距離等に基づいて、表示オブジェクト及び音声オブジェクトを変更する必要があるか否かを判別する(ステップS19)。このステップS19では、例えば図7に例示したように、オブジェクト対応テーブル66において、利用者の位置と行き先との間の距離毎に、複数の表示オブジェクト及び音声オブジェクトが対応づけられている場合には、現在の利用者の位置と行き先との間の距離に基づいて、現在出力中の表示オブジェクト及び音声オブジェクトを変更するか否かを判別する。例えば、利用者の位置と行き先との間の距離に関係なく表示オブジェクト及び音声オブジェクトが設定されている場合は、ステップS19では変更の必要がないと判別される。
表示オブジェクト及び音声オブジェクトの変更が必要であると判別した場合(ステップS19;Yes)、表示制御装置5は、オブジェクト対応テーブル66に基づいて新たな表示オブジェクト及び音声オブジェクトを決定し、この表示オブジェクト及び音声オブジェクトを表示データ記憶領域64及び音声データ記憶領域65から読み出して、出力中の表示オブジェクト及び音声オブジェクトから切り替えて(ステップS20)、ステップS21に移行する。
また、表示オブジェクト及び音声オブジェクトの変更が必要ない場合(ステップS19;No)、表示制御装置5は、ステップS21に移行する。
また、表示オブジェクト及び音声オブジェクトの変更が必要ない場合(ステップS19;No)、表示制御装置5は、ステップS21に移行する。
ステップS21で、表示制御装置5は、新たな利用者の位置に基づいて新たな表示位置を決定し、この表示位置に表示オブジェクト及び音声オブジェクトの出力位置を変更するよう、表示を更新する処理を行い(ステップS22)、ステップS23に移行する。ステップS22では、ステップS21で決定した表示装置20A、20Bによって表示オブジェクトを表示させるとともに音声オブジェクトを出力させ、それ以前に表示オブジェクトが表示されていた表示装置20A、20Bにおいては、表示及び音声出力を終了する。
また、利用者が移動していない場合(ステップS18;No)、表示制御装置5はステップS23に移行する。
ステップS23の処理、すなわち図10に示す入力検出処理を行った後、表示制御装置5は、本表示制御処理の終了が指示されたか否かを判別し(ステップS24)、終了が指示されていない場合はステップS12に戻り、終了が指示された場合は、この指示に従って本処理を終了する。
また、利用者が移動していない場合(ステップS18;No)、表示制御装置5はステップS23に移行する。
ステップS23の処理、すなわち図10に示す入力検出処理を行った後、表示制御装置5は、本表示制御処理の終了が指示されたか否かを判別し(ステップS24)、終了が指示されていない場合はステップS12に戻り、終了が指示された場合は、この指示に従って本処理を終了する。
図9及び図10に示す処理によれば、表示ユニット2の前にいる利用者をカメラ30の撮影画像をもとに認識して、利用者の位置を検出し、その位置に対応する表示装置20A、20Bから表示オブジェクト及び音声オブジェクトを出力して道案内を行う一方、利用者が移動した場合は移動後の位置に対応する表示装置20A、20Bに表示オブジェクト及び音声オブジェクトが移動される。そして、この移動に伴って、例えば道案内の行き先に利用者が近づいた等の理由で表示オブジェクト及び音声オブジェクトの変更が必要な場合は、表示オブジェクト及び音声オブジェクトが切り替えられる。さらに、利用者が音声又は表示装置20Bへの入力によって行き先の指定や変更等を指示した場合、この入力内容に応じて表示オブジェクト及び音声オブジェクトが切り替えられる。
図11は、表示システム1の使用例を示す図である。
この図11の使用例は、通路の壁面に縦6列×横10列の表示装置20A、20Bを並べて構成される表示ユニット2を設置した例である。この例では、表示ユニット2の一部を構成する表示装置20A、20Bに、文字列と矢印とを含む画像を表示させ、この矢印の向きと文字列によって道案内を行う。表示ユニット2は、その下端が、人が歩行する通路や居室の床から所定高さ以下となるよう設置され、その設置場所において人の全身に近く、人の目線と重なる高さ位置で、表示を行うように配設されている。
この図11の例では、表示ユニット2の前に立っている利用者(符号P)がいた場合に、利用者Pに近い表示装置20A、20Bに、表示オブジェクトQが表示される。この例の表示オブジェクトQは、縦2列×横2列からなる4枚の表示装置20A、20Bに表示される。
この図11の使用例は、通路の壁面に縦6列×横10列の表示装置20A、20Bを並べて構成される表示ユニット2を設置した例である。この例では、表示ユニット2の一部を構成する表示装置20A、20Bに、文字列と矢印とを含む画像を表示させ、この矢印の向きと文字列によって道案内を行う。表示ユニット2は、その下端が、人が歩行する通路や居室の床から所定高さ以下となるよう設置され、その設置場所において人の全身に近く、人の目線と重なる高さ位置で、表示を行うように配設されている。
この図11の例では、表示ユニット2の前に立っている利用者(符号P)がいた場合に、利用者Pに近い表示装置20A、20Bに、表示オブジェクトQが表示される。この例の表示オブジェクトQは、縦2列×横2列からなる4枚の表示装置20A、20Bに表示される。
ここで、利用者Pが、図中矢印Mで示す方向に移動した場合、この利用者Pの移動中、或いは移動後に検出される利用者Pの位置に合わせて、表示オブジェクトQの表示位置も矢印Mの方向に移動する。そして、表示ユニット2において表示オブジェクトQを表示している表示装置20A、20Bからは、表示オブジェクトQに対応する音声オブジェクトの音声が出力され、表示オブジェクトQの表示位置が移動した場合には、移動後の表示位置となる表示装置20A、20Bから音声が出力されるようになる。つまり、表示ユニット2は、音声を出力する表示装置20A、20Bを切り換えることによって、利用者Pの移動に追従してスピーカを移動させることと同様の作用を実現できる。
さらに、利用者Pが、表示オブジェクトQにより案内される方向に移動したことで、行き先に近づいた場合には、利用者Pと行き先との間の距離に応じて、表示オブジェクトQ及び音声オブジェクトが別の表示オブジェクト及び音声オブジェクトに切り替えられる。これにより、行き先までのルートが直線の場合だけでなく、曲がる必要がある場合など複雑なルートであっても、利用者の位置から行き先までの距離に応じて表示オブジェクト及び音声オブジェクトを変化させることで的確に、分かりやすく案内できる。
以上のように、本発明を適用した実施形態に係る表示システム1によれば、表示制御装置5は、複数の表示装置20A、20Bを並べて構成される表示ユニット2の近傍における利用者の位置を検出して、この利用者の位置に基づいて案内用の表示オブジェクトの表示位置を決定して表示し、利用者が移動した場合は表示オブジェクトの表示位置を移動させる。さらに、表示制御装置5は、利用者による音声入力または表示装置20Bへの入力操作に応じて、表示オブジェクトを変化させる。
このため、利用者の移動に合わせて表示オブジェクトの表示位置を移動させ、歩行中または移動中の利用者の動きを妨げることなく、見やすく、利便性の高い形態で情報を提供できる。これにより、大画面化が容易であるという、複数の表示装置20A、20Bを並べて構成される表示ユニット2の特性を生かして、移動中の利用者に対し、利用者の移動を妨げないように表示オブジェクトによる情報提供を行うことができる。加えて、入力の内容に基づいて表示オブジェクトを変化させることにより、双方向的な情報の提供を行えるという利点がある。
このため、利用者の移動に合わせて表示オブジェクトの表示位置を移動させ、歩行中または移動中の利用者の動きを妨げることなく、見やすく、利便性の高い形態で情報を提供できる。これにより、大画面化が容易であるという、複数の表示装置20A、20Bを並べて構成される表示ユニット2の特性を生かして、移動中の利用者に対し、利用者の移動を妨げないように表示オブジェクトによる情報提供を行うことができる。加えて、入力の内容に基づいて表示オブジェクトを変化させることにより、双方向的な情報の提供を行えるという利点がある。
また、表示システム1では、利用者に対して画像を表示する表示ユニット2の少なくとも一部を構成する表示装置20Bがタッチセンサ28を備え、表示制御装置5は、表示オブジェクトを表示中の表示装置20Bにおいて入力が行われた場合に、入力内容に基づいて表示オブジェクトを変化させるので、利用者にとって見やすくかつ操作しやすい場所で入力を受け付けることにより利便性の向上を図るとともに、表示中の表示装置20Bにおける入力に対応することで、無関係な入力や、他の利用者の操作に伴う誤動作を防止できる。
さらに、表示システム1は、表示装置20A、20Bにより表示される表示オブジェクトを利用して道案内を行うので、見やすく分かりやすい形態で道案内を行うことができる。特に、大画面化が容易な表示ユニット2の特性を生かして、移動中の利用者の移動を妨げないように道案内用の画像を表示することで、固定的な道案内の表示に比べて格段に分かりやすい案内を行うことができる。加えて、カメラ30の撮影画像から人物画像を検出することで利用者を認識し、この人物画像から、既に利用者として認識された人物か否かを速やかに判別することにより、利用者の移動を速やかに検出できる。
また、図9及び図10の動作は一人の利用者のみに限定されるものではなく、複数の利用者の各々に対応するように複数の表示オブジェクトを表示ユニット2に表示させることも可能である。すなわち、カメラ30が撮影した画像から複数の人物の人物画像が検出された場合(ステップS12)、表示制御装置5によって各々の人物画像について、独立して、検出済みの利用者か否かを判別し(ステップS14)、表示位置を決定して(ステップS16、S21)、表示オブジェクトを表示(ステップS17、S22)すればよい。この場合、複数の利用者に対して、各利用者の位置に合わせた表示位置に表示オブジェクトを表示できる。
例えば、図11の使用例では一人の利用者Pに対して一つの表示オブジェクトQが表示されているが、他に別の利用者がいれば、その利用者に近い表示装置20A、20Bに、別の表示オブジェクトを表示できる。そして、複数の表示オブジェクトが表示ユニット2に表示されている状態では、各表示オブジェクトの表示位置が、それぞれ独立して、その対象となっている利用者の移動に追従するように変更される。このとき、複数の表示オブジェクトが各利用者の位置の近くに表示され、音声も各利用者の近くの表示装置20A、20Bから出力されるので、他の利用者に向けた表示オブジェクトや音声が邪魔になることがない。これにより、複数の表示装置20A、20Bを並べて構成される表示ユニット2の広い表示領域を活用して、複数の利用者に対して情報を提供できる。
例えば、図11の使用例では一人の利用者Pに対して一つの表示オブジェクトQが表示されているが、他に別の利用者がいれば、その利用者に近い表示装置20A、20Bに、別の表示オブジェクトを表示できる。そして、複数の表示オブジェクトが表示ユニット2に表示されている状態では、各表示オブジェクトの表示位置が、それぞれ独立して、その対象となっている利用者の移動に追従するように変更される。このとき、複数の表示オブジェクトが各利用者の位置の近くに表示され、音声も各利用者の近くの表示装置20A、20Bから出力されるので、他の利用者に向けた表示オブジェクトや音声が邪魔になることがない。これにより、複数の表示装置20A、20Bを並べて構成される表示ユニット2の広い表示領域を活用して、複数の利用者に対して情報を提供できる。
ここで、CPU51は、表示データ記憶領域64に記憶された表示オブジェクトを読み出して、その表示オブジェクトの表示サイズに等しい数の表示装置20A、20Bを表示位置として選択し、選択した表示装置20A、20Bに表示オブジェクトを表示する。このため、表示データ記憶領域64から読み出した表示オブジェクトの表示サイズの変換や画像合成等の処理を必要としないので、表示に係る処理負荷が軽くて済む。従って、表示オブジェクトの表示および表示位置の変更に伴う表示更新の処理を高速に行うことができ、例えば人の移動に速やかに追従して表示位置を変えられる。また、複数の人に対応して複数の表示オブジェクトを表示する場合も、処理の遅延や画質の低下等を招くことなくスムーズに表示を行える。なお、表示位置として選択される表示装置20A、20Bの数が、表示オブジェクトの表示サイズを、例えば表示オブジェクトの縦横の比率を保ったまま拡大または縮小した場合の数であっても、上記と同様に軽い負荷で表示および表示の更新を実行可能である。
なお、上記実施形態においては、表示ユニット2の上端にカメラ30及びマイク40を配置した構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、一部または全部の表示装置20A、20Bの枠21内に、それぞれカメラ30及びマイク40を配設した構成としてもよい。この場合、さらに、この構成において、表示装置20A、20Bが備えるカメラ30の撮影画像データやマイク40により検出された音声の音声信号等が信号線11を介して表示制御装置5に入力される構成としてもよく、この場合には、表示ユニット2と表示制御装置5との間をつなぐケーブルの数を減らすことができる、配置情報62に基づいて各々のカメラ30やマイク40を識別できる等の利点がある。
また、表示システム1において、カメラ30の撮影画像から利用者を識別するだけでなく、人物画像すなわち外見から利用者の属性を判定し、その属性に対応する表示オブジェクト及び音声オブジェクトを出力するようにしてもよい。例えば、人物画像から若年男性と判定された利用者に対しては若年の女性の画像からなる表示オブジェクトを表示し、この女性の声を音声オブジェクトとして出力し、高齢の女性と判定された利用者に対しては高齢の男性の画像および音声を出力する例が挙げられる。この場合、利用者に対して安心感や親近感を抱かせて、利用者が気分よく道案内のサービスを利用できるという利点がある。
さらに、上記実施形態では表示オブジェクト及び音声オブジェクトとして、道案内を行うための画像や音声を出力する構成としたが、本発明はこれに限定されず、天気予報の他、広告の画像や音声、ニュースの画像や音声、周辺の案内等の情報を提供することが可能であり、国あるいは自治体による広報手段として利用することも勿論可能である。
また、表示システム1において、カメラ30の撮影画像から利用者を識別するだけでなく、人物画像すなわち外見から利用者の属性を判定し、その属性に対応する表示オブジェクト及び音声オブジェクトを出力するようにしてもよい。例えば、人物画像から若年男性と判定された利用者に対しては若年の女性の画像からなる表示オブジェクトを表示し、この女性の声を音声オブジェクトとして出力し、高齢の女性と判定された利用者に対しては高齢の男性の画像および音声を出力する例が挙げられる。この場合、利用者に対して安心感や親近感を抱かせて、利用者が気分よく道案内のサービスを利用できるという利点がある。
さらに、上記実施形態では表示オブジェクト及び音声オブジェクトとして、道案内を行うための画像や音声を出力する構成としたが、本発明はこれに限定されず、天気予報の他、広告の画像や音声、ニュースの画像や音声、周辺の案内等の情報を提供することが可能であり、国あるいは自治体による広報手段として利用することも勿論可能である。
また、上記実施形態では、表示装置20A、20Bが備える前面パネル22を振動子26によって振動させることによって音声を出力する構成について説明したが、本発明はこれに限定されるものではなく、振動子26に代えて、音声を出力する通常のスピーカを枠21内に備えた構成としてもよい。また、指向性の強いスピーカを表示ユニット2の上部に複数設け、このスピーカの向きを変える駆動機構を設けて、人がいる位置に向けて音声を出力してもよく、この場合、表示制御装置5は、音声を出力するスピーカを選択するとともに、当該スピーカの向きを制御する処理を行う。
また、上述したカメラ30、マイク40及びスピーカは、表示ユニット2に限らず、表示ユニット2が設置された空間内において、表示ユニット2から離れた場所に設置することも勿論可能である。表示装置20Aと表示装置20Bの数についても任意であり、表示ユニット2の全てを表示装置20Bにより構成してもよい。
さらに、表示ユニット2が備える表示パネル23として、有機EL素子を用いた表示パネルやプラズマ表示パネル等を用いることも可能であり、これらのように自発光型の表示パネルを用いた場合にはバックライト24を廃した構成としてもよく、その他、表示システム1の具体的な細部構成についても任意に変更可能である。
また、上述したカメラ30、マイク40及びスピーカは、表示ユニット2に限らず、表示ユニット2が設置された空間内において、表示ユニット2から離れた場所に設置することも勿論可能である。表示装置20Aと表示装置20Bの数についても任意であり、表示ユニット2の全てを表示装置20Bにより構成してもよい。
さらに、表示ユニット2が備える表示パネル23として、有機EL素子を用いた表示パネルやプラズマ表示パネル等を用いることも可能であり、これらのように自発光型の表示パネルを用いた場合にはバックライト24を廃した構成としてもよく、その他、表示システム1の具体的な細部構成についても任意に変更可能である。
1…表示システム、2…表示ユニット、5…表示制御装置、6…記憶部、20A、20B…表示装置、22…前面パネル(音声出力装置)、23…表示パネル、25…制御基板、26…振動子(音声出力装置)、28…タッチセンサ(入力部)、30…カメラ、40…マイク(入力部)、51…CPU(位置検出手段、位置決定手段、表示制御手段、画像認識手段、音声出力制御手段)、57…画像入力部、58…音声入力部、64…表示データ記憶領域(表示データ記憶手段)、65…音声データ記憶領域(音声データ記憶手段)、200A、200B…制御部、201…CPU、211…画像処理部、212…描画メモリ、213…駆動回路、221…音声処理部、231…入力検出部(入力部)。
Claims (7)
- 複数の表示装置を並べて構成される表示ユニットと、
前記表示ユニットの近傍にいる人を利用者として認識し、その位置を検出する位置検出手段と、
前記位置検出手段により検出された利用者の位置に基づいて、表示オブジェクトを表示する表示位置を決定する位置決定手段と、
前記位置決定手段により決定された表示位置に前記表示オブジェクトを表示する表示制御手段と、
利用者による入力を受け付ける入力部と、を備え、
前記表示制御手段は、以前に前記位置検出手段によって位置が検出された利用者が別の位置に移動し、移動後の位置に基づいて前記位置決定手段によって新たに表示位置が決定された場合に、前記表示オブジェクトを新たな表示位置に移動させ、
前記入力部に入力が行われた場合には、前記入力部に入力された内容に基づいて前記表示オブジェクトを変化させること、
を特徴とする表示システム。 - 少なくとも一部の前記表示装置が前記入力部を備え、
前記表示制御手段は、前記表示オブジェクトを表示中の前記表示装置の前記入力部に対する入力が行われた場合に、その入力内容に基づいて前記表示オブジェクトを変化させること、
を特徴とする請求項1記載の表示システム。 - 前記表示制御手段は、前記入力部において行き先を指定する入力が行われた場合に、前記表示オブジェクトとして入力された行き先への道案内をする画像を表示させること、
を特徴とする請求項1または2記載の表示システム。 - 前記位置検出手段は、前記表示ユニットを視認可能な範囲を撮影するカメラと、
前記カメラの撮影画像に含まれる人物画像を検出することによって利用者を認識し、検出した人物画像が、以前に認識された利用者の人物画像か否かを判別する画像認識手段と、を備えて構成されること、
を特徴とする請求項1から3のいずれかに記載の表示システム。 - 前記表示ユニットに表示される表示オブジェクトを視認可能な範囲に向けて音声を出力する複数の音声出力装置と、
前記位置決定手段により決定された表示位置に基づいて、複数の前記音声出力装置から一部の前記音声出力装置を選択し、選択した前記音声出力装置から、前記表示制御装置の制御により表示される前記表示オブジェクトに対応する音声を出力させる音声出力制御手段と、
を備えることを特徴とする請求項1から4のいずれかに記載の表示システム。 - 複数の表示装置を並べて構成される表示ユニットと、利用者による入力を受け付ける入力部とに接続され、
前記表示ユニットの近傍にいる人を利用者として認識し、その位置を検出する位置検出手段と、
前記位置検出手段により検出された利用者の位置に基づいて、表示オブジェクトを表示する表示位置を決定する位置決定手段と、
前記位置決定手段により決定された表示位置に前記表示オブジェクトを表示する表示制御手段と、を備え、
前記表示制御手段は、以前に前記位置検出手段によって位置が検出された利用者が別の位置に移動し、移動後の位置に基づいて前記位置決定手段によって新たに表示位置が決定された場合に、前記表示オブジェクトを新たな表示位置に移動させ、
前記入力部に入力が行われた場合には、前記入力部に入力された内容に基づいて前記表示オブジェクトを変化させること、
を特徴とする表示制御装置。 - 複数の表示装置を並べて構成される表示ユニットと、利用者による入力を受け付ける入力部とに接続された表示制御装置によって、
前記表示ユニットの近傍にいる人を利用者として認識し、その位置を検出し、
検出した利用者の位置に基づいて、表示オブジェクトを表示する表示位置を決定し、
決定した表示位置に前記表示オブジェクトを表示するとともに、以前に位置を検出した利用者が別の位置に移動した場合には、移動後の位置に基づいて新たに表示位置を決定し、前記表示オブジェクトを新たな表示位置に移動させ、前記入力部に入力が行われた場合には、前記入力部に入力された内容に基づいて前記表示オブジェクトを変化させること、
を特徴とする表示制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008179879A JP2010020053A (ja) | 2008-07-10 | 2008-07-10 | 表示システム、表示制御装置、および、表示制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008179879A JP2010020053A (ja) | 2008-07-10 | 2008-07-10 | 表示システム、表示制御装置、および、表示制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010020053A true JP2010020053A (ja) | 2010-01-28 |
Family
ID=41705028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008179879A Withdrawn JP2010020053A (ja) | 2008-07-10 | 2008-07-10 | 表示システム、表示制御装置、および、表示制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010020053A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012203610A (ja) * | 2011-03-25 | 2012-10-22 | Mitsubishi Electric Information Systems Corp | 表示装置及び表示プログラム |
WO2012147651A1 (ja) * | 2011-04-27 | 2012-11-01 | シャープ株式会社 | マルチディスプレイ装置及び画像表示装置 |
JP2013200429A (ja) * | 2012-03-23 | 2013-10-03 | Mitsubishi Electric Corp | 制御装置及びリモコン装置 |
JP2015022447A (ja) * | 2013-07-17 | 2015-02-02 | グンゼ株式会社 | 表示装置 |
JP2015069343A (ja) * | 2013-09-27 | 2015-04-13 | 株式会社エクサ | ショッピングシステム |
JP2016188069A (ja) * | 2016-04-27 | 2016-11-04 | 株式会社ユピテル | 運転支援システムおよび運転支援プログラム |
JP2017161448A (ja) * | 2016-03-11 | 2017-09-14 | 株式会社インディ・アソシエイツ | 案内装置 |
JP2019214445A (ja) * | 2018-06-12 | 2019-12-19 | 東芝エレベータ株式会社 | サイネージシステム及び乗客コンベア |
JP2021047369A (ja) * | 2019-09-20 | 2021-03-25 | 株式会社 資生堂 | 情報処理装置及びバーチャル接客システム |
CN112860331A (zh) * | 2021-03-19 | 2021-05-28 | Vidaa美国公司 | 一种显示设备及语音交互的提示方法 |
JP6969654B1 (ja) * | 2020-11-10 | 2021-11-24 | 三菱電機株式会社 | 案内システムおよびエレベーターシステム |
CN114470750A (zh) * | 2021-07-06 | 2022-05-13 | 荣耀终端有限公司 | 图像帧流的显示方法、电子设备和存储介质 |
-
2008
- 2008-07-10 JP JP2008179879A patent/JP2010020053A/ja not_active Withdrawn
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012203610A (ja) * | 2011-03-25 | 2012-10-22 | Mitsubishi Electric Information Systems Corp | 表示装置及び表示プログラム |
WO2012147651A1 (ja) * | 2011-04-27 | 2012-11-01 | シャープ株式会社 | マルチディスプレイ装置及び画像表示装置 |
JP2013200429A (ja) * | 2012-03-23 | 2013-10-03 | Mitsubishi Electric Corp | 制御装置及びリモコン装置 |
JP2015022447A (ja) * | 2013-07-17 | 2015-02-02 | グンゼ株式会社 | 表示装置 |
JP2015069343A (ja) * | 2013-09-27 | 2015-04-13 | 株式会社エクサ | ショッピングシステム |
JP2017161448A (ja) * | 2016-03-11 | 2017-09-14 | 株式会社インディ・アソシエイツ | 案内装置 |
JP2016188069A (ja) * | 2016-04-27 | 2016-11-04 | 株式会社ユピテル | 運転支援システムおよび運転支援プログラム |
JP2019214445A (ja) * | 2018-06-12 | 2019-12-19 | 東芝エレベータ株式会社 | サイネージシステム及び乗客コンベア |
JP2021047369A (ja) * | 2019-09-20 | 2021-03-25 | 株式会社 資生堂 | 情報処理装置及びバーチャル接客システム |
JP7339092B2 (ja) | 2019-09-20 | 2023-09-05 | 株式会社 資生堂 | 情報処理装置及びバーチャル接客システム |
JP6969654B1 (ja) * | 2020-11-10 | 2021-11-24 | 三菱電機株式会社 | 案内システムおよびエレベーターシステム |
CN114455410A (zh) * | 2020-11-10 | 2022-05-10 | 三菱电机株式会社 | 引导系统以及电梯系统 |
JP2022076788A (ja) * | 2020-11-10 | 2022-05-20 | 三菱電機株式会社 | 案内システムおよびエレベーターシステム |
CN114455410B (zh) * | 2020-11-10 | 2022-11-25 | 三菱电机株式会社 | 引导系统以及电梯系统 |
CN112860331A (zh) * | 2021-03-19 | 2021-05-28 | Vidaa美国公司 | 一种显示设备及语音交互的提示方法 |
CN112860331B (zh) * | 2021-03-19 | 2023-11-10 | Vidaa美国公司 | 一种显示设备及语音交互的提示方法 |
CN114470750A (zh) * | 2021-07-06 | 2022-05-13 | 荣耀终端有限公司 | 图像帧流的显示方法、电子设备和存储介质 |
CN114470750B (zh) * | 2021-07-06 | 2022-12-30 | 荣耀终端有限公司 | 图像帧流的显示方法、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010020053A (ja) | 表示システム、表示制御装置、および、表示制御方法 | |
JP6638804B2 (ja) | 表示装置 | |
JP4770178B2 (ja) | カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法 | |
RU2625439C2 (ru) | Электронное устройство и способ для предоставления пользовательского интерфейса для него | |
WO2017148294A1 (zh) | 基于移动终端的设备控制方法、装置和移动终端 | |
JP2010015076A (ja) | 表示システム、表示制御装置、および、表示制御方法 | |
JP2001125738A (ja) | プレゼンテーション制御システム及びその制御方法 | |
JP2012023595A (ja) | 会議システム | |
US9491401B2 (en) | Video call method and electronic device supporting the method | |
JP2014220619A (ja) | 会議情報記録システム、情報処理装置、制御方法およびコンピュータプログラム | |
CN104520923A (zh) | 内容再现控制设备、内容再现控制方法和程序 | |
JP2016213677A (ja) | 遠隔コミュニケーションシステム、その制御方法、及びプログラム | |
JP2016213674A (ja) | 表示制御システム、表示制御装置、表示制御方法、及びプログラム | |
JP2018036902A (ja) | 機器操作システム、機器操作方法および機器操作プログラム | |
KR20180098071A (ko) | 디지털 사이니지 | |
JP2007158680A (ja) | 追尾撮像装置およびこれを利用した追尾撮像システム | |
JP2017123505A (ja) | コンテンツ再生装置、コンテンツ再生方法及びプログラム | |
CN112449097A (zh) | 视频通信方法、终端及存储介质 | |
JP6907721B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
JP2009230195A (ja) | 操作を補助する補助情報を表示する自動取引装置および自動取引システム並びにプログラム | |
JP2000099306A (ja) | 制御装置およびその制御方法およびその動作処理を実行するプログラムを記憶した記憶媒体 | |
JP4789227B2 (ja) | 音声認識機能を内蔵した映像表示装置 | |
CN113015014A (zh) | 缩放显示方法、显示终端及存储介质 | |
JP2023046590A (ja) | 表示方法、表示装置、及び、表示システム | |
JP5554110B2 (ja) | 文書処理方法および文書処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20111004 |