JP2015126273A - 表示システム、表示装置、表示方法及びプログラム - Google Patents

Abstract

【課題】表示手段に写っている表示対象の周囲をユーザが視認できるようにする。
【解決手段】デジタルサイネージ装置１は、画像形成部２７に対向しているユーザの少なくとも移動方向を検出し、検出結果に応じて表示対象の領域に対してずらした領域を表示対象画像から切り出した画像を取得し、取得した画像を画像形成部２７に表示する。
【選択図】図６

Description

本発明は、表示システム、表示装置、表示方法及びプログラムに関する。

従来、映像供給装置に接続される映像出力装置と、反射部材と、スクリーンとを有し、映像出力装置からコンテンツを投影する出力光を反射部材によって反射し、この反射部材によって反射された出力光を当該コンテンツの輪郭の形状に形成されたスクリーンに投影することにより、閲覧者に対して印象を高めた表示を行うことができる映像出力装置搭載機器が知られている（例えば、特許文献１参照）。

特開２０１１−１５０２２１号公報

特許文献１に記載の映像出力装置搭載機器のような表示装置では、予め人型に成形されたスクリーンに合わせて撮影画像から人物領域を切り出して表示している。従って、スクリーン等の表示手段には表示対象の人物しか表示されない。そのため、例えば、このような表示装置をビデオ通話用の表示機器として用いるような場合、スクリーンには相手がぴったり収まった状態で表示されるので、相手の周囲を見たいとき（例えば、相手が見せたい物を横に置いたとき等）にユーザはそれを見ることができない。

本発明の課題は、表示手段に写っている表示対象の周囲をユーザが視認できるようにすることである。

上記課題を解決するため、請求項１に記載の発明は、
表示対象画像に含まれる表示対象の領域を切り出した画像を表示する表示手段を有する表示システムであって、
前記表示対象の領域を切り出した画像が表示された前記表示手段に対向しているユーザの少なくとも移動方向を検出する検出手段と、
前記検出手段による検出結果に応じて前記表示対象の領域に対してずらした領域を前記表示対象画像から切り出す切り出し手段と、
前記表示対象画像の前記切り出された領域を前記表示手段に表示させる表示制御手段と、
を備える。

本発明によれば、表示手段に写っている表示対象の周囲をユーザが視認することが可能となる。

本実施形態における表示システムの全体構成例を示す図である。 図１のデジタルサイネージ装置の機能的構成を示すブロック図である。 図２のスクリーン部の概略構成を示す図である。 図２の制御部により実行される移動検出処理を示すフローチャートである。 図２の制御部により実行される画像切り出し送信処理を示すフローチャートである。 （ａ）は、ユーザの覗き込み動作による移動を上面から見た図、（ｂ）は、（ａ）の覗き込み動作が行われた場合に撮影画像から切り出される領域を示す図である。 （ａ）、（ｂ）は、図５のステップＳ１８における縮小率の決定を説明するための図、（ｃ）は、図５のステップＳ１８で切り出された領域を相手側のデジタルサイネージ装置で表示したときの表示例を示す図である。 一方のデジタルサイネージ装置においてユーザが覗き込み動作を行って移動した場合のデジタルサイネージ装置間の動作を示す図である。

以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

［表示システム１００の構成］
図１は、本発明の実施形態における表示システム１００の全体構成を示す図である。図１に示すように、表示システム１００は、複数のデジタルサイネージ装置１が通信ネットワークＮを介して接続可能に構成されている。なお、本実施形態においては、通信ネットワークＮはインターネットであることとして説明するが、これに限定されず、例えば、電話回線としてもよい。

［デジタルサイネージ装置１の構成］
図２は、本実施形態における表示装置としてのデジタルサイネージ装置１の主制御構成を示すブロック図である。デジタルサイネージ装置１は、通信ネットワークＮを介して他のデジタルサイネージ装置１とのビデオ通話が可能である。

図２に示すように、デジタルサイネージ装置１は、コンテンツの映像光を照射する投影部２１と、投影部２１から照射された映像光を背面で受けて前面に投影するスクリーン部２２とを備えている。

まず、投影部２１について説明する。
投影部２１は、制御部２３と、プロジェクタ２４と、記憶部２５と、通信部２６と、を備えている。プロジェクタ２４、記憶部２５、通信部２６は、図１に示すように制御部２３に接続されている。

制御部２３は、記憶部２５に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵ（Central Processing Unit）とプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部２３は、記憶部２５のプログラム記憶部２５１に記憶されているプログラムとの協働により、切り出し手段、表示制御手段、警告手段として機能する。また、制御部２３は、撮像部３０との協働により検出手段として機能する。

プロジェクタ２４は、制御部２３から出力された画像データを映像光に変換してスクリーン部２２の背面に向けて照射する投影装置である。プロジェクタ２４は、例えば、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。

記憶部２５は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部２５には、図１に示すように、プログラム記憶部２５１、電話帳記憶部２５２等が設けられている。

プログラム記憶部２５１には、制御部２３で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
電話帳記憶部２５２には、予め登録された電話番号と名前とが対応付けて記憶されている。

通信部２６は、モデム、ルータ、ネットワークカード等により構成され、外部機器との通信を行う。

次に、スクリーン部２２について説明する。
図３は、スクリーン部２２の概略構成を示す正面図である。図３に示すようにスクリーン部２２には、画像形成部２７と、画像形成部２７を支持する台座２８とが備えられている。

画像形成部２７は、映像光の照射方向に対して略直交するように配置された、例えばアクリル板などの人型に成形された一枚の透光板２９に、フィルム状のフレネルレンズが積層された背面投影用のフィルムスクリーンが貼付されて構成されたスクリーンである。この画像形成部２７と前述したプロジェクタ２４とにより表示手段を構成している。

画像形成部２７の上部には、例えばカメラなどの撮像部３０が設けられている。この撮像部３０が画像形成部２７に対向する空間の画像を撮影して撮影画像を生成し、制御部２３に出力する。撮像部３０は、図示は省略するが、光学系及び撮像素子を備えるカメラと、カメラを制御する撮像制御部とを備えている。撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサであり、光学系を通過した光学像を２次元の画像信号に変換する。撮像部３０は、撮影手段として機能する。

台座２８には、マイクなどの音声入力部３１と、操作部３２と、音声を出力するスピーカなどの音声出力部３３と、が設けられている。

操作部３２には、発信ボタン３２ａ、応答ボタン３２ｂ、通話終了ボタン３２ｃ、操作パネル３２ｄ等が設けられている。発信ボタンは、ビデオ通話の発信を指示するためのボタンである。応答ボタン３２ｂは、ビデオ通話への応答を指示するためのボタンである。通話終了ボタン３２ｃは、ビデオ通話の終了を指示するためのボタンである。操作パネル３２ｄは、ＬＣＤ（Liquid Crystal Display）等の表示部と、ＬＣＤの表面を覆うように透明電極を格子状に配置したタッチパネルとにより構成され、電話帳記憶部２５２に記憶されている電話帳等を表示して、手指等により選択された電話番号の位置情報を検出して制御部２３に出力する。

撮像部３０、音声入力部３１、操作部３２、音声出力部３３は、図２に示すように制御部２３に接続されている。

［表示システム１００の動作］
次に、表示システム１００のデジタルサイネージ装置１におけるビデオ通話動作について説明する。
何れかのデジタルサイネージ装置１において、操作パネル３２ｄによりビデオ通話の相手先の電話番号が選択され、発信ボタン３２ａが押下されると、制御部２３は、通信部２６により通信ネットワークＮを介して相手先のデジタルサイネージ装置１に接続要求を送信する。
相手先のデジタルサイネージ装置１において、通信部２６により接続要求が着信（受信）されると、制御部２３は、着信を通知するための着信音を音声出力部３３に出力させる。応答ボタン３２ｂが押下されると、制御部２３は、通信部２６により通信ネットワークＮを介して発信元に接続応答を送信する。これにより、２つのデジタルサイネージ装置１間でセッションが確立し、通話回線が接続され、ビデオ通話状態となる。

通話回線が接続された何れかのデジタルサイネージ装置１において、通話終了ボタン３２ｃが押下されると、制御部２３は、通信部２６により通信ネットワークＮを介して回線切断要求を相手先のデジタルサイネージ装置１に送信する。相手先のデジタルサイネージ装置１に回線切断応答が届いた時点でセッションが終了し、通話回線が切断される。

ビデオ通話状態において、発信側及び受信側のデジタルサイネージ装置１のそれぞれの制御部２３は、プログラム記憶部２５１に記憶されているプログラムとの協働により、以下の（１）〜（５）の処理を実行する。
（１）音声入力部３１により音声が入力されると、入力された音声の音声データを通信部２６により相手側のデジタルサイネージ装置１に送信する。
（２）通信部２６により相手先から音声データが受信されると、受信された音声データに基づいて音声出力部３３により音声を出力させる。
（３）撮像部３０により画像形成部２７に対向しているユーザの撮影画像を取得させ、取得された撮影画像から顔領域を認識し、認識された顔領域の中心をユーザ初期位置としてメモリに記憶するとともに、認識した顔領域を含む人物領域を認識してユーザ領域として切り出す。顔領域が複数認識された場合は、撮影画像の最も中心に近い位置から検出された顔領域の中心をユーザ初期位置としてメモリに記憶するとともに、その顔領域を含む人物領域を認識してユーザ領域として切り出す。即ち、相手先のデジタルサイネージ装置１における表示対象画像を自装置のユーザの撮影画像とし、表示対象をユーザの領域として、撮影画像からユーザ領域を切り出す。そして、切り出した画像データを通信部２６により相手先のデジタルサイネージ装置１に送信する。
なお、顔領域の認識及び顔領域を含む人物領域の認識は、公知の画像処理技術を用いて行うことができるので説明を省略する。また、本願において「切り出す」とは、実際に領域を切り出すことの他、相手側のデジタルサイネージ装置１において切り出し対象の領域を特定可能とすることを含み、例えば、切り出し対象の領域以外の領域を黒に置き換えたり、切り出し対象の領域の位置情報を撮影画像に対応付けたりすることを含むものとする。
（４）通信部２６により相手先から画像データを受信されると、受信した相手側ユーザの画像を画像形成部２７の形状に合うように調整（フィッティング）してプロジェクタ２４により画像形成部２７に投影（表示）させる。
（５）（３）及び（４）が終了した後、所定時間毎に撮像部３０によりユーザの撮影画像を取得させ、取得された撮影画像に基づいて後述する移動検出処理（図４参照）及び画像切り出し送信処理（図５参照）を実行する。

ここで、ビデオ通話は、相手の撮影画像を見ながら通話を行うものであり、上述のように、各デジタルサイネージ装置１では相手側のデジタルサイネージ装置１の画像形成部２７に自装置のユーザの画像を表示させるために、画像形成部２７に対向しているユーザを撮像部３０により撮影し、得られた撮影画像からユーザの領域を切り出して相手側のデジタルサイネージ装置１に送信する。

しかし、上述のように、デジタルサイネージ装置１の画像形成部２７は人型に成形されており、この人型の形状に合わせてフィッティングして相手側ユーザの画像を表示している。そのため、従来、デジタルサイネージ装置１を用いてビデオ通話を行った場合、通話中に相手の周囲を見たいとき（例えば、相手が見せたいものを横に置いた場合等）にユーザはそれを見ることができないという問題が生じる。

そこで、本実施形態においては、撮像部３０により所定時間毎に取得されるユーザの撮影画像に基づいて移動検出処理（図４参照）を行うことによって、ユーザが覗き込む動作をすることによりユーザの顔の中心がユーザ初期位置から移動したか否かを監視する。そして、ユーザの顔の中心がユーザの初期位置から移動した場合、相手側のデジタルサイネージ装置１にユーザの移動方向及び移動量を示す情報を送信する。ここでは、一例として、ユーザ初期位置に対する検出したユーザの顔の中心位置の上下左右方向のそれぞれの成分のずれ量（移動量）を、ユーザ初期位置、撮像部３０のレンズの中心（撮影画像の中心）、及び検出したユーザの顔の中心位置の３点で形成される角度θとして算出し、これをユーザの移動方向及び移動量を示す情報（角度変更情報と呼ぶ）とする。移動方向及び移動量を示す情報を受信した相手側のデジタルサイネージ装置１は、図５に示す画像切り出し送信処理において、受信した角度変更情報に基づいて、上記ユーザの移動方向及び移動量に応じた分ユーザ初期位置に対してずらした領域を撮影画像から切り出して送信元のデジタルサイネージ装置１に送信することで、上記ユーザの覗き込み動作に対応した方向の相手側ユーザの周囲を角度変更情報の送信元のデジタルサイネージ装置１で表示できるようにする。

以下、撮像部３０により所定時間毎に取得されるユーザの撮影画像に基づいて実行される移動検出処理（図４参照）、及び画像切り出し送信処理（図５参照）について説明する。

図４に、移動検出処理のフローチャートを示す。移動検出処理は、ビデオ通話状態のデジタルサイネージ装置１のそれぞれにおいて、所定時間毎に撮像部３０により撮影画像が取得される毎に、制御部２３と記憶部２５のプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。

まず、制御部２３は、撮像部３０により取得された撮影画像からユーザの顔領域を認識し、認識した顔領域に基づいて、ユーザの顔の中心位置を検出する（ステップＳ１）。

次いで、制御部２３は、検出したユーザの顔の中心位置とメモリに記憶されているユーザ初期位置に基づいて、ユーザの移動が検出されたか否かを判断する（ステップＳ２）。具体的には、制御部２３は、検出したユーザの顔の中心位置とメモリに記憶されているユーザ初期位置がずれている場合に、ユーザが移動したことを検出する。

ユーザの移動が検出されていないと判断した場合（ステップＳ２；ＮＯ）、制御部２３は、移動検出処理を終了する。ユーザの移動が検出されたと判断した場合（ステップＳ２；ＹＥＳ）、制御部２３は、ユーザ初期位置に対する検出したユーザの顔の中心位置の上下左右方向のそれぞれの成分のずれ量（移動量）を、ユーザ初期位置、撮像部３０のレンズの中心（撮影画像の中心）、及び検出したユーザの顔の中心位置の３点で形成される角度θとして算出し、角度変更情報として取得する（ステップＳ３）。各方向の角度θは、撮影画像上の中心及び各位置の座標から求めることができる。

そして、制御部２３は、角度変更情報をメモリの所定領域に記憶するとともに、通信部２６により角度変更情報を相手側のデジタルサイネージ装置１に送信し（ステップＳ４）、移動検出処理を終了する。

図５に、画像切り出し送信処理のフローチャートを示す。画像切り出し送信処理は、ビデオ通話状態のデジタルサイネージ装置１のそれぞれにおいて、移動検出処理に引き続いて制御部２３と記憶部２５のプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。

まず、制御部２３は、通信部２６により相手側のデジタルサイネージ装置１から角度変更情報が受信されたか否かを判断する（ステップＳ１１）。通信部２６により相手側のデジタルサイネージ装置１から角度変更情報が受信されたと判断した場合（ステップＳ１１；ＹＥＳ）、制御部２３は、撮影画像からユーザ領域（ユーザの写っている領域）を認識し、受信した角度変更情報に応じて撮像部３０により取得された撮影画像から切り出す領域をユーザ領域に対してずらした場合にその領域が撮影画像内（画角内）に収まるか否かを判断する（ステップＳ１２）。切り出す領域が撮影画像内に収まると判断した場合（ステップＳ１２；ＹＥＳ）、制御部２３は、撮影画像におけるユーザ領域に対して受信した角度変更情報に応じてずらした領域を切り出して（ステップＳ１３）、ステップＳ１９の処理に移行する。

例えば、図６（ａ）に示す上面図のように、ユーザＡが、画像形成部２７に写っているユーザＢの、ユーザＡから見て左側の領域が見たい場合、ユーザＡは少なくとも顔を右側に移動させて覗き込む動作を行う。この動作は、撮像部３０により取得された撮影画像においては、ユーザＡが左に角度θ移動したと検出される。この角度変更情報に基づいて図６（ｂ）に示すようにユーザＢ（実線で示す）を含む撮影画像から切り出す領域をユーザＢの領域から左に角度θ分だけずらし（破線で示す）、これを画像形成部２７に表示することで、ユーザＡはユーザＡから見てユーザＢの左側の領域を見ることができる。
即ち、ステップＳ１３においては、撮影画像から切り出す領域を、ユーザ領域から角度変更情報において指定されている移動方向に角度θだけずらすことで、相手側のユーザが見たい領域を相手側のデジタルサイネージ装置１に表示することができる。

一方、ステップＳ１２において、切り出す領域が撮影画像の画像領域を超えていると判断した場合（ステップＳ１２；ＮＯ）、制御部２３は、撮影画像の範囲内でユーザ領域から角度変更情報に応じてずらした領域（撮影画像の範囲を超える場合は画像端までずらした領域）を切り出し（ステップＳ１４）、更に、切り出した領域の画像に、撮影画像端を超えることによりずらしきれなかったことを報知する警告情報を書き込み（ステップＳ１５）、ステップＳ１９の処理に移行する。ステップＳ１５においては、例えば、撮影画像端を超えることによりずらしきれなかった側の輪郭を、例えば赤等の所定の色で縁取りする等が挙げられるが、これに限定されるものではない。これにより、相手側のデジタルサイネージ装置１において撮影画像端を超えていることを示す警告情報を表示することができるので、相手側のユーザに画像端（画角の端）まできていることを認識させることができる。

一方、ステップＳ１１において、通信部２６により相手側のデジタルサイネージ装置１から角度変更情報が受信されなかったと判断した場合（ステップＳ１１；ＮＯ）、制御部２３は、メモリの所定領域を参照し、移動検出処理において自装置のユーザの角度変更情報が取得されたか否かを判断する（ステップＳ１６）。移動検出処理において自装置のユーザの角度変更情報が取得されなかったと判断した場合（ステップＳ１６；ＮＯ）、制御部２３は、撮影画像からユーザ領域を認識し、認識したユーザ領域を切り出し（ステップＳ１７）、ステップＳ１９の処理に移行する。

移動検出処理において自装置のユーザの角度変更情報が取得されたと判断した場合（ステップＳ１６；ＹＥＳ）、制御部２３は、角度変更情報に基づいて撮影画像の縮小率を決定し、決定した縮小率で撮影画像を縮小し、縮小したユーザ領域を角度変更情報が示す移動方向の端に含むように切り出し領域を決定して切り出し（ステップＳ１８）、ステップＳ１９の処理に移行する。ここで、ステップＳ１８においては、縮小した撮影画像におけるユーザ領域が切り出し領域におけるユーザの移動方向の端部に位置するように切り出し領域を決定する。例えば、図７（ａ）に示す初期位置のユーザ領域の幅Ｗ１と、図７（ｂ）に示す初期位置のユーザ領域（実線で示す）と現在のユーザ領域（二転鎖線で示す）とを合わせた領域の幅Ｗ２とが一致するように縮小率を決定し、初期位置のユーザ領域の形状及びサイズの領域であって縮小したユーザ領域を移動方向の端に含む領域を切り出し領域として決定する。この切り出し領域を相手側ユーザのデジタルサイネージ装置１で表示した場合、ユーザが移動した方向に移動量に応じてユーザ小さくなって表示されるので、図７（ｃ）に示すようにユーザが覗き込み動作をしていること及びどの方向にどの程度覗き込んでいるかを相手側で認識することが可能となる。

ステップＳ１９において、制御部２３は、切り出された領域の画像データを通信部２６により相手側のデジタルサイネージ装置１に送信し（ステップＳ１９）、画像切り出し送信処理を終了する。

相手側のデジタルサイネージ装置１においては、通信部２６により切り出された領域の画像データが受信されると、切り出された領域の画像が画像形成部２７の形状に合うようにフィッティングされてプロジェクタ２４により画像形成部２７に表示される。

例えば、ユーザＡ（第１のユーザ）のデジタルサイネージ装置１（１Ａとする。第１の表示装置。）とユーザＢ（第２のユーザ）のデジタルサイネージ装置１（１Ｂとする。第２の表示装置。）がビデオ通話状態である場合であって、デジタルサイネージ装置１ＡにおいてユーザＡが覗き込み動作を行って移動した場合、デジタルサイネージ装置１Ａとデジタルサイネージ装置１Ｂの動作は、図８に示すとおりとなる。なお、図８は、ユーザＡの移動量を示す角度θに応じてデジタルサイネージ装置１Ｂで切り出しを行っても撮影画像の範囲を超えてない場合を示している。

まず、デジタルサイネージ装置１Ａにおいて、制御部２３により移動検出処理が実行されると、ユーザＡの移動が検出され（ステップＴ１）、ユーザＡの移動方向及び移動量に応じた角度変更情報が取得され（ステップＴ２）、取得された角度変更情報が通信部２６によりデジタルサイネージ装置１Ｂに送信される（ステップＴ３）。

送信された角度変更情報は、デジタルサイネージ装置１Ｂの通信部２６により受信される（ステップＴ４）。デジタルサイネージ装置１Ｂにおいて、制御部２３により画像切り出し送信処理が実行されると、デジタルサイネージ装置１Ａから角度変更情報が受信されているので、ユーザＡの移動に応じて（ユーザＡの移動方向と移動量に応じて）ユーザＢの領域に対してずらした領域がユーザＢの撮影画像から切り出され（ステップＴ５）、切り出された領域の画像データが通信部２６によりデジタルサイネージ装置１Ａに送信される（ステップＴ６）。

デジタルサイネージ装置１Ａにおいては、通信部２６によりデジタルサイネージ装置１Ｂからの画像データが受信され（ステップＴ７）、受信された画像データが画像形成部２７の形状に合うようにフィッティングされてプロジェクタ２４により画像形成部２７に表示される（ステップＴ８）。即ち、ユーザＡの覗き込み動作による移動方向及び移動量に応じてユーザＢの領域に対してずらした領域が画像形成部２７の形状に合わせて表示される。

このように、ユーザＡが覗き込み動作を行うことにより、ユーザＡが見たい方向のユーザＢの周囲の領域をデジタルサイネージ装置１Ａに表示させることができる。

なお、図８においては、デジタルサイネージ装置１Ｂにおいて画像切り出し送信処理が実行する際にデジタルサイネージ装置１Ａからの角度変更情報が受信されている場合を示しているが、デジタルサイネージ装置１Ａからの角度変更情報が受信されていない場合、デジタルサイネージ装置１Ｂでは、制御部２３において画像切り出し送信処理を実行することにより、以下の何れかの切り出し領域で撮影画像からの切り出しが行われ、デジタルサイネージ装置１Ａに送信される。

移動検出処理においてユーザＢの角度変更情報が取得された場合、制御部２３により、取得された角度変更情報に基づいて撮像部３０により取得された撮影画像が縮小され、縮小された撮影画像における、初期位置のユーザ領域の形状及びサイズの領域であって縮小したユーザ領域を移動方向の端に含む領域が切り出し領域として決定されて切り出される。そして、切り出された領域の画像データが通信部２６によりデジタルサイネージ装置１Ａに送信される。デジタルサイネージ装置１Ａにおいては、通信部２６によりデジタルサイネージ装置１Ｂからの画像データが受信されると、受信された画像データが画像形成部２７の形状に合うようにフィッティングされてプロジェクタ２４により画像形成部２７に表示される。

即ち、デジタルサイネージ装置１ＡにおいてユーザＡが覗き込み動作をしていないが、デジタルサイネージ装置１ＢにおいてユーザＢの覗き込み動作があってユーザＢが移動した場合は、デジタルサイネージ装置１ＡにおいてユーザＢが移動した方向に移動量に応じて小さくなって画像形成部２７に表示されるのでユーザＢが覗き込み動作をしていること及びどの方向にどの程度覗き込んでいるかをユーザＡが認識することが可能となる。

移動検出処理においてユーザＢの角度変更情報が取得されなかった場合、制御部２３により、撮像部３０により取得された撮影画像からユーザ領域が切り出され、切り出された領域の画像データが通信部２６によりデジタルサイネージ装置１Ａに送信される。デジタルサイネージ装置１Ａにおいては、通信部２６によりデジタルサイネージ装置１Ｂからの画像データが受信されると、受信された画像データが画像形成部２７の形状に合うようにフィッティングされてプロジェクタ２４により画像形成部２７に表示される。

即ち、デジタルサイネージ装置１ＡにおいてユーザＡが覗き込み動作をしておらず、デジタルサイネージ装置１ＢにおいてもユーザＢが覗き込み動作を行っていない場合は、ユーザＢが画像形成部２７の形状に合わせて表示される。

［変形例］
画像切り出し送信処理の変形例として、制御部２３は、撮影画像から複数のユーザが認識された場合は、ユーザ初期位置を中央のユーザの顔の中心としておき、相手側のデジタルサイネージ装置１から角度変更情報が受信された場合は、角度変更情報により特定される相手側ユーザの移動方向に基づいて、撮影画像においてその移動方向に存在する別のユーザの領域に切り出し対象領域を切り替えることとしてもよい。また、移動の角度θが所定の角度を超える毎に、移動方向に存在する別のユーザ領域に切り出し対象を切り替えていくこととしてもよい。

以上説明したように、表示システム１００におけるデジタルサイネージ装置１によれば、画像形成部２７に対向しているユーザの少なくとも移動方向を検出し、検出結果に応じて表示対象（ここではビデオ通話の相手側ユーザ）の領域に対してずらした領域を表示対象画像（ここでは、相手側ユーザの撮影画像）から切り出した画像を取得し、取得した画像を画像形成部２７に表示する。

従って、デジタルサイネージ装置１において、ユーザが覗き込み動作を行って移動することにより、ユーザが移動した方向に応じた表示対象の周囲の領域を自装置のデジタルサイネージ装置１に表示させることができる。

例えば、ユーザの移動方向及び移動量を検出し、検出した移動方向及び移動量に応じて表示対象の領域に対してずらした領域を表示対象画像から切り出すことで、ユーザが移動した方向に移動した分だけ表示対象の周囲の領域を表示させることが可能となる。

また、例えば、ユーザの移動に応じて切り出す領域が表示対象画像の画像領域を超える場合に警告を出力することで、ユーザがそれ以上の周囲領域は見ることができないことを認識することが可能となる。

また、表示対象画像に表示対象としての相手側ユーザが複数含まれている場合において、ユーザが移動した場合に、表示されている表示対象に対して検出された移動方向に応じた方向に存在する別の表示対象の領域を表示対象画像から切り出すようにすることで、表示対象が複数存在する場合に画像形成部２７に表示する表示対象を容易に切り替えることが可能となる。

なお、上記実施形態における記述内容は、本発明に係るデジタルサイネージ装置の好適な一例であり、これに限定されるものではない。

例えば、上記実施形態においては、ユーザの撮影を行ったデジタルサイネージ装置１側で相手側のデジタルサイネージ装置１に表示させる画像の切り出しを行う場合を例にとり説明したが、ユーザの撮影画像をそのまま相手側のデジタルサイネージ装置１に送信し、相手側のデジタルサイネージ装置１で画像形成部２７に表示させる領域の切り出しを行うこととしてもよい。

また、上記実施形態においては、本発明をプロジェクタからスクリーンに画像を投影することで画像の表示を行うデジタルサイネージ装置に適用した場合を例にとり説明したが、例えば、液晶ディスプレイ、プラズマディスプレイ等、他の表示装置に適用しても同様の効果を奏することができ、この例に限定されない。

また、上記実施形態においては、デジタルサイネージ装置１をビデオ通話の相手側ユーザの表示装置として用い、画像形成部２７に表示対象として相手側ユーザを表示する場合を例にとり説明したが、表示対象はこれに限定されるものではない。

その他、表示システムを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
表示対象画像に含まれる表示対象の領域を切り出した画像を表示する表示手段を有する表示システムであって、
前記表示対象の領域を切り出した画像が表示された前記表示手段に対向しているユーザの少なくとも移動方向を検出する検出手段と、
前記検出手段による検出結果に応じて前記表示対象の領域に対してずらした領域を前記表示対象画像から切り出す切り出し手段と、
前記表示対象画像の前記切り出された領域を前記表示手段に表示させる表示制御手段と、
を備える表示システム。
＜請求項２＞
前記検出手段は、更に前記ユーザの移動量を検出し、
前記切り出し手段は、前記検出手段により検出された移動方向及び移動量に応じて前記表示対象の領域に対してずらした領域を前記表示対象画像から切り出す請求項１に記載の表示システム。
＜請求項３＞
前記切り出し手段により切り出す領域が前記表示対象画像の画像領域を超える場合に、警告を出力する警告手段を備える請求項２に記載の表示システム。
＜請求項４＞
前記表示手段は所定の表示対象の形状に生成されており、
前記表示制御手段は、前記切り出された表示対象画像に含まれる表示対象の領域を当該表示手段の形状に対応させて表示させる請求項１または２に記載の表示システム。
＜請求項５＞
前記切り出し手段は、前記表示対象画像に前記表示対象が複数含まれている場合に、前記表示手段に表示されている表示対象に対して前記検出手段により検出された移動方向に応じた方向に存在する別の表示対象の領域を前記表示対象画像から切り出す請求項４に記載の表示システム。
＜請求項６＞
前記表示システムは、それぞれ前記表示手段を備える第１の表示装置と第２の表示装置とが通信接続されたシステムであり、
前記第１の表示装置は、
前記検出手段を備え、当該検出手段により自装置の前記表示手段に対向している第１のユーザの少なくとも移動方向を検出して検出結果を前記第２の表示装置に送信し、
前記第２の表示装置は、
自装置の前記表示手段に対向している第２のユーザを撮影する第２の撮影手段と、
前記切り出し手段と、を備え、
前記切り出し手段により前記第２の撮影手段により得られた前記第２のユーザの撮影画像を前記表示対象画像とし、前記第２のユーザを前記表示対象として、前記第２のユーザの撮影画像から前記検出手段による検出結果に応じて前記第２のユーザの領域に対してずらした領域を切り出して前記第１の表示装置に送信し、
前記第１の表示装置の表示制御手段は、前記第２の表示装置から送信された、前記検出手段の検出結果に応じて前記撮影画像における前記第２のユーザの領域に対してずらした領域の画像を前記表示手段に表示させる請求項１〜５の何れか一項に記載の表示システム。
＜請求項７＞
前記第２の表示装置は、前記検出手段を有し、
前記切り出し手段は、第１の表示装置から前記検出結果が受信されず、自装置の前記検出手段から前記第２のユーザの少なくとも移動方向が検出された場合、前記第２のユーザの撮影画像を縮小し、前記縮小した撮影画像における前記第２のユーザの領域が切り出し領域における前記第２のユーザの移動方向の端部に位置するように切り出し領域を決定し、前記決定した領域を切り出して前記第１の表示装置に送信し、
前記第１の表示装置の表示制御手段は、前記第２の表示装置から送信された前記第２のユーザを端部に含む領域の画像を前記表示手段に表示させる請求項６に記載の表示システム。
＜請求項８＞
表示対象画像に含まれる表示対象の領域を切り出した画像を表示する表示手段を有する表示装置であって、
前記表示対象の領域の画像が表示された前記表示手段に対向しているユーザの少なくとも移動方向を検出する検出手段と、
前記検出手段による検出結果に応じて前記表示対象画像から前記表示対象の領域に対してずらした領域を切り出した画像を取得する取得手段と、
前記取得した画像を前記表示手段に表示させる表示制御手段と、
を備える表示装置。
＜請求項９＞
表示対象画像に含まれる表示対象の領域を切り出した画像を表示する表示手段を有する表示方法であって、
前記表示対象の領域が表示された前記表示手段に対向しているユーザの少なくとも移動方向を検出する工程と、
前記検出の結果に応じて前記表示対象の領域に対してずらした領域を前記表示対象画像から切り出す工程と、
前記表示対象画像の前記切り出された領域の画像を前記表示手段に表示する工程と、
を含む表示方法。
＜請求項１０＞
表示対象画像に含まれる表示対象の領域の画像を表示する表示手段を有する表示装置に用いられるコンピュータを、
前記表示対象の領域の画像が表示された前記表示手段に対向しているユーザの少なくとも移動方向を検出する検出手段、
前記検出手段による検出結果に応じて前記表示対象画像から前記表示対象の領域に対してずらした領域を切り出した画像を取得する取得手段、
前記取得した画像を前記表示手段に表示させる表示制御手段、
として機能させるためのプログラム。

１ デジタルサイネージ装置
２１ 投影部
２２ スクリーン部
２３ 制御部
２４ プロジェクタ
２５ 記憶部
２５１ プログラム記憶部
２５２ 電話帳記憶部
２６ 通信部
２７ 画像形成部
２８ 台座
２９ 透光板
３０ 撮像部
３１ 音声入力部
３２ 操作部
３３ 音声出力部

Claims (10)

1. 表示対象画像に含まれる表示対象の領域を切り出した画像を表示する表示手段を有する表示システムであって、
   前記表示対象の領域を切り出した画像が表示された前記表示手段に対向しているユーザの少なくとも移動方向を検出する検出手段と、
   前記検出手段による検出結果に応じて前記表示対象の領域に対してずらした領域を前記表示対象画像から切り出す切り出し手段と、
   前記表示対象画像の前記切り出された領域を前記表示手段に表示させる表示制御手段と、
   を備える表示システム。
2. 前記検出手段は、更に前記ユーザの移動量を検出し、
   前記切り出し手段は、前記検出手段により検出された移動方向及び移動量に応じて前記表示対象の領域に対してずらした領域を前記表示対象画像から切り出す請求項１に記載の表示システム。
3. 前記切り出し手段により切り出す領域が前記表示対象画像の画像領域を超える場合に、警告を出力する警告手段を備える請求項２に記載の表示システム。
4. 前記表示手段は所定の表示対象の形状に生成されており、
   前記表示制御手段は、前記切り出された表示対象画像に含まれる表示対象の領域を当該表示手段の形状に対応させて表示させる請求項１または２に記載の表示システム。
5. 前記切り出し手段は、前記表示対象画像に前記表示対象が複数含まれている場合に、前記表示手段に表示されている表示対象に対して前記検出手段により検出された移動方向に応じた方向に存在する別の表示対象の領域を前記表示対象画像から切り出す請求項４に記載の表示システム。
6. 前記表示システムは、それぞれ前記表示手段を備える第１の表示装置と第２の表示装置とが通信接続されたシステムであり、
   前記第１の表示装置は、
   前記検出手段を備え、当該検出手段により自装置の前記表示手段に対向している第１のユーザの少なくとも移動方向を検出して検出結果を前記第２の表示装置に送信し、
   前記第２の表示装置は、
   自装置の前記表示手段に対向している第２のユーザを撮影する第２の撮影手段と、
   前記切り出し手段と、を備え、
   前記切り出し手段により前記第２の撮影手段により得られた前記第２のユーザの撮影画像を前記表示対象画像とし、前記第２のユーザを前記表示対象として、前記第２のユーザの撮影画像から前記検出手段による検出結果に応じて前記第２のユーザの領域に対してずらした領域を切り出して前記第１の表示装置に送信し、
   前記第１の表示装置の表示制御手段は、前記第２の表示装置から送信された、前記検出手段の検出結果に応じて前記撮影画像における前記第２のユーザの領域に対してずらした領域の画像を前記表示手段に表示させる請求項１〜５の何れか一項に記載の表示システム。
7. 前記第２の表示装置は、前記検出手段を有し、
   前記切り出し手段は、第１の表示装置から前記検出結果が受信されず、自装置の前記検出手段から前記第２のユーザの少なくとも移動方向が検出された場合、前記第２のユーザの撮影画像を縮小し、前記縮小した撮影画像における前記第２のユーザの領域が切り出し領域における前記第２のユーザの移動方向の端部に位置するように切り出し領域を決定し、前記決定した領域を切り出して前記第１の表示装置に送信し、
   前記第１の表示装置の表示制御手段は、前記第２の表示装置から送信された前記第２のユーザを端部に含む領域の画像を前記表示手段に表示させる請求項６に記載の表示システム。
8. 表示対象画像に含まれる表示対象の領域を切り出した画像を表示する表示手段を有する表示装置であって、
   前記表示対象の領域の画像が表示された前記表示手段に対向しているユーザの少なくとも移動方向を検出する検出手段と、
   前記検出手段による検出結果に応じて前記表示対象画像から前記表示対象の領域に対してずらした領域を切り出した画像を取得する取得手段と、
   前記取得した画像を前記表示手段に表示させる表示制御手段と、
   を備える表示装置。
9. 表示対象画像に含まれる表示対象の領域を切り出した画像を表示する表示手段を有する表示方法であって、
   前記表示対象の領域が表示された前記表示手段に対向しているユーザの少なくとも移動方向を検出する工程と、
   前記検出の結果に応じて前記表示対象の領域に対してずらした領域を前記表示対象画像から切り出す工程と、
   前記表示対象画像の前記切り出された領域の画像を前記表示手段に表示する工程と、
   を含む表示方法。
10. 表示対象画像に含まれる表示対象の領域の画像を表示する表示手段を有する表示装置に用いられるコンピュータを、
    前記表示対象の領域の画像が表示された前記表示手段に対向しているユーザの少なくとも移動方向を検出する検出手段、
    前記検出手段による検出結果に応じて前記表示対象画像から前記表示対象の領域に対してずらした領域を切り出した画像を取得する取得手段、
    前記取得した画像を前記表示手段に表示させる表示制御手段、
    として機能させるためのプログラム。

Images