JP2015159460A - 投影システム、投影装置、撮影装置、ガイド枠生成方法及びプログラム - Google Patents

Abstract

【課題】表示手段の形状に合った表示対象の画像を容易に撮影できるようにする。
【解決手段】デジタルサイネージ装置２において、制御部２３は、画像形成部２７に画像データに基づく投影を行った場合に画像形成部２７に投影される画像データ領域の形状及び位置を認識する。そして、認識された画像データ領域の形状及び位置に基づいて、撮影装置１において画像形成部２７に投影するための画像データを撮影する際に表示されるライブビュー画面における画像形成部２７に投影される画像データ領域に対応する領域の形状及び位置を特定するためのガイド枠情報を生成し、通信部３６により撮影装置１に送信する。撮影装置１において、制御部１１は、ガイド枠情報を受信すると、受信したガイド枠情報に基づいて撮影装置１のライブビュー画面にガイド枠を表示させる。
【選択図】図７

Description

本発明は、投影システム、投影装置、撮影装置、ガイド枠生成方法及びプログラムに関する。

従来、映像供給装置に接続される映像出力装置と、反射部材と、スクリーンとを有し、映像出力装置からコンテンツを投影する出力光を反射部材によって反射し、この反射部材によって反射された出力光を当該コンテンツの輪郭の形状に形成されたスクリーンに投影することにより、閲覧者に対して印象を高めた表示を行うことができる映像出力装置搭載機器が知られている（例えば、特許文献１参照）。

特開２０１１−１５０２２１号公報

しかしながら、特許文献１に記載の映像出力装置搭載機器等では、コンテンツ表示用に表示対象の人物等の画像（静止画像やできるだけ動かないで撮影した動画像）を撮影し、それに合わせて表示手段としてのスクリーンを作成しており、スクリーンに別の表示対象の画像を投影したい場合は、投影前にスクリーンの形状に合うように表示対象の画像の位置やサイズを調整する作業が必要となり、煩雑であった。

本発明の課題は、表示手段の形状に合った表示対象の画像を容易に撮影できるようにすることである。

上記課題を解決するため、請求項１に記載の発明は、
所定の形状の表示手段に投影するための画像データを撮影により取得する撮影装置と、前記撮影装置により撮影された画像データに基づいて前記表示手段に画像を投影する投影装置と、を備える投影システムであって、
前記投影装置により前記表示手段に画像データに基づく投影を行った場合に前記表示手段に投影される画像データ領域の形状及び位置を認識する認識手段と、
前記認識された画像データ領域の形状及び位置に基づいて、前記撮影装置において前記表示手段に投影するための画像データを撮影する際に表示されるライブビュー画面における前記表示手段に投影される画像データ領域に対応する領域の形状及び位置を特定するためのガイド枠情報を生成する生成手段と、
前記生成されたガイド枠情報に基づいて前記撮影装置のライブビュー画面にガイド枠を表示する表示制御手段と、
を備える。

請求項８に記載の発明は、
表示対象物を撮影する撮影手段と、
前記撮影手段に撮影された表示対象物の形状を認識する認識手段と、
前記認識された表示対象物の形状に基づいて、ライブビュー画面における前記表示対象物に表示される画像データ領域に対応する領域の形状を特定するためのガイド枠情報を生成する生成手段と、
前記生成されたガイド枠情報に基づいて前記撮影装置のライブビュー画面にガイド枠を表示する表示制御手段と、
を備える。

本発明によれば、表示手段の形状に合った表示対象の画像を容易に撮影することが可能となる。

本実施形態における投影システムの全体構成を示す図である。 図１の撮影装置の機能的構成を示すブロック図である。 図１のデジタルサイネージ装置の機能的構成を示すブロック図である。 図３のスクリーン部の概略構成を示す図である。 図３の制御部により実行されるガイド枠情報生成処理を示すフローチャートである。 図２の制御部により実行されるコンテンツ撮影処理を示すフローチャートである。 図１の撮影装置のライブビュー画面に表示されるガイド枠の一例を示す図である。 図３の制御部により実行されるコンテンツ再生処理を示すフローチャートである。

以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

［投影システム１００の構成］
図１は、本実施形態における投影システム１００の全体構成を示す図である。投影システム１００において、撮影装置１とデジタルサイネージ装置２は通信接続可能である。撮影装置１は、デジタルサイネージ装置２の画像形成部２７（図４参照）に投影する人物画像の画像データを撮影により取得する装置である。デジタルサイネージ装置２は、撮影装置１において撮影により取得された画像データに基づいて画像形成部２７に画像を投影する投影装置である。

［撮影装置１の構成］
図２は、撮影装置１の主制御構成を示すブロック図である。
図２に示すように、撮影装置１は、制御部１１、操作部１２、表示部１３、撮像部１４、記憶部１５、通信部１６等を備えて構成されている。図２に示すように、操作部１２、表示部１３、撮像部１４、記憶部１５、通信部１６は、制御部１１に接続されている。

制御部１１は、記憶部１５に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵ（Central Processing Unit）とプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部１１は、記憶部１５のプログラム記憶部１５１に記憶されているプログラムとの協働により、表示制御手段として機能する。

操作部１２は、電源スイッチ、シャッターキー、各種機能キー、各種モードキー等を備えて構成され、その各キー操作に応じた操作信号を制御部１１に出力する。各種モードキーには、後述するコンテンツ撮影処理（図６参照）を実行するコンテンツ撮影モードへの移行を指示するコンテンツ撮影モードキーが含まれる。

表示部１３は、液晶表示パネルや有機ＥＬ表示パネル等の表示パネルにより構成され、制御部１１からの指示に従って、操作画面や撮影しようとする画像を表示するためのライブビュー画面等の各種画面を表示する。

撮像部１４は、光学レンズユニット、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ等からなる撮像素子、Ａ／Ｄ変換回路等を備えて構成され、光学系を通過した光学像を２次元の画像信号に変換し画像データを取得する。

記憶部１５は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部１５には、図２に示すように、プログラム記憶部１５１、画像データ記憶部１５２が設けられている。
プログラム記憶部１５１には、制御部１１によって実行される各種プログラム及びこれらプログラムの実行に必要なデータ等が記憶されている。
画像データ記憶部１５２には、後述するコンテンツ撮影処理において撮影されたガイド枠内に対応する画像データ、当該画像データの撮影時に使用されたガイド枠の情報（ガイド枠情報）、撮影された画像データの縦横比が対応付けて記憶されている。ここで、ガイド枠は、画像形成部２７に投影するための画像データを撮影する際にライブビュー画面に表示される枠であり、ライブビュー画面における画像形成部２７に投影される画像データ領域に対応する位置及び形状を示す枠である。即ち、ガイド枠は撮影時に被写体を収める範囲をガイドする枠であり、ガイド枠内に画像形成部２７への表示対象（投影対象）の被写体を収めて撮影を行うことで、画像形成部２７に被写体がぴったり収まった画像データを得ることができる。ガイド枠情報は、ライブビュー画面にガイド枠を表示するための情報であり、具体的には、撮影により取得される画像データ領域のうち、画像形成部２７に投影される画像データ領域の形状や位置を特定するための情報である。

通信部１６は、デジタルサイネージ装置２と通信接続し、データ送受信を行う。本実施形態においては、通信部１６はＮＦＣ（Near Field Communication）によりデジタルサイネージ装置２とデータ送受信を行うものとして説明するが、デジタルサイネージ装置２との接続は、例えば、無線ＬＡＮ（Local Area Network）、Ｗｉ-Ｆｉ、Bluetooth（登録商標）等による無線接続であってもよいし、例えば、ＵＳＢ（Universal Serial Bus）ケーブル等を用いた有線接続であってもよく、その通信方式は特に限定されない。

［デジタルサイネージ装置２の構成］
図３は、デジタルサイネージ装置２の主制御構成を示すブロック図である。デジタルサイネージ装置２は、コンテンツを再生する装置である。例えば、店舗や展示会会場などに設置され、商品の説明、案内、アンケート等のコンテンツを再生するものであってもよいし、介護施設等に設置され、脳活性化のための問題を出題するコンテンツを再生するものであってもよく、その用途は特に限定されない。なお、本実施形態において、コンテンツは、人物が何等かの説明や案内を行うものとするが、これに限定されるものではない。

図３に示すように、デジタルサイネージ装置２は、コンテンツの映像光を照射する投影部２１と、投影部２１から照射された映像光を背面で受けて前面に投影するスクリーン部２２とを備えている。

まず、投影部２１について説明する。
投影部２１は、制御部２３と、プロジェクタ２４と、記憶部２５と、撮像部２６と、を備えている。プロジェクタ２４、記憶部２５及び撮像部２６は、図３に示すように制御部２３に接続されている。

制御部２３は、記憶部２５に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵとプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部２３は、記憶部２５のプログラム記憶部２５１に記憶されているプログラムとの協働により、認識手段、生成手段、制御手段として機能する。また、制御部２３は、プロジェクタ２４及び画像形成部２７と協働して警告手段として機能する。

プロジェクタ２４は、画像形成部２７の背面側に設けられ、制御部２３から出力された画像データを映像光に変換してスクリーン部２２の画像形成部２７（図３参照）の背面から照射する投影装置である。プロジェクタ２４は、例えば、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。本実施形態のように、画像形成部２７への表示対象が画像中の人物である場合には、人物領域に対応する位置の微小ミラーをオンし、その他の領域をオフすることで、人物のみを投影（表示）することが可能となる。

記憶部２５は、ＨＤＤや不揮発性の半導体メモリ等により構成される。記憶部２５には、図３に示すように、プログラム記憶部２５１、画像データ記憶部２５２、音声データ記憶部２５３、ガイド枠情報記憶部２５４、認識用画像記憶部２５５等が設けられている。

プログラム記憶部２５１には、制御部２３で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
画像データ記憶部２５２には、コンテンツ再生時に表示対象（投影対象）となる人物の画像データ、当該画像データの撮影時に使用されたガイド枠情報及び画像データの縦横比が対応付けて記憶されている。
音声データ記憶部２５３には、コンテンツの音声出力用のテキストデータが記憶されている。
ガイド枠情報記憶部２５４には、後述するガイド枠情報生成処理で生成されたガイド枠情報が記憶されている。

認識用画像記憶部２５５には、後述するガイド枠情報生成処理において、画像形成部２７に投影される画像データ領域の形状及び位置を認識する際に使用される認識用画像を記憶する。認識用画像は、位置に応じて異なる色が割り当てられた画像である。具体的には、一般的なカメラにより取得される画像データと同様の縦横比１６：９の画像データであって、当該画像データの各位置を例えば左下を原点としたｘｙ座標で表した場合に、ｘ座標の０からｘ方向の最大画像端に向かって、例えばＲ（赤）を０〜最大画素値（例えば、２５５）で段階的に変化させて割り当て、ｙ座標の０から最大画像端に向かって、例えばＧ（緑）を０〜最大画素値（例えば、２５５）で段階的に変化させて割り当てたグラデーション画像である。この認識用画像は、画像データの位置によって色の値の組み合わせが異なるので、色の値によって画像データにおける位置を特定することが可能である。なお、ｘ方向、ｙ方向に割り当てられる色は、ｘ方向とｙ方向とで異なる色であればＲ、Ｇ、Ｂの何れを用いることとしてもよい。

撮影手段としての撮像部２６は、プロジェクタ２４の近傍であって、画像形成部２７の外形が撮影範囲内に収まる位置に設けられ、プロジェクタ２４により認識用画像が投影された画像形成部２７を背面から撮影する。撮像部２６は、図示は省略するが、光学系及び撮像素子を備えるカメラと、カメラを制御する撮像制御部とを備えている。カメラの光学系は、プロジェクタ２４の光の照射方向と同じ方向に、画像形成部２７を背面から撮影可能な方向に向けられている。また、その撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサである。そして、撮像素子は、光学系を通過した光学像を２次元の画像信号に変換する。

次に、スクリーン部２２について説明する。
図４は、スクリーン部２２の概略構成を示す正面図である。図４に示すように、スクリーン部２２には、画像形成部２７と、画像形成部２７を支持する台座２８とが備えられている。台座２８の上部には、画像形成部２７を嵌め込むための溝部（図示せず）が設けられており、様々な形状の画像形成部２７が交換可能となっている。

画像形成部２７は、映像光の照射方向に対して略直交するように配置された、例えばアクリル板などの人型に成形された一枚の透光板２９に、フィルム状のフレネルレンズが積層された背面投影用のフィルムスクリーンが貼付されて構成されたスクリーンであり、コンテンツの表示対象物である。画像形成部２７に貼付されたフィルムスクリーンは高輝度、高コントラストを有するものであり、日中の明るさであっても、また、明るい居室内であっても、画像形成部２７に投影された像を視認することができる。画像形成部２７は、表示手段として機能する。
画像形成部２７には、人感センサ３４が設けられている。人感センサ３４は、赤外線、超音波等により画像形成部２７の周囲の所定範囲における人の存在を検出して制御部２３に検知信号を出力する。

台座２８には、ボタン式の操作部３２、音声を出力するスピーカなどの音声出力部３３、質量センサ３５、通信部３６等が設けられている。

質量センサ３５は、例えば、アナログ式の天秤ばかりや電子天秤等により構成され、台座２８の溝部に設置された画像形成部２７の質量を測定して制御部２３に出力する。
通信部３６は、撮影装置１と通信接続し、データ送受信を行う。本実施形態においては、通信部３６はＮＦＣにより撮影装置１とデータ送受信を行うものとして説明するが、撮影装置１との接続は、例えば、無線ＬＡＮ、Ｗｉ-Ｆｉ、Bluetooth（登録商標）、等による無線接続であってもよいし、例えば、ＵＳＢケーブル等を用いた有線接続であってもよく、その通信方式は特に限定されない。本実施形態において、通信部３６は、通信部１６との距離が所定範囲内になったことを検出すると撮影装置１と通信を行う。
操作部３２、音声出力部３３、人感センサ３４、質量センサ３５、通信部３６は、図３に示すように制御部２３に接続されている。

［投影システム１００の動作］
次に、本実施形態における投影システム１００の動作について説明する。
まず、デジタルサイネージ装置２において、コンテンツ再生時に画像形成部２７への表示対象となる人物を撮影する際に撮影装置１のライブビュー画面に表示されるガイド枠を特定するためのガイド枠情報を生成する動作について説明する。

図５に、デジタルサイネージ装置２において実行されるガイド枠情報生成処理のフローチャートを示す。ガイド枠情報生成処理は、デジタルサイネージ装置２に電源が投入されている間、制御部２３とプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。

まず、制御部２３は、質量センサ３５から出力される測定値の変化に基づいて画像形成部２７が設置（又は変更）されたか否かを判断する（ステップＳ１）。
画像形成部２７が設置（又は変更）されたと判断した場合（ステップＳ１；ＹＥＳ）、制御部２３は、人感センサ３４が反応しているか否かを判断する（ステップＳ２）。即ち、人感センサ３４から検知信号が出力されているか否かを判断する。ここで、画像形成部２７から所定範囲内に人が存在する場合、プロジェクタ２４から画像形成部２７に向かって光を照射すると危険であるため、人感センサ３４が反応していないときに次のステップの動作に移行するようにしている。

人感センサ３４が反応していると判断した場合（ステップＳ２；ＹＥＳ）、制御部２３は、人感センサ３４が反応しなくなるまで待機する。人感センサ３４が反応していないと判断した場合（ステップＳ２；ＮＯ）、制御部２３は、認識用画像記憶部２５５から認識用画像の画像データを読み出してプロジェクタ２４に送信し、プロジェクタ２４により認識用画像の画像データに基づいて投影を行わせる（ステップＳ３）。ここで、プロジェクタ２４により認識用画像の画像データに基づく投影を行うと、画像形成部２７の領域に認識用画像のグラデーション画像が投影（表示）される。

次いで、制御部２３は、撮像部２６により撮影を行わせ、認識用画像が投影された画像形成部２７を撮影した画像データを取得し（ステップＳ４）、認識用画像の投影を終了する。画像形成部２７の表面は上述のように明るく高輝度であり、周囲と比べてはっきり認識用画像の投影像を得ることができる。即ち、ステップＳ４において撮像部２６により撮影を行うと、画像形成部２７の領域の形状にグラデーション画像が写った画像を取得することができる。なお、ここでは、撮像部２６は、認識用画像と同じ１６：９の縦横比の画像データを取得するものとする。

次いで、制御部２３は、撮像部２６により取得された画像データに基づいて、プロジェクタ２４により投影に用いられる画像データのうち、画像形成部２７に投影される画像データ領域の形状及び位置を認識する（ステップＳ５）。
上述のように、撮像部２６により取得された画像データにおいては、プロジェクタ２４により投影された認識用画像のうち、画像形成部２７の領域の形状にグラデーション画像が写った画像が得られる。即ち、撮像部２６により取得された画像データに基づいて画像形成部２７の形状を認識することができる。また、この取得された画像データに写ったグラデーション画像の色は、投影された認識用画像の画像データのうち画像形成部２７に投影された画像データ領域の位置を示しており、取得された画像データの色情報から、画像形成部２７に投影される（画像形成部２７に対応する）画像データ領域の形状及び位置を特定することができる。
なお、縦横比が１６：９ではない画像データにおける画像形成部２７に投影される画像データ領域の形状及び位置については、ステップＳ５で認識された画像データ領域を含む１６：９の画像データの横方向をその縦横比に応じて拡大又は縮小（拡大／縮小）する等により認識することができる。例えば、４：３の画像データの場合、ステップＳ５で認識された画像データ領域を含む１６：９の画像データの横方向を縮小することにより認識することができる。

次いで、制御部２３は、認識された画像形成部２７の形状及び位置に基づいて、撮影装置１において画像形成部２７に投影するための画像データの撮影時に表示されるライブビュー画面に画像形成部２７に投影される画像データ領域の形状及び位置を示すガイド枠を表示するためのガイド枠情報を生成し、ガイド枠情報記憶部２５４に記憶（更新）する（ステップＳ６）。本実施形態では、コンテンツ表示用の画像データが一般的なカメラの縦横比である１６：９の縦横比である場合のガイド枠情報を生成するものとする。

次いで、制御部２３は、通信部３６により撮影装置１と通信接続されているか否かを判断する（ステップＳ７）。撮影装置１と通信接続されていないと判断した場合（ステップＳ７；ＮＯ）、制御部２３は、ステップＳ１に戻る。撮影装置１と通信接続されていると判断した場合（ステップＳ７；ＹＥＳ）、制御部２３は、ガイド枠情報記憶部２５４に記憶されているガイド枠情報を通信部３６により撮影装置１に送信し（ステップＳ８）、ステップＳ１に戻る。

デジタルサイネージ装置２の電源がＯＮで或る間、制御部２３は、ステップＳ１〜ステップＳ８の処理を繰り返し実行する。

次に、撮影装置１においてコンテンツ再生時に表示対象となる人物の画像データを撮影する動作について説明する。
図６に、撮影装置１において実行されるコンテンツ撮影処理のフローチャートを示す。コンテンツ撮影処理は、デジタルサイネージ装置２におけるコンテンツ再生時に表示対象となる人物の画像データを撮影するための処理であり、操作部１２のコンテンツ撮影モードキーが押下された際に、制御部１１とプログラム記憶部１５１に記憶されているプログラムとの協働により実行される。

制御部１１は、まず、通信部１６によりデジタルサイネージ装置２と通信接続されているか否かを判断する（ステップＳ１１）。
デジタルサイネージ装置２と通信接続されていると判断した場合（ステップＳ１１；ＹＥＳ）、制御部１１は、通信部１６を介してデジタルサイネージ装置２からガイド枠情報を取得（受信）する（ステップＳ１２）。

次いで、制御部１１は、自装置の撮像部１４により得られる画像データの縦横比が１６：９であるか否かを判断する（ステップＳ１３）。自装置の撮像部１４により得られる画像データの縦横比が１６：９であると判断した場合（ステップＳ１３；ＹＥＳ）、制御部１１は、ステップＳ１５の処理に移行する。自装置の撮像部１４により得られる画像データの縦横比が１６：９ではないと判断した場合（ステップＳ１３；ＮＯ）、制御部１１は、撮像部１４により得られる画像データの縦横比に基づいて、ガイド枠情報に基づいて生成されるガイド枠を拡大／縮小し（ステップＳ１４）、ステップＳ１５の処理に移行する。例えば、撮像部１４により得られる画像データの縦横比が４：３である場合、ガイド枠の横幅を縮小する。

ステップＳ１５において、制御部１１は、撮像部１４により画像の取り込みを開始させ、撮影しようとする画像の確認用に表示部１３にライブビュー画面を表示させるとともに、ガイド枠情報に基づいてライブビュー画面上にガイド枠を表示する（ステップＳ１５）。ステップＳ１４においてガイド枠情報に基づくガイド枠が拡大／縮小された場合は、その拡大／縮小されたガイド枠をライブビュー画面に表示する。

図７に、ライブビュー画面上に表示されたガイド枠（図７においてＧで示す）の一例を示す。ユーザは、ライブビュー画面においてガイド枠内に画像形成部２７への表示対象となる人物がぴったり収まるように調整して撮影を行うことで、デジタルサイネージ装置２において投影を行った場合に、表示対象の人物の画像を画像形成部２７の形状にぴったり合うように投影することが可能となる。

次いで、制御部１１は、撮像部１４により取り込まれた画像データに顔認識処理を行い、ガイド枠に対応する画像データ領域内から顔画像が認識されたか否かを判断する（ステップＳ１６）。顔認識処理は、目、鼻、口等の特徴に基づく公知の画像処理技術を用いて行うことができる。

ガイド枠に対応する画像データ領域内から顔画像が認識されたと判断した場合（ステップＳ１６；ＹＥＳ）、制御部１１は、シャッターキーが押下されたか否かを判断する（ステップＳ１７）。シャッターキーが押下されていないと判断した場合（ステップＳ１７；ＮＯ）、制御部１１は、ステップＳ１６の処理に戻る。

シャッターキーが押下されたと判断した場合（ステップＳ１６；ＹＥＳ）、制御部１１は、シャッターキーの押下に応じて撮像部１４により取得された画像データのうちガイド枠内に対応する画像データ、当該画像データの撮影時に使用したガイド枠情報（ステップＳ１２で取得したガイド枠情報）、及び撮像部１４により取得された画像データの縦横比を対応付けて画像データ記憶部１５２に記憶する（ステップＳ１７）。なお、ステップＳ１７においては、シャッターキーの押下に応じて撮像部１４により取得された画像データのうち、ガイド枠内に対応する画像データ領域外を全て黒に変換した画像データをガイド枠内に対応する画像データとして記憶することとしてもよいし、ガイド枠内に対応する画像データ領域を切り出して、切り出した画像データ及び切り出した画像データ領域の位置情報を記憶することとしてもよい。本実施形態においては、ガイド枠内に対応する画像データ領域外を全て黒に変換した画像データをガイド枠内に対応する画像データとして記憶することとする。

次いで、制御部１１は、画像データ記憶部１５２に記憶したガイド枠内に対応する画像データ、当該画像データの撮影時に使用したガイド枠情報、及び撮像部１４により取得された画像データの縦横比を通信部１６によりデジタルサイネージ装置２に送信し（ステップＳ１９）、コンテンツ撮影処理を終了する。

デジタルサイネージ装置２においては、通信部３６により撮影装置１から画像データを受信すると、受信した画像データ、ガイド枠情報及び縦横比を対応付けて画像データ記憶部２５２に記憶する。なお、本実施形態においては、新たに画像データを受信する度に画像データ記憶部２５２に記憶されている画像データは更新されるものとする。

次に、デジタルサイネージ装置２において、コンテンツを再生する動作について説明する。
図８に、デジタルサイネージ装置２において実行されるコンテンツ再生処理のフローチャートを示す。コンテンツ再生処理は、例えば、人感センサ３４により画像形成部２７から所定範囲内に人が検出された場合、又は、所定時刻が到来した場合に、制御部２３とプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。

まず、制御部２３は、画像データ記憶部２５２に記憶されている（即ち、撮影装置１から送信された）画像データ、ガイド枠情報及び縦横比を読み出す（ステップＳ２１）。

次いで、制御部２３は、読み出した画像データの撮影時の縦横比が１６：９であるか否かを判断する（ステップＳ２２）。読み出した画像データの撮影時の縦横比が１６：９であると判断した場合（ステップＳ２２；ＹＥＳ）、制御部２３は、ステップＳ２４の処理に移行する。読み出した画像データの撮影時の縦横比が１６：９ではないと判断した場合（ステップＳ２２；ＮＯ）、制御部２３は、読み出した画像データの撮影時の縦横比に基づいて、読み出した画像データを拡大／縮小し（ステップＳ２３）、ステップＳ２４の処理に移行する。本実施形態においては、プロジェクタ２４は、縦横比１６：９の画像データに基づいて投影を行うため、投影に用いる画像データが１６：９でない場合、その縦横比に基づいて画像データの横幅を拡大／縮小する。例えば、４：３の画像データである場合、画像データの横幅を拡大する。

ステップＳ２４において、制御部２３は、現在設置されている画像形成部２７に投影される画像データ領域の形状及び位置を認識する（ステップＳ２４）。具体的に、制御部２３は、図５のステップＳ３〜ステップＳ５の処理を行う。

次いで、制御部２３は、ステップＳ２４において認識された画像データ領域の形状及び位置と、画像データ記憶部２５２から読み出したガイド枠情報（即ち、撮影装置１から画像データとともに送信された、当該画像データの撮影時に使用されたガイド枠情報）に基づいて特定される画像データ領域の形状及び位置とが一致するか否かを判断する（ステップＳ２５）。ステップＳ２５においては、コンテンツ再生用の画像データが現在設置されている画像形成部２７に対応しているか否かを判断している。

ステップＳ２５において一致すると判断した場合（ステップＳ２５；ＹＥＳ）、制御部２３は、読み出した画像データ（又は読み出した画像データを拡大／縮小した画像データ）に基づいてプロジェクタ２４により画像の投影を行わせるとともに、音声データ記憶部２５３に記憶されている音声のテキストデータに基づいて、音声出力部３３にコンテンツの音声出力を行わせ（ステップＳ２６）、コンテンツ再生処理を終了する。

一方、ステップＳ２５において一致していないと判断した場合（ステップＳ２５；ＮＯ）、制御部２３は、画像データが画像形成部２７に対応していないことを示す警告情報（例えば、「この画像はパネルに合っていません」等のメッセージ）をプロジェクタ２４により画像形成部２７に投影させ（ステップＳ２７）、コンテンツ再生処理を終了する。

以上説明したように、投影システム１００によれば、デジタルサイネージ装置２において、制御部２３は、画像形成部２７に画像データに基づく投影を行った場合に画像形成部２７に投影される画像データ領域の形状及び位置を認識する。そして、認識された画像データ領域の形状及び位置に基づいて、撮影装置１において画像形成部２７に投影するための画像データを撮影する際に表示されるライブビュー画面における画像形成部２７に投影される画像データ領域に対応する領域の形状及び位置を特定するためのガイド枠情報を生成し、通信部３６により撮影装置１に送信する。撮影装置１において、制御部１１は、ガイド枠情報を受信すると、受信したガイド枠情報に基づいて撮影装置１のライブビュー画面にガイド枠を表示させる。

従って、ユーザは、ライブビュー画面においてガイド枠内に画像形成部２７への表示対象となる人物がぴったり収まるように調整して撮影を行うことで、デジタルサイネージ装置２において投影を行った場合に、表示対象の人物の画像を画像形成部２７の形状にぴったり合うように投影することが可能となる。即ち、画像形成部２７の形状に合った表示対象の画像を容易に撮影することが可能となる。

例えば、デジタルサイネージ装置２において、位置に応じて異なる色が割り当てられた認識用画像の画像データに基づいてプロジェクタ２４により投影を行い、認識用画像が投影された画像形成部２７を撮像部２６により撮影し、撮影により取得された画像データを解析することで、画像形成部２７に投影される画像データ領域の形状及び位置を認識することができる。

また、例えば、撮影装置１の制御部１１は、撮影により取得しようとする画像データにおけるガイド枠に対応する画像データ領域内において顔画像を認識する処理を行い、顔画像が認識された場合に、当該画像データを画像形成部２７に表示する画像データとして取得してデジタルサイネージ装置２に送信する。従って、表示対象としての人物が含まれていない画像が撮影されてしまうことを防止することができる。

また、デジタルサイネージ装置２の制御部２３は、現在設置されている画像形成部２７に投影される画像データ領域の形状及び位置を認識し、認識された画像データ領域の形状及び位置と、撮影装置１において画像データの撮影時に用いられたガイド枠情報に基づいて特定される画像データ領域の形状及び位置とが一致する場合に、撮影装置１から送信された画像データに基づく画像をプロジェクタ２４により画像形成部２７に投影する。従って、現在設置されている画像形成部２７に合った画像データを投影することが可能となる。

また、デジタルサイネージ装置２の制御部２３は、現在設置されている画像形成部２７に投影される画像データ領域の形状及び位置と、撮影装置１において画像データの撮影時に用いられたガイド枠情報に基づいて特定される画像データ領域の形状及び位置とが一致しない場合に、プロジェクタ２４により画像形成部２７に警告情報を投影させるので、現在設置されている画像形成部２７に合わない画像データが投影されてしまうことを防止することができる。

なお、上記実施形態における記述内容は、本発明に係る投影システムの好適な一例であり、これに限定されるものではない。

例えば、上記実施形態においては、認識用画像が投影された画像形成部２７の撮影をデジタルサイネージ装置２の撮像部２６により行い、デジタルサイネージ装置２の制御部２３により画像形成部２７に投影された画像データ領域の形状及び位置を認識してガイド枠情報を生成することとして説明したが、撮影装置１により撮影される画像データがプロジェクタ２４の扱う縦横比（ここでは１６：９の縦横比）と一致している場合、認識用画像が投影された画像形成部２７の撮影を撮影装置１の撮像部１４により行い、制御部１１により画像形成部２７に投影された画像データ領域の形状及び位置を認識してガイド枠情報を生成することとしてもよい。即ち、認識手段、生成手段を撮影装置１に備える構成としてもよい。
また、認識用画像が投影された画像形成部２７の撮影をデジタルサイネージ装置２の撮像部２６（又は撮影装置１の撮像部１４）により行い、制御部２３（又は制御部１１）により、撮像部２６（又は撮像部１４）から得られた画像データに基づいて画像形成部２７の少なくとも形状を認識し、認識した形状に基づいて撮影装置１のライブビュー画面における画像形成部２７に表示される画像データ領域に対応する領域の形状を特定するためのガイド枠情報を生成し、生成したガイド枠情報に基づいて撮影装置１のライブビュー画面にガイド枠を表示することとしてもよい。

また、上記実施形態においては、プロジェクタ２４による投影に用いられる画像データの縦横比に合ったガイド枠情報をデジタルサイネージ装置２で生成し、撮影装置１で自装置での撮影により得られる画像データの縦横比に応じてガイド枠情報により特定されるガイド枠を拡大／縮小することとして説明したが、デジタルサイネージ装置２において、一般的なカメラで撮影可能な複数の縦横比に対応するガイド枠情報を生成し、撮影装置１において自装置により得られる画像データの縦横比に応じたガイド枠情報をデジタルサイネージ装置２から取得することとしてもよい。

また、上記実施形態においては、撮影装置１から画像データ等が送信されると、画像データ記憶部２５２に記憶されている画像データ等を逐次更新していくこととして説明したが、撮影装置１から送信された画像データを画像データ記憶部２５２に蓄積記憶しておき、画像データ記憶部２５２に記憶されている画像データの中からユーザの操作により又はランダムに投影する画像データを選択することとしてもよい。

また、上記実施形態においては、現在設置されている画像形成部２７に投影される画像データ領域の形状及び位置と撮影装置１から送信されたガイド枠情報により特定される画像データ領域の形状及び位置とが一致しない場合に、プロジェクタ２４により画像形成部２７に警告情報を投影させることとしたが、警告手段としてはこれに限定されず、例えば、音声により警告を出力することとしてもよい。

また、撮影装置１は、デジタルカメラ等の撮影専用の装置であってもよいし、スマートフォン等のように、撮影機能を備えた装置としてもよい。

また、撮影装置１により撮影される画像データは、静止画であっても動画であってもよい。
また、上記実施形態においては、コンテンツの表示対象を人物として説明したが、これに限定されず、例えば、動物やキャラクタ等としてもよい。
また、上記実施形態においては、プロジェクタ２４により投影される画像データを１６：９として説明したが、一例であり、これに限定されるものではない。

その他、投影システムを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
所定の形状の表示手段に投影するための画像データを撮影により取得する撮影装置と、前記撮影装置により撮影された画像データに基づいて前記表示手段に画像を投影する投影装置と、を備える投影システムであって、
前記投影装置により前記表示手段に画像データに基づく投影を行った場合に前記表示手段に投影される画像データ領域の形状及び位置を認識する認識手段と、
前記認識された画像データ領域の形状及び位置に基づいて、前記撮影装置において前記表示手段に投影するための画像データを撮影する際に表示されるライブビュー画面における前記表示手段に投影される画像データ領域に対応する領域の形状及び位置を特定するためのガイド枠情報を生成する生成手段と、
前記生成されたガイド枠情報に基づいて前記撮影装置のライブビュー画面にガイド枠を表示する表示制御手段と、
を備える投影システム。
＜請求項２＞
前記認識手段は、位置に応じて異なる色が割り当てられた認識用画像の画像データを前記投影装置により前記表示手段に投影させる制御手段と、前記認識用画像が投影された前記表示手段を撮影する撮影手段を備え、前記撮影手段により取得された画像データに基づいて前記表示手段に投影される画像データ領域の形状及び位置を認識する請求項１に記載の投影システム。
＜請求項３＞
前記撮影装置は、撮影により取得しようとする画像データにおける前記ガイド枠に対応する画像データ領域内において顔画像を認識する処理を行い、顔画像が認識された場合に、当該画像データを前記表示手段に表示する画像データとして取得して前記投影装置に送信する請求項１又は２に記載の投影システム。
＜請求項４＞
前記表示手段として、複数の形状の表示手段を交換可能であり、
前記撮影装置は、前記ガイド枠を用いて撮影した画像データに前記ガイド枠情報を対応付けて前記投影装置に送信し、
前記投影装置は、前記認識手段を有し、現在設置されている表示手段に画像データに基づく投影を行った場合に前記表示手段に投影される画像データ領域の形状及び位置を認識し、認識された画像データ領域の形状及び位置と前記撮影装置から送信されたガイド枠情報に基づいて特定される画像データ領域の形状及び位置とが一致する場合に、前記撮影装置から送信された画像データに基づく画像を前記表示手段に投影する請求項１〜３の何れか一項に記載の投影システム。
＜請求項５＞
前記投影装置は、前記認識された画像データ領域の形状及び位置と前記撮影装置から送信されたガイド枠情報により特定される画像データ領域の形状及び位置とが一致しない場合に警告情報を出力する警告手段を備える請求項４に記載の投影システム。
＜請求項６＞
撮影装置により撮影された画像データに基づいて所定の形状の表示手段に画像を投影する投影装置であって、
前記表示手段に画像データに基づく投影を行った場合に前記表示手段に投影される画像データ領域の形状及び位置を認識する認識手段と、
前記認識された画像データ領域の形状及び位置に基づいて、前記撮影装置において前記表示手段に投影するための画像データを撮影する際に表示されるライブビュー画面における前記表示手段に投影される画像データ領域に対応する領域の形状及び位置を特定するためのガイド枠情報を生成する生成手段と、
前記生成されたガイド枠情報を前記撮影装置に送信する送信手段と、
を備える投影装置。
＜請求項７＞
所定の形状の表示手段に投影するための画像データを撮影により取得する撮影装置であって、
前記表示手段に画像データに基づく投影を行った場合に前記表示手段に投影される画像データ領域の形状及び位置を認識する認識手段と、
前記認識された画像データ領域の形状及び位置に基づいて、前記撮影装置において前記表示手段に投影するための画像データを撮影する際に表示されるライブビュー画面における前記表示手段に投影される画像データ領域に対応する領域の形状及び位置を特定するためのガイド枠情報を生成する生成手段と、
前記生成されたガイド枠情報に基づいて前記撮影装置のライブビュー画面にガイド枠を表示する表示制御手段と、
を備える撮影装置。
＜請求項８＞
表示対象物を撮影する撮影手段と、
前記撮影手段に撮影された表示対象物の形状を認識する認識手段と、
前記認識された表示対象物の形状に基づいて、ライブビュー画面における前記表示対象物に表示される画像データ領域に対応する領域の形状を特定するためのガイド枠情報を生成する生成手段と、
前記生成されたガイド枠情報に基づいて前記撮影装置のライブビュー画面にガイド枠を表示する表示制御手段と、
を備える撮影装置。
＜請求項９＞
投影装置により所定の形状の表示手段に画像データに基づく投影を行った場合に前記表示手段に投影される画像データ領域の形状及び位置を認識する工程と、
前記認識された画像データ領域の形状及び位置に基づいて、前記表示手段に投影するための画像データを撮影する際に表示されるライブビュー画面における前記表示手段に投影される画像データ領域に対応する領域の形状及び位置を特定するためのガイド枠情報を生成する工程と、
を含むガイド枠生成方法。
＜請求項１０＞
表示対象物を撮影する撮影工程と、
前記撮影工程に撮影された表示対象物の形状を認識する認識工程と、
前記認識された表示対象物の形状に基づいて、ライブビュー画面における前記表示対象物に表示される画像データ領域に対応する領域の形状を特定するためのガイド枠情報を生成する生成工程と、
前記生成されたガイド枠情報に基づいて前記撮影装置のライブビュー画面にガイド枠を表示する表示制御工程と、
を含むガイド枠生成方法。
＜請求項１１＞
コンピュータを、
投影装置により所定の形状の表示手段に画像データに基づく投影を行った場合に前記表示手段に投影される画像データ領域の形状及び位置を認識する認識手段、
前記認識された画像データ領域の形状及び位置に基づいて、前記表示手段に投影するための画像データを撮影する際に表示されるライブビュー画面における前記表示手段に投影される画像データ領域に対応する領域の形状及び位置を特定するためのガイド枠情報を生成する生成手段、
として機能させるためのプログラム。
＜請求項１２＞
コンピュータを、
表示対象物を撮影する撮影手段、
前記撮影手段に撮影された表示対象物の形状を認識する認識手段、
前記認識された表示対象物の形状に基づいて、前記撮影装置のライブビュー画面における前記表示対象物に表示される画像データ領域に対応する領域の形状を特定するためのガイド枠情報を生成する生成手段、
前記生成されたガイド枠情報に基づいて前記撮影装置のライブビュー画面にガイド枠を表示する表示制御手段、
として機能させるためのプログラム。

１００ 投影システム
１ 撮影装置
１１ 制御部
１２ 操作部
１３ 表示部
１４ 撮像部
１５ 記憶部
１５１ プログラム記憶部
１５２ 画像データ記憶部
１６ 通信部
２ デジタルサイネージ装置
２１ 投影部
２２ スクリーン部
２３ 制御部
２４ プロジェクタ
２５ 記憶部
２５１ プログラム記憶部
２５２ 画像データ記憶部
２５３ 音声データ記憶部
２５４ ガイド枠情報記憶部
２５５ 認識用画像記憶部
２６ 撮像部
２７ 画像形成部
２８ 台座
２９ 透光板
３２ 操作部
３３ 音声出力部
３４ 人感センサ
３５ 質量センサ
３６ 通信部

Claims (12)

1. 所定の形状の表示手段に投影するための画像データを撮影により取得する撮影装置と、前記撮影装置により撮影された画像データに基づいて前記表示手段に画像を投影する投影装置と、を備える投影システムであって、
   前記投影装置により前記表示手段に画像データに基づく投影を行った場合に前記表示手段に投影される画像データ領域の形状及び位置を認識する認識手段と、
   前記認識された画像データ領域の形状及び位置に基づいて、前記撮影装置において前記表示手段に投影するための画像データを撮影する際に表示されるライブビュー画面における前記表示手段に投影される画像データ領域に対応する領域の形状及び位置を特定するためのガイド枠情報を生成する生成手段と、
   前記生成されたガイド枠情報に基づいて前記撮影装置のライブビュー画面にガイド枠を表示する表示制御手段と、
   を備える投影システム。
2. 前記認識手段は、位置に応じて異なる色が割り当てられた認識用画像の画像データを前記投影装置により前記表示手段に投影させる制御手段と、前記認識用画像が投影された前記表示手段を撮影する撮影手段を備え、前記撮影手段により取得された画像データに基づいて前記表示手段に投影される画像データ領域の形状及び位置を認識する請求項１に記載の投影システム。
3. 前記撮影装置は、撮影により取得しようとする画像データにおける前記ガイド枠に対応する画像データ領域内において顔画像を認識する処理を行い、顔画像が認識された場合に、当該画像データを前記表示手段に表示する画像データとして取得して前記投影装置に送信する請求項１又は２に記載の投影システム。
4. 前記表示手段として、複数の形状の表示手段を交換可能であり、
   前記撮影装置は、前記ガイド枠を用いて撮影した画像データに前記ガイド枠情報を対応付けて前記投影装置に送信し、
   前記投影装置は、前記認識手段を有し、現在設置されている表示手段に画像データに基づく投影を行った場合に前記表示手段に投影される画像データ領域の形状及び位置を認識し、認識された画像データ領域の形状及び位置と前記撮影装置から送信されたガイド枠情報に基づいて特定される画像データ領域の形状及び位置とが一致する場合に、前記撮影装置から送信された画像データに基づく画像を前記表示手段に投影する請求項１〜３の何れか一項に記載の投影システム。
5. 前記投影装置は、前記認識された画像データ領域の形状及び位置と前記撮影装置から送信されたガイド枠情報により特定される画像データ領域の形状及び位置とが一致しない場合に警告情報を出力する警告手段を備える請求項４に記載の投影システム。
6. 撮影装置により撮影された画像データに基づいて所定の形状の表示手段に画像を投影する投影装置であって、
   前記表示手段に画像データに基づく投影を行った場合に前記表示手段に投影される画像データ領域の形状及び位置を認識する認識手段と、
   前記認識された画像データ領域の形状及び位置に基づいて、前記撮影装置において前記表示手段に投影するための画像データを撮影する際に表示されるライブビュー画面における前記表示手段に投影される画像データ領域に対応する領域の形状及び位置を特定するためのガイド枠情報を生成する生成手段と、
   前記生成されたガイド枠情報を前記撮影装置に送信する送信手段と、
   を備える投影装置。
7. 所定の形状の表示手段に投影するための画像データを撮影により取得する撮影装置であって、
   前記表示手段に画像データに基づく投影を行った場合に前記表示手段に投影される画像データ領域の形状及び位置を認識する認識手段と、
   前記認識された画像データ領域の形状及び位置に基づいて、前記撮影装置において前記表示手段に投影するための画像データを撮影する際に表示されるライブビュー画面における前記表示手段に投影される画像データ領域に対応する領域の形状及び位置を特定するためのガイド枠情報を生成する生成手段と、
   前記生成されたガイド枠情報に基づいて前記撮影装置のライブビュー画面にガイド枠を表示する表示制御手段と、
   を備える撮影装置。
8. 表示対象物を撮影する撮影手段と、
   前記撮影手段に撮影された表示対象物の形状を認識する認識手段と、
   前記認識された表示対象物の形状に基づいて、ライブビュー画面における前記表示対象物に表示される画像データ領域に対応する領域の形状を特定するためのガイド枠情報を生成する生成手段と、
   前記生成されたガイド枠情報に基づいて前記撮影装置のライブビュー画面にガイド枠を表示する表示制御手段と、
   を備える撮影装置。
9. 投影装置により所定の形状の表示手段に画像データに基づく投影を行った場合に前記表示手段に投影される画像データ領域の形状及び位置を認識する工程と、
   前記認識された画像データ領域の形状及び位置に基づいて、前記表示手段に投影するための画像データを撮影する際に表示されるライブビュー画面における前記表示手段に投影される画像データ領域に対応する領域の形状及び位置を特定するためのガイド枠情報を生成する工程と、
   を含むガイド枠生成方法。
10. 表示対象物を撮影する撮影工程と、
    前記撮影工程に撮影された表示対象物の形状を認識する認識工程と、
    前記認識された表示対象物の形状に基づいて、ライブビュー画面における前記表示対象物に表示される画像データ領域に対応する領域の形状を特定するためのガイド枠情報を生成する生成工程と、
    前記生成されたガイド枠情報に基づいて前記撮影装置のライブビュー画面にガイド枠を表示する表示制御工程と、
    を含むガイド枠生成方法。
11. コンピュータを、
    投影装置により所定の形状の表示手段に画像データに基づく投影を行った場合に前記表示手段に投影される画像データ領域の形状及び位置を認識する認識手段、
    前記認識された画像データ領域の形状及び位置に基づいて、前記表示手段に投影するための画像データを撮影する際に表示されるライブビュー画面における前記表示手段に投影される画像データ領域に対応する領域の形状及び位置を特定するためのガイド枠情報を生成する生成手段、
    として機能させるためのプログラム。
12. コンピュータを、
    表示対象物を撮影する撮影手段、
    前記撮影手段に撮影された表示対象物の形状を認識する認識手段、
    前記認識された表示対象物の形状に基づいて、前記撮影装置のライブビュー画面における前記表示対象物に表示される画像データ領域に対応する領域の形状を特定するためのガイド枠情報を生成する生成手段、
    前記生成されたガイド枠情報に基づいて前記撮影装置のライブビュー画面にガイド枠を表示する表示制御手段、
    として機能させるためのプログラム。

Images