JP2017003732A - 画像投影装置、画像投影システムおよびプログラム - Google Patents

Abstract

【課題】ユーザの嗜好に合わせたコンテンツを対象物に投影可能な画像投影装置を提供すること。【解決手段】ユーザの嗜好情報を記憶する嗜好記憶手段と、所定の情報が表示された投影対象物と通信することにより、ユーザの嗜好情報を送信し、かつ、所定の情報に関連する付加情報のうちユーザの嗜好情報に基づいて選択される付加情報を投影対象物から受信する通信手段と、表示された所定の情報を撮影して画像を取得する撮影手段と、受信した付加情報に基づいて投影画像を生成する投影画像生成手段と、撮影した画像に基づいて投影画像を補正する投影画像補正手段と、補正された投影画像を少なくとも投影対象物の所定の情報が表示される領域に投影する投影手段と、を有するよう、画像投影装置を構成する。【選択図】図２

Description

本発明は、画像投影装置、画像投影システムおよびプログラムに関する。

近年、デジタルサイネージと呼ばれる表示媒体が普及してきている。デジタルサイネージは、映像や情報をディスプレイやプロジェクタなどの表示装置により表示する掲示板である。

デジタルサイネージは、表示内容を容易に変更できるため、複数の情報を記憶させておき、時間によって表示内容を切り替えるといった制御により、不特定多数の人々に様々な広告等を提示することができる。

また、建物や物体などの対象物に画像を投影し、対象物と一体となった表示を行うプロジェクションマッピングも行われている。プロジェクションマッピングでは、対象物上への投影に適した画像を事前に準備し、対象物と一体となるよう調整して表示を行う。

特許文献１には、被投影対象物に従って、被投影対象物上への投影に適した映像コンテンツを動的に切り替えることにより、管理者の煩雑な操作を軽減させる情報処理装置が記載されている。

特許文献２には、入力手段により入力された位置座標に基づいて算出した投影面に投影される画像のゆがみ量に基づいて画像を補正するプロジェクタが記載されている。

特許文献１の情報処理装置は、被投影対象物に従って投影する映像コンテンツを切り替えるため、被投影対象物に適した映像を表示させることができる。

しかし、そのように被投影対象物に従って投影コンテンツを切り替えたとしても、ユーザのニーズについては考慮されず、結果としてユーザの必要としない情報が投影されることがあるという問題があった。

本発明は、上記のような課題を解決するためになされたものであり、ユーザの嗜好に合わせたコンテンツを対象物に投影可能な画像投影装置を提供することを目的とする。

上述した課題を解決するために、本発明にかかる画像投影装置は、ユーザの嗜好情報を記憶する嗜好記憶手段と、所定の情報が表示された投影対象物と通信することにより、ユーザの嗜好情報を送信し、かつ、所定の情報に関連する付加情報のうちユーザの嗜好情報に基づいて選択される付加情報を投影対象物から受信する通信手段と、表示された所定の情報を撮影して画像を取得する撮影手段と、受信した付加情報に基づいて投影画像を生成する投影画像生成手段と、撮影した画像から特定した投影対象物と該画像投影装置との位置関係に基づいて投影画像を補正する投影画像補正手段と、補正された投影画像を少なくとも投影対象物の所定の情報が表示される領域に投影する投影手段と、を有することを特徴とする。

本発明にかかる画像形成装置は、ユーザの嗜好に合わせたコンテンツを対象物に投影可能な画像投影装置を提供することができる。

本発明の実施形態にかかる画像投影システムの動作イメージを示す図である。 本発明の実施形態にかかる画像投影システムの概要構成を示す図である。 嗜好記憶手段１１に記憶されるユーザの嗜好の例を示す図である。 本発明にかかる付加情報記憶手段２２に記憶される付加情報の例を示す図である。 本発明にかかる画像投影装置１０と投影対象物２０の処理フローを示す図である。 撮影手段１３が撮影した画像から投影画像の補正に必要なパラメータを特定するための処理を示す図である。 投影画像を補正する処理を説明する図である。 本発明の異なる実施形態にかかる画像投影システムの動作イメージを示す図である。

本発明にかかる画像投影装置は、投影対象物とともに画像投影システムを構成する。図１は、本発明の実施形態にかかる画像投影システムの動作イメージを示す図である。図１（１）は、所定の情報２００が表示された投影対象物２０の前にユーザ３００が立っている状態を示している。所定の情報２００は、この例では投影対象物２０の所在地の周辺地図情報である。

図１（２）は、ユーザが画像投影装置１０により投影対象物２０に投影画像を投影した状態を示している。ここでは、画像投影装置１０によって投影画像２０１が周辺地図情報に重畳して投影されている。以下、かかる動作を実現するための画像投影装置１０と投影対象物２０の構成と処理を説明する。

図２は、本発明の実施形態にかかる画像投影システムの概要構成を示す図である。図２を参照すると、本発明の第１の実施形態にかかる画像投影システム１は、画像投影装置１０と、投影対象物２０とを有する。

さらに図２を参照すると、本発明の第１の実施形態にかかる画像投影装置１０は、嗜好記憶手段１１と、通信手段１２と、撮影手段１３と、投影画像生成手段１４と、投影画像補正手段１５と、投影手段１６とを有する。

嗜好記憶手段１１は、ユーザの嗜好を記憶する。ユーザの嗜好とは、ユーザ個人の趣味嗜好に関連するキーワードである。嗜好記憶手段１１は、ＨＤＤ(Hard Disk Drive)やフラッシュメモリなどの不揮発性メモリにより構成可能である。

図３は、嗜好記憶手段１１に記憶されるユーザの嗜好の例を示す図である。図３を参照すると、ユーザの嗜好は分類のための分野ごとに、複数のキーワードが格納されている。図３の１行目は、ランチという分野についてユーザが、「和食」「中華」「洋食」といったキーワードを嗜好していることを示している。

図３の例では、ユーザの嗜好は分野ごとに分類されているが、分類せずにすべてのキーワードが格納されていてもよい。また、図３の例では、ユーザの嗜好は一つの分野ごとに３つのキーワードが格納されているが、１つでもよいし、４つ以上であってもよい。

本発明においては、ユーザの嗜好は事前に嗜好記憶手段１１に記憶されていれば足りる。したがって、ユーザが入力するようにしてもよいし、ユーザの行動から嗜好を自動的に抽出して格納するよう構成されていてもよい。

通信手段１２は、外部機器とデータ通信を行い、投影対象物２０の通信手段２３との通信が可能である。通信内容の詳細は後述する。通信は、無線ＬＡＮやBluetooth（登録商標）、ZigBee（登録商標）、NFCなどの無線通信規格によればユーザがケーブル接続することなく行えるため好ましいが、有線ＬＡＮやＵＳＢなどの有線通信規格による通信であってもよい。

撮影手段１３は、投影対象物２０などの対象物を撮影し、画像を取得する。撮影手段１３は、例えばCCDやCMOSなどの撮像素子とレンズとを組み合わせて構成することができる。

投影画像生成手段１４は、通信手段１２が投影対象物２０から受信した付加情報（後述）に基づいて投影画像を生成する。投影画像は、後述する投影画像補正手段１５により補正され、後述する投影手段１６により所定の対象物に投影される。投影画像生成手段１４は、メモリにロードした所定のプログラムをプロセッサに実行させることで構成可能である。また、特定の処理を行う専用ＩＣで構成してもよい。

投影画像補正手段１５は、撮影手段１３が撮影した画像から投影対象物２０と画像投影装置１０との位置関係を求め、この位置関係に基づいて投影画像生成手段１４が生成した投影画像を補正する。補正された投影画像は、後述する投影手段１６により所定の対象物に投影される。投影画像補正手段１５は、メモリにロードした所定のプログラムをプロセッサに実行させることで構成可能である。また、特定の処理を行う専用ＩＣで構成してもよい。

投影手段１６は、投影画像を投影対象物２０の所定の情報が表示される領域に表示する。投影手段１６はプロジェクタであり、例えば光源ランプの光を液晶パネルに透過させる液晶プロジェクタや、光源ランプの光をDMD(Digital Micromirror Device)に反射させるDLP（登録商標）プロジェクタにより構成可能である。

また、本発明の実施形態にかかる投影対象物２０は、情報表示手段２１と、付加情報記憶手段２２と、通信手段２３とを有する。

情報表示手段２１は、所定の情報を表示する。情報表示手段２１は、液晶ディスプレイ、プラズマディスプレイ、電子ペーパーなどで構成された画像データを表示可能な表示装置により可能であるがこれに限らず、地図が印刷された紙などの媒体を貼付可能な領域であってもよい。

付加情報記憶手段２２は、情報表示手段２１に表示される所定の情報に関連する付加情報を記憶する。付加情報記憶手段２２は、ＨＤＤ(Hard Disk Drive)やフラッシュメモリなどの不揮発性メモリにより構成可能である。

図４は、本発明にかかる付加情報記憶手段２２に記憶される付加情報の例を示す図である。図４を参照すると、付加情報には表示すべき文字情報である付加テキスト情報と付加テキスト情報を画像表示するための属性である付加画像情報とがあり、キーワードに応じて検索できるよう構成されている。

具体的には、図４の例では、付加画像情報と付加テキスト情報としてそれぞれ５つの情報が記憶されている。和食店１のランチに関し、付加テキスト情報を表示する大きさと場所および吹き出しの矢印の場所などの表示領域に関する情報が付加画像情報として格納され、和食店１のランチについて表示すべき文章が付加テキスト情報として記憶されている。同様に、和食店２〜５のランチに関する付加画像情報と付加テキスト情報とが記憶されている。図４の例では、付加画像情報として付加テキスト情報を表示する大きさと場所および吹き出しの矢印の場所を記憶するようになっているが、これに限られず、例えば付加テキスト情報の文字色や背景色、透過度などを記憶するようにしてもよい。

通信手段２３は、外部機器とデータ通信を行い、画像投影装置１０の通信手段１２との通信が可能である。通信内容の詳細は後述する。通信が無線通信規格であっても有線通信規格であってもよいのは、画像投影装置１０の通信手段１２と同様である。

続いて、画像投影装置１０と投影対象物２０の処理を説明する。図５は、本発明にかかる画像投影装置１０と投影対象物２０の処理フローを示す図である。図５を参照すると、まず画像投影装置１０は、通信手段１２により、通信可能な状態にある投影対象物２０に対して嗜好記憶手段１１に記憶された嗜好情報を送信する（ステップＳ１１）。画像投影装置１０は、投影対象物２０が通信可能な状態にあるかどうかを定期的に確認するステップを有してもよい。

投影対象物２０は、通信手段２３により嗜好情報を受信するまで（ステップＳ２１−Ｎ）待機する。嗜好情報を受信すると（ステップＳ２１−Ｙ）、情報表示手段２１が表示している所定の情報に関連して付加情報記憶手段２２が記憶する付加情報を受信した嗜好情報に基づいて選択し（ステップＳ２２）、通信手段２３によって送信する（ステップＳ２３）。

画像投影装置１０は、通信手段１２により付加情報を受信するまで（ステップＳ１２−Ｎ）待機し、付加情報を受信すると（ステップＳ１２−Ｙ）、投影画像生成手段１４により付加情報に基づいて投影画像を生成する（ステップＳ１３）。本実施形態においては、付加情報は付加テキスト情報と付加テキスト情報の表示領域に関する付加画像情報とを有するが、これに限らない。また、嗜好情報を送信してから所定時間が経過しても付加情報を受信しないとき、中断してステップＳ１１に戻るタイムアウト処理を行うようにしてもよい。

投影画像の生成は、付加テキスト情報を付加画像情報で指定される画像サイズに合わせたフォントサイズで画像に展開し、付加画像情報で指定される位置に配置するなどして実行することができる。

画像投影装置１０は、撮影手段１３により投影対象物２０の情報表示手段２１が表示している所定の情報を撮影して画像を取得する（ステップＳ１４）。撮影は、必ずしも投影画像の生成（ステップＳ１３）の後に行われる必要はなく、所定の情報が撮影可能になって以降、後述する投影画像の補正までであれば、どのタイミングで行われてもよい。

また、撮影は所定の時間間隔で繰り返し行われてもよい。繰り返し撮影して随時画像を更新することで、撮影後の画像投影装置１０と投影対象物２０との位置関係の変更があっても適切な投影を行うことができる。このときの撮影間隔は、後述する投影画像を補正する処理に要する時間よりも長くするのが好ましい。これより短くしても、撮影した画像を最新の補正に反映させることができないからである。

画像投影装置１０は、投影画像補正手段１５により、撮影手段１３が撮影した画像に基づいて、投影画像生成手段１４により生成された投影画像を補正する（ステップＳ１５）。撮影した画像に基づく投影画像の補正については後述する。

画像投影装置１０は、投影画像補正手段１５が補正した投影画像を投影対象物２０に投影する（ステップＳ１６）。これにより、見る人の嗜好に合わせたコンテンツが対象物に投影される。

次に、撮影した画像に基づく投影画像の補正の詳細を説明する。投影画像補正手段１５は、撮影した画像に基づいて、投影画像の補正に必要なパラメータを特定する。具体的には、投影対象物２０の情報表示手段２１における所定の情報の近傍である所定の位置（例えば矩形の四隅）に配置された検知マークの撮影した画像中の位置に基づいて、補正に必要なパラメータを特定することができる。

図６は、撮影手段１３が撮影した画像から投影画像の補正に必要なパラメータを特定するための処理を示す図である。例えば撮影手段１３が撮影した画像が図６（１）に示す画像であるとする。画像投影装置１０は携帯可能に構成することでさまざまな投影対象物に投影することが可能となるが、携帯してユーザが手に保持して撮影すると、図６（１）のように傾いた画像となる場合がある。

図６（１）の画像では、実線の矩形で示す所定の情報が表示される領域の四隅に、検知マークが配置されている。検知マークは、画像濃度あるいは色度に特徴があり、情報表示手段２１の他の領域と識別可能なマークである。検知マークは、傾いて撮影される場合があるため、円形とするのが好ましい。

撮影手段１３が撮影した画像は所定の閾値により二値化され、二値画像に変換される。図６（２）はある閾値で二値化された画像の波形である。図６（２）の画像では、所定の情報とその周囲とが分離されているが、検知マークの分離はできていない状態である。

図６（３）は、（２）とは異なる閾値で二値化した二値画像の波形である。図６（３）では、検知マークが適切に分離されている。このように、適切な閾値で二値化することにより、検知マークを分離することができる。

図６（４）は、（３）の波形から検知マークの一つを拡大した図である。図６（５）で示すように、各検知マーク波形の中心の座標が、検知マークの位置として特定できる。このように検知マークの中心の座標を特定することにより、撮影した画像の投影対象物２０に対する傾きを特定することができる。

図７は、投影画像を補正する処理を説明する図である。図７（１）は、撮影した画像における検知マークの座標が特定された状態を示している。各検知マークの座標から、所定の情報が表示される領域の長辺の長さａと短辺の長さｂとを算出できる。

図７（２）は、投影画像生成手段１４が生成した投影画像である。この元画像を、撮影した画像から求めた長辺・短辺の長さと傾きに基づいて補正する。（２）におけるａ'とｂ'は、付加情報で想定している投影領域であり、投影対象物２０における所定の情報が表示される領域に対応する。したがって、撮影画像におけるａ、ｂと投影領域におけるａ'、ｂ'とを比較することにより、水平方向・垂直方向の拡大縮小率を算出することができる。図７（３）は、（２）の元画像を拡大縮小処理した画像である。

続いて、図７（３）の画像を回転処理する。（１）における検知マークＡと検知マークＢの座標から、三角関数を用いて領域の傾きθを求めることができる。図７（３）の画像を、基準座標を中心にθだけ回転させることにより、図７（４）の画像を得ることができる。

本発明の実施形態において、コンピュータにプログラムを実行させることで各処理を行うことができる。

以上、本発明の実施形態として、図１に示すような壁面に掲示された情報への画像の投影を想定して説明したが、本発明の実施はかかる形態に限定されない。例えば、図８に示すように、操作のための複数のスイッチを有する装置４０のスイッチ４００上に、各スイッチの仕様や操作ガイダンス４０１を投影する場合に適用することも可能である。これにより、ユーザの好む使用態様（例えばプリンタについて「両面印刷長辺綴じ２アップ」など）に対応した画像を、操作スイッチとの位置関係に合わせて適切に表示することが可能となるのである。

１ 画像投影システム
１０ 画像投影装置
１１ 嗜好記憶手段
１２ 通信手段
１３ 撮影手段
１４ 投影画像生成手段
１５ 投影画像補正手段
１６ 投影手段
２０ 投影対象物
２１ 情報表示手段
２２ 付加情報記憶手段
２３ 通信手段
２００ 所定の情報
２０１ 投影画像
３００ ユーザ

特開２０１３−１３０６８２号公報 特許第４４９３１１３号公報

Claims (7)

1. ユーザの嗜好情報を記憶する嗜好記憶手段と、
   所定の情報が表示された投影対象物と通信することにより、前記ユーザの嗜好情報を送信し、かつ、前記所定の情報に関連する付加情報のうち前記ユーザの嗜好情報に基づいて選択される付加情報を前記投影対象物から受信する通信手段と、
   表示された前記所定の情報を撮影して画像を取得する撮影手段と、
   受信した前記付加情報に基づいて投影画像を生成する投影画像生成手段と、
   撮影した前記画像に基づいて前記投影画像を補正する投影画像補正手段と、
   前記補正された投影画像を少なくとも前記投影対象物の前記所定の情報が表示される領域に投影する投影手段と、
   を有することを特徴とする画像投影装置。
2. 前記投影画像補正手段は、撮影した前記画像に含まれる前記投影対象物における前記所定の情報が表示される領域の近傍に配置されたマークの前記画像における位置に基づいて、前記投影画像を補正する、請求項１に記載の画像投影装置。
3. 前記撮影手段は、前記投影画像補正手段が前記投影画像を補正する時間よりも長い間隔で画像を取得する、請求項１または２に記載の画像投影装置。
4. 前記通信手段が受信する前記付加情報が表示すべき文字情報であるテキスト情報を含むことを特徴とする、請求項１ないし３のいずれか一項に記載の画像投影装置。
5. 前記通信手段が受信する前記付加情報が前記テキスト情報を画像表示するための属性を含むことを特徴とする、請求項４に記載の画像投影装置。
6. 所定の情報が表示された情報表示手段と、
   前記所定の情報に関連する付加情報を記憶する付加情報記憶手段と、
   外部機器とデータ通信を行う第１の通信手段と、を有する投影対象物と、
   ユーザの嗜好情報を記憶する嗜好記憶手段と、
   外部機器とデータ通信を行う第２の通信手段と、
   対象物を撮影して画像を取得する撮影手段と、
   入力された投影画像を前記対象物に投影する投影手段と、を有する画像投影装置と、を含む画像投影システムであって、
   前記投影対象物は、前記画像投影装置から前記ユーザの嗜好情報を受信すると、該ユーザの嗜好情報と所定の関係を有する前記付加情報を選択して、前記画像投影装置に送信し、
   前記画像投影装置は、送信された前記付加情報に基づいて生成し、撮影した前記画像に基づいて補正した画像を前記投影画像として前記投影手段に入力することを特徴とする画像投影システム。
7. 所定の情報が表示された投影対象物にユーザの嗜好情報を送信する工程と、
   前記所定の情報に関連する付加情報のうち前記ユーザの嗜好情報に基づいて選択される付加情報を前記投影対象物から受信する工程と、
   表示された前記所定の情報を撮影して画像を取得する工程と、
   受信した前記付加情報に基づいて投影画像を生成する工程と、
   撮影された前記画像に基づいて前記投影画像を補正する工程と、
   前記補正された投影画像を少なくとも前記投影対象物の前記所定の情報が表示される領域に投影する工程と、
   を画像投影装置に実行させるプログラム。

Images