JP2019186588A - コンテンツ表示システム - Google Patents

Abstract

【課題】特定のユーザの視点に立って、よりリアルに近い形で遊びを提供できる技術を提供することを目的とする。【解決手段】本発明によるコンテンツ表示システムは、表示部と、表示部に接続する把持部と、識別マーカとを有する携帯用器具と、識別マーカを撮像する撮像装置と、撮像装置に接続し、前記撮像された識別マーカを検出する識別マーカ検出部と、検出された識別マーカを分析する識別マーカ分析部と、分析された識別マーカに基づいて、コンテンツを設定するコンテンツ設定部と、設定されたコンテンツを表示制御する表示制御部と、を有する制御装置と、制御装置に接続し、コンテンツを表示部が位置する領域に対して投影する投影装置と、を含む。【選択図】図１

Description

本発明は、コンテンツ表示システムに関する。

近年、建造物や物体等の対象物に対してコンピュータグラフィクス映像を投影し、対象物と映像との調和を楽しむ、プロジェクションマッピングという手法が普及している。また、現実空間において、識別マーカ（例えば、ＡＲマーカ）を配置し、識別マーカをカメラ等で撮影し、識別マーカから、対応するコンテンツや識別マーカが配置された位置、または、識別マーカの向き等の情報を読み取り、読み取った情報に基づいて、所定のコンテンツを識別マーカの位置にプロジェクタ等によって投影する、という拡張現実空間（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ））システムも普及している。

ここで、ＡＲマーカとプロジェクションマッピングの手法を利用して、ユーザと、投影される対象物とのインタラクションを実現する技術が公開されている（例えば、特許文献１参照）。特許文献１においては、砂遊びをするユーザの体の一部にマーカを付し、また、他の対象物（例えば、バケツ）にマーカを付すことで、マーカから読み取られる情報により相互の位置情報を特定し、位置関係が所与の関係になったときに、各々のマーカが付された対象物に投影された投影画像に変化を与える、といった技術が開示されている。例えば、特許文献１に開示された技術により、投影された魚を持ったユーザの手がバケツに近づいたときに、その魚を手からバケツに移す、といったインタラクティブな体験をユーザに提供することができる。

特開２０１７−５０７０１号公報

しかしながら、上記特許文献に開示の技術は、多人数のユーザが砂遊びをしている前提で、真上からの視点を代表視点として、投影物を描画することについては言及がなされているものの、特定のユーザ視点から見える画像から投影物を描画することについて具体的な考慮がなされていない。

そこで、本発明は、特定のユーザの視点に立って、よりリアルに近い形で遊びを提供できる技術を提供することを目的とする。

本発明の一の実施形態は、本発明によるコンテンツ表示システムは、表示部と、表示部に接続する把持部と、識別マーカとを有する携帯用器具と、識別マーカを撮像する撮像装置と、撮像装置に接続し、前記撮像された識別マーカを検出する識別マーカ検出部と、検出された識別マーカを分析する識別マーカ分析部と、分析された識別マーカに基づいて、コンテンツを設定するコンテンツ設定部と、設定されたコンテンツを表示制御する表示制御部と、を有する制御装置と、制御装置に接続し、コンテンツを表示部が位置する領域に対して投影する投影装置と、を含む。

本発明によれば、特定のユーザの視点に立って、よりリアルに近い形で遊びを提供できる技術を提供することができる。

本発明による第１の実施の形態によるシステムの構成図である。 本発明による第１の実施の形態による制御装置の機能ブロック図である。 本発明による第１の実施の形態によるシステムの機能ブロック図である。 本発明による第１の実施の形態によるコンテンツ管理テーブルの一例である。 本発明による第１の実施の形態によるコンテンツ表示処理に係るフローチャート図である。 本発明による第１の実施の形態によるコンテンツ表示制御の詳細に係るフローチャート図である。 本発明による第１の実施の形態によるコンテンツ表示の概念図の一例である。 本発明による第１の実施の形態によるコンテンツ表示の概念図の他の例である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるコンテンツ取引システムは、以下のような構成を備える。
［項目１］
表示部と、前記表示部に接続する把持部と、識別マーカとを有する携帯用器具と、
前記識別マーカを撮像する撮像装置と、
前記撮像装置に接続し、
前記撮像された識別マーカを検出する識別マーカ検出部と、
前記検出された識別マーカを分析する識別マーカ分析部と、
前記分析された識別マーカに基づいて、コンテンツを設定するコンテンツ設定部と、
前記設定されたコンテンツを表示制御する表示制御部と、を有する制御装置と、
前記制御装置に接続し、前記コンテンツを前記表示部が位置する領域に対して投影する投影装置と、
を含むコンテンツ表示システム。
［項目２］
携帯用器具と、撮影装置と、制御装置と、投影装置とを含むコンテンツ表示システムであって、
前記携帯用器具は、表示部と識別マーカとを有しており、
前記撮像装置は、撮像した前記識別マーカの情報を前記制御装置に送信し、
前記制御装置は、前記識別マーカの情報に基づいて決定した所定のコンテンツを前記投影装置に送信し、
前記投影装置は、前記コンテンツを前記表示部に投影する、
コンテンツ表示システム。
［項目３］
請求項１に記載のコンテンツ表示システムであって、
前記制御装置は、前記識別マーカの情報に基づいて決定した所定のコンテンツの方向に関する情報を前記投影装置に送信し、
前記投影装置は、前記コンテンツを前記方向に従って前記表示部に投影する、
コンテンツ表示システム。
［項目４］
請求項１に記載のコンテンツ表示システムであって、
前記表示部は、前記識別マーカと所定の距離離れた位置に設けられていることを特徴とする、コンテンツ表示システム。
［項目５］
請求項１に記載のコンテンツ表示システムであって、
前記識別マーカ分析部は、前記識別マーカの位置及び姿勢を検出することを特徴とする、コンテンツ表示システム。
［項目６］
請求項５に記載のコンテンツ表示システムであって、
前記表示制御部は、前記検出された識別マーカの位置及び姿勢に基づいて、コンテンツを表示する位置及び姿勢を決定することを特徴とする、コンテンツ表示システム。
を有するコンテンツ表示システム。
［項目７］
請求項１に記載のコンテンツ表示システムであって、
前記表示制御部は、前記コンテンツを含む第１のレイヤコンテンツと、前記コンテンツの背景を形成するコンテンツを含む第２のレイヤコンテンツとを重畳したコンテンツを生成することを特徴とする、コンテンツ表示システム。
［項目８］
請求項７に記載のコンテンツ表示システムであって、
前記表示制御部は、前記重畳したコンテンツを、前記表示部が位置する領域を含む所定の領域に投影するよう制御することを特徴とする、コンテンツ表示システム。
［項目９］
請求項８に記載のコンテンツ表示システムであって、
前記表示制御部は、前記識別マーカを基に設定されたコンテンツが、表示部が位置する領域に常に投影されるよう制御することを特徴とする、コンテンツ表示システム。
［項目１０］
請求項７に記載のコンテンツ表示システムであって、
前記表示制御部は、前記重畳したコンテンツのうち、前記表示部が位置する領域に投影する部分を、前記表示部が位置する領域を除く他の部分よりも拡大して表示するよう制御することを特徴とする、コンテンツ表示システム。
［項目１１］
請求項１に記載のコンテンツ表示システムであって、
前記表示部は、非透過型プラスチックレンズであることを特徴とする、コンテンツ表示システム。
［項目１２］
請求項１に記載のコンテンツ表示システムであって、
前記表示部は、拡大レンズであることを特徴とする、コンテンツ表示システム。
［項目１３］
携帯用器具と、撮影装置と、制御装置と、投影装置とを含むコンテンツ表示システムであって、
前記携帯用器具は、表示部と識別マーカとを有しており、
前記撮像装置は、撮像した前記識別マーカの情報を前記制御装置に送信し、
前記制御装置は、前記識別マーカの情報に基づいて決定した所定のコンテンツを前記投影装置に送信し、
前記投影装置は、前記コンテンツを前記表示部に投影する、
コンテンツ表示システム。

（第１の実施の形態）
以下、本発明の第１の実施の形態によるコンテンツ表示システムについて、図面を参照しながら説明する。本発明による第１の実施の形態によるシステムの構成図である。なお、本実施の形態のシステムの構成は図１に限定されず、その構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

図１に示すように、コンテンツ表示システムは、所定の処理を行う制御装置１と、制御装置１と所定に通信インターフェース接続されるカメラ２及びプロジェクタ３とを含む。

図１に示すように、カメラ２は、虫めがねを模した携帯型器具５に付されたＡＲマーカ４を撮像し、制御装置１にＡＲマーカにＡＲマーカ画像を送信する。制御装置１はＡＲマーカ画像を認識し、分析のうえ、投影する所定のコンテンツ７（例えば、魚）を決定する。また、制御装置１は、上記分析により、投影するコンテンツ７の位置及び向きを決定し、コンテンツ７は背景コンテンツを重ね合わせることで、投影するコンテンツデータを生成し、生成されたコンテンツデータをプロジェクタ３に送信し、プロジェクタ３は、投影対象となるフィールド（例えば、プレイフィールド６）に向けてコンテンツを投影する。

ここで、カメラ２として、写真を撮影する通常のカメラを用いることができるが、さらに、デプスセンサを有することもできる。デプスセンサは、カメラ２と対象物との距離を測るものであり、距離の測定方式として、例えば、赤外線プロジェクタにより赤外線を投射し、赤外線カメラにより対象物から反射する赤外線を検出し、投射後検出するまでの時間を基に距離を算出するＴＯＦ方式や、投射された赤外線パターンの歪みを基に距離を算出するライトコーディング方式等を採用することができる。

本実施の形態において、プレイフィールド６には、砂遊びをするための砂が配置されており、公園等の砂場同様、子どもは砂で山を作ったり穴を掘ったりすることができる。ここで、例えば、上述のデプスセンサにより、プレイフィールド６のｘｙ平面の領域における砂の高さ情報（ｚ軸方向の位置情報）を取得し、砂の高さに応じて、制御装置１は投影する画像を決定し、プロジェクタ３により画像を投影する。例えば、所定の高さ以下の領域や窪んだ領域に水の画像を投影することができる。

ここで、携帯型器具５は、主に、虫めがねのフレームとフレーム内に設けられるレンズとからなる表示部と、表示部に接続され、ユーザが虫めがねを把持することを想定して設けられる把持部（取っ手部分）とで構成される。レンズは、透過型・非透過型のガラス若しくはプラスチック素材、または、拡大鏡を有するガラス若しくはプラスチックで構成することができる。例えば、本実施の形態において、ＡＲマーカ４は、表示部と把持部との接続部分周辺に付される。本実施の形態において、コンテンツ７は、ＡＲマーカの位置から所定距離離れた位置、すなわち、虫めがねの表示部（フレーム内のレンズが位置する領域）に表示され、動きが制御されることを特徴とする。例えば、上記コンテンツ７が魚である場合、魚は、ユーザから見て、常に虫めがねのレンズ内を泳ぐように表示されるよう、その表示される位置及び向きを制御することができる。また、虫めがねのレンズがプレイフィールド６の所定の位置（例えば、水が投影される位置）にあるときに、魚を表示するよう制御することもできる。

ＡＲマーカ４は、矩形で、白黒の二色で構成される所定の図形からなり、ＱＲコード（登録商標）で構成することもできる。ＡＲマーカ４を含む画像を認識することで、対応するＩＤ（識別子）を検出し、ＩＤと関連付けられた、拡張現実空間に配置されるコンテンツを決定し、また、コンテンツを配置する位置を決定することができる。

図２は、本発明による第１の実施の形態による制御装置の機能ブロック図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

図示されるように、制御装置１は、データベース(図示せず)と接続されシステムの一部を構成する。コンテンツ取引サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

制御装置１は、少なくとも、制御部１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

制御部１０は、制御装置１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、制御部１０のワークエリア等として使用され、また、制御装置１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース(図示せず)がストレージ１２に構築されていてもよい。

送受信部１３は、制御装置１と他の周辺装置又は遠隔装置等の外部装置との通信を確立する。一例として、送受信部１３は、ＨＤＭＩ（登録商標）及びＵＳＢ等の有線の通信インターフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）等の近距離通信インターフェースを備えていてもよい。

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

図３は、本発明による第１の実施の形態によるシステムの機能ブロック図である。上述の通り、制御部１０において、本実施の形態に係るコンテンツ表示処理に関するアプリケーション・プログラムが実行され、この実行されるプログラムのモジュールは、図示のとおり、いくつかの機能ブロックに分けられる。また、本制御部で実行される機能ブロックの全部又は一部は、その性質に応じて同一又は他の装置の制御部によって実行することも可能である。

まず、カメラ２は、ユーザが把持する虫めがね状の携帯用器具に付されたＡＲマーカ４を撮像する。カメラ２は、撮像されたＡＲマーカ４を含む画像を制御部１０のＡＲマーカ検出部２１に送信する。以下、図５に示す、フローチャートを参照しながら、制御部１０で実行される本実施の形態に係るコンテンツ表示処理について説明する。

制御部１０のＡＲマーカ検出部２１は、カメラ２から受信した画像からＡＲマーカ４を検出し（Ｓ１０１）、続いて、ＡＲマーカ分析部２２は、ＡＲマーカに埋め込まれた情報としてマーカ識別子（マーカＩＤ）を取得する（Ｓ１０２）。また、ＡＲマーカ分析部２２は、ＡＲマーカ４を検出することでプレイフィールド６におけるＡＲマーカの位置及び向きに関する情報を取得することができる。

次に、コンテンツ設定部２３は、コンテンツ管理テーブル格納部３２に格納される、コンテンツ管理テーブルを参照し、取得したマーカＩＤに対応するコンテンツＩＤを取得することで、表示するコンテンツを設定する（Ｓ１０３）。例えば、図４の例において、取得したマーカＩＤが「１」であれば、対応するコンテンツＩＤ「Ａ」（例えば、魚）を設定し、取得したマーカＩＤが「２」であれば、対応するコンテンツＩＤ「Ｂ」（例えば、かぶとむし）を設定する。

次に、表示制御部２４は、設定されたコンテンツ（例えば、魚）をコンテンツ格納部３１から取得し、投影する画像を生成する表示制御処理を行う（Ｓ１０４）。表示制御処理の詳細は、図６に示すフローチャートにおいて説明する。

次に、表示制御部２４は、生成した画像をプロジェクタ３によってプレイフィールド６に投影する（Ｓ１０５）。

図６は、本発明による第１の実施の形態によるコンテンツ表示制御の詳細に係るフローチャート図である。

まず、表示制御部２４は、設定されたコンテンツ（例えば、魚）をコンテンツ格納部３１から取得し（Ｓ２０１）、ＡＲマーカ分析部２２が取得したＡＲマーカ４の位置及び向きに関する情報を基に、投影対象となるプレイフィールド６におけるコンテンツの位置及び向きを決定する（Ｓ２０２）。例えば、コンテンツの位置及び向きは、まず、ＡＲマーカ４の四隅のＡＲマーカ座標系の座標を、投影対象となるプレイフィールド６の座標系に変換し、予め決められた、虫めがね５の表示部（レンズに相当する領域）の、ＡＲマーカに対する相対的な位置（所定の距離離れた位置）に基づいて、変換された座標を補正することで決定することができる。

続いて、表示制御部２４は、コンテンツの大きさを決定する（Ｓ２０３）。例えば、コンテンツとして、魚の大きさは、虫めがね５の表示部に表示される場合は、表示部以外のプレイフィールド６に表示される場合よりも、大きく表示することができる。また、デプスカメラによりＡＲマーカ４の高さ情報（すなわち、虫めがね５の表示部の高さ）を取得し、高さに基づいて、投影するコンテンツの大きさを決定することができる。すなわち、虫めがねを対象物に近づけると対象物が大きく見え、また、対象物から遠ざけると対象物が小さく見えるように、図７の例において、虫めがね５の表示部が高さｈ１の位置にある場合には、魚７を所定の大きさに、図１０の例において、表示部が高さｈ２の位置にある場合には、魚７を別の大きさに（図７の例より大きく）表示することができる。

続いて、表示制御部２４は、投影する画像を生成するため、Ｓ２０１で取得したコンテンツと、背景となる、プレイフィールド６に投影されるコンテンツとを重畳する処理を行う（Ｓ２０４）。例えば、図７に示すように、魚の画像７を含む第１のレイヤコンテンツ４１とプレイフィールド６に投影される、砂６を含む第２のレイヤコンテンツ４２とを重畳させ、最終的にプレイフィールド６に向けて投影されるコンテンツを生成する。ここで、魚の画像７は、所定のアニメーション動作を行うよう設定することもでき、第２のレイヤコンテンツ４２における、魚の画像７のｘｙ平面上の位置に配置される画像（例えば、砂や水）に基づいて、魚の画像７の表示の有無を決定することもできる。例えば、魚は水が配置される領域でしか表示されないようにすることもできる。また、第２のレイヤコンテンツ４２において、魚の画像７のｘｙ平面上の位置に配置される画像（例えば、砂や水）を、他の領域に表示されるコンテンツに比べて、拡大して表示することもできる。

続いて、表示制御部３４は、生成した重畳したコンテンツをプレイフィールド６に表示する処理を行う（Ｓ２０５）。

また、ＡＲマーカ検出部２１は、ＡＲマーカ４の位置及び向きを監視することで、ＡＲマーカ４の位置及び向きに関する更新された情報を取得し、ＡＲマーカ４の位置及び向きに変更がないか確認する（Ｓ２０６）。変更があった場合には、コンテンツの位置及び向きを更新する処理を行い、変更がない場合には、情報の更新があるまで引き続き表示処理を行う。これにより、虫めがねの位置及び向きに変更が生じたとしても、コンテンツが、変更された位置及び向きに追従して表示されるよう制御することができる。

なお、コンテンツの表示制御にあたっては、上記の例及び処理の順に限定されず、また、発明の趣旨を逸脱しない範囲で処理、その順序を変更することもできるし、一部を省略することもできる。例えば、Ｓ２０３については、コンテンツの大きさを一律に設定することもできるし、Ｓ２０４については、重畳処理を行わずに、プロジェクタを複数台用いて、異なるレイヤのコンテンツを別々のプロジェクタを用いて投影することもできる。

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

１ 制御装置
２ カメラ
３ プロジェクタ
４ ＡＲマーカ
５ 携帯型器具
６ プレイフィールド
７ コンテンツ
１０ 制御部
１１ メモリ
１２ ストレージ
１３ 送受信部
１４ 入出力部
１５ バス
２１ ＡＲマーカ検出部
２２ ＡＲマーカ分析部
２３ コンテンツ設定部
２４ 表示制御部
３１ コンテンツ格納部
３２ コンテンツ管理テーブル格納部
４１ 第１のレイヤ
４２ 第２のレイヤ

Claims (12)

1. 表示部と、前記表示部に接続する把持部と、識別マーカとを有する携帯用器具と、
   前記識別マーカを撮像する撮像装置と、
   前記撮像装置に接続し、
   前記撮像された識別マーカを検出する識別マーカ検出部と、
   前記検出された識別マーカを分析する識別マーカ分析部と、
   前記分析された識別マーカに基づいて、コンテンツを設定するコンテンツ設定部と、
   前記設定されたコンテンツを表示制御する表示制御部と、を有する制御装置と、
   前記制御装置に接続し、前記コンテンツを前記表示部が位置する領域に対して投影する投影装置と、
   を含むコンテンツ表示システム。
2. 請求項１に記載のコンテンツ表示システムであって、
   前記制御装置は、前記識別マーカの情報に基づいて決定した所定のコンテンツの方向に関する情報を前記投影装置に送信し、
   前記投影装置は、前記コンテンツを前記方向に従って前記表示部に投影する、
   コンテンツ表示システム。
3. 請求項１に記載のコンテンツ表示システムであって、
   前記表示部は、前記識別マーカと所定の距離離れた位置に設けられていることを特徴とする、コンテンツ表示システム。
4. 請求項１に記載のコンテンツ表示システムであって、
   前記識別マーカ分析部は、前記識別マーカの位置及び姿勢を検出することを特徴とする、コンテンツ表示システム。
5. 請求項４に記載のコンテンツ表示システムであって、
   前記表示制御部は、前記検出された識別マーカの位置及び姿勢に基づいて、コンテンツを表示する位置及び姿勢を決定することを特徴とする、コンテンツ表示システム。
   を有するコンテンツ表示システム。
6. 請求項１に記載のコンテンツ表示システムであって、
   前記表示制御部は、前記コンテンツを含む第１のレイヤコンテンツと、前記コンテンツの背景を形成するコンテンツを含む第２のレイヤコンテンツとを重畳したコンテンツを生成することを特徴とする、コンテンツ表示システム。
7. 請求項７に記載のコンテンツ表示システムであって、
   前記表示制御部は、前記重畳したコンテンツを、前記表示部が位置する領域を含む所定の領域に投影するよう制御することを特徴とする、コンテンツ表示システム。
8. 請求項７に記載のコンテンツ表示システムであって、
   前記表示制御部は、前記識別マーカを基に設定されたコンテンツが、表示部が位置する領域に常に投影されるよう制御することを特徴とする、コンテンツ表示システム。
9. 請求項６に記載のコンテンツ表示システムであって、
   前記表示制御部は、前記重畳したコンテンツのうち、前記表示部が位置する領域に投影する部分を、前記表示部が位置する領域を除く他の部分よりも拡大して表示するよう制御することを特徴とする、コンテンツ表示システム。
10. 請求項１に記載のコンテンツ表示システムであって、
    前記表示部は、非透過型プラスチックレンズであることを特徴とする、コンテンツ表示システム。
11. 請求項１に記載のコンテンツ表示システムであって、
    前記表示部は、拡大レンズであることを特徴とする、コンテンツ表示システム。
12. 携帯用器具と、撮影装置と、制御装置と、投影装置とを含むコンテンツ表示システムであって、
    前記携帯用器具は、表示部と識別マーカとを有しており、
    前記撮像装置は、撮像した前記識別マーカの情報を前記制御装置に送信し、
    前記制御装置は、前記識別マーカの情報に基づいて決定した所定のコンテンツを前記投影装置に送信し、
    前記投影装置は、前記コンテンツを前記表示部に投影する、
    コンテンツ表示システム。