JP2014044655A - 拡張現実システム、映像合成装置、映像合成方法及びプログラム - Google Patents

Abstract

【課題】合成映像の閲覧者に、当該合成映像に含まれるオブジェクトを制御させる。
【解決手段】端末装置１００は、映像受信部１０１が受信した合成映像を表示する映像表示部１０２と、合成映像に対する操作を示す操作情報の入力を受け付ける操作部１０４とを備える。映像合成装置３００は、操作情報受信部３０１が受信した操作情報に基づいてオブジェクトの仮想空間における位置及び形状を決定するオブジェクト決定部３０５と、映像合成部３０８が生成した合成映像を、端末装置１００に送信する映像送信部３１０とを備える。
【選択図】図２

Description

映像とコンピュータグラフィックスのオブジェクトとの合成映像を提供する拡張現実システム、当該拡張現実システムが備える端末装置及び映像合成装置、並びに当該拡張現実システムによる拡張現実制御方法、映像合成方法及びそのプログラムに関する。

近年、撮像装置が撮像した実空間の映像と、コンピュータグラフィックスによって表現される仮想空間のオブジェクトとを合成する「拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）」という技術が研究されている（例えば、非特許文献１を参照）。

具体的には、映像合成装置が、撮像装置が撮像した映像と仮想空間のオブジェクトをレンダリングした画像とを合成することで拡張現実を実現した合成映像を生成することで実現する。このとき、映像合成装置は、撮像装置に取り付けられたロータリエンコーダなどの姿勢センサから取得した情報に基づいて仮想空間におけるカメラ情報を変更することで、撮像装置の動きにオブジェクトを追従させた合成映像を生成することができる。また、撮像装置が所定のマーカーを含む映像を撮像し、映像合成装置が当該映像からマーカーの位置を特定することで、マーカーが存在する場所に所定のオブジェクトを表示させることができる。なお、マーカーとは、被写体に取り付けてその三次元座標を特定するための目印となるものである。

このような拡張現実システムにおけるオブジェクトの動作の制御方法としては、オブジェクトの動作を予め決めておく方法、映像に含まれるマーカーにオブジェクトを追従させる方法、モーションキャプチャにより得られる動作をオブジェクトに適用する方法などが挙げられる。

小島 一成、外４名、リアルタイム伝送技術を用いたキャラクター表示システムの構築、「情報処理学会研究報告．グラフィクスとＣＡＤ研究会報告」、一般社団法人情報処理学会、２０１１年６月２０日

近年、拡張現実システムをインタラクティブに制御したいという要望がある。つまり、合成映像の閲覧者に、当該合成映像に含まれるオブジェクトを制御させたいという要望がある。しかしながら、上述したオブジェクトの動作の制御方法は、閲覧者からの入力を受け付けるものではなく、インタラクティブな制御を行うことができないという問題がある。また、合成映像の閲覧者にモーションキャプチャを適用することも考えられるが、システムが大掛かりとなってしまうという問題がある。

本発明は上記の課題を解決するためになされたものであり、撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像を生成する映像合成装置と、前記合成映像を表示する１または複数の端末装置とを備える拡張現実システムであって、前記端末装置は、前記映像合成装置から合成映像を受信する映像受信部と、前記映像受信部が受信した合成映像を表示する映像表示部と、前記映像表示部に表示された合成映像に対する操作を示す操作情報の入力を受け付ける操作部と、前記操作部が受け付けた操作情報を前記映像合成装置に送信する操作情報送信部とを備え、前記映像合成装置は、前記端末装置から前記操作情報を受信する操作情報受信部と、前記操作情報受信部が受信した操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を決定するオブジェクト決定部と、前記仮想空間に配置されたオブジェクトを前記撮像装置が撮像した映像に合成する映像合成部と、前記映像合成部が生成した合成映像を、前記端末装置に送信する映像送信部とを備えることを特徴とする。

また、本発明において前記映像合成装置は、前記操作情報受信部が受信した操作情報のうち、同一の操作を示す操作情報の受信回数を計数する計数部を備え、前記オブジェクト決定部は、前記計数部が計数した受信回数が所定の閾値以上となった場合に、当該操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を決定することを特徴とする。

また、本発明において前記計数部は、所定の制限時間内に前記操作情報受信部が受信した同一の操作を示す操作情報の受信回数を計数することを特徴とする。

また、本発明において前記操作部は、前記操作情報として所定の操作を実行させる前記映像表示部が表示する合成映像上の二次元座標の指定を受け付け、前記映像合成装置は、前記操作情報が示す二次元座標に対応する前記仮想空間上の三次元座標を特定する座標特定部を備え、前記オブジェクト決定部は、前記座標特定部が特定した三次元座標が示す位置における前記オブジェクトの位置及び形状を決定することを特徴とする。

また、本発明において前記座標特定部は、前記操作情報が示す二次元座標を前記仮想空間に投影した直線上に前記オブジェクトが存在する場合、当該オブジェクトが存在する三次元座標を特定し、前記オブジェクト決定部は、前記座標特定部が特定した三次元座標が示す位置に存在する前記オブジェクトの位置及び形状を決定することを特徴とする。

また、本発明において前記座標特定部は、前記操作情報が示す二次元座標と当該操作情報の送信元の端末装置のディスプレイ解像度とに基づいて、前記操作情報が示す二次元座標に対応する前記仮想空間上の三次元座標を特定することを特徴とする。

また、本発明において前記映像合成装置は、前記操作情報に関連付けて当該操作情報が示す操作の内容を記憶する操作情報記憶部と、前記操作情報の内容の変更を示す操作内容変更命令の入力を受け付ける変更命令入力部と、前記操作情報記憶部が記憶する操作の内容を前記変更命令入力部が入力した内容に変更する操作情報変更部とを備え、前記オブジェクト決定部は、前記操作情報受信部が受信した操作情報に関連付けられた操作の内容を前記操作情報記憶部から取得し、当該操作の内容に基づいて前記オブジェクトの仮想空間における位置及び形状を決定することを特徴とする。

また、本発明において前記映像合成装置は、前記端末装置から当該端末装置のディスプレイ解像度を取得する解像度取得部を備え、前記映像送信部は、前記映像合成部が生成した合成映像を、前記解像度取得部が取得した解像度に変換して前記端末装置に送信することを特徴とする。

また、本発明において映像合成部は、前記撮像装置の撮像対象の三次元位置情報を検出する三次元位置センサから、前記撮像対象の位置情報を取得し、当該位置情報に基づいて前記仮想空間に配置されたオブジェクトを前記映像に合成することを特徴とする。

また、本発明において前記端末装置は、前記映像受信部が受信した合成映像に含まれるオブジェクトを表示するオブジェクト表示部を備え、前記操作部は、前記操作情報として、前記オブジェクト表示部が表示するオブジェクトの一部をドラッグする操作を受け付け、前記オブジェクト決定部は、前記操作情報が示すドラッグ操作においてドラッグされたオブジェクトの一部の位置及び形状を、ドラッグ後の位置及び形状に変更することを特徴とする。

また、本発明において前記オブジェクト表示部は、利用者の操作に従って前記オブジェクトを描画するレンダリングカメラのパラメータを変更することを特徴とする。

また、本発明において前記操作部は、タッチパネル上のタッチ操作の入力を受け付け、当該タッチ操作の軌跡に対応する操作情報を特定することを特徴とする。

また、本発明は、撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像を生成する映像合成装置から合成映像を受信する映像受信部と、前記映像受信部が受信した合成映像を表示する映像表示部と、前記映像表示部に表示された合成映像に対する操作を示す操作情報の入力を受け付ける操作部と、前記操作部が受け付けた操作情報を前記映像合成装置に送信する操作情報送信部とを備えることを特徴とする端末装置である。

また、本発明は、端末装置が、撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像を生成する映像合成装置から合成映像を受信し、前記端末装置が、受信した合成映像を表示し、前記端末装置が、前記表示した合成映像に対する操作を示す操作情報の入力を受け付け、前記端末装置が、前記受け付けた操作情報を前記映像合成装置に送信することを特徴とする拡張現実制御方法である。

また、本発明は、コンピュータを、撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像を生成する映像合成装置から合成映像を受信する映像受信部、前記映像受信部が受信した合成映像を表示する映像表示部、前記映像表示部に表示された合成映像に対する操作を示す操作情報の入力を受け付ける操作部、前記操作部が受け付けた操作情報を前記映像合成装置に送信する操作情報送信部として機能させるためのプログラムである。

また、本発明は、撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像を生成する映像合成装置であって、端末装置から前記合成映像に対する操作を示す操作情報を受信する操作情報受信部と、前記操作情報受信部が受信した操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を決定するオブジェクト決定部と、前記仮想空間に配置されたオブジェクトを前記撮像装置が撮像した映像に合成する映像合成部と、前記映像合成部が生成した合成映像を、前記端末装置に送信する映像送信部とを備えることを特徴とする。

また、本発明は、撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像を生成する映像合成装置が、端末装置から前記合成映像に対する操作を示す操作情報を受信し、前記映像合成装置が、前記受信した操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を決定し、前記映像合成装置が、前記仮想空間に配置されたオブジェクトを前記撮像装置が撮像した映像に合成し、前記映像合成装置が、前記生成した合成映像を前記端末装置に送信することを特徴とする映像合成方法である。

また、本発明は、コンピュータを、端末装置から、撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像に対する操作を示す操作情報を受信する操作情報受信部、前記操作情報受信部が受信した操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を決定するオブジェクト決定部、前記仮想空間に配置されたオブジェクトを前記撮像装置が撮像した映像に合成する映像合成部、前記映像合成部が生成した合成映像を、前記端末装置に送信する映像送信部として機能させるためのプログラムである。

本発明によれば、端末装置に合成映像を表示させ、映像合成装置が当該端末装置からの操作を受け付けることで、オブジェクトの制御を行う。これにより、合成映像の閲覧者に、当該合成映像に含まれるオブジェクトを制御させることができる。

本発明の一実施形態による拡張現実システムの構成を示す概略図である。 端末装置及び映像合成装置のソフトウェア構成を示す概略ブロック図である。 端末装置のユーザインタフェースの例を示す図である。 操作情報記憶部が記憶する情報の例を示す図である。 本実施形態による拡張現実システムの動作を示すシーケンス図である。 拡張現実システムによる第１の制御例の概略図である。 映像合成装置による第１の制御例の動作を示すフローチャートである。 拡張現実システムによる第２の制御例の概略図である。 映像合成装置による第２の制御例の動作を示すフローチャートである。 拡張現実システムによる第３の制御例の概略図である。 映像合成装置による第３の制御例の動作を示すフローチャートである。 拡張現実システムによる第４の制御例の概略図である。 映像合成装置による第４の制御例の動作を示すフローチャートである。 拡張現実システムによる第５の制御例の概略図である。 映像合成装置による第５の制御例の動作を示すフローチャートである。 拡張現実システムによる第６の制御例の概略図である。 映像合成装置による第６の制御例の動作を示すフローチャートである。 拡張現実システムによる第７の制御例の概略図である。 映像合成装置による第７の制御例の動作を示すフローチャートである。 拡張現実システムによる第８の制御例の概略図である。

以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による拡張現実システムの構成を示す概略図である。
拡張現実システムは、複数の端末装置１００、撮像装置２００、映像合成装置３００を備える。映像合成装置３００と端末装置１００とはネットワークを介して接続されている。

端末装置１００は、拡張現実システムから合成映像を受信し、当該映像を表示するとともに、利用者からの操作を受け付け、当該操作を示す操作情報をＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）により映像合成装置３００に送信する。なお、端末装置１００は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末、携帯電話、スマートフォン、ゲーム機器などによって実現することができるが、本実施形態では、端末装置１００がタッチパネルを備えるタブレット端末である場合を例に説明する。

撮像装置２００は、実空間の映像を撮像し、撮像した映像を映像合成装置３００に入力する。また、撮像装置２００には、撮像装置２００の姿勢を検出する姿勢センサと、撮像した映像の深度を検出する深度センサが備えられる。

映像合成装置３００は、撮像装置２００が撮像する映像にコンピュータグラフィックスのオブジェクトを合成した合成映像を生成し、当該合成映像をＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）により端末装置１００に送信する。

このような構成の拡張現実システムを提供することで、合成映像の閲覧者の各々が合成映像に含まれるオブジェクトの操作を行うことができる。

図２は、端末装置１００及び映像合成装置３００のソフトウェア構成を示す概略ブロック図である。
端末装置１００は、映像受信部１０１、映像表示部１０２、オブジェクト表示部１０３、操作部１０４、操作情報送信部１０５を備える。
映像受信部１０１は、映像合成装置３００から合成映像を受信する。
映像表示部１０２は、映像受信部１０１が受信した合成映像をタッチパネルに表示する。
オブジェクト表示部１０３は、操作部１０４の操作に応じて、合成映像に含まれるオブジェクトを操作するための操作ペインをタッチパネルに表示する。
操作部１０４は、利用者からタッチパネルのタッチ入力による操作を受け付ける。
操作情報送信部１０５は、操作部１０４が受け付けた操作を示す操作情報を映像合成装置３００に送信する。操作情報には、操作種別とオプション情報とが含まれる。操作種別とは、合成映像のオブジェクトに対する操作（例えば、オブジェクトの生成、移動、変形、削除など）の種別を示す情報である。オプション情報は、操作種別に応じて必要となる情報である。

図３は、端末装置１００のユーザインタフェースの例を示す図である。
端末装置１００のタッチパネルには、映像受信部１０１が受信した合成映像と、操作種別を特定するための複数のボタンが表示される。操作部１０４は、利用者がタッチしたボタンに応じて、操作種別を決定する。操作部１０４は、利用者がボタンをタッチしたとき、またはボタンをタッチした後に所定のタッチ操作をしたときに、操作情報を生成する。

図２に戻り、次に映像合成装置３００の構成について説明する。
映像合成装置３００は、操作情報受信部３０１、操作情報記憶部３０２、座標特定部３０３、計数部３０４、オブジェクト決定部３０５、仮想空間計算部３０６、映像取得部３０７、映像合成部３０８、解像度取得部３０９、映像送信部３１０、変更命令入力部３１１、操作情報変更部３１２を備える。

操作情報受信部３０１は、端末装置１００から操作情報を受信する。
操作情報記憶部３０２は、操作種別と、操作に用いるオプション情報と、オブジェクトに対する操作の内容とを関連付けて記憶する。

図４は、操作情報記憶部３０２が記憶する情報の例を示す図である。
操作情報記憶部３０２は、操作種別に関連付けて、オプション情報及び操作の内容を記憶する。
本実施形態では、操作種別「１」を示す操作情報には、オプション情報としてタッチ座標が含まれる。そして、当該操作情報を受信した場合、「タッチ座標に対応する位置に花火オブジェクトを表示させる」という操作を実行する。
また、操作種別「２」を示す操作情報には、オプション情報としてタッチ座標が含まれる。そして、当該操作情報を受信した場合、「タッチされたオブジェクトに関連付けられたアクションを実行する」という操作を実行する。
また、操作種別「３」を示す操作情報には、オプション情報としてタッチ座標が含まれる。そして、当該操作情報を受信した場合、「タッチされたマーカーにエフェクトオブジェクトを表示させる」という操作を実行する。なお、マーカーとは、被写体に取り付けてその三次元座標を特定するための目印となるものである。
また、操作種別「４」を示す操作情報には、オプション情報が含まれない。そして、当該操作情報を受信した場合、「操作情報の受信回数に応じて風船を膨らませる」という操作を実行する。

また、操作種別「５」を示す操作情報には、オプション情報が含まれない。そして、当該操作情報を受信した場合、「所定時間の間に受信した操作情報の数が１００以上である場合に応援メッセージを表示させる」という操作を実行する。
また、操作種別「６」を示す操作情報には、オプション情報としてジェスチャ情報が含まれる。そして、当該操作情報を受信した場合、「所定時間の間、ジェスチャ『○』とジェスチャ『×』を受け付け、数が多いものに関連付けられたオブジェクトを表示させる」という操作を実行する。
また、操作種別「７」を示す操作情報には、オプション情報が含まれない。そして、当該操作情報を受信した場合、「表示されているエフェクトオブジェクトを変更させる」という操作を実行する。
また、操作種別「８」を示す操作情報には、オプション情報として関節ＩＤ及び角度情報が含まれる。そして、当該操作情報を受信した場合、「対象となるオブジェクトの関節の角度を角度情報が示す角度に変形させる」という操作を実行する。
なお、図４の例では、操作の内容を文章で記載しているが、操作情報記憶部３０２は、実際にはオブジェクト決定部３０５に実行させるコマンドスクリプトなどを記憶する。

図２に戻り、座標特定部３０３は、操作情報にタッチ座標が含まれる場合、当該タッチ座標が示す仮想空間上の座標を特定する。
計数部３０４は、所定の操作種別を示す操作情報の受信回数を計数する。

オブジェクト決定部３０５は、操作情報記憶部３０２から、操作情報受信部３０１が受信した操作情報に対して実行すべき操作の内容を特定し、当該操作情報、座標特定部３０３が特定した座標及び計数部３０４が計数した受信回数に基づいて、仮想空間上のオブジェクトの位置及び形状を決定する。
仮想空間計算部３０６は、オブジェクト決定部３０５が決定した位置及び形状に基づいて仮想空間上のオブジェクトの制御を行う。

映像取得部３０７は、撮像装置２００から、撮像装置２００が撮像した映像、撮像装置２００の姿勢情報、及び映像の深度情報を取得する。
映像合成部３０８は、撮像装置２００が撮像した映像と仮想空間計算部３０６が計算した仮想空間上のオブジェクトとを合成し、合成映像を生成する。

解像度取得部３０９は、端末装置１００のタッチパネルの解像度を取得する。
映像送信部３１０は、映像合成部３０８が合成した合成映像を解像度取得部３０９が取得した解像度の映像に変換し、当該合成映像を端末装置１００に送信する。

変更命令入力部３１１は、管理者から操作種別に関連付ける操作の内容を変更する変更命令の入力を受け付ける。変更命令は、変更の対象となる操作種別と変更後の操作の内容とを含む。
操作情報変更部３１２は、操作情報記憶部３０２において、変更命令の操作種別に関連付けられた操作の内容を、変更命令の操作の内容に書き換える。
つまり、撮像装置２００が撮像した映像の場面の切り替わりのタイミングで、管理者が映像合成装置３００に変更命令を入力することで、利用者は、場面にマッチしたオブジェクトの操作を実行することができる。

次に、本実施形態による拡張現実システムの全体的な動作について説明する。
図５は、本実施形態による拡張現実システムの動作を示すシーケンス図である。
まず、端末装置１００が映像合成装置３００にアクセスすると、映像合成装置３００の解像度取得部３０９は、端末装置１００からタッチパネルの解像度を取得する（ステップＳ１）。
以降、撮像装置２００が撮像する映像が終了するまで、以下に示すステップＳ２〜Ｓ１３の処理を実行する。

映像合成装置３００の映像合成部３０８は、映像取得部３０７が取得した映像と仮想空間計算部３０６が計算するオブジェクトとを合成した合成映像を生成する（ステップＳ２）。映像合成部３０８が合成映像を生成する手順の一例としては、以下に示すものが挙げられる。まず映像合成部３０８は、映像取得部３０７が取得した撮像装置２００の姿勢情報に基づいて、仮想空間計算部３０６が計算したオブジェクトを描画するレンダリングカメラのパラメータを決定する。レンダリングカメラのパラメータとしては、例えば、レンダリングカメラの位置、視線方向、画角などが含まれる。

次に、映像合成部３０８は、映像取得部３０７が取得した映像の各画素に、撮像装置２００の深度センサが検出した深度情報を適用する。次に、映像合成部３０８は、仮想空間計算部３０６が計算したオブジェクトのうち、決定したカメラ位置からの深度が、映像の対応する画素の深度より低いもの（手前側に存在するもの）を描画する。これにより、映像合成部３０８は、合成映像を生成することができる。

次に、映像送信部３１０は、映像合成部３０８が生成した合成映像のサイズを、解像度取得部３０９が取得した解像度に合わせて変更する（ステップＳ３）。次に、映像送信部３１０は、サイズを変更した合成映像を、端末装置１００に送信する（ステップＳ４）。

映像合成装置３００が合成映像を送信すると、端末装置１００の映像受信部１０１は、映像合成装置３００から合成映像を受信する（ステップＳ５）。次に、映像表示部１０２は、映像受信部１０１が受信した映像をタッチパネルに表示させる（ステップＳ６）。
次に、操作部１０４は、利用者からのタッチ操作の入力があるか否かを判定する（ステップＳ７）。操作部１０４が、タッチ操作の入力が無いと判定した場合（ステップＳ７：ＮＯ）、端末装置１００は、次の合成映像の受信を待機する。

他方、操作部１０４は、タッチ操作の入力があったと判定した場合（ステップＳ７：ＹＥＳ）、タッチ操作の入力を受け付け、操作情報を生成する（ステップＳ８）。なお、操作部１０４がどのようなタッチ操作の入力を受け付け、どのような操作情報を生成するかは、操作種別によって異なる。操作部１０４が操作情報を生成すると、操作情報送信部１０５は、生成した操作情報を映像合成装置３００に送信する（ステップＳ９）。

映像合成装置３００の操作情報受信部３０１は、端末装置１００から操作情報を受信したか否かを判定する（ステップＳ１０）。端末装置１００がステップＳ７において操作を受け付け、操作情報を送信した場合、映像合成装置３００の操作情報受信部３０１は、操作情報を受信する（ステップＳ１０：ＹＥＳ）。この場合、オブジェクト決定部３０５は、操作情報受信部３０１が受信した操作情報の操作種別に関連付けられた操作の内容を、操作情報記憶部３０２から読み出す（ステップＳ１１）。そして、オブジェクト決定部３０５は、読み出した操作の内容に従って、オブジェクトの位置及び形状を決定する（ステップＳ１２）。

オブジェクト決定部３０５が操作の内容を実行した場合、または端末装置１００がステップＳ７において操作を受け付けなかったために操作情報受信部３０１が操作情報を受信しなかった場合（ステップＳ１０：ＮＯ）、仮想空間計算部３０６は、仮想空間におけるオブジェクトの位置及び形状を更新する（ステップＳ１３）。そして、ステップＳ２に戻り、映像合成部３０８は、合成映像の生成を行う。

このように、本実施形態によれば、映像合成装置３００が端末装置１００に合成映像を表示させ、映像合成装置３００が当該端末装置１００からの操作を受け付けることで、オブジェクトの制御を行う。これにより、合成映像の閲覧者に、当該合成映像に含まれるオブジェクトを制御させることができる。

また、本実施形態によれば、映像合成装置３００は、端末装置１００からタッチパネルの解像度を取得し、当該解像度に合わせた合成映像を端末装置１００に送信する。これにより、タッチパネルの解像度の異なる複数の端末に対して適切な合成映像を提供することができる。

次に、具体的なオブジェクトの制御についていくつかの例を示す。

《花火オブジェクトの表示》
図６は、拡張現実システムによる第１の制御例の概略図である。
端末装置１００のタッチパネルに、図３に示すユーザインタフェースが表示されている場合において、図６（Ａ）に示すように利用者が「花火」ボタンをタッチすると、端末装置１００の操作部１０４は、当該操作が「花火」ボタンに関連付けられた操作種別（ここでは操作種別「１」）の操作であると特定する。図４に示すとおり、操作種別「１」のオプション情報にはタッチ座標が含まれるため、操作部１０４は、次に花火オブジェクトを表示させる座標の入力を受け付ける。

図６（Ｂ）に示すように利用者がタッチパネルのうち合成映像が表示されている範囲内をタッチすると、操作部１０４は、タッチされた座標（二次元座標）を特定する。これにより、操作部１０４は、操作種別を「１」とし、オプション情報に特定したタッチ座標を含む操作情報を生成する。そして、操作情報送信部１０５は、操作部１０４が生成した操作情報を映像合成装置３００に送信する。
これにより、映像合成装置３００は、図６（Ｃ）に示すように、タッチされた座標に花火オブジェクトを配置した合成映像を生成する。

ここで、操作種別「１」の操作情報を受信したときの映像合成装置３００の動作について説明する。
図７は、映像合成装置３００による第１の制御例の動作を示すフローチャートである。
上述したステップＳ１１で映像合成装置３００のオブジェクト決定部３０５が操作種別「１」の操作の内容を読み出すと、座標特定部３０３は、操作情報受信部３０１が受信した操作情報に含まれるタッチ座標と解像度取得部３０９が取得した解像度とに基づいて、タッチされた座標の相対位置を特定する（ステップＳ１０１）。具体的には、タッチ座標のＸ座標及びＹ座標をそれぞれＸ方向の解像度とＹ方向の解像度で除算することで算出する。

次に、座標特定部３０３は、仮想空間計算部３０６におけるレンダリングカメラの位置を原点として、視線方向から当該レンダリングカメラの画角に相対位置を乗算して得られる角度だけずらした半直線の式を算出する。当該半直線は、操作情報に含まれるタッチ座標に対応する点の集合に相当する（ステップＳ１０２）。次に、座標特定部３０３は、算出した半直線のうち、レンダリングカメラの位置から所定の長さにある三次元座標を、花火オブジェクトを配置する座標として特定する（ステップＳ１０３）。ここで、所定の長さとしては、映像取得部３０７が取得した深度情報から、撮像範囲全体の深度の平均値や、特定の対象物が存在する位置の深度等が挙げられる。

次に、オブジェクト決定部３０５は、花火オブジェクトを生成し、当該花火オブジェクトを仮想空間のうち座標特定部３０３が特定した三次元座標に配置する（ステップＳ１０４）。そして、仮想空間計算部３０６が上述したステップＳ１３により仮想空間のオブジェクトの更新を行うことで、映像合成部３０８は、図６（Ｃ）に示すように花火オブジェクトを含む合成映像を生成することができる。

《オブジェクトに対するアクション指示》
図８は、拡張現実システムによる第２の制御例の概略図である。
端末装置１００のタッチパネルに、図３に示すユーザインタフェースが表示されている場合において、図８（Ａ）に示すように利用者が「アクション」ボタンをタッチすると、端末装置１００の操作部１０４は、当該操作が「アクション」ボタンに関連付けられた操作種別（ここでは操作種別「２」）の操作であると特定する。図４に示すとおり、操作種別「２」のオプション情報にはタッチ座標が含まれるため、操作部１０４は、次にアクションを実行させるオブジェクトが存在する座標の入力を受け付ける。

図８（Ｂ）に示すように利用者がタッチパネルのうち合成映像が表示されている範囲内をタッチすると、操作部１０４は、タッチされた座標を特定する。これにより、操作部１０４は、操作種別を「２」とし、オプション情報に特定したタッチ座標を含む操作情報を生成する。そして、操作情報送信部１０５は、操作部１０４が生成した操作情報を映像合成装置３００に送信する。
これにより、映像合成装置３００は、図８（Ｃ）に示すように、タッチされた座標に存在するオブジェクトにアクションを実行させた合成映像を生成する。

ここで、操作種別「２」の操作情報を受信したときの映像合成装置３００の動作について説明する。
図９は、映像合成装置３００による第２の制御例の動作を示すフローチャートである。
上述したステップＳ１１で映像合成装置３００のオブジェクト決定部３０５が操作種別「２」の操作の内容を読み出すと、座標特定部３０３は、操作情報受信部３０１が受信した操作情報に含まれるタッチ座標と解像度取得部３０９が取得した解像度とに基づいて、タッチされた座標の相対位置を特定する（ステップＳ２０１）。

次に、座標特定部３０３は、仮想空間計算部３０６におけるレンダリングカメラの位置を原点として、視線方向から当該レンダリングカメラの画角に相対位置を乗算して得られる角度だけずらした半直線の式を算出する（ステップＳ２０２）。次に、座標特定部３０３は、仮想空間内に算出した半直線と交差するオブジェクトが存在するか否かを判定する（ステップＳ３０３）。

座標特定部３０３が、半直線と交差するオブジェクトが存在しないと判定した場合（ステップＳ３０３：ＮＯ）、オブジェクト決定部３０５は、いずれのオブジェクトの位置及び形状も変更せず、処理を終了する。他方、座標特定部３０３は、半直線と交差するオブジェクトが存在すると判定した場合（ステップＳ３０３：ＹＥＳ）、当該オブジェクトが存在する三次元座標を特定する。そして、オブジェクト決定部３０５は、座標特定部３０３が特定した三次元座標上に存在するオブジェクトの位置及び形状を、当該オブジェクトに所定のアクションを実行させた場合の位置及び形状に決定する（ステップＳ３０４）。

そして、仮想空間計算部３０６が上述したステップＳ１３により仮想空間のオブジェクトの更新を行うことで、映像合成部３０８は、図８（Ｃ）に示すようにオブジェクトが所定のアクションを実行している状態を示す合成映像を生成することができる。

《マーカーにエフェクトオブジェクトを表示》
図１０は、拡張現実システムによる第３の制御例の概略図である。
端末装置１００のタッチパネルに、図３に示すユーザインタフェースが表示されている場合において、図１０（Ａ）に示すように利用者が「エフェクト表示」ボタンをタッチすると、端末装置１００の操作部１０４は、当該操作が「エフェクト表示」ボタンに関連付けられた操作種別（ここでは操作種別「３」）の操作であると特定する。図４に示すとおり、操作種別「３」のオプション情報にはタッチ座標が含まれるため、操作部１０４は、次にエフェクトを表示させるマーカーが存在する座標の入力を受け付ける。なお、マーカーとは、被写体に取り付けてその三次元座標を特定するための目印となるものである。

図１０（Ｂ）に示すように利用者がタッチパネルのうち合成映像が表示されている範囲内をタッチすると、操作部１０４は、タッチされた座標を特定する。これにより、操作部１０４は、操作種別を「３」とし、オプション情報に特定したタッチ座標を含む操作情報を生成する。そして、操作情報送信部１０５は、操作部１０４が生成した操作情報を映像合成装置３００に送信する。
これにより、映像合成装置３００は、図１０（Ｃ）に示すように、タッチされた座標の周辺に存在するマーカーの位置に所定のエフェクトオブジェクトを配置した合成映像を生成する。

ここで、操作種別「３」の操作情報を受信したときの映像合成装置３００の動作について説明する。
図１１は、映像合成装置３００による第３の制御例の動作を示すフローチャートである。
上述したステップＳ１１で映像合成装置３００のオブジェクト決定部３０５が操作種別「３」の操作の内容を読み出すと、座標特定部３０３は、操作情報受信部３０１が受信した操作情報に含まれるタッチ座標と解像度取得部３０９が取得した解像度とに基づいて、タッチされた座標の相対位置を特定する（ステップＳ３０１）。

次に、座標特定部３０３は、特定した相対位置に対応する映像取得部３０７が取得した映像上の座標を特定する（ステップＳ３０２）。ここで、座標特定部３０３は、映像取得部３０７が取得した映像に含まれるマーカーの座標を特定し、ステップＳ３０２で特定した座標の周辺（例えば、１００画素の範囲以内）にマーカーが存在するか否かを判定する（ステップＳ３０３）。

座標特定部３０３が、特定した座標の周辺にマーカーが存在しないと判定した場合（ステップＳ３０３：ＮＯ）、オブジェクト決定部３０５は、いずれのオブジェクトの位置及び形状も変更せず、処理を終了する。他方、座標特定部３０３は、特定した座標の周辺にマーカーが存在すると判定した場合（ステップＳ３０３：ＹＥＳ）、映像取得部３０７が取得した深度情報からマーカーが存在する座標の深度を取得する（ステップＳ３０４）。

次に、座標特定部３０３は、仮想空間計算部３０６におけるレンダリングカメラの位置を原点として、視線方向から当該レンダリングカメラの画角に相対位置を乗算して得られる角度だけずらした半直線の式を算出する（ステップＳ３０５）。次に、座標特定部３０３は、算出した半直線のうち、レンダリングカメラの位置からステップＳ３０４で特定した深度の位置にあたる三次元座標を、エフェクトオブジェクトを配置する座標として特定する（ステップＳ３０６）。

次に、オブジェクト決定部３０５は、エフェクトオブジェクトを生成し、当該エフェクトオブジェクトを仮想空間のうち座標特定部３０３が特定した三次元座標に配置する（ステップＳ３０７）。そして、仮想空間計算部３０６が上述したステップＳ１３により仮想空間のオブジェクトの更新を行うことで、映像合成部３０８は、図１０（Ｃ）に示すようにエフェクトオブジェクトを含む合成映像を生成することができる。なお、本処理によってエフェクトオブジェクトを追加した以降、仮想空間計算部３０６は、映像取得部３０７が取得した映像に含まれるマーカーの位置に追従させるようエフェクトの位置の計算を行う。

なお、ここでは、被写体に取り付けて三次元座標を特定するマーカーを用いることで、映像取得部３０７が取得した映像に含まれる被写体にエフェクトを追従させる方法について説明したが、これに限られない。例えば、エフェクトを追従させる被写体が人物である場合、被写体にマーカーを取り付けることに代えて、被写体の骨構造を推定し、当該骨構造に基づいてエフェクトの位置の計算を行うようにしても良い。被写体の骨構造の推定方法としては、例えば、映像取得部３０７が取得した映像にパターンマッチングを掛ける方法や、赤外線センサなどにより撮像装置２００によって撮像される空間に存在する障害物の三次元座標を算出し、当該三次元座標に基づいて障害物の中から被写体を抽出する方法などが挙げられる。

《風船オブジェクトに対するアクション》
図１２は、拡張現実システムによる第４の制御例の概略図である。
端末装置１００のタッチパネルに、図３に示すユーザインタフェースが表示されている場合において、図１２（Ａ）に示すように利用者が「風船」ボタンをタッチすると、端末装置１００の操作部１０４は、当該操作が「風船」ボタンに関連付けられた操作種別（ここでは操作種別「４」）の操作であると特定し、操作種別を「４」とする操作情報を生成する。そして、操作情報送信部１０５は、操作部１０４が生成した操作情報を映像合成装置３００に送信する。

そして、全ての端末装置１００における「風船」ボタンのタッチ回数の総数が第１の閾値（例えば１０回）に達した場合、映像合成装置３００は、図１２（Ｂ）に示すように風船オブジェクトを膨らました合成映像を生成する。さらに、「風船」ボタンのタッチ回数の総数が第２の閾値（例えば１００回）に達した場合、映像合成装置３００は、図１２（Ｃ）に示すように風船オブジェクトを破裂させた合成映像を生成する。

ここで、操作種別「４」の操作情報を受信したときの映像合成装置３００の動作について説明する。
図１３は、映像合成装置３００による第４の制御例の動作を示すフローチャートである。
上述したステップＳ１１で映像合成装置３００のオブジェクト決定部３０５が操作種別「４」の操作の内容を読み出すと、まずオブジェクト決定部３０５は、仮想空間計算部３０６が計算する仮想空間に風船オブジェクトが存在するか否かを判定する（ステップＳ４０１）。オブジェクト決定部３０５は、仮想空間に風船オブジェクトが存在しないと判定した場合（ステップＳ４０１：ＮＯ）、処理を終了する。

他方、オブジェクト決定部３０５が、仮想空間に風船オブジェクトが存在すると判定した場合（ステップＳ４０１：ＹＥＳ）、計数部３０４は、内部メモリに記憶する操作種別「４」の操作情報の受信回数に１を加算する（ステップＳ４０２）。

次に、オブジェクト決定部３０５は、計数部３０４が計数する操作種別「４」の操作情報の受信回数が第１の閾値に達したか否かを判定する（ステップＳ４０３）。オブジェクト決定部３０５は、受信回数が第１の閾値を達していないと判定した場合（ステップＳ４０３：ＮＯ）、風船オブジェクトの位置及び形状の変更を行わずに、処理を終了する。他方、オブジェクト決定部３０５は、受信回数が第１の閾値を達したと判定した場合（ステップＳ４０３：ＹＥＳ）、受信回数が第２の閾値に達したか否かを判定する（ステップＳ４０４）。

オブジェクト決定部３０５は、受信回数が第２の閾値を達していないと判定した場合（ステップＳ４０４：ＮＯ）、風船オブジェクトの位置及び形状を、風船オブジェクトが膨らんだときの状態として予め定められた位置及び形状に決定する（ステップＳ４０５）。
他方、オブジェクト決定部３０５は、受信回数が第２の閾値を達したと判定した場合（ステップＳ４０４：ＹＥＳ）、風船オブジェクトの位置及び形状を、風船オブジェクトが破裂したときの状態として予め定められた位置及び形状に決定する（ステップＳ４０６）。

そして、仮想空間計算部３０６が上述したステップＳ１３により仮想空間のオブジェクトの更新を行うことで、映像合成部３０８は、図１２（Ｂ）や図１２（Ｃ）に示すように風船オブジェクトの状態が変化した合成映像を生成することができる。
このように、計数部３０４が計数した値に基づいてオブジェクトの位置及び形状を決定することで、映像合成装置３００と通信を行う端末装置１００の数が多い場合にも、合成映像に表示させるオブジェクトが煩雑にならないようにすることができる。

《応援アクション》
図１４は、拡張現実システムによる第５の制御例の概略図である。
端末装置１００のタッチパネルに、図３に示すユーザインタフェースが表示されている場合において、図１４（Ｂ）に示すように利用者が「応援」ボタンをタッチすると、端末装置１００の操作部１０４は、当該操作が「応援」ボタンに関連付けられた操作種別（ここでは操作種別「５」）の操作であると特定し、操作種別を「５」とする操作情報を生成する。そして、操作情報送信部１０５は、操作部１０４が生成した操作情報を映像合成装置３００に送信する。

ここで、「応援」ボタンをタッチする場面について説明する。
映像合成装置３００の映像合成部３０８は、図１４（Ａ）に示すように「ＲＥＡＤＹ…」の文字を表示し、その所定時間後に、図１４（Ｂ）に示すように「ＣＨＥＥＲ！」の文字を表示する合成映像を生成する。そして、映像合成装置３００は、合成映像に「ＣＨＥＥＲ！」の文字が表示されるタイミングで「応援」ボタンがタッチされた数が所定の閾値（例えば、１００回）に達する場合に、図１２（Ｃ）に示すように所定のエフェクトオブジェクトを配置した合成映像を生成するというものである。

ここで、操作種別「５」の操作情報を受信したときの映像合成装置３００の動作について説明する。
図１５は、映像合成装置３００による第５の制御例の動作を示すフローチャートである。
上述したステップＳ１１で映像合成装置３００のオブジェクト決定部３０５が操作種別「５」の操作の内容を読み出すと、計数部３０４は、現在時刻が、映像合成部３０８が「ＣＨＥＥＲ！」の文字を含む合成映像を生成してから所定の制限時間（例えば、１秒）内の時刻であるか否かを判定する（ステップＳ５０１）。計数部３０４が、現在時刻が所定の制限時間内の時刻でないと判定した場合（ステップＳ５０１：ＮＯ）、処理を終了する。

他方、計数部３０４は、現在時刻が所定の制限時間内の時刻であると判定した場合（ステップＳ５０１：ＹＥＳ）、内部メモリに記憶する操作種別「５」の操作情報の受信回数に１を加算する（ステップＳ５０２）。

次に、オブジェクト決定部３０５は、計数部３０４が計数する操作種別「５」の操作情報の受信回数が所定の閾値に達したか否かを判定する（ステップＳ５０３）。オブジェクト決定部３０５は、受信回数が所定の閾値を達していないと判定した場合（ステップＳ５０３：ＮＯ）、いずれのオブジェクトの位置及び形状の変更も行わずに、処理を終了する。

他方、オブジェクト決定部３０５は、受信回数が所定の閾値を達したと判定した場合（ステップＳ５０３：ＹＥＳ）、エフェクトオブジェクトを生成し、当該エフェクトオブジェクトを所定の位置に配置する（ステップＳ５０４）。そして、仮想空間計算部３０６が上述したステップＳ１３により仮想空間のオブジェクトの更新を行うことで、映像合成部３０８は、図１４（Ｃ）に示すように所定のタイミングにおいて「応援」ボタンのタッチ数が所定数に達した場合に、エフェクトオブジェクトを含む合成映像を生成することができる。

《○×ジェスチャ入力》
図１６は、拡張現実システムによる第６の制御例の概略図である。
端末装置１００のタッチパネルに、図３に示すユーザインタフェースが表示されている場合において、図１６（Ａ）に示すように利用者が「○×」ボタンをタッチすると、端末装置１００の操作部１０４は、当該操作が「○×」ボタンに関連付けられた操作種別（ここでは操作種別「６」）の操作であると特定する。図４に示すとおり、操作種別「６」のオプション情報にはジェスチャ情報が含まれるため、操作部１０４は、次にタッチ操作によるジェスチャの入力を受け付ける。

図１６（Ｂ）に示すように利用者がタッチパネルにおいて所定のタッチ操作を行うと、操作部１０４は、タッチ操作の軌跡を特定し、当該軌跡が予め定められたジェスチャ（例えば、○、×）のうちいずれのジェスチャに該当するかを特定する。そして、操作部１０４は、操作種別を「６」とし、オプション情報に特定したジェスチャを示すジェスチャ情報を含む操作情報を生成する。そして、操作情報送信部１０５は、操作部１０４が生成した操作情報を映像合成装置３００に送信する。
これにより、映像合成装置３００は、図１６（Ｃ）に示すように、ジェスチャ情報が示す入力の多数決の結果を示すオブジェクトを含む合成映像を生成する。

ここで、操作種別「６」の操作情報を受信したときの映像合成装置３００の動作について説明する。
図１７は、映像合成装置３００による第６の制御例の動作を示すフローチャートである。
上述したステップＳ１１で映像合成装置３００のオブジェクト決定部３０５が操作種別「６」の操作の内容を読み出すと、計数部３０４は、受信した操作情報のジェスチャ情報を読み出し、該当するジェスチャ情報（○または×）の受付数に１を加算する（ステップＳ６０１）。
次に、計数部３０４は、現在時刻が操作種別「６」の操作情報の受け付けの締め切り時刻に達したか否かを判定する（ステップＳ６０２）。計数部３０４は、現在時刻が操作種別「６」の操作情報の受け付けの締め切り時刻に達していないと判定した場合（ステップＳ６０２：ＮＯ）、処理を終了する。

他方、計数部３０４が、現在時刻が操作種別「６」の操作情報の受け付けの締め切り時刻に達したと判定した場合（ステップＳ６０２：ＹＥＳ）、オブジェクト決定部３０５は、計数部３０４が受付数を計数した受付数が最も多いジェスチャ情報を特定する（ステップＳ６０３）。そして、オブジェクト決定部３０５は、特定したジェスチャ情報に対応するオブジェクト（例えば、図１６（Ｃ）の文字オブジェクト「ＹＥＳ」など）を生成し、当該エフェクトオブジェクトを所定の位置に配置する（ステップＳ６０４）。

そして、仮想空間計算部３０６が上述したステップＳ１３により仮想空間のオブジェクトの更新を行うことで、映像合成部３０８は、図１６（Ｃ）に示すようにジェスチャ情報に対応するオブジェクトを含む合成映像を生成することができる。

《エフェクトオブジェクトの変更》
図１８は、拡張現実システムによる第７の制御例の概略図である。
端末装置１００のタッチパネルに、図３に示すユーザインタフェースが表示されている場合において、図１８（Ａ）に示すように利用者が「エフェクト変更」ボタンをタッチすると、端末装置１００の操作部１０４は、当該操作が「エフェクト変更」ボタンに関連付けられた操作種別（ここでは操作種別「７」）の操作であると特定し、操作種別を「７」とする操作情報を生成する。そして、操作情報送信部１０５は、操作部１０４が生成した操作情報を映像合成装置３００に送信する。
これにより、映像合成装置３００は、図１８（Ｂ）に示すように、エフェクトオブジェクトを変更した合成映像を生成する。

ここで、操作種別「７」の操作情報を受信したときの映像合成装置３００の動作について説明する。
図１９は、映像合成装置３００による第７の制御例の動作を示すフローチャートである。
上述したステップＳ１１で映像合成装置３００のオブジェクト決定部３０５が操作種別「７」の操作の内容を読み出すと、まずオブジェクト決定部３０５は、仮想空間計算部３０６が計算する仮想空間にエフェクトオブジェクトが存在するか否かを判定する（ステップＳ７０１）。オブジェクト決定部３０５は、仮想空間にエフェクトオブジェクトが存在しないと判定した場合（ステップＳ７０１：ＮＯ）、処理を終了する。

他方、オブジェクト決定部３０５が、仮想空間にエフェクトオブジェクトが存在すると判定した場合（ステップＳ７０１：ＹＥＳ）、当該エフェクトオブジェクトの形状を、予め定められた他の形状に決定する（ステップＳ７０２）。

そして、仮想空間計算部３０６が上述したステップＳ１３により仮想空間のオブジェクトの更新を行うことで、映像合成部３０８は、図１８（Ｂ）に示すようにエフェクトオブジェクトが変化した合成映像を生成することができる。

《キャラクタオブジェクトの操作》
図２０は、拡張現実システムによる第８の制御例の概略図である。
端末装置１００のタッチパネルに、図３に示すユーザインタフェースが表示されている場合において、図２０（Ａ）に示すように利用者が「キャラクタ操作」ボタンをタッチすると、端末装置１００の操作部１０４は、当該操作が「キャラクタ操作」ボタンに関連付けられた操作種別（ここでは操作種別「８」）の操作であると特定する。

次に、オブジェクト表示部１０３は、映像受信部１０１が受信した映像に含まれるキャラクタオブジェクトを含む操作ペインをタッチパネルに表示する。操作ペインには、キャラクタオブジェクトに重畳して、当該キャラクタオブジェクトの関節と関節間のつながりを示すリンク線が提示される。また、操作ペインには、キャラクタオブジェクトを回転させる回転ボタンが含まれる。

ここで、図６（Ｂ）に示すように利用者がタッチパネルに表示された操作ペイン上のキャラクタオブジェクトをタッチすると、操作部１０４は、タッチされたキャラクタオブジェクトの部位の基準となる関節の関節ＩＤを特定する。そして、利用者がキャラクタオブジェクトをドラッグ操作すると、操作部１０４は、当該ドラッグ操作の移動量に対応する関節の回転角を算出する。そして、操作部１０４は、操作種別を「８」とし、オプション情報に特定した関節ＩＤ及び回転角を含む操作情報を生成する。そして、操作情報送信部１０５は、操作部１０４が生成した操作情報を映像合成装置３００に送信する。

ここで、操作種別「８」の操作情報を受信したときの映像合成装置３００の動作について説明する。
上述したステップＳ１１で映像合成装置３００のオブジェクト決定部３０５が操作種別「８」の操作の内容を読み出すと、オブジェクト決定部３０５は、対応するキャラクタオブジェクトの関節のうち、操作情報に含まれる関節ＩＤが示すものを、操作情報に含まれる角度情報が示す角度だけ回転させる。つまり、オブジェクト決定部３０５は、利用者によるドラッグ操作においてドラッグされたオブジェクトの一部の位置及び形状を、ドラッグ後の位置及び形状に変更する。そして、仮想空間計算部３０６が上述したステップＳ１３により仮想空間のオブジェクトの更新を行うことで、利用者の操作と同期してオブジェクトの位置及び形状を変化させた合成映像を生成する。

なお、利用者が操作ペイン上の回転ボタンをタッチすると、オブジェクト表示部１０３は、当該タッチに応じて操作ペイン内のオブジェクトを描画するレンダリングカメラの回転角を増減させることで、操作ペイン内のキャラクタオブジェクトを回転させる。これにより、利用者は、キャラクタオブジェクトの形状を高さ方向、幅方向に加えて奥行き方向に変化させる操作を行うことができる。なお、ここでは回転ボタンのタッチにより操作ペイン内のキャラクタオブジェクトを回転させる例について説明したが、これに限られず、レンダリングカメラの位置や画角など、その他のパラメータを変更するボタンを備える構成としても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、合成映像の操作は上述した８つの制御例に限られず、その他の制御を行っても良い。

また、本実施形態では、映像合成装置３００と通信を行う端末装置１００が複数存在する場合について説明したが、これに限られず、映像合成装置３００は１つの端末装置１００と通信を行うものであっても良い。

また、本実施形態では、管理者が映像合成装置３００に変更命令を直接入力する場合について説明したが、これに限られず、ネットワークを介して接続される外部装置を介して入力するものであっても良い。

また、本実施形態では、端末装置１００が操作情報をＴＣＰにより映像合成装置３００に送信し、映像合成装置３００がＵＤＰにより合成映像を端末装置１００に送信する場合について説明したが、これに限られない。例えば、端末装置１００は、ＵＤＰやその他のプロトコルに従って操作情報を送信しても良いし、映像合成装置３００は、ＴＣＰやその他のプロトコルに従って合成映像を送信しても良い。

なお、上述の端末装置１００及び映像合成装置３００はそれぞれ内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００…端末装置 １０１…映像受信部 １０２…映像表示部 １０３…オブジェクト表示部 １０４…操作部 １０５…操作情報送信部 ２００…撮像装置 ３００…映像合成装置 ３０１…操作情報受信部 ３０２…操作情報記憶部 ３０３…座標特定部 ３０４…計数部 ３０５…オブジェクト決定部 ３０６…仮想空間計算部 ３０７…映像取得部 ３０８…映像合成部 ３０９…解像度取得部 ３１０…映像送信部 ３１１…変更命令入力部 ３１２…操作情報変更部

映像とコンピュータグラフィックスのオブジェクトとの合成映像を提供する拡張現実システム、当該拡張現実システムが備える映像合成装置、並びに当該拡張現実システムによる映像合成方法及びそのプログラムに関する。

本発明は上記の課題を解決するためになされたものであり、撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像を生成する映像合成装置と、前記合成映像を表示する複数の端末装置とを備える拡張現実システムであって、前記端末装置は、前記映像合成装置から合成映像を受信する映像受信部と、前記映像受信部が受信した合成映像を表示する映像表示部と、前記映像表示部に表示された合成映像に対する操作を示す操作情報の入力を受け付ける操作部と、前記操作部が受け付けた操作情報を前記映像合成装置に送信する操作情報送信部とを備え、前記映像合成装置は、前記複数の端末装置から前記操作情報を受信する操作情報受信部と、前記操作情報受信部が前記複数の端末装置から受信した操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を変更するオブジェクト決定部と、前記仮想空間に配置されたオブジェクトを前記撮像装置が撮像した映像に合成する映像合成部と、前記映像合成部が生成した合成映像を、前記複数の端末装置に送信する映像送信部とを備えることを特徴とする。

また、本発明において前記映像合成装置は、前記操作情報受信部が前記複数の端末装置から受信した操作情報のうち、同一の操作を示す操作情報の受信回数を計数する計数部を備え、前記オブジェクト決定部は、前記計数部が計数した受信回数が所定の閾値以上となった場合に、当該操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を変更することを特徴とする。
また、本発明において前記オブジェクト決定部は、前記計数部が計数した受信回数が第１の閾値以上となった場合に、当該操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を第１の位置及び形状に変更し、前記計数部が計数した受信回数が第２の閾値以上となった場合に、当該操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を第２の位置及び形状に変更することを特徴とする。

また、本発明において前記計数部は、所定の制限時間内に前記操作情報受信部が前記複数の端末装置から受信した同一の操作を示す操作情報の受信回数を計数することを特徴とする。
また、本発明において前記計数部は、複数の種類の操作情報の受信回数を計数し、前記オブジェクト決定部は、前記制限時間が経過したときに、前記計数部が計数した受信回数が最も多い操作情報に関連付けられたオブジェクトを生成し、当該オブジェクトを所定の位置に配置することを特徴とする。

また、本発明において前記操作部は、前記操作情報として所定の操作を実行させる前記映像表示部が表示する合成映像上の二次元座標の指定を受け付け、前記映像合成装置は、前記操作情報が示す二次元座標に対応する前記仮想空間上の三次元座標を特定する座標特定部を備え、前記オブジェクト決定部は、前記座標特定部が特定した三次元座標が示す位置における前記オブジェクトの位置及び形状を変更することを特徴とする。

また、本発明において前記座標特定部は、前記操作情報が示す二次元座標を前記仮想空間に投影した直線上に前記オブジェクトが存在する場合、当該オブジェクトが存在する三次元座標を特定し、前記オブジェクト決定部は、前記座標特定部が特定した三次元座標が示す位置に存在する前記オブジェクトの位置及び形状を変更することを特徴とする。
また、本発明において前記座標特定部は、前記撮像装置が撮像した映像における前記操作情報が示す二次元座標の周辺の所定の範囲内にマーカーが存在する場合、当該マーカーが存在する三次元座標を特定し、前記オブジェクト決定部は、前記座標特定部が特定した三次元座標が示す位置にオブジェクトを配置することを特徴とする。

また、本発明において前記映像合成装置は、前記操作情報に関連付けて当該操作情報が示す操作の内容を記憶する操作情報記憶部と、管理者から前記操作情報の内容の変更を示す操作内容変更命令の入力を受け付ける変更命令入力部と、前記操作情報記憶部が記憶する操作の内容を前記変更命令入力部が入力した内容に変更する操作情報変更部とを備え、前記オブジェクト決定部は、前記操作情報受信部が受信した操作情報に関連付けられた操作の内容を前記操作情報記憶部から取得し、当該操作の内容に基づいて前記オブジェクトの仮想空間における位置及び形状を変更することを特徴とする。

また、本発明において前記映像合成装置は、前記複数の端末装置から当該端末装置のディスプレイ解像度を取得する解像度取得部を備え、前記映像送信部は、前記映像合成部が生成した合成映像を、前記解像度取得部が取得した解像度に変換して前記端末装置に送信することを特徴とする。

また、本発明において前記映像合成部は、前記撮像装置の撮像対象の三次元位置情報を検出する三次元位置センサから、前記撮像対象の位置情報及び撮像装置の姿勢情報を取得し、当該位置情報及び姿勢情報に基づいて前記仮想空間に配置されたオブジェクトを前記映像に合成することを特徴とする。

また、本発明において前記端末装置は、前記映像受信部が受信した合成映像に含まれるオブジェクトを当該オブジェクトの関節とともに操作ペイン内に表示するオブジェクト表示部を備え、
前記操作部は、前記操作情報として、前記オブジェクト表示部が表示する前記操作ペイン内のオブジェクトの部位をドラッグする操作を受け付け、前記オブジェクト決定部は、前記操作においてタッチされた部位の基準となる関節を特定し、前記操作情報が示すドラッグ操作の移動量に対応する前記関節の回転角に基づいて前記ドラッグ操作においてドラッグされたオブジェクトの一部の位置及び形状を、ドラッグ後の位置及び形状に変更することを特徴とする。

また、本発明において前記オブジェクト表示部は、利用者の操作に従って前記操作ペイン内の前記オブジェクトを描画するレンダリングカメラのパラメータを変更することを特徴とすることを特徴とする。

また、本発明は、撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像を生成する映像合成装置であって、複数の端末装置から前記合成映像に対する操作を示す操作情報を受信する操作情報受信部と、前記操作情報受信部が前記複数の端末装置から受信した操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を変更するオブジェクト決定部と、前記仮想空間に配置されたオブジェクトを前記撮像装置が撮像した映像に合成する映像合成部と、前記映像合成部が生成した合成映像を、前記複数の端末装置に送信する映像送信部とを備えることを特徴とする。

また、本発明は、撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像を生成する映像合成装置が、複数の端末装置から前記合成映像に対する操作を示す操作情報を受信し、前記映像合成装置が、前記複数の端末装置から受信した操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を変更し、前記映像合成装置が、前記仮想空間に配置されたオブジェクトを前記撮像装置が撮像した映像に合成し、前記映像合成装置が、前記生成した合成映像を前記複数の端末装置に送信することを特徴とする映像合成方法である。

また、本発明は、コンピュータを、複数の端末装置から、撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像に対する操作を示す操作情報を受信する操作情報受信部、前記操作情報受信部が前記複数の端末装置から受信した操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を変更するオブジェクト決定部、前記仮想空間に配置されたオブジェクトを前記撮像装置が撮像した映像に合成する映像合成部、前記映像合成部が生成した合成映像を、前記複数の端末装置に送信する映像送信部として機能させるためのプログラムである。

また、本発明において前記座標特定部は、前記撮像装置が撮像した映像における前記操作情報が示す二次元座標の周辺の所定の範囲内にマーカーが存在する場合、当該マーカーが存在する三次元座標を特定し、前記オブジェクト決定部は、前記座標特定部が特定した三次元座標が示す位置にオブジェクトを配置することを特徴とする。

Claims (18)

1. 撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像を生成する映像合成装置と、前記合成映像を表示する１または複数の端末装置とを備える拡張現実システムであって、
   前記端末装置は、
   前記映像合成装置から合成映像を受信する映像受信部と、
   前記映像受信部が受信した合成映像を表示する映像表示部と、
   前記映像表示部に表示された合成映像に対する操作を示す操作情報の入力を受け付ける操作部と、
   前記操作部が受け付けた操作情報を前記映像合成装置に送信する操作情報送信部と
   を備え、
   前記映像合成装置は、
   前記端末装置から前記操作情報を受信する操作情報受信部と、
   前記操作情報受信部が受信した操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を決定するオブジェクト決定部と、
   前記仮想空間に配置されたオブジェクトを前記撮像装置が撮像した映像に合成する映像合成部と、
   前記映像合成部が生成した合成映像を、前記端末装置に送信する映像送信部と
   を備えることを特徴とする拡張現実システム。
2. 前記映像合成装置は、前記操作情報受信部が受信した操作情報のうち、同一の操作を示す操作情報の受信回数を計数する計数部を備え、
   前記オブジェクト決定部は、前記計数部が計数した受信回数が所定の閾値以上となった場合に、当該操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を決定する
   ことを特徴とする請求項１に記載の拡張現実システム。
3. 前記計数部は、所定の制限時間内に前記操作情報受信部が受信した同一の操作を示す操作情報の受信回数を計数する
   ことを特徴とする請求項２に記載の拡張現実システム。
4. 前記操作部は、前記操作情報として所定の操作を実行させる前記映像表示部が表示する合成映像上の二次元座標の指定を受け付け、
   前記映像合成装置は、前記操作情報が示す二次元座標に対応する前記仮想空間上の三次元座標を特定する座標特定部を備え、
   前記オブジェクト決定部は、前記座標特定部が特定した三次元座標が示す位置における前記オブジェクトの位置及び形状を決定する
   ことを特徴とする請求項１から請求項３の何れか１項に記載の拡張現実システム。
5. 前記座標特定部は、前記操作情報が示す二次元座標を前記仮想空間に投影した直線上に前記オブジェクトが存在する場合、当該オブジェクトが存在する三次元座標を特定し、
   前記オブジェクト決定部は、前記座標特定部が特定した三次元座標が示す位置に存在する前記オブジェクトの位置及び形状を決定する
   ことを特徴とする請求項４に記載の拡張現実システム。
6. 前記座標特定部は、前記操作情報が示す二次元座標と当該操作情報の送信元の端末装置のディスプレイ解像度とに基づいて、前記操作情報が示す二次元座標に対応する前記仮想空間上の三次元座標を特定する
   ことを特徴とする請求項４または請求項５に記載の拡張現実システム。
7. 前記映像合成装置は、
   前記操作情報に関連付けて当該操作情報が示す操作の内容を記憶する操作情報記憶部と、
   前記操作情報の内容の変更を示す操作内容変更命令の入力を受け付ける変更命令入力部と、
   前記操作情報記憶部が記憶する操作の内容を前記変更命令入力部が入力した内容に変更する操作情報変更部と
   を備え、
   前記オブジェクト決定部は、前記操作情報受信部が受信した操作情報に関連付けられた操作の内容を前記操作情報記憶部から取得し、当該操作の内容に基づいて前記オブジェクトの仮想空間における位置及び形状を決定する
   ことを特徴とする請求項１から請求項６の何れか１項に記載の拡張現実システム。
8. 前記映像合成装置は、前記端末装置から当該端末装置のディスプレイ解像度を取得する解像度取得部を備え、
   前記映像送信部は、前記映像合成部が生成した合成映像を、前記解像度取得部が取得した解像度に変換して前記端末装置に送信する
   ことを特徴とする請求項１から請求項７の何れか１項に記載の拡張現実システム。
9. 映像合成部は、前記撮像装置の撮像対象の三次元位置情報を検出する三次元位置センサから、前記撮像対象の位置情報を取得し、当該位置情報に基づいて前記仮想空間に配置されたオブジェクトを前記映像に合成する
   ことを特徴とする請求項１から請求項８の何れか１項に記載の拡張現実システム。
10. 前記端末装置は、前記映像受信部が受信した合成映像に含まれるオブジェクトを表示するオブジェクト表示部を備え、
    前記操作部は、前記操作情報として、前記オブジェクト表示部が表示するオブジェクトの一部をドラッグする操作を受け付け、
    前記オブジェクト決定部は、前記操作情報が示すドラッグ操作においてドラッグされたオブジェクトの一部の位置及び形状を、ドラッグ後の位置及び形状に変更する
    ことを特徴とする請求項１から請求項９の何れか１項に記載の拡張現実システム。
11. 前記オブジェクト表示部は、利用者の操作に従って前記オブジェクトを描画するレンダリングカメラのパラメータを変更することを特徴とする請求項１０に記載の拡張現実システム。
12. 前記操作部は、タッチパネル上のタッチ操作の入力を受け付け、当該タッチ操作の軌跡に対応する操作情報を特定する
    ことを特徴とする請求項１から請求項１１の何れか１項に記載の拡張現実システム。
13. 撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像を生成する映像合成装置から合成映像を受信する映像受信部と、
    前記映像受信部が受信した合成映像を表示する映像表示部と、
    前記映像表示部に表示された合成映像に対する操作を示す操作情報の入力を受け付ける操作部と、
    前記操作部が受け付けた操作情報を前記映像合成装置に送信する操作情報送信部と
    を備えることを特徴とする端末装置。
14. 端末装置が、撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像を生成する映像合成装置から合成映像を受信し、
    前記端末装置が、受信した合成映像を表示し、
    前記端末装置が、前記表示した合成映像に対する操作を示す操作情報の入力を受け付け、
    前記端末装置が、前記受け付けた操作情報を前記映像合成装置に送信する
    ことを特徴とする拡張現実制御方法。
15. コンピュータを、
    撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像を生成する映像合成装置から合成映像を受信する映像受信部、
    前記映像受信部が受信した合成映像を表示する映像表示部、
    前記映像表示部に表示された合成映像に対する操作を示す操作情報の入力を受け付ける操作部、
    前記操作部が受け付けた操作情報を前記映像合成装置に送信する操作情報送信部
    として機能させるためのプログラム。
16. 撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像を生成する映像合成装置であって、
    端末装置から前記合成映像に対する操作を示す操作情報を受信する操作情報受信部と、
    前記操作情報受信部が受信した操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を決定するオブジェクト決定部と、
    前記仮想空間に配置されたオブジェクトを前記撮像装置が撮像した映像に合成する映像合成部と、
    前記映像合成部が生成した合成映像を、前記端末装置に送信する映像送信部と
    を備えることを特徴とする映像合成装置。
17. 撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像を生成する映像合成装置が、端末装置から前記合成映像に対する操作を示す操作情報を受信し、
    前記映像合成装置が、前記受信した操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を決定し、
    前記映像合成装置が、前記仮想空間に配置されたオブジェクトを前記撮像装置が撮像した映像に合成し、
    前記映像合成装置が、前記生成した合成映像を前記端末装置に送信する
    ことを特徴とする映像合成方法。
18. コンピュータを、
    端末装置から、撮像装置が撮像した映像とコンピュータグラフィックスのオブジェクトとの合成映像に対する操作を示す操作情報を受信する操作情報受信部、
    前記操作情報受信部が受信した操作情報に基づいて前記オブジェクトの仮想空間における位置及び形状を決定するオブジェクト決定部、
    前記仮想空間に配置されたオブジェクトを前記撮像装置が撮像した映像に合成する映像合成部、
    前記映像合成部が生成した合成映像を、前記端末装置に送信する映像送信部
    として機能させるためのプログラム。

Images