JP2020119334A - プログラム、電子機器およびデータ記録方法 - Google Patents

Abstract

【課題】「ユーザ自らがビデオカメラを手に持って撮影した」というリアリティのある拡張現実や仮想現実の動画を作成するための新たな技術の提供。【解決手段】ユーザ端末１５００は、ユーザ端末１５００の位置および姿勢を計測した計測データを取得する機能を有し、被写体オブジェクトと仮想カメラと仮想３次元空間に配置して、仮想カメラの位置および姿勢を、計測データに連動させて制御する。そして、ユーザ端末１５００は、仮想カメラで撮影された仮想空間画像を生成してモニタ画像として表示しつつ、仮想カメラの位置および姿勢を再現可能なカメラワークデータ５５０を記録する。【選択図】図５

Description

本発明は、コンピュータに仮想３次元空間の画像を生成する機能を実現させるためのプログラム等に関する。

拡張現実（ＡＲ：Augmented Reality）の技術は、さまざまな分野で利用されている。例えば、特許文献１では、現実空間におけるユーザ端末の位置と、仮想３次元空間における仮想カメラの位置とを対応づけ、当該仮想カメラで仮想３次元空間内に配置されているオブジェクト（例えば、ゲームに登場するキャラクタなど）を撮影した画像と、ユーザ端末に搭載されているカメラで撮影した現実空間の画像とを重畳表示させ、その後、ユーザの操作入力に基づいて、重畳表示させた画像を記録することができる技術が開示されている。

特開２０１２−６９１２６号公報

特許文献１の技術を用いると、ユーザはあたかも現実空間の中に仮想のキャラクタがそこに存在しているかのような静止画像を作る楽しみが得られる。

高性能なパーソナルコンピュータなどを利用して、３ＤＣＧ（3-Dimensional Computer Graphics）ソフトを用いれば、拡張現実の動画も作成することは可能ではあるが、その場合、３ＤＣＧソフトで作成された仮想カメラの移動軌跡は、ゆらぎ成分が無い数学的な関数等を用いて作成される。そのため、できあがった拡張現実の動画のカメラワークは、実に滑らかで、あたかも映像のプロが高機能なジンバルを用いて撮影したかのようになる。そこには、ユーザ自らがビデオカメラを手に持って撮影したときに生まれるリアルな手ぶれ感がない。そのため「ユーザ自らが作った」と言う手作り感や、「ユーザが撮影した」と言うリアリティは薄く、いかにも「ＣＧソフトでつくりました」と言うどこか作り物めいた感じを拭えなかった。同じ事をプロフェッショナルな映像作家の立場から見れば、映像表現の演出上、「ユーザ自らがビデオカメラを手に持って撮影した」ようなリアリティを追求した拡張現実の動画を作らねばならないケースでは、手ぶれ感のないスムーズすぎるカメラワークでは、要求される演出を実現できないことになる。

こうした問題は、拡張現実画像の動画作成に限らず、仮想現実（ＶＲ：Virtual Reality）の画像の動画作成においても同様に言える。

本発明は、「ユーザ自らがビデオカメラを手に持って撮影した」というリアリティのある拡張現実や仮想現実の動画を作成するための新たな技術の提供を課題として考案されたものである。

上記した課題を解決するための第１の発明は、携帯型のコンピュータを、前記コンピュータの位置および姿勢を計測した計測データを取得する制御を行う計測データ取得制御手段、被写体オブジェクトが配置された仮想３次元空間を設定する仮想空間設定手段、前記仮想３次元空間を撮影する仮想カメラの位置および姿勢を、前記計測データに連動させて制御する仮想カメラ制御手段、前記仮想カメラで撮影された前記仮想３次元空間の画像を生成する仮想空間画像生成手段、前記仮想カメラ制御手段によって連続的に制御された前記仮想３次元空間中の前記仮想カメラの位置および姿勢を再現可能なカメラワークデータを記録する記録制御手段、として機能させるためのプログラムである。

ここで言う「コンピュータ」とは、単数のコンピュータは勿論、複数のコンピュータが連携して構成されるものでもよい。

第１の発明によれば、コンピュータは、計測された位置や姿勢に連動する仮想カメラで撮影した仮想空間画像を生成しつつ、仮想カメラの位置や姿勢を再現できるカメラワークデータを記録できる。つまり、ユーザが、仮想空間画像をファインダー画像のように見ながらコンピュータをあたかも携帯型ビデオカメラのようにして、位置を変え、姿勢を変える動画撮影のカメラワークを行えば、そのカメラワークのデータがコンピュータに記録される。

当然、このカメラワークデータを元に再現される仮想カメラの移動軌跡には、実際にユーザが手に持って撮影したことで生じたリアルな「ゆらぎ」が含まれている。従って、コンピュータに記録されたカメラワークデータを、３ＤＣＧソフトで用いれば、「ユーザ自らがビデオカメラを手に持って撮影した」リアリティのある拡張現実や仮想現実の画像の動画を作成できる。

第２の発明は、所与の時間軸に沿った所与の動作を前記被写体オブジェクトに行わせる制御をする被写体制御手段、として前記コンピュータを機能させ、前記記録制御手段は、前記仮想カメラの位置および姿勢を前記計測データの時間軸と対応付けて記録することで、前記時間軸に同期したカメラワークを再現可能なカメラワークデータを記録する、第１の発明のプログラムである。

第２の発明によれば、被写体オブジェクトの動作と同期したカメラワークを再現できるようになる。

第３の発明は、前記時間軸に沿った所与の楽曲及び／又は所与の音声（以下包括して「サウンド」という）を出力させる制御をするサウンド出力制御手段、として前記コンピュータを機能させ、前記被写体制御手段は、前記サウンドに合わせた動作を前記被写体オブジェクトに行わせる、第２の発明のプログラムである。

第３の発明によれば、サウンドの再生と同期したカメラワークを再現できるようになる。

第４の発明は、前記記録制御手段が、所与の記録開始指示に応じて記録を開始し、所与の記録停止指示に応じて記録を停止し、前記被写体制御手段は、前記記録開始指示に応じて前記時間軸を作動開始させて前記被写体オブジェクトの動作を開始させ、前記記録停止指示に応じて前記時間軸を停止させて前記被写体オブジェクトの動作を停止させる一斉制御を行う、第２又は第３の発明のプログラムである。

第４の発明によれば、ユーザ自らがカメラワークデータの記録を開始したり停止させたりできるようになり、加えて、記録を開始するのに伴って被写体オブジェクトの動作を開始し、記録を停止するのに伴って被写体オブジェクトの動作も停止させることが可能になる。

第５の発明は、前記一斉制御が、切替操作によってオン／オフが切り替え可能であり、
前記被写体制御手段は、前記一斉制御がオンの場合には前記一斉制御を行い、オフの場合には前記記録開始指示および前記記録停止指示に関わらず前記被写体オブジェクトの動作制御を継続する、第４の発明のプログラムである。

第５の発明によれば、被写体オブジェクトの一斉制御を、ユーザ自らがオン／オフ切り換えできる。

第６の発明は、前記記録制御手段が、所与の記録停止指示に応じて記録を停止し、所与の記録再開指示に応じて記録を再開し、前記計測データが、前記仮想３次元空間を撮影する際の不適な変化をしたことを示す所与の不適変化条件を満たしたことを検出し、当該検出に応じて前記記録停止指示を与える不適変化時自動停止手段、として前記コンピュータを機能させるための第１〜第５の何れかの発明のプログラムである。

第６の発明によれば、所与の記録停止指示に応じて記録を停止し、所与の記録再開指示に応じて記録を再開できる。また、ユーザが使用しているコンピュータの位置や姿勢が、動画撮影のカメラワークとして不適な変化をした場合、これを自動的に検出して、カメラワークデータの記録を自動停止することができる。

第７の発明は、前記記録制御手段により記録された前記カメラワークデータの所与の再生タイミングにおける仮想カメラからの前記仮想３次元空間の画像である再生画像を生成する再生画像生成手段、前記仮想空間画像生成手段により生成されている画像であるライブ画像と、前記再生画像とを比較可能な態様で表示する制御を行う比較表示制御手段、として前記コンピュータを機能させるための第１〜第６の何れかの発明のプログラムである。

第７の発明によれば、既に記録されているカメラワークデータに基づいて、所与の再生タイミングにおける再生画像と、ライブ画像とを比較可能にユーザに提供できるようになる。

第８の発明は、前記記録制御手段により記録された前記カメラワークデータの所与の再生タイミングにおける現実空間の画像である再生画像と、現時点における現実空間の画像であるライブ画像とを比較可能な態様で表示する制御を行う比較表示制御手段、として前記コンピュータを機能させるための第１〜第６の何れかの発明のプログラムである。

第８の発明によれば、再生タイミングにおける現実空間の画像と、現時点における現実空間の画像とを比較表示できる。

第９の発明は、ユーザの操作に基づいて前記再生タイミングを指定する再生タイミング手動指定手段、として前記コンピュータを機能させるための第７又は第８の発明のプログラムである。

第９の発明によれば、ユーザが再生タイミングを指定できるようになる。

第１０の発明は、前記記録制御手段は、所与の記録停止指示に応じて記録を停止し、所与の記録再開指示に応じて記録を再開し、前記記録停止指示が与えられた場合に、当該記録停止指示が与えられたタイミングに基づく所与のプレイバックタイミングを前記再生タイミングとする再生タイミング自動指定手段、として前記コンピュータを機能させるための第７〜第９の何れかの発明のプログラムである。

また、第１１の発明は、前記再生タイミング自動指定手段が、前記記録停止指示が与えられたタイミングから所与の時間、前記時間軸を遡った時点を前記プレイバックタイミングとする、第１０の発明のプログラムである。

第１０又は第１１の発明によれば、再生タイミングを自動で指定することができる。

第１２の発明は、前記比較表示制御手段が、前記ライブ画像と前記再生画像とを重畳的に表示する制御を行う、第７〜第１１の何れかの発明のプログラムである。

第１２の発明によれば、ライブ画像と再生画像とを重畳的に表示できるようになる。

第１３の発明は、前記ライブ画像と前記再生画像との一致度合を判定し、所定の適合条件を満たすか否かを判定する一致判定手段、前記一致判定手段により前記適合条件を満たすと判定された場合にユーザに適合通知を行う適合通知制御手段、として前記コンピュータを機能させるための第７〜第１２の何れかの発明のプログラムである。

第１３の発明によれば、ライブ画像と再生画像が所定の適合条件を満たす程に一致していることを自動的に判定し、ユーザにその旨を通知できるようになる。

第１４の発明は、前記記録制御手段が、所与の記録停止指示に応じて記録を停止し、所与の記録再開指示に応じて記録を再開し、前記ライブ画像と前記再生画像との一致度合を判定し、所定の適合条件を満たすか否かを判定する一致判定手段、前記一致判定手段により前記適合条件を満たすと判定された場合に前記記録再開指示を与える自動記録開始手段、として前記コンピュータを機能させるための第７〜第１３の何れかの発明のプログラムである。

第１４の発明によれば、カメラワークデータの記録が停止されている状態で、一致判定の結果が適合条件を満たす場合に、自動的に記録を開始（再開）できるようになる。そして、適合条件を適切に設定すれば、記録されているカメラワークデータの再生タイミングに、新たに開始されるカメラワークデータを繋げて、映像的に繋がった一連のカメラワークを再現できることになる。

第１５の発明は、前記コンピュータが、ズーム倍率を変更可能な撮影部を備え、前記被写体オブジェクトは、前記撮影部の撮影画像に基づくＡＲ（Augmented Reality）キャラクタであり、前記仮想カメラ制御手段は、前記仮想カメラの撮影画角を前記ズーム倍率に連動させて制御し、前記記録制御手段は、前記仮想カメラの撮影画角を再現可能なデータを前記カメラワークデータに含めて記録する、第１〜第１４の何れかの発明のプログラムである。

第１５の発明によれば、ＡＲキャラクタを、ズームを駆使して撮影したカメラワークデータを記録できる。

第１６の発明は、位置および姿勢を計測した計測データを取得する制御を行う計測データ取得制御手段と、被写体オブジェクトが配置された仮想３次元空間を設定する仮想空間設定手段と、前記仮想３次元空間を撮影する仮想カメラの位置および姿勢を、前記計測データに連動させて制御する仮想カメラ制御手段と、前記仮想カメラで撮影された前記仮想３次元空間の画像を生成する仮想空間画像生成手段と、前記仮想カメラ制御手段によって連続的に制御された前記仮想３次元空間中の前記仮想カメラの位置および姿勢を再現可能なカメラワークデータを記録する記録制御手段と、を備えた電子機器である。

第１６の発明によれば、第１の発明と同様の効果が得られる電子機器を実現できる。

第１７の発明は、携帯型のコンピュータが実行するデータ記録方法であって、
前記コンピュータの位置および姿勢を計測した計測データを取得する制御を行う計測データ取得制御ステップと、
被写体オブジェクトが配置された仮想３次元空間を設定する仮想空間設定ステップと、
前記仮想３次元空間を撮影する仮想カメラの位置および姿勢を、前記計測データに連動させて制御する仮想カメラ制御ステップと、
前記仮想カメラで撮影された前記仮想３次元空間の画像を生成する仮想空間画像生成ステップと、
前記仮想カメラ制御ステップによって連続的に制御された前記仮想３次元空間中の前記仮想カメラの位置および姿勢を再現可能なカメラワークデータを記録する記録制御ステップと、
を含むデータ記録方法である。

第１７の発明によれば、第１の発明と同様の効果が得られるデータ記録方法を実現できる。

拡張現実動画生成システムの構成例を示す図。 ユーザ端末の構成例を示す正面図。 ユーザ端末における拡張現実を用いた被写体の表示制御に関して説明するための図。 本実施形態で取得できるカメラワークの移動軌跡について説明するための図。 カメラワークデータのデータ構成例を示す図。 張現実動画の生成に必要とされる情報・データのサーバシステムへアップロードについて説明するための図。 サーバシステムによる拡張現実画像の動画データの生成について説明するための図。 カメラワークデータの記録の手動操作による一時停止について説明するための図。 カメラワークデータの記録の自動的な一時停止について説明するための図。 一時停止されたカメラワークデータの記録の再開について説明するための図。 自動時間遡及について説明するための図。 カメラワークデータの記録再開について説明するための図。 ユーザ端末の機能構成の一例を示す機能ブロック図。 端末記憶部が記憶するプログラムやデータの例を示す図。 ユーザ端末における処理の流れを説明するためのフローチャート。 記録中断再開処理の流れを説明するためのフローチャート。 図１６より続くフローチャート。

以下、本発明の実施形態の一例を説明するが、本発明を適用可能な形態が以下の実施形態に限られないことは勿論である。

図１は、拡張現実動画生成システムの構成例を示す図である。
拡張現実動画生成システム１０００は、拡張現実の動画を作成するサービスを提供するコンピュータシステムであって、ネットワーク９を介して相互にデータ通信が可能に接続されたサーバシステム１１００と、ユーザ端末１５００とを含む。

ネットワーク９は、データ通信が可能な通信路を意味する。すなわち、ネットワーク９とは、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮ（Local Area Network）の他、電話通信網やケーブル網、インターネット等の通信網を含む意味であり、また、通信方法については有線／無線を問わない。

サーバシステム１１００は、例えば、キーボード１１０６と、タッチパネル１１０８と、ストレージ１１４０とを有し、本体装置には制御基板１１５０を搭載する。

制御基板１１５０には、ＣＰＵ（Central Processing Unit）１１５１やＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などの各種マイクロプロセッサ、ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１１５２、通信装置１１５３が搭載されている。なお、制御基板１１５０の一部又は全部は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field-Programmable Gate Array）、ＳｏＣ（System on a Chip）により実現するとしてもよい。

そして、サーバシステム１１００は、制御基板１１５０が所定のプログラムおよびデータに基づいて演算処理することにより、ユーザ端末１５００で作成・記録されたカメラワークデータ（詳細後述）に基づいて拡張現実の画像（拡張現実画像）を生成し、拡張現実画像の動画データをユーザに提供する機能を実現する。

なお、図１では、ユーザ端末１５００を１台のみ描いているが、実際のシステム運用においては、同時に複数のユーザ端末１５００がサーバシステム１１００にアクセス可能な構成であってもよい。

また、サーバシステム１１００を、１台のサーバ装置であるかのように描いているが、複数の装置で実現する構成であってもよい。例えば、サーバシステム１１００は各機能を分担する複数のブレードサーバを搭載して相互に内部バスを介してデータ通信可能に接続した構成であってもよい。また、サーバシステム１１００を構成するハードウェアの設置場所は問わない。離れた場所に設置された独立した複数のサーバを、ネットワーク９を介してデータ通信させることで、全体としてサーバシステム１１００として機能させる構成であってもよい。

ユーザ端末１５００は、ユーザ２が、拡張現実画像の生成のためのデータ取得に使用するコンピュータシステムであって、ネットワーク９を介してサーバシステム１１００にアクセスできる電子装置（電子機器）である。本実施形態のユーザ端末１５００は、いわゆるスマートフォンと呼ばれる装置であるが、手持ち可能なコンピュータシステムであれば、携帯型ゲーム装置や、タブレット型コンピュータ、などでもよい。

図２は、本実施形態におけるユーザ端末１５００の構成例を示す正面図である。
ユーザ端末１５００は、方向入力キー１５０２と、ボタンスイッチ１５０４と、画像表示デバイス兼接触位置入力デバイスとして機能するタッチパネル１５０６と、スピーカ１５１０と、内蔵バッテリー１５０９と、マイク１５１２と、カメラ１５２０と、制御基板１５５０と、コンピュータ読み出し可能な記憶媒体であるメモリカード１５４０からデータを読み書きできるメモリカード読取装置１５４２と、を備える。その他、図示されていない電源ボタン、音量調節ボタン等が設けられている。また、システム利用対価の支払いが可能なＩＣカード型のクレジットカードやプリペイドカードに対して非接触にデータの読み書きが行えるＩＣカード読取装置などを設けるとしてもよい。

カメラ１５２０は、ズーム倍率を変更可能なイメージセンサーユニットである。すなわち、カメラ１５２０は、ＣＣＤ（Charge Coupled Device）などのイメージセンサ、ズーム機構、オートフォーカス機構、イメージセンサで撮影された信号から映像データを生成するＬＳＩ、などの各種デジタル動画撮影を可能とする構成要素を含む。

制御基板１５５０は、１）ＣＰＵ１５５１や、ＧＰＵ，ＤＳＰなどの各種マイクロプロセッサ、２）ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１５５２、３）ネットワーク９に接続する携帯電話基地局や無線ＬＡＮ基地局などと無線通信するための無線通信モジュール１５５３、４）測位モジュール１５５５、５）３軸加速度センサ１５５６、６）３軸ジャイロ１５５７、７）インターフェース回路１５５８、などを搭載する。

測位モジュール１５５５は、ユーザ端末１５００の位置を取得する。本実施形態では既存の測位システムを利用して現実空間における位置座標を取得することができる。すなわち、測位モジュール１５５５は、測位システムから提供される信号を受信して所定周期で（例えば１秒毎に）測位情報を出力することで、ユーザ端末１５００における測位機能を提供する。本実施形態では、測位システムとしてＧＰＳ（Global Positioning System）を利用する。よって測位モジュール１５５５は、既存の「ＧＰＳモジュール」や「ＧＰＳ受信器」等を利用することができる。「測位情報」には、測位日時（例えば協定世界時であるＵＴＣ：Coordinated Universal Time）、位置座標（緯度・経度・高度）、方位などが含まれる。利用する測位システムはＧＰＳに限らず適宜選択可能である。例えば、測位モジュール１５５５は、携帯電話の無線基地局やＷｉ−Ｆｉネットワークの無線基地局などと無線接続する通信機と、方位センサとの構成で置き換えることができる。すなわち、接続中の無線基地局について予め測位されている位置情報を取得して、これをユーザ端末１５００の現実空間における位置座標とするとしてもよい。

インターフェース回路１５５８には、タッチパネル１５０６のドライバ回路、方向入力キー１５０２およびボタンスイッチ１５０４からの信号を受信する回路、スピーカ１５１０へ音声信号を出力する出力アンプ回路、マイク１５１２で集音した音声の信号を生成する入力信号生成回路、カメラ１５２０で撮影された画像の画像データを入力する回路、メモリカード読取装置１５４２への信号入出力回路、などが含まれている。

制御基板１５５０に搭載されているこれらの要素は、バス回路などを介して電気的に接続され、データの読み書きや信号の送受信が可能に接続されている。なお、制御基板１５５０の一部又は全部をＡＳＩＣやＦＰＧＡ、ＳｏＣにて構成してもよい。そして、制御基板１５５０は、本実施形態のユーザ端末としての機能を実現させるためのプログラムや各種データをＩＣメモリ１５５２に記憶する。

なお、本実施形態では、ユーザ端末１５００はプログラムや各種設定データをサーバシステム１１００からダウンロードする構成としているが、別途入手したメモリカード１５４０などの記憶媒体から読み出す構成としてもよい。

図３は、ユーザ端末１５００における拡張現実（Augmented Reality）を用いた被写体の表示制御に関して説明するための図である。
ユーザ端末１５００は、拡張現実を用いて、タッチパネル１５０６に被写体を表示させることができる。すなわち、現実空間にはＡＲマーカ５が設置されており、ユーザ２は、このＡＲマーカ５を撮影するようにユーザ端末１５００の位置・姿勢と、カメラ１５２０のズームを調整する。カメラ１５２０で撮影された画像内のＡＲマーカ５の画像は画像認識処理されて、ユーザ端末１５００とＡＲマーカ５との相対位置や相対姿勢の算出処理に用いられる。ＡＲマーカ５との相対位置や相対姿勢は、ユーザ端末１５００の位置や姿勢の計測データとなる。

ユーザ端末１５００は、算出された相対位置や相対姿勢と、３軸加速度センサ１５５６や３軸ジャイロ１５５７を用いて得られるユーザ端末１５００の加速度および姿勢の計測データとから、カメラ１５２０の位置変化と姿勢変化とを常時取得することができる。また、カメラ１５２０のズーム操作により撮影画角（ズーム倍率とも言われる）の情報も周期的に取得することができる。以降では、相対位置や、相対姿勢、位置変化、姿勢変化、撮影画角と言ったいわゆる撮影条件を記述するパラメータ値、およびこれらを求めるための元になるＡＲマーカ５の大きさや向き、姿勢データや加速度データ、ズーム制御値、センサの計測値などを総括して「実撮影条件」と呼ぶこととする。

実撮影条件を取得する一方、ユーザ端末１５００は、仮想３次元空間に、被写体オブジェクト４を配置してその動作を制御することができる。本実施形態では、被写体オブジェクト４は、人の形態をした仮想キャラクタであり、カメラ１５２０で撮影された撮影画像に基づくＡＲ（Augmented Reality）キャラクタである。ユーザ端末１５００は、予め用意された所与の楽曲データと、当該楽曲データの楽曲と同期するモーションを実現するための所定のモーションデータと、を用いて、被写体オブジェクト４が楽曲を歌いながら踊るように動作制御する。

仮想３次元空間には、カメラ１５２０の実撮影条件のパラメータ値に連動し、その撮影位置・撮影姿勢・撮影画角が制御される仮想カメラＣ１が配置される。ユーザ端末１５００は、仮想カメラＣ１で撮影した仮想３次元空間の画像すなわち仮想空間画像９０を生成して、これを現実空間の画像（現実空間画像９２）に重畳表示させて、タッチパネル１５０６に表示させる。つまり、拡張現実の画像（拡張現実画像９４）を表示させる。

ユーザ２は、ユーザ端末１５００へ所定の記録開始操作を入力してから、タッチパネル１５０６に表示される被写体オブジェクト４が楽曲を歌いながら踊る様子をファインダー画像に見立てて、携帯型ビデオカメラで撮影する要領で、ユーザ端末１５００を現実空間で移動させ、時に姿勢を変え、時にズーム倍率を変える撮影操作をする。つまり、カメラワークをつける。

図４に示すように、撮影操作により生じる移動軌跡Ｌ１は、人が携帯型ビデオカメラを操作したときに生じる手ブレ等に相当する「ゆらぎ」を含む。

そして、ユーザ端末１５００は、ユーザ２による所定の記録開始操作の入力を検出すると、例えば図５に示すようなカメラワークデータ５５０の記録を開始する。
カメラワークデータ５５０は、固有の撮影ＩＤ５５１と、撮影開始日時５５３と、撮影終了日時５５５と、実撮影条件データ５６０と、仮想撮影条件データ５７０と、カメラ１５２０で撮影されていた現実空間画像９２を録画した現実画像録画データ５８０と、仮想空間画像９０を録画した仮想空間画像録画データ５８２と、を含む。勿論、これら以外のデータ、も適宜含めることができるし、適宜省略することもできる。

実撮影条件データ５６０は、例えば、
１）ＡＲマーカ５を基準に求められた相対姿勢、および／又は３軸ジャイロ１５５７による計測データを時系列に格納した実カメラ姿勢データ５６１と、
２）ＡＲマーカ５を基準に求められた撮影位置変化から求められる加速度、および／又は３軸加速度センサ１５５６による計測データを時系列に格納した実カメラ加速度データ５６３と、
３）カメラ１５２０のズーム倍率（撮影画角）或いはズーム倍率の制御パラメータ値を時系列に格納した実ズーム制御データ５６５と、
４）ＡＲマーカ５を基準に求められたカメラ１５２０の撮影位置を時系列にトレースした移動軌跡Ｌ１を記述する実移動軌跡データ５６７と、
を含む。

仮想撮影条件データ５７０は、仮想カメラＣ１の仮想３次元空間内における撮影条件についてのデータであって、ユーザ端末１５００の位置や姿勢の計測データに連動させて制御するために求められたパラメータ値である。

仮想撮影条件データ５７０は、例えば、
１）実カメラ姿勢データ５６１から求められる仮想カメラＣ１の撮影姿勢を時系列に格納した仮想カメラ姿勢データ５７１と、
２）実カメラ加速度データ５６３から求められる仮想カメラＣ１に生じている加速度を時系列に格納した仮想カメラ加速度データ５７３と、
３）実ズーム制御データ５６５から求められる仮想カメラＣ１の撮影画角（又はズーム倍率）を時系列に格納した仮想カメラ撮影画角データ５７５と、
４）実移動軌跡データ５６７に基づいて移動軌跡Ｌ１を仮想３次空間内で再現した仮想カメラＣ１の移動軌跡Ｌｃを記述する仮想カメラ移動軌跡データ５７７と、
を含む。

なお、実撮影条件データ５６０のタイムコードすなわち時間軸と、仮想撮影条件データ５７０とのタイムコードは、楽曲の再生や被写体オブジェクト４の動作制御のタイムコードと同期させて記録されるものとする。また、実撮影条件データ５６０と、仮想撮影条件データ５７０は、何れか一方を省略し、必要に応じて残された側から省略された側の撮影条件データを求める構成としてもよい。

ユーザ２が所定の記録停止操作を入力すると、ユーザ端末１５００はカメラワークデータ５５０の記録を停止し、図６に示すように、拡張現実動画の生成に必要とされる情報・データをサーバシステム１１００へアップロードする。具体的には、例えば、被写体オブジェクト４のモデルデータ５１０、モーションデータ５１２、楽曲データ５１４、カメラワークデータ５５０、をアップロードする。勿論、これら以外のデータも適宜アップロードするとしてもよい。例えば、仮想３次元空間内に、被写体オブジェクト４が立つ舞台装置などの背景オブジェクトを用意した場合には、そのモデルデータやモーションデータなど、表示と動作を実現するためのデータも、アップロードする。

なお、モデルデータ５１０や、モーションデータ５１２、楽曲データ５１４、について予めサーバシステム１１００に記録されているデータを事前にユーザ端末１５００にダウンロードしてカメラワークデータ５５０の記録時に使用した場合は、適宜これらのデータのアップロードは省略できる。また、モデルデータ５１０や、モーションデータ５１２、楽曲データ５１４は、ユーザ２の自作・他作は問わない。

図７は、サーバシステム１１００による拡張現実の動画の生成について説明するための図である。サーバシステム１１００は、被写体オブジェクト４のモデルデータ５１０、モーションデータ５１２、楽曲データ５１４、カメラワークデータ５５０、がアップロードされると、それらのデータに基づいて、仮想３次元空間に被写体オブジェクト４や背景オブジェクトを配置し、楽曲の再生と同期させてその動作を制御する。更に、楽曲の再生と同期させて、アップロードされたカメラワークデータ５５０に基づいて仮想カメラＣ２を制御する。

そして、サーバシステム１１００は、仮想カメラＣ２で撮影された仮想３次元空間内の画像（仮想現実画像）を生成して、アップロードされたカメラワークデータ５５０に含まれる現実画像録画データ５８０に重畳表示させて、拡張現実の動画のデータ（拡張現実動画データ５８４）を作成する。

こうして作成された拡張現実の動画では、人が携帯型ビデオカメラを操作したときに見られる「ゆらぎ」による画面の揺れなどが再現されており、「ユーザ自らがビデオカメラを手に持って撮影した」リアリティのある拡張現実の動画となっている。

さて、本実施形態ではカメラワークデータ５５０の記録を一時停止したり、記録を再開することができる。
図８は、カメラワークデータ５５０の記録の手動操作による一時停止について説明するための図である。ユーザ端末１５００は、カメラワークデータ５５０の記録中、タッチパネル１５０６にて撮影画面Ｗ８を表示する。

撮影画面Ｗ８には、１）撮影中の画像を表示するモニタ表示１０と、２）タイムコード１１と、３）撮影や記録の現在の状態を示す状態通知表示１２と、４）新規の記録開始操作を入力するための記録開始操作アイコン１３と、５）カメラワークデータ５５０の記録を一時的に停止させる一時停止操作を入力するための中断操作アイコン１４と、６）一時停止されていたカメラワークデータ５５０の記録を再び開始する意味の記録開始操作である記録再開操作を入力するための再開操作アイコン１５と、７）記録の終了に相当する記録終了操作を入力するための記録終了操作アイコン１６と、を含む。一時停止操作および記録終了操作は、いずれも記録を停止させる操作ということができ、記録開始操作および記録再開操作は、いずれも記録を開始させる操作ということができる。

そして、ユーザ２は、中断操作アイコン１４と再開操作アイコン１５とを適宜にタッチ操作で選択することで、任意のタイミングでカメラワークデータ５５０の記録を一時停止したり再開したりすることができる。

図９は、カメラワークデータ５５０の記録の自動的な一時停止について説明するための図である。カメラワークデータ５５０の記録中、ユーザ端末１５００は３軸加速度センサ１５５６で計測される加速度や、３軸ジャイロ１５５７で計測される姿勢を常時監視している。そして、ユーザ端末１５００は、加速度が所定の位置不適変化条件を満たす場合と、姿勢が所定の姿勢不適変化条件を満たす場合との、何れかが満たされた場合に、自動的に記録を一時停止し、自動停止通知１９をタッチパネル１５０６に表示することでユーザ２に通知する。

ここで言う「位置不適変化条件」とは、映像表現の演出としても度を超えるような過度な画面ブレが生じたようなカメラ１５２０の位置変化を、３軸加速度センサ１５５６で計測される加速度変化の条件として記述したものである。
同じように、ここで言う「姿勢不適変化条件」とは、映像表現の演出としても度を超えるような過度な画面ブレが生じたようなカメラ１５２０の姿勢変化を３軸ジャイロ１５５７で計測される姿勢変化の条件として記述したものである。

言い換えると、これらの条件は、カメラを急激に動かし過ぎた状態を定義するものである。ユーザ端末１５００が、これらの条件に基づいて自動的な一時停止制御を行う。この結果、ユーザ２が中断操作アイコン１４を操作することなく、ユーザ２が意図的にユーザ端末１５００の位置を急激に変化させるような動作をしたり、ユーザ端末１５００を急に倒すような動作をするだけでカメラワークデータ５５０の記録を一時停止できるため、操作性が向上する。また、ユーザ２が誤ってユーザ端末１５００を落下させたり、撮影に夢中で躓くといったハプニングが起こった場合に、自動的に一時停止されるので、ハプニング後にも無駄な記録が続くことを防止できる。

図１０は、一時停止されたカメラワークデータ５５０の記録の再開について説明するための図である。ユーザ２は、直前に記録したカメラワークデータ５５０の任意の再開タイミングから記録の再開を行うことができる。

一時停止後の撮影画面Ｗ１０には、再開タイミングの指定操作の入力を受け付けるためのシークバー２０が追加表示される。ユーザ２は、シークバー２０のスライダーの位置をずらして再開タイミングを指定操作することができる。

そして、再開タイミングを指定操作すると、モニタ表示１０には、今現在の実撮影条件に基づく仮想カメラＣ１で撮影されているライブ画像３０に、シークバー２０のスライダーの位置に対応する再開タイミングで撮影された再開タイミング時仮想空間画像３２が、合成表示される。

再開タイミング時仮想空間画像３２は、直近過去に記録されたカメラワークデータ５５０の仮想空間画像録画データ５８２（図５参照）から、指定された再開タイミングを再生タイミングと見なして再生した再生画像である。或いは、モーションデータ５１２と仮想撮影条件データ５７０から、再開タイミングにおける画像を再度生成して得るとしてもよい。

ここで言う「合成表示」は、ライブ画像３０と再開タイミング時仮想空間画像３２とを一時停止後の撮影画面Ｗ１０にて比較可能な態様で表示できるのであれば、その表示のさせ方は適宜設定可能である。例えば、ライブ画像３０と再開タイミング時仮想空間画像３２の何れか一方を半透明処理して他方に重畳表示させる合成表示としてもよい。或いは、再開タイミング時仮想空間画像３２から輪郭線抽出処理を実行して、抽出された輪郭線をライブ画像３０に重畳表示させる合成表示としてもよい。或いは、一時停止後の撮影画面Ｗ１０を分割してライブ画像３０と再開タイミング時仮想空間画像３２を並べて表示するとしてもよい。また、比較可能な態様で表示を行った後、記録が再開された時にはその比較可能な態様の表示を解除して、ライブ画像３０のみを表示させるようにしてもよい。また、合成される画像の素材に着目すると、撮影画面では、通常は拡張現実画像をライブ画像３０に表示するが、ここで言う合成表示に限って、現実空間の画像と重畳表示させずに仮想空間画像のみを比較可能に表示するとしてもよい。同様に、合成表示に限って、現在の現実空間画像と、再開タイミングとされている過去時点における現実空間画像と、を比較可能に表示するとしてもよい。

なお、再開タイミングの初期位置は、ユーザ端末１５００が自動的に指定して、シークバー２０を表示する際にユーザに提示することとする。例えば図１１に示すように、ユーザ端末１５００は、直前に記録されたカメラワークデータ５５０の終端タイミングから所定時間分（例えば１秒間）、タイムコード（時間軸）を時間遡及した時点を再開タイミングの初期位置として指定・提示する。

ここで言う「時間遡及」の所定時間は、位置不適変化条件や姿勢不適変化条件が満たされるような事象が起きた場合に、撮影された画像が過度にブレて使えない画像になっていると想定される時間である。例えば、数秒程度以内に設定することができる。自動時間遡及によって、シークバー２０の初期位置が、撮影された画像が過度にブレて使えない画像になっている直前の想定位置となるため、ユーザにとっては再開タイミングを探す手間が省ける。

図１２は、カメラワークデータ５５０の記録再開について説明するための図である。
ユーザ端末１５００は、再開タイミングの指定後、カメラワークデータ５５０の記録を再開する処理は「即時再開」と「一致検出再開」の２通りのうちユーザ２の希望する処理を実行する。

再開操作アイコン１５への比較的短時間でのタッチ操作である標準的なタッチ操作が為された場合、ユーザ端末１５００は、「即時再開」処理を実行し、即座にカメラワークデータ５５０の記録を再開する。或いは、所定秒数のカウントダウンを行って再開する。

一方、再開操作アイコン１５へタッチして比較的長い時間タッチ状態を維持してから指を離すいわゆる「長押しタッチ操作」が為された場合、ユーザ端末１５００は、「一致検出再開」処理を実行し、ライブ画像３０と、再開タイミング時仮想空間画像３２と、の比較を行い一致度合を判定する。そして、判定した一致度合が、所定の適合条件を満たしたならば、両画像が一致したと認められることをユーザ２に告げる適合通知３４を表示して、記録を再開する。ここで言う「適合条件」は、適宜設定可能であるが、それぞれの画像について輪郭線を抽出し、両者が一致することを条件とすると好適である。

なお、記録再開の処理は、上述のようにタッチの長さで指定する以外にも、アイコンを操作してどちらの再開処理を行うかを決める構成でもよい。また、ユーザ２の選択操作によらずに、どちらか一方の再開処理をユーザ端末１５００が自動実行してもよい。例えば、予め、どちらか一方の再開処理がデフォルトとして決まっていてもよいし、一時停止時点のユーザ端末１５００の位置や姿勢と現時点におけるユーザ端末１５００の位置や姿勢が所与の近似条件を満たす場合には、「即時再開」で実行し、近似条件を満たさない場合は「一致検出再開」で実行するようにしてもよい。

また、適合条件を満たしているかの判定は、ライブ画像３０に拡張現実画像を表示する場合でも、現実空間画像に重畳される仮想空間画像同士を比較して、適合条件を満たしているか判定するとしてもよい。

図１３は、本実施形態におけるユーザ端末１５００の機能構成例を示す機能ブロック図である。ユーザ端末１５００は、操作入力部１００と、測位部１０２と、加速度計測部１０６と、姿勢計測部１０８と、音声入力部１１０と、撮影部１２０と、端末処理部２００と、音出力部３９０と、画像表示部３９２と、通信部３９４と、端末記憶部５００とを備える。

操作入力部１００は、プレーヤによってなされた各種の操作入力に応じた操作入力信号を端末処理部２００に出力する。例えば、プッシュスイッチや、ジョイスティック、タッチパッド、トラックボール、加速度センサ、ジャイロ、ＣＣＤモジュール、などによって実現できる。図２の方向入力キー１５０２や、ボタンスイッチ１５０４、タッチパネル１５０６、がこれに該当する。

測位部１０２は、ユーザ端末１５００の位置情報を取得し端末処理部２００へ出力する。図２の測位モジュール１５５５がこれに該当する。

加速度計測部１０６は、ユーザ端末１５００に生じた加速度を計測し、端末処理部２００へ出力する。図２の３軸加速度センサ１５５６がこれに該当する。

姿勢計測部１０８は、ユーザ端末１５００の姿勢変化を計測し、端末処理部２００へ出力する。図２の３軸ジャイロ１５５７がこれに該当する。

音声入力部１１０は、ユーザが発する音声（ユーザ音声）や環境音を集音し、音声信号を端末処理部２００へ出力する。図２のマイク１２１０がこれに該当する。

撮影部１２０は、外部の様子を撮影し、その画像データを生成して端末処理部２００へ出力する。図２のカメラ１５２０がこれに該当する。

端末処理部２００は、例えばＣＰＵやＧＰＵ等のマイクロプロセッサや、ＩＣメモリなどの電子部品によって実現され、操作入力部１００や端末記憶部５００を含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部１００からの操作入力信号、サーバシステム１１００から受信した各種データに基づいて各種の演算処理を実行して、ユーザ端末１５００の動作を制御する。図２の制御基板１５５０がこれに該当する。
そして、本実施形態における端末処理部２００は、カメラワーク記録管理部２０２と、計時部２８０と、音生成部２９０と、画像生成部２９２と、通信制御部２９４と、を有する。

カメラワーク記録管理部２０２は、カメラワークデータ５５０の記録に係る各種処理を実行する。具体的には、カメラワーク記録管理部２０２は、計測データ取得制御部２１０と、仮想空間設定部２１２と、被写体制御部２１４と、仮想カメラ制御部２１６と、仮想空間画像生成制御部２１８と、拡張現実画像生成制御部２２０と、サウンド出力制御部２２２と、記録制御部２２４と、操作指示制御部２２６と、不適変化時自動停止制御部２２８と、記録停止通知制御部２３０と、再生画像生成制御部２３２と、比較表示制御部２３４と、再生タイミング手動指定制御部２３６と、再生タイミング自動指定制御部２３８と、一致判定部２４０と、適合通知制御部２４２と、自動記録開始制御部２４４と、を有する。勿論、これら以外の機能部も適宜含めることができる。

計測データ取得制御部２１０は、ユーザ端末１５００の位置および姿勢を計測した計測データを取得する制御を行う。本実施形態では、ユーザ端末１５００に具備されたカメラ１５２０を用いて計測データを取得する。具体的には、拡張現実技術による制御を行う。すなわち、カメラ１５２０が撮影している画像からＡＲマーカ５を認識し、相対位置・相対姿勢を算出して計測データとする（図３参照）。また、測位部１０２、加速度計測部１０６、姿勢計測部１０８の各計測データに基づいてユーザ端末１５００の位置や姿勢、位置変化や姿勢変化、移動軌跡Ｌ１を求める制御もこれに該当する。データに着目すれば、実撮影条件データ５６０の生成制御も該当する。

なお、計測データの取得は、ユーザ端末１５００に具備されたカメラ１５２０やセンサ類を用いる計測にて実現する場合に限らない。例えば、通信可能な外部装置から、ユーザ端末１５００の位置や姿勢の計測データを取得する構成も可能である。具体的には、ユーザ端末１５００と別体の位置姿勢計測装置を用意して、当該装置によりユーザ端末１５００と位置や姿勢の基準となるもの（ＡＲマーカ５など）との相対位置と相対姿勢とを計測し、計測データを逐一データ通信でユーザ端末１５００に送信させるとしてもよい。その場合、当該位置姿勢計測装置による計測手法は、適宜設定可能である。例えば、赤外線ビームを照射して各部位の相対距離を計測する手法や、画像を撮影して画像解析して求める手法であってもよい。

仮想空間設定部２１２は、被写体オブジェクトが配置された仮想３次元空間を設定する。背景オブジェクトが設定されている場合は、これも仮想３次元空間に配置・設定する。
本実施形態では、仮想空間設定部２１２は、システム管理者や運営事業者によって予め用意されている仮想３次元空間の設定データに基づいて、被写体オブジェクト４や背景オブジェクトを所定の初期位置に配置する。勿論、ユーザ２が、仮想３次元空間に配置するオブジェクトの初期位置や初期状態を設定できる構成であってもよい。その場合、ユーザ自身が作成した設定データに限らず、他ユーザが作成した設定データを用いるとしてもよい。

被写体制御部２１４は、所与の時間軸に沿った所与の動作を被写体オブジェクトに行わせる制御をする。本実施形態では、被写体制御部２１４は、楽曲の再生と同期した動作制御を行う。すなわち、被写体制御部２１４は、サウンド（所与の楽曲及び／又は所与の音声）に合わせた動作を被写体オブジェクトに行わせる。その際、被写体制御部２１４は、記録開始指示に応じて時間軸を作動開始させて被写体オブジェクトの動作を開始させ、記録停止指示に応じて時間軸を停止させて被写体オブジェクトの動作を停止させる一斉制御を行う。

なお、一斉制御は、切替操作によってオン／オフが切り替え可能であり、被写体制御部２１４は、一斉制御がオンの場合には一斉制御を行い、オフの場合には記録開始指示および記録停止指示に関わらず被写体オブジェクトの動作制御を継続する。

仮想カメラ制御部２１６は、仮想３次元空間を撮影する仮想カメラの位置および姿勢を、位置や姿勢の計測データに連動させて制御する。データに着目すれば、仮想撮影条件データ５７０の生成制御もこれに該当する。そして、連動制御の際には、仮想カメラ制御部２１６は、仮想カメラＣ１の撮影画角を撮影部１２０のズーム倍率に連動させて制御する。また、仮想カメラ制御部２１６が、一時停止から記録を再開する際には、再開時のズーム倍率（すなわちライブ画像におけるズーム倍率）を、再開タイミングにおけるズーム倍率に合わせるように自動的に変更するとしてもよい。この場合、ユーザ２は記録を再開する際、ユーザ端末１５００の位置と姿勢を再開タイミングの状態に合わせることに専念できるので好適である。

仮想空間画像生成制御部２１８は、仮想カメラＣ１で撮影された仮想３次元空間の画像を生成する仮想空間画像生成手段の１つであって、生成制御を行う。

拡張現実画像生成制御部２２０は、拡張現実画像を生成する制御を行う。本実施形態では、撮影画面Ｗ８のモニタ表示１０へ表示される画像の生成制御がこれに該当する。

サウンド出力制御部２２２は、時間軸に沿った所与の楽曲及び／又は所与の音声を出力させる制御をする。本実施形態では、楽曲データ５１４に基づく楽曲の再生制御がこれに該当する。

記録制御部２２４は、仮想カメラ制御部２１６によって連続的に制御された仮想３次元空間中の仮想カメラＣ１の位置および姿勢を再現可能なカメラワークデータ５５０（図５参照）を記録する記録制御を行う。

具体的には、記録制御部２２４は、仮想カメラＣ１の位置および姿勢を時間軸と対応付けて記録することで、時間軸に同期したカメラワークを再現可能なようにカメラワークデータ５５０を記録するように制御する。

また、記録制御部２２４は、所与の記録開始指示に応じて記録を開始し、所与の記録停止指示に応じて記録を停止し、所与の記録再開指示に応じて記録を再開する。
また、記録制御部２２４は、仮想カメラの撮影画角を再現可能なデータをカメラワークデータに含めて記録する。

操作指示制御部２２６は、所定の記録開始操作によって記録開始指示を与え、所定の記録停止操作によって記録停止指示を与える。

不適変化時自動停止制御部２２８は、位置や姿勢の計測データが、仮想３次元空間を撮影する際の不適な変化をしたことを示す所与の不適変化条件を満たしたことを検出し、当該検出に応じて記録停止指示を与える。

記録停止通知制御部２３０は、不適変化時自動停止制御部２２８による記録の停止をユーザに通知する制御を行う。本実施形態では、自動停止通知１９（図９参照）の表示制御がこれに該当する。

再生画像生成制御部２３２は、記録制御部２２４により記録されたカメラワークデータ５５０に基づいて、当該カメラワークの所与の再生タイミングにおける仮想カメラからの仮想３次元空間の画像である再生画像を生成する制御を行う。本実施形態では、再生タイミングは、再開タイミングとして指定される。そして、仮想空間画像録画データ５８２からの再開タイミング時仮想空間画像３２のデータの読み出し、或いは再生タイミングにおける被写体オブジェクト４の動作および仮想カメラＣ１のカメラワークを再現すること、がこれに該当する。

比較表示制御部２３４は、その時のライブ画像と、再生タイミングにおける再生画像とを比較可能な態様にて表示する制御を行う（図１０参照）。具体的には、比較表示制御部２３４は、その時撮影されている仮想空間のライブ画像と再生画像とを重畳的に表示する制御を行う。
なお、比較対象として仮想空間画像ではなく、現実空間画像をライブ画像として用いる構成では、比較表示制御部２３４は、その時撮影されている現実空間画像と、再生タイミング時の現実空間画像とを、重畳的に表示する。

再生タイミング手動指定制御部２３６は、ユーザの操作に基づいて再生タイミングを指定する制御を行う。

再生タイミング自動指定制御部２３８は、記録停止指示が与えられた場合に、当該記録停止指示が与えられたタイミングに基づく所与のプレイバックタイミングを再生タイミングとする。具体的には、再生タイミング自動指定制御部２３８は、記録停止指示が与えられたタイミング（実質的には、記録停止指示により記録停止されたカメラワークデータ５５０の終端タイミング）から所与の時間分、時間軸を遡った時点をプレイバックタイミングとする。

一致判定部２４０は、ライブ画像と再生画像との一致度合を判定し、所定の適合条件を満たすか否かを判定する。

適合通知制御部２４２は、一致判定部２４０により適合条件を満たすと判定された場合にユーザに適合通知を行う制御をする。本実施形態では、適合通知３４の表示制御がこれに該当する（図１２参照）。

自動記録開始制御部２４４は、一致判定部２４０により適合条件を満たすと判定された場合に記録開始指示を与える。

計時部２８０は、システムクロックを利用して現在日時や制限時間等の計時を行う。

音生成部２９０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）や、音声合成ＩＣなどのプロセッサ、音声ファイルを再生可能なオーディオコーデック等によって実現され、ゲームに係る効果音やＢＧＭ、各種操作音の音信号を生成し、音出力部３９０に出力する。

音出力部３９０は、音生成部２９０から入力される音信号に基づいて効果音やＢＧＭ等を音出力する装置によって実現される。図２のスピーカ１５１０がこれに該当する。

画像生成部２９２は、各種画像データの生成および画像表示部３９２にそれらの画像を表示させるための画像信号の生成出力などの制御を行う。本実施形態では、仮想空間画像、拡張現実画像、を生成する。

画像表示部３９２は、画像生成部２９２から入力される画像信号に基づいて各種画像を表示する。例えば、フラットパネルディスプレイ、プロジェクター、ヘッドマウントディスプレイといった画像表示装置によって実現できる。本実施形態では、図２のタッチパネル１５０６がこれに該当する。

通信制御部２９４は、データ通信に係るデータ処理を実行し、通信部３９４を介して外部装置とのデータのやりとりを実現する。

通信部３９４は、ネットワーク９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現され、図２の無線通信モジュール１５５３がこれに該当する。

端末記憶部５００は、端末処理部２００にユーザ端末１５００を統合的に制御させるための諸機能を実現するためのプログラムや、各種データ等を記憶する。また、端末処理部２００の作業領域として用いられ、端末処理部２００が各種プログラムに従って実行した演算結果や操作入力部１００から入力される入力データ等を一時的に記憶する。こうした機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ−ＲＯＭやＤＶＤなどの光学ディスクなどによって実現される。図２の制御基板１５５０が搭載するＩＣメモリ１５５２やメモリカード１５４０がこれに該当する。オンラインストレージを利用する構成も可能である。

図１４は、端末記憶部５００が記憶するプログラムやデータの例を示す図である。
端末記憶部５００は、カメラワーク記録管理プログラム５０２と、モデルデータ５１０と、モーションデータ５１２と、楽曲データ５１４と、カメラワークデータ５５０（図５参照）と、現在日時８００と、を記憶する。勿論、これら以外のプログラムやデータも適宜記憶することができる。

カメラワーク記録管理プログラム５０２は、端末処理部２００にカメラワーク記録管理部２０２としての機能を実現する。

次に、本実施形態の拡張現実動画生成システム１０００の動作について説明する。
図１５は、ユーザ端末１５００における処理の流れを説明するためのフローチャートである。ここで説明する処理の流れは、ユーザ端末１５００が、端末処理部２００でカメラワーク記録管理プログラム５０２を実行することにより実装される。

ユーザ端末１５００は、先ずユーザ端末１５００の位置と姿勢の計測（位置姿勢計測）と、カメラ１５２０での撮影とを開始し（ステップＳ１０）、タッチパネル１５０６に、撮影画面Ｗ８（図８参照）を表示させ、拡張現実画像の表示を開始する（ステップＳ１２）。

次に、ユーザ端末１５００は、記録開始操作アイコン１３（図８参照）へのタッチ操作を検出すると、新規の記録開始操作の入力（記録開始指示）がなされたと判断し（ステップＳ１４）、カメラワークデータ５５０の新規の記録を開始する（ステップＳ１６）。そして、記録終了操作アイコン１６へのタッチ操作入力が検出されるまで、すなわち記録終了操作の入力を検出するまで（ステップＳ１８のＮＯ）、ユーザ端末１５００は周期的に記録中断再開処理を実行する（ステップＳ２０）。

図１６〜図１７は、記録中断再開処理の流れを説明するためのフローチャートである。
図１６に示すように、同処理において、ユーザ端末１５００は、ユーザ端末１５００の位置や姿勢の計測結果が、位置不適変化条件を満たした場合と（ステップＳ３０のＹＥＳ）、姿勢不適変化条件を満たした場合と（ステップＳ３２のＹＥＳ）、中断操作の入力が検出された場合と（ステップＳ３４のＹＥＳ）の何れかの場合、記録停止指示がなされたと判断して、カメラワークデータ５５０の記録を一時停止する（ステップＳ４０）。

更にユーザ端末１５００は、楽曲の再生と、被写体オブジェクト４の動作制御を一時停止し（ステップＳ４２）、その旨の表示制御を行ってユーザに一時停止を通知する（ステップＳ４４）。但し、カメラワークデータ５５０の記録停止にともなう被写体オブジェクト４の動作制御を一時停止する処理のオン／オフは、予めユーザによるＯＮ／ＯＦＦ設定操作の対象とされ、ＯＮ／ＯＦＦ設定操作の結果は端末記憶部５００に記憶されるものとする。ユーザ端末１５００は、これがＯＮの場合には、ステップＳ４２およびステップＳ４４を実行し、ＯＦＦの場合にはスキップする。

次に、ユーザ端末１５００は、再開タイミングの初期値を自動選択・自動指定する（ステップＳ４６）。一時停止がユーザによる中断操作入力によるものであれば、再開タイミングを一時停止したカメラワークデータ５５０の終端タイミングとする。一時停止が、位置不適変化条件を満たした場合又は姿勢不適変化条件を満たした場合によるものであれば、自動時間遡及を行って再開タイミングを自動選択する（図１１参照）。勿論、一時停止の理由がユーザによる操作入力か、不適変化を検出したかに係わらず、全てにおいて自動時間遡及を行うとしてもよいし、全てにおいて終端タイミングを再開タイミングとする構成も可能である。

次に、ユーザ端末１５００は、一時停止後の撮影画面Ｗ１０（図１０参照）にて、再開タイミング時仮想空間画像３２とライブ画像３０との比較が可能な同時表示を開始し（ステップＳ４８）、シークバー２０を表示させて再開タイミングのユーザ指定操作の入力の受け付けを開始する（ステップＳ５０）。

図１７に移って、再開タイミングの指定操作の入力を検出したならば（ステップＳ６０のＹＥＳ）、ユーザ端末１５００は、再開タイミング時仮想空間画像３２を指定された再開タイミング時点の画像に差し替えする（ステップＳ６２）。そして、楽曲の再生位置と、被写体オブジェクト４の再生位置とを指定操作された再開タイミングの時点に合わせる（ステップＳ６４）。

次に、再開操作アイコン１５への短い時間の単発的なタッチを検出すると、ユーザ端末１５００は即時再開操作の入力（記録再開指示）がなされと判断し（ステップＳ７０のＹＥＳ；図１２参照）、カメラワークデータ５５０の記録の再開と（ステップＳ８２）、楽曲の再生と被写体オブジェクト４の動作制御とを再開する（ステップＳ８４）。なお、再開タイミングが一時停止されていたカメラワークデータ５５０の終端タイミングでない場合は、指定された再開タイミングの時点から終端タイミングまでのデータは、記録再開されたデータで上書きされる。

次いで、ユーザ端末１５００は、記録再開の旨をユーザに通知する制御を行って（ステップＳ８６）、記録中断再開処理を終了する。

一方、再開操作アイコン１５への長押しタッチを検出すると、ユーザ端末１５００は自動再開操作の入力（記録再開指示）がなされたと判断し（ステップＳ７２のＹＥＳ；図１２参照）、再開タイミング時仮想空間画像３２とライブ画像３０との一致度合の判定と、適合条件との照合を開始する（ステップＳ７４）。また、一致度合が適合条件を満たした場合、画像が一致したと見なし、適合通知３４を表示するともに、記録再開指示に基づく自動再開条件が満たされたと判断して、自動的に記録を再開する（ステップＳ８２）。言い換えると、ユーザ端末１５００は、一致判定の適合条件を満たすと判定された場合に記録再開指示を自ら与える。

そして、自動再開以降は、ユーザ端末１５００は、即時再開と同様に、楽曲の再生と被写体オブジェクト４の動作制御とを再開し（ステップＳ８４）、記録再開の旨をユーザに通知する制御を行って（ステップＳ８６）、記録中断再開処理を終了する。

なお、記録終了操作の入力が検出された場合は（ステップＳ９０のＹＥＳ）、ユーザ端末１５００は、記録を一時停止したままでも記録中断再開処理を終了するともに、カメラワークデータ５５０の記録を終了することができる。

図１５に戻って、所定の記録停止操作の入力が検出されると（ステップＳ１８のＹＥＳ）、ユーザ端末１５００は、カメラワークデータ５５０の記録を終了し（ステップＳ１００）、楽曲の再生と被写体オブジェクト４の制御を終了し（ステップＳ１０２）、一連の処理を終了する。

なお、ユーザ端末１５００は、記録されたカメラワークデータ５５０等のサーバシステム１１００へのアップロードは、所定のアップロード操作の入力を検出すると実行する（図６参照）。そして、所定の拡張現実画像の生成リクエスト操作の入力を検出すると、ユーザ端末１５００は、所定の生成リクエストをサーバシステム１１００へ送信する。

サーバシステム１１００は、生成リクエストを受信すると、送信元であるユーザ端末１５００からアップロードされたカメラワークデータ５５０等を用いて、拡張現実画像の動画データを作成し、これをユーザ端末１５００へ提供可能にする（図７参照）。

このように、本実施形態によれば、「ユーザ自らがビデオカメラを手に持って撮影した」リアリティのある拡張現実の動画を簡単に作成できる。

〔変形例〕
以上、本発明を適用した実施形態について説明したが、本発明を適用可能な形態は上記形態に限定されるものではなく適宜構成要素の追加・省略・変更を施すことができる。

［変形例その１］
例えば、上記実施形態では、被写体オブジェクト４の数を１体として図示したが、同時に複数体用いてもよい。

［変形例その２］
また、上記実施形態では拡張現実（ＡＲ）の画像の動画を作成する例を示したが、上記実施形態は、仮想現実（ＶＲ）の画像の動画を作成する場合でも同様であり、上記実施形態の説明の「拡張現実」を「仮想現実」に適宜読み替えれば良い。

［変形例その３］
また、上記実施形態では、ユーザ端末１５００の位置や姿勢の計測にＡＲマーカ５を用いる構成を例示したが、マーカレス方式の拡張現実技術を用いて位置や姿勢を計測するとしてもよい。

［変形例その４］
また、上記実施形態では、人の形態を有する仮想キャラクタが楽曲に合わせて歌って踊る様子を撮影する例を示したたが、被写体オブジェクト４は、動物でも良いし、植物、風景、乗り物、などでもよい。そして、被写体オブジェクトとしたものによっては、楽曲の再生や、楽曲に同期した動作制御も適宜省略可能である。

［変形例その５］
また、上記実施形態では、カメラワークデータ５５０の記録の再開は、直近過去に記録したカメラワークデータ５５０を対象したが、これに限らない。例えば、上記実施形態におけるステップＳ６０〜ステップＳ８２を別途、指定記録再開処理として、個別に実行可能な構成とし、ユーザに記録済のカメラワークデータ５５０を選択可能に提示して、選択されたカメラワークデータ５５０を対象に、指定記録再開処理を実行する構成も可能である。

［変形例その６］
また、上記実施形態では、拡張現実画像の動画の生成をサーバシステム１１００にて行う例を示したが、これをユーザ端末１５００にて行う構成も可能である。

［変形例その７］
また、上記実施形態では、撮影画面において表示する操作アイコンは、適宜状況に応じて選択することができる（図８、図１０、図１１、図１２参照）。例えば、記録処理の実行状況に応じて、その時点においてユーザが操作可能なアイコンのみを表示するようにしてもよい。具体的には、記録中は、中断操作アイコン１４と、記録終了アイコン１６のみを表示し、一時停止中は、中断操作アイコン１４に代えて再開操作アイコン１５を表示する。

また、撮影画面において操作アイコンを用いずに、各種の操作入力を受け付けるとしてもよい。例えば、タッチパネルへのタッチ軌跡を使用したジェスチャによる入力で各種の操作を指示してもよいし、ユーザ端末１５００の物理ボタンによる操作入力で指示してもよいし、画面へのタッチで一時停止（記録中に画面タッチで一時停止指示）と記録再開（一時停止中に画面タッチで再開指示）を指示するようにしてもよい。

［変形例その８］
また、記録の自動停止の例として、ユーザ端末１５００の位置や姿勢の急激な変化を検出した場合を例示したが、それ以外でも適宜自動停止を行う構成も可能である。
例えば、ユーザ端末１５００のシステムからの通知（電源低下、他のアプリからの通知、電話の着信など）があった場合に記録を一時停止してもよい。また、ユーザ端末１５００がユーザ２の操作入力に基づいてスリープモードに移行した場合に一時停止してもよい。また、ユーザ端末１５００が、他のアプリケーションへの切替操作が入力された場合には記録を一時停止するとしてもよい。

［変形例その９］
また、再開タイミングの設定については、上記実施形態では、再開タイミングの指定操作入力をシークバー２０で受け付ける例を示したが、これに限らない。
例えば、ユーザ端末１５００が、任意の複数の再開タイミング候補を自動選択し、その再開タイミング候補に対応する画像をそれぞれサムネイル画像で表示して、ユーザに選ばせるとしてもよい。その際、ユーザ端末１５００の位置や姿勢の不適当な変化を検出して自動停止した場合、当該停止時点から所定時間ごとに遡ったタイミングを再開タイミング候補として含めると好適である。また、自動停止した停止時点から遡って、ユーザ端末１５００の位置変化や姿勢変化がデータ上（加速度などのパラメータが所定範囲内になって）安定しているタイミングを再生タイミング候補としてもよい。更に言えば、ユーザ２による再開タイミングの手動選択を受け付けずに、ユーザ端末１５００が再開タイミングを自動的に決定するとしてもよい。

２…ユーザ
４…被写体オブジェクト
５…ＡＲマーカ
１１…タイムコード
１３…記録開始操作アイコン
１４…中断操作アイコン
１５…再開操作アイコン
１６…記録終了操作アイコン
１９…自動停止通知
２０…シークバー
３０…ライブ画像
３２…再開タイミング時仮想空間画像
３４…適合通知
１００…操作入力部
１０６…加速度計測部
１０８…姿勢計測部
１２０…撮影部
２００…端末処理部
２０２…カメラワーク記録管理部
２１０…計測データ取得制御部
２１２…仮想空間設定部
２１４…被写体制御部
２１６…仮想カメラ制御部
２１８…仮想空間画像生成制御部
２２０…拡張現実画像生成制御部
２２２…サウンド出力制御部
２２４…記録制御部
２２６…操作指示制御部
２２８…不適変化時自動停止制御部
２３０…記録停止通知制御部
２３２…再生画像生成制御部
２３４…比較表示制御部
２３６…再生タイミング手動指定制御部
２３８…再生タイミング自動指定制御部
２４０…一致判定部
２４２…適合通知制御部
２４４…自動記録開始制御部
２９２…画像生成部
５００…端末記憶部
５０２…カメラワーク記録管理プログラム
５５０…カメラワークデータ
５６０…実撮影条件データ
５６７…実移動軌跡データ
５７０…仮想撮影条件データ
５７７…仮想カメラ移動軌跡データ
５８０…現実画像録画データ
５８２…仮想空間画像録画データ
５８４…拡張現実動画データ
８００…現在日時
１０００…拡張現実動画生成システム
１１００…サーバシステム
１５００…ユーザ端末
１５２０…カメラ
１５５０…制御基板
１５５６…３軸加速度センサ
１５５７…３軸ジャイロ
Ｃ１…仮想カメラ

Claims (17)

1. 携帯型のコンピュータを、
   前記コンピュータの位置および姿勢を計測した計測データを取得する制御を行う計測データ取得制御手段、
   被写体オブジェクトが配置された仮想３次元空間を設定する仮想空間設定手段、
   前記仮想３次元空間を撮影する仮想カメラの位置および姿勢を、前記計測データに連動させて制御する仮想カメラ制御手段、
   前記仮想カメラで撮影された前記仮想３次元空間の画像を生成する仮想空間画像生成手段、
   前記仮想カメラ制御手段によって連続的に制御された前記仮想３次元空間中の前記仮想カメラの位置および姿勢を再現可能なカメラワークデータを記録する記録制御手段、
   として機能させるためのプログラム。
2. 所与の時間軸に沿った所与の動作を前記被写体オブジェクトに行わせる制御をする被写体制御手段、
   として前記コンピュータを機能させ、
   前記記録制御手段は、前記仮想カメラの位置および姿勢を前記計測データの時間軸と対応付けて記録することで、前記時間軸に同期したカメラワークを再現可能なカメラワークデータを記録する、
   請求項１に記載のプログラム。
3. 前記時間軸に沿った所与の楽曲及び／又は所与の音声（以下包括して「サウンド」という）を出力させる制御をするサウンド出力制御手段、
   として前記コンピュータを機能させ、
   前記被写体制御手段は、前記サウンドに合わせた動作を前記被写体オブジェクトに行わせる、
   請求項２に記載のプログラム。
4. 前記記録制御手段は、所与の記録開始指示に応じて記録を開始し、所与の記録停止指示に応じて記録を停止し、
   前記被写体制御手段は、前記記録開始指示に応じて前記時間軸を作動開始させて前記被写体オブジェクトの動作を開始させ、前記記録停止指示に応じて前記時間軸を停止させて前記被写体オブジェクトの動作を停止させる一斉制御を行う、
   請求項２又は３に記載のプログラム。
5. 前記一斉制御は、切替操作によってオン／オフが切り替え可能であり、
   前記被写体制御手段は、前記一斉制御がオンの場合には前記一斉制御を行い、オフの場合には前記記録開始指示および前記記録停止指示に関わらず前記被写体オブジェクトの動作制御を継続する、
   請求項４に記載のプログラム。
6. 前記記録制御手段は、所与の記録停止指示に応じて記録を停止し、所与の記録再開指示に応じて記録を再開し、
   前記計測データが、前記仮想３次元空間を撮影する際の不適な変化をしたことを示す所与の不適変化条件を満たしたことを検出し、当該検出に応じて前記記録停止指示を与える不適変化時自動停止手段、
   として前記コンピュータを機能させるための請求項１〜５の何れか一項に記載のプログラム。
7. 前記記録制御手段により記録された前記カメラワークデータの所与の再生タイミングにおける仮想カメラからの前記仮想３次元空間の画像である再生画像を生成する再生画像生成手段、
   前記仮想空間画像生成手段により生成されている画像であるライブ画像と、前記再生画像とを比較可能な態様で表示する制御を行う比較表示制御手段、
   として前記コンピュータを機能させるための請求項１〜６の何れか一項に記載のプログラム。
8. 前記記録制御手段により記録された前記カメラワークデータの所与の再生タイミングにおける現実空間の画像である再生画像と、現時点における現実空間の画像であるライブ画像とを比較可能な態様で表示する制御を行う比較表示制御手段、
   として前記コンピュータを機能させるための請求項１〜６の何れか一項に記載のプログラム。
9. ユーザの操作に基づいて前記再生タイミングを指定する再生タイミング手動指定手段、
   として前記コンピュータを機能させるための請求項７又は８に記載のプログラム。
10. 前記記録制御手段は、所与の記録停止指示に応じて記録を停止し、所与の記録再開指示に応じて記録を再開し、
    前記記録停止指示が与えられた場合に、当該記録停止指示が与えられたタイミングに基づく所与のプレイバックタイミングを前記再生タイミングとする再生タイミング自動指定手段、
    として前記コンピュータを機能させるための請求項７〜９の何れか一項に記載のプログラム。
11. 前記再生タイミング自動指定手段は、前記記録停止指示が与えられたタイミングから所与の時間、前記時間軸を遡った時点を前記プレイバックタイミングとする、
    請求項１０に記載のプログラム。
12. 前記比較表示制御手段は、前記ライブ画像と前記再生画像とを重畳的に表示する制御を行う、
    請求項７〜１１の何れか一項に記載のプログラム。
13. 前記ライブ画像と前記再生画像との一致度合を判定し、所定の適合条件を満たすか否かを判定する一致判定手段、
    前記一致判定手段により前記適合条件を満たすと判定された場合にユーザに適合通知を行う適合通知制御手段、
    として前記コンピュータを機能させるための請求項７〜１２の何れか一項に記載のプログラム。
14. 前記記録制御手段は、所与の記録停止指示に応じて記録を停止し、所与の記録再開指示に応じて記録を再開し、
    前記ライブ画像と前記再生画像との一致度合を判定し、所定の適合条件を満たすか否かを判定する一致判定手段、
    前記一致判定手段により前記適合条件を満たすと判定された場合に前記記録再開指示を与える自動記録開始手段、
    として前記コンピュータを機能させるための請求項７〜１３の何れか一項に記載のプログラム。
15. 前記コンピュータは、ズーム倍率を変更可能な撮影部を備え、
    前記被写体オブジェクトは、前記撮影部の撮影画像に基づくＡＲ（Augmented Reality）キャラクタであり、
    前記仮想カメラ制御手段は、前記仮想カメラの撮影画角を前記ズーム倍率に連動させて制御し、
    前記記録制御手段は、前記仮想カメラの撮影画角を再現可能なデータを前記カメラワークデータに含めて記録する、
    請求項１〜１４の何れか一項に記載のプログラム。
16. 位置および姿勢を計測した計測データを取得する制御を行う計測データ取得制御手段と、
    被写体オブジェクトが配置された仮想３次元空間を設定する仮想空間設定手段と、
    前記仮想３次元空間を撮影する仮想カメラの位置および姿勢を、前記計測データに連動させて制御する仮想カメラ制御手段と、
    前記仮想カメラで撮影された前記仮想３次元空間の画像を生成する仮想空間画像生成手段と、
    前記仮想カメラ制御手段によって連続的に制御された前記仮想３次元空間中の前記仮想カメラの位置および姿勢を再現可能なカメラワークデータを記録する記録制御手段と、
    を備えた電子機器。
17. 携帯型のコンピュータが実行するデータ記録方法であって、
    前記コンピュータの位置および姿勢を計測した計測データを取得する制御を行う計測データ取得制御ステップと、
    被写体オブジェクトが配置された仮想３次元空間を設定する仮想空間設定ステップと、
    前記仮想３次元空間を撮影する仮想カメラの位置および姿勢を、前記計測データに連動させて制御する仮想カメラ制御ステップと、
    前記仮想カメラで撮影された前記仮想３次元空間の画像を生成する仮想空間画像生成ステップと、
    前記仮想カメラ制御ステップによって連続的に制御された前記仮想３次元空間中の前記仮想カメラの位置および姿勢を再現可能なカメラワークデータを記録する記録制御ステップと、
    を含むデータ記録方法。

Images