JP2023027113A - プログラム、電子機器および制御方法 - Google Patents

Abstract

【課題】仮想３次元空間内の被写体をビデオ撮影する際の新たなサポート技術を提供すること。【解決手段】ユーザ端末１５００は、カメラ、表示部、各種センサを備えており、カメラの現実空間における位置および姿勢の情報を計測する。ユーザ端末１５００は、被写体オブジェクト４とそれを撮影する仮想カメラＣ１が配置された仮想３次元空間を設定する。ユーザ端末１５００は、被写体オブジェクト４を自動制御する一方で、仮想カメラＣ１の位置および姿勢を、計測された位置および姿勢の情報に連動させて制御する。ユーザ端末１５００は、仮想カメラで撮影された仮想３次元空間の画像を生成して、仮想撮影のファインダー画像として表示部に表示し、録画する。そして、仮想撮影の間、ユーザ端末１５００は、被写体オブジェクト４の自動制御の内容を予告表示２０にて予告する。【選択図】図６

Description

本発明は、コンピュータに仮想３次元空間の画像を生成する機能を実現させるためのプログラム等に関する。

昨今のコンピュータを用いたゲームや、拡張現実（ＡＲ：Augmented Reality）による映像、仮想現実（ＶＲ：Virtual Reality）による映像のほとんどは、３ＤＣＧ（3-Dimensional Computer Graphics）で作成される。例えば、ゲーム画面は、仮想３次元空間に、キャラクタや背景などのオブジェクト配置し、それらを仮想カメラで撮影した画像として生成される。

映像における画面の構図は、演出効果を生み出す重要な要素であり、ゲームであればゲームプレイのし易さにも影響を及ぼす。故に、３ＤＣＧを作成する際の仮想カメラの位置・姿勢・撮影画角の設定はとても大切な要素となる。特許文献１には、ゲーム画面が想定通りの構図となるように、仮想カメラの動かし方などを仮想カメラ用のモーションデータとして予め設定しておき、状況に応じてそれを補正することで、想定通りの構図を維持する技術が開示されている。

特開２０１５－２１２９６５号公報

仮想カメラのモーションを予め設定できる場合には、特許文献１の技術が有効な手法となる場合がある。しかし、ユーザ自身が手持ち可能な仮想のビデオカメラで、拡張現実空間や仮想現実空間に存在する仮想の被写体（例えば、仮想空間で歌って踊る仮想のアイドル）を撮影するシチュエーションでは、特許文献１の技術をそのまま適用することができない。

具体的には、ユーザが仮想のアイドルのミュージックビデオやプロモーションビデオを仮想撮影するユーザ体験を提供するサービスを考えた場合、ユーザが望む構図で１曲分を中断無しに連続して撮影するには、仮想のアイドルがどのタイミングでどのようにアクションするかを全て覚えていなければならない。さもなければ、仮想のアイドルの躍動的なアクションにカメラワークがついてゆけず、いわゆる「見切れ」を起こすこととなる。

本発明が解決しようとする課題は、仮想３次元空間内の被写体をビデオ撮影する際の新たなサポート技術を提供すること、である。

上記した課題を解決するための第１の発明は、カメラ（例えば、図２のカメラ１５２０）および表示部（例えば、図２のタッチパネル１５０６）を備えた携帯型のコンピュータを、
前記カメラの現実空間における位置および姿勢の情報の取得に係る制御を行う位置姿勢取得制御手段（例えば、図２の制御基板１５５０、図９の端末処理部２００、仮想撮影管理部２１０、位置姿勢取得制御部２１２、図２１の実撮影条件データ７０５、図２２のステップＳ１４）、
被写体オブジェクトが配置された仮想３次元空間を設定する仮想空間設定手段（例えば、図２の制御基板１５５０、図９の端末処理部２００、仮想撮影管理部２１０、仮想空間設定部２１４、図２１の仮想３次元空間制御データ７１０、図２２のステップＳ１２、ステップＳ２０）、
前記被写体オブジェクトを自動制御する被写体オブジェクト制御手段（例えば、図２の制御基板１５５０、図９の端末処理部２００、仮想撮影管理部２１０、被写体オブジェクト制御部２１８、図２１の被写体オブジェクト制御データ７１３、図２２のステップＳ１２、ステップＳ２０）、
前記仮想３次元空間を撮影する仮想カメラの位置および姿勢を、前記位置姿勢取得制御手段により取得したデータに連動させて制御する仮想カメラ制御手段（例えば、図２の制御基板１５５０、図９の端末処理部２００、仮想撮影管理部２１０、仮想カメラ制御部２２０、図２１の仮想カメラ制御データ７１１、図２２のステップＳ１４）、
前記表示部に表示させる前記仮想カメラで撮影された前記仮想３次元空間の画像を生成する仮想空間画像生成手段（例えば、図２の制御基板１５５０、図９の端末処理部２００、仮想撮影管理部２１０、仮想空間画像生成制御部２２２、画像生成部２９２、図２２のステップＳ１６）、
前記被写体オブジェクト制御手段による自動制御を予告する予告制御手段（例えば、図２の制御基板１５５０、図９の端末処理部２００、仮想撮影管理部２１０、予告制御部２３４、図２２のステップＳ３０～ステップＳ３６）、として機能させるためのプログラムである。

ここで言う「コンピュータ」とは、単数のコンピュータは勿論、複数のコンピュータが連携して構成されるものでもよい。

第１の発明によれば、ユーザは、カメラおよび表示部を備えた携帯型のコンピュータを携え、手持ち可能なビデオカメラ（いわゆるカムコーダ）で撮影する要領で撮影操作すると、当該コンピュータの位置および姿勢に連動するように位置および姿勢が変化する仮想カメラで撮影された仮想空間の画像が、カメラのファインダー画像のようにして表示部に表示される。つまり、コンピュータをカムコーダに見立てた仮想のビデオ撮影が可能になる。そして、その仮想撮影の過程において、ユーザに向けて被写体オブジェクトの自動制御についての予告が行われる。従って、ユーザは、次の被写体オブジェクトがどのように制御されるかを予期して撮影できるので、望んだ構図での撮影がし易くなる。第１の発明によれば、仮想３次元空間内の被写体をビデオ撮影する際の新たなサポート技術を提供できる。

第２の発明は、前記被写体オブジェクト制御手段が、前記被写体オブジェクトの制御手順が定められた所与の制御手順データ又は所与の制御手順プログラム（以下代表して「制御手順データ」という）に基づいて、前記被写体オブジェクトを自動制御し、前記予告制御手段は、前記制御手順データに基づいて、前記被写体オブジェクト制御手段による自動制御の予告を行う、第１の発明のプログラムである。

第２の発明によれば、被写体オブジェクトの自動制御の内容は、予め制御手順データによって時系列に定義されている。ユーザにとって見れば、被写体オブジェクトの自動制御の流れを覚えていれば、より完璧な構図でビデオ撮影できることになる。被写体オブジェクトの同じ自動制御に対する撮影操作を繰り返しビデオ撮影するならば、より満足感の高いビデオ撮影が可能となる。

第３の発明は、所与の楽曲を再生制御する楽曲再生制御手段（例えば、図２の制御基板１５５０、図９の端末処理部２００、仮想撮影管理部２１０、楽曲再生制御部２４６、図１０の楽曲データ５４０、図２２のステップＳ２０）、として前記コンピュータを機能させ、前記制御手順データは、前記楽曲の再生と同期した制御手順が定められており、前記被写体オブジェクト制御手段は、前記楽曲再生制御手段による前記楽曲の再生と同期して前記被写体オブジェクトを制御する、第２の発明のプログラムである。

第３の発明によれば、楽曲の再生と同期して被写体オブジェクトの自動制御を実行できる。例えば、被写体オブジェクトを仮想のアイドルとすれば、ユーザは、歌って踊る仮想アイドルを自身のカムコーダで仮想撮影する気分を楽しむことができることになる。被写体オブジェクトが、仮想のアイドルではなく、仮想の動物であったとしても、当該動物の動きと同期したＢＧＭを楽曲として再生すれば、仮想撮影の気分を盛り上げ、すばらしい仮想撮影のユーザ体験を提供できる。

第４の発明は、前記被写体オブジェクト制御手段が、前記被写体オブジェクトを移動させる制御を行い、前記予告制御手段は、前記被写体オブジェクトの移動方向、移動距離および移動経路のうち少なくとも１つを予告する、第１～第３の何れかの発明のプログラムである。

第４の発明によれば、ユーザへ、被写体オブジェクトの移動に伴う見切れを防ぐための情報を提供できる。

第５の発明は、前記被写体オブジェクトは、キャラクタのオブジェクトであり、前記被写体オブジェクト制御手段は、前記被写体オブジェクトの身体を動作させる制御を行い、前記予告制御手段は、前記被写体オブジェクトの身体動作について予告する、第１～第４の何れかの発明のプログラムである。

第５の発明によれば、ユーザへ、被写体オブジェクトの動作に伴う見切れを防ぐための情報を提供できる。

第６の発明は、前記予告制御手段が、前記被写体オブジェクトの身体動作の予告に係る部位を識別表示する制御を行う、第５の発明のプログラムである。

第６の発明によれば、ユーザへ、被写体オブジェクトの身体動作の予告として、動作される部位に関する情報を提供できる。

第７の発明は、前記仮想空間設定手段が、複数の前記被写体オブジェクトを前記仮想３次元空間に配置し、前記被写体オブジェクト制御手段は、前記複数の被写体オブジェクトそれぞれを自動制御し、前記予告制御手段は、前記被写体オブジェクトについて個別の予告制御を行う、第１～第６の何れかの発明のプログラムである。

第７の発明によれば、複数の被写体オブジェクトそれぞれについて自動制御と予告ができる。例えば、被写体オブジェクトを仮想アイドルとすれば、仮想アイドルグループの仮想撮影を楽しむサービスを提供する場合でも、ユーザが望んだ構図で仮想撮影できるようにサポートできる。

第８の発明は、前記予告制御手段が、前記複数の被写体オブジェクトのうちの少なくとも一体を選択し、当該選択された被写体オブジェクトについて予告する、第７の発明プログラムである。

第８の発明によれば、複数の被写体オブジェクトのうち少なくとも一体について予告することができるようになる。

第９の発明は、前記予告制御手段が、前記複数の被写体オブジェクトのうち、所定条件を満たす被写体オブジェクトを選択する、第８の発明のプログラムである。

第９の発明によれば、その時々において所定条件を満たす動きをする被写体オブジェクトについて予告できる。よって、例えば、ユーザへ、構図を考えるにあたりアクションの観点から優先的に考慮するべき被写体オブジェクトとその動作についての情報を事前に提供できる。

第１０の発明は、前記仮想空間設定手段が、前記複数の被写体オブジェクトによるコンサートを行う空間として前記仮想３次元空間を設定し、前記被写体オブジェクト制御手段が、前記被写体オブジェクト毎の歌唱動作を自動制御し、前記予告制御手段が、前記複数の被写体オブジェクトのうち、次に歌唱動作を行う前記被写体オブジェクトを選択する、第８の発明プログラムである。

第１０の発明によれば、複数の被写体オブジェクトが、順番に歌唱を担当するコンサートの様子を仮想撮影するにあたり、次にどの被写体オブジェクトが歌唱するかの情報をユーザへ提供できる。

第１１の発明は、前記被写体オブジェクト制御手段が、前記複数の被写体オブジェクトに連係動作を行わせる制御を行い、前記予告制御手段は、前記連係動作について予告する、第７～第１０の何れかの発明のプログラムである。

第１１の発明によれば、ユーザへ、複数の被写体オブジェクトの連係動作に伴う見切れを防ぐための情報を提供できる。

第１２の発明は、前記被写体オブジェクト制御手段によって前記被写体オブジェクトが自動制御される制御内容のうち、前記予告の対象とする制御内容をユーザの操作入力に基づいて設定する予告対象制御設定手段（例えば、図２の制御基板１５５０、図９の端末処理部２００、仮想撮影管理部２１０、予告対象制御設定部２３０、図２１の特定動作種類７２５、図２２のステップＳ１０）、として前記コンピュータを機能させ、前記予告制御手段は、前記予告対象制御設定手段により設定された制御内容について予告を行う、第１～第１１の何れかの発明のプログラムである。

第１２の発明によれば、ユーザが、予告の対象とする自動制御の内容を指定することができる。つまり、ユーザは、自らが必要と思う自動制御のみについて予告が提供されるようにすることができ、不要な予告がなされないことにより、仮想撮影に集中し易い環境を構築できる。

第１３の発明は、前記予告制御手段による予告が行われる際に、現在の前記仮想カメラの位置および姿勢が継続すると仮定して、将来、当該予告内容に関する前記被写体オブジェクト制御手段の自動制御が行われたときの当該仮想カメラで撮影された画像に前記被写体オブジェクトの特定部位が含まれているか否かを予測する予測手段（例えば、図２の制御基板１５５０、図９の端末処理部２００、仮想撮影管理部２１０、特定部位設定部２３２、図２１の特定部位種類７２３、図２２のステップＳ１０）、
前記予測手段により否定予測された場合にユーザへ通知する制御を行う予測通知制御手段（例えば、図２の制御基板１５５０、図９の端末処理部２００、仮想撮影管理部２１０、予測通知制御部２４２、図２２のステップＳ３８）、
として前記コンピュータを機能させるための第１～第１２の何れかの発明のプログラム。である。

第１３の発明によれば、被写体オブジェクトの特定部位に着目して、そのままでは見切れを起こす可能性があることを予測してユーザに通知できる。よって、ユーザサポートを更に充実させることができる。

第１４の発明は、カメラおよび表示部を備えた携帯型の電子機器であって、前記カメラの現実空間における位置および姿勢の情報の取得に係る制御を行う位置姿勢取得制御手段と、被写体オブジェクトが配置された仮想３次元空間を設定する仮想空間設定手段と、前記被写体オブジェクトを自動制御する被写体オブジェクト制御手段と、前記仮想３次元空間を撮影する仮想カメラの位置および姿勢を、前記位置姿勢取得制御手段により取得したデータに連動させて制御する仮想カメラ制御手段と、前記表示部に表示させる前記仮想カメラで撮影された前記仮想３次元空間の画像を生成する仮想空間画像生成手段と、前記被写体オブジェクト制御手段による自動制御を予告する予告制御手段と、を備えた電子機器である。

第１４の発明によれば、第１の発明と同様の作用効果を奏する電子機器を実現できる。

仮想撮影体験提供システムの構成例を示す図。 ユーザ端末の構成例を示す正面図。 ユーザ端末における拡張現実を用いた被写体の表示制御に関して説明するための図。 仮想撮影された拡張現実画像の録画について説明するための図。 見切れが起こるシチュエーションの例を示す図。 予告の例を示す概念図。 予告表示で用いられる予告アイコンの例を示す図。 見切れの予測判定と、見切れ予測の通知の例を示す図。 第１実施形態におけるユーザ端末の機能構成の一例を示す機能ブロック図。 第１実施形態における端末記憶部が記憶するプログラムやデータの例を示す図。 予告アイコン定義データのデータ構成例を示す図（その１）。 予告アイコン定義データのデータ構成例を示す図（その２）。 予告アイコン定義データのデータ構成例を示す図（その３）。 予告アイコン定義データのデータ構成例を示す図（その４）。 被写体オブジェクト定義データのデータ構成例を示す図。 歌唱担当割り振りデータのデータ構成例を示す図。 制御手順データのデータ構成例を示す図。 注目アクションリストのデータ構成例を示す図。 演出手順データのデータ構成例を示す図。 予告手順データのデータ構成例を示す図。 仮想撮影管理データのデータ構成例を示す図。 第１実施形態のユーザ端末における処理の流れを説明するためのフローチャート。 図２２より続くフローチャート。 第２実施形態におけるサーバシステムの機能構成例を示す機能ブロック図。 第２実施形態におけるサーバ記憶部が記憶するプログラムやデータの例を示す図。 第２実施形態におけるユーザ端末の機能構成例を示す機能ブロック図。

以下、本発明の実施形態の一例を説明するが、本発明を適用可能な形態が以下の実施形態に限られないことは勿論である。

〔第１実施形態〕
図１は、仮想撮影体験提供システムの構成例を示す図である。
仮想撮影体験提供システム１０００は、仮想３次元空間に存在するオブジェクトを仮想撮影するユーザ体験を提供するコンピュータシステムであって、ネットワーク９を介して相互にデータ通信が可能に接続されたサーバシステム１１００と、ユーザ端末１５００とを含む。

ネットワーク９は、データ通信が可能な通信路を意味する。すなわち、ネットワーク９とは、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮ（Local Area Network）の他、電話通信網やケーブル網、インターネット等の通信網を含む意味であり、また、通信方法については有線／無線を問わない。

サーバシステム１１００は、例えば、キーボード１１０６と、タッチパネル１１０８と、ストレージ１１４０とを有し、本体装置１１０１には制御基板１１５０を搭載する。

制御基板１１５０には、ＣＰＵ（Central Processing Unit）１１５１やＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などの各種マイクロプロセッサ、ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１１５２、通信装置１１５３が搭載されている。なお、制御基板１１５０の一部又は全部は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field-Programmable Gate Array）、ＳｏＣ（System on a Chip）により実現するとしてもよい。

そして、サーバシステム１１００は、制御基板１１５０が所定のプログラムおよびデータに基づいて演算処理することにより、ユーザ端末１５００で仮想撮影体験をユーザに提供するための各種プログラムやデータを提供する機能を実現する。

なお、図１では、ユーザ端末１５００を１台のみ描いているが、実際のシステム運用においては、同時に複数のユーザ端末１５００がサーバシステム１１００にアクセス可能な構成であってもよい。

また、サーバシステム１１００を、１台のサーバ装置であるかのように描いているが、複数の装置で実現する構成であってもよい。例えば、サーバシステム１１００は各機能を分担する複数のブレードサーバを搭載して相互に内部バスを介してデータ通信可能に接続した構成であってもよい。また、サーバシステム１１００を構成するハードウェアの設置場所は問わない。離れた場所に設置された独立した複数のサーバを、ネットワーク９を介してデータ通信させることで、全体としてサーバシステム１１００として機能させる構成であってもよい。

ユーザ端末１５００は、ユーザ２が、仮想撮影のユーザ体験を得るために使用するコンピュータシステムであって、ネットワーク９を介してサーバシステム１１００にアクセスできる電子装置（電子機器）である。本実施形態のユーザ端末１５００は、いわゆるスマートフォンと呼ばれる装置であるが、手持ち可能なコンピュータシステムであれば、携帯型ゲーム装置や、タブレット型コンピュータ、などでもよい。

図２は、本実施形態におけるユーザ端末１５００の構成例を示す正面図である。
ユーザ端末１５００は、方向入力キー１５０２と、ボタンスイッチ１５０４と、画像表示デバイス兼接触位置入力デバイスとして機能するタッチパネル１５０６と、スピーカ１５１０と、内蔵バッテリー１５０９と、マイク１５１２と、カメラ１５２０と、制御基板１５５０と、コンピュータ読み出し可能な記憶媒体であるメモリカード１５４０からデータを読み書きできるメモリカード読取装置１５４２と、を備える。その他、図示されていない電源ボタン、音量調節ボタン等が設けられている。また、システム利用対価の支払いが可能なＩＣカード型のクレジットカードやプリペイドカードに対して非接触にデータの読み書きが行えるＩＣカード読取装置などを設けるとしてもよい。

カメラ１５２０は、ズーム倍率を変更可能なイメージセンサーユニットである。すなわち、カメラ１５２０は、ＣＣＤ（Charge Coupled Device）などのイメージセンサ、ズーム機構、オートフォーカス機構、イメージセンサで撮影された信号から映像データを生成するＬＳＩ、などのデジタル動画撮影を可能とする構成要素を含む。

制御基板１５５０は、（１）ＣＰＵ１５５１や、ＧＰＵ，ＤＳＰなどの各種マイクロプロセッサ、（２）ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１５５２、（３）ネットワーク９に接続する携帯電話基地局や無線ＬＡＮ基地局などと無線通信するための無線通信モジュール１５５３、（４）測位モジュール１５５５、（５）３軸加速度センサ１５５６、（６）３軸ジャイロ１５５７、（７）インターフェース回路１５５８、などを搭載する。

測位モジュール１５５５は、ユーザ端末１５００の位置を取得する。本実施形態では既存の測位システムを利用して現実空間における位置座標を取得することができる。すなわち、測位モジュール１５５５は、測位システムから提供される信号を受信して所定周期で（例えば１秒毎に）測位情報を出力することで、ユーザ端末１５００における測位機能を提供する。本実施形態では、測位システムとしてＧＰＳ（Global Positioning System）を利用する。よって測位モジュール１５５５は、既存の「ＧＰＳモジュール」や「ＧＰＳ受信器」等を利用することができる。「測位情報」には、測位日時（例えば協定世界時であるＵＴＣ：Coordinated Universal Time）、位置座標（緯度・経度・高度）、方位などが含まれる。利用する測位システムはＧＰＳに限らず適宜選択可能である。例えば、測位モジュール１５５５は、携帯電話の無線基地局やＷｉ－Ｆｉネットワークの無線基地局などと無線接続する通信機と、方位センサとの構成で置き換えることができる。すなわち、接続中の無線基地局について予め測位されている位置情報を取得して、これをユーザ端末１５００の現実空間における位置座標とするとしてもよい。

インターフェース回路１５５８には、タッチパネル１５０６のドライバ回路、方向入力キー１５０２およびボタンスイッチ１５０４からの信号を受信する回路、スピーカ１５１０へ音声信号を出力する出力アンプ回路、マイク１５１２で集音した音声の信号を生成する入力信号生成回路、カメラ１５２０で撮影された画像の画像データを入力する回路、メモリカード読取装置１５４２への信号入出力回路、などが含まれている。

制御基板１５５０に搭載されているこれらの要素は、バス回路などを介して電気的に接続され、データの読み書きや信号の送受信が可能に接続されている。なお、制御基板１５５０の一部又は全部をＡＳＩＣやＦＰＧＡ、ＳｏＣにて構成してもよい。そして、制御基板１５５０は、ユーザ端末としての機能を実現させるためのプログラムや各種データをＩＣメモリ１５５２に記憶する。

なお、本実施形態では、ユーザ端末１５００はプログラムや各種設定データをサーバシステム１１００からダウンロードする構成としているが、別途入手したメモリカード１５４０などの記憶媒体から読み出す構成としてもよい。

図３は、ユーザ端末１５００における拡張現実を用いた被写体の表示制御に関して説明するための図である。
ユーザ端末１５００は、拡張現実を用いて、タッチパネル１５０６に仮想３次元空間内に設定された被写体オブジェクトの像を表示させることができる。すなわち、現実空間にはＡＲマーカ６が設置されており、ユーザ２は、このＡＲマーカ６をカメラ１５２０で撮影するようにユーザ端末１５００の位置・姿勢と、カメラ１５２０のズーム倍率を調整する。カメラ１５２０で撮影された現実空間の画像（現実空間画像）内のＡＲマーカ６は画像認識処理されて、ユーザ端末１５００とＡＲマーカ６との相対位置や相対姿勢の算出処理に用いられる。

ユーザ端末１５００は、算出された相対位置や相対姿勢と、３軸加速度センサ１５５６や３軸ジャイロ１５５７を用いて得られるユーザ端末１５００の加速度および姿勢の情報とから、カメラ１５２０の位置変化と姿勢変化とを常時計測・取得することができる。また、カメラ１５２０のズーム操作によりズーム倍率（撮影画角に相当）の情報も周期的に取得することができる。以降では、相対位置や、相対姿勢、位置変化、姿勢変化、ズーム倍率と言ったいわゆる撮影条件を記述するパラメータ値、およびこれらを求めるための元になる撮影画像中のＡＲマーカ６の大きさや向き、姿勢データやユーザ端末１５００の加速度データ、ズーム制御値、センサの計測値などを総括して「実撮影条件」と呼ぶこととする。

実撮影条件を取得する一方、ユーザ端末１５００は、仮想３次元空間に、被写体オブジェクト４を配置して自動制御することができる。本実施形態では、被写体オブジェクト４は、人の形態をしたキャラクタのオブジェクトであり、カメラ１５２０で撮影された撮影画像に基づくＡＲ（Augmented Reality）キャラクタである。ユーザ端末１５００は、予め用意された所与の楽曲データと、当該楽曲データの楽曲と同期するモーションを実現するための所定のモーションデータと、を用いて、被写体オブジェクト４が、ステージ５で楽曲を歌いながら踊るように自動制御する。

ここで言う「モーション」は、被写体オブジェクト４の自動制御用に用意される動作である。動作の種類は適宜設定可能である。例えば、歩く、走る、ジャンプ、じゃがむ、マイクを口元に寄せて口を開閉する歌唱動作、ダンスの振り付け、ピースサイン、ターン、他の単数または複数の被写体オブジェクトや背景オブジェクトとの連係動作（例えば、ハイタッチ、握手、腕組み、ぶら下がる、投げる、持ち上げる、引っ張る、など）、を設定することができる。なお、被写体オブジェクト４が身体を動かさずに移動すること、例えば、ステージ上の仕掛け（エレベータやスライダ、ワイヤーなど）によるノンアクションの移動も、モーションに含まれるものとする。

ステージ５は、被写体オブジェクト４によるコンサートを行う空間を構成する背景オブジェクトの１つである。なお、背景オブジェクトは、ステージ５以外にも適宜設定可能である。

仮想３次元空間には、仮想カメラＣ１が配置され、その撮影位置・撮影姿勢・撮影画角が、カメラ１５２０の実撮影条件のパラメータ値に連動制御される。そして、ユーザ端末１５００は、仮想カメラＣ１で撮影した仮想３次元空間の画像すなわち仮想空間画像９０（被写体オブジェクト４、ステージ５の画像）を生成して、これを現実空間画像９２に重畳表示させた拡張現実画像９４を、タッチパネル１５０６に表示させる。

ユーザ２は、ユーザ端末１５００へ所定の録画開始操作を入力してから、タッチパネル１５０６に表示される被写体オブジェクト４が楽曲を歌いながら踊る様子（歌唱動作する様子）をファインダー画像に見立てて、携帯型ビデオカメラ（手持ちタイプのカムコーダ）で撮影する要領で、ユーザ端末１５００を現実空間で移動させ、時に姿勢を変え、時にズーム倍率を変える撮影操作をする。つまり、ユーザ２は、拡張現実画像９４をファインダー画像に見立てて、被写体オブジェクト４のコンサートを撮影する仮想撮影体験を楽しむことができる。

そして、録画開始操作がなされると、図４に示すように、ユーザ端末１５００は、生成される拡張現実画像９４を時系列に連続的に記録した一連の録画データ７４０を生成し、これを記録する。

さて、そうした仮想撮影の体験を通じて、ユーザ２は、自分がカメラマンになったつもりで、被写体オブジェクト４のプロモーションビデオを撮影する気持ちになる。当然、こだわりの映像の構図で撮影したいと思うものである。タイミング良く被写体オブジェクト４の躍動的なアクションを全景でとらえたり、タイミング良く被写体オブジェクト４が見せる魅力的な表情をアップで撮影したり、タイミング良く派手なステージ演出（例えば、スポットライトアクションや、スモーク、バックダンスなど）をしっかり捉える構図で撮影したい、と思う。

しかし、被写体オブジェクト４は、歌って踊っている。例えば、図５の例では、ユーザ２が、被写体オブジェクト４をウエストショットで撮影しているタイミングで、被写体オブジェクト４がジャンプアクションをしている。ユーザ２は、ここでジャンプアクションがなされることを知らなければ、被写体オブジェクト４のジャンプにカメラワークを合わせることができないであろう。結果、被写体オブジェクト４は撮影フレーム外に飛び出して「見切れ」が起きることになる。

被写体オブジェクト４が１曲歌い終わるまで、「見切れ」を起こさずに（演出目的の意図的な見切れを除く。）、思い描いた映像の構図で連続して撮り続けるには、被写体オブジェクト４が歌う曲、踊りの振り付け、ステージ演出の内容とタイミングを完璧に覚えていなければならないことになる。覚えることも本実施形態で例示している仮想撮影体験を楽しむサービスのやりこみ要素の１つと考えることもできるが、えてしてサービスを利用し始めたばかりのユーザには困難と判断されてしまい、プレイ自体を遠慮させてしまうかも知れない。

そこで、本実施形態では、ユーザ２に対して仮想３次元空間で起こることの予告、特には、被写体オブジェクト４の自動制御を予告することで、ユーザ２が望んだ構図で仮想撮影ができるようにサポートする。

図６は、予告の例を示す概念図である。図６に示すシチュエーションは、図５と同様である。被写体オブジェクト４を含む仮想３次元空間に配置された各種オブジェクトには、楽曲を再生する際の経過時間情報であるタイムコードと同期して、予め所定のタイミングで所定の動作をするように、制御手順データが用意されている。ユーザ端末１５００は、この制御手順データに基づいて、各種オブジェクトの自動制御を行う。

そこで、ユーザ端末１５００は、次に実行される自動制御の内容を予告する予告表示２０を、仮想撮影の間、タッチパネル１５０６に表示される撮影操作画面Ｗ６の中にて表示する。

予告の表示形態は適宜選択可能であるが、本実施形態では、ユーザ端末１５００が、撮影操作画面Ｗ６の右端にアイコン形式で予告表示２０を表示させる。
図６の例では、被写体オブジェクト４の移動方向移動経路予告アイコン２１ａと、動作種類予告アイコン２１ｂと、移動距離予告アイコン２１ｃと、が表示された例を示している。具体的には、移動方向移動経路予告アイコン２１ａは、アイコンに描かれた矢印の方向によって被写体オブジェクト４が移動する方向（図の例では上方向）を示すアイコンである。動作種類予告アイコン２１ｂは、アイコンに描かれた頭文字で被写体オブジェクト４の自動制御の種類（図の例ではジャンプアクション）を示すアイコンである。移動距離予告アイコン２１ｃは、アイコンに描かれている数字で、その時の撮影フレームの幅を基準長として、何フレーム分移動するか（図の例では２フレーム分）で移動距離を予告するアイコンである。

ユーザ２は、被写体オブジェクト４がジャンプアクションする前に、こうした予告表示により、被写体オブジェクト４の動作を含め仮想３次元空間で何が次に起きるかを事前に知ることで、次にどのようなカメラワークを行えば、望んだ構図で映像を撮り続けられるかを準備できる。図６の例では、ユーザ２は、被写体オブジェクト４のジャンプアクションに合わせてユーザ端末１５００を上向きに傾け、必要あればズーム倍率を下げ、ジャンプアクションする被写体オブジェクト４の全体を撮影フレーム内に捉えた構図で、見切れを起こすことなく撮影を継続できている。

図７は、予告アイコン２１の例を示す図であって、目的に応じたカテゴリ別に括弧番号を付し、同じカテゴリとされる予告アイコン２１の種類違いの例を横並びに示している。

予告する目的や内容は、被写体オブジェクト４を何とするか、どのような仮想３次元空間とするかといった、仮想撮影の基本設定に応じて適宜、設定可能である。本実施形態では、被写体オブジェクト４が歌って踊る様子を仮想撮影するので、主たる撮影対象である被写体オブジェクト４の自動制御と、ステージ演出などについての予告を行う。

具体的には、移動方向移動経路予告アイコン２１ａと、動作種類予告アイコン２１ｂと、移動距離予告アイコン２１ｃと、正面方向予告アイコン２１ｄと、ポーズ種類予告アイコン２１ｅと、アイキャッチ予告アイコン２１ｆと、表情予告アイコン２１ｇと、注目部位予告アイコン２１ｈと、演出予告アイコン２１ｊと、注目オブジェクト予告アイコン２１ｋと、を使い分ける。

移動方向移動経路予告アイコン２１ａは、予告対象とするオブジェクトの移動方向と移動経路とを予告する。本実施形態では、被写体オブジェクト４の移動方向を矢印の向きで示し、矢印の軸線の向きや形状で移動経路を予告する。

動作種類予告アイコン２１ｂは、予告対象とするオブジェクトの動作種類を予告する。本実施形態では、被写体オブジェクト４の動作の呼び名の頭文字や、動作を想起させる図形で種類を示す。複数の被写体オブジェクト４が登場するケースでは、複数の被写体オブジェクトによる連係動作もこの種の予告アイコンを用いて予告することができる。

移動距離予告アイコン２１ｃは、予告対象とするオブジェクトの移動距離を予告する。本実施形態では、被写体オブジェクト４の移動距離を、撮影フレームのおおまかな倍数で示す。なお、移動距離を表現するための単位は、撮影フレームに限らず、被写体オブジェクト４の身体を用いて表現してもよい。或いは、移動距離予告アイコン２１ｃを移動先の位置に表示するとしてもよい。

正面方向予告アイコン２１ｄは、予告対象とするオブジェクトの正面方向を予告する。本実施形態では、被写体オブジェクト４の動作毎に設定されている正面方向とする。勿論、被写体オブジェクト４の顔が次に向けられる方向を正面方向としてもよい。方向を示す基準は、ステージ５を基準に設定してもよいし、仮想カメラＣ１の撮影方向を基準とした相対方向としてもよい。本実施形態では後者とする。

ポーズ種類予告アイコン２１ｅは、予告対象とするオブジェクトに設定されている特徴的なポーズの種類を予告する。本実施形態では、被写体オブジェクト４のポーズのシルエットで種類を予告する。

アイキャッチ予告アイコン２１ｆは、予告対象とするオブジェクトに設定されている動作のうち、特にアイキャッチ効果が高いと考えられる動作を予告する。言い換えると、映像映え・画面映えする動作を予告する。本実施形態では、アイキャッチ予告アイコン２１ｆは、被写体オブジェクト４の投げキッスや、ウインク、腕突き上げ、Ｖサイン、決めステップ、見栄切り、衣装チェンジ、装備チェンジ、などのアイキャッチ動作を想起させる図形で種類を示す。複数の被写体オブジェクト４が登場するケースでは、複数の被写体オブジェクト４の連係によるアイキャッチ動作も、この種の予告アイコンを用いる対象とすることができる。

表情予告アイコン２１ｇは、楽曲の振り付けとして、被写体オブジェクト４のキーとなる表情の出現を予告する。例えば、楽しくポップな楽曲の振り付けの中に、歌詞に合わせて限定して登場する哀しみの表情が設定されている場合、この哀しみの表情を予告の対象とすると好適である。

注目部位予告アイコン２１ｈは、楽曲の振り付けとしてポイントになるアクションであって、特定の部位が特徴的な動きをするアクションの出現を予告する。例えば、頭上で両手打ち、投げキッス、腰のツイスト、楽器のスイング、などが挙げられる。

演出予告アイコン２１ｊは、ステージ５での演出の種類を予告する。例えば、演出予告アイコン２１ｊは、フラッシュライト、スモーク、舞台の変形、バックダンスの登場、などを、それらを想起させる図形を用いて種類を示す。

注目オブジェクト予告アイコン２１ｋは、注目するべきオブジェクトを示す。本実施形態では、複数の被写体オブジェクト４が登場するケースにおいて、その時の楽曲のパートの主たる歌唱や、見せ場となる楽器演奏を担当している被写体オブジェクト４や、楽曲の振り付けとして注目するべきアクションを行う被写体オブジェクト４を予告する。注目するべきアクションとは、例えば、複数の被写体オブジェクト４のうち、その時所定の条件を満たす動作（例えば、最も動作が大きいアクション）や、複数の被写体オブジェクト４による連係動作、がこれに該当する。なお、連係動作についての注目オブジェクト予告アイコン２１ｋについては、連係動作に係る被写体オブジェクト４の組み合わせを予告するにとどめて連係動作の内容については予告しない形態と、連係動作の内容まで予告する形態と、の何れかまたは両方を設定できる。

また、本実施形態では、ユーザ２をサポートする機能の１つとして、ユーザ端末１５００は、見切れの発生の予測判定と、見切れが発生すると予想された場合（予測結果が不適合状態となる場合）に通知を行う。「見切れ」とは、被写体オブジェクトの特定部位が所定割合以上、カメラの撮影フレーム内に入っていない状態や、撮影画像内に写っている特定部位の位置が撮影画像中の特定範囲（例えば、撮影画像の中央部）に入っていない状態を言う。

図８は、見切れの予測判定と、見切れ予測の通知の例を示す図である。
ユーザ端末１５００は、ヒット判定チェックと同様にして、仮想カメラＣ１の撮影範囲内に含まれているオブジェクトを判定することができる。言い換えると、その時にタッチパネル１５０６に表示される拡張現実画像９４を構成する仮想空間画像９０内に写っている被写体オブジェクト４の部位オブジェクト毎に、撮影フレーム内に写っているかいないかを判定できる。

ユーザ端末１５００は、被写体オブジェクト４の所定の主要部位オブジェクト（例えば、頭部）と、予告表示２０のうち注目部位予告アイコン２１ｈで予告される部位と、別途ユーザ２が特定部位として指定した部位と、の何れかが、撮影フレーム内に映っていないと判定される場合、現状のままでは見切れが発生すると判定する。そして、ユーザ端末１５００は、見切れが発生すると判定した場合、見切れが発生すると予測される旨の通知を行う。具体的には、見切れ予測通知３０を撮影操作画面Ｗ８内に表示する。見切れ予測通知３０が表示されることで、予告表示２０への注意が更に喚起される。

なお、見切れの発生予測は、部位オブジェクトが撮影フレーム内に写っているかではなく、部位オブジェクトの当該撮影画像に占める割合（撮影画像の面積に対する撮影フレーム内に写っている面積の比）が、所定の不適合撮影条件を満たす不適合状態となるか否かで判定するとしてもよい。

図９は、本実施形態におけるユーザ端末１５００の機能構成例を示す機能ブロック図である。ユーザ端末１５００は、操作入力部１００と、測位部１０２と、加速度計測部１０６と、姿勢計測部１０８と、音声入力部１１０と、撮影部１２０と、端末処理部２００と、音出力部３９０と、画像表示部３９２と、通信部３９４と、端末記憶部５００とを備える。

操作入力部１００は、各種の操作入力に応じた操作入力信号を端末処理部２００に出力する。例えば、プッシュスイッチや、ジョイスティック、タッチパッド、トラックボール、加速度センサ、ジャイロ、ＣＣＤモジュール、などによって実現できる。図２の方向入力キー１５０２や、ボタンスイッチ１５０４、タッチパネル１５０６、がこれに該当する。

測位部１０２は、ユーザ端末１５００の位置情報を取得し端末処理部２００へ出力する。図２の測位モジュール１５５５がこれに該当する。

加速度計測部１０６は、ユーザ端末１５００に生じている加速度を計測し、端末処理部２００へ出力する。図２の３軸加速度センサ１５５６がこれに該当する。

姿勢計測部１０８は、ユーザ端末１５００の姿勢変化を計測し、端末処理部２００へ出力する。図２の３軸ジャイロ１５５７がこれに該当する。

音声入力部１１０は、ユーザが発する音声（ユーザ音声）や環境音を集音し、音声信号を端末処理部２００へ出力する。図２のマイク１５１２がこれに該当する。

撮影部１２０は、外部の様子を撮影し、その画像データを生成して端末処理部２００へ出力する。図２のカメラ１５２０がこれに該当する。

端末処理部２００は、例えばＣＰＵやＧＰＵ等のマイクロプロセッサや、ＩＣメモリなどの電子部品によって実現され、操作入力部１００や端末記憶部５００を含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部１００からの操作入力信号、サーバシステム１１００から受信した各種データに基づいて各種の演算処理を実行して、ユーザ端末１５００の動作を制御する。図２の制御基板１５５０がこれに該当する。
そして、本実施形態における端末処理部２００は、仮想撮影管理部２１０と、計時部２８０と、音生成部２９０と、画像生成部２９２と、通信制御部２９４と、を有する。

仮想撮影管理部２１０は、ユーザ端末１５００にて仮想撮影体験をユーザに提供するための各種処理を実行する。具体的には、仮想撮影管理部２１０は、位置姿勢取得制御部２１２と、仮想空間設定部２１４と、演出制御部２１６と、被写体オブジェクト制御部２１８と、仮想カメラ制御部２２０と、仮想空間画像生成制御部２２２と、拡張現実画像生成制御部２２４と、予告対象制御設定部２３０と、特定部位設定部２３２と、予告制御部２３４と、予測部２４０と、予測通知制御部２４２と、録画制御部２４４と、楽曲再生制御部２４６と、を有する。勿論、これら以外の機能部も適宜含めることができる。

位置姿勢取得制御部２１２は、カメラの現実空間における位置および姿勢の情報を取得する制御を行う。具体的には、位置姿勢取得制御部２１２は、撮影部１２０で撮影した現実空間の撮影画像に基づいてユーザ端末１５００の位置および姿勢を計測する。より具体的には、撮影画像からＡＲマーカ６を認識・画像解析して、ＡＲマーカ６とユーザ端末１５００との相対位置と相対姿勢とを算出する制御がこれに該当する。

また、位置姿勢取得制御部２１２は、測位部１０２や、加速度計測部１０６、姿勢計測部１０８、で計測された計測データに基づいて現実空間におけるユーザ端末１５００の位置および姿勢に関する情報を計測する制御を行うことができる。なお、測位部１０２や、加速度計測部１０６、姿勢計測部１０８が、外部装置として構成される場合には、位置姿勢取得制御部２１２は、それらで計測・算出した位置や姿勢に関する情報を、当該外部装置とのデータ通信を用いて取得する制御を行う。

仮想空間設定部２１４は、単数または複数の被写体オブジェクトが配置された仮想３次元空間を設定する。

演出制御部２１６は、仮想３次元空間内で所与の演出制御を行う。例えば、演出制御部２１６は、スモークや、花吹雪、スポットライトの光芒の表示、等の各種の演出オブジェクトの制御を行う。

被写体オブジェクト制御部２１８は、仮想３次元空間に設定されたオブジェクトの自動制御を行う。被写体オブジェクト４やステージ５の自動制御がこれに該当する。
具体的には、被写体オブジェクト制御部２１８は、楽曲の再生と同期した被写体オブジェクトの制御手順が定められた所与の制御手順データ（又は所与の制御手順プログラム）に基づいて、楽曲の再生と同期して被写体オブジェクトを自動制御する。その際、被写体オブジェクト制御部２１８は、自動制御を、複数の被写体オブジェクトそれぞれについて実行する。より具体的には、被写体オブジェクト制御部２１８は、被写体オブジェクトの移動や、被写体オブジェクトの身体を動作させる制御、被写体オブジェクトの向きを変化させる制御、所与のポーズを取らせる制御、所与のアイキャッチ動作を取らせる制御、を行う。

仮想カメラ制御部２２０は、仮想３次元空間を撮影する仮想カメラの位置および姿勢を、位置姿勢取得制御部２１２により取得されたユーザ端末１５００の位置および姿勢に連動させて制御する（図３参照）。

仮想空間画像生成制御部２２２は、画像表示部３９２に表示させる仮想カメラで撮影された仮想３次元空間の画像を生成する制御を行う。仮想空間画像生成制御部２２２は、画像生成部２９２とともに、仮想カメラで撮影された仮想３次元空間の画像を生成する仮想空間画像生成手段を形成する。

拡張現実画像生成制御部２２４は、画像表示部３９２に表示させる拡張現実画像９４（図３参照）を生成する制御を行う。

予告対象制御設定部２３０は、被写体オブジェクト制御部２１８によって被写体オブジェクトが自動制御される制御内容のうち、予告の対象とする制御内容をユーザの操作入力に基づいて設定する。本実施形態では、被写体オブジェクト４のモーションの中から予告対象とするモーションをユーザが選択して指定するための制御がこれに該当する。

特定部位設定部２３２は、被写体オブジェクトの特定部位をユーザの操作入力に基づいて設定する。

予告制御部２３４は、被写体オブジェクト制御部２１８による自動制御と、演出制御部２１６による演出制御と、について予告する制御を行う。本実施形態では、予告表示２０の表示に係る制御がこれに該当する（図６参照）。

具体的には、予告制御部２３４は、被写体オブジェクトの制御手順が定められた所与の制御手順データ（又は所与の制御手順プログラム）に基づいて、被写体オブジェクト制御部２１８による自動制御の予告を行う。
そして、予告制御部２３４は、被写体オブジェクトの移動方向、移動距離、移動経路、身体動作、被写体オブジェクトの向きを変化させる制御、所与のポーズを取らせる制御、および所与のアイキャッチ動作を取らせる制御、のうち少なくとも１つを予告する。更に、予告制御部２３４は、被写体オブジェクトの身体動作の予告に係る部位を識別表示する制御を行う。

被写体オブジェクトが複数の場合では、予告制御部２３４は、被写体オブジェクトについて個別に予告する。複数の被写体オブジェクトが連係動作するように制御される場合には、当該連係動作についてまとめて予告する。なお、Ｎ体（Ｎ≧３の整数）の被写体オブジェクトが登場する場合に、その時に連係行動を取っているＭ体の被写体オブジェクトや、所定範囲に集まっているＭ体（Ｍ＜Ｎ）の被写体オブジェクトを纏めて扱う場合も含まれる。例えば、５体の被写体オブジェクトが登場し、２体が第１グループ、３体が第２グループとして、それぞれグループ別に連係動作するようなケースでは、ここで言う各グループが、個別予告の対象に該当する。

また、予告制御部２３４は、複数の被写体オブジェクトのうちの少なくとも一体を選択し、当該選択された被写体オブジェクトについて予告することもできる。例えば、予告制御部２３４は、複数の被写体オブジェクトのうち、動きが所定の条件を満たす（例えば、最も大きい、など）被写体オブジェクトや、ユーザの選択操作に従って選択された被写体オブジェクト、次に歌唱動作や演奏動作など注目すべき動作を行う前記被写体オブジェクトを、予告対象として選択することができる。もちろん、所定条件を満たしていれば、予告対象として選択する被写体オブジェクトは複数でもよい。

また、予告制御部２３４は、予告対象制御設定部２３０により設定された制御内容について予告を行う。例えば、ユーザが予告の対象とする被写体オブジェクトを選択操作入力している場合は、選択された被写体オブジェクトについての予告を行う。

予測部２４０は、予告制御部２３４による予告が行われる際に、現在の仮想カメラの位置および姿勢が継続すると仮定して、当該予告内容に関する被写体オブジェクト制御部２１８の自動制御が行われたときに、所定の不適合撮影条件を満たす不適合状態となるか否かを予測する。不適合撮影条件は、例えば、被写体オブジェクトの特定部位が仮想カメラで撮影された画像に含まれないこと、および／または、特定部位の当該撮影画像に占める割合が所定値以下となること、である。

つまり、予測部２４０は、将来、当該予告内容に関する被写体オブジェクトの自動制御が行われたときの当該仮想カメラで撮影された画像に記被写体オブジェクトの特定部位が含まれているか否かを予測することができる。
但し、特定部位設定部２３２が被写体オブジェクトの特定部位をユーザの操作入力に基づいて設定している場合は、予測部２４０は、当該特定部位に限定して予測する。

予測通知制御部２４２は、予測部２４０により不適合状態となると予測された場合にユーザへ通知する制御を行う。本実施形態では見切れ予測通知３０の表示制御がこれに該当する（図８参照）。

録画制御部２４４は、仮想空間画像生成制御部２２２や拡張現実画像生成制御部２２４により生成された画像を録画する制御を行う。

楽曲再生制御部２４６は、所与の楽曲を再生制御する。

計時部２８０は、システムクロックを利用して現在日時や制限時間等の計時を行う。

音生成部２９０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）や、音声合成ＩＣなどのプロセッサ、音声ファイルを再生可能なオーディオコーデック等によって実現され、楽曲や、演出等の効果音、ＢＧＭ、各種操作音の音信号を生成し、音出力部３９０に出力する。

音出力部３９０は、音生成部２９０から入力される音信号に基づいて効果音やＢＧＭ等を音出力する装置によって実現される。図２のスピーカ１５１０がこれに該当する。

画像生成部２９２は、各種画像データの生成や、生成した画像を画像表示部３９２に表示させるための制御を行う。本実施形態では、仮想空間画像９０や拡張現実画像９４を生成する（図３参照）。

画像表示部３９２は、画像生成部２９２から入力される画像信号に基づいて各種画像を表示する。例えば、フラットパネルディスプレイ、プロジェクター、ヘッドマウントディスプレイといった画像表示装置によって実現できる。本実施形態では、図２のタッチパネル１５０６がこれに該当する。

通信制御部２９４は、データ通信に係るデータ処理を実行し、通信部３９４を介して外部装置とのデータのやりとりを実現する。

通信部３９４は、ネットワーク９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現され、図２の無線通信モジュール１５５３がこれに該当する。

端末記憶部５００は、端末処理部２００にユーザ端末１５００を統合的に制御させるための諸機能を実現するためのプログラムや、各種データ等を記憶する。また、端末処理部２００の作業領域として用いられ、端末処理部２００が各種プログラムに従って実行した演算結果や操作入力部１００などから入力される入力データ等を一時的に記憶する。こうした機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ－ＲＯＭやＤＶＤなどの光学ディスクなどによって実現される。図２の制御基板１５５０が搭載するＩＣメモリ１５５２やメモリカード１５４０がこれに該当する。オンラインストレージを利用する構成も可能である。

図１０は、端末記憶部５００が記憶するプログラムやデータの例を示す図である。
端末記憶部５００は、端末プログラム５０２と、予告アイコン定義データ５１０と、仮想撮影パッケージデータ５２０と、仮想撮影管理データ７００と、現在日時８００と、を記憶する。勿論、これら以外のプログラムやデータも適宜記憶することができる。

端末プログラム５０２は、端末処理部２００が読み込み実行することで、ユーザ端末１５００を仮想撮影管理部２１０（図９参照）として機能させるためのプログラムである。

予告アイコン定義データ５１０は、予告アイコン２１の種類毎に用意され、当該種類の予告アイコンを初期設定する各種データを格納する。
図１１～図１４は、予告アイコン定義データ５１０のデータ構成例を示す図である。予告アイコン定義データ５１０は、固有の予告ＩＤ５１１と、メタデータ５１２と、アイコンデータ５１３と、適用要件５１５と、を含む。勿論、これら以外のデータも適宜含めることができる。

メタデータ５１２には、当該予告アイコンが適用されるモーションや演出のＩＤ（名称）や、当該予告アイコンに関する数値情報（例えば、角度や、方向、長さ比）、当該予告アイコンの表示とともに表示されるべき他の予告アイコンのカテゴリを示す情報が格納される。例えば、移動方向移動経路予告アイコン２１ａと、移動距離予告アイコン２１ｃのメタデータ５１２には、それらに対応づけられる動作種類の情報が設定されている（図１１、図１３参照）。例えば、移動方向移動経路予告アイコン２１ａと、移動距離予告アイコン２１ｃの表示を伴うべき予告アイコンのメタデータ５１２には、それらを関連カテゴリとして指定している（図１２参照）。

適用要件５１５は、当該予告アイコンが表示されるために満たすべき条件を定義する。
例えば、方向の予告を目的とした予告アイコン（例えば、移動方向移動経路予告アイコン２１ａや、正面方向予告アイコン２１ｄなど；図７参照）の適用要件５１５では、仮想カメラＣ１の実撮影条件との関係から満たすべき相対位置関係や相対向きの関係が指定される。

例えば、距離の予告を目的とした予告アイコン（例えば、移動距離予告アイコン２１ｃ；図７参照）の適用要件５１５では、仮想カメラＣ１の実撮影条件との関係から満たすべき、相対的な長さ比（例えば、その時の撮影フレームの長さを基準長とした場合の移動距離の相対長さ比、など）が指定される。

図１０に戻って、仮想撮影パッケージデータ５２０は、ユーザ端末１５００にて仮想撮影体験をユーザに提供するために必要とされる各種初期設定データの集合である。仮想撮影パッケージデータ５２０は、例えば仮想撮影体験提供システム１０００のメーカや運営事業者によって用意され、サーバシステム１１００で配信される。オンラインショッピングによって販売するとしてもよい。図１０では、１つのみ表しているが、複数の仮想撮影パッケージデータ５２０を用意しておいて、ユーザ２が使用するデータを選択可能としてもよい。

そして、仮想撮影パッケージデータ５２０は、固有のパッケージＩＤ５２１と、仮想３次元空間初期設定データ５２２と、特定対象初期設定５２８と、被写体オブジェクト定義データ５３０と、楽曲データ５４０と、歌唱担当割り振りデータ５５０と、制御手順データ５６０と、注目アクションリスト５７０と、を含む。勿論、これら以外のデータも適宜含めることができる。

仮想３次元空間初期設定データ５２２は、被写体オブジェクト４や仮想カメラＣ１を配置する仮想３次元空間の初期設定を定義する各種データを格納する。例えば、ステージ５を定義するステージオブジェクトデータ５２４と、演出表示用のオブジェクトを定義する演出オブジェクトデータ５２６と、を含む。このほか、仮想３次元空間の背景を構成する各種オブジェクトに係るデータを適宜含めることができる。

特定対象初期設定５２８は、予告表示２０に何らかの限定を設定するための初期値を格納する。初期値は、実質的に制限無しを意味する「未定」であってもよい。

被写体オブジェクト定義データ５３０は、被写体オブジェクト４の種類毎に用意され、当該種類の被写体オブジェクトを表示し動作させるために必要な各種データを格納する。
１つの被写体オブジェクト定義データ５３０は、例えば図１５に示すように、固有の識別情報である被写体オブジェクトＩＤ５３１と、モデルデータ５３２と、モーション定義データ５３４と、ポーズ定義データ５３６と、アイキャッチ動作定義データ５３８と、を含む。勿論、これら以外のデータも適宜含めることができる。

モーション定義データ５３４は、仮想撮影で当該被写体オブジェクトが行う動作の種類毎に用意される。本実施形態では、被写体オブジェクト４は歌を歌いながら踊るので、歌唱動作、振り付け動作、ステージを歩く、ジャンプする、階段を上る、階段を降りる、といったコンサートのステージ上でアイドルが行うと思われる動作の種類毎に用意される。１つのモーション定義データ５３４は、固有のモーションＩＤ（モーション名でも良い）と、モーションデータと、を対応付けて格納する。

ポーズ定義データ５３６は、楽曲の振り付け、または当該被写体オブジェクトに特有の特徴的なポーズを実現するためのデータである。１つの被写体オブジェクト４に複数のポーズ定義データ５３６を設定することもできる。

アイキャッチ動作定義データ５３８は、楽曲の振り付け、または当該被写体オブジェクトに特有のアイキャッチ動作を実現するためのデータである。１つの被写体オブジェクト４に複数のアイキャッチ動作定義データ５３８を設定することもできる。

楽曲データ５４０は、当該仮想撮影パッケージを使用した仮想撮影で再生される楽曲のデータ構成例を示す図である。本実施形態では、被写体オブジェクト４が歌唱する歌謡曲を所定のタイムコードに従って音声再生するためのデータである。

歌唱担当割り振りデータ５５０は、楽曲データ５４０が複数の被写体オブジェクト４により歌唱される歌謡曲である場合に用意され、当該歌謡曲に設定された複数のパート別に、どの被写体オブジェクト４が歌唱を担当するかを示したデータである。

例えば図１６に示すように、歌唱担当割り振りデータ５５０は、タイムコードに基づいて記述されるパート区切りタイミング５５２と、担当被写体オブジェクトＩＤ５５４と、を対応付けて格納する。パート区切りタイミング５５２は、各パートが開始されるタイムコードに基づくタイミングを示している。

図１０に戻って、制御手順データ５６０は、当該仮想撮影パッケージを使用した仮想撮影で登場する被写体オブジェクト４毎に用意され、当該仮想撮影パッケージを使用した仮想撮影で再生される楽曲と同期した被写体オブジェクトの自動制御の制御手順を定めるデータである。

制御手順データ５６０は、例えば図１７に示すように、当該データが適用される被写体オブジェクト４を示す適用キャラクタＩＤ５６１と、楽曲データ５４０のタイムコードに基づく自動制御開始タイミング５６２と、実行開始モーションＩＤ５６４と、モーション制御設定値５６６と、注目部位５６８と、を対応付けて格納する。

モーション制御設定値５６６は、対応するモーションを制御するための詳細な設定値を格納する。例えば、移動を伴うモーションの場合、移動方向、移動距離のデータが含まれる。また、各モーションを行う場合、どの方向を正面とするかの設定も含まれる。注目部位５６８は、対応するモーションにおいて、特徴的な動きをする部位を示す。なお、制御手順データ５６０は、所与の制御手順プログラムと言うこともできる。

図１０に戻って、注目アクションリスト５７０は、全ての被写体オブジェクト４の自動制御の中で、その時々で注目するべき動作を列挙したデータである。例えば図１８に示すように、楽曲データ５４０のタイムコードに基づくアクション開始タイミング５７２と、注目アクションを担当する被写体オブジェクト４を示す担当キャラクタＩＤ５７４と、を対応付けて格納する。勿論、これら以外のデータも適宜含めることができる。

演出手順データ５８０は、楽曲の再生に同期して様々な演出表示を実現するためのデータである。例えば図１９に示すように、楽曲データ５４０のタイムコードに基づく演出開始タイミング５８２と、演出内容５８４と、を対応付けて格納する。演出内容５８４は、使用する演出オブジェクトを指定するオブジェクトＩＤと、当該オブジェクトの制御データと、を格納する。

予告手順データ５９０は、被写体オブジェクト４毎に用意され、当該被写体オブジェクト４の自動制御に係る予告表示２０を行うタイミングとその内容とを時系列に定義するデータである。例えば図２０に示すように、当該データが適用される被写体オブジェクトを示す適用キャラクタＩＤ５９１と、楽曲データ５４０のタイムコードに基づく予告タイミング５９２と、表示予告アイコン設定５９４と、を対応付けて格納する。勿論、これら以外のデータも適宜含めることができる。例えば、予告表示２０の継続時間を対応づけて含めることができる。

予告タイミング５９２は、予告の対象となる被写体オブジェクト４の制御手順データ５６０の自動制御開始タイミング５６２（図１７参照）と対応づけて用意されている。そして、予告タイミング５９２は、対応する自動制御開始タイミング５６２よりも所与の時間だけ前のタイミングに設定されている。所与の時間は、適宜設定可能である。例えば２～３秒程度前となるように設定すると好適である。また、所与の時間は、固定値に限らず、自動制御の内容に応じて異なる時間を用いてもよい。

表示予告アイコン設定５９４には、予告アイコンのカテゴリまたは個別の予告アイコンの種類が設定される。ユーザ端末１５００は、予告タイミング５９２が到来して新たに予告表示２０を行う際、表示予告アイコン設定５９４にカテゴリが設定されている場合には、当該カテゴリに属する予告アイコン（予告ＩＤ５１１の前部分で判別；図１１参照）のうち、その時の仮想カメラＣ１の実撮影条件との比較により、適用要件５１５を満たす予告アイコンを選択して表示させる。

従って、予告アイコンの種類とその適用要件５１５を設定しておけば、仮想カメラＣ１の撮影方向と、被写体オブジェクト４の移動方向及び正面方向との相対関係に基づいて、仮想カメラＣ１から見て、次に被写体オブジェクト４がどの相対方向に移動するか、相対的にどの方向を向くか、をユーザ２に予告できるようになる。

図１０に戻って、仮想撮影管理データ７００は、仮想撮影の実行を管理する各種データを格納する。

仮想撮影管理データ７００は、例えば図２１に示すように、ユーザアカウント７０１と、使用パッケージＩＤ７０３と、実撮影条件データ７０５と、仮想３次元空間制御データ７１０と、特定対象設定データ７２０と、予告表示制御データ７３０と、見切れ予測通知制御データ７３２と、現実空間画像データ７３４と、仮想空間画像データ７３６と、拡張現実画像データ７３８と、録画データ７４０と、タイムコードカウンタ７４２と、を含む。勿論、これら以外のデータも適宜含めることができる。

実撮影条件データ７０５には、最新の実撮影条件を記述するデータが格納される。例えば、自機で計測したＡＲマーカ６との相対位置や相対姿勢の情報、カメラ１５２０のズーム機構の制御値（ズーム倍率に相当）、などを含む。外部装置で位置や姿勢を計測する場合は、当該外部装置から取得した位置情報や姿勢情報を格納する。

仮想３次元空間制御データ７１０は、仮想３次元空間のオブジェクト等を管理・制御するための各種データを格納する。本実施形態では、仮想カメラ制御データ７１１と、被写体オブジェクト４別の被写体オブジェクト制御データ７１３と、ステージ５を制御するためのステージオブジェクト制御データ７１５と、演出オブジェクト制御データ７１７と、を含む。勿論、これら以外のデータも適宜含めることができる。

特定対象設定データ７２０は、予告表示２０の限定に関する設定データである。仮想撮影を開始する前、或いは開始中に設定される。特定対象設定データ７２０は、例えば、特定被写体オブジェクトＩＤ７２１と、特定部位種類７２３と、特定動作種類７２５と、を含む。勿論、これら以外のデータも適宜含めることができる。

特定部位種類７２３および特定動作種類７２５には、それぞれプレイ開始前にユーザに提示された候補の中から選択操作された１つまたは複数の部位や動作が設定される。なお、特定部位の候補は、手・足・顔などの部分に限らず、上半身・下半身・全身など広範囲にわたる複数の部位を含んだグループも含めることができる。

具体的には、ユーザ端末１５００は、所定の特定対象設定操作の入力を検出したならば、特定被写体オブジェクト、特定部位、特定動作種類、それぞれを指定操作するメニュー画面を表示する。

そして、特定被写体オブジェクトの選択に係るメニュー画面では、これから実行される仮想撮影に登場する被写体オブジェクト４のリストを提示し、何れか１体を特定被写体オブジェクトとしてユーザに選択させる。続いて、特定部位の選択に係るメニュー画面では、部位のリストを提示し、１つまたは幾つかの部位を特定部位としてユーザに選択させる。特定動作種類の選択に係るメニュー画面では、特定被写体オブジェクトに設定された被写体オブジェクト４のモーションや、ポーズ、アイキャッチ動作のリストを提示し、１つまたは幾つかの部位を特定動作としてユーザに選択させる。なお、各種リストの表示例を提示する際には、被写体オブジェクト定義データ５３０（図１５参照）を適宜参照する。

予告表示制御データ７３０は、予告表示２０の表示制御に関するデータである。
見切れ予測通知制御データ７３２は、見切れ予測通知３０の表示制御に関するデータである。

次に、本実施形態の仮想撮影体験提供システム１０００の動作について説明する。
図２２～図２３は、ユーザ端末１５００における処理の流れを説明するためのフローチャートである。ここで説明する処理の流れは、ユーザ端末１５００が、端末処理部２００で端末プログラム５０２を実行することにより実現される。

図２２に示すように、ユーザ端末１５００は、先ず、選択的な予告表示の対象とされる特定被写体オブジェクトと、特定部位と、特定動作とのユーザの選択・指定を受け付ける（ステップＳ１０）。選択された結果は、特定被写体オブジェクトＩＤ７２１、特定部位種類７２３、特定動作種類７２５として記憶される（図２１参照）。

次に、ユーザ端末１５００は、仮想３次元空間を初期設定する（ステップＳ１２）。本実施形態では、仮想３次元空間初期設定データ５２２を参照して、コンサート会場をイメージしたステージ５と、被写体オブジェクト４と、仮想カメラＣ１とを初期状態で配置する。

次に、ユーザ端末１５００は、位置と姿勢の情報の取得制御と、カメラ１５２０による撮影とを開始し、仮想カメラＣ１の連動制御を開始する（ステップＳ１４）。
次いで、ユーザ端末１５００は、仮想空間画像９０および拡張現実画像９４の生成と、拡張現実画像９４を含む撮影操作画面の表示を開始する（ステップＳ１６）。

そして、所定の録画開始操作の入力を検知すると、ユーザ端末１５００は拡張現実画像９４の録画を開始して（ステップＳ１８）、楽曲の再生と、被写体オブジェクト４の自動制御と、演出制御と、を開始する（ステップＳ２０）。

楽曲の再生を開始すると、ユーザ端末１５００は、タイムコードカウンタ７４２（図２１参照）を用いて、楽曲の再生開始からの経過時間を計時する。これ以降、被写体オブジェクト４の自動制御や、ステージ演出の制御は、このタイムコードカウンタ７４２の示す値に基づいて行われる。

タイムコードカウンタ７４２が、特定被写体オブジェクトＩＤ７２１が示す被写体オブジェクト４に適用される予告手順データ５９０（図２０参照）の何れかの予告タイミング５９２に一致すると（ステップＳ３０のＹＥＳ）、ユーザ端末１５００は、当該予告タイミングに対応付けられている表示予告アイコン設定５９４が示す予告アイコンを１次選択する（ステップＳ３２）。

次いで、ユーザ端末１５００は、１次選択された予告アイコンのなかから、特定部位種類７２３が示す部位に該当する注目部位予告アイコン２１ｈを２次選択し、特定動作種類７２５が示す動作に該当する動作種類予告アイコン２１ｂを２次選択する（ステップＳ３４）。なお、特定動作種類７２５が移動に関する動作である場合、移動方向移動経路予告アイコン２１ａおよび移動距離予告アイコン２１ｃは、対応する動作種類予告アイコン２１ｂとともに２次選択することとする。

次いで、ユーザ端末１５００は、２次選択された予告アイコンを、撮影操作画面にて一定時間表示する制御を開始する（ステップＳ３６；図６参照）。そして、ユーザ端末１５００は、見切れ予測判定を実行し、予測結果の通知を行う（ステップＳ３８；図８参照）。

次いで、ユーザ端末１５００は、歌唱担当割り振りデータ５５０（図１６参照）を参照して、次に到来するパート区切りタイミング５５２から所定時間前（例えば、２～３秒程度前）に達したならば（ステップＳ４０のＹＥＳ）、担当被写体オブジェクトＩＤ５５４が示す被写体オブジェクト４の注目オブジェクト予告アイコン２１ｋ（図７参照）を選択し（ステップＳ４２）、これを撮影操作画面にて一定時間表示する制御を開始する（ステップＳ４４）。

図２３に移って、ユーザ端末１５００は、注目アクションリスト５７０（図１８参照）を参照して、次に到来するアクション開始タイミング５７２から所定時間前（例えば、２～３秒程度前）のタイミングに達したならば（ステップＳ５０のＹＥＳ）、担当キャラクタＩＤ５７４が示す被写体オブジェクト４の注目オブジェクト予告アイコン２１ｋを選択する（ステップＳ５２）。そして、ユーザ端末１５００は、選択された予告アイコンを、撮影操作画面にて一定時間表示する制御を開始する（ステップＳ５４）。

ユーザ端末１５００は、所定の録画終了操作の入力を検出するまで（ステップＳ７０のＮＯ）、ステップＳ３０からステップＳ５４を繰り返し実行する。録画終了操作の入力を検出されたならば（ステップＳ７０のＹＥＳ）、ユーザ端末１５００は録画を終了して（ステップＳ７２）、一連の処理を終了する。

以上、本実施形態によれば、仮想３次元空間内の被写体をビデオ撮影する際の新たなサポート技術を提供できる。

具体的には、ユーザ２が、ユーザ端末１５００（携帯型のコンピュータ）を手持ち型ビデオカメラで撮影する要領で手持ち操作して、仮想カメラＣ１を連動制御できる。仮想撮影の過程において、ユーザ２に向けて、被写体オブジェクト４の自動制御についての予告が行われる。従って、ユーザ２は、心の準備をしながら撮影操作できるので、望んだ構図での撮影操作をし易くなる。

〔第２実施形態〕
次に、本発明を適用した第２実施形態について説明する。以降では、主に第１実施形態との差異について述べることとし、第１実施形態と同様の構成要素については第１実施形態と同じ符号を付与して重複する説明を省略する。

第１実施形態は、仮想撮影管理部２１０（図９参照）をユーザ端末１５００にて実現した構成であったが、第２実施形態は、仮想撮影管理部２１０をサーバシステム１１００にて実現する。故に、本実施形態におけるユーザ端末１５００は、操作入力を受け付け、仮想撮影の画像を表示する端末として位置付けとなる。

図２４は、本実施形態におけるサーバシステム１１００の機能構成例を示す機能ブロック図である。サーバシステム１１００は、操作入力部１００ｓと、サーバ処理部２００ｓと、音出力部３９０ｓと、画像表示部３９２ｓと、通信部３９４ｓと、サーバ記憶部５００ｓとを備える。

操作入力部１００ｓは、サーバの管理のための各種操作を入力するための手段である。図１のキーボード１１０６がこれに該当する。

サーバ処理部２００ｓは、例えばＣＰＵやＧＰＵ、ＡＳＩＣ、ＦＰＧＡ等の演算回路となるプロセッサの他、ＩＣメモリなどの電子部品によって実現され、操作入力部１００ｓやサーバ記憶部５００ｓを含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部１００ｓからの操作入力信号、ユーザ端末１５００などから受信したデータ、等に基づいて各種の演算処理を実行して、サーバシステム１１００の動作を統合的に制御する。

そして、サーバ処理部２００ｓは、ユーザ管理部２０２と、仮想撮影管理部２１０と、計時部２８０ｓと、音生成部２９０ｓと、画像生成部２９２ｓと、通信制御部２９４ｓとを含む。勿論、これら以外の機能部も適宜含めることができる。

ユーザ管理部２０２は、ユーザ登録手続きに係る処理及びユーザアカウントに紐付けられる各ユーザの情報の記憶管理を行う。

計時部２８０ｓは、システムクロックを利用して現在日時や制限時間等の計時を行う。

音生成部２９０ｓは、音声データの生成やデコードをするＩＣやソフトウェアの実行により実現され、サーバシステム１１００のシステム管理や、操作音、楽曲などの音声データを生成或いはデコードする。そして、システム管理に関する音声信号は音出力部３９０ｓへ出力する。

音出力部３９０ｓは、音声信号を放音する。図１の例では本体装置やタッチパネル１１０８が備えるスピーカ（不図示）がこれに該当する。

画像生成部２９２ｓは、画像の生成、および画像表示部３９２ｓに画像を表示させる画像信号の出力を行う。本実施形態では、サーバシステム１１００のシステム管理に関する画像や、仮想撮影に使用される画像（仮想空間画像９０や拡張現実画像９４）などの画像を生成する機能の一部または全部を担う。

通信制御部２９４ｓは、データ通信に係るデータ処理を実行し、通信部３９４ｓを介して外部装置とのデータのやりとりを実現する。

通信部３９４ｓは、ネットワーク９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現される。図１の例では通信装置１１５３が該当する。

サーバ記憶部５００ｓは、サーバ処理部２００ｓにサーバシステム１１００を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、サーバ処理部２００ｓの作業領域として用いられ、サーバ処理部２００ｓが各種プログラムに従って実行した演算結果などを一時的に記憶する。この機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ－ＲＯＭやＤＶＤなどの光学ディスク、オンラインストレージなどによって実現される。図１の例では本体装置が搭載するＩＣメモリ１１５２やハードディスクなどの記憶媒体、及びストレージ１１４０がこれに該当する。

図２５は、サーバ記憶部５００ｓが記憶するプログラムやデータの例を示す図である。サーバ記憶部５００ｓは、サーバプログラム５０１と、配信用クライアントプログラム５０３と、予告アイコン定義データ５１０と、仮想撮影パッケージデータ５２０と、を記憶する。また、サーバ記憶部５００ｓは、逐次生成・管理されるデータとして、ユーザ管理データ６００と、仮想撮影管理データ７００と、現在日時８００と、を記憶する。サーバ記憶部５００ｓは、その他のプログラムやデータ（例えばタイマや、カウンタ、各種フラグなど）も適宜記憶できる。

サーバプログラム５０１は、サーバ処理部２００ｓが読み出して実行することで、ユーザ管理部２０２、仮想撮影管理部２１０としての機能を実現させるためのプログラムである。

配信用クライアントプログラム５０３は、本実施形態におけるユーザ端末１５００へ提供されるクライアントプログラムのオリジナルである。

ユーザ管理データ６００は、登録ユーザ毎に用意され、当該ユーザに関する各種登録情報やサービスの利用履歴などの情報を格納する。

図２６は、本実施形態のユーザ端末１５００の機能構成例を示す機能ブロック図である。
本実施形態の端末処理部２００は、操作信号送信制御部２６１と、画像表示制御部２６２と、位置姿勢情報提供制御部２６３と、を含む。

操作信号送信制御部２６１は、操作入力部１００へなされた操作に応じて、各種データやリクエストをサーバシステム１１００へ送信するための処理を実行する。

画像表示制御部２６２は、サーバシステム１１００から受信した各種データに基づいて撮影操作画面等を表示するための制御を行う。

位置姿勢情報提供制御部２６３は、自機の位置および姿勢の情報、および撮影部１２０におけるズーム制御に関する情報を、サーバシステム１１００へ提供するための制御を行う。具体的には、ＡＲマーカ６との相対位置・相対姿勢・ズーム倍率の情報を周期的にサーバシステム１１００へ送信するための各種処理を行う。

本実施形態における端末記憶部５００は、クライアントプログラム５０４を記憶する。その他、仮想撮影に必要なデータは、サーバシステム１１００から適宜ダウンロードして記憶することができる。

クライアントプログラム５０４は、端末処理部２００が読み出して実行することによってユーザ端末演算部２６０としての機能を実現させるためのアプリケーションソフトウェアである。本実施形態では、クライアントプログラム５０４は、サーバシステム１１００から提供される配信用クライアントプログラム５０３（図２５参照）のコピーである。なお、クライアントプログラム５０４は、専用のクライアントプログラムであってもよいし、ウェブブラウザプログラムや、インタラクティブな画像表示を実現するプラグインなどにより構成するとしてもよい。

本実施形態におけるサーバシステム１１００の仮想撮影に係る処理の流れは、第１実施形態におけるユーザ端末１５００の仮想撮影に係る処理の流れと同様である。
すなわち、図２２～図２３で説明したフローチャートの実行主体を、ユーザ端末１５００からサーバシステム１１００へ読み替えれば良い。

本実施形態によれば、第１実施形態と同様の効果が得られる。

〔変形例〕
以上、本発明を適用した実施形態について説明したが、本発明を適用可能な形態は上記形態に限定されるものではなく適宜構成要素の追加・省略・変更を施すことができる。

［変形例その１］
例えば、上記実施形態では、被写体オブジェクト４の数を１体として図示したが、同時に複数体用いてもよい。

［変形例その２］
また、上記実施形態では、仮想撮影の最終形態とされる画像を、拡張現実画像９４とする例を示したが、現実空間画像９２との合成を省略して、仮想撮影の最終形態を仮想空間画像９０とする構成も可能である。その場合ＡＲ画像ではなく、仮想撮影された仮想３次元空間の３ＤＣＧ画像そのものが表示されたり、録画されたりすることとなる。

［変形例その３］
また、上記実施形態では、ユーザ端末１５００の位置や姿勢の計測にＡＲマーカ６を用いる構成を例示したが、マーカレス方式の拡張現実技術を用いて位置や姿勢を計測するとしてもよい。

［変形例その４］
また、上記実施形態では、人の形態を有する仮想キャラクタが楽曲に合わせて歌って踊る様子を撮影する例を示したたが、被写体オブジェクト４は、動物でも良いし、植物、風景、乗り物、などでもよい。そして、被写体オブジェクトとしたものによっては、楽曲の再生や、楽曲に同期した動作制御も適宜省略可能である。

［変形例その５］
また、上記実施形態では、予告表示２０を、予告手順データ５９０を参照して実行する例を示したが、被写体オブジェクト４の制御手順データ５６０（図１７参照）や演出手順データ５８０（図１９参照）を参照して実行する構成も可能である。

制御手順データ５６０を参照する例を具体的に述べると、次に到来する自動制御開始タイミング５６２から所定時間前を、予告タイミングと見なす。そして、実行開始モーションＩＤ５６４が示すモーションに対応する動作種類予告アイコン２１ｂを選択する。

次いで、選択した動作種類予告アイコンのメタデータ５１２を参照して（図１２参照）、メタデータ５１２に設定されている関連カテゴリの予告アイコンを選択する。その際、制御手順データ５６０のモーション制御設定値５６６（図１７参照）に移動方向や移動距離、正面方向に関する情報が設定されている場合、仮想カメラＣ１の最新の状態（仮想カメラ制御データ７１１；図２１参照）との相対関係に基づいて、関連カテゴリの予告アイコンを選択する。

例えば、モーション制御設定値５６６に移動方向の情報が設定されている場合は、関連カテゴリの予告アイコンのうち、当該移動方向と仮想カメラＣ１の撮影方向との相対方向関係が適用要件５１５を満たす予告アイコンを選択する。

移動距離が設定されている場合は、関連カテゴリの予告アイコンのうち、当該移動距離と仮想カメラＣ１の撮影画角から幾何的に求められる撮影フレームの長さ（例えば、画面縦長、画面横長、画面対角長など）を基準とした長さ比が適用要件５１５を満たす予告アイコンを選択する。

モーション制御設定値５６６に正面方向の情報が設定されている場合は、関連カテゴリの予告アイコンのうち、当該正面方向と仮想カメラＣ１の撮影方向との相対方向関係が適用要件５１５を満たす予告アイコンを選択する。

また、制御手順データ５６０に、適用される表情の種類についての情報を対応づけて格納しておけば、それに基づいて表情予告アイコン２１ｇを選択することができる。

予告手順データ５９０を参照せずに、演出手順データ５８０を参照する場合は、演出開始タイミング５８２の所定時間前を予告タイミングと見なし、演出内容５８４に含まれる演出名（演出ＩＤ）が、メタデータ５１２に含まれる演出予告アイコン２１ｊ（図７参照）を選択すればよい。

［変形例その６］
上記実施形態ではユーザ端末１５００で自機の位置や姿勢を計測することで、位置や姿勢の情報を取得する例を示した。これに対して、外部装置によって仮想カメラＣ１が連動される位置や姿勢の情報を取得できる場合であって、仮想撮影する画像を仮想空間画像（ＶＲ画像）で十分とする場合であれば、ユーザ端末１５００として、ビデオモニタやＶＲヘッドマウントディスプレイでゲーム画面を見る据置型のゲーム装置、いわゆる家庭用ゲーム装置を用いることもできる。

具体的には、ユーザは、仮想撮影にて用いる手持ちカメラの代用としてゲームコントローラを手に持つ。ゲームコントローラの現実空間における位置は、別途、据置型のゲーム装置に繋がれたカメラで撮影された画像や、測距センサで計測された情報で求め、ゲームコントローラの現実空間における姿勢は、当該ゲームコントローラに搭載された３軸ジャイロや３軸加速度センサによる計測データに基づいて求めればよい。

［変形例その７］
また、上記実施形態の予告表示２０は、シンボルマークとしての予告アイコンを表示することで実現したが、その他の方法で予告を実現してもよい。
例えば、予告表示２０としてテキスト情報（例えば、動作の名称のテキスト、移動距離の数字と単位テキスト、など）を用いて実現するとしてもよい。
また、所定時間未来における被写体オブジェクト４の半透明像または輪郭線像を表示することで実現するとしてもよい。

［変形例その８］
また、上記実施形態では、見切れ予測の判定方法を、現時点の撮影画像を用いて見切れるか否かを判定したが、次のような判定方法を採用することもできる。
すなわち、現時点の仮想カメラの位置・姿勢はそのままにした上で、被写体オブジェクト４の動作や位置のみを所定時間だけ未来のものにした画像を仮描画する。この仮描画した画像に、予告表示２０のうち注目部位予告アイコン２１ｈで予告される部位と、別途ユーザ２が特定部位として指定した部位と、の何れかが含まれていれば見切れの発生予測を否定判定し、含まれていなければ見切れ発生予測を肯定判定してもよい。つまり、現時点の撮影フレームには収まっていても、今後の被写体オブジェクトの動作によっては見切れが発生する場合は、見切れ発生と見なすとしてもよい。

このように、所定の仮定条件の下の未来の画像に基づいて見切れ予測を判定する場合、被写体オブジェクト４の未来での動作（例えば、大きくジャンプする、など）の結果として、見切れが発生する可能性が高い場合に、これをユーザに通知できる。当該通知を元に、ユーザは、撮影範囲を広めるように操作したり、撮影方向を予め調整して、起きるであろう見切れを防ぐことができる。

また、見切れの予測判定において、「撮影フレーム内に写っているかいないかを判定」することにより詳細な条件を追加することができる。
例えば、予告表示２０のうち注目部位予告アイコン２１ｈで予告される部位と、別途ユーザ２が特定部位として指定した部位と、について仮想カメラ側を向いている基準面積と、撮影フレーム内に含まれるフレーム内面積と、をそれぞれ算出し、基準面積に対してフレーム内面積が所定割合（例えば、８割）に達していなければ、見切り発生予測を肯定判定する、としてもよい。

また例えば、上記実施形態では、「撮影フレーム内に写っているかいないかを判定」する際の「撮影フレーム内」を撮影フレームの全体としているが、撮影フレームの所定範囲（例えば、中央部（縦横３／４や２／３の範囲））に判定領域を設定し、当該判定領域に写っているかいないかを判定する、としてもよい。

４…被写体オブジェクト
５…ステージ
６…ＡＲマーカ
２０…予告表示
２１ａ…移動方向移動経路予告アイコン
２１ｂ…動作種類予告アイコン
２１ｃ…移動距離予告アイコン
２１ｄ…正面方向予告アイコン
２１ｅ…ポーズ種類予告アイコン
２１ｆ…アイキャッチ予告アイコン
２１ｇ…表情予告アイコン
２１ｈ…注目部位予告アイコン
２１ｊ…演出予告アイコン
２１ｋ…注目オブジェクト予告アイコン
３０…見切れ予測通知
９０…仮想空間画像
９４…拡張現実画像
２００…端末処理部
２１０…仮想撮影管理部
２１２…位置姿勢取得制御部
２１４…仮想空間設定部
２１６…演出制御部
２１８…被写体オブジェクト制御部
２２０…仮想カメラ制御部
２２２…仮想空間画像生成制御部
２２４…拡張現実画像生成制御部
２３０…予告対象制御設定部
２３２…特定部位設定部
２３４…予告制御部
２４０…予測部
２４２…予測通知制御部
２４４…録画制御部
２４６…楽曲再生制御部
５００…端末記憶部
５０２…端末プログラム
５１０…予告アイコン定義データ
５１３…アイコンデータ
５１５…適用要件
５２０…仮想撮影パッケージデータ
５２２…仮想３次元空間初期設定データ
５３０…被写体オブジェクト定義データ
５３４…モーション定義データ
５４０…楽曲データ
５６０…制御手順データ
５６２…自動制御開始タイミング
５６４…実行開始モーションＩＤ
５６６…モーション制御設定値
５８０…演出手順データ
５９０…予告手順データ
５９２…予告タイミング
５９４…表示予告アイコン設定
７００…仮想撮影管理データ
７１０…仮想３次元空間制御データ
７１３…被写体オブジェクト制御データ
７２０…特定対象設定データ
７２１…特定被写体オブジェクトＩＤ
７２３…特定部位種類
７２５…特定動作種類
７３０…予告表示制御データ
７３２…見切れ予測通知制御データ
７４０…録画データ
１０００…仮想撮影体験提供システム
１５００…ユーザ端末

Claims (14)

1. カメラおよび表示部を備えた携帯型のコンピュータを、
   前記カメラの現実空間における位置および姿勢の情報の取得に係る制御を行う位置姿勢取得制御手段、
   被写体オブジェクトが配置された仮想３次元空間を設定する仮想空間設定手段、
   前記被写体オブジェクトを自動制御する被写体オブジェクト制御手段、
   前記仮想３次元空間を撮影する仮想カメラの位置および姿勢を、前記位置姿勢取得制御手段により取得したデータに連動させて制御する仮想カメラ制御手段、
   前記表示部に表示させる前記仮想カメラで撮影された前記仮想３次元空間の画像を生成する仮想空間画像生成手段、
   前記被写体オブジェクト制御手段による自動制御を予告する予告制御手段、
   として機能させるためのプログラム。
2. 前記被写体オブジェクト制御手段は、前記被写体オブジェクトの制御手順が定められた所与の制御手順データ又は所与の制御手順プログラム（以下代表して「制御手順データ」という）に基づいて、前記被写体オブジェクトを自動制御し、
   前記予告制御手段は、前記制御手順データに基づいて、前記被写体オブジェクト制御手段による自動制御の予告を行う、
   請求項１に記載のプログラム。
3. 所与の楽曲を再生制御する楽曲再生制御手段、
   として前記コンピュータを機能させ、
   前記制御手順データは、前記楽曲の再生と同期した制御手順が定められており、
   前記被写体オブジェクト制御手段は、前記楽曲再生制御手段による前記楽曲の再生と同期して前記被写体オブジェクトを制御する、
   請求項２に記載のプログラム。
4. 前記被写体オブジェクト制御手段は、前記被写体オブジェクトを移動させる制御を行い、
   前記予告制御手段は、前記被写体オブジェクトの移動方向、移動距離および移動経路のうち少なくとも１つを予告する、
   請求項１～３の何れか一項に記載のプログラム。
5. 前記被写体オブジェクトは、キャラクタのオブジェクトであり、
   前記被写体オブジェクト制御手段は、前記被写体オブジェクトの身体を動作させる制御を行い、
   前記予告制御手段は、前記被写体オブジェクトの身体動作について予告する、
   請求項１～４の何れか一項に記載のプログラム。
6. 前記予告制御手段は、前記被写体オブジェクトの身体動作の予告に係る部位を識別表示する制御を行う、
   請求項５に記載のプログラム。
7. 前記仮想空間設定手段は、複数の前記被写体オブジェクトを前記仮想３次元空間に配置し、
   前記被写体オブジェクト制御手段は、前記複数の被写体オブジェクトそれぞれを自動制御し、
   前記予告制御手段は、前記被写体オブジェクトについて個別の予告制御を行う、
   請求項１～６の何れか一項に記載のプログラム。
8. 前記予告制御手段は、前記複数の被写体オブジェクトのうちの少なくとも一体を選択し、当該選択された被写体オブジェクトについて予告する、
   請求項７に記載のプログラム。
9. 前記予告制御手段は、前記複数の被写体オブジェクトのうち、動きが所定条件を満たす被写体オブジェクトを選択する、
   請求項８に記載のプログラム。
10. 前記仮想空間設定手段は、前記複数の被写体オブジェクトによるコンサートを行う空間として前記仮想３次元空間を設定し、
    前記被写体オブジェクト制御手段は、前記被写体オブジェクト毎の歌唱動作を自動制御し、
    前記予告制御手段は、前記複数の被写体オブジェクトのうち、次に歌唱動作を行う前記被写体オブジェクトを選択する、
    請求項８に記載のプログラム。
11. 前記被写体オブジェクト制御手段は、前記複数の被写体オブジェクトに連係動作を行わせる制御を行い、
    前記予告制御手段は、前記連係動作について予告する、
    請求項７～１０の何れか一項に記載のプログラム。
12. 前記被写体オブジェクト制御手段によって前記被写体オブジェクトが自動制御される制御内容のうち、前記予告の対象とする制御内容をユーザの操作入力に基づいて設定する予告対象制御設定手段、
    として前記コンピュータを機能させ、
    前記予告制御手段は、前記予告対象制御設定手段により設定された制御内容について予告を行う、
    請求項１～１１の何れか一項に記載のプログラム。
13. 前記予告制御手段による予告が行われる際に、現在の前記仮想カメラの位置および姿勢が継続すると仮定して、将来、当該予告内容に関する前記被写体オブジェクト制御手段の自動制御が行われたときの当該仮想カメラで撮影された画像に前記被写体オブジェクトの特定部位が含まれているか否かを予測する予測手段、
    前記予測手段により否定予測された場合にユーザへ通知する制御を行う予測通知制御手段、
    として前記コンピュータを機能させるための請求項１～１２の何れか一項に記載のプログラム。
14. カメラおよび表示部を備えた携帯型の電子機器であって、
    前記カメラの現実空間における位置および姿勢の情報の取得に係る制御を行う位置姿勢取得制御手段と、
    被写体オブジェクトが配置された仮想３次元空間を設定する仮想空間設定手段と、
    前記被写体オブジェクトを自動制御する被写体オブジェクト制御手段と、
    前記仮想３次元空間を撮影する仮想カメラの位置および姿勢を、前記位置姿勢取得制御手段により取得したデータに連動させて制御する仮想カメラ制御手段と、
    前記表示部に表示させる前記仮想カメラで撮影された前記仮想３次元空間の画像を生成する仮想空間画像生成手段と、
    前記被写体オブジェクト制御手段による自動制御を予告する予告制御手段と、
    を備えた電子機器。

Images