JP2022014358A - 情報処理装置、情報処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】ユーザの意図に沿ったカメラパスを容易に生成するための技術を提供する。【解決手段】仮想カメラの位置の軌跡を示す仮想カメラパスの基準となる複数のキーフレームを用いた補間により前記仮想カメラパスを生成する情報処理装置であって、ユーザ操作に応じてキーフレームの指定操作を受け付ける指定手段と、既に設定されている第１のキーフレームと、前記ユーザ操作により指定された第２のキーフレームとの間のフレーム数を算出する算出手段と、前記算出手段により算出された前記フレーム数に基づいて、前記第１のキーフレームと前記第２のキーフレームとの間の仮想カメラパラメータの単位時間当たりの変化量を算出する変化量算出手段と、前記変化量算出手段により算出された前記変化量をユーザに通知する通知手段とを備える。【選択図】 図６

Description

本発明は、情報処理装置、情報処理装置の制御方法およびプログラムに関し、特に、仮想視点画像やＣＧアニメーションなどのカメラパスを作成する技術に関する。

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。

仮想視点コンテンツを生成する際、カメラパスと呼ばれる、仮想視点の連続した動きやズームなどの変化をタイムライン上で示す情報を作成する。

カメラパスを作成する方式の一つとして、キーフレームに基づいてカメラパスを作成する方法がある。これは、キーフレームという、カメラパス上で重要となるフレームをユーザが離散的に選択し、そのキーフレーム間を自動で補間処理することで最終的なカメラパスを作成する方式である。キーフレーム方式によるカメラパスの作成により、キーフレーム間を滑らかに補間したカメラパスを作成することが可能となり、仮想視点コンテンツの品質の向上が期待できる。

特許文献１は、キーフレーム間のカメラパスを作成する際に、ユーザの意図に沿ったカメラパスにならないという不具合が想定される場合に、別のキーフレームを新規にキーフレーム間に設定することによって、不具合の発生を回避することを開示している。

特開２０１１－１０８１６５号公報

しかしながら、特許文献１に記載の技術では、ユーザの意図に沿ったカメラパスの生成に係る手間が大きくなることが考えられる。例えば、仮想視点に関するパラメータが急激に変化することを避けたい場合に、キーフレームを指定した後に仮想視点コンテンツのプレビュー表示を行うことで当該パラメータの変化の程度を確認し、キーフレームの修正とプレビュー表示の確認が繰り返される。このような作業を行うと、ユーザの意図に沿ったカメラパスを生成するまでに時間を要する。

本発明は、上記の課題に鑑みてなされたものであり、ユーザの意図に沿ったカメラパスを容易に生成するための技術を提供することを目的とする。

上記の目的を達成する本発明の一態様による情報処理装置は、
仮想カメラの位置の軌跡を示す仮想カメラパスの基準となる複数のキーフレームを用いた補間により前記仮想カメラパスを生成する情報処理装置であって、
ユーザ操作に応じてキーフレームの指定操作を受け付ける指定手段と、
既に設定されている第１のキーフレームと、前記ユーザ操作により指定された第２のキーフレームとの間のフレーム数を算出する算出手段と、
前記算出手段により算出された前記フレーム数に基づいて、前記第１のキーフレームと前記第２のキーフレームとの間の仮想カメラパラメータの単位時間当たりの変化量を算出する変化量算出手段と、
前記変化量算出手段により算出された前記変化量をユーザに通知する通知手段と、
を備えることを特徴とする。

本発明によれば、ユーザの意図に沿ったカメラパスを容易に生成することが可能となる。

一実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 実施形態１に係る情報処理装置の機能構成の一例を示す図である。 一実施形態に係る、撮影空間を囲む複数台の実カメラの配置例を示す図である。 一実施形態に係るカメラパスを編集するＵＩの一例を示す図である。 一実施形態に係るカメラパスやキーフレームに関する情報を表示するＧＵＩ表示部の表示例を示す図である。 実施形態１に係る情報処理装置が実施する処理の手順を示すフローチャートである。 実施形態１に係るキーフレームの挿入操作の説明図である。 実施形態１に係る仮想カメラ画像表示部上に変化量を示す情報を重畳して表示する例を示す図である。 実施形態２に係る情報処理装置が実施する処理の手順を示すフローチャートである。 実施形態２に係る、変化量が大きいことをユーザへ警告するための表示例を示す図である。 実施形態３に係る情報処理装置が実施する処理の手順を示すフローチャートである。 実施形態３に係る、キーフレームの指定操作が禁止状態であることの通知例を示す図である。 実施形態４に係る、仮想視点画像の画質異常の説明図である。 実施形態４に係る情報処理装置の機能構成の一例を示す図である。 実施形態４に係る情報処理装置が実施する処理の手順を示すフローチャートである。 実施形態４に係る、画質異常領域を表示するＧＵＩの一例を示す図である。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（実施形態１）
実施形態１では、キーフレームを設定する際に、キーフレーム間の変化量を表示することで、どのようなカメラパスとなるかを判断できるようにする例を説明する。

＜情報処理装置のハードウェア構成＞
図１は、本実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。ＣＰＵ１０１は、ＲＡＭ１０２やＲＯＭ１０３に格納されているコンピュータプログラムやデータを用いて情報処理装置の全体を制御する。なお、情報処理装置がＣＰＵ１０１とは異なる専用の１又は複数のハードウェアやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、ＣＰＵ１０１による処理の少なくとも一部をＧＰＵや専用のハードウェアが行ってもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＡＭ１０２は、ＲＯＭ１０３から読みだされたコンピュータプログラムやデータ、入出力部１０４を介して外部から供給されるデータなどを一時的に記憶する。ＲＯＭ１０３は、変更を必要としないコンピュータプログラムやデータを保持する。入力部１０４は、カメラパスを編集するためのコントローラや、キーボード、マウスなどからのデータの入力を行う。表示部１０５は、ＧＵＩを表示するディスプレイなどである。内部バス１０６は、各ハードウェア間のデータやりとりを担うバスである。

＜情報処理装置の機能構成＞
図２は、本実施形態に係る情報処理装置の機能構成の一例を示す図である。本実施形態に係る情報処理装置は、仮想カメラの位置の軌跡を示す仮想カメラパスの基準となる複数のキーフレームを用いた補間により前記仮想カメラパスを生成する装置であり、カメラパス作成部２０１を含んで構成される。なお、情報処理装置は、仮想視点画像生成部２００をさらに含んでもよい。

仮想視点画像生成部２００は、多視点から同期撮影した複数枚の画像に基づいて、仮想カメラの視点から見た仮想視点画像を生成する。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向き（視線方向）を示す情報である。具体的には、視点情報は、仮想視点の三次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。

仮想カメラとは、撮像領域の周囲に実際に設置された複数の撮像装置とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。また本実施形態では、経時的な仮想視点の変遷の内容を、仮想カメラパスと表記する。ただし、本実施形態の構成を実現するために仮想カメラの概念を用いることは必須ではない。すなわち、少なくとも空間内における特定の位置を表す情報と向きを表す情報とが設定され、設定された情報に応じて仮想視点画像が生成されればよい。

ここで、図３を参照して仮想カメラの一例を説明する。スタジアムなどの撮影空間を囲むように複数台の実カメラ３０１を配置する。これら複数台の実カメラ３０１は同期撮影するように設定されている。仮想カメラ３０２は、どの実カメラ３０１とも異なる視点からの仮想視点画像を生成することが可能である。

次に、仮想視点画像を生成する方法の例を示す。以降、選手やボールなどの位置が変化する被写体を前景と呼ぶ。またフィールド（芝生）など前景以外の被写体を背景と呼ぶ。まず、実カメラ３０１が撮影した複数枚の撮影画像を前景と背景に分離する。そして、分離した複数の前景から、選手やボールなどの前景の３Ｄ形状と位置を計算する。次に、仮想カメラ３０２の視点に応じて、３Ｄ形状と位置から前景を再構成する。次に、分離した複数の背景から1枚の背景を生成する。そして、再構成した前景を生成した背景に合成して仮想視点画像とする。

なお、情報処理装置をＣＧ画像のカメラパスを編集するために使用することも可能である。その際は、仮想視点画像生成部２００の代わりにＣＧレンダラーを設ける。仮想カメラ３０２はＣＧ画像の視点を表し、ＣＧ空間内の任意の位置に移動できる。

＜カメラパスの説明＞
図２に示したカメラパス作成部２０１は、ユーザの操作に合わせてカメラパスを作成する。ここでカメラパスについて説明を行う。

カメラパスとは、複数枚の仮想視点画像やＣＧ画像を順に再生することで作成される動画において、仮想カメラ３０２の動きを定義するものである。このカメラパスはフレームとタイムラインとで管理される。フレームは、動画を構成する各画像の生成に必要な情報を保持する。具体的にはシーンの時刻とカメラの位置・姿勢の情報を保持する。シーンの時刻は、例えば、撮影対象の試合が開始された時刻を００時００分００秒００フレームとしたタイムコードで表す。カメラの位置は、例えば、撮影空間内に原点を設定し、Ｘ、Ｙ、Ｚの３つの座標で表す。カメラの姿勢は、例えば、パン、チルト、ロールの３つの角度で表す。タイムラインに含まれるフレームの枚数は、１秒当たりに再生する画像の枚数（フレームレート）によって決まる。例えば、フレームレートが６０フレーム／秒の場合、１秒当たり６０枚のフレームが、タイムラインに含まれる。

キーフレームを用いたカメラパス編集において、フレームにはキーフレームと中間フレームの２種類が存在する。キーフレームは、カメラパスを編集するユーザが明示的に情報を指定するフレームである。一方、中間フレームは、キーフレーム間のフレームであり、カメラパス作成部２０１がキーフレーム間を補間して情報を決定するフレームである。さらに、キーフレームは、始点、終点、中点の３種類に分かれる。カメラパスは、１枚のキーフレーム（始点）と１枚のキーフレーム（終点）、０枚以上のキーフレーム（中点）を含む。情報処理装置は、特にキーフレーム（中点）を１枚以上含むカメラパスを対象とする。つまり３枚以上のキーフレームを含む。キーフレーム（始点）とキーフレーム（終点）との間が作成対象のカメラパスである。

ここで、カメラパスを編集するＵＩの例を図４に示す。仮想カメラ画像表示部４０１は、図２に示した仮想視点画像生成部２０１が生成した画像、つまり、仮想カメラ３０２から見た画像を表示する。ＧＵＩ表示部４０２は、カメラパスやキーフレームに関する情報などを表示する。カメラパス編集コントローラ４０３は、カメラパスを編集するためにユーザが使用するコントローラである。

ＧＵＩ表示部４０２の表示例を図５に示す。タイムライン５０１は、各フレームを一本の時間軸上に表示する。図５では、キーフレーム５０２、キーフレーム５０３、キーフレーム５０４の３枚のキーフレームがある。キーフレーム５０２はキーフレーム（始点）である。キーフレーム５０３はキーフレーム（終点）である。キーフレーム５０４はキーフレーム（中点）である。一方、モーションパス５０５は、各フレームにおけるカメラの位置・姿勢の動きを表したものである。５０６はキーフレーム５０２におけるカメラの位置・姿勢を示す。５０７はキーフレーム５０３におけるカメラの位置・姿勢を示す。５０８はキーフレーム５０４におけるカメラの位置・姿勢を示す。

なお、カメラパス作成部２０１は、ユーザの編集対象となっているフレームの情報を常に仮想視点画像生成部２００へ送信する。仮想視点画像生成部２００は、カメラパス作成部２０１から受信したフレームの情報に基づいて仮想視点画像を生成する。生成された仮想視点画像は、仮想カメラ画像表示部４０１に送信され、表示される。これにより、ユーザは常に、編集対象のフレームの仮想カメラから見た画像を確認しながら、カメラパスを編集することが可能である。

カメラパス作成部２０１は、制御部２０２、ユーザ操作検出部２０３、キーフレーム操作指定部２０４、フレーム数算出部２０５、変化量算出部２０６、ユーザ設定指定部２０７、キーフレーム情報格納部２０８、中間フレーム生成部２０９、カメラパス出力部２１０、及び表示処理部２１１を備えている。

制御部２０２は、カメラパス作成部２０１における各機能ブロックの動作を制御する。ユーザ操作検出部２０３は、入力部１０４から入力される各種ユーザの操作を検出する。キーフレーム操作指定部２０４は、ユーザ操作検出部２０３により検出されたユーザ操作のうち、キーフレームの操作に関するユーザ入力を取得し、キーフレームの情報を指定する。ここで、キーフレームの操作に関する情報は、例えば、キーフレームの時刻と、キーフレームの位置・姿勢、ズーム率などのカメラの制御、およびキーフレーム間の再生速度である。

キーフレームの時刻情報の指定は、タイムライン５０１上で、ユーザが指定した時刻にキーフレームを追加する処理である。ユーザは、カメラパス編集コントローラ４０３を用いて、時刻を操作（進める、戻す）し、所望の時刻を指定する。ユーザが時刻を操作すると、対応する時刻の仮想視点画像が仮想カメラ画像表示部４０１に表示される。ユーザは、仮想カメラ画像表示部４０１を見ながら操作することで、選手がパスしたなど、所望のシーンの時刻を、容易に指定することができる。ユーザが追加したキーフレームは、例えばキーフレーム５０２、キーフレーム５０３、キーフレーム５０４のようにタイムライン５０１上に表示される。

キーフレームの位置・姿勢情報の指定は、ユーザ操作に応じて、キーフレームのカメラの位置・姿勢を指定する処理である。ユーザは、カメラパス編集コントローラ４０３を用いて、カメラを前後、左右、上下へ移動し、所望の位置を指定する。また、カメラパス編集コントローラ４０３を用いて、カメラをパン、チルト、ロール方向へ回転し、所望の姿勢を指定する。ユーザがカメラの位置・姿勢を操作すると、対応する位置・姿勢の仮想視点画像が仮想カメラ画像表示部４０１に表示される。ユーザは、仮想カメラ画像表示部４０１を見ながら操作することで、所望のカメラの位置・姿勢を、容易に指定することができる。ユーザが指定したキーフレームのカメラの位置・姿勢は、位置・姿勢５０６、位置・姿勢５０７、位置・姿勢５０８のように表示される。なお、カメラの位置・姿勢５０６はキーフレーム５０２のカメラの位置・姿勢である。カメラの位置・姿勢５０８はキーフレーム５０４のカメラの位置・姿勢である。カメラの位置・姿勢５０７はキーフレーム５０３のカメラの位置・姿勢である。

キーフレームのカメラ制御の指定は、ユーザの操作に応じて、キーフレームのカメラのズーム率の指定などのカメラ制御を指定する処理である。ユーザはカメラパス編集コントローラ４０３を用いて、カメラのズーム率の制御を行う。ユーザがカメラのズーム率の操作を行うと、カメラのズーム率が変化する。キーフレーム間のズーム率が異なる場合、キーフレーム間のズーム率が変化されたカメラパスが生成されることになる。

キーフレーム間の再生速度の指定は、ユーザの操作に応じて、キーフレーム間の速度を指定する処理である。例えば、あるキーフレーム間の再生速度を０．５倍速のスロー再生とする、等の指定である。仮想カメラは、指定された再生速度でキーフレーム間を移動することになる。

次に、フレーム数算出部２０５は、キーフレーム間のフレーム数を算出する処理を行う。フレーム数の算出は、キーフレームの時刻とフレームレート、及びそのキーフレーム間の再生速度によって求められる。例えば、６０フレーム／秒の動画像において、キーフレームの時刻が００時００分００秒００フレームと００時００分１０秒３０フレームとのキーフレーム間を、速度０．５倍で指定した場合のフレーム数は、「（１０秒×６０フレーム＋３０フレーム）×２＝１２６０フレーム」となる。

変化量算出部２０６は、キーフレーム間の仮想カメラの仮想カメラパラメータ（例えば仮想カメラの位置及び／又は姿勢）の変化量を求める処理部である。ここでの変化量は単位時間当たりの変化量であり、具体的には、フレーム数算出部２０５によって算出されたフレーム数に基づいた、フレームあたりの変化量を示す。

ユーザ設定指定部２０７は、ユーザ操作検出部２０３により検出されたユーザ操作のうち、カメラパス作成部２０１に対するユーザからの設定情報をユーザ操作検出部２０３から取得し、制御部２０２へ通知する。

キーフレーム情報格納部２０８は、ユーザが設定したキーフレーム情報を格納する。中間フレーム生成部２０９は、キーフレーム情報格納部２０８に格納されたキーフレーム情報に基づいて、中間フレームを生成してカメラパスを作成する。中間フレームの生成は、キーフレーム間の位置・姿勢を曲線で補間することにより行う。カメラの位置を補間する方法としては、例えば、線形補間、ベジェ補間などである。また、カメラの姿勢を補間する方法としては、例えば、線形補間、球面線形補間などである。補間された曲線が、モーションパス５０５である。

カメラパス出力部２１０は、中間フレーム生成部２０９により生成された中間フレームを含む、仮想カメラの動きを示すカメラパスを出力する。生成したカメラパスは、動画像のクリップの作成に利用される。

表示処理部２１１は、変化量算出部２０６により算出された変化量を示す情報を表示部１０５に表示する処理を行う。表示処理部２１１は、例えば図４の仮想カメラ画像表示部４０１もしくはＧＵＩ表示部４０２に、変化量を表示する処理を行う。表示処理部２１１において実施される処理は、制御部２０２によって制御される。

＜処理＞
次に、図６のフローチャートを参照して、実施形態１に係る情報処理装置が実施する処理の手順を説明する。図６の処理は、キーフレームの操作中に変化量を表示する処理である。

Ｓ６０１において、ユーザ操作検出部２０３は、ユーザによる操作を検出する。Ｓ６０２において、キーフレーム操作指定部２０４は、Ｓ６０１で検出されたユーザ操作がキーフレーム操作であるか否かを判定する。キーフレーム操作であると判定された場合、Ｓ６０３へ進む。一方、キーフレーム操作ではないと判定された場合、Ｓ６０１に戻る。

Ｓ６０３において、フレーム数算出部２０５は、既に設定されているキーフレームと、操作対象のキーフレームとの間のフレーム数を算出する。Ｓ６０４において、変化量算出部２０６は、Ｓ６０３で算出されたフレーム数に基づいて、キーフレーム間の仮想カメラパラメータの変化量を算出する。ここでの変化量は、仮想カメラの位置及び／又は姿勢の変化量である。なお、ズーム率の変化量であってもよい。また、これらの一部又は全部の組み合わせであってもよい。

ここで、図７を参照しながら、Ｓ６０３及びＳ６０４の処理について詳述する。図７は、キーフレーム７０４とキーフレーム７０５とが既に設定されている状態において、新規のキーフレーム７０６を挿入する際の操作について説明する図である。キーフレーム７０４に対応するタイムライン上の時刻が７０１であり、キーフレーム７０５に対応するタイムライン上の時刻が７０２である。キーフレーム７０６は、ユーザが設定を行っている段階であり、現時点では暫定の位置として示されている。

Ｓ６０３では、キーフレーム間のフレーム数が算出される。図７の例では、キーフレーム７０４とキーフレーム７０６との間のフレーム数が、７０８で示すフレーム数Ａであり、キーフレーム７０５とキーフレーム７０６との間のフレーム数が、７０９で示すフレーム数Ｂである。フレーム数は、上述したとおり、時刻とフレームレート、再生速度に基づいて算出される。

キーフレーム７０４とキーフレーム７０６との間の移動量を移動量Ａとし、キーフレーム７０４とキーフレーム７０５との間の移動量を移動量Ｂとする。Ｓ６０４で算出される変化量は、例えば、この移動量をフレーム数で除算した値となる。従って、キーフレーム７０４とキーフレーム７０６との間の変化量Ａが、変化量Ａ＝移動量Ａ／フレーム数Ａとなり、キーフレーム７０５とキーフレーム７０６との間の変化量Ｂが、変化量Ｂ＝移動量Ｂ／フレーム数Ｂとなる。なお、図７では移動量として単純に一次元の距離として示しているが、これに限らない。図７では、移動量Ａに対して移動量Ｂの方が長く、フレーム数Ａがよりフレーム数Ｂより多い状態を示している。従って、変化量Ａは小さい値を示し、長い時間をかけて短い移動量を遷移するモーションパスとなることを示す。一方、変化量Ｂは大きい値を示し、短い時間で急峻なモーションパスとなることを示す。

また、ここで算出する単位時間当たりの変化量は、仮想カメラの位置の移動量をフレーム数で除算した値に限定されるものではない。例えば、単位時間当たりの変化量は、仮想カメラの姿勢の変化量、ズーム率の変化量をフレーム数で除算した値を用いてもよい。

Ｓ６０５において、表示処理部２１１は、Ｓ６０４で算出された変化量を表示する。ここで、図８は、図４に示した仮想カメラ画像表示部４０１上に、Ｓ６０４で算出された変化量を重畳して表示する例を示す図である。図８で示すキーフレーム等の情報は、図７に示した情報に対応している。

図８の８０１と８０２が、事前に設定されたキーフレームである。キーフレーム８０１が図７のキーフレーム７０４に対応し、キーフレーム８０２が図７のキーフレーム７０５に対応している。８０３は現在操作中の仮想視点であり、その仮想視点から見た画像が表示されており、これは図７のキーフレーム７０６に対応する。インジケータ８０４は、キーフレーム７０６のタイムライン上の相対位置を示している。図７に示したキーフレーム７０４とキーフレーム７０６との間の変化量Ａを、図８のグラフ８０５で示し、図７のキーフレーム７０５とキーフレーム７０６との間の変化量Ｂを、図８のグラフ８０６で示す。図示の例では、変化量Ａ＝２．１５、変化量Ｂ＝３０．２である。よって、図７のキーフレーム７０５とキーフレーム７０６との間の変化が大きいことを認識できる。図８から分かるように、変化量の大きさを視覚的に表示することで、キーフレーム間の動きの変化を把握しやすくなるため、現在挿入を行う予定のキーフレーム８０３を設定することにより、どのようなカメラパスとなるのかをユーザが容易に判別可能となる。なお、図８に示した表示例はあくまでも一例であり、その表示態様は図示の例に限定されない。

Ｓ６０６において、キーフレーム操作指定部２０４は、カメラパスの作成が終了したか否かを判定する。例えば、ユーザから終了操作が行われた場合に、作成が終了したと判定してもよい。本ステップがＹｅｓである場合、一連の処理を終了する。一方、本ステップがＮｏである場合、Ｓ６０１に戻って再度ユーザ操作の検出が開始され、一連の処理を繰り返す。

以上説明したように、実施形態１では、キーフレームの仮想カメラパラメータである仮想カメラの位置及び／又は姿勢の変化量を算出してユーザに表示部への視覚的な表示などによって通知する。すなわち、ユーザがキーフレームを設定する際に、そのキーフレームによってどのようなカメラパスとなるか（変化が大きすぎて視認しにくいカメラパスになるかどうか）を判断可能な情報をユーザに通知する。

これにより、キーフレーム挿入時の仮想カメラパラメータの位置・姿勢の変化量を容易に確認することができるため、カメラパスのプレビュー表示を行うことなくユーザは所望のキーフレームの設定を行うことが可能となる。

なお、本実施形態では、キーフレームの変化量として移動量を例として挙げたが、これに限らない。仮想カメラの位置・姿勢の変化を示す量やズームの変化量をフレーム数で除算した、単位時間あたりの変化量を表示してもよい。

（実施形態２）
実施形態２では、事前に設定された変化量以上の変化が起こる場合に、そのことをユーザに通知する例を説明する。実施形態２に係る情報処理装置のハードウェア構成及び機能構成については実施形態１と同様であるため、説明を省略する。

＜処理＞
続いて、図９のフローチャートを参照して、本実施形態に係る情報処理装置が実施する処理の手順を説明する。なお、本フローの開始に先立ち、事前に変化量の所定の閾値が設定されているものとする。閾値の設定は、例えば、図２に示したユーザ設定指定部２０７を介して制御部２０２に対して実施されている。なお、本フローのうち、Ｓ９０１乃至Ｓ９０４、Ｓ９０７の各処理は、図６で説明したＳ６０１乃至Ｓ６０４、Ｓ６０６と同様であるため、説明を省略する。以下では、主に図６との差分を説明する。

Ｓ９０５において、表示処理部２１１は、Ｓ９０４で算出された変化量が、事前に設定された所定の閾値以上であるか否かを判定する。変化量が所定の閾値以上である場合、Ｓ９０６へ進む。一方、変化量が所定の閾値未満である場合、Ｓ９０１に戻る。

Ｓ９０６において、表示処理部２１１は、変化量が所定の閾値以上となったため、ユーザへ警告を通知する。ここで、図１０は警告の通知方法の一例を示す図である。図１０において、警告表示１００１は、「前フレームとの変化量が大きくなっています」というテキストである。これを図４に示した仮想カメラ画像表示部４０１上に重畳して表示する。あるいは、表示に限らず、音声を用いて警告を通知するようにしてもよい。

以上説明したように、実施形態２では、変化量が事前に設定された閾値以上となった場合に、そのことを示す情報をユーザに通知する。これにより、キーフレーム挿入時の変化量によるカメラパスへの影響をより容易に確認できるため、ユーザは所望のキーフレームの設定を行うことが可能となる。

（実施形態３）
実施形態３では、変化量が事前に設定された閾値以上となる場合に、キーフレームの設定を禁止する例を説明する。ユーザへ明示的に変化量を通知するのではなく、閾値以上の変化量となる際には、キーフレームの設定自体を禁止することにより、変化量が大きいことを通知する例である。実施形態３に係る情報処理装置のハードウェア構成及び機能構成については実施形態１と同様であるため、説明を省略する。

＜処理＞
続いて、図１１のフローチャートを参照して、本実施形態に係る情報処理装置が実施する処理の手順を説明する。なお、本フローの開始に先立ち、事前に変化量の所定の閾値が設定されているものとする。閾値の設定は、例えば、図２に示したユーザ設定指定部２０７を介して制御部２０２に対して実施されている。なお、本フローのうち、Ｓ１１０１乃至Ｓ１１０５、Ｓ１１１０の各処理は、図９で説明したＳ９０１乃至Ｓ９０５、Ｓ９０７と同様であるため、説明を省略する。以下では、主に図９との差分を説明する。Ｓ１１０５でＹｅｓの場合、Ｓ１１０６へ進む。一方、Ｓ１１０５でＮｏの場合、Ｓ１１０８へ進む。

Ｓ１１０６において、制御部２０２は、キーフレーム操作指定部２０４に対してキーフレームの指定操作を禁止するように指示する。すなわち、ユーザ操作による今回のキーフレームの指定操作はキャンセルされる。

Ｓ１１０７において、表示処理部２１１は、ユーザによるキーフレームの指定操作が禁止状態であることを示す情報を表示することによりユーザへの通知を行う。ここで、図１２に通知例を示す。図１２には、「キーフレームの設定ができません。フレームの時刻を進めてください。」というメッセージが表示されている。なお、当該表示は常に行う必要はなく、ユーザがキーフレームの指定操作を実行した際に表示するようにしてもよい。その後、Ｓ１１１０へ進む。

Ｓ１１０８において、制御部２０２は、キーフレーム操作指定部２０４に対してキーフレームの指定操作の禁止を解除するように指示する。なお、禁止状態でなければ、現在の解除状態を維持する。

Ｓ１１０９において、表示処理部２１１は、ユーザによるキーフレームの指定操作の禁止が解除された解除状態であることを示す情報を表示することによりユーザへの通知を行う。図１２と同様にして、キーフレームの指定操作が禁止されていないことを示すメッセージを表示してもよい。なお、解除状態は必ずしも通知しなくてもよい。すなわち、本ステップはスキップしてもよい。その後、Ｓ１１１０へ進む。以上が図１１の一連の処理である。

以上説明したように、実施形態３では、変化量が閾値以上の場合、ユーザによるキーフレームの指定操作を禁止する処理を行う。これにより、所望のカメラパスとならないようなキーフレームの設定を防ぐことが可能となるため、ユーザビリティを向上させることができる。

（実施形態４）
実施形態４では、カメラパスにおける仮想視点画像の画質の異常を検出し、異常であることを示す表示を行う例を説明する。ここで、画質の異常とは、例えば仮想視点の再生速度と撮影されたコンテンツのフレームレートとの差によって生じる、被写体がぶれて表示される現象である。図１３を参照して、この現象について説明を行う。

図１３は、被写体の動き、仮想視点の動き、生成される仮想視点画像を示す図である。１３０１は、説明のために使用する被写体（ボール）であり、被写体１３０１が図中、左から右へ移動している。ｔ１～ｔ４はそれぞれ撮影された時刻を示している。例えば６０ｆｐｓのカメラで撮影される場合、ｔ１とｔ２との間隔は１／６０秒となる。１３０２は、仮想視点を示しており、ｆｖ１～ｆｖ６は仮想視点の動きを示す。図１３の例では、仮想視点が被写体であるボールと平行に移動している。また、仮想視点画像は０．５倍速のスローで作成する。この場合、撮影されたコンテンツの時刻（ｔ１～ｔ４）の０．５倍速で仮想視点を作成することになるため、ｆｖ１とｆｖ２の仮想視点画像はｔ１の撮影コンテンツでレンダリングを行う必要がある。同様に、ｆｖ３とｆｖ４の仮想視点画像はｔ２の撮影コンテンツでレンダリングを行い、ｆｖ５とｆｖ６の仮想視点画像はｔ３の撮影コンテンツでレンダリングを行う。

１３０３は、ｆｖ１からｆｖ６の各仮想視点で生成された仮想視点画像を示す図である。仮想視点ｆｖ１と仮想視点ｆｖ２は同じ時刻ｔ１の撮影コンテンツから生成されるため、被写体が動かないまま仮想視点のみが移動する。そして、仮想視点ｆｖ２から仮想視点ｆｖ３への移動時に、時刻がｔ２へ遷移するため、被写体も移動した状態で仮想視点が生成される。仮想視点が被写体の動きと平行して遷移する場合、１３０３に示すように被写体が前後に移動を繰り返すことになるため、被写体がぶれて表示されてしまうことになる。

＜情報処理装置の機能構成＞
図１４を参照して、本実施形態に係る情報処理装置の機能構成を説明する。実施形態１で説明した構成要素と同じ構成要素には同じ参照符号を付しており、詳細な説明は省略する。なお、実施形態３に係る情報処理装置のハードウェア構成については実施形態１と同様であるため、説明を省略する。本実施形態に係るカメラパス作成部２０１は、図２に示した構成に加えて、画質異常領域検出部１４０１を備えている。

画質異常領域検出部１４０１は、キーフレーム情報格納部２０６に格納されたキーフレームの情報に基づいて、仮想カメラパス上の仮想視点画像について被写体のぶれなどの画質の異常を検出する。

＜処理＞
続いて、図１５のフローチャートを参照して、本実施形態に係る情報処理装置が実施する処理の手順を説明する。なお、本フローのうち、Ｓ１５０１乃至Ｓ１５０５、Ｓ１５０９の各処理は、図６で説明したＳ６０１乃至Ｓ６０５、Ｓ６０６と同様であるため、説明を省略する。以下では、主に図２との差分を説明する。

Ｓ１５０６において、画質異常領域検出部１４０１は、キーフレーム間の不連続領域を、画質異常領域として検出する処理を行う。Ｓ１５０７において、画質異常領域検出部１４０１は、不連続領域が検出されたか否かを判定する。本ステップがＹｅｓの場合、Ｓ１５０８へ進む。一方、本ステップがＮｏの場合、Ｓ１５０９へ進む。

Ｓ１５０８において、表示処理部２１１は、Ｓ１５０７で検出された不連続領域を画質異常領域として表示する。すなわち、画質異常が検出された場合、仮想カメラパスのうち画質異常が検出された範囲を画質異常領域として通知する。ここで、本ステップでの異常領域の表示例について、図１６を参照して説明する。図１６は、画質異常領域を表示するＧＵＩの一例である。

１６０１及び１６０２は、図８と同様に、それぞれのキーフレームの間の変化量を示しているが、色の濃さが異なっている。１６０１は色が濃く表示され、１６０２では色が薄く表示されている。色が濃く表示される１６０１において、画質の異常がみられる可能性があることが示されている。なお、図示の例では色の表示の濃さに応じて画質異常の有無を示す例を説明したが、当該例に限定されない。例えば、１６０１の近くに、画質異常がある可能性を示すテキストメッセージを表示するようにしてもよい。仮想カメラパスのうち画質異常が検出された範囲を、画質異常が検出されていない範囲と異なる表示形態で示すことができれば、どのような表示形態であってもよい。その後、Ｓ１５０９へ進む。以上で図１５の一連の処理が終了する。

以上説明したように、実施形態４では、画質に異常がみられることを検出し、それを変化量の表示と合わせて表示する。これらは同時に表示されることもあるし、異なるタイミングで表示されることもある。これにより、画質異常の可能性があることがユーザに通知されるため、所望のカメラパスとならないようなキーフレームの設定を防ぐことが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２０１：カメラパス作成部、２０２：制御部、２０３：ユーザ操作検出部、２０４：キーフレーム操作指定部、２０５：フレーム数算出部、２０６：変化量算出部、２０７：ユーザ設定指定部、２０８：キーフレーム情報格納部、２０９：中間フレーム生成部、２１０：カメラパス出力部、２１１：表示処理部

Claims (11)

1. 仮想カメラの位置の軌跡を示す仮想カメラパスの基準となる複数のキーフレームを用いた補間により前記仮想カメラパスを生成する情報処理装置であって、
   ユーザ操作に応じてキーフレームの指定操作を受け付ける指定手段と、
   既に設定されている第１のキーフレームと、前記ユーザ操作により指定された第２のキーフレームとの間のフレーム数を算出する算出手段と、
   前記算出手段により算出された前記フレーム数に基づいて、前記第１のキーフレームと前記第２のキーフレームとの間の仮想カメラパラメータの単位時間当たりの変化量を算出する変化量算出手段と、
   前記変化量算出手段により算出された前記変化量をユーザに通知する通知手段と、
   を備えることを特徴とする情報処理装置。
2. 前記仮想カメラパラメータは、前記仮想カメラの位置を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記仮想カメラパラメータは、前記仮想カメラの姿勢を含むことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記仮想カメラパラメータは、前記仮想カメラのズーム率を含むことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記通知手段は、前記変化量が閾値以上である場合に、前記ユーザにさらに通知を行うことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記変化量が閾値以上である場合に前記指定手段による前記指定操作の受け付けを禁止する禁止手段をさらに備えることを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
7. 前記通知手段は、前記禁止手段により前記指定操作の受け付けが禁止された場合、前記指定操作の受け付けが禁止された禁止状態であることを前記ユーザにさらに通知することを特徴とする請求項６に記載の情報処理装置。
8. 前記仮想カメラパス上の仮想視点画像の画質異常を検出する検出手段をさらに備え、
   前記通知手段は、前記画質異常が検出された場合、前記仮想カメラパスのうち前記画質異常が検出された範囲を通知することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記通知手段は、前記仮想カメラパスのうち前記画質異常が検出された範囲を、前記画質異常が検出されていない範囲と異なる表示形態で表示することにより通知を行うことを特徴とする請求項８に記載の情報処理装置。
10. 仮想カメラの位置の軌跡を示す仮想カメラパスの基準となる複数のキーフレームを用いた補間により前記仮想カメラパスを生成する情報処理装置の制御方法であって、
    ユーザ操作に応じてキーフレームの指定操作を受け付ける指定工程と、
    既に設定されている第１のキーフレームと、前記ユーザ操作により指定された第２のキーフレームとの間のフレーム数を算出する算出工程と、
    前記算出工程により算出された前記フレーム数に基づいて、前記第１のキーフレームと前記第２のキーフレームとの間の仮想カメラパラメータの単位時間当たりの変化量を算出する変化量算出工程と、
    前記変化量算出工程により算出された前記変化量をユーザに通知する通知工程と、
    を有することを特徴とする情報処理装置の制御方法。
11. コンピュータを、請求項１乃至９の何れか１項に記載の情報処理装置として機能させるためのプログラム。

Images