JP2019096996A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】複数のカメラパスの中から所望のカメラパスを素早く見つけ出すことができるようにすることを課題とする。【解決手段】情報処理装置２０は、動画シーンの各フレームに対し、三次元空間のオブジェクトを二次元平面に投影するための仮想カメラのカメラパスを記憶するカメラパス記憶部５と、その記憶されたカメラパスに基づき、動画シーンにおける仮想カメラの軌跡を三次元空間の所定地点から俯瞰したカメラパス画像を生成するカメラパス画像生成部８と、カメラパスからカメラパス画像を生成するためのカメラパス画像生成パラメータを設定するカメラパス画像生成パラメータ設定部１０と、複数のカメラパスに対してそれぞれカメラパス画像生成パラメータを適用して生成したカメラパス画像の一覧表示画面を生成するカメラパス一覧生成部６とを有し、表示部１１にカメラパス画像一覧を画面表示させる。【選択図】図１

Description

本発明は、三次元空間上の仮想カメラの軌跡データ（カメラパス）を二次元平面に表示する技術に関する。

コンピュータグラフィックス（以下、ＣＧとする。）においては、三次元空間上にモデリングされた三次元オブジェクトを任意視点から見た二次元映像としてレンダリングする。任意視点の位置及び視野範囲（画角）を表わすために、三次元空間上に仮想的に配置するカメラは、仮想カメラと呼ばれる。仮想カメラの操作者は、シーンの進行に合わせて仮想カメラの三次元空間上の位置や視野範囲を操作する。仮想カメラの三次元空間上の位置や視野範囲の軌跡は、一般に仮想カメラパス（または単に、カメラパス）と呼ばれる。またカメラパスに基づいて生成される二次元動画は自由視点映像と呼ばれる。そしてシーンの三次元オブジェクトデータとカメラパスデータがあれば、仮想カメラの位置や視野範囲の軌跡を再現して自由視点映像を再生することができる。

近年は、多数のカメラ（仮想カメラではなく実際のカメラ）で撮影した映像から、三次元オブジェクトを生成し、自由視点映像を再生する技術が開発され、様々なニーズに対して自由視点映像を用いることへの期待が高まっている。特に、スポーツ放送においては、一つのシーンをさまざまな視点から（実際のカメラが存在しない視点からも）リプレイしたいという大きなニーズがあるため、一つのシーンから多数のカメラパスが作成されるケースが多い。例えば、スポーツの生放送においては、得点シーンや好プレイのシーンで、それぞれ異なる視点から見た多数のカメラパスを作成して、次々と自由視点映像をリプレイする。また、得点シーンや好プレイのシーンは、試合中や試合後に何度もリプレイされるため、カメラパスを再利用することもある。

ここで、生放送では時間が限られているため、作成した多数のカメラパスから所望のカメラパスを素早く確実に見つけ出して、再生することが求められる。一方、後日放送されるハイライト番組においては、一つのプレイからさらに多くのカメラパスが作成され、さまざまな自由視点映像が再生される可能性がある。また、ハイライト番組の場合、試合から放送までに時間があるので、よりよいカメラパスを追求するため、実際に放送で使われるカメラパス以外にも、試行錯誤の過程でより多くのカメラパスが作られる。すなわち、ハイライト番組では、非常に多くのカメラパスが作られるので、その中から、再編集するカメラパスや自由視点映像再生を行うカメラパスを素早く見つけ出すことが求められる。このため、一つのシーンに対する複数のカメラパスの内容を確認して、所望のカメラパスを選ぶ技術として、特許文献１には、複数のカメラパスから再生されるそれぞれの自由視点映像を複数画面で同時に表示可能とする技術が開示されている。

特開２０１４−１６４６８５号公報

前述の特許文献１の技術によれば、ユーザ（操作者）は、再生される自由視点映像を見て、所望のカメラパスかどうかを判断することになる。しかしながら、類似するカメラパスが複数ある場合、自由視点映像において所望のカメラパスかどうかを判断できる場面が現れるまで時間がかかることが多い。また、多数の自由視点映像を同時に見ていると、所望のカメラパスかどうかを判断できる場面を見逃してしまう虞もあり、見逃してしまうとまた再生をやり直す必要がある。また、カメラパスが多数あって、自由視点映像を一度に表示しきれない場合、複数回に分けて自由視点映像を再生する必要があり、時間がかかる上に、比較もし難い。すなわち、従来技術では、多数のカメラパスの中から所望のカメラパスを素早く見つけ出すことが困難である。

そこで、本発明は、複数のカメラパスの中から所望のカメラパスを素早く見つけ出すことができるようにすることを目的とする。

本発明は、動画シーンの各フレームに対して三次元空間のオブジェクトを二次元平面に投影するための仮想カメラのカメラパスを記憶する記憶手段と、前記記憶されたカメラパスに基づいて、前記動画シーンにおける前記仮想カメラの軌跡を前記三次元空間の所定地点から俯瞰したカメラパス画像を生成する画像生成手段と、前記記憶されたカメラパスを基に前記カメラパス画像を生成するためのパラメータを設定する設定手段と、複数のカメラパスに対してそれぞれ前記パラメータを適用して生成した複数の前記カメラパス画像を一覧表示する一覧生成手段と、を有することを特徴とする。

本発明によれば、複数のカメラパスの中から所望のカメラパスを素早く見つけ出すことができるようになる。

本実施形態のカメラパス表示システムのブロック図である。 第１実施形態のカメラパス一覧表示処理のフローチャートである。 カメラパスのデータフォーマットを表わした図である。 カメラパス一覧表示の第１の画面例を示す図である。 カメラパス一覧表示の第１の画面例の変形例を示す図である。 カメラパス一覧表示の第２の画面例を示す図である。 カメラパス一覧表示の第３の画面例を示す図である。 カメラパス一覧表示の第４の画面例を示す図である。 カメラパス一覧表示の第４の画面例の変形例を示す図である。 カメラパス一覧表示の第４の画面例の他の変形例を示す図である。 第２実施形態のカメラパス一覧表示処理のフローチャートである。 第２実施形態のカメラパス一覧表示の画面例を示す図である。

以下、本発明の実施の形態を添付の図面を参照して詳細に説明する。なお、以下に説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、本発明は以下の実施形態に限定されるものではない。
本実施形態では、複数のカメラの三次元空間上の位置や視野範囲（画角）の軌跡を、カメラパスとして二次元平面に表示するカメラパス表示システムに本発明の情報処理装置を適用した例を挙げて説明する。

＜第１実施形態＞
図１は第１実施形態の情報処理装置２０を備えたカメラパス表示システムのブロック図である。カメラパス表示システムは、操作部１と情報処理装置２０と表示部１１を有して構成されている。
情報処理装置２０には、一例としてパーソナルコンピュータ（ＰＣの本体）である。操作部１は、パーソナルコンピュータ等のキーボードやマウス、または専用のコントローラに相当し、ユーザからの操作入力を取得して情報処理装置２０へ送る。表示部１１は、一例として液晶ディスプレイ等の表示装置であり、情報処理装置２０からの表示データを受け取って画面上に画像等を表示する。

本実施形態の情報処理装置２０は、三次元オブジェクト記憶部２からカメラパス画像生成パラメータ設定部１０までの構成を有している。
三次元オブジェクト記憶部２は、三次元平面上に配置される三次元オブジェクトに関するデータ（モデリングデータ、テクスチャデータ、レイアウトデータ）を時間の経過に対応付けて記憶する。
自由視点映像生成部３は、三次元オブジェクト記憶部２に記憶された三次元オブジェクトに関するデータと、仮想カメラの位置や視野範囲（画角）の軌跡に対応したカメラパスデータとに基づいて自由視点映像を生成し、二次元動画データとして出力する。

カメラパス編集部４は、操作部１を介したユーザからの操作入力に基づいて、カメラパスデータを編集する。具体的には、カメラパス編集部４は、動画のシーンの開始時点からシーンの終了時点までの各フレームについて、操作部１からの操作入力に基づき仮想カメラの位置と視野の設定や調整を行うことでカメラパスデータを編集する。また、カメラパス編集部４は、操作部１の操作入力を基に、幾つかの特定のフレームについて仮想カメラの位置と視野の設定や調整が行われた場合、それら特定のフレーム間の途中のフレームにおける仮想カメラの位置と視野を補間により求める機能も備えている。
カメラパス記憶部５は、カメラパス編集部４で編集されたカメラパスデータを、三次元オブジェクトデータの時間経過に対応付けて記憶する。

カメラパス画像生成部８は、前述したカメラパスデータと三次元オブジェクトデータと、後述するカメラパス画像生成パラメータとに基づいて、カメラパス画像を生成する。カメラパス画像の詳細については後述する。
カメラパス画像記憶部７は、カメラパス画像生成部８により生成されたカメラパス画像を記憶する。カメラパス画像記憶部７に記憶されるカメラパス画像は、そのカメラパス画像の生成に用いられたカメラパスおよびカメラパス画像生成パラメータと紐付けられて記憶される。

カメラパス画像生成パラメータ設定部１０は、操作部１を介したユーザからの操作入力に基づいて、カメラパス画像生成パラメータを設定する。カメラパス画像生成パラメータは、カメラパスを俯瞰する位置や視野に対応したパラメータ、カメラパス画像内に描画するオブジェクトの表示有無、色や形状、表示間隔などに対応したパラメータを含む。
カメラパス画像生成パラメータ記憶部９は、カメラパス画像生成パラメータ設定部１０により設定されたカメラパス画像生成パラメータを記憶する。

ここで、仮想カメラを俯瞰する位置や視野に対応したパラメータの設定や変更は、例えば、三次元空間の所定地点から当該仮想カメラを俯瞰する仮想俯瞰カメラの位置や視野を、ユーザが操作部１のコントローラ等を介して操作することにより行われる。この場合、カメラパス画像生成パラメータ設定部１０は、ユーザから操作部１を介して仮想俯瞰カメラの位置や視野の設定や変更の操作がなされると、その仮想俯瞰カメラの位置や視野に基づき、仮想カメラを俯瞰する位置や視野のパラメータの設定や変更を行う。

また、オブジェクトの表示有無、色や形状、表示間隔などに対応したパラメータの設定や変更は、それらパラメータの操作画面を表示部１１の画面上に表示させ、そのパラメータ操作画面を介したユーザからの操作入力に基づいて行われる。すなわちカメラパス画像生成パラメータ設定部１０は、パラメータ操作画面に対し、操作部１を介してユーザから操作入力がなされると、その操作入力に基づいて、各描画オブジェクトの表示有無、色や形状、表示間隔などのパラメータの設定や変更を行う。

カメラパス一覧生成部６は、表示部１１の画面上に表示されたウィンドウ内に、前述したカメラパス画像を一覧表示させる。また、カメラパス一覧生成部６は、一覧表示された各カメラパス画像と共に、それら一覧表示された各カメラパス画像のカメラパスのファイル名、更新日時、メタデータ（キーワード、評価点数など）などを表示部１１に表示させる機能も有している。

また、カメラパス一覧生成部６は、操作部１を介してカメラパス画像の選択操作、及び処理メニュー（不図示）の選択操作が行われると、当該選択されたカメラパス画像に対応するカメラパスに関する処理の実行を開始（起動）する。例えば、カメラパス画像が表示部１１に一覧表示されているときに、操作部１を介してユーザが一つのカメラパス画像を選択操作すると、カメラパス一覧生成部６は、表示部１１に「カメラパス編集」、「自由視点映像表示」などのメニュー項目を表示させる。ここで、操作部１を介してユーザがいずれかのメニュー項目を選択した場合、カメラパス一覧生成部６は、その選択されたメニュー項目に対応した画面を表示部１１に表示させる。例えば「カメラパス編集」のメニュー項目が選択された場合、表示部１１には、カメラパスに対するカメラパス編集画面が表示される。また、例えば「自由視点映像表示」のメニュー項目が選択された場合、表示部１１には、カメラパスに対する自由視点映像表示画面が表示される。

また、カメラパス一覧生成部６は、カメラパスファイルを含むフォルダを一つ以上、表示部１１に表示させる機能も有する。ここで、操作部１を介してユーザにより一つのフォルダが選択操作されると、カメラパス一覧生成部６は、当該フォルダ内のカメラパス画像一覧を表示部１１に表示させる。
また、カメラパス一覧生成部６は、操作部１を介したユーザからのメニュー（不図示）操作により、カメラパスを所定の検索条件が入力された場合、その検索条件で検索したカメラパスのカメラパス画像一覧を表示する機能も有する。カメラパスの検索条件としては、例えば、カメラパスのファイル名、更新日時、メタデータなどが挙げられる。

また、カメラパス一覧生成部６は、操作部１を介してユーザにより複数のカメラパス画像の選択操作がなされた場合、当該選択されたカメラパス画像のみの一覧を表示する機能を有する。これにより、多数のカメラパスの中からユーザが所望のカメラパスを見つける際に、似たカメラパスのみに絞り込んで表示することができ、ユーザは、それら絞りこまれた各カメラパス同士の差異を比較し易くなる。

また、カメラパス一覧生成部６は、一覧表示されたカメラパス、または、一覧表示された中から選択されたカメラパスに対して、ユーザからのメニュー（不図示）の操作や文字入力操作によって、共通のメタデータを付加して記憶する機能も有する。このようにカメラパスに対してメタデータが付加されることで、メタデータに基づく分類や検索によってカメラパスを絞り込むこともできるようになり、ユーザは所望のカメラパスをより効率良く見つけることができるようになる。

本実施形態のカメラパス表示システムの表示部１１は、前述したような自由視点映像、カメラパス一覧表示ウィンドウ、前述した仮想俯瞰カメラの位置や視野、パラメータ操作画面等の各操作画面、メニューなどを、画面上に表示する。

図２は、第１実施形態の情報処理装置２０において、前述したカメラパス画像の一覧を生成して表示させる際の処理の流れを示したフローチャートである。なお、以下の説明では、図２のフローチャートの各処理ステップＳ１０１〜ステップＳ１１１をＳ１０１〜Ｓ１１１と略記する。図２のフローチャートの処理は、ソフトウェア構成またはハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成により処理が実行される場合、例えばＲＯＭ等に記憶されている本実施形態に係るプログラムをＣＰＵ等が実行することにより実現される。本実施形態に係るプログラムは、ＲＯＭ等に予め用意されていてもよく、また着脱可能な半導体メモリ等から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりしてもよい。これらのことは、後述する他のフローチャートにおいても同様であるとする。

Ｓ１０１において、カメラパス一覧生成部６は、一覧表示対象のカメラパスのリストが更新されたか否かを判定する。カメラパス一覧生成部６は、リストが更新されていると判定した場合にはＳ１０３へ処理を進め、更新されていないと判定した場合にはＳ１０２へ処理を進める。ここで、カメラパス一覧生成部６は、例えばフォルダが開かれたときには当該フォルダ内のカメラパスファイルを一覧表示の対象とする。また、カメラパス一覧生成部６は、所定の検索条件（ファイル名、更新日時、メタデータなど）によってカメラパスを検索する場合には、その検索されたカメラパスファイルを一覧表示の対象とする。

Ｓ１０２に進むと、カメラパス一覧生成部６は、カメラパス画像生成パラメータが更新されたか否かを判定する。カメラパス一覧生成部６は、カメラパス画像生成パラメータが更新されたと判定した場合にはＳ１０３へ処理を進め、更新されていないと判定した場合にはＳ１０１へ処理を戻す。

Ｓ１０３に進むと、カメラパス一覧生成部６は、カメラパス画像生成部８に対して、カメラパス画像の元となる前景背景画像を生成させる。Ｓ１０３のときのカメラパス画像生成部８は、三次元オブジェクトの前景と背景を特定視点から俯瞰した画像を、前景背景画像として生成する。カメラパス画像生成部８は、前景背景画像を生成する際に用いる視点位置及び視野の情報についてはカメラパス画像生成パラメータから取得する。また、本実施形態の場合、一覧表示するカメラパス画像は、すべて同一の視点位置及び視野により俯瞰した画像とする。本実施形態において、Ｓ１０３で生成された前景背景画像は、一覧表示されるすべてのカメラパス画像で共通に使用される。なお、カメラパスを俯瞰する視点位置または視野が変更されたときには、Ｓ１０２ではカメラパス画像生成パラメータが更新さたと判定されることになるので、Ｓ１０３では前景背景画像が再生成されることになる。

次にＳ１０４に進むと、カメラパス一覧生成部６は、一覧表示の対象となる各カメラパス画像のカメラパスのうち、最初のカメラパスを着目カメラパスとする。
次にＳ１０５において、カメラパス一覧生成部６は、着目カメラパスに対して、現在のカメラパス画像生成パラメータによって生成したカメラパス画像が、カメラパス画像記憶部７に記憶されているか否かを判定する。カメラパス一覧生成部６は、記憶されていないと判定した場合にはＳ１０６へ処理を進め、記憶されていると判定した場合にはＳ１０８へ処理を進める。

Ｓ１０６に進むと、カメラパス一覧生成部６は、カメラパス画像生成部８に対して、カメラパス画像を生成させる。Ｓ１０６のときのカメラパス画像生成部８は、カメラパス記憶部５からカメラパスデータを読み出し、そのカメラパスの軌跡を、Ｓ１０３で生成した前景背景画像に重畳した画像をカメラパス画像として生成する。ここで、カメラパスを俯瞰する視点の位置や視野の情報、重畳する線の表示有無、色や線、表示間隔などの情報は、カメラパス画像生成パラメータ記憶部９より読み出したカメラパス画像生成パラメータから取得または生成する。
なお、一度生成されたカメラパス画像データは、カメラパスおよびカメラパス画像生成パラメータに紐付けるようにして記憶されるため、次回の表示時にはカメラパス画像生成処理はスキップされ、記憶されているカメラパス画像が再利用される。

次にＳ１０７において、カメラパス画像生成部８は、Ｓ１０６で生成したカメラパス画像をカメラパス画像記憶部７に記憶させる。
次にＳ１０８において、カメラパス一覧生成部６は、カメラパス画像記憶部７に記憶されているカメラパス画像を読み出す。
そして、Ｓ１０９において、カメラパス一覧生成部６は、カメラパス画像記憶部７から読み出したカメラパス画像を表示部１１の画面上のウィンドウ内にレイアウトして、一覧表示させる。

その後、Ｓ１１０において、カメラパス一覧生成部６は、着目カメラパスが一覧表示対象のカメラパスのうちの最後のカメラパスであるか否かを判定する。カメラパス一覧生成部６は、Ｓ１１０において最後のカメラパスであると判定した場合にはＳ１０１に処理を戻してカメラパスリストが更新されたか否かを判定する。一方、Ｓ１１０において最後のカメラパスでないと判定した場合、カメラパス一覧生成部６は、Ｓ１１１へ処理を進める。

Ｓ１１１に進むと、カメラパス一覧生成部６は、Ｓ１０１で一覧表示の対象として選択されているカメラパスのうち、現在の着目カメラパスの次のカメラパスを着目カメラパスとし、Ｓ１０５に処理を戻し、Ｓ１０５以降の処理を繰り返す。
以上説明した図２の処理を行うことで、本実施形態のカメラパス表示システムにおいては、一覧表示対象のカメラパスのリストが更新されたとき、または、カメラパス画像生成パラメータが更新されたときには、新たなカメラパス画像一覧が表示される。

図３（Ａ）と図３（Ｂ）は、カメラパスのデータフォーマットを表わした図である。
図３（Ａ）は、カメラパスを生成する際に、動画シーンの各フレームに対して、仮想カメラの三次元座標と仮想カメラ注視点の三次元座標と画角とを指定する場合のデータ例である。仮想カメラの注視点とは、仮想カメラが向く方向を決める点である。仮想カメラの三次元座標と仮想カメラ注視点の三次元座標はそれぞれ独立に制御でき、例えば仮想カメラの位置と仮想カメラ注視点のいずれか、または両方が移動しても、仮想カメラは常に仮想カメラ注視点を向くように制御される。また、仮想カメラの画角は、水平画角及び垂直画角をそれぞれ角度（度またはラジアン）で指定する。または、仮想カメラ映像のアスペクト比（縦横比）と水平画角、垂直画角、対角線画角のいずれかの値を指定する。あるいは、一般のカメラレンズの画角を表わすときのように、３５ｍｍフィルム換算の焦点距離（ｍｍ）で指定してもよい。

図３（Ｂ）は、カメラパスを作成する際に、動画シーンの各フレームに対して、仮想カメラの三次元座標と仮想カメラが向く三次元方向と画角とを指定する場合の他のデータ例である。操作部１の仮想カメラを操作するコントローラが仮想カメラ注視点の位置を操作できる機能を有さない場合に、この図３（Ｂ）のデータフォーマットが使用される。三次元方向を表わすベクトルの長さとしては、何らかの情報を定義してもよいが、何も情報も定義しない場合には、単位ベクトル（長さ１のベクトル）とする。

図４（Ａ）と図４（Ｂ）は、カメラパス一覧生成部６により生成されて表示部１１に表示されたカメラパス一覧表示の第１の画面例である。
図４（Ａ）には、ウィンドウ１０１内に、四つのカメラパス画像２０１，２０２，２０３，２０４が一覧表示されている。それぞれのカメラパス画像の表示サイズは、カメラパス画像生成パラメータによって設定される。また、カメラパス画像２０１，２０２，２０３，２０４の近傍には、それら各カメラパス画像のカメラパスのファイル名２１１，２１２，２１３，２１４が対応付けられて表示されている。

カメラパス画像２０１，２０２，２０３，２０４内には、それぞれ三次元オブジェクトデータに基づく前景４０１及び背景４１１が表示されている。前景４０１や背景４１１の三次元オブジェクトは、例えば多数のカメラ（仮想カメラではなく実際のカメラ）でスポーツの試合を撮影した映像から、画像処理により前景（選手、ボールなど）と背景（フィールド、観客席など）とを分離することで生成される。なお、全部または一部の三次元オブジェクトは、コンピュータグラフィックスで生成されてもよい。前景や背景の表示有無は、カメラパス画像生成パラメータによって設定される。前景や背景はシーンの進行によって変化する場合があるが、ここでは特定のフレームの前景と背景を代表として使用する。

特定のフレームは、カメラパス画像生成パラメータに基づいて設定される。特定のフレームとしては、例えば動画のシーンの開始フレームや終了フレームを用いてもよいし、途中の任意のフレームを用いてもよい。カメラパス画像には、特定フレームにおける仮想カメラの状態、三次元空間の前景及び背景の少なくともいずれかが含まれる。
また、特定のフレームとしては複数のフレームが指定されてもよい。特定フレームとして複数のフレームが指定された場合、カメラパス画像生成部８は、それら指定された複数のフレームの前景を多重化してカメラパス画像を生成してもよい。その際には、例えば、シーンの開始から終了に向かって、前景の不透明度を徐々に変更（例えば高く）することで、時間の経過がわかりやすくしてもよい。あるいは、複数のフレームを重要度に応じてランク付けし、ランクが高いフレームの前景ほど不透明度を高くして鮮明に表示されるようにしてもよい。例えば、サッカーのゴールシーンであれば、シュートした瞬間の前景画像を最も鮮明に表示させると、その瞬間の視点が特に重要であることがわかりやすい。

カメラパス画像生成部８において、前景４０１と背景４１１は、三次元空間を特定の視点から俯瞰した二次元画像としてレンダリングされる。俯瞰する視点位置及び視野の範囲は、カメラパス画像生成パラメータによって設定される。俯瞰の視点としては、例えば競技場の中心点を真上から見るような視点が設定されてもよいし、あるいは、図４（Ａ）のように、当該シーンにおける重要な地点を斜め上から見るような視点が設定されてもよい。

図５は、図４（Ａ）の四つのカメラパス画像２０１〜２０４の各画面に対し、俯瞰の視点位置を一斉に変える操作が行われて更新された後に、カメラパス一覧生成部６により一覧表示される四つのカメラパス画像２０１〜２０４の画面例を示した図である。図５の前景４０１や背景４１１の表示有無は、カメラパス画像生成パラメータによって設定される。

また、図５、図４（Ａ）に示したように、各カメラパス画像２０１，２０２，２０３，２０４には、仮想カメラの位置の軌跡を表す図形（以下、軌跡３０１，３０２，３０３，３０４とする。）それぞれ表示されている。また軌跡表示では、特定フレーム間隔で印をプロットし、それらプロットされた各印の疎密によって仮想カメラの移動速度を表わすことができる。あるいは、前述のように、特定の複数フレームの前景を多重化して表示させた場合、当該複数フレームにおける仮想カメラの位置に印をプロットするようにしてもよい。また、前述した特定の複数フレームにおける前景の不透明度を変えて表示させた場合、前景の不透明度に合わせて、プロットする印の不透明度を変えて表示してもよい。

軌跡を表す図形としての線の表示有無、線の色や形状、印の表示間隔等は、カメラパス画像生成パラメータによって設定される。なお、軌跡表示では、三次元の軌跡を二次元平面に投影しているので、高さや遠近感がわかり難くなる場合がある。高さや遠近感がわかり難い場合には、軌跡を表す図形として適宜、補助線を表示するようにしてもよい。補助線としては、例えば軌跡上の点から地面（仮想的な地面）に向かって垂線を引いてもよい。また、垂線と地面との交点の軌跡を補助線として表示してもよい。これらの補助線を引くことによって、高さや遠近感がわかりやすくなる。補助線の表示有無、補助線の色や形状、補助線の表示間隔は、カメラパス画像生成パラメータによって設定される。

また、図４（Ａ）、図５に示したように、画面上には操作部１の操作に応じてスライド操作されるスクロールバー５０１が表示される。操作部１の操作によりスクロールバー５０１が例えば下方向へスライド操作されると、カメラパス一覧生成部６は、ウィンドウ１０１をスクロール表示させ、図４（Ｂ）のようにさらに四つのカメラパス画像２０５，２０６，２０７，２０８を一覧表示させる。

図４（Ｂ）の例においても、図４（Ａ）と同様に、四つのカメラパス画像２０５〜２０８の表示サイズはカメラパス画像生成パラメータによって設定される。また、カメラパス画像２０５，２０６，２０７，２０８の近傍には、それぞれカメラパスのファイル名２１５，２１６，２１７，２１８が対応付けられて表示される。また前述同様に、各カメラパス画像２０５〜２０８内には、それぞれ三次元オブジェクトデータに基づく前景及び背景、仮想カメラの位置の軌跡を表す図形（軌跡３０５，３０６，３０７，３０８）がそれぞれ表示される。また前述同様に、図４（Ｂ）の例においても、画面上には操作部１の操作に応じてスライド操作されるスクロールバー５０１が表示され、そのスライド操作に応じてウィンドウ１０１のスクロール表示がなされる。

図６は、カメラパス一覧生成部６によって生成されて表示部１１に表示されたカメラパス一覧表示の第２の画面例である。
第２の画面例の場合、カメラパス一覧生成部６は、カメラパス画像生成部８に対し、図４（Ａ）に挙げた第１の画面例の各表示内容に、仮想カメラ注視点の位置の軌跡を表す図形（軌跡３２１，３２２，３２３，３２４）を加えたカメラパス画像を生成させる。この図６の画面例の表示は、カメラパスのデータフォーマットが、仮想カメラ注視点の三次元座標を含む場合（図３（Ａ）参照）に可能である。当該仮想カメラ注視点位置の軌跡３２１〜３２４の表示の場合も前述した仮想カメラ位置の軌跡表示の例と同様に、特定フレーム間隔で印をプロットし、それら印の疎密によって仮想カメラ注視点の移動速度を表すことができる。仮想カメラ注視点位置の軌跡を表す図形である線の表示有無、線の色や形状、印の表示間隔等は、カメラパス画像生成パラメータによって設定される。

図７（Ａ）、図７（Ｂ）は、カメラパス一覧生成部６によって生成されて表示部１１に表示されたカメラパス一覧表示の第３の画面例である。図７（Ｂ）は、図７（Ａ）の一部（例えばカメラパス画像２０１）を拡大した図である。
第３の画面例の場合、カメラパス一覧生成部６は、カメラパス画像生成部８に対し、図４（Ａ）の各表示内容に、仮想カメラの向く三次元方向を表す図形（矢印線３３１，３３２，３３３，３３４，３３５，３３６）を加えたカメラパス画像を生成させる。当該仮想カメラの向く三次元方向を表す矢印線３３１〜３３６の表示は、カメラパスのデータフォーマットが、仮想カメラ注視点の三次元座標を含まない場合（図３（Ｂ）参照）でも可能である。これら仮想カメラの向く三次元方向を表す図形である当該矢印線の表示有無、線の色や形状、線の表示間隔は、カメラパス画像生成パラメータによって設定される。

図８は、カメラパス一覧生成部６によって生成されて表示部１１に表示されたカメラパス一覧表示の第４の画面例である。なお、図８は、図７（Ａ）と同様のカメラパス一覧表示の一部（例えばカメラパス画像２０１）を拡大した図である。
図８の第４の画面例は、図７（Ｂ）の画面例に対して、仮想カメラの向く三次元方向を表わす矢印線３４１，３４２，３４３，３４４，３４５，３４６の太さを変えた表示例である。第４の画面例において、それら矢印線３４１〜３４６の線の太さは、仮想カメラの画角を表わしており、矢印の線が太いほど、画角が広いことを表わしている。なお、図８の変形例として、矢印線の色の濃さ、矢印の先端の大きさなどで、仮想カメラの画角が表されてもよい。矢印線の太さ（または矢印線の色の濃さ、矢印の先端の大きさ）と仮想カメラの画角との対応付けは、カメラパス画像生成パラメータによって設定される。

図９は、図８のさらなる変形例であり、２本の線の開く角度によって、仮想カメラの画角３５１，３５２，３５３，３５４，３５５，３５６が表される画面例である。この図９の画面例においても、２本の線の開く角度と仮想カメラの画角との対応付けは、カメラパス画像生成パラメータによって設定される。
図１０は、図８のさらなる変形例であり、四角錐３６１，３６２，３６３によって、水平画角と垂直画角が表される画面例である。これら四角錐３６１，３６２，３６３の底辺の中心は仮想カメラ注視点を表している。この図１０に示す画面例の表示は、カメラパスのデータフォーマットが、仮想カメラ注視点の三次元座標を含む場合（図３（Ａ）参照）に可能である。
なお、図９や図１０の画面例は、図８の画面例と比較して、より直観的に画角を表わすことができるが、画角を表すための線が増えるため表示が煩雑になる可能性はある。
画角の表示方法の切り替えは、カメラパス画像生成パラメータによって設定されるので、ユーザは、操作部１を介した操作により、見やすい表示方法に適宜切り替えることができる。この場合、カメラパス一覧生成部６は、操作部１を介した操作に応じて、それらの表示を切り替える。

なお、前述した画面例の説明では、三次元オブジェクトから前景背景画像を生成し、その前景背景画像にカメラパスの軌跡を表す図形を重畳する例を挙げている。他の例として、実際のカメラ（被写体の存在する範囲全体を俯瞰することが望ましい）の映像にカメラパスの軌跡を表す図形を重畳してカメラパス画像を生成してもよい。この場合、カメラパスを俯瞰する視点位置や視野に制約があるが、三次元オブジェクト記憶部２が不要になるとともに、カメラパス画像生成部８において三次元オブジェクトから前景背景画像を生成する画像処理が不要になり、システムの簡素化が可能となる。カメラパス一覧表示画面でカメラパス画像を選択して自由視点映像を表示する際には、予め当該カメラパスによって生成した自由視点映像を動画ファイルとして記憶しておき、それを再生すればよい。

また、前述した実際のカメラが複数あって、それぞれ俯瞰する視点位置や視野が異なる場合には、カメラパス画像生成パラメータで指定したカメラを使用して、カメラパス画像を生成するようにしてもよい。また例えば、スポーツ放送のカメラパス画像生成においては、トラッキングデータを取得して選手やボール等の位置や動きをグラフィックス（線、図形、番号など）で表示させてもよい。

以上述べたように、第１実施形態によれば、カメラパスの軌跡を俯瞰した画像（カメラパス画像）を一覧表示することにより、ユーザは、多数のカメラパスの中から所望のカメラパスを素早く見つけ出すことができる。特に、似たようなカメラパスが多数ある場合、ユーザは、先ずカメラパス画像を見て候補を絞り込み、さらにカメラパスを俯瞰する視点位置や視野を変えてみることで、似たカメラパスを区別しやすくなる。さらに、それでも似たカメラパスの区別がつき難い場合、ユーザは、候補のカメラパス画像を選択して、実際に自由視点映像を再生してみればよい。このように、第１実施形態によれば、ユーザは、多数のカメラパスに対する自由視点映像をその都度再生するよりも、カメラパス画像を見て候補を絞り込んでから自由視点映像を再生することで、所望のカメラパスを効率的に見つけることができる。
また、本実施形態の場合、カメラパス画像生成パラメータを変更する操作が行われると、一覧表示対象のすべてのカメラパス画像に一斉に変更が適用される。このため、ユーザは、複数のカメラパスを同じ条件で比較して、所望のカメラパスを見つける作業を容易に行うことができる。

＜第２実施形態＞
以下、第２実施形態として、カメラパスごとにカメラパス画像生成パラメータを設定可能にする例について説明する。第２実施形態のカメラパス表示システムの構成は図１と同様であるためその図示と説明は省略する。第２実施形態のカメラパス一覧生成部６は、一つないし複数のカメラパス画像が選択され、メニュー（不図示）操作によりカメラパス画像生成パラメータの設定が行われると、当該選択されたカメラパスに対応するカメラパス画像生成パラメータのみを変更する。

図１１は、第２実施形態において、カメラパス画像を一覧表示する処理の流れを示したフローチャートである。
図１１のＳ２０１、Ｓ２０２は図２のＳ１０１、Ｓ１０２と同様の処理であり、Ｓ２０３はＳ１０４、Ｓ２０４はＳ１０５、Ｓ２０６〜Ｓ２１１はＳ１０６〜Ｓ１１１の処理と同様であるため、それらの説明は適宜省略する。

図１１のフローチャートの場合、Ｓ２０１においてカメラパスリストの更新がなされたと判定された場合、または、Ｓ２０２においてカメラパス画像生成パラメータの更新がなされたと判定された場合、Ｓ２０３に処理が進められる。また、Ｓ２０４においてカメラパス画像が記憶されていないと判定された場合、Ｓ２０５に処理が進められる。
Ｓ２０５では、カメラパス画像生成部８によるカメラパスごとの前景背景画像生成処理が行われ、その後、Ｓ２０６に処理が進められる。そして、Ｓ２０６においてカメラパス軌跡を重畳する際にも、カメラパスごとのカメラパス画像生成パラメータに基づいて、軌跡の表示有無、線の色や形状、表示間隔などが決定される。

すなわち、第１実施形態の図２に示したフローチャートの場合、カメラパス一覧生成部６は、カメラパス画像生成部８に対し、Ｓ１０３の前景背景画像生成処理を全カメラパス共通で行わせる。これに対し、第２実施形態の図１１のフローチャートの場合、カメラパス一覧生成部６は、Ｓ２０５において、カメラパス画像生成部８に対し、前景背景画像生成処理をカメラパスごとに行わせる。また、カメラパス一覧生成部６は、Ｓ２０６において、カメラパス画像生成部８に対し、カメラパスごとのカメラパス画像生成パラメータに基づいて、軌跡を表す図形を前景背景画像に重畳させる。

なお、前述した図２のフローチャートでは、共通のカメラパス画像を予めＳ１０３で作成しておくことによって同一処理の重複を避ける狙いがあった。図１１のフローチャートでも、Ｓ２０５で前景背景画像を生成する際には、同一のカメラパス画像生成パラメータによるカメラパス画像が記憶されているか否かを判定し、記憶されていたら流用することによって、同一処理の重複を避けることができる。

図１２は、ユーザにより、図４（Ａ）の画面例のカメラパス画像２０１とカメラパス画像２０４について、俯瞰する視点の位置を変える操作が行われた更新後の画面例を示した図である。図１２のカメラパス画像２０１ａは図４（Ａ）のカメラパス画像２０１について俯瞰する視点の位置を変える操作が行われた後の画像である。図１２のカメラパス画像２０４ａは図４（Ａ）のカメラパス画像２０４について俯瞰する視点の位置を変える操作が行われた後の画像である。俯瞰する視点の位置が変更された場合、図１２のカメラパス画像２０１ａ，２０４ａに示すように、前景４０１と背景４１１だけでなく、仮想カメラの位置の軌跡３０１，３０４についても、変更後の俯瞰する視点の位置に応じて変更される。

また、第２実施形態において、画像生成パラメータの設定を基にカメラパスの特徴をよく表わすカメラパス画像が生成されたとき、当該カメラパス画像をカメラパスのデフォルトのカメラパス画像として記憶させてもよい。これによって、最初にカメラパス一覧を表示したとき、カメラパスの特徴をよく表わすカメラパス画像を表示させることができるので、ユーザは、カメラパス画像一覧を見たときに、カメラパスの絞り込みが容易になる。

例えば、スポーツの同一のシーンにおいて、ある選手Ａに注目したカメラパス群は選手Ａを中心に俯瞰したカメラパス画像をデフォルトとし、選手Ｂに注目したカメラパス群は選手Ｂを中心に俯瞰したカメラパス画像をデフォルトとする。これにより、ユーザは、当該シーンのカメラパス画像一覧を見たときに、例えば選手Ａに注目したカメラパスに絞り込むようなことが容易になる。
また、例えば、スポーツの同一のシーンにおいて、攻撃側チームに着目したカメラパス群と守備側チームに着目したカメラパス群とで、デフォルトの俯瞰方向を変えてもよい。これにより、ユーザは、当該シーンのカメラパス画像一覧を見たときに、どちらかのチームに注目したカメラパスに絞り込むようなことが容易になる。

前述したように、第２実施形態においては、カメラパスごとにカメラパス画像生成パラメータを設定可能にすることによって、ユーザがカメラパス画像一覧表示を見たときにカメラパスごとの特徴を把握しやすくなる。

以上説明したようの、第１、第２実施形態によれば、カメラパスの軌跡を俯瞰した画像の表示や更新が行われるので、ユーザは、個々のカメラパスの内容を素早く確認できるようになる。したがって、ユーザは、多数のカメラパスの中から所望のカメラパスを素早く見つけ出すことができるようになる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１：操作部、２：三次元オブジェクト記憶部、３：自由視点映像生成部、４：カメラパス編集部、５：カメラパス記憶部、６：カメラパス一覧生成部、７：カメラパス画像記憶部、８：カメラパス画像生成部、９：カメラパス画像生成パラメータ記憶部、１０：カメラパス画像生成パラメータ設定部、１１：表示部、２０：情報処理装置

Claims (17)

1. 動画シーンの各フレームに対して三次元空間のオブジェクトを二次元平面に投影するための仮想カメラのカメラパスを記憶する記憶手段と、
   前記記憶されたカメラパスに基づいて、前記動画シーンにおける前記仮想カメラの軌跡を前記三次元空間の所定地点から俯瞰したカメラパス画像を生成する画像生成手段と、
   前記記憶されたカメラパスを基に前記カメラパス画像を生成するためのパラメータを設定する設定手段と、
   複数のカメラパスに対してそれぞれ前記パラメータを適用して生成した複数の前記カメラパス画像を一覧表示する一覧生成手段と、
   を有することを特徴とする情報処理装置。
2. 前記画像生成手段は、前記仮想カメラの位置、方向、画角、注視点の少なくともいずれかの軌跡を表わす図形を含む前記カメラパス画像を生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記画像生成手段は、前記三次元空間の前景および背景の少なくとも一部を表わす画像を含む前記カメラパス画像を生成することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記画像生成手段は、前記仮想カメラの軌跡の、高さと遠近の少なくともいずれかを表す図形を含む前記カメラパス画像を生成することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記設定手段は、少なくとも、前記仮想カメラの軌跡を俯瞰する視点位置および視野範囲を指定する情報を含む前記パラメータを設定することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記設定手段は、少なくとも、前記カメラパス画像に表示する図形または画像の、表示有無、形状、色、表示間隔、不透明度のいずれかを指定する情報を含む前記パラメータを設定することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記設定手段は、前記動画シーンのなかの特定フレームを指定する情報を含む前記パラメータを設定することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記画像生成手段は、前記特定フレームにおける仮想カメラの状態、三次元空間の前景および背景の、少なくともいずれかを含む前記カメラパス画像を生成することを特徴とする請求項７に記載の情報処理装置。
9. 前記画像生成手段は、前記特定フレームとして指定された複数のフレームの前景を多重化して前記カメラパス画像を生成することを特徴とする請求項８に記載の情報処理装置。
10. 前記画像生成手段は、前記動画シーンの開始から終了に向かって前記前景の不透明度を徐々に変更して前記多重化した前記カメラパス画像を生成することを特徴とする請求項９に記載の情報処理装置。
11. 前記画像生成手段は、前記複数のフレームの重要度が高いフレームの前景ほど不透明度を高くした前記カメラパス画像を生成することを特徴とする請求項９に記載の情報処理装置。
12. 前記一覧生成手段は、一覧表示の対象となる前記カメラパスが更新されたとき、前記画像生成手段に対し、前記一覧表示の対象となるすべての前記カメラパスに対して前記パラメータを適用させて、各カメラパス画像をそれぞれ更新させることを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
13. 前記一覧生成手段は、前記パラメータが更新されたとき、前記画像生成手段に対し、前記一覧表示の対象となるすべての前記カメラパスに対して前記パラメータを適用させて、各カメラパス画像をそれぞれ更新させることを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。
14. 前記一覧生成手段は、前記一覧表示の対象となる前記カメラパスの一部が選択されたとき、前記画像生成手段に対し、前記選択されたすべての前記カメラパスに対して前記パラメータを適用させて、各カメラパス画像をそれぞれ更新させることを特徴とする請求項１から１３のいずれか１項に記載の情報処理装置。
15. 前記一覧生成手段は、前記パラメータが更新されたとき、前記一覧表示の対象となる前記カメラパスのうち、選択されている前記カメラパスに対して前記パラメータを適用させて、各カメラパス画像をそれぞれ更新させることを特徴とする請求項１から１４のいずれか１項に記載の情報処理装置。
16. 情報処理装置が実行する情報処理方法であって、
    動画シーンの各フレームに対して三次元空間のオブジェクトを二次元平面に投影するための仮想カメラのカメラパスを記憶する記憶工程と、
    前記記憶されたカメラパスに基づいて、前記動画シーンにおける前記仮想カメラの軌跡を前記三次元空間の所定地点から俯瞰したカメラパス画像を生成する画像生成工程と、
    前記記憶されたカメラパスを基に前記カメラパス画像を生成するためのパラメータを設定する設定工程と、
    複数のカメラパスに対してそれぞれ前記パラメータを適用して生成した複数の前記カメラパス画像を一覧表示する一覧生成工程と、
    を有することを特徴とする情報処理方法。
17. コンピュータを、請求項１から１５のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images