JP2020067716A - 情報処理装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】仮想視点画像の再生時のユーザの利便性を向上させること。【解決手段】情報処理装置は、仮想視点画像が構成される仮想空間において視点が移動する経路を特定し、その仮想空間における視点の軌道と視線方向とを含んだ仮想視野の状態を取得し、その状態に基づいて、経路における少なくとも１つの基点を決定して出力する。その少なくとも１つの基点は、仮想視点画像の再生制御に用いられる。【選択図】図２

Description

本発明は、仮想視点画像の再生制御のための情報処理技術に関する。

複数のカメラを異なる位置に設置し、それらのカメラを同期させて１つの被写体を多視点で撮影することによって得られた複数視点画像を用いて、任意に指定された仮想視点に応じた仮想視点画像を生成する技術が注目されている。この技術によれば、例えば、サッカーやバスケットボールなどの試合における特定シーン（例えばゴールシーンなど）を視聴者が様々な角度から視聴することができるため、単視点で撮影された画像と比較してユーザに高臨場感を与えることができる。

このとき、サーバなどの画像処理装置は、撮影対象の空間内の特定の位置に関連付けられた（例えばその特定の位置に向けられた）複数のカメラで撮影された画像を集約して、三次元形状データの生成やレンダリング等の処理を行って仮想視点画像を生成する。そして、画像処理装置は、生成した仮想視点画像を、ユーザ端末に伝送する。これにより、ユーザは、複数視点画像に基づいて生成された仮想視点画像を、ユーザ端末により閲覧することができる。また、ユーザは、スマートフォンやタブレットなどの携帯端末等を介して、仮想視点の位置や方向を操作することができる。例えば、ユーザが、自身の観客席の位置から、注目している選手の位置まで仮想視点を移動させ、その選手までの距離が一定距離以下となった後に、その選手を中心に仮想視点を旋回させる等の操作が行われうる。特許文献１には、再生時の仮想視点の基点となる位置を示す視点座標データを１つ以上含むメタデータを用意することにより、制作者の意図を反映しながら、シーン等に応じた適切な視点の仮想視点画像を生成する技術が記載されている。なお、以下では、仮想視点を任意の位置まで移動させる際の経路のことを「動線」と呼ぶ場合がある。

特開２０１５−１８７７９７号公報

しかしながら、仮想視点画像の再生を行う際の利便性が必ずしも十分でなかった。例えば、視聴者にとって重要なシーンを探すための操作が煩雑となる恐れがあった。また、例えば、予め設定された仮想視点の動線の一部のみをリピート再生する場合の操作が煩雑となる恐れもあった。

本発明は、かかる課題に鑑みてなされたものであり、仮想視点画像の再生時のユーザの利便性を向上させる技術を提供する。

本発明の一態様による情報処理装置は、仮想視点画像が構成される仮想空間において視点が移動する経路を特定する特定手段と、前記仮想空間における前記視点の軌道と視線方向とを含んだ仮想視野の状態を取得する取得手段と、前記状態に基づいて、前記経路における少なくとも１つの基点を決定する決定手段と、前記少なくとも１つの基点の情報を出力する出力手段と、を有し、前記少なくとも１つの基点は、前記仮想視点画像の再生制御に用いられる、ことを特徴とする。

本発明によれば、仮想視点画像の再生時のユーザの利便性を向上させることができる。

画像処理システムの一例を概略的に説明する図である。 画像処理システムの構成例を示す図である。 各装置のハードウェア構成例を示す図である。 情報処理装置の機能構成例を示す図である。 画像生成装置の機能構成例を示す図である。 注視点データの構成例を示す図である。 基点決定部における一連の処理の流れの例を示すフローチャートである。 動線決定部によって決定される動線および視線方向の一例を示す図である。 基点決定部によって決定される基点の一例を示す図である。 基点決定部による優先順位の基点への付与の例を示す図である。 基点決定部による再生速度の基点への付与の例を示す図である。 画像処理システムの別の構成例を示す図である。

以下、図面を参照して実施形態を説明する。

（システム構成）
図１を用いて、本実施形態に係る画像処理システム１００の一例を概略的に説明する。図１の画像処理システム１００は、スタジアム１０２に複数のカメラ１０５が設置されて構成される。スタジアム１０２には、観客席１０３と、実際に競技等が行われるフィールド１０４とが含まれる。複数のカメラ１０５は、それぞれが撮影対象であるフィールド１０４の少なくとも一部を撮影すると共に、少なくとも２つのカメラの画角に重なりが生じるように配置される。複数のカメラ１０５は、例えば、フィールド１０４と観客席１０３とを囲むように設置される。また、ユーザ１０１は、一例として、ユーザ端末を保持しながら、観客席１０３から競技を観戦しうる。この場合、ユーザ１０１は、ライブ観戦を楽しむと共に、必要に応じてユーザ端末を操作して、シュート、反則、ゴール等のイベントシーンを再生して確認しうる。画像処理システム１００は、この再生の指示に応じて、適切なイベントシーンの仮想視点画像を、ユーザ端末へ提供する。

図２に、画像処理システム１００の概略構成例を示す。画像処理システム１００は、一例において、スタジアム１０２に設置された複数のカメラ１０５と、画像生成装置２０１と、情報処理装置２０２と、ユーザ端末２０３とを含んで構成される。

複数のカメラ１０５は、例えば伝送ケーブルを介して相互に接続され、かつ、画像生成装置２０１にも接続される。複数のカメラ１０５は、それぞれがフィールド１０４を撮影することにより得られた画像を画像生成装置２０１へ伝送する。図１の例では、複数のカメラ１０５は、サッカー場などのスタジアム１０２の全てまたは一部の範囲が撮影されるように配置される。複数のカメラ１０５は、静止画像を撮影するように構成されてもよいし、動画像を撮影するように構成されてもよい。また、複数のカメラ１０５は、静止画像と動画像との両方を撮影するように構成されてもよい。なお、本実施形態では、特に断りがない限り、用語「画像」は、静止画と動画との両方をその意義として含む。

画像生成装置２０１は、仮想視点画像を生成する装置である。画像生成装置２０１は、複数のカメラにより撮影された画像（以下、この撮影された画像を「撮影画像」と呼ぶ場合がある。）を蓄積する。画像生成装置２０１は、複数のカメラ１０５により撮影された画像を用いて、仮想視点画像群を生成する。仮想視点画像群は、それぞれが異なる視点に対応する複数の仮想視点画像を含む。画像生成装置２０１は、生成した仮想視点画像群と、注視点データを情報処理装置２０２に伝送する。注視点データは、撮影対象のスタジアム１０２内に設定された複数の注視点の位置などを示す情報である。それぞれのカメラ１０５は、設定された注視点の何れかに向けて設置され、各注視点が、２つ以上のカメラ１０５によってそれぞれ異なる方向から撮影される。画像生成装置２０１は、例えばサーバ装置であり、複数の撮影画像や、生成した仮想視点画像群を記憶するデータベース機能と、仮想視点画像を生成するための画像処理機能とを有する。また、スタジアム１０２内の複数のカメラ１０５と画像生成装置２０１は、有線または無線の通信ネットワーク回線や、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）等のケーブル回線によって接続される。画像生成装置２０１は、複数のカメラ１０５によって撮影された画像を、この回線を通じて受信して、受信した画像をデータベースに格納する。なお、注視点データの詳細については後述する。

情報処理装置２０２は、画像生成装置２０１で生成された仮想視点画像群から、ユーザ端末２０３に提供する仮想視点画像を選択する。情報処理装置２０２は、仮想視点を例えばユーザの位置等の所定の位置から任意の位置まで移動させる際の経路である動線と、その動線上を移動する仮想視点の視線方向とを決定する。情報処理装置２０２は、動線及びその動線上を移動する仮想視点の視線方向を解析し、その解析結果に基づいて動線上の少なくとも１つ（一例において複数）の基点を決定する。情報処理装置２０２は、複数の基点が決定された場合、その決定した複数の基点の中から１つの基点を特定する。情報処理装置２０２は、特定した基点に位置する仮想視点の視線方向に基づいて、仮想視点画像を画像生成装置２０１により生成された仮想視点画像群から選択し、ユーザ端末２０３へ出力する。なお、複数の基点の中からの１つの基点の特定は、情報処理装置２０２が自動的に特定する方法で行われてもよいし、ユーザ端末２０３を介してユーザからの指示を受け付ける方法で行われてもよい。また、情報処理装置２０２は、自装置が決定した注視点、動線、動線上を移動する仮想視点の視線方向、基点等の情報を、画像生成装置２０１へ送信してもよい。この場合、画像生成装置２０１は、スタジアム１０２に設置された複数のカメラ１０５によって得られた撮影画像の中から、情報処理装置２０２によって決定された注視点に対応するカメラ群による撮影画像を選択する。そして、画像生成装置２０１は、選択された撮影画像を、動線上の基点に位置する仮想視点の視線方向に基づいて処理することにより、仮想視点に応じた仮想視点画像を生成して、その生成した仮想視点画像を情報処理装置２０２へ出力しうる。

情報処理装置２０２は、一例において、パーソナルコンピュータである。なお、情報処理装置２０２は、画像生成装置２０１やユーザ端末２０３に組み込まれてもよい。すなわち、情報処理装置２０２は、画像生成装置２０１とユーザ端末２０３との少なくともいずれかと一体の装置として実現されてもよい。

ユーザ端末２０３は、画像処理システム１００を利用するユーザが所持する、情報処理装置である。なお、ユーザ端末２０３は、ユーザ１０１のＩＤと関連付けられている情報処理装置であってもよい。ユーザ端末２０３は、情報処理装置２０２から出力される仮想視点画像を、内蔵の（場合によっては外部の）表示画面に表示するための処理を実行する。また、ユーザ端末２０３は、ユーザ１０１の入力に基づいて、例えば、仮想視点の位置の移動、仮想視点の視線方向の変更、及び、視点の切り替えの指示を受け付ける。ユーザ端末２０３は、受け付けた指示の内容を示す仮想視点情報を含む伝送信号を生成し、情報処理装置２０２へ伝送する。また、ユーザ端末２０３は、位置情報に基づく仮想視点の自動設定を情報処理装置２０２に要求しうる。

ユーザ端末２０３は、例えば、パーソナルコンピュータや、スマートフォンやタブレットなどの携帯端末などでありうる。ユーザ端末２０３は、マウス、キーボード、６軸コントローラ、及び、タッチパネルの少なくとも１つ等のユーザ操作を受け付けるためのインタフェースを有する。また、ユーザ端末２０３は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等によって位置情報を取得する機能を有しうる。

画像生成装置２０１、情報処理装置２０２及びユーザ端末２０３は、例えば、インターネットなどのネットワークを介して相互に情報のやり取りが可能となるように構成されうる。なお、装置間の通信は、無線通信と有線通信とのいずれか又はこれらの組み合わせのいずれによって行われてもよい。

（装置のハードウェア構成）
続いて、上述の各装置の構成例について説明する。図３に、画像生成装置２０１、情報処理装置２０２、及びユーザ端末２０３のハードウェア構成例を示す。各装置は、コントローラユニット３００、操作ユニット３０９、および表示装置３１０を含んで構成される。

コントローラユニット３００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、操作部Ｉ／Ｆ３０５、表示部Ｉ／Ｆ３０６、及び通信Ｉ／Ｆ３０７を含む。なお、これらのハードウェアブロックは、例えばシステムバス３０８によって相互に通信可能となるように接続される。なお、ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの頭字語であり、ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの頭字語であり、Ｉ／Ｆはインタフェースである。

ＣＰＵ３０１は、システムバス３０８を介して、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、操作部Ｉ／Ｆ３０５、表示部Ｉ／Ｆ３０６、及び、通信Ｉ／Ｆ３０７の動作を制御しうる。ＣＰＵ３０１は、ＲＯＭ３０２に格納されているブートプログラムによりＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を起動する。ＣＰＵ３０１は、このＯＳ上で、例えばＨＤＤ３０４に格納されているアプリケーションプログラムを実行する。ＣＰＵ３０１がアプリケーションプログラムを実行することによって、各装置の各種処理が実現される。ＲＡＭ３０３は、例えば、各種一時的な情報の格納やＣＰＵ３０１の作業領域のために用いられる。ＨＤＤ３０４は、上述のようにアプリケーションプログラムなどを格納する。なお、ＣＰＵ３０１は、１つ以上の任意のプロセッサ（例えば、ＡＳＩＣ（特定用途向け集積回路）、ＤＳＰ（デジタルシグナルプロセッサ）や、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）等）によって置き換えられてもよい
操作部Ｉ／Ｆ３０５は、操作ユニット３０９とのインタフェースである。操作部Ｉ／Ｆ３０５は、操作ユニット３０９によって受け付けられたユーザ操作の情報をＣＰＵ３０１へ転送する。操作ユニット３０９は、例えば、マウスやキーボード、タッチパネル等の、ユーザ操作を受付可能な機器を含んで構成される。表示部Ｉ／Ｆ３０６は、表示装置３１０とのインタフェースであり、例えば、表示装置３１０が表示すべき画像データを表示装置３１０に対して出力する。表示装置３１０は、液晶ディスプレイなどのディスプレイを含んで構成される。通信Ｉ／Ｆ３０７は、例えばイーサネット（登録商標）等の通信を行うためのインタフェースであり、伝送ケーブルの接続を受け付けるためのコネクタ等を含んで構成される。なお、通信Ｉ／Ｆ３０７は、無線通信インタフェースであってもよく、例えばベースバンド回路やＲＦ回路、及びアンテナを含んで構成されてもよい。通信Ｉ／Ｆ３０７は、外部装置との間で情報の入出力を行う。

なお、各装置は、ケーブルやネットワークを介して接続された外部の表示装置３１０に画像を表示させる表示制御を行うこともできる。この場合、装置は、表示データを表示装置３１０に出力させるための表示制御を実行する。なお、図３の構成は一例であり、その一部が省略され又は図示されていない構成が追加され、さらに、図示された構成が組み合わされてもよい。例えば、画像生成装置２０１は、表示装置３１０を有しなくてもよい。

（情報処理装置の機能構成）
図４は、情報処理装置２０２の機能構成例を示すブロック図である。図４の機能構成は、情報処理装置２０２のＣＰＵ３０１が、ＲＯＭ３０２等に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。なお、図４に示す機能部の一部または全部が専用のハードウェア（例えばＡＳＩＣやＦＰＧＡ）により実現されてもよい。情報処理装置２０２は、一例において、制御部４０１、記憶部４０２、分離部４０３、取得部４０４、注視点決定部４０５、動線決定部４０６、基点決定部４０７、画像取得部４０８、及び、画像出力部４０９を有する。これらの機能部は、内部バス４１０によって相互に接続され、制御部４０１による制御の下で、相互にデータを送受信することができる。

制御部４０１は、記憶部４０２に格納されているコンピュータプログラムを実行することによって、情報処理装置２０２全体の動作を制御する。記憶部４０２は、ハードディスクなどの不揮発性の記憶装置を有する。記憶部４０２（不揮発性の記憶装置）は、情報処理装置２０２全体の動作を制御するコンピュータプログラム等を格納する。分離部４０３は、画像生成装置２０１から取得した仮想視点画像群と、注視点データとを分離して出力する。

取得部４０４は、ユーザ１０１に関する位置情報またはユーザ端末情報を、ユーザ端末２０３から取得する。取得部４０４は、例えば、ユーザ端末２０３がＧＰＳで取得した位置情報を、ユーザの位置情報としてユーザ端末２０３から取得しうる。また、取得部４０４は、スタジアム１０２の観客席１０３の席番号など位置を示す情報を取得し、その情報に基づいてユーザ１０１の位置情報を特定してもよい。

注視点決定部４０５は、画像生成装置２０１から取得した注視点データの中から、１つの注視点を決定する。注視点決定部４０５は、例えば、ゴールを決めた選手や反則をした選手を選択し、それらの選手を注視点として決定する。また、注視点決定部４０５は、ユーザ端末２０３から入力される操作情報（例えばユーザによる注視点の選択操作に応じた情報や、ユーザによる仮想視点の指定操作に応じた情報など）に基づいて注視点を決定してもよい。

動線決定部４０６は、ユーザ端末２０３へ出力する仮想視点画像における仮想視点の動線、及び、その動線上を移動する仮想視点の視線方向を決定する。動線決定部４０６は、例えば、注視点データやユーザ端末情報などを用いて、動線とその動線上を移動する仮想視点の視線方向とを決定してもよい。例えば、動線決定部４０６は、ユーザ端末の位置から、着目すべきシーンにおいて重要な役割を果たす被写体（例えばゴールを決めた選手やボール）から所定の距離の位置まで直線的に移動してその後に旋回する経路を動線として決定しうる。また、動線決定部４０６は、着目すべきシーンに関するプレイに関与する他の被写体（例えば守備選手やゴールを決めた選手に対してパスを供給した選手）等の情報に基づいて、その動線上における視線方向を決定しうる。なお、これは一例であり、任意の手法によって、適宜、動線と視線方向とが決定されうる。動線決定部４０６は、動線上を移動する各仮想視点の位置として、三次元座標上の位置を決定する。しかしながら、これに限られず、動線決定部４０６は、二次元平面上の位置を決定してもよい。この場合、動線決定部４０６は、仮想視点画像に係る仮想視点の位置の高さを、取得部４０４が取得した位置情報を用いることなく、任意の値または固定値として決定しうる。

基点決定部４０７は、動線とその動線上を移動する仮想視点の視線方向を解析し、その解析結果に基づいて、動線上の少なくとも１つの点を、基点として決定する。基点決定部４０７は、例えば、動線の開始地点や終了地点等を基点として決定する。また、基点決定部４０７は、動線が直線的な動きから注視点を中心に旋回を始める変化点等を基点として決定しうる。また、基点決定部４０７は、決定した基点のそれぞれについて、優先順位や再生速度などの情報を付加しうる。

画像取得部４０８は、動線決定部４０６によって決定された仮想視点の動線とその動線上を移動する仮想視点の視線方向に対応する仮想視点画像を取得する。画像取得部４０８は、その際に、基点決定部４０７によって決定された基点位置での仮想視点の、視線方向に対応する仮想視点画像を、画像生成装置２０１から取得した仮想視点画像群の中から選択する。なお、画像取得部４０８は、画像生成装置２０１から受信した情報に基づいて仮想視点画像をレンダリングによって生成する機能を有してもよい。画像出力部４０９は、画像取得部４０８によって取得された仮想視点画像を、ユーザ端末２０３に出力する。

（画像生成装置の機能構成）
図５に、画像生成装置２０１の機能構成例を示す。図５の機能構成は、画像生成装置２０１のＣＰＵ３０１が、ＲＯＭ３０２等に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。なお、図５に示す構成の一部または全部が専用のハードウェア（例えばＡＳＩＣやＦＰＧＡ）により実現されてもよい。画像生成装置２０１は、一例において、制御部５０１、記憶部５０２、撮影画像入力部５０３、画像記憶部５０４、仮想視点画像生成部５０５、注視点データ生成部５０６、画像解析部５０７、及び、データ出力部５０８を有する。なお、これらの機能部は、内部バス５０９によって相互に接続され、制御部５０１による制御の下で、相互にデータを送受信することができる。

制御部５０１は、記憶部５０２に格納されているコンピュータプログラムを実行することによって、画像生成装置２０１全体の動作を制御する。記憶部５０２は、ハードディスクなどの不揮発性の記憶装置を有する。記憶部５０２（不揮発性の記憶装置）は、画像生成装置２０１全体の動作を制御するコンピュータプログラム等を格納する。

撮影画像入力部５０３は、スタジアム１０２に設置された複数のカメラ１０５が撮影した画像を所定のフレームレートで取得し、画像記憶部５０４へ出力する。撮影画像入力部５０３は、例えば有線もしくは無線の通信モジュール、又はＳＤＩ等の画像伝送モジュールにより、カメラ１０５から撮影画像を取得する。画像記憶部５０４は、撮影画像入力部５０３によって取得された撮影画像と、それらの撮影画像に基づいて生成された仮想視点画像群を記憶する大容量の記憶装置でありうる。画像記憶部５０４は、例えば、磁気ディスク、光ディスク、半導体メモリ等によって実現される。なお、画像記憶部５０４は、画像生成装置２０１に内蔵された装置によって実現されてもよいし、画像生成装置２０１とは物理的に切り離された外部の装置によって実現されてもよい。また、画像記憶部５０４に記憶される撮影画像及びそれに基づいて生成された仮想視点画像群は、例えば、ＭＸＦ（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ）形式の画像フォーマットで記憶される。また、これらの撮影画像及び仮想視点画像群は、例えば、ＭＰＥＧ２形式で圧縮される。ただし、画像フォーマットやデータ圧縮方式は、これらに限定されず、任意の画像フォーマットおよびデータ圧縮方式が用いられてもよい。

仮想視点画像生成部５０５は、画像記憶部５０４に記憶された複数の撮影画像から仮想視点画像群を生成する。仮想視点画像群は、例えば、イメージベースレンダリングを用いて生成される。イメージベースレンダリングは、モデリング（幾何学図形を使用して物体の形状を作成する過程）を行わず、複数の実際の視点から撮影された画像から仮想視点画像を生成するレンダリング方法である。ただし、イメージベースレンダリングによらずに仮想視点画像群が生成されてもよく、例えば、モデルベースレンダリング（Ｍｏｄｅｌ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ、ＭＢＲ）を用いて仮想視点画像群が生成されてもよい。ＭＢＲは、複数の方向から被写体が撮影された複数の撮影画像に基づいて生成される三次元モデルを用いて、仮想視点画像を生成する方式である。ＭＢＲは、例えば、視体積交差法、Ｍｕｌｔｉ−Ｖｉｅｗ−Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法によって得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する。また、仮想視点画像生成部５０５は、生成した仮想視点画像群に含まれる各仮想視点画像に対して、対応する仮想視点、対応する視線の方向、及び、後述の注視点データ生成部５０６において生成される注視点を示すデータを、付与する。例えば、仮想視点画像生成部５０５は、仮想視点（の位置）と視線の方向と注視点を示すデータとを含むメタデータを、仮想視点画像に付与しうる。

ここで、仮想視点画像生成部５０５が生成する仮想視点画像群は、様々な仮想視点の位置及び視線の方向の仮想視点画像を含んでおり、そのような仮想視点画像群が１つの画像ストリームとして空間方向及び時間方向に圧縮符号化される。しかしながらこれに限られず、仮想視点画像群は、１つの画像ストリームではなく、それぞれが独立した複数の画像によって構成されてもよい。また、仮想視点画像群は、圧縮符号化されていなくてもよい。また、画像生成装置２０１は、仮想視点画像群に代えて、例えば、三次元形状データ等の三次元モデルを示す情報や、その情報が示す三次元モデルにマッピングするための画像等の、仮想視点画像を生成するための情報を生成してもよい。すなわち、仮想視点画像生成部５０５は、レンダリングされた仮想視点画像を生成することに代えて、情報処理装置２０２またはユーザ端末２０３で仮想視点画像をレンダリングするために必要な情報を生成してもよい。

注視点データ生成部５０６は、画像解析部５０７によって取得される特定のオブジェクトまたは所定の位置の位置情報を用いて注視点データを生成し、仮想視点画像生成部５０５へ出力する。図６に、注視点データの構成例を示す。注視点データは、例えば注視点ＩＤと、位置情報と、半径とを含んで構成される。ただし、注視点データは、注視点の位置を特定可能な情報であればよく、具体的な内容はこれに限定されない。注視点ＩＤは、アルファベットや数字で構成され、それぞれの注視点を区別可能となるように注視点ごとに割り振られた識別番号である。位置情報は、緯度経度のＤｅｇｒｅｅ形式を用いて、注視点の中心座標を示す。半径は、位置情報により示される中心座標からの距離であり、仮想視点画像を生成する際に有効な範囲を示す。なお、この位置情報と半径とによって規定される有効な範囲を示す円系の領域を、注視点ユニットと呼ぶ。ある１つの注視点に向けられた複数のカメラ１０５による撮影画像を用いて仮想視点画像が生成される場合、その注視点に関する注視点ユニット内の生成対象については、高画質で生成することができる。なお、注視点データは、画像解析部５０７による撮影画像の解析により取得されるものに限定されず、画像生成装置２０１や情報処理装置２０２に事前に登録されたものであってもよい。

画像解析部５０７は、撮影画像入力部５０３に入力された撮影画像を解析し、注視点の位置情報を取得する。画像解析部５０７は、例えば、ビジュアルハルなどの技術を用いて、特定のオブジェクトまたは特定の位置の位置情報を注視点の位置情報として取得する。特定のオブジェクトは、例えばスポーツ競技の場合、特定の選手や審判などの人物、またはボールなどでありうる。また、注視点は、サッカーの試合の場合、フィールド中央、ゴール前、ペナルティマーク等のフィールド１０４上の所定の位置でありうる。また、複数のカメラ１０５の光軸を共通の位置に向けるようにカメラ１０５が設置されている場合、注視点はその共通の位置でありうる。

データ出力部５０８は、仮想視点画像生成部５０５で生成された仮想視点画像群を情報処理装置２０２へ所定のフレームレートで出力する。

（基点決定処理の流れ）
続いて、基点決定部４０７によって実行される基点決定処理の流れについて、図７を用いて説明する。本処理は、動線とその動線上を移動する仮想視点の視線方向とを解析し、その解析結果に基づいて、動線上に少なくとも１つ以上の基点を決定する処理である。本処理は、例えば情報処理装置２０２がユーザ端末２０３から仮想視点画像の再生要求を受け付けた際に、実行される。

まず、基点決定部４０７は、動線決定部４０６で決定された動線とその動線上を移動する仮想視点の視線方向とを示す情報を取得する（Ｓ７０１）。ここで、動線決定部４０６によって決定された動線とその動線上を移動する仮想視点の視線方向との一例を、図８に示す。図８において、８０１は注視点であり、例えば、ゴールを決めた選手である。また、８１１〜８１７は、仮想視点である。図８では、仮想視点が、ユーザ１０１の位置（仮想視点８１１）から注視点８０１方向へ（仮想視点８１４まで）直線状に進んだ後に、注視点８０１を中心に旋回する（仮想視点８１４〜仮想視点８１７）。また、図８で示す仮想視点の視線方向は、仮想視点８１１から仮想視点８１７までのすべてにおいて、注視点８０１へ向けられている。ただし、図８では、仮想視点８１３において、視線方向が注視点８０１へ向けられている状態から一時的に左右方向へスイングしている様子を示している。

続いて、基点決定部４０７は、Ｓ７０１で取得した動線とその動線上を移動する仮想視点の視線方向とを解析し、その解析結果に基づいて、動線上の少なくとも１つの点を基点として定める。図９に、基点決定部４０７により決定される基点の一例を示す。図９の９１１から９１５は、基点決定部４０７によって決定された基点である。基点決定部４０７は、Ｓ７０１で取得した動線を解析し、動線の開始地点と終了地点とを、それぞれ基点９１１及び基点９１５として決定する。また、基点決定部４０７は、動線の変化点を基点として決定する。例えば、図９で示す動線のように、直線的に移動する動線から注視点８０１を中心に旋回する動線へ切り替わる地点を、基点９１３として決定する。また、基点決定部４０７は、旋回のようにある所定の動線を示す期間を任意の間隔で区切り、その区切った地点を基点として決定しうる。基点決定部４０７は、例えば、旋回の開始地点と終了地点の中間地点を基点９１４として決定しうる。また、基点決定部４０７は、Ｓ７０１で取得した仮想視点の視線方向を解析し、視線方向の変化が開始した地点を基点として決定する。例えば、基点決定部４０７は、図８の仮想視点８１３のように、視線方向を左右方向へスイングした場合には、そのスイングが開始された地点を基点９１２として決定しうる。なお、動線が変化した地点や視線方向の変化が開始された地点を基点にすると説明したが、これに限定されず、例えば動線や視線方向の変化点より所定区間だけ動線の開始地点側に遡った地点を基点としてもよい。また、仮想視点の移動速度の変化や移動距離が所定距離に達したこと等に応じて基点が決定されてもよい。このように、仮想視点の状態に基づいて動線上に基点を決定することにより、仮想視点画像の再生時にスキップ操作またはリピート操作をした場合、基点単位の移動が可能となり、重要なシーンの検索が容易となる。また、仮想視点の動きや視線方向が変化するのは、重要なシーンであることが想定されるため、上述のように基点を設定し、その基点からの再生を行うことにより、重要なシーンからの仮想視点画像の再生を行うことが可能となる。また、例えば仮想視点画像のスキップ等のユーザ操作が行われた場合にも、基点からの再生を行うことにより、重要なシーンからの仮想視点画像の再生を行うことが可能となる。

なお、基点決定部４０７は、Ｓ７０２において決定した基点に対して、付帯情報として優先順位と再生速度とを付与しうる（Ｓ７０３）。

基点決定部４０７は、各基点に対して優先順位を定める場合、動線の開始地点から終了地点までの間を任意の区間に分割し、その区間ごとに優先順位を決める。このとき、基点決定部４０７は、動線の終了地点に近い区間から順位を決める。また、基点決定部４０７は、各区間について、その区間の動線が旋回の場合、動線の終了地点から遠い基点から順位を決定する。また、基点決定部４０７は、その区間の動線が直線の場合、動線の終了地点から近い基点から順位を決定する。図１０に、基点決定部４０７による、基点に対する優先順位の付与の例を示す。基点決定部４０７は、動線の開始地点から終了地点までの間を、基点９１１から基点９１３までの直線区間と、基点９１３から基点９１５までの旋回区間に分割し、動線の終了地点に近い旋回区間の順位を決めた後に、直線区間の順位を決める。基点決定部４０７は、旋回区間の基点に対する順位の付与において、動線の終了地点から最も遠い基点９１３に優先順位１を付与し、基点９１４に優先順位２、基点９１５に優先順位３を付与する。また、基点決定部４０７は、直線区間の基点に対する順位の付与において、動線の終了地点から最も近い基点９１２に優先順位４、基点９１１に優先順位５を付与する。なお、最も高い優先度を示す優先順位は１である。このように基点の付帯情報として優先順位が付与されることにより、優先度の高い基点からの仮想視点画像の再生が可能となる。例えば、時短再生など再生時間が短く設定されている場合に、動線の終了地点から再生時間だけ遡った地点までの範囲に含まれる基点の中から優先度の高い基点を検出することにより、その検出された基点からの再生を開始することが可能となる。このため、時短再生においても重要なシーンが含まれる仮想視点画像を再生することができる。このときに、上述のように、動線の終了地点と基点との位置関係に基づいて優先順位を決定することにより、重要なシーンが含まれる傾向にある動線の後半部分が時短再生時にも再生されるようにすることができる。なお、基点決定部４０７は、例えば注視点と基点の間の位置関係に基づいて、優先順位を設定してもよい。すなわち、注視点と各基点との間の距離が短いほど、優先順位を高く設定し、この距離が長いほど、優先順位を低く設定してもよい。

また、基点決定部４０７は、各基点に対して再生速度を定める場合、動線の開始地点から終了地点までの間を任意の区間で分割し、その区間ごとに再生速度を決める。また、基点決定部４０７は、区間の動線が旋回の場合、再生速度を１倍速以下に決定する。また、基点決定部４０７は、区間の動線が直線の場合、動線の終了地点から遠ざかるにつれて再生速度が速くなる倍速に、再生速度を決定する。図１１に、基点決定部４０７による基点に対する再生速度の付与の例を示す。基点決定部４０７は、動線の開始地点から終了地点までの間を、基点９１１から基点９１３までの直線区間と、基点９１３から基点９１５までの旋回区間に分割し、動線の終了地点に近い旋回区間の再生速度を決めた後に、直線区間の再生速度を決める。基点決定部４０７は、旋回区間の基点に対する再生速度の付与において、例えば、基点９１３と基点９１５に１倍速、基点９１４に０倍速（停止）を付与する。この場合、例えば、基点９１３から基点９１４の間と基点９１４から基点９１５の間において１倍速で再生を行う一方で、基点９１４において所定期間の間再生を停止するように再生が行われうる。また、基点決定部４０７は、直線区間の基点に対する再生速度の付与において、例えば、基点９１２に２倍速、基点９１１に３倍速を付与する。例えば、基点９１１から基点９１２の間は３倍速で、また、基点９１２から基点９１３の間は２倍速で、再生が行われるように再生制御が行われうる。このように、重要なシーンが含まれることが想定される動線の終了地点の付近では、等速又は低速再生を行い、動線の終了地点から離れた地点においては高速再生が行われるように、再生速度が決定されうる。なお、各基点に対して付与される再生速度はこれに限定されず、再生時間内に収まるように再生速度が決定されてもよい。例えば、時短再生など再生時間が短い場合、直線区間の基点の再生速度を更に大きな数値としてもよい。このように基点の付帯情報として再生速度を付与することで、動線の開始地点から終了地点までの間に再生速度を可変的に切り替えることができるようになる。したがって、重要なシーンに対応する旋回区間については仮想視点画像をスローで再生し、重要なシーン以外は早送りで再生することができるようになる。なお、２つの基点の間の再生速度は、両端の基点の再生速度に基づいて再生速度が連続的に切り替わる無段階変速となるようにしてもよい。これによれば、基点９１１から基点９１２の間は３倍速から２倍速になるように、また、基点９１２から基点９１３の間は、２倍速から１倍速になるように、徐々に再生速度を遅くするような再生制御が行われうる。例えば基点９１３から基点９１４に向かって、徐々に再生速度を遅くし、基点９１４において所定期間の間再生を停止し、基点９１４から基点９１５に向かって、徐々に再生速度を早くするように再生が行われうる。なお、基点決定部４０７は、例えば注視点と基点の間の位置関係に基づいて、再生速度を設定してもよい。すなわち、注視点と各基点との間の距離が短いほど、再生速度を遅く設定し、この距離が長いほど、再生速度を速く設定してもよい。なお、上述のような再生速度の制御は、ユーザが可変フレームレート（変速再生）を実行するためのユーザインタフェース上のボタンを押下した場合に、行われてもよく、このボタンの押下がない場合には等速再生を行うようにしてもよい。

本実施形態によれば、動線およびその動線上を移動する仮想視点の視線方向に基づいて、動線上に少なくとも１つ以上の基点を決定することができる。これにより、重要なシーンにおいて又はそのシーンより所定区間だけ前の点において自動で基点を設定することができる。そして、再生時に例えば重要なシーンまでシーンをスキップすること等により、その重要なシーンから仮想視点画像の再生を行うことができる。また、決定した基点ごとに優先順位や再生速度の付帯情報を付与することができる。これにより、例えば再生時間の長さに応じて、重要なシーンを抽出して再生し、又は、相対的に重要でないシーンの再生速度を上げることにより、動線の開始地点から終了地点までの間に含まれる重要なシーンが再生されないことを防ぐことができる。

なお、上述の実施形態は一例に過ぎず、その各構成要素や各処理の組み合わせに対する様々な変形が可能であり、これらの変形物も、当然に本発明の範囲に含まれる。例えば、上述の実施形態では、ユーザ端末２０３から仮想視点画像の再生要求を受け付けた際に、図７の処理が実行される場合について説明したが、これに限られない。基点決定部４０７は、取得部４０４を介してシュートや反則などが発生した際のイベントトリガ信号を受信する度に、図７の処理を実行してもよい。この場合、情報処理装置２０２は、その都度、例えばユーザの位置からイベントトリガ信号に応じた位置へ向けて仮想視点が移動し、特定の位置で旋回する動線を形成し、その動線上で基点を決定して付帯情報を生成し、ユーザ端末２０３へ送信しうる。ユーザ端末２０３は、仮想視点画像群を受信したユーザ端末２０３は、表示を仮想視点画像の再生に切り替えてもよいし、仮想視点画像の再生を促す通知を画面に表示してもよい。これによれば、ユーザが、直近に発生したイベントに係る仮想視点画像を見逃すことなく視聴することができるようになる。

また、上述の実施形態では、画像生成装置２０１を含む画像処理システム１００を用いて説明したが、これに限定されない。例えば、図１２に示すように、画像処理システム１２００が、記憶装置２０４と情報処理装置２０２とを有して構成されてもよい。画像処理システム１２００は、一例において、仮想視点画像の編集システムでありうる。記憶装置２０４は、仮想視点画像群が記録されており、仮想視点画像群の付帯情報として、動線と動線上を移動する仮想視点の視線方向が記録される。この場合、情報処理装置２０２は、分離部４０３において、仮想視点画像と、動線及びその動線上を移動する仮想視点の視線方向の情報とを分離して出力する。基点決定部４０７は、上述の手法と同様の処理によって、動線上に少なくとも１つの基点を決定し、基点ごとの優先順位や再生速度を付与する。画像取得部４０８は、分離部４０３から取得した仮想視点画像群の付帯情報に対して、基点決定部４０７で決定された基点を追加する。画像出力部４０９は、基点に係る情報が追加された仮想視点画像群の付帯情報と、仮想視点画像群とを記憶装置２０４に出力する。これによれば、記憶装置２０４に記録されている仮想視点画像群の付帯情報に基点を付与することができる。

また、上述の実施形態では、仮想視点の動き（動線）の変化や視線方向の変化に応じて基点が決定される例について説明したが、これに限られない。すなわち、仮想視点画像が構成される仮想空間上の視点の軌道の状態及び視線方向の状態を含んだ仮想視野についての他の状態変化に基づいて、基点が決定されてもよい。例えば、仮想視点が仮想空間において直線移動中に一時動きを停止してその後同じ直線に沿って移動を開始した場合、その停止した点が基点として設定されてもよい。また、仮想視野の状態に一定時間変化がなかった場合に、その一定時間経過の時点で基点が設定されてもよい。すなわち、基点は、仮想空間上の仮想視野の任意の状態に基づいて設定されてもよい。

また、情報処理装置２０２は、仮想視点画像と基点の情報とをともに出力すると説明したが、これに限られない。例えば、情報処理装置２０２は、仮想視点画像が構成される仮想空間における視点の移動経路を示す動線の情報と、視点と視線方向とを含んだ仮想視野の状態を示す情報とを取得し、動線上の少なくとも１つの基点を決定して出力するだけでもよい。すなわち、情報処理装置２０２は、仮想視点画像を出力しなくてもよい。このとき、ユーザ端末２０３は、例えば、仮想視点画像と、基点の情報とを別個に取得して、基点の情報に基づいて仮想視点画像の再生制御を実行するようにしてもよい。なお、基点に応じた優先順位や再生速度の付与は、情報処理装置２０２によって行われてもよいし、他の装置によって行われてもよい。これらの優先順位や再生速度の情報も、仮想視点画像とは別個にユーザ端末２０３に提供されてもよい。同様に、図１２のような場合には、情報処理装置２０２は、記憶装置２０４に対して、仮想視点画像に付与するのではなく、基点の情報のみを（場合によっては優先順位や再生速度の情報も）提供してもよい。この場合、記憶装置２０４は、提供された情報を付帯情報として仮想視点画像に付加してもよいし、再生時に、これらの情報を仮想視点画像と別個の情報として再生装置（ユーザ端末２０３）に提供してもよい。

また、上述の実施形態では、サッカーの試合を撮影する場合の例を説明したが、これに限られない。例えばラグビー、テニス、アイススケート、バスケットボール等の他のスポーツの試合や、ライブやコンサートなどの演奏の撮影にも、上述の議論を適用することができる。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１：画像生成装置、２０２：情報処理装置、２０３：ユーザ端末、２０４：記憶装置、４０５：注視点決定部、４０６：動線決定部、４０７：基点決定部、４０８：画像取得部、４０９：画像出力部

Claims (14)

1. 仮想視点画像が構成される仮想空間において視点が移動する経路を特定する特定手段と、
   前記仮想空間における前記視点の軌道と視線方向とを含んだ仮想視野の状態を取得する取得手段と、
   前記状態に基づいて、前記経路における少なくとも１つの基点を決定する決定手段と、
   前記少なくとも１つの基点の情報を出力する出力手段と、
   を有し、
   前記少なくとも１つの基点は、前記仮想視点画像の再生制御に用いられる、
   ことを特徴とする情報処理装置。
2. 前記決定手段は、前記経路の開始地点および終了地点を前記基点として決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、前記経路において前記仮想視野の状態の変化があった点を前記基点として決定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記決定手段は、前記経路において前記仮想視野の状態の変化があった点より所定区間だけ前の点を前記基点として決定することを特徴とする請求項１又は２に記載の情報処理装置。
5. 前記決定手段は、前記視線方向の移動を開始した点を、前記仮想視野の状態の変化があった点として、前記基点として決定することを特徴とする請求項３又は４に記載の情報処理装置。
6. 前記仮想視野の状態は、前記視点の移動距離と移動速度の少なくともいずれかをさらに含むことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記決定手段は、前記基点に優先順位を付与することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記決定手段は、前記経路の終了地点と前記基点との位置関係または前記仮想空間における注視点と前記基点との位置関係に基づいて、前記優先順位を決定することを特徴とする請求項７に記載の情報処理装置。
9. 前記仮想視点画像の再生制御において、再生時間と前記優先順位とに基づいて、当該仮想視点画像の再生を開始する基点が決定されることを特徴とする請求項７又は８に記載の情報処理装置。
10. 前記決定手段は、前記基点に対して再生速度を定めることを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
11. 前記決定手段は、前記経路の終了地点と前記基点との位置関係または前記仮想空間における注視点と前記基点との位置関係に基づいて、前記再生速度を定めることを特徴とする請求項１０に記載の情報処理装置。
12. 前記出力手段は、前記仮想視点画像と共に、当該仮想視点画像に対する付帯情報として、前記少なくとも１つの基点の情報を出力することを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
13. 情報処理装置の制御方法であって、
    特定手段が、仮想視点画像が構成される仮想空間において視点が移動する経路を特定する特定工程と、
    取得手段が、前記仮想空間における前記視点の軌道と視線方向とを含んだ仮想視野の状態を取得する取得工程と、
    決定手段が、前記状態に基づいて、前記経路における少なくとも１つの基点を決定する決定工程と、
    出力手段が、前記少なくとも１つの基点の情報を出力する出力工程と、
    を有し、
    前記少なくとも１つの基点は、前記仮想視点画像の再生制御に用いられる、
    ことを特徴とする制御方法。
14. コンピュータを、請求項１から１２のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。

Images