JP2022043539A - 画像処理装置、画像処理システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】仮想視点を効率よく設定できるようにする。
【解決手段】複数の撮像装置が複数の異なる方向からオブジェクトを撮像することによって得られた動画像に基づいて、仮想視点から見た仮想視点画像を生成する画像生成装置１２０は、前記仮想視点の移動経路を指示するための操作情報であって、ユーザによるコントローラの操作の内容を示す操作情報を取得する受付部８０８と、前記オブジェクトの移動速度を取得するオブジェクト移動速度算出部８０７と、前記操作情報が示す前記コントローラの操作量に応じた前記仮想視点の移動速度をオブジェクト移動速度算出部８０７によって取得された前記オブジェクトの移動速度に基づき決定する仮想カメラ情報決定部８１０と、を有する。
【選択図】図４

Description

本開示の技術は、画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。

複数のカメラを異なる位置に設置して複数の視点で同期して撮像し、撮像により得られた複数の画像を用いて、仮想視点から見た画像である仮想視点画像を生成する技術がある。

特許文献１には、オブジェクトを取り囲むように配置された複数のカメラの撮像画像を用いて、任意の視点から見たオブジェクトの画像を生成する方法が開示されている。

特開２００８－１５７５６号公報

仮想視点の移動方向および移動速度は、ユーザによるコントローラ等の操作に応じて決定される。また、仮想視点画像の生成では、サッカーなどの試合が行われているフィールド内の選手またはボール等のオブジェクトを追従するような視点からの仮想視点画像を生成することが考えられる。オブジェクトを適切に追従するようにユーザが仮想視点を操作するためには、コントローラの操作量に対応する仮想視点の移動速度が適切に設定されていることが好ましい。

しかしながら、仮想視点の追従対象となりうるオブジェクトの速度は、生成される仮想視点画像の内容により異なる。例えば、追従対象となりうる選手またはボール等の速さは、バスケットボール、サッカー、陸上競技など競技種目の違い、または、プロ選手の試合、アマチュア選手の試合などの競技レベルの違いなどにより異なる。このため、仮想視点画像の生成の都度、コントローラの操作量に対応する仮想視点の移動速度を設定する手間が発生し、仮想視点を効率よく設定することができないという問題があった。

本開示の技術は、仮想視点を効率よく設定できるようにすることを目的とする。

本開示の画像処理装置は、複数の撮像装置が複数の異なる方向からオブジェクトを撮像することによって得られた動画像に基づいて、仮想視点から見た仮想視点画像を生成する画像処理装置であって、前記仮想視点の移動経路を指示するための操作情報であって、ユーザによるコントローラの操作の内容を示す操作情報を取得する第１の取得手段と、
前記オブジェクトの移動速度を取得する第２の取得手段と、前記操作情報が示す前記コントローラの操作量に応じた前記仮想視点の移動速度を、前記第２の取得手段によって取得された前記オブジェクトの移動速度に基づき決定する決定手段と、を有することを特徴とする。

本開示の技術によれば、仮想視点を効率よく設定することができる。

画像処理システムの構成を示す図である。 撮像装置の設置例を示す図である。 画像生成装置のハードウェア構成を示す図である。 生成された三次元モデルと仮想カメラのカメラパスを示す概念図である。 オブジェクトを選択するための画面の例を示す図である。 オブジェクトと仮想カメラの移動速度を示す図である。 仮想視点画像の画面表示例を示す図である。 画像生成装置の機能構成を示す図である。 画像生成装置における画像処理のフローを示す図である。 画像生成装置の機能構成を示す図である。 画像生成装置における画像処理のフローを示す図である。 オブジェクトと仮想カメラの移動速度を示す図である。 仮想視点画像の画面表示例を示す図である。 画像生成装置の機能構成を示す図である。 画像生成装置における画像処理のフローを示す図である。 生成された三次元モデルと仮想カメラのカメラパスを示す概念図である。 オブジェクトと仮想カメラの移動速度を示す図である。 オブジェクトと仮想カメラの移動速度を示す図である。

以下、添付図面を参照して実施形態を詳細に説明する。なお、以下の実施形態は本開示の技術を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本開示の技術の解決手段に必須のものとは限らない。

＜実施形態１＞
［システム構成］
図１は、本実施形態の画像処理システム１００の構成を示す図である。本実施形態の画像処理システム１００は仮想視点画像を生成するためのシステムである。

仮想視点画像とは、実際に設置されている撮像装置の設置位置及び撮像方向とは異なる、仮想視点の位置及び仮想視点からの視線方向等に基づいて生成される画像である。例えば、スタジアム内の異なる位置に配置された複数の実カメラが同期して撮像を行うことによって得られた撮像画像の画像データに基づき、実在しないカメラの視点である仮想視点から見た仮想視点画像が生成される。仮想視点画像は、動画であっても、静止画であってもよい。本実施形態では、仮想視点画像は動画であるものとして説明を行う。

仮想視点画像によって、例えば、サッカーやバスケットボールの試合を撮像した撮像画像に基づき、迫力のある視点からのコンテンツを視聴者に提供することができる。他にも、コンテンツを視聴しているユーザ自身が、仮想視点を移動させながら試合を観戦することが出来るようになり、従来の撮像画像と比較して仮想視点画像はユーザに高臨場感を与えることができる。また、録画コンテンツを用いれば、視点の移動だけでなく、再生時刻の変更による早戻し、一時停止、スロー再生などの仮想視点画像を生成することが可能となる。

仮想視点画像の生成は、複数の撮像装置の撮像画像をサーバなどの画像処理部に集約し、その画像処理部にて、仮想視点に基づくレンダリングなどの処理をすることによって行われる。そして、生成された画像を端末に表示することでユーザは仮想視点画像を閲覧できる。なお、本実施形態では説明の便宜上、仮想視点を表す概念として、仮想視点を仮想的なカメラ（仮想カメラ）に置き換えて説明する場合がある。このとき、仮想カメラの位置は仮想視点の位置、仮想視点からの視線方向は仮想カメラの姿勢にそれぞれ対応する。また、仮想視点画像は、仮想カメラにより仮想的に撮像されることにより得られる撮像画像に対応する。

画像処理システム１００は、複数の撮像装置１１０と、画像生成装置１２０と、端末装置１３０と、を有する。各撮像装置１１０と画像生成装置と１２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル等の通信ケーブルを介して接続している。なお、本実施形態においては、通信ケーブルはＬＡＮケーブルであるものとして説明するが、通信ケーブルはＬＡＮケーブルに限定されるものではない。

撮像装置１１０は、例えば、静止画像及び動画像等の撮像画像を撮像可能なデジタルカメラである。各撮像装置１１０は、サッカー場等のスタジアムにおいて、特定のオブジェクトを取り囲むように設置され静止画像または動画像を撮像する。撮像装置１１０による撮像対象は、例えば、サッカー場のフィールドである。撮像された画像は、撮像装置１１０から画像生成装置１２０に送信される。

図２は、撮像装置１１０の設置例を示す図である。本実施形態においては、複数の撮像装置１１０は、撮像対象であるサッカー場のすべて又は一部を撮像するように設置されている。つまり、本実施形態の画像処理システム１００の撮像装置１１０は、オブジェクトを複数の方向から撮像するための複数の撮像装置である。

画像生成装置１２０は、仮想視点画像を生成する画像処理装置であり、例えば、サーバによって構成される。画像生成装置１２０は、データベース機能を有する。データベースには、競技の開始前などオブジェクトが存在しない状態の撮像対象を撮像装置１１０が予め撮像することによって得られた画像が、背景画像として記憶されている。ただし、背景画像は予め撮像された画像に限定されず、随時更新されてもよい。

また、画像生成装置１２０は、撮像装置１１０が撮像することにより得られた、オブジェクトが含まれる撮像画像（フレーム）を取得する。競技中の選手などオブジェクトが存在するシーンでは、撮像画像内の特定のオブジェクトを示す前景を、画像処理により、撮像画像から分離して特定オブジェクト画像として保持しておく。特定オブジェクトは、競技する選手だけでなく、例えば、控え選手、監督、審判など他の特定人物であってもよく、ボールやゴールなど、画像パターンが予め定められている物体であってもよい。

画像生成装置１２０は、仮想視点画像を、データベースで管理している背景画像と特定オブジェクト画像とに基づき生成する。生成された仮想視点画像は、ＬＡＮケーブルなどを介して、端末装置１３０に送信される。

仮想視点画像の生成方法として、例えば、モデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）がある。ＭＢＲとは、オブジェクトを複数の方向から撮像した複数の撮像画像に基づいて生成される三次元形状（三次元モデル）を用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ－Ｖｉｅｗ－Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元方法により得られた対象シーンの三次元モデルを利用し、仮想カメラからのシーンの見えを画像として生成する技術である。なお、仮想視点画像の生成方法は、ＭＢＲ以外のレンダリング方法が用いられてもよい。例えば、イメージベースレンダリング（Ｉｍａｇｅ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＩＢＲ）が用いられてもよい。

端末装置１３０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレットによって構成される。端末装置１３０のコントローラ１３１は、例えば、マウス、キーボード、６軸コントローラ、またはタッチパネル等によって構成される。ユーザ（操縦者）がコントローラ１３１を操作することで、端末装置１３０は、ユーザによるコントローラ１３１の操作に応じた、再生時刻と、仮想視点の移動量および移動方向と、に関する指示を受け付ける。端末装置１３０は、受け付けたユーザの指示に応じた情報を示す伝送信号を画像生成装置１２０に送信する。表示部１３２は、例えば、液晶ディスプレイ等によって構成され、静止画像や動画像が表示される。例えば、表示部１３２には画像生成装置１２０から受信した仮想視点画像が表示される。

端末装置１３０はヘッドマウントディスプレイ等で構成されてもよく、外部の装置で、ヘッドマウントディスプレイ等の操作による位置および方向を検出して、検出された結果をユーザが指示した仮想視点の情報として画像生成装置１２０に送信されてもよい。

［ハードウェア構成］
図３は、画像生成装置１２０のハードウェア構成を示す図である。端末装置１３０のハードウェア構成も、画像生成装置１２０のハードウェア構成と同様である。画像生成装置１２０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ＨＤＤ３０４と、表示部３０５と、入力部３０６と、通信部３０７と、を有する。

ＣＰＵ３０１は、ＲＯＭ３０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３０４は、各種データや各種プログラム等を記憶する。

表示部３０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、各種情報を表示する。入力部３０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。ＣＰＵ８０１は、表示部３０５を制御する表示制御部、及び入力部３０６を制御する操作制御部としても機能する。本実施形態では表示部３０５と入力部３０６が画像生成装置１２０の内部に存在するものとするが、表示部３０５と入力部３０６との少なくとも一方が画像生成装置１２０の外部に別の装置として存在していてもよい。

通信部３０７は、ネットワークを介して撮像装置１１０等の外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット（登録商標）が挙げられる。また、他の例としては、通信部３０７は、無線により外部装置との通信を行ってもよい。

また、画像生成装置１２０はＣＰＵ３０１とは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有してもよい。そして、ＣＰＵ３０１による処理の少なくとも一部をＧＰＵあるいは専用のハードウェアが行うようにしても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。

［仮想視点の操作について］
ここで、本実施形態の概要を説明する。仮想視点の位置および仮想視点からの視線方向を示す仮想カメラの移動経路を、エンドユーザや専任のオペレータ等のユーザが操作することができる。仮想カメラの操縦者であるユーザは、ＵＩ画面を見ながらコントローラ１３１の操作レバーを傾ける操作をすることで、仮想カメラの移動方向や移動速度等を指示することができる。

仮想カメラの移動速度は、コントローラの操作量に応じて決定される。例えば、コントローラ１３１が６軸コントローラの場合、ユーザが操作レバーを横方向や縦方向などの方向へ倒す角度（操作量）を変えることで仮想カメラの移動速度が変わるように、制御される。画像生成装置１２０は、当該操作に応じた入力値（操作レバーであればその傾けた方向と角度）を順次取得し、取得された入力値に基づき仮想カメラ情報を生成する。

例えば、ユーザが指示可能な仮想カメラの移動速度の最高の速度が設定されている。操作レバーが可動域の最大に倒されると、予め設定された最高速度で移動するように、仮想カメラの移動速度が制御される。具体的には、操作レバーによって、縦、横、高さを表す、Ｘ軸、Ｙ軸、Ｚ軸の方向に対して仮想カメラの移動方向を操作することが可能であり、各軸の操作レバーの可動域の可変段階は＋１０から－１０段階であるものとする。この場合、操作レバーをある軸の方向の可動域の最大に達するまで倒すと、＋１０という値が、その軸の値として入力される。設定されている仮想カメラの最高速度が５ｍ／秒の場合、操作レバーによる入力値が＋１０のときは、仮想カメラが５ｍ／秒で移動するように制御される。入力値が可変段階のうち＋１の値のときは、設定されている最高速度の１／１０の０．５ｍ／秒で仮想カメラが移動するように制御される。

図４は、本実施形態の仮想視点画像の生成を説明するための図であり、三次元空間上にオブジェクトの三次元モデルとユーザが操作する仮想カメラとを示した図である。図４では、三次元空間上に、撮像装置１１０の撮像画像に基づき生成されたオブジェクト４０１、４０２の三次元モデルが表示されている。実線の矢印４１１、４１２は、後述する三次元形状情報に基づき算出された所定時間内でのオブジェクトの位置の軌跡を示している。また、破線の矢印４１３は、仮想視点の位置および仮想視点からの視線方向を示す仮想カメラ４０３の所定時間内での位置の軌跡（カメラパス）を示している。つまり図４では、仮想カメラ４０３がオブジェクト４０１を追従するような視点で仮想視点画像を生成する場合の仮想カメラのカメラパスを示している。

図４に示すように、オブジェクト４０１に追従するような仮想視点での仮想視点画像を生成する場合がある。この場合、仮想カメラ４０３がそのオブジェクト４０１に対応する速度で移動するように、ユーザがコントローラ１３１を操作する。

予め設定されている仮想カメラ４０３の最高速度が、オブジェクト４０１の最高速度より遅いと、仮想カメラ４０３はオブジェクト４０１を継続的に追従できなくなる。このため、仮想カメラ４０３の最高速度を十分な速さに設定しておくこと考えられる。しかしながら、この場合は、コントローラ１３１の操作レバーの稼働段階を＋１だけ傾けた場合に対応する仮想カメラ４０３の速度が大きくなり、ユーザが、追従対象のオブジェクト４０１の速度に合わせて仮想カメラ４０３の速度を操作するのが難しくなる。このため、ユーザが操作する仮想カメラ４０３の最高速度は、追従するオブジェクト４０１の最高速度に対応する速度に予め設定されていることが好ましい。

生成される仮想視点画像のコンテンツの内容、追従するオブジェクトに応じて、オブジェクトの最高速度は異なる。このため、仮想視点画像を生成する都度、ユーザは仮想カメラの最高速度を設定するのが好ましい。しかしながら、ユーザが、仮想視点画像を生成する都度、仮想カメラの最高速度を設定するのは手間である。そこで本実施形態では、オブジェクトの移動速度を算出し、仮想カメラの最高速度をオブジェクトの移動速度に応じた速度に設定する。

図５は、端末装置１３０の表示部１３２に表示される画面５００の例である。画面５００は、仮想カメラの最高速度を設定するためのオブジェクトを、ユーザが選択するための画面である。ユーザがオブジェクトを選択するための画面５００では、識別可能なオブジェクトが少なくとも１つ以上表示される。ユーザは画面５００からオブジェクトを選択することで、仮想カメラの最高速度を設定するためのオブジェクトが指定される。

図６は、オブジェクトを選択するための画面５００において指定されたオブジェクトの最高速度を、仮想カメラの最高速度として設定する方法を説明するための概念図である。図６（ａ）に示すように、ユーザによって指定されたオブジェクト４０１の最高速度を、それぞれの方向の成分ごとに表すと、Ｘ方向に１０ｍ／秒、Ｙ方向に５ｍ／秒であるとする。この場合、図６（ｂ）に示すように、仮想カメラ４０３の最高速度は、同様にＸ方向に１０ｍ／秒、Ｙ方向に５ｍ／秒として設定される。なお、仮想カメラ４０３の最高速度の設定値は上記に限定されない。例えば、オブジェクト４０１のＸ方向の最高速度とＹ方向の最高速度とを比較し、大きい方が仮想カメラ４０３のＸ方向及びＹ方向の最高速度として設定されてもよい。この場合、例えば、オブジェクト４０１の最高速度が、Ｘ方向に１０ｍ／秒、Ｙ方向に５ｍ／秒であれば、仮想カメラ４０３の最高速度は、Ｘ方向及びＹ方向ともに１０ｍ／秒となる。

図７は、端末装置１３０の表示部１３２に表示された、オブジェクトの最高速度に基づき最高速度が設定された仮想カメラの視点からの仮想視点画像を示す図である。ユーザが指定したオブジェクトの最高速度と同じ速度で仮想視点を操作することができるため、ユーザは指定したオブジェクトを仮想カメラで追従する操作が容易となり、指定したオブジェクトが仮想カメラの画角内に収められなくなることが軽減される。また、仮想カメラの最高速度を都度設定する手間が軽減される。なお、図７に示すように、オブジェクトの移動速度が、仮想カメラの最高速度に適用されたことを示すために、設定された仮想カメラの最高速度を仮想視点画像に重畳して表示してもよい。また、オブジェクトごとの最高速度を画面に表示してもよい。

［機能構成］
図８は、画像生成装置１２０の機能構成を示す図である。画像生成装置１２０は、撮像画像取得部８０１、前景背景分離部８０２、撮像画像データ管理部８０３、カメラパラメータ管理部８０４、三次元モデル生成部８０５、オブジェクト位置履歴管理部８０６、オブジェクト移動速度算出部８０７を有する。さらに、画像生成装置１２０は、受付部８０８は、オブジェクト指定部８０９、仮想カメラ情報決定部８１０、仮想視点画像生成部８１１、および画像出力部８１２を有する。

撮像画像取得部８０１は、撮像装置１１０からＬＡＮケーブルを介して画像生成装置１２０に入力された伝送信号を撮像画像データに変換することで撮像画像データを取得する。撮像画像取得部８０１は、撮像画像データを前景背景分離部８０２に出力する。

前景背景分離部８０２は、撮像画像取得部８０１が取得した撮像画像のうち、競技の開始前などオブジェクトが存在しない状態の撮像対象の画像を、背景画像データとして、撮像画像データ管理部８０３へ出力する。また、競技中の撮像対象を撮像することによって得られた撮像画像から背景画像データとオブジェクトの存在する撮像画像データとの差分データを生成することで撮像画像から選手などオブジェクトを抽出する。前景背景分離部８０２は、オブジェクトを抽出した結果得られたデータは、前景画像データとして、撮像画像データ管理部８０３へ出力する。

前景画像データには、例えば、オブジェクトの形状を示す前景領域を黒で示し、それ以外の領域を白で示す２値画像であるマスク画像と、撮像画像から切り出された前景のテクスチャを表すテクスチャ画像と、が含まれる。

撮像画像データ管理部８０３は、前景背景分離部８０２から出力された背景画像データおよび前景画像データを、ＲＯＭ３０２またはＨＤＤ３０４等の記憶部に記憶させる。また、撮像画像データ管理部８０３は、三次元モデル生成部８０５へ前景画像データを出力し、仮想視点画像生成部８１１により指定された背景画像データと前景画像データとを仮想視点画像生成部８１１に出力する。

カメラパラメータ管理部８０４は、複数の撮像装置１１０の位置情報および撮像装置１１０の焦点距離やシャッタースピードなどの設定情報をカメラパラメータ情報として、予め記憶部に記憶させて管理している。撮像装置１１０は予め決められた位置に設置されているものとする。また、カメラパラメータ管理部８０４は、カメラパラメータ情報を三次元モデル生成部８０５と、仮想視点画像生成部８１１と、へ出力する。

三次元モデル生成部８０５は、撮像画像データ管理部８０３から取得した前景画像データと、カメラパラメータ管理部８０４から取得したカメラパラメータ情報と、を用いて、オブジェクトの三次元形状を推定し、オブジェクトの三次元形状情報を生成する。例えば、三次元モデル生成部８０５は、視体積交差法などの三次元形状復元方法を用いてオブジェクトの三次元形状情報を生成する。三次元形状情報（三次元形状データとも記す）によって表されるオブジェクトの三次元形状を三次元モデルとも記す。三次元モデル生成部８０５は、生成したオブジェクトの三次元形状情報を仮想視点画像生成部８１１へ出力する。

オブジェクト位置履歴管理部８０６は、三次元モデル生成部８０５から取得した三次元形状情報に基づき撮像開始時刻から撮像終了時刻までのそれぞれの撮像時刻におけるオブジェクトの位置を決定する。そして、オブジェクト位置履歴管理部８０６は、時刻ごとのオブジェクトの位置情報を位置履歴情報として記憶させる。位置履歴情報には、例えば、時刻ごとのオブジェクトの三次元モデルの重心の位置、およびオブジェクトの大きさ等が含まれている。オブジェクト位置履歴管理部８０６は、オブジェクトの位置履歴情報をオブジェクト移動速度算出部８０７へ出力する。なお、オブジェクトの位置履歴情報には、撮像開始時刻から撮像終了時刻までの間のすべての時刻におけるオブジェクトの位置情報が含まれている必要はない。例えば、位置履歴情報には、現在の再生時刻から過去の時刻におけるオブジェクトの位置情報など、任意の時間範囲におけるオブジェクトの位置情報が含まれているだけでもよい。

オブジェクト移動速度算出部８０７は、オブジェクトの位置履歴情報を取得し、オブジェクトの位置履歴情報に基づき、単位時間あたりに移動したオブジェクトの移動距離を算出して、オブジェクトの移動速度を算出する。単位時間は本実施形態では１秒であるものとして説明するが、単位時間は１秒に限らず、分、時などでもよい。

さらに、オブジェクト移動速度算出部８０７は、所定期間におけるオブジェクトの移動速度から、速さを示す値が最も大きい速度（最高速度）を導出し、オブジェクトの最高速度を、オブジェクトの移動速度情報として仮想カメラ情報決定部８１０へ出力する。

最高速度を導出するための所定期間は、例えば、撮像開始から撮像終了までの撮像期間である。または、撮像開始から撮像終了までの撮像期間のうちのいずれかの期間を所定期間としてもよい。例えば、撮像画像がライブ撮像に基づく画像である場合は、撮像開始時刻から現在時刻などの最新の撮像時刻までの期間を所定期間としてもよい。

なお、移動速度情報はオブジェクトの最高速度に限られない。他にも例えば、最高速度に達した期間が短い等の場合は、速さを示す値が２番目に大きい速度の情報を移動速度情報としてもよい。

複数のオブジェクトの三次元モデルが生成された場合、オブジェクト移動速度算出部８０７は、オブジェクトごとに最高速度を算出する。そして指定オブジェクト情報によってオブジェクトが指定されている場合、指定されたオブジェクトの移動速度情報を仮想カメラ情報決定部８１０へ出力する。

受付部８０８は、ユーザによるコントローラ１３１の操作情報を取得する。受付部８０８は、端末装置１３０から出力された、ユーザによるコントローラ１３１の操作に応じた伝送信号を受け付ける。受付部８０８は、伝送信号を各種ユーザ入力データに変換することで、ユーザによるコントローラ１３１の操作情報を取得する。ユーザ入力データが、再生時刻情報または仮想カメラに係る指示である場合、受付部８０８はユーザ入力データを仮想カメラ情報決定部８１０へ出力する。ユーザ入力データが、ユーザが指定したオブジェクトを示す情報である「指定オブジェクト情報」である場合、受付部８０８はユーザ入力データをオブジェクト指定部８０９へ出力する。なお、ユーザ入力データはこれらに限らず、各種機能に対する設定の変更指示などが含まれもよい。

再生時刻情報とは、ユーザによって指定される撮像画像の撮像時刻の時刻情報である。ユーザが再生時刻を指定することで、その時刻に撮像された撮像画像に基づき生成された三次元空間上の三次元モデルを用いて仮想視点画像が生成される。

オブジェクト指定部８０９は、受付部８０８から指定オブジェクト情報を取得し、指定オブジェクト情報によって指定されたオブジェクトをオブジェクト移動速度算出部８０７に通知する。

仮想カメラ情報決定部８１０は、受付部８０８から仮想カメラに係るユーザ入力データを取得し、三次元空間内の再生時刻での仮想視点の位置と方向とを含む仮想カメラ情報を生成する。

仮想カメラ情報は、ユーザの指示に基づき、仮想視点の三次元空間における位置、角度、および移動速度等を示すパラメータである。仮想カメラ情報は、撮像装置１１０が撮像したスタジアムの中央など所定位置に対する相対的な位置、つまり所定位置に対する前後、左右、上下の位置情報、その所定位置からの向き、つまり前後、左右、上下を軸とする角度の方向情報とが少なくとも含まれる。

例えば、ユーザがコントローラ１３１を操作して、コントローラ１３１をある方向に可動域の最大に達するように倒すと、端末装置１３０から受付部８０８を介して＋１０という入力値が取得される。予め設定された仮想カメラの最高速度が５ｍ／秒である場合、仮想カメラ情報決定部８１０は、入力値が＋１０の値のときは、仮想カメラが５ｍ／秒で移動するものとして仮想カメラ情報を生成する。入力値が＋１という値のときは、仮想カメラが０．５ｍ／秒で移動するものとして仮想カメラ情報を生成する。

仮想カメラ情報決定部８１０は、オブジェクトが指定されたことが通知された場合、指定されたオブジェクトの最高速度に基づき、仮想カメラの最高速度を設定する。例えば、指定されたオブジェクトの最高速度が１０ｍ／秒である場合、仮想カメラの最高速度は１０ｍ／秒に設定される。この場合、受付部８０８から入力値が＋１０という値が取得されたときは、仮想カメラが１０ｍ／秒で移動するように仮想カメラ情報が生成される。

なお、仮想カメラ情報決定部８１０は、仮想カメラの最高速度を、指定されたオブジェクトの最高速度と同値に設定しなくてもよく、仮想カメラの最高速度はオブジェクトの最高速度に対応する速度に設定されればよい。例えば、指定されたオブジェクトの最高速度に所定割合を乗算した結果得られた値を、仮想カメラの最高速度として設定してもよい。例えば、指定されたオブジェクトの最高速度が１０ｍ／秒である場合、指定されたオブジェクトの最高速度の１．２倍の１２ｍ／秒を、仮想カメラの最高速度として設定してもよい。

仮想カメラ情報決定部８１０は、仮想カメラ情報と再生時刻情報とを仮想視点画像生成部８１１へ出力する。なお、仮想空間の原点はスタジアムの中心などが予め設定されているものとする。

仮想視点画像生成部８１１は、再生時刻情報を仮想カメラ情報決定部８１０から取得し、仮想カメラ情報に基づいた前景画像データと背景画像データとを撮像画像データ管理部８０３から取得する。また撮像装置１１０のカメラパラメータ情報をカメラパラメータ管理部８０４から取得し、オブジェクトの三次元形状情報を三次元モデル生成部８０５から取得する。そして、仮想視点画像生成部８１１は、背景画像データを仮想カメラの位置から背景として見えるように投影変換や画像処理を施して仮想視点画像の背景とする。仮想視点画像生成部８１１は、仮想カメラから見た三次元モデルに対して、当該時刻に実カメラで撮像された画像データの色情報でレンダリング（着色処理）して仮想視点画像を生成する。例えば、仮想カメラからオブジェクトの三次元モデルが見えている状況で、三次元モデルの位置から所定の範囲内に実カメラ位置情報がある場合、その実カメラの前景画像データに基づき三次元モデルに着色処理される。仮想視点画像生成部８１１は、生成した仮想視点画像を画像出力部８１２へ出力する。

画像出力部８１２は、仮想視点画像生成部８１１から出力された画像データを、端末装置１３０へ伝送可能な伝送信号に変換して、端末装置１３０へ出力する。

図８の各部の機能は、画像生成装置１２０のＣＰＵがＲＯＭまたは外部記憶装置に記憶されているプログラムコードをＲＡＭに展開し実行することにより実現される。または、上記の各部の一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。

［画像処理装置による画像処理について］
図９は、画像生成装置１２０における仮想視点画像を生成する画像処理の一例を示すフローチャートである。図９のフローチャートで示される一連の処理は、画像生成装置１２０のＣＰＵがＲＯＭに記憶されているプログラムコードをＲＡＭに展開し実行することにより行われる。また、図９におけるステップの一部または全部の機能をＡＳＩＣまたは電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。

本フローチャートでは、撮像装置１１０は動画を撮像し、画像生成装置１２０は動画を構成するフレームごとに三次元モデルを生成して、動画の仮想視点画像を生成するものとして説明を行う。また、本フローチャートの前にフレームの前景画像データが生成されているのもとして説明を行う。図９に示す処理は、ＣＰＵ３０１がＲＯＭ３０２に記憶された制御プログラムを読み出して実行することにより実現される。

Ｓ９０１において三次元モデル生成部８０５は、撮像画像データ管理部８０３から所定の撮像時刻の前景画像データを取得し、カメラパラメータ管理部８０４からカメラパラメータ情報を取得する。本ステップが最初のループにおける処理である場合、所定の撮像時刻は、例えば撮像開始時刻である。三次元モデル生成部８０５は、取得したデータを用いて、所定の撮像時刻のオブジェクトの三次元モデルを示す三次元形状情報を生成する。三次元形状情報は、複数の点群からなり、各点の位置情報が含まれる。

Ｓ９０２においてオブジェクト位置履歴管理部８０６は、三次元モデル生成部８０５から、Ｓ９０１で生成された三次元形状情報とその撮像時刻の時刻情報とを取得してＲＯＭ３０２またはＨＤＤ３０４等の記憶部に記憶させる。

Ｓ９０３において三次元モデル生成部８０５は、次の撮像時刻のフレームに含まれるオブジェクトの三次元形状情報が生成できるかを確認する。すなわち撮像コンテンツが終了したかを確認する。具体的には、三次元モデル生成部８０５は、撮像画像データ管理部８０３に次の撮像時刻のフレームに対応する前景画像データがあるか否かを確認する。

次の撮像時刻の前景画像データがある場合（Ｓ９０３がＮＯ）、Ｓ９０１に戻り、Ｓ９０１～Ｓ９０２の処理を繰り返す。オブジェクト位置履歴管理部８０６は、Ｓ９０２の処理が行われる毎に生成されたオブジェクトの三次元形状情報とその撮像時刻を取得して記憶し続ける。Ｓ９０１～Ｓ９０２の処理を繰り返すことで、時間的に連続したオブジェクトの三次元モデルを表す三次元形状情報とオブジェクトの位置履歴情報が生成される。

次の撮像時刻の前景画像データがない場合（Ｓ９０３がＹＥＳ）、Ｓ９０４に進む。Ｓ９０４おいてオブジェクト移動速度算出部８０７は、オブジェクトの位置履歴情報を取得し、単位時間あたりに移動したオブジェクトの移動距離を算出して、オブジェクトの移動速度を算出する。そして、算出した移動速度からオブジェクトの最高速度を算出して、最高速度を保持する。複数のオブジェクトの三次元形状情報が生成された場合は、オブジェクトごとに最高速度を決定する。

Ｓ９０５においてオブジェクト移動速度算出部８０７はユーザによってオブジェクトの指定がされているか判定する。オブジェクト指定部８０９が指定オブジェクト情報を取得している場合（Ｓ９０５のＹＥＳ）、Ｓ９０６へ進む。

Ｓ９０６においてオブジェクト移動速度算出部８０７は、指定オブジェクト情報において指定されているオブジェクトの移動速度情報を仮想カメラ情報決定部８１０へ出力する。仮想カメラ情報決定部８１０は、指定されたオブジェクトの最高速度を、仮想カメラの最高速度として設定する。なお、Ｓ９０４の処理は、Ｓ９０６の処理の直前に行われてもよい。

一方、オブジェクトの指定がされてない場合（Ｓ９０５がＮＯ）、Ｓ９０７において仮想カメラ情報決定部８１０は、ユーザによって指示された最高速度を、仮想カメラの最高速度として設定する。

Ｓ９０８において仮想カメラ情報決定部８１０は、ユーザによるコントローラ１３１の操作に応じた入力値に基づき、仮想視点の位置、速度等を表す仮想カメラ情報を生成する。

オブジェクトが指定されている場合、ユーザがコントローラ１３１を介して仮想カメラが最高速度で移動するように操作したときは、指定されたオブジェクトの最高速度で仮想カメラが移動するように仮想カメラ情報が生成される。

Ｓ９０９において仮想視点画像生成部８１１は、仮想カメラ情報決定部８１０から出力された仮想カメラ情報に基づき、背景画像データを仮想カメラから見た形状に投影変換や画像処理を施して仮想視点画像の背景とする。また仮想カメラ情報に基づき、仮想カメラから見たオブジェクトの三次元モデルに対して、実カメラで撮像された画像データの色情報でレンダリングして仮想視点画像を生成する。そして画像出力部８１２を介して仮想視点画像を出力する。

以上説明したように本実施形態では、仮想視点画像の生成において、選手などオブジェクトの移動速度に基づく速度が、ユーザが仮想カメラを操作する際の仮想カメラの最高速度に適用される。このため、本実施形態によれば、オブジェクトを追従するように仮想カメラをユーザが操作することが容易になり、また、ユーザの操作量に対応する仮想視点の移動速度を調整する手間を軽減することができる。

なお、本実施形態は、画像処理システム１００以外のシステムに対して適用してもよい。オブジェクトの最高速度を仮想カメラの速度として適用するかをＯＮ／ＯＦＦで切り替える機能を有していてもよい。

また、オブジェクトの最高速度を算出するための所定期間は、撮像開始時刻から撮像終了時刻またはコンテンツの開始時刻から終了時刻に限られない。所定期間は、例えば、現在の再生時刻から過去の時刻までの期間であってもよい。例えば、現在の再生時刻から３０分前のように所定期間を決めて、オブジェクトの最高速度を決定してもよい。例えば、サッカーの試合における後半のシーンの仮想視点画像を生成する場合、そのサッカー試合の前半の期間を所定期間として、オブジェクトの最高速度を算出してもよい。

また録画されたコンテンツから三次元形状情報を生成して仮想視点画像を生成する場合は、現在の再生時刻から３０分先のように再生時刻から未来の時刻までの期間を所定期間としてオブジェクトの最高速度を決定してもよい。

または、所定期間は、予め決めた期間に限らず、再生時刻に応じて順次変更されてもよい。この場合、所定の頻度で、オブジェクトの最高速度を算出し、その頻度で、前記仮想視点の最高速度を更新してもよい。ユーザが端末装置等から、仮想カメラの最高速度を更新するタイミングを設定してもよい。最高速度を更新するタイミングまで、前に算出されたオブジェクト最高速度を仮想カメラの最高速度に設定し続けてもよい。

例えば、撮像開始時刻から現在の再生時刻までの期間を所定期間としてオブジェクトの最高速度を算出してもよい。そして、オブジェクトの最高速度を更新する再生時刻になったら、撮像開始時刻から現在の再生時刻までの期間を所定期間としてオブジェクトの最高速度を算出してオブジェクトの最高速度を更新し、仮想カメラの最高速度についても順次更新してもよい。

または、所定期間は、１フレームに対応する期間でもよい。例えば、フレーム単位でオブジェクトの速度を解析し、解析されたオブジェクトの速度を仮想カメラの最高速度に設定することで、フレーム単位で仮想カメラの最高速度を更新してもよい。フレーム単位で仮想カメラの最高速度を更新することで、ユーザはコントローラを操作して仮想カメラが最高速度で移動するように指示することで、仮想カメラの移動速度をオブジェクトの移動速度に合わせることができる。このため、オブジェクトを追従するような視点での仮想視点画像を生成する場合において、ユーザは仮想カメラの速度を調整する手間が抑制される。

また、上記の説明ではユーザが指定したオブジェクトの最高速度をオブジェクトの最高速度として仮想カメラの最高速度に設定する方法を説明したが、複数のオブジェクトの最高速度のうち、最も速い速度を仮想カメラの最高速度に設定してもよい。

また、過去の試合や競技を撮像することによって得られた、オブジェクトの位置履歴情報および過去に生成された仮想視点画像に用いられた仮想カメラの移動速度情報を記憶しておいてもよい。そして、異なる試合や競技を撮像して仮想視点画像を生成する場合、記憶されているオブジェクトの位置履歴情報に基づき、仮想カメラの最高速度を設定してもよい。例えば、陸上競技または水泳競技における決勝戦におけるある選手を追従するような仮想視点画像を生成する場合、準決勝におけるその選手の最高速度に基づき、仮想視点の最高速度を設定してもよい。

また、サッカーやバスケットボールなど競技の種別ごとに、オブジェクトの位置履歴情報および仮想カメラの移動速度情報を管理して記憶しておいてもよい。例えば、オブジェクトが１００ｍ走の選手である場合や、スケート選手である場合等に応じて、あらかじめ想定されるオブジェクトの移動速度がＨＤＤ等に記憶される。そして、ある競技を撮像して仮想視点画像を生成する場合は、記憶されている同じ種別の競技のオブジェクトの移動速度に基づき、仮想カメラの最高速度が設定される。

＜実施形態２＞
実施形態１では、ユーザによって指定されたオブジェクトの最高速度を仮想カメラの最高速度に設定する方法を説明した。本実施形態では、複数のオブジェクトの最高速度における縦、横、高さの三次元方向の方向成分の速度を求める。そして仮想視点カメラの最高速度を、求められた複数のオブジェクトの最高速度の方向成分の速度に基づき設定する方法を説明する。本実施形態では、実施形態１からの差分を中心に説明する。特に明記しない部分については実施形態１と同じ構成および処理である。

図１０は、本実施形態の画像処理システム１００に含まれる画像生成装置１０００の機能構成を示すブロック図である。画像生成装置１０００は、図４の画像生成装置１２０の機能に替えて、図１０に示す機能ブロックを有する。実施形態１の画像生成装置１２０と同一の機能のブロックについては同じ番号を付して説明を省略する。

移動速度算出指示部１００１は、移動速度算出指示がユーザによって入力された場合、ユーザ入力データに含まれる移動速度算出指示をオブジェクト移動速度算出部１００２に出力する。例えば、端末装置１３０に接続されたコントローラ１３１または表示部１３２に、移動速度算出指示するためのボタンが割り当てられており、ユーザがそのボタンを押下することで移動速度算出指示が画像生成装置１２０に受け付けられる。

オブジェクト移動速度算出部１００２は、実施形態１のオブジェクト移動速度算出部８０７と同様にオブジェクトの最高速度を算出する。そして、本実施形態のオブジェクト移動速度算出部１００２は、それぞれのオブジェクトの最高速度における、縦方向（Ｘ方向）、横方向（Ｙ方向）、高さ方向（Ｚ方向）の各方向成分の速度を算出する。単位時間は実施形態１と同様に１秒として説明するが、分、時などを単位時間としてもよい。

図１１は、本実施形態に係る画像生成装置１０００による画像処理を示すフローチャートである。図１１に示す処理は、ＣＰＵ３０１がＲＯＭ３０２に記憶された制御プログラムを読み出して実行することにより実現される。Ｓ１１０１～Ｓ１１０４の処理は、Ｓ９０１～Ｓ９０４と同一であるため説明を省略する。

Ｓ１１０５において移動速度算出指示部１００１は、受付部８０８を介して取得されたユーザ入力データに移動速度算出指示が含まれるかを判定する。ユーザ入力データに移動速度算出指示が含まれていない場合（Ｓ１１０５がＮＯ）、Ｓ１１０７に進み、Ｓ９０７と同様に、仮想カメラ情報決定部８１０は、ユーザによって指定された最高速度を仮想カメラの最高速度に設定する。

ユーザ入力データに移動速度算出指示が含まれている場合（Ｓ１１０５がＹＥＳ）、移動速度算出指示部１００１は、移動速度算出指示をオブジェクト移動速度算出部１００２に出力してＳ１１０６に進む。

Ｓ１１０６においてオブジェクト移動速度算出部１００２は、オブジェクト位置履歴管理部８０６からオブジェクトの位置履歴情報を取得する。そして、オブジェクト移動速度算出部１００２は、実施形態１と同様に、オブジェクトの位置履歴情報から単位時間あたりに移動したオブジェクトの移動距離を測定して、オブジェクトの移動速度を算出する。オブジェクト移動速度算出部１００２は、算出した移動速度から所定期間内のオブジェクトの最高速度を決定して、決定した最高速度を保持する。複数のオブジェクトがある場合は、オブジェクトごとの最高速度を決定して保持する。そして、オブジェクト移動速度算出部１００２は、それぞれのオブジェクトの最高速度の、Ｘ方向、Ｙ方向、Ｚ方向の各方向成分の速度を算出する。

仮想カメラ情報決定部８１０は、オブジェクト移動速度算出部１００２によって算出された方向成分の速度から、方向成分ごとの、最も速い速度を決定する。各方向成分の最も速い速度を、仮想カメラの最高速度における方向成分の速度とすることにより、仮想カメラの最高速度を設定する。

Ｓ１１０８～Ｓ１１０９の処理は、Ｓ９０８～Ｓ９０９と同様であるため説明を省略する。

図１２は、オブジェクトの最高速度に基づき仮想カメラの最高速度を設定する方法を説明するための図である。撮像画像に含まれるオブジェクト１２０１とオブジェクト１２０２との三次元モデルが生成された場合、図１２（ａ）に示すように、オブジェクト１２０１の最高速度は、Ｘ方向に１０ｍ／秒、Ｙ方向に５ｍ／秒と算出されたことを示している。また、オブジェクト１２０２の最高速度は、Ｘ方向に２ｍ／秒、Ｙ方向に７ｍ／秒と算出されたことを示している。図１２（ａ）の例では、オブジェクトの移動方向にＺ方向成分は含まれないため、Ｚ方向成分の記載は省略している。

図１２（ａ）のオブジェクトの最高速度における各方向成分の速度に基づき、仮想カメラの最高速度は、図１２（ｂ）に示すように設定される。仮想視点カメラの最高速度のＸ方向成分の速度は、オブジェクト１２０１およびオブジェクト１２０２の最高速度のＸ方向成分の速度のうち、最も速い（値が最も大きい）、オブジェクト１２０１の１０ｍ／秒に設定される。同様に、仮想視点カメラの最高速度のＹ方向成分の速度は、オブジェクト１２０１およびオブジェクト１２０２の最高速度のＹ方向成分の速度のうち、最も速い（値が最も大きい）オブジェクト１２０２の７ｍ／秒に設定される。

図１３は、端末装置１３０に表示された、複数のオブジェクトの最高速度に基づき仮想カメラの最高速度が設定された仮想カメラから見た仮想視点画像の表示例である。本実施形態では、仮想カメラの最高速度は、三次元モデルが生成された全オブジェクトの最高速度に基づき設定される。このため、仮想カメラがオブジェクトを追従するような仮想視点画像を生成する場合、仮想カメラがどのオブジェクトを追従する場合でも、仮想カメラの画角内に追従するオブジェクトが収められなくなることが軽減される。なお、図１３に示すように仮想カメラの最高速度を表示することで、オブジェクトの移動速度に基づき仮想カメラの最高速度が設定されたことを示すようにしてもよい。

以上説明したように本実施形態においては、仮想視点画像を生成するための仮想カメラの最高速度を、複数のオブジェクトの最高速度に基づき設定される。このため、複数のオブジェクトの移動速度に違いがある場合でも、ユーザはオブジェクトを追従するように仮想カメラを操作することができる。

＜実施形態３＞
本実施形態では、三次元空間内の所定の領域に位置するオブジェクトの最高速度に基づき、仮想カメラの最高速度を設定する方法を説明する。本実施形態では、実施形態１からの差分を中心に説明する。特に明記しない部分については実施形態１と同じ構成および処理である。

図１４は、本実施形態の画像処理システム１００に含まれる画像生成装置１４００の機能構成を示すブロック図である。画像生成装置１４００は、図４の画像生成装置１２０の機能に替えて、図１４に示す機能ブロックを有する。実施形態１の画像生成装置１２０と同一の機能ブロックについては同じ番号を付して説明を省略する。

領域指定部１４０１は、受付部８０８を介して取得されたユーザ入力データに領域の指定の指示が含まれているかを確認する。領域指定部１４０１は、ユーザによる領域の指定の指示がある場合、仮想視点画像を生成するための三次元空間内の所定領域の情報をオブジェクト移動速度算出部１４０２へ出力する。所定領域は、例えば、仮想カメラの位置を中心とする（例えば半径１０ｍ）の円形領域である。所定領域の形状は円形に限らず矩形や不規則の形状でもよい。または、高さの情報を持つ空間を所定領域としてもよい。所定領域は、ユーザによって指定された三次元空間内の領域でもよい。

オブジェクト移動速度算出部１４０２は、実施形態２のオブジェクト移動速度算出部１００２と同様にオブジェクトの最高速度を算出し、最高速度における各方向成分の速度を算出する。本実施形態のオブジェクト移動速度算出部１４０２は、領域指定部１４０１から取得した所定領域内にオブジェクトが存在するかを確認し、所定領域内のオブジェクトごとに最高速度を算出する。

図１５は、本実施形態の画像生成装置１４００による画像処理を示すフローチャートである。図１５に示す処理は、ＣＰＵ３０１がＲＯＭ３０２に記憶された制御プログラムを読み出して実行することにより実現される。Ｓ１５０１～Ｓ１５０４の処理は、Ｓ９０１～Ｓ９０４と同一であるため説明を省略する。

Ｓ１５０５において領域指定部１４０１は、受付部８０８が取得したユーザ入力データに領域の指定の指示が含まれるか判定する。ユーザによる領域の指定の指示がされていない場合（Ｓ１５０５がＮＯ）、Ｓ１５０７ではＳ９０７と同様に、ユーザによって指定された最高速度が仮想カメラの最高速度に設定される。

ユーザにより領域の指定の指示がされている場合（Ｓ１５０５がＹＥＳ）、Ｓ１５０６に進む。Ｓ１５０６においてオブジェクト移動速度算出部１４０２は、三次元空間内の所定領域内にオブジェクトがあるか確認し、所定領域内のオブジェクトごとの最高速度を算出する。最高速度の算出方法は、Ｓ１１０６と同様であるため説明を省略する。

そして、オブジェクト移動速度算出部１４０２は、所定領域内のそれぞれのオブジェクトの最高速度の、Ｘ方向、Ｙ方向、Ｚ方向の各方向成分の速度を算出する。

仮想カメラ情報決定部８１０は、オブジェクト移動速度算出部１４０２によって算出された方向成分の速度から、方向成分ごとの、最も速い速度を決定する。各方向成分の最も速い速度を、仮想カメラの最高速度における方向成分の速度とすることにより、仮想カメラの最高速度を設定する。

Ｓ１５０８～Ｓ１５０９の処理は、Ｓ９０８～Ｓ９０９と同様であるため説明を省略する。

図１６は、本実施形態の方法による仮想視点画像の生成を説明するための図である。図１６（ａ）と図１６（ｂ）とは、オブジェクト１６０１、１６０２の三次元モデルが生成されている同じ三次元空間を表しているが、図１６（ａ）と図１６（ｂ）とでは所定領域として異なる領域が指定されている。領域１６１１、１６１２は、最高速度を算出する対象となるオブジェクトを決定するための、仮想カメラの位置を中心とした所定領域を示す。

図１６（ａ）では、仮想カメラの位置を中心とする領域１６１１内に、オブジェクト１６０１が含まれているがオブジェクト１６０２が含まれていない例を示している。また、図１６（ｂ）では、仮想カメラの位置を中心とする領域１６１２内にオブジェクト１６０１およびオブジェクト１６０２が含まれている例を示している。

図１７は、図１６（ａ）において領域１６１１が所定領域として指定された場合の、仮想カメラの最高速度を設定する方法を説明するための図である。図１６（ａ）に示した三次元空間の領域１６１１内のオブジェクトの最高速度を方向成分は、図１７（ａ）に示すように、Ｘ方向は１０ｍ／秒、Ｙ方向は５ｍ／秒であるものとする。この場合、仮想カメラの最高速度は、図１７（ｂ）に示すように、Ｘ方向成分は１０ｍ／秒、Ｙ方向は５ｍ／秒の速度として設定される。

図１８は、図１６（ｂ）において領域１６１２が所定領域として指定された場合の、仮想カメラの最高速度を設定する方法を説明するための図である。図１６（ｂ）に示した三次元空間の領域１６１２内には、オブジェクト１６０１だけでなくオブジェクト１６０２が含まれる。図１７（ａ）に示すように、オブジェクト１６０１の最高速度の方向成分は、Ｘ方向は１０ｍ／秒、Ｙ方向は５ｍ／秒であり、オブジェクト１６０２の最高速度の方向成分は、Ｘ方向は２ｍ／秒、Ｙ方向は７ｍ／秒であるものとする。この場合、所定領域内に含まれるオブジェクトの最高速度の方向成分から最も大きい値を決定すると、Ｘ方向は１０ｍ／秒、Ｙ方向は７ｍ／秒である。よって、領域１６１２が所定領域として指定された場合、仮想カメラの最高速度は、図１７（ｂ）に示すように、Ｘ方向成分は１０ｍ／秒、Ｙ方向は７ｍ／秒の速度として設定される。

以上説明したように本実施形態によれば、仮想カメラを含む領域として所定領域を決定することで、仮想カメラの近くを移動するオブジェクトを追従するような仮想カメラの操作を容易にすることができる。

＜その他の実施形態＞
上述した実施形態は、任意の実施形態を組み合わせて実施することができる。例えば、実施形態１において、オブジェクトのＺ方向の最高速度に基づいて、仮想カメラのＺ方向の最高速度が設定されてもよい。

また、上述した実施形態においては、オブジェクトの三次元形状を生成し、三次元形状の位置と時刻とに基づいてオブジェクトの移動速度が算出される構成について説明した。しかしながら、オブジェクトの三次元形状に基づかない方法により、オブジェクトの移動速度が取得されてもよい。例えば、オブジェクト移動速度算出部８０７は、撮像装置１１０から得られる動画像から人物などのオブジェクトを検出する。そして、オブジェクト移動速度算出部８０７は、撮像装置１１０のカメラパラメータ及び動画におけるオブジェクトの移動距離に基づいて、実際の空間におけるオブジェクトの移動速度を算出してもよい。また例えば、オブジェクト移動速度算出部８０７は、人物やボールに取り付けられたセンサ等により、オブジェクトの位置を検出して移動速度を算出してもよい。あるいは、オブジェクト移動速度算出部８０７は、センサ等により測定されるオブジェクトの移動速度を取得してもよい。このように、オブジェクトの移動速度の取得方法は種々の方法が使用されてよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２０ 画像生成装置
８０８ 受付部
８０７ オブジェクト移動速度算出部
８１０ 仮想カメラ情報決定部

Claims (19)

1. 複数の撮像装置が複数の異なる方向からオブジェクトを撮像することによって得られた動画像に基づいて、仮想視点から見た仮想視点画像を生成する画像処理装置であって、
   前記仮想視点の移動経路を指示するための操作情報であって、ユーザによるコントローラの操作の内容を示す操作情報を取得する第１の取得手段と、
   前記オブジェクトの移動速度を取得する第２の取得手段と、
   前記操作情報が示す前記コントローラの操作量に応じた前記仮想視点の移動速度を、前記第２の取得手段によって取得された前記オブジェクトの移動速度に基づき決定する決定手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、
   ユーザが前記コントローラを介して指示することが可能な前記仮想視点の最高速度を、前記第２の取得手段によって取得された前記オブジェクトの移動速度に基づき設定し、前記仮想視点の最高速度に基づき、前記操作量に応じた前記仮想視点の移動速度を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、
   前記オブジェクトの移動速度に所定割合を乗算した結果得られた速度を、前記仮想視点の最高速度として設定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記第２の取得手段は、
   前記オブジェクトの移動速度として、前記動画像の撮像開始時刻から撮像終了時刻までの撮像期間のうちの所定期間のオブジェクトの最高速度を取得し、
   前記決定手段は、
   前記オブジェクトの最高速度に基づき、前記仮想視点の最高速度を設定する
   ことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記第２の取得手段は、
   所定の頻度で、前記オブジェクトの最高速度を取得し、
   前記決定手段は、
   前記オブジェクトの最高速度が取得された場合、前記仮想視点の最高速度を更新する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記所定期間は、１フレームに対応する期間である
   ことを特徴とする請求項４または５に記載の画像処理装置。
7. 前記所定期間は、前記撮像期間である
   ことを特徴とする請求項４に記載の画像処理装置。
8. 前記第２の取得手段は、
   前記オブジェクトの最高速度における方向成分の速度を取得し、
   前記決定手段は、
   前記仮想視点の最高速度における方向成分の速度を、前記オブジェクトの最高速度における方向成分の速度に基づき設定することにより、前記仮想視点の最高速度を設定する
   ことを特徴とする請求項４から７のいずれか１項に記載の画像処理装置。
9. 前記第２の取得手段は、
   前記動画像に含まれる複数のオブジェクトの最高速度を取得して、前記複数のオブジェクトの最高速度ごとの方向成分の速度を取得し、
   前記決定手段は、
   前記第２の取得手段によって取得された夫々の最高速度の方向成分の速度から方向成分ごとの最も速い速度を決定し、前記仮想視点の最高速度における方向成分の速度を、前記決定された速度に基づき設定することにより、前記仮想視点の最高速度を設定する
   ことを特徴とする請求項４から７のいずれか１項に記載の画像処理装置。
10. 仮想視点画像を生成する三次元空間内の所定の領域を指定する領域指定手段をさらに有し、
    前記複数のオブジェクトは、前記所定の領域に含まれるオブジェクトである
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記領域指定手段は、ユーザの指示があった場合、前記所定の領域を指定する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記動画像に含まれる複数のオブジェクトから、ユーザの指示に基づきオブジェクトを指定する指定手段をさらに有し、
    前記第２の取得手段は、前記指定されたオブジェクトの移動速度を取得する
    ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
13. ユーザが指示した速度を前記仮想視点の最高速度として設定する設定手段をさらに有し、
    前記決定手段は、
    前記領域指定手段が前記所定の領域を指定した場合、前記操作量に応じた前記仮想視点の移動速度を、前記第２の取得手段によって取得されたオブジェクトの移動速度に基づき決定し、
    前記領域指定手段が前記所定の領域を指定しない場合、前記操作量に応じた前記仮想視点の移動速度を、前記設定手段によって設定された最高速度に基づき決定する
    ことを特徴とする請求項１０または１１に記載の画像処理装置。
14. ユーザが指示した速度を前記仮想視点の最高速度として設定する設定手段をさらに有し、
    前記決定手段は、
    前記指定手段がオブジェクトを指定した場合、前記操作量に応じた前記仮想視点の移動速度を、前記第２の取得手段によって取得されたオブジェクトの移動速度に基づき決定し、
    前記指定手段がオブジェクトを指定しない場合、前記操作量に応じた前記仮想視点の移動速度を、前記設定手段によって設定された最高速度に基づき決定する
    ことを特徴とする請求項１２に記載の画像処理装置。
15. 前記第２の取得手段は、前記動画像に基づき生成された前記オブジェクトの三次元形状データに基づいて前記オブジェクトの移動速度を算出する
    ことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記三次元形状データは前記動画像のフレームごとに生成され、前記三次元形状データに基づき所定の撮像時刻におけるオブジェクトの位置を管理する管理手段をさらに有し、
    前記第２の取得手段は、
    前記オブジェクトの位置に基づき、前記オブジェクトが単位時間で移動した距離を算出することにより前記オブジェクトの移動速度を算出する
    ことを特徴とする請求項１５に記載の画像処理装置。
17. 請求項１から１６のいずれか１項に記載の画像処理装置と、
    前記コントローラと、前記操作情報を前記画像処理装置に送信する送信手段と、を有する装置と、
    を有することを特徴とする画像処理システム。
18. 複数の撮像装置が複数の異なる方向からオブジェクトを撮像することによって得られた動画像に基づいて、仮想視点から見た仮想視点画像を生成する画像処理方法であって、
    前記仮想視点の移動経路を指示するための操作情報であって、ユーザによるコントローラの操作の内容を示す操作情報を取得する第１の取得ステップと、
    前記オブジェクトの移動速度を取得する第２の取得ステップと、
    前記操作情報が示す前記コントローラの操作量に応じた前記仮想視点の移動速度を、前記第２の取得ステップで取得された前記オブジェクトの移動速度に基づき決定する決定ステップと、
    を有することを特徴とする画像処理方法。
19. コンピュータを、請求項１から１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images