JP2021144522A - 画像処理装置、画像処理方法、プログラム、及び画像処理システム - Google Patents

Abstract

【課題】ユーザが快適に視聴可能な仮想視点画像を生成する。【解決手段】画像処理装置は、撮像対象領域を複数の撮像装置（１１０）によって撮像する撮像時間における各撮像時刻と、各撮像時刻に対応する撮像対象領域における被写体の位置情報とに基づいて、撮像時間において撮像対象領域の中で被写体が存在しない位置を特定し、特定された位置に対応する仮想視点画像を生成する。【選択図】図４

Description

本発明は、画像処理装置、画像処理方法、プログラム、及び画像処理システムに関する。

近年、複数のカメラを異なる位置に設置して多視点で同期撮像し、この同期撮像により得られた複数の位置からの撮像画像を用いて、カメラを設置した位置における画像だけでなく任意の視点から見た場合の画像（いわゆる仮想視点画像）を生成する技術がある。この技術を利用すると、例えば、スポーツの試合において、フィールド内における仮想視点画像を生成し、迫力ある画像をユーザに提供できる。

特許文献１には、被写体を取り囲むように複数のカメラを配置して被写体を撮像した画像を用いて、仮想視点画像を生成し、表示する技術が開示されている。

特開２００８−１５７５６号公報

しかしながら、特許文献１には、生成した仮想視点コンテンツにおいて、仮想視点の設定によっては、選手等の被写体が突然現れたり、向かってくることがあるため、ユーザに恐怖感を与えてしまう恐れがあり、ユーザが快適に視聴できないという課題があった。

そこで本発明の一実施形態は、上記の課題に鑑み、ユーザが快適に視聴可能な仮想視点画像を生成することを目的とする。

本発明の一実施形態は、撮像対象領域を複数の撮像装置によって撮像する撮像時間における各撮像時刻と、前記各撮像時刻に対応する前記撮像対象領域における被写体の位置情報とに基づいて、前記撮像時間において前記撮像対象領域の中で被写体が存在しない位置を特定する特定手段と、前記特定手段により特定された位置に対応する仮想視点画像を生成する画像生成手段と、を有することを特徴とする画像処理装置である。

本発明の一実施形態によれば、ユーザが快適に視聴可能な仮想視点画像を生成することが可能になる。

第１の実施形態における画像処理システムを示す図 第１の実施形態における撮像装置の設置例を示す図 第１の実施形態における画像生成装置のハードウェア構成を示すブロック図 第１の実施形態における画像生成装置の機能構成を示すブロック図 第１の実施形態における仮想視点画像の生成処理のフローチャート 第１の実施形態における仮想空間の概念図 第１の実施形態における仮想視点位置を選択するためのＧＵＩ及び仮想視点画像を示す図 第２の実施形態における画像生成装置の機能構成を示す図 第２の実施形態における仮想視点画像の生成処理のフローチャート 第２の実施形態における仮想空間の概念図 第２の実施形態における仮想視点画像を示す図 第３の実施形態における画像生成装置の機能構成を示すブロック図 第３の実施形態における仮想視点画像の生成処理のフローチャート 第３の実施形態における仮想空間の概念図 第３の実施形態における仮想視点位置を選択するためのＧＵＩを示す図 第４の実施形態における画像生成装置の機能構成を示すブロック図 第４の実施形態における仮想視点画像の生成処理のフローチャート 第４の実施形態における仮想空間の概念図 第４の実施形態における被写体の非移動位置及び仮想視点位置を示す図 第４の実施形態における仮想視点画像を示す図

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。また、以下に記載されている構成要素の内容、相対配置等は、特に特定的な記載がない限りは、本発明の範囲をそれらのみに限定する趣旨のものではない。

［第１の実施形態］
＜画像処理システム＞
以下、本実施形態における画像処理システム１００について、図１を用いて説明する。図１は、本実施形態における画像処理システム１００を示す図である。画像処理システム１００は、複数の撮像装置１１０と、画像処理装置の一例である画像生成装置１２０と、端末装置１３０とを有している。各撮像装置１１０と画像生成装置１２０とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル等の通信ケーブルを介して接続されている。尚、ここでは、通信ケーブルはＬＡＮケーブルを用いるものとして説明するが、通信ケーブルはＬＡＮケーブルに限定されない。

撮像装置１１０は、例えば、画像（静止画）及び複数画像より成る映像（動画）を撮像可能なデジタルカメラである。複数の撮像装置１１０が、サッカー場等の競技場や特定の被写体を取り囲むように設置され、画像を撮像する。尚、ここでは、複数の撮像装置１１０がサッカー場を取り囲むように設置されているものとする。撮像装置１１０の撮像により取得された画像データは、撮像装置１１０から画像生成装置１２０に送信される。尚、本明細書において、画像とは画像データのことを指す場合もある。

図２は、撮像装置１１０の設置例を示す図である。本実施形態において、複数の撮像装置１１０は、それぞれサッカー場の全て又は一部が撮像対象領域となるように設置されている。つまり、本実施形態の画像処理システム１００は、複数の撮像装置１１０を含み、撮像装置１１０は被写体を複数の方向から撮像する。

画像生成装置１２０は、撮像装置１１０により得られた撮像画像データを蓄積する。また、画像生成装置１２０は、端末装置１３０におけるユーザの操作により、仮想視点データ及び再生時刻データが入力されると、蓄積された撮像画像データ、並びに、仮想視点データ及び再生時刻データに基づいて、仮想視点画像を生成する。仮想視点データは、撮像画像データより構築される仮想空間における仮想的な視点（仮想視点）の３次元的な位置と角度等を示す情報である。仮想視点データは、撮像装置１１０が撮像した競技場の中央等、所定の位置に対する相対的な位置、つまり所定の位置に対する前後、左右、及び上下の位置の情報を少なくとも含む。また、仮想視点データは、所定の位置からの向き、つまり前後、左右、及び上下を軸とする角度の情報を少なくとも含む。再生時刻情報は、撮像開始時刻から撮像終了時刻までの時間における所定の時刻を示す情報であり、例えば、ユーザによって指定される。再生時刻情報が指定されると、その再生時刻情報に基づく時刻における仮想視点画像が生成される。

画像生成装置１２０は、例えば、サーバであり、データベース機能や、画像処理機能等を有する。競技の開始前等の被写体が存在しない状態の競技会場を予め撮像した撮像装置１１０は、この撮像によって取得した画像データを画像生成装置１２０に送信する。画像生成装置１２０は、受信した画像データを背景画像としてデータベースに予め記憶しておく。また、競技中の選手等、被写体の存在するシーンでは、画像生成装置１２０は、被写体となる特定のオブジェクト等を前景画像としてその画像データを画像処理により分離して、分離した前景画像データを特定オブジェクト画像データとして記憶する。尚、特定オブジェクトは、競技する選手に限らず、例えば、他の特定人物（控え選手、監督、審判等）でもよく、ボールやゴール等、画像パターンが予め定められている物体でもよい。

仮想視点データに対応した仮想視点画像データは、データベースで管理された背景画像データと特定オブジェクト画像データとに基づき生成される。仮想視点画像データの生成方式として、例えば、モデルベースレンダリング（Ｍｏｄｅｌ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）が用いられる。ＭＢＲとは、被写体を複数の方向から撮像した複数の撮像画像データに基づいて生成される三次元モデルを用いて仮想視点画像データを生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ−Ｖｉｅｗ−Ｓｔｅｒｅｏ（ＭＶＳ）等の三次元形状の復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。尚、仮想視点画像データの生成方法は、ＭＢＲ以外のレンダリング手法を用いてもよい。画像生成装置１２０は、生成した仮想視点画像データを、ＬＡＮケーブルなどを介して、端末装置１３０に送信する。

端末装置１３０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレット等の情報処理装置である。コントローラ１３１は、例えば、マウス、キーボード、６軸コントローラ、タッチパネル等である。ユーザは、コントローラ１３１を用いて操作を行い、表示部１３２に静止画や動画を表示する。端末装置１３０は、例えば、画像生成装置１２０が端末装置１３０へ送信した仮想視点画像データに基づく仮想視点画像を表示部１３２に表示する。また、端末装置１３０は、端末装置１３０に接続されたコントローラ１３１に対するユーザ操作に応じて、再生時刻及び仮想視点の移動の指示（移動量と移動方向とに関する指示）を受け付ける。更に、端末装置１３０は、受け付けた指示の内容に関する情報を示す信号を画像生成装置１２０に送信する。

＜画像生成装置のハードウェア構成＞
以下、画像生成装置１２０のハードウェア構成について、図３を用いて説明する。図３は、画像生成装置１２０のハードウェア構成を示すブロック図である。尚、端末装置１３０のハードウェア構成も、以下で説明する画像生成装置１２０の構成と同様である。画像生成装置１２０は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、補助記憶装置３０４、表示部３０５、操作部３０６、通信Ｉ／Ｆ３０７、及びバス３０８を有する。

ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３に格納されているコンピュータプログラムやデータを用いて画像生成装置１２０の全体を制御することで、図４に示す画像生成装置１２０の各機能を実現する。尚、画像生成装置１２０がＣＰＵ３０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ３０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＤＳＰ（デジタルシグナルプロセッサ）等がある。ＲＯＭ３０２は、変更を必要としないプログラム等を格納する。ＲＡＭ３０３は、補助記憶装置３０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ３０７を介して外部から供給されるデータ等を一時記憶する。補助記憶装置３０４は、例えばハードディスクドライブ等を有し、画像データや音声データ等の種々のデータを記憶する。

表示部３０５は、例えば液晶ディスプレイやＬＥＤ等を有し、ユーザが画像生成装置１２０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。操作部３０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等を有し、ユーザによる操作を受けて各種指示をＣＰＵ３０１に入力する。ＣＰＵ３０１は、表示部３０５を制御する表示制御部、及び操作部３０６を制御する操作制御部として動作する。

通信Ｉ／Ｆ３０７は、画像生成装置１２０の外部の装置との通信に用いられる。例えば、画像生成装置１２０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ３０７に接続される。画像生成装置１２０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ３０７はアンテナを有する。バス３０８は、画像生成装置１２０の各部をつないで情報を伝達する。

本実施形態では表示部３０５と操作部３０６とが画像生成装置１２０の内部に存在するものとするが、表示部３０５と操作部３０６との少なくとも一方が画像生成装置１２０の外部に別の装置として存在していてもよい。また、画像生成装置１２０と端末装置１３０とは、異なる構成であってもよい。

＜画像生成装置の機能構成＞
以下、画像生成装置１２０の機能構成について図４を用いて説明する。図４は、画像生成装置１２０の機能構成を示すブロック図である。撮像画像データ入力部４０１は、撮像装置１１０がＬＡＮケーブルを介して画像生成装置１２０へ送信した信号を撮像画像データに変換して、分離部４０２へ出力する。

分離部４０２は、撮像画像データ入力部４０１が分離部４０２へ出力した撮像画像データの内、競技の開始前等、予め被写体が存在しない状態の競技会場を撮像した画像データを背景画像データとして撮像画像データ保存部４０３へ出力する。また、分離部４０２は、競技中に撮像された画像から選手等の被写体を抽出し、前景画像データとして撮像画像データ保存部４０３へ出力する。

撮像画像データ保存部４０３は、データベース機能を有する。撮像画像データ保存部４０３は、分離部４０２が背景画像データとして出力した被写体が存在しない状態で予め撮影された撮像画像データを保存する。また、撮像画像データ保存部４０３は、分離部４０２が前景画像データとして出力した背景画像データと被写体の存在する撮影画像データとの差分データを保存する。また、撮像画像データ保存部４０３は、被写体形状データ生成部４０５に前景画像データを出力する。また、撮像画像データ保存部４０３は、仮想視点画像データ生成部４０９により指定された背景画像データと前景画像データとを仮想視点画像データ生成部４０９へ出力する。

カメラパラメータ保持部４０４は、競技場を取り囲むように設置された複数の撮像装置１１０の位置情報と、これらの撮像装置１１０の焦点距離やシャッタースピード等の撮像装置１１０の設定情報等とをカメラパラメータ情報として、予め保持する。これらの撮像装置１１０は、予め決められた位置に設置されるものとする。また、カメラパラメータ保持部４０４は、カメラパラメータ情報を被写体形状データ生成部４０５及び仮想視点画像データ生成部４０９へ出力する。

被写体形状データ生成部４０５は、撮像画像データ保存部４０３が出力した前景画像データ及びカメラパラメータ保持部４０４が出力したカメラパラメータ情報を用いて、被写体形状を表すデータを生成する。例えば、被写体形状データ生成部４０５は、視体積交差法などの三次元形状の復元手法を用いて被写体形状データを生成する。また、被写体形状データ生成部４０５は、生成した被写体形状データを仮想視点画像データ生成部４０９へ出力する。

位置履歴データ保持部４０６は、撮像開始時刻から撮像終了時刻までの全ての時間における、被写体形状データ生成部４０５が位置履歴データ保持部４０６へ出力した被写体形状の位置情報を被写体形状の位置履歴データとして保持する。例えば、被写体形状の位置情報には、被写体形状の重心の位置や被写体の大きさ等が含まれている。また、位置履歴データ保持部４０６は、被写体形状の位置履歴データを用いて、被写体が存在しない位置を特定し、被写体の非移動位置の情報として、仮想視点データ設定部４０８へ出力する。以降、「被写体の非移動位置」は、単に「非移動位置」と記載する。

ユーザ入力部４０７は、端末装置１３０がＬＡＮケーブルを介して画像生成装置１２０へ出力した信号をユーザ入力データに変換する。また、ユーザ入力部４０７は、ユーザ入力データが再生時刻データ及び仮想視点データを含む場合、再生時刻データ及び仮想視点データを仮想視点データ設定部４０８へ出力する。

仮想視点データ設定部４０８は、ユーザ入力部４０７が仮想視点データ設定部４０８へ出力した仮想視点データに基づいて、仮想空間における現在位置及び方向を含む仮想視点データを更新する。また、位置履歴データ保持部４０６が仮想視点データ設定部４０８へ出力した情報に非移動位置に関する情報が含まれる場合、仮想視点データ設定部４０８は、仮想空間における所定の位置を、非移動位置に設定する。尚、仮想視点の方向と再生時刻とについては、仮想視点データ設定部４０８は、ユーザ入力部４０７を介して入力された情報をそのまま使用するものとする。仮想視点データ設定部４０８は、仮想視点データを更新した後、仮想視点データ及び再生時刻データを仮想視点画像データ生成部４０９へ出力する。尚、仮想空間の原点は、競技場の中心等を予め設定しておくものとする。

仮想視点画像データ生成部４０９は、仮想視点データ設定部４０８が出力した再生時刻データ及び仮想視点データの組に対応する前景画像データ及び背景画像データを撮像画像データ保存部４０３より取得する。また、仮想視点画像データ生成部４０９は、カメラパラメータ情報をカメラパラメータ保持部４０４より取得する。また、仮想視点画像データ生成部４０９は、被写体形状データを被写体形状データ生成部４０５より取得する。仮想視点画像データ生成部４０９は、これらのデータ及び情報を取得した後、背景画像データに対し、仮想視点位置から背景として見えるように投影変換や画像処理等を施して仮想視点画像の背景とする。更に、この次に、仮想視点画像データ生成部４０９は、仮想視点位置から見た被写体形状データに対して、該当時刻に撮像装置１１０によって撮像された画像データの色情報に基づきレンダリング（着色処理）を行うことで、仮想視点画像を生成する。例えば、仮想視点位置から被写体形状データに基づく被写体が見えている状況において、仮想空間における被写体形状の位置から所定の範囲内に撮像装置１１０の位置情報があるケースを想定する。このようなケースでは、仮想視点画像データ生成部４０９は、この撮像装置１１０によって撮像された画像データに基づく前景画像データの色情報を用いて、被写体形状データに対するレンダリングを行う。最後に、仮想視点画像データ生成部４０９は、生成した仮想視点画像データを画像出力部４１０へ出力する。

画像出力部４１０は、仮想視点画像データ生成部４０９が画像出力部４１０へ出力した仮想視点画像データを、端末装置１３０へ送信可能な信号に変換して、画像生成装置１２０から端末装置１３０へ送信する。

＜仮想視点画像の生成処理＞
以下、本実施形態における画像生成装置１２０による仮想視点画像の生成処理について、図５を用いて説明する。図５は、本実施形態における画像生成装置１２０による仮想視点画像の生成処理を示すフローチャートである。

ステップＳ５０１において、被写体形状データ生成部４０５は、撮像画像データ保存部４０３が出力した所定の撮像時刻における前景画像データ及びカメラパラメータ保持部４０４が出力したカメラパラメータ情報を用いて、被写体形状データを生成する。例えば、被写体形状データ生成部４０５は、視体積交差法などの三次元形状の復元手法を用いて被写体形状データを生成する。被写体形状データは、複数の点群より成り、各点は位置情報を含む。以降、ステップＳ〜をＳ〜と略記する。

Ｓ５０２において、位置履歴データ保持部４０６は、被写体形状データ生成部４０５が出力した被写体形状データ及びその撮像時刻を保持する。具体的には、位置履歴データ保持部４０６は、前述の所定の撮像時刻における被写体形状の位置情報を被写体形状の位置履歴データとして、ＲＡＭ３０３又はＲＯＭ３０２に記憶する。

Ｓ５０３において、位置履歴データ保持部４０６は、撮像コンテンツが終了したか判定する。具体的には、位置履歴データ保持部４０６は、被写体形状データ生成部４０５を介して、撮像画像データ保存部４０３に次の再生時刻のフレームがないか判定する。次の再生時刻のフレームがある限り撮像コンテンツは終了しないため、位置履歴データ保持部４０６は、被写体形状データ及びその撮像時刻を保持し続ける。本ステップの判定結果が真の場合、Ｓ５０４に進む。一方、本ステップの判定結果が偽の場合、Ｓ５０１に戻る。

Ｓ５０４において、位置履歴データ保持部４０６は、撮像時間の全ての時刻における被写体形状データに基づき、仮想空間において被写体の移動しなかった位置情報である非移動位置の情報を抽出する。この非移動位置の情報は、撮像時間の全ての時刻における被写体が移動しなかった所定の閾値以上の面積を有する領域の中心の位置の情報を位置履歴データ保持部４０６が抽出することによって取得される。以降、被写体が移動しなかった領域は、非移動領域と記載する。尚、ここでは、非移動位置の情報を抽出可能な範囲は、サッカー等の競技用フィールド全体としているが、非移動位置の情報を抽出可能な範囲は、これに限らない。例えば、非移動位置の情報を抽出可能な範囲は、競技用フィールドの内、サッカーゴールの周辺のみとしてもよい。これにより、試合の見どころが少ない位置を仮想視点位置として設定される可能性が低減される。

Ｓ５０５において、仮想視点データ設定部４０８は、位置履歴データ保持部４０６が出力した非移動位置の情報に基づいて、仮想空間における非移動位置を仮想視点位置として設定する。尚、この仮想空間における非移動位置が複数ある場合、これらの何れか１つをユーザが選択し、この選択に基づいて仮想視点位置を設定するようにしてもよい（図７参照）。

Ｓ５０６において、仮想視点画像データ生成部４０９は、仮想視点データ設定部４０８が出力した仮想視点データに基づき、背景画像データに対し、仮想視点位置から背景として見えるように投影変換や画像処理等を施して仮想視点画像の背景とする。また、仮想視点画像データ生成部４０９は、仮想視点位置から見た被写体形状データに対して、撮像装置１１０によって撮像された画像データの色情報に基づきレンダリング（着色処理）を行うことで、仮想視点画像データを生成する。そして、生成された仮想視点画像データは、画像出力部４１０を介して端末装置１３０へ送信される。

＜仮想空間の概念図＞
以下、本実施形態における仮想空間の概念図について、図６を用いて説明する。図６は、本実施形態における仮想空間の概念図である。この仮想空間は、撮像装置１１０によって撮像された画像データに基づき生成される。図６は、仮想空間において、撮像時間中、被写体が移動した位置を点線で示している。また、図６は、撮像時間において、仮想空間に所定の閾値以上の面積を有する非移動領域が黒い円形領域で示されている。

＜仮想視点位置を選択するためのＧＵＩ及び選択された仮想視点位置に対応する仮想視点画像＞
以下、本実施形態における端末装置１３０の表示部１３２に表示される、仮想視点位置を選択するためのＧＵＩ及び選択された仮想視点位置に対応する仮想視点画像について、図７を用いて説明する。図７は、本実施形態における端末装置１３０の表示部１３２に表示される仮想視点位置を選択するためのＧＵＩ及び選択された仮想視点位置に対応する仮想視点画像の例である。図７（ａ）では、仮想空間において、非移動位置の情報が複数抽出され、仮想視点位置として設定可能な非移動位置が複数存在し、これら複数の非移動位置の内、ユーザが視聴したい位置を選択するケースを想定している。図７（ａ）は、このケースにおいて、ユーザが仮想視点位置７０１を選択した場合に表示部１３２に表示される画面の例を示している。

図７（ｂ）は、図７（ａ）において、ユーザが選択する位置を仮想視点位置とした場合に表示部１３２に表示される仮想視点画像の例である。このように、撮像時間中の被写体の位置履歴データに基づいて導出した非移動位置を仮想視点位置としてユーザが視聴し続ける限り、仮想空間において、競技用フィールド内に仮想視点位置を設定しても被写体は仮想視点へ衝突しない。尚、本明細書では、仮想空間において、被写体が移動した位置が仮想視点位置と重なることを、被写体が仮想視点へ衝突すると表現する場合がある。

［本実施形態の効果］
以上、本実施形態よれば、仮想空間において、競技用フィールド内に仮想視点位置を設定し、仮想視点画像を生成する場合において、被写体は仮想視点へ衝突しない。また、被写体が仮想視点に向かって迫ってくる等のケースが発生しない。そのため、ユーザは快適に仮想視点画像を視聴できる。

尚、本実施形態では、背景画像データと被写体の存在する撮像画像データとの差分データを求めることにより前景画像データを抽出したが、前景画像データを抽出する手段は、これに限定されない。例えば、前景画像データは、認識技術等を用いて抽出されてもよい。

位置履歴データ保持部４０６に保持された被写体の位置履歴データは、試合開始時やハーフタイム後等に初期化できる。また、位置履歴データ保持部４０６に保持された被写体形状の位置履歴データは、ユーザが任意に初期化してもよい。また、位置履歴データ保持部４０６に保持された被写体形状の位置履歴データは、得点シーン等のイベント毎に初期化してもよい。

また、撮像開始時刻から予め決められた所定の時間を過ぎた場合、位置履歴データ保持部４０６は、位置履歴データ保持部４０６に保持された被写体形状の位置履歴データの内、この所定の時間における被写体形状の位置履歴データを削除してもよい。このケースでは、仮想空間において、撮像開始時刻から予め決められた所定の時間に被写体が移動した位置履歴は、ないものとして扱ってよい。

また、被写体は複数でもよい。この場合、まず、それぞれの被写体における非移動領域に基づいて非移動位置の情報を抽出し、撮像時間において全ての被写体形状の位置履歴データがない仮想空間の位置を導出する。次に、導出した位置を仮想視点位置として設定することで、被写体が移動する位置が仮想視点位置と重なることがない。即ち、被写体は仮想視点へ衝突しない。

本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。

［第２の実施形態］
本実施形態では、撮像時間を所定の時間毎に区切り、区切られた撮像時間毎に非移動位置を決定し、区切られた撮像時間毎に仮想視点位置を切り替える。尚、本実施形態における画像処理システム、撮像装置の設置例、及び画像生成装置のハードウェア構成は第１の実施形態と同様のため説明を省略する。

＜画像生成装置の機能構成＞
以下、本実施形態における画像生成装置８００の機能構成について、図８を用いて説明する。図８は、本実施形態における画像生成装置８００の機能構成を示す図である。画像生成装置８００は、図４を用いて説明した、第１の実施形態における画像生成装置１２０の機能モジュールに加えて、間隔設定部８０１を更に有する。尚、間隔設定部８０１を除いた画像生成装置８００の機能構成は、画像生成装置１２０と同様のため説明を省略する。

間隔設定部８０１は、ユーザ入力部４０７が間隔設定部８０１へ出力した時間間隔に関する設定情報に応じた時間間隔を位置履歴データ保持部４０６に設定する。位置履歴データ保持部４０６は、間隔設定部８０１が出力した時間間隔に応じた所定の時間における被写体形状の位置履歴データを保持する。ここで例えば、ユーザ入力部４０７が間隔設定部８０１へ出力した時間間隔に関する設定情報に応じた時間間隔が５分間であるケースを想定する。このケースでは、間隔設定部８０１は、５分間を時間間隔として位置履歴データ保持部４０６に設定する。時間間隔を設定された位置履歴データ保持部４０６は、所定のコンテンツに対する５分間毎の被写体形状の位置履歴データを保持する。また、位置履歴データ保持部４０６は、各々の５分間における非移動位置の情報を仮想視点データ設定部４０８へ出力する。尚、この非移動位置の情報は、所定の閾値以上の面積を有する非移動領域の中心の位置の情報である。尚、このケースにおける画像生成装置による仮想視点画像の生成処理、仮想空間の概念図、及び仮想空間の概念図に応じた端末装置１３０の表示部１３２の表示は、後述する（図９〜図１１参照）。

＜仮想視点画像の生成処理＞
以下、本実施形態における画像生成装置８００による仮想視点画像の生成処理について、図９を用いて説明する。図９は、本実施形態に係る画像生成装置８００による仮想視点画像の生成処理を示すフローチャートである。

Ｓ９０１において、間隔設定部８０１は、ユーザ入力部４０７を介して入力された時間間隔に関する設定情報に応じた時間間隔を位置履歴データ保持部４０６に設定する。例えば、間隔設定部８０１は、ユーザ入力部４０７を介して入力された時間間隔が５分間の場合、５分間を時間間隔として位置履歴データ保持部４０６に設定する。

Ｓ９０２において、被写体形状データ生成部４０５は、撮像画像データ保存部４０３が出力した所定の撮像時刻における前景画像データ及びカメラパラメータ保持部４０４が出力したカメラパラメータ情報を用いて、被写体形状データを生成する。例えば、被写体形状データ生成部４０５は、視体積交差法などの三次元形状の復元手法を用いて被写体形状データを生成する。被写体形状データは、複数の点群より成り、各点は位置情報を含む。

Ｓ９０３において、位置履歴データ保持部４０６は、被写体形状データ生成部４０５が出力した被写体形状データ及びその撮像時刻を保持する。具体的には、位置履歴データ保持部４０６は、前述の所定の撮像時刻における被写体形状の位置情報を被写体形状の位置履歴データとして、ＲＡＭ３０３又はＲＯＭ３０２に記憶する。

Ｓ９０４において、位置履歴データ保持部４０６は、撮像コンテンツが終了したか判定する。具体的には、位置履歴データ保持部４０６は、被写体形状データ生成部４０５を介して、撮像画像データ保存部４０３に次の再生時刻のフレームがないか判定する。次の再生時刻のフレームがある限り撮像コンテンツは終了しないため、位置履歴データ保持部４０６は、被写体形状データとその時刻とを保持し続ける。本ステップの判定結果が真の場合、Ｓ９０５に進む。一方、本ステップの判定結果が偽の場合、Ｓ９０２に戻る。

Ｓ９０５において、位置履歴データ保持部４０６は、間隔設定部８０１が設定した時間間隔に応じた所定の時間における被写体形状データに基づき、仮想空間における非移動位置の情報を抽出する。例えば、時間間隔が５分間の場合、まず、位置履歴データ保持部４０６は、所定の撮像開始時刻から５分間の被写体形状データに基づき非移動位置の情報を抽出する。次に、位置履歴データ保持部４０６は、その次の５分間（撮像開始時刻の５分後から５分間）の非移動位置の情報を抽出する。更に、位置履歴データ保持部４０６は、その次の５分間（撮像開始時刻の１０分間後から５分間）の非移動位置の情報を抽出する、ということを繰り返し、コンテンツの終わりまで５分間毎の非移動位置の情報を順次抽出し続ける。

この非移動位置の情報は、間隔設定部８０１が設定した時間間隔に応じた所定の時間において所定の閾値以上の面積を有する非移動領域の中心の位置の情報を位置履歴データ保持部４０６が抽出することによって取得される。尚、ここでは時間間隔が５分間のケースを例にして説明するが、時間間隔はこれに限らない。例えば、サッカーの試合時間の前半である４５分間や、１秒等の単位時間を時間間隔としてもよい。また、ここでは、非移動位置の情報を抽出可能な範囲は、サッカー等の競技用フィールド全体としているが非移動位置の情報を抽出可能な範囲は、これに限らない。例えば、非移動位置の情報を抽出可能な範囲は、競技用フィールドの内、サッカーゴールの周辺のみとしてもよい。これにより、試合の見どころが少ない位置を仮想視点位置として指定する可能性が低減される。

Ｓ９０６において、仮想視点データ設定部４０８は、仮想空間における非移動位置をＳ９０５で用いた所定の時間における仮想視点位置として設定する。具体的には、仮想視点データ設定部４０８は、位置履歴データ保持部４０６が出力したこの所定の時間に対応する非移動位置の情報に基づいて、仮想空間における非移動位置をこの所定の時間における仮想視点位置に設定する。

Ｓ９０７において、仮想視点画像データ生成部４０９は、仮想視点データ設定部４０８が出力したＳ９０５で用いた所定の時間の情報と仮想視点データとに基づき、背景画像データに対し、仮想視点位置から背景として見えるように投影変換や画像処理等を施す。仮想視点画像データ生成部４０９は、投影変換や画像処理等を施した背景画像データをこの所定の時間における仮想視点画像の背景とする。また、仮想視点位置から見た被写体形状データに対して、撮像装置１１０によって撮像された画像データの色情報に基づきレンダリング（着色処理）を行うことで、この所定の時間における仮想視点画像を生成する。そして、生成された仮想視点画像データは、画像出力部４１０を介して端末装置１３０へ送信される。

＜仮想空間の概念図＞
以下、本実施形態における仮想空間の概念図について、図１０を用いて説明する。図１０は、本実施形態における仮想空間の概念図である。この仮想空間は、撮像装置１１０によって撮像された画像データに基づいて生成される。

図１０（ａ）は、０時０分０秒から０時４分５９秒の間の仮想空間における履歴を示し、図１０（ｂ）は、０時５分０秒から０時９分５９秒の間の仮想空間における履歴を示す。これらの図では、それぞれの時間中、被写体が移動した位置を点線で示している。また、それぞれの時間における非移動領域の内、所定の閾値以上の面積を有する非移動領域が黒い円形領域で示されている。つまり、図１０（ａ）及び図１０（ｂ）は、図１０（ａ）に示される５分間と図１０（ｂ）に示される５分間とにおいて、非移動位置が異なることを示している。

＜端末装置の表示部に表示される仮想視点画像＞
以下、本実施形態における端末装置１３０の表示部１３２に表示される仮想視点画像について、図１１を用いて説明する。図１１は、本実施形態における端末装置１３０の表示部１３２に表示される仮想視点画像の例である。

図１１（ａ）は、図１０（ａ）に示した非移動位置を仮想視点位置として設定した場合の仮想視点画像である。図１１（ｂ）は、図１０（ｂ）に示した非移動位置を仮想視点位置として設定した場合の仮想視点画像である。所定の時間において、被写体の位置履歴データに基づく非移動位置を仮想視点位置として設定し、仮想視点画像を視聴し続ける限り、競技用フィールド内に仮想視点位置を設定しても、被写体は仮想視点へ衝突しない。

［本実施形態の効果］
以上、本実施形態によれば、仮想空間における競技用フィールド内に仮想視点位置を設定し、仮想視点画像を生成する場合において、所定の時間間隔で撮像時間を区切り、所定の時間毎に仮想視点位置を変更する場合でも、被写体は仮想視点へ衝突しない。そのため、ユーザは快適に仮想視点画像を視聴できる。

尚、間隔設定部８０１が設定する時間間隔は、任意の撮像時刻をその開始時刻としてよい。例えば、間隔設定部８０１は、ハーフタイム等を基準として時間間隔を設定してもよいし、また、間隔設定部８０１は、選手の動きやゴールとの距離等の情報に基づいて時間間隔を設定してもよい。例えば、ゴールにボールが近づいた時には、間隔設定部８０１が設定する時間間隔を短くすることで、被写体が激しい動きをしても、被写体は仮想視点へ衝突しないようにすることが可能になる。

また、例えば、間隔設定部８０１が設定する時間間隔は１フレームでもよく、１フレーム以下の短い時間の遅延を設けて、その遅延の間に非移動位置を導出することで、リアルタイムにおいて非移動位置を導出してもよい。

本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。

［第３の実施形態］
本実施形態では、ユーザが入力した仮想視点位置が、仮想空間において、被写体が移動した位置に重なる場合、ユーザが入力した仮想視点位置に最も近い非移動位置を仮想視点位置として設定する。尚、本実施形態における画像処理システム、撮像装置の設置例、画像生成装置のハードウェア構成は第１の実施形態と同様のため説明を省略する。但し、本実施形態では、ユーザが仮想視点位置を任意に指定できるものとする。

＜画像生成装置の機能構成＞
以下、本実施形態における画像生成装置１２００の機能構成について、図１２を用いて説明する。図１２は、本実施形態における画像生成装置１２００の機能構成を示す図である。画像生成装置１２００は、図４を用いて説明した、第１の実施形態における画像生成装置１２０における仮想視点データ設定部４０８の代わりに仮想視点データ調整部１２０１を有する。尚、仮想視点データ設定部４０８及び仮想視点データ調整部１２０１を除いた画像生成装置１２００の機能構成は、画像生成装置１２０と同様のため説明を省略する。

仮想視点データ調整部１２０１は、ユーザ入力部４０７が仮想視点データ調整部１２０１へ出力した仮想視点データに基づいて、仮想空間における現在位置及び方向を含む仮想視点データを更新する。また、仮想視点データ調整部１２０１は、位置履歴データ保持部４０６が仮想視点データ調整部１２０１へ出力した被写体形状の位置履歴データと前述の仮想視点データとを比較し、ユーザが入力した仮想視点位置と重なる位置を被写体が移動したか判定する。この判定結果が真の場合、仮想視点データ調整部１２０１は、非移動位置の情報を被写体形状データ生成部４０５より取得し、仮想視点位置を前述の仮想視点データに基づく位置から非移動位置に変更する。尚、この非移動位置の情報は、所定の閾値以上の面積を有する非移動領域の中心の位置の情報である。また、仮想視点データ調整部１２０１は、仮想空間において、非移動位置が複数存在する場合、ユーザが入力した仮想視点位置から最も近い非移動位置に仮想視点位置を変更する。

尚、仮想視点位置を変更する場合、仮想空間における方向と再生時刻とについては、仮想視点データ調整部１２０１は、ユーザ入力部４０７を介して入力された情報をそのまま使用するものとする。仮想視点データ調整部１２０１は、仮想視点位置の変更後、仮想視点データ及び再生時刻データを仮想視点画像データ生成部４０９へ出力する。

＜仮想視点画像の生成処理＞
以下、本実施形態における画像生成装置１２００による仮想視点画像の生成処理について、図１３を用いて説明する。図１３は、本実施形態における画像生成装置１２００による仮想視点画像の生成処理を示すフローチャートである。尚、図１３に示す処理の内、図５に示すＳ５０１〜Ｓ５０４と同じ符号で示された処理については、図５における処理と同様であるため説明を省略する。

Ｓ１３０１において、仮想視点データ調整部１２０１は、ユーザ入力部４０７が仮想視点位置の情報を出力したか判定する。本ステップの判定結果が真の場合、Ｓ１３０２に進む。一方、本ステップの判定結果が偽の場合、仮想視点位置の情報が入力されるまで待機する。

Ｓ１３０２において、仮想視点データ調整部１２０１は、仮想空間において、ユーザ入力部４０７が出力した仮想視点位置の情報に基づく仮想視点位置と被写体が移動した位置とが重なるか判定する。本ステップの判定結果が真の場合、Ｓ１３０３に進む。一方、本ステップの判定結果が偽の場合、Ｓ１３０４へ進む。

Ｓ１３０３において、仮想視点データ調整部１２０１は、仮想空間において、非移動位置の内、ユーザ入力部４０７が出力した仮想視点位置の情報に基づく仮想視点位置から最も近い非移動位置を仮想視点位置とする。また、仮想視点データ調整部１２０１は、仮想視点データを仮想視点画像データ生成部に出力する。

Ｓ１３０４において、仮想視点画像データ生成部４０９は、仮想視点データ調整部１２０１が出力した仮想視点データに基づき、背景画像データに対し、仮想視点位置から背景として見えるように投影変換や画像処理を施して仮想視点画像の背景とする。また、仮想視点画像データ生成部４０９は、仮想視点位置から見た被写体形状データに対して、撮像装置１１０によって撮像された画像データの色情報に基づきレンダリング（着色処理）を行うことで、仮想視点画像データを生成する。そして、生成された仮想視点画像データは、画像出力部４１０を介して端末装置１３０へ送信される。

＜仮想空間の概念図＞
以下、本実施形態における仮想空間の概念図について、図１４を用いて説明する。図１４は、本実施形態の仮想空間の概念図である。この仮想空間は、撮像装置１１０によって撮像された画像データに基づき生成される。図１４は、仮想空間において、撮像時間中、被写体が移動した位置を点線で示している。また、図１４は、撮像時間において、仮想空間に所定の閾値以上の面積を有する非移動領域が黒い円形領域で示されている。図１４において、ユーザが入力した仮想視点位置１４０１が示されている。図１４は、仮想空間において、ユーザが入力した仮想視点位置１４０１と、被写体の移動した位置とが重なっていることを示している。この場合、仮想空間において、仮想視点位置１４０１に対して最も近い位置にある非移動位置である仮想視点位置１４０２に仮想視点位置は変更される。

＜仮想視点位置を選択するためのＧＵＩ＞
以下、本実施形態における端末装置１３０の表示部１３２に表示される、仮想視点位置を選択するためのＧＵＩについて、図１５を用いて説明する。図１５は、本実施形態における端末装置１３０に表示される、仮想視点位置を選択するためのＧＵＩの例である。図１５では、例えば、サッカーグラウンドを上から見た状態の画像の表示及びカーソルの移動やタッチ操作等のユーザの操作が可能な表示部１３２に対して、サッカーグラウンド上で仮想視点位置１４０１を指定、選択することで仮想視点位置が決定される。

［本実施形態の効果］
以上、本実施形態によれば、ユーザが入力した仮想視点位置が、仮想空間において、被写体が移動した位置と重なる場合、仮想視点位置を非移動位置に変更することで、被写体は仮想視点へ衝突しない。そのため、ユーザが自由に仮想視点位置を選択した場合においても、ユーザは快適に仮想視点画像を視聴できる。

本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。

［第４の実施形態］
本実施形態では、仮想空間において、非移動位置が複数存在する場合、これらに優先度を設定して、この優先度に基づいて仮想視点位置を設定する。尚、本実施形態における画像処理システム、撮像装置の設置例、画像生成装置のハードウェア構成は第１の実施形態と同様のため説明を省略する。

＜画像生成装置の機能構成＞
以下、本実施形態における画像生成装置１６００の機能構成について、図１６を用いて説明する。図１６は、本実施形態における画像生成装置１６００の機能構成を示す図である。画像生成装置１６００は、図４を用いて説明した、第１の実施形態における画像生成装置１２０の機能モジュールに加えて、優先度決定部１６０１を更に有する。尚、優先度決定部１６０１を除いた画像生成装置１６００の機能構成は、画像生成装置１２０と同様のため説明を省略する。

優先度決定部１６０１は、位置履歴データ保持部４０６より取得した非移動位置の情報が複数ある場合、非移動位置に対して優先度を設定する。尚、この非移動位置の情報は、所定の閾値以上の面積を有する非移動領域の中心の位置の情報である。例えば、非移動位置から所定の範囲内において被写体形状の位置履歴データが密集している場合、優先度決定部１６０１は、この非移動位置の優先度を高く設定する。このケースでは、最も優先度が高い非移動位置を仮想視点位置として設定すると、他の非移動位置を仮想視点位置として設定した場合より被写体は仮想視点に近い位置を移動する。一方で、非移動位置から所定の範囲内において被写体形状の位置履歴データが疎である場合、優先度決定部１６０１は、この非移動位置の優先度を低く設定する。優先度が低い非移動位置は、この非移動位置から所定の範囲内に被写体が極端に少なく、仮想視点位置として設定した場合に迫力のある仮想視点画像を視聴できる可能性は低い。尚、優先度の設定方法はこれに限らない。例えば、特定の選手やボール等の位置履歴データに基づく非移動位置の優先度を高く設定するようにしてもよい。また、特定の選手やボール等の位置履歴データに基づく非移動位置のみを対象として優先度の設定を行ってもよい。

＜仮想視点画像の生成処理＞
以下、本実施形態における画像生成装置１６００による仮想視点画像の生成処理について図１７を用いて説明する。図１７は、本実施形態における画像生成装置１６００による仮想視点画像の生成処理を示すフローチャートである。尚、図１７に示す処理の内、図５に示すＳ５０１〜Ｓ５０４と同じ符号で示された処理については、図５における処理と同様であるため説明を省略する。

Ｓ１７０１において、優先度決定部１６０１は、位置履歴データ保持部４０６が出力した非移動位置の情報と被写体形状の位置履歴データとに基づき、非移動位置の優先度情報を生成する。また、優先度決定部１６０１は、非移動位置の情報に対応する優先度情報を位置履歴データ保持部４０６に出力する。これにより、非移動位置の優先度が設定される。例えば、非移動位置から所定の範囲内に対して被写体形状の位置履歴データが密集しているケースでは、優先度決定部１６０１は、その非移動位置の優先度を他の非移動位置より高く設定する。尚、優先度を設定する手段はこれに限定されない。例えば、優先度決定部１６０１は、非移動位置とゴール等の重要な地点との距離や方向等に基づいて、優先度を設定しても構わない。

Ｓ１７０２において、位置履歴データ保持部４０６は、最も優先度が高い非移動位置の情報を仮想視点データ設定部４０８に出力する。仮想視点データ設定部４０８は、位置履歴データ保持部４０６が出力した非移動位置の情報に基づく仮想空間における非移動位置を仮想視点位置として設定する。

Ｓ１７０３において、仮想視点画像データ生成部４０９は、仮想視点データ設定部４０８が出力した仮想視点データに基づき、背景画像データに対し、仮想視点位置から背景として見えるように投影変換や画像処理等を施して仮想視点画像の背景とする。また、仮想視点画像データ生成部４０９は、仮想視点位置から見た被写体形状データに対して、撮像装置１１０によって撮像された画像データの色情報に基づきレンダリング（着色処理）を行うことで、仮想視点画像データを生成する。そして、生成された仮想視点画像データは、画像出力部４１０を介して端末装置１３０へ送信される。

＜仮想空間の概念図＞
以下、本実施形態における仮想空間の概念図について、図１８を用いて説明する。図１８は、本実施形態の仮想空間の概念図である。この仮想空間は、撮像装置１１０によって撮像された画像データに基づき生成される。図１８は、仮想空間において、撮像時間中、被写体が移動した位置を点線で示している。また、撮像時間において、仮想空間に所定の閾値以上の面積を有する非移動領域が黒い円形領域で示されている。また、図１８は、非移動領域の優先度の高さを円形領域内に文字で示している。

＜被写体の非移動位置及び被写体の密集度に基づき導出された仮想視点位置＞
以下、本実施形態における端末装置１３０の表示部１３２に表示される、非移動位置及び被写体の密集度に基づき導出された仮想視点位置について、図１９を用いて説明する。図１９は、本実施形態における端末装置１３０の表示部１３２に表示される、非移動位置及び被写体の密集度に基づき導出された仮想視点位置を示している。また、図１９は、非移動位置の優先度を密集度に基づいて導出し、最も優先度が高い非移動位置を仮想視点位置として設定していることをユーザに示している。

＜端末装置の表示部に表示される仮想視点画像＞
以下、本実施形態における端末装置１３０の表示部１３２に表示される、仮想視点画像について、図２０を用いて説明する。図２０は、本実施形態における端末装置１３０の表示部１３２に表示される、仮想視点画像の例である。この仮想視点画像を生成する際に仮想視点位置として設定された非移動位置は、被写体の密集度が最も高い非移動位置である。そのため、他の非移動位置を仮想視点位置とした場合より迫力ある仮想視点画像をユーザは視聴できる。

［本実施形態の効果］
以上、本実施形態によれば、非移動位置が複数ある場合、これらに優先度を設定し、この優先度が高い非移動位置を仮想視点位置として設定することで迫力ある仮想視点画像をユーザは視聴できる。例えば、被写体の密集度が高くなる位置に近い非移動位置の優先度を高く設定する場合、最も優先度の高い非移動位置を仮想視点位置に設定すると、他の非移動位置を仮想視点位置として設定した場合より迫力ある仮想視点画像をユーザは視聴できる。

本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。

［その他の実施形態］
本発明の一実施形態は、撮影時間の全ての時刻における位置履歴データを使用する必要はない。例えば、本発明の一実施形態は、現在の再生時刻に対して過去となる時刻のみにおける位置履歴データ等、任意の時間における位置履歴データを使用してもよい。

また、本発明の一実施形態は、仮想視点の方向の情報と被写体の進行方向の情報とが関係性を持ち、仮想視点の前方方向に対して被写体が衝突する場合のみ、非移動位置へ仮想視点位置を移動させるものとしてもよい。この場合、仮想視点の後方や側方に対して被写体が衝突する場合については考慮する必要がない。

また、本発明の一実施形態は、仮想視点位置を非移動位置に必ず移動する必要はなく、非移動位置に移動するか否かを任意に切り替え可能なシステムであってもよい。

また、本発明の一実施形態は、非移動位置が存在しない場合、被写体形状の位置履歴データを用いて、仮想空間において被写体の移動が最も少ない位置を導出し、その位置を仮想視点位置として設定してもよい。

また、前述した第１の実施形態〜第４の実施形態では、被写体形状データは、画像生成装置によって生成されるが、被写体形状データは、画像生成装置とは別の装置によって生成されてもよい。本発明の一実施形態は、被写体形状データが画像生成装置とは別の装置によって生成され、画像生成装置が被写体形状データをこの装置より取得するようにしてもよい。

また、前述した第１の実施形態〜第４の実施形態では、被写体形状の位置情報は、被写体形状データに含まれる位置情報に基づいて特定されるが、被写体形状の位置情報は、これ以外の手段によって特定されてもよい。例えば、被写体形状の位置情報は、俯瞰カメラによって検出された被写体の位置情報に基づいて特定されてもよい。また、被写体形状の位置情報は、被写体に付けられたＧＰＳ等の衛星測位システムの受信機及び被写体の位置情報を発信する発信機によって取得された被写体の位置情報に基づいて特定されてもよい。本発明の一実施形態は、被写体形状の位置情報をこれらの手段によって特定しても良い。

本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ 撮像装置
１２０ 画像生成装置
４０５ 被写体形状データ生成部
４０６ 位置履歴データ保持部
４０８ 仮想視点データ設定部
４０９ 仮想視点画像データ生成部

Claims (14)

1. 撮像対象領域を複数の撮像装置によって撮像する撮像時間における各撮像時刻と、前記各撮像時刻に対応する前記撮像対象領域における被写体の位置情報とに基づいて、前記撮像時間において前記撮像対象領域の中で被写体が存在しない位置を特定する特定手段と、
   前記特定手段により特定された位置に対応する仮想視点画像を生成する画像生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記特定手段は、前記撮像時間において前記被写体が移動しなかった所定の閾値以上の面積を有する領域の中心を前記被写体が存在しない位置として特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記被写体が存在しない位置が複数ある場合、前記被写体が存在しない位置をユーザが選択できることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特定手段は、前記各撮像時刻に対応する前記撮像対象領域において、複数の被写体の位置情報が存在する場合、各被写体を対象として、前記撮像時間において前記撮像対象領域の中で被写体が存在しない位置を特定し、
   前記画像生成手段は、全ての被写体において特定された前記被写体が存在しない位置に対応する仮想視点画像を生成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記画像生成手段は、前記撮像時間が所定の時間間隔を設定され、該設定された時間間隔ごとに特定された前記被写体が存在しない位置に対応する仮想視点画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記画像生成手段は、ユーザが入力した仮想視点位置と前記被写体が存在しない位置を除いた位置とが重なる場合、前記ユーザが入力した前記仮想視点位置に最も近い前記被写体が存在しない位置に対応する仮想視点画像を生成することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記画像生成手段は、前記被写体が存在しない位置が複数存在する場合、前記被写体が存在しない位置に優先度を設定し、前記優先度が最も高く設定された前記被写体が存在しない位置に対応する仮想視点画像を生成することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記優先度が最も高い前記被写体が存在しない位置については、その位置から所定の範囲内における被写体形状の位置情報が他の前記被写体が存在しない位置から所定の範囲内における前記被写体形状の位置情報より多いことを特徴とする請求項７に記載の画像処理装置。
9. 前記複数の撮像装置による撮像で取得される複数の撮像画像データと前記複数の撮像装置それぞれのパラメータ情報とに基づいて、被写体の形状を表す被写体形状データを生成する形状データ生成手段をさらに有することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記撮像時間において前記撮像対象領域の中で被写体が存在しない位置は、前記撮像対象領域を前記複数の撮像装置によって撮像する前記撮像時間における前記各撮像時刻と、俯瞰カメラによって検出された被写体の位置情報に基づいて特定されることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記撮像時間において前記撮像対象領域の中で被写体が存在しない位置は、前記撮像対象領域を前記複数の撮像装置によって撮像する前記撮像時間における前記各撮像時刻と、被写体の位置情報を発信する発信機によって取得された被写体の位置情報に基づいて特定されることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
12. 請求項１乃至１１の何れか１項に記載の画像処理装置、前記複数の撮像装置、及び該画像処理装置により送信される仮想視点画像データを受信し、該受信した仮想視点画像データに基づく仮想視点画像を視聴する情報処理装置を有する画像処理システム。
13. 撮像対象領域を複数の撮像装置によって撮像する撮像時間における各撮像時刻と、前記各撮像時刻に対応する前記撮像対象領域における被写体の位置情報とに基づいて、前記撮像時間において前記撮像対象領域の中で被写体が存在しない位置を特定する特定ステップと、
    前記特定ステップにより特定された位置に対応する仮想視点画像を生成する生成ステップと、
    を有することを特徴とする画像処理方法。
14. コンピュータを請求項１乃至１１の何れか１項に記載の画像処理装置として機能させるためのプログラム。

Images