JP2021124980A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Abstract

【課題】 撮像装置の状態の変化について、より多様な状況における変化に対しても、画像コンテンツの品質に対する影響を抑制できるようにする。【解決手段】 複数の画像に含まれる第１の画像における第１の局所特徴の位置と、第１の局所特徴が有する特徴と対応する特徴を有する第２の局所特徴を含む第２の画像であって、複数の画像のうち第１の画像とは異なる第２の画像における第２の局所特徴の位置と、第１の画像に対応する撮像装置の撮像情報と第２の画像に対応する撮像装置の撮像情報とに基づいて、第２の画像と、第２の画像に対応する撮像装置の撮像情報とのうち、少なくともいずれかを補正する情報処理装置。【選択図】 図３

Description

本発明は、情報処理装置、情報処理方法、及び、プログラムに関するものである。

近年、複数の撮像装置により取得された複数の撮像画像を用いて、種々の画像コンテンツを生成する技術が注目されている。画像コンテンツとしては、例えば、仮想視点画像や、パノラマ画像等がある。また、複数の撮像画像に基づく画像コンテンツの生成技術は、被写体（例えば、スポーツ選手など）の姿勢や動きを分析する用途、及び、スポーツの判定用途等にも活用されることが想定される。

例えば、仮想視点画像を生成する場合は、撮像領域の周囲に複数の撮像装置を配置して撮像を行い、それぞれの撮像装置から得られた複数の撮像画像を用いて、指定された視点（仮想視点）から見た画像（仮想視点画像）が生成される。このとき、複数の撮像画像と、あらかじめ設定された複数の撮像装置の位置、姿勢及び焦点距離等の、撮像装置の状態を示す情報を利用して、仮想視点画像に表示させるための、被写体の形状データの生成が行われる。しかしながら、撮像画像の取得の際に、撮像装置が振動したり、レンズの位置や特性が変化することにより、撮像装置の位置、姿勢及び焦点距離等が変化する場合がある。つまり、撮像装置の状態が変化する。この場合、撮像装置の状態の変化を考慮せずに形状データの生成が行われると、生成される形状データの精度が低下し、さらには仮想視点画像の品質（画質）が低下してしまう。このように、撮像装置の状態の変化は、生成される画像コンテンツの品質に影響を及ぼす場合がある。

特許文献１には、撮像装置の振動による、撮像装置の状態の変化の影響を抑制する方法について記載されている。特許文献１には、同じ基部に取り付けられた複数の撮像装置について、各撮像装置が同一の振動を受けていることを利用し、複数の撮像装置が振動することによる撮像画像のずれを補正する方法が記載されている。

特開２０１７−６９９２０号公報

しかしながら、特許文献１に記載の技術においては、複数の撮像装置のそれぞれが異なる振動を受ける場合には、適切な補正ができない可能性があった。

本発明は上記の課題に鑑みてなされたものである。その目的は、撮像装置の状態の変化について、より多様な状況における変化に対しても、画像コンテンツの品質に対する影響を抑制できるようにすることである。

本発明に係る情報処理装置は、複数の撮像装置が所定の時刻に異なる方向から撮像領域を撮像することに基づいて、画像コンテンツの生成のために使用される複数の画像を取得する画像取得手段と、前記取得手段により取得された前記複数の画像に対応する前記複数の撮像装置の、位置及び姿勢の少なくともいずれかを示す情報を含む複数の撮像情報を取得する情報取得手段と、前記画像取得手段により取得された複数の画像に含まれる第１の画像における第１の局所特徴の位置と、前記第１の局所特徴が有する特徴と対応する特徴を有する第２の局所特徴を含む第２の画像であって、前記画像取得手段により取得された複数の画像のうち、前記第１の画像とは異なる第２の画像における前記第２の局所特徴の位置と、前記情報取得手段により取得された前記第１の画像に対応する撮像装置の撮像情報と、前記情報取得手段により取得された前記第２の画像に対応する撮像装置の撮像情報とに基づいて、前記第２の画像と、前記第２の画像に対応する撮像装置の撮像情報とのうち少なくともいずれかを補正する補正手段とを有することを特徴とする。

本発明によれば、撮像装置の状態の変化について、より多様な状況における変化に対しても、画像コンテンツの品質に対する影響を抑制することができる。

情報処理システムの構成を説明するための図である。 画像処理装置の機能構成を説明するための図である。 フロントエンドサーバの機能構成を説明するための図である。 画像処理装置及びフロントエンドサーバが実行する処理を説明するためのフローチャートである。 第２の補正処理の詳細を説明するためのフローチャートである。 補正用の撮像装置を含む情報処理システムの構成を説明するための図である。 情報処理システムが有するフロントエンドサーバのハードウェア構成を説明するための図である。 複数の撮像装置の配置の一例を示す図である。

以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、本発明の実施の形態の一例を示すものであり、本発明をそれらのみに限定するものではない。

（第１の実施形態）
本実施形態においては、複数の撮像装置を有するシステムの一例として、仮想視点画像を生成するための処理を行う情報処理システムについて説明する。仮想視点画像とは、複数の撮像装置による撮像に基づく複数の画像と、指定された視点（仮想視点）とに基づいて、指定された仮想視点からの見えを表す画像である。また、本実施形態における仮想視点画像は、自由視点画像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態における仮想視点画像は、静止画及び動画のいずれであってもよい。また、情報処理システムが扱う画像データについても、静止画及び動画のいずれであってもよい。すなわち、本実施形態の情報処理システムは、静止画及び動画の何れについても処理可能であるものとする。

本実施形態における情報処理システムが有する各装置のハードウェア構成について、図７を用いて説明する。図７に示すフロントエンドサーバ２１０は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、補助記憶装置７０４、表示部７０５、操作部７０６、通信Ｉ／Ｆ７０７、及びバス７０８を有する。なお、後述する画像処理装置、制御ステーション及びバックエンドサーバについても、ＣＰＵ、ＲＯＭ、ＲＡＭ、補助記憶装置、表示部、操作部、通信Ｉ／Ｆ、及びバスの少なくともいずれかを有するハードウェア構成となりうる。ここでは、各部の特徴について、フロントエンドサーバ２１０を例として説明する。

ＣＰＵ７０１は、ＲＯＭ７０２やＲＡＭ７０３に格納されているコンピュータプログラムやデータを用いてフロントエンドサーバ２１０の全体を制御することで、フロントエンドサーバ２１０が有する各処理部の機能を実現する。なお、フロントエンドサーバ２１０がＣＰＵ７０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ７０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ７０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ７０３は、補助記憶装置７０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ７０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置７０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部７０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザがフロントエンドサーバ２１０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部７０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ７０１に入力する。ＣＰＵ７０１は、表示部７０５を制御する表示制御部、及び操作部７０６を制御する操作制御部として動作する。

通信Ｉ／Ｆ７０７は、フロントエンドサーバ２１０の外部の装置との通信に用いられる。例えば、フロントエンドサーバ２１０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ７０７に接続される。フロントエンドサーバ２１０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ７０７はアンテナを備える。バス７０８は、フロントエンドサーバ２１０の各部をつないで情報を伝達する。

図７においては表示部７０５と操作部７０６とがフロントエンドサーバ２１０の内部に存在するが、これに限定されない。表示部７０５と操作部７０６との少なくとも一方がフロントエンドサーバ２１０の外部に別の装置として存在していてもよい。また、表示部７０５と操作部７０６とのいずれか又は両方がない構成であってもよい。これらは、後述する画像処理装置、制御ステーション及びバックエンドサーバについても同様である。なお、以降説明する実施形態においては、後述する表示装置及び仮想視点操作ＵＩが、それぞれフロントエンドサーバ２１０の外部に接続された表示部７０５及び操作部７０６に対応する。

次に、本実施形態における情報処理システムの構成について説明する。図１は、情報処理システム１０の構成を説明する図である。情報処理システム１０は、複数の撮像システム１００ａ〜１１０ｎ、サーバシステム２００、制御ステーション３００、入出力システム４００、及び、スイッチングハブ５００を有する。以下、各部について説明する。

撮像システム１００ａは、撮像装置１１０ａ及び画像処理装置１２０ａを有する。なお、撮像システム１００ｂ〜１００ｎについても同様に、それぞれ撮像装置１１０ｂ〜１１０ｎ及び画像処理装置１２０ｂ〜１２０ｎを有する構成となっている。以降の説明においては、特別な説明がない場合は撮像システム１００ａ〜１１０ｎ及びこれらに含まれる撮像装置１１０ｂ〜１１０ｎ及び画像処理装置１２０ｂ〜１２０ｎを区別せず、単に撮像システム１００、撮像装置１１０、画像処理装置１２０と記載する。また、撮像システム１００の数は、２台以上であるものとする。

複数の撮像装置１１０は、制御ステーション３００から送信される撮像指示を、スイッチングハブ５００を介して受信し、撮像タイミングを同期させた状態で撮像を行う。ここで、複数の撮像装置１１０の配置の一例を、図８を用いて説明する。複数の撮像装置１１０は、図８に示すように、撮像領域１を囲むように配置され、撮像領域を異なる方向から撮像する。は、撮像領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。なお、複数の撮像装置１１０は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては所定の位置にのみ設置されていてもよい。また、複数の撮像装置１１０は、同一の基部に固定されていなくてもよく、例えばそれぞれの撮像装置１１０が異なる柱等に固定されてよい。

また、撮像装置の数は図に示す例に限定されず、例えば撮像領域をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮像装置が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置が設置されていてもよい。複数の撮像装置１１０は、撮像領域を撮像することにより得られた撮像画像を、画像処理装置１２０に送信する。

画像処理装置１２０は、接続されている撮像装置１１０から送信される撮像画像を取得し、取得した撮像画像に対して所定の画像処理を実行する。画像処理装置１２０において実行される画像処理の詳細については後述する。画像処理装置１２０は、画像処理を実行することにより取得した画像データを、スイッチングハブ５００を介してサーバシステム２００に送信する。

サーバシステム２００は、フロントエンドサーバ２１０、データベース２２０、及び、バックエンドサーバ２３０を有する。フロントエンドサーバ２１０は、撮像システム１００から送信された画像データに基づいて仮想視点映像を生成するための所定の画像処理を実行する。フロントエンドサーバ２１０が実行する画像処理の詳細については後述する。フロントエンドサーバ２１０は、所定の画像処理を行うことにより、被写体（例えば、撮像領域における人物やボールなど）の形状を表す形状データ、及び形状データの色を表すテクスチャデータ等の画像データを生成する。フロントエンドサーバ２１０は、生成した画像データをデータベース２２０に記憶する。

バックエンドサーバ２３０は、入出力システム４００における仮想視点操作ＵＩ４１０に対する入力を取得する。仮想視点操作ＵＩ４１０は、仮想視点の指定に係る操作を行うためのＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する。ユーザは、仮想視点操作ＵＩ４１０を操作することにより、仮想視点の視点位置及び視線方向等の指定を行うことができる。仮想視点操作ＵＩ４１０が受け付けた入力は、仮想視点の視点位置及び仮想視点からの視線方向を示すパラメータを含む仮想視点情報としてバックエンドサーバ２３０に送信される。バックエンドサーバ２３０は、仮想視点操作ＵＩ４１０から送信される仮想視点情報を取得し、取得した仮想視点情報に基づいて指定される仮想視点に対応する仮想視点画像を生成するために必要な画像データを、データベース２２０から取得する。バックエンドサーバ２３０は、取得した画像データを用いてレンダリング処理を行うことにより、仮想視点画像を生成する。生成された仮想視点画像は、入出力システム４００における表示装置４２０に送信され、表示される。なお、本実施形態においては、仮想視点を指定するための操作に基づいて取得される仮想視点情報は、仮想視点の視点位置及び仮想視点からの視線方向を示すパラメータを含むものとして説明したが、仮想視点情報に含まれる情報はこれに限定されない。例えば、仮想視点の画角に関する情報が含まれていてもよい。また、仮想視点の視点位置、仮想視点からの視線方向及び仮想視点の画角の少なくともいずれかが仮想視点情報に含まれていてもよい。

また、サーバシステム２００の構成は、図１に示す構成に限定されない。例えば、フロントエンドサーバ２１０、データベース２２０、及び、バックエンドサーバ２３０のうち少なくとも２つが一体となって構成されてもよい。また、サーバシステム２００の機能の少なくとも一部を、画像処理装置１２０又は入出力システム４００が有する構成であってもよい。

制御ステーション３００は、スイッチングハブ５００を介して撮像システム１００位及びサーバシステム２００に接続され、撮像システム１００及びサーバシステム２００の管理及び撮像の制御等を行う。また、制御ステーション３００は、複数の撮像装置１１０の状態を示す撮像パラメータを取得するためのキャリブレーション処理を撮像装置１１０に実行させるように制御する。ここで、撮像パラメータは、位置、姿勢、レンズの焦点距離、及び、レンズの歪み等を示す情報を含む撮像情報である。なお、撮像パラメータは、位置、姿勢、レンズの焦点距離、及び、レンズの歪み等のすべての情報を含んでいなくてもよく、位置及び姿勢の少なくともいずれかを含んでいればよい。また、上記以外の情報を更に含んでいてもよい。

次に、情報処理システム１０における画像処理装置１２０の機能構成について、図２を用いて説明する。画像処理装置１２０は、画像取得部１２０１、第一ずれ補正部１２０２、前景抽出部１２０３、特徴抽出部１２０４、伝送部１２１０、及び、撮像装置制御部１２２０を有する。伝送部１２１０は、スイッチングハブ５００と接続され、スイッチングハブ５００を介して制御ステーション３００及びサーバシステム２００等の外部の装置との通信を行う。

制御ステーション３００から撮像の指示に関する情報が送信されると、撮像装置制御部１２２０は伝送部１２１０を介して情報を取得し、取得した情報に基づいて撮像装置１１０を制御する。撮像装置１１０は、撮像制御部１２２０による制御にしたがって撮像領域を撮像し、撮像により得られた撮像画像を画像取得部１２０１に送信する。また、撮像装置制御部１２２０は、制御ステーション３００からの指示に基づいてキャリブレーション処理を撮像装置１１０に実行させ、撮像装置１１０の撮像パラメータを取得する。撮像装置制御部１２２０は、取得した撮像パラメータを、伝送部１２１０に送信する。このとき、複数の撮像装置１１０のうちいずれの撮像装置１１０に対応する撮像パラメータかを識別可能にするための撮像装置ＩＤ等が紐づけされた状態で送信される。画像取得部１２０１は、撮像装置１１０から送信される撮像画像を取得し、第一ずれ補正部１２０２及び特徴抽出部１２０４に送信する。

第一ずれ補正部１２０２、前景抽出部１２０３、及び、特徴抽出部１２０４は、画像取得部１２０１が取得した撮像画像に対して所定の画像処理を行うことにより、撮像画像に基づく画像データを取得する。以下、各処理部が行う画像処理の内容について説明する。

特徴抽出部１２０４は、画像取得部１２０１から送信された撮像画像から、一以上の特徴点を抽出する。特徴点は、例えばサッカーのフィールドが撮像される場合は、フィールドライン同士の交点、フィールドの端点等が特徴点として抽出される。ただしこれに限定されない。例えば、フィールドラインなど線上のものが抽出されてもよいし、面積を持った所定の領域が抽出されてもよい。また、特徴点が所定サイズのパッチ（例えば、３×３画素）であってもよい。すなわち、特徴抽出部１２０４は、所定の特徴を有する点、線、又は領域等の局所的な特徴（局所特徴）を抽出する。本実施形態においては、局所特徴として、特徴点が抽出される例について説明するが、本実施形態は、線又は領域などの局所特徴が抽出される場合についても適用可能である。

特徴抽出部１２０４により抽出される特徴点としては、異なる時刻においても位置が変化しないオブジェクトに基づく特徴点が多いほど、後述する第一ずれ補正部１２０２が行う処理の精度が向上することが期待される。特徴抽出部１２０４は、抽出した特徴点の位置を示す情報（以下、特徴点の位置情報という）と、各特徴点が有する特徴を表す情報が含まれる特徴情報とを、第一ずれ補正部１２０２に送信する。特徴点の位置情報は、例えば画像上における特徴点の二次元座標を示す。なお、所定の特徴を有する領域及びパッチ等が抽出された場合は、例えば領域及びパッチ等の代表点の二次元座標が位置情報として送信される。また、特徴情報には、特徴点に対応する撮像画像上の画素及び当該画素の周辺の画素に基づく情報等が含まれる。

また、特徴抽出部１２０４は、後述する第一ずれ補正部１２０２から送信される画像データにおける複数の特徴点を抽出する。ここで抽出した特徴点は、後述するフロントエンドサーバ２１０において行われる画像処理に使用される。取得する情報及び抽出方法等は、上述した方法と同様であるものとする。ただしこのとき抽出される特徴点は、撮像領域において動きのある（位置が変化する）オブジェクトに基づく特徴点であっても構わない。特徴抽出部１２０４は、抽出した特徴点の位置情報と各特徴点の特徴情報とを、伝送部１２１０に送信する。

第一ずれ補正部１２０２は、画像取得部１２０１から送信された撮像画像を補正するための補正処理（以下、第１の補正処理）を行う。撮像装置１１０が複数回撮像を行う際に、例えば風や設置場所への衝撃等により撮像装置１１０が振動したり、温度変化等により撮像装置１１０内のレンズの位置又は特性が変化したりする場合がある。このような撮像装置の状態の変化により、複数の撮像により得られる撮像画像間でずれが発生する場合がある。撮像装置の状態の変化によるずれは、例えば撮像装置の位置の変化による撮像位置のずれ、撮像装置の姿勢の変化による撮像方向のずれ、及びレンズの位置又は特性の変化により撮像時に拡大／縮小されるズームずれ等がある。第一ずれ補正部１２０２は、異なる複数の時刻に撮像が行われることにより取得される複数の撮像画像に基づいて、上述したずれを補正する処理を行う。

第一ずれ補正部１２０２が行う第１の補正処理について説明する。第一ずれ補正部１２０２は、画像取得部１２０１から、所定の時刻に撮像が行われることにより得られた撮像画像を取得する。このとき、撮像画像は特徴抽出部１２０４にも送信される。

第一ずれ補正部１２０２は、特徴抽出部１２０４から送信された特徴点の位置情報及び特徴情報に基づいて、画像取得部１２０１から取得した撮像画像に対して第１の補正処理を行う。このとき、第一ずれ補正部１２０２は、所定の時刻とは異なる時刻に撮像が行われることにより得られた他の撮像画像（以降、参照撮像画像という）と、参照撮像画像における特徴点の位置情報及び特徴情報を予め保持しているものとする。第一ずれ補正部１２０２は、画像取得部１２０１から取得された撮像画像における特徴点と対応する、参照撮像画像における特徴点を探索する。対応する特徴点は、例えば、参照撮像画像における特徴点の特徴情報が示す特徴と最も近い特徴を有する特徴点を、撮像画像を走査して探索することにより特定される。また、第一ずれ補正部１２０２は、撮像画像の全体を走査せずに、参照撮像画像における特徴点の位置情報に応じて、撮像画像において対応する特徴点が含まれる所定の領域を推定し、推定した領域に対して特徴点の探索を行ってもよい。

第一ずれ補正部１２０２は、撮像画像における特徴点と、当該特徴点に対応する参照撮像画像における特徴点との、撮像画像上の座標のずれに基づいて、ずれの大きさを示すずれ量を決定する。ずれ量は、撮像画像と参照撮像画像との間で各特徴点がどの方向にずれているかを示すベクトル等により表されるものとする。ただしずれ量の表現方法はこれに限定されず、単に数値等で表現されてもよい。ずれ量は、特徴抽出部１２０４において特徴点が複数抽出される場合は、複数の各特徴点について決定される。また、第一ずれ補正部１２０２は、決定したずれ量に基づいて、画像取得部１２０１から取得された撮像画像を補正するための補正量を決定し、補正量に基づく第１の補正処理を行う。第１の補正処理は、例えば撮像位置のずれの場合は、ずれ量が小さくなるように撮像画像を平行移動させる。撮像方向のずれの場合は、ずれ量が小さくなるように、撮像装置１１０に対してパン方向、チルト方向及びロール方向の少なくともいずれかの方向に撮像画像を回転させる。また、ズームずれの場合は、ずれ量が小さくなるように撮像画像を拡大／縮小させる。したがって、補正量としては、撮像画像を平行移動させる量、回転させる量、及び、拡大／縮小させる量の少なくともいずれかが決定される。複数の特徴点のずれ量が決定された場合は、例えば、各ずれ量と補正量との差分を算出し、各差分の絶対値の和が最小になるように、最適化された補正量が決定される。第一ずれ補正部１２０２は、決定した補正量に基づいて、撮像画像に対し上述したような第１の補正処理を実行し、撮像画像を変形する。この処理により、撮像画像が変形された画像データが取得される。

なお、本実施形態においては、あらかじめ保持された参照撮像画像を用いてずれ量の決定が行われたが、あらかじめ保持された特定の撮像画像が用いられる構成でなくてもよい。例えば、撮像装置１１０が動画の撮像を行う場合、画像取得部１２０１は撮像のフレームレートに応じて動画フレームを取得する。このとき、参照撮像画像として、所定フレーム前（例えば、一フレーム前）の動画フレームが選択される構成であってもよい。

また、撮像位置のずれ、撮像方向のずれ及びズームずれ等の複数の種類のずれが複合して発生した場合は、発生したずれに対応する補正方法を複数組み合わせて行うことにより、画像データの補正をすることができる。このとき、いずれの種類のずれが発生したかを特定することは必ずしも必要ではない。例えば、第一ずれ補正部１２０２は、複数の各特徴点のずれ量に対して、平行移動させる量、回転させる量、拡大／縮小させる量の順番で、それぞれ各ずれ量と補正量との差分の絶対値の和が最小になる補正量を算出する。また、第一ずれ補正部１２０２は、算出した補正量に基づいて、平行移動、回転、拡大／縮小の順番で第１の補正処理を実行する。この方法により、第一ずれ補正部１２０２は、複数の種類のずれが発生した場合においても、ずれ量を小さくするような補正を行うことができる。なお、補正量の算出及び第１の補正処理の順番は、任意の順番でよい。また、平行移動、回転、拡大／縮小のうち任意の処理のみが実行されてもよい。

第一ずれ補正部１２０２は、第１の補正処理を行うことにより取得された画像データに関して、第１の補正処理の信頼度を示す信頼度情報を取得する。本実施形態における信頼度情報とは、第一ずれ補正部１２０２が実行した第１の補正処理の精度を示す情報である。信頼度情報は、以下のようにして求められる。例えば、撮像画像を平行移動させるように変形する場合、第一ずれ補正部１２０２は、画像全体としてずれ量が最も小さくなるように平行移動の移動量及び方向を決定するための最適化計算を行う。この計算により決定された平行移動の移動量及び方向に基づいて補正された撮像画像と、補正前の撮像画像とで、各特徴点のずれ量を算出する。算出されたずれ量は第１の補正処理の誤差に対応するため、ずれ量が小さい場合と大きい場合とでは、小さい場合の方が第１の補正処理の精度が高いことを示す。第一ずれ補正部１２０２は、このずれ量の値を第１の補正処理の信頼度として取得する。第一ずれ補正部１２０２は、第１の補正処理を行うことにより取得された画像データを、前景抽出部１２０３及び特徴量抽出部１２０４に送信し、第１の補正処理の信頼度情報を、伝送部１２１０に送信する。なお、信頼度情報は、算出されたずれ量が小さいほど第１の補正処理の精度が高くなるような情報であってもよいし、ずれ量の大きさに応じて段階的に精度の高さを示す情報であってもよい。

前景抽出部１２０３は、第一ずれ補正部１２０２から送信された画像データから、前景領域を抽出して得られる画像データである前景画像を生成する。前景画像とは、撮像装置により撮像されて取得された撮像画像から、オブジェクトの領域（前景領域）を抽出した画像である。前景領域として抽出されるオブジェクトとは、時系列で同じ方向から撮像を行った場合において動きのある（その絶対位置や形が変化し得る）動的オブジェクト（動体）を指す。オブジェクトは、例えば、競技において、それが行われるフィールド内にいる選手や審判などの人物、例えば球技であればボールなど、またコンサートやエンタテイメントにおける歌手、演奏者、パフォーマー、司会者などである。前景領域の抽出方法としては、例えば、前景領域以外の領域に対応する画像（背景画像）をあらかじめ生成しておき、背景画像と撮像画像との差分を求めることにより抽出する方法などが用いられる。この他にも、例えば動画の場合は動画フレーム間の差分を求めることにより抽出する方法が用いられてもよいし、ＣＮＮ等の機械学習を用いて前景領域を抽出する方法が用いられてもよい。前景抽出部１２０３は、抽出した前景領域に基づく前景画像を、画像データとして伝送部１２１０に送信する。

伝送部１２１０は、撮像制御部１２２０から送信された撮像パラメータを、サーバシステム２００に送信する。また、伝送部１２１０は、前景抽出部１２０３から送信された前景画像を含む画像データと、第１の補正処理の信頼度情報とをサーバシステム２００に送信する。また、伝送部１２１０は、特徴抽出部１２０４から送信された特徴点の位置情報及び各特徴点の特徴情報を含む情報を、サーバシステム２００に送信する。このとき、伝送部１２１０は、撮像パラメータ、画像データ、信頼度情報及び特徴点に係る情報を、関連付けて送信する。関連付けの一例として、撮像パラメータと同様の撮像装置ＩＤ、信頼度情報及び特徴点に係る情報が、画像データのメタデータとして付与された状態で、画像データが送信される。

以上が、画像処理装置１２０の機能構成の説明である。画像処理装置１２０において第一ずれ補正部１２０２による第１の補正処理が行われることの効果としては、前景抽出部１２０３及び後述するフロントエンドサーバ２１０における画像処理の精度が向上することが挙げられる。例えば、前景抽出部１２０において背景画像と撮像画像との差分を求めることにより前景領域が抽出される際に、撮像位置のずれ、撮像方向のずれ及びズームずれ等のずれの影響を受けた撮像画像が使用されると、差分が正確に求められない可能性がある。この結果、適切に前景画像が抽出されないという問題が生じうる。しかしながら、前景領域を抽出する前に、あらかじめずれ量を小さくするように補正処理が行われることにより、上述した問題の発生が抑制される。また、所定の時間ごとに背景画像を更新する際に、前景領域の抽出の精度が高くなると、それにあわせて背景領域の抽出の精度も向上するため、生成される背景画像の品質が向上するという効果もある。

次に、フロントエンドサーバ２１０の機能構成について、図３を用いて説明する。フロントエンドサーバ２１０は、取得部２１１０、決定部２１２０、第二ずれ補正部２１３０、及び、モデル生成部２１４０を有する。取得部２１１０は、撮像システム１００における画像処理装置１２０からスイッチングハブ５００を介して送信される撮像パラメータ、画像データ、信頼度情報、及び、特徴点に係る情報等の情報取得を行う。なお、図３においては一つの撮像システム１００のみが図示されているが、実際は図１に示すような複数の撮像システム１００のそれぞれから画像データ、信頼度情報及び特徴点に係る情報が送信される。取得部２１１０は、撮像パラメータを第二ずれ補正部２１３０に送信し、取得した複数の画像データ及び特徴点に係る情報を決定部２１２０に送信する。

決定部２１２０は、取得部２１１０から送信された信頼度情報に基づいて、後述する第二ずれ補正部２１３０が行う第２の補正処理の対象となる対象画像データと、参照とする参照画像データとを決定する。本実施形態においては、取得部２１１０から送信される複数の画像データの中から、紐づけされた信頼度情報が所定の閾値より高い信頼度を示す画像データが、参照画像データとして決定される。なお、参照画像データの決定方法はこれに限定されず、例えば、信頼度が高い順に所定の数の参照画像データが決定されてもよい。また例えば、信頼度が所定の閾値よりも高い信頼度を示す画像データのうち、撮像範囲が撮像領域の全体をカバーするような複数の撮像装置１１０の撮像に基づく画像データが参照画像データとして選択されてもよい。

また、取得部２１１０から送信される複数の画像データの中から、関連付けられた信頼度情報が所定の閾値より低い信頼度を示す画像データが、対象画像データとして決定される。なお、対象画像データの決定方法はこれに限定されず、例えば、信頼度が低い順に所定の数の対象画像データが決定されてもよい。また例えば、複数の画像データのうち、参照画像データとして選択されなかった画像データがすべて対象画像データとして選択されてもよい。このように、本実施形態においては、対象画像データの信頼度よりも高い信頼度を示す画像データが、参照画像データとして選択される。

なお、選択される参照画像データは、一つであっても、複数であってもよい。ただし、後述する第二ずれ補正部２１３０では、参照画像データにおける特徴点と、対象画像データにおける特徴点との対応付けを行い、対応付けた特徴点に基づいて対象画像データの補正がされる。このときに、対象画像データにおける特徴点に対応する撮像領域における位置と同じ位置に基づく特徴点を含む参照画像データが選択されていないと、第二ずれ補正部２１３０において対象画像データの補正が適切に行われない可能性がある。したがって、例えば撮像領域全体をカバーするような複数の参照画像データが選択されることにより、対象画像データとの特徴点の対応付けが適切に実行されるという効果がある。また、対象画像データに対応する撮像装置１１０に隣接する撮像装置１１０や、対象画像データに対応する撮像装置１１０と同じ注視領域が設定された撮像装置１１０撮像等の撮像に基づく画像データが参照画像データとして選択されてもよい。

決定部２１２０は、取得部２１１０から送信された複数の画像データ、及び、決定した参照画像データと対象画像データとを通知する情報を、第二ずれ補正部２１３０に送信する。

第二ずれ補正部２１３０及びモデル生成部２１４０は、取得部２１１０が取得した画像データに基づいて、所定の画像処理を行う。以下、各処理部が行う画像処理について説明する。

第二ずれ補正部２１３０は、参照画像データ及び対象画像データのそれぞれにおける特徴点に係る情報と、参照画像データに対応する撮像装置１１０の撮像パラメータとに基づいて、対象画像データを補正する補正処理（以下、第２の補正処理という）を行う。第２の補正処理により補正されるずれは、第１の補正処理により補正されるずれと同様に、撮像位置のずれ、撮像方向のずれ及びズームずれ等により発生するずれを示す。ただし、第二ずれ補正部２１３０は、所定の時刻に異なる撮像装置１１０が撮像することに基づいて得られた画像データ間におけるずれを補正する。以下、第２の補正処理の詳細について説明する。

第二ずれ補正部２１３０は、取得部２１１０が取得した複数の画像データに紐づけられた特徴点に係る情報に基づいて、特徴点どうしの対応付けを行う。本実施形態における、対応する特徴点とは、特徴情報が略同一の特徴を示す特徴点どうしのことをいう。ただし、複数の撮像装置１１０の撮像パラメータは異なるため、複数の画像データ間における特徴点が有する特徴は必ずしも一致しない。したがって、特徴点の対応付けの際には、各撮像装置１１０の撮像パラメータの関係も考慮する必要がある。例えば、複数の画像データが、各画像データに対応する撮像装置１１０の撮像パラメータのすくなくともいずれかに基づいて同一の二次元座標に射影された際に、略同一の特徴を有する特徴点が対応付けられる。また、例えば、対象画像データにおける特徴点を含む部分領域を、撮像パラメータを用いて参照画像データの二次元座標上に射影したのち、変形した部分領域が有する特徴点と最も近い特徴を探索することにより、特徴点の対応付けが可能である。なお、産所画像データにおける特徴点を含む部分領域が、対象画像データの二次元座標上に射影されてもよい。また、射影ではなく、画像データ又は画像データの部分領域が変形されてもよい。この方法は、他の局所特徴（例えば、ライン、領域及びパッチなど）でも同様に適用可能である。

上述したように、特徴点が有する特徴に基づいて特徴点の対応付けを行うと、似ている特徴を有する特徴点が複数存在する場合等に、誤って対応付けが行われる可能性がある。したがって、第二ずれ補正部２１３０は、例えば参照画像データにおける特徴点と、参照画像データに対応する撮像パラメータとに基づいてエピポーラ線を求め、求めたエピポーラ線を他の画像データに射影する。これにより、同様の特徴を有し、且つエピポーラ線と画像データ上の特徴点との距離が近い特徴点が特定される。特定された特徴点を、参照画像データにおける特徴点と対応する特徴点であるとすることにより、誤った対応づけを抑制することができる。

第二ずれ補正部２１３０は、特徴点の三次元位置を用いて、以下の処理により、ずれの判定を行う。第二ずれ補正部２１３０は、特徴点の対応付けの結果に基づいて、参照画像データにおける特徴点の三次元座標と、参照画像データの特徴点が有する特徴と対応する特徴を有する特徴点であって、対象画像データにおける特徴点の三次元座標とを算出する。撮像領域における特徴点の三次元座標は、画像データ上における特徴点の二次元座標と画像データに対応する撮像パラメータとに基づいて、特徴点の三次元空間への射影を行う、あるいは三角測量の原理を用いる等の方法により求められる。このとき、複数の画像データと、各画像データに対応する撮像パラメータとを用いることにより、より正確に三次元座標を算出することが可能である。

ここで算出された参照画像データにおける特徴点の三次元座標と、対象画像データにおける特徴点の三次元座標とは、対応付けされた特徴点であるため、キャリブレーション以降に撮像装置１１０の状態が変化しなければ、三次元座標は一致することが想定される。しかしながら、参照画像データに対応する撮像装置１１０と、対象画像データに対応する撮像装置１１０との少なくとも一方の撮像装置１１０の状態が変化した場合、三次元座標にずれが生じうる。したがって、第二ずれ補正部２１３０は、信頼度の高い画像データ（参照画像データ）における特徴点の三次元座標と、信頼度の低い画像データ（対象画像データ）における特徴点の三次元座標とが合うように対象画像データを変形する。

第二ずれ補正部２１３０は、算出した参照画像データにおける三次元座標と、対象画像データにおける特徴点の三次元座標とが異なることに基づいて、ずれがあることを判定する。また、ずれがあると判定した場合、参照画像データにおける特徴点の三次元座標を用いて、対象画像データに対応する撮像装置１１０の状態が変化した後の撮像パラメータを算出する。このとき、参照画像データにおける特徴点の三次元座標を基準として、対象画像データにおける特徴点の二次元座標を用いてＰｎＰ問題を解くことにより、対象画像データに対応する撮像装置１１０の状態が変化した後の撮像パラメータを算出することができる。第二ずれ補正部２１３０は、算出した撮像パラメータを用いて、対象画像データに対応する撮像装置１１０の撮像状態の変化を示すホモグラフィ行列Ｈを求める。ホモグラフィ行列Ｈは、以下の式を用いて近似される。

ここで、Ｋ、Ｒ、ｔは、それぞれ撮像パラメータに含まれる情報である。Ｋは、レンズの焦点距離及びレンズの歪みを示すパラメータを表す３行３列の行列、Ｒは、撮像装置の姿勢を表す３行３列の行列、ｔは撮像装置の位置を表す３行１列の行列である。また、Ｒ及びｔはキャリブレーション時に取得されたパラメータであり、Ｒ’及びｔ’は撮像装置１１０の状態が変化した後に推定されたパラメータである。また、＋は疑似逆行列を表す。

上記の式に基づいて近似されたホモグラフィ行列Ｈを用いて、対象画像データをホモグラフィ変換することにより、ホモグラフィ変換後の対象画像データにおける特徴点の三次元座標と、参照画像データにおける特徴点の三次元座標とのずれが補正される。なお、対象画像データが複数ある場合は、各対象画像データについてホモグラフィ行列を取得し、対象画像データを変形する。このときの処理は、対象画像データごとに順次行われてもよいし、並列して行われてもよい。以上が、第二ずれ補正部２１３０が行う第２の補正処理の説明である。

モデル生成部２１４０は、第二ずれ補正部２１３０が第２の補正処理を行うことにより得られた補正後の対象画像データを含む複数の画像データと、撮像パラメータとに基づいて、撮像領域におけるオブジェクトの形状を示す形状データを生成する。本実施形態におけるモデル生成部２１４０は、例えば公知技術である視体積交差法（Ｓｈａｐｅ ｆｒｏｍ Ｓｉｌｈｏｕｅｔｔｅ法）等の方法を用いることにより、オブジェクトの三次元形状を表す三次元モデルを生成する。なお、生成される形状データは三次元モデルに限定されない。例えば、イメージベースドレンダリングに基づく形状データを生成する構成であってもよい。モデル生成部２１４０は、生成したオブジェクトの形状データを、画像データとしてデータベース２２０に送信する。送信された形状データを含む画像データは、バックエンドサーバ２３０で行われるレンダリング処理に使用され、仮想視点画像が生成される。

以上が、フロントエンドサーバ２１０の機能構成の説明である。画像処理装置１２０が行う第１の補正処理においては、同一の撮像装置１１０が異なる複数の時刻に行った撮像により得られた複数の撮像画像に基づいて、撮像画像間のずれが補正される。この処理においては、異なる複数の時刻において、位置が変化しないオブジェクトに基づく特徴点に基づくことにより、補正が可能となる。しかしながら、複数の撮像装置１１０の設置場所や設置状況によっては、位置が変化しないオブジェクトに基づく特徴点が十分に抽出されない撮像装置１１０が含まれる可能性がある。ここで、フロントエンドサーバ２１０において行われる第２の補正処理においては、異なる撮像装置１１０が所定の時刻に行う撮像に基づく複数の画像データにおいて対応する特徴点に基づいて、画像データ間のずれが補正される。このため、撮像装置１１０の間で同一のオブジェクトに基づく特徴点が抽出できるのであれば、そのオブジェクトが動きのあるオブジェクトであっても補正が可能となる。これにより、位置が変化しないオブジェクトに基づく特徴点が十分に抽出されず、第１の補正処理が適切に行われなかった画像データについても、第２の補正処理において補正することが可能となるという効果がある。また、フロントエンドサーバ２１０は、上述した方法により、複数の撮像装置１１０のそれぞれが異なる振動の影響を受けたり、複数の撮像装置１１０においてそれぞれ異なるズームずれが発生した場合においても、画像データ間のずれを補正することができる。

図４は、画像処理装置１２０及びフロントエンドサーバ２１０が実行する処理を説明するための図である。図４に示す処理は、画像処理装置１２０及びフロントエンドサーバ２１０のそれぞれが有するＣＰＵが、ＲＯＭ又は補助記憶装置に記憶されたプログラムを読み出して実行することにより行われる。以降の説明においては、処理ステップを単にＳと表記する。

まず、画像処理装置１２０が実行する処理について説明する。撮像制御部１２２０が、撮像システム１０を起動させるための指示を受け付けると、処理が開始される。Ｓ１０１０において、撮像制御部１２２０は、画像処理装置１２０の初期設定を行う。初期設定においては、撮像装置１１０の撮像パラメータを取得するためのキャリブレーション処理、及び、第一ずれ補正部１２０２が行う第１の補正処理において使用される参照撮像画像の取得が行われる。取得した撮像パラメータ及び参照撮像画像は、画像処理装置１２０における補助記憶装置等に記憶される。なお、参照撮像画像を取得するタイミングは、初期設定に限定されず、Ｓ１０２０において撮像装置１１０が複数の撮像を行う場合に、途中で参照撮像画像の取得が行われてもよい。

Ｓ１０２０において、撮像制御部１２２０は、制御ステーション３００から送信される撮像の指示に関する情報を取得し、取得した情報に基づいて撮像装置１１０を制御する。画像取得部１２０１は、撮像制御部１２２０による制御にしたがって撮像装置１１０が行った撮像により得られた撮像画像を取得する。Ｓ１０３０において、第一ずれ補正部１２０２は、画像取得部１２０１が取得した撮像画像を補正するための第１の補正処理を行う。まず、特徴抽出部１２０４が、画像取得部１２０１取得した撮像画像から、複数の特徴点を抽出する。特徴抽出部１２０４は、抽出した特徴点の位置情報と特徴情報とを、第一ずれ補正部１２０２に送信する。第一ずれ補正部１２０２は、画像取得部１２０１から取得された撮像画像における特徴点と、当該特徴点に対応する参照撮像画像における特徴点との、撮像画像上の座標のずれに基づいて、ずれの大きさを示すずれ量を決定する。第一ずれ補正部１２０２は、決定したずれ量に基づいて、第１の補正処理として、撮像画像を平行移動させるように変形する、又は撮像画像を拡大／縮小させるように変形する等の処理を実行し、補正済みの画像データを取得する。第一ずれ補正部１２０２は、取得した画像データを前景抽出部１２０３及び特徴量抽出部１２０４に送信する。

Ｓ１０４０において、第一ずれ補正部１２０２は、第１の補正処理の信頼度を示す信頼度情報を取得する。第一ずれ補正部１２０２は、例えば、補正された撮像画像と、補正前の撮像画像とで、各特徴点のずれ量を算出する。第一ずれ補正部１２０２は、算出したずれ量を信頼度情報として取得し、信頼度情報を伝送部１２１０に送信する。

Ｓ１０５０において、前景抽出部１２０３は、第一ずれ補正部１２０２から送信された画像データから、前景領域を抽出することにより、前景画像を生成する。前景抽出部１２０３は、例えば、前景領域以外の領域に対応する背景画像をあらかじめ生成しておき、背景画像と撮像画像との差分を求めることにより前景領域を抽出する。前景抽出部１２０３は、抽出した前景領域に基づく前景画像を、画像データとして伝送部１２１０に送信する。

Ｓ１０６０において、特徴抽出部１２０４は、第一ずれ補正部１２０２から取得した画像データから、第２の補正処理に使用するための複数の特徴点を抽出する。特徴点の抽出方法は、Ｓ１０３０と同様の方法が用いられる。なお、このとき抽出される特徴点は、異なる時刻において位置が変化するオブジェクトに基づく特徴点を含んでいてもよい。特徴抽出部１２０４は、抽出した特徴点の位置情報と各特徴点の特徴情報とを、伝送部１２１０に送信する。

Ｓ１０７０において、伝送部１２１０は、前景抽出部１２０３から送信された前景画像を含む画像データをサーバシステム２００に送信する。また、伝送部１２１０は、撮像装置１１０の撮像パラメータ、第１の補正処理の信頼度情報、及び、画像データの特徴点に係る情報をサーバシステム２００に送信する。以上で、画像処理装置１２０が行う初期設定から画像データの送信までの一連の処理が終了する。なお、撮像装置１１０が連続して撮像を行う場合は、Ｓ１０２０からＳ１０７０までの処理が繰り返し実行されてもよい。

次に、フロントエンドサーバ２１０が行う処理について説明する。フロントエンドサーバ２１０が制御ステーション３００から処理の開始の指示を受け付けると、以下の処理が実行される。Ｓ１１１０において、取得部２１１０は、画像処理装置１２０から送信される撮像パラメータを取得し、取得した撮像パラメータがＳ１１２０以降の処理９において使用されるように設定することにより、フロントエンドサーバ２１０を初期化する。なお、本実施形態においては、Ｓ１１１０において画像処理装置１２０から撮像パラメータが取得されるものとするが、これに限定されない。例えば、図４に示す処理の前に予め撮像パラメータを補助記憶装置などに記憶しておき、記憶された撮像パラメータを読み出す構成であってもよい。

Ｓ１１２０において、取得部２１１０は、画像処理装置１２０から送信される画像データを取得する。また、取得部２１１０は、信頼度情報及び特徴点に係る情報を取得する。Ｓ１１３０において、決定部２１２０は、取得部２１１０から送信された信頼度情報に基づいて、後述する第二ずれ補正部２１３０が行う第２の補正処理の対象となる対象画像データと、参照とする参照画像データとを決定する。決定部２１２０は、例えば、複数の画像データの中から、紐づけされた信頼度情報が所定の閾値より高い画像データを参照画像データとして決定し、信頼度情報が所定の閾値より低い画像データを対象画像データとして決定する。

Ｓ１１４０において、第二ずれ補正部２１３０は、参照画像データ及び対象画像データのそれぞれにおける特徴点に係る情報と、参照画像データに対応する撮像装置１１０の撮像パラメータとに基づいて、対象画像データを補正するための第２の補正処理を行う。Ｓ１１４０の処理の詳細について、図５を用いて説明する。Ｓ１１４１において、第二ずれ補正部２１３０は、取得部２１１０が取得した複数の画像データに紐づけられた特徴点に係る情報に基づいて、特徴点どうしの対応付けを行う。第二ずれ補正部２１３０は、例えば、特徴情報に基づいて、略同一の特徴を有する特徴点を探索することにより、特徴点の対応付けを行う。

Ｓ１１４２において、第二ずれ補正部２１３０は、特徴点の対応付けの結果に基づいて、参照画像データにおける特徴点の三次元座標と、参照画像データの特徴点に対応する特徴点であって、対象画像データにおける特徴点の三次元座標とを算出する。撮像領域における特徴点の三次元座標は、画像データ上における特徴点の二次元座標と画像データに対応する撮像パラメータとに基づいて、特徴点の三次元空間への射影を行う、あるいは三角測量の原理を用いる等の方法により求められる。

Ｓ１１４３において、第二ずれ補正部２１３０は、算出した参照画像データにおける三次元座標と、対象画像データにおける特徴点の三次元座標とが異なることに基づいて、ずれがあることを判定する。Ｓ１１４４において、第二ずれ補正部２１３０は、ずれがあると判定した場合、参照画像データにおける特徴点の三次元座標を用いて、ＰｎＰ問題を解くことにより、対象画像データに対応する撮像装置１１０の状態が変化した後の撮像パラメータを算出する。第二ずれ補正部２１３０は、算出した撮像パラメータを用いて、対象画像データに対応する撮像装置１１０の撮像状態の変化を示すホモグラフィ行列Ｈを求める。Ｓ１１４５において、第二ずれ補正部２１３０は、求めたホモグラフィ行列Ｈを用いて、対象画像データをホモグラフィ変換することにより、ずれが補正された画像データを取得する。また、第二ずれ補正部２１３０は、取得した画像データをモデル生成部２１４０に送信する。なお、Ｓ１１４３からＳ１１４５の処理は、対象画像データが複数ある場合は各対象画像データに対して処理が実行されるまで繰り返し行われる。

図４に戻り、Ｓ１１５０において、モデル生成部２１４０は、補正後の対象画像データを含む複数の画像データと、撮像パラメータとに基づいて、撮像領域におけるオブジェクトの形状を示す形状データを生成する。モデル生成部２１４０は、例えば、前景画像に基づき、公知技術である視体積交差法（Ｓｈａｐｅ ｆｒｏｍ Ｓｉｌｈｏｕｅｔｔｅ法）等の方法を用いてオブジェクトの三次元モデルを生成する。モデル生成部２１４０は、生成した形状データを画像データとしてデータベース２２０に送信する。以上でフロントエンドサーバ２１０の処理が終了する。

（第１の実施形態の変形例）
第１の実施形態においては、第２の補正処理において、ホモグラフィ行列を用いて対象画像データが変形される例について説明したが、これに限定されない。フロントエンドサーバ２１０は、ホモグラフィ行列を算出せず、対象画像データに対応する撮像装置１１０の撮像パラメータを、第二ずれ補正部２１３０により推定された撮像装置１１０の状態が変化した後の撮像パラメータに変更するように補正してもよい。このとき、モデル生成部２１４０は、変更された撮像パラメータと画像データ（前景画像）とに基づいて、形状データを生成する。撮像パラメータを補正する方法は、例えば、撮像装置１１０が振動することにより撮像装置１１０の位置及び姿勢が変化し、変化後の状態が続く場合等に有効である。この場合は、撮像パラメータを、状態が変化した後の撮像装置１１０に対応する撮像パラメータになるように補正しておくことで、状態が変化した後の第２の補正処理を削減することができる。

また、対象画像データ及び対象画像データに対応する撮像装置１１０の撮像パラメータの両方を補正してもよい。この場合は、例えば、参照画像データの特徴点の位置と対象画像データの特徴点の位置とのずれを複数の方向成分に分解し、成分ごとに対象画像データ及び対象画像データに対応する撮像装置１１０の撮像パラメータのいずれかを補正する。

また、信頼度情報が、第１の補正処理の精度に基づいて取得される場合について説明したが、これに限定されない。第２の補正処理においては、対応付けられた特徴点に基づいて補正処理が行われるため、特徴点が多く含まれる画像データが参照画像データとして決定されることにより、第２の補正処理において補正の精度が向上しうる。したがって、例えば、特徴抽出部１２０４が第１の補正処理によって取得された画像データにおける特徴点を抽出する際に、抽出された特徴点の数に応じて信頼度情報を決定する構成であってもよい。また、撮像装置１１０の画角が広角であるほど、撮像画像に含まれる特徴点が多くなることが想定されるため、撮像装置１１０のレンズの焦点距離に基づいて信頼度情報が決定されてもよい。また、振動の影響を受けにくい位置に設置されている撮像装置１１０が取得する撮像画像は、ずれが発生しにくいことが想定されるため、撮像装置１１０の位置に基づいて信頼度情報が決定されてもよい。このように、フロントエンドサーバ２１０は、撮像装置の焦点距離及び設置される位置に基づいて、参照画像データを選択することが可能である。また、いずれの撮像装置１１０を参照画像データの取得に使用するかが、ユーザ入力等により指定されてもよい。

また、第１の実施形態における第二ずれ補正部２１３０は、参照画像データにおける三次元座標と、対象画像データにおける特徴点の三次元座標との差分をずれとして判定したが、ずれの判定のしかたは以下の方法でもよい。第二ずれ補正部２１３０は、例えば、対象画像データに対応する撮像装置１１０の撮像パラメータを用いて、参照画像データにおける特徴点の三次元座標を対象画像データ上に投影し、特徴点どうしの二次元座標の差分に基づいて、ずれ判定を行う。また、第二ずれ補正部２１３０は、例えば、参照画像データに対応する撮像装置１１０の撮像パラメータを用いて、対象画像データにおける特徴点の三次元座標を参照画像データ上に投影し、特徴点どうしの二次元座標の差分に基づいて、ずれ判定を行う。このように、ずれの判定方法については種々の方法が使用可能である。

また、第二ずれ補正部２１３０は、参照画像データにおける特徴点に基づくエピポーラ線を対象画像データに投影し、対象画像データにおける各特徴点と、対応するエピポーラ線との距離が最小になるように対象画像データを変形してもよい。また、第一ずれ補正部１２０２及び第二ずれ補正部２１３０は、例えば撮像装置１１０が所定の周期に基づく振動を受けることがわかる場合は、振動の周期と振動の大きさとに基づいて、振動によるずれが削減されるように画像データの補正量を決定してもよい。このように、補正量を一度決定しておけば、同一の振動に対してずれが小さくなるように画像データを補正することが可能となる。このとき、第一ずれ補正部１２０２及び第二ずれ補正部２１３０が、ずれに基づいて振動の周期及び大きさ等を特定する機能を有していてもよい。

また、第一ずれ補正部１２０２がフロントエンドサーバ２１０に含まれる構成であってもよい。この場合、フロントエンドサーバ２１０は、予め参照撮像画像を補助記憶装置等に記憶しておき、画像処理装置１２０から撮像画像を取得することにより第１の補正処理を行う。このとき、特徴抽出部１２０４及び前景抽出部１２０３の少なくともいずれかがフロントエンドサーバ２１０に含まれてもよい。

また、本実施形態においては、撮像装置１１０から撮像画像が送信されるごとに第１及び第２の補正処理が行われるものとしたが、これに限定されない。例えば、撮像装置１１０に振動を検出するためのセンサを設け、所定の閾値よりも大きい振動が検出された場合にのみ第１及び第２の補正処理のうち少なくともいずれかが行われるようにしてもよい。また、第１及び第２の補正処理が、それぞれユーザ操作に基づいてＯＮ／ＯＦＦが切り替えられるようにしてもよい。

本実施形態においては、Ｓ１１４３においてずれがあると判定された場合の説明を中心に行ったが、ずれがないと判定された場合は第２の補正処理がスキップされてよい。また、Ｓ１１４３におけるずれ判定において、ずれの大きさが所定の閾値以上の場合に、ずれがあると判定されるようにしてもよい。これにより、微小なずれの場合にはずれがないと判定され、第２の補正処理がスキップされるため、処理負荷の軽減などの効果が得られる。

以上説明した構成により、情報処理システム１０におけるフロントエンドサーバ２１０は、撮像装置１１０の状態が変化することに基づく画像データ間のずれを補正することにより、撮像装置１１０の状態の変化による影響を抑制する。このとき、フロントエンドサーバ２１０は、対象画像データと、対象画像データに対応する撮像装置１１０の撮像パラメータとのうち少なくともいずれかを補正する。

（第２の実施形態）
本実施形態においては、撮像装置１１０の他に、補正処理に使用される撮像画像を取得するための撮像装置（以降、補正用の撮像装置ともいう）を有する画像処理システムについて説明する。

図６は、画像処理システム２０の構成を示す図である。画像処理システム２０は、撮像装置１１０、補正用の撮像装置１１１、及び、画像処理装置１２１からなる。画像処理装置１２１は、画像取得部１２０１、第一ずれ補正部１２０２、特徴抽出部１２０４、及び、第二ずれ補正部２１３０を有する。説明の都合上、画像取得部１２０１及び、特徴抽出部１２０４は、補正用の撮像装置１１１の撮像画像を処理するための処理部と、撮像装置１１０を処理するための処理部との２つずつを図示しているが、一つの処理部であってもよい。また、第１の実施形態における情報処理システム１０と同様の機能をもつ処理部には同一の符号を付している。画像処理装置１２１のハードウェア構成については、第１の実施形態における画像処理装置１２０と同様であるため、説明を省略する。

補正用の撮像装置１１１は、第２の補正処理において使用される特徴点が十分に撮像できるよう、撮像装置１１０よりも画角が広角になるように設定される。補正用の撮像装置１１１は、取得した撮像画像を画像処置装置１２０に送信する。撮像装置制御部１２２０は、制御ステーション３００からの指示又はユーザによる入力に基づき、補正用の撮像装置１１１及び撮像装置１１０を制御する。このとき、補正用の撮像装置１１１及び撮像装置１１０は撮像時刻が同期された状態で撮像を行う。

画像取得部１２０１ａは、補正用の撮像装置１１０から撮像画像を取得し、第一ずれ補正部１２０２に送信する。また、画像取得部１２０１ｂは撮像装置１１０ｂから撮像画像を取得し、特徴抽出部１２０４ｂに供給する。第一ずれ補正部１２０２は、画像取得部１２０１ａから送信された撮像画像と参照撮像画像とに基づいて、第１の補正処理を実行し、補正済みの画像データを取得する。なお、第１の補正処理の方法及び参照撮像画像の取得方法については、第１の実施形態と同様である。

特徴抽出部１２０４ａは、第一ずれ補正部１２０２により取得された画像データにおける特徴点を抽出し、特徴点に係る情報を第二ずれ補正部２１３０に送信する。また、特徴抽出部１２０４ｂは、画像取得部１２０１ｂから送信された撮像画像における特徴点を抽出し、特徴点に係る情報を第二ずれ補正部２１３０に送信する。なお、特徴点の抽出方法については、第１の実施形態と同様である。第二ずれ補正部２１３０は、特徴抽出部１２０４ａ及び特徴抽出部１２０４ｂから送信された特徴点に係る情報に基づいて、特徴点の対応付けを行い、ずれ量を決定する。また、第二ずれ補正部２１３０は、決定したずれ量に基づいて、撮像画像１１０から取得される撮像画像を変形することにより、ずれ量が小さくなるように補正する。すなわち、本実施形態における第二ずれ補正部２１３０は、補正用の撮像装置１１１の撮像に基づく画像データを参照画像データとし、撮像装置１１０の撮像に基づく撮像画像を対象画像データとして、第２の補正処理を行う。第２の補正処理の方法については、第１の実施形態と同様である。第二ずれ補正部２１３０は、第２の補正処理を行うことにより取得された画像データを、他の情報処理装置２１に送信する。他の情報処理装置２１は、例えば、フロントエンドサーバ２１０等である。なお、第一ずれ補正部１２０２が撮像装置１１０用にも用意されてもよい。

以上の構成により、例えば複数の撮像装置１１０のそれぞれが望遠で狭い領域を撮像したために、撮像画像間での特徴点の対応付けが困難な場合でも、より広い範囲を撮像する補正用の撮像装置１１１から取得される撮像画像を用いて特徴点の対応付けができる。なお、本実施形態における補正用の撮像装置１１１は、撮像装置１１０から取得される撮像画像の補正のためだけに使用されるが、補正用の撮像装置１１１から取得される撮像画像が前景画像の生成や形状データの生成などの処理に使用されても構わない。また、画像処理装置１２０が複数ある場合、一つの補正用の撮像装置１１１が各画像処理装置１２０に撮像画像を送信する構成でもよいし、二つ以上の補正用の撮像装置１１１が、それぞれ所定の画像処理装置１２０に対して撮像画像を送信する構成でもよい。このように、任意の数の補正用の撮像装置１１１が設けられてよい。

（その他の実施形態）
上述した実施形態においては、複数の撮像装置１１０により取得された撮像画像が、仮想視点画像の生成に使用される例について説明したが、これに限らず、複数の撮像画像が仮想視点画像以外の画像コンテンツの生成のために使用されてもよい。例えば、画像コンテンツとしてパノラマ画像が生成される場合は、上述した方法により補正された対象画像データ及び／又は撮像パラメータを用いることにより、画像データを合成する際の位置ずれが抑制される。また、例えば、被写体（例えば、スポーツ選手等）の姿勢や動き等を分析するための画像コンテンツ、及び、スポーツの判定に使用される画像コンテンツ等が生成される場合にも、同様の方法が適用可能である。この方法により補正された対象画像データ及び／又は撮像パラメータを用いることにより、高い分析及び判定の精度が得られることが期待できる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２１０ フロントエンドサーバ
２１１０ 取得部
２１３０ 第二ずれ補正部

Claims (19)

1. 複数の撮像装置が所定の時刻に異なる方向から撮像領域を撮像することに基づいて、画像コンテンツの生成のために使用される複数の画像を取得する画像取得手段と、
   前記取得手段により取得された前記複数の画像に対応する前記複数の撮像装置の、位置及び姿勢の少なくともいずれかを示す情報を含む複数の撮像情報を取得する情報取得手段と、
   前記画像取得手段により取得された複数の画像に含まれる第１の画像における第１の局所特徴の位置と、前記第１の局所特徴が有する特徴と対応する特徴を有する第２の局所特徴を含む第２の画像であって、前記画像取得手段により取得された複数の画像のうち、前記第１の画像とは異なる第２の画像における前記第２の局所特徴の位置と、前記情報取得手段により取得された前記第１の画像に対応する撮像装置の撮像情報と、前記情報取得手段により取得された前記第２の画像に対応する撮像装置の撮像情報とに基づいて、前記第２の画像と、前記第２の画像に対応する撮像装置の撮像情報とのうち少なくともいずれかを補正する補正手段と
   を有することを特徴とする情報処理装置。
2. 前記補正手段は、前記第１の画像に対応する撮像装置の撮像情報に基づいて決定される前記第１の局所特徴に対応する前記撮像領域における三次元位置と、前記第２の画像に対応する撮像装置の撮像情報に基づいて決定される前記第２の局所特徴に対応する前記撮像領域における三次元位置とが異なることに基づいて、前記第２の画像と、前記第２の画像に対応する撮像装置の撮像情報とのうち少なくともいずれかを補正することを特徴とする請求項１に記載の情報処理装置。
3. 前記補正手段は、前記第１の画像に対応する撮像装置の撮像情報と前記第２の画像に対応する撮像装置の撮像情報とに基づいて、前記第１の局所特徴を前記第２の画像に射影した場合の、第１の局所特徴に対応する位置と、前記第２の画像における前記第２の局所特徴の位置とが異なることに基づいて、前記第２の画像と、前記第２の画像に対応する撮像装置の撮像情報とのうち少なくともいずれかを補正することを特徴とする請求項１に記載の情報処理装置。
4. 前記補正手段は、前記第１の画像に対応する撮像装置の撮像情報と前記第２の画像に対応する撮像装置の撮像情報とに基づいて、前記第２の局所特徴を前記第１の画像に射影した場合の、第２の局所特徴に対応する位置と、前記第１の画像における前記第１の局所特徴の位置とが異なることに基づいて、前記第２の画像と、前記第２の画像に対応する撮像装置の撮像情報とのうち少なくともいずれかを補正することを特徴とする請求項１に記載の情報処理装置。
5. 前記画像取得手段により取得される複数の画像は、前記撮像装置が前記所定の時刻に前記撮像領域を撮像することに基づき得られた第３の画像における第３の局所特徴の位置と、前記第３の局所特徴が有する特徴と対応する特徴を有する第４の局所特徴であって、前記撮像装置が前記所定の時刻とは異なる他の時刻に前記撮像領域を撮像することに基づき得られた第４の画像における第４の局所特徴の位置とが異なることに基づいて、前記第３の画像を補正する補正処理が行われることにより得られる画像を含むことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記画像取得手段は、前記補正処理が行われることにより得られる画像を含む複数の画像と、該画像を取得するために実行された補正処理の信頼度を示す情報とを取得することを特徴とする請求項５に記載の情報処理装置。
7. 前記補正手段は、前記補正処理の信頼度を示す情報に基づいて、前記画像取得手段により取得された複数の画像の中から前記第１の画像を選択することを特徴とする請求項６に記載の情報処理装置。
8. 前記補正手段は、前記画像取得手段により取得された前記補正処理の信頼度を示す情報に基づいて、前記画像取得手段により取得された複数の画像のうち、所定の閾値よりも高い補正処理の信頼度を示す情報に対応する画像を、前記第１の画像として選択することを特徴とする請求項７に記載の情報処理装置。
9. 前記補正手段は、前記画像取得手段により取得された前記補正処理の信頼度を示す情報に基づいて、前記画像取得手段により取得された複数の画像のうち、前記補正処理が行われることにより得られる他の画像における補正処理の信頼度よりも高い補正処理の信頼度を示す情報に対応する画像を、前記第１の画像として選択することを特徴とする請求項７又は８に記載の情報処理装置。
10. 前記補正処理の信頼度を示す情報は、
    前記補正処理が行われることにより取得された画像における局所特徴の位置と、前記第４の画像における前記第４の局所特徴の位置との差分が第１の値である場合は、第１の信頼度を示し、
    前記補正処理が行われることにより取得された画像における局所特徴の位置と、前記第４の画像における前記第４の局所特徴の位置との差分が、前記第１の値よりも小さい第２の値である場合は、前記第１の信頼度よりも高い第２の信頼度を示す
    ことを特徴とする請求項６乃至９のいずれか１項に記載の情報処理装置。
11. 前記第１の画像に対応する撮像装置の焦点距離は、前記第２の画像に対応する撮像装置の焦点距離よりも小さいことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記第２の局所特徴は、前記第１の画像に対応する撮像装置の撮像情報と前記第２の画像に対応する撮像装置の撮像情報とに基づいて、前記第１の画像と前記第２の画像とを同一の二次元座標に射影した場合に、前記第１の局所特徴が有する特徴と同一の特徴を有する局所特徴であることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記補正手段は、前記撮像装置が振動することにより撮像装置の位置及び姿勢の少なくともいずれかが変化した場合に、前記第２の画像と、前記第２の画像に対応する撮像装置の撮像情報とのうち少なくともいずれかを補正することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 前記画像取得手段により取得された複数の画像と、前記情報取得手段により取得された前記複数の撮像情報とに基づいて、前記画像コンテンツに含まれる形状データであって、前記撮像領域におけるオブジェクトの形状を表す形状データを生成する生成手段を有することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記補正手段は、前記第２の画像を補正し、
    前記生成手段は、前記補正手段により補正された前記第２の画像を含む複数の画像と、前記情報取得手段により取得された前記複数の撮像情報とに基づいて、形状データを生成することを特徴とする請求項１４に記載の情報処理装置。
16. 前記補正手段は、前記第２の画像に対応する撮像装置の撮像情報を補正し、
    前記生成手段は、前記画像取得手段により取得された複数の画像と、前記補正手段により補正された前記第２の画像に対応する撮像装置の撮像情報を含む複数の撮像情報とに基づいて、形状データを生成することを特徴とする請求項１４に記載の情報処理装置。
17. 前記第１の局所特徴及び前記第２の局所特徴は、異なる時刻に前記撮像領域において位置が変化するオブジェクトに基づく特徴を有し、
    前記第３の局所特徴及び前記第４の局所特徴は、異なる時刻に前記撮像領域において位置が変化しないオブジェクトに基づく特徴を有することを特徴とする請求項１乃至１６のいずれか１項に記載の情報処理装置。
18. 複数の撮像装置が所定の時刻に異なる方向から撮像領域を撮像することに基づいて、画像コンテンツの生成のために使用される複数の画像を取得する画像取得工程と、
    前記取得工程において取得された前記複数の画像に対応する前記複数の撮像装置の、位置及び姿勢の少なくともいずれかを示す情報を含む複数の撮像情報を取得する情報取得工程と、
    前記画像取得工程において取得された複数の画像に含まれる第１の画像における第１の局所特徴の位置と、前記第１の局所特徴が有する特徴と対応する特徴を有する第２の局所特徴を含む第２の画像であって、前記画像取得工程において取得された複数の画像のうち、前記第１の画像とは異なる第２の画像における前記第２の局所特徴の位置と、前記情報取得工程において取得された前記第１の画像に対応する撮像装置の撮像情報と、前記情報取得工程において取得された前記第２の画像に対応する撮像装置の撮像情報とに基づいて、前記第２の画像と、前記第２の画像に対応する撮像装置の撮像情報とのうち、少なくともいずれかを補正する補正工程と
    を有することを特徴とする情報処理方法。
19. コンピュータを、請求項１乃至１７のいずれか１項に記載の情報処理装置として機能させるためのコンピュータプログラム。

Images