JP2015127903A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】多視点映像技術において映像の解像度の低下を抑制すること。【解決手段】本願に係る画像処理装置は、調整部と、変換部とを有する。調整部は、複数の撮像装置により生成された視点位置の異なる複数の画像の関係性に基づいて、複数の撮像装置における光学的な情報を示す光学情報の少なくとも一部を調整する。変換部は、調整部によって調整された光学情報を用いて、複数の画像のうち光学情報に対応する画像を変換する。例えば、変換部は、調整部によって調整された光学情報を用いて、複数の画像を射影変換する。【選択図】図５

Description

本発明の実施形態は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来、バレットタイム（Bullet Time）やタイムスライス（Time Slice）等と呼ばれる映像技術が知られている。この映像技術では、複数の撮像装置（例えば、ビデオカメラ）が撮像対象（例えば、人間などの被写体）の周囲に配置される。そして、複数の撮像装置によって撮像された各画像を順に表示することにより、撮像対象の周囲を移動しながら撮影したような映像を表示することが可能となる。以下では、バレットタイム等のような映像技術を「多視点映像技術」と表記する場合がある。

多視点映像技術では、各撮像装置を撮像対象の一点が画像の中心となるように配置しなければ不自然な映像となる。このため、各撮像装置を適切な位置に配置することが求められるが、厳密に撮像装置を配置することは困難である。これに対し、撮像装置によって生成された各画像を射影変換することで、撮像対象に対して適切な位置関係にある仮想的な撮像装置によって撮像された画像であるかのように補正する方法が提案されている。

特開２００６−１１５２９８号公報 特開２００７−１３３６６０号公報

冨山仁博、宮川勲、岩舘祐一、"多視点ハイビジョン映像生成システムの試作"、［online］、［平成２５年５月２２日検索］、インターネット＜http://ci.nii.ac.jp/naid/110006207338＞

しかしながら、上記従来の多視点映像技術では、映像の解像度が低下する場合がある。具体的には、従来の多視点映像技術において射影変換された後の画像は、歪んだ形状（例えば、歪んだ四角形）に変換される。このため、従来の多視点映像技術では、例えば、歪んだ形状の画像をクロッピングすることで矩形状の画像を抽出し、抽出した画像を出力に要する解像度まで拡大することで出力画像を生成する。または、従来の多視点映像技術では、例えば、歪んだ形状の画像を拡大した後に、拡大した画像をクロッピングすることで出力画像を生成する。このような出力画像は、撮像装置によって生成された元の撮影画像の構成要素である全画素の一部分によって形成される。このため、従来の多視点映像技術において生成される出力画像の解像度は、元の撮影画像と比較して低下する。

本願の開示する技術は、上記に鑑みてなされたものであって、多視点映像技術において映像の解像度が低下することを抑制できる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本願に係る画像処理装置は、複数の撮像装置により生成された視点位置の異なる複数の画像の関係性に基づいて、当該複数の撮像装置における光学的な情報を示す光学情報の少なくとも一部を調整する調整部と、前記調整部によって調整された光学情報を用いて、前記複数の画像のうち当該光学情報に対応する画像を変換する変換部と、を備えることを特徴とする。

実施形態に係る画像処理装置、画像処理方法及び画像処理プログラムは、多視点映像技術において映像の解像度が低下することを抑制できるという効果を奏する。

図１は、実施形態に係る画像処理システムの構成例を示す図である。 図２は、実施形態に係る撮像装置の配置例を示す図である。 図３は、多視点映像技術に係る画像の補正処理の一例を示す図である。 図４は、実施形態に係る画像処理装置による画像処理の一例を示す図である。 図５は、実施形態に係る画像処理装置の構成例を示すブロック図である。 図６は、実施形態に係るパラメータ記憶部の一例を示す図である。 図７は、実施形態に係る画像記憶部の一例を示す図である。 図８は、実施形態に係る画像処理のフローを示す図である。 図９は、変形例に係る画像処理装置による画像処理の一例を示す図である。 図１０は、変形例に係る画像処理装置による画像処理の一例を示す図である。 図１１は、変形例に係る画像処理装置による画像処理の一例を示す図である。 図１２は、実施形態に係るハードウェアの構成の一例を示す図である。

以下に、本願に係る画像処理装置、画像処理方法及び画像処理プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本願に係る画像処理装置、画像処理方法及び画像処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．画像処理システムの構成〕
まず、図１を用いて、実施形態に係る画像処理システムについて説明する。図１は、実施形態に係る画像処理システムの構成例を示す図である。図１に示すように、実施形態に係る画像処理システム１には、端末装置１０と、撮像装置２０_１〜２０_Ｎと、画像処理装置１００とが含まれる。端末装置１０及び画像処理装置１００は、ネットワーク５０を介して互いに通信可能に接続される。

端末装置１０は、画像処理装置１００によって提供される映像データを閲覧するユーザによって利用される情報処理装置である。例えば、端末装置１０は、テレビ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ（Personal Computer）、ウェラブルデバイス（wearable device）である。

撮像装置２０_１〜２０_Ｎは、例えば、ビデオカメラである。具体的には、撮像装置２０_１〜２０_Ｎは、被写体を撮像することにより映像データを生成し、生成した映像データを画像処理装置１００に出力する。なお、以下では、撮像装置２０_１〜２０_Ｎを区別する必要がない場合には、これらを総称して「撮像装置２０」と表記する場合がある。

画像処理装置１００は、端末装置１０に映像データを配信するサーバ装置である。例えば、画像処理装置１００は、撮像装置２０により生成された多視点映像技術における映像データを配信する。

〔２．撮像装置の配置例〕
次に、図２を用いて、実施形態に係る撮像装置２０の配置例について説明する。図２は、実施形態に係る撮像装置２０の配置例を示す図である。なお、図２では、被写体４０を上から見た例を示す。

図２に示すように、撮像装置２０_１〜２０_Ｎは、撮像対象となる被写体４０の周囲に配置される。ここで、直線Ｅ_ｋ（ｋ＝１，２，３，…，Ｎ）は、撮像装置２０_１〜２０_Ｎによって撮像される映像データにおける画像平面の中央を通る直線（以下、光軸と表記する場合がある）である。すなわち、撮像装置２０_ｋは、撮像することにより、光軸Ｅ_ｋを画像中央とする映像データを生成する。また、撮像装置２０_ｋの光軸Ｅ_ｋは、撮像装置２０_ｋの設置位置、及び向きによって定められる。このような撮像装置２０は、図２に示した状態で一斉に被写体４０を撮像することにより、映像データを生成する。

上述した画像処理装置１００は、例えば、所定の時間毎に、表示対象の画像を撮像装置２０_１〜２０_Ｎの配置順に変動させた映像データを生成する。ここでいう表示対象の画像とは、撮像装置２０_１〜２０_Ｎによって生成された各映像データに含まれるフレーム（すなわち、撮影画像）を示す。また、撮像装置２０_１〜２０_Ｎの配置順とは、例えば、撮像装置２０_１、２０_２、２０_３、２０_４、・・・、２０_Ｎの順、若しくは、その逆順などを示す。これにより、画像処理装置１００は、被写体４０の周囲を移動して撮影したような映像効果を伴う映像データを生成することができる。

また、上記例に限られず、画像処理装置１００は、例えば、撮像装置２０_１〜２０_Ｎによって同一時刻に撮像された各画像が撮像装置２０の配置順に表示される場面（シーン）を含む映像データを生成する。これにより、画像処理装置１００は、時間が停止している中で被写体４０の周囲を移動して撮影したような映像効果を伴う映像データを生成することができる。

なお、撮像装置２０の設置位置は、図２に示した例に限られない。例えば、複数の撮像装置２０が被写体４０を囲むように、円周上に等間隔に配置されてもよい。

〔３．補正処理〕
上記の通り、多視点映像技術では、複数の撮像装置２０によって生成された撮影画像が順に表示される。すなわち、各撮影画像内における被写体の位置が各撮影画像で異なる場合には、端末装置１０に配信される映像は、映像を閲覧する閲覧者（例えば、端末装置１０のユーザ）にとって不自然な映像となる。このため、撮像装置２０_１〜２０_Ｎは、各撮像装置２０の光軸が撮像対象における所定の位置を通過するように配置されることが望ましい。具体的には、図２の例において、撮像装置２０_１〜２０_Ｎは、各光軸Ｅ_ｋが被写体４０の内包する任意の１点（以下、「注視点」と表記する場合がある）を通るように配置されることが望ましい。しかし、撮像装置２０は、三脚等を用いて多数台が設置されるため、全ての撮像装置２０の配置を厳密に調整することは困難である。

そこで、あたかも撮像装置２０を正しい向きに厳密に調整して撮影したかのように、各撮像装置２０の撮影画像に対して補正処理を施す技術が知られている。具体的には、この補正処理では、撮影画像を射影変換する処理と、射影変換後の画像をクロッピング（すなわち、切り抜き）する処理と、クロッピング後の画像を拡大する処理とが行われる。このような補正処理により、元の画像における注視点は、補正処理後の画像における中心点へと移動する。すなわち、このような補正処理を撮影画像に施すことにより、被写体が撮影画像内の中心に位置する画像が生成される。しかし、この補正処理を行った場合には、映像の解像度が低下する場合がある。以下、この点について、図３を用いて説明する。

図３は、多視点映像技術に係る画像の補正処理の一例を示す図である。図３には、撮像装置２０によって生成された撮影画像Ｆ１０を示す。図３では、撮影画像Ｆ１０の注視点Ｇは、撮影画像Ｆ１０に描出されている被写体４０の中心点であるものとする。また、図３では、撮影画像Ｆ１０を射影変換することにより、注視点Ｇをフレーム内の中心点Ｐに移動させる例を示す。図３に示した撮影画像Ｆ１０の注視点Ｇは、中心位置からずれている。これは、撮影画像Ｆ１０を生成した撮像装置２０の光軸が被写体４０の中心（すなわち、注視点Ｇ）を通過するように撮像装置２０が設置されていないからである。ここで、撮影画像Ｆ１０を射影変換すると、被写体４０が中心位置に描出される画像Ｔ１が生成される。図３に示すように、一般に、矩形の撮影画像Ｆ１０を射影変換した場合には、歪んだ四角形の画像Ｔ１が生成される。歪んだ四角形の画像Ｔ１は、端末装置１０に出力される画像サイズと異なる。このため、画像Ｔ１から撮影画像Ｆ１０と同じ大きさの画像をクロッピングすることとなる。このとき、元の撮影画像Ｆ１０と同じ大きさで矩形をクロッピングすると、空白部分Ｔ３が生じるため、そのままでは出力画像とできない。そこで、歪んだ四角形の画像Ｔ１から、元の撮影画像Ｆ１０より小さい領域Ｔ２をクロッピングし、クロッピングした領域Ｔ２を出力画像サイズの解像度まで拡大したものが、補正処理が行われた後の補正画像となる。

しかし、補正画像は、元の撮影画像Ｆ１０を構成する一部の画素を拡大したものであるから、実質的な解像度は、元の撮影画像Ｆ１０と比較して低下する。ここで、図３に示した移動距離Ｄ０は、元の撮影画像Ｆ１０における注視点Ｇの位置から、射影変換後における注視点Ｇの位置（すなわち、中心点Ｐ）までの距離を表す。一般に、移動距離Ｄ０の値が大きいほど、空白部分Ｔ３が大きくなるため、補正処理によって解像度が低下する。

また、上記例に限られず、空白部分Ｔ３を生じさせないよう、元の撮影画像Ｆ１０を射影変換する補正処理も知られている。具体的には、出力画像サイズを切り抜くことのできるように、元の撮影画像Ｆ１０を拡大された四角形の画像Ｔ５へと射影変換する。この場合、四角形の画像Ｔ５から撮影画像Ｆ１０と同じ大きさの画像をクロッピングすることで、補正処理が行われた後の補正画像Ｔ６が生成される。

しかし、出力画像Ｔ６の実質的な解像度は、やはり元の撮影画像Ｆ１０に比べて低下する。すなわち、空白部分Ｔ３を生じさせないように元の撮影画像Ｆ１０を歪んだ四角形の画像Ｔ５へと変換すれば、余剰部分Ｔ４が増えることになる。これにより、元の撮影画像Ｆ１０に含まれていた余剰部分における画素をクロッピング処理で捨てることになるため、出力画像Ｔ６の実質的な解像度は元の撮影画像Ｆ１０に比べて低下する。なお、この場合においても、移動距離Ｄ０の値が大きいほど、余剰部分Ｔ４が大きくなるため、補正処理によって解像度が低下する。

〔４．実施形態に係る画像処理〕
次に、図４を用いて、実施形態に係る画像処理装置１００による画像処理について説明する。図４は、実施形態に係る画像処理装置１００による画像処理の一例を示す図である。図４には、一例として、撮像装置２０_１によって生成された撮影画像Ｆ１１と、撮像装置２０_２によって生成された撮影画像Ｆ１２と、撮像装置２０_３によって生成された撮影画像Ｆ１３とを示す。各々の撮影画像Ｆ１１、Ｆ１２、Ｆ１３における注視点は、ｇ_ｋ（ｋ＝１，２，３）と表される。なお、図４では図示することを省略したが、画像処理装置１００は、撮像装置２０_４〜２０_Ｎによって生成された撮影画像も用いて下記の画像処理を行う。

実施形態に係る画像処理装置１００は、複数の撮像装置２０により生成された視点位置の異なる複数の画像の関係性に基づいて撮像装置２０における光学的情報を調整し、その調整された光学情報を用いて、対応する画像を変換する画像処理を行う。具体的には、実施形態に係る画像処理装置１００は、元の各撮影画像における注視点ｇ_ｋの位置から画像処理された後の各画像における移動後の注視点Ｇ_１までの距離の和が最短となるような関係にある注視点Ｇ_１を求める。そして、実施形態に係る画像処理装置１００は、元の各撮影画像における注視点ｇ_ｋを注視点Ｇ_１に移動させるように画像を変換する画像処理を行う。この場合、移動後の注視点Ｇ_１は、下記式（１）で求められる。

上記式（１）は、実施形態に係る画像処理装置１００が任意のＮ枚の画像を処理する場合において、画像処理後の各画像における移動後の注視点Ｇ_１の座標位置を示す。これは、注視点Ｇ_１が、画像処理によって、任意のＮ枚の画像における全注視点ｇ_ｋを質点と仮定した場合の重心位置に移動することを表す。以下、注視点ｇ_ｋの、移動後の注視点Ｇ_１までの移動距離について説明する。

例えば、図４に示すように、画像処理された後の画像Ｔ１１において、注視点ｇ_１から移動後の注視点Ｇ_１までの距離は、距離Ｄ１１と表される。同様に、画像処理された後の画像Ｔ１２においては距離Ｄ１２と表され、画像処理された後の画像Ｔ１３においては距離Ｄ１３と表される。この場合、距離Ｄ１１と、距離Ｄ１２と、距離Ｄ１３との和は、注視点ｇ_１から中心点までの距離Ｄ０１と、注視点ｇ_２から中心点までの距離Ｄ０２と、注視点ｇ_３から中心点までの距離Ｄ０３との和よりも、短くなる。なお、移動後の注視点Ｇ_１と各画像の中心点が重なる場合は、この移動距離の和は等しくなる。

このように、実施形態に係る画像処理装置１００は、画像処理における注視点ｇ_ｋを中心点ではない注視点Ｇ_１に移動することにより、各画像における移動距離の和を短くすることができる。この場合、図３に示すような画像処理に際して、元の撮影画像の注視点Ｇを中心点Ｐへ移動させた場合と比較して、実施形態に係る画像処理装置１００は、空白部分Ｔ３に相当する部分を小さくすることができる。したがって、実施形態に係る画像処理装置１００は、図３に示す変換された四角形の画像Ｔ１からクロッピング処理される領域Ｔ２を大きくすることができる。このため、実施形態に係る画像処理装置１００は、出力画像を得るための領域Ｔ２の拡大において、拡大率を低くすることができ、最終的に出力される画像の実質的な解像度の低下が抑えられる。

同様に、図３に示す元の撮影画像の注視点Ｇの移動距離が短くなる場合、実施形態に係る画像処理装置１００は、元の撮影画像Ｆ１０から変換される四角形の画像Ｔ５の拡大率を低くすることができる。これは、余剰部分Ｔ４に相当する部分が小さくなることを意味する。これにより、四角形の画像Ｔ５から出力画像Ｔ６をクロッピング処理する際に捨てられる画素が少なくなるため、出力画像Ｔ６の実質的な解像度の低下が抑えられる。

以上より、実施形態に係る画像処理装置１００は、画像処理において元の撮影画像の注視点ｇ_ｋを注視点Ｇ_１に移動することにより、画像処理後に出力される画像の実質的な解像度の低下を抑制することができる。

また、実施形態に係る画像処理装置１００は、前述のように、移動後の注視点Ｇ_１を各画像において１点に固定する。移動後の注視点Ｇ_１が１点に固定されているということは、すなわち、各画像を順番に並べた映像において、被写体４０が同じ位置にいることを示す。かかる映像は、映像を閲覧する閲覧者にとって認知的な連続性を失わせないため、不自然な映像とならない。

このようにして、実施形態に係る画像処理装置１００は、多視点映像技術において、閲覧者にとって不自然な映像でなく、かつ、解像度の低下を抑制した映像を得るための画像処理を行うことができる。

〔５．射影変換〕
以下に、上述した画像処理装置１００の構成及び処理手順について説明する。実施形態に係る画像処理装置１００は、射影変換におけるパラメータを調整することにより、上述した図４における処理を実現する。このようなパラメータの調整は、撮像装置の設置位置と関係する。そこで、以下では、画像処理装置１００の構成を説明する前に、撮像装置の設置位置及び射影変換について説明する。

前述のように、多視点映像技術には、被写体に対して理想的な撮像装置の設置が望まれる。理想的な撮影位置について説明する。地面をｘｙｚ座標系におけるｘｚ平面（ｙ＝０）、天方向をｙ軸とした空間に被写体が立っている状態で、Ｎ台の撮像装置２０で多視点映像技術を実現する配置を考える。最も単純に実現するには、被写体が内包する注視点から等距離に、かつ撮像装置２０間の距離を等間隔になるよう各撮像装置２０を並べ、各撮像装置２０を注視点に向ければよい。

図２を例とすると、注視点Ｇを含むｘｚ平面に平行な平面上に、注視点Ｇを中心とした円周３０を考えたうえで、各撮像装置２０をピンホールカメラモデルとして捉える（以下、撮像装置２０をカメラと表記する場合がある）。そして、ｋ番目のカメラの焦点位置をＣ_ｋ（ｋ＝１，２，…,Ｎ）とし、焦点位置Ｃ_ｋを円周３０上に等間隔で設置する。さらに、焦点位置Ｃ_ｋから、光軸Ｅ_ｋが注視点Ｇを通過するようカメラの向きを調整する。これが、多視点映像技術における理想的なカメラの設置である。

しかし、前述のように、実際に三脚などを使って設置をする場合、上記の手順に厳密に従うことは困難である。ここで、もしカメラが強校正済みであるならば、本来撮影された画像を、注視点Ｇを通過するよう光軸を向けて設置したかのような画像に射影変換する、いわばカメラに仮想的なパン・チルトをさせることができる。なお、このような画像の変換処理に関する技術については、上記の非特許文献１に開示されている。

この変換をおこなう射影変換行列Ｈ_ｋ（ｋ＝１，２，…，Ｎ）は、以下のように求められる。まず、各カメラは強校正されているので、ｋ番目のカメラの内部パラメータ行列Ａ_ｋ、外部パラメータＲ_ｋ、Ｔ_ｋが予め算出されている。Ｒ_ｋは各画像に共通する世界座標からカメラ座標に変換するための３行３列からなる回転行列を、Ｔ_ｋは各画像に共通する世界座標からカメラ座標に変換するための平行移動ベクトルを示す。このうち、内部パラメータ行列Ａ_ｋは以下の要素で構成されている。

上記式（２）において、パラメータｆ_ｋは焦点距離、パラメータ（ｕ０_ｋ，ｖ０_ｋ）は画像中心位置の座標である。ここで、「Ｃ_ｋ＝−Ｒ_ｋ ^-1・Ｔ_ｋ」から、注視点Ｇに向く新しい光軸にあたるベクトルｅ_ｚが求められる。ｅ_ｚとｙ軸との外積から新しいカメラ座標系でのｘ軸ｅ_ｘが求められ、「ｅ_ｚ×ｅ_ｘ」から新しいカメラ座標系でのｚ軸ｅ_ｚが求められる。これらから、新しい回転行列Ｒ´_ｋが以下のように求められる。

上記式（２）及び式（３）を用いて、射影変換行列Ｈ_ｋが以下のように求められる。

したがって、上記式（４）を画像に適用して変形させれば、画像中心に注視点Ｇが正確に位置する、仮想的なパン・チルトした画像が得られる。しかし、図３が示すように、変換結果は空白部分Ｔ３を含むため、このままでは出力画像とすることができない。

そこで、実施形態に係る画像処理装置１００は、射影変換に際し、被写体の拡大と注視点の平行移動という手段を用いることで、適切な出力画像を得る。これは、実施形態に係る画像処理装置１００が、上記式（２）におけるパラメータ（ｆ_ｋ，ｕ０_ｋ，ｖ０_ｋ）を調整することを意味する。以下、その手順について説明する。

アフィン変換における拡大のパラメータは、上記式（２）における焦点距離ｆ_ｋである。焦点距離ｆ_ｋは「|Ｃ_ｋ−Ｇ|」という距離で決定され、画像における注視点Ｇを含む被写体は、その距離に応じた大きさで表される。内部パラメータにおいて焦点距離ｆ_ｋが増加するということは、被写体をズームしているということである。ここで、注視点Ｇは固定であるため、焦点距離ｆ_ｋの調整とは、すなわち焦点位置Ｃ_ｋを注視点Ｇに対して移動させることである。これは、カメラの物理位置を仮想的に前後させることに相当する。この調整された焦点距離を、新しい焦点距離ｆ′_ｋとする。

一方、平行移動は、画像中心位置（ｕ０_ｋ，ｖ０_ｋ）を調整することで実現される。これは、焦点位置Ｃ_ｋと回転行列Ｒ′_ｋはそのままに、画像面を平行移動させることに相当する。この調整により、実施形態に係る画像処理装置１００は、例えば図４に示すように、元の画像における注視点ｇ_ｋを画像中心ではなく変換後の注視点Ｇ_１へと移動させることを伴う画像処理を実現する。この調整された座標を、新しい画像中心位置（ｕ０′_k，ｖ０′_k）とする。

以上より、新しい焦点距離ｆ′_ｋと、新しい画像中心位置（ｕ０′_k，ｖ０′_k）が設定された、下記式（５）に表される内部パラメータＡ′_ｋが与えられる。

そして、内部パラメータＡ′_ｋに基づいて、下記式（６）に表される新しい射影変換行列Ｈ′_ｋが導出される。

実施形態に係る画像処理装置１００は、上記式（６）に表される新しい射影変換行列Ｈ′_ｋを用いて、各画像に対して射影変換を行う。前述のように、パラメータの一つである新しい画像中心位置（ｕ０′_k，ｖ０′_k）は、変換前の画像の注視点を、上記式（１）から算出される所定の位置に移動することで調整される。図４を例とすると、実施形態に係る画像処理装置１００は、新しい画像中心位置を注視点Ｇ_１へと調整した射影変換行列Ｈ´_ｋを用いて変換前の各撮影画像Ｆ１１、Ｆ１２、及びＦ１３を射影変換する。この結果、実施形態に係る画像処理装置１００は、変換前の各画像の注視点ｇ_ｋを画像中心位置に移動させたときに得られる変換後の画像に比べ、解像度の低下が抑制された変換後の画像Ｔ１１，Ｔ１２，及びＴ１３を得る。なお、他のパラメータである新しい焦点距離ｆ´_ｋの調整については、後述する画像処理装置の構成、及び変形例にて説明する。

〔６．画像処理装置の構成〕
次に、図５を用いて、上述した画像処理装置１００の構成について説明する。図５は、実施形態に係る画像処理装置１００の構成例を示すブロック図である。なお、以下では、図２に示した撮像装置２０によって被写体４０が撮像されるものとして説明する。

図５に示すように、画像処理装置１００は、通信部１１０と、パラメータ記憶部１２１と、画像記憶部１２２と、制御部１３０とを有する。なお、画像処理装置１００は、画像処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０について）
通信部１１０は、ネットワーク５０を介して、端末装置１０との間で、各種データを送受信する。例えば、通信部１１０は、ＮＩＣ（Network Interface Card）等によって実現される。

（パラメータ記憶部１２１について）
パラメータ記憶部１２１は、撮像装置２０に関する各種のカメラパラメータを記憶する。例えば、パラメータ記憶部１２１は、カメラパラメータとして、撮像装置の焦点距離や、撮像装置によって生成される画像のアスペクト比及びスキューなどの光学的情報を、撮像装置毎に記憶する。なお、各撮像装置のカメラパラメータは、撮像装置２０を事前に校正することで取得される。

ここで、図６に、実施形態に係るパラメータ記憶部１２１の一例を示す。図６に示すように、パラメータ記憶部１２１は、「カメラ識別子」、「パラメータデータ」といった項目を有する。「カメラ識別子」は、撮像装置２０を識別するための識別情報を示す。図６の例では、撮像装置２０_ｘとＣ１ｘがそれぞれ対応するものとする。すなわち、撮像装置２０_１にはカメラ識別子Ｃ１１が対応する。

「パラメータデータ」は、各撮像装置における光学的な情報を示す光学情報である。例えば、「パラメータデータ」には、画像中心位置（ｕ０_ｋ，ｖ０_ｋ）、及び焦点距離ｆ_ｋ等がある。これらのパラメータは、後述する調整部１３２により、所定の条件で、画像中心位置（ｕ０_ｋ，ｖ０_ｋ）を新しい画像中心位置（ｕ０^´ _ｋ，ｖ０^´ _ｋ）に調整されることがある。同様に、焦点距離ｆ_ｋは、新しい焦点距離ｆ^´ _ｋへと調整されることがある。すなわち、図６に示すように、「パラメータデータ」は、「調整前」、「調整後」といった項目に区分けされる。「調整前」には、撮像装置２０における調整前のパラメータデータが記憶される。また、「調整後」には、撮像装置２０における、調整部１３２によって調整処理が行われることで生成されるパラメータデータが記憶される。

新しい画像中心位置（ｕ0′_１，ｖ0′_１）、及び新しい焦点距離ｆ′_１は、ともに上記式（６）における射影変換行列Ｈ´_ｋのパラメータである。すなわち、後述する変換部１３３は、パラメータ記憶部１２１に記憶されるパラメータを参照することで射影変換行列Ｈ´_ｋを算出し、各画像を射影変換する。

（画像記憶部１２２について）
画像記憶部１２２は、視点位置が異なる複数の画像を記憶する。具体的には、画像記憶部１２２は、異なる位置に配置された撮像装置２０によって撮像された撮像対象の画像を記憶する。実施形態に係る画像記憶部１２２は、撮像対象の各画像として、撮像装置２０によって生成された映像データを形成する各画像を記憶する。

ここで、図７に、実施形態に係る画像記憶部１２２の一例を示す。図７に示すように、画像記憶部１２２は、「カメラ識別子」、「映像データ」といった項目を有する。

「映像データ」は、撮像装置２０_１〜２０_Ｎのいずれかによって生成された映像データを示す。具体的には、「映像データ」には、映像データを形成する画像が記憶される。また、図７に示すように、「映像データ」は、「変換前」、「変換後＃１」、「変換後＃２」といった項目に区分けされる。「変換前」には、撮像装置２０によって生成された画像の映像データが記憶される。また、「変換後＃１」及び「変換後＃２」には、後述する変換部１３３によって変換処理が行われることで生成される映像データが記憶される。なお、図７では、「変換後＃１」及び「変換後＃２」を示したが、画像記憶部１２２は、「変換後＃３」以降の映像データが記憶されてもよい。

例えば、図７では、画像記憶部１２２が、撮像装置２０によって生成された画像Ｆ０（１，１）〜Ｆ０（１，ｔ）と、画像Ｆ０（１，１）〜Ｆ０（１，ｔ）が変換された後の画像Ｆ１（１，１）〜Ｆ１（１，ｔ）と、画像Ｆ１（１，１）〜Ｆ１（１，ｔ）が変換された後の画像Ｆ２（１，１）〜Ｆ２（１，ｔ）を記憶する例を示す。なお、画像を表すＦｘ（Ｃ，ｔ）のうち、「ｘ」は変換の識別子に該当し、「Ｃ」は、カメラ識別子の下１桁の数値に該当し、「ｔ」は、映像データにおける画像の順序や撮像時刻などを示す。すなわち、Ｆ０（１，１）は、変換前であり、撮像装置２０によって生成された画像であり、１番目に表示される画像に該当する。

なお、上述したパラメータ記憶部１２１及び画像記憶部１２２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等によって実現される。

（制御部１３０について）
制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、画像処理装置１００内部の記憶装置に記憶されている各種プログラム（画像処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

また、制御部１３０は、図５に示すように、受付部１３１と、調整部１３２と、変換部１３３と、出力部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図５に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図５に示した接続関係に限られず、他の接続関係であってもよい。

（受付部１３１について）
受付部１３１は、端末装置１０のユーザ等から、映像データに対する各種操作を受け付ける。例えば、受付部１３１は、映像データの注視点として、映像データに含まれる任意の画像内における位置を指定する操作を受け付ける。受付部１３１は、受け付けた任意の画像内における位置を、トラッキング等の探索手法を用いて、各々の画像で対応する注視点として指定することができる。

また、受付部１３１が受け付ける注視点の指定は、端末装置１０のユーザに限られない。例えば、受付部１３１は、多視点映像技術における映像の制作者や、撮像装置２０による自動的な機能によって、注視点の指定を受け付けてもよい。

ここで、実施形態に係る受付部１３１による処理の一例について説明する。図５の例において、画像処理装置１００の出力部１３４は、画像記憶部１２２にある変換後＃１に対応する各画像から生成した映像データを端末装置１０に配信したものとする。そして、端末装置１０は、画像処理装置１００から配信された映像データを表示部に表示する。ここで、実施形態に係る端末装置１０は、映像の表示中に、かかる映像の新たな他の注視点を指定する操作をユーザから受け付ける。実施形態に係る受付部１３１は、ネットワーク５０を介して、端末装置１０からの新たな他の注視点の指定を受け付ける。

（調整部１３２について）
調整部１３２は、受付部１３１によって受け付けられた注視点の位置を基に、複数の撮像装置２０により生成された視点位置の異なる複数の画像の関係性に基づいて、複数の撮像装置２０における光学的な情報を示す光学情報の少なくとも一部を調整する。

具体的には、調整部１３２は、複数の撮像装置２０により生成された複数の画像と、複数の画像が後述する変換部１３３によって変換された場合における複数の変換画像との総合的な差異に基づいて、撮像装置２０における光学情報を調整する。言い換えれば、調整部１３２は、変換部１３３による画像の変換において、変換前の画像に対して、変換後の画像における実質的な解像度の低下が抑制されるように、撮像装置２０における光学情報を調整する。この点について、実質的な解像度と、撮像装置２０における光学情報、すなわちパラメータとの関係を以下に説明する。

まず、図３を用いて、元の画像を構成していた全画素が変換後の画像の中にどの程度含まれるのか、すなわち実質的な解像度を計測する指標について説明する。任意の画像について、射影変換前の画像における四隅の２次元座標Ｖ_ａｋ（ａ＝０，１，２，３）が、射影変換行列Ｈ´_ｋによって変換後の画像における四隅の２次元座標Ｖ´_ｂｋ（ｂ＝０，１，２，３）へ移動すると仮定する。この移動は、下記式（７）で表される。

上記式（７）におけるλは任意の数を表す。このとき、射影変換前の画像における四隅の２次元座標Ｖ_ａｋ全てが、変換後の画像における四隅の２次元座標Ｖ´_ｂｋで形成される四角形の内部に存在すれば、射影変換において出力画像に含まれる空白部分をなくすことができる。具体的には、最終的な出力画像Ｔ６が、変換される歪んだ四角形の画像Ｔ５に内包されている状態を示す。すなわち、Ｖ´_ｂｋで形成される四角形の面積をＳ_ｋとすると、面積Ｓ_ｋは下記式（８）のような条件を満たす。

そして、変換前の画像の全画素のうち最終的な出力画像に含まれる画素数の割合は、Ｖ´_ｂｋで形成される四角形の面積Ｓ_ｋと、元々の長方形の面積Ｓ０の比Ｓ０/Ｓ_ｋで定義できる。具体的には、Ｖ´_ｂｋで形成される四角形の面積Ｓ_ｋとは変換される歪んだ四角形の画像Ｔ５の面積に対応し、元々の長方形の面積Ｓ０とは変換前の撮影画像Ｆ１０の面積に対応する。

以上より、実質的な解像度とは、元の画像における四隅の２次元座標Ｖ_ａｋ全てが、変換後の画像における四隅の２次元座標Ｖ´_ｂｋで形成される四角形の内部に存在するという条件の下での、変換後の四角形の面積Ｓ_ｋと、元々の長方形の面積Ｓ０の面積比Ｅによって求められる。ゆえに、実質的な解像度を最適化するとは、面積比Ｅを最大化することと定義できる。上記式（７）及び式（８）より、Ｖ´_ｂｋで形成される四角形の面積Ｓ_ｋは、射影変換行列におけるパラメータである注視点の位置（ｕ０´_ｋ，ｖ０´_ｋ）、及び焦点距離ｆ´_ｋに依存する。また、元々の長方形の面積Ｓ０は固定値である。よって、面積比Ｅの最大化は、下記式（９）で表される。

上記式（９）のように、面積比Ｅの最大化は、パラメータ（ｕ０´_ｋ，ｖ０´_ｋ）及びパラメータｆ´_ｋに依存する。パラメータ（ｕ０′_k，ｖ０′_k）とは新しい画像中心位置であり、調整部１３２は、変換前の画像の注視点を、上記式（１）で算出される所定の位置に移動することにより調整する。また、パラメータｆ´_ｋとは新しい焦点距離であり、すなわち画像の拡大率を定める値である。調整部１３２は、新しい焦点距離ｆ´_ｋを、上記式（８）の条件を満たすことを前提とし、上記式（９）における面積比Ｅを最大化するように調整する。すなわち、調整部１３２は、変換される歪んだ四角形の画像Ｔ５が変換前の撮影画像Ｆ１０を内包する大きさであり、かつ、観念し得る最小の面積を持つように拡大されるよう、新しい焦点距離ｆ´_ｋを調整する。以上のように、調整部１３２は、撮像装置２０のパラメータを調整し、調整されたパラメータをパラメータ記憶部に格納する。

なお、調整部１３２は、各注視点の厳密な重心位置ではなく、各撮影画像の重心領域に位置する任意の位置に注視点を移動させるようにパラメータを調整してもよい。すなわち、調整部１３２は、各注視点の重心位置から数ピクセルだけずれた位置に注視点を移動させるようにパラメータを調整してもよい。

（変換部１３３について）
変換部１３３は、調整部１３２によって調整された光学情報を用いて、前記複数の画像のうち光学情報に対応する画像を変換する。具体的には、変換部１３３は、画像記憶部１２２に記憶されている映像データを、調整部１３２によって調整されたパラメータに基づいた、上記式（６）にある射影変換行列Ｈ´_ｋを用いて、仮想的に配置された撮像装置により生成される映像データへと変換する。

例えば図４に示すように、変換部１３３は、元の撮影画像Ｆ１１に係る映像データを射影変換し、変換された後の画像Ｔ１１を生成する。

ここで、画像記憶部１２２に記憶されている映像データのうち、「変換後＃１」に対応する映像データが端末装置１０に配信されているものとする。この状態で、ユーザからの注視点の変更を受け付けた場合、変換部１３３は、調整部１３２によって調整されたパラメータに基づいた射影変換行列を用いて、時刻ｔに対応する画像Ｆ１（１，ｔ）、Ｆ１（２，ｔ）、Ｆ１（３，ｔ）、…、を、画像Ｆ２（１，ｔ）、Ｆ２（２，ｔ）、Ｆ２（３，ｔ）、…、に変換する。そして、変換部１３３は、「変換後＃１」に対応する変換後の各画像を画像記憶部１２２の「変換後＃２」に格納する。

（出力部１３４について）
そして、出力部１３４は、変換部１３３によって変換された後の各画像を端末装置１０に配信する。例えば、出力部１３４は、変換前の映像データと同様の順に画像が連続的に表示される映像データを生成し、生成した映像データを端末装置１０に配信する。

〔７．画像処理手順〕
次に、図８を用いて、実施形態に係る画像処理装置１００による画像処理の手順について説明する。図８は、実施形態に係る画像処理装置１００による画像処理手順を示すフローチャートである。なお、以下では、画像記憶部１２２が、撮像装置２０によって生成された変換前の各画像を記憶するとともに、変換部１３３が、任意の注視点に基づいて、変換前の各画像を変換した変換後＃１の各画像を記憶しているものとする。また、以下では、実施形態に係る画像処理装置１００と、端末装置１０を使用するユーザとの関係についての画像処理の手順について説明する。なお、受付部１３１が受け付ける注視点の指定は端末装置１０のユーザに限られないため、実施形態に係る画像処理装置１００は、既に指定された注視点を基に画像処理する場合も考えられる。その場合、ステップ１０１、ステップ１０２、ステップ１０３は省略される。

図８に示すように、画像処理装置１００の受付部１３１は、端末装置１０から映像データの取得要求を受信したか否かを判定する（ステップＳ１０１）。このとき、受付部１３１は、映像データの取得要求を受信していない場合には（ステップＳ１０１；Ｎｏ）、映像データの取得要求を受信するまで待機する。一方、受付部１３１が映像データの取得要求を受信した場合（ステップＳ１０１；Ｙｅｓ）、その要求に応じた出力部１３４は、画像記憶部１２２に記憶されている変換後＃１の映像データを端末装置１０に配信する（ステップＳ１０２）。

画像処理装置１００の受付部１３１は、配信済みの映像データに含まれる任意の画像に対して、新たな注視点の指定操作を端末装置１０から受け付けたか否かを判定する（ステップＳ１０３）。このとき、受付部１３１は、新たな注視点の指定操作を受け付けていない場合には（ステップＳ１０３；Ｎｏ）、かかる指定操作を受け付けるまで待機する。

一方、受付部１３１は、新たな注視点の指定操作を受け付けた場合には（ステップＳ１０３；Ｙｅｓ）、受け付けた情報を調整部１３２に出力する。

続いて、調整部１３２は、受付部１３１によって受け付けられた画像の情報、及び新たな他の注視点の位置情報を用いて、射影変換行列のパラメータを調整する（ステップＳ１０４）。調整部１３２は、撮像装置２０と調整されたパラメータデータを対応付け、パラメータ記憶部にデータを格納する。

続いて、変換部１３３は、パラメータ記憶部１２１に格納された、調整部１３２によって調整されたパラメータに基づき射影変換行列Ｈ´_ｋを算出し、画像記憶部１２２に記憶されている映像データのうち、「変換後＃１」に対応する映像データを変換する（ステップＳ１０５）。このとき、変換部１３３は、変換後の映像データを画像記憶部１２２の「変換後＃２」に格納する。

そして、出力部１３４は、ステップＳ１０１において取得要求を送信した端末装置１０に対して、変換部１３３によって変換された後の映像データを配信する（ステップＳ１０６）。

〔８．変形例〕
上述してきた実施形態に係る画像処理装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下に、上記の画像処理装置１００の他の実施形態について説明する。

〔８−１．注視点の連続性〕
上記実施形態では、図４の例のように、注視点について、元の各画像における注視点ｇ_ｋの重心位置に、変換された後の画像における注視点Ｇ_１を移動する射影変換の手法を示した。しかし、多視点映像技術について、隣り合う画像に切り替えた際に認知的な連続性に影響を与えず、かつ、解像度の低下を抑制する射影変換の手法は、上記例に限られない。

画像処理装置１００は、複数の画像における注視点の関係性に基づいて、変換部１３３により変換された後の複数の変換画像における注視点の位置関係が連続的に変化するように、変換に係る光学的情報を調整することもできる。例えば、画像処理装置１００は、各注視点の位置関係を連続的に変化させる一例として、変換後の各画像における注視点が線形性を有するように光学的情報を調整することもできる。この点について、図９を用いて説明する。図９は、変形例に係る画像処理装置による画像処理の一例を示す図である。図９では、注視点の位置関係が連続的に変化するような画像処理装置１００による画像処理の一例を示す。

図９に示すように、画像処理装置１００は、変換された後の画像における注視点の位置について、互いに隣り合う各画像における注視点Ｇ２１、Ｇ２２、及びＧ２３の位置が線形の軌跡を描くように配置してもよい。例えば、画像処理装置１００は、変換された後の画像Ｔ２１、Ｔ２２、及びＴ２３において、滑らかな線Ｌを仮定し、滑らかな線Ｌ上に注視点Ｇ２１、Ｇ２２、及びＧ２３を配置するように、各画像を変換することができる。ここで、滑らかな線Ｌとは、例えば、元の撮影画像における注視点ｇ_ｋの分布について最小二乗法を用いて回帰させた線等である。したがって、滑らかな線Ｌは、直線に限られず、滑らかな曲線等となる場合もありうる。

変換された後の画像Ｔ２１、Ｔ２２、及びＴ２３において滑らかに被写体４０が移動するのであれば、被写体４０が固定されている場合と同じように、画像の切り替えの際の認知性に大きな影響を与えにくいことが考えられる。また、元の注視点ｇ_ｋの分布によっては、上記実施形態のように各画像における元の注視点ｇ_ｋの重心位置に注視点Ｇ_１を移動するよりも、変換された後の画像の実質的な解像度を高く保つことができる場合がある。

〔８−２．被写体サイズの平均調整〕
ここまで、注視点の位置の平行移動に関する、新しい画像中心位置に係るパラメータ（ｕ０´ｋ、ｖ０´ｋ）を変化させる実施形態、及び、変形例について主に説明してきた。次に、射影変換に際して拡大の手段を用いた例について説明する。

例えば、画像処理装置１００は、複数の画像に写る被写体（すなわち、撮像対象）におけるサイズの関係性に基づいて、複数の画像に写る各被写体における平均サイズを求め、変換部１３３によって変換された後の各変換画像に写る被写体におけるサイズが平均サイズになるように、変換に係る光学的情報を調整することもできる。

前述のように、射影変換における拡大のパラメータは上記式（５）における新しい焦点距離ｆ´_ｋである。新しい焦点距離ｆ´_ｋを増加させれば、疑似的にカメラを注視点、すなわち被写体に近づけたように扱うことができる。

ここで、新たな焦点距離ｆ′_ｋを下記式（１０）のように調整すれば、注視点に居る被写体の見た目の大きさを一定に保つことができる。

上記式（１０）にあるｆ_average、ｚ_averageは、それぞれ下記の式（１１）及び式（１２）で表される。

ここで、上記式（１０）、式（１１）及び式（１２）におけるｚはレンズにおけるｚ軸座標、すなわち被写体の大きさを表す。被写体の大きさが複数の画像間で不規則に大小すると違和感があるため、このような処理は自然な多視点映像技術における映像を演出する上では効果的である。この点について、図１０を用いて説明する。図１０は、変形例に係る画像処理装置による画像処理の一例を示す図である。図１０では、被写体を平均サイズとする画像処理装置１００による画像処理の一例を示す。

図１０に示すように、変形例に係る調整部１３２は、注視点ｇ_ｋを内包する被写体４０について、見た目の大きさをそろえるように、射影変換行列に係るパラメータである新しい焦点距離ｆ′_ｋを調整する。そして、変形例に係る変換部１３３は、調整された射影変換行列Ｈ´_ｋを用いて、元の撮影画像Ｆ１１、Ｆ１２及びＦ１３を射影変換する。これにより、変換された後の画像Ｔ３１、Ｔ３２及びＴ３３における新たな被写体４２は、画像に占める見た目の大きさが一定になる。これにより、多視点映像技術を用いた映像にとって自然な演出となるため、画像処理装置１００は、映像の閲覧者にとって認知的な連続性に影響を与えにくい映像を提供することができる。

〔８−３．被写体サイズの段階調整〕
変換された後の画像において滑らかに注視点を配置した上記〔８−１〕の変形例と同じように、被写体の見た目の大きさを滑らかに変化させても、画像の切り替えの際の認知性は影響を受けにくいと考えられる。

例えば、画像処理装置１００は、複数の画像に写る被写体におけるサイズの関係性に基づいて、変換部１３３により変換された後の複数の変換画像に写る被写体におけるサイズが段階的に変化するように、変換に係る光学的情報を調整することもできる。具体的には、変換された後の複数の変換画像に写る被写体におけるサイズが段階的に変化するとは、被写体のサイズを、表示する画像の順に、線形的に増減させること等をいう。

例えば、撮像装置が被写体を取り囲んでいるような配置を天から見下ろした場合を考える。そして、焦点位置Ｃ_ｋを、注視点Ｇと焦点位置Ｃ_ｋを結ぶ直線上で前後に動かす。その結果、焦点位置Ｃ_ｋが全体として何らかの滑らかな軌跡上に存在しているかのように焦点距離ｆ_ｋを設定することにより、被写体の見た目の大きさを滑らかに変化させることができる。その解の一つは、下記式（１３）におけるαを、何らかの線形モデルへ回帰させ、新しい焦点距離ｆ′_ｋを得ることで求まる。

例えば、天方向から見下ろした２次元空間においては、上記式（１３）におけるαを２次曲線に回帰することが考えられる。この回帰の結果得られる新しい焦点距離ｆ′_ｋの分布によっては、上記〔８−２〕に記載の変形例のように、被写体の見た目の大きさを一定にするよりも、変換された後の画像の実質的な解像度を高く保つことができる場合がある。この点について、図１１を用いて説明する。図１１は、変形例に係る画像処理装置による画像処理の一例を示す図である。図１１では、被写体を段階的なサイズとする画像処理装置１００による画像処理の一例を示す。

図１１に示すように、変形例に係る調整部１３２は、注視点ｇ_ｋを内包する被写体４０について、見た目の大きさを段階的に変化させるように、上記式（１３）を参照し、射影変換行列に係るパラメータである新しい焦点距離ｆ′_ｋを調整する。そして、変形例に係る変換部１３３は、調整された射影変換行列Ｈ´_ｋを用いて、元の撮影画像Ｆ１１、Ｆ１２及びＦ１３を射影変換する。これにより、変換された後の画像Ｔ４１、Ｔ４２及びＴ４３におけるそれぞれの新たな被写体４３，４４，及び４５は、段階的に見た目の大きさが小さくなる。

図１１では、被写体が段階的に小さくなる例を示したが、被写体の大きさが滑らかに変化し、映像の閲覧者にとっての認知性に影響を与えなければ、段階的な変化の種類はこれに限られない。先に示したようにαが二次曲線に回帰するならば、被写体が段階的に大きくなり、その後、段階的に小さくなっていく映像も考えられる。この結果、変換後の被写体のサイズを一定にした場合と比較して、元の撮影画像における各被写体のサイズが変換後の各被写体のサイズに近くなるような場合は、画像の拡大率が抑えられ、画像の実質的な解像度を高く保つことができる。

〔８−４．コンビネーション〕
画像処理装置１００の実施形態について変形例も含めて説明したが、それぞれの画像処理における手法は、単独で用いるだけではなく、組み合わせて実施されることも考えらえる。以下、それらの組み合わせをコンビネーションと表記し、説明する。

画像処理装置１００は、上記〔４〕の実施形態と、上記〔８−２〕の変形例のコンビネーションで画像を処理することができる。これにより、画像処理装置１００は、注視点が固定され、かつ、被写体のサイズが一定に保たれる多視点映像技術に係る映像を生成することができる。

画像処理装置１００は、上記〔４〕の実施形態と、上記〔８−３〕の変形例のコンビネーションで画像を処理することができる。これにより、画像処理装置１００は、注視点が固定され、かつ、被写体のサイズが段階的に変化するような多視点映像技術に係る映像を生成することができる。

画像処理装置１００は、上記〔８−１〕の変形例と、上記〔８−２〕の変形例のコンビネーションで画像を処理することができる。これにより、画像処理装置１００は、注視点が滑らかに移動し、かつ、被写体のサイズが一定に保たれる多視点映像技術に係る映像を生成することができる。

画像処理装置１００は、上記〔８−１〕の変形例と、上記〔８−３〕の変形例のコンビネーションで画像を処理することができる。これにより、画像処理装置１００は、注視点が滑らかに移動し、かつ、被写体のサイズが段階的に変化するような多視点映像技術に係る映像を生成することができる。

上記のような各々のコンビネーションにより、画像処理装置１００は、被写体の位置や大きさに統一がない各撮影画像に対しても、上記実施形態及び変形例に係る手法を組み合わせて、適した画像処理を行うことができる。

なお、上記〔４〕の実施形態と上記〔８−１〕の変形例は、ともに、新しい画像中心位置を調整する手法であり、互いに排他的な処理である。同様に、上記〔８−２〕の変形例と上記〔８−３〕の変形例は、ともに新しい焦点距離を調整する手法であり、互いに排他的な処理である。

ただし、画像処理装置１００は、上記実施形態及び変形例に係る手法を複数、あるいは全て備え、それを選択することにより、適宜、閲覧者の求める映像を提供することもできる。例えば、画像処理装置１００は、上記〔４〕の実施形態における画像処理と、上記〔８−１〕の変形例における画像処理とを、ともに実現するような構成とすることができる。例えば、閲覧者がより高解像度の映像を求める場合において、画像処理装置１００は、元の各撮影画像と変換後の画像について上記式（９）で表される面積比Ｅの数値がより高くなるよう、いずれかの手法を選択して映像を生成し、閲覧者に映像を提供することもできる。

〔９−１．システム構成〕
上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、例えば、図６、図７等に示した各種情報は、図示した情報に限られない。また、例えば、図２、図３、図４、図９、図１０、図１１等に示した被写体は、模式的に示した例であって、図示したものに限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、上記実施形態では、画像処理装置１００がサーバ装置である例を示したが、画像処理装置１００は、スタンドアロンで動作する情報処理装置であってもよい。かかる場合には、画像処理装置１００は、ユーザから各種操作を受け付ける入力部や、各種情報を表示するための表示部を有する。また、例えば、上述した画像処理装置１００による処理を端末装置１０が行ってもよい。この場合、端末装置１０は、図５に示した制御部１３０を有することとなる。このとき、端末装置１０は、パラメータ記憶部１２１や画像記憶部１２２を有してもよいし、パラメータ記憶部１２１や画像記憶部１２２に記憶されている各種データについては画像処理装置１００から適宜取得してもよい。

〔９−２．ハードウェア構成〕
また、上述してきた実施形態に係る画像処理装置１００、端末装置１０は、例えば図１２に示すような構成のコンピュータ１０００によって実現される。以下、画像処理装置１００を例に挙げて説明する。図１２は、画像処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワーク５０を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワーク５０を介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る画像処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、パラメータ記憶部１２１や画像記憶部１２２内のデータが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワーク５０を介してこれらのプログラムを取得してもよい。

〔１０．効果〕
上述してきたように、実施形態に係る画像処理装置１００は、調整部１３２と、変換部１３３とを有する。調整部１３２は、複数の撮像装置２０により生成された視点位置の異なる複数の画像の関係性に基づいて、複数の撮像装置２０における光学的な情報を示す光学情報の少なくとも一部を調整する。変換部１３３は、調整部１３２によって調整された光学情報を用いて、複数の画像のうち光学情報に対応する画像を変換する。

また、実施形態に係る調整部１３２は、複数の画像と、複数の画像が変換部１３３によって変換された場合における複数の変換画像との総合的な差異に基づいて、光学情報を調整する。

これにより、実施形態に係る画像処理装置１００は、多視点映像技術において映像の解像度が低下することを抑制することができる。

また、実施形態に係る調整部１３２は、複数の画像における注視点の関係性に基づいて、当該複数の画像における注視点の重心位置を求め、変換部１３３によって変換された後の各変換画像における注視点が重心領域に位置するように、光学情報を調整する。

これにより、実施形態に係る画像処理装置１００は、閲覧者にとって不自然な映像となることを防止できるとともに、解像度の低下を抑制することができる。

また、実施形態に係る調整部１３２は、複数の画像における注視点の関係性に基づいて、変換部１３３により変換された後の複数の変換画像における注視点の位置関係が連続性を有するように、光学情報を調整する。

これにより、実施形態に係る画像処理装置１００は、閲覧者にとって不自然な映像となることを防止できるとともに、解像度の低下をより抑制することができる。

また、実施形態に係る調整部１３２は、複数の画像におけるサイズの関係性に基づいて、複数の画像における平均サイズを求め、変換部１３２によって変換された後の各変換画像におけるサイズが平均サイズになるように、光学情報を調整する。

これにより、実施形態に係る画像処理装置１００は、閲覧者にとって不自然な映像となることを防止できるとともに、解像度の低下を抑制することができる。

また、実施形態に係る調整部１３２は、複数の画像におけるサイズの関係性に基づいて、変換部１３３により変換された後の複数の変換画像におけるサイズの段階的に変化するように、光学情報を調整する。

これにより、実施形態に係る画像処理装置１００は、閲覧者にとって不自然な映像となることを防止できるとともに、解像度の低下をより抑制することができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述した画像処理装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、変換部は、変換手段や変換回路に読み替えることができる。

１ 画像処理システム
１０ 端末装置
２０ 撮像装置
１００ 画像処理装置
１２１ パラメータ記憶部
１２２ 画像記憶部
１３１ 受付部
１３２ 調整部
１３３ 変換部
１３４ 出力部

Claims (10)

1. 複数の撮像装置により生成された視点位置の異なる複数の画像の関係性に基づいて、当該複数の撮像装置における光学的な情報を示す光学情報の少なくとも一部を調整する調整部と、
   前記調整部によって調整された光学情報を用いて、前記複数の画像のうち当該光学情報に対応する画像を変換する変換部と、
   を備えたことを特徴とする画像処理装置。
2. 前記調整部は、
   前記複数の画像と、当該複数の画像が前記変換部によって変換された場合における複数の変換画像との総合的な差異に基づいて、前記光学情報を調整する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記調整部は、
   前記複数の画像における注視点の関係性に基づいて、当該複数の画像における注視点の重心領域を求め、前記変換部によって変換された後の各変換画像における注視点が前記重心領域に位置するように、前記光学情報を調整する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記調整部は、
   前記複数の画像における注視点の関係性に基づいて、前記変換部により変換された後の複数の変換画像における注視点の位置関係が連続的に変化するように、前記光学情報を調整する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記調整部は、
   前記複数の画像における注視点の重心領域に基づいて前記光学情報を調整するか、又は、前記変換部により変換された後の複数の変換画像における注視点の位置関係が連続的に変化するように前記光学情報を調整する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記調整部は、
   前記複数の画像に写る各撮像対象におけるサイズの関係性に基づいて、当該各撮像対象における平均サイズを求め、前記変換部によって変換された後の各変換画像に写る各撮像対象におけるサイズが前記平均サイズになるように、前記光学情報を調整する、
   ことを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記調整部は、
   前記複数の画像に写る各撮像対象におけるサイズの関係性に基づいて、前記変換部により変換された後の複数の変換画像に写る各撮像対象におけるサイズが段階的に変化するように、前記光学情報を調整する、
   ことを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
8. 前記調整部は、
   前記複数の画像に写る各撮像対象における平均サイズに基づいて前記光学情報を調整するか、又は、前記変換部により変換された後の複数の変換画像に写る各撮像対象におけるサイズが段階的に変化するように前記光学情報を調整する、
   ことを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
9. 画像処理装置が実行する画像処理方法であって、
   複数の撮像装置により生成された視点位置の異なる複数の画像の関係性に基づいて、当該複数の撮像装置における光学的な情報を示す光学情報の少なくとも一部を調整する調整工程と、
   前記調整部によって調整された光学情報を用いて、前記複数の画像のうち当該光学情報に対応する画像を変換する変換工程と、
   を含んだことを特徴とする画像処理方法。
10. 複数の撮像装置により生成された視点位置の異なる複数の画像の関係性に基づいて、当該複数の撮像装置における光学的な情報を示す光学情報の少なくとも一部を調整する調整手順と、
    前記調整部によって調整された光学情報を用いて、前記複数の画像のうち当該光学情報に対応する画像を変換する変換手順と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。

Images