JP2022064149A - 画像処理装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 適切な仮想視点画像を生成する。【解決手段】 複数の撮像装置による撮像された複数の画像から生成された複数のオブジェクトの３次元形状データどうしの位置または形状のずれに基づき、調整対象オブジェクトの３次元形状データの位置または形状を調整する。そして、位置または形状が調整された調整対象オブジェクトの３次元形状データと非調整対象のオブジェクトの３次元形状データと、仮想視点とに基づいて、仮想視点画像を生成する。【選択図】 図１

Description

本開示は、複数の撮像装置による撮像で得た画像に基づく仮想視点画像の生成技術に関するものである。

昨今、複数の撮像装置を異なる位置に設置して同期撮像し、それぞれの撮像装置で得た画像を用いて仮想視点画像を生成する技術が注目されている。また、このような技術を用いて、撮像された前景被写体の３次元オブジェクトと、あらかじめ用意した背景の３次元オブジェクトとを合成して仮想視点画像を生成することができる。

特許文献１には、複数の撮像装置が撮像する前景被写体の３次元オブジェクトと背景の３次元オブジェクトを用いた仮想視点画像の生成方法が開示されている。

特開２０１７－２１１８２７号公報

しかしながら、特許文献１に記載される方法において、前景と異なる環境で生成された背景を合成する際に、前景と背景の相対的な位置、特に高さが正確に補正されない場合がある。この場合、生成される仮想視点画像は違和感の有る画像となり、高い品位を有するものとはならない。

本開示は、上記課題に鑑み、適切な仮想視点画像を生成する技術を提供することを目的とする。

この課題を解決するため、例えば本開示の画像処理装置は以下の構成を備える。すなわち、
複数の撮像装置による撮像された複数の画像から生成された複数のオブジェクトの３次元形状データを取得する取得手段と、
取得した複数のオブジェクトの３次元形状データどうしの位置または形状のずれに基づき、前記複数のオブジェクトの３次元形状データのうち調整対象オブジェクトの３次元形状データの位置または形状を調整する調整手段と、
位置または形状が調整された調整対象オブジェクトの３次元形状データと、前記複数のオブジェクトの３次元形状データのうち調整対象オブジェクトの３次元形状データとは異なるオブジェクトの３次元形状データと、前記仮想視点とに基づいて、仮想視点画像を生成する生成手段とを有する。

本開示によれば、適切な仮想視点画像を生成することができる。

第１の実施形態におけるシステム構成図。 第１の実施形態におけるハードウェア構成図。 第１の実施形態における情報処理装置置の処理を示すフローチャート。 第１の実施形態における補正量算出の過程を説明する図。 第２の実施形態におけるシステム構成図。 第２の実施形態における情報処理装置の処理を示すフローチャート。 第２の実施形態における補正量算出の過程を示す図。 第３の実施形態におけるシステム構成図。 第３の実施形態における情報処理装置の処理を示すフローチャート。 その他の実施形態における補正量のフィルタ処理を説明するための図。 その他の実施形態における不可視領域を除外した接点の算出を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態では、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点から観察される仮想視点画像を生成する画像処理システムにおいて、背景の位置を補正して前景と合成する例を述べる。
本実施形態で説明する画像とは静止画に限らず、動画として逐次撮像される連続時刻の映像も含むものとして説明する。

図１にシステム構成図を示す。画像処理システム１は、以下の構成要素を有する。

複数の撮像装置１００は、撮像領域を複数の方向から撮像する。この撮像領域は、例えば屋内の撮像スタジオや演劇が行われる舞台などである。複数の撮像装置は、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置１００は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の一部の方向にのみ設置されていてもよい。また、撮像装置の数は図に示す例に限定されず、例えば撮像領域をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮像装置が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置が設置されていてもよい。視点情報１１１は、複数の撮像装置１００のそれぞれについて三次元位置を表すパラメータと、パン、チルト、及びロール方向における撮像装置の方向を表すパラメータと、撮像装置の視野の大きさ（画角）および解像度を含む、パラメータセットである。視点情報１１１は撮像装置ごとに記述してもよいし、複数の撮像装置をまとめて記述してもよい。視点情報１１１は公知のカメラキャリブレーションの手順であらかじめ算出し、適当な記憶装置（例えばハードディスク等）に記憶しておく。すなわち複数の撮像装置１００の撮像に基づく複数の画像中の点を対応付け、幾何計算により視点情報１１１を算出する。なお、視点情報の内容は上記に限定されない。視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、撮像装置の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける撮像装置の位置及び方向を示す情報であってもよい。

オブジェクト生成装置１１０は、撮像装置１００から受信する複数視点の画像と視点情報１１１に基づき、例えば特許文献１に記載の方法に従って、前景被写体である舞台演者などの人物の３次元オブジェクトを生成する。３次元オブジェクトとは、形状と色を示す情報を記述した３次元形状データであり、テクスチャ付きメッシュモデルや各点に色のついた３次元点群などで構成される。なお、３次元オブジェクトは、色が付いていなくてもよい。オブジェクト生成装置１１０が生成した前景被写体の３次元オブジェクトは前景オブジェクト１０１として記録するとともに情報処理装置２００へ送信する。背景オブジェクト１０２は、前景とは異なる環境、例えば広いコンサートホールやサッカースタジアム、あるいは小規模な屋内の部屋の３次元オブジェクトである。背景オブジェクト１０２はＣＡＤなどの設計データを用いてもよいし、レーザースキャナーなどでスキャンした形状と色データを用いてもよい。あるいは複数視点の画像群からＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎなどのコンピュータビジョンの技術を用いて生成してもよい。背景オブジェクト１０２はあらかじめ画像処理システム１内の後述するＲＯＭに読み込んでおく。

情報処理装置２００は、オブジェクト取得部２０１と補正量算出部２０２およびレンダリング部２０３を有する。オブジェクト取得部２０１は、前景オブジェクト１０１および背景オブジェクト１０２を取得する。補正量算出部２０２は、前景オブジェクト１０１および背景オブジェクト１０２を用いて、背景オブジェクト１０２の位置の補正量を算出する。レンダリング部２０３は、補正量を用いて背景オブジェクト１０２を補正する。そして、レンダリング部２０３は、前景オブジェクト１０２、及び、仮想視点１０３を用いてレンダリングを行い、表示装置３００へ仮想視点画像データを送信する。仮想視点１０３は、画像処理システム１内の後述するＲＡＭにあらかじめ記録しておく。表示装置３００は、例えば液晶ディスプレイであり、受信した仮想視点画像を表示する。なお、表示装置はこれに限らず、プロジェクタやヘッドマウントディスプレイなどでも良い。ここで仮想視点１０３はデータであり、視点情報１１１と同様のフォーマットで仮想視点に仮想的に存在する仮想カメラの三次元位置、方向、画角、解像度が記述されている。また、仮想視点１０３は、図示しない外部のコントローラなどの操作インターフェースの信号を受信することで得てもよい。また、情報処理装置２００が有する、不図示のキーボードやマウスなどで仮想視点１０３を設定しても構わない。

図２に情報処理装置２００のハードウェア構成図を示す。なお、画像処理システム１および表示装置３００のハードウェア構成も、以下で説明する情報処理装置２００の構成と同様である。情報処理装置２００は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて情報処理装置２００の全体を制御することで、図１に示す情報処理装置２００の各機能を実現する。なお、情報処理装置２００がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置２００を操作するためのＧＵＩ（Graphical User Interface）などを表示する。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。ＣＰＵ２１１は、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作する。通信Ｉ／Ｆ２１７は、情報処理装置２００の外部の装置との通信に用いられる。例えば、情報処理装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。情報処理装置２００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、情報処理装置２００の各部をつないで情報を伝達する。本実施形態では表示部２１５と操作部２１６が情報処理装置２００の内部に存在するものとするが、表示部２１５と操作部２１６との少なくとも一方が情報処理装置２００の外部に別の装置として存在していてもよい。

次に情報処理装置２００の処理を図３のフローチャートを参照して説明する。

ステップＳ２０１０にて、オブジェクト取得部２０１は、前景オブジェクト１０１および背景オブジェクト１０２を取得する。これらのオブジェクトは、例えばスタンフォードＰＬＹやウェーブフロントＯＢＪといった汎用のフォーマットファイルに記録された３次元メッシュポリゴンとして取得し、ＲＡＭ２１３に展開して記録しておく。ここで、２つのオブジェクトはそれぞれ異なる環境で生成されている。実施形態では、前景オブジェクト１０１は高さ０の床面の上に前景被写体が存在する環境で、背景オブジェクト１０２は高さ８０の位置に床面が存在するＣＡＤモデルとして、それぞれ生成されたものとして説明する。また、背景オブジェクト１０２には、床（もしくは地面）を表す属性のオブジェクト要素を示す情報、並びに、床より下にはオブジェクトが存在することができないことを表す属性情報が付随しているものとする。

ステップＳ２０２０にて、補正量算出部２０２は、背景オブジェクト１０２の位置の補正量を算出する。図４（ａ）には、背景オブジェクト１０２の床面１２と前景オブジェクト１０１の足元が高さ８０の位置で干渉しており、床面１２よりも低い位置にある足元が床面１２によって遮蔽される様子を、〇枠１１内に示す。ここで背景オブジェクト１０２は白色のテクスチャ、前景オブジェクト１０１はグレーの色であるものとする。また前景オブジェクト１０１に含まれる各８人の演者のそれぞれを外接する仮想３次元空間の３軸に沿った矩形、すなわちバウンディングボックス１３を示す。バウンディングボックス１３の下面は床面１２によって遮蔽されているため、破線で示している。本ステップの補正量の算出にあたり、補正量算出部２０２は、まず複数のバウンディングボックス１３の下面の頂点Ｐ（△）から所定の方向（実施形態ではＺ軸方向）に伸ばした垂線と床面１２の交点Ｑ（●）を求め、ベクトルＱＰを算出する。次に、補正量算出部２０２は、複数のバウンディングボックス１３の頂点ごとに算出したベクトルＱＰのうち大きさが最大のものを補正量として決定する。これはいずれの前景被写体の足元も遮蔽されないようにするためである。このとき、床に接していない、例えば飛び跳ねている瞬間の前景オブジェクトについては候補から除外するために、ベクトルＱＰの大きさの分布においてσを超えるものをはずれ値として除外しても良い。または、前景被写体が床に触れている瞬間のフレームをユーザが選択して取得しても良い。ここではベクトルＱＰの大きさが最大のものを補正量としたが、最小値や平均値、中央値などそのほかの統計量を用いて決定してもよい。またはどのような統計量で決定するかをユーザが指定してもよい。

ステップＳ２０３０にて、補正量算出部２０２は、算出した補正量の分だけ背景オブジェクト１０２をベクトルＱＰの指すＺ軸負方向に移動し、位置を補正する。位置補正の結果、図４（ｂ）に示すように背景オブジェクト１０２の床面１２は補正量の分だけＺ軸下方向に下がり、足元１１が遮蔽されなくなる。

ステップＳ２０４０にて、レンダリング部２０３は、仮想視点１０３からの見えを表す画像を、補正した背景オブジェクト１０２と前景オブジェクト１０１に基づきレンダリングすることで、生成する。レンダリングの方法は特許文献１で述べられているモデルベースドレンダリングやイメージベースドレンダリングを用いれば良い。そして、ステップＳ２０５０にて、レンダリング部２０３は、レンダリングして得た仮想視点画像を表示装置３００に出力し、表示させる。

以上のように前景オブジェクトのバウンディングボックスと背景オブジェクトの距離に基づいて背景オブジェクトの位置を補正することで、前景オブジェクトが遮蔽されることによる仮想視点画像の品質低下を低減することができる。

本実施形態では前景オブジェクトに背景オブジェクトが干渉する場合について説明したが、前景オブジェクトが背景オブジェクトの床面よりも高い位置に浮くような位置でずれている場合にも同様の方法で補正することができる。また、本実施形態では前景オブジェクトは人物として説明したが、動くものに限らず、机や椅子などのオブジェクトを前景オブジェクトとして本開示を実施してもよい。また、補正量の算出にあたりバウンディングボックスの頂点を用いたが、前景オブジェクト上の任意の部位を、操作部２１６を用いて指定して算出してもよい。その場合も同様に指定箇所ごとにＺ軸方向に床面１２へ向かうベクトルを算出する。前景被写体がＹ軸に垂直な壁面に手をついており、背景オブジェクトの床面と壁面の両方を合わせるように補正する場合には、Ｚ軸方向に補正したのち、Ｙ軸方向に同様の方法で補正する。

なお、図１では、オブジェクト生成装置１１０、情報処理装置２００が独立した装置であるものとして示しているが、これらを１つの装置で実現しても構わない。また、上記では補正対象を背景オブジェクト、非補正対象を前景オブジェクトとしたが、この逆であっても構わない。

［第２の実施形態］
上記第１の実施形態では、背景オブジェクトの位置を補正する方法について述べた。しかし、前景オブジェクト撮像時の床面形状と背景オブジェクトの床面形状が大きく異なる場合（例えば背景オブジェクトの床面のみ局所的にへこんでいる場合）、十分に補正することができない。本第２の実施形態では背景オブジェクトの形状を補正することで局所的な差異も補正する方法について述べる。なお、第１の実施形態と同様の構成、及び、処理フローについては説明を省略する。

図５に、第２の実施形態における画像処理システムの構成図を示す。画像処理システム１は以下の構成要素を有する。画像処理システム１における情報処理装置２００は、補正量算出部２０２で算出した補正量を用いて背景オブジェクト１０２の形状を、後述する方法で補正する。そして、情報処理装置２００は、補正済み背景オブジェクト１０２０としてＲＡＭ２１３に記録する。また、情報処理装置は、あわせて補正量を背景補正量１０２１としてＲＡＭ２１３に記録する。レンダリング装置２０３は、前景オブジェクト１０１、補正済み背景オブジェクト１０２０、および仮想視点１０３を用いて仮想視点画像をレンダリングする。

図６に、情報処理装置２００、レンダリング装置２０３の処理フローを示す。また、図７に、ステップＳ２０５０およびステップＳ２０６０の処理の様子を示す。

ステップＳ２０１０にて、オブジェクト取得部２０１は、前景オブジェクト１０１、背景オブジェクト１０２を取得する。

そして、ステップＳ２０５０にて、補正量算出部２０２は、前景オブジェクト１０１に含まれる演者ごとにバウンディングボックス１３の下面との接点Ｒ（●）、つまり各演者の最も低い部位の座標を算出する。そして、ステップＳ２０６０にて、補正量算出部２０２は、取得した背景オブジェクトの形状を複数の接点Ｒに対してフィッティングすることで補正量を算出する。形状の補正量とは、背景オブジェクトを構成するメッシュの頂点の座標を３次元のいずれかの方向に移動する３次元ベクトルである。本ステップでは、背景オブジェクト１０２のポリゴンメッシュを、前景オブジェクト１０１に含まれる複数の接点Ｒに対してフィッティングする。ポリゴンメッシュを複数の点にフィッティングする処理は公知の手法を用いることができる。フィッティングした結果、背景オブジェクト１０２中の前景オブジェクト周辺の頂点Ｓ（△）の座標が変更される。また、形状が補正された補正済み背景オブジェクト１０２０とその各頂点Ｓの移動量を補正量１０２１として記録する。

ステップＳ２０７０にて、レンダリング装置２０３は、前景オブジェクト１０１と補正済み背景オブジェクト１０２０を取得したのち、第１の実施形態と同様の方法でレンダリングし、仮想視点画像を生成する。そして、ステップＳ３０１０にて、レンダリング装置２０３は、生成した仮想視点画像を表示装置３００に出力し、表示させる。

以上のように背景オブジェクトの形状を補正することで、前景オブジェクトと背景オブジェクトの形状に大きな差異がある場合にも正確に補正することができる。また、形状が同一でテクスチャのみ異なる複数の背景オブジェクトを切り替えて処理する場合に、補正量を記録しておくことでステップＳ２０５０、Ｓ２０６０を省略し、使いまわすことができる。

なお、図５では、オブジェクト生成装置１１０、情報処理装置２００、レンダリング装置２０３がそれぞれ独立した装置であるものとして示しているが、これらを１つの装置で実現しても構わない。かかる点は、以下の第３の実施形態でも同様である。

［第３の実施形態］
本第３の実施形態では、異なる環境で生成された複数の前景オブジェクトを、背景オブジェクトに接するように位置を補正する方法について述べる。以下、第１の実施形態と同様の構成、処理フローについては説明を省略する。

図８に、第３の実施形態におけるシステム構成図を示す。スタジオＡ、Ｂにそれぞれ複数の撮像装置１００ａ、１００ｂがあり、それぞれオブジェクト生成装置１１０ａ、１１０ｂにおいて前景オブジェクト１０１ａ、１０１ｂを生成し、ネットワークを介して画像処理システム１内のＲＡＭ２１３に記録する。図示では、オブジェクト生成装置１１０ａ，１１０ｂを個別に設置する例を示しているが、同一の装置を用いて処理してもよい。

オブジェクト取得部２０１は、複数の前景オブジェクト１０１ａ，１０１ｂおよび背景オブジェクト１０２を取得する。補正量算出部２０２は、前景オブジェクトごとに位置の補正量を算出し、それぞれ前景補正量１０１１ａ，１０１１ｂとしてＲＡＭ２１３に記録するとともに、位置を補正した補正済み前景オブジェクト１０１０ａ，１０１０ｂをＲＡＭ２１３に記録する。レンダリング装置２０３は、補正済み前景オブジェクト１０１０ａ，１０１０ｂおよび背景オブジェクト１０２を取得し、レンダリングする。

図９に、情報処理装置２００およびレンダイング装置２０３の処理フローを示す。

ステップＳ２０１０にて、オブジェクト取得部２０１が、前景オブジェクト１０１ａ、１０１ｂ、並びに、背景オブジェクト１０２を取得する。

ステップＳ２０８０にて、補正量算出部２０２が、前景オブジェクトごとに補正量を算出する。補正量算出部２０２は、第１の実施形態と同様、各前景オブジェクトに含まれる複数のバウンディングボックスの下面の頂点ＰとＺ軸方向に伸ばした垂線と背景オブジェクト１０２の交点ＱからベクトルＱＰを求め、大きさが最大のものを補正量として決定する。ステップＳ２０９０にて、補正量算出部２０２は、各前景オブジェクトに対して算出した補正量の分だけＺ軸方向に移動し、位置を補正する。

ステップＳ２０４０にて、レンダリング装置２０３は、補正後の前景オブジェクト１０１０ａ、１０１０ｂと、背景オブジェクト１０２を取得したのち、第１の実施形態と同様の方法でレンダリングし、仮想視点画像を生成する。そして、ステップＳ３０１０にて、レンダリング装置２０３は、生成した仮想視点画像を表示装置３００に出力し、表示させる。

以上のように異なる環境で撮像された複数の前景オブジェクトに対して、それぞれ補正量を算出することで背景オブジェクトに対する位置を補正して合成することができる。

［そのほかの実施形態］
以上の実施形態では特定の時刻の３次元オブジェクトに対して補正する方法を述べたが、複数の時刻のオブジェクトを取得して補正してもよい。例えば複数の時刻にわたってスタジオ内を歩き回りながら生成した前景オブジェクトを取得し、全時刻の全オブジェクトに対して実施形態１と同様の方法で背景オブジェクトを補正してもよい。

また、仮想視点動画像を生成する場合は、時系列の前景オブジェクト、背景オブジェクトを取得する。そして、フレーム間でジッターを起こさないように時間軸方向の平滑化フィルタ、例えば移動平均フィルタ処理を行って補正結果が滑らかに変化するよう処理を追加してもよい。つまり、図１０に示すように６０Ｈｚで更新されるオブジェクトに対して算出される補正量に対して５個の移動平均をとることで補正量を時間方向に滑らかに遷移する。図示の△印を結ぶ折れ線が平滑化フィルタを行う前の補正量、○印を結ぶ折れ線が平滑化フィルタを行った後の補正量の推移を示す。

オブジェクト生成装置１１０における形状算出アルゴリズムが例えばＶｉｓｕａｌ－Ｈｕｌｌである場合、図１１に示すように足の裏よりも下方向に形状が膨らむ。接点Ｒを算出するにあたり、こうした膨らんだ形状を除外するために、特許文献１に記載されているようにオブジェクト生成装置が別途生成する可視性情報を用いて撮像装置のいずれからも見えていない不可視の領域１４を算出および除外して接点Ｒを算出する。

Ｚ軸やＹ軸に沿った方向に補正する方法を述べたが、任意の３次元方向に補正してもよい。その場合は指定した３次元方向に沿ったバウンディングボックスを生成し、ベクトルを算出する。

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１…画像処理システム、１００…撮像装置、１１１…視点情報、１１０…オブジェクト生成装置、１０１…前景オブジェクト、１０２…背景オブジェクト、１０３…仮想視点、２００…情報処理装置、２０１…オブジェクト取得部、２０２…補正量算出部、２０３…レンダリング部、３００…表示装置

Claims (11)

1. 複数の撮像装置による撮像された複数の画像から生成された複数のオブジェクトの３次元形状データを取得する取得手段と、
   取得した複数のオブジェクトの３次元形状データどうしの位置または形状のずれに基づき、前記複数のオブジェクトの３次元形状データのうち調整対象オブジェクトの３次元形状データの位置または形状を調整する調整手段と、
   位置または形状が調整された調整対象オブジェクトの３次元形状データと、前記複数のオブジェクトの３次元形状データのうち調整対象オブジェクトの３次元形状データとは異なるオブジェクトの３次元形状データと、仮想視点とに基づいて、仮想視点画像を生成する生成手段と
   を有することを特徴とする画像処理装置。
2. 前記取得手段は、前景被写体のオブジェクトと背景オブジェクトを少なくとも１つずつ取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記調整手段は、３次元における所定の方向への調整であることを特徴とする請求項１に記載の画像処理装置。
4. 前記調整手段による調整は、位置ずれが小さくなるような調整であることを特徴とする請求項１に記載の画像処理装置。
5. 前記調整手段による調整は、形状のずれが小さくなるような調整であることを特徴とする請求項１に記載の画像処理装置。
6. 前記調整手段は、調整する量を算出する際に、前記ずれの統計量に基づきはずれ値を除外することを特徴とする請求項１に記載の画像処理装置。
7. 前記前景被写体のオブジェクトの各部位の可視性情報を取得する手段をさらに有し、
   前記調整手段は、不可視の部位を除外して調整する量を算出することを特徴とする請求項２に記載の画像処理装置。
8. 前記調整する量をオブジェクトに紐づけて記録する記録手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
9. 前記取得手段は、時系列に沿った複数のオブジェクトを取得し、
   前記調整手段は、前記調整する量を時間軸に沿って平滑化する手段を含む
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 複数の撮像装置による撮像された複数の画像から生成された複数のオブジェクトの３次元形状データを取得する取得工程と、
    取得した複数のオブジェクトの３次元形状データどうしの位置または形状のずれに基づき、前記複数のオブジェクトの３次元形状データのうち調整対象オブジェクトの３次元形状データの位置または形状を調整する調整工程と、
    位置または形状が調整された調整対象オブジェクトの３次元形状データと、前記複数のオブジェクトの３次元形状データのうち調整対象オブジェクトの３次元形状データとは異なるオブジェクトの３次元形状データと、仮想視点とに基づいて、仮想視点画像を生成する生成工程と
    を有することを特徴とする画像処理装置の制御方法。
11. コンピュータが読み込み実行することで、前記コンピュータに、請求項１０に記載の方法が有する各工程を実行させるためのプログラム。

Images