JP2021141533A - 姿勢調整システムおよび姿勢調整方法、画像処理装置およびその制御方法、ならびにプログラム - Google Patents

Abstract

【課題】撮像装置の高精度な姿勢調整を可能にする。【解決手段】撮像装置の姿勢調整のための画像を生成する画像処理装置において、撮影領域の構造物の三次元モデルに基づいて生成された第一の目標画像を用いて姿勢が調整された後の撮像装置（１０１）によって撮影された撮影画像を取得し、第一の目標画像と取得された撮影画像に基づいて、撮像装置の姿勢と目標の姿勢との差を補正するための補正量を決定し、決定された補正量を用いて撮影画像を補正し、補正された後の撮影画像を、撮像装置の姿勢をさらに調整するための第二の目標画像として記憶する。【選択図】 図１

Description

本発明は、撮像装置の姿勢調整を行うための姿勢調整システムおよび姿勢調整方法、画像処理装置およびその制御方法、プログラムに関する。

目標画像と撮影画像とを重ね合わせて表示することで撮像装置（以下、カメラともいう）の姿勢を調整する技術がある。例えば、監視用固定カメラの経時的姿勢変化を、過去の撮影画像と現在の撮影画像を重ね合わせることで検出および補正する方法が知られている。非特許文献１には、撮影像からランドマーク（特定対象物）を抽出し、画像上の位置を算出し、あらかじめコンピュータグラフィックスによって計算されたランドマークの位置座標を基にカメラの位置・姿勢を同定する技術が開示されている。また、特許文献１では、多視点から被写体を撮像するための複数の撮像装置の位置・姿勢を決定し、それらの情報をユーザ（設置者）に提供することで、ユーザ等による撮像装置の設置作業を支援する技術が開示されている。

特開２０１９−０９２００７号公報

河村貴弘，舘村純一，坂内正夫，"実映像中のランドマーク情報を利用した拡張現実感の一生成手法"，第５２回全国大会講演論文集，情報処理学会，１９９６年３月６日，p.177-178

コンピュータグラフィックスを用いて、撮像装置の位置姿勢情報の生成を行う場合、以下のような課題が生じる。つまり、カメラはレンズ個々に固有の光学特性（光学収差）を有するため、近軸光学計算をベースとする無収差のコンピュータグラフィックス画像（ＣＧ画像）は実際の撮影画像と異なる。例えば歪曲収差では、画面上の端部ほど無収差の場合の結像位置からずれる。このため、画像中央でＣＧ画像と撮影画像が一致していても、画面端部ではＣＧ画像と撮影画像がずれ、画面全体でＣＧ画像と撮影画像が一致することはない。そのためカメラ姿勢調整では、作業者の主観に基づく姿勢調整が行われることになり、カメラ姿勢調整精度の低下、作業者によるばらつき、姿勢調整の再現性の低下などが生じる。

本発明は、撮像装置の高精度な姿勢調整を可能にする技術を提供する。

本発明の一態様による画像処理装置は以下の構成を有する。すなわち、
撮像装置の姿勢調整のための画像を生成する画像処理装置であって、
撮影領域の構造物の三次元モデルに基づいて生成された第一の目標画像を用いて姿勢が調整された後の前記撮像装置によって撮影された撮影画像を取得する取得手段と、
前記第一の目標画像と前記取得手段により取得された前記撮影画像に基づいて、前記撮像装置の姿勢と目標の姿勢との差を補正するための補正量を決定する決定手段と、
前記補正量を用いて、前記撮影画像を補正する補正手段と、
前記補正手段によって補正された後の前記撮影画像を、前記撮像装置の姿勢をさらに調整するための第二の目標画像として記憶する記憶手段と、を有する。

本発明によれば、撮像装置の高精度な姿勢調整が可能になる。

第一実施形態による姿勢調整システムの構成例を示す図。 第一実施形態による姿勢調整システムの動作を説明するフローチャート。 （ａ）はフィールドに配置された姿勢調整用マーカの例を示す図、（ｂ）はカメラ姿勢調整のための第一の目標画像の例を示す図。 （ａ）は第一のカメラ姿勢調整における表示例を示す図、（ｂ）はレンズ光学特性の例（糸巻型歪曲収差）を説明する図。 （ａ）は第一のカメラ姿勢調整後の撮影画像を示す図、（ｂ）は第二のカメラ姿勢調整のための第二の目標画像の例を示す図。 （ａ）は第二のカメラ姿勢調整を説明する図、（ｂ）は第二のカメラ姿勢調整後の撮影画像の例を示す図。 第二実施形態による複数のカメラの配置例を示す図。 第二実施形態による姿勢調整システムの構成例を示す図。 第三実施形態による姿勢調整システムの構成例を示す図。 画像処理装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１は、第一実施形態による撮像装置の姿勢調整を実現する姿勢調整システムの構成例を示す図である。カメラ１０１は、本実施形態による姿勢調整の対象となる撮像装置であり、所定の領域を撮影するようにカメラの姿勢が調整される。本実施形態によれば、第一のカメラ姿勢調整と第二のカメラ姿勢調整の２回の姿勢調整が行われる。それぞれの姿勢調整の詳細については後述する。１０２は外部装置からの映像入力が可能なパーソナルコンピュータ（以下、ＰＣ１０２）である。例えば、ＰＣ１０２として、カメラからの出力映像をＨＤＭＩ（登録商標）端子またはＵＳＢ端子から入力し、ディスプレイに表示することが可能なラップトップコンピュータを用いることができる。ＰＣ１０２は、カメラ姿勢調整のための目標画像と、姿勢調整中のカメラ１０１からのリアルタイム実写画像（撮影画像）とを重ね合わせてディスプレイに表示する。ユーザは、ディスプレイに重ね合わせて表示された２つの画像を見ながら、それら２つの画像が一致するようにカメラ１０１の姿勢調整を行う。

ＰＣ１０２は、目標とする姿勢に調整された前記撮像装置が撮影する領域に対応する目標画像（第一の目標画像）とカメラ１０１からのリアルタイムの撮影画像とをディスプレイに重ね合わせて表示する。第一の目標画像は、例えば、コンピュータグラフィックス（以下、ＣＧ）により生成されたコンピュータグラフィックス画像（以下、ＣＧ画像）である。ユーザは、第一の目標画像と撮影画像の重ね合わせ表示を用いてカメラ姿勢調整を行う（第一のカメラ姿勢調整）。画像処理装置１０３は、第一のカメラ姿勢調整が完了した後のカメラ１０１から得られる撮影画像をもとに第二のカメラ姿勢調整のための目標画像（第二の目標画像）を生成する。生成された第二の目標画像は、イメージサーバ１０８に転送される。ＰＣ１０２は、第二の目標画像をイメージサーバ１０８から取得し、カメラ１０１から得られるリアルタイムの撮影画像と第二の目標画像を重ね合わせて表示する。ユーザは、第二の目標画像と撮影画像の重ね合わせ表示を用いてカメラ姿勢調整を行う（第二のカメラ姿勢調整）。

画像処理装置１０３において、画像取得部１０４は、画像処理装置１０３に接続されたカメラ１０１からの撮影画像を取得する。本実施形態では、画像取得部１０４は、第一のカメラ姿勢調整の後の撮影画像を取得する。補正量決定部１０５は、目標とするカメラ姿勢と第一のカメラ姿勢調整の後の撮影画像に基づいて、撮像装置の姿勢と目標の姿勢との差を補正するための補正量を決定する。例えば、補正量決定部１０５は、画像取得部１０４で取得した第一のカメラ姿勢調整後の撮影画像と、目標とするカメラ姿勢との差異を算出し、これを補正量として決定する。この補正量は、第一のカメラ姿勢調整後の撮影画像に対する補正量として画像補正部１０６により用いられる。画像補正部１０６は、補正量決定部１０５が決定した補正量をもとに、画像取得部１０４が取得した撮影画像を補正し、第二のカメラ姿勢調整で用いられる第二の目標画像を生成する。画像記録部１０７は、画像補正部１０６が生成した第二の目標画像を、イメージサーバ１０８に転送するために一時的に記録する。イメージサーバ１０８に転送された第二の目標画像は、第二のカメラ姿勢調整のためにＰＣ１０２に送信される。

次に、画像処理装置１０３のハードウェア構成について、図１０を用いて説明する。図１０は、画像処理装置１０３のハードウェア構成例を示すブロック図である。なお、ＰＣ１０２のハードウェア構成も、以下で説明する画像処理装置１０３の構成と同様である。すなわち、画像処理装置１０３もＰＣ１０２も、以下に説明するハードウェア構成を備えた情報処理装置により実現され得る。画像処理装置１０３は、ＣＰＵ１５１、ＲＯＭ１５２、ＲＡＭ１５３、補助記憶装置１５４、表示部１５５、操作部１５６、通信Ｉ／Ｆ１５７、及びバス１５８を有する。

ＣＰＵ１５１は、ＲＯＭ１５２やＲＡＭ１５３に格納されているコンピュータプログラムやデータを用いて画像処理装置１０３の全体を制御することで、図１に示す画像処理装置１０３の各機能を実現する。なお、画像処理装置１０３がＣＰＵ１５１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１５１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ１５２は、変更を必要としないプログラムなどを格納する。ＲＡＭ１５３は、補助記憶装置１５４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ１５７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１５４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部１５５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが画像処理装置１０３を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部１５６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１５１に入力する。ＣＰＵ１５１は、表示部１５５を制御する表示制御部、及び操作部１５６を制御する操作制御部として動作する。

通信Ｉ／Ｆ１５７は、画像処理装置１０３の外部の装置（例えばカメラ１０１、イメージサーバ１０８）との通信に用いられる。例えば、画像処理装置１０３が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１５７に接続される。画像処理装置１０３が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１５７はアンテナを備える。バス１５８は、画像処理装置１０３の各部をつないで情報を伝達する。

本実施形態では表示部１５５と操作部１５６が画像処理装置１０３の内部に存在するものとするが、表示部１５５と操作部１５６との少なくとも一方が画像処理装置１０３の外部に別の装置として存在していてもよい。なお、本実施形態では、ＰＣ１０２が有する表示部１５５に目標画像と撮影画像を重ね合わせて表示することでカメラ１０１の姿勢調整が行われる。本実施形態では、ＰＣ１０２が有する表示部１５５をディスプレイと記載する。

なお、第一実施形態では、イメージサーバ１０８を介してＰＣ１０２に第二の目標画像を届ける構成を採用したが、これに限られるものではない。例えば、ＰＣ１０２と画像処理装置１０３が通信可能に接続し、画像処理装置１０３からＰＣ１０２に第二の目標画像を直接転送するようにしてもよい。また、例えば、ＰＣ１０２と画像処理装置１０３のそれぞれが電子メールなど通信機能を有する場合に、画像処理装置１０３からＰＣ１０２へ第二の目標画像を直接に送信するようにしてもよい。ＰＣ１０２と画像処理装置１０３が直接に通信できる場合、イメージサーバ１０８は省略可能である。また、図１では、ＰＣ１０２、画像処理装置１０３、イメージサーバ１０８をそれぞれ別体の情報処理装置により実現したが、これらのうちの少なくとも２つが１つの情報処理装置により実現されてもよい。たとえば、ＰＣ１０２が画像処理装置１０３の上述した機能を実行するようにして、ＰＣ１０２と画像処理装置１０３が一体化されても良い。

図２は第一実施形態による姿勢調整システムの動作を説明するフローチャートである。以下、図２のフローチャートに沿って第一実施形態によるカメラの姿勢調整方法について説明する。なお、カメラ姿勢調整の開始において、カメラ姿勢調整の作業者であるユーザは、カメラ１０１と画像処理装置１０３、カメラ１０１とＰＣ１０２を図１のように接続する。例えば、カメラ１０１と画像処理装置１０３の間は、ＢＮＣ同軸ケーブルによってＲ・Ｇ・Ｂカラー信号を独立に接続され得る。また、例えば、カメラ１０１とＰＣ１０２の間は、ＨＤＭケーブルによって接続され得る。カメラ１０１の撮影画像はＨＤＭＩ（登録商標）ケーブルを介してＰＣ１０２に送信され、ディスプレイに表示される。

カメラ姿勢調整が開始すると、まずステップＳ２０１において、ＰＣ１０２は、第一のカメラ姿勢調整のための第一の目標画像を取得し、ディスプレイに表示する。第一の目標画像は、目標とする姿勢に調整されたカメラ１０１が撮影する領域に対応する画像である。第一の目標画像の取得、表示は、例えば、ＰＣ１０２への所定のユーザ操作（姿勢調整の開始を示す操作）に応じて実行される。第一の目標画像の生成方法について説明する。本実施形態では、ＰＣ１０２が、以下に説明するように、第一の目標画像をあらかじめ生成しておくものとする。但し、これに限られるものではなく、予め生成された第一の目標画像をイメージサーバ１０８に保持しておき、ＰＣ１０２がイメージサーバ１０８から第一の目標画像を取得するようにしてもよい。

本実施形態ではカメラ１０１は、図３（ａ）で示すような、スポーツスタジアムのフィールドの一部を撮影するものと仮定する。フィールドの周囲には、カメラ姿勢調整のための指標として複数のカメラ姿勢調整用マーカ３０１が配置されている。本実施形態では、第一のカメラ姿勢調整のための第一の目標画像は、図３（ａ）で示すスタジアムのフィールドの一部をＣＧによって作成したＣＧ画像とする。

ＰＣ１０２は、姿勢調整の対象であるカメラ１０１の撮影領域における構造物の三次元モデルと、カメラ１０１の目標とする位置・姿勢に基づいてＣＧ画像を生成する。より具体的には、例えば、事前にスタジアム内を３Ｄスキャンすることにより、スタジアムの三次元モデルを作成しておく。次に、ＰＣ１０２は、スタジアム三次元モデルのフィールド周辺にカメラ姿勢調整用のマーカの三次元モデルを配置し、図３（ａ）で示すカメラ姿勢調整用のマーカ３０１とフィールド３００を三次元ＣＧモデルで再現する。ＰＣ１０２は、マーカ３０１を配したフィールド３００の三次元ＣＧモデルを作成すると、あらかじめ決めておいた位置、視線方向、焦点距離（ズーム倍率）でカメラ１０１による撮影画像をシミュレーションした二次元ＣＧ画像を生成する。ＰＣ１０２は、こうして生成された二次元ＣＧ画像を第一の目標画像として用いる。なお、第一の目標画像は、例えば、ＰＣ１０２以外の装置により生成されてイメージサーバ１０８に保存され、必要に応じてＰＣ１０２および画像処理装置１０３に提供されるようにしてもよい。

図３（ｂ）は、第一のカメラ姿勢調整において目標として用いられる第一の目標画像４００の一例を示している。図３（ｂ）における第一の目標画像４００では、カメラの姿勢調整をし易くするために、フィールド境界４０２とカメラ姿勢調整用のマーカ４０１が描画されており、その他の描画は省略されている。ユーザ操作に応じて、ＰＣ１０２は以上のように作成された第一の目標画像４００をディスプレイに表示する。なお、第一のカメラ姿勢調整を撮影画像から検出される構造物のエッジなどで行う構成の場合には、姿勢調整用のマーカは省略され得る。

ステップＳ２０２において、ＰＣ１０２は、ＨＤＭＩ（登録商標）ケーブルで接続されたカメラ１０１からの撮影画像を第一の目標画像４００に重ね合わせてディスプレイに表示する。図４（ａ）は、ＰＣ１０２が、第一の目標画像４００とカメラ１０１の撮影画像とを重ね合わせてディスプレイ上に表示した例を示す図である。図４（ａ）中の点線はカメラ姿勢調整のための第一の目標画像４００の描画像、実線はカメラ１０１から取得されるリアルタイムの撮影画像を表す。カメラ姿勢調整の作業を行うユーザは、第一の目標画像４００（点線）とカメラ１０１からのリアルタイム撮影像（実線）が一致するようにカメラの姿勢調整を行う。

ここで、カメラ１０１のレンズが図４（ｂ）で示すような歪曲収差を有するとする。歪曲収差により、無収差光学系による矩形被写体の撮影像６０１が、撮影増６０２のように歪む。特に図４（ｂ）のように中心部が収縮するような歪みは、糸巻型歪曲収差として知られている。このような光学収差はレンズ設計仕様として既知の収差分にレンズ組立公差等に伴うレンズ個々で異なる収差分が加味されるため、光学収差はレンズ個々に異なる固有の特性を有するものとなる。このため、コンピュータグラフィックスにより事前に光学収差を反映した第一の目標画像４００を作成しておくことは現実的ではない。

そこで、第一のカメラ姿勢調整においては、カメラ姿勢調整作業者の判断に任せ、それぞれの画像が略一致するよう粗調整を行えばよいとすることで、カメラ姿勢調整の作業効率が向上する。例えば、図４（ａ）において、画像周辺のカメラ姿勢調整用のマーカ５０２やマーカ５０３においてＣＧ画像と実写画像が一致しなくても、画像中央のマーカ５０１においてＣＧ画像と実写画像がほぼ一致すれば、第一のカメラ姿勢調整が完了したと判断する。

ステップＳ２０３〜Ｓ２０６は、画像処理装置１０３により行われる処理である。ステップＳ２０３において、画像取得部１０４は、カメラ１０１についてＣＧ画像に基づく第一の目標画像を用いた第一のカメラ姿勢調整（カメラ姿勢の粗調整）が終了した後に、カメラ１０１がフィールド内を撮影して得られた撮影画像を取得する。すなわち、画像取得部１０４は、第一のカメラ姿勢調整後のカメラ１０１による撮影画像を取得する。カメラ１０１からは常時、リアルタイムで画像処理装置１０３に映像信号が送られている。画像取得部１０４は、画像処理装置１０３への所定のトリガによって第一の目標画像を用いた粗調整が完了したと判定し、リアルタイムに送られてくる画像の１コマを静止画像として取り込む。

なお、第一のカメラ姿勢調整が終了したことをＰＣ１０２が自動的に判定してトリガを画像処理装置１０３に通知してもよいし、所定のユーザ操作に応じてＰＣ１０２がトリガを画像処理装置１０３に通知してもよい。粗調整の完了の自動判定には種々の方法を用いることができる。例えば、ＰＣ１０２は、第一の目標画像の中央部から抽出したマーカの位置と撮影画像の中央部から抽出したマーカの位置との一致度が閾値を越えた場合に粗調整が完了したと判定する。図５（ａ）は画像取得部１０４が取得した１コマの静止画像の例を表する。画像取得部１０４によって取得された静止画像（撮影画像）には歪曲収差による歪が含まれている。

次に、ステップＳ２０４において、補正量決定部１０５は、カメラ１０１の現在の姿勢と、目標としている姿勢との差（姿勢誤差）を補正するための補正量を決定する。すなわち、補正量決定部１０５は、画像取得部１０４により取得された撮影画像と、目標とするカメラ姿勢との差分解析により姿勢誤差を算出し、姿勢誤差を補正するためのカメラ姿勢の補正量を第一のカメラ姿勢調整後の撮影画像の画像補正量として算出する。

目標とするカメラ姿勢との差分解析は、何を目標とするか、許容誤差をどのように定義するかになどユーザによって異なり、定義付けに応じて解析手法が決まる。例えば、第一の目標画像（ＣＧ画像）と撮影画像の周辺部分よりも中央部分を優先して誤差を解消するように撮影画像を補正するようにしてもよい。すなわち、第一の目標画像と撮影画像の画像中央部を一致させ、画像周辺の誤差を許容するようにしてもよい。また、例えば、第一の目標画像（ＣＧ画像）と撮影画像の全体における誤差が小さくなるように（例えば、最小となるように）撮影画像を補正してもよい。より具体的には、第一の目標画像と撮影画像のそれぞれにおけるマーカの位置の平均二乗誤差を計算し画像全体に誤差が小さくなるよう誤差分配するようにしてもよい。また、目標とする画像は第一の目標画像と同一でなくてもよい。例えば、第一の目標画像中のマーカのみ、構造物のエッジのみなどであってもよい。このように、補正量決定部１０５は、利用ケースに応じた解析を行い、それぞれの補正アルゴリズムを用いて画像補正量を算出、決定する。

ステップＳ２０５において、画像補正部１０６は、補正量決定部１０５により決定された補正量に基づいて、画像取得部１０４が取得した撮影画像を補正し、第二のカメラ姿勢調整のための第二の目標画像を生成する。図５（ｂ）は、補正量決定部１０５によって得られた補正量に基づいて、第一のカメラ姿勢調整後の撮影画像に対して画像補正部１０６が補正加工を行って得られた第二の目標画像８０１の例を示す図である。第二の目標画像８０１は、撮影画像に対して平行移動、すなわちカメラ姿勢のパンに対応した水平移動と、カメラ姿勢のチルトに対応した垂直移動を行って得られた結果である。なお、撮影画像委の補正はカメラ姿勢のパンやチルトのような平行移動に限られるものではない。例えば、カメラ姿勢のローテーション対応した撮影画像の回転、カメラ姿勢のズーム（焦点距離調整）に対応した撮影画像の変倍（拡大・縮小処理）が行われてもよい。画像補正部１０６により得られた第二の目標画像８０１は、画像記録部１０７に一時的に記録される。

ステップＳ２０６において、画像処理装置１０３は、画像記録部１０７に記録された第二の目標画像８０１をイメージサーバ１０８に送信する。イメージサーバ１０８はネットワークにより画像処理装置１０３およびＰＣ１０２と接続されており、相互にイメージの授受が可能である。なお、ネットワークは有線、無線を問わない。

ステップＳ２０７において、ＰＣ１０２は、カメラ姿勢調整を行うユーザの所定の操作に応じてイメージサーバ１０８から第二の目標画像８０１をダウンロードし、ディスプレイに表示する。このとき、ＰＣ１０２は、第一のカメラ姿勢調整のときと同様に、カメラ１０１からのリアルタイムな撮影画像と第二の目標画像８０１とをディスプレイ上で重ね合わせ表示する。カメラ姿勢調整を行うユーザは、リアルタイムな撮影画像と第二の目標画像８０１の双方が一致するようカメラ姿勢調整を行う。

図６（ａ）は第二のカメラ姿勢調整を表す図であり、第二の目標画像８０１を点線で、カメラ１０１のリアルタイムな撮影画像を実線で示している。第二の目標画像８０１はカメラ１０１の撮影画像を元に生成された目標画像である。従って、図６（ｂ）で示されるように、第二のカメラ姿勢調整を行った後の重ね合わせ画像では、光学収差（歪曲収差）を含めて撮影画像と目標画像とが完全に一致したものとすることができる。結果、姿勢調整の精度の低下、姿勢調整を行うユーザによるばらつきの発生、姿勢調整の再現性の低下などが防止される。

＜第二実施形態＞
第一実施形態では１台のカメラについての姿勢調整を行う実施形態を示したが、第二実施形態では複数台のカメラについて姿勢調整を行う構成を説明する。

図７は、複数台のカメラの配置例を示す図である。図７では、複数台（１６台）のカメラ１０１−１〜１６がフィールドを取り囲むようにスタジアムの外周に沿って配置された状態が示されている。複数台のカメラのそれぞれは、互いにネットワーク接続されており、画像処理装置１０３にそれぞれの撮影画像を転送することが可能である。図８は第二実施形態による姿勢調整システムの構成例を示す図である。図７に示されるように１６台のカメラが配置されている場合、図８においてｎ＝１６となる。第二実施形態においても第一のカメラ姿勢調整と第二のカメラ姿勢調整が行われる。第一実施形態と同様に、カメラの姿勢調整の開始に先立って、カメラ１０１−１〜ｎのそれぞれに対応した、第一のカメラ姿勢調整のためのｎ枚の第一の目標画像が作成され、ＰＣ１０２に保存される。

第一のカメラ姿勢調整では、ＰＣ１０２は、ＰＣ１０２に保存されているｎ枚の第一の目標画像の中から、姿勢調整を行う対象となっているカメラに対応する第一の目標画像を選択し、ディスプレイに表示する。図８では、複数台のカメラ１０１−１〜１０１−ｎのうちカメラ１０１−２（カメラ（＃２））の姿勢調整を行う場合を表している。すなわち、ＰＣ１０２はカメラ１０１−２に接続し、カメラ１０１−２に対応する第一の目標画像とカメラ１０１−２からのリアルタイムな撮影画像をディスプレイ上で重ね合わせて表示する。ユーザは、この重ね合わせ表示に基づいて、カメラ１０１−２について第一のカメラ姿勢調整を行う。

カメラ１０１−２に対する第一のカメラ姿勢調整が終了すると、カメラ１０１−２は第一のカメラ姿勢調整後の撮影画像を得る。第一のカメラ姿勢調整後の撮影画像は、ネットワークを介して画像処理装置１０３へと転送される。画像処理装置１０３へ転送されたカメラ１０１−２の撮影画像は、画像取得部１０４により取り込まれ、第一実施形態（図２のＳ２０２〜Ｓ２０６）と同様に処理される。すなわち、補正量決定部１０５が、目標とするカメラ姿勢との差分を解析して画像補正量を決定し、画像補正部１０６が取得された撮影画像と画像補正量に従って第二の目標画像を生成し、画像記録部１０７が第二の目標画像を記録する。

ここで、第二の実施形態においては、ｎ（＝１６）台のカメラのうちのどのカメラで撮影された画像であるか、第二の目標画像がどのカメラに対応するものであるかを識別できるように、画像ファイル名にカメラ番号（識別情報）が含まれている。画像記録部１０７に記録された第二の目標画像８０１はイメージサーバ１０８に送信される。カメラの姿勢調整を行うユーザによる所定の操作に応じて、ＰＣ１０２は、例えば、カメラ１０１−２に対応する第二の目標画像８０１をイメージサーバ１０８から転送させる（ダウンロード）。ＰＣ１０２は、第二の目標画像８０１と、これに対応するカメラ（本例ではカメラ１０１−２）からのリアルタイムな撮影画像とを重ね合わせてディスプレイに表示する。この表示画像により、ユーザはカメラ１０１−２について第二のカメラ姿勢調整を行う。

なお、第一のカメラ姿勢調整後の撮影画像を撮影したカメラを識別する識別情報を画像ファイル（またはファイル名）に付与することが可能であれば、第二の目標画像の生成完了を待たずに、次のカメラに対する第一のカメラ姿勢調整を開始できる。この場合、ｎ台（本例では１６台）のカメラに対して順次に第一のカメラ姿勢調整を実施し、画像処理装置１０３がカメラの識別情報を含む画像ファイル名で第二の目標画像をまとめて生成するようにしてもよい。ＰＣ１０２では複数台のカメラについて順次に第一のカメラ姿勢調整を行った後、それら複数台のカメラについて順次に第二のカメラ姿勢調整を行うことが可能となる。

＜第三実施形態＞
第一実施形態および第二実施形態では１台のＰＣ１０２を用いた姿勢調整システムを示した。第三実施形態では、複数台のＰＣを用いた構成を説明する。図９は、第三実施形態による姿勢調整システムの構成例を示す図である。図９の例では、複数台（２台）のＰＣ１０２を用いて、複数台（ｎ台）のカメラの姿勢調整を行う構成が示されている。なお、ＰＣ１０２の台数は２台に限られるものではなく、３台以上であってもよい。

図９に示した構成の場合、ＰＣ１０２−１とＰＣ１０２−２を別々のユーザが用いてカメラの姿勢調整を行うことで、複数のカメラの姿勢調整を実質的に並列に行うことが可能になる。或いは、一方のＰＣを第一の姿勢調整に用い、他方のＰＣを第二の姿勢調整に用いるようにしてもよい。この場合、例えば、ＰＣ１０２−１は、あらかじめ複数のカメラのそれぞれについて作成しておいた複数の第一の目標画像（ＣＧ画像）を記録し、順次、第一のカメラ姿勢調整を行う。第一のカメラ姿勢調整が完了したカメラからは、第一のカメラ姿勢調整後の撮影画像が画像処理装置１０３に送信される。画像処理装置１０３は、第一のカメラ姿勢調整が完了したカメラからの撮影画像を用いて第二の目標画像を作成し、イメージサーバ１０８に保存する。一方、ＰＣ１０２−２は、ＰＣ１０２−１で第一のカメラ姿勢調整が完了したカメラについて、イメージサーバ１０８から第二の目標画像をダウンロードし、第二のカメラ姿勢調整を実施する。

以上説明したように、上記各実施形態によれば、ＰＣ１０２−１（１０２−２）は、カメラ姿勢調整の指標となる目標画像と調整対象のカメラからの撮影画像とを重ね合わせて表示することでカメラ姿勢調整を支援する。ここで、所定の第一の目標画像を用いて第一のカメラ姿勢調整が行われ、第一のカメラ姿勢調整後の撮影画像を元に第二の目標画像を生成することで、カメラレンズ個々に固有な光学収差を取り入れた目標画像が生成される。その結果、第二の目標画像と撮影画像との重ね合わせによるカメラ姿勢調整において、撮影画像全域で目標画像と撮影画像を一致させる調整が可能となる。そのため、カメラ姿勢調整を行うユーザの主観に関わらず、安定した、高精度なカメラ姿勢調整を行うことが可能となる。こうして、撮像光学特性に起因する目標画像と撮影画像とのずれに伴うカメラ姿勢調整の精度の劣化が改善される。

カメラにはレンズ個々に固有の光学特性（光学収差）を有するため、コンピュータシミュレーションによる撮影像と（ＣＧ画像）と実際のカメラ撮影画像は異なる。
そのため、ＣＧ画像を目標画像とし撮影画像を重ね合わせるようカメラ姿勢調整をおこなってもカメラ撮影画像がＣＧ画像と一致することはなくカメラ姿勢調整の精度が低く、かつ、ばらつきがある。

＜他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：カメラ、１０２：ＰＣ、１０３：画像処理装置、１０４：画像取得部、１０５：補正量決定部、１０６：画像補正部、１０７：画像記録部、１０９：イメージサーバ

Claims (21)

1. 撮像装置の姿勢調整のための画像を生成する画像処理装置であって、
   撮影領域の構造物の三次元モデルに基づいて生成された第一の目標画像を用いて姿勢が調整された後の前記撮像装置によって撮影された撮影画像を取得する取得手段と、
   前記第一の目標画像と前記取得手段により取得された前記撮影画像に基づいて、前記撮像装置の姿勢と目標の姿勢との差を補正するための補正量を決定する決定手段と、
   前記補正量を用いて、前記撮影画像を補正する補正手段と、
   前記補正手段によって補正された後の前記撮影画像を、前記撮像装置の姿勢をさらに調整するための第二の目標画像として記憶する記憶手段と、を有することを特徴とする画像処理装置。
2. 前記補正量は、前記撮影画像の平行移動、回転または変倍の量を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記第一の目標画像に含まれているマーカの画像、または、前記第一の目標画像に含まれている構造物に基づいて、前記第一の目標画像と前記撮影画像との差を補正するための補正量を決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第一の目標画像は、撮影領域の構造物の三次元モデルと前記撮像装置の目標の位置・姿勢に基づいて生成されたコンピュータグラフィックス画像である、ことを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、前記第一の目標画像と前記撮影画像の周辺部分よりも中央部分が優先して一致するように前記補正量を決定することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記決定手段は、前記第一の目標画像と前記撮影画像との全体の誤差が小さくなるように誤差分配するための前記補正量を決定することを特徴とする請求項３または４に記載の画像処理装置。
7. 前記第一の目標画像と前記撮像装置からリアルタイムに得られる撮影画像とを重ね合わせて表示する第一の表示と、前記第二の目標画像と前記撮像装置からリアルタイムに得られる撮影画像とを重ね合わせて表示する第二の表示とを行う表示手段をさらに有することを特徴とする請求項３乃至６のいずれか１項に記載の画像処理装置。
8. 前記取得手段が取得する前記撮影画像には前記撮像装置を識別する識別情報が付与されており、
   前記第二の目標画像には前記識別情報が付与されることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 撮像装置の姿勢調整のための画像を生成する画像処理方法であって、
   撮影領域の構造物の三次元モデルに基づいて生成された第一の目標画像を用いて姿勢が調整された後の前記撮像装置によって撮影された撮影画像を取得する取得工程と、
   前記第一の目標画像と前記取得工程により取得された前記撮影画像に基づいて、前記撮像装置の姿勢と目標の姿勢との差を補正するための補正量を決定する決定工程と、
   前記補正量を用いて、前記撮影画像を補正する補正工程と、
   前記補正工程によって補正された後の前記撮影画像を、前記撮像装置の姿勢をさらに調整するための第二の目標画像として記憶する記憶工程と、を有することを特徴とする画像処理方法。
10. 撮像装置の姿勢を調整する姿勢調整システムであって、
    撮影領域の構造物の三次元モデルに基づいて生成された第一の目標画像を取得する取得手段と、
    前記第一の目標画像を用いて撮像装置の姿勢調整を行うための画像を表示する第一表示手段と、
    前記第一表示手段により表示される画像を用いて姿勢調整を行った後に前記撮像装置により撮影された撮影画像と前記第一の目標画像に基づいて、前記撮像装置の姿勢と目標の姿勢との差を補正するための補正量を決定する決定手段と、
    前記撮影画像を前記補正量に基づいて補正することにより第二の目標画像を生成する第一生成手段と、
    前記第二の目標画像を用いて、前記撮像装置の姿勢をさらに調整するための画像を表示する第二表示手段と、を有することを特徴とする姿勢調整システム。
11. 前記第一表示手段は、前記第一の目標画像と前記撮像装置からのリアルタイムの撮影画像との重ね合わせ画像を表示することを特徴とする請求項１０に記載の姿勢調整システム。
12. 前記撮像装置の目標とする姿勢に対応するコンピュータグラフィックス画像を前記三次元モデルに基づいて生成することにより、前記第一の目標画像を生成する第二生成手段をさらに有することを特徴とする請求項１０または１１に記載の姿勢調整システム。
13. 前記決定手段は、前記第一の目標画像と前記撮影画像との差に基づいて前記補正量を決定することを特徴とする請求項１０乃至１２のいずれか１項に記載の姿勢調整システム。
14. 前記補正は、前記撮影画像の平行移動、回転または変倍を含むことを特徴とする請求項１３に記載の姿勢調整システム。
15. 前記決定手段は、前記第一の目標画像と前記撮影画像の周辺部分よりも中央部分を優先して差を解消するように前記撮影画像を補正するための補正量を決定することを特徴とする請求項１３または１４に記載の姿勢調整システム。
16. 前記第一生成手段は、前記第一の目標画像と前記撮影画像との全体の差が小さくなるように前記撮影画像を補正するための補正量を決定することを特徴とする請求項１３または１４に記載の姿勢調整システム。
17. 前記第二表示手段は、前記第二の目標画像と前記撮像装置からのリアルタイムの撮影画像との重ね合わせ画像を表示することを特徴とする請求項１０乃至１６のいずれか１項に記載の姿勢調整システム。
18. 前記第一表示手段は、前記撮像装置を含む複数の撮像装置に対応して前記三次元モデルに基づいて生成された複数の第一の目標画像から、前記撮像装置に対応する前記第一の目標画像を用いて撮像装置の姿勢調整を行うための画像を表示し、
    前記第一生成手段は、前記撮影画像を前記補正量に基づいて補正することにより生成した前記第二の目標画像に、前記撮像装置を前記複数の撮像装置から識別する識別情報を付与することを特徴とする請求項１０乃至１７のいずれか１項に記載の姿勢調整システム。
19. 撮像装置の姿勢を調整する姿勢調整方法であって、
    撮影領域の構造物の三次元モデルに基づいて生成された第一の目標画像を取得する取得工程と、
    前記第一の目標画像を用いて撮像装置の姿勢調整を行うための画像を表示する第一表示工程と、
    前記第一表示工程により表示される画像を用いて姿勢調整を行った後に前記撮像装置により撮影された撮影画像と前記第一の目標画像に基づいて、前記撮像装置の姿勢と目標の姿勢との差を補正するための補正量を決定する決定工程と、
    前記撮影画像を前記補正量に基づいて補正することにより第二の目標画像を生成する第一生成工程と、
    前記第二の目標画像を用いて前記撮像装置の姿勢をさらに調整するための画像を表示する第二表示工程と、を有することを特徴とする姿勢調整方法。
20. 請求項１乃至８のいずれか１項に記載された画像処理装置としてコンピュータを機能させるためのプログラム。
21. 請求項１０乃至１８のいずれか１項に記載された姿勢調整システムとしてコンピュータを機能させるためのプログラム。

Images