JP2009122842A - 設定パラメータ最適化装置およびそのプログラム - Google Patents

Abstract

【課題】マルチカメラで撮影された各撮影画像が均一となるように設定パラメータを最適化すること。
【解決手段】設定パラメータ最適化装置２は、撮影画像間で共有する被写体について対応付けられた画素に設定されているパラメータ値を対応付けた対応リストを、選択可能なすべての撮影画像ペアについて作成する対応リスト作成手段２０と、パラメータベクトルの設定変更値について撮影画像間の差分を最小化させるためのパワー関数に対応リストを用いたときのパワー値を算出するパワー値算出手段３１と、対応リストが作成された全組み合わせおよびパラメータベクトルの各成分に対するパワー値の総和として総パワー値を算出する総パワー値算出手段３２と、総パワー値を最小化するようにパラメータベクトルの設定変更値を制御し、最小状態を与えるときの各パラメータベクトルを各撮影画像の設定パラメータとする最小化手段３３とを備える。
【選択図】図１

Description

本発明は、設定パラメータ最適化装置およびそのプログラムに係り、特に、被写体を共有する３以上のカメラで撮影するマルチカメラから取得した撮影画像の設定パラメータを制御する設定パラメータ最適化装置およびそのプログラムに関する。

マルチカメラの映像から自由視点の映像を合成する研究は、近年、イメージベースレンダリング技術(Image-Based Rendering;ＩＢＲ)において非常に大きな注意を引いてきた。それは、自由視点の映像を合成する研究の応用分野として、文化遺産や伝統舞踊の映像保存、自由視点テレビ、教育アプリケーション、顔認証セキュリティシステム、娯楽等の様々な分野が発見されてきたからである。マルチカメラシステムにおいては、視点変更時（カメラの切り替え時）に視聴者が不自然さを感じなくするために、撮影画像を幾何補正したり、色補正したりすることが必要である。換言すると、ＩＢＲに対してマルチカメラの映像を利用するためには幾何補正や色補正が必要となる。

さらに快適な視聴を実現するためには、（１）カメラ間においては、角度や位置等のカメラ配置のパラメータや、ゲイン量、ガンマ補正、ズーム、露光時間、絞り量等のカメラ撮影のパラメータを最適化する必要がある。また、（２）撮影画像間においては、色の強度や視差等のパラメータを最適化する必要がある。以下では、簡便のため、これらの種々のパラメータのうち、色補正のパラメータを例示して説明することとする。

コンピュータビジョンの分野では、色補正は、必ずしも必要なものではない。しかしながら、色が補正されれば、パターンマッチングやパターン認識を援助することになる。そのため、コンピュータビジョンの分野においては、色補正を考慮することは有効な手法であると言える。

ＩＢＲ用のカメラの幾何補正は２つのステップで実施される。第１ステップは、撮影前にカメラを極力正確な位置に置くステップであり、第２ステップは、撮影後にカメラキャリブレーション（カメラ撮影のパラメータを調整すること）を行って画像を修正するステップである。

また、色補正のステップも幾何補正のステップと非常に類似したものである。つまり、色補正のステップでは、第１ステップが、カメラの調整量（パラメータ）であるゲイン量やガンマ補正、ズーム、露光時間、絞り量を撮影前に極力調整するステップであり、第２ステップが、撮影された画像を修正するステップ（画像の設定パラメータを調整するステップ）である。

一般的に、マルチカメラシステムは以下の（Ａ１）〜（Ａ３）の特徴を有している。
（Ａ１）すべてのカメラのカラーフィルタは同じである。
（Ａ２）すべてのカメラの絞り量を完全に同じものにすることは非常に困難である。この絞り量の違いを補償するためゲイン量を調整する。しかし、ゲイン量がＲＧＢチャンネルで共通化されているカメラや、数種類の中からゲイン量を選ぶ程度の粗っぽい調整機能しか有していないカメラでは、十分に補償しきれない。残念ながら、現状では、ほとんどのカメラは、このようなタイプのカメラである。
（Ａ３）ゲイン量やズームなどのカメラの特徴量のレベルは線形に変化するものではなく、かつカメラの個体差もある。そのため、ゲイン量やズームなどの応答は、完全には同じものになることはない。

これらの（Ａ１）〜（Ａ３）の特徴を考慮した色補正の方法が知られている（非特許文献１〜３参照）。例えば、非特許文献１，２では、（Ａ１）の理由でＲＧＢの各チャンネルを独立で考えることにしている。ただし、カメラのカラーフィルタがＣＭＹ（シアン，マジェンダ，イエロー）である場合には、ＣＭＹの各チャンネルで考える。この場合、入力データがＲＧＢであるとすると、ＲＧＢからＣＭＹに変換した後に色補正し、その後にＣＭＹからＲＧＢに変換することになる。
なお、マルチカメラにおいて色補正を色差空間で行う方法も存在するが、処理が比較的煩雑になってしまう（特許文献１参照）。

また、例えば、非特許文献１〜３では、（Ａ２）と（Ａ３）の理由で非線形の変換を考えることにしている。
これに対して、カラーフィルタの色空間において、線形変換で色補正を行うものも存在する（特許文献２参照）。しかし、線形変換では、電子回路の非線形性などに起因して色合いの違いが発生してしまう。

特許文献２に記載された方法は、カメラ間の色の違いを得るために、カラーパターンボード（基準チャート）を使う。カラーパターンボードを利用する手法には、以下の（Ｂ１）、（Ｂ２）の利点がある。
（Ｂ１）カラーパターンボードを工夫することで、希望する色相のデータを得られる。そのため、色相のほぼ全域のデータを得ることも可能である。
（Ｂ２）カメラ間において対応する色を容易に特定することができる。なお、カメラ“１”、カメラ“２”の２台で同一シーンを撮影したきに、３次元空間中の一点が両カメラに写っているときに、それらの写っている点を対応点と呼ぶ。また、このときの各対応点の色を「対応する色」と呼ぶ。

それに対して、カラーパターンボードを使わずにカメラ間の色の違いを得る手法も存在している。これらの手法には、以下の（Ｃ１）〜（Ｃ３）の利点がある。
（Ｃ１）カラーパターンボードを用意しなくても良い。逆にカラーパターンボードを使うことを想定すると、例えば、サッカー場のような大規模な空間を撮影する場合には、非常に大きなカラーパターンボードが必要となり、これを用意することは容易ではない。
（Ｃ２）カメラ間において、対応する色を撮影された画像内からピックアップするならば、撮影された画像内で実際に使われている輝度のすべてを利用して補正量を求めることも可能である。一方、カラーパターンボードの色だけでは、一部の輝度しか使えない場合もある。このような例としては、外光が入射してくる窓が被写体の脇にある状態の撮影が挙げられる。カラーパターンを被写体付近に置くと、カラーパターンよりも窓のほうが明るく写る。このとき、カラーパターンを撮影してもカラーパターンからは高輝度の領域のデータを得られない。つまり、撮影した画像に高輝度の領域があっても、その領域は補正値の算出に使われないことになる。そのため、この領域の補正量を作成するために何らかの追加処理が必要になってしまう。
（Ｃ３）もし、カラーパターンボードがあっても無くても同じ結果が得られるならば、無いほうが容易なのでよい。

非特許文献１〜３は、カラーパターンボードを使わずにカメラ間の色の違いを得る手法であって、マルチカメラのうちある特定のカメラで撮影された撮影画像（以下、参照画像という）を予め定めておき、他のカメラで撮影した補正対象の撮影画像（以下、対象画像という）が参照画像と同じ色合いになるように補正するものである。このように２台のカメラ間で対応する色を抽出すると、妥当であるとは言えない色ばかりが抽出されてしまう。そこで、これらの方法では、参照画像と対象画像との差分に相当するエネルギを定義して、このエネルギを最小にする対応色を求めてＲＧＢチャンネル毎にルックアップテーブルを算出し、算出したルックアップテーブルを用いて色補正を行っていた。これらの方法には、以下の（Ｄ１）〜（Ｄ４）の利点がある。
（Ｄ１）カラーパターンボードを使用しない。
（Ｄ２）ＲＧＢチャンネルを独立に処理する。
（Ｄ３）非線形の変換で色補正を行う（ルックアップテーブルを利用する）。
（Ｄ４）オクルージョン問題にも対応できる。

前記した非特許文献１、２と、非特許文献３とでは、色補正の手順において相違点が存する。この相違点を具体的に説明するため、マルチカメラが例えば４台のカメラで構成されているものとする（カメラ“０”、カメラ“１”、カメラ“２”、カメラ“３”）。

非特許文献１、２に記載された方法では、カメラ“０”の撮影画像を参照画像として、カメラ“１”、カメラ“２”、カメラ“３”の撮影画像を第１対象画像、第２対象画像、第３対象画像とする場合、「参照画像と第１対象画像」、「参照画像と第２対象画像」、「参照画像と第３対象画像」のすべての組み合わせにおいて、各対象画像は参照画像に色合いが類似するように補正される。ここで、それぞれの補正は互いに独立に行われる。

また、非特許文献３に記載された方法では、初めに例えばカメラ“０”の撮影画像を参照画像として、カメラ“０”に最近接したカメラ“１” を対象画像として調整する。次に、このカメラ“１”の撮影画像を新たに参照画像として、カメラ“１”に最近接したカメラ“２” を対象画像として調整する。以下、同様に、参照画像を次々に変更して、再びカメラ“０”の撮影画像を参照画像とするまで繰り返す。つまり、カメラが一直線に配列されている場合やコの次状に配置されている場合には一往復して、例えば「０→１→２→３→２→１→０」の順番に調整される。また、カメラが円周状に配置されている場合には一周して、例えば「０→１→２→３→０」の順番に調整されることになる。
特開２００５−４７７６号公報（段落００５６、００５７、図３） 特開２００４−８８２４７号公報（段落００４７〜００４９、図２） K. Yamamoto, T. Yendo, T. Fujii, M. Tanimoto and D. Suter, "Colour Correction for Multiple-camera System by using Correspondences," The journal of the institute of Image Information and Television Engineers, vol. 61,no. 2, pp. 213-222, Feb. 2007 K. Yamamoto, T. Yendo, T. Fujii and M. Tanimoto, "Colour Correction of Multi-view Video by Using Correspondences," Forth Symposium on Intelligent Media Integration for Social Information, pp. 65-66, Dec. 2006 M. P. Tehrani, A. Ishikawa, S. Sakazawa and A. Koike, "Colour Correction of Multiview Camera System Using Matched Feature Points," Forum on Information Technology 2007, pp. 371-372, Sep. 2007

しかしながら、非特許文献１、２に記載された方法では、仮に、第１対象画像が参照画像に対してプラス側に補正され、かつ第２対象画像が参照画像に対してマイナス側に補正された場合には、「参照画像と第１対象画像との色の強度の差」および「参照画像と第２対象画像との差」が等しくても、「第１対象画像と第２対象画像」との間では、色の強度の差が大きくなり、色合いが類似したものにはならなくなる可能性がある。
また、非特許文献３に記載された方法では、最近接したカメラ間で画像を調整するので、１以上スキップした画像間では、色合いが類似したものにはならない可能性がある。また、対象人物を中心に円周状に配置されている場合には、対象人物の後ろ側の撮影画像と、対象人物の正面側の撮影画像とは著しく異なるので、順番に類似させていったときに著しく異なる画像を前の画像に類似させてしまうと、それを境にその後の画像の色合いが極めて不自然なものとなる。
つまり、従来の方法では、２台のカメラの撮影画像間では妥当な色補正ができるが、マルチカメラ全体では、必ずしも妥当な色補正にはなっていないという問題があった。

本発明は、以上のような問題点に鑑みてなされたものであり、マルチカメラで撮影された各撮影画像が均一となるように設定パラメータを最適化することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の設定パラメータ最適化装置は、被写体を共有する３以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御する設定パラメータ最適化装置であって、画素対応付け手段と、対応リスト作成手段と、パワー値算出手段と、総パワー値算出手段と、最小化手段とを備えることとした。

かかる構成によれば、設定パラメータ最適化装置は、画素対応付け手段によって、前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付け、対応リスト作成手段によって、前記撮影画像間で対応付けられた各画素にそれぞれ設定されているパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する。ここで、画像情報の設定パラメータは、例えば、色の強度や視差のパラメータを示す。そして、設定パラメータ最適化装置は、パワー値算出手段によって、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することでパワー値を算出する。ここで、パワー値算出手段は、設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出する。また、パワー関数は、設定変更用のパラメータベクトルにおける各成分の設定変更値について、対応リストが作成された各撮影画像間の差分を最小化させるための関数である。

そして、設定パラメータ最適化装置は、総パワー値算出手段によって、前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する。したがって、設定パラメータ最適化装置は、選択可能なすべての撮影画像ペアのうち、対応リストが作成されたすべての組み合わせを考慮しているので、従来のようにある特定の撮影画像とその他の撮影画像とを単純に組み合わせるだけであったり、また、最近接のカメラに対応した撮影画像間のみを組み合わせるだけであったりする場合の問題点を解消することができる。ここで、選択可能なすべての撮影画像ペアの組み合わせ数は、例えば、マルチカメラを構成するカメラ台数から任意の２台を選択するコンビネーションで与えられる。この設定パラメータ最適化装置は、撮影画像ペアとして選択されたすべての組み合わせに対して画素の対応付けを試み、画素の対応付けがなされたすべての撮影画像ペアから対応リストを作成するので、総パワー値算出手段は、選択可能なすべての撮影画像ペアの組み合わせのうち、実質的に有効なすべての撮影画像ペアの組み合わせおよびパラメータベクトルの各成分に対する、パワー値の総和である総パワー値を算出することとなる。

そして、設定パラメータ最適化装置は、最小化手段によって、前記総パワー値を最小化または最大化するように、前記撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各撮影画像の画像情報の設定パラメータとすることで前記撮影画像間の差分を最小化させる。なお、撮影画像間の差分（誤差）を最小化させるときに、総パワー値を最小化するか、あるいは最大化するかということは、パワー関数をどのように定義するかに依存する。
ここで、各撮影画像を同等に扱う場合には、撮影画像ペアの両方の撮影画像のパラメータベクトルの各成分の設定変更値を制御することができる。これにより、各撮影画像のパラメータが均一化される。その結果、マルチカメラ全体として撮影画像が均一となる。また、特定の撮影画像を参照画像としてパラメータの変更を行わず、かつその他の撮影画像については同等の扱いとして参照画像に合わせて設定変更値を制御することもできる。この場合には、その他の撮影画像は、参照画像に類似すると共に、その他の撮影画像間も類似させることができる。その結果、マルチカメラ全体として撮影画像が均一となる。

また、請求項２に記載の設定パラメータ最適化装置は、被写体を共有する３以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアの撮影画像の画像情報に基づいて、前記選択された撮影画像ペアを撮影したカメラペアのうちの少なくとも一方のカメラの設定パラメータを制御する設定パラメータ最適化装置であって、画素対応付け手段と、対応リスト作成手段と、パワー値算出手段と、総パワー値算出手段と、最小化手段とを備えることとした。

かかる構成によれば、設定パラメータ最適化装置は、画素対応付け手段によって、前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付け、対応リスト作成手段によって、前記撮影画像ペアに対応して各カメラに設定されている各カメラのパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する。ここで、カメラの設定パラメータは、例えば、角度や位置等のカメラ配置のパラメータや、ゲイン量、ガンマ補正、ズーム、露光時間、絞り量等のカメラ撮影のパラメータを示す。

そして、設定パラメータ最適化装置は、パワー値算出手段によって、前記対応リストが作成された各撮影画像を撮影した各カメラに対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出する。そして、設定パラメータ最適化装置は、総パワー値算出手段によって、前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する。そして、設定パラメータ最適化装置は、最小化手段によって、前記総パワー値を最小化または最大化するように、前記撮影画像ペアを撮影したカメラペアのうちの少なくとも一方のカメラのパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各カメラの設定パラメータとすることで前記撮影画像間の差分を最小化させる。これにより、各カメラのパラメータが均一化されるので、マルチカメラ全体として撮影画像が均一となる。

また、請求項３に記載の設定パラメータ最適化装置は、請求項２に記載の設定パラメータ最適化装置において、前記画素対応付け手段が、前記カメラの設定パラメータの更新により前記撮影画像間で、前記共有する被写体についての画素の対応付けが変化した場合に、当該撮影画像間の画素の対応付けを更新することとした。

かかる構成によれば、設定パラメータ最適化装置は、カメラの設定パラメータとして、例えば、角度や位置等のカメラ配置のパラメータが変更された場合に、カメラ配置の変更後に撮影された撮影画像を取得し、画素対応付け手段によって、カメラ配置が変更された新たな撮影画像を含む撮影画像ペアを形成する各撮影画像間で、画素の対応付けを改めて行うことができる。

また、請求項４に記載の設定パラメータ最適化装置は、請求項１ないし請求項３のいずれか一項に記載の設定パラメータ最適化装置において、前記総パワー値算出手段が、前記撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、前記パワー値の前記パラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出し、その算出結果が、予め定められた閾値を超えた場合、または、前記撮影画像ペアの他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける前記画像ペアパワー値の算出結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合、当該算出結果において撮影画像ペアの他方において組み合わされた撮影画像を除外し、前記総パワー値を算出することとした。

かかる構成によれば、設定パラメータ最適化装置は、総パワー値算出手段によって、撮影画像ペア間のパワー値として画像ペアパワー値を算出し、算出結果に応じて、所定の画像ペアを除去して総パワー値を算出する。これにより、画素の対応付けがなされたすべての撮影画像ペアから、好ましくないエラー画像を除去することができるので、マルチカメラ全体の各撮影画像の均一化に寄与することができる。

また、請求項５に記載の設定パラメータ最適化装置は、請求項１ないし請求項３のいずれか一項に記載の設定パラメータ最適化装置において、前記総パワー値算出手段が、前記撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、前記パワー値の前記パラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出した算出値を積算し、その積算結果が、予め定められた閾値を超えた場合、または、前記撮影画像ペアの一方の固定された撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける前記画像ペアパワー値の積算結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合、当該積算結果において撮影画像ペアの一方において固定された撮影画像を除外し、前記総パワー値を算出することとした。

かかる構成によれば、設定パラメータ最適化装置は、総パワー値算出手段によって、撮影画像ペア間のパワー値として算出した画像ペアパワー値を、固定された撮影画像について積算し、積算結果に応じて、所定の画像ペアを除去して総パワー値を算出する。これにより、画素の対応付けがなされたすべての撮影画像ペアから、好ましくないエラー画像を除去することができるので、マルチカメラ全体の各撮影画像の均一化に寄与することができる。

また、請求項６に記載の設定パラメータ最適化装置は、請求項１に記載の設定パラメータ最適化装置において、前記撮影画像の画像情報の設定パラメータとして、色の強度を示すパラメータを扱うこととした。

かかる構成によれば、設定パラメータ最適化装置は、色の強度を示すパラメータとして、ＲＧＢ３チャンネルに対して個別にパラメータベクトルを扱うことができる。このパラメータベクトルは、例えば、２５６個のパラメータ成分を有し、各成分が０〜２５５のいずれかの値をとりうるように設定することができる。これにより、設定パラメータ最適化装置は、マルチカメラで撮影された各撮影画像が均一となるように色の強度を示すパラメータを最適化することができる。その結果、マルチカメラ全体において、色合いが相互に類似した妥当な色補正を行うことができる。

また、請求項７に記載の設定パラメータ最適化プログラムは、被写体を共有する３以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御するために、コンピュータを、画素対応付け手段、対応リスト作成手段、パワー値算出手段、総パワー値算出手段、最小化手段として機能させることとした。

かかる構成によれば、設定パラメータ最適化プログラムは、画素対応付け手段によって、前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付け、対応リスト作成手段によって、前記撮影画像間で対応付けられた各画素にそれぞれ設定されているパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する。そして、設定パラメータ最適化プログラムは、パワー値算出手段によって、前記対応リストが作成された各撮影画像に対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出する。そして、設定パラメータ最適化プログラムは、総パワー値算出手段によって、前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する。そして、設定パラメータ最適化プログラムは、最小化手段によって、前記総パワー値を最小化または最大化するように、前記撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各撮影画像の画像情報の設定パラメータとすることで前記撮影画像間の差分を最小化させる。

請求項１または請求項７に記載の発明によれば、設定パラメータ最適化装置は、選択可能なすべての撮影画像ペアの組み合わせのうち対応リストが作成されたすべての撮影画像ペアの組み合わせおよびパラメータベクトルの各成分に対するパワー値の総和である総パワー値を算出するので、各撮影画像のパラメータが均一化される。その結果、マルチカメラ全体として撮影画像が均一となるように補正される。

請求項２に記載の発明によれば、設定パラメータ最適化装置は、選択可能なすべての撮影画像ペアの組み合わせのうち対応リストが作成されたすべての撮影画像ペアの組み合わせおよびパラメータベクトルの各成分に対するパワー値の総和である総パワー値を算出するので、各カメラのパラメータが均一化される。その結果、マルチカメラ全体として撮影画像が均一となる。

請求項３に記載の発明によれば、設定パラメータ最適化装置は、カメラ配置のパラメータを最適化することで入力撮影画像が変化したときに、カメラ配置が変更された新たな撮影画像を含む撮影画像ペアを形成する各撮影画像間で、画素の対応付けを改めて行うことができる。

請求項４または請求項５に記載の発明によれば、設定パラメータ最適化装置は、撮影画像ペア間のパワー値として算出した画像ペアパワー値に基づいて、好ましくないエラー画像を除去することができるので、マルチカメラ全体の各撮影画像を均一化できる。

請求項６に記載の発明によれば、設定パラメータ最適化装置は、各撮影画像が均一となるように色の強度を示すパラメータを最適化するので、マルチカメラ全体において、色合いが相互に類似した妥当な色補正を行うことができる。

以下、図面を参照して本発明の設定パラメータ最適化装置を実施するための最良の形態（以下「実施形態」という）として第１〜第３実施形態について詳細に説明する。

（第１実施形態）
［マルチカメラパラメータ補正装置の構成］
図１は、本発明の第１実施形態に係る設定パラメータ最適化装置を含むマルチカメラパラメータ補正装置を模式的に示すブロック図である。カメラＶは、被写体を撮影するものであり、撮影した被写体の映像（画像信号）を設定パラメータ最適化装置２に出力している。なお、カメラＶの台数は３台以上であればよく、また、それらの配置は任意である。

マルチカメラパラメータ補正装置１は、設定パラメータ最適化装置２を含み、画素対応付け手段１０と、対応リスト作成手段２０と、テーブル計算手段３０と、補正実行手段４０と、記憶手段５０とを備えている。

設定パラメータ最適化装置２は、被写体を共有する３以上の複数のカメラＶで撮影するマルチカメラから取得した各カメラＶで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御するものである。本実施形態では、設定パラメータ最適化装置２は、画素対応付け手段１０と、対応リスト作成手段２０と、テーブル計算手段３０とを備えている。

画素対応付け手段１０は、撮影画像ペアを形成する各撮影画像間で、共有する被写体について画素を対応付けるものである。対応付けた点を対応点という。具体的には、画素対応付け手段１０は、一方の撮影画像の画素の座標（ｈ₀ ^p，ｗ₀ ^p）と、他方の撮影画像の画素の座標（ｈ₁ ^p，ｗ₁ ^p）とを対応付ける。なお、この具体例は後記する第３実施形態において詳しく説明する。

対応リスト作成手段２０は、撮影画像間で対応付けられた各画素に既にそれぞれ設定されているパラメータの既設定値を、対応付けられたすべての画素にわたって対応付けた対応リストを、選択可能なすべての撮影画像ペアについて作成するものである。具体的には、対応リスト作成手段２０は、一方の撮影画像の対応点の色と、他方の撮影画像の対応点の色、すなわち対応色（ｑ₀ ^uとｑ₁ ^u、ｕ＝１，２，…，1000など）を、対応付けられたすべての画素にわたって対応付けた対応リストを作成する。なお、この具体例は後記する第３実施形態において詳しく説明する。

テーブル計算手段３０は、パワー値算出手段３１と、総パワー値算出手段３２と、最小化手段３３とを備えている。

パワー値算出手段３１は、対応リストが作成された各撮影画像に対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出するものである。具体的には、一方の撮影画像に対応する色の強度の設定変更値（ｃ₀ ⁰，…，ｃ₂₅₅ ⁰）と、他方の撮影画像に対応する色の強度設定変更値（ｃ₀ ¹，…，ｃ₂₅₅ ¹）との差分（Ｅ_i ⁿ）を最小化させる。ことのとき、パワー関数は（Ｅ_i ⁿ＋Ｆ_i ^k）の形式で表現できる。なお、この具体例は後記する第３実施形態において詳しく説明する。

総パワー値算出手段３２は、対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出するものである。具体的には、総パワー値Ｅ₀は、例えば、Σ_iΣ_nＥ_i ⁿ（ｉ=０〜２５５，ｎ＝０〜Ｋ_N−１、Ｋ_N＝組み合わせ総数）のように表される。なお、この具体例は後記する第３実施形態において詳しく説明する。

最小化手段３３は、総パワー値を最小化または最大化するように、撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、被写体を共有する各撮影画像の画像情報の設定パラメータとすることで撮影画像間の差分を最小化させるものである。なお、撮影画像間の差分（誤差）を最小化させるときに、総パワー値を最小化するか、あるいは最大化するかということは、パワー関数をどのように定義するかに依存する。以下では、一例として、総パワー値を最小化することで撮影画像間の誤差を最小化するものとして説明する。ここで、最小化手段３３が総パワー値を最小化させる方法は、特に限定されず、従来公知の方法を利用することができる。例えば、最急降下法（Steepest descent method）や、確率伝播法の１つであるＬＢＰ（Loopy Belief Propagation）法を用いてもよい。なお、ＬＢＰ法については、例えば、「K. P. Murphy, Y.Weiss and M.I.Jordan, Uncertainty in Artificial Intelligence, pages 467-475(1999)」に記載されている。

補正実行手段４０は、総パワー値を最小化する状態を与えるときの各パラメータベクトルの成分の値を格納したカメラ毎のルックアップテーブルを参照して各撮影画像のパラメータの補正を実行し、外部に補正後映像を出力するものである。

なお、画素対応付け手段１０と、対応リスト作成手段２０と、テーブル計算手段３０とは、例えば、ＣＰＵ（Central Processing Unit）から構成され、所定のプログラムをＲＡＭに展開して実行することで前記した機能を果たす。

記憶手段５０は、例えば、所定のプログラム等を記憶するＲＯＭ（Read Only Memory）を備える。また、記憶手段５０は、画素対応付け手段１０、対応リスト作成手段２０、テーブル計算手段３０および補正実行手段４０による演算処理等に利用されるＲＡＭ（Random Access Memory）等を備える。また、記憶手段５０は、対応リスト記憶部５１と、ルックアップテーブル記憶部５２とを備えている。対応リスト記憶部５１およびルックアップテーブル記憶部５２は、例えば、一般的なハードディスク等から構成される。

対応リスト記憶部５１は、撮影画像ペア毎に画素対応付け手段１０によって対応付けられた対応点の座標等をフレーム別に記憶するものである。
ルックアップテーブル記憶部５２は、最小化手段３３で求められた総パワー値を最小化する状態を与えるときの各パラメータベクトルの成分の値を格納したルックアップテーブルをカメラ毎に記憶するものである。具体的には、カメラ毎のルックアップテーブルは、さらに、ＲＧＢチャンネル別に作成される。なお、この具体例は後記する第３実施形態において詳しく説明する。

なお、設定パラメータ最適化装置２は、例えば、キーボードやマウス等から構成された入力装置Ｍから、各種情報を入力可能に構成され、各種情報の入力状態を、例えば、液晶ディスプレイ等の出力装置Ｄに表示するように構成されている。そのため、マルチカメラパラメータ補正装置１の操作者が、入力装置Ｍを用いて所望の撮影画像ペアの組み合わせを予め指定することも可能である。

［マルチカメラパラメータ補正装置の動作］
図２は、図１に示したマルチカメラパラメータ補正装置の動作を示すフローチャートである。マルチカメラパラメータ補正装置１は、画素対応付け手段１０によって、撮影画像ペアを形成する各撮影画像間で、共有する被写体について画素の対応付けを、選択可能なすべての撮影画像ペアについて行い（ステップＳ１０１）、対応リスト作成手段２０によって、各画素に既に設定されているパラメータの既設定値により対応リストを、選択可能なすべての撮影画像ペアについて作成する（ステップＳ１０２）。

そして、マルチカメラパラメータ補正装置１のテーブル計算手段３０は、最小化手段３３によって、画素が対応付けられた撮影画像ペアを選択し（ステップＳ１０３）、パワー値算出手段３１によって、パラメータベクトルの各成分についてパワー値をそれぞれ算出する（ステップＳ１０４）。そして、マルチカメラパラメータ補正装置１は、最小化手段３３によってまだ選択されていない撮影画像ペアがある場合（ステップＳ１０５：Ｎｏ）、ステップＳ１０３に戻る。一方、画素が対応付けられた撮影画像ペアをすべて選択した場合（ステップＳ１０５：Ｙｅｓ）、マルチカメラパラメータ補正装置１は、テーブル計算手段３０の総パワー値算出手段３２によって、総パワー値を算出する（ステップＳ１０６）。総パワー値が最小化されていない場合、すなわち、各撮影画像のパラメータベクトルがまだ最適化されていない場合（ステップＳ１０７：Ｎｏ）、マルチカメラパラメータ補正装置１は、最小化手段３３によって、各撮影画像のパラメータベクトルを制御し（ステップＳ１０８）、ステップＳ１０３に戻る。

一方、ステップＳ１０７において、総パワー値が最小化された場合、すなわち、各撮影画像のパラメータベクトルが最適化された場合（ステップＳ１０７：Ｙｅｓ）、マルチカメラパラメータ補正装置１は、最小化手段３３によって、現状の最小状態を与えるときの各パラメータベクトルによりルックアップテーブルを決定する（ステップＳ１０９）。そして、マルチカメラパラメータ補正装置１は、補正実行手段４０によって、ルックアップテーブルを参照して各撮影画像のパラメータの補正を実行し、外部に補正後映像を出力する（ステップＳ１１０）。

＜第１変形例＞
総パワー値算出手段３２は、総パワー値を算出する際に、撮影画像ペアとして対応付けられたすべての組み合わせを考慮するものとして説明したが、撮影画像ペアとして対応づけた撮影画像において、マルチカメラ全体において均一化を図る際に好ましくないような画像（エラー画像）が含まれていた場合には、それを排除することができる。その具体的方法について図３（ａ）を参照して説明する。

この第１変形例では、総パワー値算出手段３２は、撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、パワー値のパラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出する。そして、総パワー値算出手段３２は、その算出結果が、予め定められた閾値を超えた場合（ケース１）、当該算出結果において撮影画像ペアの他方において組み合わされた撮影画像を除外し、総パワー値を算出する。または、総パワー値算出手段３２は、その算出結果が、撮影画像ペアの他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける画像ペアパワー値の算出結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合（ケース２）、当該算出結果において撮影画像ペアの他方において組み合わされた撮影画像を除外し、総パワー値を算出する。

ここで、具体例を説明する。図３（ａ）の４つのブロックは、４台のカメラを示している。なお、ブロック内の数字は、カメラのインデックスを示す。カメラのインデックスが例えば“１”のカメラに固定した場合に、総パワー値算出手段３２は、インデックスが“１”のカメラと“２”のカメラとの画像ペアパワー値Ｅ_1,2を算出する。同様に、“１”のカメラと“３”のカメラのカメラペア、“１”のカメラと“４”のカメラとのカメラペアについても画像ペアパワー値Ｅ_1,3、Ｅ_1,4を算出する。
（ケース１）では、Ｅ_1,2、Ｅ_1,3、Ｅ_1,4のうち、単純に例えばＥ_1,4が閾値を超えたならば、インデックスが“４”のカメラをカメラペアとしては選択しないこととして総パワー値を算出する。
（ケース２）では、集合｛Ｅ_1,2、Ｅ_1,3、Ｅ_1,4｝うち、例えばＥ_1,4が集合においてその統計的偏り度が閾値を超えたならば、インデックスが“４”のカメラをカメラペアとしては選択しないこととして総パワー値を算出する。統計的偏り度は、例えば、平均値や分散度等である。統計的偏り度の閾値とは、例えば、平均値の±ａ％、分散度の±ασ％のように定義することができる。ここで、ａ、α、σは予め定められた値を示す。

＜第２変形例＞
エラー画像が含まれていた場合の排除方法の例（第２変形例）について図３（ｂ）を参照して説明する。この第２変形例では、総パワー値算出手段３２は、撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、パワー値のパラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出した算出値を積算する。
そして、総パワー値算出手段３２は、その積算結果が、予め定められた閾値を超えた場合（ケース３）、当該積算結果において撮影画像ペアの一方において固定された撮影画像を除外し、総パワー値を算出する。または、総パワー値算出手段３２は、その積算結果が、撮影画像ペアの一方の固定された撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける画像ペアパワー値の積算結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合（ケース４）、当該積算結果において撮影画像ペアの一方において固定された撮影画像を除外し、総パワー値を算出する。

ここで、具体例を説明する。図３（ｂ）の４つのブロックは、４台のカメラのいずれか固定した場合の画像ペアパワー値をそれぞれ算出した算出値の積算結果（ΣＥ_1,j、ΣＥ_2,j、ΣＥ_3,j、ΣＥ_4,j）を示している。ここで、例えば、ΣＥ_1,jは、画像ペアパワー値Ｅ_1,2、Ｅ_1,3、Ｅ_1,4の和を示す。以下、同様である。
（ケース３）では、ΣＥ_1,j、ΣＥ_2,j、ΣＥ_3,j、ΣＥ_4,jのうち、単純に例えばΣＥ_4,jが閾値を超えたならば、インデックスが“４”のカメラをカメラペアとしては選択しないこととして総パワー値を算出する。
（ケース４）では、集合｛ΣＥ_1,j、ΣＥ_2,j、ΣＥ_3,j、ΣＥ_4,j｝うち、例えばΣＥ_4,jが集合においてその統計的偏り度が閾値を超えたならば、インデックスが“４”のカメラをカメラペアとしては選択しないこととして総パワー値を算出する。ここで、統計的偏り度は図３（ａ）で説明したものと同様である。

第１実施形態によれば、設定パラメータ最適化装置２は、選択可能なすべての撮影画像ペアの組み合わせのうち、対応リストが作成された有効なすべての撮影画像ペアの組み合わせおよびパラメータベクトルの各成分に対するパワー値の総和である総パワー値を算出し、総パワー値を最小化させた最小状態を与えるときの各パラメータベクトルを、被写体を共有する各撮影画像の画像情報の設定パラメータとする。これにより、各撮影画像のパラメータが均一化される。その結果、マルチカメラ全体として撮影画像が均一となる。

（第２実施形態）
図４は、本発明の第２実施形態に係る設定パラメータ最適化装置を含むマルチカメラパラメータ補正装置を模式的に示すブロック図である。図４に示すマルチカメラパラメータ補正装置１Ａは、撮影画像の画像情報のパラメータの代わりにカメラのパラメータを最適化する点が第１実施形態と異なっている。そのため、マルチカメラパラメータ補正装置１Ａは、図１に示した構成と同様であるが、その機能が異なっている。図４において、同一の構成には同一の符号を付し、以下では、異なる機能のみを説明する。

設定パラメータ最適化装置２Ａは、被写体を共有する複数個のカメラＶで撮影するマルチカメラから取得した各カメラＶで撮影された各撮影画像の中から選択された撮影画像ペアの撮影画像の画像情報に基づいて、選択された撮影画像ペアを撮影したカメラペアのうちの少なくとも一方のカメラの設定パラメータを制御するものである。ここで、カメラのパラメータには、角度や位置等のカメラ配置のパラメータや、ゲイン量、ガンマ補正、ズーム、露光時間、絞り量等のカメラ撮影のパラメータが含まれる。なお、カメラの角度や位置等を指定するパラメータには、横方向の回転（パン）、上下方向の回転（チルト）、上下方向の移動（ハイト）、カメラを被写体に近づけたり遠ざけたりする移動（ドリー）が含まれる。また、被写体を拡大・縮小するズーム量や被写体にカメラレンズの焦点合わせを行うフォーカス量等のカメラレンズのパラメータを含めてもよい。

画素対応付け手段１０は、カメラＶの設定パラメータの更新により撮影画像間で、共有する被写体についての画素の対応付けが変化した場合に、当該撮影画像間の画素の対応付けを更新する。

対応リスト作成手段２０は、撮影画像ペアに対応して各カメラにそれぞれ設定されている各カメラＶのパラメータの既設定値を、対応付けられたすべての画素にわたって対応付けた対応リストを、選択可能なすべての撮影画像ペアについて作成する。

パワー値算出手段３１は、対応リストが作成された各撮影画像を撮影した各カメラＶに対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、対応リストに対応付けられているパラメータの既設定値を適用することで、設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出する。

最小化手段３３は、総パワー値を最小化するように、撮影画像ペアを撮影したカメラペアのうちの少なくとも一方のカメラＶのパラメータベクトルの各成分の設定変更値を制御し、総パワー値が最小状態を与えるときの各パラメータベクトルを、被写体を共有する各カメラＶの設定パラメータとする。

補正実行手段４０は、総パワー値を最小化する状態を与えるときの各パラメータベクトルの成分の値を格納したカメラ毎のルックアップテーブルから、各カメラの補正されたパラメータを読み込み、各撮影画像を撮影したカメラＶに補正指令信号を出力する。なお、補正実行手段４０が外部に出力する補正後映像とは、補正指令信号に応じて各カメラＶがパラメータを調整した後に、マルチカメラパラメータ補正装置１Ａが、各カメラＶから取得する映像信号を意味する。

第２実施形態によれば、設定パラメータ最適化装置２は、選択可能なすべての撮影画像ペアの組み合わせのうち、対応リストが作成された有効なすべての撮影画像ペアの組み合わせおよびパラメータベクトルの各成分に対するパワー値の総和である総パワー値を算出し、総パワー値を最小化させた最小状態を与えるときの各パラメータベクトルを、被写体を共有する各撮影画像を撮影したカメラの設定パラメータとする。これにより、各カメラのパラメータが均一化されるので、マルチカメラ全体として撮影画像が均一となる。第２実施形態の設定パラメータ最適化装置２は、カメラのパラメータを最適化した後に、第１実施形態で説明したように撮影画像の画像情報のパラメータを最適化すれば、マルチカメラ全体としての撮影画像の均一化にさらに寄与することとなる。

（第３実施形態）
第３実施形態は、設定パラメータ最適化装置２において、撮影画像の画像情報の設定パラメータとして、色の強度を示すパラメータを扱うものである。この場合の設定パラメータ最適化装置２およびそれを含むマルチカメラパラメータ補正装置１の構成は第１実施形態と同様である。ただし、マルチカメラパラメータ補正装置１は、色補正を行うマルチカメラ色補正装置として機能する。したがって、以下では、色補正に必要な色（輝度）の強度のパラメータの最適化、および具体的な色補正について詳細に説明する。

［カメラ間の組み合わせ］
以下では、マルチカメラのカメラＶ間の組み合わせの１つ１つをＶＮ（View Network）として定義し、各組み合わせを総称してＶＮＳ（View Networks）とする。ＶＮは、カメラペアを示す。また、カメラペアを構成する各カメラＶでそれぞれ撮影された撮影画像ペアをも示す。ここで、カメラＶの台数や配置は特に限定されるものではない。

ＶＮＳの具体例を図５に示す。図５に示した例では、マルチカメラパラメータ補正装置１（図１参照）に、６台のカメラ（Ｖ₀〜Ｖ₅）が接続されているものとする。マルチカメラパラメータ補正装置１（図１参照）が、撮影画像ペアを組み合わせる方法は、大別して２つ挙げられる。

第１の方法は、マルチカメラパラメータ補正装置１（図１参照）が、撮影画像ペアを組み合わせるときに、自動的に₆Ｃ₂（＝１５）通りの組み合わせをすべて選択し、画素の対応付けが可能なすべての撮影画像ペアから、必要に応じてエラー画像を除去した組み合わせを用いて総パワー値を算出する方法である。この場合、自動選択の結果、図５に示すような９つのＶＮＳ（ＶＮ₀〜ＶＮ₈）が選択されたものとすることができる。

第２の方法は、マルチカメラパラメータ補正装置１（図１参照）の操作者が、入力装置Ｍを用いて所望の撮影画像ペアの組み合わせ、すなわちＶＮＳ（ＶＮ₀〜ＶＮ₈）を予め指定する方法である。このときに、所望のカメラ（Ｖ₂）で撮影された撮影画像を参照画像に指定することもできる。以下の説明では、撮影画像ペアの組み合わせる方法は、第２の方法、つまり、所望の撮影画像ペアの組み合わせを予め指定しておき、さらに、所望のカメラで撮影された撮影画像を参照画像に指定するものとして説明する。このとき、所望のカメラを「参照カメラ」と呼び、補正対象の対象画像を撮影したその他のカメラを「対象カメラ」と呼ぶことにする。

［色補正についての全体計算手順］
図６は、色補正の流れを示すフローチャートである。図６中の長方形は計算ステップを表し、台形はループを表している。最初にステップ１で、マルチカメラの中から参照カメラとＶＮＳを手動で選ぶ。後のステップで、他のカメラ（対象カメラ）を参照カメラの色に似るように補正するので、ここでは望ましい色合いのカメラを参照カメラとして選ぶことが重要である。

ステップ１の後には、マルチカメラパラメータ補正装置１（図１参照）は、以下のステップを対象カメラごとに行う。
ステップ２では、ある時刻での対象カメラと参照カメラとの対応点を検出する。
ステップ３では、ＲＧＢのチャンネルごとに対応点から対応色を検出する。
ステップ４では、ＲＧＢのチャンネルごとに、補正量を表すルックアップテーブル（ＬＵＴ：lookup table）を算出する。この計算では、３次元空間中に置かれた撮影対象の１点から発する光は、どの方向にも同じ強さで発せられるという規則（ランベルト則：Lambertian condition）を仮定している。言い換えれば、対応点は同じ色になるということを仮定している。
ステップ５では、ＬＵＴを用いてフレームごとに対象カメラの画像（ビデオ映像）の色補正を実行する。

本手法では、ＲＧＢのチャンネルごとにＬＵＴを用意するため、ＲＧＢを独立に、かつ非線形変換で補正できる。また、カラーパターンボードの代わりに、対応点から対応色を求めるため、カラーパターンボードの用意は不変で、かつオクルージョン問題にも対応できる。以下、前記したステップ１〜５について、一般化して説明する。

［ステップ１：事前準備］
ここでは、ステップ２以降の説明で用いるカメラやＶＮＳの記号表記をまとめて説明する。マルチカメラを構成するＫ_V個のカメラＶ^k（０≦ｋ＜Ｋ_V）によるカメラ集合を式（１）で示す。ｋはカメラのインデックスである。そして、式（２）に示すように、このうちの１台のカメラを参照カメラＲとする。また、式（３）に示すように、ＶＮＳ（ＶＮの集合）の各要素（ＶＮ）を、各カメラＶを併記して一般に（Ｖ₀ ⁿ，Ｖ₁ ⁿ）と表記することとする。ここで、ｎはＶＮＳのインデックスすなわちカメラペア（または撮影画像ペア）のインデックスである。ｎの総数はＫ_Nである（０≦ｎ＜Ｋ_N））。また、Ｖの下付の「０」と「１」は、カメラペア（または撮影画像ペア）のいずれか一方を指す。つまり、（Ｖ₀ ⁿ，Ｖ₁ ⁿ）のカッコ内の「Ｖ₀ ⁿ」、「Ｖ₁ ⁿ」は、式（４）に示すように、カメラ集合の中から対応付けられたカメラペア（または撮影画像ペア）のうちのいずれか一方を指す。

なお、ステップ２〜５の説明で詳述するが、ここでは、対応付けられたカメラペア（または撮影画像ペア）の中では、Ｖ₀ ⁿの色合いをＶ₁ ⁿの色合いに類似させるように補正するものとする。つまり、対応付けられたカメラペア（または撮影画像ペア）の中では、Ｖ₁ ⁿが基準側としてそのパラメータベクトルは固定され、かつ、Ｖ₀ ⁿが制御側としてそのパラメータベクトルが変動可能に制御されて双方のエネルギ差を示すパワー値が算出される。Ｖ₀ ⁿは、参照カメラであっても対象カメラであってもよく、そのパラメータベクトルは固定され、かつ、Ｖ₁ ⁿは常に対象カメラでなければならずそのパラメータベクトルは変動可能に制御されて、双方の差を示すパワー値が算出される。言い換えると、対象カメラはＶ₀ ⁿであるときにはそのパラメータベクトルが固定され、Ｖ₁ ⁿであるときにはそのパラメータベクトルは変動可能に制御される。一方、参照カメラＲはＶ₀ ⁿになることはできずＶ₁ ⁿにだけなり得るものであって、そのパラメータベクトルは常に固定されて双方のエネルギ差を示すパワー値が算出される。これにより、参照カメラＲはそのパラメータベクトルが常に固定され、かつ、すべての対象カメラはそのパラメータベクトルは変動可能に制御された状態でＶＮＳ全体の総パワー値が算出されることとなる。

［ステップ２：対応点の抽出］
このステップの目的は、前記した式（３）に示すすべてのＶＮＳすなわちカメラペア（または撮影画像ペア）から対応点リストＰⁿ（ｆ）を作ることである。図７は、画素対応付けの一例を模式的に示す図である。図７は対応点の例を示したもので、図中の太い線は対応点の一部を示している。この例では、人物の「右肩」、「右脇」、「左手」、「左脇」が対応点として抽出されている様子を示したが、実際には数多くの対応点が抽出される。

ここでは、ＳＩＦＴ（Scale Invariant Feature Ttansform）を修正なしで用いた。
ＳＩＦＴとは、ガウスフィルタ処理を施した画像を複数枚つくり、それらから特徴点を抽出し、その特徴点付近の輝度分布から対応点を決定する方法である。なお、ＳＩＦＴについては、「D. G. Lowe、“Distinctive Image Features from Scale-Invariant Keypoints”、International Journal of Computer Vision、vol．60、no．2、p．91-110、Jan．2004」に詳細が記載されているので、ここでは説明を省略する。

対応リスト作成手段２０（図１参照）は、画素対応付け手段１０（図１参照）で対応付けられたＶＮすなわちカメラペアにおいて、撮影画像ペアの中の一方（以下、制御側画像という）Ｉ₀ ⁿ（ｆ）と他方（以下、基準側画像という）Ｉ₁ ⁿ（ｆ）とから、ＳＩＦＴによって、式（５）に示す対応点リストＰⁿ（ｆ）を作る。ここで、Ｉ₀ ⁿ（ｆ）とＩ₁ ⁿ（ｆ）は、Ｖ₀ ⁿとＶ₁ ⁿの映像中のｆ番目のフレーム画像をそれぞれ示す。

式（５）において、（ｈ₀ ^p，ｗ₀ ^p）はＶ₀ ⁿ側の対応点を示し、（ｈ₁ ^p，ｗ₁ ^p）はＶ₁ ⁿ側の対応点を示す。また、ｐは対応点のインデックスであり、Ｐⁿ（ｆ）はｆ番目のフレームにおける対応点の個数を示す。式（６）に示すＦは、対応付けられたＶＮすなわちカメラペアの映像におけるフレーム総数である。なお、式（５）および式（６）において、すべてのフレームを用いる表記としたが、これは一例であって必ずしも全フレームを利用する必要はない。

［ステップ３：対応色の抽出］
このステップの目的は、式（５）に示した対応点リストＰⁿ（ｆ）から、対応リスト（対応色のリスト）Ｑⁿを作ることである。図８はＱⁿの例を示したものである。図８には、全対応色のほんの一部を例として記載してある。図８（ａ）、図８（ｂ）および図８（ｃ）には、それぞれ、Ｒチャンネル、ＧチャンネルおよびＢチャンネルにおいて、全対応色のほんの一部を例として記載してある。撮影画像から対応点の色を持ってきて対応色として扱うのが、非常にシンプルな方法である。しかしながら、本実施形態では、ガウスフィルタ処理した画像を複数枚つくり、そこから対応色をピックアップすることにした。

ガウスフィルタ処理した２枚の画像から、対応色をピックアップする例を図９に示す。撮影画像から対応点の色をピックアップすると、その対応点には高い空間解像度の色成分が含まれるのと同時に、白色ノイズも含まれることになる。一方、ガウスフィルタ処理でぼかした画像はその反対である。高い空間解像度の色成分も、白色ノイズも含まれない。この両方のメリットを活かすために、複数枚のガウスフィルタ処理した画像からピックアップすることにした。

対応リスト（対応色のリスト）Ｑⁿは、以下のようにして定式化される。Ｖ₀ ⁿとＶ₁ ⁿの映像中のｆ番目のフレーム画像をそれぞれ示す制御側画像Ｉ₀ ⁿ（ｆ）と基準側画像Ｉ₁ ⁿ（ｆ）を式（７）および式（８）で表す。ここで、Ｉ_or、Ｉ_og、Ｉ_obは、制御側画像Ｉ₀ ⁿ（ｆ）のＲＧＢチャンネルをそれぞれ示す。また、Ｉ_1r、Ｉ_1g、Ｉ_1bは、基準側画像Ｉ₁ ⁿ（ｆ）のＲＧＢチャンネルをそれぞれ示す。

ステップ３はすべての計算をＲＧＢのチャンネル毎に行うので（図６参照）、煩雑さを避けるため、チャンネルを表記しない記号Ａを導入する。つまり、Ｉ_or、Ｉ_og、Ｉ_obをＡ_oに置き換え、Ｉ_1r、Ｉ_1g、Ｉ_1bをＡ₁に置き換える。このとき、制御側および基準側でそれぞれガウスフィルタ処理を施した画像Ａ₀ ^s、Ａ₁ ^sは、式（９）および式（１０）で表される。ここで、ｇ（σ，Ａ）は、Ａにσのガウスフィルタ処理を施す変換関数を示し、ｓ（１≦ｓ≦Ｓ）は、σのインデックスを示している。また、Ｓはガウスフィルタ処理した画像の総数である。なお、σが非常に小さい場合には、ガウスフィルタ処理した画像も撮影画像も同じになる。そのため、本実施形態で「ガウスフィルタ処理した画像」と言う場合には、撮影画像そのものも含めることとする。

式（９）および式（１０）で表される画像Ａ₀ ^s、Ａ₁ ^sを用いると、対応リスト（対応色のリスト）Ｑⁿは、式（１１）のように表される。式（１１）において、（ｑ₀ ^u，ｑ₁ ^u）はＶ₀ ⁿ側の画像（画像Ａ₀ ^sに対応）とＶ₁ ⁿ側の画像（画像Ａ₁ ^s）との対応色を示す。ここで、ｕは、対応色リスト中の対応色のインデックスを示し、Ｋ_Qnは、対応色リスト中の対応色の総数を示している。

式（１２）において、ａ₀ ^s（ｈ_p ⁰，ｗ_p ⁰）は画像Ａ₀ ^s（Ｖ₀ ⁿ側の画像）において画像Ａ₁ ^s（Ｖ₁ ⁿ側の画像）に対応している対応点（ｈ_p ⁰，ｗ_p ⁰）の輝度を示す。また、ａ₁ ^s（ｈ_p ¹，ｗ_p ¹）は画像Ａ₁ ^s（Ｖ₁ ⁿ側の画像）においては画像Ａ₀ ^s（Ｖ₀ ⁿ側の画像）に対応している対応点（ｈ_p ¹，ｗ_p ¹）の輝度を示す。

具体的には、例えば、対応点リストＰⁿ（ｆ）のＦフレーム分が３００組の対応点で構成されていて、ガウスフィルタ処理した画像のインデックスｓが「０」である場合（実際には処理していない第０番目の画像＝撮影画像の場合）、Ｒチャンネル用に画像Ａ₀ ⁰および画像Ａ₁ ⁰から３００組の対応色をピックアップすることになる。なお、ｎは、０≦ｎ＜Ｋ_Nの範囲で１つに固定されているものとする。

同様に、ＧとＢチャンネル用にも画像Ａ₀ ⁰および画像Ａ₁ ⁰からそれぞれ３００組の対応色をピックアップする。
また、ガウスフィルタ処理した画像のインデックスｓが「１」である場合（第１番目の処理画像の場合）、ＲＧＢ各チャンネル用に画像Ａ₀ ¹および画像Ａ₁ ¹から３００組の対応色をピックアップする。
さらに、ガウスフィルタ処理した画像のインデックスｓが「２」である場合（第２番目の処理画像の場合）、ＲＧＢ各チャンネル用に画像Ａ₀ ²および画像Ａ₁ ²から３００組の対応色をピックアップする。
結局、Ｒチャンネル用の対応リスト（対応色のリスト）Ｑⁿには、９００組の対応色が作られる。同様に、ＧとＢチャンネル用のＱⁿに対してもそれぞれ９００組の対応色が作られることになる。

［ステップ４：ルックアップテーブル（ＬＵＴ）の算出］
このステップの目的は、カメラＶ^kの撮影画像の輝度（ｂ_i ^k、０≦ｂ_i ^k＜２５６）から、大よその補正輝度（ｃ_i ^k、０≦ｃ_i ^k＜２５６）への修正を表すルックアップテーブル（ＬＵＴ）をカメラ毎に作ることである。このテーブルを、前記した式（１１）に示す対応リスト（対応色のリスト）Ｑⁿから作る。図１０（ａ）、図１０（ｂ）および図１０（ｃ）には、それぞれ、Ｒチャンネル、ＧチャンネルおよびＢチャンネルにおいて、ＬＵＴの例としてテーブルの最初と最後だけを例として記載してある。図１０において、入力値（Captured）は、撮影画像の輝度（ｂ_i ^k、０≦ｂ_i ^k＜２５６）を示し、近似値（approximate）は大よその補正輝度（ｃ_i ^k、０≦ｃ_i ^k＜２５６）を示す。

式（１３）は、撮影画像の輝度ｂ_i ^kと補正輝度ｃ_i ^kとの関係式である。式（１３）中のｆ_Ckはこのときの変換関数を表す。また、式（１４）は、撮影画像の輝度ｂ_i ^kの集合Ｂ^kを示し、式（１５）は、大よその補正輝度ｃ_i ^kの集合Ｃ^kを示す。

カメラＶ^kのルックアップテーブル（ＬＵＴ）は、図１０のようにテーブル状に作成するとき、あるいは、テーブルの各列の値を算出するときには、集合Ｂ^kと集合Ｃ^kの両方に相当する。また、カメラＶ^kのルックアップテーブル（ＬＵＴ）から参照されて実際の補正に用いられる輝度は、式（１５）に示す集合Ｃ^kである。この意味でルックアップテーブル（ＬＵＴ）というときには、ＬＵＴは集合Ｃ^kに相当する。したがって、以下では、ルックアップテーブル（ＬＵＴ）のことをＣ^kと表記することとする。式（１６）は、この意味のルックアップテーブル（ＬＵＴ）Ｃ^kの集合Ｃを示すものである。集合Ｃの個数は、カメラの個数と同じなので、Ｋ_V個である。なお、本実施形態では、この表記を用いていても文脈によっては、Ｃ^kが集合Ｂ^kと集合Ｃ^kの両方に相当する場合も含まれる場合もある。

このステップ４では、式（１６）に示すルックアップテーブル（ＬＵＴ）の集合Ｃを求める。ただし、参照カメラＲにおいては、撮影画像の輝度ｂ_i ^kを補正しないので、補正輝度ｃ_i ^kは、撮影画像の輝度ｂ_i ^kに固定される。参照カメラＲ（＝Ｖ^k(R)）が基準側のカメラＶ₁ ⁿになるようなＶＮＳのインデックスｎにおいては、撮影画像の輝度ｂ_i ^k(R)は、輝度（パラメータ）の成分を示すインデックスｉ（０〜２５５）と同じ値（成分の値：式（１４）においては、これをあらためてインデックスｎと表記した）に固定されるので、参照カメラＲにおける集合Ｂ^k(R)も固定である。つまり、参照カメラＲのルックアップテーブル（ＬＵＴ）Ｃ^k(R)では、特別に、集合Ｂ^k(R)＝集合Ｃ^k(R)となる。したがって、実質的には、各対象カメラＶ^kにおいて、ｂ_i ^kに対応するｃ_i ^kの値（変動可能な値）を求めることになる。

式（１６）に示すルックアップテーブル（ＬＵＴ）の集合Ｃの求め方の概要を図１１に模式的に示す。図１１において、縦長のブロック「view ０」〜「view Ｋ_V−１」は、それぞれ、カメラＶ⁰〜Ｖ^KV-1を示す。なお、view（カメラ）のインデックスは「ｋ」である。また、縦長のブロック「view ０」〜「view Ｋ_V−１」の間に配置された「ＶＮ₀」〜「ＶＮ₂」は、それぞれ、ＶＮ（カメラ間の組み合わせ）すなわちカメラペア（撮影画像ペア）を示す。なお、ＶＮのインデックスは「ｎ」であり、図１１では、一例としてｎ＝０，１，２のみを代表で示した。これは、図５を反映したものに相当する。

図１１において、縦長のブロック「view ０」〜「view Ｋ_V−１」において、丸はノードを示し、カメラＶ⁰〜Ｖ^KV-1（あるいは各撮影画像）のパラメータベクトルの各成分に相当する。この場合、パラメータベクトルの成分の値は、「ｂ_i ^k」である。また、縦長のブロック「view ０」〜「view Ｋ_V−１」において、ノードに重ねて示した長方形はノードのラベルを示す。この場合、ラベルの値は、「ｃ_i ^k」である。この値は、テーブル計算手段３０（図１参照）が反復処理を行って総パワー値が最小化された状態によって求められる。

図１１において、「ＶＮ₀」〜「ＶＮ₂」を介したカメラ間のノードを接続するリンクは、カメラ間（あるいは各撮影画像）のエネルギＥ_i ⁿを示す。ここで、ｎはＶＮのインデックスである。本実施形態では、エネルギＥ_i ⁿは、式（１７）で定義され、パワー関数に相当する。
また、カメラ内でノード間を接続するリンクは、隣り合うノード間（あるいはパラメータベクトルの隣り合う成分間）のエネルギＦ_i ^kを示す。ここで、ｋはview（カメラ）のインデックスである。本実施形態では、エネルギＦ_i ⁿは、式（１８）で定義される。

式（１７）のσ_fと式（１８）のλは、定数パラメータである。式（１７）に示したエネルギＥ_i ⁿを表すグラフを図１２に示す。図１２において、空間を示す３軸のうち幅方向の横軸（ｃ_i＾（Ｖ₀ ⁿ））は、ＶＮのインデックスが「ｎ」であるカメラペア（撮影画像ペア）の制御側のカメラについてのノードのラベル（輝度の成分がインデックス「ｉ」であるラベル）の値をそれぞれ示す。また、奥行き方向の縦軸（ｃ_i＾（Ｖ₁ ⁿ））は、ＶＮのインデックスが「ｎ」であるカメラペア（撮影画像ペア）の基準側のカメラについてのノードのラベル（輝度の成分がインデックス「ｉ」であるラベル）の値をそれぞれ示す。ここで、横軸（ｃ_i＾（Ｖ₀ ⁿ））の値は、縦軸（ｃ_i＾（Ｖ₁ ⁿ））の値を基準にして求められる。そして、この縦軸（ｃ_i＾（Ｖ₁ ⁿ））の値は、他のカメラペア（撮影画像ペア）の基準側のカメラについてのノードのラベルの値を基準にして求められるときには横軸に配される。以下、同様に反復される。

また、図１２に示す残りの高さ方向の軸は、エネルギＥ_i ⁿを示す。エネルギＥ_i ⁿは、平面視の座標で示すと（０，０）から（２５５，２５５）に向けた領域において小さい値となっている（深く窪んでいる）。

本実施形態では、式（１７）に示したエネルギＥ_i ⁿについてのインデックスｉ，ｎについての総和と、式（１８）に示したエネルギＦ_i ^kについてのインデックスｉ，ｋについての総和とを加算した結果を、総パワー値とする。この総パワー値は、前記した式（１６）に示すルックアップテーブル（ＬＵＴ）の集合Ｃを変化させたときに、式（１９）の右辺のargmin関数において最小化させる対象となる。また、式（１９）の左辺のｆ_Cは、式（２０）で定義され、前記した式（１３）に示したカメラＶ^k毎の変換関数ｆ_Ckの集合を示す。つまり、式（１９）の右辺に示した総パワー値が最小となるときに、式（１６）に示すルックアップテーブル（ＬＵＴ）の集合Ｃが、式（１９）に示す変換関数の集合ｆ_Cとして求められることとなる。

本手法は、誤対応に強いだけではなく、サブピクセル問題にも強いと言える。前記したステップ３においては、対応色をピックアップするのにガウスフィルタ処理した画像を用いた。そのため、対応点の中にはシャープな画像からピックアップされたものもあれば、ぼけた画像からのものもある。サブピクセルの場合には、誤った「対応する色」がシャープな画像から得られ、正しいものがぼけた画像から得られることになる。一方、サブピクセルでない場合には、より正しい「対応する色」がシャープな画像から得られ、そうでないものがぼけた画像から得られることになる。結局、対応点リストＱⁿには、正しいものとそうでないものが含まれることになる。ステップ４ではすべての対応点が使われる。しかしながら、ステップ４によれば、カメラ間で正しい「対応する色」から作られるエネルギＥ_i ⁿは集まり、そうではない「対応する色」から作られるエネルギＥ_i ⁿは散らばるため、そうではない「対応する色」をわざわざ選別しなくても自動的に選別される。その結果、すべての対応点を使ったとしてもＬＵＴの質には影響しないことになる。つまり、妥当なＬＵＴが生成される。

さらに、ガウスフィルタ処理した画像の数を増やすことにより、正しい対応色が得られる確率が高くなる。例えば、ＲＧＢのチャンネル毎にそれぞれ９００組の対応色が、対応リスト（対応色のリスト）Ｑⁿにある場合、前記した式（１７）に示すエネルギＥ_i ⁿにおいて、Ｋ_Qnが９００となり、ｕについて９００回の加算が行われるからである。

［ステップ５：画像の色補正の実行］
このステップの目的は、ＬＵＴ Ｃ^kを用いて、対象カメラＶ^kの撮影画像Ａから、補正後画像Ｚを作ることである。このことは、厳密には、カメラペア（撮影画像ペア）で考えたときに、対象カメラＶ^kが制御側であるのか基準側であるのかによって式（２１）または式（２２）のように定式化される。なお、式（２１）のＡ_o（ｈ，ｗ）は、制御側画像Ｉ₀ ⁿ（ｆ）のＲＧＢチャンネル（Ｉ_or、Ｉ_og、Ｉ_ob）の（ｈ，ｗ）であり、式（２２）のＡ₁（ｈ，ｗ）は、基準側画像Ｉ₁ ⁿ（ｆ）のＲＧＢチャンネル（Ｉ_1r、Ｉ_1g、Ｉ_1b）の（ｈ，ｗ）である。

第３実施形態によれば、設定パラメータ最適化装置２は、色の強度を示すパラメータとして、ＲＧＢ３チャンネルに対して個別にパラメータベクトルを扱うことができる。したがって、設定パラメータ最適化装置２は、マルチカメラで撮影された各撮影画像が均一となるように色の強度を示すパラメータを最適化することができる。その結果、マルチカメラ全体において、色合いが相互に類似した妥当な色補正を行うことができる。

以上、各実施形態について説明したが、本発明はこれらに限定されるものではなく、その趣旨を変えない範囲で様々に実施することができる。例えば、第３実施形態では、撮影画像の画像情報の設定パラメータとして、色の強度を示すパラメータを一例として説明したが、色の強度の代わりに、輝度や色彩を扱ってもよい。また、色に限定されることなく、例えば、視差をパラメータとして最適化するようにしてもよい。

視差に関してマルチカメラ全体として撮影画像を均一化することは、カメラの配置にも依存している。例えば、カメラがマトリックス状に配置されたマルチカメラであれば、以下のようなものが想定される。隣り合ったカメラペアの撮影画像において着目している被写体の位置の差分（画像間差分）と、当該カメラペアの一方を含むような隣り合ったカメラペアにおける別の画像間差分とを類似させることが、視差に関してマルチカメラ全体として撮影画像を均一化することとなる。これによれば、カメラペアからステレオ視で取得される対象物までの距離情報が、どのカメラペアを選択しても均一な値として取得可能となる。

また、設定パラメータ最適化装置２は、一般的なコンピュータを、前記した画素対応付け手段１０と、対応リスト作成手段２０と、パワー値算出手段３１と、総パワー値算出手段３２と、最小化手段３３として機能させるプログラム（設定パラメータ最適化プログラム）により動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。このプログラムをインストールされたコンピュータは、ＣＰＵが、ＲＯＭ等に格納されたこのプログラムをＲＡＭに展開することにより、設定パラメータ最適化装置２と同等の効果を奏することができる。

本発明の効果を確認するために、第３実施形態に係る設定パラメータ最適化装置を含むマルチカメラパラメータ補正装置について実験を行った。
［予備実験］
＜実験方法＞
最終結果（色補正された画像）の表示だけでは、マルチカメラ全体においてカメラ間の色合いがどの程度均一化されたことになるのかを客観的に示す数値を提示できないので、予め定められた割合の数値を指標として改善効果を調べる予備実験を行った。
予備実験では、「ファジー（Fuzzy）」というテストシーケンスと、これを用いた「歪んだファジー（Distorted fuzzy）」というテストシーケンスとを作成した。

ファジー（Fuzzy）には、以ドの（Ｔ１）〜（Ｔ７）の特徴がある。
（Ｔ１）ファジーは、８枚の画像で構成されている。
（Ｔ２）８枚の画像を図１３に示すように左側から右側に向けて順に画像Ｆ⁰，画像Ｆ¹，…，画像Ｆ⁷とする。なお、図１３では、両端を除く６枚の図示を省略した。
（Ｔ３）８枚の画像は、１台のカメラによって撮影されたものである。
（Ｔ４）高精度な移動装置にカメラを取り付けて、わずかに横方向に移動させては止めるという動作を８回繰り返し、止めた際に被写体を撮影した。
（Ｔ５）止める度に１０回ずつ撮影し、止めた際の１０回の平均画像を１枚の画像として８枚の画像を生成した。そのため、ファジーには、カメラの受光素子などで発生するホワイトノイズは無い。
（Ｔ６）撮影中には、照明などの環境は変化してない。
（Ｔ７）ファジー（Fuzzy）という名称の由来は、カメラの前にたくさんの物を乱雑に置いたためである。

歪んだファジー（Distorted fuzzy）ｇ_Γ（Ｆ^k）は、式（２３）に示すように、ガンマ曲線と線形で変換して作成した。ここで、ｆ_γはγでのガンマ曲線変換を表している。また、ｋ＝０，１，…，７である。

前記パラメータ（γ，ａ，ｂ）の値を決めた後に、Ｆ^kの全ピクセルをｇ_Γ（・）で変換して歪んだファジー（Distorted fuzzy）を作成した。図１４に、Ｆ^kと変換関数ｇ_Γ（Ｆ^k）との関係を示すグラフ形状の例を示した。図１４（ａ）はγ＜１の場合、図１４（ｂ）はγ＝１の場合、図１４（ｃ）はγ＞１の場合をそれぞれ示している。

ファジーは、前記した（Ｔ１）〜（Ｔ７）の特徴を有しているので、ファジーに対して以下の（Ｕ１）の処理および（Ｕ２）の処理を行った後の画像（補正後画像）は、その処理を行う前の画像（つまりファジーのオリジナル画像）と同じであるか、または、よく似ると想像される。
（Ｕ１）ファジーのうちの１枚（例：Ｆ⁰）を、ガンマ曲線変換などで歪ませる。
（Ｕ２）ファジーのうちの他の１枚（例：Ｆ^ｌ）を参照画像（参照カメラＲで撮影した撮影画像に相当する画像）として、（Ｕ１）で作成した「歪んだ画像」の色合いを参照画像に類似させるように色補正する。

この予備実験では、ファジーのオリジナル画像と、その補正後画像との類似度を、ＰＳＮＲ（Peak Signal to Noise Ratio）により測定した。ＰＳＮＲは、画像の信号と混入したノイズとの比率を示すものである。予備実験では、ＲＧＢチャンネルそれぞれについてＰＳＮＲ［ｄＢ］を測定し、式（２４）に示すように、各チャンネルのＰＳＮＲの平均をＰＳＮＲ_rgbとして評価に用いた。

ファジーＦ^k（ｋ＝０，１，…，７）に対して、式（２３）に示す変換関数を適用することで、式（２５）に示すＧ^k（ｋ＝０，１，…，７）を準備した。ここでは、インデックスｋに応じて、式（２６）〜式（３０）に示すように、ガンマ曲線関数（Γ）を変化させている。例えば、式（２６）は、ｋ＝０，２，４，６に対して、ガンマ曲線関数（Γ）は、γ＝0,8、ａ＝0.7、ｂ＝20となっている。式（２５）に示すＧ^k（ｋ＝０，１，…，７）は、実際には複数のカメラで撮影した画像を歪ませたものではないが、複数のカメラＶ^kで撮影した画像を歪ませた画像に相当することになる。

また、実際には複数のカメラはないが、８個のカメラＶ^k（０≦ｋ＜８）によって、マルチカメラが構成されているものと想定したときのカメラ集合を式（２９）で示す。以下、同様である。ここで、ｋはカメラのインデックスである。カメラ集合Ｖは、撮影画像集合に対応するので、ファジー（８枚のオリジナル画像）に相当することとなる。そして、式（３０）に示すように、インデックスｋが「３」であるカメラを参照カメラＲであるものと想定する。これは、ファジーのうち、インデックスｋが「３」である画像Ｆ³に相当することとなる。

また、式（３１）に示すように、ＶＮＳ（ＶＮの集合）の各要素（ＶＮ）を定義する。
つまり、カメラ間の組み合わせ、すなわちカメラペア（撮影画像ペア）を１８組として予め指定した。これは、ファジーのうち、カメラのインデックスに対応したインデックスｋに関して、１８組の画像ペアを作ることに相当する。

前記した式（２５）〜式（３１）の条件の下、マルチカメラパラメータ補正装置１（図１参照）は、テーブル計算手段３０によって、カメラのインデックスｋに対応して、ＲＧＢ各チャンネル毎に、式（３２）に示すルックアップテーブル（ＬＵＴ）Ｃ^kを算出した。

ここで、８枚の撮影画像が同一視点の画像であればＰＳＮＲを容易に測定することができる。この場合、比較したい２枚の画像について、一方の画像をその画像のＬＵＴに対応した変換関数ｆで変換した補正画像と、他方の画像をその画像のＬＵＴに対応した変換関数ｆで変換した補正画像とからＰＳＮＲを測定する。しかしながら、８枚の撮影画像は、多視点に対応しているので前記した単純な組み合わせ方法ではＰＳＮＲを測定できない。そこで、補正実行手段４０（図１参照）は、前記した式（２５）に示すガンマファイルタ処理された画像Ｇ^k（ｋは、０≦ｋ＜８のいずれか）を、式（３３）に示すように、ＬＵＴ Ｃ^k（ｋは、０≦ｋ＜８のそれぞれ）に対応した変換関数ｆ_Ck（ｋは、０≦ｋ＜８のそれぞれ）で変換することで、対応する補正画像Ｈ^k（ｋは、０≦ｋ＜８のいずれか）を求めた。

式（３３）において、画像Ｇ^kと対応する補正画像Ｈ^kのインデックスｋは共通である（ｋは、０≦ｋ＜８のいずれか、例えばｋ＝７）。一方、変換関数ｆ中のインデックスｋは、０≦ｋ＜８のそれぞれである。これは、従来からの通例にしたがった表記である。

次に、インデックスｋが「７」である画像を対象にして、ＰＳＮＲを測定した。ここでは、インデックスｋが「７」である画像について、ＬＵＴ Ｃ^k（ｋは、０≦ｋ＜８のそれぞれ）に対応した変換関数ｆ_Ck（ｋは、０≦ｋ＜８のそれぞれ）でそれぞれ変換した補正画像を、式（３４）に示すように、Ｈ_k ⁷のように表記することとする。ここで、上付の「７」は、画像のインデックスを示し、下付の「ｋ」は変換関数ｆ中のインデックスｋ（０≦ｋ＜８のいずれか）を示す。例えば、Ｈ₇ ⁷は、インデックスｋが「７」である画像について、ＬＵＴ Ｃ⁷に対応した変換関数ｆ_C7で変換した補正画像を示す。ちなみに、参照カメラのインデックスｋを「３」としたので、ここで想定するｋ＝７のカメラ（画像）は、対象カメラ（対象画像）である。

式（３４）中のｆ_Ck（ｇ_Γk（・））は、理想的には１つに識別される変換関数となるべきである。すなわち、ｆ_Ck（ｇ_Γk（・））は、ｋに関わらずにすべての補正画像Ｈ_k ⁷に対して、同じであるべきである。しかしながら、従来知られている他の手法では、ｆ_Ck（ｇ_Γk（・））は、すべての補正画像に対して同じであるものとして取り扱うものでは決してない。仮に、隣り合った２つのカメラにおいてｆ_Ck（ｇ_Γk（・））が同じであるならば、マルチカメラの視点変更時（カメラの切り替え時）に視聴者が不自然さを感じなくすることが可能となる。このとき、補正画像Ｈ₇ ⁷と補正画像Ｈ_k ⁷との間のＰＳＮＲ_rgbの数値は、ｋによらずに同様なものとなるはずである。

［実験結果］
補正画像Ｈ₇ ⁷および補正画像Ｈ_k ⁷のＰＳＮＲ_rgbの測定結果を図１５に示す。
本手法（実施例）の比較例として、参照画像の色合いに類似させるように参照画像に対してその他の対象画像を独立に補正する手法（非特許文献１の手法）を用いた。これに対して、本手法（実施例）は、参照画像の色合いに対象画像を類似させつつ対象画像どうしの色合いをも類似させる手法である。

図１５に示すように、比較例のＰＳＮＲ_rgbは、１行目と７行目、つまり、（Ｈ₇ ⁷，Ｈ₀ ⁷）、（Ｈ₇ ⁷，Ｈ₆ ⁷）の２通りの場合に、ＰＳＮＲ_rgbの数値が、他の５通りの場合に比べて著しく小さくなった。このことは、補正画像間の関係は、ときどき劣化する場合があることを意味する。このような外れ値が生じた理由としては、比較例は、実施例と異なって、参照カメラ（参照画像）と当該対象カメラ（対象画像）との間の一対一の対応だけを考慮して各カメラに対するルックアップテーブルを独立に算出したためであると考えられる。結論として、対象カメラ間（Ｈ₇ ⁷，Ｈ_k ⁷）でＰＳＮＲ_rgbを計算したときには、ＰＳＮＲ_rgbがときどき小さくなる場合がある。

しかしながら、実施例で得られたＰＳＮＲ_rgbのそれぞれの数値（７通り）は、ばらつきが小さく、外れ値らしきものもなく、さほど変わらない値になっている。このことは、実施例における補正画像間の関係は、比較例における補正画像間の関係よりも良好であることを意味する。そして、このことを示すことが、本実施例を用いた予備実験の目的でもあったのである。なお、実施例のＰＳＮＲ_rgbの平均値（３１．９）は、比較例の平均値（３３．５）より小さい。このことは本当の最小でなく、極小（いわゆるローカルミニマム）を最小と扱った可能性が高いことを示唆している。したがって、最小化する処理をさらに行うことが望ましい。

［本実験］
マルチカメラパラメータ補正装置１（図１参照）を用いて、実写のマルチカメラ映像についての色補正を行った。具体的には、５個のカメラＶ^k（０≦ｋ＜５）によって、マルチカメラを構成した。このときのカメラ集合を式（３５）で示す。そして、式（３６）に示すように、インデックスｋが「０」であるカメラを参照カメラＲであるものとした。また、式（３７）に示すように、ＶＮＳ（ＶＮの集合）の各要素（ＶＮ）を定義した。つまり、カメラ間の組み合わせ、すなわちカメラペア（撮影画像ペア）を１０組として予め指定した。この組み合わせは、５台のカメラについての実質的な全組み合わせになっている（１０＝₅Ｃ₂）。

このときに利用した撮影画像を図１６に示し、実験結果を図１７に示す。
図１６（ａ）〜図１６（ｅ）は、各カメラＶ⁰〜Ｖ⁴で撮影された撮影画像を模式的に示す図である。ここでは、５枚の撮影画像の色合いが向上することを強調し、かつ簡単に説明するために、以下のように、簡略化した。すなわち、各撮影画像に表示されている人物の上着の右半身側のハッチング領域が一様にある色（ＲＧＢチャンネルを合成した色）になっているものとする。そのとき、ハッチングの本数が多いほど色の強度が大きいことを示すものとする。また、色の強度は、実際の結果を正確に反映するものではない。さらに、５枚の撮影画像に写る人物の画面上の大きさ、向きおよび配置は、カメラの配置を正確に反映するものではない。図１７（ａ）〜図１７（ｅ）は、図１６（ａ）〜図１６（ｅ）にそれぞれ対応するものであり、その表示方法は図１６と同様である。

撮影画像については、図１６（ａ）〜図１６（ｅ）に示すように、カメラＶ⁰（参照カメラ）で撮影された参照画像（以下、単に画像Ｖ⁰のように表記する）の色の強度を基準にすると、画像Ｖ¹の強度は非常に大きく、画像Ｖ²の強度は非常に小さい。また、画像Ｖ³，Ｖ⁴の強度はある程度大きい。したがって、マルチカメラ全体では色合いが大きく異なる。

一方、補正画像については、図１７（ａ）に示すように、画像Ｖ⁰については変化はない。図１７（ｂ）に示すように画像Ｖ¹の強度は補正前に比べて小さくなって画像Ｖ⁰の強度に近づいている。図１７（ｃ）に示すように画像Ｖ²の強度は補正前に比べて大きくなって画像Ｖ⁰の強度に近づいている。図１７（ｄ）に示すように画像Ｖ³の強度は補正前に比べて非常に小さくなっているが、画像Ｖ⁰の強度との差分はあまり変化していない。図１７（ｅ）に示すように画像Ｖ⁴の強度は補正前に比べて小さくなって画像Ｖ⁰の強度に近づいている。したがって、マルチカメラ全体として撮影画像が均一となるように補正され、色合いが均一化されている。なお、図１７では正確な色合いの変化を表現することはできないが、正確な色合いおよび詳細な実験結果については、「K. Yamamoto and R. Oi，“Color Correction for Multi-view Video by Minimizing Energy of View Networks”，ACCV’07 Workshop on Multi-dimensional and Multi-view Image Processing，2007年11月19日」に記載されている。

本発明の第１実施形態に係る設定パラメータ最適化装置を含むマルチカメラパラメータ補正装置を模式的に示すブロック図である。 図１に示したマルチカメラパラメータ補正装置の動作を示すフローチャートである。 エラー処理を説明するための説明図である。 本発明の第２実施形態に係る設定パラメータ最適化装置を含むマルチカメラパラメータ補正装置を模式的に示すブロック図である。 カメラペアを模式的に示す図である。 色補正の流れを示すフローチャートである。 画素対応付けの一例を模式的に示す図である。 撮影画像間のＲＧＢチャンネルのパラメータの対応リストを模式的に示す図である。 ガウスフィルタ処理を施した画像を模式的に示す図である。 撮影画像のＲＧＢチャンネルのルックアップテーブルを模式的に示す図である。 ルックアップテーブルの決定方法を説明するための図である。 対応色で作られるエネルギの一例を模式的に示すグラフである。 予備実験で用いた撮影画像を模式的に示す図である。 画像の色強度と変換関数との関係を示すグラフ形状の例を示す図である。 予備実験の実験結果を示す表である。 実験で用いた撮影画像を模式的に示す図である。 実験結果の補正画像を模式的に示す図である。

符号の説明

１（１Ａ） マルチカメラパラメータ補正装置
２（２Ａ） 設定パラメータ最適化装置
１０ 画素対応付け手段
２０ 対応リスト作成手段
３０ テーブル計算手段
３１ パワー値算出手段
３２ 総パワー値算出手段
３３ 最小化手段
４０ 補正実行手段
５０ 記憶手段
５１ 対応リスト記憶部
５２ ルックアップテーブル記憶部
Ｖ カメラ
Ｍ 入力装置
Ｄ 出力装置

Claims (7)

1. 被写体を共有する３以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御する設定パラメータ最適化装置であって、
   前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付ける画素対応付け手段と、
   前記撮影画像間で対応付けられた各画素にそれぞれ設定されているパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する対応リスト作成手段と、
   前記対応リストが作成された各撮影画像に対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出するパワー値算出手段と、
   前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する総パワー値算出手段と、
   前記総パワー値を最小化または最大化するように、前記撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各撮影画像の画像情報の設定パラメータとすることで前記撮影画像間の差分を最小化させる最小化手段とを備えることを特徴とする設定パラメータ最適化装置。
2. 被写体を共有する３以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアの撮影画像の画像情報に基づいて、前記選択された撮影画像ペアを撮影したカメラぺアのうちの少なくとも一方のカメラの設定パラメータを制御する設定パラメータ最適化装置であって、
   前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付ける画素対応付け手段と、
   前記撮影画像ペアに対応して各カメラに設定されている各カメラのパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する対応リスト作成手段と、
   前記対応リストが作成された各撮影画像を撮影した各カメラに対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出するパワー値算出手段と、
   前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する総パワー値算出手段と、
   前記総パワー値を最小化または最大化するように、前記撮影画像ペアを撮影したカメラぺアのうちの少なくとも一方のカメラのパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各カメラの設定パラメータとすることで前記撮影画像間の差分を最小化させる最小化手段とを備えることを特徴とする設定パラメータ最適化装置。
3. 前記画素対応付け手段は、前記カメラの設定パラメータの更新により前記撮影画像間で、前記共有する被写体についての画素の対応付けが変化した場合に、当該撮影画像間の画素の対応付けを更新することを特徴とする請求項２に記載の設定パラメータ最適化装置。
4. 前記総パワー値算出手段は、
   前記撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、前記パワー値の前記パラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出し、
   その算出結果が、予め定められた閾値を超えた場合、または、前記撮影画像ペアの他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける前記画像ペアパワー値の算出結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合、当該算出結果において撮影画像ペアの他方において組み合わされた撮影画像を除外し、
   前記総パワー値を算出することを特徴とする請求項１ないし請求項３のいずれか一項に記載の設定パラメータ最適化装置。
5. 前記総パワー値算出手段は、
   前記撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、前記パワー値の前記パラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出した算出値を積算し、
   その積算結果が、予め定められた閾値を超えた場合、または、前記撮影画像ペアの一方の固定された撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける前記画像ペアパワー値の積算結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合、当該積算結果において撮影画像ペアの一方において固定された撮影画像を除外し、
   前記総パワー値を算出することを特徴とする請求項１ないし請求項３のいずれか一項に記載の設定パラメータ最適化装置。
6. 前記撮影画像の画像情報の設定パラメータとして、色の強度を示すパラメータを扱うことを特徴とする請求項１に記載の設定パラメータ最適化装置。
7. 被写体を共有する３以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御するために、コンピュータを、
   前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付ける画素対応付け手段、
   前記撮影画像間で対応付けられた各画素それぞれ設定されているパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する対応リスト作成手段、
   前記対応リストが作成された各撮影画像に対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出するパワー値算出手段、
   前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する総パワー値算出手段、
   前記総パワー値を最小化または最大化するように、前記撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各撮影画像の画像情報の設定パラメータとすることで前記撮影画像間の差分を最小化させる最小化手段、
   として機能させることを特徴とする設定パラメータ最適化プログラム。

Images