JP2004088247A - Image processing apparatus, camera calibration processing apparatus and method, and computer program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing apparatus smoothly reproduces a video image in viewpoint switching processing at reproduction of a multi-viewpoint image, and also to provide a calibration apparatus and method. <P>SOLUTION: The image processing apparatus calculates a correction parameter to match reference image data with norm image data on the basis of the reference image data and the norm image data obtained by photographing a norm chart including a plurality of different luminance information items with a reference camera and a norm camera to perform correction of a photographed image on the basis of the parameter. Further, the image processing apparatus calculates calibration information of the cameras on the basis of difference data between the norm image data and the reference image data. Through the configuration above, the image characteristics (luminance, color, white balance) of the norm camera and the reference camera are unified so that the image processing apparatus can smoothly reproduce the multi-viewpoint image. <P>COPYRIGHT: (C)2004,JPO

Description

によって示される値、
ただし、上記式において、Ｃ_ｒ、Ｒ_ｂ、Ｇ_ｂ、Ｂ_ｂは、
【数８】

を、Ｒ_ｂ＝Ｃ_ｒＰ_Ｒとして設定し、Ｇ，Ｂについても同様の関係、すなわち、Ｇ_ｂ＝Ｃ_ｒＰ_Ｇ、Ｂ_ｂ＝Ｃ_ｒＰ_Ｂの対応関係を持つ行列式、
であることを特徴とする。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記基準チャートは、複数の異なる有彩色、および複数の異なる無彩色によって構成され、前記補正パラメータは、前記複数の有彩色および無彩色の各々について、参照画像データを基準画像データに一致させるためのパラメータとして設定されたものであることを特徴とする。
【００１８】
さらに、本発明の第２の側面は、
多視点画像を撮影する複数のカメラの調整処理としてのキャリブレーション処理を実行するカメラキャリブレーション処理装置であり、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて、前記参照画像データと基準画像データに含まれる前記複数の異なる輝度情報各々に対応する差分データの絶対値平均値と、前記差分データが最大となるときの符号を、前記参照カメラに対するキャリブレーション情報として算出する演算部、
を有することを特徴とするカメラキャリブレーション処理装置にある。
【００１９】
さらに、本発明のカメラキャリブレーション処理装置の一実施態様において、前記差分データの絶対値平均値は、前記基準チャートを基準カメラによって撮影した基準画像データに含まれるＮ個の輝度データを［Ｒ_ｂｉ，Ｇ_ｂｉ，Ｂ_ｂｉ］（ｉ＝１〜Ｎ）、前記参照画像データに含まれるＮ個の輝度データを［Ｒ_ｒｉ，Ｇ_ｒｉ，Ｂ_ｒｉ］（ｉ＝１〜Ｎ）としたとき、
【数９】

によって示される値であることを特徴とする。
【００２０】
さらに、本発明のカメラキャリブレーション処理装置の一実施態様において、前記カメラキャリブレーション処理装置は、さらに、前記演算部において算出された前記参照カメラに対するキャリブレーション情報を表示する表示部を有することを特徴とする。
【００２１】
さらに、本発明のカメラキャリブレーション処理装置の一実施態様において、前記カメラキャリブレーション処理装置は、さらに、前記基準チャートを基準カメラによって撮影した基準画像データを格納したメモリを有し、前記演算部は、参照カメラから入力する前記参照画像データと、前記メモリから入力する基準画像データとに基づいて、前記キャリブレーション情報を算出する処理を実行する構成であることを特徴とする。
【００２２】
さらに、本発明のカメラキャリブレーション処理装置の一実施態様において、前記カメラキャリブレーション処理装置は、さらに、前記演算部において算出された前記キャリブレーション情報に基づく参照カメラに対する制御量を設定し、設定した制御量に基づく制御命令を前記参照カメラに対して出力するコントロール部を有することを特徴とする。
【００２３】
さらに、本発明のカメラキャリブレーション処理装置の一実施態様において、前記カメラキャリブレーション処理装置は、さらに、前記差分データの絶対値平均値と比較する閾値を格納したメモリを有し、前記コントロール部は、前記差分データの絶対値平均値と前記閾値との比較結果に基づいてカメラ調整の要否を判定する構成であることを特徴とする。
【００２４】
さらに、本発明の第３の側面は、
複数のカメラにより撮影される多視点画像の画像補正処理を実行する画像処理方法であり、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて算出される前記参照画像データを基準画像データに一致させるための補正パラメータに基づいて、前記参照カメラによって撮影された画像データの補正処理を実行するステップ、
を有することを特徴とする画像処理方法にある。
【００２５】
さらに、本発明の画像処理方法の一実施態様において、前記補正パラメータは、前記基準チャートを基準カメラによって撮影した基準画像データに含まれる基準画像データをＣ’＝［Ｒ_ｂ，Ｇ_ｂ，Ｂ_ｂ］、前記参照画像データに含まれる参照画像データをＣ＝［Ｒ_ｒ，Ｇ_ｒ，Ｂ_ｒ］としたとき、Ｃ’＝ＭＣ＋Ｖとして求められるＭおよびＶの値によって構成される補正パラメータであることを特徴とする。
【００２６】
さらに、本発明の画像処理方法の一実施態様において、前記補正パラメータは、前記基準チャートを基準カメラによって撮影した基準画像データに含まれるＮ個の輝度データを［Ｒ_ｂｉ，Ｇ_ｂｉ，Ｂ_ｂｉ］（ｉ＝１〜Ｎ）、前記参照画像データに含まれるＮ個の輝度データを［Ｒ_ｒｉ，Ｇ_ｒｉ，Ｂ_ｒｉ］（ｉ＝１〜Ｎ）としたとき、
Ｒ、Ｇ、Ｂに関する補正パラメータをそれぞれＰ_Ｒ、Ｐ_Ｇ、Ｐ_Ｂ、として、
【数１０】

によって示される値、
ただし、上記式において、Ｃ_ｒ、Ｒ_ｂ、Ｇ_ｂ、Ｂ_ｂは、
【数１１】

を、Ｒ_ｂ＝Ｃ_ｒＰ_Ｒとして設定し、Ｇ，Ｂについても同様の関係、すなわち、Ｇ_ｂ＝Ｃ_ｒＰ_Ｇ、Ｂ_ｂ＝Ｃ_ｒＰ_Ｂの対応関係を持つ行列式、
であることを特徴とする。
【００２７】
さらに、本発明の第４の側面は、
多視点画像を撮影する複数のカメラの調整処理としてのキャリブレーション処理を実行するカメラキャリブレーション処理方法であり、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて、前記参照画像データと基準画像データに含まれる前記複数の異なる輝度情報各々に対応する差分データの絶対値平均値と、前記差分データが最大となるときの符号を、前記参照カメラに対するキャリブレーション情報として算出する演算ステップ、
を有することを特徴とするカメラキャリブレーション処理方法にある。
【００２８】
さらに、本発明のカメラキャリブレーション処理方法の一実施態様において、前記差分データの絶対値平均値は、前記基準チャートを基準カメラによって撮影した基準画像データに含まれるＮ個の輝度データを［Ｒ_ｂｉ，Ｇ_ｂｉ，Ｂ_ｂｉ］（ｉ＝１〜Ｎ）、前記参照画像データに含まれるＮ個の輝度データを［Ｒ_ｒｉ，Ｇ_ｒｉ，Ｂ_ｒｉ］（ｉ＝１〜Ｎ）としたとき、
【数１２】

によって示される値であることを特徴とする。
【００２９】
さらに、本発明のカメラキャリブレーション処理方法の一実施態様において、前記カメラキャリブレーション処理方法は、さらに、前記演算ステップにおいて算出された前記参照カメラに対するキャリブレーション情報を表示する表示ステップを有することを特徴とする。
【００３０】
さらに、本発明のカメラキャリブレーション処理方法の一実施態様において、前記カメラキャリブレーション処理方法は、さらに、前記演算ステップにおいて算出された前記キャリブレーション情報に基づく参照カメラに対する制御量を設定し、設定した制御量に基づく制御命令を前記参照カメラに対して出力するコントロールステップを有することを特徴とする。
【００３１】
さらに、本発明のカメラキャリブレーション処理方法の一実施態様において、前記コントロールステップは、前記差分データの絶対値平均値と閾値との比較処理を実行し、該比較結果に基づいてカメラ調整の要否を判定するステップを含むことを特徴とする。
【００３２】
さらに、本発明の第５の側面は、
複数のカメラにより撮影される多視点画像の画像補正処理を実行するコンピュータ・プログラムであって、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて算出される前記参照画像データを基準画像データに一致させるための補正パラメータに基づいて、前記参照カメラによって撮影された画像データの補正処理を実行するステップ、
を有することを特徴とするコンピュータ・プログラムにある。
【００３３】
さらに、本発明の第６の側面は、
多視点画像を撮影する複数のカメラの調整処理としてのキャリブレーション処理を実行するコンピュータ・プログラムであって、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて、前記参照画像データと基準画像データに含まれる前記複数の異なる輝度情報各々に対応する差分データの絶対値平均値と、前記差分データが最大となるときの符号を、前記参照カメラに対するキャリブレーション情報として算出する演算ステップ、
を有することを特徴とするコンピュータ・プログラムにある。
【００３４】
【作用】
本発明の構成によれば、多視点映像をそれぞれ特性の異なるカメラで撮影した場合であっても、撮影後の画像の補正により、特性（輝度、色味、ホワイトバランス）の統一された画像が生成され、再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【００３５】
また、本発明の構成によれば、複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、基準チャートを参照カメラによって撮影した参照画像データとに基づいて、参照画像データを基準画像データに一致させるための補正パラメータを算出し、算出した補正パラメータに基づいて、参照カメラによって撮影された画像データの補正処理を実行する構成であるので、基準カメラと、参照カメラの撮影画像の特性（輝度、色味、ホワイトバランス）がパラメータに基づいて統一され、多視点画像再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【００３６】
さらに、本発明の構成によれば、多視点映像をそれぞれ複数の異なるカメラで撮影する構成において、複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、基準チャートを参照カメラによって撮影した参照画像データに含まれる複数の異なる輝度情報各々に対応する差分データの絶対値平均値と、差分データが最大となるときの符号を、参照カメラに対するキャリブレーション情報として算出して、算出情報に基づいて、参照カメラの調整処理としてのキャリブレーションを実行する構成としたので、調整されたカメラによって撮影された画像は、特性（輝度、色味、ホワイトバランス）の統一された画像となり、多視点画像再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【００３７】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００３９】
【発明の実施の形態】
以下、本発明の画像処理装置、カメラキャリブレーション処理装置、および方法について、図面を参照しながら詳細に説明する。
【００４０】
図１は、本発明の構成が適用可能な多視点映像撮影装置の構成例を示したブロック図である。多視点映像撮影装置は、撮影対象１０１をそれぞれ異なる視点から撮影するＮ台（Ｎ≧２）の複数のカメラ１１１（１）〜１１１（ｎ）を有する。
【００４１】
複数のカメラ１１１（１）〜１１１（ｎ）には、同期信号発生部１２０から発生した同期信号が入力されて各カメラの同期が取られる。各カメラからの出力信号は、例えばメディアコンバーターなどのＡ／Ｄ変換部１２１（１）〜（ｎ）に入力されＡ／Ｄ変換処理がなされ、磁気ディスク、光ディスク、フラッシュメモリのようなメモリ１２２（１）〜（ｎ）に記録する。
【００４２】
各メモリ１２２（１）〜（ｎ）に記録された異なる視点からの画像データは、多視点映像生成・表示処理部１２３において、視点を切り替えた画像再生が実行される。
【００４３】
上記のようなシステムにおいて、複数のカメラの特性、例えばホワイトバランス、輝度、色味が異なると、それぞれのカメラで撮影した画像に視覚的な差が発生することになり、画像再生において視点機の替えを行なったときに不自然な画像となってしまう。従って、複数カメラの画像を同一の特性、すなわちホワイトバランス、輝度、色味の特性を持つ画像に調整することが必要となる。
【００４４】
このような調整処理の態様としては、２つの態様がある。第１の方法は、複数カメラによって撮影された画像、撮影後の画像の補正、いわゆる撮影画像補正処理を実行して各画像間の特性を均一にする方法である。第２の方法は、被写体の撮影以前にカメラ自体の調整を実行して各カメラの撮影画像を均一なものとする方法、すなわちカメラ自体の調整、例えばホワイトバランス、絞り等の調整を行なうカメラキャリブレーションである。
【００４５】
このように、被写体を撮影した撮影済み画像についての画像補正処理を実行する方法、および被写体を撮影する以前にカメラ間の調整を行なうカメラキャリブレーション方法の２つの処理方法について、以下、（１）撮影画像補正処理、（２）カメラキャリブレーション処理として順次説明する。
【００４６】
［（１）撮影画像補正処理］
まず、被写体を撮影した撮影済み画像についての画像補正処理を実行する方法について説明する。図２を参照して、本発明に従った画像補正処理、すなわち、多視点映像撮影システムを構成する複数カメラの映像間の特性（輝度、色味、ホワイトバランス）を統一されたものに補正するための処理について説明する。
【００４７】
図２においては、理解を容易とするために多視点映像撮影システムを構成する複数カメラの中の２台のカメラによって撮影された画像間の調整処理について説明する。３台以上のカメラ間の調整を行なう場合には、同様の処理を繰り返し実行することになる。
【００４８】
２台のカメラ中、一方のカメラを基準カメラ２１２とし、撮影された映像を基準映像２１３とする。他方のカメラを参照カメラ２２２とし、撮影された映像を参照映像２２３とする。参照映像２２３の輝度特性を基準映像２１３の特性（輝度、色味、ホワイトバランス）と同じになるような補正を行なうものとする。
【００４９】
まず、図２（ａ）パラメータ取得処理に示すように、基準カメラ２１２と参照カメラ２２２の双方において、複数色からなる基準チャート２１１を撮影する。基準チャートは、例えば図３に示すような、６種類（黄色、シアン、緑、マゼンタ、赤、青）の有彩色と４種類の無彩色、計１０種類のデータ、すなわち複数の異なる有彩色、および複数の異なる無彩色によって構成される補正用カラーフィルタ３０１であり、この補正用カラーフィルタ３０１を小型で透過光型のライトボックス３０２に装着し、基準チャート照射体３０３を構成する。
【００５０】
図４に示すように、この補正用カラーフィルター３０１をライトボックス３０２に取り付けた基準チャート照射体３０３を、カメラ３１１のレンズカバーの前面に密着するように設定して撮影画像を取得する。
【００５１】
なお、基準カメラ２１２と参照カメラ２２２において撮影条件を一致させるために、基準カメラ２１２と参照カメラ２２２において撮影する基準チャートは同一のものとすることが好ましく、一方のカメラで基準チャートを撮影した後、同一の基準チャートを参照カメラで撮影してそれぞれの画像データを取得する。同一の特性を持つ基準チャートが生成可能であれば、複数の基準チャートを用いることも可能である。
【００５２】
なお、カメラの電源を入れてから一定時間経過すると輝度の変化は少なくなり、カメラは安定した状態になる。しかし、照明から発生する熱や空調などの影響で環境が変化すると、輝度も変化する。例えば、アナログカメラの場合、筐体の温度が高くなると輝度は下がってしまう。したがって、基準チャートを用いた撮影データは、被写体撮影時と同じ環境下で短時間に取得することが好ましい。
【００５３】
図２に戻り説明を続ける。このように、数色からなる基準チャート２１１をそれぞれのカメラ、すなわち基準カメラ２１２、参照カメラ２２２でで撮影し、２つの映像、すなわち基準映像２１３と参照映像２２３を得る。
【００５４】
これらの２つの映像に基づいて基準チャート２１１に含まれる各色の値を示す２つのデータ、すなわち、基準映像データ２１４と、参照映像データ２２４を求め、これらの２つのデータに対して、後述する変換式を用いた変換処理２５１を実行して、参照カメラ２２２で撮影した画像データを基準カメラ２１２で撮影した画像データの特性に一致させるためのパラメータ（基準−参照）２５２を取得する。
【００５５】
図２（ｂ）撮影処理に示すように、被写体の撮影画像が基準カメラ２１２、参照カメラ２２２でそれぞれ実行され、基準映像２１３、参照映像が取得されると、基準映像は、そのままメモリに格納され、また再生に利用される基準映像２３２とされるが、参照映像２２３は、前述の基準チャートの撮影によって算出したパラメータ（基準−参照）２５２を用いて補正（変換）処理部２６１において参照画像の補正（変換）処理が実行された後、補正後の参照映像２４２としてメモリに格納され、また再生に利用される映像とされる。このような補正処理を実行することにより参照映像の特性（輝度、色味、ホワイトバランス）を基準映像と等しく設定することが可能となる。
【００５６】
Ｎ台のカメラを用いる場合は、基準映像１に対して参照映像２，３，．．．Ｎ−１の画像が取得され、輝度特性補正パラメータもパラメータ（基準１−参照２）、パラメータ（基準１−参照３）、・・パラメータ（基準１−参照Ｎ−１）、すなわちＮ−１個のパラメータをそれぞれ求め、それぞれのパラメータに基づいて参照映像の補正（変換）処理を実行して参照映像の特性を基準映像の特性に一致させる処理を実行する。
【００５７】
図５を参照して、多視点映像撮影装置を用いた、カメラの設定から補正にいたるまでの撮影作業の流れについて説明する。まず、ステップＳ１０１において、基準となるカメラを１台決め、ホワイトバランスや明るさなどを決める。次にステップＳ１０２において、このカメラを基準カメラとし、基準カメラおよび参照カメラの双方において基準チャートを撮影する。ステップＳ１０３において、基準カメラおよび参照カメラの双方において撮影した基準チャート撮影データに基づいて、補正用パラメータ（基準−参照）を算出する。
【００５８】
なお、補正用パラメータはＮ台のカメラを設置した撮影を行なう場合は、Ｎ−１個のパラメータを求めることになる。
【００５９】
次に、ステップＳ１０４において、パラメータを算出済みの複数のカメラを撮影に応じた配置、例えば横１列、あるいは円弧状に配置し、多視点映像を撮影する。ステップＳ１０５において、撮影された映像に対してそれぞれのパラメータに基づいて補正画像を生成し、ステップＳ１０６において、補正画像データをメモリに格納する。
【００６０】
次にパラメータの算出処理について詳細に説明する。図４に示すように、補正カラーフィルター３０１をライトボックス３０２に取り付けた基準チャート照射体３０３を、カメラ３１１のレンズカバーの前面に密着するように設定して撮影画像を取得する。
【００６１】
この際、ライトボックスは、電源を入れてから十分に時間が経過し、照度が一定の状態になるようにしておく。また、カメラは撮影時の状態のままで、絞りもズームもフォーカスも変更しない。補正用カラーフィルタをライトボックスの照度面に固定し、環境光を遮断するために、図４に示すようにカメラのレンズカバーに密着させて撮影する。この場合、焦点が合っていないので映像はぼけるが、境界近傍以外での輝度は変化しないので、焦点が補正用カラーフィルタに合っていなくても輝度には影響しない。
【００６２】
なお、基準チャート撮影画像データ中、実際にパラメータ算出処理に適用する画像データは、図６に示すように基準チャート４１１の各色設定領域４１２の境界近傍を含まない小領域をデータ取得領域４１３として設定し、データ取得領域４１３内のＲＧＢの平均輝度値データとすることが好ましい。
【００６３】
図４に示すように、カメラ３１１のレンズカバー３１２に補正用カラーフィルタ３０１とライトボックス３０２からなる基準チャート照射体３０３を密着させる利点は、すべてのカメラに対して同じ照明環境を作れることと、撮影時とキャリブレーション時で同じカメラ状態が保てることにある。このような密着構成とすることで、周囲に照明があった場合でも反対に周囲が暗い場合でも、ライトボックスの光源のみが光源となり、カメラと照明の距離やカメラに対する照明の姿勢を同一に保てるため、一定の光量下で補正用データを取得できる。
【００６４】
ライトボックスの照度は場所によってムラがあり一定ではないが、同じ場所における時間軸方向の照度変化がなく、補正用カラーフィルタとの位置関係が固定されていれば、ライトボックスの照度面における照度ムラは問題にならない。また、撮影の妨げにならないように、照明環境が変わるたびに手軽に手早く補正（キャリブレーション）用データを取得できることは実際の運用面においては重要である。補正用の基準チャートと照明をレンズから離した状態で補正（キャリブレーション）用データを取得する場合でも、周辺の環境光を遮断でき、カメラと照明の距離や姿勢関係を一定に保ち、各カメラに対して同じ照明環境を作り、撮影時とキャリブレーション時でカメラの状態が変わらなければよい。
【００６５】
撮影時とカメラ設定は変えられないので、ライトボックスが調光型でない場合は、ＮＤフィルタ（色のバランスを崩さないで露出を調整するフィルタ）などを補正用カラーフィルタと併用して使うことで光量を調整できる。調光型で光量を調節する場合は、照度が安定するまでの時間が必要となるが、フィルタで簡単に光量を調節できれば、時間制約の厳しい撮影現場では有益である。また、色温度変換フィルタを併用すればライトボックスの照明の色温度も手軽に変えられる。
【００６６】
次に、カメラ間の輝度特性補正パラメータを求めるためのデータ処理について述べる。ここでは、２台のカメラ間の補正について説明する。任意の色：Ｃ＝［Ｒ，Ｇ，Ｂ］^Ｔに対して下式（式１）のような変換を行って補正色：Ｃ’＝［Ｒ’，Ｇ’，Ｂ’］^Ｔとするような色補正を行うモデルを想定する。なお、Ｒ，Ｇ，ＢおよびＲ’、Ｇ’、Ｂ’は例えば０〜２５５の値を持つ。
【００６７】
【数１３】
Ｃ’＝ＭＣ＋Ｖ・・　（式１）
【００６８】
上記式において、Ｃ＝［Ｒ，Ｇ，Ｂ］^Ｔ、Ｃ’＝［Ｒ’，Ｇ’，Ｂ’］^Ｔ、Ｒ，Ｇ，Ｂはそれぞれ赤、緑、青の輝度（例えばＲ＝０〜２５５，Ｇ＝０〜２５５，Ｂ＝０〜２５５）を表し、Ｍは３×３の行列、Ｖは３×１のベクトルとする。
【００６９】
画像補正を実行する２台のカメラ、すなわち基準カメラと参照カメラの双方において、複数の色を取り込み、それらの対応関係から色補正のパラメータとしての、行列ＭとベクトルＶを算出する。
【００７０】
パラメータの算出方法について説明する。２台のカメラ、すなわち基準カメラと参照カメラの双方において、先に図３他を参照して説明した基準チャートを撮影して得られたカラー映像をそれぞれ基準映像Ｉ_ｂ、参照映像Ｉ_ｒとする。参照映像の色味を基準映像の色味にあわせる場合を考える。任意の色、例えば補正用カラーフィルタの各色に対して、基準映像の各色の輝度を［Ｒ_ｂ，Ｇ_ｂ，Ｂ_ｂ］、参照映像の各色の輝度を［Ｒ_ｒ，Ｇ_ｒ，Ｂ_ｒ］とする。
【００７１】
上記式（式１）におけるＣを参照映像の輝度、すなわちＣ＝［Ｒ_ｒ，Ｇ_ｒ，Ｂ_ｒ］とし、Ｃ’を基準映像の輝度、すなわちＣ’＝［Ｒ_ｂ，Ｇ_ｂ，Ｂ_ｂ］として設定すると、両者の特性を調整するためのパラメータとしての行列ＭとベクトルＶは、下式（式２）が成立するような行列ＭとベクトルＶを求めればよいことになる。
【００７２】
【数１４】

【００７３】
上記式（式２）を変形すると、下式（式３）〜（式５）のように示すことができる。
【００７４】
【数１５】

【００７５】
前記式（式２）は、上記式（式３）〜（式５）のように表せる。さらに、複数の色、例えばＮ個の色データを与えた場合式（式３）は式（式６）のように表すことができる。
【００７６】
【数１６】

【００７７】
なお、上記式（式６）において、Ｒ_ｂｉは、基準画像でのｉ番目の色のＲの輝度を表し、Ｒ_ｒｉ，Ｇ_ｒｉ，Ｂ_ｒｉは、参照画像でのｉ番目の色のＲ、Ｇ、Ｂの輝度をそれぞれ表している。例えば図３に示す基準チャートには１０種類の色が設定されており、このチャートを使用して基準映像および参照映像を取得した場合には、ｉ＝１０となる。
【００７８】
ここで式（式６）を、
Ｒ_ｂ＝Ｃ_ｒＰ_Ｒ・・（式６’）
とおく、上記（式６’）は、（式６）の左辺項の行列をＲ_ｂとし、右辺の第１項の行列をＣ_ｒとし、パラメータの構成要素としてのｍ，ｖからなる行列をＰ_ｒに置き換えたものである。ここで、最小二乗法を適用した処理、すなわち下式（式７）において、Ｅ_Ｒが最小となるＰ_Ｒを求める。
【００７９】
【数１７】
Ｅ_Ｒ＝（Ｒ_ｂ−Ｃ_ｒＰ_Ｒ）（Ｒ_ｂ−Ｃ_ｒＰ_Ｒ）^Ｔ・・（式７）
【００８０】
Ｅ_Ｒ＝ＭＩＮ（最小値）となるＰ_Ｒを求めるために上記式（式７）の両辺を微分して０とおくと、下記式（式８）、（式９）によってＥ_Ｒ＝ＭＩＮ（最小値）となるＰ_Ｒが算出される。
【００８１】
【数１８】
（ｄＥ／ｄＣ_ｒ）＝−Ｃ_ｒ ^Ｔ（Ｒ_ｂ−Ｃ_ｒＰ_Ｒ）＝０・・（式８）
Ｐ_Ｒ＝（Ｃ_ｒ ^ＴＣ_ｒ）^−１Ｃ_ｒ ^ＴＲ_ｂ・・（式９）
【００８２】
上記式（式８）、（式９）によってＥ_Ｒ＝ＭＩＮ（最小値）となるＰ_Ｒが算出される。同様にＧおよびＢの輝度についても、Ｒ_ｂの式（式３）から（式６）、（式７）の展開と同様の展開を、（式４）および（式５）について実行すると、下式（式１０）、（式１１）が得られ、下式（式１０）、（式１１）において、それぞれＥ_Ｇ、およびＥ_Ｂが最小となるＰ_ＧおよびＰ_Ｂを求める。
【００８３】
【数１９】
Ｅ_Ｇ＝（Ｇ_ｂ−Ｃ_ｒＰ_Ｇ）（Ｇ_ｂ−Ｃ_ｒＰ_Ｇ）^Ｔ・・（式１０）
Ｅ_Ｂ＝（Ｂ_ｂ−Ｃ_ｒＰ_Ｂ）（Ｂ_ｂ−Ｃ_ｒＰ_Ｂ）^Ｔ・・（式１１）
【００８４】
Ｅ_Ｇ＝ＭＩＮ（最小値）となるＰ_Ｇ、およびＥ_Ｂ＝ＭＩＮ（最小値）となるＰ_Ｂを求めるために上記式（式１０）、（式１１）の両辺を微分して０とおくと、前述の（式８）、（式９）と同様の手順に従って、下記式（式１２）、（式１３）に示すように、それぞれＥ_Ｇ＝ＭＩＮ（最小値）となるＰ_Ｇ、およびＥ_Ｂ＝ＭＩＮ（最小値）となるＰ_Ｂが算出される。
【００８５】
【数２０】
Ｐ_Ｇ＝（Ｃ_ｒ ^ＴＣ_ｒ）^−１Ｃ_ｒ ^ＴＧ_ｂ・・（式１２）
Ｐ_Ｂ＝（Ｃ_ｒ ^ＴＣ_ｒ）^−１Ｃ_ｒ ^ＴＢ_ｂ・・（式１３）
【００８６】
ここで、
Ｒ_ｂ＝［Ｒ_ｂ１，Ｒ_ｂ２，・・Ｒ_ｂＮ］
Ｇ_ｂ＝［Ｇ_ｂ１，Ｇ_ｂ２，・・Ｇ_ｂＮ］
Ｂ_ｂ＝［Ｂ_ｂ１，Ｂ_ｂ２，・・Ｂ_ｂＮ］
であり、
Ｃ_ｒは、前記式（式６）の右側の第１項の行列式であり、基準チャートを撮影した参照映像の複数の色データから取得される値に基づく行列式であり、既知である。従って、式（式８）、（式１２）、（式１３）に基づいてＰ_Ｒ、Ｐ_Ｇ、Ｐ_Ｂが算出される。すなわち、パラメータｍ_１１〜ｍ_３３、ｖ_１〜ｖ_３を求めることができる。パラメータＰ_Ｒ、Ｐ_Ｇ、Ｐ_Ｂは、下式（式１４）、（式１５）、（式１６）のように示される。
【００８７】
【数２１】

【００８８】
このパラメータｍ_１１〜ｍ_３３、ｖ_１〜ｖ_３を、図２に示すパラメータ（基準−参照）２５２として設定し、撮影処理における参照画像の補正処理に適用する。
【００８９】
すなわち、図２に示す参照カメラ２２２によって取得した参照映像２２３に対して、その参照映像２２３の色Ｃｓに対してパラメータに基づく変換を実行する。すなわち、前述の処理によって取得されたパラメータｍ_１１〜ｍ_３３からなる３×３の行列Ｍと、パラメータｖ_１〜ｖ_３からなる３×１のベクトルＶとによる変換、
Ｃｓ’＝ＭＣ＋Ｖ
を実行して補正後の参照映像２４２を取得する。
【００９０】
上述の処理は、１つの基準映像に対して１つの参照映像の補正を実行する処理であるが、Ｎ台のカメラを使用した多視点画像の場合には、基準カメラ１に対して参照カメラ２〜Ｎそれぞれのパラメータ、すなわちＮ−１個のパラメータを求め、それぞれのパラメータに基づいて同様の補正（変換）を実行して補正後の参照映像を取得する。
【００９１】
なお、特定の１つのカメラを基準カメラとして設定することは必ずしも必須ではなく、例えばまず、始めに基準カメラ１を決めて、隣接するカメラ２を基準カメラ１に合わせるためのパラメータを算出し、次は、カメラ２を基準カメラ２として設定してさらに隣接するカメラ３を基準カメラ２に合わせるためのパラメータを算出する処理を順次繰り返して実行し、それぞれのカメラ間の補正用パラメータを算出する処理を実行してもよい。
【００９２】
上述の処理によって多視点映像をそれぞれ特性の異なるカメラで撮影した場合であっても、撮影後の画像の補正により、特性（輝度、色味、ホワイトバランス）の統一された画像が生成され、再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【００９３】
［（２）カメラキャリブレーション処理］
上述した処理は、撮影後の画像をパラメータを用いて補正し、統一された特性を持つ画像に変換する処理例であった。次に、被写体を撮影する以前にカメラ間の調整を行なうカメラキャリブレーション処理法について説明する。
【００９４】
従来のカメラの調整方法で、多視点画像を撮影するＮ台のカメラの明るさと色味を調整しようとすると、まず調整用の照明環境を構築する。例えば、グレースケールのような基準プレートに照度が一様になるように照明をあて、照明とカメラの位置関係を固定し、ベクトルスコープを用いてホワイトバランスや明るさや色味の調整を行う。これをＮ−１台分繰り返すことになる。
【００９５】
これに対し、本発明を適用したキャリブレーション処理は、先に図３他を参照して説明したライトボックスと補正用色フィルタを用いた基準チャートの撮影データに基づいてカメラの調整、すなわちカメラキャリブレーション処理を実行し、各カメラで撮影された画像が統一された特性（輝度、色味、ホワイトバランス）を持つものとなるように設定する。
【００９６】
図７を参照して、カメラ調整として実行されるカメラキャリブレーション処理を含む多視点映像撮影処理シーケンスについて説明する。まず、ステップＳ２０１において、基準となるカメラを１台決め、ホワイトバランスや明るさなどを決める。このカメラに対しては従来通りの方法でカメラのホワイトバランスや明るさや色味、焦点、ズームなど撮影環境に応じて設定する。
【００９７】
次にステップＳ２０２において、このカメラを基準カメラとし、基準カメラと参照カメラ双方において基準チャートを撮影する。すなわち、図３、図４を参照して説明した補正用色フィルタ付きライトボックスをレンズフィルタに密着させ映像を取り込む。
【００９８】
ステップＳ２０３において、基準カメラと参照カメラ双方の基準チャート撮影データに基づいて、両撮影データの差分データを求める。すなわち、基準チャートのＮ種類の複数色（図３の基準チャートではＮ＝１０）について、基準カメラと参照カメラ双方の基準チャート撮影データ中の各色のＲＧＢの輝度を求めて、メモリにキャリブレーションデータとして保存する。
【００９９】
なお、この差分データはＮ台のカメラを設置した撮影を行なう場合は、Ｎ−１個の差分データを求めることになる。
【０１００】
次に、ステップＳ２０４において、差分データに基づいて、カメラ（参照カメラ）の調整、すなわちカメラキャリブレーションを実行する。次にステップＳ２０５において、調整後の複数のカメラを撮影に応じた配置、例えば横１列、あるいは円弧状に配置し、多視点映像を撮影する。ステップＳ２０６において、補正画像データをメモリに格納する。
【０１０１】
この処理により、各カメラで撮り込まれた画像は、その特性（輝度、色味、ホワイトバランス）が統一されたものとなる。
【０１０２】
具体的なキャリブレーション処理例について、図８のフローを参照して説明する。このフローは、参照カメラの調整処理として、Ｒゲイン、Ｂゲインおよび絞りの調整を行なうものであり、参照カメラは、初期値として、Ｒゲイン、Ｂゲインおよび絞りが初期値としてのカメラ設定値に設定されているものとする。
【０１０３】
まずステップＳ３０１において、基準カメラの基準チャート撮影画像データについてのｎ色のＲＧＢ値（Ｒ_ｂｉ，Ｇ_ｂｉ，Ｂ_ｂｉ）（０≦ｉ≦ｎ）を取得する。これは、図３他を参照して説明した複数色からなる基準チャートの基準カメラによる撮影画像について、各色、例えば図３に示す基準チャートであれば１０色、各色のＲＧＢ値、例えばＲ＝０〜２５５、Ｇ＝０〜２５５、Ｂ＝０〜２５５の値を取得する処理である。
【０１０４】
次に、ステップＳ３０２において、調整対象となる参照カメラの基準チャート撮影画像データについてのｎ色のＲＧＢ値（Ｒ_ｒｉ，Ｇ_ｒｉ，Ｂ_ｒｉ）（０≦ｉ≦ｎ）を取得する。例えば図３に示す基準チャートであれば１０色、各色のＲＧＢ値、例えばＲ＝０〜２５５、Ｇ＝０〜２５５、Ｂ＝０〜２５５の値を取得する処理である。
【０１０５】
ステップＳ３０３において、基準カメラ用のキャリブレーションデータ（Ｒ_ｂｉ，Ｇ_ｂｉ，Ｂ_ｂｉ）と、参照カメラ用のキャリブレーションデータ（Ｒ_ｒｉ，Ｇ_ｒｉ，Ｂ_ｒｉ）とを比較し、各色におけるＲＧＢの差分データ：Ｒ_ｒｉ−Ｒ_ｂｉ，Ｇ_ｒｉ−Ｇ_ｂｉ，Ｂ_ｒｉ−Ｂ_ｂｉを求める。この結果は、例えばモニタに表示する。ここで、ｉは、ｎ色からなる補正用色フィルタの何番目の色かを表し、０からｎ−１までの値をとる。
【０１０６】
次に、差分データ：Ｒ_ｒｉ−Ｒ_ｂｉ，Ｇ_ｒｉ−Ｇ_ｂｉ，Ｂ_ｒｉ−Ｂ_ｂｉのそれぞれ絶対値の平均、すなわち、差分データの絶対値平均値として下式、（式１７）、（式１８）、（式１９）を求める。
【０１０７】
【数２２】

【０１０８】
さらに、差分データの絶対値｜Ｒ_ｒｉ−Ｒ_ｂｉ｜が最大値となる色についてのＲ_ｒｉ−Ｒ_ｂｉの符号、すなわち＋、−または０をｒＦｌａｇとし、｜Ｇ_ｒｉ−Ｇ_ｂｉ｜が最大値となる色についてのＧ_ｒｉ−Ｇ_ｂｉの符号、すなわち＋、−または０をｇＦｌａｇとし、｜Ｂ_ｒｉ−Ｂ_ｂｉ｜が最大値となる色についてのＢ_ｒｉ−Ｂ_ｂｉの符号、すなわち＋、−または０をｂＦｌａｇとする。これらの結果は、それぞれモニタに表示する。
【０１０９】
次に、ステップＳ３０４において、ステップＳ３０３で算出したＧ_ｒｉ−Ｇ_ｂｉの絶対値の平均：ｇと予め定めた閾値（ｔｈｒｅｓｈ）を比較する。ｇ≧閾値であれば、ステップＳ３０５に進み、参照カメラの絞り調整を実行する。例えば閾値＝１として設定した場合には、ｇ≧１の場合には、参照カメラの絞り調整を実行する。
【０１１０】
ステップＳ３０５においては、ｇＦｌａｇの符号に従って、絞り調整を実行する。ｇＦｌａｇ＞０の場合は、絞りを絞る方向の調整を実行し、ｇＦｌａｇ＜０の場合は、絞りを開ける方向の調整を実行する。これらの処理により、ｇがある閾値内、例えば±１以内になるように調整する。ｇ＜閾値（ｔｈｒｅｓｈ）となったところで、ステップＳ３０６に進む。
【０１１１】
なお、ステップＳ３０５における調整処理は、ユーザがモニタのデータを参照しながら実行してもよいが、調整処理装置からカメラの調整部に対して、ｇＦｌａｇの値に応じた調整量を指定した調整処理コマンドを送信し、カメラ側がコマンドに応じて絞りを自動調整する構成としてもよい。
【０１１２】
ステップＳ３０６では、ステップＳ３０３で算出したＲ_ｒｉ−Ｒ_ｂｉの絶対値の平均：ｒとＢ_ｒｉ−Ｂ_ｂｉの絶対値の平均：ｂが、予め定めた閾値（ｔｈｒｅｓｈ）以下であるかを判定する。ｒ≧閾値またはｂ≧閾値であれば、ステップＳ３０７に進み、参照カメラのＲゲインまたはＢゲインの少なくともいずれかの調整を実行する。例えば閾値＝１として設定した場合には、ｒ≧１またはｂ≧１いずれかの場合には、参照カメラの絞り調整を実行する。
【０１１３】
ステップＳ３０７においては、ｒＦｌａｇおよびｂＦｌａｇの符号に従って色味調整を実行する。具体的にはＲゲインまたはＢゲインの調整を実行する。ｒ≧閾値であり、ｒＦｌａｇ＞０の場合は、Ｒゲインを小さくするように−方向の調整を実行する。ｒ≧閾値であり、ｒＦｌａｇ＜０の場合は、Ｒゲインを大きくするように＋方向の調整を実行する。
【０１１４】
また、ｂ≧閾値であり、ｂＦｌａｇ＞０の場合は、Ｂゲインを小さくするように−方向の調整を実行する。ｂ≧閾値であり、ｂＦｌａｇ＜０の場合は、Ｂゲインを大きくするように＋方向の調整を実行する。
【０１１５】
なお、このステップＳ３０７における調整処理は、前述のステップＳ３０５の絞り調整と同様、ユーザがモニタのデータを参照しながら実行してもよいが、調整処理装置からカメラの調整部に対して、ｒＦｌａｇまたはｂＦｌａｇの値に応じた調整量を指定した調整処理コマンドを送信し、カメラ側がコマンドに応じてＲゲインまたはＢゲインを自動調整する構成としてもよい。
【０１１６】
このような調整（カメラキャリブレーション）が実行され、ｇ＜閾値（ｔｈｒｅｓｈ）、ｒ＜閾値（ｔｈｒｅｓｈ）、ｂ＜閾値（ｔｈｒｅｓｈ）のすべてが満足されると、調整が終了する。この結果、参照カメラは、基準カメラの特性（輝度、色味、ホワイトバランス）とほぼ同一の特性に調整されることになり、多視点映像をそれぞれキャリブレーション処理後のカメラで撮影することで、特性（輝度、色味、ホワイトバランス）の統一された画像が生成され、再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【０１１７】
なお、図８を参照して説明した処理は、１つの基準カメラに対して１つの参照カメラの調整を実行する処理例であるが、Ｎ台のカメラを使用する場合には、基準カメラ１に対してＮ−１個の参照カメラの調整を実行する。なお、調整処理手法としては、Ｎ台のうち１つのみ固定した基準カメラを設定して、設定した１つの基準カメラに対してその他の参照カメラを合わせていく調整方法と、調整済みのカメラを新たな基準カメラとして設定して、順次、基準カメラを変更しながらその他の未調整のカメラを参照カメラとして設定していく方法とがある。
【０１１８】
図８を参照して説明したカメラキャリブレーションにおいて、ステップＳ３０５の絞り調整と、ステップＳ３０７のＲゲイン、Ｂゲインの調整を、カメラに対するコマンド入力により自動実行するフィードバック制御を実行するカメラキャリブレーション処理装置の構成例について図９を参照して説明する。
【０１１９】
メモリ５２４には、調整済みの基準カメラによって取得された基準チャート撮影データとしてのキャリブレーションデータ、すなわち基準カメラの基準チャート撮影画像データについてのｎ色のＲＧＢ値（Ｒ_ｂｉ，Ｇ_ｂｉ，Ｂ_ｂｉ）（０≦ｉ≦ｎ）が格納されている。これは、図３他を参照して説明した複数色からなる基準チャートの基準カメラによる撮影画像について、各色、例えば図３に示す基準チャートであれば１０色、各色のＲＧＢ値、例えばＲ＝０〜２５５、Ｇ＝０〜２５５、Ｂ＝０〜２５５の値である。
【０１２０】
参照カメラ５１０は、基準チャート５１１をライトボックス５１２の照射光の下に撮影し、撮影データをＡ／Ｄ変換部５２１を介して演算部５２３に入力する。入力データは、参照カメラ５１０の基準チャート撮影画像データについてのｎ色のＲＧＢ値（Ｒ_ｒｉ，Ｇ_ｒｉ，Ｂ_ｒｉ）（０≦ｉ≦ｎ）となる。例えば図３に示す基準チャートであれば１０色、１０色各色のＲＧＢ値、例えばＲ＝０〜２５５、Ｇ＝０〜２５５、Ｂ＝０〜２５５の値が入力される。
【０１２１】
演算部５２３では、Ａ／Ｄ変換部５２１からの参照カメラのデータ：（Ｒ_ｒｉ，Ｇ_ｒｉ，Ｂ_ｒｉ）と、メモリ５２４に格納された基準カメラのデータ：（Ｒ_ｂｉ，Ｇ_ｂｉ，Ｂ_ｂｉ）とに基づいて、図８の処理フローに示すステップＳ３０３において説明した各値、すなわち、Ｒ_ｒｉ−Ｒ_ｂｉ，Ｇ_ｒｉ−Ｇ_ｂｉ，Ｂ_ｒｉ−Ｂ_ｂｉのそれぞれ絶対値の平均値と、ｒＦｌａｇ、ｇＦｌａｇ、ｂＦｌａｇの各値を算出する。
【０１２２】
演算結果は、カメラコントロール部５２５に出力され、カメラコントロール部５２５は、ｇの値、すなわち、Ｇ_ｒｉ−Ｇ_ｂｉの絶対値の平均値、およびｇＦｌａｇの値に基づいた絞り調整量を決定し、決定した絞り調整量の調整を参照カメラ５１０に対して実行する。さらに、カメラコントロール部５２５は、ｒの値、すなわち、Ｒ_ｒｉ−Ｒ_ｂｉの絶対値の平均値、およびｒＦｌａｇの値に基づいたＲゲイン調整量を決定し、決定したＲゲイン調整量の調整を参照カメラ５１０に対して実行し、また、ｂの値、すなわち、Ｂ_ｒｉ−Ｂ_ｂｉの絶対値の平均値、およびｂＦｌａｇの値に基づいたＢゲイン調整量を決定し、決定したＢゲイン調整量の調整を参照カメラ５１０に対して実行する。
【０１２３】
すなわち、カメラコントロール部５２５は、演算部５２３において算出されたキャリブレーション情報に基づく参照カメラに対する制御量を設定し、設定した制御量に基づく制御命令を参照カメラ５１０に対して出力する。なお、カメラコントロール部５２５は、差分データの絶対値平均値と比較する閾値（図８のステップＳ３０４，３０６参照）を格納したメモリを有し、差分データの絶対値平均値と閾値との比較結果に基づいてカメラ調整の要否を判定して、要の判定の場合にのみ、設定した制御量に基づく制御命令を参照カメラ５１０に対して出力する。
【０１２４】
また、カメラキャリブレーション処理装置は、さらに、演算部５２３において算出された参照カメラ５１０に対するキャリブレーション情報を表示部５２６に出力して表示することで、ユーザが表示データに基づいて、参照カメラ５１０の調整、すなわち絞り調整、ゲイン調整等を実行することが可能となる。表示部には、図８の処理フローに示すステップＳ３０３において説明した各値、すなわち、Ｒ_ｒｉ−Ｒ_ｂｉ，Ｇ_ｒｉ−Ｇ_ｂｉ，Ｂ_ｒｉ−Ｂ_ｂｉのそれぞれ絶対値の平均値と、ｒＦｌａｇ、ｇＦｌａｇ、ｂＦｌａｇの各値を表示し、ユーザは数値データに基づいて調整が可能となり、調整量に応じた数値変化を確認しながらの調整が可能となる。
【０１２５】
なお、図では、１台の参照カメラについての制御処理例を示してあるが、この調整処理は、基準チャートとして同一特性のものが用意できれば、複数の参照カメラに対して並列に実行可能である。
【０１２６】
以上、（１）撮影画像補正処理、（２）カメラキャリブレーション処理のそれぞれについて説明してきたが、これら２つの処理は、いずれか一方のみを実行しても、あるいは両処理を実行する構成としてもよい。すなわち、（２）のカメラキャリブレーション処理を実行したカメラを用いて撮影した画像について、（１）の撮影画像補正処理を施す構成としてもよい。
【０１２７】
この本発明の構成によれば、補正用色フィルタ付きライトボックスとを仲介物として使用することで、Ｎ−１台のカメラに対しては調整するための照明環境をつくらないで調整することができ、カメラ調整処理または画像補正処理における時間の短縮が可能となる。また、従来のベクトルスコープを用いた処理ではカメラ単体の輝度特性の調整しかできず、例えば計算機を使用した映像制作システム等、カメラ単体ではなくＡ／Ｄ変換器などを含んだ撮影系全体での調整が困難となるという欠点があるが、本発明の構成では、カメラで撮影し、Ａ／Ｄ変換器を介して取得した画像に基づいてカメラを調整あるいは画像補正を行なうことが可能であり、カメラ単体ではなくＡ／Ｄ変換器などを含んだ撮影系全体での調整が可能となる。また、参照カメラのデータ：（Ｒ_ｒｉ，Ｇ_ｒｉ，Ｂ_ｒｉ）と、基準カメラのデータ：（Ｒ_ｂｉ，Ｇ_ｂｉ，Ｂ_ｂｉ）を例えば０〜２５５の数値データとして見ながら調整できるので、ベクトルスコープを使うのに必要な経験がなくても簡単にカメラ間の調整、あるいは画像補正が可能となる。
【０１２８】
なお、上述した実施例においては、実際の撮影現場を想定して短時間で基準チャートの撮影データを取得するための構成として、レンズキャップにカラーフィルタ付きライトボックスを密着して撮影する例を説明したが、時間の制約、スペースに問題がない場合は、レンズキャップにカラーフィルタ付きライトボックスを密着するかわりに、周囲の環境光を遮断する手段として暗幕を用い、全てのカメラに対して同じ照明環境を作り、撮影時とキャリブレーション時とでカメラ状態の変化がない状態で基準チャートを撮影して、その撮影画像からキャリブレーションデータを取得して画像補正またはカメラ調整を行なう構成とすることも可能である。
【０１２９】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１３０】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１３１】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ　ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１３２】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３３】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【０１３４】
【発明の効果】
以上説明してきたように、本発明の構成によれば、多視点映像をそれぞれ特性の異なるカメラで撮影した場合であっても、撮影後の画像の補正により、特性（輝度、色味、ホワイトバランス）の統一された画像が生成され、再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【０１３５】
本発明の構成によれば、複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、基準チャートを参照カメラによって撮影した参照画像データとに基づいて、参照画像データを基準画像データに一致させるための補正パラメータを算出し、算出した補正パラメータに基づいて、参照カメラによって撮影された画像データの補正処理を実行する構成であるので、基準カメラと、参照カメラの撮影画像の特性（輝度、色味、ホワイトバランス）がパラメータに基づいて統一され、多視点画像再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【０１３６】
さらに、本発明の構成によれば、多視点映像をそれぞれ複数の異なるカメラで撮影する構成において、複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、基準チャートを参照カメラによって撮影した参照画像データに含まれる複数の異なる輝度情報各々に対応する差分データの絶対値平均値と、差分データが最大となるときの符号を、参照カメラに対するキャリブレーション情報として算出して、算出情報に基づいて、参照カメラの調整処理としてのキャリブレーションを実行する構成としたので、調整されたカメラによって撮影された画像は、特性（輝度、色味、ホワイトバランス）の統一された画像となり、多視点画像再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【図面の簡単な説明】
【図１】多視点映像撮影システムの構成例を示す図である。
【図２】本発明を適用した画像補正処理において実行されるパラメータ取得処理およびパラメータに基づく画像補正処理について説明する図である。
【図３】基準チャートおよびライトボックスによって構成される基準チャート照射体構成例を示す図である。
【図４】基準チャートおよびライトボックスによって構成される基準チャート照射体をカメラによって撮影する構成例について説明する図である。
【図５】パラメータ取得処理およびパラメータに基づく画像補正処理の実行フローを示す図である。
【図６】基準チャートにおけるデータ取得領域について説明する図である。
【図７】基準チャート撮影データに基づくカメラ調整（カメラキャリブレーション）処理および撮影処理フローを示す図である。
【図８】基準チャート撮影データに基づくカメラ調整（カメラキャリブレーション）処理について詳細に説明するフロー図である。
【図９】基準チャート撮影データに基づくカメラ調整（カメラキャリブレーション）処理をフィードバック制御によって実行する構成例を示す図である。
【符号の説明】
１０１　被写体
１１１　カメラ
１２１　Ａ／Ｄ変換部
１２２　メモリ
１２３　多視点映像生成・表示処理部
２１１　基準チャート
２１２　基準カメラ
２１３　基準映像
２１４　基準映像データ
２２２　参照カメラ
２２３　参照映像
２２４　参照映像データ
２３２　基準映像
２４２　補正後の参照映像
２５１　変換処理部
２５２　パラメータ
２６１　補正処理部
３０１　基準チャート
３０２　ライトボックス
３０３　基準チャート照射体
３１１　カメラ
３１２　レンズカバー
４１１　基準チャート
４１２　色設定領域
４１３　データ取得領域
５１０　参照カメラ
５１１　基準チャート
５１２　ライトボックス
５２１　Ａ／Ｄ変換部
５２３　演算部
５２４　メモリ
５２５　カメラコントロール部
５２６　表示部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing device, a camera calibration processing device and method, and a computer program. More specifically, an image processing apparatus, a camera calibration processing apparatus, and a method that can be applied to camera calibration or image processing when generating a multi-viewpoint image by photographing a subject with a plurality of cameras arranged at different positions, And computer programs.
[0002]
[Prior art]
As one of the video expressions, there is a way of showing the same scene with a plurality of cameras and reproducing and displaying those videos in various ways. This is to generate and use image data such as a so-called panorama or a spherical image, in which the viewpoint can be variously moved. For example, video data (multi-view video) viewed from different viewpoints is continuously reproduced while switching viewpoints, and video viewed from a certain viewpoint in a 360-degree viewing direction is continuously reproduced. In such image reproduction, image processing for increasing continuity using not only a video taken by an actual camera but also a video interpolated assuming a virtual camera between cameras is applied.
[0003]
As a specific example of a system using a multi-view image or a 360-degree image, for example, an image obtained by photographing a subject from a plurality of viewpoint positions and line-of-sight directions is stored in a storage medium such as a DVD or a CD, and the stored image is stored in a CRT. When displaying images on a liquid crystal display device or the like, a system is realized in which a user moves a viewpoint to a free position by operating a controller to observe an image of a subject. In addition, images obtained by photographing a subject from a plurality of viewpoint positions and line-of-sight directions are distributed via a communication system such as the Internet, and a user operates a mouse on a PC or the like to display an image from a desired viewpoint position and line-of-sight direction on a display. A display system and the like are constructed.
[0004]
With the improvement of computer processing capability and the development of various video media playback devices, it became possible to process huge polygon data and video data (content), which were previously difficult, and images were taken with multiple cameras with different viewpoints. 2. Description of the Related Art Image data of the real world (target) is processed by a computer, an image device, or the like, and an image of an arbitrary viewpoint according to a user's request can be generated and presented in real time.
[0005]
In order to generate and present an arbitrary viewpoint video from images captured from a plurality of viewpoints by processing on a computer, (1) all cameras must be able to see the same area (target), (2) It is necessary that the positional relationship between the cameras can be obtained. Until now, the position and orientation of each camera were fixed, the positional relationship between each camera was determined in advance, and multi-viewpoint images were shot under the constraint that the shooting target was always within all the camera observation fields. A system capable of generating and expressing viewpoint videos was being studied. For example, as a document introducing such a system, (1) T.I. Kanade, @P. W. Rander, P. J. Narayanan: {Virtualized Reality}-{Constructing} Virtual \ Worlds \ from \ Real \ Scenes, IEEE \ Multimedia, Vol. 4, @No. 1, $ 1997. (2) H. Saito, @T. Kanade: \\ Shape \ Reconstruction \ in \ Projective \ Grid \ Space \ from \ Large \ Number \ of \ Images, \ Proceeding \ IE \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\ 49-54, {1999. (3) Kitahara, Ota, Saito, Akimichi, Ono, Kanade: Multi-view video shooting and free-view video generation in large-scale space, 3D Image Conference 2000, pp. 25-28, {2000. There is.
[0006]
Also, the movement of the person of interest is tracked by the master camera, the dynamic parameters of the master camera (change values such as position and orientation) at that time are automatically detected, and the parameters are transmitted to other cameras. There has been proposed a multi-viewpoint image generation / expression system capable of tracking and photographing a person of interest while synchronously moving the position and orientation of a camera. Such a technique is disclosed in, for example, (4) R.A. T. Collins and T. Kanade: Multi-camera Tracking and Visualization for Surveillance and Sports, The Fourth International Workshop on Cooperative, Distribution.
27-55, @Mar. {22-24, $ 2001. It is described in.
[0007]
As described above, a system for reproducing images captured by a plurality of cameras, such as a multi-viewpoint image, a 360-degree image, and a celestial sphere image, has been proposed and used. If the object is stationary, it is possible to take a picture while moving from one place to another, but if the object is moving, it is necessary to take a picture with a plurality of cameras.
[0008]
In this case, if the characteristics between the cameras, for example, the adjustment levels of the brightness and the color are different between the cameras, the viewpoint is switched at the time of the image reproduction, that is, the brightness and the color of the reproduced image are changed every time the photographing camera is switched. As a result, it is not possible to reproduce a smooth continuous video, and the viewer of the image feels strange.
[0009]
As a method for solving these problems, there is a method of adjusting all cameras using a vectorscope before photographing. The adjustment by the vector scope is a method in which a captured image data signal of each camera is displayed in a waveform or a vector on a monitor, and the camera is adjusted based on the display data.
[0010]
However, even if such pre-adjustment is performed, there is a problem that the brightness and the color change between cameras due to changes in the environment due to external factors such as lighting and air conditioning.
[0011]
After taking images with multiple cameras, it is possible to perform image processing on the images captured by each camera to match the luminance characteristics between the camera images.However, calibration data is required for these processes. Since the calibration data must be information suitable for the shooting environment between shootings, it is necessary to perform a process of acquiring these data in a short time during shooting and storing the data as information synchronized with the image data. .
[0012]
[Problems to be solved by the invention]
SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and has been made in consideration of an image realizing camera calibration for generating and expressing a more realistic multi-viewpoint image by using images captured by a plurality of cameras having different viewpoints. It is an object to provide a processing device, a camera calibration processing device and method, and a computer program.
[0013]
Further, the present invention makes it possible to easily acquire data for correcting the luminance characteristic between cameras in a short time and in the same camera state as the photographing environment, and to perform luminance processing between images (brightness and color) in post-processing after photographing. It is an object of the present invention to provide an image processing apparatus, a camera calibration processing apparatus, a method, and a computer program, which make it possible to easily correct the operation of matching with a correction parameter instead of manually.
[0014]
[Means for Solving the Problems]
According to a first aspect of the present invention,
An image processing apparatus that performs image correction processing of a multi-view image captured by a plurality of cameras,
The reference image data calculated based on reference image data obtained by shooting a reference chart having a plurality of different pieces of luminance information with a reference camera and reference image data obtained by shooting the reference chart with a reference camera is made to match the reference image data. The image processing apparatus according to claim 1, further comprising: a correction processing unit configured to perform a correction process on image data captured by the reference camera based on a correction parameter for the correction.
[0015]
Further, in one embodiment of the image processing apparatus according to the present invention, the correction parameter is C ′ = [R ”in the reference image data included in the reference image data obtained by photographing the reference chart with a reference camera._b, G_b, B_b], The reference image data included in the reference image data is represented by C = [R_r, G_r, B_r], The correction parameter is constituted by the values of M and V obtained as C ′ = MC + V.
[0016]
Further, in one embodiment of the image processing apparatus of the present invention, the correction parameter is set to N luminance data included in reference image data obtained by photographing the reference chart with a reference camera by [R_bi, G_bi, B_bi(I = 1 to N), and the N pieces of luminance data included in the reference image data are represented by [R_ri, G_ri, B_ri] (I = 1 to N),
Correction parameters for R, G, and B are P_R, P_G, P_B, As,
(Equation 7)

The value indicated by the
However, in the above formula, C_r, R_b, G_b, B_bIs
(Equation 8)

And R_b= C_rP_R, And the same relation is applied to G and B, that is, G_b= C_rP_G, B_b= C_rP_BA determinant with a correspondence of
It is characterized by being.
[0017]
Further, in one embodiment of the image processing apparatus of the present invention, the reference chart is configured by a plurality of different chromatic colors, and a plurality of different achromatic colors, and the correction parameter is each of the plurality of chromatic colors and achromatic colors. Is set as a parameter for matching the reference image data with the reference image data.
[0018]
Further, a second aspect of the present invention provides
A camera calibration processing device that performs a calibration process as an adjustment process of a plurality of cameras that capture a multi-view image,
Based on reference image data obtained by shooting a reference chart having a plurality of different pieces of luminance information with a reference camera and reference image data obtained by shooting the reference chart with a reference camera, the plurality of reference images included in the reference image data and the reference image data. An arithmetic unit that calculates the absolute value average value of the difference data corresponding to each of the different pieces of luminance information, and the sign when the difference data is maximized, as calibration information for the reference camera;
And a camera calibration processing device.
[0019]
Further, in one embodiment of the camera calibration processing device of the present invention, the average absolute value of the difference data is obtained by calculating N pieces of luminance data included in reference image data obtained by photographing the reference chart with a reference camera by [R_bi, G_bi, B_bi(I = 1 to N), and the N pieces of luminance data included in the reference image data are represented by [R_ri, G_ri, B_ri] (I = 1 to N),
(Equation 9)

Is a value represented by
[0020]
Further, in one embodiment of the camera calibration processing device of the present invention, the camera calibration processing device further includes a display unit that displays calibration information for the reference camera calculated by the calculation unit. And
[0021]
Further, in one embodiment of the camera calibration processing device of the present invention, the camera calibration processing device further includes a memory storing reference image data obtained by photographing the reference chart with a reference camera, and the calculation unit includes: A process for calculating the calibration information based on the reference image data input from the reference camera and the reference image data input from the memory.
[0022]
Further, in one embodiment of the camera calibration processing device of the present invention, the camera calibration processing device further sets and sets a control amount for a reference camera based on the calibration information calculated by the calculation unit. A control unit for outputting a control command based on a control amount to the reference camera is provided.
[0023]
Further, in one embodiment of the camera calibration processing device of the present invention, the camera calibration processing device further includes a memory storing a threshold value to be compared with an average absolute value of the difference data, and the control unit includes: And determining whether or not camera adjustment is necessary based on a comparison result between the absolute value average value of the difference data and the threshold value.
[0024]
Further, a third aspect of the present invention provides
An image processing method for performing image correction processing of a multi-view image captured by a plurality of cameras,
The reference image data calculated based on reference image data obtained by shooting a reference chart having a plurality of different pieces of luminance information with a reference camera and reference image data obtained by shooting the reference chart with a reference camera is made to match the reference image data. Performing correction processing of image data captured by the reference camera based on correction parameters for
Image processing method.
[0025]
Further, in one embodiment of the image processing method of the present invention, the correction parameter is C ′ = [R ”, wherein the reference image data included in the reference image data obtained by photographing the reference chart with a reference camera._b, G_b, B_b], The reference image data included in the reference image data is represented by C = [R_r, G_r, B_r], The correction parameter is constituted by the values of M and V obtained as C ′ = MC + V.
[0026]
Further, in one embodiment of the image processing method of the present invention, the correction parameter is set to N luminance data included in reference image data obtained by photographing the reference chart with a reference camera by [R_bi, G_bi, B_bi(I = 1 to N), and the N pieces of luminance data included in the reference image data are represented by [R_ri, G_ri, B_ri] (I = 1 to N),
Correction parameters for R, G, and B are P_R, P_G, P_B, As,
(Equation 10)

The value indicated by the
However, in the above formula, C_r, R_b, G_b, B_bIs
[Equation 11]

And R_b= C_rP_R, And the same relation is applied to G and B, that is, G_b= C_rP_G, B_b= C_rP_BA determinant with a correspondence of
It is characterized by being.
[0027]
Further, a fourth aspect of the present invention provides
A camera calibration processing method of performing a calibration process as an adjustment process of a plurality of cameras that capture a multi-view image,
Based on reference image data obtained by shooting a reference chart having a plurality of different pieces of luminance information with a reference camera and reference image data obtained by shooting the reference chart with a reference camera, the plurality of reference images included in the reference image data and the reference image data. An arithmetic step of calculating the absolute value average value of the difference data corresponding to each of the different pieces of luminance information, and the sign when the difference data is maximized, as calibration information for the reference camera,
A camera calibration processing method.
[0028]
Further, in one embodiment of the camera calibration processing method of the present invention, the average absolute value of the difference data is obtained by calculating N pieces of luminance data included in reference image data obtained by photographing the reference chart with a reference camera by [R_bi, G_bi, B_bi(I = 1 to N), and the N pieces of luminance data included in the reference image data are represented by [R_ri, G_ri, B_ri] (I = 1 to N),
(Equation 12)

Is a value represented by
[0029]
Further, in one embodiment of the camera calibration processing method of the present invention, the camera calibration processing method further includes a display step of displaying calibration information for the reference camera calculated in the calculation step. And
[0030]
Further, in one embodiment of the camera calibration processing method of the present invention, the camera calibration processing method further sets and sets a control amount for a reference camera based on the calibration information calculated in the calculation step. A control step of outputting a control command based on a control amount to the reference camera.
[0031]
Further, in one embodiment of the camera calibration processing method of the present invention, the control step executes a comparison process between an average absolute value of the difference data and a threshold value, and determines whether camera adjustment is necessary based on the comparison result. Is determined.
[0032]
Further, a fifth aspect of the present invention provides
A computer program for performing image correction processing of a multi-view image captured by a plurality of cameras,
The reference image data calculated based on reference image data obtained by shooting a reference chart having a plurality of different pieces of luminance information with a reference camera and reference image data obtained by shooting the reference chart with a reference camera is made to match the reference image data. Performing correction processing of image data captured by the reference camera based on correction parameters for
A computer program characterized by having:
[0033]
Further, a sixth aspect of the present invention provides
A computer program for performing a calibration process as an adjustment process of a plurality of cameras that capture a multi-view image,
Based on reference image data obtained by shooting a reference chart having a plurality of different pieces of luminance information with a reference camera and reference image data obtained by shooting the reference chart with a reference camera, the plurality of reference images included in the reference image data and the reference image data. An arithmetic step of calculating the absolute value average value of the difference data corresponding to each of the different pieces of luminance information, and the sign when the difference data is maximized, as calibration information for the reference camera,
A computer program characterized by having:
[0034]
[Action]
According to the configuration of the present invention, even when a multi-view video is captured by cameras having different characteristics, an image having uniform characteristics (luminance, color, and white balance) can be obtained by correcting the captured image. The generated video can be smoothly reproduced in the viewpoint switching process at the time of reproduction.
[0035]
Further, according to the configuration of the present invention, reference image data obtained by shooting a reference chart having a plurality of different pieces of luminance information with a reference camera and reference image data obtained by shooting the reference chart with a reference camera are used. A correction parameter for matching the reference image data is calculated, and the correction processing of the image data shot by the reference camera is performed based on the calculated correction parameter. (Luminance, color, white balance) are unified based on the parameters, and smooth video reproduction in the viewpoint switching process at the time of multi-viewpoint image reproduction is enabled.
[0036]
Furthermore, according to the configuration of the present invention, in a configuration in which a multi-view video is captured by a plurality of different cameras, reference image data obtained by capturing a reference chart having a plurality of different pieces of luminance information by a reference camera, and a reference camera The absolute value average value of the difference data corresponding to each of the plurality of different pieces of luminance information included in the reference image data captured by the reference image data, and the sign when the difference data is maximized are calculated as calibration information for the reference camera. Since the configuration is such that calibration is performed as adjustment processing of the reference camera based on the information, an image captured by the adjusted camera becomes an image with uniform characteristics (brightness, color, white balance), Smooth video reproduction in the viewpoint switching process at the time of reproducing a multi-viewpoint image is enabled.
[0037]
The computer program of the present invention is provided, for example, in a computer-readable format for a general-purpose computer system capable of executing various program codes, in a storage medium or communication medium such as a CD, FD, or MO. And a computer program that can be provided by a communication medium such as a network. By providing such a program in a computer-readable format, processing according to the program is realized on a computer system.
[0038]
Further objects, features, and advantages of the present invention will become apparent from a more detailed description based on embodiments of the present invention described below and the accompanying drawings. In this specification, the term “system” refers to a logical set of a plurality of devices, and is not limited to a device having each configuration in the same housing.
[0039]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an image processing apparatus, a camera calibration processing apparatus, and a method of the present invention will be described in detail with reference to the drawings.
[0040]
FIG. 1 is a block diagram showing a configuration example of a multi-viewpoint video photographing apparatus to which the configuration of the present invention can be applied. The multi-viewpoint video photographing apparatus includes N (N ≧ 2) cameras 111 (1) to 111 (n) that photograph the photographing target 101 from different viewpoints.
[0041]
The synchronization signals generated from the synchronization signal generator 120 are input to the plurality of cameras 111 (1) to 111 (n), and the cameras are synchronized. The output signal from each camera is input to A / D conversion units 121 (1) to 121 (n) such as a media converter and the like, and A / D conversion processing is performed, and a memory 122 such as a magnetic disk, an optical disk, or a flash memory is used. Record in 1) to (n).
[0042]
The image data from different viewpoints recorded in the memories 122 (1) to (n) are subjected to image reproduction in which the viewpoints are switched in the multi-viewpoint image generation / display processing unit 123.
[0043]
In the system as described above, if the characteristics of a plurality of cameras, for example, white balance, brightness, and color are different, a visual difference occurs between the images captured by the respective cameras, and the viewpoint device in the image reproduction. When the replacement is performed, an unnatural image is obtained. Therefore, it is necessary to adjust images from a plurality of cameras to images having the same characteristics, that is, characteristics of white balance, luminance, and color.
[0044]
There are two aspects of such adjustment processing. The first method is a method of correcting an image captured by a plurality of cameras and an image after capturing, that is, a so-called captured image correction process to make characteristics between the images uniform. The second method is a method of performing adjustment of the cameras themselves before photographing the subject to make the images captured by each camera uniform, that is, camera calibration for adjusting the cameras themselves, for example, adjusting white balance, aperture, and the like. It is an option.
[0045]
As described above, the two processing methods of the method of performing the image correction processing on the taken image of the subject and the camera calibration method of performing adjustment between cameras before capturing the subject will be described below (1). The photographed image correction processing and (2) camera calibration processing will be sequentially described.
[0046]
[(1) Photographed image correction processing]
First, a method of executing an image correction process on a captured image of a subject will be described. Referring to FIG. 2, the image correction processing according to the present invention, that is, the characteristics (luminance, color, and white balance) between the images of a plurality of cameras constituting the multi-viewpoint image capturing system are corrected to a unified one. Will be described.
[0047]
FIG. 2 illustrates an adjustment process between images captured by two cameras among a plurality of cameras included in a multi-viewpoint video capturing system for easy understanding. When performing adjustment between three or more cameras, the same processing is repeatedly executed.
[0048]
One of the two cameras is defined as a reference camera 212, and the captured image is defined as a reference image 213. The other camera is referred to as a reference camera 222, and the captured video is referred to as a reference video 223. It is assumed that the luminance characteristics of the reference image 223 are corrected so as to be the same as the characteristics (luminance, color, white balance) of the reference image 213.
[0049]
First, as shown in the parameter acquisition processing in FIG. 2A, a reference chart 211 including a plurality of colors is captured by both the reference camera 212 and the reference camera 222. The reference chart includes, for example, six types (yellow, cyan, green, magenta, red, and blue) of chromatic colors and four types of achromatic colors, as shown in FIG. And a correction color filter 301 composed of a plurality of different achromatic colors. The correction color filter 301 is mounted on a small, light-transmitting light box 302 to form a reference chart irradiation body 303.
[0050]
As shown in FIG. 4, a reference chart irradiator 303 having the correction color filter 301 attached to a light box 302 is set so as to be in close contact with the front surface of a lens cover of the camera 311 to acquire a captured image.
[0051]
In order to match the shooting conditions in the reference camera 212 and the reference camera 222, it is preferable that the reference charts shot by the reference camera 212 and the reference camera 222 be the same. Then, the same reference chart is photographed by the reference camera to acquire respective image data. If a reference chart having the same characteristics can be generated, a plurality of reference charts can be used.
[0052]
It should be noted that the luminance changes less after a certain period of time has elapsed since the power of the camera was turned on, and the camera is in a stable state. However, when the environment changes due to the influence of heat generated from lighting, air conditioning, and the like, the brightness also changes. For example, in the case of an analog camera, when the temperature of the housing increases, the luminance decreases. Therefore, it is preferable that photographing data using the reference chart be acquired in a short time under the same environment as when photographing the subject.
[0053]
Returning to FIG. 2, the description will be continued. As described above, the reference chart 211 including several colors is photographed by each camera, that is, the reference camera 212 and the reference camera 222, and two images, that is, the reference image 213 and the reference image 223 are obtained.
[0054]
Based on these two images, two data indicating the value of each color included in the reference chart 211, that is, the reference image data 214 and the reference image data 224 are obtained, and a conversion described later is performed on these two data. By executing the conversion process 251 using the equation, a parameter (reference-reference) 252 for matching the image data captured by the reference camera 222 with the characteristics of the image data captured by the reference camera 212 is acquired.
[0055]
As shown in the photographing process of FIG. 2B, when the photographed image of the subject is executed by the reference camera 212 and the reference camera 222, respectively, and the reference image 213 and the reference image are acquired, the reference image is stored in the memory as it is. The reference image 232 is used for reproduction. The reference image 223 is corrected by the correction (conversion) processing unit 261 using the parameter (reference-reference) 252 calculated by photographing the reference chart. After the correction (conversion) process is performed, the corrected reference video 242 is stored in the memory as a reference video 242 and is used as a video used for reproduction. By performing such a correction process, it is possible to set the characteristics (brightness, color, and white balance) of the reference image to be equal to those of the reference image.
[0056]
When N cameras are used, reference images 2, 3,. . . N-1 images are acquired, and the luminance characteristic correction parameters are also parameters (criterion 1-reference 2), parameters (criterion 1-reference 3),... Are obtained, and a correction (conversion) process of the reference image is executed based on the respective parameters to execute a process of matching the characteristics of the reference image with the characteristics of the reference image.
[0057]
With reference to FIG. 5, a flow of a photographing operation from setting of a camera to correction using a multi-viewpoint video photographing apparatus will be described. First, in step S101, one reference camera is determined, and white balance, brightness, and the like are determined. Next, in step S102, this camera is set as a reference camera, and a reference chart is photographed by both the reference camera and the reference camera. In step S103, a correction parameter (reference-reference) is calculated based on the reference chart photographing data photographed by both the reference camera and the reference camera.
[0058]
It should be noted that when photographing with N cameras installed, N-1 parameters are to be obtained.
[0059]
Next, in step S104, a plurality of cameras whose parameters have been calculated are arranged in accordance with the shooting, for example, arranged in a row or in an arc, and a multi-view video is shot. In step S105, a corrected image is generated for the captured video based on the respective parameters, and in step S106, the corrected image data is stored in the memory.
[0060]
Next, the parameter calculation processing will be described in detail. As shown in FIG. 4, a photographed image is obtained by setting the reference chart irradiating body 303 in which the correction color filter 301 is attached to the light box 302 so as to be in close contact with the front surface of the lens cover of the camera 311.
[0061]
At this time, the light box is set so that sufficient time has elapsed since the power was turned on and the illuminance is kept constant. In addition, the camera does not change the aperture, zoom, or focus while shooting. The color filter for correction is fixed to the illuminance surface of the light box, and in order to block ambient light, the image is taken in close contact with the lens cover of the camera as shown in FIG. In this case, since the image is out of focus, the image is blurred, but the luminance does not change except in the vicinity of the boundary, so that the luminance is not affected even if the focus is not on the correction color filter.
[0062]
In the image data actually applied to the parameter calculation process in the reference chart photographed image data, a small area not including the vicinity of the boundary of each color setting area 412 of the reference chart 411 is set as the data acquisition area 413 as shown in FIG. It is preferable to use RGB average luminance value data in the data acquisition area 413.
[0063]
As shown in FIG. 4, the advantage that the reference chart irradiation body 303 including the correction color filter 301 and the light box 302 is closely attached to the lens cover 312 of the camera 311 is that the same illumination environment can be created for all cameras. The point is that the same camera state can be maintained during shooting and calibration. By adopting such a close contact structure, only when the surroundings are illuminated or when the surroundings are dark, only the light source of the light box becomes the light source, and the distance between the camera and the lighting and the posture of the lighting with respect to the camera can be kept the same. Therefore, correction data can be obtained under a constant light amount.
[0064]
The illuminance of the light box is not uniform due to unevenness depending on the location, but if there is no change in the illuminance in the time axis direction at the same location and the positional relationship with the correction color filter is fixed, the illuminance unevenness on the illuminance surface of the light box is obtained. Does not matter. In addition, it is important in actual operation that the data for correction (calibration) can be easily and quickly acquired every time the lighting environment changes so as not to hinder the photographing. Even when data for correction (calibration) is acquired with the correction reference chart and illumination separated from the lens, surrounding environmental light can be blocked, and the distance and attitude relationship between the camera and the illumination can be kept constant. It is only necessary that the same illumination environment is created for the camera and the state of the camera does not change between the time of shooting and the time of calibration.
[0065]
Since the camera settings cannot be changed when shooting, if the light box is not a dimmable type, use an ND filter (a filter that adjusts the exposure without disturbing the color balance), etc., in combination with the correction color filter. The light intensity can be adjusted. In the case of adjusting the amount of light with the dimming type, it takes time until the illuminance is stabilized. However, if the amount of light can be easily adjusted with a filter, it is useful in a shooting site where time constraints are severe. Also, if a color temperature conversion filter is used in combination, the color temperature of the lighting of the light box can be easily changed.
[0066]
Next, data processing for obtaining a luminance characteristic correction parameter between cameras will be described. Here, correction between two cameras will be described. Arbitrary color: C = [R, G, B]^TIs converted to the following equation (Equation 1) to correct the color: C ′ = [R ′, G ′, B ′]^TAssume a model that performs color correction as follows. Note that R, G, B and R ', G', B 'have values of, for example, 0 to 255.
[0067]
(Equation 13)
C ′ = MC + V · (formula 1)
[0068]
In the above equation, C = [R, G, B]^T, C ′ = [R ′, G ′, B ′]^T, R, G, and B respectively represent red, green, and blue luminances (for example, R = 0 to 255, G = 0 to 255, and B = 0 to 255), M is a 3 × 3 matrix, and V is 3 × 1 vector.
[0069]
A plurality of colors are captured by two cameras that perform image correction, that is, both a reference camera and a reference camera, and a matrix M and a vector V are calculated as color correction parameters from their correspondence.
[0070]
A method for calculating the parameters will be described. A color image obtained by photographing the reference chart described above with reference to FIG._b, Reference Video I_rAnd Consider a case where the color of the reference image is matched with the color of the reference image. For an arbitrary color, for example, each color of the correction color filter, the luminance of each color of the reference image is set to [R_b, G_b, B_b], And the luminance of each color of the reference video is [R_r, G_r, B_r].
[0071]
In the above equation (Equation 1), C is the luminance of the reference image, that is, C = [R_r, G_r, B_rAnd C ′ is the luminance of the reference image, that is, C ′ = [R_b, G_b, B_b], The matrix M and the vector V as parameters for adjusting the characteristics of both can be obtained by obtaining the matrix M and the vector V such that the following equation (Equation 2) is satisfied.
[0072]
[Equation 14]

[0073]
When the above equation (Equation 2) is modified, the following equations (Equation 3) to (Equation 5) can be obtained.
[0074]
[Equation 15]

[0075]
The above equation (Equation 2) can be expressed as the above equations (Equation 3) to (Equation 5). Further, when a plurality of colors, for example, N pieces of color data are given, Equation (Equation 3) can be expressed as Equation (Equation 6).
[0076]
(Equation 16)

[0077]
In the above equation (Equation 6), R_biRepresents the luminance of R of the i-th color in the reference image,_ri, G_ri, B_riRepresents the luminance of R, G, and B of the i-th color in the reference image, respectively. For example, ten types of colors are set in the reference chart shown in FIG. 3, and when the reference video and the reference video are acquired using this chart, i = 10.
[0078]
Here, Equation (Equation 6) is
R_b= C_rP_R.. (Equation 6 ')
In the above (Equation 6 '), the matrix of the left-hand side term of (Equation 6) is represented by R_bAnd the matrix of the first term on the right side is C_rAnd a matrix composed of m and v as components of the parameter is P_rIs replaced by Here, in the processing to which the least squares method is applied, that is, in the following equation (Equation 7), E_RP that minimizes_RAsk for.
[0079]
[Equation 17]
E_R= (R_b-C_rP_R) (R_b-C_rP_R)^T.. (Equation 7)
[0080]
E_R= MIN (minimum value) P_RIf both sides of the above equation (Equation 7) are differentiated and set to 0 in order to obtain the following equation, E_R= MIN (minimum value) P_RIs calculated.
[0081]
(Equation 18)
(DE / dC_r) =-C_r ^T(R_b-C_rP_R) = 0 (Equation 8)
P_R= (C_r ^TC_r)^-1C_r ^TR_b.. (Equation 9)
[0082]
According to the above equations (Equation 8) and (Equation 9), E_R= MIN (minimum value) P_RIs calculated. Similarly, for the luminance of G and B,_bWhen the same expansion as the expansion of Expressions (Expression 3) to (Expression 6) and (Expression 7) is performed on (Expression 4) and (Expression 5), the following Expressions (Expression 10) and (Expression 11) are obtained. In the following equations (Equation 10) and (Equation 11), E_G, And E_BP that minimizes_GAnd P_BAsk for.
[0083]
[Equation 19]
E_G= (G_b-C_rP_G) (G_b-C_rP_G)^T.. (Equation 10)
E_B= (B_b-C_rP_B) (B_b-C_rP_B)^T.. (Equation 11)
[0084]
E_G= MIN (minimum value) P_G, And E_B= MIN (minimum value) P_BIf both sides of the above equations (Equation 10) and (Equation 11) are differentiated and set to 0 in order to obtain the following equation (Equation 12), the following equation (Equation 12) As shown in (Equation 13), E_G= MIN (minimum value) P_G, And E_B= MIN (minimum value) P_BIs calculated.
[0085]
(Equation 20)
P_G= (C_r ^TC_r)^-1C_r ^TG_b.. (Equation 12)
P_B= (C_r ^TC_r)^-1C_r ^TB_b.. (Equation 13)
[0086]
here,
R_b= [R_b1, R_b2, ... R_bN]
G_b= [G_b1, G_b2, ... G_bN]
B_b= [B_b1, B_b2, ... B_bN]
And
C_rIs the determinant of the first term on the right side of the above equation (Equation 6), which is a determinant based on values obtained from a plurality of color data of the reference video obtained by shooting the reference chart, and is known. Therefore, P is calculated based on the equations (Equation 8), (Equation 12) and (Equation 13)._R, P_G, P_BIs calculated. That is, the parameter m₁₁~ M₃₃, V₁~ V₃Can be requested. Parameter P_R, P_G, P_BIs expressed as in the following equations (Equation 14), (Equation 15), and (Equation 16).
[0087]
(Equation 21)

[0088]
This parameter m₁₁~ M₃₃, V₁~ V₃Is set as a parameter (reference-reference) 252 shown in FIG. 2 and is applied to the correction processing of the reference image in the photographing processing.
[0089]
That is, for the reference video 223 acquired by the reference camera 222 shown in FIG. 2, the conversion based on the parameter is performed on the color Cs of the reference video 223. That is, the parameter m obtained by the above processing₁₁~ M₃₃And a parameter v₁~ V₃With a 3 × 1 vector V consisting of
Cs' = MC + V
To obtain the corrected reference video 242.
[0090]
The above-described processing is processing for correcting one reference image for one reference image. However, in the case of a multi-viewpoint image using N cameras, the reference camera 1 is compared with the reference camera 2 To N, that is, N-1 parameters are obtained, and similar correction (conversion) is executed based on each parameter to obtain a corrected reference video.
[0091]
It is not always necessary to set one specific camera as the reference camera. For example, first, the reference camera 1 is first determined, and a parameter for matching the adjacent camera 2 to the reference camera 1 is calculated. Is a process in which the camera 2 is set as the reference camera 2, and a process of calculating a parameter for matching the adjacent camera 3 to the reference camera 2 is sequentially and repeatedly executed, and a process of calculating a correction parameter between the respective cameras is performed. May be performed.
[0092]
Even when the multi-view video is shot by cameras having different characteristics by the above-described processing, an image having uniform characteristics (brightness, color, white balance) is generated by image correction after shooting, and reproduced. Smooth video reproduction in the viewpoint switching process at the time is enabled.
[0093]
[(2) Camera calibration processing]
The above-described processing is an example of processing in which a captured image is corrected using parameters and converted to an image having unified characteristics. Next, a description will be given of a camera calibration processing method for adjusting between cameras before photographing a subject.
[0094]
In order to adjust the brightness and color of N cameras that capture a multi-viewpoint image using a conventional camera adjustment method, an illumination environment for adjustment is first constructed. For example, illumination is applied to a reference plate such as a gray scale so that the illuminance is uniform, the positional relationship between the illumination and the camera is fixed, and white balance, brightness, and color are adjusted using a vector scope. This is repeated for N-1 vehicles.
[0095]
On the other hand, the calibration processing to which the present invention is applied adjusts the camera based on photographing data of the reference chart using the light box and the correction color filter described above with reference to FIG. The processing is performed so that the images captured by the cameras have uniform characteristics (brightness, color, and white balance).
[0096]
With reference to FIG. 7, a description will be given of a multi-viewpoint video shooting processing sequence including camera calibration processing executed as camera adjustment. First, in step S201, one reference camera is determined, and white balance, brightness, and the like are determined. For this camera, the white balance, brightness, color, focus, zoom, etc., of the camera are set according to the shooting environment in the same manner as in the related art.
[0097]
Next, in step S202, this camera is set as a reference camera, and a reference chart is photographed by both the reference camera and the reference camera. That is, the light box with the correction color filter described with reference to FIGS. 3 and 4 is brought into close contact with the lens filter to capture an image.
[0098]
In step S203, based on the reference chart photographing data of both the reference camera and the reference camera, difference data between the two photographing data is obtained. That is, for N colors of the reference chart (N = 10 in the reference chart of FIG. 3), the RGB luminance of each color in the reference chart photographing data of both the reference camera and the reference camera is obtained, and the calibration data is stored in the memory. Save as
[0099]
In the case where shooting is performed with N cameras installed, N-1 pieces of difference data are obtained.
[0100]
Next, in step S204, adjustment of the camera (reference camera), that is, camera calibration is performed based on the difference data. Next, in step S205, a plurality of cameras after the adjustment are arranged in accordance with the shooting, for example, arranged in a horizontal row or in an arc, and a multi-view video is shot. In step S206, the corrected image data is stored in the memory.
[0101]
By this processing, the characteristics (brightness, color, and white balance) of the image captured by each camera are unified.
[0102]
A specific example of the calibration process will be described with reference to the flowchart of FIG. This flow adjusts the R gain, B gain, and aperture as adjustment processing of the reference camera, and the reference camera sets the R gain, B gain, and aperture to the camera setting values as initial values as initial values. It has been set.
[0103]
First, in step S301, n-color RGB values (R_bi, G_bi, B_bi) (0 ≦ i ≦ n). This means that, for the image captured by the reference camera of the reference chart composed of a plurality of colors described with reference to FIG. 3 and others, each color, for example, 10 colors in the case of the reference chart shown in FIG. ２５255, G = 0０〜255, and B = 0０〜255.
[0104]
Next, in step S302, the n-color RGB values (R) of the reference chart photographed image data of the reference camera to be adjusted._ri, G_ri, B_ri) (0 ≦ i ≦ n). For example, in the case of the reference chart shown in FIG. 3, the process is to acquire 10 colors and RGB values of each color, for example, values of R = 0 to 255, G = 0 to 255, and B = 0 to 255.
[0105]
In step S303, calibration data (R_bi, G_bi, B_bi) And calibration data (R_ri, G_ri, B_ri) And RGB difference data for each color: R_ri-R_bi, G_ri-G_bi, B_ri-B_biAsk for. This result is displayed on a monitor, for example. Here, i represents the number of the color of the correction color filter composed of n colors, and takes a value from 0 to n-1.
[0106]
Next, difference data: R_ri-R_bi, G_ri-G_bi, B_ri-B_biThe following equations (Equation 17), (Equation 18), and (Equation 19) are obtained as the averages of the absolute values of the above, that is, the average absolute values of the difference data.
[0107]
(Equation 22)

[0108]
Further, the absolute value | R of the difference data_ri-R_biR for the color with |_ri-R_bi, That is, +,-or 0 as rFlag, | G_ri-G_biG for the color with |_ri-G_bi, Ie, +,-or 0 as gFlag, | B_ri-B_biB for the color with |_ri-B_bi, I.e., +,-or 0 is bFlag. These results are displayed on a monitor.
[0109]
Next, in step S304, the G calculated in step S303_ri-G_biOf the absolute value of g is compared with a predetermined threshold value (thresh). If g ≧ threshold, the process advances to step S305 to execute aperture adjustment of the reference camera. For example, when the threshold is set to 1, when g ≧ 1, the aperture of the reference camera is adjusted.
[0110]
In step S305, aperture adjustment is performed according to the sign of gFlag. If gFlag> 0, the adjustment in the direction to narrow the aperture is executed, and if gFlag <0, the adjustment in the direction to open the aperture is executed. Through these processes, adjustment is performed so that g is within a certain threshold, for example, within ± 1. When g <threshold, the process proceeds to step S306.
[0111]
The adjustment process in step S305 may be performed by the user with reference to the monitor data. However, the adjustment processing device specifies the adjustment amount corresponding to the value of gFlag to the adjustment unit of the camera. A configuration may be adopted in which a command is transmitted and the camera automatically adjusts the aperture according to the command.
[0112]
In step S306, the R calculated in step S303_ri-R_biOf the absolute values of: r and B_ri-B_biIt is determined whether or not the average of the absolute values of b is equal to or smaller than a predetermined threshold (thresh). If r ≧ threshold or b ≧ threshold, the process proceeds to step S307, and at least one of the R gain and the B gain of the reference camera is adjusted. For example, when the threshold is set to 1, when either r ≧ 1 or b ≧ 1, the aperture adjustment of the reference camera is executed.
[0113]
In step S307, color adjustment is performed according to the signs of rFlag and bFlag. Specifically, the R gain or the B gain is adjusted. If r ≧ threshold and rFlag> 0, adjustment in the negative direction is performed so as to reduce the R gain. If r ≧ threshold and rFlag <0, the adjustment in the + direction is performed so as to increase the R gain.
[0114]
If b ≧ threshold, and bFlag> 0, adjustment in the negative direction is performed so as to reduce the B gain. If b ≧ threshold and bFlag <0, the adjustment in the + direction is performed so as to increase the B gain.
[0115]
Note that the adjustment processing in step S307 may be performed by the user with reference to monitor data, as in the case of the aperture adjustment in step S305 described above. However, the adjustment processing apparatus may send rFlag or rFlag to the adjustment unit of the camera. An adjustment processing command specifying an adjustment amount according to the value of bFlag may be transmitted, and the camera may automatically adjust the R gain or the B gain according to the command.
[0116]
When such adjustment (camera calibration) is performed and all of g <threshold (thresh), r <threshold (thresh), and b <threshold (thresh) are satisfied, the adjustment ends. As a result, the reference camera is adjusted to have substantially the same characteristics (brightness, color, and white balance) as those of the reference camera. An image in which characteristics (brightness, color, and white balance) are unified is generated, and smooth video reproduction in viewpoint switching processing during reproduction is possible.
[0117]
Note that the processing described with reference to FIG. 8 is an example of processing in which one reference camera is adjusted for one reference camera. However, when N cameras are used, the reference camera 1 On the other hand, the adjustment of N-1 reference cameras is executed. In addition, as an adjustment processing method, an adjustment method in which only one fixed reference camera out of N is set and another reference camera is matched with the set one reference camera, and an adjusted camera is used. There is a method of setting as a new reference camera, and sequentially setting another reference camera while changing the reference camera.
[0118]
In the camera calibration described with reference to FIG. 8, a camera calibration processing device that performs feedback control in which the aperture adjustment in step S305 and the R gain and B gain adjustment in step S307 are automatically executed by inputting a command to the camera. Will be described with reference to FIG.
[0119]
The memory 524 stores calibration data as reference chart photographing data obtained by the adjusted reference camera, that is, n-color RGB values (R_bi, G_bi, B_bi) (0 ≦ i ≦ n) are stored. This means that, for the image captured by the reference camera of the reference chart composed of a plurality of colors described with reference to FIG. 3 and others, each color, for example, 10 colors in the case of the reference chart shown in FIG. ２５255, G = 0０〜255, B = 0０〜255.
[0120]
The reference camera 510 photographs the reference chart 511 under the irradiation light of the light box 512, and inputs photographed data to the arithmetic unit 523 via the A / D converter 521. The input data is an n-color RGB value (R_ri, G_ri, B_ri) (0 ≦ i ≦ n). For example, in the case of the reference chart shown in FIG. 3, RGB values of 10 colors and 10 colors, for example, values of R = 0 to 255, G = 0 to 255, and B = 0 to 255 are input.
[0121]
In the calculation unit 523, the reference camera data from the A / D conversion unit 521: (R_ri, G_ri, B_ri) And reference camera data stored in the memory 524: (R_bi, G_bi, B_bi), Each value described in step S303 shown in the processing flow of FIG._ri-R_bi, G_ri-G_bi, B_ri-B_bi, And the respective values of rFlag, gFlag, and bFlag are calculated.
[0122]
The calculation result is output to the camera control unit 525, and the camera control unit 525 calculates the value of g, that is, G_ri-G_biThe aperture adjustment amount is determined based on the average value of the absolute values of and the value of gFlag, and the determined aperture adjustment amount is adjusted for the reference camera 510. Further, the camera control unit 525 determines the value of r, that is, R_ri-R_biThe R gain adjustment amount is determined based on the average value of the absolute values of R and the value of rFlag, the determined R gain adjustment amount is adjusted for the reference camera 510, and the value of b, ie, B_ri-B_biThe B gain adjustment amount is determined based on the average value of the absolute values of bFlag and bFlag, and the adjustment of the determined B gain adjustment amount is performed on the reference camera 510.
[0123]
That is, the camera control unit 525 sets a control amount for the reference camera based on the calibration information calculated by the calculation unit 523, and outputs a control command based on the set control amount to the reference camera 510. Note that the camera control unit 525 has a memory that stores a threshold (see steps S304 and S306 in FIG. 8) to be compared with the average absolute value of the difference data, and the comparison result between the average absolute value of the difference data and the threshold. , And a control command based on the set control amount is output to the reference camera 510 only when the necessity of camera adjustment is determined.
[0124]
Further, the camera calibration processing device further outputs the calibration information for the reference camera 510 calculated by the calculation unit 523 to the display unit 526 and displays the same, so that the user can display the calibration information of the reference camera 510 based on the display data. Adjustment, that is, aperture adjustment, gain adjustment, and the like can be performed. Each value described in step S303 shown in the processing flow of FIG._ri-R_bi, G_ri-G_bi, B_ri-B_biIs displayed, and the respective values of rFlag, gFlag, and bFlag are displayed. The user can make adjustments based on the numerical data, and can make adjustments while confirming a numerical change corresponding to the adjustment amount. .
[0125]
Although the figure shows an example of control processing for one reference camera, this adjustment processing can be executed in parallel for a plurality of reference cameras if reference charts having the same characteristics can be prepared. .
[0126]
As described above, each of (1) the captured image correction process and (2) the camera calibration process has been described. However, either of these two processes may be executed, or both processes may be executed. Good. That is, a configuration in which the captured image correction process (1) is performed on an image captured using the camera that has performed the camera calibration process (2).
[0127]
According to the configuration of the present invention, by using the light box with the color filter for correction as an intermediary, it is possible to adjust the N-1 cameras without creating an illumination environment for adjustment. Thus, the time required for the camera adjustment processing or the image correction processing can be reduced. In addition, conventional processing using a vectorscope can only adjust the luminance characteristics of a single camera. For example, in a video production system using a computer, not in a single camera but in an entire imaging system including an A / D converter. Although there is a disadvantage that adjustment is difficult, in the configuration of the present invention, it is possible to perform adjustment or image correction of the camera based on an image captured by the camera and acquired through the A / D converter. It is possible to adjust not the camera alone but the entire photographing system including the A / D converter. Also, reference camera data: (R_ri, G_ri, B_ri) And reference camera data: (R_bi, G_bi, B_bi) Can be adjusted while looking at numerical data of, for example, 0 to 255, so that adjustment between cameras or image correction can be easily performed without any experience required for using a vectorscope.
[0128]
In the above-described embodiment, an example in which a light box with a color filter is closely attached to a lens cap and photographed is described as a configuration for acquiring photographing data of a reference chart in a short time assuming an actual photographing site. However, if there is no problem with time constraints or space, instead of sticking a light box with a color filter on the lens cap, use a dark curtain as a means to block ambient light, and use the same illumination for all cameras. Create an environment, take a reference chart with no change in camera state between shooting and calibration, acquire calibration data from the captured image, and perform image correction or camera adjustment It is possible.
[0129]
The present invention has been described in detail with reference to the specific embodiments. However, it is obvious that those skilled in the art can modify or substitute the embodiment without departing from the spirit of the present invention. That is, the present invention has been disclosed by way of example, and should not be construed as limiting. In order to determine the gist of the present invention, the claims described at the beginning should be considered.
[0130]
The series of processes described in the specification can be executed by hardware, software, or a combined configuration of both. When processing by software is executed, the program recording the processing sequence is installed in a memory of a computer built in dedicated hardware and executed, or the program is stored in a general-purpose computer capable of executing various processing. It can be installed and run.
[0131]
For example, the program can be recorded in a hard disk or a ROM (Read Only Memory) as a recording medium in advance. Alternatively, the program is temporarily or permanently stored in a removable recording medium such as a flexible disk, a CD-ROM (Compact Disc Only), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, or a semiconductor memory. It can be stored (recorded). Such a removable recording medium can be provided as so-called package software.
[0132]
The program may be installed on the computer from the above-described removable recording medium, or may be wirelessly transferred from a download site to the computer, or may be transferred to the computer via a wired network such as a LAN (Local Area Network) or the Internet. The computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
[0133]
The various processes described in the specification may be executed not only in chronological order according to the description, but also in parallel or individually according to the processing capability of the device that executes the processes or as necessary. Further, in this specification, a system is a logical set configuration of a plurality of devices, and is not limited to a device having each configuration in the same housing.
[0134]
【The invention's effect】
As described above, according to the configuration of the present invention, even when a multi-view video is captured by cameras having different characteristics, the characteristics (brightness, color, white balance, ) Is generated, and smooth video reproduction in the viewpoint switching process at the time of reproduction becomes possible.
[0135]
According to the configuration of the present invention, based on reference image data obtained by shooting a reference chart having a plurality of different pieces of luminance information with a reference camera and reference image data obtained by shooting the reference chart with a reference camera, the reference image data is used as a reference image. Since the correction parameters for matching the data are calculated, and the correction processing of the image data shot by the reference camera is executed based on the calculated correction parameters, the characteristics of the image captured by the reference camera and the reference camera (Brightness, color, and white balance) are unified based on the parameters, and smooth video reproduction in the viewpoint switching processing at the time of reproducing a multi-viewpoint image becomes possible.
[0136]
Furthermore, according to the configuration of the present invention, in a configuration in which a multi-view video is captured by a plurality of different cameras, reference image data obtained by capturing a reference chart having a plurality of different pieces of luminance information by a reference camera, and a reference camera The absolute value average value of the difference data corresponding to each of the plurality of different pieces of luminance information included in the reference image data captured by the reference image data, and the sign when the difference data is maximized are calculated as calibration information for the reference camera. Since the configuration is such that calibration is performed as adjustment processing of the reference camera based on the information, an image captured by the adjusted camera becomes an image with uniform characteristics (brightness, color, white balance), Smooth video reproduction in the viewpoint switching process at the time of reproducing a multi-viewpoint image is enabled.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration example of a multi-viewpoint video capturing system.
FIG. 2 is a diagram illustrating a parameter acquisition process and an image correction process based on parameters executed in the image correction process to which the present invention is applied.
FIG. 3 is a diagram illustrating a configuration example of a reference chart illuminator configured by a reference chart and a light box.
FIG. 4 is a diagram illustrating an example of a configuration in which a reference chart irradiation body constituted by a reference chart and a light box is photographed by a camera.
FIG. 5 is a diagram showing an execution flow of parameter acquisition processing and image correction processing based on parameters.
FIG. 6 is a diagram illustrating a data acquisition area in a reference chart.
FIG. 7 is a diagram showing a camera adjustment (camera calibration) process and a photographing process flow based on reference chart photographing data.
FIG. 8 is a flowchart illustrating in detail a camera adjustment (camera calibration) process based on reference chart photographing data.
FIG. 9 is a diagram illustrating a configuration example in which a camera adjustment (camera calibration) process based on reference chart photographing data is executed by feedback control.
[Explanation of symbols]
101 subject
111 camera
121 A / D converter
122 memory
123 Multi-view video generation / display processing unit
211 reference chart
212 reference camera
213 Reference video
214 reference video data
222 ° reference camera
223 Reference video
224 reference video data
232 reference video
Reference image after 242 correction
251 conversion processor
252 parameter
261 correction processing unit
301 reference chart
302 Light Box
303 reference chart irradiation body
311 Camera
312 lens cover
411 standard chart
412 color setting area
413 Data acquisition area
510 reference camera
511 standard chart
512 light box
521 A / D converter
523 arithmetic unit
524 memory
525 camera control section
526 display

Claims (20)

An image processing apparatus that performs image correction processing of a multi-view image captured by a plurality of cameras,
Matching the reference image data calculated based on reference image data obtained by shooting a reference chart having a plurality of different pieces of luminance information with a reference camera and reference image data obtained by shooting the reference chart with a reference camera, to the reference image data An image processing apparatus comprising: a correction processing unit that performs correction processing of image data captured by the reference camera based on correction parameters for the image processing. The correction parameter is
The reference image data included in the reference image data obtained by photographing the reference chart with the reference camera is C ′ = [R _b , G _b , B _b ], and the reference image data included in the reference image data is C = [R _r , G _r , B _r ],
2. The image processing apparatus according to claim 1, wherein the correction parameter is a correction parameter constituted by M and V values obtained as C '= MC + V. The correction parameter is
[R _bi , G _bi , B _bi ] (i = 1 to N) is used as the N luminance data included in the reference image data obtained by photographing the reference chart with the reference camera, and the N luminance data included in the reference image data When the data is [R _ri , G _ri , B _ri ] (i = 1 to N),
R, G, respectively _P R correction parameters relating to _B, P G, _{P B} as,

The value indicated by the
However, in the above formula, _Cr , _Rb , _Gb , and _Bb are:

_And set as _{R b = C r P R,} G, similar relationship also B, _ie, the determinant with the correspondence between _{G b = C r P G,} B b = C r P B,
The image processing apparatus according to claim 1, wherein The reference chart is composed of a plurality of different chromatic colors and a plurality of different achromatic colors, and the correction parameter is for matching the reference image data with the reference image data for each of the plurality of chromatic and achromatic colors. 2. The image processing apparatus according to claim 1, wherein the image processing apparatus is set as a parameter. A camera calibration processing device that performs a calibration process as an adjustment process of a plurality of cameras that capture a multi-view image,
Based on reference image data obtained by shooting a reference chart having a plurality of different pieces of luminance information with a reference camera and reference image data obtained by shooting the reference chart with a reference camera, the plurality of reference images included in the reference image data and the reference image data. An arithmetic unit that calculates the absolute value average value of the difference data corresponding to each of the different pieces of luminance information, and the sign when the difference data is maximized, as calibration information for the reference camera;
A camera calibration processing device comprising: The average absolute value of the difference data is
[R _bi , G _bi , B _bi ] (i = 1 to N) is used as the N luminance data included in the reference image data obtained by photographing the reference chart with the reference camera, and the N luminance data included in the reference image data When the data is [R _ri , G _ri , B _ri ] (i = 1 to N),

The camera calibration processing device according to claim 5, wherein the value is a value represented by: The camera calibration processing device further includes:
The camera calibration processing device according to claim 5, further comprising a display unit that displays calibration information for the reference camera calculated by the calculation unit. The camera calibration processing device further includes:
Having a memory storing reference image data of the reference chart taken by a reference camera,
The apparatus according to claim 1, wherein the calculation unit is configured to execute a process of calculating the calibration information based on the reference image data input from a reference camera and reference image data input from the memory. 6. The camera calibration processing device according to 5. The camera calibration processing device further includes:
A control unit that sets a control amount for a reference camera based on the calibration information calculated by the calculation unit, and outputs a control command based on the set control amount to the reference camera. 6. The camera calibration processing device according to 5. The camera calibration processing device further includes:
Having a memory storing a threshold value to be compared with the average absolute value of the difference data,
10. The camera calibration processing apparatus according to claim 9, wherein the control unit determines whether or not camera adjustment is required based on a comparison result between the average absolute value of the difference data and the threshold. . An image processing method for performing image correction processing of a multi-view image captured by a plurality of cameras,
The reference image data calculated based on reference image data obtained by shooting a reference chart having a plurality of different pieces of luminance information with a reference camera and reference image data obtained by shooting the reference chart with a reference camera is made to match the reference image data. Performing correction processing of image data captured by the reference camera based on correction parameters for
An image processing method comprising: The correction parameter is
The reference image data included in the reference image data obtained by photographing the reference chart with the reference camera is C ′ = [R _b , G _b , B _b ], and the reference image data included in the reference image data is C = [R _r , G _r , B _r ],
12. The image processing method according to claim 11, wherein the correction parameter is a correction parameter composed of M and V values obtained as C '= MC + V. The correction parameter is
[R _bi , G _bi , B _bi ] (i = 1 to N) is used as the N luminance data included in the reference image data obtained by photographing the reference chart with the reference camera, and the N luminance data included in the reference image data When the data is [R _ri , G _ri , B _ri ] (i = 1 to N),
R, G, respectively _P R correction parameters relating to _B, P G, _{P B} as,

The value indicated by the
However, in the above formula, _Cr , _Rb , _Gb , and _Bb are:

_And set as _{R b = C r P R,} G, similar relationship also B, _ie, the determinant with the correspondence between _{G b = C r P G,} B b = C r P B,
The image processing method according to claim 11, wherein A camera calibration processing method of performing a calibration process as an adjustment process of a plurality of cameras that capture a multi-view image,
Based on reference image data obtained by shooting a reference chart having a plurality of different pieces of luminance information with a reference camera and reference image data obtained by shooting the reference chart with a reference camera, the plurality of reference images included in the reference image data and the reference image data. An arithmetic step of calculating the absolute value average value of the difference data corresponding to each of the different pieces of luminance information, and the sign when the difference data is maximized, as calibration information for the reference camera,
A camera calibration processing method comprising: The average absolute value of the difference data is
[R _bi , G _bi , B _bi ] (i = 1 to N) is used as the N luminance data included in the reference image data obtained by photographing the reference chart with the reference camera, and the N luminance data included in the reference image data When the data is [R _ri , G _ri , B _ri ] (i = 1 to N),

The camera calibration processing method according to claim 14, wherein the value is a value represented by: The camera calibration processing method further includes:
15. The camera calibration processing method according to claim 14, further comprising a display step of displaying calibration information for the reference camera calculated in the calculation step. The camera calibration processing method further includes:
A control step of setting a control amount for a reference camera based on the calibration information calculated in the calculation step, and outputting a control command based on the set control amount to the reference camera. 15. The camera calibration processing method according to 14. 18. The method according to claim 17, wherein the control step includes a step of executing a comparison process between an average absolute value of the difference data and a threshold value, and determining whether camera adjustment is necessary based on the comparison result. Camera calibration processing method. A computer program for performing image correction processing of a multi-view image captured by a plurality of cameras,
The reference image data calculated based on reference image data obtained by shooting a reference chart having a plurality of different pieces of luminance information with a reference camera and reference image data obtained by shooting the reference chart with a reference camera is made to match the reference image data. Performing correction processing of image data captured by the reference camera based on correction parameters for
A computer program comprising: A computer program for performing a calibration process as an adjustment process of a plurality of cameras that capture a multi-view image,
Based on reference image data obtained by shooting a reference chart having a plurality of different pieces of luminance information with a reference camera and reference image data obtained by shooting the reference chart with a reference camera, the plurality of reference images included in the reference image data and the reference image data. An arithmetic step of calculating the absolute value average value of the difference data corresponding to each of the different pieces of luminance information, and the sign when the difference data is maximized, as calibration information for the reference camera,
A computer program comprising:

Images