JP2018509797A - カラーバランスをとるための画像処理装置および方法 - Google Patents

Abstract

第1の画像（11a）と少なくとも第2の画像（12a）のカラーバランスを行う画像処理装置（10）が提供される。画像処理装置（10）は、カラーバランス決定部（20）とカラーバランス計算部（21）とを含む。カラーバランス決定部（20）は、第1および第2の画像（11a、12a）の基準画素値に基づいてコスト関数を最小化することによって、第1および第2の画像（11a、12a）の少なくとも2つのゲイン係数を含むグローバル・ゲイン・ベクトル（t）を決定する。第1および第2の画像の基準画素は、2つの画像の共有カラーシーンを表す。カラーバランス計算部（21）は、第1の画像（11a）のゲイン係数に基づいて第1の画像（11a）のカラーバランスを行い、第2の画像（12a）のゲイン係数に基づいて第2の画像（12a）のカラーバランスを行う。

Description

本発明は、各々、画像のカラーバランスを行うイメージングシステム、画像処理装置および画像処理方法に関する。

異なる特性を有するカメラ間で確実に色域のバランスをとる能力は、多くの応用領域での大きな需要である。パノラマ画像形成、すなわち画像連結を処理するときには、人間の視覚系は隣接する画像の色差を見つけるのが非常にうまいので、カラーバランスのとれた入力画像を利用できることが特に重要である。

例示的なカラーバランスをとる方法は、次の2つのカテゴリに分類される：
・ハードウェア・カメラ・レジスタ較正、
・カメラ画像の後処理。

第1のカテゴリの方法は、何らかの所望の色応答を得るために、内部カメラレジスタ、例えばゲイン、露光などを修正する。ハードウェア較正の一般的な概念は、一般的なオプティマイザを用いて、カラーチャートのターゲット画像とカメラ画像の色の間で最も一致する状態を求めて各カメラのハードウェアレジスタ値の空間を探索することである。カメラごとに、オプティマイザはレジスタ値を繰り返し調整し、画像を取得し、コストを算出する。オプティマイザは、典型的に、すべてのカメラがターゲット画像に十分接近するまで、または前の反復から大きな改善がなくなるまで動作する。しかし、ハードウェア・カメラ・レジスタ較正は、典型的に、その範囲と精度が多くの場合不適切であるため、色の一貫性を達成するために十分でない。

したがって、取得後の画像が処理され、色較正が行われる第2のカテゴリの方法が望ましい。それらの方法は、より高精度の品質向上を提供する。

加えて、カメラ内部レジスタ較正と画像後処理の品質向上の両方が適用される、上記2つの分類の組み合わせが考えられ得る。

しかし、上述の例示的なカラーバランスをとる手法は、次のようないくつかの問題がある。
・それらは、標準化されたカラーサンプルを含む既知のターゲットに関してのみ色較正を行う。
・システムが再較正されなければならない場合、例えば、作業環境の照明条件が変化した場合に、予め定義されたパターンを用いる必要性は柔軟性の欠如を意味する。
・較正されるカメラはオーバーラップしている視野を有する必要がある。カラーバランスをとらなければならないカメラ間のオーバーラップ領域は、色較正パターンを含めるのに十分な大きさでなければならない。または、較正パターンがないならば、色域のバランスをとることではなく、2個のカメラ間で色合わせのみが行われる。
・共有視野が最小化される大規模なカメラアレイでは、この要件は厳しい制約である。

本発明では、カメラ対間で色域のバランスをとるための新規な技術が提案される。この装置および方法は、基準色パターンの使用を要求せず、有利には、非常に高速な解の推定のために、オンラインシナリオでのリアルタイム制約、例えば、リアルタイムに動的にカラーバランスをとることに対処することを可能にする単純な線形モデルを仮定する。

・公知のカラーチャートの使用、およびカメラ間でバランスをとるために視野の一部を共有する必要性に関する、前に説明した例示的な手法の問題を克服するために、以下の技術が提案される。

・生産の不正確さ、ノイズ、および他の要因により、全く同じモデル／製造者のカメラでさえも、異なる色域を有する可能性が高い。

・目標は、各カメラの色域を次のように変換することである。
・変換された色域との間の差が最小化される。
・各カメラの変換された色域が基準色に向かう。

・提案される手法は、カラーチャートの使用を必要としない。すなわち、基準色の知識は必ずしもバランスをとることに要求されない。

・この手法は、各カメラが、必ずしもカラーチャートのものではなく、同じシーンの画像を取り込むことを要求するのみである。

・入力／出力は線形モデルで表され、非常に高速なパラメータ推定、および短い処理時間を可能とする。

・高速処理は、動的環境照明条件のバランスをとるためのリアルタイムの連続色較正を可能とする。

したがって、本発明の目的は、較正ターゲットの使用を要求せずに正確な色較正を可能とする装置および方法を提供することである。

この目的は、装置の請求項1の特徴、システムの請求項9の特徴、および方法の請求項13の特徴によって解決される。さらにこれは、関連するコンピュータプログラムの請求項14の特徴によって解決される。従属クレームには、さらなる展開を含む。

本発明の第1の態様によれば、少なくとも、第1のカメラによって記録された第1の画像と第2のカメラによって記録された第2の画像のカラーバランスを行うための画像処理装置が提供される。この画像処理装置は、カラーバランス決定部と、カラーバランス計算部とを含む。カラーバランス決定部は、第1の画像の基準画素値および第2の画像の基準画素値に基づいて所定のコスト関数を最小化することによって、第1の画像の少なくとも1つのゲイン係数および第2の画像の少なくとも1つのゲイン係数を含むグローバル・ゲイン・ベクトルを決定するように適合される。そこでの第1および第2の画像基準画素は、第1および第2の画像の共有カラーシーンを表す。カラーバランス計算部は、第1の画像の少なくとも1つのゲイン係数に基づいて第1の画像のカラーバランスを行い、第2の画像の少なくとも1つのゲイン係数に基づいて第2の画像のカラーバランスを行うように適合される。これにより、カラーチャートまたは基準パターンの画像を取り込む必要なくカラーバランスを行うことが可能である。

第1の態様の第1の実装形態によれば、第1の画像および第2の画像は、各々、少なくとも3つのカラーチャンネルを含む。バランス決定部は、そして、画像のカラーチャンネルごとに別々のコスト関数を最小化するように適合される。カラーバランス計算部は、そして、カラーチャンネルごとに別々に第1の画像のカラーバランスを行い、カラーチャンネルごとに別々に第2の画像のカラーバランスを行うように適合される。これにより、カラー画像を処理することが可能である。

第1の態様の第2の実装形態によれば、第1の画像と第2の画像の共有カラーシーンは、少なくとも1つの同じ物体または領域を取り込んだシーンである。少なくとも1つの同じ物体または領域は、第1のカメラと第2のカメラの共有視野内にある。これにより、よりいっそう正確なカラーバランスを行うことが可能である。

その代わりに、第1の態様の第3の実装形態では、第1の画像と第2の画像の共有カラーシーンは、少なくとも1つの同じ色を取り込んだシーンである。少なくとも1つの同じ色は、第1のカメラと第2のカメラの共有視野内にはない。これにより、それぞれのカメラが共有視野を有さない場合でさえ、カラーバランスを行うことが可能である。

第1の態様の第4の実装形態によれば、この画像処理装置は、少なくとも、第1のカメラによって記録された第1の画像と、第2のカメラによって記録された第2の画像と、第3のカメラによって記録された第3の画像のカラーバランスを行うように適合される。カラーバランス決定部は、カラーバランス計算部が、結果としてカラーバランスがとられた第1の画像およびカラーバランスがとられた第2の画像となる、第1の画像と第2の画像のカラーバランスを行った後で、第2のカラーバランスがとられた画像の基準画素値および第3の画像の基準画素値に基づいて所定のコスト関数を最小化することによって、第2の画像の少なくとも1つのさらなるゲイン係数および第3の画像の少なくとも1つのゲイン係数を含むさらなるグローバル・ゲイン・ベクトルを決定するように適合される。カラーバランスがとられた第2の画像および第3の画像の基準画素は、カラーバランスがとられた第2の画像と第3の画像の共有カラーシーンを表す。カラーバランス計算部は、そして、第2の画像の少なくとも1つのさらなるゲイン係数に基づいて第2のカラーバランスがとられた画像のカラーバランスを行い、第3の画像の少なくとも1つのゲイン係数に基づいて第3の画像のカラーバランスを行うように適合される。これにより、2つより多くの画像のカラーバランスを行うことが可能である。

第1の態様の第5の実装形態によれば、所定のコスト関数を最小化することは、
式、
y_j ^（1）＝a^（1）・x_j （1）、
y_j ^（2）＝a^（2）・x_j （2）
を立てることであって、jは画素番号であり、y_j ^（1）は、第1のカメラによって測定された画素番号jの値であり、y₁ ^（2）は、第2のカメラによって測定された画素番号jの値であり、x_jは、画素jの基準色値であり、a^（1）は、y_j ^（1）に到達するようにx_jに乗じなければならないゲイン係数であり、a^（2）は、y_j ^（2）に到達するようにx₁に乗じなければならないゲイン係数である、前記立てることと、
式（1）にa^（2）を乗じ、式（2）にa^（1）を乗じて、
y_j ^（1）・a^（2）＝a^（1）・x_j・a^（2）、
y_j ^（2）・a^（1）＝a^（2）・x_j・a^（1）、
を得ることと、
結果として得られる式を減算して、
y_j ^（1）・a^（2）−y_j ^（2）・a^（1）＝0
を得ることと、
コスト関数を
J’＝［y_j ^（1） y_j ^（2）］［a^（2） −a^（1）］^T （3）
として決定することと、
を含む。

第1の態様の第6の実装形態によれば、所定のコスト関数を最小化することは、
J’＝［yj（1） yj（2）］［a（2） −a（1）］^T、
を最小化することを含み、jは画素番号であり、yj（1）は、第1のカメラによって測定された画素番号jの値であり、y1（2）は、第2のカメラによって測定された画素番号jの値であり、a（1）は、yj（1）と等しくなるように画素jの基準色値に乗じなければならないゲイン係数であり、a（2）は、yj（2）と等しくなるように画素jの基準色値に乗じなければならないゲイン係数である。

これにより、非常に効率的にカラーバランスをとることが可能である。

第1の態様の第5または第6の実装形態による第7の実装形態では、グローバル・ゲイン・ベクトルtは、
J＝Y・t （4）
を得るために仮定され、
Y＝［y^（1） y^（2）］ （5）、
y^（n）＝［y₁ ^（n） … y_i ^（n） … y_l ^（n）］^T （6）、および
t＝［a^（2） −a^（1）］^T （7）
であり、
tは、グローバル・ゲイン・ベクトルであり、Yは、第1のカメラおよび第2のカメラによって単一の画素について測定された値yのベクトルであり、nは、画素番号であり、iは、中間画素番号であり、lは、最後の画素番号であり、所定のコスト関数を最小化することは、
行列R_yy＝Y^T・Yの非自明な零空間を、好ましくは、R_yyの固有値分解を行うことによって決定することであって、

であり、Ryyは、その主対角線に固有値を有する対角行列であり、

は、ユニタリ行列である、前記決定することと、
最小固有値

を有する固有ベクトルを、第1のカラーバランスをとる情報

および第2のカラーバランスをとる情報

として用いることであって、

である、前記用いることと、
を含む。

これにより、よりいっそう高い正確さのカラーバランスをとることが実現され得る。

第1の態様の第7の実装形態による第8の実装形態では、カラーバランスを行うことは、
第1のカメラの画素値y_j ^（1）をゲイン係数

で除することと、
第2のカメラの画素値y_j ^（2）をゲイン係数

で除することと、
を含む。これにより、低計算量のカラーバランスをとることが可能である。

本発明の第2の態様によれば、第1の態様または第1の態様の実装形態のうちの1つによる画像処理装置と、少なくとも、第1のカメラおよび第2のカメラとを含むイメージングシステムが提供される。これにより、画像を記録し、画像のカラーバランスをとることが可能である。

第2の態様の第1の実装形態によれば、第1のカメラと第2のカメラとは、少なくとも部分的に共有された視野を有する。これにより、特に正確なカラーバランスを行うことが可能である。

第2の態様の第2の実装形態によれば、本イメージングシステムは、第3のカメラを含む。これにより、2個より多くのカメラによる画像記録および記録された画像のカラーバランスを行うことが可能である。

第2の態様の第2の実装形態による第3の実装形態では、カメラの各々は、少なくとも1個の別のカメラと少なくとも部分的に共有された視野を有する。2個より多くのカメラも用いて、これにより、特に正確なカラーバランスをとることを実現することが可能である。

本発明の第3の態様によれば、第1のカメラによって記録された第1の画像と第2のカメラによって記録された第2の画像のカラーバランスを行うための画像処理方法が提供される。本方法は、第1の画像の基準画素値および第2の画像の基準画素値に基づいて所定のコスト関数を最小化することによって、第1の画像の少なくとも1つのゲイン係数および第2の画像の少なくとも1つのゲイン係数を含むグローバル・ゲイン・ベクトルを決定するステップを含み、第1および第2の画像の基準画素は、第1および第2の画像の共有カラーシーンを表す。さらに、本方法は、第1の画像の少なくとも1つのゲイン係数に基づいて第1の画像のカラーバランスを行うステップと、第2の画像の少なくとも1つのゲイン係数に基づいて第2の画像のカラーバランスを行うステップとを含む。これにより、基準パターンの必要なく、低計算量の高い正確さのカラーバランスを行うことが可能である。

第3の態様の第1の実装形態によれば、第1の画像および第2の画像は、各々、少なくとも3つのカラーチャンネルを含む。画像のカラーチャンネルごとに別々のコスト関数が最小化される。第1の画像と第2の画像のカラーバランスをとることは、カラーチャンネルごとに別々に行われる。これにより、カラー画像を処理することが可能である。

第3の態様の第2の実装形態によれば、第1の画像と第2の画像の共有カラーシーンは、少なくとも1つの同じ物体または領域を取り込んだシーンである。少なくとも1つの同じ物体または領域は、第1のカメラと第2のカメラの共有視野内にある。これにより、よりいっそう正確なカラーバランスを行うことが可能である。

その代わりに、第3の態様の第3の実装形態では、第1の画像と第2の画像の共有カラーシーンは、少なくとも1つの同じ色を取り込んだシーンである。少なくとも1つの同じ色は、第1のカメラと第2のカメラの共有視野内にはない。これにより、それぞれのカメラが共有視野を有さない場合でさえ、カラーバランスを行うことが可能である。

第3の態様の第4の実装形態によれば、少なくとも、第1のカメラによって記録された第1の画像と、第2のカメラによって記録された第2の画像と、第3のカメラによって記録された第3の画像のカラーバランスが行われる。結果としてカラーバランスがとられた第1の画像およびカラーバランスがとられた第2の画像となる、第1の画像と第2の画像のカラーバランスが行われた後で、第2のカラーバランスがとられた画像の基準画素値および第3の画像の基準画素値に基づいて所定のコスト関数を最小化することによって、第2の画像の少なくとも1つのさらなるゲイン係数および第3の画像の少なくとも1つのゲイン係数を含むさらなるグローバル・ゲイン・ベクトルが決定される。カラーバランスがとられた第2の画像および第3の画像の基準画素は、カラーバランスがとられた第2の画像と第3の画像の共有カラーシーンを表す。そして、第2の画像の少なくとも1つのさらなるゲイン係数に基づいて、第2のカラーバランスがとられた画像のカラーバランスが行われる。第3の画像の少なくとも1つのゲイン係数に基づいて、第3の画像のカラーバランスが行われる。これにより、2つより多くの画像のカラーバランスを行うことが可能である。

第3の態様の第5の実装形態によれば、所定のコスト関数を最小化するステップは、
式、
y_j ^（1）＝a^（1）・x_j （1）、
y_j ^（2）＝a^（2）・x_j （2）
を立てるステップであって、jは画素番号であり、y_j ^（1）は、第1のカメラによって測定された画素番号jの値であり、y₁ ^（2）は、第2のカメラによって測定された画素番号jの値であり、x_jは、画素jの基準色値であり、a^（1）は、y_j ^（1）に到達するようにx_jに乗じなければならないゲイン係数であり、a^（2）は、y_j ^（2）に到達するようにx₁に乗じなければならないゲイン係数である、ステップと、
式（1）にa^（2）を乗じ、式（2）にa^（1）を乗じて、
y_j ^（1）・a^（2）＝a^（1）・x_j・a^（2）、
y_j ^（2）・a^（1）＝a^（2）・x_j・a^（1）、
を得るステップと、
結果として得られる式を減算して、
y_j ^（1）・a^（2）−y_j ^（2）・a^（1）＝0
を得るステップと、
コスト関数を
J’＝［y_j ^（1） y_j ^（2）］［a^（2） −a^（1）］^T （3）
として求めるステップと、
を含む。

第3の態様の第6の実装形態によれば、所定のコスト関数を最小化するステップは、
コスト関数を
J’＝［yj（1） yj（2）］［a（2） −a（1）］^T
として決定するステップであって、jは画素番号であり、yj（1）は、第1のカメラによって測定された画素番号jの値であり、y1（2）は、第2のカメラによって測定された画素番号jの値であり、a（1）は、yj（1）と等しくなるように画素jの基準色値に乗じなければならないゲイン係数であり、a（2）は、yj（2）と等しくなるように画素jの基準色値に乗じなければならないゲイン係数である、ステップ
を含む。

これにより、非常に効率的にカラーバランスをとることが可能である。

第3の態様の第5または第6の実装形態による第7の実装形態では、グローバル・ゲイン・ベクトルtは、
J＝Y・t （4）、
Y＝［y^（1） y^（2）］ （5）、
y^（n）＝［y₁ ^（n） … y_i ^（n） … y_l ^（n）］T （6）、
t＝［a^（2） −a^（1）］^T （7）
を得るために仮定され、tは、グローバル・ゲイン・ベクトルであり、Yは、第1のカメラおよび第2のカメラによって単一の画素について測定された値yのベクトルであり、nは、画素番号であり、iは、中間画素番号であり、lは、最後の画素番号であり、所定のコスト関数を最小化するステップは、
行列R_yy＝Y^T・Yの非自明な零空間を、好ましくは、R_yyの固有値分解を行うことによって決定するステップであって、

であり、Ryyは、その主対角線に固有値を有する対角行列であり、

は、ユニタリ行列である、ステップと、
最小固有値

を有する固有ベクトルを、第1のカラーバランスをとる情報

および第2のカラーバランスをとる情報

として用いるステップであって、

である、ステップと、
を含む。

これにより、よりいっそう高い正確さのカラーバランスをとることが実現され得る。

第3の態様の第7の実装形態による第8の実装形態によれば、カラーバランスを行うステップは、
第1のカメラの画素値y_j ^（1）をゲイン係数

で除するステップと、
第2のカメラの画素値y_j ^（2）をゲイン係数

で除するステップと、
を含む。これにより、低計算量のカラーバランスをとることが可能である。

本発明の第4の態様によれば、コンピュータプログラムがコンピュータ上で動作するときに前に説明した方法を行うためのプログラムコードを有するコンピュータプログラムが提供される。

一般に、本出願において説明されるすべての構成、装置、要素、ユニットおよび手段などは、ソフトウェアまたはハードウェア要素またはそれらの任意の種類の組み合わせによって実現され得ることに留意されなければならない。さらに、装置は、プロセッサであってもよく、プロセッサを含んでいてもよく、本出願において説明される要素、ユニット、および手段の機能は、1つ以上のプロセッサにおいて実現されてよい。本出願において説明される様々なエンティティによって行われるすべてのステップ、ならびに様々なエンティティによって行われると説明される機能は、それぞれのエンティティがそれぞれのステップおよび機能を行うように適合され、または構成されることを意味することが意図される。以下の説明または特定の実施形態において、一般のエンティティによって行われる特定の機能またはステップが、その特定のステップまたは機能を行うそのエンティティの特定の詳細な要素の説明に反映されていない場合でさえ、それらの方法および機能を、ソフトウェアまたはハードウェア要素、またはそれらの任意の種類の組み合わせに関して実現され得ることが当業者には明らかなはずである。

以下で、添付図面を参照して、本発明の実施形態に関して本発明が詳細に説明される。

ブロック図において本発明の第2の態様によるイメージングシステムの一実施形態の概要を示す。 ブロック図において本発明の第1の態様による画像処理装置の実施形態を示す。 ブロック図において本発明の第1の態様のさらなる実施形態を示す。 ブロック図において本発明の第1の態様の別の実施形態を示す。 フローチャートにおいて本発明の第3の態様の実施形態を示す。

最初に、我々は、図1に沿って、本発明の第1および第2の態様によるイメージングシステムおよび画像処理装置の全体的な構成および機能を示す。さらに、図2〜図4に沿って、我々は、本発明のそれぞれの態様の構成および機能について詳しく説明する。最後に、図5に関して、第3の態様による本発明の方法の実施形態の機能が説明される。異なる図における同様なエンティティおよび参照番号は、部分的に省略された。

図1には、本発明の第2の態様による本発明のイメージングシステム1の実施形態が示されている。イメージングシステム1は、複数のカメラ11、12、13、14と、本発明の第1の態様による画像処理装置10とを含む。カメラ11〜14は、画像処理装置10に接続されている。カメラ11、12、13、14によって生成された画像11a、12a、13a、14aは、カメラ11〜14によって画像処理装置10に渡される。画像処理装置10は、個々の画像11a〜14aのカラーバランスを行い、カラーバランスがとられた画像11b、12b、13b、14bを生成する。カラーバランスを行うために、画像11a〜14aの間で、基準画素を表す少なくとも1つのカラーシーンを共有する画像の対が形成される。それぞれの対のカラーバランスが行われる。対のカラーバランスが行われた後で、対のすでにカラーバランスがとられた画像間でさらなるカラーバランスが行われる。2つより多くの画像のカラーバランスをとることについては、図3および図4に関する詳しい説明が参照される。画像の対のカラーバランスをとることに関するさらなる詳細については、図2に関する詳しい説明が参照される。

図2には、本発明の第1の態様の画像処理装置10の実施形態が示されている。画像処理装置10は、バランス決定部20を含み、それにカラーバランス計算部21が接続されている。

第1のカメラ11によって生成された第1の画像11aおよび第2のカメラ12によって生成された第2の画像12aが、カラーバランス決定部20に提供される。第1の画像11aおよび第2の画像12aは、各々、第1および第2の画像の共有カラーシーンを表す基準画素を含む。カラーシーンは、空間内の1つ以上の視点から測定された自然界のビューのスペクトル輝度である。共有カラーシーンは、第1のカメラ11と第2のカメラ12の共有ビュー内の少なくとも1つの同じ物体もしくは領域を取り込んだ、または共有視野内にない可能性のある少なくとも1つの同じ色（例えば、一様に青い空の異なる領域）を取り込んだシーンもしくはシーン部分である。

カラーバランス決定部20は、基準画素値に基づいて所定のコスト関数を最小化することによって、第1の画像11aの少なくとも1つのゲイン係数

および第2の画像12aの少なくとも1つのゲイン係数

を含むグローバル・ゲイン・ベクトルtを決定する。これらのゲイン係数は、カラーバランス計算部21に渡され、カラーバランス計算部21は、第1の画像11aの画素値をゲイン係数

で除することによって、かつ第2の画像12aの画素値をゲイン係数

で除することによって、第1の画像11aおよび第2の画像12aのカラーバランスを行う。カラーバランス計算部21によるこの計算から得られるものが、第1のカラーバランスがとられた画像11bおよび第2のカラーバランスがとられた画像12bである。

以下に、カラーバランス決定部20およびカラーバランス計算部21内で行われる詳細な数学的処理が示される。

複数のJ＝2個のカメラを仮定すると、各チャンネルにおける各カメラの出力は、画素集合

として与えられ、

であり、x_iは、基準画像のi番目の画素（例えば、物体の「真の」色値）を表し、x_i∈｛x_i,r，x_i,g，x_i,b｝であり、インデックスr、g、bは、それぞれ、カメラのカラーチャンネル、赤、緑、青に対応し、または、｛HSV｝、｛YUV｝などのようないくつかの他のカラーベースにも対応する。
上付き文字はカメラインデックスを表す。したがって、

であり、j∈｛1，…，J｝である。

画素x_iで表される共通基準マルチチャンネル画像に合わせてカメラを較正するために、我々はチャンネルゲイン係数a_iを特定する。

各カメラの出力にその他のカメラのゲインを乗じることは、同一の数量に導く。よって、我々の手法では、我々は、数量

を最小化する。
仮定するモデルでは、グローバル・チャンネル・ゲイン係数を基準画像の全画素について決定しなければならない。
J：＝Y・t （4）
と定義する。
Y：＝［y^（1） y^（2）］ （5）
であり、
y^（n）：＝［y₁ ^（n） … y_i ^（n） …y_l ^（n）］^T （6）
であり、
ベクトルは画素値を用いて作られ、｛・｝^Tは、転置演算子を表し、

である。
ベクトルのエネルギーを最小化することは、行列R_YY：＝Y^TYの非自明な零空間を決定することと等価である。我々は、これを、好ましくは、R_YYの固有値分解によって決定する。

であり、

は、その主対角線に固有値を有する対角行列であり、

は、ユニタリ行列である。
零空間は、ゼロ値の固有値

に対応する固有ベクトルによって張られる。

実際には、カメラノイズにより、固有値は、一般に、すべてノイズとは異なる。したがって、我々は最小固有値を有する固有ベクトルを選択する。この固有ベクトルは、そして、tの推定値と解釈される。両方のカメラを較正するために。出力は、

における推定ゲイン係数で除される。

結果として得られるゲイン係数は、
i）カメラ補正された色が最小限の差を有し、
ii）補正された色が、未知であるが共通の基準色に近づく
ように推定される。

共有カラーシーンが、第1の画像と第2の画像が必ず視野を共有していることを意味しないことに留意することが重要である。共有カラーシーンは、単に、どの画像も同一のオブジェクトまたは領域を表し、これにより視野を共有している、または画像が、視野を共有せず、単にほぼ一致した色の物体を表すことを意味する。

さらに、カラー画像の場合には、上述のプロセスが画像の異なるカラーチャンネルごとに別々に行われることに留意することが重要である。これは、画像のカラーチャンネルごとに別々のコスト関数が最小化され、画像の個々のカラーチャンネルごとに別々のカラーバランスが行われることを意味する。

図3には、上記のプロセスを2つより多くの画像に拡張したものが示されている。特に、図3は、画像処理装置10の異なる実施形態を示す。ここでの画像処理装置10も、カラーバランス決定部20と、カラーバランス計算部21とを含む。例えば、図2に示すような第1の画像11aと第2の画像12aのカラーバランスがすでに行われている。第2の画像12aのゲイン係数に対応するゲイン係数

がすでに利用可能である。カラーバランス決定部20は、第2の画像12aと、第3のカメラ13によって生成された第3の画像13aと、ゲイン係数

とを供給され、それらから第3の画像13aのさらなるゲイン係数

を算出する。このゲイン係数は、第3の画像13aと共にカラーバランス計算部21に渡される。これらから、カラーバランスがとられた第3の画像13bが計算される。以下に、簡単に記載されたプロセスの基礎となる詳細な数学的処理が示される。
2個のカメラのすべてのチャンネルについて我々はすでに

および

という推定値を有すると仮定する。

を制約することによってチャンネルゲイン

の推定値を得るために、我々は零空間を決定する問題

であり、
R_YY’：＝［y^（1） y^（3）］^T［y^（1） y^（3）］ （10）

を再度考察する。
（9）を用いて、我々は

を得る。未知のベクトルの第2の係数が0であることを保証するR_YY’の逆数については、我々は

を用いる。
r_yy,11、行列R_YY’の第1行第1列の要素を用いて。よって、

であり、ベクトルbにおけるa^（1）について、前のステップからの推定値

を用いた。

対のカメラから2つの画像が与えられ、チャンネルゲイン係数は、
i）カメラ補正された色が最小限の差を有し、
ii）補正された色が基準色に近づく
ように推定される。較正自体は、最終的に、画素を推定チャンネル・ゲイン・パラメータで除することによって行われる。

さらに、図4には、2個より多くのカメラの較正を可能にする、提案されるイメージングシステム1の全体構造が再度示されている。ここでは、画像11a、12a、13a、40a、41aが画像処理装置10に提供され、画像処理装置10は対ごとのカラーバランスを行う。この例では、画像11aおよび12aは、カラーバランスがとられた画像11b、12bを生成するために用いられる。得られたゲイン係数

は、結果としてカラーバランスがとられた第3の画像13bとなる、第3の画像13aの増分のカラーバランスを行うために用いられる。したがって、それはさらなる画像40a、41を用いて継続される。

図5には、本発明の第3の態様の実施形態が示されている。任意選択の第1のステップ100で、少なくとも第1および第2の画像11a、12aが記録される。画像は、前に説明したような共有カラーシーンを含む。

第2のステップ101で、第1の画像11aのゲイン係数

および第2の画像12aのゲイン係数

を含むグローバル・ゲイン・ベクトルtが、第1および第2の画像11a、12aからの基準画素値に基づいてコスト関数を最小化することによって決定される。

第3のステップ102で、第1および第2の画像11a、12aのカラーバランスが、それぞれのゲイン係数

を用いて行われる。

個々のステップの詳細については、図1〜4に関する詳しい説明も参照される。

本発明は、例に限定されず、特に特定の数の画像に限定されない。また本発明は、視野がオーバーラップしている画像にも、オーバーラップしていない画像にも限定されない。例示的な実施形態の特性は、任意の組み合わせにおいて用いられ得る。

本発明は、ここでの様々な実施形態に関して説明された。しかし、図面、本開示および添付の請求項の考察から、特許請求される発明の実施においてこの技術分野の当業者によって、開示された実施形態への他の変形が理解され、実現され得る。請求項において、「含む（comprising）」という語は他の要素またはステップを排除せず、不定冠詞「a」または「an」は複数を排除しない。単一のプロセッサまたは他のユニットが、請求項に記載されたいくつかの項目の機能を満たし得る。ある手段が普通に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせを有利に用いることができないことを示さない。

本発明の実施形態は、少なくとも、コンピュータシステムのようなプログラム可能な装置上で動作するときに本発明による方法のステップを行い、または、プログラム可能な装置が本発明による装置もしくはシステムの機能を行うことを可能にするためのコード部分を含む、コンピュータシステム上で動作するためのコンピュータプログラムにおいて実現され得る。

コンピュータプログラムは、特定のアプリケーションプログラムおよび／またはオペレーティングシステムのような命令のリストである。コンピュータプログラムは、例えば、サブルーチン、関数、プロシージャ、オブジェクトメソッド、オブジェクトインプリメンテーション、実行可能アプリケーション、アプレット、サーブレット、ソースコード、オブジェクトコード、共有ライブラリ／動的ロードライブラリ、および／またはコンピュータシステム上での実行のために設計された他の命令のシーケンス、のうちの1つ以上を含み得る。

コンピュータプログラムは、内部でコンピュータ読み取り可能な記憶媒体上に記憶され、またはコンピュータ読み取り可能な伝送媒体を介してコンピュータシステムに送信されてもよい。コンピュータプログラムの全部または一部が、情報処理システムに永続的に、取り外し可能に、または遠隔で結合された、一時的または非一時的なコンピュータ読み取り可能な媒体上で提供されてもよい。コンピュータ読み取り可能な媒体は、例えば、限定しないが、単にいくつか挙げると、任意の数の以下のもの、ディスクおよびテープ記憶媒体を含む磁気記憶媒体、コンパクトディスク媒体（例えば、CD−ROM、CD−Rなど）およびデジタル・ビデオ・ディスク記憶媒体のような光記憶媒体、FLASHメモリ、EEPROM、EPROM、ROMのような半導体ベースのメモリユニットを含む不揮発性メモリ記憶媒体、強磁性デジタルメモリ、MRAM、レジスタ、バッファまたはキャッシュ、メインメモリ、RAMなどを含む揮発性記憶媒体、コンピュータネットワーク、ポイントツーポイント電気通信設備、および搬送波伝送媒体を含むデータ伝送媒体、を含み得る。

コンピュータプロセスは、典型的には、実行する（動作する）プログラムまたはプログラムの部分、現在のプログラム値および状態情報、ならびにプロセスの実行を管理するためにオペレーティングシステムによって用いられるリソースを含む。オペレーティングシステム（OS）は、コンピュータのリソースの共有を管理し、それらのリソースをアクセスするために用いられるインターフェースをプログラマに提供するソフトウェアである。オペレーティングシステムは、システムデータおよびユーザ入力を処理し、システムのユーザおよびプログラムへのサービスとして、タスクおよび内部システムリソースを割り当て、管理することによって応答する。

コンピュータシステムは、例えば、少なくとも1つの処理ユニット、関連付けられたメモリ、および複数の入力／出力（I/O）装置を含み得る。コンピュータプログラムを実行するとき、コンピュータシステムは、コンピュータプログラムに従って情報を処理し、I/O装置を介して結果としての出力情報を生成する。

ここで論じられる接続は、例えば、中間装置を介して、それぞれのノード、ユニットもしくは装置から、またはそれぞれのノード、ユニット、もしくは装置に信号を転送するのに適した任意の種類の接続であり得る。したがって、違ったふうに示し、または言及しない限り、接続は、例えば、直接接続であっても間接接続であってもよい。接続は、単一の接続、複数の接続、単方向接続、または双方向接続であるものとして図示され、または説明され得る。しかし、異なる実施形態は接続の実装を変え得る。例えば、双方向接続ではなく、別々の単方向接続が用いられてもよく、その逆も同様である。また、複数の接続は、複数の信号を逐次に、または時間多重化方式で転送する単一の接続で置き換えられ得る。同様に、複数の信号を搬送する単一の接続は、これらの信号のサブセットを搬送する様々な異なる接続に分離され得る。したがって、信号を転送するために多くの選択肢が存在する。

この技術分野の当業者は、論理ブロック間の境界は単なる例示であること、代替の実施形態は、論理ブロックまたは回路要素をマージし、または様々な論理ブロックまたは回路要素に対して代替の機能分解を課し得ることを理解するであろう。よって、ここで示すアーキテクチャは単なる例示であること、実際には同じ機能を実現する他の多くのアーキテクチャが実装され得ることが理解されるべきである。

よって、同じ機能を実現する構成要素の任意の配置は、所望の機能が実現されるように有効に「関連付け」される。したがって、特定の機能を実現するために組み合わされたここでの任意の2つの構成要素は、アーキテクチャにも中間構成要素にも関係なく、所望の機能が実現されるように互いに「関連付け」されると考えられ得る。同様に、このように関連付けされた任意の2つの構成要素は、所望の機能を実現するために互いに「動作可能に接続され」または「動作可能に結合され」ていると見られ得る。

さらに、この技術分野の当業者は、上述の動作の間の境界は単なる例示であると理解するであろう。複数の動作は、単一の動作に結合されてもよく、単一の動作は、追加的な動作として分散されてもよく、動作は、少なくとも部分的に時間的にオーバーラップして実行されてもよい。さらに、代替の実施形態は特定の動作の複数のインスタンスを含んでもよく、動作の順序は様々な他の実施形態において変更されてもよい。

また例えば、例または例の一部は、物理的回路の、または任意の適切な種類のハードウェア記述言語におけるような物理回路に変換可能な論理表現の、ソフトまたはコード表現として実現され得る。

また本発明は、プログラム可能でないハードウェアにおいて実装された物理装置またはユニットに限定されず、また、本出願で「コンピュータシステム」と一般に表される、メインフレーム、ミニコンピュータ、サーバ、ワークステーション、パーソナルコンピュータ、ノートパッド、携帯情報端末、電子ゲーム、自動車および他の組み込みシステム、携帯電話機および他の様々な無線機器のような、適切なプログラムコードに従って動作することによって所望の装置機能を行うことができるプログラム可能な装置またはユニットにおいて適用され得る。

10 画像処理装置
11 第1のカメラ
12 第2のカメラ
13 第3のカメラ
14 カメラ
20 カラーバランス決定部
21 カラーバランス計算部

第1の態様の第5の実装形態によれば、所定のコスト関数を最小化することは、
式、
y_j ^（1）＝a^（1）・x_j （1）、
y_j ^（2）＝a^（2）・x_j （2）
を立てることであって、jは画素番号であり、y_j ^（1）は、第1のカメラによって測定された画素番号jの値であり、y _j ^（2）は、第2のカメラによって測定された画素番号jの値であり、x_jは、画素jの基準色値であり、a^（1）は、y_j ^（1）に到達するようにx_jに乗じなければならないゲイン係数であり、a^（2）は、y_j ^（2）に到達するようにx _j に乗じなければならないゲイン係数である、前記立てることと、
式（1）にa^（2）を乗じ、式（2）にa^（1）を乗じて、
y_j ^（1）・a^（2）＝a^（1）・x_j・a^（2）、
y_j ^（2）・a^（1）＝a^（2）・x_j・a^（1）、
を得ることと、
結果として得られる式を減算して、
y_j ^（1）・a^（2）−y_j ^（2）・a^（1）＝0
を得ることと、
コスト関数を
J’＝［y_j ^（1） y_j ^（2）］［a^（2） −a^（1）］^T （3）
として決定することと、
を含む。

第1の態様の第6の実装形態によれば、所定のコスト関数を最小化することは、
J’＝［yj（1） yj（2）］［a（2） −a（1）］^T、
を最小化することを含み、jは画素番号であり、yj（1）は、第1のカメラによって測定された画素番号jの値であり、yj（2）は、第2のカメラによって測定された画素番号jの値であり、a（1）は、yj（1）と等しくなるように画素jの基準色値に乗じなければならないゲイン係数であり、a（2）は、yj（2）と等しくなるように画素jの基準色値に乗じなければならないゲイン係数である。

第3の態様の第5の実装形態によれば、所定のコスト関数を最小化するステップは、
式、
y_j ^（1）＝a^（1）・x_j （1）、
y_j ^（2）＝a^（2）・x_j （2）
を立てるステップであって、jは画素番号であり、y_j ^（1）は、第1のカメラによって測定された画素番号jの値であり、y _j ^（2）は、第2のカメラによって測定された画素番号jの値であり、x_jは、画素jの基準色値であり、a^（1）は、y_j ^（1）に到達するようにx_jに乗じなければならないゲイン係数であり、a^（2）は、y_j ^（2）に到達するようにx _j に乗じなければならないゲイン係数である、ステップと、
式（1）にa^（2）を乗じ、式（2）にa^（1）を乗じて、
y_j ^（1）・a^（2）＝a^（1）・x_j・a^（2）、
y_j ^（2）・a^（1）＝a^（2）・x_j・a^（1）、
を得るステップと、
結果として得られる式を減算して、
y_j ^（1）・a^（2）−y_j ^（2）・a^（1）＝0
を得るステップと、
コスト関数を
J’＝［y_j ^（1） y_j ^（2）］［a^（2） −a^（1）］^T （3）
として求めるステップと、
を含む。

第3の態様の第6の実装形態によれば、所定のコスト関数を最小化するステップは、
コスト関数を
J’＝［yj（1） yj（2）］［a（2） −a（1）］^T
として決定するステップであって、jは画素番号であり、yj（1）は、第1のカメラによって測定された画素番号jの値であり、yj（2）は、第2のカメラによって測定された画素番号jの値であり、a（1）は、yj（1）と等しくなるように画素jの基準色値に乗じなければならないゲイン係数であり、a（2）は、yj（2）と等しくなるように画素jの基準色値に乗じなければならないゲイン係数である、ステップ
を含む。

Claims (14)

1. 少なくとも、第1のカメラ（11）によって記録された第1の画像（11a）と第2のカメラ（12）によって記録された第2の画像（12a）のカラーバランスを行うための画像処理装置（10）であって、カラーバランス決定部（20）とカラーバランス計算部（21）とを含み、
   前記カラーバランス決定部（20）は、前記第1の画像（11a）の基準画素値および前記第2の画像（12a）の基準画素値に基づいて所定のコスト関数を最小化することによって、前記第1の画像（11a）の少なくとも1つのゲイン係数
   

   

   および前記第2の画像（12a）の少なくとも1つのゲイン係数
   

   

   を含むグローバル・ゲイン・ベクトル（t）を決定するように適合され、前記第1および第2の画像（11a、12a）の基準画素は、前記第1および第2の画像（11a、12a）の共有カラーシーンを表し、
   前記カラーバランス計算部（21）は、
   前記第1の画像（11a）の前記少なくとも1つのゲイン係数
   

   

   に基づいて前記第1の画像（11a）のカラーバランスを行い、
   前記第2の画像（12a）の前記少なくとも1つのゲイン係数
   

   

   に基づいて前記第2の画像（12a）のカラーバランスを行う、
   ように適合された、画像処理装置（10）。
2. 前記第1の画像（11a）および前記第2の画像（12a）は、各々、少なくとも3つのカラーチャンネルを含み、
   前記カラーバランス決定部（20）は、前記画像（11a、12a）のカラーチャンネルごとに別々のコスト関数を最小化するように適合され、
   前記カラーバランス計算部（21）は、
   カラーチャンネルごとに別々に前記第1の画像（11a）のカラーバランスを行い、
   カラーチャンネルごとに別々に前記第2の画像（12a）のカラーバランスを行う、
   ように適合された、請求項1に記載の画像処理装置（10）。
3. 前記第1の画像（11a）と前記第2の画像（12a）の共有カラーシーンは、少なくとも1つの同じ物体または領域を取り込んだシーンであり、
   前記少なくとも1つの同じ物体または領域は、前記第1のカメラ（11）と前記第2のカメラ（12）の共有された視野内にある、請求項1に記載の画像処理装置（10）。
4. 前記第1の画像（11a）と前記第2の画像（12a）の共有カラーシーンは、少なくとも1つの同じ色を取り込んだシーンであり、
   前記少なくとも1つの同じ色は、前記第1のカメラ（11）と前記第2のカメラ（12）の共有された視野内にはない、請求項1に記載の画像処理装置（10）。
5. 前記画像処理装置（10）は、少なくとも、前記第1のカメラ（11）によって記録された前記第1の画像（11a）と、前記第2のカメラ（12）によって記録された前記第2の画像（12a）と、第3のカメラ（13）によって記録された第3の画像（13a）のカラーバランスを行うように適合され、
   前記カラーバランス決定部（20）は、前記カラーバランス計算部（20）が、結果としてカラーバランスがとられた第1の画像（11b）およびカラーバランスがとられた第2の画像（12b）となる、前記第1の画像（11a）と前記第2の画像（12a）のカラーバランスを行った後で、
   前記カラーバランスがとられた第2の画像（12b）の基準画素値および前記第3の画像（13a）の基準画素値に基づいて所定のコスト関数を最小化することによって、前記第2の画像（12a）の少なくとも1つのさらなるゲイン係数および前記第3の画像（13a）の少なくとも1つのゲイン係数を含むさらなるグローバル・ゲイン・ベクトルを決定する
   ように適合され、
   前記カラーバランスがとられた第2の画像（12b）および前記第3の画像（13a）の前記基準画素は、前記カラーバランスがとられた第2の画像（12b）と前記第3の画像（13a）の共有カラーシーンを表し、
   前記カラーバランス計算部（21）は、
   前記第2の画像（12a）の前記少なくとも1つのさらなるゲイン係数に基づいて、前記カラーバランスがとられた第2の画像（12b）のカラーバランスを行い、
   前記第3の画像（13a）の前記少なくとも1つのゲイン係数に基づいて、前記第3の画像（13a）のカラーバランスを行う
   ように適合された、請求項1に記載の画像処理装置（10）。
6. 前記所定のコスト関数を最小化することは、
   J’＝［y_j ^（1） y_j ^（2）］［a^（2） −a^（1）］^T、
   を最小化することを含み、
   jは画素番号であり、y_j ^（1）は、前記第1のカメラによって測定された画素番号jの値であり、y₁ ^（2）は、前記第2のカメラによって測定された画素番号jの値であり、a^（1）は、y_j ^（1）と等しくなるように画素jの基準色値に乗じなければならないゲイン係数であり、a^（2）は、y_j ^（2）と等しくなるように前記画素jの前記基準色値に乗じなければならないゲイン係数である、請求項1に記載の画像処理装置（10）。
7. グローバル・ゲイン・ベクトル（t）は、
   J＝Y・t （4）
   を得るために仮定され、
   Y＝［y^（1） y^（2）］ （5）、
   y^（n）＝［y₁ ^（n） … y_i ^（n） … y_l ^（n）］^T （6）、および
   t＝［a^（2） −a^（1）］^T （7）
   であり、
   tは、前記グローバル・ゲイン・ベクトルであり、Yは、第1のカメラおよび前記第2のカメラによって単一の画素について測定された値yのベクトルであり、nは、画素番号であり、iは、中間画素番号であり、lは、最後の画素番号であり、
   前記所定のコスト関数を最小化することは、
   行列R_yy＝Y^T・Yの非自明な零空間を、好ましくは、R_yyの固有値分解を行うことによって決定することであって、
   

   

   であり、Ryyは、その主対角線に固有値を有する対角行列であり、
   

   

   は、ユニタリ行列である、前記決定することと、
   最小固有値
   

   

   を有する固有ベクトルを、第1のカラーバランスをとる情報
   

   

   および第2のカラーバランスをとる情報
   

   

   として用いることであって、
   

   

   である、前記用いることと、
   を含む、請求項6に記載の画像処理装置（10）。
8. 前記カラーバランスを行うことは、
   前記第1のカメラの画素値y_j ^（1）を前記ゲイン係数
   

   

   で除することと、
   前記第2のカメラの画素値y_j ^（1）を前記ゲイン係数
   

   

   で除することと、
   を含む、請求項7に記載の画像処理装置（10）。
9. 請求項1に記載の画像処理装置（10）と、少なくとも、第1のカメラ（11）および第2のカメラ（12）とを含む、イメージングシステム（1）。
10. 前記第1のカメラ（11）および前記第2のカメラ（12）は、少なくとも部分的に共有された視野を有する、請求項9に記載のイメージングシステム（1）。
11. 第3のカメラ（13）を含む、請求項9に記載のイメージングシステム。
12. 前記カメラ（11、12、13、14）の各々は、前記カメラ（11、12、13、14）のさらなる少なくとも1個と少なくとも部分的に共有された視野を有する、請求項11に記載のイメージングシステム。
13. 少なくとも、第1のカメラ（11）によって記録された第1の画像（11a）と第2のカメラ（12）によって記録された第2の画像（12a）のカラーバランスを行うための画像処理方法であって、
    前記第1の画像（11a）の基準画素値および前記第2の画像（12a）の基準画素値に基づいて所定のコスト関数を最小化することによって、前記第1の画像（11a）の少なくとも1つのゲイン係数
    

    

    および前記第2の画像（12a）の少なくとも1つのゲイン係数
    

    

    を含むグローバル・ゲイン・ベクトル（t）を決定するステップ（101）であって、前記第1および第2の画像（11a、12a）の基準画素は、前記第1および第2の画像（11a、12a）の共有カラーシーンを表す、ステップと、
    前記第1の画像（11a）の前記少なくとも1つのゲイン係数
    

    

    に基づいて前記第1の画像（11a）のカラーバランスを行うステップ（102）と、
    前記第2の画像（12a）の前記少なくとも1つのゲイン係数
    

    

    に基づいて前記第2の画像（12a）のカラーバランスを行うステップ（102）と、
    が行われる、画像処理方法。
14. コンピュータプログラムがコンピュータ上で動作するときに請求項13に記載の方法を行うためのプログラムコードを有するコンピュータプログラム。

Images