JP2005532004A - 信号処理方法、信号処理装置、コンピュータプログラムプロダクト、コンピュータシステム、およびカメラ - Google Patents

Abstract

ホワイト補正された輝度復元を基本とし且つスマートグリーンパラメータと称されるフィルタ重みを使用する復元方法が提案されている。サンプル周波数の倍数であっても、光ローパスフィルタが無いカメラの場合でも、エイリアシングが無い輝度信号が得られる。また、このホワイト補正された輝度信号は、信号歪みが無い。提案された方法によれば、適切なローパスフィルタを加える或いは組み合わせることができ、提案された方法は、エイリアシングが無い様々なカラーフィルタおよび輪郭フィルタを実施するのに特に良く適している。ＲＧＢカラー信号は、センサマトリクスの重さ及びカメラの光学的伝達に応じて選択できるフィルタ重みを使用して復元される。

Description

本発明は信号処理方法に関し、該方法では、画像センサのセンサ信号が入力として供給され、この入力がフィルタ内で復元されることにより、更なる処理のための出力が生成される。前記フィルタは、輝度復元フィルタ、赤緑青カラー復元フィルタ、輪郭復元フィルタから成るグループから選択された少なくとも１つの復元フィルタを備えている。前記入力は複数のピクセルを含み、１つのピクセルは、赤、緑、または、青のカラーのうちの少なくとも１つに対して割り当てられた明度を提供する。また、本発明は、特に前記方法を実行する信号処理装置であって、センサ信号を入力として供給する画像センサと、前記入力を復元して更なる処理のための出力を生成するフィルタとを備え、前記フィルタは、輝度復元フィルタ、赤緑青カラー復元フィルタ、輪郭復元フィルタから成るグループから選択された少なくとも１つの復元フィルタを備え、前記入力は複数のピクセルを含み、１つのピクセルは、赤、緑、または青のカラーのうちの少なくとも１つに対して割り当てられた明度を提供する。更に本発明は、信号を処理するように適合されたコンピュータプログラムプロダクト、コンピュータシステム、およびカメラに関する。

例えばビデオ画像および静止画像のデジタル信号画像検出に基づくデジタルカメラは、有利なことに、赤緑青（ＲＧＢ）ベイヤー（Bayer）カラーフィルタアレイを備える画像センサを備えることが可能である。かかるＲＧＢベイヤーカラーフィルタアレイにおいて、各ピクセルは、赤緑青の三原色を所定のパターンで検出する。このパターンは、緑／赤の列と緑／青の列とが交互に形成されて成る。かかるセンサは、原色毎に別個の画像センサを使用するカメラと比較して、解像度が制限される場合がある。しかし、３つの画像センサを有するカメラは、１つのＲＧＢベイヤーセンサよりも、解像度に寄与するピクセルが３倍も多い。殆どの装置においては、３つのセンサを使用すると、その装置のサイズおよびコスト要件のために不利となる。一方、単一の画像センサを使用して、単一のアレイ内、好ましくはＲＧＢベイヤーカラーフィルタアレイ内の三原色赤緑青の全てを検出する場合には、一貫した全体の画像を処理するために、或るカラーの欠けているピクセルを復元する必要がある。ＲＧＢベイヤー構造に起因して、緑、赤、青の各色に関して異なるナイキスト領域により、解像度や、場合よってはエイリアシングパターンが色に依存する結果となる。それにもかかわらず、ＲＧＢベイヤー構造は、最良に実行できる信号カラーアレイのうちの１つである。

信号の質を高めるために、幾つかの補間方式が提供され得る。ＷＯ９９／３９５０９には、従来の補間方法が一般的な言葉で記載されている。この補間方法では、所与のカラーの信号が存在しない位置に中間カラー信号が補間され、所与のカラーの平均が生成される。

更に別の信号処理方法は、ＷＯ９９／０４５５５および未公開の欧州特許出願（出願番号ＥＰ ０１ ２００ ４２２．２）に記載されるように、より有利な補間方式を使用する。しかし、そのような方法は依然として、例えば、自由な輝度信号のエイリアシングまたは更なる信号歪みの影響を受ける。そのような信号歪みにより、特に画像にフォールスカラーが誤って生成されてしまう結果となる。

ＷＯ９９／０４５５５には、ＲＧＢベイヤー画像センサの緑復元方法が緑色の復元のみに関して記載されている。赤色および青色については、従来の方法で復元されている。欠けている緑ピクセルだけが復元される。欠けている緑ピクセルの復元は、３つの特定の変数を記憶するメジアンフィルタによって行なわれる。その変数のうちの２つは緑色より得られ、３番目の変数は、赤色または青色から得られる。この方法の欠点は、高飽和色のエッジに副作用が生じ、郵便切手の縁のように見えるという点である。ＷＯ９９／０４５５５に開示されたアルゴリズムをスマートグリーン１アルゴリズムと称することにする。このアルゴリズムは、解像度の劣化が白色部分付近の高周波領域で最も良く観察され、有色部分付近ではさほど良くは観察されないという概念に基づいている。この概念を念頭に、赤ピクセルおよび青ピクセルの寄与が、欠けている緑ピクセルの復元値の決定に役立つ。スマートグリーン１復元アルゴリズムの目的は、緑色の解像度を最大にすることである。このため、メジアンフィルタアルゴリズムが以下のように適用される。必然的に、赤（Ｒ）または青（Ｂ）ピクセルによって占められる場所が、欠けている緑ピクセルの場所となる。スマートグリーン１復元アルゴリズムにおいて、メジアン値とも称される３×３ピクセルアレイの中心値が、欠けている緑ピクセルの復元のために適用される。その結果、緑に対する簡単なメジアンフィルタが、緑復元の従来の補間法の概念に取って代わるだけである。これに対し、従来の赤および青の復元方法は、簡易な補間法のままである。また、輝度フィルタリング、カラーフィルタリング、輪郭フィルタリングも、緑に対するフィルタリングに制限される。またフォールスカラー検出は、単に、緑復元についての従来の補間法の概念に基づいており、また、従来の赤および青の復元は、簡易な補間法のままである。

このようなスマートグリーン１復元方法は、赤及び／又は青ピクセルの情報を活用して、緑ピクセルの解像度を水平方向および垂直方向に改善する。この従来の方法は、単に同じ場所からの異なるカラーサンプルおよび同じカラーサンプルといった隣り合うカラーサンプルに基づいて、補間されるべきカラーサンプルを補間することに依存している。その結果、復元された信号は、赤及び／又は青のカラーエイリアシングの影響を受ける。垂直および水平方向のカラーエッジは、緑輝度変調を各方向で受け、郵便切手の縁のようになってしまう。

本文中でスマートグリーン２復元アルゴリズムと称されている、ＥＰ０１２００４２２．２に概説された更なる改良によれば、解像度を十分に高めることができたが、前述した信号歪み及び信号エイリアシングの欠点を除くことはできなかった。特にエッジや高周波領域では、隣接するピクセルのカラーが交互するように、特定の信号歪みが依然として見られる。副作用として黒ドットや白ドットも誤って形成される。

本発明は上記のような問題に対処するものであり、本発明の目的は、信号の質が向上されるように、信号処理方法および信号処理装置を明らかにすることであり、また、信号処理のためのコンピュータプログラムプロダクト、計算システムおよび信号処理に適合したカメラを明らかにすることである。特に、信号は、信号歪み及びエイリアシングに関して改善されるべきであるが、また、信号は十分な解像度を提供しなければならない。

方法に関して、上述の目的は序文に記載された方法によって達成される。本発明において、当該方法は、

− 多数のピクセルを備え所定のアレイサイズを有するピクセルアレイに復元フィルタを適用するステップであって、多数のピクセルのうち少なくとも１つのピクセルは、赤のカラーに対して割り当てられた赤ピクセルによって形成され、多数のピクセルのうち少なくとも１つのピクセルは、青のカラーに対して割り当てられた青ピクセルによって形成され、多数のピクセルのうち少なくとも１つのピクセルは、緑のカラーに対して割り当てられた緑ピクセルによって形成されているステップと、
− 赤ピクセル及び／又は青ピクセルを緑パラメータによって重み付けをするステップと、
− アレイの複数のピクセルを１つの出力ピクセルにまとめるステップと、
− 出力ピクセルをアレイにセンタリングするステップと、
をさらに含む。

この装置に関して、上記目的は序文に記載された装置によって達成される。本発明によれば、
− 復元フィルタは、多数のピクセルを備え所定のアレイサイズを有するピクセルアレイに適用されるように構成されており、多数のピクセルのうち少なくとも１つのピクセルは、赤のカラーに対して割り当てられた赤ピクセルによって形成され、多数のピクセルのうち少なくとも１つのピクセルは、青のカラーに対して割り当てられた青ピクセルによって形成され、多数のピクセルのうち少なくとも１つのピクセルは、緑のカラーに対して割り当てられた緑ピクセルによって形成され、
当該装置は、
− 赤ピクセル及び／又は青ピクセルを緑パラメータによって重み付けをする手段と、
− アレイの複数のピクセルを１つの出力ピクセルにまとめる手段と、
− 出力ピクセルをアレイにセンタリングする手段とを更に備えることが提案される。

ここで使用される用語ピクセルとは、特に、信号中のカラーサンプルの値のことをいう。

本発明は、画像の復元についてのフレキシブルな設計というコンセプトを提供するためのアイデアから生じており、また、ホワイト補正される輝度復元に基づいている。この発想は、基本的に、緑パラメータを用いて赤及び／又は青ピクセルの重み付けをすることによって実現される。これに対し、従来の概念は、単に欠けている緑ピクセルの復元に依存している。提案された復元フィルタは、所定のアレイサイズのピクセルアレイに適用されるように設計されている。その結果、フィルタリングは、このアレイ上において有利な方法で実行される。これに対し、従来の方法は、単に隣接するサンプルまたは同じ場所のサンプルに基づく簡単な補間法に依存しており、提案された概念は、アレイの全てのピクセルを考慮に入れた、厳密に適応した復元フィルタを提供する。提案されたホワイト補正という概念は、有利なことに、光ローパスフィルタが無いカメラの場合にサンプル周波数の倍数であっても、結果としてエイリアシングが無い輝度信号をもたらす。更に、このホワイト補正された輝度信号には、信号歪みが無い。提案された基本的な方法および装置は、幅広くかつフレキシブルな拡張性を提供するのに適合している。例えば光学系の光学的伝達及び／又は画像センサのセンサマトリクスに応じて選択され、調整され得る様々な幾つかの復元フィルタを提供することができる。提案された方法および装置は、光ローパスフィルタの独立性をかなり維持することができる。これは、潜在的な顧客についてのカメラ設計が変更する場合には特に有利である。以下に概説するように、提案された方法および装置は、様々な方法且つ簡単な手法で、調整可能なフォールスカラーフィルタ（false-color-filters）を実施することができる。

更に発展した方法の構成は、方法に関する従属請求項に記載されている。提案された装置は、方法を実行するための各手段によって改良されても良い。

特に、第１のフィルタに続く第２のフィルタの中心出力ピクセルは、出力ピクセルと同じ位相で位置決めされ、特に、中心出力ピクセルは、出力ピクセルと同様にアレイの中心位置にセンタリングされることが好ましい。最も好ましくは、これは、追加のポストフィルタ、特に後述するポストフィルタによって実行される。

好ましい構成においては、復元フィルタは輝度復元フィルタによって形成され、アレイの複数のピクセルは、１つのホワイトピクセル内で互いに加えられて出力ピクセルとなる。緑パラメータまたは多くの緑パラメータは、画像センサのセンサマトリクスに基づいて選択されることが最も好ましい。２つの緑パラメータが与えられることが最も好ましい。さらに、緑パラメータまたは多くの緑パラメータは、画像信号を画像センサに供給する光学系の光学的伝達に基づいて選択されても良い。これにより、ＲＧＢカラー信号は、有利なことに、カメラの光学的伝達とセンサマトリクスの重み（heaviness）との組み合わせに応じて選択され得るフィルタの重み付け（filter weights）を用いて復元される。したがって、用途および画像の明確な質の向上が得られる。

１またはそれ以上の好ましい構成に関して前述した輝度復元の基本的な概念は、以下においては、ＲＧＢベイヤー画像センサのための“ホワイト補正された輝度復元”と称され、または、単に“ＲＧＢ復元”と称される。また、緑パラメータは、“スマートグリーンパラメータ”とも称される。提案された方法及びその更に発展した構成によって規定されるように赤ピクセル及び／又は青ピクセルと共にスマートグリーンパラメータを使用することは、“スマートグリーン３”復元方法と称される。また、緑パラメータを決定する特定の方法は、ＷＯ９９／０４５５５およびＥＰ０１２００４２２．２に記載されており、また、スマートグリーン３の範囲内において適用され使用されても良い。

提案された方法の特定の種類のフィルタ配置およびフィルタサイズにより、エイリアシングが無い信号が得られ、特に、緑同士の間の差が無くなる。この詳細については、好ましい実施形態に関する詳細な説明の第２章および第３章において図面を参照しつつ概説する。具体的には、輝度復元フィルタは、２×２または４×４または６×６または好ましい場合にはこれよりも更に大きいアレイサイズを有するアレイのピクセルに適用される。特定の好ましい構成において、輝度復元フィルタは、２×２または４×４のアレイサイズに適用される。フィルタサイズは、光学的伝達に応じて選択されても良い。また、各フィルタごとの重み付けは、別々に選択されても良い。有利なことに、装置のために様々な輝度復元フィルタが提供される。特に、輝度復元フィルタは、光ローパスフィルタリングが全く無く或いは僅かしか無い場合、２×２のアレイサイズに適用される。更に、各輝度復元フィルタは、光ローパスフィルタリングが更に重い（heavier）場合、より大きな４×４または６×６のアレイサイズに適用される。

また、ローパス輝度信号は、有利なことに、４×４または６×６の各アレイサイズに適用されるローパスフィルタによって形成されても良い。有利な構成においては、４×４または６×６のローパスフィルタは、２×２または４×４の輝度復元フィルタとそれぞれ組み合わされて、単一のフィルタが形成される。その結果として得られる信号は、いずれも、センサに起因する緑不均一性の副作用の影響を受けない。

それにもかかわらず、光学的伝達およびマトリクスに基づいて復元されたＲＧＢ信号は、ナイキストの法則に基づき、カラーエイリアシングの残存量の影響を受ける。エイリアシングの残存量を更に減らすため、輝度復元フィルタに加えて、カラー復元フィルタ及び／又は輪郭復元フィルタが適用されても良い。したがって、特に、フォールスカラーフィルタを適用して、入力からのフォールスカラーを排除しても良い。カラー復元フィルタがフォールスカラーフィルタを備えていることが好ましい。

また、有利なことに、特に、図面の図１５，１６および１７，１８に関して、詳細な説明の第３．３章において述べるように、全ＲＧＢ伝達に可能な限り等しい伝達特性を有するローパス輝度信号が実現される。４×４または６×６のローパス輝度フィルタと３×３または５×５の緑復元フィルタとのそれぞれのマッチングは、２×２ポストフィルタによって達成されることが好ましい。これについては、図面を参照して、詳細な説明の第３章における好適な実施形態で詳細に説明する。

更に好ましい構成においては、画像信号を画像センサに供給する光学系の光学的伝達に基づいて、高周波輝度フィルタが適用される。これにより、高周波のエイリアシングの無い輝度成分を低周波復元カラー信号に加えることによって、カラーアーチファクトをマスキングすることができる。これに対応する好ましい実施形態は、図面の図２および図１２に関連する詳細な説明に記載されている。

提案された方法は、カメラの光学的伝達が適切なフィルタの用途を制限しないように適用される。換言すると、有利なことに、顧客の用途だけに依存した任意の光ローパスフィルタが適用され得る。光ローパスフィルタを全く適用しないことも可能である。特に、これは、提案されたフォールスカラーフィルタの装置、特に、カメラの光学的伝達またはセンサマトリクスとは無関係に調整することができる装置、によって実現される。特に、カメラの光学的伝達に応じて、ピクセル周波数の半分にフォールスカラーフィルタを調整することができる。また、光学的伝達およびセンサマトリクスに基づいて、カラー復元フィルタが提供されても良い。光学的伝達およびセンサマトリクスに応じて、カラー復元フィルタの係数を適切に選択すると、平均的な場面の場合に最も重要な眼を引くと思われるホワイト近傍のカラーに関して解像度が最大になる。特に、十分な解像度が提供され、一方、信号歪みの大きさが最小限に抑えられる。これについては、詳細な説明の第４章において概説する。

前述した一連の処理全体、すなわちＲＧＢ復元は、特に、
− 位相整合のためのポストフィルタの実施、
− 輝度信号処理、
− カラー復元信号処理、特にフォールスカラーフィルタおよび更に別のポストフィルタの実施を含む、
− 輪郭信号処理、
を含み、信号歪みの大きさは、極めて低いレベルに制限される。

また、これは、最終的なＪＰＥＧ変換に有効である。好ましい構成においては、提案された方法にしたがってスマートグリーン３復元アルゴリズムを実行するために、列と同様に行に関する処理も行なわれる。このような処理は、有利なことに、内部メモリの量および外部メモリとの間でのデータ交換量を減少させる。これは、処理効率および処理速度をサポートする。また、このような手法は、全てのデータ伝送が９０°だけ回転される場合にも有効である。

提案された方法は、有利なことに、先に提案した装置、特に計算システム及び／又は半導体デバイス上で実行される。このようなシステムは、有益なことに、画像センサと処理チップとの間に配置される中間メモリインタフェースを備えていてもよい。これにより、有利なことに、フィルタ処理されるピクセルアレイの行の長さ及び数がもはや制限されなくなり、それとともに、無論、外部メモリとの間でのデータ交換量によって処理時間が大きく遅れることはない。その結果、更にリアルタイムな処理が可能になる。計算システムは、任意の種類のプロセッサユニット、システムまたはコンピュータであって良い。

また、リアルタイム処理は、好ましいことに、中間インタフェースとしてのいかなるメモリをも要することなく実行され得る。しかし、この場合、コスト的な理由により、利用可能な行遅延の合計が、特に２に、制限される場合がある。これにより、結果として、輪郭信号の実現化（realization）とともにＲＧＢ復元を利用できる垂直タップは３つだけとなる。

また、本発明は、計算システムによって読み取り可能な媒体上に記憶することができるコンピュータプログラムプロダクトであって、プログラムプロダクトが計算システム上で実行される際、特に、プログラムプロダクトがカメラの計算システム上で実行される際に、提案された方法を計算システムに実行させるソフトウェアコードセクションを備えたコンピュータプログラムプロダクトに関する。

ここで、添付図面を参照しつつ、本発明について説明する。詳細な説明は、本発明の好ましい実施形態と見なされるものについて明示して説明している。本発明の思想から逸脱しない範囲で、形態または詳細な内容における様々な改良および変更を簡単に行なうことができることは言うまでもない。したがって、本発明はここで図示して説明した形態や詳細な内容に限定されるものではなく、また、ここに開示され、且つ添付の請求項において記載された本発明の全範囲よりも狭く解釈されるべきではない。更に、単独または併合を考慮した本発明にとって、発明を開示する明細書本文、図面、請求項に記載された特徴は不可欠なものである。

以下の章において、本発明を、図面を参照して詳細に説明する。
１．ホワイト補正された輝度の復元方法の処理フロー
２．ホワイト補正された輝度信号
３．ローパスフィルタ処理された輝度信号Ｙｌｆ
３．１．マトリクスおよびホワイトバランスの後における高周波成分の付加
３．２．カラーエッジにおける脱飽和
３．３．Ｙｌｆフィルタ伝達の決定
３．４．回路の簡略化
４．光学的伝達およびセンサマトリクスに応じてスマートグリーン３を規定
５．結論

添付図面の図は、本発明の好ましい実施形態を示す。
１．ホワイト補正された輝度の復元方法の処理フロー
図１には、中央バスおよび外部メモリインタフェースを有する集積回路の全体的なアーキテクチャの一部が示されている。外部メモリには、中央バスを介して、センサ信号が与えられる。ＲＧＢカラー復元および平行輪郭復元を実現するために、センサデータは、外部メモリから、中央バスを介して、上記復元へと回収される。復元後、データは、処理ブロックへと直接に送られ、あるいは、外部メモリへと送り戻される。

処理ブロックは、多かれ少なかれ、マトリクス、ホワイトバランス、ニー（knee）およびガンマとして、規格化されたカメラ機能を含む。静止画像またはビデオデータに関して速い実行時間を得るためには、メモリとの間でのデータ交換にかかる時間を制限しなければならないので、復元されたデータを処理ブロックへと直接送ることは重大な問題である。

図２には、提案された方法の好ましい実施形態の更に詳細なブロック図が示されている。以下、この方法を、“スマートグリーン３”信号復元と称する。センサデータは、中央バスを介して、小さいパケットで外部メモリから、復元ブロック内の小さい内部メモリアレイへと送られる。一例として、１つの信号（１６ビット）と６４個の水平ピクセル×６個の垂直ピクセル（７６８バイト）とを含む図２におけるこの［１Ｓ×６４Ｈ×６Ｖ］アレイから、未処理のセンサデータを復元のためにランダムに読み出すことができる。特に、（６４−２×ｈｏ）ピクセルの倍数単位で行のセンサデータを処理することができる。ここで、ｈｏは、フィルタアレイの水平オフセットである。ｎ×ｍ復元アレイ（“ｎ”は水平ピクセルであり、“ｍ”は垂直ピクセルである）において、オフセットは、ｈｏ＝ｎ ｄｉｖ ２である。“ｄｉｖ”は、最も近い整数へ０の方向に切り捨てることを意味している。したがって、ｎ＝３の場合にはｈｏ＝１であり、ｎ＝４またはｎ＝５の場合には、ｈｏ＝２であり、ｎ＝６の場合には、ｈｏ＝３である。復元できる最初のピクセルは、位置（１＋ｈｏ）にあり、最後のピクセルは、位置（Ｎ−ｈｏ）にある。ここで、Ｎは、センサの行内のピクセルの総数である。センサの行の全てを復元するには、Ｎ／（６４−２×ｈｏ）個のパッケージを復元ブロックへと送る必要がある。図２の下側の部分においては、未処理のセンサデータを用いてＲＧＢカラー信号が復元されている。（低）周波数伝達は、フィルタの重みの選択により、カメラの光学的伝達によって決定される。また、フォールスカラーキラーおよび２×２ポストフィルタが使用されるか否かについても、光学的伝達によって決定される。図２の上側部分においては、ＲピクセルおよびＢピクセルがスマートグリーンパラメータを用いて乗じられている。スマートグリーンパラメータは、例えば、ＷＯ９９／０４５５５またはＥＰ ０１ ２００ ４２２．２に開示された方法にしたがって取り出されても良い。この特定の信号を用いて、エイリアシングの無い３つの輝度信号、すなわち、輪郭信号、ホワイト補正された輝度信号Ｙｎ、低周波輝度信号Ｙｌｆが復元される。後者は、復元されたＲＧＢ信号とほぼ同じ伝達特性を有している。ホワイト補正された輝度信号Ｙｎから低周波信号Ｙｌｆを差し引くことにより、高周波輝度成分、すなわち、（Ｙｎ−Ｙｌｆ）が生成される。好ましい実施形態においては、高周波で望ましくないフォールスカラーを防止するために、（Ｙｎ−Ｙｌｆ）信号は、できれば、各色信号に対して早期に加えられるべきではなく、処理ブロックでのマトリクス機能およびホワイトバランス機能の後に加えられるべきであるという事実を認識することが重要である。全く同じことが輪郭信号においても言える。前述した望ましくないフォールスカラーを防止することが、復元ブロックの総出力が４つ又は３つの信号から成ることの理由である。可能な限り最も速い実行時間の他に、これは、全ての信号を処理ブロックに対して直接に送ることが好ましいということに対する第２の理由である。第３の理由としては、１つの［４Ｓ×６４Ｈ×１Ｖ］内部メモリを２倍（１つは、復元ブロックにおいて４つの信号を外部メモリに送るためのものであり、もう１つは、処理ブロックにおいてこれらの信号を再び取り戻すためのものである）を不要にすることを挙げることができる。［４Ｓ×６４Ｈ×１Ｖ］内部メモリは、１つの垂直な行の（６４−２×ｈｏ）個の水平ピクセルから成る４つ（１６ビット）の信号の記憶部の意味であり、６４個のピクセルに対して概算する場合には、全部で６４０バイトを収容できる。

例えば、時間のかかる復元及び／又はＣＰＵを介した特定のソフトウェアによる処理において、設計の自由度を最大にする必要がある場合には、２つの［４Ｓ×６４Ｈ×１Ｖ］内部メモリ（１つは、復元用であり、もう１つは、処理用である）が適用されなければならない。

図２の上方では、低周波でのオーバーシュートおよびアンダーシュートを防止するオーバーシュート制御プロセッサにより、エイリアシングが無い輪郭が実現される。２次元ステップ過渡信号を用いた２次元鮮明度の改善は、オーバーシュートを制御するのに適した二次元検出信号を実現することによって達成される。いわゆる、このステップ過渡信号は、幾つかのオーバーシュート（およびアンダーシュート）制御方法において使用することができ、それにより、誇張された不自然に見えるオーバーシュートの無い、非常に見栄えのする鮮明度の改善が得られる。内部［４Ｓ×６４Ｈ×１Ｖ］メモリに送られる単一の信号に、輪郭および（Ｙｎ−Ｙｌｆ）信号を加えることができる。

以下の章は、以下のように要約することができる。

第２章では、２×２および４×４のフィルタアレイを用いたエイリアシングの無い歪みがゼロの輝度信号Ｙｎの実現化について説明する。次に、低周波ＲＧＢ復元の実現化について説明する。カラー復元フィルタの詳細は、この出願と同じ日に提出された、国内出願番号ＩＤ６０６６３８−IIの特許出願に開示され、この特許出願の内容は、これを参照することにより本願に組み込まれる。４×４および６×６のローパスフィルタアレイを用いた低周波輝度信号については、第３章で説明する。４×４および６×６のエイリアシングの無い輪郭信号は、５×５のエイリアシングの無い輪郭−復元−フィルタの代わりに或いは当該フィルタに加えて与えられても良い。輪郭−復元−フィルタの詳細は、この出願と同じ日に提出された、国内出願番号ＩＤ５０５５３８−IIIの特許出願に開示され、この特許出願の内容は、これを参照することにより本願に組み込まれる。提案された概念は、第４章で詳しく説明するセンサマトリクスおよび光学的伝達に応じて、フレキシブルな方法で改良されても良い。

２．ホワイト補正された輝度信号
ホワイト補正された輝度信号は、スマートグリーンパラメータの計算に基づいている。その例がＷＯ９９／０４５５５およびＥＰ ０１ ２００ ４２２．２に示されている。パラメータSmartGcntrlRおよびSmartGcntrlBはそれぞれ、ｗｂｒおよびｗｂｂと称される。図３は、赤ピクセルおよび青ピクセルがスマートグリーンパラメータに乗算される様子を示している。次に、４つのピクセルが互いに加えられることにより、ホワイト補正された輝度ピクセルＹｎが得られる。ピクセルＹｎの中心は、Ｒピクセルが最初のピクセルであると見なすと、右側および下側にピクセルの半分だけシフトされている。その結果、復元されるべき他の全ての信号、すなわち、赤緑青および輪郭信号は、このＹｎ信号と同じ中心位置を得なければならない。

ホワイト補正された輝度信号Ｙｎの利点は、５×５のエイリアシングの無い輪郭信号の場合と全く同じである。ＲＧＢベイヤー画像センサにおけるエイリアシングの無い輪郭信号は、光ローパスフィルタを必要とすることなく第１のＲＧＢサンプル周波数でスループットがゼロになる固有の５×５平行輪郭フィルタに基づいている。その信号の歪みは、ほぼゼロであり、その結果、目に見えるアーチファクトの無い輪郭信号が得られる。なお、従来から公知の輪郭フィルタは、センサのナイキスト領域の外側で、後に折り返された望ましくない周波数をも増幅する。これにより歪が生じ、その結果画像中における望ましくないエイリアシング成分の視認性を良好にしてしまう。この固有の５×５輪郭フィルタは、これらのエイリアシング副作用を防止するとともに、画像センサの緑チャンネルで生じる緑同士間の差を排除する。特定の利点は以下の通りである。

１．ＯＬＰＦ（光ローパスフィルタ）を必要とすることなく、Ｙｎ信号は、第１のＲＧＢサンプル周波数でスループットがゼロになる。そのため、それらの点でエイリアシングが生じなくなる。サンプル周波数の第２の更に高い倍数では、スループットが低いが、レンズのローパスおよびセンサの変調伝達関数（ＭＴＦ）がここでも有効となる。

２．信号歪みがほぼゼロであり、その結果、目に見えるアーチファクトの無い輝度信号Ｙｎが得られる。

以下では、２×２のホワイト補正された輝度フィルタが特に有利である理由について説明する。

１．画像センサの一連のＲＧＢベイヤーカラー信号中の変調されたカラー情報を排除し、また、画像センサによって生じる緑の不均一性を排除するためには、２×２の単位行列が必要とされる。画像センサによって生じる緑−緑間の差を排除する二次元平行輪郭フィルタを開発するための方法により、ＲＧＢベイヤー画像センサの平行輪郭信号中の緑の不均一性を防止することができる。ベイヤー画像センサにおける平行輪郭処理により、画像センサからの緑信号を使用して、ＲＧＢカラー復元と並行して二次元輪郭信号を生成することができる。

利点は、シリアル輪郭処理と同様に、余計な行の遅延が必要ないという点である。なお、どのようなＯＬＰＦ型が使用されたとしても、それが大きな飽和色領域内でこの色変調に影響を及ぼすことはなく、また、緑の不均一性に影響を及ぼすこともない。

２．スマートグリーンパラメータによる乗算は、マトリクスの効果を取り消すために必要である。この場合、マトリクスの係数の合計は単位行列及び／又は周囲のカラー温度の効果に等しくない。

これらは、スマートグリーンパラメータが計算される２つの理由である。これらのパラメータが単位行列でない場合には、カラーセンサは白黒センサとしての機能を果たさない。

図４において、左上部分には試験画像の当初の場面が示されており、一方右下部分には、理論的なＦＴ３３マトリクスを用いて実現される画像センサからの画像の信号が示されている。カラー領域部分の変調をはっきりと見ることができ、また明らかに、ＲＧＢナイキスト領域の外側にエイリアシングが見られる。

図５において、左上部分にはホワイト補正されていない２×２のフィルタ処理された輝度信号が示されている。一方右下部分には、ホワイト補正された２×２のフィルタ処理された輝度信号が示されている。これらの両方の部分は、理論的なＦＴ３３マトリクスを用いてシミュレートされている。そのため、スマートグリーンパラメータは単位行列に等しくない。これは、所望のエイリアシングの無い歪みゼロの輝度信号Ｙｎを実現するためのこれらのパラメータの利点をはっきりと示している。

２×２のホワイト補正された輝度信号Ｙｎの僅かな欠点は、光ローパスフィルタ（ＯＬＰＦ）が適用される際に解像度が減少するという点かもしれない。しかし、この欠点は、４×４フィルタを適用してＹｎを復元することにより、補償することができる。ＯＬＰＦのローパス伝達の量に応じて、重みの大きいＹｎフィルタを選択することができる。図６の左側には、既に述べた２×２のＹｎフィルタが示されている。中央および右側には、２つの４×４Ｙｎフィルタが示されている。右側のフィルタが“最も重い（heaviest）”フィルタである。これらのフィルタは、ＯＬＰＦの伝達損失を補償する以外に、レンズの伝達損失を補償するために適用することもできる。

図７，図８，図９には、図６の輝度フィルタに対応する３Ｄプロットが示されている。これらの３Ｄプロットは、垂直方向の絶対伝達値を示している。無論、第２および第３のフィルタの重みは、最終的に望ましい伝達特性に応じて、他の値に変えることができる。

４×４のＹｎフィルタは、緑の均一性を回復するとともに、カラー領域の変調をも排除する。ＲＧＢベイヤー画像センサの平行輪郭信号中の緑の不均一性を防止することにより、緑の均一性を回復させることができる。この場合緑の不均一性の防止は、画像センサによって生じる緑同士の間の差を排除する二次元平行輪郭フィルタを発展させることにより行なうことができる。ベイヤー画像センサにおける平行輪郭処理により、画像センサからの緑信号を使用して、ＲＧＢカラー復元と同時に二次元輪郭信号を生成することができる。その利点は、シリアル輪郭処理の場合と同様に、余計な行の遅延が必要ないという点である。該して以下の規則が言える。すなわち、隣接する対角フィルタ係数（neighbor diagonal filter coefficients）を差し引きすることにより、寄与度がゼロになる。これにより、隣の緑ピクセルの緑同士の間の差が平均化され、その結果、当該差が無くなる。

図１０には、その規則にしたがって緑同士の間の差を無くす方法が示されている。

図１１には、カラー領域における変調を無くすための２つの方法が示されている。プラスの係数を有する中央の円は、常に、２つの緑ピクセルと、１つの赤ピクセルと、１つの青ピクセルとを加える。また、結果的に常に２つの緑ピクセルと１つの赤ピクセルと１つの青ピクセルとを加えることになるマイナスの係数の図示の組み合わせは、色変調において伝達がゼロになるという利点を有している。なお、光学的伝達全体と任意の４×４Ｙｎフィルタの重みとの組み合わせに応じて、最終的に望ましくないオーバーシュートおよびアンダーシュートが生じ得ることに注意すべきである。光学的伝達が分かっている場合にだけ、例えばゾーンプレート場面を射止めて処理することにより、係数の選択を行なうことができる。

３．ローパスフィルタ処理された輝度信号Ｙｌｆ

図１２は、２×２のポストフィルタにとって必要な内部メモリを含む列に関するパッケージ伝達を示す他の基本的なブロック図である。この場合、メモリは僅か６４ピクセル幅である。

ローパスフィルタ処理された輝度信号Ｙｌｆは、３×３または５×５のＲＧＢ復元フィルタの伝達特性にほぼ適合させて実現されることが好ましい。ホワイト補正された輝度信号Ｙｎとローパスフィルタ処理された信号Ｙｌｆとの間の差、すなわち、（Ｙｎ−Ｙｌｆ）信号は、ローパス復元されたＲＧＢカラー信号の相補的なハイパスフィルタとしての機能を果たす。このハイパス信号は、各ＲＧＢカラー信号に対して加えられる。これをマトリクスおよびホワイトバランス後に行なうべきことが好ましい理由について最初に説明する。

３．１．マトリクスおよびホワイトバランスの後における高周波成分の付加
図１３の左上部分は、マトリクスおよびホワイトバランスの後に、ＲＧＢカラー信号に対して高周波輝度成分Ｙｈｆを加えた結果を示している。ここで、Ｙｈｆは、（Ｙｎ−Ｙｌｆ）に等しいが、輪郭信号のような他の付加された高周波信号においても全く同じことが言える。右下の部分は、マトリクス前にＹｈｆが加えられた際の望ましくないフォールスカラーを示している。ＲＧＢカラーに対して等しい高周波成分Ｙｈｆを加えるということは、既存のカラーエッジに対してブラック・ホワイト（すなわち、グレー）成分を加えることを意味している。マトリクスおよびホワイトバランスに起因して、付加されたグレー成分が乱される場合には、高周波においてフォールスカラーが生じる。マトリクスおよびホワイトバランスの前にＹｈｆが加えられた場合には、以下が適用される。

Ｒｏ’＝（ａ１１×（Ｒｉ＋Ｙｈｆ）＋ａ１２×（Ｇｉ＋Ｙｈｆ）＋ａ１３×（Ｂｉ＋Ｙｈｆ））×ａｗｂＲ
Ｇｏ’＝（ａ２１×（Ｒｉ＋Ｙｈｆ）＋ａ２２×（Ｇｉ＋Ｙｈｆ）＋ａ２３×（Ｂｉ＋Ｙｈｆ））
Ｂｏ’＝（ａ３１×（Ｒｉ＋Ｙｈｆ）＋ａ３２×（Ｇｉ＋Ｙｈｆ）＋ａ３３×（Ｂｉ＋Ｙｈｆ））×ａｗｂＢ

Ｒｏ’，Ｇｏ’およびＢｏ’は、マトリクスおよびホワイトバランス後の出力信号である。“ａｘｘ”パラメータは、センサマトリクス値である。（Ｒｉ＋Ｙｈｆ）、（Ｇｉ＋Ｙｈｆ）、（Ｂｉ＋Ｙｈｆ）は、等しいＹｌｆ成分が加えられた、マトリクス前のカラー入力信号である。ホワイトバランスパラメータは、ａｗｂＲおよびａｗｂＢである。出力信号の高周波成分を分離させると、以下のようになる。

Ｒｏ’＝（ａ１１×Ｒｉ＋ａ１２×Ｇｉ＋ａ１３×Ｂｉ）×ａｗｂＲ＋Ｙｈｆ×（ａ１１＋ａ１２＋ａ１３）×ａｗｂＲ
Ｇｏ’＝（ａ２１×Ｒｉ＋ａ２２×Ｇｉ＋ａ２３×Ｂｉ）＋Ｙｈｆ×（ａ２１＋ａ２２＋ａ２３）
Ｂｏ’＝（ａ３１×（Ｒｉ＋ａ３２×Ｇｉ＋ａ３３×Ｂｉ）×ａｗｂＢ＋Ｙｈｆ×（ａ３１＋ａ３２＋ａ３３）×ａｗｂＢ

ホワイトバランスパラメータａｗｂＲ，ａｗｂＢと組み合わせた各マトリクス係数の合計が単位行列になる可能性は極めて小さい。この非常に見込みがない場合においてのみ、高周波におけるカラーバランスが乱されず、他の全ての場合には、カラーバランスが乱される。このような事態を防止するために、マトリクスおよびホワイトバランスの後に、高周波成分Ｙｈｆが加えられる。これにより、以下のように有利な結果が得られる。

Ｒｏ’＝（ａ１１×Ｒｉ＋ａ１２×Ｇｉ＋ａ１３×Ｂｉ）×ａｗｂＲ＋Ｙｈｆ
Ｇｏ’＝（ａ２１×Ｒｉ＋ａ２２×Ｇｉ＋ａ２３×Ｂｉ）＋Ｙｈｆ
Ｂｏ’＝（ａ３１×（Ｒｉ＋ａ３２×Ｇｉ＋ａ３３×Ｂｉ）×ａｗｂＢ＋Ｙｈｆ

３．２．カラーエッジにおける脱飽和
各ＲＧＢカラー信号に対して（Ｙｎ−Ｙｌｆ）信号を加えることにより、カラー信号の帯域幅が大きくなるが、加えられる周波数成分が高くなればなるほど、カラー飽和度が低くなる。エッジにおけるカラー脱飽和度の大きさは、復元されたＲＧＢ信号の伝達特性と（Ｙｎ−Ｙｌｆ）信号の伝達特性との間の差に依存する。（Ｙｎ−Ｙｌｆ）信号の最も高い周波数では、飽和度がゼロになり、その結果、ブラック・ホワイトＲＧＢカラー信号が生じる。図１４には、Ｙｎ信号の伝達特性と、カラー・輝度低周波信号Ｒｏｌｆ，Ｇｌｆ，ＢｌｆおよびＹｌｆの伝達特性との間の差に起因する脱飽和度の図が示されている。後者は全て、理想的には、等しい伝達特性を有しているものとする。この特定のケースにおいて、低周波ＹｉｆとＹｎ伝達曲線との間の領域は、各カラーに対して加えられた輝度成分（Ｙｎ−Ｙｌｆ）である。

また、（図６のフィルタによって有利にもたらされるように）Ｙｎ信号の帯域幅を増大させると、すなわち、ゲイン制御によって（Ｙｎ−Ｙｌｆ）高周波成分を増大させる（図２に示される好ましい実施形態の場合のように）と、周波数に応じて脱飽和度が増大する。輪郭フィルタの場合には、（Ｙｎ−Ｙｌｆ）信号の場合と同じ脱飽和規則が重要である。

３．３．Ｙｌｆフィルタ伝達の規定
脱飽和の特徴よりも更に重要なことは、カラー信号に対して（Ｙｎ−Ｙｌｆ）を加えることによって得られる鮮明度である。実際には、Ｙｌｆ伝達特性とカラーフィルタ伝達特性との一致は重要ではない。それにもかかわらず、ここでは、２つの良く一致するローパス輝度フィルタが与えられる。そのうちの１つは、３×３カラー復元フィルタ用であり、もう１つは、５×５カラー復元フィルタ用であり、いずれも２×２ポストフィルタリングを含んでいる。

フィルタの重みが同じであるため、全（トータル）Ｒ，Ｇ，Ｂ伝達特性は、完全に等しい。ここで、“全（トータル）”とは、Ｙｌｆフィルタが一致しなければならない基準伝達特性を得るために、２×２ポストフィルタを含む、１つのカラーの全フィルタの重みが使用されることを意味している。図１５には、全ＲＧＢ伝達特性が示されており、図１６には、非常に良く一致するＹｌｆ伝達が示されている。これらの４×４フィルタの重みは、緑の不均一性とともに、変調されたカラー情報（第２章の始めで説明した）が排除されるように選択されている。図１５および図１６の左上角部には、フィルタの重みが示されている。

５×５カラー復元フィルタの赤／青と緑との伝達特性は、一般に、完全には一致していないため、緑伝達特性が基準として選択されている。人間の眼にとって、緑光は、輝度に対する寄与度が最も大きい。図１７には、２×２ポストフィルタリングを含む全５×５緑伝達特性が示されている。図１８は、厳密に一致する６×６ローパスＹｌｆ伝達曲線を示している。このフィルタも、変調されたカラー情報および緑の不均一性を排除している。

図１９の右手側には、左手側の３×３ＲＧＢ復元された信号と２×２ポストフィルタ処理された信号とに対して（Ｙｎ−４×４Ｙｌｆ）高周波信号が加えられた場合における、鮮明度の改善が示されている。２×２Ｙｎ信号および単位行列が加えられている。同様の結果が図２０に示されている。右手側には、左手側の５×５ ３×３ＲＧＢ復元された信号と２×２ポストフィルタ処理された信号とに対して（Ｙｎ−６×６Ｙｌｆ）高周波信号が加えられた場合における、線明度の改善が見受けられる。ここでは、２×２Ｙｎ信号およびＦＴ１９マトリクスが加えられている。

ローパスフィルタ処理された輝度信号の帯域幅がカラー信号に対して非常に大きい場合には、高周波成分（Ｙｎ−Ｙｌｆ）の寄与度は小さい。帯域幅が非常に低い場合には、（Ｙｎ−Ｙｌｆ）の寄与度はより大きくなる。小さい帯域幅が好ましいか或いは大きい帯域幅が好ましいかに応じて、他の全ての種類のＹｌｆフィルタを試してみる代わりに、図１２に示されるようにゲイン制御を用いて（Ｙｎ−Ｙｌｆ）振幅を変えることが好ましい場合がある。４×４Ｙｎ信号（図６に示される）を選択することにより、高周波伝達を制御するための更なる可能性が与えられる。図１２は、２×２ポストフィルタにおいて必要な内部メモリを含む、列に関するパッケージ伝達の基本的なブロック図である。なお、この内部メモリは、たった６４ピクセル幅である。

Ｙｌｆおよびカラーの伝達特性が完全に一致する可能性が以下に示されている。すなわち、図１５および図１７の全３×３および５×５カラーフィルタの場合と全く同じ係数を用いてローパスＹｌｆフィルタを実現することができる。図２４に示されるように何らかの追加の内部メモリを加えることにより、２×２ポストフィルタを実現することができる。ここで、Ｙｌｆ伝達特性は、カラー伝達曲線と完全に一致する。また、ポストフィルタは、５×５緑フィルタの緑不均一性を排除する。この一致はあまり重要ではなく、回路を簡略化する可能性を排除できる（第３．４章参照）ため、この完全一致の選択肢は好ましくはないが想定し得るものである。

３．４．回路の簡略化
ＹｎおよびＹｌｆフィルタの重みが規定されると、図１２のブロック図に示されるように、ＹｎフィルタとＹｌｆフィルタとを組み合わせることができる。

第１の例として、図６の２×２Ｙｎフィルタと図１６の４×４Ｙｌｆフィルタとが組み合わされる。両方のフィルタの全重み係数は等しくなければならない。Ｙｎフィルタの重みに１１を乗じることにより、両方に関して、重みの総和が４４になる。２つのフィルタの代わりに１つのフィルタを用いて（Ｙｎ−Ｙｌｆ）信号を得るためには、Ｙｌｆの重みがＹｎの重みから差し引かれなければならない。これにより、図２１の左手側に示されるようなフィルタの重みが得られる。振幅を維持するためには、このフィルタの出力信号を２２の因数で割らなければならない。図２３には、各ハイパス伝達特性が示されている。

第２の例として、図６の中間Ｙｎフィルタとまた図１６のＹｌｆフィルタとが組み合わされる。これらのフィルタの重みの合計はそれぞれ、２８および４４である。これらを４で割ることにより、最も小さい合計因数（sum factors）、すなわち、７および１１が得られる。ここで、Ｙｎフィルタの全ての重みに１１の因数が掛けられ、Ｙｌｆフィルタの全ての重みに７が掛けられることにより、９ビットを必要とする両方に関して３０８という全重みが得られる。Ｙｎフィルタの乗じられた重み係数からＹｌｆフィルタの乗じられた重み係数を差し引くことにより、図２１の真中に示されるように、組み合わされたフィルタの重みが得られる。出力振幅を維持するためには、３０８の因数で割ることが必要である。

最後の例として、図６の中間Ｙｎフィルタと図１８のＹｌｆフィルタとが組み合わされる。これらのフィルタの重みの合計はそれぞれ、２８および８４である。これらを２８で割ることにより、最も小さい合計因数、すなわち、１および３が得られる。ここで、Ｙｎフィルタの全ての重みに３の因数が掛けられ、Ｙｌｆフィルタの全ての重みに１が掛けられることにより、両方に関して８４という全重みが得られる。Ｙｎフィルタの乗じられた重み係数からＹｌｆフィルタの乗じられた重み係数を差し引くことにより、図２１の右側に示されるように、組み合わされたフィルタの重みが得られる。出力振幅を維持するためには、８４の因数で割ることが必要である。

図２２には、スマートグリーン３の簡略化されたブロック図が示されている。これは、図１２から得られる。実験を行なうためには、この構成は、図１２の構成よりも幾分自由度がないが、最終的なチップ設計のためには、全く不利ではない。このため、チップ面積および複雑度を軽減するとともに、速度を高めることが更に重要であり得る。したがって、この簡略化提案、すなわち、オーバーシュート制御プロセッサにおけるＹｎ信号の必要性が取り消されても良い。

４．光学的伝達およびセンサマトリクスに応じたスマートグリーン３の規定
これまでのスマートグリーン３の説明では、光学的伝達およびセンサマトリクスの重みに応じてその構成を規定することができた。

重いマトリクスの場合には、光学的伝達とは無関係に、常に、５×５カラー復元フィルタが適用されなければならない。図６の第１、第２、第３のＹｎフィルタが適用されなければならないか否かは、光学的伝達によって決まる。光学的伝達が高い場合には、第１の２×２信号を使用しなければならず、光学的伝達が低い場合には、第２の２×２信号、あるいは、場合によっては第３の２×２信号を使用しなければならない。赤／青ナイキスト周波数の周辺のフォールスカラーを排除するためには、ＯＬＰＦが重い場合であっても、フォールスカラーキラーをＯＮに切換えなければならない。

赤／青サンプル周波数を発端とするスループットがほぼゼロの重いＯＬＰＦおよび軽いマトリクスの場合には、３×３カラー復元フィルタが選択されても良い。３×３カラーフィルタの結果、図１６の４×４Ｙｌｆフィルタが選択される。所定の解像度を得るために、第２のＹｎフィルタ、あるいは、第３のＹｎフィルタでさえもが適用される場合がある。フォールスカラーキラーをＯＮに切換えることができるが、殆ど有効でない場合には、フォールスカラーキラーをＯＦＦに切換えても良い。ＯＬＰＦが殆ど無い又は全く無い場合には、３×３カラー復元フィルタ、図１６の４×４Ｙｌｆフィルタ、２×２Ｙｎ信号が使用されても良い。フォールスカラーキラーはＯＮに切換えられなければならない。図６の左のＹｎフィルタ、中央のＹｎフィルタ、右のＹｎフィルタの選択は、光ローパスフィルタリングの量に依存することが明らかになった。ＯＬＰＦが殆ど無い又は全く無い場合には２×２Ｙｎ信号が選択され、そうでない場合には、重いＯＬＰＦが使用されるときに、４×４Ｙｎフィルタが選択される。スマートグリーン３カラー復元の場合、フォールスカラーキラーの調整は、従来のスマートグリーン２方法の場合よりも重要度が非常に低い。また、調整手法を適用することもできる。

輪郭フィルタの選択および調整は、個人的な好みに依存する。唯一の指示としては、３×３カラー復元の場合には４×４輪郭フィルタを適用し、５×５カラー復元の場合には６×６輪郭フィルタを適用することである。これらの場合においても、カラーエッジの脱飽和に特に注意を払わなければならない。

５．結論
スマートグリーン３復元方法を用いると、従来のスマートグリーン１方法およびスマートグリーン２方法と比べて、以下の特定の利点が得られる。

・設計がフレキシブルになる。センサマトリクスの重みに応じて、２つのカラー復元フィルタ間で選択を行なうことができる。その結果（ローパス）輝度フィルタは、規定のアプリケーション仕様となり得る。カメラの光学的伝達に応じて、幾つかの高周波輝度フィルタを選択して調整することができる。

・フォールスカラーキラーが必要な場合には、選択されたカラー復元に応じて、信号は、目に見えるアーチファクト（ホワイトおよびブラックの点）によって殆ど、あるいは、全く影響を受けない。その理由は、スマートグリーン１またはスマートグリーン２よりも強力にローパスフィルタ処理されたカラー復元が使用されるからである。

・生成された全ての輝度信号は、いわゆる輝度ホワイト補正とフィルタの重みとの組み合わせにより、エイリアシングおよび歪みが無い。

・ここで与えられているスマートグリーン３設計の全てのフィルタは、センサによって生じる緑の不均一を排除する。５×５緑復元フィルタは、最終的には、２×２ポストフィルタの助けを借りて、それを行なう。

要約すると、スマートグリーン３は、その自由度および信号の歪みおよびその随意的なフォールスカラーキラーにより、デジタル画像の復元および処理、並びに、ベイヤーカラーフィルタアレイを有するセンサの隣合うビデオピクセルの復元および処理に良好に適合する。

メモリに基づく構造におけるＲＧＢ復元および輪郭復元の配置を示す図。 スマートグリーン３復元の基本的なブロック図（スマートグリーンパラメータを用いたＲカラーとＢカラーとの乗算に関するブロックへの特定情報は、ＷＯ９９／０４５５５から得られる）。 ホワイト補正された輝度ピクセルＹｎの実現化を示す図。 もとの場面（左上）およびセンサ信号（右下）の例を示す図。 ホワイト補正を施していない２×２フィルタ処理された輝度（左上）およびホワイト補正を施した２×２フィルタ処理された輝度（右下）の例を示す図。 幾つかのホワイト補正された輝度復元フィルタを示す図。 第１の２×２Ｙｎフィルタの伝達値を示す図。 第２の２×２Ｙｎフィルタの伝達値を示す図。 第３の２×２Ｙｎフィルタの伝達値を示す図。 ４×４Ｙｎフィルタにおける緑同士の間の差を排除するための方式を示す図。 カラー領域における変調を排除するための方式を示す図（図３〜図１１は、緑同士の間の差が都合良く存在しない好ましい実施形態のホワイト補正後輝度信号を示している。緑同士の差は、ラプラシアン（すなわち、スマートグリーン）ＲＧＢ復元方法を保持しつつ目に見える解像度の損失の無いセンサに関して緑信号の緑同士の差を排除できるベイヤーイメージ（Bayre image）の緑均一性の回復により除去されても良い。また、緑同士の差は、ＲＧＢベイヤー画像センサの平行な輪郭信号における緑不均一性を防止することにより除去されても良い。これは、画像センサによって生じる緑同士の差を排除する二次元平行輪郭フィルタを発展させることにより実行しても良い）。 好ましい実施形態として外部メモリからの列に関連するパッケージ伝達を使用する２×２ポストフィルタリングの基本的なブロック図。 マトリクスおよびホワイトバランス後に（Ｙｎ−Ｙｌｆ）が加えられたセンサ信号（左上）およびそれらの前に（Ｙｎ−Ｙｌｆ）が加えられたセンサ信号（右下）の例を示す図。 伝達特性Ｒｌｆ，Ｇｌｆ，Ｂｌｆ，ＹｌｆおよびＹｎに応じたカラー脱飽和を示す図。 ２×２ポストフィルタを伴う３×３ＲＧＢ伝達特性のトータル値を示す図。 ４×４輝度Ｙｌｆローパスフィルタのマッチングを示す図。 ２×２ポストフィルタを伴う５×５Ｇ伝達特性のトータル値を示す図。 ６×６輝度Ｙｌｆローパスフィルタのマッチングを示す図。 単位行列に対して（Ｙｎ−４×４Ｙｌｆ）を含む３×３ＲＧＢカラー復元の帯域幅（右）およびこれを含まない３×３ＲＧＢカラー復元の帯域幅（左）を示す図。 ＦＴ１９マトリクスのための（Ｙｎ−６×６Ｙｌｆ）を含む５×５ＲＧＢカラー復元の帯域幅（右）およびこれを含まない５×５ＲＧＢカラー復元の帯域幅（左）を示す図（図１５〜図２０は、好ましい実施形態、すなわち、エイリアシングが無い低周波輝度信号の実現化を示している）。 組み合わされた（Ｙｎ−Ｙｌｆ）フィルタの３つの例を示す図。 （Ｙｎ−Ｙｌｆ）フィルタの重みを組み合わせることによってスマートグリーン３の簡単化されたブロック図。 ２×２Ｙｎフィルタおよび４×４Ｙｌｆフィルタのハイパス伝達特性を示す図（図２１〜図２３は、好ましい実施形態、すなわち、ホワイト補正された輝度信号を有する４×４または６×６ローパス輝度信号の組み合わせを示している）。 外部メモリからの列に関するパッケージ伝達を使用する２×２ＲＧＢおよびＹｌｆポストフィルタリングのための基本的なブロック図を示す図（図２４は、特にポストフィルタリングに関する好ましい実施形態を示している）。

Claims (17)

1. 画像センサのセンサ信号が入力として供給され、この入力がフィルタ内で復元されることにより更なる処理のための出力が生成され、前記フィルタは、輝度復元フィルタ、赤緑青カラー復元フィルタおよび輪郭復元フィルタから成るグループから選択された少なくとも１つの復元フィルタを備え、
   − 前記入力が複数のピクセルを含み、１つのピクセルが、赤、緑、または、青のカラーのうちの少なくとも１つに対して割り当てられた明度を与える信号処理方法であって、
   − 多数のピクセルを備え所定のアレイサイズを有するピクセルアレイに前記復元フィルタを適用するステップであって、前記多数のピクセルのうち少なくとも１つのピクセルは、赤のカラーに対して割り当てられた赤ピクセルによって形成され、前記多数のピクセルのうち少なくとも１つのピクセルは、青のカラーに対して割り当てられた青ピクセルによって形成され、前記多数のピクセルのうち少なくとも１つのピクセルは、緑のカラーに対して割り当てられた緑ピクセルによって形成されているステップと、
   − 前記赤ピクセル及び／又は青ピクセルを緑パラメータによって重み付けをするステップと、
   − 前記アレイの前記複数のピクセルを１つの出力ピクセルにまとめるステップと、
   − 前記出力ピクセルを前記アレイにセンタリングするステップとを具備することを特徴とする信号処理方法。
2. 第1のフィルタに続く第２のフィルタの中心出力ピクセルを、前記出力ピクセルと同位相で位置決めすることを、特に、前記中心出力ピクセルを前記出力ピクセルと同じ前記アレイの中心位置にセンタリングすることによって、実行することを特徴とする請求項１に記載の方法。
3. 前記復元フィルタが輝度復元フィルタであり、前記アレイの複数のピクセルは、１つのホワイトピクセル内で互いに加えられて出力ピクセルとなることを特徴とする請求項１または請求項２に記載の方法。
4. 前記画像センサのセンサマトリクスに基づいて、前記緑パラメータを選択することを特徴とする請求項１から請求項３のいずれか１項に記載の方法。
5. 画像信号を前記画像センサに対して供給する光学系の光学的伝達に基づいて、前記緑パラメータを選択することを特徴とする請求項１から請求項４のいずれか１項に記載の方法。
6. 前記輝度復元フィルタを２×２または４×４または６×６のアレイサイズに適用することを特徴とする請求項１から請求項５のいずれか１項に記載の方法。
7. ローパスフィルタを前記４×４または６×６のアレイサイズに適用することを特徴とする請求項６に記載の方法。
8. 前記輝度復元フィルタと前記ローパスフィルタとが１つのフィルタに組み合わされることを特徴とする請求項６または請求項７に記載の方法。
9. 前記輝度復元フィルタに続いて、前記カラー復元フィルタを適用し、
   特に、前記カラー復元フィルタは、前記入力からフォールスカラーを排除するためにフォールスカラーフィルタを備えることを特徴とする請求項１から請求項８のいずれか１項に記載の方法。
10. ポストフィルタを適用することにより、以前に適用された復元フィルタの出力の位相をその出力で維持し、
    特に、フォールスカラーフィルタに続く前記ポストフィルタを適用することにより、以前に適用している輝度復元フィルタの位相を維持することを特徴とする請求項１から請求項９のいずれか１項に記載の方法。
11. フォールスカラーフィルタに続いて、２×２アレイサイズのポストフィルタを適用することにより、グルーンピクセルの所定の小さなアレイの中心出力ピクセルを、輝度復元フィルタが適用されたアレイと同じアレイに対してセンタリングされたホワイトピクセルと同じ位相で位置決めをすることを特徴とする請求項１０に記載の方法。
12. 特に、光ローパスフィルタリングが全く無い場合あるいは僅かしか無い場合に輝度復元フィルタを２×２のアレイサイズに適用することにより、及び／又は、光ローパスフィルタリングがより重い場合に各輝度復元フィルタを更に大きい４×４または６×６のアレイサイズに適用することにより、装置に対して様々な輝度復元フィルタを提供することを特徴とする請求項１から請求項１１のいずれか１項に記載の方法。
13. 特に、４×４輝度復元フィルタの場合に３×３カラー復元フィルタを適用することにより、及び／又は、６×６輝度復元フィルタの場合に５×５カラー復元フィルタを適用することにより、装置に対して様々なカラー復元フィルタを提供することを特徴とする請求項１から請求項１２のいずれか１項に記載の方法。
14. 請求項１から請求項１３のいずれか１項に記載の方法を特に実行するように適合された信号処理装置であって、
    センサ信号を入力として供給する画像センサと、前記入力を復元して更なる処理のための出力を生成するフィルタとを備え、前記フィルタは、輝度復元フィルタ、赤緑青カラー復元フィルタおよび輪郭復元フィルタから成るグループから選択される少なくとも１つの復元フィルタを備え、
    − 前記入力が複数のピクセルを含み、１つのピクセルが、赤、緑、または、青のカラーのうちの少なくとも１つに対して割り当てられる明度を与える信号処理装置において、
    − 前記復元フィルタは、多数のピクセルを備え所定のアレイサイズを有するピクセルアレイに適用されるように構成されており、前記多数のピクセルのうち少なくとも１つのピクセルは、赤のカラーに対して割り当てられた赤ピクセルによって形成され、前記多数のピクセルのうち少なくとも１つのピクセルは、青のカラーに対して割り当てられた青ピクセルによって形成され、前記多数のピクセルのうち少なくとも１つのピクセルは、緑のカラーに対して割り当てられた緑ピクセルによって形成され、
    − 前記赤ピクセル及び／又は青ピクセルを緑パラメータによって重み付けをする手段と、
    − 前記アレイの前記複数のピクセルを１つの出力ピクセルにまとめる手段と、
    − 前記出力ピクセルを前記アレイにセンタリングする手段とを更に備えることを特徴とする信号処理装置。
15. 前記計算システム、特にカメラの計算システムによって読み取り可能な媒体上に記憶することができるコンピュータプログラムプロダクトであって、
    前記計算システムを含むソフトウェアコードセクションを備え、前記プログラムプロダクトが前記計算システム上で実行される際、特に、前記プログラムプロダクトがカメラの計算システム上で実行される際に、請求項１から請求項１３のいずれか１項に記載の方法を実行するコンピュータプログラムプロダクト。
16. 請求項１５に記載のコンピュータプログラムプロダクトを実行し及び／又は記憶するための計算システム及び／又は半導体デバイス、特にカメラの計算システム。
17. 光学系と、画像センサと、請求項１２に記載の装置または請求項１６に記載の計算システムとを備えるカメラ。

Images