JP2005520442A

JP2005520442A - センサ画像を処理する方法および装置

Info

Publication number: JP2005520442A
Application number: JP2003577548A
Authority: JP
Inventors: レナート・ケシェット; ロン・ピー・マウラー; ドロン・シェイケッド; ヤコヴ・ヘル‐オー; ダニー・バラシュ
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 2002-03-11
Filing date: 2003-03-11
Publication date: 2005-07-07
Also published as: EP1483919A1; AU2003218108A1; WO2003079695A1; US20030169353A1

Abstract

【課題】ディジタルカメラにより得られたセンサ画像に対してデモザイク（demosaicing）操作を行うと、各ピクセルのフルカラー情報（赤色情報、緑色情報、青色情報等）を得ることができる。このデモザイク操作では、通例、各ピクセルの欠けている色情報を見積もることが必要となる。デモザイク操作は、カラーフリンジ（color fringe）等のアーティファクトをセンサ画像内に生ずる可能性がある。これらのアーティファクトは、画質を劣化させる可能性がある。
【解決手段】第１のデモザイクカーネルを適用して鮮鋭な画像を作成すること（１１０）、第２のデモザイクカーネルを適用して平滑な画像を作成すること（１１２）、およびこれらの鮮鋭な画像および平滑な画像を使用して出力画像を作成すること（１１４）、によって、センサ画像が処理される。

Description

本発明は、センサ画像を処理する方法および装置に関する。

［背景］
デジタルカメラは、センサ画像を生成するセンサアレイを含む。
一定のデジタルカメラは、単一層の非オーバーレイセンサからなる単一のアレイであって、各センサが単一色のみを検出するアレイを利用する。
したがって、センサ画像の各ピクセルでは、単一色のみが検出される。
英国特許第２０４７０４６号国際公開第９７／３５４３８号米国特許出願公開第２００２／０２７６０４号欧州特許出願公開第０９９８１２２号 TAUBMAN D, 「Generalized wiener reconstruction of images from colour sensor data using a scale invariant prior」, VOL. 3, p801-804 XP010529589

このようなセンサ画像に対してデモザイク（demosaicing）操作を行うと、各ピクセルのフルカラー情報（赤色情報、緑色情報、青色情報等）を提供することができる。
デモザイク操作では、通例、各ピクセルの欠けている色情報を見積もることが必要となる。

デモザイク操作は、カラーフリンジ（color fringe）等のアーティファクトをセンサ画像内に生ずる可能性がある。
これらのアーティファクトは、画質を劣化させる可能性がある。

［概要］
本発明の一態様によれば、第１のデモザイクカーネルを適用して鮮鋭な画像を作成すること、第２のデモザイクカーネルを適用して平滑な画像を作成すること、およびこれらの鮮鋭な画像および平滑な画像を使用して出力画像を作成すること、によって、センサ画像が処理される。
本発明の他の態様および利点は、本発明の原理を例として示す添付図面に関連して行われる以下の詳細な説明から明らかとなる。

［詳細な説明］
図面に示すようにまた例示の目的で、本発明は、デジタル撮像システムに具体化される。
このシステムは、単一層の非オーバーレイセンサを有するセンサアレイを含む。
センサは、複数の色フィルタアレイ（ＣＦＡ（color filter array））セルに配列されることがある。
一例として、各ＣＦＡセルは、赤の光の検出用の第１のセンサ、青の光の検出用の第２のセンサ、および緑の光の検出用第３および第４のセンサという４つの非オーバーレイセンサを含むことがある。
このようなセンサアレイは、各平面が同じ色のセンサを含む３つの色平面を有する。
これらのセンサは重なり合わないので、各ピクセルでは、単一の色のみが検知される。

次に、図１を参照して、図１は、センサアレイによって作成されたセンサ画像の処理方法を示している。
センサ画像には第１のデモザイクカーネルが適用されて、十分にサンプリングされた鮮鋭な画像が生成される（１１０）。
この第１のデモザイクカーネルは、各ピクセルの欠けている色情報を生成する。
特定のピクセルの欠けている色情報を生成するために、同じ領域内の隣接したピクセル間に統計的な依存性が存在する場合には、隣接したピクセルからの情報を使用することができる。
第１のデモザイクカーネルは、どの特定のタイプのデモザイクアルゴリズムにも限定されるものではない。
デモザイクアルゴリズムは、非線形空間不変（non-linear, space invariant）のものであってもよいし、線形空間不変（linear-space invariant）のものであってもよい。

線形変換不変（linear translation-invariant）デモザイクを実行する複数のカーネルまたはカーネルセットの設計は、１９９８年１０月２３日に出願された米国特許出願第０９／１７７，７２９号に開示されている。
この米国特許出願は、参照により本明細書に援用される。
このようなカーネルは、「汎用画像デモザイクおよび拡張」（ＧＩＤＥ（Generalized Image Demosaicing and Enhancement））カーネルと呼ばれる。
各ＧＩＤＥカーネルは、ＣＦＡセル内の各位置の係数および各出力色平面の係数からなる１つの行列を含む。
ベイヤパターンを有するＣＦＡセルの場合、ＧＩＤＥカーネルは１２個の行列を有する（３つの出力色平面に４つ異なる位置を掛けたもの）。
これは、４つの３色カーネルとも等価である。
カーネルがあらゆるＣＦＡセルにとって同じであると、そのカーネルは、線形空間不変である。
カーネルは、空間可変（すなわち、ＣＦＡモザイクセルごとに異なるセット）である場合がある。
しかしながら、線形空間不変ＧＩＤＥカーネルは、ほとんどの非線形の適応型カーネルよりも計算量が少なく、使用するメモリも少ない。

ＧＩＤＥカーネルの設計パラメータの１つは、点広がり関数（ＰＳＦ）である。
ＰＳＦは、光学的ぼけを表す。
デジタル撮像システムの光学機器は、センサ画像にぼけを起こす傾向がある。
ＧＩＤＥカーネルは、ＰＳＦを使用して、光学的ぼけを補正し、それによって、鮮鋭な画像を作成する。

センサ画像には、第２のデモザイクカーネルが適用されて、平滑な画像が生成される（１１２）。
この第２のデモザイクカーネルも、各ピクセルの欠けている色情報を生成する。
第２のデモザイクカーネルは、どの特定のタイプのものにも限定されるものではない。
例えば、センサ画像の各ピクセルを、その隣接したピクセルが存在する場合に加重平均と置き換えることによって、平滑な画像を生成することができる。

第２のデモザイクカーネルは、第２のＧＩＤＥカーネルであってよく、この第２のＧＩＤＥカーネルは光学的ぼけを補正しない。
例えば、第２のＧＩＤＥカーネルのＰＳＦは、小さく有効な広がりをサポートするように設計することもできるし、インパルス関数と置き換えることもできる。
後述するように、同じＧＩＤＥアルゴリズムを使用して、鮮鋭な画像および平滑な画像を生成することには一定の利点がある。

平滑画像では、アーティファクトはほとんど見えない。
これとは異なり、第１のＧＩＤＥカーネルによって作成された鮮鋭な画像は、雑音を有する傾向があり、カラーフリンジ等の目に見えるアーティファクトを生成する傾向がある。

鮮鋭化アーティファクトがたとえ存在しても、鮮鋭な画像および平滑な画像を使用することによって、その鮮鋭化アーティファクトがほとんど見えない出力画像が作成される（１１４）。
この出力画像は、次のようにして作成することができる。
鮮鋭な画像と平滑な画像との空間的に対応するピクセル間の差がとられる。
ｄ（ｘ，ｙ）＝ｓ（ｘ，ｙ）−ｂ（ｘ，ｙ）として差ｄ（ｘ，ｙ）がとられる。
ここで、ｓ（ｘ，ｙ）は、平滑な画像の位置［ｘ，ｙ］のピクセルの値を表し、ｂ（ｘ，ｙ）は、鮮鋭な画像の位置［ｘ，ｙ］のピクセルの値を表す。
この差は、各色平面につき１つの成分の計３つの成分を含む。

各位置の各差成分が処理される。
非常に大きな差はおそらく、過度の鮮鋭化アーティファクトを示し、このアーティファクトは除去されなければならない。
したがって、この差の大きさは、大幅に減らされるか、クリッピングされる。
非常に小さな差は、おそらく減らされるかまたは除去されなければならない雑音を示す。
したがって、その大きさは減らされ、それによって、雑音は減らされるかまたは除去される。
あまり大きくもなくあまり小さくもない差はおそらく、ファインエッジを示し、維持または強調することができる。
したがって、この大きさは、増加させられるか、変わらないままにされる。
大きさの実際の変更は、用途に特有のものである。
例えば、この処理は、センサの応答および精度、ＩＳＯ速度、照度等の因子に依存することがある。

処理された差は、平滑な画像に再び加算される。
したがって、出力画像のピクセルｏ（ｘ，ｙ）は、ｏ（ｘ，ｙ）＝ｂ（ｘ，ｙ）＋ｄ'（ｘ，ｙ）と表され、ここでｄ'（ｘ，ｙ）は位置［ｘ，ｙ］のピクセルの処理された差である。

今説明した方法は、どの特定のハードウェアの実施態様に限定されない。
この方法は、ＡＳＩＣで実施する場合があるし、パーソナルコンピュータで実施する場合がある。
しかしながら、ＧＩＤＥは線形最適化の結果であり、この線形最適化によって、この方法は、線形空間不変デモザイクのみをサポートするデジタルカメラ（および他の撮像デバイス）によく適したものとなる。

次に図２を参照して、図２は、例示のデジタル撮像装置２１０を示している。
この装置２１０は、単一層の非オーバーレイセンサを有するセンサアレイ２１２および画像プロセッサ２１４を含む。
画像プロセッサ２１４は、ＧＩＤＥ操作を実行するシングルモジュール２１６および異なる色平面用の異なる色チャネルを含む。

センサ画像は、センサアレイ２１２によって生成されて、ＧＩＤＥモジュール２１６に供給される。
ＧＩＤＥモジュール２１６は、センサ画像に対して２つのパスを実行する。
第１のパスの期間中、ＧＩＤＥモジュール２１６は、第２のＧＩＤＥカーネルを適用する。
その結果、平滑な画像が生成される。
この平滑な画像はバッファ２１８に記憶される。
第２のパスの期間中、ＧＩＤＥモジュール２１６は、第１のＧＩＤＥカーネルを適用し、鮮鋭な画像を作成する。

ＧＩＤＥモジュール２１６は、色チャネルへピクセルごとに鮮鋭な画像を出力する。
各色チャネルは、平滑な画像と鮮鋭な画像との間で一度に１つのピクセルの差をとり、ＬＵＴを使用して差を処理し、そして、その差を平滑な画像に再び加算する。
ＲＧＢ色空間が使用される場合、赤チャネルは、平滑な画像の赤成分と鮮鋭な画像の赤成分との差をとり、第１のＬＵＴ２２０ａを使用してこの差を処理し、そして、処理された差を平滑な画像の赤平面に加算する；緑チャネルは、平滑な画像の緑成分と鮮鋭な画像の緑成分との差をとり、第２のＬＵＴ２２０ｂを使用してこの差を処理し、そして、処理された差を平滑な画像の緑平面に加算する；青チャネルは、平滑な画像の青成分と鮮鋭な画像の青成分との差をとり、第３のＬＵＴ２２０ｃを使用してこの差を処理し、そして、処理された差を平滑な画像の青平面に加算する。
画像プロセッサ２１４の出力は、各ピクセルのフルカラー情報を有する出力画像を供給する。

図２の実施の形態では、異なる色チャネルに対して異なるＬＵＴ２２０ａ、２２０ｂ、および２２０ｃが使用される。
しかしながら、本発明は、そのように限定されるものではない。
３つのＬＵＴ２２０ａ、２２０ｂ、および２２０ｃは、同じものであってもよい。

図３を参照して、図３は、画像プロセッサ３１４を含むシステム３１０を示している。
この画像プロセッサ３１４は差成分を生成する。
成分ｄＲ（ｘ，ｙ）は、赤平面の平滑な画像と鮮鋭な画像との間の位置［ｘ，ｙ］のピクセルの差を示す。
成分ｄＧ（ｘ，ｙ）は、緑平面の平滑な画像と鮮鋭な画像との間の位置［ｘ，ｙ］のピクセルの差を示す。
成分ｄＢ（ｘ，ｙ）は、青平面の平滑な画像と鮮鋭な画像との間の位置［ｘ，ｙ］のピクセルの差を示す。

画像プロセッサ３１４のブロック３１６は、差成分ｄＲ（ｘ，ｙ）、ｄＧ（ｘ，ｙ）、およびｄＢ（ｘ，ｙ）の関数として単一の値ｖ（ｘ，ｙ）を計算する。
例示の関数は、次の通りである。
ｖ（ｘ，ｙ）＝（ａＲ｜ｄＲ（ｘ，ｙ）｜ｐ＋ａＧ｜ｄＧ（ｘ，ｙ）｜ｐ＋ａＢ｜ｄＢ（ｘ，ｙ）｜ｐ）１／ｐ
ここで、ａＲ、ａＧ、ａＢ、およびｐは、事前に定義された定数である。
これらの定数は、特定のカメラセンサに対してカスタム設計したり、先験的な値として割り当てたりすることができる。
第１の例として、先験的な値は、ａＲ＝ａＧ＝ａＢ＝１／３であり、ｐ＝１である。
第２の例として、ａＲ、ａＧ、ａＢ、は、或る先験的な値を有し、ｐ＝∞である。
第２の例の値を使用すると、関数ｖ（ｘ，ｙ）は、次のようになる。
ｖ（ｘ，ｙ）＝ｍａｘ（ａＲ｜ｄＲ（ｘ，ｙ）｜，ａＧ｜ｄＧ（ｘ，ｙ）｜，ａＢ｜ｄＢ（ｘ，ｙ）｜）

値ｖ（ｘ，ｙ）は、単一のＬＵＴ３１８を通過する。
アーティファクトを表す大きな値はクリッピングされるか、大幅に低減され、雑音を表す小さな値は低減され、エッジを表す中間値は増大される。
ＬＵＴ３１８の出力は、修正値ｖ'（ｘ，ｙ）を提供する。
この修正値ｖ'（ｘ，ｙ）は、成分のそれぞれに対して共通の乗数として機能する。
したがって、ｄＲ'（ｘ，ｙ）＝ｖ'（ｘ，ｙ）ｄＲ（ｘ，ｙ）；ｄＧ'（ｘ，ｙ）＝ｖ'（ｘ，ｙ）ｄＧ（ｘ，ｙ）；およびｄＢ'（ｘ，ｙ）＝ｖ'（ｘ，ｙ）ｄＢ（ｘ，ｙ）となる。

ｖ'（ｘ，ｙ）＝ｇ［ｖ（ｘ，ｙ）］となるように、エッジ停止関数ｇ（）を使用することができる。
このエッジ停止関数ｇ（・）は、小さな入力および大きな入力に対して１未満の値を返す一方、中程度の入力に対して１以上の値を返す。
これは、雑音（小さな差）および強いアーティファクト（大きな差）を低減する一方、正規のエッジ（中程度の差）を維持または強調することに対応する。

エッジ停止関数は、次のように設計することができる。
ｈ（ｚ）をＬＵＴ３１８を示すものとする。
ｚを任意の非ゼロの入力値として、ｇ（ｚ）＝ｈ（ｚ）／ｚに設定する。

ＬＵＴ３１８は、それ以外に、図４に示すエッジ停止関数等のエッジ停止関数から設計することもできる。
一例として、式ｈ（ｄ）＝ｇ（ｄ）ｄによってＬＵＴ３１８を生成することができる。

修正された差成分ｄＲ'（ｘ，ｙ）、ｄＧ'（ｘ，ｙ）、およびｄＢ'（ｘ，ｙ）は、平滑な画像に加算される。
画像プロセッサ３１４の出力は、各ピクセルのフルカラー情報を有する出力画像を供給する。

本発明は、どの特定の色空間にも限定されるものではない。
ＲＧＢ以外の可能な色空間には、ＣＩＥＬａｂ、ＹＵＶ、およびＹｃｒＣｂが含まれるが、これらに限定されるものではない。

本発明は、先に述べ示した特定の実施の形態に限定されるものではない。
そうではなく、本発明は、添付した特許請求の範囲に従って解釈される。

本発明の一実施の形態によるセンサ画像を処理する方法の図である。本発明の第１の実施の形態によるセンサ画像を処理する装置の図である。本発明の第２の実施の形態によるセンサ画像を処理する装置の図である。「エッジ停止」関数の図である。

符号の説明

２１２・・・センサアレイ、
２１４・・・プロセッサ、
２１６・・・ＧＩＤＥモジュール
２１８・・・バッファ、
２２０・・・ＬＵＴ

Claims

センサ画像に対してデモザイク操作を実行するプロセッサ（２１４）を備える装置（２１０）であって、該プロセッサ（２１４）は、前記センサ画像から鮮鋭な画像および平滑な画像を生成し、該鮮鋭な画像および該平滑な画像を使用して出力画像を生成する
装置。
前記プロセッサ（２１４）は、同じデモザイクアルゴリズムを使用して、前記鮮鋭なセンサ画像および前記平滑なセンサ画像を作成する
請求項１に記載の装置（２１０）。
前記プロセッサ（２１４）は、異なる光学的ぼけを用いて設計された第１のカーネルおよび第２のカーネル（２１６）を使用して、前記鮮鋭な画像および前記平滑な画像を作成する
請求項２に記載の装置（２１０）。
プロセッサ（２１４）は、線形空間不変アルゴリズムを使用して、前記鮮鋭なセンサ画像を作成する
請求項１に記載の装置（２１０）。
前記プロセッサ（２１４）は、第１のＧＩＤＥカーネルおよび第２のＧＩＤＥカーネル（２１６）を使用して、前記鮮鋭な画像および前記平滑な画像を作成し、前記第２のＧＩＤＥカーネルは光学的ぼけを補正しない
請求項１に記載の装置（２１０）。
前記プロセッサ（２１４）は、前記鮮鋭な画像のピクセルと前記平滑な画像のピクセルとの差をとり、該差を選択的に修正して前記出力画像を生成する
請求項１に記載の装置（２１０）。
前記プロセッサ（２１４）は、各色平面の差をとり、少なくとも１つの参照表（２２０ａ、２２０ｂ、２２０ｃ）を使用して異なる色平面の前記差を選択的に修正する
請求項６に記載の装置（２１０）。
前記プロセッサ（２１４）は、色平面の差をとり、該差から単一の補正係数を導出し（３１６）、該単一の補正係数を使用して前記異なる色平面のそれぞれの前記差を選択的に修正する
請求項６に記載の装置（２１０）。
装置（２１０）であって、前記プロセッサ（２１４）は、エッジ停止関数を使用して前記差を選択的に修正する
請求項１に記載の装置（２１０）。
前記センサ画像を作成するセンサアレイ（２１２）
をさらに備え、
前記センサアレイ（２１２）は、ベイヤパターンを有するＣＦＡセル
を含み、
前記デモザイク操作は、
各色平面の各位置の行列を使用すること
を含む
請求項１に記載の装置（２１０）。