JP2004153823A - 局部線形回帰法を用いた画像処理システム - Google Patents

Abstract

【課題】色飽和を低減させることなく画像内でのエッジと線の再生を改善するモザイク解除アルゴリズムを有する画像処理システムを提供する。
【解決手段】上記課題は、画素列内の各画素が画像ごとに少なくとも二つの色平面の一つにおける未加工センサ値の個別の一つを生成する画像処理システムにおいて、画像の一領域内の画素により生成された少なくとも一つの未加工センサ値群を記憶し、領域の面積が画像の面積に満たないバッファと、バッファが記憶する未加工センサ値群を受け取り、少なくとも未加工センサ値群を用いて領域ごとの色平面間の線形関係を表わす回帰係数を割り出し、回帰係数を用いて画像の領域内の画素に関連する欠落色センサ値を算出するために接続されたプロセッサとを有することを特徴とする画像処理システムにより解決される。
【選択図】図３

Description

本発明は概ね画像センサに係り、特にセンサ値の画像処理に関する。

電子画像センサは、主に二つの種類がある。すなわちＣＣＤ（電荷結合素子）とＣＭＯＳ−ＡＰＳ（相補金属酸化物半導体−アクティブ方式画素センサ）である。どちらの種類のセンサも、一般に画像内の光及び／又は色を取り込む所定パターンに配置された光検出器列を含む。各光検出器は一つの画像の一つの画素に対応し、１以上の範囲の波長内で画素の光強度を測る。

加えて、どちらの種類のセンサも、特許文献１に示すベイヤー（Ｂａｙｅｒ）の特許に記載されたような色フィルタ列（ＣＦＡ）を有する。ベイヤーＣＦＡを用いると、各画素は知覚色の赤、緑、青に対応する一つの波長範囲だけを検出する。色フィルタのベイヤーモザイクパターンを下記に示す（文字Ｒ，Ｇ１，Ｇ２，Ｂは、それぞれ単一画素ごとにそれぞれ赤色、赤行上の緑色、青行上の緑色、青色を表わす）。

単一画素配置において三原色全てにセンサ値を得るには、隣接画素から色センサ値を補間する必要がある。この補間処理は、モザイク解除と呼ばれる。今日、多くのモザイク解除方法が知られている。例えば、画素複製や双一次補間、中央値補間を挙げることができる。

米国特許第３，９７１，０６５号明細書 米国特許第５，６５２，６２１号明細書

現行のモザイク解除アルゴリズムは、一つの画像内での隣接画素のセンサ値が高い相関を有するという前提（以下、隣接相関仮説と呼ぶ）の下で、同一の色平面の隣接センサ値からセンサ欠落値を補間している。しかしながら、細い線とエッジをもった画像領域については隣接画素間の相関は乏しい。それ故、隣接相関仮説に基づくモザイク解除は、エッジ沿いにかつ微細な細部をもった領域内において人工的な色折り返し歪を生成することがある。加えて、隣接相関仮説モザイク解除法は、色平面間に独立した雑音レベルを伴なった画像を生成し、色補正処理期間中により高い雑音増幅を生み出すことがある。

他のモザイク解除アルゴリズムは、センサ欠損値の算出時に隣接センサ値と現在の画素の未加工センサ値との両方を組み入れてきた。この種のアルゴリズムは、同一画素の異なる色センサ値の値が通常は高度に相関するという仮説（以下、色相関仮説と呼ぶ）の下で動作する。異色間の相関は、全画像について固定或いは単一画像全体に同一のいずれかを前提としている。色相関仮説モザイク解除法は、より少ない色折り返し歪をもった改善されたエッジ及び線再生をもたらすことができる。しかしながら、一部の画像では、改善されたエッジ及び線再生は異色平面間の固定されたポジティブ相関仮説のため色飽和を低減し、色域が狭くなってしまう。それ故、必要とされるのは、色飽和を低減させることなく画像内でのエッジと線の再生を改善するモザイク解除アルゴリズムである。加えて、必要とされるのは、色補正処理期間中の雑音の増幅に寛容なモザイク解除アルゴリズムである。

本発明の実施形態は、未加工カラーセンサ値から線形予測を用いて画像内の推定センサ欠損値を算出するモザイク解除アルゴリズムを実装した画像処理システムを提供するものである。未加工画像をセンサ値領域に分割し、各領域ごとの色平面間の線形関係を一領域内で異色平面が共に変化する程度に応じて回帰係数を算出する回帰法により割り出す。各領域ごとのセンサ欠落値は、局部線形回帰処理から割り出した線形回帰係数を用いて未加工色センサ値の変倍遷移版として算出する。

一実施形態では、領域ごとに異なる色平面間の線形回帰係数を割り出す前に、双一次補間などの単純なモザイク解除処理をセンサ値の一領域に適用する。他の実施形態では、回帰係数は未加工センサ値自体から割り出す。

さらなる実施形態では、単一線形相関仮説が複数の被写体色を有する画像領域について適用できない箇所で、以前算出したモザイク解除結果を用いるか１以上の線形回帰法を用い、幾つかの異なる線形関係を用いて領域ごとの複数の回帰係数を割り出すことによりセンサ欠落値を補間することができる。

一つの領域内の色チャンネルの全欠落画素が単一組の線形回帰係数を用いて算出されるため、領域内の画素のセンサ値間の線形関係は維持され、その結果として隣接相関仮説モザイク解除法に比べ最終画像内の不鮮明は少なく色折り返し歪は少なくなる。加えて、異なる色チャンネル間の雑音が相関処理され、それにより他の隣接相関や色相関仮説モザイク解除法に比べ続く処理における雑音増幅が低減される。さらに、本発明は前記したものに加え或いはこれに代え、他の特徴ならびに効果をもった実施形態を提供するものである。これらの特徴と効果の多くは、以下の図面を参照することで下記の説明から明らかとなる。

開示発明を添付図面を参照して説明する。大半の画像センサにとって、任意の画素位置において異なる色について捕捉されたセンサ値は高度に相関を有し、異色に関するセンサ値が互いに予測可能に傾斜しオフセットすることを意味する。異色間の相関は、大半が重複する感度を有する画素位置における光検出器ならびに画像内で捕捉された被写体が一般に滑らかな面反射曲線を有するという事実の結果である。

しかしながら、異色の複数の被写体を含む画像全体について算出したときに、色間の相関は中間色のものとなる傾向がある。ここで、図１を参照するに、標本画像（図示せず）内の全ての画素に関する二つの色平面間で線形相関を表わす図が示してある。図１中、画素位置の緑色値は画像内の全画素について同一の画素位置の赤色値に対しプロットしてある。図１で分かる如く、赤色値と緑色値の間には全体的に正の相関が存在する。相関係数は０．７１であり、これは緑色値内の分散の約５０％が赤色値から推定できることを示している（根拠となる分散量は相関係数の二乗で算出される）。

しかしながら、図１には点在するプロット内の異なる傾斜をもった帯として示したように、赤色値と緑色値の間の異なる関係を有する画素の部分集合が存在する。これらの各帯内の画素ごとに赤色値と緑色値の間の相関を改善するため、帯内の画素位置における赤値と緑値の間の異なる線形関係を各帯ごとに算出しなければならない。画像全体に対する赤色値と緑色値の間の相関（すなわち０．７１）は、個々の画素位置における欠落画素値の正確な算出をもたらすのに十分高いものではない。

ここで図２を参照するに、本発明の実施形態によれば、同一画像のより小さな領域について赤色値に対し緑色値をプロットしたときに、相関レベルは著しく改善される。図２では、５個の８×８画素領域が図１にプロットした画像から無作為に選択してある。４個の個別領域内では、相関係数は平均して優れてより高い（例えば、０．９を超える）ものとなるが、異なる領域は異なる傾斜とオフセットを有する。領域のうち一つにとって、相関係数は負となってさえいる。より高い相関は、画像領域内の局部相関に基づくモザイク解除画像内での色折り返し歪の低減に帰結する。

ここで図３を参照するに、本発明に従い局部線形回帰（ＬＬＲ）モザイク解除アルゴリズム４５を実装した画像処理システム１０を有する画像装置５が図示してある。画像装置５は、カメラやビデオカメラや医療撮像装置等の任意のディジタル撮像装置の一部として組み込むことができる。撮像装置５はさらに、画像データ記憶用にメモリを内蔵するパーソナルコンピュータやサーバといったコンピュータシステム上に少なくとも一部組み込むことができる。かくして、このアルゴリズム４５はパーソナルコンピュータやサーバ上で稼働する画像処理ソフトウェアの一部としてディジタル撮像装置内に配置することができる。

撮像装置５は、行列配置した画素２５の二次元配列を含むＣＭＯＳセンサチップやＣＣＤセンサチップといった画像センサ２０を含む。画像センサ２０は、各画素２５が１色だけを検出するよう、色フィルタ列（ＣＦＡ）により被覆することもできる。例えば、ＣＦＡは周知のベイヤーＣＦＡでよく、そこでは輝度色（緑）のチェッカー盤パターンの間に色度色（赤と青）が点在する。ここで説明するＬＬＲモザイク解除アルゴリズム４５が、ＣＭＹ（シアン、マゼンタ、イエロー）センサモザイク或いは他のｎ色（ｎ≧３）センサモザイクといった他のＣＦＡ構成にも適用可能であることもまた理解さるべきである。

画像センサ２０は、センサ値３０に本発明のＬＬＲモザイク解除アルゴリズム４５を適用することのできる画像処理システム１０内のディジタル信号プロセッサ４０へ元となる赤、青、緑の画素値を含む未加工センサ値３０を供給する。センサ値３０は領域に分割され、一度に１領域分がディジタル信号プロセッサ４０へ供給される。このように、センサ値３０は必要な数のセンサ値３０が処理開始用に存するまで、バッファ５０内に記憶させられる。バッファ５０は、プロセッサ４０外部の記憶装置（例えばＲＡＭ）や或いはプロセッサ４０内の記憶装置（例えば、内部レジスタやスタックやキャッシュ）として実装することができる。他の実施形態では、バッファ５０及び／又はプロセッサ４０はセンサチップ自体に組み込むことができる。

処理を開始するのに必要なセンサ値３０の数は、画像が処理目的のために分割された領域の寸法に依存する。例えば、センサ値３０は通常センサ２０から一度に１行分読み出される。それ故、８×８ブロックのセンサ値３０を処理するには、バッファ５０内に記憶させるのに８行のセンサ値が必要となろう。

ＬＬＲモザイク解除アルゴリズム４５は、各領域ごとに異なる色平面の画素値を関連付ける最適線形関数の係数を割り出す回帰法により、各領域ごとに色平面間の線形関係を割り出す。領域ごとの欠落色センサ値は、局部線形回帰処理から推定した線形回帰係数を用いて未加工色センサ値をスケールやシフトして算出される。

ＬＬＲモザイク解除アルゴリズム４５を用い た画像のモザイク解除を終えた後、モザイク解除した（補間した未加工）センサ値１３０を続く処理に用いることができる。例えば、モザイク解除したセンサ値１３０は、色補正処理或いは記憶目的の圧縮処理或いはビデオスクリーンやコンピュータスクリーンやプリンタなどの出力装置に画像を出力するための色変換処理に供することができる。

ここで、図４を参照するに、本発明の実施形態に従いＬＬＲモザイク解除アルゴリズム４５を実行する例示ロジックが図示してある。このＬＬＲモザイク解除アルゴリズム４５は、バッファ５０が供給する未加工センサ値３０を入力として取り込む。補間ロジック１００は、一度にセンサ値３０のブロックを受け、双一次や直接線形補間といった任意の高速かつ単純なモザイク解除処理を用いて補間センサ値３５を算出する。ブロックは、画像を分割する領域に対応する。ここで使用する如く、「ロジック」なる用語が説明済み機能を実行するハードウェアやソフトウェア及び／又はファームウェアを指すことは理解されたい。

未加工センサ値３０と一部実施形態（図６に図示）における補間センサ値３５が、各領域ごとに線形回帰ロジック１１０へ供給され、各領域ごとの異なる色平面間の線形回帰係数１１５（傾斜と切片）を割り出す。線形回帰係数１１５はさらに算出ロジック１２０へ供給され、そこでそれらは線形予測を用いた未加工センサ値からの領域内推定欠落色センサ値の算出に用いられる。算出欠落色センサ値は、欠落色センサ値がセンサによって計測したと仮定した場合の実際の欠落色センサ値がもったであろう筈の推定値である。

画像の特定領域内の欠落色センサ値は全て同一の線形回帰係数をもった未加工センサ値から推定されるので、領域内の画素のセンサ値間の線形関係は維持され、その結果として最終モザイク解除画像内の不鮮明さはより少なく、色折り返し歪はより少なくなる。加えて、モザイク解除値と未加工値が線形関係にあるため、通常モザイク解除ステップに続く色補正処理における雑音増幅は本発明のＬＬＲモザイク解除アルゴリズムを用いて低減することができる。雑音増幅を低減することは、（ＣＭＹセンサなどの）広域波長感度を有する画像センサを用いたときに特に重要である。これらの広域波長センサにとって、色補正マトリックス要素は最終処理画像における雑音増幅に寄与する大きな値を有する傾向がある。

例えば、未加工モザイク画像が、平均値０、標準偏差σをもって各画素ごとに独立にかつ同様に分布する追加雑音要素ｎを有すると仮定すると、色センサ値（例えば、赤、緑、青）は以下の如く表わされる。
ｒ＝ｒ_０＋ｎ
ｇ＝ｇ_０＋ｎ
ｂ＝ｂ_０＋ｎ
ここで、ｒ_０，ｇ_０，ｂ_０は、画像捕捉処理を通じてあらゆる雑音が付加される前の真の画素値である。隣接画素からの補間による従来のモザイク解除の後、推定色センサ値は同一画素の未加工色センサ値ではなくその隣接雑音と相関処理される雑音要素を有する（すなわち、雑音要素は異なる色平面間で独立していて、画像の全体的な雑音レベルは三つの色チャンネルの独立した雑音要素の組み合わせとなる）。

ｃ_ｉｊ（ｉ∈｛１，２，３｝，ｊ∈｛１，２，３｝）をセンサＲＧＢ（又はＣＭＹ）値から表示ＲＧＢ値へ変換する色補正マトリクスとした場合、ｘ_ｒ，ｘ_ｇ，ｘ_ｂで表わされる表示ＲＧＢ値は下式から算出される。
ｘ_ｒ＝ｃ_１１ｒ＋ｃ_１２ｇ＋ｃ_１３ｂ
ｘ_ｇ＝ｃ_２１ｒ＋ｃ_２２ｇ＋ｃ_２３ｂ
ｘ_ｂ＝ｃ_３１ｒ＋ｃ_３２ｇ＋ｃ_３３ｂ

ｘ_ｒ，ｘ_ｇ，ｘ_ｂに関する雑音分布は、平均値が０でｃ_ｉｊの関数である標準偏差を有する。モザイク解除されたｒ，ｇ，ｂ値が独立した（或いは独立に近い）雑音要素であるときは、雑音項の標準偏差ｘ_ｒ，ｘ_ｇ，ｘ_ｂは下式で表わされる。

白色を維持するような補正マトリックス（すなわち、マトリックスの行合計が１）を有するＲＧＢセンサにとって、色マトリクスは通常１を超える対角項と１未満か又は負とさえなり得る非対角項を有する。ＲＧＢセンサ用の色マトリクス例を、以下に示す。この種のマトリックスにあっては、モザイク解除したｒ，ｇ，ｂ値が独立した雑音項を有するときに雑音増幅は１を超える。

３．５９７３ −１．４８６５ −１．１１０９
−０．４６５８ １．９１８３ −０．４５２６
−０．１８９８ −１．１０７９ ２．２９７７

ＣＭＹセンサについては、以下のマトリクスに例示する如く、色マトリックスはしばしば大きな負項をもったより大きな値を有する傾向がある。モザイク解除されたｒ，ｇ，ｂ値が独立した雑音項を有する場合、これらのＣＭＹセンサにとって雑音増幅はより大きなものとなる。

３．５３０３ ２．４９９６ −５．０２９８
−１．８７４１ １．１５６９ １．７１７１
２．２５８４ −２．９０１０ １．６４２６

本発明のＬＬＲモザイク解除アルゴリズムを用いると、局部画像領域内の全画素についての欠落色センサ値は未加工色センサ値に係数を変倍・シフト値して算出される。それ故、補間色センサ値は局部画像領域内の未加工色センサ値と良好に相関し、かくして雑音項は高い相関を有する。ｘ_ｒ，ｘ_ｇ，ｘ_ｂに関する雑音項の標準偏差は、下式で表わされる。

ｃ_ｉ１＋ｃ_ｉ２＋ｃ_ｉ３＝１であるから、局部画像領域内の雑音増幅係数は１となる。それ故、本発明のＬＬＲモザイク解除アルゴリズムを用いることで雑音増幅は制限され、そのことで最終画像の品質は改善される。

ＬＬＲモザイク解除アルゴリズム内の例示ステップが、図５に示してある。まず最初に、画像を表わす計測された未加工ディジタルセンサ値がディジタル信号処理装置へ供給（ステップ５００）され、未加工センサ値をモザイク解除する。受け取ったこれらの未加工センサ値は領域に分割し、個別にモザイク解除（ステップ５１０）する。例えば、センサ値はｎ×ｎブロック又はｎ×ｍブロックに分割することができ、各ブロックが同一又は異なる数のセンサ値を含む。特定領域についてバッファからセンサ値を検索する際に、領域内で未加工センサ値の線形回帰を実行し、その領域内の異色平面間の線形関係を記述する線形回帰係数（傾斜とオフセット）を割り出す（ステップ５２０）。線形回帰係数から、その領域内の各画素位置における推定欠落色センサ値を算出する（ステップ５３０）。

線形回帰係数は、その領域に関する未加工センサ値のみを用いて各領域ごとに個別推定される。各領域ごとの欠落色センサ値は、その領域ごとの具体的な線形回帰係数と未加工センサ値を用いて個別に算出される。一旦画像の全領域の欠落色センサ値を算出する（ステップ５４０）と、さらなる処理或いは表示へ向け最終モザイク解除画像がディジタル信号プロセッサから出力される（ステップ５５０）。最終モザイク解除画像は、各画素位置における原未加工センサ値と算出欠落色センサ値を含む。

一実施形態では、各領域ごとの線形回帰係数を未加工センサ値と単純な補間センサ値の両方を用いて割り出す。ここで図６を参照するに、本発明の実施形態に従い未加工補間センサ値を用いて局部線形回帰モザイク解除アルゴリズムを実行する例示ステップが図示してある。未加工センサ値を受け取り（ステップ６００）、センサ値を領域に分割（ステップ６１０）する際に、第１のステップとして双一次補間や中間値補間といった単純なモザイク解除をモザイク画像に適用（ステップ６２０）することができる。単純なモザイク解除処理は、それぞれが原未加工及び補間色センサ値の両方を含む全３色平面（例えば、赤、緑、青）を生成する。単純なモザイク解除アルゴリズムが、未加工色センサ値を変更しない非常に単純かつ高速のアルゴリズムにできることは理解されたい。

各領域ごとに線形回帰係数を割り出すため、補間色値と未加工色値を用いる（ステップ６３０）。例えば、ｒ_ｉ，ｇ_ｉ，ｂ_ｉがｎ×ｎ画素のブロック内の画素ｉに関する個々のｒ，ｇ，ｂ色センサ値を表わすものとする。Ｇ値（Ｓ_ｒｇ，Ａ_ｒｇ）からのＲ値算出やＢ値（Ｓ_ｒｂ，Ａ_ｒｂ）からのＲ値等の算出に用いる回帰係数（傾斜ＳとオフセットＡ）を割り出すため、分散項と共分散項を算出しなければならない。例えば、

が、現在の画像領域におけるｒ，ｇ，ｂの平均を表わす場合、分散（ＳＳ）項と共分散（ＣＳ）項に関する二乗和は、下式で表わされる。

分散二乗和と共分散二乗和から、色値ｙを色値ｘから予測するのに用いる線形回帰係数Ｓ_ｙｘ（傾斜）とＡ_ｙｘ（オフセット）を、下記の如く算出することができる（便宜上、Ｒ平面とＧ平面に関する係数だけが図示してあるが、他の色平面も同様である）。

特定領域に関する分散項と共分散項の算出時に、特定用途に応じてその特定領域に関する全センサ値か又はその特定領域からのセンサ値の部分集合だけを用いることができる。他の実施形態では、線形回帰係数は算出しないが、その代わりに異なる色平面に関する平均強度に基づいて異なる色平面に関する線形関数を表わすルックアップテーブルを構築することができる。

一旦線形回帰係数を割り出すと、領域に関する推定欠落色センサ値を算出（ステップ６４０）することができる。例えば、未加工モザイクにおける全Ｇ画素位置について、欠落Ｒ値及びＢ値ｒ’，ｇ’は、Ｓ_ｒｇ，Ａ_ｒｇとＳ_ｂｇ，Ａ_ｂｇを用いて下記の如くＧ値から算出することができる。
ｒ_ｉ’＝Ａ_ｒｇ＋Ｓ_ｒｇ ^＊ｇ_ｉ
ｂ_ｉ’＝Ａ_ｂｇ＋Ｓ_ｂｇ ^＊ｇ_ｉ

領域に関する同様の推定はＢ画素位置における全ての欠落Ｒ値及び欠落Ｇ値に適用でき、Ｒ画素位置における全ての欠落Ｇ値及び欠落Ｂ値はその領域に関する全３色画像に帰結する。この処理は画像内の全ての領域（例えばｎ×ｎブロック或いはｎ×ｍブロック）について繰り返され（ステップ６５０）、最終モザイク解除画像が生成される（ステップ６６０）。

他の実施形態では、線形回帰係数は未加工センサ値だけ用いて割り出すことができる。ここで図７を参照するに、本発明の他の実施形態に従い、未加工センサ値だけを用いる局部線形回帰モザイク解除アルゴリズムを実行する例示ステップが図示してある。単純な補間ステップを実行する代わりに、未加工センサ値を受け取り（ステップ７００）、センサ値を領域に分割（ステップ７１０）する際に、各領域ごとの線形回帰係数を未加工色センサ値のみから割り出す。

例えば、ベイヤーモザイク画像に関する線形回帰係数を割り出すため、ｒ_ｉが特定の画像領域に関する個別ｒ色値を表わすものとする。ｇ_ｉ１，ｇ_ｉ２，ｇ_ｉ３，ｇ_ｉ４が、各ｒ_ｉごとに真上、真下、左真横、右真横にある緑画素を表わすものとする。最初のステップとして、ｒと４個のｇ値群のそれぞれとの間の相関係数ρ_１，ρ_２，ρ_３，ρ_４を、以下の如く算出（ステップ７２０）する。

ここで、ＣＳ（ＲＧ_ｊ）とＳＳ（Ｇ_ｊ）は、使用緑値が各緑画素位置に対応してｇ_ｉｊ，ｊ＝１，２，３，４となる点を除き、図６に関連して示したのと同様の仕方で算出する。

画像の平坦領域では、赤と４個全ての緑値の相関は同様でなければならない。しかしながら、多くの高空間周波数パターンを有する領域にあっては、ρ_ｉ値は大幅に変わることがある。例えば、高水平周波数パターンを有する画像領域では、ｒとｇ_３，ｇ_４（左右の緑の画素）間の相関は高く、ただしρ_１，ρ_２低いものとなろう。それ故、人工的な色折り返し歪の導入を排除するため、最高の相関をもたらす緑画素位置を選択しＲ色値とＧ色値の間の線形回帰係数を割り出す（ステップ７３０）。

例えば、ｊｍａｘが特定領域に関する赤値と最高の相関を有する緑画素位置を表わす場合、領域内で色値ｘからの色値ｙの推定に用いる線形回帰係数Ｓ_ｙｘ（傾斜）とＡ_ｙｘ（オフセット）は以下の如く算出（ステップ７４０）することができる（便宜上、ｒ平面とｇ平面の係数だけが図示してあるが、他の色平面も同様である）。

一旦一組の色平面に関する線形回帰係数が割り出されると、この処理は他の全ての組の色平面について繰り返される（ステップ７５０）。全ての色平面用の線形回帰係数から、図６に関連して説明した如く、領域に関する推定欠落色センサ値を算出する（ステップ７６０）ことができる。この処理は、最終的なモザイク解除された画像を生成（ステップ７８０）すべく、画像内の全ての領域（例えばｎ×ｎブロック或いはｎ×ｍブロック）について繰り返される（ステップ７７０）。

さらなる実施形態では、図６に関連して前記したＬＬＲモザイク解除アルゴリズム実施形態内で人工的折り返し歪の数を低減するため、ＬＬＲモザイク解除アルゴリズムは画像の高空間周波数成分上でだけ実施することができる。ここで図８を参照するに、画像の高い空間周波数成分を用いて局部線形回帰モザイク解除アルゴリズムを実行する例示ステップが、本発明のさらなる実施形態に従って図示してある。

未加工センサ値を受け取り（ステップ８００）、センサ値を領域に分割（ステップ８１０）する際に、単純なモザイク解除アルゴリズムをモザイク画像に適用し、画像領域の第１のモザイク解除版を生成（ステップ８２０）する。その後、画像領域の第１のモザイク解除版のブラー版を領域寸法と同じ大きさのガウス型カーネルを用いた畳み込みを通じて生成（ステップ８３０）する。ガウス型畳み込みは低域濾波フィルタとして機能し、それによって画像から細部を取り除く。ガウス型カーネルに代えて、他の低域濾波カーネルを用いることができることは理解されたい。不鮮明版はそこで第１のモザイク解除版から減算し、画像が原画像の高空間周波数成分だけを含む差分画像を生成（ステップ８４０）する。

続く回帰及び欠落色センサ値推定算出が差分画像上で行われ（ステップ８５０，８６０）、図６，７に関連して前記した如く、画像領域の第２のモザイク解除版が生成される。第２のモザイク解除版が一つの領域について完成した後、その領域に関する不鮮明版が第２のモザイク解除版に追加し戻され（ステップ８７０）、画像領域の最終モザイク解除版が生成される。この処理は、画像内の全ての領域（例えば、ｎ×ｎブロック或いはｎ×ｍブロック）について繰り返され（ステップ８８０）、最終モザイク解除画像を生成（ステップ８９０）する。

本発明は、小さな領域内ではＲ，Ｇ，Ｂ色センサ値が高度の線形相関を有するという一般的な前提のもとに行われたが、この前提が当てはまらない幾つかの画像領域も存在する。図９は、標本画像の特定の領域の全画素に関する対応緑色値に対してプロットした青色値を示す。青色値と緑色値の間の関係を記述するのに三つの線形関数が必要であることが、図９から容易に見て取ることができる。それ故、前記した局部回帰法で行われる如く、緑から青を予測するのにただ一つの線形関数を用いた場合、緑画素位置で算出される大半の青センサ値は不正確であり、その結果格子様の誤ったパターンを生ずる。

格子構造は通常、全てが過小計算か又は過大計算された色センサ値群を含み、そのことでそれらの隣接画素よりも低いか又は高い色センサ値（かくして格子様パターン）が算出されることになる。それ故、格子構造を検出するのに、ＬＬＲモザイク解除アルゴリズムから生成されたモザイク解除センサ値と図６，８に関連して前記した単純なモザイク解除ステップから生成された補間色値との間で比較を行うことができる。

ここで図１０を参照するに、本発明の実施形態に従い、ＬＬＲモザイク解除アルゴリズム４５を用いてモザイク解除した画像から格子構造を取り除く例示ロジックが図示してある。ＬＬＲモザイク解除アルゴリズム４５は、バッファ５０が供給する未加工センサ値３０を入力として取り込む。補間ロジック１００は、一度にセンサ値３０のブロックを受け取り、双一次或いは直接線形補間といった任意の高速かつ単純なモザイク解除処理を用いて補間センサ値３５を算出する。ブロックは、画像を分割する領域に対応する。

未加工センサ値３０と一部実施形態（図６に関連して前記）における補間センサ値３５は、各領域ごとに線形回帰ロジック１１０へ供給され、各領域ごとの異なる色平面間で線形回帰係数１１５（傾斜と切片）を割り出す。線形回帰係数１１５はさらに算出ロジック１２０へ供給され、そこで線形予測を用いて未加工センサ値からの領域内推定欠落色センサ値の算出に用いられる。

未加工センサ値３０はさらに、閾値１５５を算出すべく閾値ロジック１５０へ供給される。一実施形態では、閾値１５５は画像の照光状態に応じて可変することができる。例えば、低照光状態にあっては、センサ値は低く、信号対雑音比は低く、格子構造が生じたかどうかの判定のために高い閾値１５５が必要とされる。対照的に、通常のすなわち明るい照光状態では、センサ値は高く、信号対雑音比は高く、それによって格子構造が生じたかどうかの判定のために低い閾値１５５の設定が可能となる。他の実施形態では、閾値１５５は、製造業者が予め構成したり、カメラ操作者が設定したりできる。

補間されたセンサ値３５と算出センサ値１２５はさらに比較ロジック１４０へ供給され、少しでも格子構造が画像領域内に存在するかどうか判定される。比較ロジック１４０は、各画素の算出センサ値１２５を対応する各画素ごとの対応補間センサ値３５と比較し、各画素ごとに色平面に関する異なる値１４５を出力する。差分値１４５と、未加工センサ値３０と補間されたセンサ値３５と算出センサ値１２５と閾値１５５が置換ロジック１６０へ供給され、最終モザイク解除センサ値１３０を出力する。最終モザイク解除センサ値１３０は、未加工センサ値３０と、算出センサ値１２５と、閾値を超える差分値がＬＬＲモザイク解除の結果格子構造生じた箇所の画素に関する算出センサ値１２５の代用としての補間センサ値３５を含む。

ＬＬＲモザイク解除画像から人工的な格子を取り除く例示ステップが、図１１に図示してある。未加工センサ値を受け取り（ステップ９００）、センサ値を個別モザイク解除用に分割（ステップ９０５）するに際し、単純なモザイク解除アルゴリズムをモザイク画像に適用し（ステップ９１０）、それぞれが原未加工色センサ値と補間色センサ値の両方を含む全３色平面（Ｒ，Ｇ，Ｂ）を生成する。その後、その領域における異色平面間の線形関係を記述（ステップ９１５）する線形回帰係数（傾斜及びオフセット）が、図６に関連して前記した如く補間センサ値と未加工センサ値の両方から或いは図７に関連して前記した如く未加工センサ値のみから割り出される。線形回帰係数から、その領域における各画素位置における推定欠落色センサ値が算出される（ステップ９２０）。

各算出された欠落色センサ値ごとに、算出欠落色センサ値と対応する補間欠落色センサ値との間で比較がなされ、差分値が割り出される（ステップ９２５）。差分値が閾値を上回る場合（ステップ９３０）、算出欠落色センサ値は補間欠落色センサ値でもって置換（ステップ９３５）される。さもなくば、算出欠落色センサ値を最終モザイク解除画像内で用いる（ステップ９４０）。この処理は、画像領域内の各算出欠落色センサ値ごとに繰り返される（ステップ９４５）。

一旦画像の全領域において推定欠落色値が算出される（ステップ９５０）と、最終モザイク解除画像がさらなる処理或いは表示へ向けディジタル信号プロセッサから出力される（ステップ９５５）。最終モザイク解除画像は、原未加工センサ値と各画素位置における算出欠落色センサ値か補間欠落色センサ値のどちらかとを含む。

単純な補間色センサ値を用いることで格子構造は取り除くことができるが、画素が画像内の被写体のエッジ上に横たわる場合は、単純な補間色センサ値を用いることで画像内に人工的な色折り返し歪が生ずることがある。画像内の被写体のエッジを囲繞する領域内で、隣接画素値が大幅に変化することがある。それ故、たとえ画像内の被写体のエッジ上に横たわる画素について格子構造が生ずるとしても、算出欠落色センサ値は単純な補間色センサ値よりも良好なこれらのエッジを維持することができる。

画像内でエッジ周りに余分な色折り返し歪を導入することなくＬＬＲモザイク解除画像から格子構造を取り除く例示ステップが、図１２に図示してある。未加工センサ値を受け取り（ステップ１０００）、未加工センサ値を個別領域へ分割（ステップ１００５）するに際し、単純なモザイク解除アルゴリズムをモザイク画像に適用し（ステップ１０１０）、それぞれが原未加工色センサ値と補間色センサ値の両方を含む全３色色平面（例えば、Ｒ，Ｇ，Ｂ）を生成することができる。その後、エッジ検出アルゴリズムを画像領域に適用し、画像領域内でエッジが生起する箇所を割り出すことができる（ステップ１０１５）。エッジ検出は、任意のエッジ検出アルゴリズムを用いて実行することができる。

一例として、以下は特にベイヤーパターンモザイク用に設計されたエッジ検出アルゴリズムの説明である。第１のステップとして、ベイヤーパターンの４色（Ｒ，Ｇ１，Ｇ２，Ｂ）の位置が、前記ステップ１０１０で実行した如く個別にモザイク解除される。かくして、各画素位置において赤値と青値と赤画素に隣接する緑画素に関する緑値と青画素に隣接する緑画素に関する緑値が存在する。その後、Ｇ１，Ｇ２のモザイク解除結果は、続く処理に用いる補間Ｇ値用の最終Ｇ結果を得るべく平均化する。また、Ｇ１とＧ２のモザイク解除結果の正規化差分が各画素ごとに算出（｜Ｇ_１−Ｇ_２｜（Ｇ_１＋Ｇ_２））され、エッジマップが得られる。

画像領域の端にある画素の識別に加え、その領域（ステップ１０２０）の異なる色平面間の線形関係を記述する線形回帰係数（傾斜及びオフセット）が、図６に関連して前記した如く補間センサ値と未加工センサ値の両方から、或いは図７に関連して前記した如く未加工センサ値から得られる。線形回帰係数から、その領域の各画素位置での推定欠落色センサ値が算出（ステップ１０２５）される。

各算出欠落色センサ値ごとに、算出欠落色センサ値と対応補間欠落色センサ値の間で比較がなされ、差分値が割り出される（ステップ１０３０）。差分値が閾値を上回り（ステップ１０３５）、欠落色センサ値に関連する画素が前記した如くに特定されたエッジ上にない（ステップ１０４０）場合、算出欠落色センサ値は補間欠落色センサ値をもって置換される（ステップ１０４５）。さもなくば、算出欠落色センサ値は最終的なモザイク解除された画像に用いる（ステップ１０５０）。この処理は、画像領域内の各算出欠落色センサ値ごとに繰り返される（ステップ１０５５）。

一旦画像の全領域内で推定欠落色値が算出される（ステップ１０６０）と、最終的なモザイク解除画像はディジタル信号プロセッサから出力させ、さらに処理或いは表示（ステップ１０６５）が可能となる。最終的なモザイク解除画像は、原未加工センサ値と各画素位置における算出欠落色センサ値か補間欠落色センサ値のどちらかとを含む。

他の実施形態では、線形相関仮説が適用できない領域を含む画像領域を異なる方法を用いて調整することができる。例えば、線形相関仮説に合わない画素（不合致画素）を単純な補間色センサ値でもって置換する代わりに、より洗練された線形回帰法を用いて幾つかの異なる線形関係を有する領域ごとに複数の回帰係数を割り出すことができる。さらなる例として、不合致画素における欠落色センサ値は色折り返し歪を最小化するモザイク解除法を用いて算出したセンサ値をもって置換することができる。別の対策として、画像をそれぞれがせいぜい二つの異なる色領域を含む不規則な形状の領域に分割し、それによって線形相関違反の原因を取り除くことができる。

最後に、本発明の代表的な実施態様を以下に示す。
（実施態様１）
少なくとも二つの色平面を有する画素列内で画素（２５）が生成する未加工センサ値（３０）により表わされる画像をモザイク解除する画像処理システム（１０）で、前記画素列内の前記各画素（２５）が前記画像ごとに少なくとも二つの色平面の一つにおける前記未加工センサ値（３０）の個別の一つを生成する前記画像処理システムにおいて、
前記画像の一領域内の前記画素（２５）により生成された少なくとも一つの前記未加工センサ値（３０）群を記憶し、前記領域の面積が前記画像の面積に満たない前記バッファ（５０）と、
前記バッファ（５０）が記憶する前記未加工センサ値（３０）群を受け取り、少なくとも前記未加工センサ値（３０）群を用いて前記領域ごとの色平面間の線形関係を表わす回帰係数（１１５）を割り出し、前記回帰係数（１１５）を用いて前記画像の前記領域内の前記画素（２５）に関連する欠落色センサ値（１２５）を算出するために接続されたプロセッサ（４０）と、
を有することを特徴とする前記画像処理システム。

（実施態様２）
前記回帰係数（１１５）は、前記領域内の二つの色平面間の線形関係を表わす傾斜値及び切片値を含む、
ことを特徴とする実施態様１に記載の画像処理システム。

（実施態様３）
前記プロセッサ（４０）はさらに、前記未加工センサ値（３０）群から前記領域ごとに補間欠落色センサ値（３５）を算出し、前記補間欠落色センサ値（３５）と前記未加工センサ値（３０）群を用いて前記領域ごとに前記回帰係数（１１５）を割り出す構成としたことを特徴とする実施態様１または実施態様２に記載の画像処理システム。

（実施態様４）
前記プロセッサ（４０）はさらに、前記補間欠落色センサ値（３５）と前記未加工センサ値（３０）群を用いて前記領域内の各色平面間の分散二乗和と前記領域内の各色平面間の共分散二乗和を算出し、前記分散二乗和及び共分散二乗和を用いて前記回帰係数（１１５）を割り出す構成としたことを特徴とする実施態様３に記載の画像処理システム。

（実施態様５）
前記プロセッサ（４０）はさらに、前記領域内の各色平面間の相関係数を算出し、二つの色平面間の前記相関係数が第２の色平面の前記画素（２５）の位置に対して第１の色平面の前記画素（２５）が取り得るそれぞれの位置に関する個別相関係数を含み、該相関係数を用いて前記回帰係数（１１５）を割り出す構成としたことを特徴とする実施態様１から実施態様２に記載の画像処理システム。

（実施態様６）
前記プロセッサ（４０）はさらに、前記第１と第２の色平面間の前記相関係数のうちの最大のものに対して第１の色平面について画素位置を選択し、前記第２の色平面内の前記画素（２５）に対し前記選択された画素位置内で前記画素（２５）から生成した第１の色平面内における前記各未加工センサ値（３０）を用い、前記第１の色平面と第２の色平面の間の前記回帰係数（１１５）を割り出す構成とした、
ことを特徴とする実施態様５に記載の画像処理システム。

（実施態様７）
前記プロセッサ（４０）はさらに、前記未加工センサ値（３０）群から前記領域ごとに補間欠落色センサ値（２５）を算出して第１のモザイク解除画像を生成し、低域濾波カーネルを用いて前記補間欠落色センサ値（３５）と前記未加工センサ値（３０）群の畳み込みを通じて前記画像の前記領域ごとにブラー画像を生成し、前記ブラー画像を前記第１のモザイク解除画像から減算することで差分画像を生成し、前記差分画像を用いて前記回帰係数（１１５）を割り出す構成としてあり、前記プロセッサ（４０）はさらに、前記差分画像から算出した前記回帰係数（１１５）を用いて第２のモザイク解除画像を生成し、前記ブラー画像を前記第２のモザイク解除画像に加算することで前記領域ごとに最終モザイク解除画像を出力する構成とした、
ことを特徴とする実施態様１または実施態様２に記載の画像処理システム。

（実施態様８）
前記プロセッサはさらに、前記未加工センサ値（３０）群から前記領域ごとに補間欠落色センサ値（３５）を算出し、前記領域内のうちの選択された前記画素（２５）の一つについて第１の色平面内の前記補間欠落色センサ値（３５）と前記第１の色平面内の関連する算出欠落色センサ値（１２５）との間の差分を割り出すことで、前記領域内の前記各画素ごとに前記補間欠落色センサ値（３５）を前記関連する算出欠落色センサ値（１２５）と比較して格子構造を検出する構成としてあり、前記プロセッサはさらに、前記差分値（１４５）が閾値（１５５）を上回るときに前記選択画素（２５）の第１の色平面について、前記算出欠落色センサ値（１２５）を前記補間欠落センサ値（３５）でもって置換する構成とした、
ことを特徴とする実施態様１または実施態様２に記載の画像処理システム。

（実施態様９）
前記プロセッサ（４０）はさらに、前記画像の前記領域内に位置するエッジを検出するよう構成し、前記選択画素（２５）が前記エッジの一つの上に横たわるときは前記差分値（１４５）に拘わらず前記算出欠落色センサ値（１２５）を用いる、
ことを特徴とする実施態様８に記載の画像処理システム。

（実施態様１０）
少なくとも二つの色平面を有する画素列内で画素（２５）により生成された未加工センサ値（３０）により表わされる画像をモザイク解除する方法で、前記画素列内の前記各画素（２５）が前記画像に関する前記少なくとも二つの色空間の一方における個々の前記未加工センサ値（３０）を生成する前記方法であって、
前記画像の領域内の前記画素（２５）により生成された少なくとも一群の前記未加工センサ値（３０）を受け取る（５００）ステップで、前記領域が前記画像に満たない前記ステップと、
前記未加工センサ値（３０）群の少なくとも一部を用い前記領域に関する色平面の間の線形関係を表わす回帰係数（１１５）を割り出す（５２０）ステップと、
前記回帰係数（１１５）を用い前記画像の前記領域内で前記画素（２５）に関連する欠落色センサ値を算出（５３０）するステップを有する、
ことを特徴とする方法。

画像内の全画素の色平面間の線形相関を示す図である。 画像内の異なる領域の画素の色平面間の線形相関を示す図である。 本発明の例示実施形態に従い局部線形回帰モザイク解除アルゴリズムを用いる画像処理システムを示すブロック線図である。 本発明の例示実施形態に従い局部線形回帰モザイク解除アルゴリズムを実装した例示ロジックを示す論理フロー線図である。 図４に示した局部線形回帰モザイク解除アルゴリズムを実行する例示ステップを示すフローチャートである。 本発明の実施形態に従い未加工の補間センサ値を用い局部線形回帰モザイク解除アルゴリズムを実行する例示ステップを示すフローチャートである。 本発明の他の実施形態に従い未加工センサ値だけを用い局部線形回帰モザイク解除アルゴリズムを実行する例示ステップを示すフローチャートである。 本発明のさらなる実施形態に従い不鮮明画像を用いる局部線形回帰モザイク解除アルゴリズムを実行する例示ステップを示すフローチャートである。 画像内の特定領域内での線形相関仮説が当てはまらない例を示す図である。 本発明の例示実施形態に従い線形相関があてはまらない場合の処理を用いた線形回帰モザイク解除アルゴリズムを実装した例示ロジックを示す論理フロー線図である。 本発明の実施形態に従い画像領域が線形相関仮説があてはまるか否かの判定及びあてはまらない領域内でのセンサ値の置換の例示ステップを示すフローチャートである。 一つの画像内でエッジ領域を検出する例示ステップを示すフローチャートである。

符号の説明

５ 撮像装置
１０ 画像処理システム
２０ センサ
２５ 画素
３０ センサ値
３５ 補間センサ値
４０ プロセッサ
４５ ＬＬＲモザイク解除アルゴリズム
５０ バッファ
１００ 補間ロジック
１１０ 線形回帰ロジック
１１５ 線形回帰係数
１２０ 算出ロジック
１２５ 算出センサ値
１３０ モザイク解除センサ値
１４０ 比較ロジック
１４５ 差分値
１５０ 閾値ロジック
１５５ 閾値
１６０ 置換ロジック

Claims (10)

1. 少なくとも二つの色平面を有する画素列内で画素が生成する未加工センサ値により表わされる画像をモザイク解除する画像処理システムで、前記画素列内の前記各画素が前記画像ごとに少なくとも二つの色平面の一つにおける前記未加工センサ値の個別の一つを生成する前記画像処理システムにおいて、
   前記画像の一領域内の前記画素により生成された少なくとも一つの前記未加工センサ値群を記憶し、前記領域の面積が前記画像の面積に満たない前記バッファと、
   前記バッファが記憶する前記未加工センサ値群を受け取り、少なくとも前記未加工センサ値群を用いて前記領域ごとの色平面間の線形関係を表わす回帰係数を割り出し、前記回帰係数を用いて前記画像の前記領域内の前記画素に関連する欠落色センサ値を算出するために接続されたプロセッサと、
   を有することを特徴とする前記画像処理システム。
2. 前記回帰係数は、前記領域内の二つの色平面間の線形関係を表わす傾斜値及び切片値を含む、
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記プロセッサはさらに、前記未加工センサ値群から前記領域ごとに補間欠落色センサ値を算出し、前記補間欠落色センサ値と前記未加工センサ値群を用いて前記領域ごとに前記回帰係数を割り出す構成としたことを特徴とする請求項１または請求項２に記載の画像処理システム。
4. 前記プロセッサはさらに、前記補間欠落色センサ値と前記未加工センサ値群を用いて前記領域内の各色平面間の分散二乗和と前記領域内の各色平面間の共分散二乗和を算出し、前記分散二乗和及び共分散二乗和を用いて前記回帰係数を割り出す構成としたことを特徴とする請求項３に記載の画像処理システム。
5. 前記プロセッサはさらに、前記領域内の各色平面間の相関係数を算出し、二つの色平面間の前記相関係数が第２の色平面の前記画素の位置に対して第１の色平面の前記画素が取り得るそれぞれの位置に関する個別相関係数を含み、該相関係数を用いて前記回帰係数を割り出す構成としたことを特徴とする請求項１または請求項２に記載の画像処理システム。
6. 前記プロセッサはさらに、前記第１と第２の色平面間の前記相関係数のうちの最大のものに対して第１の色平面について画素位置を選択し、前記第２の色平面内の前記画素に対し前記選択された画素位置内で前記画素から生成した第１の色平面内における前記各未加工センサ値を用い、前記第１の色平面と第２の色平面の間の前記回帰係数を割り出す構成とした、
   ことを特徴とする請求項５に記載の画像処理システム。
7. 前記プロセッサはさらに、前記未加工センサ値群から前記領域ごとに補間欠落色センサ値を算出して第１のモザイク解除画像を生成し、低域濾波カーネルを用いて前記補間欠落色センサ値と前記未加工センサ値群の畳み込みを通じて前記画像の前記領域ごとにブラー画像を生成し、前記ブラー画像を前記第１のモザイク解除画像から減算することで差分画像を生成し、前記差分画像を用いて前記回帰係数を割り出す構成としてあり、前記プロセッサはさらに、前記差分画像から算出した前記回帰係数を用いて第２のモザイク解除画像を生成し、前記ブラー画像を前記第２のモザイク解除画像に加算することで前記領域ごとに最終モザイク解除画像を出力する構成とした、
   ことを特徴とする請求項１または請求項２に記載の画像処理システム。
8. 前記プロセッサはさらに、前記未加工センサ値群から前記領域ごとに補間欠落色センサ値を算出し、前記領域内のうちの選択された前記画素の一つについて第１の色平面内の前記補間欠落色センサ値と前記第１の色平面内の関連する算出欠落色センサ値との間の差分を割り出すことで、前記領域内の前記各画素ごとに前記補間欠落色センサ値を前記関連する算出欠落色センサ値と比較して格子構造を検出する構成としてあり、前記プロセッサはさらに、前記差分値が閾値を上回るときに前記選択画素の第１の色平面について、前記算出欠落色センサ値を前記補間欠落センサ値でもって置換する構成とした、
   ことを特徴とする請求項１または請求項２に記載の画像処理システム。
9. 前記プロセッサはさらに、前記画像の前記領域内に位置するエッジを検出するよう構成し、前記選択画素が前記エッジの一つの上に横たわるときは前記差分値に拘わらず前記算出欠落色センサ値を用いる、
   ことを特徴とする請求項８に記載の画像処理システム。
10. 少なくとも二つの色平面を有する画素列内で画素により生成された未加工センサ値により表わされる画像をモザイク解除する方法で、前記画素列内の前記各画素が前記画像に関する前記少なくとも二つの色空間の一方における個々の前記未加工センサ値を生成する前記方法であって、
    前記画像の領域内の前記画素により生成された少なくとも一群の前記未加工センサ値を受け取るステップで、前記領域が前記画像に満たない前記ステップと、
    前記未加工センサ値群の少なくとも一部を用い前記領域に関する色平面の間の線形関係を表わす回帰係数を割り出すステップと、
    前記回帰係数を用い前記画像の前記領域内で前記画素に関連する欠落色センサ値を算出するステップを有する、
    ことを特徴とする方法。
    

Images