JP2012060641A - デジタルｒａｗ画像のデモザイク方法、そのコンピュータプログラムおよびそのイメージセンサ回路またはグラフィック回路 - Google Patents

Abstract

【課題】各画素がカラーフィルタの所定の複数色のうちの１色のみを割り当てられている画素マトリックスの形態をとるデジタルＲＡＷ画像のデモザイク方法を提供する。
【解決手段】ＲＡＷ画像１０と同じ解像度のカラーデジタル画像を得るステップであって、各画素が、ＲＡＷ画像から再構成される輝度画像１０Ｌおよび色差画像１０Ｃ１，１０Ｃ２に対応する画素から生じるステップを含む。さらに、隣接する異なる色の画素を計算に入れて、画素に局所的な畳み込みカーネルを適用することによってＲＡＷ画像を変換し、低周波の局所カーネルＳを用いて低周波数係数の画像１０Ｓを得て、高周波の局所カーネルＶ，Ｈ，Ｄを用いて高周波数係数の画像１０Ｖ，１０Ｈ，１０Ｄを得るステップと、少なくとも低周波数係数の画像を用いて輝度画像を再構成するステップと、高周波数係数の画像を用いて色差画像を再構成するステップとを含む。
【選択図】図１

Description

本発明は、カラーフィルタマトリックスによってフィルタリングされる単色のフォトサイトを備えるセンサを有する光学システムに供給されるデジタルＲＡＷ画像のデモザイク方法に関する。また、本発明は、そのコンピュータプログラムおよびそのイメージセンサ回路またはグラフィック回路にも関する。

光学システムのセンサ、一般にフォトダイオードは、赤外から紫に及ぶきわめて広いスペクトルを持つ色を区別することなく光子をキャプチャする。よって、シーンをカラーで取得できるようにするには、カラーフィルタを通して画像を取得する必要がある。従来の方法では、このカラーフィルタは一般に赤、緑および青であり、この三原色は、ヒトの目で感知可能なこれ以外のあらゆる色を加色合成によって再現することができる。ただし、これ以外の色の集合で、数学的な組み合わせによってこの三原色を認識することができるものも可能であり、たとえば赤、緑、青、白またはシアン、マゼンタ、黄、白の４色からなる集合でもよい。

当然ながら、赤、緑、青の三原色を基盤として、３つのセンサを用いてフル解像度でのカラーデジタル画像を得ることが考えられる。このキャプチャ方法により、光はプリズムによって３つの光束に分離される。次に各光束は、対応する単色（それぞれ赤、緑および青）のフィルタを用いてフィルタリングされる。その後、３つのセンサのうちの１つに集束された各光束が別々に取得され、再度組み合わされてデジタル画像の各画素をＲＧＢ（英語の「Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ」）のカラー情報で表す。しかし、プリズムのような高価で場所をとる光学素子、および３つのセンサの使用に頼ると、この方法を多種多様な機器に適用しにくくなってしまう。

これとは逆に、一般向けの機器には単一の撮像素子が用いられている。したがって、解決策は、センサの単色のフォトサイトに対面して配置され、規則的に配列するように設計されているカラーフィルタマトリックスを用いて色を分離することである。もっともよく用いられる配列は、緑２画素が斜めに配置され、赤１画素と青１画素がもう一方の斜めに配置される構成である２×２のマトリックスを繰り返すというものである。このカラーフィルタの配列は、その発明者の名にちなんでベイヤーパターンという名が付いている。

したがって、このような光学システムにキャプチャされて生じたグレーレベルのＲＡＷ画像は、各画素がカラーフィルタの所定の色のうちの１色のみ、特にベイヤーフィルターの場合は赤、緑または青を割り当てられているマトリックスの形態になっている。このようにＲＡＷ画像は、複数のカラープレーンで構成され、それぞれがカラーフィルタのうちの１色に対応している。その結果、捕捉されたオブジェクトの色に応じてさまざまなカラーフィルタが異なる色を吸収することによって、ＲＡＷ画像がモザイク状になる。たとえば、明るい緑色のオブジェクトであれば、緑のフィルタによってほぼ全体的に伝送され、赤および青のフィルタによって大幅に弱められる。

ＲＡＷ画像からカラーデジタル画像をグレーレベルのＲＡＷ画像と同じ解像度で再構築するために、数多くの解決策が試行されてきた。これらの再構成の技術は、「デモザイク」と呼ばれるか、「デマトリックス」と呼ばれることもある。

解決策のうちの１系統は、他のカラープレーンとは分離された各カラープレーンのバイリニア補間に基づくものである。具体的には、１つのカラープレーンに欠落している各色が、平均を計算することによって隣接する同じ色の画素値から補間され、この平均に参加する隣接する画素の選択は、場合によっては隣接する異なる色の画素から導かれることもある。しかし、バイリニア補間は、形態を認識にすることによる技術または勾配およびラプラシアンの計算によって最近改善されてはいるものの、細部を著しく弱め、かつ／または鮮明な遷移に対していわゆる「ジッパー」効果が生じたり、画像のノイズ領域に誤った遷移が生じたりするという欠点がある。

最近の別の系統の解決策は、周波数変換またはウェーブレット変換に基づくものである。たとえば、デモザイクの原理は、別々に取得されたさまざまなカラープレーンをウェーブレット変換し、反復法を用いて他のカラープレーンの変換像の高周波成分によって各カラープレーンの変換像の高周波成分を高めることに立脚している。このような解決策は、「交互の射影を利用するカラープレーンの補間（Ｃｏｌｏｒ ｐｌａｎｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｕｓｉｎｇ ａｌｔｅｒｎａｔｉｎｇ ｐｒｏｊｅｃｔｉｏｎｓ）と題した Ｂ．Ｋ．Ｇｕｎｔｕｒｋらによる文献（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、第１１巻、第９号、２００２年９月）に詳しく記載されている。しかし、この系統の解決策は実装するにはあまりにも困難であるため、多種多様な機器には適用しにくい。一般向けの機器にこのような解決策を簡略化したバージョンを検討することもできるが、品質低下は避けられない。

最後に、有望な解決策の１系統は、カラープレーンをあらかじめ分離することなく、最初にＲＡＷ画像から輝度画像および色差画像を直接再構成し、次にこの輝度画像およびこの色差画像からＲＡＷ画像と同じ解像度のカラーデジタル画像を得ようとするものである。この解決策では、一般にフーリエ変換によって得られたＲＡＷ画像の周波数表示から、輝度および色差の情報が概ね確実に分離されることが認められることを利用する。すなわち、色差のスペクトルは変換像のエッジおよびコーナーに焦点を当てているのに対し、輝度のスペクトルはこの変換像に焦点を当てている。本発明は、さらに正確には、この種のデモザイク方法に関する。

このような方法は、たとえば「ベイヤーサンプリングしたカラー画像をデモザイクするための周波数領域方法（Ｆｒｅｑｕｅｎｃｙ−ｄｏｍａｉｎ ｍｅｔｈｏｄｓ ｆｏｒ ｄｅｍｏｓａｉｃｋｉｎｇ ｏｆ Ｂａｙｅｒ−ｓａｍｐｌｅｄ ｃｏｌｏｒ ｉｍａｇｅｓ）」と題したＥ．Ｄｕｂｏｉｓによる文献（ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ、第１２巻、第１２号、２００５年１２月）に記載されている。この方法によれば、輝度画像および色差画像の再構成は、ＲＡＷ画像をカラープレーンに分離することなく行われる。しかし、この解決策では逆に、ローパスフィルタリングを用いて輝度情報を切り離すとともに、ハイパスフィルタリングを用いて色差情報を切り離すために、ＲＡＷ画像を全体的にフィルタリングする必要がある。

この方法は、線形であるという利点があるため、畳み込みフィルタの形態で実装することが可能である。しかし、その欠点は、解像されていない輝度と色差とのスペクトルの重なりが生じるという点である。よってこの方法では、フィルタリングの遮断周波数に応じて（色差の周波数が輝度信号に包含されることによって）格子効果が生じるか、あるいは逆に、（輝度が過度にフィルタリングされた場合に）多数の誤った色を含む不明瞭な画像が生じる傾向にある。さらに、使用されるフィルタはサイズが大きいものでなければならず、フィルタリングは、画像のさまざまな領域の周波数特性に適応することができないままＲＡＷ画全体にかけられる。

≪ Ｃｏｌｏｒ ｐｌａｎｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｕｓｉｎｇ ａｌｔｅｒｎａｔｉｎｇ ｐｒｏｊｅｃｔｉｏｎｓ≫，ｄｅ Ｂ．Ｋ．Ｇｕｎｔｕｒｋ ｅｔ ａｌ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１１，ｎ°９，ｓｅｐｔｅｍｂｒｅ ２００２． ≪ Ｆｒｅｑｕｅｎｃｙｄｏｍａｉｎ ｍｅｔｈｏｄｓ ｆｏｒ ｄｅｍｏｓａｉｃｋｉｎｇ ｏｆ Ｂａｙｅｒ−ｓａｍｐｌｅｄ ｃｏｌｏｒ ｉｍａｇｅｓ ≫，ｄｅ Ｅ．Ｄｕｂｏｉｓ，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ，ｖｏｌ．１２，ｎ°１２，ｄｅｃｅｍｂｒｅ ２００５．

したがって、上記の問題および制約の少なくとも一部を解決することができるデモザイク方法を備えることが望まれる。

よって本発明は、カラーフィルタマトリックスによってフィルタリングされる単色のフォトサイトを備えるセンサを有する光学システムによって供給されるデジタルＲＡＷ画像のデモザイク方法であって、ＲＡＷ画像が、各画素がカラーフィルタの所定の複数色のうちの１色のみを割り当てられている画素マトリックスの形態をとり、ＲＡＷ画像と同じ解像度のカラーデジタル画像を得るステップであって、各画素が複数のカラー成分を備えてＲＡＷ画像から再構成される輝度画像および色差画像に対応する画素から生じるステップを含み、さらに、
− 隣接する異なる色の画素を計算に入れて、画素に局所的な畳み込みカーネルを適用することによってＲＡＷ画像を変換し、低周波の局所カーネルを用いて低周波数係数の画像を得て、高周波の局所カーネルを用いて高周波数係数の画像を得るステップと、
− 少なくとも低周波数係数の画像を用いて輝度画像を再構成するステップと、
− 高周波数係数の画像を用いて色差画像を再構成するステップ
とを含む方法を目的とする。

このように、本発明による方法によって、ＲＡＷ画像の局所的な周波数特性に適応することができる局所的な畳み込みカーネルを用いて変換することにより、同じ解像度のＲＡＷ画像から再構成された輝度画像および色差画像から生じるカラー画像を得ることができる。本方法は、さまざまなカラープレーンを分離して処理する方法に起因する欠点を完全に避けて、ＲＡＷ画像を直接かつ全体的にフィルタリングする従来の方法を改善するものである。

選択的に、輝度画像の再構成が、
− 高周波数係数の画像をフィルタリングすることによって高周波の輝度画像を得るステップと、
− 係数に局所的な畳み込みカーネルを適用することによって得られた低周波数係数の画像と高周波の輝度画像とを逆変換するステップと、
− 低周波数係数の画像の逆変換像を、得られた高周波の輝度画像の逆変換像とを組み合わせる（特に追加する）ことによって輝度画像を再構成するステップ
とを含んでもよい。

同じく選択的に、高周波数係数の各画像のフィルタリングが、
− 高周波数係数の画像をあらかじめ復調するステップと、
− 復調された高周波数係数の画像をローパスフィルタリングするステップと、
− 復調され、ローパスフィルタリングされた高周波数係数の画像を再変調するステップ
とを含んでもよい。

同じく選択的に、復調され、ローパスフィルタリングされたのちに再変調された高周波数係数の各画像が、フィルタリングする前の対応する高周波数係数の画像から差し引かれて、対応する高周波の輝度画像を供給するようにしてもよい。

同じく選択的に、本発明によるデモザイク方法がさらに、
− フィルタリングによって高周波の輝度画像の鮮明度を、特にコントラストを高めることによって向上させるステップ、および
− 色差画像に適用される色の飽和および／または修正を処理するステップ
の２つのステップのうちの少なくとも１つを含むようにしてもよい。

同じく選択的に、局所的な畳み込みカーネルの共通サイズが、カラーフィルタマトリックスの周期的な基本パターンのサイズに対応するようにしてもよい。

同じく選択的に、使用されるカラーフィルタマトリックスがベイヤーマトリックスであり、局所的な畳み込みカーネルが４画素の正方マトリックスであってもよい。

同じく選択的に、局所カーネルが、低周波の局所カーネル１つ、および射影基底を形成する高周波の局所カーネル３つを有するハールウェーブレットであってもよい。

同じく選択的に、高周波数係数の各画像をあらかじめ復調することが、この高周波数係数の画像の２行のうちの１行および／または２列のうちの１列を反転させることで構成されるようにしてもよい。

とりわけ簡易なこの復調は、特に局所的な畳み込みカーネルがハールウェーブレットであるときに実装することができる。

同じく選択的に、色差画像の再構成が、
− 高周波数係数の画像をフィルタリングによって高周波の色差画像を得るステップと、
− 得られた高周波の色差画像のうちの１つから第１の色差画像を得るステップと、
− 得られた高周波の色差画像のうちの２つを差し引くことによって第２の色差画像を得るステップであって、差し引く前記画像が、この差し引く２つの画像に１画素ずつ相互に振幅クリッピングを実施したあとに、
それぞれの係数が、差し引く第２の画像の中で対応する係数の値によって、絶対値で振幅クリッピングされるように、差し引く第１の画像を修正することと、
それぞれの係数が、差し引く第１の画像の中で対応する係数の値によって、絶対値で振幅クリッピングされるように、差し引く第２の画像を修正すること
とから成り立つステップ
とを含むようにしてもよい。

また、本発明は、通信ネットワークからダウンロード可能なコンピュータプログラム、および／またはコンピュータによって再生可能な媒体に記録されたコンピュータプログラム、および／またはプロセッサによって実行可能なコンピュータプログラムであって、前記プログラムがコンピュータ上で実行される際に、上に定義したようなデモザイク方法のステップを実行するためのインストラクションを含むコンピュータプログラムも目的とする。

最後に、本発明は、カラーフィルタマトリックスによってフィルタリングされる単色のフォトサイトを備える撮像素子のイメージセンサ回路またはグラフィック回路であって、上に定義したようなデモザイク方法を実行するようにプログラムされたプロセッサを有する回路も目的とする。

本発明は、例として挙げ、添付の図面を参照しながら記載した以下の説明文によりさらによく理解できるであろう。

本発明の一実施形態によるＲＡＷ画像のデモザイク方法の一連のステップを概略的に示すフローチャートである。 図１に示した方法のＲＡＷ画像の変換ステップの結果を示す図である。 ＲＡＷ画像に関する図１の方法の変換ステップの効果を詳細に示す図である。 図１に示した方法の高周波数係数の画像のフィルタリングステップの詳細を概略的に示すフローチャートである。 図４のフィルタリングステップの結果の１例を示す図である。 本発明を実装するように設計されたイメージセンサ回路またはグラフィック回路を有する撮像素子の全体構造の概略図である。

図１に示すデモザイク方法は、カラーフィルタマトリックスによってフィルタリングされた単色のフォトサイトを備える単一のセンサを有する光学システムによって供給されたデジタルＲＡＷ画像１０をグレーレベルで予備処理する予備ステップ１００を含んでいる。したがって、ＲＡＷ画像１０は、各画素がカラーフィルタの所定の複数色のうちの１色を割り当てられているマトリックスの形態をしている。図１の例では、ＲＡＷ画像１０は、あらゆる画像で再現されているベイヤーパターンＲＧＢで表されている。したがって、ＲＡＷ画像から抽出された２×２画素のマトリックスはそれぞれ、斜めに配置されている緑でフィルタリングされた２画素（表記「Ｇ」）、およびもう一方の斜めに配置されている赤でフィルタリングされた１画素と青でフィルタリングされた１画素（それぞれ表記「Ｒ」および「Ｂ」）を有する。

予備処理ステップ１００は、
− センサによって供給された画素のブラックレベルを再度ゼロにするために、オフセットを修正することと、
− ＲＡＷ画像１０から与えられるカラープレーンの各画素値に所定の一定係数を乗算することで成り立つカラーバランスの演算を行って、画素に関連するフィルタの色が何色であっても、画像のブラック領域、グレー領域およびホワイト領域が同じ値を生じるようにすること
とを実行することから成り立っている。

この予備処理ステップの次は、画素に局所的な畳み込みカーネルを適用することによってＲＡＷ画像１０を変換するステップ１０２である。選択される畳み込みカーネルは、ＲＡＷ画像の大きさに対して小さいという意味で、いわゆる「局所的」である。これは特に、幅が２から最大５までの数画素からなる正方マトリックスである。

本発明の好適な一実施形態では、これらの局所カーネルは、カラーフィルタマトリックスの周期的な基本パターンと同じサイズである。したがって、ベイヤーパターンのフィルタマトリックスの場合、サイズ２×２の畳み込みカーネルを選択することが好ましく、たとえば以下のような２次元のハール変換像の４つの畳み込みカーネルである。

この４つの畳み込みカーネルは、ＲＡＷ画像１０のサブマトリックス２×２画素の局所的な射影基底を形成し、式中Ｓは低周波の局所カーネル、Ｖ、ＨおよびＤは高周波の局所カーネルである。これらの局所カーネルのうちの１つによるＲＡＷ画像１０の畳み込みは、カーネルを１画素ずつＲＡＷ画像１０に「スライド」させることによって周知の方法で行われる。すなわち、ＲＡＷ画像１０のうち２×２画素のグループすべてに対して、畳み込みによってこれらの画素の合計と同じ値である単一の係数が生じ、各画素は、カーネル内で対応しているこの係数によって重み付けされる。このように、ＲＡＷ画像をカラープレーンに分離する演算をすることなく、ＲＡＷ画像１０からハールウェーブレットで２次元の変換像が得られる。

さらに正確には、図２に示すように、Ｓ、Ｖ、ＨまたはＤを用いて畳み込みを行うたびに、ＲＡＷ画像１０と同じ解像度である新たな画像１０Ｓ、１０Ｖ、１０Ｈ、１０ＤがＲＡＷ画像１０から生じる。しかしながら、サイズ２×２の畳み込みカーネルの場合、画像１０Ｓ、１０Ｖ、１０Ｈ、１０Ｄは、ＲＡＷ画像１０に対して右および下に半画素ずれている。

単色の画像をハールウェーブレットで２次元変換すると、Ｓによって局所的な平均画像ができ、Ｖによって垂直の遷移画像ができ、Ｈによって水平の遷移画像ができ、Ｄによって斜めの遷移画像ができる。

カーネルＳは、ベイヤー配列のＲＡＷ画像１０に対して常に局所的なローパスフィルタリングを適用し、Ｙ＝０．２５Ｒ＋０．５Ｇ＋０．２５Ｂの形態である輝度情報Ｙを有する高周波数係数の画像１０Ｓを供給し、式中Ｒ、Ｇ、ＢはそれぞれＲＡＷ画像１０の赤、緑および青の成分となるものである。さらに正確には、高周波数係数の画像１０Ｓは輝度画像であるが、ＲＡＷ画像１０の輝度情報すべてを持っているわけではない。具体的には、輝度に関する局所的な平均情報は持っているが、輝度に関する垂直、水平および斜めの遷移情報は持っていない。

一方カーネルＶ、ＨおよびＤは、ベイヤー配列のＲＡＷ画像１０に対して常に局所的なハイパスフィルタリングを適用し、前述の輝度Ｙに関する垂直、水平および斜めの遷移情報を有する高周波数係数の画像１０Ｖ、１０Ｈおよび１０Ｄを供給するが、この情報は色差に関する不要な情報が重ねられている。さらに正確には、高周波数係数の画像１０Ｖ、１０Ｈおよび１０Ｄは、高周波の輝度情報ＹおよびＲＡＷ画像１０に関連する色差情報を有する画像である。

よって、本方法のこの段階では、高周波数係数の画像１０Ｖ、１０Ｈおよび１０Ｄの中で関連している色差情報から輝度情報Ｙを分離する必要がある。そのために、ステップ１０２の次は、特別なフィルタリング手段ＦＶ、ＦＨおよびＦＤを用いて高周波数係数の画像１０Ｖ、１０Ｈおよび１０Ｄをフィルタリングするステップ１０４である。このステップ１０４は、図４を参照しながら詳述する。

３つの画像１０ＶＣ、１０ＨＣおよび１０ＤＣは、それぞれフィルタリング手段ＦＶ、ＦＨおよびＦＤの出力部で供給される。後述するように、この３つの画像は、輝度情報Ｙを補完する色差情報を有する。そのため、これらの画像は高周波の色差画像と呼ばれる。

次のステップ１０６では、３つの高周波の色差画像１０ＶＣ、１０ＨＣおよび１０ＤＣは、フィルタリングされる前に高周波数係数の画像１０Ｖ、１０Ｈおよび１０Ｄから差し引かれる。その結果生じる３つの画像１０ＶＬ、１０ＨＬおよび１０ＤＬは、ＲＡＷ画像１０の中に輝度Ｙに関する垂直、水平および斜めの遷移情報を有する高周波の輝度画像である。したがって、４つの画像１０Ｓ、１０ＶＬ、１０ＨＬおよび１０ＤＬは、上に定義した輝度Ｙに応じて１つの輝度画像を完全に再構成するのに必要な情報をすべて含んでいる。

選択的に、特にフィルタを使用してコントラストを高めることによって鮮明度を向上させる処理を、ステップ１０８で高周波の輝度画像１０ＶＬ、１０ＨＬおよび１０ＤＬに適用してもよい。使用するフィルタは、画像１０ＶＬ、１０ＨＬおよび１０ＤＬの係数値を、潜在的に自らの値と隣接する画像の値とに応じて軽減したり増大させたりすることができるように設計されている。これよりも簡易なバージョンでは、フィルタの使用は、利得を使用することで成り立たせることができる。

次に、ステップ１１０では、４つの画像１０Ｓ、１０ＶＬ、１０ＨＬおよび１０ＤＬに対し、ステップ１０２で適用したカーネルに適応している逆畳み込みカーネルを用いて、ステップ１０２で実施した変換とは逆の変換を適用する。ハール逆変換を図示したこの特殊な場合では、４つのカーネルは次のようにすることができる。

したがって、これらの畳み込みの結果生じる画像は、画像１０Ｓ、１０ＶＬ、１０ＨＬおよび１０ＤＬに対して右および下に半画素ずれている。生じたこれらの画像は次にステップ１１２で組み合わされ、さらに正確には、単純に加えられてＲＡＷ画像１０に対して右および下に１画素ずれている輝度画像１０Ｌを再構成するが、解像度はＲＡＷ画像１０と同じである。

変形例では、ステップ１１０および１１２を大幅に簡略化した一実施形態によれば、４つの逆畳み込みカーネルは、
Ｓｉ’＝［＋１］、Ｖｉ’＝［−１］、Ｈｉ’＝［−１］およびＤｉ’＝［＋１］とすることができ、したがって、１画素ずつ次の演算
１０Ｌ＝１０Ｓ＋１０ＶＬ＋１０ＨＬ＋１０ＤＬ
を再度行う。

この変形例では、再構成された輝度画像１０Ｌは、ＲＡＷ画像１０に対して右および下に半画素ずれている。この変形例ではステップ１１０および１１２が簡略化されているが、画像１０Ｓ、１０ＶＬ、１０ＨＬおよび１０ＤＬが得られる際に挿入されることがあるアーティファクトは軽減されない。

３つの高周波の色差画像１０ＶＣ、１０ＨＣおよび１０ＤＣは、それぞれステップ１０４でフィルタリング手段ＦＶ、ＦＨおよびＦＤの出力部で供給され、画像１０ＶＣおよび１０ＨＣを扱うステップ１１４、および選択的ステップ１１６でも処理を施される。

さらに正確には、図３および４を参照しながらあとで詳しく説明するように、高周波の色差画像１０ＤＣは、ＲＡＷ画像１０に対して右および下に半画素ずれているが解像度は同じである第１の色差画像１０Ｃ１として保存される。

一方、高周波の色差画像１０ＶＣおよび１０ＨＣは、ステップ１１４で１画素ずつ互いに差し引かれ、ＲＡＷ画像１０に対して右および下に半画素ずれているが解像度は同じである第２の色差画像１０Ｃ２を形成する。

選択的に、ステップ１１６で２つの色差画像１０Ｃ１および１０Ｃ２に従来の色の飽和処理および／または修正処理を適用してもよい。

ステップ１１２および１１６に続いて、画像１０Ｌ、１０Ｃ１および１０Ｃ２の線形的な組み合わせＣＬを行うステップ１１８では、ＲＧＢタイプのカラーデジタル画像１２が得られる。ＲＡＷ画像１０と解像度が同じであるこのカラーデジタル画像１２では、各画素の赤、緑または青の各成分は、輝度画像１０Ｌおよび色差画像１０Ｃ１と１０Ｃ２に対応している画素から生じる。

実際に、また、言及した実施例（２次元ハール変換）では、ステップ１１０で逆畳み込みカーネルＳｉ、Ｖｉ、ＨｉおよびＤｉが選択された場合、色差画像１０Ｌは右および下に色差画像１０Ｃ１および１０Ｃ２に対して半画素のずれが生じる。この場合、たとえば畳み込みカーネルＳを用いた平均化フィルタリングを適用することで、画像１０Ｃ１および１０Ｃ２を画像１０Ｌで再調整することができる。この追加のフィルタリングは、ステップ１１６で行ってもよい。変形例では、画像１０ＶＬ、１０ＨＬおよび１０ＤＬの画素の振幅が所定の閾値基準に対して絶対値で上昇しているときは、局所的な輝度の遷移と平行するバイリニア補間のように、単一の平均化フィルタとは別の再調整を導くために、高周波の輝度画像１０ＶＬ、１０ＨＬおよび１０ＤＬを使用することが有利となることがある。

逆に、ステップ１１０で逆畳み込みカーネルＳｉ’、Ｖｉ’、Ｈｉ’およびＤｉ’が選択された場合は、色差画像１０Ｃ１および１０Ｃ２の再調整は一切必要ない。

フィルタリングステップ１０４についてさらに詳細に説明すると、ＲＡＷ画像１０に対する変換ステップ１０２の効果について、特に高周波の各局所カーネルＶ、ＨおよびＤによるＲＡＷ画像１０の畳み込みに関して前もって検証しておく必要がある。変換した画像１０Ｖ、１０Ｈおよび１０Ｄの各係数が、画像１０Ｌの再構成に寄与する純粋な輝度遷移情報と、画像１０Ｃ１および１０Ｃ２の再構成に寄与する純粋な色差情報とを混ぜたものを表しているという仮説からみていく。

ＲＡＷ画像１０から抽出した、隣接する任意の２×２画素のマトリックス［数３］から、カーネルＶを適用することにより係数ａ_V＝Ｇ１−Ｒ２＋Ｂ３−Ｇ４が得られる。この係数は、ａ_V＝ΔＶ＋（ｂ_VＢ−ｒ_VＲ）の形で表すこともでき、式中ΔＶは、上で定義したような輝度Ｙの局所的な垂直の遷移を表し、（ｂ_VＢ−ｒ_VＲ）＝α_VＣ２は、画像１０Ｃ２の色差Ｃ２に局所的に寄与することを表している。

カーネルＨを適用することによって、係数ａ_Ｈ＝Ｇ１＋Ｒ２−Ｂ３−Ｇ４が得られ、この係数はａ_Ｈ＝ΔＨ−（ｂ_ＨＢ−ｒ_ＨＲ）の形で表すこともでき、式中ΔＨは、上で定義したような輝度Ｙの局所的な水平の遷移を表し、−（ｂ_ＨＢ−ｒ_ＨＲ）＝−α_ＨＣ２は、画像１０Ｃ２の色差Ｃ２に局所的に寄与することを表している。ＶおよびＨは、符号を除いた色差Ｃ２に匹敵して寄与することがわかる。

最後に、カーネルＤを適用することによって、係数ａ_Ｄ＝Ｇ１−Ｒ２−Ｂ３＋Ｇ４が得られ、この係数はａ_Ｄ＝ΔＤ＋（２ｇ_ＤＧ−ｂ_ＤＢ−ｒ_ＤＲ）の形で表すこともでき、式中ΔＤは、上で定義したような輝度Ｙの局所的な斜めの遷移を表し、（２ｇ_ＤＧ−ｂ_ＤＢ−ｒ_ＤＲ）＝α_ＤＣ１は、画像１０Ｃ１の色差Ｃ１に局所的に寄与することを表している。

さらに正確には、図３に示すように、ベイヤー配列のＲＡＷ画像１０に対して畳み込みカーネルＶを局所的に適用すると、第１の畳み込みウィンドウＦ０に対する第１の係数Ｖ０が得られる。
Ｖ０＝Ｇ１−Ｇ６＋Ｂ５−Ｒ２＝ΔＶ０＋Ｃａ０

右側に１列スライドすることによって、第２の畳み込みウィンドウＦ１に対する第２の係数Ｖ１が得られる。
Ｖ１＝Ｇ６−Ｇ３−（Ｂ７−Ｒ２）＝ΔＶ１−Ｃａ１

右側に１列スライドすることによって、第３の畳み込みウィンドウＦ２に対する第３の係数Ｖ２が得られる。
Ｖ２＝Ｇ３−Ｇ８＋Ｂ７−Ｒ４＝ΔＶ２＋Ｃａ２

色差の寄与度Ｃａｉを示す符号をみると、係数Ｖｉは、各係数で符号が逆になっている色差情報を重ねた、輝度に関する垂直の遷移情報を表していることがわかる。換言すると、係数Ｖｉは、サンプリングの空間周波数によって変調された色差情報を重ねた輝度画像１０Ｌの輝度に関する垂直の遷移情報を表している。

この変調は、画像１０Ｖに対しては水平であり（色差情報の符号は、２列の間では逆であるが１列では一定である）、画像１０Ｈに対しては垂直であり（色差情報の符号は、２行の間では逆であるが１行では一定である）、画像１０Ｄに対しては水平および垂直である（色差情報の符号は、２行の間および２列の間では逆である）ことを容易に示すことができる。

このように、画像１０Ｖでも画像１０Ｈおよび１０Ｄでも、色差情報は信号の包絡線に作用すると同時に、遷移は離れたピークまたは共通モードの変化として現れる。よって、画像１０Ｖ、１０Ｈおよび１０Ｄで色差情報と輝度情報を分離することは、信号に適応したた復調およびフィルタリングを再び実施することになるということがわかる。従来のどの復調方法を使用してもよいが、ハールの２次元畳み込みカーネルを用いてベイヤー画像を変換する場合、複雑性のきわめて低い復調でメモリをほとんど必要としないものを検討することができる。次に、この復調について、ステップ１００で供給され、ステップ１０２で適用されたハール変換から供給されたベイヤー配列のＲＡＷ画像１０の特殊な場合に適用されたように、再度フィルタリングステップ１０４に戻る図４を参照しながら詳細に説明する。

この図に示すように、上で検証した変換ステップ１０２の効果を見ると、高周波数係数の画像１０ＶのフィルタリングＦＶは、
− 画像１０Ｖの２列のうちの１列を反転させるステップ（復調）と、
− たとえば行に沿って適用される１次元の畳み込みカーネル［数４］を用いて、生じた画像をローパスフィルタリングするステップと、
− フィルタリングされて生じた画像の各画素に、場合によって中央フィルタを適用するステップであって、この中央フィルタが、３画素の水平領域または３×３画素の正方領域を形成するこの画素の隣をカバーして画像１０ＶＣを得るステップ
とを含む。

その後、
− 画像１０Ｖから画像１０ＶＣを差し引くステップと、
− 生じた画像の２列のうちの１列を反転させるステップ（復調）
とを実行することで、画像１０ＶＬを得る。

画像１０Ｖの１行に対する前述の処理の効果の１例を、図５のグラフに示している。このグラフでは、画像１０Ｖが表す信号は変調され、画像１０ＶＣが表す信号はフィルタリングされた包絡線を構成し、画像１０ＶＬが表す信号は垂直の遷移を表す離れたピークのみを示している。

図４にも示しているように、上で検証した変換ステップ１０２の効果を見ると、高周波数係数の画像１０ＨのフィルタリングＦＨは、
− 画像１０Ｈの２行のうちの１行を反転させるステップ（復調）と、
− たとえば列に沿って適用される１次元の畳み込みカーネル［数５］を用いて、生じた画像をローパスフィルタリングするステップと、
− フィルタリングされて生じた画像の各画素に、場合によって中央フィルタを適用するステップであって、この中央フィルタが、３画素の垂直領域または３×３画素の正方領域を形成するこの画素の隣をカバーして画像１０ＨＣを得るステップ
とを含む。

その後、
− 画像１０Ｈから画像１０ＨＣを差し引くステップと、
− 生じた画像の２行のうちの１行を反転させるステップ（復調）
とを実行することで、画像１０ＨＬを得る。

図４にも示しているように、上で検証した変換ステップ１０２の効果を見ると、高周波数係数の画像１０ＤのフィルタリングＦＤは、
− 画像１０Ｄの２行のうちの１行を反転させるステップ（復調）と、
− たとえば行に沿って適用される１次元の畳み込みカーネル［数４］を用いたのちに、列に沿って適用される１次元の畳み込みカーネル［数５］を用いるか、あるいは、たとえば２次元の畳み込みカーネル［数６］を用いて、生じた画像をローパスフィルタリングするステップと、
− フィルタリングされて生じた画像の各画素に、場合によって中央フィルタを適用するステップであって、この中央フィルタが、３×３画素の正方領域またはＸ字型もしくは十字型に選定した５画素を形成するこの画素と隣接する画素１つをカバーして画像１０ＤＣを得るステップ
とを含む。

その後、
− 画像１０Ｄから画像１０ＤＣを差し引くステップと、
− 生じた画像の２列のうちの１列を反転させたのちに、２行のうちの１行を反転させるステップ（復調）
とを実行することで、画像１０ＤＬを得る。

フィルタリングＦＶ、ＦＨおよびＦＤを行うための前述のフィルタリングカーネルは、純粋に例として挙げたものである。画像１０Ｖの水平の振幅すべて、画像１０Ｈの水平の振幅すべて、および画像１０Ｄの水平ならびに垂直の振幅すべてを遮断することができる瞬間から、これ以外のフィルタを使用してもよい。

画像１０Ｖ、１０Ｈおよび１０Ｄに対するステップ１０４の効果は、係数が最初のＲＡＷ画像１０の色差情報に寄与する輝度情報から取り除いた高周波の色差画像１０ＶＣ、１０ＨＣおよび１０ＤＣを供給することである。

さらに正確には、上記で使用した記号表記を再度用いると、画像１０ＶＣの係数は、α_VＣ２タイプに寄与し、画像１０ＨＣの係数は−α_ＨＣ２タイプに寄与し、画像１０ＤＣの係数はα_ＤＣ１タイプに寄与する。よって、第２の色差画像１０Ｃ２が、２つの画像１０ＶＣおよび１０ＨＣを計算に入れてステップ１１４で互いに差し引きして得らるのに対して、なぜ第１の色差画像１０Ｃ１は単に画像１０ＤＣを計算に入れるだけで得られるのかが理解できる。このほか、この差し引きの演算は、小さいサイズのイメージセンサ回路に共通のエラーである、いわゆる「緑色の不均衡（Ｇｒｅｅｎ ｉｍｂａｌａｎｃｅ）」（隣接する緑の２画素の応答の相違）のエラーを軽減するという補足的な効果があることを示すことができる。

差し引きの演算をしてもなお、第２の色差画像１０Ｃ２には別の問題が潜んでいるおそれがある。それは、きわめて高周波の空間領域が偶発的に色付けされるという局所的なアーティファクトである。画像１０ＶＣおよび１０ＨＣを互いに差し引く前にこのような局所的なアーティファクトを軽減、ひいては削減するため、ステップ１１４であらかじめ、
− それぞれの係数が、画像１０ＨＣの中で対応する係数値によって絶対値で振幅クリッピングされるように、画像１０ＶＣを処理し、
− それぞれの係数が、画像１０ＶＣの中で対応する係数値によって絶対値で振幅クリッピングされるように、画像１０ＨＣを処理する
ようにすることができる。

差し引きは、２つの画像１０ＶＣおよび１０ＨＣが符号を除いた色差情報に同じように寄与するように強要するこの二重の振幅クリッピングのあとに行われる。

この二重の振幅クリッピングの前処理は、画像１０ＶＣ（および１０ＨＣ）の各画素に対して、その絶対値と画像１０ＨＣ（および１０ＶＣ）の中の対応する画素の絶対値との間の最小値でその絶対値を代替することがわかる。よって、なぜ最小限に抑えるこの演算によって偶発的に色付けされる領域を中立にするのかが理解できる。

最後に、上で検証した変換ステップ１０２の効果だけでなく、ステップ１０４および１１４の効果も見ると、図示した例では、輝度画像１０Ｌは組み合わせが２Ｇ＋Ｒ＋Ｂである輝度情報を持ち、第１の色差画像１０Ｃ１は組み合わせが２Ｇ−Ｒ−Ｂである色差情報を持ち、第２の色差画像１０Ｃ２は組み合わせがＢ−Ｒである色差情報を持っていることがわかる。その結果、１２Ｒ、１２Ｇおよび１２Ｂを付した赤、緑および青の３つの成分で構成されるカラー画像１２を得るためにステップ１１８で作製されたこれらの画像の線形的な組み合わせは、次式のように定義される。

前述したような簡略化した復調を行うフィルタリング方法は、実装がきわめて簡易である。これは、一般のイメージセンサ回路での一連の読み取りにみられる制約と比較して本方法が特に適切な点である。

実際に、このようなイメージセンサ回路の標準的な読み取りモードによって、各画像が１行ずつ伝送される。その後、画像の行は、信号処理をするプロセッサによって迅速に処理される。経済的な理由から、このプロセッサは画像の連続する数行（一般には最大５行）しかメモリに保存することができない。よって、このプロセッサに実装された信号処理のアルゴリズムは、６行以上にわたる画素値に同時にアクセスすることはできない。前述した復調を行うフィルタリング方法は、これよりも複雑な復調とフィルタリングを合わせた方法ほど効率はよくないものの、この制約に従うように有利に設計されている。図１および４を参照して記載したデモザイクの完全な方法は、図６に示したタイプの光学モジュールを持つＣＭＯＳセンサのような撮像素子によって実装することができる。

この図では、センサの光学モジュール２０が光学ブロック２２および感光素子のマトリックス２４と、図示していない電気的読み取り手段に接続し、キャプチャする画像の画素を形成するフォトダイオードとを有する。このマトリックス２４には、たとえばベイヤーパターンをとるカラーフィルタマトリックスが配置されている。

画素マトリックス２４は、画素マトリックスのデジタルＲＡＷ画像を取得することができるシーケンス装置２６およびアナログデジタル変換装置２８に接続している。画素マトリックス２４、シーケンス装置２６およびアナログデジタル変換装置２８は、取得したデジタル画像を伝送するインターフェース３０を用いて、一般にＣＭＯＳセンサの「イメージセンサ回路」または「焦平面」と呼ばれる電子回路３２を形成する。

さらに、イメージセンサ回路３２のインターフェース３０は一般に、物理的な電気接続３４によって、取得したデジタル画像を処理するアルゴリズムを実装することができるグラフィックコプロセッサ回路３８からデジタル画像を受信するインターフェース３６に連結している。

グラフィックコプロセッサ回路３８（または同回路がアナログデジタル変換装置２８とインターフェース３０との間に選択的なプロセッサ４０を備えている場合はイメージセンサ回路３２）は、前述したデモザイク方法、すなわちとりわけ前述したステップ１００から１１８を実行するようにプログラムすることができる。

最後に、本発明はここで検討した実施形態に限定されるものではないことを明記しておく。

特に、ＲＡＷ画像１０の形成にはベイヤーパターン以外のパターンを使用してもよい。その場合、ＲＡＷ画像の変換１０２に使用する局所的な畳み込みカーネルは、そのパターンに適応している必要がある。つまり、数多くの変換系統が知られているということである。

使用するカラーフィルタおよびステップ１０２で適用される変換に応じて、ＲＡＷ画像１０に対するこの変換の効果を検証することは、周知の方法でステップ１０４のフィルタリングパラメータならびにステップ１０６、１１２、１１４および１１８の組み合わせを適応させることにもつながる。

さらに一般的には、ここに開示した教示に照らし合わせて、上に記載した実施形態にさまざまな修正を加えてもよいことは当業者には明らかであろう。以下の請求項では、使用した用語が請求項を本明細書で明らかにした実施形態に限定するものと解釈してはならず、本文の記載およびそこから予見される内容は、ここに開示した教示の実装に一般知識を応用することによって当業者が到達しうる範囲内であることから、請求項が範囲に含めると想定するあらゆる同等のものも含まれると解釈すべきである。

Claims (12)

1. カラーフィルタマトリックスによってフィルタリングされる単色のフォトサイト（２４）を備えるセンサを有する光学システム（２０）によって供給されるデジタルＲＡＷ画像（１０）のデモザイク方法であって、前記ＲＡＷ画像が、各画素がカラーフィルタの所定の複数色のうちの１色のみを割り当てられている画素マトリックスの形態をとり、前記ＲＡＷ画像（１０）と同じ解像度のカラーデジタル画像を得るステップであって、各画素が複数のカラー成分を備えて前記ＲＡＷ画像（１０）から再構成される輝度画像（１０Ｌ）および色差画像（１０Ｃ１、１０Ｃ２）に対応する画素から生じるステップ（１１８）を含む方法において、
   − 隣接する異なる色の画素を計算に入れて、画素に局所的な畳み込みカーネル（Ｓ、Ｖ、Ｈ、Ｄ）を適用することによって前記ＲＡＷ画像（１０）を変換し、低周波の局所カーネル（Ｓ）を用いて低周波数係数の画像（１０Ｓ）を得て、高周波の局所カーネル（Ｖ、Ｈ、D）を用いて高周波数係数の画像（１０Ｖ、１０Ｈ、１０Ｄ）を得るステップ（１０２）と、
   − 少なくとも前記低周波数係数の画像（１０Ｓ）を用いて前記輝度画像（１０Ｌ）を再構成するステップ（１１２）と、
   − 前記高周波数係数の画像（１０Ｖ、１０Ｈ、１０Ｄ）を用いて前記色差画像（１０Ｃ１、１０Ｃ２）を再構成するステップ（１０４、１１４）
   とを含むことを特徴とする方法。
2. 輝度画像の前記再構成（１１２）が、
   − 前記高周波数係数の画像（１０Ｖ、１０Ｈ、１０Ｄ）をフィルタリング（１０４）することによって高周波の輝度画像（１０ＶＬ、１０ＨＬ、１０ＤＬ）を得るステップと、
   − 係数に局所的な畳み込みカーネルを適用することによって得られた前記低周波数係数の画像（１０Ｓ）と前記高周波の輝度画像（１０ＶＬ、１０ＨＬ、１０ＤＬ）とを逆変換するステップ（１１０）と、
   − 前記低周波数係数の画像（１０Ｓ）の逆変換像を、得られた前記高周波の輝度画像（１０ＶＬ、１０ＨＬ、１０ＤＬ）の逆変換像とを組み合わせる（特に追加する）ことによって前記輝度画像（１０Ｌ）を再構成するステップ（１１２）
   とを含む、請求項１に記載のデモザイク方法。
3. 前記高周波数係数の各画像（１０Ｖ、１０Ｈ、１０Ｄ）のフィルタリング（１０４）が、
   − 前記高周波数係数の画像（１０Ｖ、１０Ｈ、１０Ｄ）をあらかじめ復調するステップと、
   − 復調された前記高周波数係数の画像をローパスフィルタリングするステップと、
   − 復調され、ローパスフィルタリングされた前記高周波数係数の画像を再変調するステップ
   とを含む、請求項２に記載のデモザイク方法。
4. 復調され、ローパスフィルタリングされたのちに再変調された前記高周波数係数の各画像が、フィルタリング（１０４）する前の対応する前記高周波数係数の画像（１０Ｖ、１０Ｈ、１０Ｄ）から差し引かれて（１０６）、前記高周波の輝度画像（１０ＶＬ、１０ＨＬ、１０ＤＬ）を供給する、請求項３に記載のデモザイク方法。
5. 請求項２から４に記載のデモザイク方法がさらに、
   − フィルタリングによって前記高周波の輝度画像（１０ＶＬ、１０ＨＬ、１０ＤＬ）の鮮明度を、特にコントラストを高めることによって向上させるステップ（１０８）、および
   − 前記色差画像（１０Ｃ１、１０Ｃ２）に適用される色の飽和および／または修正を処理するステップ（１１６）
   の２つのステップのうちの少なくとも１つを含むデモザイク方法。
6. 前記局所的な畳み込みカーネル（Ｓ、Ｖ、Ｈ、Ｄ）の共通サイズが、カラーフィルタマトリックスの周期的な基本パターンのサイズに対応する、前記請求項のいずれか一項に記載のデモザイク方法。
7. 使用されるカラーフィルタマトリックスがベイヤーマトリックスであり、前記局所的な畳み込みカーネル（Ｓ、Ｖ、Ｈ、Ｄ）が４画素の正方マトリックスである、請求項６に記載のデモザイク方法。
8. 前記局所カーネル（Ｓ、Ｖ、Ｈ、Ｄ）が、低周波の局所カーネル（Ｓ）を１つ、および射影基底を形成する高周波の局所カーネル（Ｖ、Ｈ、Ｄ）を３つ有するハールウェーブレットである、請求項７に記載のデモザイク方法。
9. 前記高周波数係数の各画像（１０Ｖ、１０Ｈ、１０Ｄ）をあらかじめ復調することが、前記高周波数係数の画像（１０Ｖ、１０Ｈ、１０Ｄ）の２行のうちの１行および／または２列のうちの１列を反転させることで構成される、請求項３および８に記載のデモザイク方法。
10. 前記色差画像（１０Ｃ１、１０Ｃ２）の前記再構成（１０４、１１４）が、
    − 前記高周波数係数の画像をフィルタリング（１０４）によって高周波の色差画像（１０Ｖ、１０Ｈ、１０Ｄ）を得るステップと、
    − 得られた前記高周波の色差画像（１０ＶＣ、１０ＨＣ、１０ＤＣ）のうちの１つ（１０ＤＣ）から、第１の色差画像（１０Ｃ１）を得るステップと、
    − 得られた前記高周波の色差画像のうちの２つ（１０ＶＣ、１０ＨＣ）を差し引くことによって第２の色差画像（１０Ｃ２）を得るステップであって、差し引く前記画像が、この差し引く２つの画像に１画素ずつ相互に振幅クリッピングを実施したあとに、
    それぞれの係数が、前記差し引く第２の画像（１０ＨＣ）の中で対応する係数の値によって、絶対値で振幅クリッピングされるように、前記差し引く第１の画像（１０ＶＣ）を修正することと、
    それぞれの係数が、前記差し引く第１の画像（１０ＶＣ）の中で対応する係数の値によって、絶対値で振幅クリッピングされるように、前記差し引く第２の画像（１０ＨＣ）を修正すること
    とから成り立つステップ
    とを含む、請求項１から９のいずれか一項に記載のデモザイク方法。
11. 通信ネットワークからダウンロード可能なコンピュータプログラム、および／またはコンピュータによって再生可能な媒体に記録されたコンピュータプログラム、および／またはプロセッサによって実行可能なコンピュータプログラムであって、前記プログラムがコンピュータ上で実行される際に、請求項１から１０のいずれか一項に記載のデモザイク方法のステップを実行するためのインストラクションを含むことを特徴とするコンピュータプログラム。
12. カラーフィルタマトリックスによってフィルタリングされる単色のフォトサイト（２４）を備える撮像素子（２０）のイメージセンサ回路（３２）またはグラフィック回路（３８）であって、請求項１から１０のいずれか一項に記載のデモザイク方法を実行するようにプログラムされたプロセッサ（３８；４０）を有することを特徴とする回路。