JP2021197740A - 映像情報損失を低減させるピクセルアレイ及びこれを備えるイメージセンサ - Google Patents

Abstract

【課題】映像情報損失を低減させるピクセルアレイ及びこれを備えるイメージセンサを提供する。【解決手段】本発明によるイメージセンサのピクセルアレイにおいて、ピクセルアレイは、それぞれ所定のサイズを有する複数のカラーフィルタアレイ（ＣＦＡ）セルを備え、それぞれのＣＦＡセルは、横及び縦方向に配置された複数のＣＦＡブロックを備え、複数のＣＦＡブロックのそれぞれは、センター領域に位置してｍ＊ｎ個のカラーピクセルを備えるサブ・ブロックと、サブ・ブロック以外のカラーピクセルが配置された外郭領域と、を備え、サブ・ブロックのｍ＊ｎ個のカラーピクセルは、第１ないし第３カラーをセンシングするカラーピクセルを備え、外郭領域は、第１カラーをセンシングする第１ピクセルと共に、第２カラーまたは第３カラーのうちの少なくとも１つをセンシングする第２ピクセルを備え、第１ピクセルの数は、第２ピクセルの数よりも多い。【選択図】図４

Description

本発明は、イメージセンサに係り、より詳細には、映像情報損失を低減させるピクセルアレイ及びこれを備えるイメージセンサに関する。

イメージセンサは、対象物の２次元的または３次元的イメージを取り込む（ｃａｐｔｕｒｅ）装置である。イメージセンサは、対象物から反射する光の強度に反応する光電変換素子を用いて、対象物のイメージを生成する。最近ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）技術が発展し、ＣＭＯＳを用いたＣＭＯＳイメージセンサ（ＣＩＳ）が広く使われている。

イメージセンサは、ピクセルアレイを備え、イメージセンサが高画素で具現されることで、ピクセルアレイは、より多くのカラーピクセルを備える。イメージセンサから出力されたロウ（ｒａｗ）映像を、ＲＧＢ映像などの所定のパターンに変換するために、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）及び／または外挿に基づくリモザイク（Ｒｅｍｏｓａｉｃ）処理が行われるが、このような処理過程で参照される、隣のカラーピクセルとの距離が増加すると、映像情報の損失が発生するという問題がある。

特開２０１１−０４５０５１号公報

本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、イメージセンサによって撮影された映像を処理する間に、映像損失が増加するのを防止することにある。

上記目的を達成するためになされた本発明の一態様によるイメージセンサのピクセルアレイは、イメージセンサのピクセルアレイにおいて、前記ピクセルアレイは、それぞれ所定のサイズを有する複数のカラーフィルタアレイ（ＣＦＡ）セルを備え、それぞれのＣＦＡセルは、横及び縦方向に配置された複数のＣＦＡブロックを備え、前記複数のＣＦＡブロックそれぞれは、センター領域に位置してｍ＊ｎ個のカラーピクセルを備えるサブ・ブロックと、前記サブ・ブロック以外のカラーピクセルが配置された外郭領域と、を備え、前記サブ・ブロックの前記ｍ＊ｎ個のカラーピクセルは、第１ないし第３カラーをセンシングするカラーピクセルを備え、前記外郭領域は、前記第１カラーをセンシングする相対的に多い数の第１ピクセルと共に、前記第２カラーまたは前記第３カラーのうちの少なくとも１つをセンシングする、相対的に少ない数の第２ピクセルを備えることを特徴とする。

本発明の技術的思想によるピクセルアレイ及びこれを備えるイメージセンサによれば、所定のサイズのＣＦＡブロックに複数のカラーをセンシングするカラーピクセルの配置を好適にデザインすることで、補間処理時に参照されるカラーピクセル間の距離を低減させることで、映像情報の損失を低減させる効果がある。

また、本発明の技術的思想によるピクセルアレイ及びこれを備えるイメージセンサによれば、ビニング処理時にそれぞれのＣＦＡブロックで複数の同一カラーピクセルの信号を合算することができるため、ビニング処理の過程で発生する映像情報の損失を低減させる効果がある。

本発明の一実施形態によるピクセルアレイ及びこれを備えるイメージセンサを示すブロック図である。 本発明の一実施形態によるピクセルアレイの一具現例を示す図である。 本発明の一実施形態によるピクセルアレイの一具現例を示す図である。 本発明の一実施形態によるピクセルアレイ及びリモザイクされたカラーパターンを示す図である。 本発明の多様な実施形態によるＣＦＡセルの具現例を示す図である。 図４に示すＣＦＡセルに備えられているカラーピクセルそれぞれの補間距離の一例を示す図である。 本発明の多様な実施形態によるピクセルアレイの一具現例を示す図である。 本発明の多様な実施形態によるピクセルアレイの一具現例を示す図である。 本発明の多様な実施形態によるピクセルアレイの一具現例を示す図である。 本発明の一実施形態による映像処理装置を示すブロック図である。 本発明の一実施形態によるピクセルアレイの具現例を示す図である。 本発明の一実施形態によるピクセルアレイの具現例を示す図である。 本発明の一実施形態によるピクセルアレイの具現例を示す図である。 本発明の一実施形態によるインターブロック及びイントラブロック方式のビニング処理例を示す図である。 本発明の多様な実施形態によるＣＦＡブロックの具現例を示す図である。 本発明の多様な実施形態によるＣＦＡブロックの具現例を示す図である。 本発明の多様な実施形態によるＣＦＡブロックの具現例を示す図である。 本発明の一実施形態によるカラーピクセルの具現例を示す図である。 本発明の一実施形態によるイメージセンサが適用されるマルチカメラモジュールを備える電子装置のブロック図である。 本発明の一実施形態によるイメージセンサが適用されるマルチカメラモジュールを備える電子装置のブロック図である。

以下、図面を参照しながら本発明の実施形態を詳細に説明する。

図１は、本発明の一実施形態によるピクセルアレイ及びこれを備えるイメージセンサを示すブロック図である。

図１に示すように、イメージセンサ１００は、ピクセルアレイ１１０、ロウドライバ（ｒｏｗ ｄｒｉｖｅｒ）１２０、読出し回路１３０、及びコントローラ１４０を備える。イメージセンサ１００は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ（ＣＩＳ）である。

コントローラ１４０は、ロウドライバ１２０及び読出し回路１３０を制御する。ピクセルアレイ１１０は、複数のピクセル（例えば、カラーピクセル）を備え、それぞれのピクセルは、１つ以上の光感知素子（図示せず）を備える。光感知素子は、それぞれのピクセルで光をセンシングし、センシングされた光の強度に応じて電気的信号を発生させる。光感知素子は、フォトダイオード、フォトゲート、及びフォト・トランジスタなどを含む。また、ピクセルアレイ１１０は、本発明の一実施形態による多様なパターンを有するカラーピクセルを備え、それぞれのカラーピクセルでは、１つ以上のカラーに関連する電気的信号が、ピクセル信号として発生する。また、図１には図示していないが、ピクセルアレイ１１０からのピクセル信号に対して、リモザイクなどの処理動作が行われ、この処理動作を通じて、ピクセルアレイ１１０のカラーパターンが、ベイヤパターンなどの特定パターンに変換される。

ピクセルアレイ１１０は、光感知素子が吸収した光による電気的信号を読出し回路１３０に出力する。ロウドライバ１２０は、ピクセルアレイ１１０が備えるそれぞれのカラーピクセルを制御する信号を出力する。例えば、ロウドライバ１２０は、それぞれのカラーピクセルに備えられている光感知素子をリセットするか、または光感知素子が蓄積した光電荷による電気的信号を外部に出力するように制御する信号を出力する。

読出し回路１３０は、ピクセルアレイ１１０から出力される電気的信号を受信して、ピクセル値（または、ピクセルデータ）を出力する。例えば、読出し回路１３０は、ＡＤＣ（ａｎａｌｏｇ−ｔｏ−ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）を備え、ピクセルアレイ１１０から受信したアナログ信号に対応するデジタル信号を、ピクセルデータとして出力する。

一方、図１には図示していないが、イメージセンサ１００からのピクセルデータは、映像処理装置（図示せず）に提供され、リモザイクなどの処理動作は、映像処理装置内で、デジタル信号処理に基づいて行われる。一実施形態によれば、リモザイクなどの処理動作は、イメージセンサ１００内の構成要素（例えば、プロセッサ）で行われるか、またはイメージセンサ１００の外部に備えられる別途の処理装置によって行われると定義される。

以下では、本発明の一実施形態による、ピクセルアレイ１１０に備えられるカラーピクセルの一具現例が示される。

図２及び図３は、本発明の一実施形態によるピクセルアレイの一具現例を示す。

図１〜図３を参照すると、イメージセンサ１００は、ピクセルアレイ１１０を備え、ピクセルアレイ１１０には、それぞれのピクセル別に所定の成分のカラーがセンシングされるように、カラーフィルタアレイ（ＣＦＡ）が配置される。以下、本発明の実施形態を説明するに当って、カラーフィルタ、カラーピクセル、フィルタアレイ、及びピクセルアレイの用語は多様に定義され、例えば、ＣＦＡは、光感知素子を備えるピクセルアレイ上に配置される別途の構成であると定義されるか、または、ピクセルアレイに備えられる構成であると定義される。すなわち、それぞれのカラーピクセルは、対応するカラーフィルタを備えると定義される。また、以下の実施形態を説明するに当って、ＣＦＡセル、ＣＦＡブロック、及びサブ・ブロックのそれぞれは、カラーピクセルを備えると定義される。

ピクセルアレイ１１０は、所定の単位で定義されるＣＦＡセル１１１を複数備える。一例として、ピクセルアレイ１１０は、横及び縦方向に沿って繰り返し配置される複数のＣＦＡセル１１１を備え、それぞれのＣＦＡセル１１１は、所定のサイズを有するカラーピクセルを備える。

一方、ＣＦＡセル１１１は、複数のＣＦＡブロックを備えると定義され、また、同じＣＦＡブロックが繰り返される最小サイズの構造を称する。図２には、ＣＦＡセル１１１が、複数のＣＦＡブロックとして、横方向にＭ個、縦方向にＮ個のＣＦＡブロックが配置されて、ＣＦＡセル１１１がＭ＊Ｎ個のＣＦＡブロックを備える例が図示される。一方、ＣＩＳなどの高画質のイメージセンサでは、カラーピクセルの数が増加し、これによって、ＣＦＡセル１１１及びＣＦＡブロックのサイズが増加する。

この時、それぞれのＣＦＡブロックが同種のカラーピクセルを備える場合（または、ＣＦＡブロックがいずれも同じカラーをセンシングするピクセルを備える場合）、イメージセンサから出力されたロウ（ｒａｗ）映像がＲＧＢ映像に変換される時、それぞれのカラーピクセル（例えば、センターのカラーピクセル）との補間、外挿などの映像処理時に、参照される隣のカラーピクセルとの距離が増加するにつれて、映像情報の損失が発生する。特に、ＣＦＡブロックのサイズが大きくなるほど、参照される隣のカラーピクセルとの距離が大きくなり、これにより映像損失率も増加するという問題が発生する。

本発明の一実施形態によるピクセルアレイ１１０で、ＣＦＡセル１１１及びＣＦＡブロックのカラーピクセル（または、カラーフィルタ）は、映像処理の過程でその損失率を低減させるパターンを有する。一具現例として、以下で説明する実施形態では、それぞれのＣＦＡセル１１１が４個（２＊２個）のＣＦＡブロックを備え、それぞれのＣＦＡブロックが、単一カラーではなく少なくとも２色以上のカラーをセンシングするか、または１つのＣＦＡブロックがピクセルアレイ１１０に適用されたすべてのカラーをセンシングする実施形態が提案され、また補間距離の減少を通じて映像情報の損失を低減させる実施形態が提案される。

一実施形態によって、図３に示すように、ＣＦＡブロックは複数のカラーピクセルを備え、一例として、横方向にｃ個、縦方向にｄ個のカラーピクセルが配置されて、１つのＣＦＡブロックがｃ＊ｄ個のカラーピクセルを備える場合が例示される。ピクセルアレイ１１０がレッドカラーピクセル、ブルーカラーピクセル、及びグリーンカラーピクセル（以下、それぞれレッドピクセル、ブルーピクセル、グリーンピクセルと称する）を備える場合を仮定し、本発明の一実施形態で、それぞれのＣＦＡブロックには、上述したレッドピクセル、ブルーピクセル、及びグリーンピクセルがいずれも備えられる。

一具現例において、ＣＦＡブロックの内部（または、センター領域）の一定数のピクセルを備える単位は、サブ・ブロックと称され、サブ・ブロックは、ａ＊ｂ個のカラーピクセルを備える。例えば、図３に示すように、サブ・ブロックには、レッドピクセルＲ、ブルーピクセルＢ、及びグリーンピクセルＧが共に配置される。

また、それぞれのＣＦＡブロックにおいて、サブ・ブロックを除いた残りの領域（例えば、ＣＦＡブロックの境界（または、外郭）領域）に複数のカラーピクセルが配置され、一例として、外郭領域には、特定カラーをセンシングするピクセルが主に配置されると共に、少数（例えば、１つまたは２つなど）の他のカラーをセンシングするピクセルが共に配置される。すなわち、それぞれのＣＦＡブロックの外郭領域は、特定カラーをセンシングする複数の第１カラーピクセルＰ１と、他のカラーをセンシングする少なくとも１つの第２ピクセルＰ２と、を備える。

一実施形態において、ＣＦＡブロックに備えられるカラーピクセルの種類によって、ＣＦＡブロックは、レッドＣＦＡブロック、ブルーＣＦＡブロック、グリーンＣＦＡブロックと称される。一例として、ＣＦＡブロックにおいて、レッドピクセルの数が最も多い場合には、ＣＦＡブロックは、レッドＣＦＡブロックと称される。または、ＣＦＡブロックにおいて、外郭領域の第１ピクセルＰ１がレッドピクセルである場合には、ＣＦＡブロックは、レッドＣＦＡブロックと称される。

一実施形態で、レッドＣＦＡブロックの外郭領域には、第１ピクセル（または、レッドピクセル）が主に配置され、少なくとも１つの第２ピクセル（例えば、ブルーピクセル）が外郭領域にさらに配置される。例えば、レッドＣＦＡブロックの外郭領域には、大体レッドピクセルが配置されるが、外郭領域の少なくとも１つのコーナーにブルーピクセルが配置される。これと類似して、ブルーＣＦＡブロックの外郭領域には、大体ブルーピクセルが配置されるが、外郭領域の少なくとも１つのコーナーにレッドピクセルが配置される。また、多様な実施形態によって、グリーンＣＦＡブロックの外郭領域にはグリーンピクセルだけが配置されるか、または、グリーンＣＦＡブロックの外郭領域にも、他のカラーをセンシングする少なくとも１つのピクセルが配置される。

一方、上記実施形態において、ピクセルアレイ１１０に適用されたレッドピクセル、ブルーピクセル、及びグリーンピクセルは１つの例示的な事項であって、本発明はこれに限定されない。例えば、シアン・フィルタ、ＲＧＢＷフィルタなどの多様な種類のフィルタによるカラーピクセルが本発明の実施形態に適用されてもよく、本発明の実施形態は、特定のカラーをセンシングするパターンに限定されない。

以下、本発明の一実施形態によるイメージセンサのピクセルアレイの具体的な具現例を説明する。以下の実施形態では、上述した第２ピクセルＰ２がＣＦＡブロックの外郭領域の１つのコーナーに配置される場合が例示されるが、本発明の実施形態は、これに限定されない。すなわち、上述したように、２つ以上の第２ピクセルＰ２が外郭領域に配置され、また外郭領域のコーナー以外の他の位置に第２ピクセルＰ２が配置されるなど、本発明の実施形態は多様に変形される。

図４は、本発明の一実施形態によるピクセルアレイ及びリモザイクされたカラーパターンを示す図である。以下では、８＊８ピクセルを備えるＣＦＡセルが説明されるが、本発明の実施形態においてＣＦＡセルのサイズは多様に設定されてもよい。

一具現例によれば、ＣＦＡセルが４個のＣＦＡブロックを備え、ＣＦＡブロックは４＊４サイズのカラーピクセルを備える。一例として、上述したピクセルアレイが、レッド、グリーン、及びブルーピクセルを備える場合、ＣＦＡブロックのそれぞれは、レッド、グリーン、及びブルーピクセルをいずれも備え、図４の（ｅ）に示すＣＦＡセルは、図４の（ａ）に示すレッドＣＦＡブロック、図４の（ｂ）に示すグリーンＣＦＡブロック、及び図４の（ｃ）に示すブルーＣＦＡブロックを備える。また、８＊８サイズのＣＦＡセルは、リモザイク処理を通じて、図４の（ｆ）に示すようなベイヤパターンに変換され、上述したＣＦＡセル及び変換されたベイヤパターンは、パターンＣＦＡ対（ｐａｔｔｅｒｎ ＣＦＡ ｐａｉｒ、またはＣＦＡパターン対）と称される。

また、レッドＣＦＡブロック、グリーンＣＦＡブロック、及びブルーＣＦＡブロックのそれぞれは、図４の（ｄ）に示すような所定のサイズのサブ・ブロックを備え、一例として、サブ・ブロックは、２＊２サイズのカラーピクセルを備える。また、一具現例によれば、サブ・ブロックは、レッド、グリーン、及びブルーピクセルをいずれも備えることで、サブ・ブロックを通じてレッド、グリーン、及びブルーカラーが共にセンシングされる。また、サブ・ブロック内のピクセル配置は多様に具現され、一例として、図４の（ｄ）では、左上−右上−左下−右下の順にグリーンピクセル−ブルーピクセル−レッドピクセル−グリーンピクセル（ＧＢＲＧ）が配置される場合が例示される。

一方、４個のＣＦＡブロックの配置に基づいて多様な形態のＣＦＡセルが具現され、一例として、図４の（ｅ）に示すＣＦＡセルには、左上−右上−左下−右下の順にグリーン−レッド−ブルー−グリーンＣＦＡブロックが配置される場合が例示される。本発明の実施形態では、説明の便宜のために、図４の（ｅ）に示すような８＊８ ＣＦＡセルは、ＧＲＢＧ ＣＦＡブロック及びサブ・ブロックのＧＢＲＧピクセルで、それぞれ最初の２文字を用いてＧＲ−ＧＢパターンセルと称する。

一方、図４の（ｅ）及び（ｆ）のパターン対を適用して、８＊８ ＣＦＡセルをベイヤパターンにリモザイクするために、レッド、グリーン、及びブルーカラーの補間が必要である。グリーンカラーの補間を行う場合には、グリーンカラーは、映像のエッジ情報をレッドカラーやブルーカラーに比べてより多く含んでいるため、補間処理時に相対的に多くの隣接するグリーンピクセルが選択される。例えば、４つの方向（一例として、スラッシュ／逆スラッシュ方向、水平／垂直方向）のそれぞれについて、補間に必要な隣のグリーンピクセルが選択され、補間が計算されるピクセル（例えば、センターピクセル）と隣のグリーンピクセルとの距離の平均を、センターピクセルでの補間距離として計算する。一方、ブルー及びレッドカラーの補間を行う場合には、補間が計算されるピクセルを中心として、方向に関係なく隣の１つ以上のピクセルが選択される。

本発明の一実施形態によれば、複数のＣＦＡブロックのうちの少なくとも１つには、外郭領域に少なくとも２つのカラーをセンシングするピクセルが配置される。例えば、図４の（ａ）のように、レッドＣＦＡブロックの外郭領域はレッドピクセルを主に備えるが、１つの第２ピクセル（例えば、左下端コーナーのブルーピクセルＰ２）を備えてもよい。また、図４の（ｃ）のように、ブルーＣＦＡブロックの外郭領域はブルーピクセルを主に備えるが、１つの第２ピクセル（例えば、右上端コーナーのレッドピクセルＰ２）を備えてもよい。一方、グリーンＣＦＡブロックの場合、外郭領域のピクセルはいずれもグリーンピクセルである例が示されるが、グリーンＣＦＡブロックの外郭領域にも、少なくとも１つの第２ピクセルＰ２が配置されうる。

図４の（ｅ）及び（ｆ）を参照すると、それぞれのＣＦＡブロック内のサブ・ブロックにおけるカラーピクセルの配置は、ベイヤパターンに対応する位置のカラーピクセルの配置と同一である。これによって、１つのＣＦＡセルにおいて、４個のサブ・ブロック内のカラーピクセルのそれぞれの補間距離は０に算出され、これによって補間距離の減少効果が得られる。

また、１つのＣＦＡセルに備えられる４個のＣＦＡブロックに関して、４個のＣＦＡブロックのそれぞれの１つのカラーピクセルを備える第１領域ＤＲが定義され、第１領域ＤＲは、ブルーＣＦＡブロックの第２ピクセルＰ２、レッドＣＦＡブロックの第２ピクセルＰ２、及び２個のグリーンＣＦＡブロックにおける２個のグリーンピクセルを備える。また、第１領域ＤＲのカラーピクセルの配置は、ベイヤパターンに対応する位置のカラーピクセルの配置と同一である。これによって、１つのＣＦＡセルにおいて、０の補間距離を有するカラーピクセルの数が増加し、これを通じてＣＦＡセルの補間距離をさらに低減させる効果が得られる。

すなわち、本発明の一実施形態によれば、それぞれのＣＦＡセルのピクセル配置によって、０の補間距離を有するカラーピクセルが存在すると共に、上述した実施形態のように、サブ・ブロックのカラーピクセル及び第１領域ＤＲのカラーピクセルのような０の補間距離を有する複数のカラーピクセルをさらに確保する。これによって、それぞれのＣＦＡセルで０の補間距離を有するカラーピクセルの数を増加させることができ、これは、映像情報の損失の増大を防止する。

図５は、本発明の多様な実施形態によるＣＦＡセルの具現例を示す図である。図５には、ＣＦＡセルが２＊２個のＣＦＡブロックを備え、また図５の（ａ）〜（ｄ）に示すように、レッドＣＦＡブロック、グリーンＣＦＡブロック、ブルーＣＦＡブロック、及びサブ・ブロックは、図４に示した場合と同じく具現される例が図示される。また、図５に示すＣＦＡセルのそれぞれは、リモザイク処理を通じて図５の（ｈ）に示すベイヤパターンに変換される。

図５の（ｅ）のＣＦＡセルを参照すると、左上に配置されるグリーンＣＦＡブロック、右上に配置されるブルーＣＦＡブロック、左下に配置されるレッドＣＦＡブロック、及び右下に配置されるグリーンＣＦＡブロックを備える。また、グリーンＣＦＡブロック、レッドＣＦＡブロック、及びブルーＣＦＡブロックのそれぞれはサブ・ブロックを備え、サブ・ブロックは、左上−右上−左下−右下の順にグリーンピクセル、ブルーピクセル、レッドピクセル、及びグリーンピクセルを備える。

また、ＣＦＡブロックの配置形態によってＣＦＡセルが多様に具現され、一例として、図５の（ｆ）の例では、ＣＦＡセルは、左上に配置されるレッドＣＦＡブロック、右上に配置されるグリーンＣＦＡブロック、左下に配置されるグリーンＣＦＡブロック、及び右下に配置されるブルーＣＦＡブロックを備える。また、図５の（ｇ）の例では、ＣＦＡセルは左上に配置されるブルーＣＦＡブロック、右上に配置されるグリーンＣＦＡブロック、左下に配置されるグリーンＣＦＡブロック、及び右下に配置されるレッドＣＦＡブロックを備える。

上述した実施形態によれば、ＣＦＡブロックのそれぞれのサブ・ブロックに備えられるカラーピクセルの補間距離は、０に当たる。また、４個のＣＦＡブロックのそれぞれの外郭領域に位置する１つのカラーピクセルで構成される第１領域ＤＲが定義され、第１領域ＤＲは、ブルーＣＦＡブロックの外郭領域に配置される第２ピクセル（例えば、レッドピクセル）と、レッドＣＦＡブロックの外郭領域に配置される第２ピクセル（例えば、ブルーピクセル）と、２個のグリーンＣＦＡブロックのそれぞれの外郭領域に配置されるグリーンピクセルとを備える。また、第１領域ＤＲに備えられるカラーピクセルの補間距離は、０の値を有する。

図５に示すＣＦＡセルの具現例によれば、図５の（ｅ）の例では、ＣＦＡセルの４個のコーナーに位置する４個のカラーピクセルが第１領域ＤＲを構成され、図５の（ｆ）の例では、ＣＦＡセルの左側及び右側の中央に位置する４個のカラーピクセルが第１領域ＤＲを構成され、図５の（ｇ）の例では、ＣＦＡセルの上側及び下側の中央に位置する４個のカラーピクセルが第１領域ＤＲを構成する。

図６は、図４に示すＣＦＡセルに備えられているカラーピクセルのそれぞれの補間距離の一例を示す図である。

本発明の一実施形態によって、リモザイク処理が行われるカラーピクセルに上記例示された計算方式を適用して、補間距離の値を計算すると、図６に示す値が算出される。一例として、グリーンカラーを補間する時には、４つの方向（例えば、スラッシュ／逆スラッシュ／水平／垂直方向）のそれぞれで、最も隣接する２個の隣接グリーンピクセルが選択され、レッド及びブルーカラーのそれぞれを補間する時には、特定方向に関係なく、最も隣接する２個の隣接レッドピクセルまたはブルーピクセルが選択される。

図６に示すように、ＣＦＡセルのサブ・ブロックＳＢ内のカラーピクセル及び第１領域ＤＲ内のカラーピクセルの場合、その補間距離が０に算出される。また、残りのカラーピクセルの場合にも、図４の（ｅ）及び（ｆ）のパターン対を使うことで、補間のために参照せねばならない隣のカラーピクセルの距離が減少し、これによって、ＣＦＡセルで算出される補間距離の全体平均を最小化することができて、映像情報の損失を最小化できる。

以下では、本発明の一実施形態によって具現される多様な種類のカラーフィルタアレイの例を示す。本発明の実施形態は、以下に示すカラーフィルタアレイの具体的な例に限定される必要はなく、本発明が意図する効果を果たす限り、カラーフィルタアレイの具体的なピクセルの配置は、一部の変形も可能である。

図７〜図９は、本発明の多様な実施形態によるピクセルアレイの一具現例を示す図である。図７〜図９には、サブ・ブロックのカラーピクセルの多様な配置例が図示され、またそれぞれのＣＦＡブロックの外郭領域でのカラーピクセルの多様な配置例が図示される。

レッドＣＦＡブロック、グリーンＣＦＡブロック、及びブルーＣＦＡブロックは、図７の（ａ）〜（ｃ）に示すように具現され、また、それぞれのＣＦＡブロックは、図７の（ｄ）に示すサブ・ブロックを備える。また、図７に示すＣＦＡセルのそれぞれは、リモザイク処理を通じて、図７の（ｉ）に示すベイヤパターンに変換される。

図７の実施形態において、それぞれのＣＦＡブロックのサブ・ブロックは、左上−右上−左下−右下の順にグリーンピクセル、レッドピクセル、ブルーピクセル、及びグリーンピクセルを備える。また、図７の（ａ）のように、レッドＣＦＡブロックの外郭領域にはレッドピクセルが主に配置され、レッドＣＦＡブロックの外郭領域は、１つのブルーピクセルを第２ピクセルとして備え、ブルーピクセルは、レッドＣＦＡブロックの外郭領域の右上のコーナーに配置される。また、図７の（ｂ）のように、グリーンＣＦＡブロックの外郭領域にはグリーンピクセルが配置され、一例として、グリーンＣＦＡブロックの外郭領域には、他のカラーをセンシングするピクセルが配置されない。また、図７の（ｃ）のように、ブルーＣＦＡブロックの外郭領域にはブルーピクセルが主に配置され、ブルーＣＦＡブロックの外郭領域は、１つのレッドピクセルを第２ピクセルとして備え、レッドピクセルは、ブルーＣＦＡブロックの外郭領域の左下のコーナーに配置される。

上記のようなＣＦＡブロックの具現例によって、レッドＣＦＡブロック及びブルーＣＦＡブロックのそれぞれにおいて、カラーピクセルが所定のパターンを有する。例えば、レッドＣＦＡブロック及びブルーＣＦＡブロックのそれぞれの右上のコーナーから左下のコーナーの方向に、ブルー−レッド−ブルー−レッドピクセルが順次に配置される。

一方、ＣＦＡブロックの配置に基づいて多様な形態のＣＦＡセルが具現される。一例として、図７の（ｅ）を参照すると、ＣＦＡセルは、左上に配置されるグリーンＣＦＡブロック、右上に配置されるレッドＣＦＡブロック、左下に配置されるブルーＣＦＡブロック、及び右下に配置されるグリーンＣＦＡブロックを備える。または、図７の（ｆ）を参照すると、ＣＦＡセルは、左上に配置されるグリーンＣＦＡブロック、右上に配置されるブルーＣＦＡブロック、左下に配置されるレッドＣＦＡブロック、及び右下に配置されるグリーンＣＦＡブロックを備える。または、図７の（ｇ）を参照すると、ＣＦＡセルは、左上に配置されるレッドＣＦＡブロック、右上に配置されるグリーンＣＦＡブロック、左下に配置されるグリーンＣＦＡブロック、及び右下に配置されるブルーＣＦＡブロックを備える。または、図７の（ｈ）を参照すると、ＣＦＡセルは、左上に配置されるブルーＣＦＡブロック、右上に配置されるグリーンＣＦＡブロック、左下に配置されるグリーンＣＦＡブロック、及び右下に配置されるレッドＣＦＡブロックを備える。

上述した実施形態に類似して、ＣＦＡブロックのそれぞれのサブ・ブロックに備えられるカラーピクセルの補間距離は、０の値を有し、０の補間距離を有するカラーピクセルを備える第１領域ＤＲがさらに確保される。例えば、図７に示すＣＦＡセルの具現例によって、図７の（ｅ）の例では、ＣＦＡセルの４個のコーナーに位置する４個のカラーピクセルが第１領域ＤＲを構成し、図７の（ｆ）の例では、ＣＦＡセルの中央に位置する４個のカラーピクセルが第１領域ＤＲを構成し、図７の（ｇ）の例では、ＣＦＡセルの上側及び下側の中央に位置する４個のカラーピクセルが第１領域ＤＲを構成し、図７の（ｈ）の例では、ＣＦＡセルの左側及び右側の中央に位置する４個のカラーピクセルが第１領域ＤＲを構成する例が図示される。

一方、図８は、ＣＦＡセルの他の具現例を示し、レッドＣＦＡブロック、グリーンＣＦＡブロック、及びブルーＣＦＡブロックは、図８の（ａ）〜（ｃ）に示すように具現され、また、それぞれのＣＦＡブロックは、図８の（ｄ）に示すサブ・ブロックを備える。また、図８に示すＣＦＡセルのそれぞれは、リモザイク処理を通じて、図８の（ｉ）に示したベイヤパターンに変換される。

図８の実施形態において、それぞれのＣＦＡブロックのサブ・ブロックは、左上−右上−左下−右下の順にブルーピクセル、グリーンピクセル、グリーンピクセル、及びレッドピクセルを備える。また、図８の（ａ）のように、レッドＣＦＡブロックの外郭領域にはレッドピクセルが主に配置され、レッドＣＦＡブロックの外郭領域は、１つのブルーピクセルを第２ピクセルとして備え、ブルーピクセルは、レッドＣＦＡブロックの外郭領域の右下のコーナーに配置される。また、図８の（ｂ）のように、グリーンＣＦＡブロックの外郭領域にはグリーンピクセルが配置され、グリーンＣＦＡブロックの外郭領域には、他のカラーをセンシングするピクセルが配置されない。また、図８の（ｃ）のように、ブルーＣＦＡブロックの外郭領域にはブルーピクセルが主に配置され、ブルーＣＦＡブロックの外郭領域は、１つのレッドピクセルを第２ピクセルとして備え、レッドピクセルは、ブルーＣＦＡブロックの外郭領域の左上のコーナーに配置される。

一方、上述した実施形態と類似して多様な形態のＣＦＡセルが具現され、一例として、図８の（ｅ）を参照すると、ＣＦＡセルは、左上に配置されるグリーンＣＦＡブロック、右上に配置されるレッドＣＦＡブロック、左下に配置されるブルーＣＦＡブロック、及び右下に配置されるグリーンＣＦＡブロックを備える。また、図８の（ｆ）を参照すると、ＣＦＡセルは、左上に配置されるグリーンＣＦＡブロック、右上に配置されるブルーＣＦＡブロック、左下に配置されるレッドＣＦＡブロック、及び右下に配置されるグリーンＣＦＡブロックを備える。または、図８の（ｇ）を参照すると、ＣＦＡセルは、左上に配置されるレッドＣＦＡブロック、右上に配置されるグリーンＣＦＡブロック、左下に配置されるグリーンＣＦＡブロック、及び右下に配置されるブルーＣＦＡブロックを備える。または、図８の（ｈ）を参照すると、ＣＦＡセルは、左上に配置されるブルーＣＦＡブロック、右上に配置されるグリーンＣＦＡブロック、左下に配置されるグリーンＣＦＡブロック、及び右下に配置されるレッドＣＦＡブロックを備える。

また、図８に示すＣＦＡセルの具現例によって、図８の（ｅ）の例では、ＣＦＡセルの左側及び右側の中央に位置する４個のカラーピクセルが第１領域ＤＲを構成し、図８の（ｆ）の例では、ＣＦＡセルの上側及び下側の中央に位置する４個のカラーピクセルが第１領域ＤＲを構成し、図８の（ｇ）の例では、ＣＦＡセルの中央に位置する４個のカラーピクセルが第１領域ＤＲを構成し、図８の（ｈ）の例では、ＣＦＡセルの４個のコーナーに位置する４個のカラーピクセルが第１領域ＤＲを構成する例が図示される。

一方、図９は、ＣＦＡセルのさらに他の具現例を示し、レッドＣＦＡブロック、グリーンＣＦＡブロック、及びブルーＣＦＡブロックは、図９の（ａ）〜（ｃ）に示すように具現され、また、それぞれのＣＦＡブロックは、図９の（ｄ）に示すサブ・ブロックを備える。また、図９に示したＣＦＡセルのそれぞれは、リモザイク処理を通じて、図９の（ｉ）に示したベイヤパターンに変換される。

図９の実施形態において、それぞれのＣＦＡブロックのサブ・ブロックは、左上−右上−左下−右下の順にレッドピクセル、グリーンピクセル、グリーンピクセル、及びブルーピクセルを備える。また、図９の（ａ）のように、レッドＣＦＡブロックの外郭領域にはレッドピクセルが主に配置され、レッドＣＦＡブロックの外郭領域は、１つのブルーピクセルを第２ピクセルとして備え、ブルーピクセルは、レッドＣＦＡブロックの外郭領域の左上のコーナーに配置される。また、図９の（ｂ）のように、グリーンＣＦＡブロックの外郭領域にはグリーンピクセルが配置され、グリーンＣＦＡブロックの外郭領域には、他のカラーをセンシングするピクセルが配置されない。また、図９の（ｃ）のように、ブルーＣＦＡブロックの外郭領域にはブルーピクセルが主に配置され、ブルーＣＦＡブロックの外郭領域は、１つのレッドピクセルを第２ピクセルとして備え、レッドピクセルは、ブルーＣＦＡブロックの外郭領域の右下のコーナーに配置される。

一方、上述した実施形態と類似して多様な形態のＣＦＡセルが具現され、一例として、図９の（ｅ）を参照すると、ＣＦＡセルは、左上に配置されるグリーンＣＦＡブロック、右上に配置されるレッドＣＦＡブロック、左下に配置されるブルーＣＦＡブロック、及び右下に配置されるグリーンＣＦＡブロックを備える。また、図９の（ｆ）を参照すると、ＣＦＡセルは、左上に配置されるグリーンＣＦＡブロック、右上に配置されるブルーＣＦＡブロック、左下に配置されるレッドＣＦＡブロック、及び右下に配置されるグリーンＣＦＡブロックを備える。または、図９の（ｇ）を参照すると、ＣＦＡセルは、左上に配置されるレッドＣＦＡブロック、右上に配置されるグリーンＣＦＡブロック、左下に配置されるグリーンＣＦＡブロック、及び右下に配置されるブルーＣＦＡブロックを備える。または、図９の（ｈ）を参照すると、ＣＦＡセルは、左上に配置されるブルーＣＦＡブロック、右上に配置されるグリーンＣＦＡブロック、左下に配置されるグリーンＣＦＡブロック、及び右下に配置されるレッドＣＦＡブロックを備える。

また、図９に示すＣＦＡセルの具現例によれば、図９の（ｅ）の例では、ＣＦＡセルの上側及び下側の中央に位置する４個のカラーピクセルが第１領域ＤＲを構成し、図９の（ｆ）の例では、ＣＦＡセルの左側及び右側の中央に位置する４個のカラーピクセルが第１領域ＤＲを構成し、図９の（ｇ）の例では、ＣＦＡセルの４個のコーナーに位置する４個のカラーピクセルが第１領域ＤＲを構成し、図９の（ｈ）の例では、ＣＦＡセルの中央に位置する４個のカラーピクセルが第１領域ＤＲを構成する例が図示される。

上述した実施形態によって、本発明の一実施形態によれば、ピクセルアレイのカラーパターンを多様に構成し、一例として、所定のサイズで具現されるＣＦＡブロックで、複数のカラー（例えば、Ｒ、Ｇ、Ｂカラー）が共にセンシングされるため、補間及び／または外挿処理時に用いられる隣のカラーピクセルとの距離が減少し、映像損失が減少する。また、それぞれのＣＦＡブロックで、上述した実施形態によって外郭領域のカラーピクセルを構成することで、ＣＦＡセル内で０の補間距離を有するカラーピクセルの数を増加させることができ、これは、ＣＦＡセルの全体補間距離を低減させるため、カラー変換過程で映像の損失を低減させる効果がある。また、上述した実施形態で、１つのＣＦＡブロックの外郭領域が１つの異なるカラーピクセルを備えると説明したが、本発明の実施形態による効果を果たすために、ＣＦＡブロックの外郭領域についての他の多様な変形例が可能である。また、上述した実施形態では、グリーンＣＦＡブロックの外郭領域には、他のカラーをセンシングする第２ピクセルが配置されていない例を説明したが、本発明の多様な実施形態によって、グリーンＣＦＡブロックの外郭領域にも、他のカラーをセンシングする第２ピクセルが配置されるようにＣＦＡセルが具現されてもよい。

図１０は、本発明によるイメージセンサを備える映像処理装置の一例を示すブロック図である。

図１０を参照すると、映像処理装置２００は、ＣＦＡセルを備えるピクセルアレイ２１０を備え、またピクセルアレイ２１０からのピクセル値を用いて映像処理を行う映像処理器２２０を備える。一実施形態によって、上述したイメージセンサは、ピクセルアレイ２１０を備えると共に、映像処理器２２０に備えられる構成のうちの少なくとも一部を備えると定義される。例えば、ビニング処理のための構成、及び／またはリモザイク処理のための構成がイメージセンサに備えられると定義される。

ピクセルアレイ２１０は、上述した実施形態による多様なパターンを有するＣＦＡセル２１１を備え、ピクセルアレイ２１０に配置されているカラーピクセルのピクセル値を、映像処理器２２０に提供する。また、映像処理器２２０は、ピクセル値を処理してイメージデータを生成する多様な種類のロジッグ装置を備え、一例として、映像処理器２２０は、ビニング処理器２２１及びリモザイク処理器２２２を備える。ビニング処理器２２１の制御によって、高画質モードを選択する時、相対的に高い解像度を有するピクセル値を用いて映像処理が行われ、または、低画質モードを選択する時、相対的に低い解像度を有するピクセル値を用いて映像処理が行われる。また、リモザイク処理器２２２は、リモザイク処理に関連してそれぞれのピクセルでの補間処理を行い、上述した実施形態によって、ＣＦＡセルのピクセル値を用いて、ベイヤパターンに対応するピクセル値が生成される。

本発明の一実施形態によれば、ピクセルアレイ２１０は、上述した実施形態で説明したＣＦＡセル（または、ＣＦＡブロック）を備え、ビニング処理は、本発明の実施形態で説明したカラーピクセルの配置に基づいて行われる。ビニング処理を実行した結果、映像処理器２２０によって処理されるイメージデータのサイズが減少し、フレーム当りのデータサイズが減少するため、動画モードで高いフレームレートが維持される。

本発明の一実施形態によって、ビニング処理は、多様な方式に基づいて行われる。例えば、映像処理器２２０が、ピクセルアレイ２１０のカラーピクセルのピクセル値をデジタル合算したうえで、ビニング処理が行われる。または、ピクセルアレイ２１０の少なくとも２つのカラーピクセルの電気的信号がアナログ的に合算される方式に基づいて、ビニング処理が行われてもよい。

また、本発明の一実施形態によって、ビニング処理において、互いにその信号が合算されるカラーピクセルは多様に選択される。一例として、イントラブロック方式によって、いずれか１つのＣＦＡブロックから、同じカラーをセンシングするカラーピクセルが選択されて、アナログ的またはデジタル的に信号が合算される。例えば、いずれか１つのＣＦＡブロックに含まれている同じカラーをセンシングするすべてのカラーピクセルが選択されるか、または一部のカラーピクセルが選択される。

または、インターブロック方式によって、少なくとも２つのＣＦＡブロックで同じカラーをセンシングするカラーピクセルが選択されて、アナログ的またはデジタル的に信号が合算される。一例として、いずれか１つのＣＦＡブロックのカラーピクセルと、これに隣接するＣＦＡブロックの１つ以上の行または列の同じカラーをセンシングするピクセルの信号が互いに合算される。

以下では、本発明の一実施形態によって、アナログ的な信号合算を通じてビニング処理が行われる例を説明する。図１１Ａ〜図１１Ｃは、本発明の一実施形態によるピクセルアレイの具現例を示す図である。

図１１Ａを参照すると、ピクセルアレイは複数のカラーピクセルを備え、ｎ個のカラーピクセルＣＰ１〜ＣＰｎが１つのフローティング拡散領域（ｆｌｏａｔｉｎｇ ｄｉｆｆｕｓｉｏｎ、ＦＤ）を共有する場合が例示される。一例として、１つのＣＦＡブロックで、同じカラーをセンシングするカラーピクセルの少なくとも一部が、１つのフローティング拡散領域ＦＤに共有される。一具現例によって、ＣＦＡブロックで、同じカラーをセンシングするすべてのカラーピクセルが１つのフローティング拡散領域ＦＤに共有されるか、または、一部のカラーピクセルが１つのフローティング拡散領域ＦＤに共有される。

それぞれのカラーピクセルは、フォトダイオードＰＤ及びトランスファーゲートＴＧを備える。例えば、ｎ個のカラーピクセルＣＰ１〜ＣＰｎのトランスファーゲートＴＧが共にターンオンされる場合には、ｎ個のカラーピクセルＣＰ１〜ＣＰｎの光電荷がフローティング拡散領域ＦＤに共に提供され、ｎ個のカラーピクセルＣＰ１〜ＣＰｎのトランスファーゲートＴＧが別途に制御される場合には、ｎ個のカラーピクセルＣＰ１〜ＣＰｎの光電荷が、互いに異なるタイミングでフローティング拡散領域ＦＤに提供される。一例として、ビニングモードが実行されない場合には、ｎ個のカラーピクセルＣＰ１〜ＣＰｎの光電荷が、互いに異なるタイミングでフローティング拡散領域ＦＤに提供される一方、ビニングモードが実行される場合には、ｎ個のカラーピクセルＣＰ１〜ＣＰｎの光電荷が共にフローティング拡散領域ＦＤに提供されることで、ｎ個のカラーピクセルＣＰ１〜ＣＰｎの信号が、フローティング拡散領域ＦＤで合算される。

図１１Ｂ及び図１１Ｃは、本発明の一実施形態による、ビニングモードでの動作例を示す。図１１Ｂ及び図１１Ｃには、１つのＣＦＡセルに備えられる複数のカラーピクセルが例示され、一例として、図４に示すＣＦＡセルにビニング処理が行われる例が図示される。また、図１１Ｂ及び図１１Ｃには、ビニング処理時にイントラブロック方式が適用されることで、いずれか１つのＣＦＡブロックで、同じカラーをセンシングするピクセルの信号が互いに合算される場合が例示される。また、図１１Ｂでは、１つのＣＦＡセルの上部に位置する２つのＣＦＡブロックでのビニング例が図示され、図１１Ｃでは、１つのＣＦＡセルの下部に位置する２つのＣＦＡブロックでのビニング例が図示される。

図１１Ｂ及び図１１Ｃを参照すると、それぞれのＣＦＡブロックは、フローティング拡散領域ＦＤの共有方式に基づいて複数のグループに分類される。例えば、ＣＦＡセルの左上に位置するグリーンＣＦＡブロックを参照すると、グリーンＣＦＡブロックは、左上−右上−左下−右下に位置し、それぞれ２＊２個のカラーピクセルを備えるグループＧ００〜Ｇ１１に分類され、グループＧ００〜Ｇ１１のそれぞれの４個のカラーピクセルが、１つのフローティング拡散領域ＦＤを共有する。ビニング処理が行われることで、それぞれのグループで、同じカラーをセンシングするカラーピクセルの光電荷が、フローティング拡散領域ＦＤに提供される。一例として、グリーンＣＦＡブロックで、グループＧ００の４個のグリーンピクセルの光電荷がフローティング拡散領域ＦＤに提供され、グループＧ０１の３個のグリーンピクセルの光電荷がフローティング拡散領域ＦＤに提供され、グループＧ１０の３個のグリーンピクセルの光電荷がフローティング拡散領域ＦＤに提供され、グループＧ１１の４個のグリーンピクセルの光電荷がフローティング拡散領域ＦＤに提供される。これと類似して、レッドＣＦＡブロックのそれぞれのグループで、３個のレッドピクセルの光電荷がフローティング拡散領域ＦＤに提供される。

グループＧ００〜Ｇ１１のそれぞれから提供された信号（例えば、合算された信号）は、読出し回路ＲＣに提供され、合算された信号に対応するピクセル値が、読出し回路ＲＣから出力される。また、グループＧ００〜Ｇ１１のピクセル値は、アナログ的またはデジタル的に演算処理を通じて合算され、上記のような合算過程を通じて、グリーンＣＦＡブロックに対応するグリーンピクセル値が算出される。

一方、ビニング処理が行われない場合には、グリーンＣＦＡブロックに備えられる４＊４個のカラーピクセルが、それぞれ個別的にフローティング拡散領域ＦＤに連結されて、光電荷を伝達する。

一方、図１１Ｃを参照すると、ＣＦＡセルの左下に位置するブルーＣＦＡブロック及び右下に位置するグリーンＣＦＡブロックが例示され、ビニング処理が行われる場合、ブルーＣＦＡブロックのそれぞれのグループで、３個のブルーピクセルからの光電荷がフローティング拡散領域ＦＤに提供されて合算される。

例えば、ＣＦＡセルの左下端のブルーＣＦＡブロックは、Ｂ００、Ｂ０１、Ｂ１０、Ｂ１１のグループに分類され、このグループは、ブルーＣＦＡブロックの左上端、右上端、左下端、右下端に位置し、それぞれのグループは、ブロックはそれぞれ２＊２個のカラーピクセルを備える。グループＢ００〜Ｂ１１のそれぞれの４個のカラーピクセルは、１つのフローティング拡散領域ＦＤを互いに共有する。ビニング処理が行われることで、それぞれのグループで、同じカラーをセンシングするカラーピクセルの光電荷が、フローティング拡散領域ＦＤに提供される。例えば、ブルーＣＦＡブロックで、グループＢ００の３個のブルーピクセルの光電荷がフローティング拡散領域ＦＤに提供され、グループＢ０１の３個のブルーピクセルの光電荷がフローティング拡散領域ＦＤに提供される。また、グループＢ１０の３個のブルーピクセルの光電荷がフローティング拡散領域ＦＤに提供され、グループＢ１１の３個のブルーピクセルの光電荷がフローティング拡散領域ＦＤに提供される。

グリーンＣＦＡブロックで、一部のグループには、４個のグリーンピクセルが配置されることで、４個のグリーンピクセルからの光電荷がフローティング拡散領域ＦＤに提供されて合算され、他の一部のグループには、３個のグリーンピクセルが配置されることで、３個のグリーンピクセルからの光電荷がフローティング拡散領域ＦＤに提供されて合算される。

図１２は、本発明の一実施形態によるインターブロック及びイントラブロック方式のビニング処理例を示す図である。図１２には、レッドＣＦＡブロック、グリーンＣＦＡブロック、及びブルーＣＦＡブロックのそれぞれについてのビニング処理例が図示される。

レッドＣＦＡブロックは、サブ・ブロック内の３個のカラーピクセルと、外郭領域の１個のカラーフィルタが他のカラーをセンシングするピクセルに当り、イントラ方式に基づいてビニング処理が行われることで、レッドＣＦＡブロックの１２個のレッドピクセルが合算される。これと類似して、グリーンＣＦＡブロックでは、１４個のグリーンピクセルが合算され、ブルーＣＦＡブロックでは、１２個のブルーピクセルが合算される。

一方、インター方式が適用される場合、いずれか１つのＣＦＡブロックに対応するピクセル値を算出する時に、隣接する１つ以上のＣＦＡブロックのカラーピクセルがさらに用いられる。一例として、図１２に示す例では、隣接するＣＦＡブロックの１つのロウに位置するカラーピクセルがさらに用いられるか、または隣接するＣＦＡブロックの２つのロウとカラムに位置するカラーピクセルがさらに用いられる例が図示される。

例えば、レッドＣＦＡブロックについては、レッドＣＦＡブロックに備えられている１２個のレッドピクセルと、レッドＣＦＡブロックに隣接する他のＣＦＡブロックの１つのロウのレッドピクセルとの信号が合算される。または、レッドＣＦＡブロックに備えられている１２個のレッドピクセルと、レッドＣＦＡブロックに隣接する他のＣＦＡブロックの２つのロウとカラムのレッドピクセルとの信号が合算される。これと類似して、ブルーＣＦＡブロックついては、ブルーＣＦＡブロックに備えられている１２個のブルーピクセルと、隣接する他のＣＦＡブロックの１つまたは２つのロウとカラムに位置するブルーピクセルとの信号が合算される。

多様な実施形態によって、インターブロック方式に基づいて、グリーンＣＦＡブロックのビニング処理を行うに当って、グリーンＣＦＡブロックは、他のＣＦＡブロックに比べて相対的に多くのグリーンピクセルを備え、これによって、図１２の例では、グリーンＣＦＡブロックに隣接する他のＣＦＡブロックの１つのロウのグリーンピクセルの信号がビニング処理に用いられる例が図示される。しかし、本発明の実施形態はこれに限定されず、グリーンＣＦＡブロックについても、これに隣接する他のＣＦＡブロックの２つ以上のロウ及びカラムのグリーンピクセルが信号合算にさらに用いられてもよい。

図１３〜図１５は、多様な実施形態によるＣＦＡブロックの具現例を示す図である。図１３にはレッドＣＦＡブロックが例示され、図１４にはブルーＣＦＡブロックが例示され、図１５にはグリーンＣＦＡブロックが例示される。また、図１３〜図１５には、それぞれのＣＦＡブロックの外郭領域のカラーピクセルの配置を通じて、補間距離がさらに減少する例が図示される。一方、図１３〜図１５には、上述した図４の実施形態に示すＣＦＡブロックが例示されるが、本実施形態は、上述された他の多様な種類のＣＦＡブロックにも適用される。

図１３を参照すると、レッドＣＦＡブロックは、上述した実施形態でのように、２＊２カラーピクセルを備えるサブ・ブロックを備え、外郭領域には主にレッドピクセルが配置されるものの、外郭領域の一側（例えば、左下部）のコーナーにはブルーピクセルが配置される。これによって、レッドＣＦＡブロックの特定方向（例えば、右上部から左下部）に、レッド−ブルー−レッド−ブルーのピクセルが配置される。

また、レッドＣＦＡブロックの外郭領域の他の１コーナーには、少なくとも１つの他のカラーをセンシングするピクセルが配置される。例えば、図１３の（ａ）には、右下部のコーナーに配置されるグリーンピクセルが例示され、図１３の（ｂ）には、右下部及び左上部のコーナーに配置される２個のグリーンピクセルが例示される。図１３の（ａ）及び（ｂ）に示す外郭領域のグリーンピクセルと、ベイヤパターンに対応する位置のグリーンピクセルとは、互いに同じカラー（グリーンカラー）をセンシングし、これによって、レッドＣＦＡブロックのピクセルの補間距離の値がさらに減少する効果がある。

一方、図１４を参照すると、ブルーＣＦＡブロックの外郭領域には、主にブルーピクセルが配置されるものの、外郭領域の一側（例えば、右上部）のコーナーにはレッドピクセルが配置される。これによって、ブルーＣＦＡブロックの特定方向（例えば、右上部から左下部）に、レッド−ブルー−レッド−ブルーのピクセルが配置される。また、図１３の実施形態と類似して、ブルーＣＦＡブロックの外郭領域の他の１コーナーには、少なくとも１つの他のカラーをセンシングするピクセルが配置され、図１４の（ａ）には、右下部のコーナーに配置されるグリーンピクセルが例示され、図１４の（ｂ）には、右下部及び左上部のコーナーに配置される２個のグリーンピクセルが例示される。図１４の（ａ）及び（ｂ）に示す実施形態によって、ブルーＣＦＡブロックのピクセルの補間距離の値がさらに減少する効果がある。

一方、図１５を参照すると、グリーンＣＦＡブロックの外郭領域には、１つ以上の他のカラーをセンシングするピクセル（例えば、レッドピクセル及び／またはブルーピクセル）が配置される。図１５の（ａ）には、グリーンＣＦＡブロックの外郭領域の一側（例えば、左下部）のコーナーに、ブルーピクセルが配置される例が図示され、図１５の（ｂ）には、グリーンＣＦＡブロックの外郭領域の左下部のコーナーに配置されるブルーピクセルと、右上部のコーナーに配置されるレッドピクセルとが例示される。図１５の（ａ）及び（ｂ）に示す外郭領域のカラーピクセル（例えば、ブルーピクセル及び／またはレッドピクセル）と、ベイヤパターンに対応する位置のカラーピクセルとは、互いに同じカラーをセンシングするピクセルに当り、これによって、グリーンＣＦＡブロックのピクセルの補間距離の値がさらに減少する効果がある。

図１６は、本発明の一実施形態によるカラーピクセルの具現例を示す図である。

上述した実施形態によって、それぞれのカラーピクセルは、これに対応するカラーフィルタを備え、また光（または、カラー）をセンシングするための光感知素子（例えば、フォトダイオード）を備える。

一具現例によって、１つのカラーピクセルは、複数のサブピクセルを備える。例えば、図１６には、１つのカラーピクセルが２＊２サブピクセルを備える例が図示されるが、さらに多くのサブピクセルを備えてもよい。また、光感知素子は、サブピクセル単位で配置されることで、１つのカラーピクセルに対応して複数の光感知素子が配置される。また、図１６には図示されていないが、イメージセンサは、複数のマイクロレンズ（図示せず）を備え、マイクロレンズは、ピクセル単位で配置されるか、またはサブピクセル単位で配置されてもよい。

それぞれのカラーピクセルに対応するピクセル信号を算出するに当って、複数のサブピクセルから生成される信号のうちの少なくとも一部が用いられる。例えば、図１６の左上に位置するカラーピクセルがレッドピクセルであり、複数のサブピクセルが同様にレッドカラーをセンシングすると仮定すると、複数のサブピクセルから生成される信号のうちの少なくとも一部を用いた処理を通じて、レッドピクセルから提供されるピクセル信号が生成される。

一方、本発明の実施形態は多様に具現でき、一例として、いずれか１つのカラーピクセルで２つ以上のカラーをセンシングした信号が提供されてもよい。一例として、いずれか１つのカラーピクセルに備えられる複数のサブピクセルに、互いに異なるカラーをセンシングするためのカラーフィルタが配置され、上述した実施形態による補間距離を低減させる範囲で、それぞれのカラーピクセルは多様に具現される。

図１７は、本発明の一実施形態によるイメージセンサが適用されるマルチカメラモジュールを備える電子装置のブロック図である。図１８は、図１７のカメラモジュールの詳細ブロック図である。

図１７を参照すると、電子装置１０００は、カメラモジュールグループ１１００と、アプリケーションプロセッサ１２００と、ＰＭＩＣ１３００と、外部メモリ１４００とを備える。

カメラモジュールグループ１１００は、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃを備える。なお、図１７には、３個のカメラモジュール１１００ａ、１１００ｂ、１１００ｃが配置された実施形態が図示されているが、実施形態はこれに限定されない。いくつかの実施形態で、カメラモジュールグループ１１００は、２個のカメラモジュールのみを備えるように変形されて実施される。また、いくつかの実施形態で、カメラモジュールグループ１１００は、ｎ個（ｎは４以上の自然数）のカメラモジュールを備えるように変形されて実施されてもよい。

以下、図１８を参照して、カメラモジュール１１００ｂの詳細構成についてさらに具体的に説明するが、以下の説明は、他のカメラモジュール１１００ａ及び１１００ｃにも同じく適用される。

図１８を参照すると、カメラモジュール１１００ｂは、プリズム１１０５、光路折り畳み要素要素（Ｏｐｔｉｃａｌ Ｐａｔｈ Ｆｏｌｄｉｎｇ Ｅｌｅｍｅｎｔ、以下、“ＯＰＦＥ”）１１１０と、アクチュエータ１１３０と、イメージセンシング装置１１４０と、保存部１１５０とを備える。

プリズム１１０５は、光反射物質の反射面１１０７を備えて、外部から入射される光Ｌの経路を変更させる。

いくつかの実施形態で、プリズム１１０５は、第１方向（Ｘ）に入射される光Ｌの経路を、第１方向（Ｘ）に垂直な第２方向（Ｙ）に変更させる。また、プリズム１１０５は、光反射物質の反射面１１０７を、中心軸１１０６を中心としてＡ方向に回転させるか、または中心軸１１０６をＢ方向に回転させて、第１方向（Ｘ）に入射される光Ｌの経路を、第１方向（Ｘ）に垂直な第２方向（Ｙ）に変更させる。この時、ＯＰＦＥ１１１０も、第１方向（Ｘ）及び第２方向（Ｙ）に垂直な第３方向（Ｚ）に移動する。

いくつかの実施形態で、図１８に示すように、プリズム１１０５のＡ方向の最大回転角度は、プラス（＋）Ａ方向には１５度以下であり、マイナス（−）Ａ方向には１５度よりも大きいが、実施形態はこれに限定されない。

いくつかの実施形態で、プリズム１１０５は、プラス（＋）またはマイナス（−）Ｂ方向に２０度内外、または１０度から２０度、または１５度から２０度の範囲で動き、ここで、動く角度は、プラス（＋）またはマイナス（−）Ｂ方向に同じ角度で動くか、または１度内外の範囲でほぼ類似した角度まで動く。

いくつかの実施形態で、プリズム１１０５は、光反射物質の反射面１１０７を、中心軸１１０６の延長方向に平行な第３方向（例えば、Ｚ方向）に移動させる。

ＯＰＦＥ１１１０は、例えば、ｍ（ここで、ｍは自然数）個のグループからなる光学レンズを備える。ｍ個のレンズは、第２方向（Ｙ）に移動して、カメラモジュール１１００ｂの光学ズーム倍率を変更する。例えば、カメラモジュール１１００ｂの基本光学ズーム倍率をＺとすると、ＯＰＦＥ１１１０に備えられているｍ個の光学レンズを移動させる場合、カメラモジュール１１００ｂの光学ズーム倍率は、３Ｚ、５Ｚ、または５Ｚ以上の光学ズーム倍率に変更される。

アクチュエータ１１３０は、ＯＰＦＥ１１１０または光学レンズ（以下、光学レンズと称する）を特定位置に移動させる。例えば、アクチュエータ１１３０は、正確なセンシングのために、イメージセンサ１１４２が光学レンズの焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）に位置するように、光学レンズの位置を調整する。

イメージセンシング装置１１４０は、イメージセンサ１１４２と、制御ロジック１１４４と、メモリ１１４６とを備える。イメージセンサ１１４２は、光学レンズを通じて提供される光Ｌを用いて、センシング対象のイメージをセンシングする。上述した本発明の実施形態によって、イメージセンサ１１４２は、ピクセルアレイを備え、ピクセルアレイに備えられる複数のカラーピクセルについてのカラーパターンは、上述した実施形態でのＣＦＡセル、ＣＦＡブロック、及びサブ・ブロックでのパターンに従う。

制御ロジック１１４４は、カメラモジュール１１００ｂの全般的な動作を制御する。例えば、制御ロジック１１４４は、制御信号ラインＣＳＬｂを通じて提供された制御信号によって、カメラモジュール１１００ｂの動作を制御する。

メモリ１１４６は、較正データ１１４７のようなカメラモジュール１１００ｂの動作に必要な情報を保存する。較正データ１１４７は、カメラモジュール１１００ｂが外部から提供された光Ｌを用いて、イメージデータの生成に必要な情報を含む。較正データ１１４７は、例えば、上述した回転度に関する情報、焦点距離に関する情報、光学軸に関する情報などを含む。カメラモジュール１１００ｂが、光学レンズの位置によって焦点距離が変わるマルチステート（ｍｕｌｔｉ ｓｔａｔｅ）カメラ形態に具現される場合、較正データ１１４７は、光学レンズのそれぞれの位置別（またはステート別）焦点距離値と、オートフォーカシングに関する情報とを含む。

保存部１１５０は、イメージセンサ１１４２を通じてセンシングされたイメージデータを保存する。保存部１１５０は、イメージセンシング装置１１４０の外部に配置され、イメージセンシング装置１１４０を構成するセンサチップに積層された形態に具現される。いくつかの実施形態で、保存部１１５０は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ ｍｅｍｏｒｙ）で具現されるが、実施形態は、これに限定されない。

いくつかの実施形態で、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれは、アクチュエータ１１３０を備える。これによって、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれは、その内部に備えられているアクチュエータ１１３０の動作によって、相等しいか、または相異なる較正データ１１４７を備える。

いくつかの実施形態で、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうちの１つのカメラモジュール（例えば、１１００ｂ）は、上述したプリズム１１０５及びＯＰＦＥ１１１０を備える折り畳んだレンズ（ｆｏｌｄｅｄ ｌｅｎｓ）形態のカメラモジュールであり、残りのカメラモジュール（例えば、１１００ａ及び１１００ｃ）は、プリズム１１０５及びＯＰＦＥ１１１０を備えていない垂直形態のカメラモジュールであるが、実施形態はこれに限定されない。

いくつかの実施形態で、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうちの１つのカメラモジュール（例えば、１１００ｃ）は、例えば、ＩＲ（Ｉｎｆｒａｒｅｄ Ｒａｙ）を用いて奥行き（ｄｅｐｔｈ）情報を抽出する垂直形態の奥行きカメラである。この場合、アプリケーションプロセッサ１２００は、このような奥行きカメラから提供されたイメージデータと、他のカメラモジュール（例えば、１１００ａまたは１１００ｂ）から提供されたイメージデータとを併合して、３次元深度イメージを生成する。

いくつかの実施形態で、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうちの少なくとも２つのカメラモジュール（例えば、１１００ａ及び１１００ｂ）は、互いに異なる観測視野（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ、視野角）を有する。この場合、例えば、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうちの少なくとも２つのカメラモジュール（例えば、１１００ａ及び１１００ｂ）の光学レンズが互いに異なるが、これに限定されない。

また、いくつかの実施形態で、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれの視野角は互いに異なる。この場合、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれに備えられている光学レンズも互いに異なるが、これに限定されない。

いくつかの実施形態で、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれは、互いに物理的に分離されて配置される。すなわち、１つのイメージセンサ１１４２のセンシング領域を、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃが分割して使うものではなく、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれの内部に独立的なイメージセンサ１１４２が配置される。

再び図１７を参照すると、アプリケーションプロセッサ１２００は、イメージ処理装置１２１０と、メモリコントローラ１２２０と、内部メモリ１２３０とを備える。アプリケーションプロセッサ１２００は、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃとは分離されて具現される。例えば、アプリケーションプロセッサ１２００と複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃとは、別途の半導体チップにより互いに分離されて具現される。

イメージ処理装置１２１０は、複数のサブイメージプロセッサ１２１２ａ、１２１２ｂ、１２１２ｃと、イメージ生成器１２１４と、カメラモジュールコントローラ１２１６とを備える。

イメージ処理装置１２１０は、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃの数に対応する複数のサブイメージプロセッサ１２１２ａ、１２１２ｂ、１２１２ｃを備える。

それぞれのカメラモジュール１１００ａ、１１００ｂ、１１００ｃから生成されたイメージデータは、互いに分離されたイメージ信号ラインＩＳＬａ、ＩＳＬｂ、ＩＳＬｃを通じて、対応するサブイメージプロセッサ１２１２ａ、１２１２ｂ、１２１２ｃに提供される。例えば、カメラモジュール１１００ａから生成されたイメージデータは、イメージ信号ラインＩＳＬａを通じてサブイメージプロセッサ１２１２ａに提供され、カメラモジュール１１００ｂから生成されたイメージデータは、イメージ信号ラインＩＳＬｂを通じてサブイメージプロセッサ１２１２ｂに提供され、カメラモジュール１１００ｃから生成されたイメージデータは、イメージ信号ラインＩＳＬｃを通じてサブイメージプロセッサ１２１２ｃに提供される。このようなイメージデータ送信は、例えば、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）に基づいたカメラ直列インターフェース（ＣＳＩ；Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）を用いて行われるが、実施形態はこれに限定されない。

一方、いくつかの実施形態で、１つのサブイメージプロセッサが、複数のカメラモジュールに対応するように配置されてもよい。例えば、サブイメージプロセッサ１２１２ａ及びサブイメージプロセッサ１２１２ｃは、図示されたように、互いに分離されて具現されるものではなく、１つのサブイメージプロセッサに統合されて具現され、カメラモジュール１１００ａ及びカメラモジュール１１００ｃから提供されたイメージデータは、選択素子（例えば、マルチフレクサ）などを通じて選択された後、統合されたサブイメージプロセッサに提供される。

それぞれのサブイメージプロセッサ１２１２ａ、１２１２ｂ、１２１２ｃに提供されたイメージデータは、イメージ生成器１２１４に提供される。イメージ生成器１２１４は、イメージ生成情報またはモード信号によって、それぞれのサブイメージプロセッサ１２１２ａ、１２１２ｂ、１２１２ｃから提供されたイメージデータを用いて、出力イメージを生成する。

具体的に、イメージ生成器１２１４は、イメージ生成情報またはモード信号によって、互いに異なる視野角を持つカメラモジュール１１００ａ、１１００ｂ、１１００ｃから生成されたイメージデータのうちの少なくとも一部を併合して、出力イメージを生成する。また、イメージ生成器１２１４は、イメージ生成情報またはモード信号によって、互いに異なる視野角を持つカメラモジュール１１００ａ、１１００ｂ、１１００ｃから生成されたイメージデータのうちのいずれか１つを選択して、出力イメージを生成する。

いくつかの実施形態で、イメージ生成情報は、ズーム信号（ｚｏｏｍ ｓｉｇｎａｌ（又は、ズーム因子： Ｚｏｏｍ ｆａｃｔｏｒ））を備える。また、いくつかの実施形態で、モード信号は、例えば、ユーザによって選択されたモードに基づいた信号である。

イメージ生成情報がズーム信号（ズーム因子）であり、それぞれのカメラモジュール１１００ａ、１１００ｂ、１１００ｃが互いに異なる観測視野（視野角）を有する場合、イメージ生成器１２１４は、ズーム信号の種類によって互いに異なる動作を行う。例えば、ズーム信号が第１信号である場合、カメラモジュール１１００ａから出力されたイメージデータと、カメラモジュール１１００ｃから出力されたイメージデータとを併合した後、併合されたイメージ信号と、併合に使わないカメラモジュール１１００ｂから出力されたイメージデータとを用いて、出力イメージを生成する。もし、ズーム信号が第１信号とは異なる第２信号である場合、イメージ生成器１２１４は、このようなイメージデータ併合を行わず、それぞれのカメラモジュール１１００ａ、１１００ｂ、１１００ｃから出力されたイメージデータのうちのいずれか１つを選択して、出力イメージを生成する。しかし、実施形態は、これに限定されるものではなく、必要に応じてイメージデータを処理する方法は、いくらでも変形されて行われる。

いくつかの実施形態で、イメージ生成器１２１４は、複数のサブイメージプロセッサ１２１２ａ、１２１２ｂ、１２１２ｃのうちの少なくとも１つから、露出時間の互いに異なる複数のイメージデータを受信し、複数のイメージデータについてＨＤＲ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）処理を行うことで、ダイナミックレンジの増加した、併合されたイメージデータを生成する。

カメラモジュールコントローラ１２１６は、それぞれのカメラモジュール１１００ａ、１１００ｂ、１１００ｃに制御信号を提供する。カメラモジュールコントローラ１２１６から生成された制御信号は、互いに分離された制御信号ラインＣＳＬａ、ＣＳＬｂ、ＣＳＬｃを通じて、対応するカメラモジュール１１００ａ、１１００ｂ、１１００ｃに提供される。

複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうちのいずれか１つは、ズーム信号を含むイメージ生成情報またはモード信号によって、マスターカメラ（例えば、１１００ｂ）に指定され、残りのカメラモジュール（例えば、１１００ａ及び１１００ｃ）は、スレーブ（ｓｌａｖｅ）カメラに指定される。このような情報は制御信号に含まれて、互いに分離された制御信号ラインＣＳＬａ、ＣＳＬｂ、ＣＳＬｃを通じて、対応するカメラモジュール１１００ａ、１１００ｂ、１１００ｃに提供される。

ズーム因子または動作モード信号によって、マスター及びスレーブとして動作するカメラモジュールが変わる。例えば、カメラモジュール１１００ａの視野角がカメラモジュール１１００ｂの視野角よりも広く、ズーム因子が低いズーム倍率を示す場合、カメラモジュール１１００ｂがマスターとして動作し、カメラモジュール１１００ａがスレーブとして動作する。逆に、ズーム因子が高いズーム倍率を示す場合、カメラモジュール１１００ａがマスターとして動作し、カメラモジュール１１００ｂがスレーブとして動作する。

いくつかの実施形態で、カメラモジュールコントローラ１２１６からそれぞれのカメラモジュール１１００ａ、１１００ｂ、１１００ｃに提供される制御信号は、シンク・イネーブル信号（ｓｙｎｃ ｅｎａｂｌｅ）信号を含む。例えば、カメラモジュール１１００ｂがマスターカメラであり、カメラモジュール１１００ａ及び１１００ｃがスレーブカメラである場合、カメラモジュールコントローラ１２１６は、カメラモジュール１１００ｂにシンク・イネーブル信号を伝送する。このようなシンク・イネーブル信号を提供されたカメラモジュール１１００ｂは、提供されたシンク・イネーブル信号に基づいてシンク信号を生成し、生成されたシンク信号を、シンク信号ラインＳＳＬを通じてカメラモジュール１１００ａ及び１１００ｃに提供する。カメラモジュール１１００ｂ及びカメラモジュール１１００ａ及び１１００ｃは、このようなシンク信号に同期化されて、イメージデータをアプリケーションプロセッサ１２００に伝送する。

いくつかの実施形態で、カメラモジュールコントローラ１２１６から複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃに提供される制御信号は、モード信号によるモード情報を含む。このようなモード情報に基づいて、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃは、センシング速度に関して第１動作モード及び第２動作モードで動作する。

複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃは、第１動作モードで、第１速度でイメージ信号を生成（例えば、第１フレームレートのイメージ信号を生成）して、これを第１速度より高い第２速度でエンコードし（例えば、第１フレームレートより高い第２フレームレートのイメージ信号をエンコード）、エンコードされたイメージ信号をアプリケーションプロセッサ１２００に伝送する。この時、第２速度は、第１速度の３０倍以下である。

アプリケーションプロセッサ１２００は、受信されたイメージ信号、言い換えれば、エンコードされたイメージ信号を、その内部に備えられる内部メモリ１２３０またはアプリケーションプロセッサ１２００の外部メモリ１４００に保存し、次いで、内部メモリ１２３０または外部メモリ１４００からエンコードされたイメージ信号を読み出してデコードし、デコードされたイメージ信号に基づいて生成されるイメージデータをディスプレイする。例えば、イメージ処理装置１２１０の複数のサブ・プロセッサ１２１２ａ、１２１２ｂ、１２１２ｃのうち、対応するサブ・プロセッサがデコードを行い、またデコードされたイメージ信号にイメージ処理を行う。

複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃは、第２動作モードで、第１速度よりも低い第３速度でイメージ信号を生成（例えば、第１フレームレートよりも低い第３フレームレートのイメージ信号を生成）し、イメージ信号をアプリケーションプロセッサ１２００に伝送する。アプリケーションプロセッサ１２００に提供されるイメージ信号は、エンコードされていない信号である。アプリケーションプロセッサ１２００は、受信されるイメージ信号についてイメージ処理を行うか、またはイメージ信号を内部メモリ１２３０または外部メモリ１４００に保存する。

ＰＭＩＣ１３００は、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれに電力、例えば、電源電圧を供給する。例えば、ＰＭＩＣ１３００は、アプリケーションプロセッサ１２００の制御の下で、パワー信号ラインＰＳＬａを通じてカメラモジュール１１００ａに第１電力を供給し、パワー信号ラインＰＳＬｂを通じてカメラモジュール１１００ｂに第２電力を供給し、パワー信号ラインＰＳＬｃを通じてカメラモジュール１１００ｃに第３電力を供給する。

ＰＭＩＣ１３００は、アプリケーションプロセッサ１２００からの電力制御信号ＰＣＯＮに応答して、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれに対応する電力を生成し、また電力のレベルを調整する。電力制御信号ＰＣＯＮは、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃの動作モード別に電力調整信号を含む。例えば、動作モードは、低電力モードを含み、この時、電力制御信号ＰＣＯＮは、低電力モードで動作するカメラモジュール及び設定される電力レベルに関する情報を含む。複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれに提供される電力のレベルは、相等しいか、または相異なる。また、電力のレベルは、動的に変わる。

一方、上述した実施形態における各種構成要素は、論理回路を備えるハードウェア、ソフトウェアを行うプロセッサ、またはハードウェア及びソフトウェアの組み合わせなどの処理回路で具現される。一部の例示的な実施形態で、処理回路は、中央処理装置（ＣＰＵ）、アプリケーションプロセッサ（ＡＰ）、算術論理装置（ＡＬＵ）、グラフィック処理装置（ＧＰＵ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−Ｃｈｉｐ）、プログラミング可能な論理装置、マイクロプロセッサ、またはＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）などを備える。

以上、図面及び明細書で例示的な実施形態が開示された。本明細書で特定の用語を使って実施形態が説明されたが、これは単に本発明の技術的思想を説明する目的で使われたものであり、意味限定や本発明の技術範囲を限定するために使われたものではない。したがって、当業者には、今後多様な変形及び均等な他の実施形態が可能であるという点が理解される。

１００ イメージセンサ
１１０、２１０ ピクセルアレイ
１１１、２１１ ＣＦＡセル
１２０ ロウドライバ
１３０ 読出し回路
１４０ コントローラ
２００ 映像処理装置
２２０ 映像処理器
２２１ ビニング処理器
２２２ リモザイク処理器
１０００ 電子装置
１１００ カメラモジュールグループ
１１００ａ、１１００ｂ、１１００ｃ カメラモジュール
１１０５ プリズム
１１０６ 中心軸
１１０７ 反射面
１１１０ ＯＰＦＥ
１１３０ アクチュエータ
１１４０ イメージセンシング装置
１１４２ イメージセンサ
１１４４ 制御ロジック
１１４６ メモリ
１１４７ 較正データ
１１５０ 保存部
１２００ アプリケーションプロセッサ
１２１０ イメージ処理装置
１２１２ａ、１２１２ｂ、１２１２ｃ サブイメージプロセッサ
１２１４ イメージ生成器
１２１６ カメラモジュールコントローラ
１２２０ メモリコントローラ
１２３０ 内部メモリ
１３００ ＰＭＩＣ
１４００ 外部メモリ

Claims (20)

1. イメージセンサのピクセルアレイにおいて、
   前記ピクセルアレイは、それぞれ所定のサイズを有する複数のカラーフィルタアレイ（ＣＦＡ）セルを備え、それぞれのＣＦＡセルは、横及び縦方向に配置された複数のＣＦＡブロックを備え、
   前記複数のＣＦＡブロックのそれぞれは、センター領域に位置してｍ＊ｎ個のカラーピクセルを備えるサブ・ブロックと、前記サブ・ブロック以外のカラーピクセルが配置された外郭領域と、を備え（但し、ｍ及びｎは、それぞれ２以上の整数）、
   前記サブ・ブロックの前記ｍ＊ｎ個のカラーピクセルは、第１ないし第３カラーをセンシングするカラーピクセルを備え、前記外郭領域は、前記第１カラーをセンシングする第１ピクセルと共に、前記第２カラーまたは前記第３カラーのうちの少なくとも１つをセンシングする第２ピクセルを備え、
   前記第１ピクセルの数は、前記第２ピクセルの数よりも多いことを特徴とするイメージセンサのピクセルアレイ。
2. 前記第１ないし第３カラーは、レッドカラー、グリーンカラー、及びブルーカラーを含み、
   前記ＣＦＡセルは、横及び縦方向に配置される２＊２個のＣＦＡブロックを備え、前記２＊２個のＣＦＡブロックは、２つのグリーンＣＦＡブロック、１つのレッドＣＦＡブロック、及び１つのブルーＣＦＡブロックを備え、
   前記２＊２個のＣＦＡブロックのそれぞれは、４＊４個のカラーピクセルを備え、それぞれのＣＦＡブロックのサブ・ブロックは、２＊２個のカラーピクセルを備えることを特徴とする請求項１に記載のイメージセンサのピクセルアレイ。
3. 前記レッドＣＦＡブロックの外郭領域は、前記レッドＣＦＡブロックの少なくとも１つのコーナーに配置されたブルーピクセルを、前記第２ピクセルとして備えると共に、複数のレッドピクセルを、前記第１ピクセルとして備えることを特徴とする請求項２に記載のイメージセンサのピクセルアレイ。
4. 前記レッドＣＦＡブロックにおいて、いずれか１つのコーナーから対角方向に、レッドピクセル、ブルーピクセル、レッドピクセル、及びブルーピクセルが交互に配置されることを特徴とする請求項３に記載のイメージセンサのピクセルアレイ。
5. 前記ブルーＣＦＡブロックの外郭領域は、前記ブルーＣＦＡブロックの少なくとも１つのコーナーに配置されたレッドピクセルを、前記第２ピクセルとして備えると共に、複数のブルーピクセルを、前記第１ピクセルとして備えることを特徴とする請求項２に記載のイメージセンサのピクセルアレイ。
6. 前記グリーンＣＦＡブロックの外郭領域は、グリーンピクセルのみを備えることを特徴とする請求項２に記載のイメージセンサのピクセルアレイ。
7. 前記ＣＦＡセルにおいて、前記２＊２個のＣＦＡブロックのそれぞれの外郭領域の１つのカラーピクセルを備える４個のカラーピクセルが、第１領域を構成し、
   前記第１領域は、前記レッドＣＦＡブロックの第２ピクセル、前記ブルーＣＦＡブロックの第２ピクセル、及び前記２つのグリーンＣＦＡブロックのそれぞれの外郭領域の１つのグリーンピクセルを備え、
   前記ＣＦＡセルが、リモザイク処理によってベイヤパターンに変換される時、前記第１領域のカラーピクセルのそれぞれの補間距離は、０の値を有することを特徴とする請求項２に記載のイメージセンサのピクセルアレイ。
8. 前記ピクセルアレイのカラーピクセルについてのビニング処理が行われ、
   前記ビニング処理の過程で、いずれか１つのＣＦＡブロック内の同じカラーをセンシングするカラーピクセルの信号が選択的に合算されることを特徴とする請求項１に記載のイメージセンサのピクセルアレイ。
9. 前記ピクセルアレイのカラーピクセルについてのビニング処理が行われ、
   前記ビニング処理の過程で、いずれか１つのＣＦＡブロックと、これに隣接するＣＦＡブロックとの少なくとも１つのラインに位置する同じカラーをセンシングするカラーピクセルの信号が合算されることを特徴とする請求項１に記載のイメージセンサのピクセルアレイ。
10. イメージセンサのピクセルアレイにおいて、
    前記ピクセルアレイは、それぞれが所定のサイズを有する複数のカラーフィルタアレイ（ＣＦＡ）セルを備え、それぞれのＣＦＡセルは、横及び縦方向に配置された２＊２個のＣＦＡブロックを備え、それぞれのＣＦＡブロックは、４＊４個のカラーピクセルを備え、
    前記ＣＦＡブロックのそれぞれは、センター領域に位置し、２＊２個のカラーピクセルが配置されたサブ・ブロックと、外郭に位置して１２個のカラーピクセルが配置される外郭領域とを備え、
    前記２＊２個のＣＦＡブロックは、レッドＣＦＡブロック、グリーンＣＦＡブロック、及びブルーＣＦＡブロックを備え、前記ＣＦＡブロックのそれぞれの前記サブ・ブロックは、１つのレッドピクセル、１つのブルーピクセル、及び２つのグリーンピクセルを備え、
    前記レッドＣＦＡブロックの外郭領域の１２個のカラーピクセルは、１個のブルーピクセル及び残りの１１個のレッドピクセルで構成されていることを特徴とするイメージセンサのピクセルアレイ。
11. 前記レッドＣＦＡブロックの外郭領域に配置された前記ブルーピクセルは、前記レッドＣＦＡブロックのいずれか１つのコーナーに配置されていることを特徴とする請求項１０に記載のイメージセンサのピクセルアレイ。
12. 前記レッドＣＦＡブロックにおいて、前記ブルーピクセルが配置されているコーナーから対角方向に、ブルーピクセル、レッドピクセル、ブルーピクセル、及びレッドピクセルが交互に配置されていることを特徴とする請求項１１に記載のイメージセンサのピクセルアレイ。
13. 前記ブルーＣＦＡブロックの外郭領域の１２個のカラーピクセルは、１個のレッドピクセル及び残りの１１個のブルーピクセルで構成されていることを特徴とする請求項１０に記載のイメージセンサのピクセルアレイ。
14. 前記ＣＦＡセルは、１つのレッドＣＦＡブロック、２つのグリーンＣＦＡブロック、及び１つのブルーＣＦＡブロックを備え、
    前記レッドＣＦＡブロックの外郭領域の１つのブルーピクセル、前記ブルーＣＦＡブロックの外郭領域の１つのレッドピクセル、及び前記２つのグリーンＣＦＡブロックのそれぞれの外郭領域のグリーンピクセルが第１領域を構成し、
    前記ＣＦＡセルが、リモザイク処理によってベイヤパターンに変換される場合、前記第１領域のカラーピクセルのそれぞれの補間距離は、０の値を有することを特徴とする請求項１３に記載のイメージセンサのピクセルアレイ。
15. 前記グリーンＣＦＡブロックの外郭領域の１２個のカラーピクセルは、レッドカラー及びブルーカラーのうちの少なくとも１つをセンシングする２個以下のカラーピクセルと、残りの複数のグリーンピクセルとで構成されていることを特徴とする請求項１０に記載のイメージセンサのピクセルアレイ。
16. 複数のカラーフィルタアレイ（ＣＦＡ）セルを備え、それぞれのＣＦＡセルは、横及び縦方向に配置された複数のＣＦＡブロックを備え、前記複数のＣＦＡブロックのそれぞれは、センター領域に位置してｎ＊ｎ個のカラーピクセルを備えるサブ・ブロックと、前記サブ・ブロック以外のカラーピクセルが配置された外郭領域とを備えるピクセルアレイ（但し、ｎは、２以上の整数）と、
    前記ピクセルアレイのカラーピクセルからピクセル値を読み出す読出し回路を備え、
    前記サブ・ブロックの前記ｎ＊ｎ個のカラーピクセルは、第１ないし第３カラーをセンシングするカラーピクセルを備え、前記外郭領域は、前記第１ないし第３カラーのうちのいずれか１つをセンシングする第１ピクセルと共に、前記第１ないし第３カラーのうちの他の１つをセンシングする第２ピクセルを備え、
    前記第１ピクセルの数は、前記第２ピクセルの数よりも多いことを特徴とするイメージセンサ。
17. 前記第１ないし第３カラーは、レッドカラー、グリーンカラー、及びブルーカラーを含み、
    前記ＣＦＡセルは、横及び縦方向に配置された２＊２個のＣＦＡブロックを備え、前記２＊２個のＣＦＡブロックは、２つのグリーンＣＦＡブロック、１つのレッドＣＦＡブロック、及び１つのブルーＣＦＡブロックを備え、
    前記２＊２個のＣＦＡブロックのそれぞれは、４＊４個のカラーピクセルを備え、それぞれのＣＦＡブロックのサブ・ブロックは、２＊２個のカラーピクセルを備えることを特徴とする請求項１６に記載のイメージセンサ。
18. 前記レッドＣＦＡブロックの外郭領域は、前記レッドＣＦＡブロックのコーナーに配置された１個のブルーピクセルと、残りの１１個のレッドピクセルとを備え、
    前記ブルーＣＦＡブロックの外郭領域は、前記ブルーＣＦＡブロックのコーナーに配置された１個のレッドピクセルと、残りの１１個のブルーピクセルとを備えることを特徴とする請求項１７に記載のイメージセンサ。
19. 前記ピクセルアレイからのピクセル値に基づいて、ビニング処理を行うビニング処理器をさらに備え、
    前記ビニング処理の過程で、いずれか１つのＣＦＡブロック内の同じカラーをセンシングするカラーピクセルの信号が選択的に合算されることを特徴とする請求項１６に記載のイメージセンサ。
20. 前記ピクセルアレイからのピクセル値に基づいて、ビニング処理を行うビニング処理器をさらに備え、
    前記ビニング処理の過程で、いずれか１つのＣＦＡブロックと、これに隣接するＣＦＡブロックとの少なくとも１つのラインに位置する同じカラーをセンシングする請求項１６に記載のイメージセンサ。
    
    

Images