JP2004501542A - カラーフィルタを伴うカメラ - Google Patents

Abstract

カラーカメラは、感光素子を有する感光領域（１３）と、前記感光素子に関連し、赤、緑及び青（Ｒ−Ｇ−Ｂ）のフィルタ層素子を有するカラーフィルタ層（１２）とを有する。カラーフィルタ層（１２）は、８つの隣接するライン又はカラムの繰返し副パターンを有し、前記副パターンは、ライン（カラム）１：Ｇ−Ｒライン（カラム）２：Ｂ−Ｇライン（カラム）３：Ｇ−Ｒライン（カラム）４：Ｇ−Ｂライン（カラム）５：Ｇ−Ｒライン（カラム）６：Ｂ−Ｇライン（カラム）７：Ｒ−Ｇライン（カラム）８：Ｂ−Ｇの順序であるカラーフィルタ素子を有する。

Description

【０００１】
【発明の属する技術分野】
本発明は、感光素子を有する感光領域と、前記感光素子に関連し、赤、緑及び青（Ｒ−Ｇ−Ｂ）のフィルタ層素子を有するカラーフィルタ層とを伴うカラーカメラ、及び斯かるカメラに用いられる画像センサに関する。
【０００２】
【従来の技術】
米国特許ＵＳ−Ａ−５，３０５，０９６号には、インタレース方法で駆動される撮像素子と、オフセット方法で輝度成分を透過する部分を有するカラーフィルタと、サブサンプリングせずに撮像素子から読み出された信号を記憶するメモリとを有する画像信号処理装置が開示されている。
【０００３】
既知のカラーカメラでは、カラーフィルタ層は、或るスペクトル特性（例えば色）を有する光のみが透過してこのカラーフィルタ層の下の感光素子に到達するように、このカラーフィルタ層に入射する光をフィルタ処理する。このカラーフィルター層は、感光素子がカラーフィルタ素子と関連するように構成される。既知のカメラのカラーフィルタ素子は、赤、青及び緑の光をフィルタ処理し、従ってＲＧＢ（赤−緑−青）カラーフィルタアレイを形成する。
【０００４】
この既知のカラーフィルタ層は、緑及び赤のカラーフィルタ素子からなる第１のラインと青及び緑のフィルタ素子からなる第２のラインとを有する４つで一組のカラーフィルタ素子のグループの繰返しパターンを有する。画像が取り込まれると、感光素子の各々が読み取られ、基本的には異なる３つのカラー画像、青の画像、緑の画像及び赤の画像が読み取られる。この感光素子からのデータは、緑又は赤のカラーフィルタ素子の下の画素の位置に対応する信号（例えば‘赤の信号’）に対して信号中の‘欠損画素’が平均化技術により再構成される信号に変換される。この結果として生じる信号は、高品質の信号である。
【０００５】
この既知のカメラは良好な品質の画像信号を提供するが、このことは、カメラが静止画モードで用いられるときにのみ当てはまる。この既知のカメラをビデオモード（すなわち、１秒間当たりに多数の画像フレームが記録されるモード）で用いようと試みると、画像再生は、行のセンサを放棄しているためかなり悪い。ビデオモードでのカメラの使用は、例えば、カメラをインターネット上で送信される映像片用に用いるとき、必要であり又は勧められる。更に、スチルカメラでは、ビデオモードは、オートフォーカス、オートホワイトバランス及びオート露光のようなオート機能に対してしばしば用いられる。当該機能は、例えば水平に配されたベネチアンブラインドのような水平に配された繰返し構造を有する物体にカメラを向けたときにしばしば正しく動作しない。多くの物体は、例えば積まれた煉瓦のような水平に配された構造を有する。しばしば、欠損ラインの繰返しパターンと物体の水平な繰返しパターンとの間に強いモアレ干渉パターンが発生する。このようなモアレパターンは（より明るい及びより暗いラインを有する）歪んだ画像を与えるだけでなく、もし使うことが不可能ではなくても、オートフォーカス及び他のオート機能を使いにくくする。
【０００６】
【発明が解決しようとする課題】
本発明の目的は、とりわけ、ビデオモードで使われるときに画像再生の品質が向上されたカメラ、及び斯かるカメラに用いられる画像センサを提供することにある。
【０００７】
【課題を解決するための手段】
この目的のため、本発明は独立項で規定されるようなカメラ及び画像センサを提供する。有利な実施例は、従属項に規定される。
【０００８】
図５に示すように、カラーフィルタ層は８つの隣接するライン又はカラムの繰返し副パターンを有する。この副パターンは、以下の順序でカラーフィルタ素子を有する。
ライン（カラム）１：Ｇ−Ｒ
ライン（カラム）２：Ｂ−Ｇ
ライン（カラム）３：Ｇ−Ｒ
ライン（カラム）４：Ｇ−Ｂ
ライン（カラム）５：Ｇ−Ｒ
ライン（カラム）６：Ｂ−Ｇ
ライン（カラム）７：Ｒ−Ｇ
ライン（カラム）８：Ｂ−Ｇ
【０００９】
このパターンは繰返しパターンであることから、このラインの（順序通りではない）番号付けを任意に選択してもよいことは明らかであろう。ラインの順番が維持される限り、上記のライン１乃至８のいずれも、ライン１に番号が変更されてもよい。ラインは、例えば各ラインｎ（ｎ＝２乃至８）がラインｎ−１になり、ライン１がライン８になるように番号を変更することができる。各ラインｎは、ラインｎ−２（ｎ＝３乃至８）にもなり、ライン７がライン２、ライン２がライン８になる等、このパターンの如何なる交換も本発明の範囲内である。
【００１０】
本発明は、既知の（Ｒ，Ｇ，Ｂ）カラーフィルタパターンが、通常用いられるビデオモード信号にはあまり適していないという洞察に基づく。ビデオモード信号は、通常、ビデオカメラによって獲得される。ビデオモードのカメラはカラーフィルタアレイを持つが、このカラーフィルタアレイは、赤、緑及び青のカラーフィルタ素子により形成されるのではなく、緑（Ｇ）、黄（Ｙｅ）、シアン（Ｃｙ）及びマゼンタ（Ｍｇ）のカラーフィルタ素子により形成される。これらのカラーフィルタ素子の装置は図２に示される、すなわち以下の配置の４つのラインである。
ライン１：Ｃｙ−Ｙｅ
ライン２：Ｇ−Ｍｇ
ライン３：Ｃｙ−Ｙｅ
ライン４：Ｍｇ−Ｇ
【００１１】
ビデオモード信号は、カラーフィルタ素子のこのような配置に対応する。
【００１２】
ＲＧＢカラーフィルタ素子を有する既知のカラーカメラからのデータは、ビデオモード信号に容易に変換するのには適していない。このことは、斯かる変換のために非常に複雑な計算をしなければならないことを意味する。この計算は、コスト及び時間がかかり、特にリアルタイムモードで利用可能とは限らず、又は、通常この計算を行うには、情報を幾らか無駄にしなければならない。このようにデータを無駄にすることは、画質を著しく低下させる。ビデオ信号のサンプル周波数は著しく減少する。この画質の低下に加えて、データは不規則に無駄にはされないがラインのデータが無視される。この結果、画像にモアレパターンが生じ、画質が更に低下する。実際、静止画モードで使うときのカメラの品質がよければよいほど、ビデオ画像モードでのカメラの動作及び／又はオート機能でのカメラの性能が悪くなるという、顧客にとって全く不可解な状況が発生する。スチルカメラの品質は、センサがより多くの画素を有するとき、向上する。しかしながら、ビデオモードで用いると、画素の数が制限される。従って多くのラインが無駄にされると、モアレパターン及びオート機能の誤動作が発生する機会が増加する。
【００１３】
しかしながら、本発明によるカラーフィルタアレイを有するカラーフィルタカメラからのデータは、幾つかのデータを無駄にせず且つサンプリング周波数の減少をほんのわずかにして、ビデオモード信号に容易に変換するのに適している。この変換でのいくつかのステップは、その場、即ち感光アレイ上で行われ、これにより、データが読み込まれ変換される速度が増加する。
【００１４】
結果として、本発明によるカメラは、静止画モードとビデオモードとの両方で良好な画質を提供することができる。
【００１５】
本発明のこれら及び他の態様は、以下に記載された実施例から明らかであり、これらの実施例を基準として説明される。
【００１６】
図１乃至図６は一律に倍率変更されていない。通常、同じ符号は同じ部分を表す。
【００１７】
【発明の実施の形態】
図１は、レンズ１１と、カラーフィルタアレイ１２と、信号１５を発生するための信号処理システム１４に結合された撮像素子１３とを有するカメラシステムを概略的に示す。背景からの入射光は、レンズ１１を通過し光学フィルターアレイ１２を通過して撮像素子１３上に光学像を形成する。撮像素子で生成される電気信号は読み出され、信号処理システムで処理され、信号１５が発生する。当該信号は、記録装置又は表示装置に送ることができる。
【００１８】
図２は、既知のカラーフィルタアレイを示す。このアレイは、Ｇ−Ｒ、Ｂ−Ｇの順序の４つのカラーフィルタ領域の繰返しパターンからなる。
【００１９】
このようなカラーフィルタアレイは、静止画カメラに対して有利に用いることができる。
【００２０】
図３は、ＲＧＢ画素のサンプル構造及びＲＧＢ色のピッチを示す。ピッチｐは、同一色を有する２つの隣接する画素の間の距離である。その逆数値は、センサの信号ＲＧＢ出力の場合、画素又はシステムのクロック周波数、すなわちｆｓ＝１／ｐを表す。各ＲＧＢ色のサンプル周波数は、各ＲＧＢ色の画素間の最短距離に逆比例する。即ち赤色及び青色に対しては１／２ｐ＝ｆｓ／２の水平及び垂直サンプル周波数であり、緑に対しては１／ｐ√２＝ｆｓ／√２のサンプル周波数である。データが増えるほど又は特定の信号に対してサンプルされなければならないデータの領域が広くなるほど、サンプル周波数が低くなり画像の細かさが低下する。
【００２１】
図４は、ビデオ録画のために用いられるカラーフィルタアレイを示す。Ｃｙはシアンを表し、これは、緑及び青の結合色である。黄（Ｙｅ）は赤及び緑の結合により形成され、マゼンタ（Ｍｇ）は赤及び青の結合により形成される。このカラーフィルタアレイはかなり複雑であり、実際、４ｘ４素子の最小繰返しアレイを有する。ビデオモードでの信号は、このようなカラーフィルタアレイに対応する。
【００２２】
ＲＧＢカラーフィルタアレイを有するカラー画像カメラからの信号は、ビデオモード（例えばＮＴＳＣビデオモード）で画像を表示することができ、しばしばこの画像を表示するために用いられる。この表示を行うために、（特定のパターンのＲＧＢの画素を表す）カラーカメラの信号は、特定のパターンのＧ，Ｙ，Ｃｙ，Ｍｇの画素を表す信号に変換されなければならない。既知のＲＧＢカラーパターンを用いたこの変換は、決して最適ではない。スチルカメラでは、ビデオモードは、しばしばオートフォーカスのようなオート機能を使えるようにも用いられる。
【００２３】
標準ビデオモード信号（すなわちデータのシーケンス）は、図４に示すようなカラーフィルタ素子のパターンに従う。
【００２４】
ＲＧＢカラーフィルタ素子（図２）を有する既知のカラーカメラからのデータは、ビデオモード信号に容易に変換するのには適していない。ビデオモード信号への変換に適するようにするためには、緑及び青のデータ信号は、正しい位置にＣｙ信号を与えるために結合されなければならず、赤及び緑の信号は、正しい位置にＹｅ信号を与えるために結合されなければならない。しかしながら、カラーフィルタパターンを比較すると、Ｒ、Ｇ及びＢのカラーフィルタアレイの（従ってＲＧＢ画素及びＲＧＢデータの）位置が、Ｇ、Ｙｅ、Ｃｙ及びＭｇのカラーフィルタアレイの位置に対応しないことは明らかである。このことは、斯かる変換のために、非常に複雑な計算を行わなければならないことを意味する。この計算は、コスト及び時間がかかり、特にリアルタイムモードで役に立つとは限らず、又は、通常この計算を行うには、情報を幾らか無駄にしなければならない。このようにデータを無駄にすることは、画質を著しく低下させる。ビデオ信号のサンプル周波数は、著しく低下する。この画質の低下に加えて、データは不規則に無駄にはされないがデータのラインが無視される。この結果、画像にモアレパターンが生じ、画質が更に低下する。
【００２５】
図５は、本発明のＲＧＢのカラーフィルタアレイ（左手側）と、ビデオモードのアプリケーションで用いられるＧ、Ｙ、Ｃｙ、Ｍｇのカラーフィルタアレイとを並べて示す。図５の左側のカラーフィルタアレイを既知のカラーフィルタアレイと比較すると、行４及び７が明らかに異なっていることに気が付く。既知のＲＧＢカラーフィルタアレイでは、ライン４はライン２と等しく、ライン７はライン５及びライン１と等しい。本発明によるＲＧＢカラーフィルタアレイでは、ライン４のパターンはライン２のパターンに対して左又は右に１列シフトし、ライン７のパターンはライン１のパターンに対して左又は右に１列シフトしている。図５の左手側及び右手側を調べると、ＲＧＢのカラーフィルタパターン（左手側）を、右手側のＣｙ、Ｙｅ、Ｇ、Ｍｇのカラーフィルタパターンに単純且つ直接的にマッピング可能であることがわかる。これらのマッピングのいくつかが図５に示されている。データを無駄にする必要がなく、又はその場所をシフトする必要がない。データの計算及び変換は非常に単純である。結果として、サンプリング周波数の減少は少なく、画質が向上する。放棄されるデータが全く又はほとんど無いので、モアレ問題はかなり低減する。本発明によるカラーカメラの一実施例では、カメラは、１２６０Ｘ９６０のカラー画素を持つＱＧＡのＲＧＢセンサアレイを有する。このようなＱＧＡセンサーを用いると、以下の選択肢が利用可能である。
１．　高解像度（１２６０ｘ９６０）静止画ＲＧＢモード。
２．　行１＋２、３＋４等を結合することによるＶＧＡ（６４０ｘ４８０）静止画モード。これは、基本的に、図５の左手側及び右手側を接続するラインによって示されるものである。
３．　２ｘ２４０のインターリービングラインによるＮＴＳＣビデオモード。縦に連続する適切な４つの行を結合することにより、インターレースされたフィールド１及び２が実現される。図５では、行１＋２＋３＋４及び５＋６＋７＋８が、フィールド１を与え、行３＋４＋５＋６及び７＋８＋１＋２が、フィールド２を与える。
４．　２４０のライン（及び３１５の水平画素）を用いるＣＩＦモードは、１つのフィールドのみを用いて実現することができる。水平方向にダウンサンプリングすることによって、３１５の水平画素が実現される。
【００２６】
本発明によるカラーカメラのもう一つの実施例では、カメラは１２８０ｘ１０２４のカラー画素を持つＸＧＡのＲＧＢセンサアレイを有する。このようなＸＧＡセンサーを用いることにより、以下の選択肢が利用可能である。
１．　高解像度（１２８０ｘ１０２４）静止画ＲＧＢモード。
２．　２ｘ２５６のインターリービングラインによるＰＡＬビデオモード。縦に連続する適切な４つの行を結合することによって、インターレスされたフィールド１及び２が実現される。図５では、行１＋２＋３＋４及び５＋６＋７＋８は、フィールド１（Ｆ１）を与え、行３＋４＋５＋６及び７＋８＋１＋２は、フィールド２（Ｆ２）を与える。
３．　２５６のライン（及び３４０の水平画素）を用いるＣＩＦモードは、１つのフィールドのみを用いて実現することができる。水平方向にダウンサンプリングすることによって、３２０の水平画素が実現される。
【００２７】
もう一つの実施例では、本発明によるカラーカメラは、６４０ｘ４８０のカラー画素を持つＶＧＡのＲＧＢセンサアレイを有する。このようなＶＧＡセンサーを用いることにより、以下の選択肢が利用可能である（図６も参照）。
１．　静止画ＲＧＢモード（６４０Ｘ４８０）。
２．　２ｘ２４０のインターリーブラインを用いるＮＴＳＣビデオモード。縦に連続する適切な４つの行を結合することによって、インターレースされたフィールド１及び２が実現される。行１＋２，３＋４等を処理することにより、結果としてフィールド１（Ｆ１）を得、行２＋３、４＋５等を処理することにより、フィールド２（Ｆ２）が与えられる。
３．　２４０のライン（及び３１５の水平画素）を用いるＣＩＦモードは、１つのフィールドのみを用いて実現することができる。水平方向にダウンサンプリングすることによって、３１５の水平画素が実現される。
４．　１２０のラインを用いるＱＣＩＦモードは、４つの行を加えることによって実現することができる。
【００２８】
本発明の実施例では、カラーカメラは、２つの隣接するカラー画素のデータをそのまま加える手段を有する。図５からわかるように、Ｇ、Ｙ、Ｃｙ及びＭｇの各信号は、２つの隣接するＲＧＢ信号のデータの単純な加算に対応する。このことによって、データをそのまま加える可能性が提供される。このことによって、計算の複雑さが緩和し、データを制御し処理する速度が増加する。
【００２９】
本発明の装置は、ビデオモードにおけるモザイクセンサ及び静止画モードにおける高解像度のため、高感度という利益を提供する。実施例では、ビデオカメラに高品質の静止画モードを付加することができる。実施例では、スチルカメラに高品質のビデオモードを付加することができる。後者の実施例では、カメラは、センサを介したオートフォーカス、オートホワイトバランス又はオート露光のようなオート機能が使えるようにビデオモードを用いる手段を有することが好ましい。特別な利点は、高感度のモザイクフィルタと行が放棄されないという事実とによって、ビデオモードは比較的暗い背景照明にまで適用することができるということである。
【００３０】
上記の実施例は本発明を限定的に示しているのではなく、当業者は添付の特許請求の範囲から逸脱することなく多くの他の実施例を設計できることに注意されたい。“有する”という用語は請求項に列挙された以外の構成要素又はステップの存在を排除するものではない。単数で記載されている素子は、斯かる素子の複数の存在を除外するものではない。いくつかの手段を列挙している装置の請求項では、これらの手段のいくつかは、ハードウェアと全く同一の項目によって具体化することができる。特定の手段が相互に異なる従属項に列挙されているという単なる事実は、これらの手段の結合を有利に用いることができないことを示しているものではない。
【図面の簡単な説明】
【図１】カラーカメラを概略的に示す。
【図２】既知のＲＧＢフィルタアレイを示す。
【図３】図２のＲＧＢ画素のサンプル構造と、当該カラーフィルタにより得られるＲＧＢ色のピッチとを示す。
【図４】ビデオカメラにしばしば用いられる既知のフィルタアレイを示す。
【図５】本発明によるカラーフィルタアレイを示す。
【図６】６４０×４８０のカラー画素を有するＶＧＡのＲＧＢセンサアレイに対して利用可能な選択肢を示す。

Claims (6)

1. 感光素子を有する感光領域と、前記感光素子に関連し、赤、緑及び青のフィルタ層素子を有するカラーフィルタ層と、出力信号を発生するための画像プロセッサとを伴うカラーカメラであって、前記カラーフィルタ層が、８つの隣接するライン又はカラムの繰返し副パターンを有し、前記副パターンが、
   ライン（カラム）１：Ｇ−Ｒ
   ライン（カラム）２：Ｂ−Ｇ
   ライン（カラム）３：Ｇ−Ｒ
   ライン（カラム）４：Ｇ−Ｂ
   ライン（カラム）５：Ｇ−Ｒ
   ライン（カラム）６：Ｂ−Ｇ
   ライン（カラム）７：Ｒ−Ｇ
   ライン（カラム）８：Ｂ−Ｇ
   の順序であるカラーフィルタ素子を有することを特徴とするカラーカメラ。
2. 前記カラーフィルタ層が、１２６０ｘ９６０のカラー画素を持つＱＧＡのＲＧＢカラーフィルタアレイを有することを特徴とする請求項１に記載のカラーカメラ。
3. 前記カラーフィルタ層が、１２８０ｘ１０２４のカラー画素を持つＸＧＡのカラーフィルタアレイを有することを特徴とする請求項１に記載のカラーカメラ。
4. 前記カラーフィルタ層が、６４０ｘ４８０のカラー画素を持つＶＧＡのカラーフィルタアレイを有することを特徴とする請求項１に記載のカラーカメラ。
5. 前記カメラが、前記カメラをビデオモードで動作させるための手段と、オート機能に対して前記ビデオモードを用いる手段とを有することを特徴とする請求項１に記載のカラーカメラ。
6. 感光素子と、前記感光素子に関連し、赤、緑及び青のフィルタ層素子を有するカラーフィルタ層とを有する画像センサであって、前記カラーフィルタ層が、８つの隣接するライン又はカラムの繰返し副パターンを有し、前記副パターンが、
   ライン（カラム）１：Ｇ−Ｒ
   ライン（カラム）２：Ｂ−Ｇ
   ライン（カラム）３：Ｇ−Ｒ
   ライン（カラム）４：Ｇ−Ｂ
   ライン（カラム）５：Ｇ−Ｒ
   ライン（カラム）６：Ｂ−Ｇ
   ライン（カラム）７：Ｒ−Ｇ
   ライン（カラム）８：Ｂ−Ｇ
   の順序であるカラーフィルタ素子を有することを特徴とする画像センサ。