JP2015195550A - 撮像素子および撮像装置 - Google Patents

Abstract

【課題】偽信号の発生を抑圧した静止画像撮影および動画像撮影を行うことが可能な撮像素子、および該撮像素子を搭載した撮像装置を提供する。
【解決手段】本開示の撮像素子では、互いに分光特性が異なる第１のカラーフィルタと第２のカラーフィルタを含む複数種類のカラーフィルタが３行×３列に配置されて複数種類の小配列単位が形成されている。これらの小配列単位が２行×２列に配置されて大配列単位が形成されている。そして第１のカラーフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素の大配列単位における第１の重心位置と、第２のカラーフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素の前記大配列単位における第２の重心位置とが一致するよう小配列単位が配置されている。
【選択図】図１

Description

本開示は複数種類のカラーフィルタを有する撮像素子と、撮像素子を備える撮像装置に関する。

従来の撮像素子がたとえば特許文献１に開示されている。この撮像素子は、画素が行列状に２次元配置された画素アレイ部と、輝度信号の主成分となる色が市松状に配置され、残りの部分に色情報成分となる複数色が配列された色フィルタ部とを有する。この撮像素子は、画素アレイ部の各画素から出力される色フィルタ部の色配列に対応した信号を、ベイヤ配列に対応した信号に変換して出力する。

特開２０１０−１３６２２５号公報

近年、静止画のみならず動画においても高画素の撮像素子を用いて高精細な画像を撮影するデジタルカメラ（以下、ＤＳＣ）やビデオカメラが普及してきている。撮像素子のイメージサイズは、ＤＳＣやビデオカメラの仕様によって決定される。高画素化はピクセルサイズの微小化につながり、結果として感度やＳ／Ｎの低下を招く。そのため、高画素化は画質の観点からは課題となっている。また高画素化は解像度の向上を目的とするため、偽信号の発生は画質を損ねる要因でもある。

近年、画像センサー内で画素信号を加算することにより処理信号数を減少させて動画撮影が可能な機能が一般的になりつつある。その一方で画像センサー内で画素信号を加算すると、同色の画素（Ｒ、ＧｒやＧｂ、Ｂ）に基づく信号が有する変調成分が同位相のため色の偽信号が発生し画質が低下する。

本開示は、偽信号の発生を抑圧した静止画像撮影および動画像撮影を行うことが可能な撮像素子、およびそのような撮像素子を搭載した撮像装置を提供する。

上記課題を解決するために、本開示の撮像素子は、複数種類の小配列単位と、２行×２列に配列された複数種類の小配列単位で構成された大配列単位とを有する。小配列単位はそれぞれ、３行×３列に配置された複数のカラーフィルタで構成されている。これらのカラーフィルタは、第１のカラーフィルタと、第１のカラーフィルタとは異なる分光特性を有する第２のカラーフィルタとを含む。第１のカラーフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素は、大配列単位において第１の重心位置を有する。一方、第２のカラーフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素は、大配列単位において第２の重心位置を有する。複数種類の小配列単位は、これら第１の重心位置と第２の重心位置とが一致するように配置されている。

本開示によれば、偽信号の発生を抑圧した静止画像撮影および動画像撮影を行うことが可能な撮像素子、および該撮像素子を搭載した撮像装置を提供できる。

実施形態１のビデオカメラ１００の構成を示すブロック図 一般的な画素配列であるベイヤ配列の画素加算の重心位置を示す図 カラーフィルタ（Ｒ、Ｇ、Ｂ、Ｗ、Ｍｇ）の分光感度特性を示す図 ＣＭＯＳイメージセンサの、３行×３列に配置された複数の画素で構成された小配列単位の例を示す図 画素加算動作を説明するための図 ２行×２列に配置された複数種類の小配列単位で構成された大配列単位の例の画素加算の重心位置を示す図 画素加算動作を示すフローチャート 画素加算動作を説明するための第１の図 画素加算動作を説明するための第２の図 画素加算動作を説明するための第３の図 ＣＭＯＳイメージセンサの、小配列単位の他の例を示す図 図１１に示す小配列単位で構成された大配列単位の例の画素加算の重心位置を示す図 大配列単位のさらに他の例の画素加算の重心位置を示す図 大配列単位のさらに他の例の画素加算の重心位置を示す図

＜１．実施形態１＞
以下、図面を参照しながら、実施形態１について説明する。図１は実施形態１のビデオカメラ１００の構成を示すブロック図である。まず、実施形態の一例として、ビデオカメラ１００の構成及び動作、並びに、ＣＭＯＳイメージセンサ（以下、センサ）１４０のフィルタ配列を説明する。

＜１‐１．概要＞
ビデオカメラ１００は、同一の撮像素子であるセンサ１４０を用いて、静止画像および動画像を撮影することができる。センサ１４０のカラーフィルタは、３行×３列に配置され、複数種類の小配列単位を構成している。そして、複数種類の小配列単位が２行×２列に配置されて大配列単位を形成している。この構成において、複数のカラーフィルタに含まれる第１フィルタの透過光に基づく画素情報に対する画素加算処理において、使用される画素は、大配列単位において第１の重心位置を有する。また、複数のカラーフィルタに含まれる第２フィルタの透過光に基づく画素情報に対する画素加算処理において、使用される画素は、大配列単位において第２の重心位置を有する。複数種類の小配列単位は、これら第１の重心位置と第２の重心位置とが一致するように配置されている。これにより、偽信号の発生を抑圧した静止画像撮影および動画像撮影を行うことができる。

また複数種類の小配列単位はそれぞれ、第１のカラーフィルタ及び第２のカラーフィルタと異なる分光特性を有するとともに、市松状に配置された複数の第３のカラーフィルタを有する。この複数の第３のカラーフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素は、大配列単位において第３の重心位置を有する。この第３の重心位置が、上述の第１の重心位置及び第２の重心位置と一致するように、複数種類の小配列単位が配置されている。これにより、ビデオカメラ１００は、静止画像撮影においても、動画像撮影においても、センサ１４０を用いて、より高画質で効率良く画像情報を出力することができる。

以下、ビデオカメラ１００の構成および動作、並びに、センサ１４０のフィルタ配列について図を用いて説明する。なお、以下の説明では、Ｒカラーフィルタ（以下、Ｒフィルタ）を第１のカラーフィルタ、Ｂカラーフィルタ（以下、Ｂフィルタ）を第２のカラーフィルタ、Ｇカラーフィルタ（以下、Ｇフィルタ）を第３のカラーフィルタとして説明する。Ｒフィルタ、Ｂフィルタ、Ｇフィルタはそれぞれ、赤、青、緑をそれぞれ選択的に透過するカラーフィルタである。さらに、Ｒ、Ｇ、Ｂの光透過成分を含むＷカラーフィルタ、或いは、Ｍｇカラーフィルタ（マゼンダフィルタ）を第４のカラーフィルタとして説明する。なお以下の説明ではＷカラーフィルタ、Ｍｇカラーフィルタをそれぞれ、Ｗフィルタ、Ｍｇフィルタと称する。

Ｗフィルターを用いる場合、第４のカラーフィルタは第１〜第３のカラーフィルタであるＲフィルタ、Ｂフィルタ、Ｇフィルタのいずれよりも高い光透過率分光感度を有し、Ｍｇフィルターを用いる場合、第４のカラーフィルタは、Ｒフィルタ、Ｂフィルタのいずれよりも高い光透過率分光感度を有する。すなわち、第４のカラーフィルタは、第１のカラーフィルタ及び、第２のカラーフィルタのいずれよりも高い光透過率分光感度を有する。なお、第１〜第４のカラーフィルタはこの構成に限定されない。

＜１‐２．ビデオカメラ１００の構成＞
ビデオカメラ１００の電気的構成について図１を参照しながら説明する。ビデオカメラ１００は、光学系１１０と、絞り３００と、シャッタ１３０と、センサ１４０と、Ａ／Ｄコンバータ（以下、ＡＤＣ）１５０と、画像処理部１６０と、バッファ１７０と、コントローラ１８０とを有する。ビデオカメラ１００はさらに、メモリカード２００を格納できるカードスロット１９０と、レンズ駆動部１２０と、内部メモリ２４０と、操作部材２１０と、表示モニタ２２０とを有する。

ビデオカメラ１００では、１つ以上のレンズで構成された光学系１１０により形成された被写体像をセンサ１４０が撮像する。センサ１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。

センサ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。センサ１４０は、露光、転送、電子シャッタなどの各種動作を行う。センサ１４０は複数の画素を含み、各画素に対応してフォトダイオード（図示せず）が設けられている。すなわち、センサ１４０の受光面には多数のフォトダイオードが２次元的に配列されている。

また、センサ１４０は、各画素に対応して所定の配列で配置された各種のカラーフィルタを有する。本実施形態ではＲ、Ｇ、Ｂ、Ｗの４種のカラーフィルタが用いられる。なお、Ｗフィルタに換えて、Ｍｇフィルタを用いてもよい。各画素に対して、４種のカラーフィルタのいずれか１種が配置される。以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、Ｗフィルタが設置された画素を、それぞれ「画素Ｒ」、「画素Ｇ」、「画素Ｂ」、「画素Ｗ」と称する。

各画素は、対応するカラーフィルタを透過した光を受け付け、受け付けた光の強さに応じた信号（画素情報）を出力する。センサ１４０のカラーフィルタの配列については後ほど詳細に説明する。

また、センサ１４０は加算部１４５を内蔵している。加算部１４５は「画素加算」を行ない、加算によって得られた信号を出力する。「画素加算」とは、センサ１４０の複数の画素から出力された信号を足し合わせて（加算して）、１つの信号（画像情報）を生成することである。画素加算についても後ほど詳細に説明する。

ＡＤＣ１５０は、センサ１４０によって生成されたアナログ画像データをデジタル画像データに変換する。

画像処理部１６０は、センサ１４０で生成された画像データに対して各種処理を施すことにより、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、センサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、センサ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等で圧縮する。画像処理部１６０は、デジタル信号処理器（ＤＳＰ）やマイコンなどで形成可能である。

コントローラ１８０は、ビデオカメラ１００の全体を制御する。コントローラ１８０は、半導体素子などで形成可能である。コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコンなどで形成できる。

バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、強誘電体メモリなどで形成できる。

カードスロット１９０は、メモリカード２００を格納可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内蔵し、画像処理部１６０で生成された画像ファイル等のデータを記憶可能である。

内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどを含む。内部メモリ２４０は、ビデオカメラ１００の全体を制御するための制御プログラム等を記憶している。

操作部材２１０は、使用者からの操作を受け付けるユーザーインターフェースを含む。操作部材２１０は、例えば、使用者からの操作を受け付ける十字キー、決定釦、各種モードを切り替えるための操作釦、静止画撮影を指示するための釦、動画撮影を指示するための釦などを含む。

表示モニタ２２０は、センサ１４０で生成された画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、ビデオカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。

＜１‐３．センサ１４０のカラーフィルタ配列＞
図２は一般的な画素配列であるベイヤ配列を示す図である。図２に示すように、ベイヤ配列では、Ｒフィルタ、Ｇフィルタ、Ｂフィルタの３種のカラーフィルタから構成されるベイヤ基本配列１０が繰り返し配列される。ベイヤ配列では、Ｇフィルタが市松状に配列される。ＲフィルタとＢフィルタとはそれぞれＧフィルタのみに隣接して配列される。なお図２では、Ｒフィルタの行にあるＧフィルタをＧｒ、Ｂフィルタの行にあるＧフィルタをＧｂとして示している。

図２は、ベイヤー配列においてＲフィルタ、Ｂフィルタの透過光に基づく画像情報を加算した場合において使用される画素のそれぞれの重心位置２０Ｒ、２０Ｂを示している。図示したように、重心位置２０Ｒ、２０Ｂは一致していない。さらに、加算するＲ、Ｂの変調成分はＲ同士、Ｂ同士で見た場合に同相であるためＲ、Ｂの色のモアレ成分は減少しない。すなわち、偽信号の発生が顕著である。そこで、以下では、偽信号の発生を抑制する、本実施の形態におけるカラーフィルタ配置を説明する。さらには、より高解像度を維持し得るカラーフィルタ配置を説明する。以下、センサ１４０が有するカラーフィルタの配列の詳細を説明する。

センサ１４０は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、およびＷフィルタの４種のカラーフィルタを有している。

図３は、各カラーフィルタの分光感度の波長特性を示す図である。Ｒフィルタは赤色（Ｒ）の光を透過する特性を有し、Ｇフィルタは緑色（Ｇ）の光を透過する特性を有し、Ｂフィルタは青色（Ｂ）の光を透過する特性を有する。そしてＷフィルタは、ＲフィルタとＧフィルタとＢフィルタのうち、最も光透過率が高いＧフィルタよりも光透過率が高く、かつ全波長帯の光を透過する特性を有する。そのため、Ｗフィルタを活用することは、センサー感度を高めるに有効である。そのため、暗いところでも有効に信号を形成することができる。

なお、Ｗフィルタに換えてＭｇフィルタを用いても構わない。ＭｇフィルタはＲおよびＢの感度を有する。そのためＭｇフィルタを活用することは、色のＳ／Ｎを高めるために有効である。Ｗフィルタの位置にＭｇフィルタを使用してもよいが以下では、Ｗを使用した配列に関して説明する。

上記のうちＲ、Ｇ、Ｂ、Ｗの４種のカラーフィルタを用いた、センサ１４０のカラーフィルタ配列について説明する。以下、カラーフィルタ配列を画素配列とも称する。

図４は、本実施形態のセンサ１４０における小配列単位（Ｂｌｏｃｋ＿Ａ〜Ｂｌｏｃｋ＿Ｄ）を示す図である。小配列単位は、本実施形態の画素配列における水平３画素、垂直３画素の基本単位となる配列単位である。センサ１４０の画素の小配列単位は、Ｒフィルタ、Ｇフィルタ、ＢフィルタおよびＷフィルタの４種のカラーフィルタによって構成されている。

センサ１４０では、輝度信号（以下、Ｙ信号）への寄与率の高いＧフィルタが市松状に配置されている。Ｇフィルタを市松状に配置することにより、輝度の高解像度を確保することができ、モアレを打ち消すことができる。

小配列単位における水平３画素、垂直３画素の配列（３行×３列の配列）について説明する。前述のように、小配列単位であるＢｌｏｃｋ＿Ａ〜Ｂｌｏｃｋ＿Ｄではそれぞれ、輝度の解像度を考慮してＧフィルタが市松状に配置されている。最も感度の高い画素Ｗに対応するＷフィルタは、Ｂｌｏｃｋ＿Ａ、Ｂｌｏｃｋ＿Ｄにおける垂直の重心位置に配置され、さらには、Ｂｌｏｃｋ＿Ａ〜Ｂｌｏｃｋ＿Ｄで構成された大配列単位では水平に交互に配置されている。これにより、Ｗを補間する際の偽信号の発生を抑制することが可能である。また、Ｗフィルタは、小配列単位内の３行×３列の配列の中央のフィルタに対して対称に配置されている。

同様にＲ、Ｂフィルタも偽信号の抑圧を考慮して配列されている。すなわち、Ｒフィルタと、Ｇフィルタとが、小配列単位内の３行×３列の配列の中央のカラーフィルタを中心として、点対称の位置に配置されていることが好ましい。Ｂｌｏｃｋ＿Ａ及びＢｌｏｃｋ＿Ｄでは、中央のＷフィルタを中心にＲ、Ｂフィルタが点対称に配置されている。Ｂｌｏｃｋ＿Ｂ及びＢｌｏｃｋ＿Ｃでは、中央のＧフィルタを中心にＲ、Ｂフィルタが点対称に配置されている。

図５は、本実施形態での画素加算動作を説明するための図である。なお、Ｂｌｏｃｋ＿ＡのＲ、Ｇ、Ｂ、ＷをそれぞれＲａ、Ｇａ、Ｂａ、Ｗａと記す。同様にＢｌｏｃｋ＿Ｂの画素Ｒ、Ｇ、Ｂ、ＷをＲｂ、Ｇｂ，Ｂｂ、Ｗｂと記す。Ｂｌｏｃｋ＿Ｃ、Ｂｌｏｃｋ＿Ｄも同様に記す。

センサ１４０の加算部１４５は、各画素からの出力信号に対して、加算された信号を生成する。すなわち、加算部１４５は、画素Ｒ、画素Ｇ、画素Ｂ、画素Ｗからそれぞれ出力された信号Ｒ、信号Ｇ、信号Ｂ、信号Ｗに対して、下記の（１）式〜（４）式を用いて加算信号Ｒ’、加算信号Ｇ’、加算信号Ｂ’、加算信号Ｗ’を生成する。たとえば、Ｂｌｏｃｋ＿Ａについては、加算部１４５は（１）式〜（４）式を用いて加算信号Ｒａ’、加算信号Ｇａ’、加算信号Ｂａ’、加算信号Ｗａ’を求める。

信号Ｗａは、信号Ｒａ、信号Ｇａ、信号Ｂａの色成分を含むため、Ｂｌｏｃｋ＿Ａの輝度信号Ｙａは以下の（５）式により求められる。Ｂｌｏｃｋ＿Ａ内の画素から得られる信号で輝度信号Ｙａを構成する場合は、中央の画素Ｗに対して水平・垂直で逆相の成分を有するＲ信号、Ｂ信号を（５）式に準じて構成する。

Ｂｌｏｃｋ＿Ｄでは、Ｂｌｏｃｋ＿ＡにおいてＲフィルタとＢフィルタが入れ替わって配置されているので、Ｂｌｏｃｋ＿Ｄの場合は、添え字ａをｄに置き換えれば（１）〜（４）式と同様にして加算信号Ｒｄ’、Ｇｄ’、Ｂｄ’、Ｗｄ’が求められ（５）式と同様にして、輝度信号Ｙｄを求めることができる。

信号Ｗａにおいては、信号Ｒａ、信号Ｂａと水平、垂直の変調成分が逆相にある。そのため、信号Ｗａは（５）式により信号Ｒａ、信号Ｂａの変調成分を打ち消すことができる。なお、信号Ｇａ１と信号Ｇａ４とは変調成分が逆相である。同様に、信号Ｇａ２と信号Ｇａ３とは変調成分が逆相である。そのため、（２）式の演算を実施することで信号Ｇａの偽信号成分は打ち消される。Ｂｌｏｃｋ＿Ｄについても同様である。

同様にしてＢｌｏｃｋ＿Ｂでは水平３画素、垂直３画素の中央のＧフィルタを中心にＲフィルタ、Ｂフィルタ及びＷフィルタが点対称に配置されている。センサ１４０の加算部１４５は、各画素からの出力信号に対して、加算された信号を生成する。すなわち、加算部１４５は、画素Ｒ、画素Ｇ、画素Ｂ、画素Ｗからそれぞれ出力された信号Ｒ、信号Ｇ、信号Ｂ、信号Ｗに対して、下記の（６）式〜（９）式を用いて加算信号Ｒｂ’、加算信号Ｇｂ’、加算信号Ｂｂ’、加算信号Ｗｂ’を生成する。すなわち、Ｂｌｏｃｋ＿Ｂについては、加算部１４５は（６）式〜（９）式を用いて加算信号Ｒｂ’〜Ｗｂ’加算信号を求める。

信号Ｗｂは、信号Ｒｂ、信号Ｇｂ、信号Ｂｂの色成分を含むため結果としてＢｌｏｃｋ＿Ｂの輝度信号Ｙｂは（１０）式により求められる。Ｂｌｏｃｋ＿Ｂ内の画素から得られる信号で輝度信号Ｙｂを構成する場合は、中央の画素Ｗに対して水平・垂直で逆相の成分を有する信号Ｒ、信号Ｂを（１０）式に準じて構成する。

Ｂｌｏｃｋ＿Ｃでは、Ｂｌｏｃｋ＿ＢにおいてＲフィルタとＢフィルタが入れ替わって配置されているので、Ｂｌｏｃｋ＿Ｃの場合は、添え字ｂをｃに置き換えれば（６）〜（９）式と同様にして加算信号Ｒｃ’、Ｇｃ’、Ｂｃ’、Ｗｃ’が求められ（１０）式と同様にして、輝度信号Ｙｃを求めることができる。

信号Ｗｂにおいては、信号Ｒｂ、信号Ｂｂと水平、垂直の変調成分が逆相にある。そのため、信号Ｗｂは（５）式により信号Ｒｂ、信号Ｂｂの変調成分を打ち消すことができる。なお、信号Ｇｂ１、信号Ｇａ２、信号Ｇｂ４、信号Ｇｂ５では変調成分が信号Ｇｂ３と逆相である。そのため、（７）式の演算を実施することで信号Ｇｂの偽信号成分は打ち消される。Ｂｌｏｃｋ＿Ｃについても同様である。

図６は、小配列単位を２行×２列に配置して構成された大配列単位３１の画素加算の重心位置を示す図である。センサ１４０では、Ｂｌｏｃｋ＿Ａ〜Ｂｌｏｃｋ＿Ｄが、図６に示すように２行×２列に配置されている。位置Ｃ１は、Ｒフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素の大配列単位３１における重心位置を示している。位置Ｃ２は、Ｂフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素の大配列単位３１における重心位置を示している。ここで、位置Ｃ１と位置Ｃ２が一致するように、Ｂｌｏｃｋ＿Ａ〜Ｂｌｏｃｋ＿Ｄが配置されている。

また、位置Ｃ３は、Ｇフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素の大配列単位における重心位置を示している。ここで、位置Ｃ３と位置Ｃ１、Ｃ２とが一致するように、Ｂｌｏｃｋ＿Ａ〜Ｂｌｏｃｋ＿Ｄが配置されていることが好ましい。

また、位置Ｃ４は、Ｗフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素の大配列単位における重心位置を示している。位置Ｃ４が位置Ｃ１〜Ｃ３と一致するように、Ｂｌｏｃｋ＿Ａ〜Ｂｌｏｃｋ＿Ｄが配置されていることがさらに好ましい。

図６に水平６画素、垂直６画素で加算合成した場合の画素Ｒの重心位置（位置Ｃ１）を示す。丸印で示す位置Ｃ１が画素Ｒの重心である。画素Ｂ、画素Ｇ、画素Ｗも同様に大配列内において点対象に配置されている。したがって、図６に示すように画素Ｂ、画素Ｇ及び画素Ｗの重心の位置である位置Ｃ２〜Ｃ４は位置Ｃ１に重なる。

この構成において、加算部１４５は、以下の（１１）式〜（１４）式で色信号Ｒ”、Ｇ”、Ｂ”およびＷ”を演算する。

そして、加算部１４５は、演算により得られた各加算信号Ｒ”、Ｇ”、Ｂ”およびＷ”を使用して、（１５）式により輝度信号Ｙ”を構成する。

一方、例えばＮＴＳＣ方式の輝度信号は分光成分Ｒ，Ｇ，Ｂを使用して以下の（１６）式で表される。

（１６）式および（１５）式を鑑みて係数ｋ１〜ｋ４は、ｋ１＋ｋ４＝０．３、ｋ２＋ｋ４＝０．５９、ｋ３＋ｋ４＝０．１１を満たすように選択すればよい。例えば、ｋ４＝０．１と設定した場合、ｋ１＝０．２、ｋ２＝０．４９、ｋ３＝０．０１となる。

なお、Ｗフィルタに換えてＭｇフィルタを使用した場合の輝度信号Ｙａは以下の構成となる。

加算信号Ｒａ’、加算信号Ｇａ’、加算信号Ｂａ’は前述と同様にそれぞれ、Ｂｌｏｃｋ＿Ａ内の信号Ｒａ，信号Ｇａ，信号Ｂａの平均である。信号Ｍｇａでは、信号Ｒａ、信号Ｂａと水平、垂直の変調成分が逆相にある。そのため（１７）式の加算で信号Ｒａ、信号Ｂａの変調成分を打ち消すことが可能である。このようにＭｇフィルタを用いた場合もＷフィルタを用いた場合と同様の効果を奏する。

＜１‐４．ビデオカメラの動作＞
以下、ビデオカメラ１００の動作について説明する。合わせてビデオカメラ１００に搭載のセンサ１４０の動作を、図７を参照しながら説明する。

ビデオカメラ１００の電源をＯＮにすると、コントローラ１８０は、ビデオカメラ１００を構成する各部に電力を供給する。これにより、光学系１１０を構成する各レンズや、センサ１４０等は、初期設定を行なうことができる。光学系１１０およびセンサ１４０等の初期設定が終わると、ビデオカメラ１００は、撮影可能な状態となる。

ビデオカメラ１００は、撮影モードと再生モードの二つのモードを有している。再生モードでのビデオカメラ１００の動作についての説明は省略する。ビデオカメラ１００が撮影モードに設定されているときに撮影可能な状態となると、表示モニタ２２０は、センサ１４０により撮像され画像処理部１６０によって処理されたスルー画像を表示し始める。

表示モニタ２２０がスルー画像を表示しているとき、コントローラ１８０は、静止画撮影の指示釦が押下されたか否か、および動画撮影の指示釦が押下されたか否かを監視している。コントローラ１８０は、いずれかの指示釦が押下されたのに従って、その指示されたモードにて撮影を開始する（Ｓ１００）。すなわち、コントローラ１８０は、静止画撮影の指示釦が押下されたときは、動作モードを静止画モードに設定する。また、コントローラ１８０は、動画撮影の指示釦が押下されたときは、動作モードを動画モードに設定する。

センサ１４０は、設定された動作モード（静止画モードまたは動画モード）に応じて、画像データの出力モードを切り替える（Ｓ１１０）。具体的には、静止画モードが設定されている場合（ステップＳ１１０におけるＮＯ）、センサ１４０は、加算部１４５で各画素からの出力に対して画素加算を行なうことなく、全画素から出力された信号から構成されるＲＡＷデータを出力する（Ｓ１５０）。これにより、静止画モードが設定されている場合は、高精細な画像データを出力することができる。

ビデオカメラ１００は、動画モードにおいて、画素加算モードと、画素非加算モードとの２つの出力モードを有する。画素加算モードでは、加算部１４５が各画素からの出力信号に対して画素加算を行なう。画素非加算モードでは、加算部１４５が画素加算を行なわない。画素加算モードと画素非加算モードとのいずれか一方をユーザは予め選択可能である。動画モードにおいて、センサ１４０の加算部１４５は、予め選択された出力モード（画素加算モードまたは画素非加算モード）に応じて、画像データの出力モードを切り替える（Ｓ１２０）。

具体的には、加算部１４５は、動作モードとして動画モードが選択されていたとき（ステップＳ１１０におけるＹｅｓ）、出力モードが画素加算モードに設定されているか否か判定する（Ｓ１２０）。画素非加算モードが設定されている場合（Ｓ１２０におけるＮｏ）、センサ１４０は、各画素からの出力信号に対して画素加算を行なうことなく、全画素の出力信号から構成されるＲＡＷデータを出力する（Ｓ１５０）。

例えば、動画撮影において、フレームレートを多少低くしてでも、高精細な画像データを出力したい場合や、動画と静止画を同時に取得した場合などには、画素加算を行なうことなく全画素によるＲＡＷデータを出力することが有用である。

一方、画素加算モードが設定されている場合（ステップＳ１２０におけるＹｅｓ）、センサ１４０は、画素加算において画素Ｒ、Ｇ、Ｂ、Ｗのそれぞれからの出力信号を加算するときの比率を選択する（Ｓ１３０）。なお、画素加算での比率を選択する構成を有さなくてもよい。その場合、予め所定の加算比率を設定しておけばよい。

加算部１４５は、選択された加算比率に従って、各画素Ｒ、Ｇ、Ｂ、Ｗからの出力信号に対して画素加算処理を行なう。そして加算部１４５は、画素加算した結果得られた信号を出力する（Ｓ１４０）。以下、画素Ｒ、Ｇ、Ｂ、Ｗからの出力信号を、それぞれ「信号Ｒ」、「信号Ｇ」、「信号Ｂ」、「信号Ｗ」と称する。

以上のように各画素Ｒ、Ｇ、Ｂ、Ｗから出力された信号Ｒ、Ｇ、Ｂ、Ｗに対して画素加算を行なうことは、例えば、動画撮影においてフレームレートを上げて滑らかな画像を取得したい場合や、低照度時にＳ／Ｎを改善したい場合などに有用である。

＜１‐５．画素加算動作＞
以下、センサ１４０による他の画素加算動作について、図８から図１０を参照しながら詳細に説明する。（１）式から（１５）式を用いた方法では、各小配列単位毎に加算信号を算出しているが、以下の説明では、隣り合う２つの小配列単位毎に加算信号を算出する。

センサ１４０は、各画素（Ｒ、Ｇ、Ｂ、Ｗ）からの出力信号（Ｒ、Ｇ、Ｂ、Ｗ）に対して、以下の（１８）式〜（２２）式の演算を行ない、加算信号を生成する。図８に示すように、例えば、センサ１４０は、Ｂｌｏｃｋ＿Ａの画素Ｒａから出力された複数の信号Ｒａと、Ｂｌｏｃｋ＿Ｂの画素Ｒｂから出力された信号Ｒｂとを加算平均して１つの信号（Ｒａ＋Ｒｂ）’を生成する。その他の色成分に関しても同様な演算を行う。ただし偶数行目のＧ信号の加算平均（Ｇａ＋Ｇｂ）’と奇数行目のＧ信号の加算平均（Ｇａ＋Ｇｂ）”は、それぞれ式（２０）、（２１）のようにして求める。

すなわち、センサ１４０の加算部１４５は、大配列単位３１に含まれる複数種類の小配列単位のうちの第１行目に位置する２つの小配列単位であるＢｌｏｃｋ＿Ａ、Ｂｌｏｃｋ＿Ｂに関し、以下の値を求める。すなわち加算部１４５は、第１の出力信号Ｒの加算平均（Ｒａ＋Ｒｂ）’と、第２の出力信号Ｂの加算平均（Ｂａ＋Ｂｂ）’と、第４の出力信号Ｗの加算平均（Ｗａ＋Ｗｂ）’と、Ｂｌｏｃｋ＿Ａ、Ｂｌｏｃｋ＿Ｂの奇数行における第３の出力信号Ｇの加算平均（Ｇａ＋Ｇｂ）’と、同じく偶数行における第３の出力信号Ｇの加算平均（Ｇａ＋Ｇｂ）”とを求める。同様に、加算部１４５は、大配列単位３１に含まれる複数種類の小配列単位のうちの第２行目に位置する２つの小配列単位であるＢｌｏｃｋ＿Ｃ、Ｂｌｏｃｋ＿Ｄに関しても同様の演算を行う。加算部１４５は、第１の出力信号Ｒの加算平均（Ｒｃ＋Ｒｄ）’と、第２の出力信号Ｂの加算平均（Ｂｃ＋Ｂｄ）’と、第４の出力信号Ｗの加算平均（Ｗｃ＋Ｗｄ）’と、Ｂｌｏｃｋ＿Ｃ、Ｂｌｏｃｋ＿Ｄの奇数行における第３の出力信号Ｇの加算平均（Ｇｃ＋Ｇｄ）’と、同じく偶数行における第３の出力信号Ｇの加算平均（Ｇｃ＋Ｇｄ）”とを求める。

加算部１４５は、このようにして得られた加算信号（Ｒａ＋Ｒｂ）’、（Ｇａ＋Ｇｂ）’、（Ｇａ＋Ｇｂ）”、（Ｂａ＋Ｂｂ）’、（Ｗａ＋Ｗｂ）’、（Ｒｃ＋Ｒｄ）’、（Ｇｃ＋Ｇｄ）’、（Ｇｃ＋Ｇｄ）”、（Ｂｃ＋Ｂｄ）’、（Ｗｃ＋Ｗｄ）’をＡＤＣ１５０を介して画像処理部１６０へ出力する。

＜１‐６．画像処理部の動作＞
＜１‐６‐１．画素加算モードでの信号処理＞
画素加算モードが選択されているとき、センサ１４０は、画素加算で生成した加算信号（Ｒａ＋Ｒｂ）’、（Ｇａ＋Ｇｂ）’、（Ｇａ＋Ｇｂ）”、（Ｂａ＋Ｂｂ）’、（Ｗａ＋Ｗｂ）’、（Ｒｃ＋Ｒｄ）’、（Ｇｃ＋Ｇｄ）’、（Ｇｃ＋Ｇｄ）”、（Ｂｃ＋Ｂｄ）’、（Ｗｃ＋Ｗｄ）’を出力する。これらの加算信号は画素ごとの出力信号の加算平均である。

これらの加算信号は、図９に示すように、中央に対して点対称の位置に、加算された色フィルタが配置された状態にあるものと見なすことができる。したがって、上述の加算処理の結果、図８に示す３６画素出力は１２画素出力まで圧縮される。これらの加算信号では偽信号がキャンセルされている。そのため、以下の（２３）式〜（２６）式に示すように信号処理してから（２７）式にしたがって輝度信号Ｙ’を生成してもよい。

なお、（２７）式のＲ’，Ｇ’，Ｂ’の各定数はＢＴＡ Ｓ−００１Ｃの標準規格にて規定されている係数である。また、Ｗ’の係数ｋは例えば被写体の照度を考慮して決定してもよい。すなわち、画像処理部１６０は、被写体の照度に応じて第４の出力の加算平均Ｗ’の係数を選択してもよい。

この加算処理の過程で、図８に示す３６画素出力を図１０に示すように６画素出力まで圧縮してもよい。このように、図９に示すように点対称に配置された画素出力をさらに６画素出力まで加算すれば、フレームレートも向上し、さらには偽信号も抑圧することができる。

図９、図１０を参照して説明した画素加算は、画像処理部１６０で実施してもよいが、センサ１４０内で実施することが好ましい。センサ１４０、すなわち加算部１４５で加算処理すると、限られた時間内で全画面の映像出力の効率を上げることができる。

加算処理を行うと、出力のフレームレートが上がる一方、加算処理により解像度が低下する。そのため、解像度を優先する場合は、図９までの処理を加算部１４５で行い、それ以降の処理を画像処理部１６０で実施することが好ましい。一方、フレームレートを上げることを優先する場合には、図１０までの処理を加算部１４５で行い、それ以降の処理を画像処理部１６０で実施することが好ましい。

いずれの場合も、画像処理部１６０は、大配列単位３１における、第１の出力信号Ｒの加算平均Ｒ’と、第２の出力信号Ｂの加算平均Ｂ’と、第４の出力信号Ｗの加算平均Ｗ’とを求める。さらに画像処理部１６０は大配列単位３１に含まれる複数種類の小配列単位の奇数行における第３の出力信号Ｇの加算平均（Ｇａ＋Ｇｂ）’と、同じく偶数行における第３の出力信号Ｇの加算平均（Ｇａ＋Ｇｂ）”との加算平均Ｇ’を求める。

そして、加算平均Ｒ’、加算平均Ｂ’、加算平均Ｗ’、加算平均Ｇ’に係数を乗じて加算することで輝度信号Ｙ’を生成する。

＜他の実施形態＞
以上のように、大配列単位３１を例に実施形態を説明した。しかし、上記実施形態の思想は、これに限定されない。以下、上記実施形態の思想を適用できる他の実施形態をまとめて説明する。

上述の説明では、図４に示したＢｌｏｃｋ＿ＡからＢｌｏｃｋ＿Ｄの小配列単位を用いて、大配列単位３１を構成する場合を説明したが、これに限定されない。他の小配列単位の例として、Ｂｌｏｃｋ＿ＥからＢｌｏｃｋ＿Ｈを図１１に示す。また、これらの小配列単位を用いた大配列単位３２、３３、３４を、それぞれ図１２〜図１４に示す。図１２〜図１４に示すように、これらの場合においても、Ｒ、Ｂ、Ｗ及びＧの加算重心は一致する。そして、各色は点対称となっているために偽信号は除去される。

上記の実施形態では、撮像素子として、ＣＭＯＳイメージセンサ１４０を例示したが、撮像素子はこれに限定されない。例えば、撮像素子を、ＣＣＤイメージセンサやＮＭＯＳイメージセンサで構成してもよい。

上記の実施形態では、画素加算を動画像撮影時にのみ適用している。これに加え、静止画像撮影時にも画素加算を行ってもよい。あるいは、静止画像のみを撮影するＤＳＣで画素加算を行ってもよい。例えば、連射撮影時に画素加算を行ってもよい。

また、画像処理部１６０とコントローラ１８０とは、１つの半導体チップで構成してもよく、別々の半導体チップで構成してもよい。

上記実施形態では、センサ１４０は画素加算を行ない、加算された画素を出力する加算部１４５を内蔵したが、上記実施形態の思想はこれに限定されない。すなわち、センサ１４０よりも後段の演算処理装置（例えば、画像処理部１６０）により画素加算を行うようにしてもよい。これによっても、信号（画像情報）をより効率良く出力できる。

以上のように、上記実施形態によれば、センサ１４０で生成された信号の配列を画素加算によって偽信号のない輝度信号及び色信号を生成することが可能である。これにより、静止画像撮影用の高精細なイメージセンサを動画像撮影に用いたとしても、効率良く画素処理を施すことができるので、動画像撮影においても、より容易に適切なフレームレートを設定できる。

上記実施形態の思想は、ビデオカメラだけでなく、ＤＳＣや、撮像素子を搭載する情報端末などにも適用可能である。

Ｃ１，Ｃ２，Ｃ３，Ｃ４ 位置
３１，３２，３３，３４ 大配列単位
１００ ビデオカメラ
１１０ 光学系
１２０ レンズ駆動部
１３０ シャッタ
１４０ ＣＭＯＳイメージセンサ（センサ）
１４５ 加算部
１５０ Ａ／Ｄコンバータ（ＡＤＣ）
１６０ 画像処理部
１７０ バッファ
１８０ コントローラ
１９０ カードスロット
２００ メモリカード
２１０ 操作部材
２２０ 表示モニタ
２４０ 内部メモリ

Claims (17)

1. 第１のカラーフィルタと、前記第１のカラーフィルタとは異なる分光特性を有する第２のカラーフィルタと、を含み、３行×３列に配置された複数のカラーフィルタをそれぞれ有する複数種類の小配列単位と、
   ２行×２列に配列された前記複数種類の小配列単位を有する大配列単位と、を備え、
   前記第１のカラーフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素の前記大配列単位における第１の重心位置と、前記第２のカラーフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素の前記大配列単位における第２の重心位置とが一致するように前記複数種類の小配列単位が配置された、
   撮像素子。
2. 前記複数種類の小配列単位のそれぞれにおいて、前記第１のカラーフィルタと前記第２のカラーフィルタとが点対称の位置に配置されている、
   請求項１に記載の撮像素子。
3. 前記複数種類の小配列単位はそれぞれ、
   前記第１のカラーフィルタ及び前記第２のカラーフィルタと異なる分光特性を有するとともに、市松状に配置された複数の第３のカラーフィルタと、を有し、
   前記複数の第３のカラーフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素の前記大配列単位における第３の重心位置が、前記第１の重心位置及び前記第２の重心位置と一致するよう前記複数種類の小配列単位が配置された、
   請求項１に記載の撮像素子。
4. 前記複数種類の小配列単位は、前記第１のカラーフィルタ、前記第２のカラーフィルタ及び前記第３のカラーフィルタと異なる分光特性を有するとともに、前記第１のカラーフィルタ及び前記第２のカラーフィルタのいずれよりも高い光透過率を有する第４のカラーフィルタをさらに有し、
   前記第４のカラーフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素の前記大配列単位における第４の重心位置が、前記第１の重心位置、前記第２の重心位置および前記第３の重心位置と一致するように前記複数種類の小配列単位が配置された、
   請求項３に記載の撮像素子。
5. 前記第４のカラーフィルタは、前記第１のカラーフィルタ、前記第２のカラーフィルタ及び前記複数の第３のカラーフィルタのそれぞれが透過する波長の光を含む波長の光を透過可能である、
   請求項４に記載の撮像素子。
6. 前記第１のカラーフィルタはＲフィルタであり、
   前記第２のカラーフィルタはＢフィルタであり、
   前記複数の第３のカラーフィルタのそれぞれはＧフィルタである、
   請求項３から５のいずれかに記載の撮像素子。
7. 前記第４のカラーフィルタは、更に前記第３のカラーフィルタよりも高い光透過率を有するＷフィルタである、
   請求項４から６のいずれかに記載の撮像素子。
8. 前記第４のカラーフィルタは、Ｍｇフィルタである、
   請求項４、６のいずれかに記載の撮像素子。
9. 撮像素子と、
   前記撮像素子により生成された画像情報を処理する画像処理部と、を備え、
   前記撮像素子は、
   第１のカラーフィルタと、前記第１のカラーフィルタとは異なる分光特性を有する第２のカラーフィルタと、を含み、３行×３列に配置された複数のカラーフィルタをそれぞれ有する複数種類の小配列単位と、
   ２行×２列に配列された前記複数種類の小配列単位を有する大配列単位と、を備え、
   前記第１のカラーフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素の前記大配列単位における第１の重心位置と、前記第２のカラーフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素の前記大配列単位における第２の重心位置とが一致するように前記複数種類の小配列単位が配置された、
   撮像装置。
10. 前記撮像素子において、前記複数種類の小配列単位はそれぞれ、
    前記第１のカラーフィルタを含む複数の第１のカラーフィルタと、
    前記第２のカラーフィルタを含む複数の第２のカラーフィルタと、を有し、
    前記複数種類の小配列単位のそれぞれにおいて、前記複数の第１のカラーフィルタが点対称の位置に配置され、前記複数の第２のカラーフィルタが点対称の位置に配置されている、
    請求項９に記載の撮像装置。
11. 前記撮像素子において、前記複数種類の小配列単位はそれぞれ、
    前記第１のカラーフィルタ及び前記第２のカラーフィルタと異なる分光特性を有するとともに、市松状に配置された複数の第３のカラーフィルタと、を有し、
    前記複数の第３のカラーフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素の前記大配列単位における第３の重心位置が、前記第１の重心位置及び前記第２の重心位置と一致するよう前記複数種類の小配列単位が配置された、
    請求項９に記載の撮像素子。
12. 前記撮像素子において、前記複数種類の小配列単位は、前記第１のカラーフィルタ、前記第２のカラーフィルタ及び前記第３のカラーフィルタと異なる分光特性を有するとともに、前記第１のカラーフィルタ及び前記第２のカラーフィルタのいずれよりも高い光透過率を有する第４のカラーフィルタをさらに有し、
    前記第４のカラーフィルタの透過光に基づく画素情報に対する画素加算処理において使用される画素の前記大配列単位における第４の重心位置が、前記第１の重心位置、前記第２の重心位置および前記第３の重心位置と一致するように前記複数種類の小配列単位が配置された、
    請求項１１に記載の撮像装置。
13. 前記撮像素子は、前記第１〜第４のカラーフィルタを透過した光を受ける位置に設けられた複数の画素をさらに備え、
    前記第１〜第４のカラーフィルタの位置にある前記複数の画素のそれぞれは、第１〜第４の出力信号を出力し、
    前記画像処理部は、
    前記大配列単位における、
    前記第１の出力信号の加算平均と、
    前記第２の出力信号の加算平均と、
    前記第４の出力信号の加算平均と、
    前記大配列単位に含まれる前記複数種類の小配列単位の奇数行における前記第３の出力信号の加算平均と、前記複数種類の小配列単位の偶数行における前記第３の出力信号の加算平均と、の加算平均とを求め、
    前記第１、第２、第４の出力信号の前記加算平均と、前記大配列単位に含まれる前記複数種類の小配列単位の奇数行における前記第３の出力信号の前記加算平均と、前記複数種類の小配列単位の偶数行における前記第３の出力信号の前記加算平均との前記加算平均に係数を乗じて加算することで輝度信号を生成する、
    請求項１２に記載の撮像装置。
14. 前記撮像素子は、
    前記大配列単位に含まれる前記複数種類の小配列単位のうちの第１行目に位置する２つの小配列単位における、
    前記第１の出力信号の加算平均と、
    前記第２の出力信号の加算平均と、
    前記第４の出力信号の加算平均と、
    前記第１行目に位置する２つの小配列単位の奇数行における前記第３の出力信号の加算平均と、
    前記第１行目に位置する２つの小配列単位の偶数行における前記第３の出力信号の加算平均と、
    前記大配列単位に含まれる前記複数種類の小配列単位のうちの第２行目に位置する２つの小配列単位における、
    前記第１の出力信号の加算平均と、
    前記第２の出力信号の加算平均と、
    前記第４の出力信号の加算平均と、
    前記第２行目に位置する２つの小配列単位の奇数行における前記第３の出力信号の加算平均と、
    前記第２行目に位置する２つの小配列単位の偶数行における前記第３の出力信号の加算平均と、
    を求め、前記画像処理部へ出力する、
    請求項１３に記載の撮像装置。
15. 前記画像処理部は、被写体の照度に応じて前記第４の出力の前記加算平均の係数を選択する、
    請求項１３に記載の撮像装置。
16. 前記第４のカラーフィルタは、更に前記第３のカラーフィルタよりも高い光透過率を有するＷフィルタである、
    請求項１２に記載の撮像装置。
17. 前記第４のカラーフィルタはＭｇフィルタである、
    請求項１２に記載の撮像装置。

Images