JP2013192214A - 撮像素子および撮像装置 - Google Patents

Abstract

【課題】より効率よく画像情報を出力できる撮像素子と、該撮像装置を備える撮像装置を提供する。
【解決手段】撮像装置（１００）は撮像素子（１４０）を備える。撮像素子の各画素に対して、第一ないし第四のカラーフィルタのいずれかが設けられる。第一ないし第四のカラーフィルタは特定の配列で配置される。特定の配列は、第一のカラーフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素の重心位置である第一の重心位置と、第二のカラーフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素の重心位置である第二の重心位置と、第三のカラーフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素の重心位置である第三の重心位置とが、ベイヤ配列となるような配列である。
【選択図】図８

Description

本開示は複数種類のカラーフィルタを有する撮像素子と、撮像素子を備える撮像装置に関する。

特許文献１は撮像素子を開示している。特許文献１記載の撮像素子では、画素が行列状に２次元配置された画素アレイ部に、輝度信号の主成分となる色が市松状に配置され、残りの部分に色情報成分となる複数色が配列される。そして特許文献１には、この撮像素子が、画素アレイ部の各画素から出力される色フィルタ部の色配列に対応した信号を、ベイヤ配列に対応した信号に変換して出力する旨が記載されている。

特開２０１０−１３６２２５号公報

近年、同一の撮像素子を用いて、静止画像のみならず、動画像も撮影可能なデジタルカメラが普及してきている。また、撮像素子の画素の高精細化が進んでおり、より高精細な画像情報を有するデータを記録できるようになってきている。

静止画像撮影においては、原則的には一枚ずつの撮影であるため、各種画像処理に要する時間をある程度確保することができる。そのため、撮像素子の高精細化により処理対象となる情報量が多くなっても、比較的容易に画像を処理することができる。

一方、デジタルカメラは、動画像撮影においては、一秒間あたりに数十枚に及ぶ複数の画像を撮影する。例えば、デジタルカメラは一秒間あたりに６０枚の画像を撮影する。すなわち、動画像撮影においては、静止画像撮影と比較して、単位時間あたりに処理しなくてはならない情報量が格段に多い。

また、撮像素子の画素（赤色、緑色、青色）に第４の色（例えば白色）の画素を追加する技術が知られている。これにより、撮像素子が出力する情報量はさらに増える。

前述の通り、動画像撮影においては、一秒間あたりに数十枚に及ぶ複数の画像を撮影する。滑らかな動画像を得るためには、例えば一秒間あたりに６０枚の画像を撮影する必要がある。すなわち、動画像撮影においては、静止画像撮影と比較して、単位時間あたりに処理しなくてはならない情報量が格段に多い。そのため、高精細化な撮像素子を搭載したデジタルカメラにおいて、静止画像撮影を行えるようにしながらも、同一の撮像素子を用いて、滑らかな動画像撮影を実現するためには、撮像素子の出力に工夫を要する。

本開示は、静止画像撮影および動画像撮影を行うことが可能で、より効率よく画像情報を出力することが可能な撮像素子、および該撮像素子を搭載した撮像装置を提供する。

本開示の撮像装置は、複数の画素を有し、受光した光から画素毎に画像情報を生成する撮像素子を備える。撮像素子の各画素に対して、第一ないし第四のカラーフィルタのいずれかが設けられる。第一ないし第四のカラーフィルタは互いに異なる分光特性を有している。第四のカラーフィルタは第一ないし第三のカラーフィルタのいずれよりも高い光透過率を有する。第一ないし第四のカラーフィルタは特定の配列で配置される。特定の配列は、第一のカラーフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素の重心位置である第一の重心位置と、第二のカラーフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素の重心位置である第二の重心位置と、第三のカラーフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素の重心位置である第三の重心位置とが、ベイヤ配列となるような配列である。第一の画素加算処理によって第一のカラーフィルタに対応する色に関する画素情報が生成され、第二の画素加算処理によって第二のカラーフィルタに対応する色に関する画素情報が生成され、第三の画素加算処理によって第三のカラーフィルタに対応する色に関する画素情報が生成される。

本開示の撮像素子は、複数の画素を有し、受光した光から画素毎に画像情報を生成する。複数の画素のそれぞれに対して、第一ないし第四のカラーフィルタのいずれかが設けられる。第一ないし第四のカラーフィルタは互いに異なる分光特性を有している。第四のカラーフィルタは第一ないし第三のカラーフィルタのいずれよりも高い光透過率を有する。第一ないし第四のカラーフィルタは特定の配列で配置され、特定の配列は、第一のカラーフィルタの透過光に基づき生成される画素情報に対する第一の画素加算処理において使用される複数の画素の重心位置である第一の重心位置と、第二のカラーフィルタの透過光に基づき生成される画素情報に対する第二の画素加算処理において使用される複数の画素の重心位置である第二の重心位置と、第三のカラーフィルタの透過光に基づき生成される画素情報に対する第三の画素加算処理において使用される複数の画素の重心位置である第三の重心位置とが、ベイヤ配列となるような配列である。第一の画素加算処理によって第一のカラーフィルタに対応する色に関する画素情報が生成され、第二の画素加算処理によって第二のカラーフィルタに対応する色に関する画素情報が生成され、第三の画素加算処理によって第三のカラーフィルタに対応する色に関する画素情報が生成される。

本開示によれば、より効率良く画像情報を出力できる撮像素子および該撮像素子を搭載した撮像装置を提供することができる。

実施形態１のビデオカメラの構成を示すブロック図。 ４種のカラーフィルタ（Ｒ、Ｇ、Ｂ、Ｗ）の分光感度特性を示す図。 一般的な画素配列であるベイヤ配列を示す図。 実施形態１のＣＭＯＳイメージセンサでのカラーフィルタの基本配列を示す図。 実施形態１のＣＭＯＳイメージセンサでの画素配列を示す図。 実施形態１のビデオカメラの動作を示すフローチャート。 実施形態１での画素加算を説明するための図。 実施形態１での画素加算の結果得られた各画素の位置を示す図。 実施形態２での画素加算を説明するための図である。 実施形態２での画素加算の結果得られた各画素の位置を示す図。 実施形態３でのカラーフィルタの基本配列を示す図。 実施形態３のＣＭＯＳイメージセンサでの画素配列を示す図。 実施形態３での画素加算を説明するための図。 実施形態３での画素加算の結果得られた各画素の位置を示す図。 実施形態４での画素加算を説明するための図。 実施形態４での画素加算の結果得られた各画素の位置を示す図。 実施形態５でのカラーフィルタの基本配列を示す図。 実施形態５のＣＭＯＳイメージセンサでの画素配列を示す図。 実施形態５での画素加算を説明するための図。 実施形態５の画素加算の結果得られた各画素の位置を示す図。 実施形態６での画素加算を説明するための。 実施形態６での画素加算の結果得られた各画素の位置を示す図。 実施形態７での画素加算を説明するための図。 実施形態７での画素加算の結果得られた各画素の位置を示す図。 実施形態８でのカラーフィルタの基本配列を示す図。 実施形態８のＣＭＯＳイメージセンサでの画素配列を示す図。 実施形態８での画素加算を説明するための図。 実施形態８での画素加算の結果得られた各画素の位置を示す図。 実施形態９での画素加算を説明するための図。 実施形態９での画素加算の結果得られた各画素の位置を示す図。 実施形態１０での画素加算を説明するための図。 実施形態１０での画素加算の結果得られた各画素の位置を示す図。 実施形態１１でのカラーフィルタの配列を示す図。 実施形態１２でのカラーフィルタの配列を示す図。

＜１．実施形態１＞
以下、添付の図を参照しながら、実施形態１について説明する。実施形態の一例としてビデオカメラを用いる。

＜１‐１．概要＞
本実施形態のビデオカメラは、同一の撮像素子（本実施形態ではＣＭＯＳイメージセンサ）を用いて、静止画像撮影および動画像撮影を行うことができる。また、本実施形態のビデオカメラに搭載されたＣＭＯＳイメージセンサのカラーフィルタは、四種の画素を混合した結果、ベイヤ配列に対応した信号を出力可能なよう配列される。このフィルタ配列により、ビデオカメラは、静止画像撮影においても、動画像撮影においても、同一の撮像素子を用いて、より効率良く画像情報を出力することができる。

以下、本実施形態のビデオカメラの構成および動作について図を用いて説明する。

＜１‐２．ビデオカメラの構成＞
実施形態１のビデオカメラの電気的構成について図１を用いて説明する。図１は、ビデオカメラの構成を示すブロック図である。

ビデオカメラ１００は、光学系１１０と、絞り３００と、シャッタ１３０と、ＣＭＯＳイメージセンサ１４０と、Ａ／Ｄコンバータ１５０と、画像処理部１６０と、バッファ１７０と、コントローラ１８０と、メモリカード２００を格納できるカードスロット１９０と、レンズ駆動部１２０と、内部メモリ２４０と、操作部材２１０と、表示モニタ２２０とを含む。

ビデオカメラ１００は、１つ又は複数のレンズからなる光学系１１０により形成された被写体像をＣＭＯＳイメージセンサ１４０で撮像する。ＣＭＯＳイメージセンサ１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、ビデオカメラ１００の構成を詳細に説明する。

光学系１１０は、ズームレンズやフォーカスレンズを含む。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。

レンズ駆動部１２０は、光学系１１０に含まれる各種レンズを駆動する。レンズ駆動部１２０は、例えばズームレンズを駆動するズームモータや、フォーカスレンズを駆動するフォーカスモータを含む。

絞り３００は、使用者の設定に応じて若しくは自動で、開口部の大きさを調整し、ＣＭＯＳイメージセンサ１４０に入射する光の量を調整する。

シャッタ１３０は、ＣＭＯＳイメージセンサ１４０に入射する光を遮るための手段である。

ＣＭＯＳイメージセンサ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＭＯＳイメージセンサ１４０は、露光、転送、電子シャッタなどの各種動作を行う。ＣＭＯＳイメージセンサ１４０は複数の画素を含み、各画素に対応してフォトダイオードが設けられている。すなわち、ＣＭＯＳイメージセンサ１４０の受光面には多数のフォトダイオードが２次元的に配列されている。

また、各画素に対応して各種カラーフィルタが所定の配列で配置されている。本実施形態では４種のカラーフィルタが用いられる。各画素に対して、４種のカラーフィルタのいずれか１種が配置される。各画素は、対応するカラーフィルタを透過した光を受け付け、受け付けた光の強さに応じた信号（画素情報）を出力する。ＣＭＯＳイメージセンサ１４０のカラーフィルタの詳細は後述する。

また、ＣＭＯＳイメージセンサ１４０は加算部１４５を内蔵している。加算部１４５は「画素加算」を行ない、加算によって得られた信号を出力する。ここで「画素加算」は、ＣＭＯＳイメージセンサ１４０の複数の画素から出力された信号を足し合わせて（加算して）、１つの信号（画像情報）を生成することである。画素加算の詳細については後述する。

Ａ／Ｄコンバータ（ＡＤＣ）１５０は、ＣＭＯＳイメージセンサ１４０によって生成されたアナログ画像データをデジタル画像データに変換する。

画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して各種処理を施すことにより、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等で圧縮する。画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。

コントローラ１８０は、ビデオカメラ１００全体を制御する制御手段である。コントローラ１８０は、半導体素子などで実現可能である。コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコンなどで実現できる。

バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

カードスロット１９０は、メモリカード２００を格納可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内蔵し、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。

内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどを含む。内部メモリ２４０は、ビデオカメラ１００全体を制御するための制御プログラム等を記憶している。

操作部材２１０は、使用者からの操作を受け付けるユーザーインターフェースを含む。操作部材２１０は、例えば、使用者からの操作を受け付ける十字キー、決定釦、各種モードを切り替えるための操作釦、静止画撮影を指示するための釦、動画撮影を指示するための釦などを含む。

表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０で生成された画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、ビデオカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。

＜１‐３．ＣＭＯＳイメージセンサのカラーフィルタ配列＞
以下、本実施形態のＣＭＯＳイメージセンサ１４０が有するカラーフィルタの詳細を説明する。ＣＭＯＳイメージセンサ１４０は、赤色フィルタ、緑色フィルタ、青色フィルタ、および白色フィルタの４種のカラーフィルタを有している。以下、赤色フィルタ、緑色フィルタ、青色フィルタ、および白色フィルタを、それぞれ「Ｒフィルタ」、「Ｇフィルタ」、「Ｂフィルタ」、および「Ｗフィルタ」と称する。

図２は、各カラーフィルタの分光感度特性を示す図である。図２に示すように、Ｒフィルタは赤色（Ｒ）の光を透過する特性を有し、Ｇフィルタは緑色（Ｇ）の光を透過する特性を有し、Ｂフィルタは青色（Ｂ）の光を透過する特性を有する。そしてＷフィルタは、ＲフィルタとＧフィルタとＢフィルタのうち最も光透過率が高いＧフィルタよりも光透過率が高く、かつ全波長帯の光を透過する特性を有する。

上記４種のカラーフィルタを用いた、ＣＭＯＳイメージセンサ１４０のカラーフィルタ配列について説明する。以下、カラーフィルタ配列を画素配列とも称する。図３は一般的な画素配列であるベイヤ配列の基本配列を示す図である。図４は、本実施形態のＣＭＯＳイメージセンサ１４０での画素の基本配列を示す図である。「基本配列」は、本実施形態の画素配列における基本単位となる配列である。

ベイヤ配列では、Ｒフィルタ、Ｇフィルタ、Ｂフィルタの３種のカラーフィルタが、図３に示す基本配列が繰り返し配列されるよう、配列される。ベイヤ配列では、Ｇフィルタが市松状に配列され、ＲフィルタとＢフィルタとはそれぞれＧフィルタのみに隣接して配列される。

これに対して、ＣＭＯＳイメージセンサ１４０の画素の基本配列は、図４に示すように、Ｒフィルタ、Ｇフィルタ、ＢフィルタおよびＷフィルタの４種のカラーフィルタによって構成されている。本実施形態の画素配列の基本配列は、４行２列の配列である。

本実施形態のＣＭＯＳイメージセンサ１４０は、輝度信号への寄与率の高いＧフィルタを市松状に配置している。Ｇフィルタを市松状に配置することにより、図３に示したベイヤ配列と同様の輝度解像度を確保することができる。

図５は、図４に示す基本配列を水平方向および垂直方向に繰り返して配列したときの画素配列を示す図である。図５は、繰り返し配列された画素配列の一部である、縦６×横４の配列を示す。実際には、画素は、図５に示された配列の上下左右にも続けて配列されている。例えば、図５の左上の８フィルタおよび、右上の８フィルタの一行上には、基本配列に従ってＧフィルタ、Ｗフィルタが配列されているが、説明の便宜上、図示を省略している。同様に、図５の左下の４フィルタおよび、右下の４フィルタの一行下にも、基本配列に従ってＷフィルタ、Ｇフィルタが配列されているが、図示を省略している。

＜１‐４．ビデオカメラの動作＞
以下、本実施形態のビデオカメラ１００の動作について説明する。合わせて、ビデオカメラ１００に搭載のＣＭＯＳイメージセンサ１４０の動作について説明する。

図６は、本実施形態のビデオカメラ１００の動作を示すフローチャートである。ビデオカメラ１００の電源をＯＮにすると、コントローラ１８０は、ビデオカメラ１００を構成する各部に電力を供給する。これにより、光学系１１０を構成する各レンズや、ＣＭＯＳイメージセンサ１４０等は、初期設定を行なうことができる。光学系１１０およびＣＭＯＳイメージセンサ１４０等の初期設定が終わると、ビデオカメラ１００は、撮影可能な状態となる。

ビデオカメラ１００は、撮影モードと再生モードの二つのモードを有している。再生モードでのビデオカメラ１００の動作についての説明は省略する。ビデオカメラ１００が撮影モードに設定されているときに撮影可能な状態となると、表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０により撮像され画像処理部１６０によって処理されたスルー画像の表示を開始する。

表示モニタ２２０がスルー画像を表示しているとき、コントローラ１８０は、静止画撮影の指示釦が押下されたか否か、および動画撮影の指示釦が押下されたか否かを監視している。コントローラ１８０は、いずれかの指示釦が押下されたのに従って、その指示されたモードにて撮影を開始する（Ｓ１００）。すなわち、コントローラ１８０は、静止画撮影の指示釦が押下されたときは、動作モードを静止画モードに設定する。また、コントローラ１８０は、動画撮影の指示釦が押下されたときは、動作モードを動画モードに設定する。

本実施形態のビデオカメラ１００のＣＭＯＳイメージセンサ１４０は、設定された動作モード（静止画モード／動画モード）に応じて、画像データの出力モードを切り替える（Ｓ１１０）。

具体的には、静止画モードが設定されている場合（ステップＳ１１０におけるＮＯ）、ＣＭＯＳイメージセンサ１４０は、加算部１４５で各画素からの出力に対して画素加算を行なうことなく、全画素から出力された信号から構成されるＲＡＷデータを出力する（Ｓ１５０）。これにより、静止画モードが設定されている場合は、高精細な画像データを出力することができる。

ここで、本実施形態のビデオカメラ１００は、動画モードにおいて、ＣＭＯＳイメージセンサ１４０の加算部１４５が各画素からの出力信号に対して画素加算を行なう画素加算モードと、加算部１４５が画素加算を行なわない画素非加算モードとの２つの出力モードを有する。画素加算モードと画素非加算モードとのいずれか一方をユーザによって予め選択可能である。動画モードにおいて、ＣＭＯＳイメージセンサ１４０の加算部１４５は、予め選択された出力モード（画素加算モード／画素非加算モード）に応じて、画像データの出力モードを切り替える（Ｓ１２０）。

具体的には、加算部１４５は、動作モードとして動画モードが選択されていたとき（ステップＳ１１０におけるＹｅｓ）、出力モードが画素加算モードに設定されているか否か判定する（Ｓ１２０）。

画素非加算モードが設定されている場合（Ｓ１２０におけるＮｏ）、ＣＭＯＳイメージセンサ１４０は、各画素からの出力信号に対して画素加算を行なうことなく、全画素の出力信号から構成されるＲＡＷデータを出力する（Ｓ１５０）。以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、Ｗフィルタが設置された画素を、それぞれ「画素Ｒ」、「画素Ｇ」、「画素Ｂ」、「画素Ｗ」と称する。

例えば、動画撮影において、フレームレートを多少低くしてでも、高精細な画像データを出力したい場合や、動画と静止画を同時に取得した場合などには、画素加算を行なうことなく全画素によるＲＡＷデータを出力することが有用である。

一方、画素加算モードが設定されている場合（ステップＳ１２０におけるＹｅｓ）、ＣＭＯＳイメージセンサ１４０は、画素加算において各画素（Ｒ、Ｇ、Ｂ、Ｗ）からの出力信号を加算するときの比率を選択する（Ｓ１３０）。

なお、画素加算での比率を選択する構成を有さなくてもよい。その場合、予め所定の加算比率を設定しておけばよい。

ＣＭＯＳイメージセンサ１４０の加算部１４５は、選択された加算比率に従って、各画素（Ｒ、Ｇ、Ｂ、Ｗ）からの出力信号に対して画素加算処理を行なう。そして加算部１４５は、画素加算した結果得られた信号を出力する（Ｓ１４０）。以下、画素Ｒ、Ｇ、Ｂ、Ｗからの出力信号を、それぞれ「信号Ｒ」、「信号Ｇ」、「信号Ｂ」、「信号Ｗ」と称する。

以上のように各画素Ｒ、Ｇ、Ｂ、Ｗからの出力信号Ｒ、Ｇ、Ｂ、Ｗに対して画素加算を行なうことは、例えば、動画撮影においてフレームレートを上げて滑らかな画像を取得したい場合や、低照度時にＳ／Ｎを改善したい場合などに有用である。

＜１‐５．画素加算動作＞
以下、ＣＭＯＳイメージセンサ１４０による画素加算動作の詳細について説明する。

図７は、本実施形態での画素加算動作を説明するための図である。なお、図７に示す画素配列において、画素Ｒの水平方向に隣接した画素Ｇを「画素Ｇｒ」、また画素Ｂの水平方向に隣接した画素Ｇを「画素Ｇｂ」と称する。画素加算動作は、図７で示す６行４列の画素配列を単位として行なわれる。

ＣＭＯＳイメージセンサ１４０は、各画素（Ｒ、Ｇｒ、Ｇｂ、Ｂ、Ｗ）からの出力信号（Ｒ、Ｇｒ、Ｇｂ、Ｂ、Ｗ）に対して、下記の式１を用いた演算を行ない、加算された信号（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’）を生成する。例えば、複数の画素Ｒ（Ｒ１〜Ｒ４）から出力された複数の信号Ｒ（Ｒ１〜Ｒ４）を加算して１つの信号Ｒ’を生成する。

（式１）
Ｒ’＝（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）／４
Ｂ’＝（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／４
Ｇｒ’＝（Ｇｒ１＋Ｇｒ２＋Ｇｒ３＋Ｇｒ４）／４
Ｇｂ’＝（Ｇｂ１＋Ｇｂ２＋Ｇｂ３＋Ｇｂ４）／４
Ｗ’＝（Ｗ１＋Ｗ２＋Ｗ３＋Ｗ４）／４

図８は、式１に基づく画素加算処理の結果得られた各画素（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’）の、それぞれの位置を示す図である。位置Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’は、それぞれ複数の画素Ｒ、Ｇｒ、Ｇｂ、Ｂ、Ｗの重心位置を示す。つまり、例えば、本図における位置Ｒ’は、複数の画素Ｒ（Ｒ１〜Ｒ４）の重心位置を示す。他の位置Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’についても同様である。

加算部１４５は、各信号（Ｒ、Ｇｒ、Ｇｂ、Ｂ、Ｗ）に対して画素加算を行ない、画素加算の結果得られた信号（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’）をＡＤＣ１５０に出力する。このとき、各信号Ｒ’ 、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’は、画素加算に用いた複数の画素の重心位置で生成されたものとして出力される。例えば、信号Ｒ’は、複数の画素Ｒ（Ｒ１〜Ｒ４）の重心位置で生成されたものとして出力される。

図８に示すように、各複数の画素（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の重心位置は、ベイヤ配列（図３）と同じである。つまり、加算部１４５は、画素加算の結果得られた信号（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’）を、ベイヤ配列型に配置して出力する。

すなわち、本実施形態では、ＣＭＯＳイメージセンサ１４０において、画素加算処理の結果がベイヤ配列型の出力となるよう、カラーフィルタ（Ｒ、Ｇ、Ｂ、Ｗ）が配置されている。

このように、信号（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’）がベイヤ配列型で出力されるので、後段の処理装置に、ベイヤ配列型に対応する従来の処理装置を利用できるという利点がある。

また、加算部１４５は、複数の画素Ｗ（Ｗ１〜Ｗ４）から出力された信号Ｗを加算し、信号Ｗ’を出力する。このとき、信号Ｗ’は、複数の画素Ｗ（Ｗ１〜Ｗ４）の重心位置（図８の位置Ｗ’）で生成されたものとして出力される。図８に示すように、複数の画素Ｗ（Ｗ１〜Ｗ４）の重心位置Ｗ’は、位置Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’の重心と一致する。つまり信号Ｗ’の出力位置Ｗ’がベイヤ配列の中央にあるために、信号Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’を用いた信号処理に際しても偽色など重心ずれ起因のエラーが発生しにくい。

＜１‐６．画像処理部の動作＞
＜１‐６‐１．画素加算モードでの信号処理＞
図６を参照して説明したように、画素加算モードが選択されているとき、ＣＭＯＳイメージセンサ１４０は、画素加算で生成した信号Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’を出力する。

以下、ＣＭＯＳイメージセンサ１４０が画素加算で生成した信号Ｒ’、Ｇｒ’、Ｇｂ'、Ｂ’、Ｗ’を出力した場合の、画像処理部１６０での信号処理について説明する。

画像処理部１６０は、ＣＭＯＳイメージセンサ１４０から出力された信号Ｒ’、Ｇｒ’、Ｇｂ'、Ｂ’、Ｗ’に基づいて輝度信号を生成する。

具体的には、画像処理部１６０は、下記の式２を用いて、輝度信号の低域成分ＹＬを、信号Ｒ'、Ｇｒ'、Ｇｂ'、Ｂ'の低域成分であるＲ’Ｌ、Ｇｒ’Ｌ、Ｇｂ’Ｌ、Ｂ’Ｌから生成する。式２内の各定数はＢＴＡ Ｓ−００１Ｃの標準規格にて規定されている係数である。

（式２）
ＹＬ＝０．２１３＊Ｒ’Ｌ＋０．７１５＊（Ｇｒ’Ｌ＋Ｇｂ’Ｌ）／２＋０．０７２＊Ｂ’Ｌ

なお、低域成分ＹＬは下記の式３に基づいて生成されてもよい。ここで、式３における低域成分Ｒ’Ｌ、Ｇｒ’Ｌ、Ｇｂ’Ｌ、Ｂ’Ｌの係数は、例えば無彩色の被写体を撮像した場合に生じうるモアレを抑圧するのに有効な係数である。

（式３）
ＹＬ＝０．２５＊Ｒ’Ｌ＋０．５＊（Ｇｒ’Ｌ＋Ｇｂ’Ｌ）／２＋０．２５＊Ｂ’Ｌ

また、画像処理部１６０は、輝度信号の高域成分ＹＨを、下記の式４を用いて、信号Ｇｒ’、信号Ｇｂ’のそれぞれの高域成分Ｇｒ’Ｈ、Ｇｂ’Ｈから求める。

（式４）
ＹＨ＝（Ｇｒ’Ｈ＋Ｇｂ’Ｈ）／２

そして画像処理部１６０は、下記の式５を用いた演算を行なうことにより、輝度信号Ｙを生成する。

（式５）
Ｙ＝ＹＨ＋ＹＬ＋ｍ＊Ｗ’Ｌ、 ０≦ｍ

具体的には画像処理部１６０は、得られた低域成分ＹＬおよび高域成分ＹＨに対して、係数ｍを乗算した信号Ｗ’の低域成分Ｗ’Ｌを加算して輝度信号Ｙを構成する。係数ｍは例えば照度やレンズの絞り値のレベルに応じてコントローラ１８０により設定されてもよい。

なお、信号ＷはＲ、Ｇ、Ｂすべての成分を有するので、信号Ｗ’内のＲ、Ｂ成分(Ｒ"、Ｂ")を、下記の式６を用いた演算によって生成することも可能である。すなわち、信号Ｗ’内のＲ、Ｂ成分(Ｒ"、Ｂ")を、画素加算で生成された信号Ｗ’から信号Ｒ'、信号Ｂ'、信号Ｇｒ'、信号Ｇｂ'を減算することにより算出できる。

（式６）
Ｒ”Ｌ＝Ｗ’Ｌ−（Ｇｒ’Ｌ＋Ｇｂ’Ｌ）／２−Ｂ’Ｌ
Ｂ”Ｌ＝Ｗ’Ｌ−（Ｇｒ’Ｌ＋Ｇｂ’Ｌ）／２−Ｒ’Ｌ

画像処理部１６０は、得られた信号Ｒ”、Ｂ”を信号Ｒ’、Ｂ’に加算して色信号として使用してもよい。

＜１‐６‐２．画素非加算モードでの信号処理＞
画素非加算モードが選択された場合の画像処理部１６０における信号処理について図５の画素配列を用いて説明する。図５は、前述の通り、本実施形態でのＣＭＯＳイメージセンサ１４０の画素の配列を示す図である。

図５に示すように、画素Ｇはベイヤ配列（図３）と同様に市松状に配列されているので、画素Ｇからの出力信号Ｇの高域成分ＧＨに基づく輝度信号は高解像度が期待できる。

さらには、画素加算時と同様に、信号Ｗを輝度信号の低域成分ＹＬに加算することで感度の向上やＳ／Ｎの改善が可能である。

なお、信号Ｗの低域成分ＷＬに係数ｍを乗算してＹＬ成分に加算してもよい。このとき、係数ｍは撮影条件に応じてコントローラ１８０により調節される。

以上の演算に相当するのが下記の式７である。輝度信号Ｙは輝度信号Ｙの高域成分ＹＨと低域信号ＹＬの加算で構成する。

（式７）
ＹＬ＝０．２１３＊ＲＬ＋０．７１５＊ＧＬ＋０．０７２＊ＢＬ＋ｍ＊ＷＬ
ＹＨ＝ＧＨ
Ｙ＝ＹＨ＋ＹＬ
ｍ≧０

＜１−７．本実施形態のまとめ＞
本実施形態のビデオカメラ１００は、複数の画素を有し、受光した光から画素毎に画像情報を生成するＣＭＯＳイメージセンサ１４０を備える。ＣＭＯＳイメージセンサ１４０の各画素に対して、Ｒフィルタ、Ｂフィルタ、Ｇフィルタ、およびＷフィルタのいずれかが設けられる。Ｒフィルタ、Ｂフィルタ、Ｇフィルタ、およびＷフィルタは互いに異なる分光特性を有している。ＷフィルタはＲフィルタ、Ｂフィルタ、およびＧフィルタのいずれよりも高い光透過率を有する。Ｒフィルタ、Ｂフィルタ、Ｇフィルタ、およびＷフィルタは特定の配列で配置される。特定の配列は、Ｒフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素Ｒの重心位置である第一の重心位置Ｒ’と、Ｂフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素Ｂの重心位置である第二の重心位置Ｂ’と、Ｇフィルタの透過光に基づき生成される画素情報に対する画素加算処理において使用される複数の画素Ｇの重心位置である第三の重心位置Ｇ’とが、ベイヤ配列となるような配列である。第一の画素加算処理によってＲフィルタに対応する色に関する画素情報が生成され、第二の画素加算処理によってＢフィルタに対応する色に関する画素情報が生成され、第三の画素加算処理によってＧフィルタに対応する色に関する画素情報が生成される。

上記構成を有するビデオカメラ１００は、複数の画素Ｒ、Ｂ、Ｇから出力された信号Ｒ、Ｂ、Ｇを加算して、対応する１つの信号Ｒ’、Ｂ’、Ｇ’を生成する。そして生成した信号Ｒ’、Ｂ’、Ｇ’をベイヤ配列に配列して出力する。これにより、信号（画像情報）をより効率良く出力できる。

＜２．実施形態２＞
以下、実施形態２について説明する。

本実施形態でのビデオカメラ１００の構成および動作は、実施形態１でのビデオカメラ１００の構成および動作と基本的に同じである。しかし、本実施形態の画素の加算方法が、実施形態１の画素の加算方法と異なる。

図９は、本実施形態での画素加算を説明するための図である。本実施形態でのフィルタ配列は、実施形態１でのフィルタ配列と同じである。

実施形態１（図７）では、画素Ｇｒ、Ｇｂについて４つの画素を加算した。これに対し、本実施形態では画素Ｇｒ、Ｇｂについて６つの画素をそれぞれ加算する。他の色の画素の信号（Ｒ、Ｂ、Ｗ）については、実施形態１と同様、４つの画素を加算する。

具体的には、ＣＭＯＳイメージセンサ１４０の加算部１４５は、各画素からの出力信号に対して、下記の式８を用いた演算を行なう。

（式８）
Ｒ’＝（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）／４
Ｂ’＝（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／４
Ｇｒ’＝（Ｇｒ１＋Ｇｒ２＋Ｇｒ３＋Ｇｒ４＋Ｇｒ５＋Ｇｒ６）／６
Ｇｂ’＝（Ｇｂ１＋Ｇｂ２＋Ｇｂ３＋Ｇｂ４＋Ｇｂ５＋Ｇｂ６）／６
Ｗ’＝（Ｗ１＋Ｗ２＋Ｗ３＋Ｗ４）／４

図１０は、式８を用いた画素加算処理の結果得られた各画素Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’の位置を示す図である。例えば、位置Ｇｒ’は、複数の画素Ｇｒ（Ｇｒ１〜Ｇｒ６）の重心位置を示す。加算部１４５は、複数の信号Ｇｒ（Ｇｒ１〜Ｇｒ６）を加算して信号Ｇｒ’を生成し、信号Ｇｒ’が位置Ｇｒ’で生成されたものとして信号Ｇｒ’を出力する。他の色の信号（Ｒ、Ｇｂ、Ｂ、Ｗ）についても同様である。

式８を用いた演算を行なった場合も、図１０に示すように、画素加算処理の結果得られた信号Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’の位置の配列は、ベイヤ配列と同じである。本実施形態では、ＣＭＯＳイメージセンサ１４０のカラーフィルタＲ、Ｇ、Ｂ、Ｗは、画素加算処理の結果がベイヤ配列型の出力となるよう、配置されている。

これにより加算部１４５は、実施形態１と同様、より効率良く信号（画像情報）を出力できる。

更には、図１０に示すように、加算部１４５は、画素加算の結果得られた信号Ｗ’がベイヤ配列（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’）の中央に位置するよう、信号Ｗ’を生成し出力する。これにより、実施形態１と同様、信号Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’を用いた信号処理に際しても偽色など重心ずれ起因のエラーが発生しにくい。

また、加算する画素の数が増えると、ノイズ低減の効果が増す。

＜３．実施形態３＞
以下、図１１〜図１４を参照して実施形態３について説明する。

本実施形態の基本配列は、実施形態１の基本配列（図４）と異なる。それに伴って、画素加算の対象となる画素の位置が、実施形態１と異なる。それ以外のビデオカメラ１００の構成および動作は実施形態１と同様である。

図１１は、本実施形態での画素の基本配列を示す図である。

図１１に示すように、本実施形態でのカラーフィルタの基本配列は、６行２列の配列である。本実施形態の基本配列でも、実施形態１での基本配列（図４）と同様に、４種のカラーフィルタ（Ｒ、Ｇ、Ｂ、およびＷ）が配列され、かつＧが市松状に配列される。

図１２は、図１１に示す本実施形態の基本配列を水平方向および垂直方向に繰り返して配列したときの画素の配列を示す図である。実際のＣＭＯＳイメージセンサ１４０上には図１２の左上の１０フィルタおよび右上の１０フィルタの一行上には基本配列に従って画素Ｇ、Ｗが配列されているが、図１２では、説明の便宜上、配列された画素の一部である、縦１０×横４の配列を示している。同様に、図１２の左下の１０フィルタおよび、右下の１０フィルタの一行下にも、基本配列に従って画素Ｗ、Ｇが配列されているが、図示を省略している。

図１３は、本実施形態での画素加算を説明するための図である。図１３では、画素Ｒに隣接する画素Ｇを「画素Ｇｒ」、画素Ｂに隣接する画素Ｇを「画素Ｇｂ」と表記している。さらにはＷに関しては加算対象となる４つの画素Ｗを画素Ｗ１からＷ４と表記している。

ＣＭＯＳイメージセンサ１４０の加算部１４５は、このように配列された各画素からの出力に対して、実施形態１において説明した式１を用いた演算を行なう。

図１４は、本実施形態の画素加算の結果得られた画素Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’の、それぞれの位置を示す図である。例えば、位置Ｒ’は、複数の画素Ｒ（添え字が付いたＲによって示される画素のみ）の重心位置を示す。他の色の画素Ｇｒ、Ｇｂ、Ｂ、Ｗについても同様である。図１４に示すように、本実施形態では、画素Ｗに対する画素加算の対象となるのは、画素Ｗの重心位置Ｗ’の近傍に存在する画素Ｗ１〜Ｗ４である。

図１４に示すように、画素加算処理の対象となった複数の画素Ｒ、Ｇｒ、Ｇｂ、Ｂの重心位置Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’の配列はベイヤ配列（図３）と同じである。本実施形態では、ＣＭＯＳイメージセンサ１４０において、画素加算処理の結果がベイヤ配列型の出力となるよう、カラーフィルタ（Ｒ、Ｇ、Ｂ、Ｗ）が配置されている。

更には、図１４に示すように、画素加算の結果得られた信号Ｗ’は、複数の画素Ｗの重心位置Ｗ’で生成されたものとして出力される。位置Ｗ’がベイヤ配列（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’）の中央に位置するために、実施形態１と同様、信号Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’を用いた信号処理に際しても偽色など重心ずれ起因のエラーが発生しにくい。

＜４．実施形態４＞
図１５〜図１６を参照して実施形態４について説明する。本実施形態での画素配列は実施形態３と同じであるが、本実施形態で画素加算の対象となる画素の数が実施形態３と異なる。それ以外のビデオカメラ１００の構成および動作は実施形態３と同様である。

実施形態３（図１３）では画素Ｇｒ、Ｇｂそれぞれについて４つの画素を加算した。しかし加算される画素Ｇｒ、Ｇｂの数は、実施形態２（図９）と同様に、４以外でもよい。本実施形態の加算部１４５は、画素Ｇｒ、Ｇｂそれぞれについて８つの画素を加算する。

図１５は、本実施形態での画素加算を説明するための図である。本実施形態の加算部１４５は、複数の画素Ｇｒ１〜Ｇｒ８からの出力信号Ｇｒ１〜Ｇｒ８を加算して１つの信号Ｇｒ’を生成し、複数の画素Ｇｂ１〜Ｇｂ８からの出力信号Ｇｂ１〜Ｇｂ８を加算して１つの信号Ｇｂ’を生成する。他の色の画素（Ｒ、Ｂ、Ｗ）については実施形態３と同様である。

具体的には、加算部１４５は、下記の式９を用いた演算を行なう。

（式９）
Ｒ’＝（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）／４
Ｂ’＝（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／４
Ｇｒ’＝（Ｇｒ１＋Ｇｒ２＋Ｇｒ３＋Ｇｒ４＋Ｇｒ５＋Ｇｒ６＋Ｇｒ７＋Ｇｒ８）／８
Ｇｂ’＝（Ｇｂ１＋Ｇｂ２＋Ｇｂ３＋Ｇｂ４＋Ｇｂ５＋Ｇｂ６＋Ｇｂ７＋Ｇｂ８）／８
Ｗ’＝（Ｗ１＋Ｗ２＋Ｗ３＋Ｗ４）／４

図１６は、本実施形態での各画素の重心位置を示す図である。図１６に示す通り、画素加算の対象となった複数の画素Ｇｒ（Ｇｒ１〜Ｇｒ８）、Ｇｂ（Ｇｂ１〜Ｇｂ８）の重心位置Ｇｒ’、Ｇｂ’は、実施形態３での複数の画素Ｇｒ（Ｇｒ１〜Ｇｒ４）、Ｇｂ（Ｇｂ１〜Ｇｂ４）の重心位置Ｇｒ’、Ｇｂ’（図１４）と同じである。

本実施形態の加算部１４５は、画素加算の結果得られた信号Ｇｒ’、Ｇｂ’をそれぞれ、複数の画素Ｇｒ、Ｇｂの重心位置Ｇｒ’、Ｇｂ’で生成されたものとして出力する。

以上のように画素加算を行なっても、実施形態１と同様の効果が得られる。

＜５．実施形態５＞
以下、図１７〜図２０を参照して実施形態５を説明する。本実施形態での画素の基本配列は実施形態１の基本配列および実施形態３の基本配列と異なる。それ以外のビデオカメラ１００の構成および動作は、実施形態１と同様である。

図１７は、本実施形態での画素の基本配列を示す図である。本実施形態の基本配列は４行４列の配列である。本実施形態の基本配列は、前述の実施形態１、３の基本配列と同様に、４種の画素Ｒ、Ｇ、Ｂ、Ｗで構成され、画素Ｇは市松状に配列される。

図１８は、ＣＭＯＳイメージセンサ１４０の画素配列を示す図である。図１８に示すように、本実施形態の基本配列がＣＭＯＳイメージセンサ１４０に水平方向および垂直方向に繰り返して配置される。図１８では、説明の便宜上、ＣＭＯＳイメージセンサ１４０に配列された画素の一部である、６行６列の配列を示す。

図１９は、本実施形態での画素加算を説明するための図である。図１９は、実施形態１（図７）および実施形態３（図１３）と同様に、画素Ｒに隣接する画素Ｇを「画素Ｇｒ」、画素Ｂに隣接する画素Ｇを「画素Ｇｂ」と表記する。そして、画素Ｗに関しては、画素加算の対象となる４つの画素Ｗを画素Ｗ１からＷ４と表記する。

ＣＭＯＳイメージセンサ１４０の加算部１４５は、各画素からの出力に対して、実施形態１で説明した式１を用いた演算を行なう。

図２０は、画素加算の結果得られた各画素（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’）の位置を示す図である。例えば、位置Ｒ’は、複数の画素Ｒ（Ｒ１〜Ｒ４）の重心位置を示す。信号Ｒ’は位置Ｒ’で生成されたものとして出力される。他の位置（Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’）についても同様である。

図２０に示すように、画素加算処理の結果得られた信号Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’の出力位置Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’の配列は、ベイヤ配列（図３）と同じである。本実施形態では、ＣＭＯＳイメージセンサ１４０は、画素加算処理の結果がベイヤ配列型の出力となるよう、カラーフィルタ（Ｒ、Ｇ、Ｂ、Ｗ）が配置されている。更には、図２０に示すように信号Ｗ’が出力される位置Ｗ’はベイヤ配列の中央であるために、実施形態１と同様、信号Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’、Ｗ’を用いた信号処理に際しても偽色など重心ずれ起因のエラーが発生しにくい。

＜６．実施形態６＞
以下、図２１〜図２２を参照して実施形態６について説明する。本実施形態の基本配列は実施形態５と同じである。しかし、本実施形態での画素加算の対象となる画素の数が、実施形態５と異なる。

加算する画素の数の増大は更なるＳ／Ｎの改善を可能とする。従って、実施形態２（図９）および実施形態４（図１５）に示した例と同様に、加算する画素を増加させてもよい。

図２１は本実施形態での画素加算を説明するための図である。本実施形態の加算部１４５は、実施形態５での画素加算よりも多い数の画素を加算し、さらには重心位置の画素Ｒ（Ｒ３）、Ｂ（Ｂ３）、Ｇｒ（Ｇｒ３）、Ｇｂ（Ｇｂ３）も画素加算の対象に加える。これにより加算部１４５は、画素Ｒ、Ｂ、Ｇｒ、Ｇｂについては５画素平均を算出し、画素Ｗについては８画素平均を算出する。

具体的には、ＣＭＯＳイメージセンサ１４０の加算部１４５は、各画素からの出力に対して、下記の式１０を用いた演算を行なう。

（式１０）
Ｒ’＝（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４＋Ｒ５）／５
Ｂ’＝（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４＋Ｂ５）／５
Ｇｒ’＝（Ｇｒ１＋Ｇｒ２＋Ｇｒ３＋Ｇｒ４＋Ｇｒ５）／５
Ｇｂ’＝（Ｇｂ１＋Ｇｂ２＋Ｇｂ３＋Ｇｂ４＋Ｇｂ５）／５
Ｗ’＝（Ｗ１＋Ｗ２＋Ｗ３＋Ｗ４＋Ｗ５＋Ｗ６＋Ｗ７＋Ｗ８）／８

図２２は、本実施形態での画素加算の結果得られた各画素（Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’）の位置を示す図である。例えば位置Ｒ’は、図２０と同様、複数の画素Ｒの重心位置を示す。信号Ｒ’は、位置Ｒ’で生成されたものとして出力される。他の位置Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’についても同様である。図２２に示すように、本実施形態での各画素の重心位置Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’は、実施形態５（図２０）と同じである。

本実施形態の画素加算によっても、実施形態１と同様の効果が得られる。

＜７．実施形態７＞
以下、図２３〜図２４を参照して実施形態７について説明する。上記実施形態の加算部１４５は複数の画素からの出力信号の相加平均を算出したが、本実施形態の加算部１４５は加重平均を算出する。

図２３は、本実施形態での画素加算を説明するための図である。本実施形態の画素配列は実施形態６の画素配列（図２１）と同じである。しかし本実施形態で画素加算の対象となる画素が、実施形態６と異なる。本実施形態の画素加算では、菱形を形作るよう位置する複数の画素Ｇｒ、Ｇｂを対象とする。

図２４は、本実施形態での画素加算の結果得られた各画素（Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’）の位置を示す図である。例えば位置Ｒ’は、図２２と同様、複数の画素Ｒの重心位置を示す。本実施形態での各重心位置Ｒ’、Ｂ’、Ｇｒ’、Ｇｂ’、Ｗ’は、実施形態６での各重心位置Ｒ’、Ｂ’、Ｇｒ’、Ｇｂ’、Ｗ’と同じである。

加算部１４５は、下記の式１１を用いた演算を行なう。

（式１１）
Ｒ’＝（Ｒ１＋Ｒ２＋Ｒ４＋Ｒ５）＊（１−ｋ）＋Ｒ３＊ｋ
Ｂ’＝（Ｂ１＋Ｂ２＋Ｂ４＋Ｂ５）＊（１−ｋ）＋Ｂ３＊ｋ
Ｇｒ’＝（Ｇｒ１＋Ｇｒ２＋Ｇｒ４＋Ｇｒ５）＊（１−ｋ）＋Ｇｒ３＊ｋ
Ｇｂ’＝（Ｇｂ１＋Ｇｂ２＋Ｇｂ４＋Ｇｂ５）＊（１−ｋ）＋Ｇｂ３＊ｋ
Ｗ’＝（Ｗ１＋Ｗ８）／２＊ｑ＋(Ｗ２＋Ｗ７)／２＊ｒ＋（Ｗ３＋Ｗ６）／２＊ｓ＋（Ｗ４+Ｗ５）／２＊ｔ

式１１に基づく演算において、例えば、重心位置Ｒ’上に存在する画素Ｒ３からの出力信号Ｒ３は、他の画素Ｒ（Ｒ１、Ｒ２、Ｒ４、Ｒ５）よりも大きな係数ｋを乗じて加算される。他の色に関する信号Ｂ３、Ｇｒ３、Ｇｂ３についても同様である。これにより、重心位置上に存在する画素からの信号の、画素加算結果への寄与を大きくすることができる。

なお、式１１における係数ｋ、ｑ、ｒ、ｓ、ｔは、下記の式１２で示す条件を満たすよう設定される。

（式１２）
０≦ｋ≦1、０≦（ｑ＋ｒ＋ｓ＋ｔ）≦１

なお、本実施形態では式１１に基づいて加重平均を算出したが、式１０に基づいて相加平均を算出してもよい。

＜８．実施形態８＞
以下、図２５〜図２８を参照して実施形態８について説明する。上記実施形態１〜７では、ＣＭＯＳイメージセンサ１４０の画素配列において画素Ｇが市松状に配置された。これに対し、本実施形態では画素Ｇが市松状に配置されない。ただし、各画素は、上記実施形態１〜７と同様に、画素加算の結果がベイヤ配列の出力となるよう配列される。

図２５は、本実施形態の基本配列を示す図である。本実施形態のＣＭＯＳイメージセンサ１４０は、画素Ｇを市松状に配列していないが、信号Ｒ、Ｇ、Ｂ、Ｗの画素加算の結果がベイヤ配列となるよう、画像信号を出力する。本実施形態の基本配列は４行４列であり、上記実施形態１〜７と同様に４種の画素Ｒ、Ｇ、Ｂ、およびＷを使用して構成される。

図２６は、本実施形態の基本配列（図２５）を繰り返し配列したときの、画素配列を示す図である。図２６は、説明の便宜上、本実施形態の画素配列の一部である、６行４列の画素配列を示す。

図２７は、本実施形態の画素加算を説明するための図である。本実施形態の加算部１４５は、画素ＲおよびＢに関しては６画素を画素加算の対象とし、画素Ｇｒ、Ｇｂ、およびＷに関しては４画素を画素加算の対象とする。

図２８は、本実施形態での画素加算の結果得られた各画素Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’の位置を示す図である。例えば位置Ｒ’は、図２２と同様、複数の画素Ｒの重心位置を示す。加算部１４５は、画素加算で得られた信号Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’をそれぞれ、位置Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’で生成されたものとして出力する。

本実施形態の画素加算によれば、ＣＭＯＳイメージセンサ１４０の画素配列において画素Ｇが市松状に配列されていなくても、出力信号Ｇが市松状に配列されるよう、画像信号を出力できる。

＜９．実施形態９＞
以下、図２９〜図３０を参照して実施形態９について説明する。上記実施形態１〜８では画素は垂直方向および水平方向に並べて配列された（正方配列）。これに対して、本実施形態の画素は、斜め方向に配列される（斜行配列）。

画素配列を斜行配列とすることで画素間距離は正方配列の１／√２となるために、水平方向、垂直方向の解像度について有利である。

図２９は、本実施形態の画素配列を示す図である。本実施形態の画素配列は、実施形態１の画素配列を４５度回転したものである。それ以外は同じである。

図２９に示すように配列された画素からの出力に対して、加算部１４５は画素加算を行なう。このときの演算は実施形態１での演算（式１）と同じでよい。例えば、加算部１４５は信号Ｒを加算して信号Ｒ’を生成する。他の色の信号Ｇｂ、Ｇｒ、Ｂ、Ｗについても同様である。

図３０は、本実施形態での画素加算の結果得られた各画素Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’の位置を示す図である。例えば、位置Ｒ’は、複数の画素Ｒの重心位置を示す。他の位置Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’についても同様である。

加算部１４５は、画素加算で生成した信号Ｒ’を、位置Ｒ’で生成されたものとして出力する。他の色の信号Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’についても同様である。

以上のように、本実施形態によれば、画素配列が斜行配列であっても、信号Ｒ’、Ｇ’、Ｂ’をベイヤ配列型で出力でき、かつ信号Ｗ’をベイヤ配列の中心位置に出力できる。よって、上記実施形態と同様、より効率良く信号を出力できる。

＜１０．実施形態１０＞
以下、図３１〜図３２を参照して実施形態１０について説明する。
図３１は、本実施形態の画素加算について説明するための図である。本実施形態の画素配列は実施形態９（図２９）と同じである。実施形態９では画素Ｇｂ、Ｇｒについてそれぞれ４画素を画素加算の対象とした。これに対し、本実施形態では画素Ｇｂ、Ｇｒについてそれぞれ６画素を画素加算の対象とする。

ＣＭＯＳイメージセンサ１４０の加算部１４５は、実施形態２の画素加算における演算（式８）と同様の演算を行なって、信号Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’を生成する。

図３２は、本実施形態での画素加算の結果得られた各画素（Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’）の位置を示す図である。位置Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’は、各複数の画素Ｒ、Ｇｂ、Ｇｒ、Ｂ、Ｗの重心位置を示す。加算部１４５は、生成した信号Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’をそれぞれ、位置Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’、Ｗ’で生成されたものとして出力する。

本実施形態によっても、前述の実施形態と同様の効果が得られる。

＜１１．実施形態１１＞
以下、図３３を参照して実施形態１１について説明する。上記実施形態１〜１０においては、ＣＭＯＳイメージセンサ１４０のカラーフィルタの配列にＷフィルタを用いたが、本実施形態では、Ｗフィルタの代わりに黄色フィルタ（以下、「Ｙｅフィルタ」と称する）を用いる。ただし、本実施形態のＹｅフィルタは、ＣＭＯＳイメージセンサ１４０のＧフィルタより光透過率が高い。

図３３は、本実施形態の画素配列を示す図である。本実施形態は、実施形態１（図５）と比べると、ＷフィルタをＹｅフィルタに置換している以外は同じである。本実施形態の加算部１４５は、図３３で示す各画素からの出力信号に対して、実施形態１での画素加算における演算（式１）と同様の演算を行ない、演算の結果得られた信号を各画素の重心位置に出力する。

なお、本実施形態ではＧフィルタより光透過率の高いカラーフィルタとしてＹｅフィルタを使用した。しかしＧフィルタより光透過率の高いフィルタであれば、Ｙｅフィルタ以外のフィルタが使用されてもよい。

＜１２．実施形態１２＞
以下、図３４を参照して実施形態１２について説明する。
図３４は、本実施形態の画素配列を示す図である。本実施形態では、Ｒフィルタに代わって例えばＹｅフィルタ、Ｂフィルタに代わってシアン色フィルタ（以下、「Ｃｙフィルタ」と称する）を使用する。

本実施形態の加算部１４５は、図３４で示す各画素から得られた信号に対して、ＡＤＣ１５０へ出力される信号（画像情報）が上記実施形態１〜１１と同様にベイヤ配列型となるよう、画素加算を行なう。

なお、本実施形態ではＹｅフィルタおよびＣｙフィルタを使用したが、ＹｅフィルタおよびＣｙフィルタ以外のカラーフィルタを使用してもよい。要するに、画素加算の結果がベイヤ配列の出力となるようカラーフィルタが配列されればよい。

＜１３．他の実施形態＞
以上により、実施形態を説明した。しかし、上記実施形態の思想は、上記実施形態に限定されない。以下、上記実施形態の思想を適用できる他の実施形態をまとめて説明する。

上記の実施形態では、撮像手段として、ＣＭＯＳイメージセンサ１４０を例示したが、撮像手段はこれに限定されない。例えば、撮像手段を、ＣＣＤイメージセンサやＮＭＯＳイメージセンサで構成してもよい。

上記の実施形態では、画素加算が静止画像撮影時に行われなかった。しかし、静止画像撮影時にも画素加算が行われてもよい。例えば、連射撮影時に画素加算が行われてもよい。

また、画像処理部１６０とコントローラ１８０とは、１つの半導体チップで構成してもよく、別々の半導体チップで構成してもよい。

上記実施形態では、ＣＭＯＳイメージセンサ１４０は画素加算を行ない、加算された画素を出力する加算部１４５を内蔵したが、上記実施形態の思想はこれに限定されない。すなわち、ＣＭＯＳイメージセンサ１４０よりも後段の演算処理装置（例えば、画像処理部１６０）により画素加算を行うようにしてもよい。これによっても、信号（画像情報）をより効率良く出力できる。

以上のように、上記実施形態によれば、ＣＭＯＳイメージセンサ１４０で生成された信号の配列を画素加算によって処理効率の高いベイヤ型の配列に変換できる。これにより、静止画像撮影用の高精細なイメージセンサを動画像撮影に用いたとしても、効率良く画素処理を施すことができるので、動画像撮影においても、より容易に適切なフレームレートを設定できる。

上記実施形態の思想は、ビデオカメラ１００だけでなく、デジタルスチルカメラ、撮像素子を搭載する情報端末などにも適用可能である。

１００ ビデオカメラ
１１０ 光学系
１２０ レンズ駆動部
１３０ シャッタ
１４０ ＣＭＯＳイメージセンサ
１４５ 加算部
１５０ Ａ／Ｄコンバータ
１６０ 画像処理部
１７０ バッファ
１８０ コントローラ
１９０ カードスロット
２００ メモリカード
２１０ 操作部材
２２０ 表示モニタ
２４０ 内部メモリ

Claims (8)

1. 複数の画素を有し、受光した光から画素毎に画像情報を生成する撮像素子を備え、
   前記撮像素子の各画素に対して、第一ないし第四のカラーフィルタのいずれかが設けられ、
   前記第一ないし第四のカラーフィルタは互いに異なる分光特性を有しており、前記第四のカラーフィルタは前記第一ないし第三のカラーフィルタのいずれよりも高い光透過率を有し、
   前記第一ないし第四のカラーフィルタは特定の配列で配置され、
   前記特定の配列は、前記第一のカラーフィルタの透過光に基づき生成される画素情報に対する第一の画素加算処理において使用される複数の画素の重心位置である第一の重心位置と、前記第二のカラーフィルタの透過光に基づき生成される画素情報に対する第二の画素加算処理において使用される複数の画素の重心位置である第二の重心位置と、前記第三のカラーフィルタの透過光に基づき生成される画素情報に対する第三の画素加算処理において使用される複数の画素の重心位置である第三の重心位置とが、ベイヤ配列となるような配列であり、
   前記第一の画素加算処理によって前記第一のカラーフィルタに対応する色に関する画素情報が生成され、前記第二の画素加算処理によって前記第二のカラーフィルタに対応する色に関する画素情報が生成され、前記第三の画素加算処理によって前記第三のカラーフィルタに対応する色に関する画素情報が生成されることを特徴とする、
   撮像装置。
2. 前記第四のカラーフィルタは、前記第四のカラーフィルタの透過光に基づき生成される画素情報に対する第四の画素加算処理において使用される複数の画素の重心位置が、前記第一ないし第三の重心位置の重心に位置するよう、配列され、
   前記第四の画素加算処理によって前記第四のカラーフィルタに対応する色に関する画素情報が生成される、
   請求項１に記載の撮像装置。
3. 前記第三のカラーフィルタは市松状に配列されている、
   請求項１又は２に記載の撮像装置。
4. 前記画素加算処理において、画素の重心位置により近い位置にある画素に対する前記画素加算処理における重み付けをより大きくする、
   請求項１から３のいずれかに記載の撮像装置。
5. 前記撮像素子は、前記画素加算処理を実行する画素加算部を備える
   請求項１から４のいずれかに記載の撮像装置。
6. 前記第一のカラーフィルタは、Ｒフィルタであり、
   前記第二のカラーフィルタは、Ｂフィルタであり、
   前記第三のカラーフィルタは、Ｇフィルタである、
   請求項１から５のいずれかに記載の撮像装置。
7. 前記第四のカラーフィルタは、Ｗフィルタである、
   請求項２から６のいずれかに記載の撮像装置。
8. 複数の画素を有し、受光した光から画素毎に画像情報を生成する撮像素子であって、
   前記複数の画素のそれぞれに対して、第一ないし第四のカラーフィルタのいずれかが設けられ、
   前記第一ないし第四のカラーフィルタは互いに異なる分光特性を有しており、前記第四のカラーフィルタは前記第一ないし第三のカラーフィルタのいずれよりも高い光透過率を有し、
   前記第一ないし第四のカラーフィルタは特定の配列で配置され、
   前記特定の配列は、前記第一のカラーフィルタの透過光に基づき生成される画素情報に対する第一の画素加算処理において使用される複数の画素の重心位置である第一の重心位置と、前記第二のカラーフィルタの透過光に基づき生成される画素情報に対する第二の画素加算処理において使用される複数の画素の重心位置である第二の重心位置と、前記第三のカラーフィルタの透過光に基づき生成される画素情報に対する第三の画素加算処理において使用される複数の画素の重心位置である第三の重心位置とが、ベイヤ配列となるような配列であり、
   前記第一の画素加算処理によって前記第一のカラーフィルタに対応する色に関する画素情報が生成され、前記第二の画素加算処理によって前記第二のカラーフィルタに対応する色に関する画素情報が生成され、前記第三の画素加算処理によって前記第三のカラーフィルタに対応する色に関する画素情報が生成されることを特徴とする、
   撮像素子。