JP2018082259A - 固体撮像素子、信号処理回路、及び、電子機器 - Google Patents

Abstract

【課題】感度向上のために、複数色の画素の分光特性を包含する分光特性を有する画素を用いた場合であっても、色解像度の低下を最小限に抑えることができるようにする。【解決手段】本開示の固体撮像素子は、異なる分光特性を有する複数の画素が配置され、当該複数の画素の内の１つ以上の画素が、その他の画素の２つ以上の分光特性を包含した分光特性を有する画素アレイ部と、画素アレイ部内の２つ以上の分光特性を有する画素の信号を輝度信号の生成に使用する際に、その包含された分光特性を有する画素の１つ以上の画素の信号を輝度信号に合成する信号処理部と、を備える。【選択図】 図７

Description

本開示は、固体撮像素子、信号処理回路、及び、電子機器に関する。

ＣＣＤ(Charge Coupled Device)イメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサなどの固体撮像素子では、解像性能の向上のために画素数が多くなる反面、画素サイズが徐々に小さくなってきている。しかし、画素サイズがある程度小さくなると、１画素当たりの感度特性が低下するため、必要な感度を得ることが難しくなる。

そこで、赤色光を受光する赤画素（Ｒ画素）、緑色光を受光する緑画素（Ｇ画素）、及び、青色光を受光する青画素（Ｂ画素）の組み合わせに、可視光領域全体の光を受光する白画素（Ｗ画素）を加えることにより、感度の向上を図っている（例えば、特許文献１参照）。

特開２０１６−５４２２７号公報

白画素（Ｗ画素）を用いた固体撮像素子は、感度が高い上に、輝度解像度も高い。その反面、白画素が受光する光には、全ての波長領域の信号が含まれているため、色解像度が低下するという問題がある。この色解像度の低下の問題は、白画素を用いた固体撮像素子に限られるものではなく、感度向上のために、複数色の画素の分光特性を包含する分光特性を有する画素を用いた固体撮像素子全般に言えることである。

本開示は、感度向上のために、複数色の画素の分光特性を包含する分光特性を有する画素を用いた場合であっても、色解像度の低下を最小限に抑えることができる固体撮像素子、信号処理回路、及び、電子機器を提供することを目的とする。

上記の目的を達成するための本開示の固体撮像素子は、
異なる分光特性を有する複数の画素が配置され、当該複数の画素の内の１つ以上の画素が、その他の画素の２つ以上の分光特性を包含した分光特性を有する画素アレイ部と、
画素アレイ部内の２つ以上の分光特性を有する画素の信号を輝度信号の生成に使用する際に、その包含された分光特性を有する画素の１つ以上の画素の信号を輝度信号に合成する信号処理部と、
を備える。また、上記の目的を達成するための本開示の電子機器は、上記の構成の固体撮像素子を有する。

また、上記の目的を達成するための本開示の信号処理回路は、
異なる分光特性を有する複数の画素が配置され、当該複数の画素の内の１つ以上の画素が、その他の画素の２つ以上の分光特性を包含した分光特性を有する画素アレイ部を備える固体撮像素子の信号処理回路であって、
画素アレイ部内の２つ以上の分光特性を有する画素の信号を処理して輝度信号を生成する際に、１つ以上の画素の分光特性に包含された分光特性を有する１つ以上の画素の信号を輝度信号に合成する。

また、上記の目的を達成するための本開示の他の信号処理回路は、
第１色の画素が配置されて成る第１の固体撮像素子の出力信号、及び、第２色の画素が配置されて成る第２の固体撮像素子の出力信号を処理する信号処理回路であって、
輝度信号を生成する際に、第１の固体撮像素子から出力される第１色の画素の信号と、第２の固体撮像素子から出力される第２色の画素の信号とを合成する。

本開示によれば、感度向上のために、複数色の画素の分光特性を包含する分光特性を有する画素を用いた場合であっても、色解像度の低下を最小限に抑えることができる。

尚、ここに記載された効果に必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。また、本明細書に記載された効果はあくまで例示であって、これに限定されるものではなく、また付加的な効果があってもよい。

。図１は、本開示の技術が適用される固体撮像素子の基本的な構成を示すシステム構成図である。 図２Ａ及び図２Ｂは、色解像度について説明する図である。 図３Ａ及び図３Ｂは、図２Ａに示す被写体の場合のＲ画素、Ｇ画素及びＢ画素の出力、並びに、Ｗ画素の出力の例を示す図である。 図４Ａは、ＷＲＧＢのカラー配列の場合の分光特性の一例を示す図であり、図４Ｂは、ＹｅＲＧＢのカラー配列の場合の分光特性の一例を示す図であり、図４Ｃは、Ｗ＋マルチスペクトルのカラー配列の場合の分光特性の一例を示す図である。 図５Ａは、ＲＧＢ＋マルチスペクトルのカラー配列の場合の分光特性の一例を示す図であり、図５Ｂは、ＲＧＢ＋Ｍｇのカラー配列の場合の分光特性の一例を示す図である。 図６Ａ及び図６Ｂは、分光特性を「包含する」という意味の定義について説明する図である。 図７は、実施例１に係る信号処理回路の構成の一例を示すブロック図である。 図８Ａは、ＷＲＧＢのカラー配列（その１）を示す図であり、図８Ｂは、ＷＲＧＢのカラー配列（その２）を示す図である。 図９Ａは、ＷＲＧＢのカラー配列（その３）を示す図であり、図９Ｂは、ＷＲＧＢのカラー配列（その４）を示す図である。 図１０Ａは、ＷＲＢのカラー配列を示す図であり、図１０Ｂは、ＷＲＧのカラー配列を示す図であり、図１０Ｃは、ＷＹｅＭｇＣｙのカラー配列を示す図である。 図１１Ａは、ＹｅＲＧＢのカラー配列（その１）を示す図であり、図１１Ｂは、ＹｅＲＧＢのカラー配列（その２）を示す図である。 図１２Ａは、ＹｅＲＧＢのカラー配列（その３）を示す図であり、図１２Ｂは、ＹｅＲＧＢのカラー配列（その４）を示す図である。 図１３Ａは、ＹｅＲＢのカラー配列を示す図であり、図１３Ｂは、ＷＲＧＢのカラー配列で、Ｗ画素のサイズが他の画素と異なる例を示す図である。 図１４Ａは、Ｗ＋マルチスペクトルのカラー配列を示す図であり、図１４Ｂは、ＲＧＢ＋マルチスペクトルのカラー配列を示す図である。 図１５Ａは、ＷＲＧＢ＋一部マルチスペクトルのカラー配列を示す図であり、図１５Ｂは、ＲＧＢ＋一部マルチスペクトルのカラー配列を示す図である。 図１６は、方向判定部の方向判定についての説明図である。 図１７は、アルファブレンドのアルファ値αに対するＳＮ比と色解像度との関係を示す図である。 図１８は、方向判定部及びブレンド処理部における方向判定及びブレンド比決定の具体的な処理の一例を示すフローチャートである。 図１９は、実施例２に係る信号処理回路の構成の一例を示すブロック図である。 図２０は、実施例２の２つの固体撮像素子の画素配列の組み合わせ（その１）を示す図である。 図２１は、実施例２の２つの固体撮像素子の画素配列の組み合わせ（その２）を示す図である。 図２２は、実施例２の２つの固体撮像素子の画素配列の組み合わせ（その３）を示す図である。 図２３は、本開示の電子機器の一例である撮像装置の構成を示すブロック図である。

以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではない。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の固体撮像素子、信号処理回路、及び、電子機器、全般に関する説明
２．本開示の技術が適用される固体撮像素子
２−１．基本的なシステム構成
２−２．色解像度について
３．本開示の実施形態
３−１．実施例１（固体撮像素子が１つの場合の例）
３−２．実施例２（固体撮像素子が２つの場合の例）
４．電子機器
５．本開示がとることができる構成

＜本開示の固体撮像素子、信号処理回路、及び、電子機器、全般に関する説明＞
本開示の固体撮像素子、信号処理回路、及び、電子機器にあっては、画素アレイ部について、第１色の画素及び第２色の画素を少なくとも含む構成とすることができる。そして、信号処理部について、輝度系の信号処理では、第１色の画素の信号と第２色の画素の信号とを合成する構成とすることができる。また、信号処理部について、アルファ値を用いて第１色の画素の信号と第２色の画素の信号とをアルファブレンド処理する構成とすることができる。

上述した好ましい構成を含む本開示の固体撮像素子、信号処理回路、及び、電子機器にあっては、第１色の画素については、画素アレイ部内で最も画素数が多い（又は、サンプリングレートが高い）、可視光領域全体の光を受光する白画素であることが好ましい。また、第２色の画素については、白画素の次に画素数が多い（又は、サンプリングレートが高い）緑色光を受光する緑画素であることが好ましい。

また、上述した好ましい構成を含む本開示の固体撮像素子、信号処理回路、及び、電子機器にあっては、第２色の画素について、波長方向に４種類（４色）以上の波長分解能を持つマルチスペクトルの画素配列の内１つ以上の画素である構成とすることができる。

更に、上述した好ましい構成を含む本開示の固体撮像素子、信号処理回路、及び、電子機器にあっては、信号処理部について、画素値が不連続に変化しているエッジ方向の判定を行う方向判定部を有し、当該判定部の判定結果に基づいて輝度信号に合成する信号の割合を決定する構成とすることができる。

更に、上述した好ましい構成を含む本開示の固体撮像素子、信号処理回路、及び、電子機器にあっては、信号処理部について、輝度系の信号処理では、輝度信号に対する合成処理後にモザイク処理を行う構成とすることができる。

更に、上述した好ましい構成を含む本開示の固体撮像素子、信号処理回路、及び、電子機器にあっては、画素アレイ部について、赤色光を受光する赤画素、緑色光を受光する緑画素、及び、青色光を受光する青画素を含む構成とすることができる。そして、信号処理部について、クロマ系の信号処理では、赤画素、緑画素及び青画素の各信号に基づくモザイク処理を行う構成とすることができる。

更に、上述した好ましい構成を含む本開示の固体撮像素子、信号処理回路、及び、電子機器にあっては、信号処理部について、クロマ系の信号処理では、モザイク処理後にノイズ除去処理を行う構成とすることができる。更に、信号処理部について、輝度系の信号とクロマ系の信号とを合成処理する構成とすることができる。

＜本開示の技術が適用される固体撮像素子＞
本開示の技術が適用される固体撮像素子について、図１を用いて説明する。図１は、本開示の技術が適用される固体撮像素子の基本的な構成を示すシステム構成図である。ここでは、本適用例に係る固体撮像素子として、Ｘ−Ｙアドレス方式の固体撮像素子の一種であるＣＭＯＳイメージセンサを例に挙げて説明することとする。但し、ＣＭＯＳイメージセンサへの適用に限られるものではなく、例えばＣＣＤイメージセンサに適用することも可能である。

［基本的なシステム構成］
本適用例に係る固体撮像素子１０は、図示せぬ半導体基板（半導体チップ）上に形成された画素アレイ部１１と、当該画素アレイ部１１と同じ半導体基板上に集積された周辺回路部とを有する構成となっている。周辺回路部は、例えば、垂直駆動部１２、カラム処理部１３、水平駆動部１４、及び、システム制御部１５から構成されている。

固体撮像素子１０は更に、信号処理部１８及びデータ格納部１９を備えている。信号処理部１８及びデータ格納部１９については、固体撮像素子１０と同じ基板上に搭載しても構わないし、固体撮像素子１０とは別の基板上に配置するようにしても構わない。また、信号処理部１８及びデータ格納部１９の各処理については、固体撮像素子１０とは別の基板に設けられる外部信号処理部、例えば、ＤＳＰ(Digital Signal Processor)回路やソフトウェアによる処理でも構わない。

画素アレイ部１１は、光電変換を行うことで、受光した入射光の光量に応じた光電荷を生成し、かつ、蓄積する光電変換部を含む画素２０が行方向及び列方向に、即ち、行列状に２次元配置された構成となっている。ここで、行方向とは画素行の画素（単位画素）の配列方向（即ち、水平方向）を言い、列方向とは画素列の画素の配列方向（即ち、垂直方向）を言う。

画素アレイ部１１において、行列状の画素配列に対して、画素行毎に画素駆動線１６（１６₁〜１６_m）が行方向に沿って配線され、画素列毎に垂直信号線１７（１７₁〜１７_n）が列方向に沿って配線されている。画素駆動線１６は、画素２０を駆動する際に、垂直駆動部１２から出力される駆動信号を伝送する。図１では、画素駆動線１６について１本の配線として示しているが、１本に限られるものではない。画素駆動線１６の一端は、垂直駆動部１２の各行に対応した出力端に接続されている。

垂直駆動部１２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１１の各画素２０を全画素同時あるいは行単位等で駆動する。すなわち、垂直駆動部１２は、当該垂直駆動部１２を制御するシステム制御部１５と共に、画素アレイ部１１の各画素２０を駆動する駆動部を構成している。この垂直駆動部１２はその具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の２つの走査系を有する構成となっている。

読出し走査系は、画素２０から信号を読み出すために、画素アレイ部１１の画素２０を行単位で順に選択走査する。画素２０から読み出される信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対し、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。

この掃出し走査系による掃出し走査により、読出し行の画素２０の光電変換部から不要な電荷が掃き出されることによって当該光電変換部がリセットされる。そして、この掃出し走査系による不要電荷の掃き出す（リセットする）ことにより、所謂電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換部の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。

読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に受光した光量に対応するものである。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、画素２０における光電荷の露光期間となる。

垂直駆動部１２によって選択走査された画素行の各画素２０から出力される信号は、画素列毎に垂直信号線１７の各々を通してカラム処理部１３に入力される。カラム処理部１３は、画素アレイ部１１の画素列毎に、選択行の各画素２０から垂直信号線１７を通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。

具体的には、カラム処理部１３は、信号処理として少なくとも、ノイズ除去処理、例えばＣＤＳ(Correlated Double Sampling;相関二重サンプリング）処理や、ＤＤＳ（Double Data Sampling）処理を行う。例えば、ＣＤＳ処理により、リセットノイズや画素２０内の増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。カラム処理部１３にノイズ除去処理以外に、例えば、ＡＤ（アナログ−デジタル）変換機能を持たせ、アナログの画素信号をデジタル信号に変換して出力することも可能である。

水平駆動部１４は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部１３の画素列に対応する単位回路を順番に選択する。この水平駆動部１４による選択走査により、カラム処理部１３において単位回路毎に信号処理された画素信号が順番に出力される。

システム制御部１５は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、当該タイミングジェネレータで生成された各種のタイミングを基に、垂直駆動部１２、カラム処理部１３、及び、水平駆動部１４などの駆動制御を行う。

信号処理部１８は、少なくとも演算処理機能を有し、カラム処理部１３から出力される画素信号に対して演算処理等の種々の信号処理を行う。信号処理部１８は、本開示の信号処理回路の一例であり、その詳細については後述する。データ格納部１９は、信号処理部１８での信号処理に当たって、その処理に必要なデータを一時的に格納する。

尚、上記のシステム構成は、一例であって、これに限られるものではない。例えば、データ格納部１９をカラム処理部１３の後段に配置し、カラム処理部１３から出力される画素信号を、データ格納部１９を経由して信号処理部１８に供給するシステム構成であってもよい。あるいは又、画素アレイ部１１の列毎あるいは複数の列毎にＡＤ変換するＡＤ変換機能をカラム処理部１３に持たせるとともに、当該カラム処理部１３に対してデータ格納部１９及び信号処理部１８を並列的に設けるシステム構成であってもよい。

本開示の技術が適用される固体撮像素子１０は、その構造として、カラム処理部１３、信号処理部１８、データ格納部１９等の構成要素を画素アレイ部１１と共に、同一の半導体基板上に搭載する、所謂、平置構造を採ることができる。あるいは又、カラム処理部１３、信号処理部１８、データ格納部１９等の構成要素を、画素アレイ部１１が搭載された半導体基板と異なる、他の１つ以上の半導体基板に分散して搭載し、これらの半導体基板を積層した、所謂、積層構造を採ることができる。

また、画素構造として、裏面照射型の画素構造を採ることができるし、表面照射型の画素構造を採ることができる。ここで、「裏面照射型の画素構造」とは、半導体基板の配線層が形成される側の面を基板表面とするとき、その反対側の面、即ち基板裏面側（半導体基板の裏側）から入射光を取り込む（光が照射される）画素構造を言う。逆に、「表面照射型の画素構造」とは、基板表面側から入射光を取り込む（光が照射される）画素構造を言う。

［色解像度について］
ここで、固体撮像素子において、光の三原色である「赤、緑、青」の基本色の強さを表現する色解像度について考える。可視光領域全体の光を受光する白画素（Ｗ画素）を用いた固体撮像素子は、感度が高く、輝度解像度も高い反面、白画素が受光する光には、全ての波長領域の信号が含まれているために、色解像度が低いという問題がある。この点について、以下に具体例を挙げて説明する。一例として、図２Ａに示すように、Ｇの帯とＭｇ（マゼンタ）の帯とが交互に並んだ被写体を撮像する場合を考える。ここでは、Ｇの被写体とＭｇの被写体とは輝度レベルが同じであるとする。

まず、画素（カラーフィルタ）のカラー配列が、図２Ｂの左側に示すＲＧＢベイヤー配列の場合について考える。ＲＧＢベイヤー配列は、Ｒ画素、Ｂ画素及び２つのＧ（Ｇｒ，Ｇｂ）画素の４画素を単位とする配列パターンを基本としている。ここで、Ｒ画素は、赤色カラーフィルタ層を有することによって赤色光を受光する画素である。Ｇ画素は、緑色カラーフィルタ層を有することによって緑色光を受光する画素である。Ｂ画素は、青色カラーフィルタ層を有することによって青色光を受光する画素である。Ｇｒ画素はＲ画素を含む画素行のＧ画素を意味し、Ｇｂ画素はＢ画素を含む画素行のＧ画素を意味している。

このＲＧＢベイヤー配列の場合、図３Ａに示すように、Ｇの被写体に対してＧ画素が大きな出力値を示す。例えば、Ｇ画素の出力が５００ＬＳＢ＠１０ｂｉｔとなり、混色を無視するものとすると、Ｒ画素及びＢ画素の出力が０ＬＳＢ＠１０ｂｉｔとなる。そして、Ｍｇの被写体に対しては、Ｇ画素の出力が０ＬＳＢ＠１０ｂｉｔとなり、Ｒ画素及びＢ画素の出力が５００ＬＳＢ＠１０ｂｉｔとなる。このように、Ｇの被写体とＭｇの被写体とで、Ｇ画素、Ｒ画素及びＢ画素の各出力が異なるために実際の被写体を再現できる。

次に、図２Ｂの右側に示す全画素がＷ画素（モノクロ）の場合について考える。全画素がＷ画素の配列の場合、図３Ｂに示すように、Ｇの被写体、Ｍｇの被写体共に、Ｗ画素の出力が例えば６００ＬＳＢ＠１０ｂｉｔとなる。この場合、一面同じ被写体に見えるために、Ｇの被写体とＭｇの被写体との境界が見えないという問題が生じる。ここでは、Ｇの被写体とＭｇの被写体のＷ画素から見た輝度値が全く同じとした場合であるが、輝度値が同じでなくてもある程度近くなると、全ての画素がＷ画素の固体撮像素子では、解像度が下がっていき、同じになると原理的に解像しなくなる。よって、色解像度の低下は、色の組み合わせに関係なく、どのような色の組み合わせであっても、輝度値が同じ又は近くなると起こり得る現象である。

色解像度について、種々の分光特性を用いて更に詳しく説明する。図４Ａは、ＷＲＧＢのカラー配列の場合の分光特性の一例を示し、図４Ｂは、Ｙｅ（イエロー）ＲＧＢのカラー配列の場合の分光特性の一例を示し、図４Ｃは、Ｗ＋マルチスペクトルのカラー配列の場合の分光特性の一例を示している。図５Ａは、ＲＧＢ＋マルチスペクトルのカラー配列の場合の分光特性の一例を示し、図５Ｂは、ＲＧＢ＋Ｍｇのカラー配列の場合の分光特性の一例を示している。ここで、マルチスペクトルとは、波長方向に４種類（４色）以上の波長分解能を持つペクトルを言う。

図４Ａに示すＷＲＧＢのカラー配列の場合、Ｗ画素の分光特性は、Ｒ画素、Ｇ画素及びＢ画素の各分光特性を包含する形になっている。この場合、Ｗ画素から見たＲＧＢの各色の被写体の輝度値が同じ又は近くなってしまった場合には、ＲＧＢの各色の区別ができなくなり、解像しなくなる。ＲＧＢの各色が混ざっている場合も同様に、Ｗ画素から見た輝度値が同じ又は近くなってしまった被写体は解像しなくなる。

図４Ｂに示すＹｅＲＧＢのカラー配列の場合、Ｙｅ（イエロー）画素の分光特性は、Ｒ画素及びＧ画素の各分光特性を包含する形になっている。この場合、Ｙｅ画素から見たＲＧの各色の被写体の輝度値が同じ又は近くなってしまった場合には、ＲＧの各色の区別ができなくなり、解像しなくなる。ＲＧの各色が混ざっている場合も同様に、Ｙｅ画素から見た輝度値が同じ又は近くなってしまった被写体は解像しなくなる。

図４Ｃに示すＷ＋マルチスペクトルのカラー配列の場合、Ｗ画素の分光特性は、ａ画素〜ｇ画素の各分光特性を包含する形になっている。ここで、ａ〜ｇは任意の色を意味している。この場合、Ｗ画素から見たａ〜ｇの各色の内、２つ以上の色の被写体の輝度値が同じ又は近くなってしまった場合には、輝度値が同じ又は近くなってしまった各色の被写体の区別ができなくなり、解像しなくなる。ａ〜ｇの各色が混ざっている場合も同様に、Ｗ画素から見た輝度値が同じ又は近くなってしまった被写体は解像しなくなる。

図５Ａに示すＲＧＢ＋マルチスペクトルのカラー配列の場合、Ｂ画素の分光特性は、ａ画素及びｂ画素の各分光特性を包含する形になっており、Ｇ画素の分光特性は、ｃ画素及びｄ画素の各分光特性を包含する形になっており、Ｒ画素の分光特性は、ｅ画素、ｆ画素及びｇ画素の各分光特性を包含する形になっている。この場合、Ｂ画素から見たａｂの各色の被写体の輝度値が同じ又は近くなってしまった場合、Ｇ画素から見たｃｄの各色の被写体の輝度値が同じ又は近くなってしまった場合、Ｒ画素から見たｅｆｇの各の色の被写体の輝度値が同じ又は近くなってしまった場合、それらの被写体は解像しなくなる。

図５Ｂに示すＲＧＢ＋Ｍｇのカラー配列の場合、Ｍｇ（マゼンタ）画素の分光特性は、Ｂ画素及びＲ画素の各分光特性を包含する形になっている。この場合、Ｍｇ画素から見たＢＲの各色の被写体の輝度値が同じ又は近くなってしまった場合には、ＢＲの各色の区別ができなくなり、解像しなくなる。ＢＲの各色が混ざっている場合も同様に、Ｍｇ画素から見た輝度値が同じ又は近くなってしまった被写体は解像しなくなる。

ここでは図示しないが、ＲＧＢ＋Ｃｙ（シアン）のカラー配列の場合も同様である。この場合、Ｃｙ（シアン）画素から見たＢＧの各色の被写体の輝度値が同じ又は近くなってしまった場合には、ＢＧの各色の区別ができなくなり解像しなくなる。ＢＧの各色が混ざっている場合も同様に、Ｃｙ画素から見た輝度値が同じ又は近くなってしまった被写体は解像しなくなる。

以上のように、複数の分光特性を持つカラー配列のフィルタが存在し、その内の１つ以上の分光特性がその他２つ以上の分光特性を包含する場合、２つ以上の分光特性を包含している画素は、その包含している色同士の輝度値が同じ又は近くなってしまうと区別ができなくなり、解像できなくなる（色解像度の低下）。

ここで、分光特性を「包含する」という意味の定義について、図６Ａ及び図６Ｂを用いて説明する。

図６Ａに示すように、例えばＹｅ画素の分光特性が、２つの分光特性（本例では、Ｇ画素及びＲ画素の各分光特性）のピーク値を含んでいる場合を「包含する」と定義する。また、図６Ｂに示すように、ピーク値を含んでいないが、分光特性の波形の面積の例えば半分以上包含している場合を「包含する」と定義する。勿論、２つの分光特性の波形の内、一方の分光特性のピーク値と、他方の分光特性の波形の例えば半分以上の面積を包含する場合も「包含する」と定義する。３つ以上の分光特性の波形の場合も同様で、ピーク値、もしくは例えば半分以上の面積を包含していれば、「包含する」と定義する。

＜本開示の実施形態＞
本開示の実施形態では、色解像度の劣化を最小限に抑えるために、固体撮像素子１０の画素アレイ部１１の各画素として、異なる分光特性を有する複数の画素が配置され、当該複数の画素の内の１つ以上の画素が、その他の画素の２つ以上の分光特性を包含した分光特性を有することを前提とする。

ここで、理解を容易にするために、図４Ａに示すＷＲＧＢのカラー配列の場合を例に挙げて具体的に説明する。ＷＲＧＢのカラー配列の場合、複数の画素の内の１つ以上の画素がＷ画素となり、その他の画素の２つ以上の分光特性がＲ画素、Ｇ画素及びＢ画素の各分光特性ということになる。すなわち、図４Ａから明らかなように、Ｗ画素が、その他の画素の２つ以上の分光特性、即ち、Ｒ画素、Ｇ画素及びＢ画素の各分光特性を包含した分光特性を有していることになる。

また、図５Ａに示すＲＧＢ＋マルチスペクトルのカラー配列の場合を例に採ると、１つ以上の画素が、Ｒ画素、Ｇ画素及びＢ画素の３つの画素となる。そして、図５Ａから明らかなように、Ｂ画素がａ画素及びｂ画素の２つの画素の分光特性を包含した分光特性を有し、Ｇ画素がｃ画素及びｄ画素の２つの画素の分光特性を包含した分光特性を有し、Ｒ画素がｅ画素、ｆ画素及びｇ画素の３つの画素の分光特性を包含した分光特性を有していることになる。

上記のカラー配列のカラーフィルタを有する画素アレイ部１１を備える固体撮像素子１０において、図１に示す信号処理部１８は、画素アレイ部１１内の２つ以上の分光特性を有する画素の信号を処理して輝度信号を生成する処理を行う。このとき、信号処理部１８は、その包含された分光特性を有する画素の１つ以上の画素の信号を輝度信号に合成するようにする。

図４Ａに示すＷＲＧＢのカラー配列の場合を例に採ると、Ｗ画素を第１色の画素とし、当該Ｗ画素の分光特性に含まれる分光特性を有するＧ画素を第２色の画素とし、Ｗ画素及びＧ画素の各信号を合成して輝度信号（高域信号）を生成することになる。このように、Ｗ画素と当該Ｗ画素の分光特性に含まれる分光特性を有するＧ画素を輝度系の信号の生成に使うことによって分光特性が改善するため、感度向上のためにＷ画素を用いた場合であっても、色解像度の低下を最小限に抑えることができる。

ここでは、一例として、第１色の画素としてＷ画素を用い、第２色の画素としてＧ画素を用いるとしたが、これらの色の組み合わせに限定されるものではない。

上記の構成の信号処理部１８が、本開示の実施形態に係る信号処理回路ということになり、また、当該信号処理部１８を備える固体撮像素子１０が、本開示の実施形態に係る固体撮像素子ということになる。尚、本実施形態では、上記の構成の本実施形態に係る信号処理回路（信号処理部１８）を固体撮像素子１０の内部に備える構成としているが、固体撮像素子１０の外部に備える構成とすることも可能である。

以下に、本実施形態に係る信号処理回路について具体的に説明する。本実施形態に係る信号処理回路に入力される信号としては、一例として、ＷＲＧＢの各画素が配列されて成る１つの固体撮像素子から与えられる場合と、ＲＧＢの各画素が配列されて成る固体撮像素子及びＷ画素のみが配列されて成るモノクロの固体撮像素子の２つの固体撮像素子から与えられる場合とがある。前者を実施例１に係る信号処理回路として、後者を実施例２に係る信号処理回路として以下に具体的に説明する。

［実施例１］
実施例１は、入力センサである固体撮像素子が１つの場合の例である。実施例１に係る信号処理回路１８Ａの構成の一例を図７に示す。ここでは、一例として、画素のカラー配列が、図８Ａに示すＷＲＧＢのカラー配列を例示する。

実施例１に係る信号処理回路１８Ａには、ＷＲＧＢの各画素が配列されて成る１つの固体撮像素子１０から撮像信号が入力される。尚、この形態は、信号処理回路１８Ａが固体撮像素子１０の外部に配置される場合である。信号処理回路１８Ａが固体撮像素子１０の内部に配置される場合には、ＲＧＢＷの各画素が配列されて成る画素アレイ部１１から、カラム処理部１３（図１参照）を経由して撮像信号が入力されることになる。

実施例１に係る信号処理回路１８Ａは、高域系である輝度系、及び、低域系であるクロマ系を有する。ここで、輝度系の信号として、画素アレイ部１１内で最も画素数の多いＷ画素の信号、及び、次に画素数が多いＧ画素の各信号を使うこととする。また、クロマ系の信号として、色再現を可能にする３種類以上の画素、具体的にはＧ画素、Ｒ画素及びＢ画素の各信号を使うこととする。

輝度系には、画素数が多い（サンプリング周波数が高い）色の画素と、次に画素数が多く、色解像度（波長分解能）を有する画素の両者が必要である。そこで、輝度系の信号処理では、画素アレイ部１１内で最も画素数が多い（又は、サンプリングレートが高い）Ｗ画素を第１色の画素として使い、Ｗ画素の次に画素数が多い（又は、サンプリングレートが高い）Ｇ画素を第２色の画素として使う。そして、Ｗ画素の信号とＧ画素の信号とを所定の割合で合成する。Ｗ画素は最も感度が高く、Ｇ画素はＷ画素の次に感度が高い画素である。

ＷＲＧＢの各画素のカラー配列としては、図８Ａに示すカラー配列（その１）以外に、図８Ｂ、図９Ａ、及び、図９Ｂに示す種類のカラー配列（その２、その３、その４）を例示することができる。また、ＷＲＧＢのカラー配列の以外にも、図１０Ａに示すＷＲＢのカラー配列や、図１０Ｂに示すＷＲＧのカラー配列や、図１０Ｃに示すＷＹｅＭｇＣｙのカラー配列などを例示することができる。

図１０Ａに示すＷＲＢのカラー配列の場合には、仮想のＧ画素を作成し（Ｇ＝Ｗ−Ｒ−Ｂ）、その仮想のＧ画素を第２色の輝度系（高域系）としてもよい。図１０Ｂに示すＷＲＧのカラー配列についても、第２色の画素としてＢ画素を使用する場合は、同様に仮想のＢ画素を作成し（Ｂ＝Ｗ−Ｇ−Ｒ）、その仮想のＢ画素を第２色の画素として使用としてもよい。

画素のカラー配列としては、上記のカラー配列以外にも、次のようなカラー配列を例示することができる。

図１１Ａ、図１１Ｂ、図１２Ａ、及び、図１２Ｂに示すカラー配列は、ＹｅＲＧＢのカラー配列（その１、その２、その３、その４）の例であり、配列違いである。このＹｅＲＧＢのカラー配列の場合は、例えば最も感度の高いＹｅ画素を、Ｗ画素の代わりに第１色の画素として使う。その場合、Ｙｅ画素の分光特性は、Ｇ画素の分光特性を包含するので（図４Ｂ参照）、Ｙｅ画素の出力がＲ色とＧ色の被写体で輝度値が同じ又は近い場合に解像度が低下する。従って、輝度系（又は、高域系）の処理に、Ｇ画素の信号又はＲ画素の信号、もしくはその両方の画素の信号を第２色の画素の信号として使用するとよい。

図１３Ａに示すカラー配列は、ＹｅＲＢのカラー配列の例である。ＹｅＲＢのカラー配列において、Ｇ画素の信号を使用する場合は、仮想のＧ画素を作成し（Ｇ＝Ｙｅ−Ｒ）、その仮想のＧ画素を第２色の輝度系としてもよい。図１３Ｂに示すカラー配列は、ＷＲＧＢのカラー配列で、Ｗ画素のサイズが他の画素と異なる例である。ここでは、Ｗ画素のサイズが他の画素と異なる場合を示したが、Ｗ画素に限定されるものではなく、ＲＧＢ画素の一つもしくは２つ以上の画素サイズが他の画素と異なってもよい。

図１４Ａに示すカラー配列は、Ｗ画素＋マルチスペクトルのカラー配列の例であり、図１４Ｂに示すカラー配列は、ＲＧＢ＋マルチスペクトルのカラー配列の例である。ここでは、一例として、ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈの８色のマルチスペクトルを例示しているが、色数、波長方向の分解能、画素の配置はこれらに限定されるものではなく、波長方向に４色以上の分解能を持つものをマルチスペクトルのカラー配列であればよい。第２色の画素の選択については、基本的に、上記の例と同様である。

図１５Ａに示すカラー配列は、ＷＲＧＢ＋一部マルチスペクトルのカラー配列の例であり、図１５Ｂに示すカラー配列は、ＲＧＢ＋一部マルチスペクトルのカラー配列の例である。これらのカラー配列は、ＷＲＧＢの各画素もしくはＲＧＢの各画素の画素周期よりも少ない周期でマルチスペクトルの各画素が配置されている例である。但し、これは一例であって、その周期は特に限定されるものではなく、その色数、波長方向の分解能、画素の配置についてもこれらに限定されるものではない。

マルチスペクトルのカラー配列の固体撮像素子（所謂、マルチスペクトルセンサ）は、カラー画像を合成する場合もあるが、それぞれの分光特性毎の単色画像として画像を生成する場合が多い。その場合、第２色としては、その画像の分光特性にあった１つ以上の色画素を、マルチスペクトルのカラー配列の画素から選択するようにする。異なった色を選択した場合には、偽色やアーティファクトを発生させる原因になる可能性がある。

例えば、図４Ｃに示すＷ＋マルチスペクトルのカラー配列において、ｃ色の分光から単色画像を作成する場合には、第１色の画素にＷ画素を選択し、第２色の画素にｃ色の画素を選択することが望ましい。図５Ａに示すＲＧＢ＋マルチスペクトルのカラー配列において、ｃ色の分光から単色画像を作成する場合には、第１色の画素にＧ画素を選択し、第２色の画素にｃ色の画素を選択することが望ましい。

実施例１に係る信号処理回路１８Ａについて、以下に具体的に説明する。図７に示すように、実施例１に係る信号処理回路１８Ａは、輝度系として、方向判定部３１、ブレンド処理部３２、及び、モザイク処理部３３を有し、クロマ系として、モザイク処理部３４及びノイズ除去処理部３５を有する構成となっている。

方向判定部３１は、画素値が不連続に変化しているエッジ方向の判定を行う。より具体的には、方向判定部３１は、図１６に示すように、輝度系のＷ画素及びＧ画素において、各画素値に基づいて、画素値がどれだけ近いかを表す類似度を縦、横、斜め方向でみることによってエッジ方向の判定を行う。この方向判定については、必ずしも、縦、横、斜めの全ての方向で行う必要はない。但し、全ての方向で方向判定を行った方が判定精度を上げることができる。ここで、方向判定の手法としては、例えば、ＳＳＤ(Sum of Squared Difference)を用いて類似度（又は、相似度）を判定することによって行う手法を用いることができる。但し、ＳＳＤを用いる手法は一例であって、ＳＳＤを用いる手法に限定されるものではない。

ブレンド処理部３２は、方向判定部３１の判定結果に基づいて信号の合成の割合を決定し、その割合でＷ画素の信号とＧ画素の信号とを、アルファ値αを用いてブレンド処理する。具体的には、まず、図１６に示すＷ画素及びＧ画素の縦、横、斜めの８水準の方向判定結果において、いずれかのＷ画素の判定結果が選択された場合は、輝度信号としてＷ画素の信号を使用し、Ｇ画素の信号は使用しない。

また、方向判定結果において、いずれかのＧ画素の判定結果が選択された場合は、輝度信号としてＧ画素の信号を使用する。このとき、次式（１）に基づいて、Ｗ画素の信号をアルファブレンドして輝度信号として使用する。
輝度信号＝α×（Ｇの画素信号）＋（１−α）×（Ｗの画素信号）

ここで、アルファ値αの決定方法について説明する。図１７に示すように、ＳＮ比と色解像度とはトレードオフ関係にある。すなわち、Ｇ画素の信号の値の割合を増やしてアルファ値αを大きくすると色解像度は改善するが、ＳＮ比は悪化していく。逆に、Ｗ画素の信号の割合を増やしてアルファ値αを小さくするとＳＮ比は改善するが、色解像度は悪化する。

よって、アルファ値αを決定するに当たっては、ＳＮ比と色解像度との関係を実際の画像で確認しながら、アルファ値αを適宜調整して決定することが好ましい。例えば、色解像度を最優先したい場合はα＝１に設定したり、ＳＮ比も考慮したい場合は例えばα＝０．５などに設定する。また、これらの値は画像内のあるブロック毎、更には、シーンやゲインなど画像の種類によって変化させることが望ましい。

モザイク処理部３３は、ブレンド処理部３２でのブレンド処理後の輝度信号に対して空間的な画質調整であるモザイク処理を行う。Ｗ画素、Ｇ画素の各信号に対してそれぞれモザイク処理を施し、その後、方向判定してブレンド処理することも可能であるが、先にモザイク処理を行うと補間処理が入るため、方向判定の精度が下がってしまう。このような理由から、ブレンド処理後の輝度信号に対してモザイク処理を行うことが望ましい。

クロマ系（域成分）の信号処理において、モザイク処理部３４は、Ｂ画素・Ｒ画素・Ｇ画素の各信号に基づくモザイク処理を行う。クロマ系の処理では色再現を行うので、光の３原色の原理に基づき、最低３種類以上の画素が必要である。ここでは、ＷＲＧＢのカラー配列を例に挙げたので、Ｂ画素・Ｒ画素・Ｇ画素の３つの画素としているが、他には補色系でＷＹｅＭｇＣｙのカラー配列の場合は、Ｙｅ画素、Ｍｇ画素、Ｃ画素の各信号に基づいて処理を行うようにする。

また、ＷＲＢ（又は、ＷＧＢ）のカラー配列の場合は、Ｗ画素（Ｗ画素）、Ｒ画素（Ｇ画素）、Ｂ画素（Ｂ画素）を用いて、仮想のＧ画素（Ｒ画素）＝Ｗ画素（Ｗ画素）−Ｒ画素（Ｇ画素）−Ｂ画素（Ｂ画素）を作り、色再現を行うようにする。また、ＹｅＲＧＢの場合には、Ｙｅ画素をＷ画素の代わりとして使う。また、マルチスペクトルのカラー配列の場合には、任意の３種類以上の画素を用いて色再現を行うようにする。

ノイズ除去処理部３５は、モザイク処理部３４でのモザイク処理後の信号に対してノイズ除去処理を行う。色画素は、輝度系に使う画素に比べて一般的に感度が低く、ＳＮ比が悪いためノイズ除去処理を行うことが望ましい。

最後に、合成処理部３６は、輝度系で処理した輝度信号と、クロマ系で処理したクロマ信号とを合成して、高域〜低域まで含んだ画像信号として出力する。尚、図７では、例えばＲＧＢベイヤー配列の画像信号として出力するとしているが、これに限定されるものではなく、ＹＵＶ色空間の出力やＲＧＢ色空間の出力などであってもよい。要は、後段側の回路に合わせた出力であればよく、何かに限定されるものではない。

上述したように、例えば、第１色の画素としてＷ画素を用い、第２色の画素としてＧ画素を用いる場合において、画像処理時に、エッジ方向の判定処理にＷ画素及びＧ画素を用い、Ｇ画素の判定結果が最も強いときは、輝度信号にＧ画素の信号を使うようにする。また、そのとき、ＳＮ比が劣化することから、Ｗ画素とＧ画素の輝度信号をアルファブレンドできるようにして、ＳＮ比と色解像度のトレードオフを確認しながら、アルファブレンドのアルファ値αを設定するようにする。これにより、感度向上のためにＷ画素を用いた場合であっても、色解像度の低下を最小限に抑えつつ、ＳＮ比の劣化を抑制することができる。

以下に、方向判定部３１及びブレンド処理部３２における方向判定及びブレンド比決定の具体的な処理の一例について、図１８のフローチャートを用いて説明する。

方向判定部３１は、Ｇ画素の方向判定を全ての方向について行い（ステップＳ１１）、次いで、Ｇ画素の最も強い方向を決定し（ステップＳ１２）、しかる後、Ｗ画素について例えば横方向の方向判定を行う（ステップＳ１３）。次に、方向判定部３１は、Ｗ画素の横方向の判定結果がＧ画素の最も強い方向の判定結果よりも強いか否かを判断し（ステップＳ１４）、Ｗ画素の横方向の判定結果の方が強いと判定した場合（Ｓ１４のＹＥＳ）、輝度信号としてＷ画素の信号のみを使用するブレンド処理部３２の処理に移行する（ステップＳ１５）。

ステップＳ１４において、Ｇ画素の最も強い方向の判定結果の方が、Ｗ画素の横方向の判定結果よりも強いと判定した場合（Ｓ１４のＮＯ）、方向判定部３１は、Ｗ画素の縦方向の方向判定を行い（ステップＳ１６）、次いで、Ｗ画素の縦方向の判定結果がＧ画素の最も強い方向の判定結果よりも強いか否かを判断する（ステップＳ１７）。この判断処理において、Ｗ画素の横方向の判定結果の方が強いと判定した場合（Ｓ１７のＹＥＳ）、ステップＳ１５に移行し、輝度信号としてＷ画素の信号のみを使用する。

ステップＳ１７において、Ｇ画素の最も強い方向の判定結果の方が、Ｗ画素の横方向の判定結果よりも強いと判定した場合（Ｓ１７のＮＯ）、方向判定部３１は、Ｗ画素の斜め方向の方向判定を行い（ステップＳ１８）、次いで、Ｗ画素の斜め方向の判定結果がＧ画素の最も強い方向の判定結果よりも強いか否かを判断する（ステップＳ１９）。この判断処理において、Ｗ画素の斜め方向の判定結果の方が強いと判定した場合（Ｓ１９のＹＥＳ）、ステップＳ１５に移行し、Ｇ画素の最も強い方向の判定結果の方が強いと判定した場合（Ｓ１９のＮＯ）、輝度信号としてＧ画素の信号を使用し、Ｗ画素の信号をアルファブレンドするブレンド処理部３２の処理に移行する（ステップＳ２０）。

上述したように、方向判定部３１の判定処理において、Ｇ画素の方向判定を全て先に行い最も強い方向を決定した後、Ｗ画素について例えば横方向の方向判定を行ってＧの判定結果と比較してＷ画素が強ければその時点で判定処理を終了する。そして、Ｇ画素が強ければ、次にＷ画素の斜め方向の判定結果と比較し、Ｗ画素が強ければその時点で判定処理を終了、という具合に順に方向判定を行うことにより、無駄な計算をしなくてもよくなるため、計算速度の向上及び消費電力の抑制を図ることができる。

［実施例２］
実施例２は、入力センサである固体撮像素子が２つの場合の例である。実施例２に係る信号処理回路１８Ｂの構成の一例を図１９示す。２つの固体撮像素子１０Ａ，１０Ｂは、図２０に示すように、一方がモノクロ（全画素がＷ画素）の画素配列、他方がＲＧＢベイヤー配列の組み合わせとなっている。この例では、Ｗ画素が第１色の画素となり、Ｇ画素が第２色の画素となる。

この組み合わせは一例であって、これに限られるものではない。例えば、図２１に示すように、一方がモノクロの画素配列、他方がＷＲＧＢのカラー配列の組み合わせであってもよいし、図２２に示すように、一方がモノクロの画素配列、他方がマルチスペクトルのカラー配列の組み合わせであってもよい。いずれも、基本的には、実施例１で例示したカラー配列の画素配置を２つに分割したものである。但し、２つの固体撮像素子１０Ａ，１０Ｂ間で、画素サイズや画素数は異なっていてもよい点で、実施例１の場合と大きく異なっている。

実施例２に係る信号処理回路１８Ｂは、２つの固体撮像素子１０Ａ，１０Ｂの各撮像信号が合成されて入力される点で、１つの固体撮像素子１０の撮像信号が入力される実施例１に係る信号処理回路１８Ａと相違しており、個々の構成要素の処理等については全く同じである。従って、ここでは、個々の構成要素、即ち、輝度系の方向判定部３１、ブレンド処理部３２、及び、モザイク処理部３３、ならびに、クロマ系のモザイク処理部３４及びノイズ除去処理部３５の処理の詳細についての説明は省略する。

実施例２に係る信号処理回路１８Ｂの個々の構成要素の処理等について、実施例１に係る信号処理回路１８Ａと同じであることから、実施例２に係る信号処理回路１８Ｂによって得られる作用、効果も、実施例１に係る信号処理回路１８Ａと同じである。すなわち、実施例２に係る信号処理回路１８Ｂによれば、感度向上のためにＷ画素を用いた場合であっても、色解像度の低下を最小限に抑えつつ、ＳＮ比の劣化を抑制することができる。

２つの固体撮像素子１０Ａ，１０Ｂの画素配列の組み合わせとしては、モノクロの画素配列とＲＧＢベイヤー配列との組み合わせ、モノクロの画素配列とＷＲＧＢのカラー配列との組み合わせ、モノクロの画素配列とマルチスペクトルのカラー配列との組み合わせに限られるものではない。例えば、ＲＧＢベイヤー配列とマルチスペクトルのカラー配列との組み合わせであってもよいし、赤外線や紫外線を受光可能な画素との組み合わせであってもよい。

尚、上記の実施例１及び実施例２では、一例として、輝度系（又は、高域系）の第１色の画素としてＷ画素を用い、第２色の画素としてＧ画素を用いるとしたが、これらの色の組み合わせに限定されるものではない。すなわち、異なる分光特性を有する複数の画素の内の１つ以上の画素が、その他の画素の２つ以上の分光特性を包含した分光特性を有する場合において、輝度信号を生成する際に、１つ以上の画素の分光特性に包含された分光特性を有する１つ以上の画素の信号を輝度信号に合成することとする。

＜本開示の電子機器＞
上述した実施形態に係る固体撮像素子は、デジタルスチルカメラやビデオカメラ等の撮像装置や、携帯電話機などの撮像機能を有する携帯端末装置や、画像読取部に固体撮像素子を用いる複写機などの電子機器全般において、その撮像部（画像取込部）として用いることができる。尚、固体撮像素子はワンチップとして形成された形態であってもよいし、撮像部と、信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。電子機器に搭載される上記モジュール状の形態、即ち、カメラモジュールを撮像装置とする場合もある。

［撮像装置］
図２３は、本開示の電子機器の一例である撮像装置の構成を示すブロック図である。図２３に示すように、本例に係る撮像装置１００は、レンズ群等を含む撮像光学系１０１、撮像部１０２、ＤＳＰ回路１０３、フレームメモリ１０４、表示装置１０５、記録装置１０６、操作系１０７、及び、電源系１０８等を有している。そして、ＤＳＰ回路１０３、フレームメモリ１０４、表示装置１０５、記録装置１０６、操作系１０７、及び、電源系１０８がバスライン１０９を介して相互に接続された構成となっている。

撮像光学系１０１は、被写体からの入射光（像光）を取り込んで撮像部１０２の撮像面上に結像する。撮像部１０２は、光学系１０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。ＤＳＰ回路１０３は、一般的なカメラ信号処理、例えば、ホワイトバランス処理、デモザイク処理、ガンマ補正処理などを行う。

フレームメモリ１０４は、ＤＳＰ回路１０３での信号処理の過程で適宜データの格納に用いられる。表示装置１０５は、液晶表示装置や有機ＥＬ(electro luminescence)表示装置等のパネル型表示装置から成り、撮像部１０２で撮像された動画または静止画を表示する。記録装置１０６は、撮像部１０２で撮像された動画または静止画を、可搬型の半導体メモリや、光ディスク、ＨＤＤ(Hard Disk Drive)等の記録媒体に記録する。

操作系１０７は、ユーザによる操作の下に、本撮像装置１００が持つ様々な機能について操作指令を発する。電源系１０８は、ＤＳＰ回路１０３、フレームメモリ１０４、表示装置１０５、記録装置１０６、及び、操作系１０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。

上記の構成の撮像装置１００において、撮像部１０２として、先述した実施形態に係る固体撮像素子を用いることができる。先述した実施形態に係る固体撮像素子は、全ての波長領域の信号を受光する白画素を用いた場合であっても、色解像度の劣化を最小限に抑えることができる。従って、撮像部１０２として、先述した実施形態に係る固体撮像素子を用いることで、白画素を加えて感度の向上を図った場合であっても、色解像度に優れた撮像画像を得ることができる。

＜本開示がとることができる構成＞
尚、本開示は、以下のような構成をとることができる。
［１］異なる分光特性を有する複数の画素が配置され、当該複数の画素の内の１つ以上の画素が、その他の画素の２つ以上の分光特性を包含した分光特性を有する画素アレイ部と、
画素アレイ部内の２つ以上の分光特性を有する画素の信号を輝度信号の生成に使用する際に、その包含された分光特性を有する画素の１つ以上の画素の信号を輝度信号に合成する信号処理部と、
を備える固体撮像素子。
［２］画素アレイ部は、第１色の画素及び第２色の画素を少なくとも含んでおり、
信号処理部は、輝度系の信号処理では、第１色の画素の信号と第２色の画素の信号とを合成する、
上記［１］に記載の固体撮像素子。
［３］信号処理部は、アルファ値を用いて第１色の画素の信号と第２色の画素の信号とをアルファブレンド処理する、
上記［２］に記載の固体撮像素子。
［４］第１色の画素は、可視光領域全体の光を受光する白画素である、
上記［２］又は［３］に記載の固体撮像素子。
［５］第２色の画素は、緑色光を受光する緑画素である、
上記［２］又は［３］に記載の固体撮像素子。
［６］第２色の画素は、マルチスペクトルの画素配列の内１つ以上の画素である、
上記［２］又は［３］に記載の固体撮像素子。
［７］信号処理部は、画素値が不連続に変化しているエッジ方向の判定を行う方向判定部を有し、
判定部の判定結果に基づいて輝度信号に合成する信号の割合を決定する、
上記［１］から［６］のいずれかに記載の固体撮像素子。
［８］信号処理部は、輝度系の信号処理では、輝度信号に対する合成処理後にモザイク処理を行う、
上記［１］から［７］のいずれかに記載の固体撮像素子。
［９］画素アレイ部は、赤色光を受光する赤画素、緑色光を受光する緑画素、及び、青色光を受光する青画素を含んでおり、
信号処理部は、クロマ系の信号処理では、赤画素、緑画素及び青画素の各信号に基づくモザイク処理を行う、
上記［１］から［８］のいずれかに記載の固体撮像素子。
［１０］信号処理部は、クロマ系の信号処理では、モザイク処理後にノイズ除去処理を行う、
上記［９］に記載の固体撮像素子。
［１１］信号処理部は、輝度系の信号とクロマ系の信号とを合成処理する、
上記［８］から［１０］のいずれかに記載の固体撮像素子。
［１２］異なる分光特性を有する複数の画素が配置され、当該複数の画素の内の１つ以上の画素が、その他の画素の２つ以上の分光特性を包含した分光特性を有する画素アレイ部を備える固体撮像素子の信号処理回路であって、
画素アレイ部内の２つ以上の分光特性を有する画素の信号を処理して輝度信号を生成する際に、１つ以上の画素の分光特性に包含された分光特性を有する１つ以上の画素の信号を輝度信号に合成する、
信号処理回路。
［１３］画素アレイ部は、第１色の画素及び第２色の画素を少なくとも含んでおり、
輝度系の信号処理では、第１色の画素の信号と第２色の画素の信号とを合成する、
上記［１２］に記載の信号処理回路。
［１４］アルファ値を用いて第１色の画素の信号と第２色の画素の信号とをアルファブレンド処理する、
上記［１３］に記載の信号処理回路。
［１５］第１色の画素は、可視光領域全体の光を受光する白画素である、
上記［１３］又は［１４］に記載の信号処理回路。
［１６］第２色の画素は、緑色光を受光する緑画素である、
上記［１３］又は［１４］に記載の信号処理回路。
［１７］第２色の画素は、マルチスペクトルの画素配列の内１つ以上の画素である、
上記［１３］又は［１４］に記載の信号処理回路。
［１８］画素値が不連続に変化しているエッジ方向を判定し、その結果に基づいて輝度信号に合成する信号の割合を決定する、
上記［１２］から［１７］のいずれかに記載の固体撮像素子。
［１９］第１色の画素が配置されて成る第１の固体撮像素子の出力信号、及び、第２色の画素が配置されて成る第２の固体撮像素子の出力信号を処理する信号処理回路であって、
輝度信号を生成する際に、第１の固体撮像素子から出力される第１色の画素の信号と、第２の固体撮像素子から出力される第２色の画素の信号とを合成する、
信号処理回路。
［２０］異なる分光特性を有する複数の画素が配置され、当該複数の画素の内の１つ以上の画素が、その他の画素の２つ以上の分光特性を包含した分光特性を有する画素アレイ部と、
画素アレイ部内の２つ以上の分光特性を有する画素の信号を輝度信号の生成に使用する際に、その包含された分光特性を有する画素の１つ以上の画素の信号を輝度信号に合成する信号処理部と、
を備える固体撮像素子を有する、
電子機器。

１０，１０Ａ，１０Ｂ・・・固体撮像素子、１１・・・画素アレイ部、１２・・・垂直駆動部、１３・・・カラム処理部、１４・・・垂直駆動部、１５・・・システム制御部、１６（１６₁〜１６_m）・・・画素駆動線、１７（１７₁〜１７_n）・・・垂直信号線、１８・・・信号処理部、１８Ａ・・・実施例１に係る信号処理回路、１８Ｂ・・・実施例２に係る信号処理回路、１９・・・データ格納部、２０・・・画素（単位画素）、３１・・・方向判定部、３２・・・ブレンド処理部、３３，３４・・・モザイク処理部、３５・・・ノイズ除去処理部、３６・・・合成処理部

Claims (20)

1. 異なる分光特性を有する複数の画素が配置され、当該複数の画素の内の１つ以上の画素が、その他の画素の２つ以上の分光特性を包含した分光特性を有する画素アレイ部と、
   画素アレイ部内の２つ以上の分光特性を有する画素の信号を輝度信号の生成に使用する際に、その包含された分光特性を有する画素の１つ以上の画素の信号を輝度信号に合成する信号処理部と、
   を備える固体撮像素子。
2. 画素アレイ部は、第１色の画素及び第２色の画素を少なくとも含んでおり、
   信号処理部は、輝度系の信号処理では、第１色の画素の信号と第２色の画素の信号とを合成する、
   請求項１に記載の固体撮像素子。
3. 信号処理部は、アルファ値を用いて第１色の画素の信号と第２色の画素の信号とをアルファブレンド処理する、
   請求項２に記載の固体撮像素子。
4. 第１色の画素は、可視光領域全体の光を受光する白画素である、
   請求項２に記載の固体撮像素子。
5. 第２色の画素は、緑色光を受光する緑画素である、
   請求項２に記載の固体撮像素子。
6. 第２色の画素は、マルチスペクトルの画素配列の内１つ以上の画素である、
   請求項２に記載の固体撮像素子。
7. 信号処理部は、画素値が不連続に変化しているエッジ方向の判定を行う方向判定部を有し、
   判定部の判定結果に基づいて輝度信号に合成する信号の割合を決定する、
   請求項１に記載の固体撮像素子。
8. 信号処理部は、輝度系の信号処理では、輝度信号に対する合成処理後にモザイク処理を行う、
   請求項１に記載の固体撮像素子。
9. 画素アレイ部は、赤色光を受光する赤画素、緑色光を受光する緑画素、及び、青色光を受光する青画素を含んでおり、
   信号処理部は、クロマ系の信号処理では、赤画素、緑画素及び青画素の各信号に基づくモザイク処理を行う、
   請求項１に記載の固体撮像素子。
10. 信号処理部は、クロマ系の信号処理では、モザイク処理後にノイズ除去処理を行う、
    請求項９に記載の固体撮像素子。
11. 信号処理部は、輝度系の信号とクロマ系の信号とを合成処理する、
    請求項８に記載の固体撮像素子。
12. 異なる分光特性を有する複数の画素が配置され、当該複数の画素の内の１つ以上の画素が、その他の画素の２つ以上の分光特性を包含した分光特性を有する画素アレイ部を備える固体撮像素子の信号処理回路であって、
    画素アレイ部内の２つ以上の分光特性を有する画素の信号を輝度信号の生成に使用する際に、その包含された分光特性を有する画素の１つ以上の画素の信号を輝度信号に合成する、
    信号処理回路。
13. 画素アレイ部は、第１色の画素及び第２色の画素を少なくとも含んでおり、
    輝度系の信号処理では、第１色の画素の信号と第２色の画素の信号とを合成する、
    請求項１２に記載の信号処理回路。
14. アルファ値を用いて第１色の画素の信号と第２色の画素の信号とをアルファブレンド処理する、
    請求項１３に記載の信号処理回路。
15. 第１色の画素は、可視光領域全体の光を受光する白画素である、
    請求項１３に記載の信号処理回路。
16. 第２色の画素は、緑色光を受光する緑画素である、
    請求項１３に記載の信号処理回路。
17. 第２色の画素は、マルチスペクトルの画素配列の内１つ以上の画素である、
    請求項１３に記載の信号処理回路。
18. 画素値が不連続に変化しているエッジ方向を判定し、その結果に基づいて輝度信号に合成する信号の割合を決定する、
    請求項１２に記載の固体撮像素子。
19. 第１色の画素が配置されて成る第１の固体撮像素子の出力信号、及び、第２色の画素が配置されて成る第２の固体撮像素子の出力信号を処理する信号処理回路であって、
    輝度信号を生成する際に、第１の固体撮像素子から出力される第１色の画素の信号と、第２の固体撮像素子から出力される第２色の画素の信号とを合成する、
    信号処理回路。
20. 異なる分光特性を有する複数の画素が配置され、当該複数の画素の内の１つ以上の画素が、その他の画素の２つ以上の分光特性を包含した分光特性を有する画素アレイ部と、
    画素アレイ部内の２つ以上の分光特性を有する画素の信号を輝度信号の生成に使用する際に、その包含された分光特性を有する画素の１つ以上の画素の信号を輝度信号に合成する信号処理部と、
    を備える固体撮像素子を有する、
    電子機器。

Images