JP2015103972A - デジタルカメラ及び固体撮像装置 - Google Patents

Abstract

【課題】色ムラが少なくかつ解像感の高い、高品質な画像を撮影可能なデジタルカメラ及び固体撮像装置を提供すること。【解決手段】実施形態によれば、デジタルカメラは、画素アレイ及びデモザイク処理部２１を有する。画素アレイは、画素ブロックを単位として構成されている。画素ブロックは、赤色画素、青色画素、第１の緑色画素及び第２の緑色画素からなる。第１の緑色画素で検出される第１の緑色成分と、第２の緑色画素で検出される第２の緑色成分とは、同一の波長領域の緑色成分である。デモザイク処理部２１は、４つの成分の画像信号を生成する。４つの成分は、赤色成分、青色成分、第１の緑色成分及び第２の緑色成分である。【選択図】図６

Description

本発明の実施形態は、デジタルカメラ及び固体撮像装置に関する。

従来、固体撮像装置が備えるイメージセンサの色配列として、ベイヤー配列が一般的に採用されている。ベイヤー配列は、２×２の画素ブロックを単位とする。この画素ブロックの対角に赤色（Ｒ）画素及び青色（Ｂ）画素が配置され、残りの対角に２つの緑色（Ｇ）画素が配置される。画素ブロックに含まれる２つのＧ画素のうち、行方向においてＲ画素と隣り合うＧ画素を、Ｇｒ画素と称する。画素ブロックに含まれる２つのＧ画素のうち、行方向においてＢ画素と隣り合うＧ画素を、Ｇｂ画素と称する。

イメージセンサによる色再現性を低下させる原因として、例えば、隣接する画素間での光学的あるいは電気的なクロストーク（混色）がある。イメージセンサは、カメラモジュールの小型化、および画素数の増大に対応するため、画素の微細化が進められている。画素が小型になるほど、クロストークの影響が問題となる。

また、例えば、フォトダイオードの配線層からの反射光が原因となって、隣接する画素同士で光感度に差が生じることがある。フォトダイオードが備える構造の対称性などに起因して、配線層からの反射光の量に偏りがあるような場合、隣接する画素同士で感度差が生じることがある。例えば、裏面配線を備えるフォトダイオードでは、裏面配線の上のシリコン層が薄い場合ほど、裏面配線からの反射光の影響が問題となる。

これらの原因によって、Ｇｒ画素とＧｂ画素との間に感度差が生じると、被写体には存在しない色ムラが、例えば格子模様となって画像に現れることがある。Ｇｒ画素及びＧｂ画素の感度差が原因となって生じる色ムラを低減するために、従来、Ｇｒ画素から出力される信号とＧｂ画素から出力される信号との平均化処理を実施するイメージセンサが知られている。しかし、イメージセンサは、かかる平均化処理を実施することで、画像の解像感が大幅に劣化することが問題となる。

フォトダイオードの構造を見直すことで画素間の感度差の低減を図る場合、フォトダイオードのその他の性能との兼ね合いを考慮する必要があるため、開発に多大な困難が伴うこととなる。

特開２００７−９７２０２号公報

本発明の一つの実施形態は、色ムラが少なくかつ解像感の高い、高品質な画像を撮影可能なデジタルカメラ及び固体撮像装置を提供することを目的とする。

本発明の一つの実施形態によれば、デジタルカメラは、画素アレイ及びデモザイク処理部を有する。画素アレイは、複数の画素がアレイ状に配置されている。画素は、光電変換素子を備える。画素アレイは、色配列に従って、各色光の信号レベルを画素ごとに分担して検出する。デモザイク処理部は、デモザイク処理を実施する。デモザイク処理は、画素ごとに検出された信号レベルを補間して、各画素の位置における各色光の信号成分を生成する処理である。画素アレイは、画素ブロックを単位として構成されている。画素ブロックは、赤色画素、青色画素、第１の緑色画素及び第２の緑色画素からなる。赤色画素は、赤色光の信号レベルを検出する。青色画素は、青色光の信号レベルを検出する。第１の緑色画素及び第２の緑色画素は、緑色光の信号レベルを検出する。第１の緑色画素で検出される第１の緑色成分と、第２の緑色画素で検出される第２の緑色成分とは、同一の波長領域の緑色成分である。デモザイク処理部は、４つの成分の画像信号を生成する。４つの成分は、赤色成分、青色成分、第１の緑色成分及び第２の緑色成分である。赤色成分は、赤色画素で検出される。青色成分は、青色画素で検出される。

実施形態にかかる固体撮像装置の概略構成を示すブロック図。 固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図。 デジタルカメラに設けられている光学系の概略構成を示す図。 カラーフィルタの配列を説明する図。 画素アレイのベイヤー配列を構成する画素ブロックを説明する図。 ＩＳＰの構成を示すブロック図。 Ｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図。 Ｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図。 Ｇｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図。 Ｇｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図。 Ｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図。 Ｇｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図。 Ｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図。 Ｇｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図。

以下に添付図面を参照して、実施形態にかかるデジタルカメラ及び固体撮像装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（実施形態）
図１は、実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図２は、固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図である。

デジタルカメラ１は、カメラモジュール２及び後段処理部３を有する。カメラモジュール２は、撮像光学系４及び固体撮像装置５を有する。後段処理部３は、イメージシグナルプロセッサ（ＩＳＰ）６、記憶部７及び表示部８を有する。実施形態にかかるデジタルカメラ１の構成は、例えばカメラ付き携帯端末等の電子機器へ応用しても良い。

撮像光学系４は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置５は、被写体像を撮像する。ＩＳＰ６は、固体撮像装置５での撮像により得られた画像信号の信号処理を実施する。ＩＳＰ６は、キズ補正、ノイズ低減処理、レンズシェーディング補正、デモザイク処理、ホワイトバランス調整、カラーマトリクス処理、ガンマ補正等の信号処理を実施する。記憶部７は、ＩＳＰ６での信号処理を経た画像を格納する。記憶部７は、ユーザの操作等に応じて、表示部８へ画像信号を出力する。

表示部８は、ＩＳＰ６あるいは記憶部７から入力される画像信号に応じて、画像を表示する。表示部８は、例えば、液晶ディスプレイである。デジタルカメラ１は、ＩＳＰ６での信号処理を経たデータに基づき、カメラモジュール２のフィードバック制御を実施する。

固体撮像装置５は、撮像素子であるイメージセンサ１０と、画像処理装置である信号処理回路１１とを備える。イメージセンサ１０は、例えば、ＣＭＯＳイメージセンサである。イメージセンサ１０は、ＣＭＯＳイメージセンサの他、ＣＣＤであっても良い。

イメージセンサ１０は、画素アレイ１２、垂直シフトレジスタ１３、タイミング制御部１４、相関二重サンプリング部（ＣＤＳ）１５、アナログデジタル変換部（ＡＤＣ）１６及びラインメモリ１７を有する。

画素アレイ１２は、イメージセンサ１０の撮像領域に設けられている。画素アレイ１２は、水平方向（行方向）及び垂直方向（列方向）へアレイ状に配置された複数の画素からなる。各画素は、光電変換素子であるフォトダイオードを備える。フォトダイオードは、入射光量に応じた信号電荷を生成する。画素アレイ１２は、色配列に従って、各色光の信号レベルを画素ごとに分担して検出する。

タイミング制御部１４は、画素アレイ１２の各画素からの信号を読み出すタイミングを指示する垂直同期信号を、垂直シフトレジスタ１３へ供給する。タイミング制御部１４は、ＣＤＳ１５、ＡＤＣ１６及びラインメモリ１７に対し、駆動タイミングを指示するタイミング信号をそれぞれ供給する。

垂直シフトレジスタ１３は、タイミング制御部１４からの垂直同期信号に応じて、画素アレイ１２内の画素を行ごとに選択する。垂直シフトレジスタ１３は、選択した行の各画素へ読み出し信号を出力する。垂直シフトレジスタ１３から読み出し信号が入力された画素は、入射光量に応じて蓄積した信号電荷を出力する。画素アレイ１２は、画素からの信号を、垂直信号線を介してＣＤＳ１５へ出力する。

ＣＤＳ１５は、画素アレイ１２からの信号に対し、固定パターンノイズの低減のための相関二重サンプリング処理を行う。ＡＤＣ１６は、アナログ方式の信号をデジタル方式の信号へ変換する。ラインメモリ１７は、ＡＤＣ１６からの信号を蓄積する。イメージセンサ１０は、ラインメモリ１７に蓄積された信号を出力する。

信号処理回路１１は、イメージセンサ１０からの画像信号に対し、各種の信号処理を実施する。固体撮像装置５は、信号処理回路１１での信号処理を経た画像信号をチップ外部へ出力する。固体撮像装置５は、信号処理回路１１での信号処理を経たデータに基づき、イメージセンサ１０のフィードバック制御を実施する。

図３は、デジタルカメラに設けられている光学系の概略構成を示す図である。被写体からデジタルカメラ１の撮像光学系４へ入射した光は、メインミラー１０１、サブミラー１０２及びメカシャッタ１０６を経てイメージセンサ１０へ進行する。デジタルカメラ１は、イメージセンサ１０において被写体像を撮像する。

サブミラー１０２で反射した光は、オートフォーカス（ＡＦ）センサ１０３へ進行する。デジタルカメラ１は、ＡＦセンサ１０３での検出結果を使用するフォーカス調整を行う。メインミラー１０１で反射した光は、レンズ１０４及びプリズム１０５を経てファインダー１０７へ進行する。

図４は、カラーフィルタの配列を説明する図である。図５は、画素アレイのベイヤー配列を構成する画素ブロックを説明する図である。カラーフィルタ２０は、画素アレイ１２の各画素の入射側に設けられている。

画素アレイ１２の赤色（Ｒ）画素、青色（Ｂ）画素、緑色（Ｇ）画素は、ベイヤー配列に従って配置されている。Ｒ画素は、Ｒ光の信号レベルを検出する。Ｂ画素は、Ｂ光の信号レベルを検出する。Ｇ画素は、Ｇ光の信号レベルを検出する。

ベイヤー配列は、２×２の画素ブロックを単位とする。Ｒ画素及びＢ画素は、この画素ブロックの対角に配置されている。画素ブロックの残りの対角に、２つのＧ画素が配置されている。画素アレイ１２は、Ｒ画素と、Ｂ画素と、２つのＧ画素とからなるこの画素ブロックを単位として構成されている。

Ｇｒ画素は、画素ブロックに含まれる２つのＧ画素のうち、行方向においてＲ画素と隣り合うＧ画素である。Ｇｒ画素は、第１の緑色画素である。Ｇｂ画素は、画素ブロックに含まれる２つのＧ画素のうち、行方向においてＢ画素と隣り合うＧ画素である。Ｇｂ画素は、第２の緑色画素である。

Ｒ画素の入射側に設けられているカラーフィルタ２０は、Ｒ光を選択的に透過させる。Ｂ画素の入射側に設けられているカラーフィルタ２０は、Ｂ光を選択的に透過させる。Ｇｒ画素の入射側に設けられているカラーフィルタ２０は、Ｇ光を選択的に透過させる。Ｇｂ画素の入射側に設けられているカラーフィルタ２０は、Ｇ光を選択的に透過させる。

Ｇｒ画素の入射側に設けられているカラーフィルタ２０と、Ｇｂ画素の入射側に設けられているカラーフィルタ２０とは、同一の波長領域のＧ光を透過させる波長特性を備える。これにより、Ｇｒ画素及びＧｂ画素は、それぞれカラーフィルタ２０を透過した同一の波長領域のＧ光の信号レベルを検出する。

図６は、ＩＳＰの構成を示すブロック図である。図６には、ＩＳＰ６における各種信号処理のための構成のうち、デモザイク処理、ホワイトバランス調整、カラーマトリクス処理、ガンマ補正のための各構成を示している。ＩＳＰ６におけるこの他の信号処理のための構成については、図示を省略している。

ＩＳＰ６へ入力された画像信号は、例えば、デモザイク処理部２１、ホワイトバランス調整部２２、カラーマトリクス処理部２３及びガンマ補正部２４の順に入力される。デモザイク処理部２１は、画素ごとに検出された信号レベルを補間して、各画素の位置における各色光の信号レベルを生成するデモザイク処理を実施する。デモザイク処理部２１は、ＲＡＷデータへのデモザイク処理によって、カラーのビットマップ画像を合成する。

デモザイク処理部２１は、Ｒ画素で検出された信号レベル、Ｂ画素で検出された信号レベル、Ｇｒ画素で検出された信号レベル、Ｇｂ画素で検出された信号レベルの補間を実施する。補間のための演算において、デモザイク処理部２１は、Ｇｒ画素にて検出された信号レベルと、Ｇｂ画素にて検出された信号レベルとを、互いに異なる色光について検出された信号レベル同士である場合と同じように、区別をもって取り扱うものとする。

デモザイク処理部２１は、Ｒ，Ｂ，Ｇｒ，Ｇｂの４成分の画像信号を生成する。Ｒ画像信号は、Ｒ画素で検出されたＲ成分についての信号と、Ｂ，Ｇｒ，Ｇｂの各画素の位置におけるＲ成分についての補間結果とからなる。Ｂ画像信号は、Ｂ画素で検出されたＢ成分についての信号と、Ｒ，Ｇｒ，Ｇｂの各画素の位置におけるＢ成分についての補間結果とからなる。

Ｇｒ画像信号は、Ｇｒ画素で検出されたＧｒ成分についての信号と、Ｒ，Ｂ，Ｇｂの各画素の位置におけるＧｒ成分についての補間結果とからなる。Ｇｂ画像信号は、Ｇｂ画素で検出されたＧｂ成分についての信号と、Ｒ，Ｂ，Ｇｒの各画素の位置におけるＧｂ成分についての補間結果とからなる。Ｇｒ画素で検出される第１の緑色成分であるＧｒ成分と、Ｇｂ画素で検出される第２の緑色成分であるＧｂ成分とは、同一の波長領域のＧ光成分である。

ホワイトバランス調整部２２は、デモザイク処理を経て生成された各色の画像信号に対するホワイトバランス処理を実施する。カラーマトリクス処理部２３は、各色の画像信号に対するカラーマトリクス処理を実施する。カラーマトリクス処理部２３は、カラーマトリクス処理を実施することで、Ｒ，Ｂ，Ｇｒ，Ｇｂの４成分の画像信号から、Ｒ，Ｂ，Ｇの３成分の画像信号への変換を行う。カラーマトリクス処理部２３は、かかる画像信号の変換に併せて、色再現性を高めるための画像信号の調整を行う。

ガンマ補正部２４は、カラーマトリクス処理を経たＲ，Ｇ，Ｂの画像信号に対し、画像の階調を補正するためのガンマ補正を実施する。なお、デモザイク処理部２１、ホワイトバランス調整部２２、カラーマトリクス処理部２３及びガンマ補正部２４へ画像信号が入力される順序は、適宜変更しても良い。

デジタルカメラ１は、本実施形態においてＩＳＰ６が実施するものとした各種信号処理の少なくともいずれかを、固体撮像装置５の信号処理回路１１が実施することとしても良い。デジタルカメラ１は、各種信号処理の少なくともいずれかを、信号処理回路１１及びＩＳＰ６の双方が実施しても良い。信号処理回路１１及びＩＳＰ６は、本実施形態で説明する信号処理以外の信号処理を追加して実施することとしても良い。信号処理回路１１及びＩＳＰ６は、本実施形態で説明する信号処理のうち、省略可能な処理を省略しても良い。

デモザイク処理部２１は、例えば、５×５の変換テーブルに基づいて、信号レベルの補間を実施する。この変換テーブルは、５×５の画素ブロックに含まれる各画素の信号レベルに乗算される係数を要素としたマトリクスであるものとする。

変換テーブルは、例えば、デジタルカメラ１が備えるＯＴＰ（one time programmable memory、図示省略）に予め格納されている。ＯＴＰは、画像信号の信号処理のためのパラメータを格納する。

デモザイク処理部２１は、Ｇｒ成分を得るための変換テーブルとＧｂ成分を得るための変換テーブルとして、互いに異なる変換テーブルを用意している。デモザイク処理部２１は、Ｒ，Ｂ，Ｇｒ，Ｇｂの各画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るために、１６個の変換テーブルを用意している。各変換テーブルは、Ｇｒ画素とＧｂ画素との感度差を低減させる調整を加味して、各係数が設定されている。

本実施形態においてＲ成分及びＢ成分を得るための各変換テーブルは、Ｇｒ画素にて検出された信号レベルと、Ｇｂ画素にて検出された信号レベルとを、互いに同じ色光の信号レベルとして区別せず取り扱う場合と比べて、設定される各係数は異なることとなる。

図７は、Ｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図である。Ｒ画素は、５×５の画素ブロックの中心に位置している。デモザイク処理部２１は、当該Ｒ画素におけるＲ成分の信号については、当該Ｒ画素で検出された信号レベルをそのまま出力しても良い。デモザイク処理部２１は、当該Ｒ画素の位置におけるＢ，Ｇｒ，Ｇｂの各成分については、それぞれに対して用意されている変換テーブルに基づく補間を実施する。

図８は、Ｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図である。Ｂ画素は、５×５の画素ブロックの中心に位置している。デモザイク処理部２１は、当該Ｂ画素におけるＢ成分の信号については、当該Ｂ画素で検出された信号レベルをそのまま出力しても良い。デモザイク処理部２１は、当該Ｂ画素の位置におけるＲ，Ｇｒ，Ｇｂの各成分については、それぞれに対して用意されている変換テーブルに基づく補間を実施する。

図９は、Ｇｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図である。Ｇｒ画素は、５×５の画素ブロックの中心に位置している。デモザイク処理部２１は、当該Ｇｒ画素におけるＧｒ成分の信号については、当該Ｇｒ画素で検出された信号レベルをそのまま出力しても良い。デモザイク処理部２１は、当該Ｇｒ画素の位置におけるＲ，Ｂ，Ｇｂの各成分については、それぞれに対して用意されている変換テーブルに基づく補間を実施する。

図１０は、Ｇｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図である。Ｇｂ画素は、５×５の画素ブロックの中心に位置している。デモザイク処理部２１は、当該Ｇｂ画素におけるＧｂ成分の信号については、当該Ｇｂ画素で検出された信号レベルをそのまま出力しても良い。デモザイク処理部２１は、当該Ｇｂ画素の位置におけるＲ，Ｂ，Ｇｒの各成分については、それぞれに対して用意されている変換テーブルに基づく補間を実施する。

なお、本実施形態で例示する各変換テーブルの要素とされる係数は、適宜変更しても良い。変換テーブルは５×５のマトリクスである場合に限られない。変換テーブルは、各色成分についての補間において信号レベルが参照される画素ブロックの範囲などに応じて適宜変形可能であるものとする。

カラーマトリクス処理部２３は、例えば、以下の式（１）による演算を行うことで、Ｒ，Ｂ，Ｇｒ，Ｇｂの４成分の画像信号（Ｒ，Ｇｒ，Ｂ，Ｇｂ）から、新たにＲ，Ｇ，Ｂの３成分の画像信号（Ｒ’，Ｇ’，Ｂ’）を生成する。

なお、ａ_ｉｊ（ｉ＝１，２，３、ｊ＝１，２，３，４）は補正係数とする。カラーマトリクス処理部２３は、４成分の画像信号（Ｒ，Ｇｒ，Ｂ，Ｇｂ）に３×４のカラーマトリクスを乗算することで、３成分の画像信号（Ｒ’，Ｇ’，Ｂ’）を生成する。

３×４のカラーマトリクスの補正係数は、式（２）から式（４）の条件を満たす。
ａ_１１＋ａ_１２＋ａ_１３＋ａ_１４＝１ ・・・（２）
ａ_２１＋ａ_２２＋ａ_２３＋ａ_２４＝１ ・・・（３）
ａ_３１＋ａ_３２＋ａ_３３＋ａ_３４＝１ ・・・（４）

ここで、本実施形態のデモザイク処理部２１における各変換テーブルの条件について説明する。図１１は、Ｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図である。「Ｒ１１」、「Ｇｒ１２」・・は、それぞれ５×５の変換テーブルの各係数を表すものとする。各係数は、それぞれ５×５の画素ブロックの各画素に対応している。係数は、対応する画素で検出された信号レベルに乗算される。

Ｒ成分の信号を得るための変換テーブルは、Ｒ画素に対応する各係数について、以下の式（５）の条件を満たす。また、式（６）に示すように、Ｂ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｒ１１＋Ｒ１３＋Ｒ１５＋Ｒ３１＋Ｒ３３＋Ｒ３５＋Ｒ５１＋Ｒ５３＋Ｒ５５＝１ ・・・（５）
Ｇｒ１２＋Ｇｒ１４＋Ｇｂ２１＋Ｂ２２＋Ｇｂ２３＋Ｂ２４＋Ｇｂ２５＋Ｇｒ３２＋Ｇｒ３４+Ｇｂ４１＋Ｂ４２＋Ｇｂ４３＋Ｂ４４＋Ｇｂ４５＋Ｇｒ５２＋Ｇｒ５４＝０ ・・・（６）

Ｇｒ成分の信号を得るための変換テーブルは、Ｇｒ画素に対応する各係数について、以下の式（７）の条件を満たす。Ｒ，Ｂ，Ｇｂの画素に対応する各係数の和はゼロとなる。なお、以降の説明において、各係数がゼロとなるときの式については記載を省略する。
Ｇｒ１２＋Ｇｒ１４＋Ｇｒ３２＋Ｇｒ３４＋Ｇｒ５２＋Ｇｒ５４＝１ ・・・（７）

Ｂ成分の信号を得るための変換テーブルは、Ｂ画素に対応する各係数について、以下の式（８）の条件を満たす。Ｒ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｂ２２＋Ｂ２４＋Ｂ４２＋Ｂ４４＝１ ・・・（８）

Ｇｂ成分の信号を得るための変換テーブルは、Ｇｂ画素に対応する各係数について、以下の式（９）の条件を満たす。Ｒ，Ｂ，Ｇｒの画素に対応する各係数の和はゼロとなる。
Ｇｂ２１＋Ｇｂ２３＋Ｇｂ２５＋Ｇｂ４１＋Ｇｂ４３＋Ｇｂ４５＝１ ・・・（９）

図１２は、Ｇｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図である。「Ｇｒ１１」、「Ｒ１２」・・は、それぞれ５×５の変換テーブルの各係数を表すものとする。

Ｒ成分の信号を得るための変換テーブルは、Ｒ画素に対応する各係数について、以下の式（１０）の条件を満たす。Ｂ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｒ１２＋Ｒ１４＋Ｒ３２＋Ｒ３４＋Ｒ５２＋Ｒ５４＝１ ・・・（１０）

Ｇｒ成分の信号を得るための変換テーブルは、Ｇｒ画素に対応する各係数について、以下の式（１１）の条件を満たす。Ｒ，Ｂ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｇｒ１１＋Ｇｒ１３＋Ｇｒ１５＋Ｇｒ３１＋Ｇｒ３３＋Ｇｒ３５＋Ｇｒ５１＋Ｇｒ５３＋Ｇｒ５５＝１ ・・・（１１）

Ｂ成分の信号を得るための変換テーブルは、Ｂ画素に対応する各係数について、以下の式（１２）の条件を満たす。Ｒ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｂ２１＋Ｂ２３＋Ｂ２５＋Ｂ４１＋Ｂ４３＋Ｂ４５＝１ ・・・（１２）

Ｇｂ成分の信号を得るための変換テーブルは、Ｇｂ画素に対応する各係数について、以下の式（１３）の条件を満たす。Ｒ，Ｂ，Ｇｒの画素に対応する各係数の和はゼロとなる。
Ｇｂ２２＋Ｇｂ２４＋Ｇｂ４２＋Ｇｂ４４＝１ ・・・（１３）

図１３は、Ｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図である。「Ｂ１１」、「Ｇｂ１２」・・は、それぞれ５×５の変換テーブルの各係数を表すものとする。

Ｒ成分の信号を得るための変換テーブルは、Ｒ画素に対応する各係数について、以下の式（１４）の条件を満たす。Ｂ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｒ２２＋Ｒ２４＋Ｒ４２＋Ｒ４４＝１ ・・・（１４）

Ｇｒ成分の信号を得るための変換テーブルは、Ｇｒ画素に対応する各係数について、以下の式（１５）の条件を満たす。Ｒ，Ｂ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｇｒ２１＋Ｇｒ２３＋Ｇｒ２５＋Ｇｒ４１＋Ｇｒ４３＋Ｇｒ４５＝１ ・・・（１５）

Ｂ成分の信号を得るための変換テーブルは、Ｂ画素に対応する各係数について、以下の式（１６）の条件を満たす。Ｒ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｂ１１＋Ｂ１３＋Ｂ１５＋Ｂ３１＋Ｂ３３＋Ｂ３５＋Ｂ５１＋Ｂ５３＋Ｂ５５＝１ ・・・（１６）

Ｇｂ成分の信号を得るための変換テーブルは、Ｇｂ画素に対応する各係数について、以下の式（１７）の条件を満たす。Ｒ，Ｂ，Ｇｒの画素に対応する各係数の和はゼロとなる。
Ｇｂ１２＋Ｇｂ１４＋Ｇｂ３２＋Ｇｂ３４＋Ｇｂ５２＋Ｇｂ５４＝１ ・・・（１７）

図１４は、Ｇｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図である。「Ｇｂ１１」、「Ｂ１２」・・は、それぞれ５×５の変換テーブルの各係数を表すものとする。

Ｒ成分の信号を得るための変換テーブルは、Ｒ画素に対応する各係数について、以下の式（１８）の条件を満たす。Ｂ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｒ２１＋Ｒ２３＋Ｒ２５＋Ｒ４１＋Ｒ４３＋Ｒ４５＝１ ・・・（１８）

Ｇｒ成分の信号を得るための変換テーブルは、Ｇｒ画素に対応する各係数について、以下の式（１９）の条件を満たす。Ｒ，Ｂ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｇｒ２２＋Ｇｒ２４＋Ｇｒ４２＋Ｇｒ４４＝１ ・・・（１９）

Ｂ成分の信号を得るための変換テーブルは、Ｂ画素に対応する各係数について、以下の式（２０）の条件を満たす。Ｒ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｂ１２＋Ｂ１４＋Ｂ３２＋Ｂ３４＋Ｂ５２＋Ｂ５４＝１ ・・・（２０）

Ｇｂ成分の信号を得るための変換テーブルは、Ｇｂ画素に対応する各係数について、以下の式（２１）の条件を満たす。Ｒ，Ｂ，Ｇｒの画素に対応する各係数の和はゼロとなる。
Ｇｂ１１＋Ｇｂ１３＋Ｇｂ１５＋Ｇｂ３１＋Ｇｂ３３＋Ｇｂ３５＋Ｇｂ５１＋Ｇｂ５３＋Ｇｂ５５＝１ ・・・（２１）

実施形態によると、イメージセンサ１０がＧｒ画素とＧｂ画素とで同一の波長領域のＧｒ成分とＧｂ成分とをそれぞれ検出する。その一方で、デモザイク処理部２１は、補間のための演算において、Ｇｒ成分とＧｂ成分とを、互いに異なる色成分同士である場合同じように区別して、Ｒ，Ｂ，Ｇｒ，Ｇｂの４つの成分の画像信号を生成する。

このようにデモザイク処理においてＧｒ成分とＧｂ成分を区別して扱うことで、Ｇｒ画素とＧｂ画素との感度差を低減させるように、補間のための変換テーブルの各係数を任意に調整可能とする。デモザイク処理部２１は、Ｇｒ画素とＧｂ画素との感度差の低減を加味して設定された変換テーブルを基に、補間を実施する。

このような補間によるデモザイク処理を実施することで、ＩＳＰ６は、Ｇｒ画素とＧｂ画素との間の感度差が原因となって生じる格子模様状の色ムラを効果的に低減することができる。デジタルカメラ１は、Ｇｒ画素から出力される信号とＧｂ画素から出力される信号との平均化処理を実施する場合に比べて、高い解像感を備える画像を得ることができる。

以上により、デジタルカメラ１は、色ムラが少なく解像感の高い、高品質な画像を撮影できるという効果を奏する。

本実施形態においてＩＳＰ６が備えるデモザイク処理部２１及びカラーマトリクス処理部２３は、ＩＳＰ６に代えて、固体撮像装置５の信号処理回路１１に設けられることとしても良い。これにより、固体撮像装置５及びカメラモジュール２は、色ムラが少なく解像感の高い、高品質な画像を撮影することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ デジタルカメラ、２ カメラモジュール、５ 固体撮像装置、１２ 画素アレイ、２０ カラーフィルタ、２１ デモザイク処理部、２３ カラーマトリクス処理部。

Claims (5)

1. 光電変換素子を備える複数の画素がアレイ状に配置され、色配列に従って、各色光の信号レベルを画素ごとに分担して検出する画素アレイと、
   前記画素ごとに検出された信号レベルを補間して、各画素の位置における各色光の信号成分を生成するデモザイク処理を実施するデモザイク処理部と、を有し、
   前記画素アレイは、赤色光の信号レベルを検出する赤色画素と、青色光の信号レベルを検出する青色画素と、緑色光の信号レベルを検出する第１の緑色画素及び第２の緑色画素とからなる画素ブロックを単位として構成され、
   前記第１の緑色画素で検出される第１の緑色成分と、前記第２の緑色画素で検出される第２の緑色成分とは、同一の波長領域の緑色成分であって、
   前記デモザイク処理部は、前記赤色画素で検出される赤色成分と、前記青色画素で検出される青色成分と、前記第１の緑色成分と、前記第２の緑色成分との、４つの成分の画像信号を生成することを特徴とするデジタルカメラ。
2. 前記４つの成分の画像信号から、新たに赤色成分、緑色成分及び青色成分の３つの成分の画像信号を生成するカラーマトリクス処理部を有することを特徴とする請求項１に記載のデジタルカメラ。
3. 前記デモザイク処理部は、前記画素ごとに検出された信号レベルを、変換テーブルに基づいて補間し、前記第１の緑色成分を得るための変換テーブルと前記第２の緑色成分を得るための変換テーブルは互いに異なることを特徴とする請求項１又は２に記載のデジタルカメラ。
4. 前記画素アレイの各画素の入射側に設けられているカラーフィルタを有し、
   前記第１の緑色画素の入射側に設けられているカラーフィルタと、前記第２の緑色画素の入射側に設けられているカラーフィルタとは、前記同一の波長領域の緑色成分を透過させる波長特性を備えることを特徴とする請求項１から３のいずれか一項に記載のデジタルカメラ。
5. 光電変換素子を備える複数の画素がアレイ状に配置され、色配列に従って、各色光の信号レベルを画素ごとに分担して検出する画素アレイと、
   前記画素ごとに検出された信号レベルを補間して、各画素の位置における各色光の信号成分を生成するデモザイク処理を実施するデモザイク処理部と、を有し、
   前記画素アレイは、赤色光の信号レベルを検出する赤色画素と、青色光の信号レベルを検出する青色画素と、緑色光の信号レベルを検出する第１の緑色画素及び第２の緑色画素とからなる画素ブロックを単位として構成され、
   前記第１の緑色画素で検出される第１の緑色成分と、前記第２の緑色画素で検出される第２の緑色成分とは、同一の波長領域の緑色成分であって、
   前記デモザイク処理部は、前記赤色画素で検出される赤色成分と、前記青色画素で検出される青色成分と、前記第１の緑色成分と、前記第２の緑色成分との、４つの成分の画像信号を生成することを特徴とする固体撮像装置。

Images