JP2013026672A - 固体撮像装置及びカメラモジュール - Google Patents

Abstract

【課題】カメラモジュールの薄型化を可能とし、高い色再現性と高感度とを実現可能とする固体撮像装置及びカメラモジュールを提供すること。
【解決手段】実施形態によれば、固体撮像装置は、第１イメージセンサ、第２イメージセンサ及び撮像処理回路２０を有する。第１イメージセンサは、被写体から入射する各色光の強度分布に応じた第１画像信号であるＲＡＷ画像データ５２を出力する。第２イメージセンサは、被写体から入射する光の輝度分布に応じた第２画像信号であるモノクロ画像データ５１を出力する。撮像処理回路２０は、第１画像信号及び第２画像信号の処理を実施する。撮像処理回路２０は、画像合成部４８を有する。画像合成部４８は、第１画像信号に含まれる色情報５５と、第２画像信号に含まれる輝度信号５３とを合成する。
【選択図】図７

Description

本発明の実施形態は、固体撮像装置及びカメラモジュールに関する。

従来、固体撮像装置は、高感度な画像撮影を実現するために、例えば、画素を大型化する措置が採られることがある。画素の大型化によりイメージセンサを大型にする場合、レンズから受光面までの距離（焦点距離）を長く確保することとなるために、カメラモジュールの薄型化が困難となる。

イメージセンサの多くは、２行２列の画素ブロック中の対角に赤色（Ｒ）画素及び青色（Ｂ）画素を配置し、残りの対角に２個の緑色（Ｇ）画素を配置する、いわゆるベイヤー配列が採用されている。従来、高感度な画像撮影を実現するために、２行２列の画素ブロック中の１個のＧ画素が、白色（Ｗ）画素に置き換えられたイメージセンサが提案されている。Ｗ画素は、白色光を取り込む。Ｗ画素は、輝度信号の信号電荷量を十分に確保することを目的として配置される。

Ｗ画素は、他の色画素に比べて広い波長域の光を取り込むため、画素セルへの入射光量に対する出力の飽和が、他の色画素より先に生じることとなる。Ｗ画素を備えるイメージセンサは、入射光量に対する出力の飽和がＷ画素で生じることで、各色について十分な感度が得られないことがあり得る。また、Ｗ画素へ多くの光が取り込まれることで、Ｗ画素から、Ｗ画素に隣接する他の色用画素へ光が漏れ出すことによるクロストークが生じ易くなる。Ｗ画素を備えるイメージセンサは、クロストークによる色再現性の低下が課題となっている。

特開２００９−１７５４４号公報

本発明の一つの実施形態は、カメラモジュールの薄型化を可能とし、高い色再現性と高感度とを実現可能とする固体撮像装置及びカメラモジュールを提供することを目的とする。

本発明の一つの実施形態によれば、固体撮像装置は、第１イメージセンサ、第２イメージセンサ及び撮像処理回路を有する。第１イメージセンサは、被写体から入射する各色光の強度分布に応じた第１画像信号を出力する。第２イメージセンサは、被写体から入射する光の輝度分布に応じた第２画像信号を出力する。撮像処理回路は、第１画像信号及び第２画像信号の処理を実施する。撮像処理回路は、画像合成部を有する。画像合成部は、第１画像信号に含まれる色情報と、第２画像信号に含まれる輝度情報とを合成する。

実施形態にかかる固体撮像装置を適用したカメラモジュールの一部構成を模式的に表した斜視図。 カメラモジュールの概略構成を示すブロック図。 レンズモジュール、固体撮像装置及びＩＳＰの詳細を示すブロック図。 ＩＳＰの信号処理回路による信号処理の手順を説明するフローチャート。 タイミング生成器によるフレームタイミングの調整について説明するブロック図。 フレームメモリを使用するフレームタイミングの調整について説明するブロック図。 撮像処理回路の詳細を示すブロック図。 カラー信号分離部における第１輝度情報の生成について説明する図。 カラー信号分離部における第１輝度情報の生成について説明する図。 第１輝度情報及び第２輝度情報の合成による合成輝度情報の取得に関する変形例を説明する図表。 タイプ３にて使用するカラーイメージセンサにおける画素の配列を説明する図。 タイプ４にて使用するカラーイメージセンサにおける画素の配列を説明する図。 Ｙ画素についてのＣ成分の信号値の算出について説明する図。 Ｃ画素についてのＹ成分の信号値の算出について説明する図。

以下に添付図面を参照して、実施形態にかかる固体撮像装置及びカメラモジュールを詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

（実施形態）
図１は、実施形態にかかる固体撮像装置を適用したカメラモジュールの一部構成を模式的に表した斜視図である。図２は、カメラモジュールの概略構成を示すブロック図である。カメラモジュール１０は、レンズモジュール１１、固体撮像装置１２、イメージシグナルプロセッサ（image signal processor；ＩＳＰ）１３、記憶部１４及び表示部１５を有する。

レンズモジュール１１は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置１２は、被写体像を撮像する。ＩＳＰ１３は、固体撮像装置１２での撮像により得られた画像信号の信号処理を実施する。記憶部１４は、ＩＳＰ１３での信号処理を経た画像を格納する。記憶部１４は、ユーザの操作等に応じて、表示部１５へ画像信号を出力する。表示部１５は、ＩＳＰ１３あるいは記憶部１４から入力される画像信号に応じて、画像を表示する。表示部１５は、例えば、液晶ディスプレイである。

図３は、レンズモジュール、固体撮像装置及びＩＳＰの詳細を示すブロック図である。図４は、ＩＳＰの信号処理回路による信号処理の手順を説明するフローチャートである。図３に示すように、レンズモジュール１１は、第１の撮像レンズ２１、第２の撮像レンズ２２及びレンズ駆動部２７を有する。第１の撮像レンズ２１は、被写体からの光を取り込み、カラーイメージセンサ２３へ入射させる。第２の撮像レンズ２２は、被写体からの光を取り込み、モノクロイメージセンサ２４へ入射させる。

図１に示すように、第１の撮像レンズ２１及び第２の撮像レンズ２２は、共通のレンズホルダー１６に取り付けられている。第１の撮像レンズ２１及び第２の撮像レンズ２２は、例えば、それぞれレンズバレルに保持された状態で、レンズホルダー１６に取り付けられる。第１の撮像レンズ２１及び第２の撮像レンズ２２は、図中一点鎖線で示す第１の撮像レンズ２１の光軸及び第２の撮像レンズ２２の光軸に対して垂直な方向へ並べられている。

固体撮像装置１２は、撮像処理回路２０、カラーイメージセンサ２３、モノクロイメージセンサ２４、タイミング生成器２５及びフレームメモリ２６を有する。カラーイメージセンサ２３には、Ｒ光を検出するＲ画素、Ｇ光を検出するＧ画素、及びＢ光を検出するＢ画素が、例えばベイヤー配列として配置されている。カラーイメージセンサ２３は、ＲＡＷ画像データを出力する第１イメージセンサとして機能する。ＲＡＷ画像データは、第１の撮像レンズ２１により取り込まれた各色光の強度分布に応じた第１画像信号とする。

モノクロイメージセンサ２４には、Ｗ光を検出するＷ画素がアレイ状に配置されている。モノクロイメージセンサ２４は、モノクロ画像データを出力する第２イメージセンサとして機能する。モノクロ画像データは、第２の撮像レンズ２２により取り込まれた光の輝度分布に応じた第２画像信号とする。カラーイメージセンサ２３及びモノクロイメージセンサ２４は、例えば、ＬＶＤＳ（low voltage differential signaling）による伝送方式を採用する。

撮像処理回路２０は、カラーイメージセンサ２３からのＲＡＷ画像データと、モノクロイメージセンサ２４からのモノクロ画像データとの処理を実施する。撮像処理回路２０は、ＲＡＷ画像データ及びモノクロ画像データを合成して得られた合成画像データを出力する。フレームメモリ２６は、撮像処理回路２０に取り込まれたＲＡＷ画像データ及びモノクロ画像データの少なくともいずれかを格納する。フレームメモリ２６は、後述する視差補正のために使用される他、例えば、高ダイナミックレンジ（high dynamic range；ＨＤＲ）処理や手振れ補正等のために使用されるものとしても良い。

図１に示すように、カラーイメージセンサ２３、モノクロイメージセンサ２４及びフレームメモリ２６は、共通のプリント基板１７上に配置されている。第１の撮像レンズ２１は、カラーイメージセンサ２３に対向させて配置されている。第２の撮像レンズ２２は、モノクロイメージセンサ２４に対向させて配置されている。カメラモジュール１０は、カラーイメージセンサ２３、モノクロイメージセンサ２４及びフレームメモリ２６を共通のプリント基板１７上に集約することで、小型化に適した構成としている。タイミング生成器２５は、ＲＡＷ画像データとモノクロ画像データとに適用するフレームタイミングを生成する。

図５は、タイミング生成器によるフレームタイミングの調整について説明するブロック図である。タイミング生成器２５は、水平同期信号Ｈ及び垂直同期信号Ｖを生成する。カラーイメージセンサ２３は、フレームタイミングを水平同期信号Ｈ及び垂直同期信号Ｖに一致させてから、ＲＡＷ画像データを出力する。また、モノクロイメージセンサ２４は、フレームタイミングを水平同期信号Ｈ及び垂直同期信号Ｖに一致させてから、モノクロ画像データを出力する。

図６は、フレームメモリを使用するフレームタイミングの調整について説明するブロック図である。カラー用フレームメモリ２８は、カラーイメージセンサ２３からのＲＡＷ画像データを一時的に格納する。モノクロ用フレームメモリ２９は、モノクロイメージセンサ２４からのモノクロ画像データを一時的に格納する。カラー用フレームメモリ２８及びモノクロ用フレームメモリ２９は、例えば、フレームメモリ２６（図３参照）に包含されているものとする。

カラー用フレームメモリ２８は、格納しているＲＡＷ画像データのフレームタイミングを水平同期信号Ｈ及び垂直同期信号Ｖに一致させてから、ＲＡＷ画像データを出力する。モノクロ用フレームメモリ２９は、格納しているモノクロ画像データのフレームタイミングを水平同期信号Ｈ及び垂直同期信号Ｖに一致させてから、モノクロ画像データを出力する。固体撮像装置１２は、図５及び図６に示す構成のいずれによってフレームタイミングを調整しても良いものとする。

図３に示すように、ＩＳＰ１３は、カメラインタフェース（Ｉ／Ｆ）３１、画像取り込み部３２、信号処理回路３３、ドライバインタフェース（Ｉ／Ｆ）３４及びオートフォーカス（ＡＦ）駆動ドライバ３５を有する。カメラＩ／Ｆ３１は、固体撮像装置１２からの合成画像データの入力を受け付ける。画像取り込み部３２は、カメラＩ／Ｆ３１へ入力された合成画像データを取り込む。

信号処理回路３３は、画像取り込み部３２へ取り込まれた合成画像について、信号処理を実施する。ドライバＩ／Ｆ３４は、信号処理回路３３での信号処理を経た画像データを、記憶部１４及び表示部１５（図１参照）へ出力する。

図４に示す信号処理の手順において、信号処理回路３３は、画像取り込み部３２へ取り込まれた画像について、シェーディング補正を実施する（ステップＳ１）。信号処理回路３３は、シェーディング補正により、第１の撮像レンズ２１及び第２の撮像レンズ２２について、中央部と周辺部との光量差による輝度ムラを補正する。

信号処理回路３３は、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去するノイズリダクション（ステップＳ２）及び解像度復元処理（ステップＳ３）を実施する。次に、信号処理回路３３は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理（デモザイキング）を施す（ステップＳ４）。デモザイキングでは、撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。信号処理回路３３は、デモザイキングによりカラーのビットマップ画像を合成する。

信号処理回路３３は、カラー画像に対して、ホワイトバランスの自動調整（automatic white balance control；ＡＷＢ）を実施する（ステップＳ５）。さらに、信号処理回路３３は、色再現性を得るためのリニアカラーマトリクス処理（ステップＳ６）、ディスプレイ等に表示される画像の彩度や明るさを補正するためのガンマ補正（ステップＳ７）を実施する。なお、本実施形態で説明する信号処理回路３３における信号処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、順序の変更などを適宜しても良い。

カメラモジュール１０における信号処理のための構成は、前段の撮像処理回路２０と、後段のＩＳＰ１３とに大別される。カメラモジュール１０において、撮像処理回路２０及びＩＳＰ１３は、カラーイメージセンサ２３及びモノクロイメージセンサ２４により取り込まれた画像信号の信号処理を実施する画像処理装置として機能する。

ＡＦ駆動ドライバ３５は、レンズ駆動部２７を制御する。レンズ駆動部２７は、第１の撮像レンズ２１及び第２の撮像レンズ２２のフォーカス調整のために、光軸の方向について第１の撮像レンズ２１及び第２の撮像レンズ２２を駆動する。レンズ駆動部２７は、レンズホルダー１６を移動させることで、第１の撮像レンズ２１及び第２の撮像レンズ２２を一括して駆動する。カメラモジュール１０は、第１の撮像レンズ２１及び第２の撮像レンズ２２を一括して駆動可能とすることで、第１の撮像レンズ２１及び第２の撮像レンズ２２を個別に駆動する場合に対し、レンズモジュール１１を簡易な構成とすることができる。

図７は、撮像処理回路の詳細を示すブロック図である。撮像処理回路２０は、モノクロ信号変換部４１、カラー信号分離部４２、視差量算出部４３、視差補正部４４、輝度情報合成部４５、解像度復元部４６、ローパスフィルタ（ＬＰＦ）４７及び画像合成部４８を有する。

モノクロ信号変換部４１は、モノクロイメージセンサ２４から入力されたモノクロ画像データ５１を第２輝度情報５３へ変換する画像信号変換部として機能する。モノクロ信号変換部４１は、モノクロ画像データ５１の演算処理により第２輝度信号５３を得る他、モノクロ画像データ５１をそのまま第２輝度情報５３としても良い。

カラー信号分離部４２は、カラーイメージセンサ２３から入力されたＲＡＷ画像データ５２を、第１輝度情報５４及び色情報５５へと分離する画像信号分離部として機能する。なお、第１輝度情報５４及び第２輝度情報５３は、例えば、ＹＵＶ色空間の輝度成分に相当する情報とする。色情報５５は、例えば、ＹＵＶ色空間の色差成分に相当する情報とする。

図８及び図９は、カラー信号分離部における第１輝度情報の生成について説明する図である。カラー信号分離部４２は、例えば、Ｇ成分の信号値を第１輝度情報５４とする。カラー信号分離部４２は、Ｒ画素及びＢ画素については、周囲のＧ画素が検出した信号値の補間処理により、Ｇ成分の信号値を算出する。

カラー信号分離部４２は、Ｂ画素についてのＧ成分の信号値の算出において、例えば、図８に示すように、当該Ｂ画素を中心とする３行３列の画素ブロックに含まれる４個のＧ画素が検出した信号値を参照する。カラー信号分離部４２は、例えば、次に示す式により、Ｂ画素についてのＧ成分の信号値を算出する。なお、式中、「Ｇ１」、「Ｇ２」、「Ｇ３」及び「Ｇ４」の項は、それぞれ、図８に示すＧ画素（Ｇ１、Ｇ２、Ｇ３及びＧ４）が検出したＧ成分の信号値とする。
（Ｇ成分の信号値）＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４

カラー信号分離部４２は、Ｒ画素についてのＧ成分の信号値の算出において、例えば、図９に示すように、当該Ｒ画素を中心とする３行３列の画素ブロックに含まれる４個のＧ画素が検出した信号値を参照する。カラー信号分離部４２は、Ｂ画素についての場合と同様の式を使用して、Ｒ画素についてのＧ成分の信号値を算出する。なお、カラー信号分離部４２による補間処理の手法は、適宜変更可能であるものとする。例えば、カラー信号分離部４２は、デモザイク処理の手法により、第１輝度情報５４を生成することとしても良い。

撮像処理回路２０は、カラー信号分離部４２からの第１輝度情報５４及びモノクロ信号変換部４１からの第２輝度情報５３を、例えばフレームメモリ２６（図３参照）に一時格納する。視差量算出部４３は、フレームメモリ２６から読み出した第１輝度情報５４と第２輝度信号５３とを使用して、カラーイメージセンサ２３により取得した輝度画像（第１画像）、及びモノクロイメージセンサ２４により取得した輝度画像（第２画像）の視差量を算出する。視差量算出部４３は、例えば、第１輝度情報５４による輝度画像を基準として、第２輝度情報５３による輝度画像のずれを画素数に換算し、視差量とする。

視差量算出部４３は、例えば、ブロックマッチングの手法を採用することで、輝度画像同士のずれを簡易的に計算可能とする。また、視差量算出部４３は、算出した視差量から、depth mapを生成する。なお、視差量算出部４３は、第１輝度情報５４による輝度画像を基準として視差量を算出する場合の他、第２輝度情報５３による輝度画像を基準として視差量を算出することとしても良い。この場合、撮像処理回路２０は、第１輝度情報５４と同様の視差補正を、色情報５５についても実施する。これにより、撮像処理回路２０は視差が補正された合成画像を得ることができる。

視差補正部４４は、カラーイメージセンサ２３により取得した輝度画像、及びモノクロイメージセンサ２４により取得した輝度画像の視差を補正する。視差補正部４４は、視差量算出部４３で生成したdepth mapを参照して、視差を補正する。輝度情報合成部４５は、視差補正部４４における視差の補正を経た第１輝度情報５４及び第２輝度情報５３の合成により、合成輝度情報５６を生成する。

解像度復元部４６は、合成輝度情報５６による合成画像について、解像度復元を実施する。解像度復元部４６は、第１の撮像レンズ２１及び第２の撮像レンズ２２が備えるボケ量等のレンズ特性を推測し、推測したレンズ特性に基づき解像度復元を実施する。レンズ特性としては、例えば、光学伝達係数（point spread function；ＰＳＦ）を用いる。ＰＳＦの推測には、例えば、最小二乗法による推定方法を使用する。解像度復元の効果は、復元に用いるアルゴリズムに依存する。解像度復元部４６は、元の被写体像に近い画像を復元するために、例えば、Richardson−Lucy法を使用する。

カメラモジュール１０は、解像度復元の確実な効果を得るために、第１の撮像レンズ２１、第２の撮像レンズ２２、カラーイメージセンサ２３及びモノクロイメージセンサ２４のそれぞれについての個体情報、例えば製造誤差、レンズ特性等を予め保持する。これらの個体情報は、例えば、固体撮像装置１２内のＯＴＰ（one time programmable memory、図示省略）やＩＳＰ１３に格納される。

ＬＰＦ４７は、カラー信号分離部４２からの色情報５５について平滑化処理を実施する。ＬＰＦ４７は、色情報５５の平滑化処理により、色ノイズを低減させる。なお、撮像処理回路２０は、色情報５５について、ＬＰＦ４７による平滑化処理に代えて、例えばノイズリダクション処理を実施することとしても良い。

画像合成部４８は、解像度復元部４６での解像度復元を経た合成輝度情報５６と、ＬＰＦ４７での平滑化処理を経た色情報５５との合成により、合成画像データ５７を生成する。撮像処理回路２０は、画像合成部４８で生成した合成画像データ５７を出力する。

固体撮像装置１２は、モノクロイメージセンサ２４により、信号対ノイズ比（ＳＮＲ）及び解像度が高い輪郭成分を持つ第２輝度情報５３を得ることが可能である。鮮明な輪郭成分を第２輝度情報５３から得られることから、撮像処理回路２０は、カラーイメージセンサ２３からのＲＡＷ画像データ５２については、カラー信号分離部４２において、第１輝度情報５４よりも色情報５５を優先して抽出することとしても良い。これにより、撮像処理回路２０は、輪郭成分とともに、色成分についても高い感度を得ることが可能となる。

なお、撮像処理回路２０は、輝度情報合成部４５により第１輝度情報５４及び第２輝度情報５３から合成された合成輝度情報５６を色情報５５と合成する場合に限られない。撮像処理回路２０は、モノクロイメージセンサ２４に由来する第２輝度情報５３を色情報５５と合成することとしても良い。この場合も、撮像処理回路２０は、輪郭成分及び色成分について高い感度を得ることができる。

本実施形態の固体撮像装置１２は、カラーイメージセンサ２３とモノクロイメージセンサ２４とで輝度情報５３、５４及び色情報５５を取得する。撮像処理回路２０は、他の色用画素に比べて感度が高いＷ画素からの第２輝度情報５３と、各色用画素からの第１輝度情報５４とを輝度情報合成部４５において合成することで、高感度な合成画像を得る。また、固体撮像装置１２は、カラーイメージセンサ２３で取得した色情報５５を撮像処理回路２０において合成することで、高い色再現性を確保する。

固体撮像装置１２は、各色用画素にＷ画素を混在させたイメージセンサを使用する場合に比べ、クロストークによる色再現性の低下を抑制可能とする。また、固体撮像装置１２は、各色用画素より先にＷ画素の出力が飽和することによる各色成分の感度低下も抑制できる。

以上により、固体撮像装置１２は、カラーイメージセンサ２３及びモノクロイメージセンサ２４で得た情報を合成することで、高感度かつ高い色再現性の撮影を可能とする。これにより、カメラモジュール１０は、高解像度かつ高精細な画像を得ることができる。さらに、カメラモジュール１０は、高感度を得るための画素の大型化、長い焦点距離の確保が不要となるため、薄型化及び小型化が可能となる。

なお、図７に示す撮像処理回路２０が備える各要素の少なくとも一部は、ＩＳＰ１３の信号処理回路３３に設けることとしても良い。また、信号処理回路３３が実施するものとして図４に示す各処理の少なくとも一部は、撮像処理回路２０で実施することとしても良い。固体撮像装置１２は、撮像処理回路２０及び信号処理回路３３の構成次第により、フレームメモリ２６を適宜省くこととしても良い。

図１０は、第１輝度情報及び第２輝度情報の合成による合成輝度情報の取得に関する変形例を説明する図表である。図表中、タイプ１は、本実施形態においてこれまで説明した態様を表している。タイプ１において、固体撮像装置１２は、Ｗ画素を並列させたモノクロイメージセンサ２４と、ＲＧＢの各画素をベイヤー配列としたカラーイメージセンサ２３とを備える。第２輝度情報５３は、Ｗ成分の信号値からなるモノクロ画像データ５１から取得する。第１輝度情報５４は、ＲＧＢ各成分の信号値からなるＲＡＷ画像データ５２の補間処理を経て取得したＧ成分の信号値とする。

タイプ２では、固体撮像装置１２は、Ｇ画素を並列させたモノクロイメージセンサ２４と、タイプ１と同様のカラーイメージセンサ２３とを使用する。第２輝度情報５３は、Ｇ成分の信号値とする。第１輝度情報５４は、タイプ１と同様に、補間処理を経て取得したＧ成分の信号値とする。

図１１は、タイプ３にて使用するカラーイメージセンサにおける画素の配列を説明する図である。タイプ３では、ＲＧの各画素を交互に並列させたカラーイメージセンサ２３を使用する。固体撮像装置１２は、かかるカラーイメージセンサ２３と、タイプ２と同様のモノクロイメージセンサ２４とを使用する。第２輝度情報５３は、タイプ２と同様に、Ｇ成分の信号値とする。

カラー信号分離部４２（図７参照）は、ＲＢ各成分の信号値からなるＲＢ画像データの補間処理により、各画素についてのＲ成分の信号値とＢ成分の信号値とを取得する。カラー信号分離部４２は、Ｒ成分の信号値とＢ成分の信号値との加算によりＭ（マゼンタ）成分の信号値を取得する。タイプ３では、Ｍ成分の信号値を第１輝度情報５４とする。

図１２は、タイプ４にて使用するカラーイメージセンサにおける画素の配列を説明する図である。タイプ４では、ＣＹ（Ｃ：シアン、Ｙ：イエロー）の各画素を交互に並列させたカラーイメージセンサ２３を使用する。固体撮像装置１２は、かかるカラーイメージセンサ２３と、タイプ２と同様のモノクロイメージセンサ２４とを使用する。第２輝度情報５３は、タイプ２と同様に、Ｇ成分の信号値とする。カラー信号分離部４２は、ＣＹ各成分の信号値からなるＣＹ画像データの補間処理により、各画素についてのＣ成分の信号値とＹ成分の信号値とを取得する。

図１３は、Ｙ画素についてのＣ成分の信号値の算出について説明する図である。カラー信号分離部４２は、例えば、Ｙ画素を中心とする３行３列の画素ブロックに含まれる４個のＣ画素が検出した信号値を参照する。カラー信号分離部４２は、例えば、次に示す式により、Ｙ画素についてのＣ成分の信号値を算出する。なお、式中、「Ｃ１」、「Ｃ２」、「Ｃ３」及び「Ｃ４」の項は、それぞれ、図１３に示すＣ画素（Ｃ１、Ｃ２、Ｃ３及びＣ４）が検出したＣ成分の信号値とする。
（Ｃ成分の信号値）＝（Ｃ１＋Ｃ２＋Ｃ３＋Ｃ４）／４

図１４は、Ｃ画素についてのＹ成分の信号値の算出について説明する図である。カラー信号分離部４２は、例えば、Ｃ画素を中心とする３行３列の画素ブロックに含まれる４個のＹ画素が検出した信号値を参照する。カラー信号分離部４２は、例えば、次に示す式により、Ｃ画素についてのＹ成分の信号値を算出する。なお、式中、「Ｙ１」、「Ｙ２」、「Ｙ３」及び「Ｙ４」の項は、それぞれ、図１４に示すＹ画素（Ｙ１、Ｙ２、Ｙ３及びＹ４）が検出したＹ成分の信号値とする。
（Ｙ成分の信号値）＝（Ｙ１＋Ｙ２＋Ｙ３＋Ｙ４）／４

カラー信号分離部４２は、このような補間処理を経たＣ成分の信号値とＹ成分の信号値との加算によりＧ成分の信号値を取得する。タイプ４では、Ｇ成分の信号値を第１輝度情報５４とする。タイプ１〜４のいずれを採用する場合も、固体撮像装置１２は、高感度かつ高い色再現性の撮影を可能とする。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ カメラモジュール、１１ レンズモジュール、１２ 固体撮像装置、２０ 撮像処理回路、２１ 第１の撮像レンズ、２２ 第２の撮像レンズ、２３ カラーイメージセンサ、２４ モノクロイメージセンサ、２６ フレームメモリ、２７ レンズ駆動部、３３ 信号処理回路、４４ 視差補正部、４５ 輝度情報合成部、４８ 画像合成部、５１ モノクロ画像データ、５２ ＲＡＷ画像データ、５３ 第２輝度情報、５４ 第１輝度情報、５５ 色情報、５６ 合成輝度情報。

Claims (7)

1. 被写体から入射する各色光の強度分布に応じた第１画像信号を出力する第１イメージセンサと、
   前記被写体から入射する光の輝度分布に応じた第２画像信号を出力する第２イメージセンサと、
   前記第１画像信号及び前記第２画像信号の処理を実施する撮像処理回路と、を有し、
   前記撮像処理回路は、
   前記第１画像信号に含まれる色情報と、前記第２画像信号に含まれる輝度情報とを合成する画像合成部を有することを特徴とする固体撮像装置。
2. 前記撮像処理回路は、
   前記第１画像信号に含まれる第１輝度情報と前記第２画像信号に含まれる第２輝度情報との合成により、合成輝度情報を生成する輝度情報合成部をさらに有し、
   前記画像合成部は、前記色情報と、前記輝度情報合成部からの前記合成輝度情報とを合成することを特徴とする請求項１に記載の固体撮像装置。
3. 前記撮像処理回路は、
   前記第１イメージセンサにより取得した第１画像と、前記第２イメージセンサにより取得した第２画像と、の視差を補正する視差補正部をさらに有し、
   前記視差補正部は、前記第１輝度情報及び前記第２輝度情報を使用して算出された視差量に応じて視差を補正することを特徴とする請求項１又は２に記載の固体撮像装置。
4. 前記第１画像信号及び前記第２画像信号の少なくともいずれかを格納するフレームメモリを有し、
   前記第１イメージセンサ、前記第２イメージセンサ及び前記フレームメモリは、共通の基板に設けられることを特徴とする請求項１から３のいずれか一項に記載の固体撮像装置。
5. 被写体からの光を取り込み、被写体像を結像させるレンズモジュールと、
   前記被写体像を撮像する固体撮像装置と、を有し、
   前記固体撮像装置は、
   前記被写体から入射する各色光の強度分布に応じた第１画像信号を出力する第１イメージセンサと、
   前記被写体から入射する光の輝度分布に応じた第２画像信号を出力する第２イメージセンサと、
   前記第１画像信号及び前記第２画像信号の処理を実施する撮像処理回路と、を有し、
   前記レンズモジュールは、
   前記被写体からの光を前記第１イメージセンサへ入射させる第１の撮像レンズと、
   前記被写体からの光を前記第２イメージセンサへ入射させる第２の撮像レンズと、
   前記第１の撮像レンズ及び前記第２の撮像レンズのフォーカス調整のためのレンズ駆動部と、を有し、
   前記撮像処理回路は、
   前記第１画像信号に含まれる色情報と、前記第２画像信号に含まれる輝度情報とを合成する画像合成部を有し、
   前記レンズ駆動部は、前記第１の撮像レンズ及び前記第２の撮像レンズを駆動することを特徴とするカメラモジュール。
6. 前記第１の撮像レンズ及び前記第２の撮像レンズは、共通のレンズホルダーに取り付けられ、
   前記レンズ駆動部は、前記レンズホルダーを移動させることで、前記第１の撮像レンズ及び前記第２の撮像レンズを一括して駆動することを特徴とする請求項５に記載のカメラモジュール。
7. 前記固体撮像装置は、
   前記第１画像信号及び前記第２画像信号の少なくともいずれかを格納するフレームメモリを有し、
   前記第１イメージセンサ、前記第２イメージセンサ及び前記フレームメモリは、共通の基板に設けられることを特徴とする請求項５又は６に記載のカメラモジュール。

Images