JP2009253623A - 固体撮像素子及び撮影装置 - Google Patents

Abstract

【課題】合焦に関する処理を高精度に行うことのできる固体撮像素子及び撮影装置を得る。
【解決手段】ＣＣＤ２４を、各々マトリクス状に配置されると共に、画素単位で受光部が複数の分割領域に均等に分割された複数の受光素子と、各々前記複数の受光素子に１対１で対応して設けられ、対応する受光素子に被写体像を結像させる複数のマイクロレンズと、前記複数の受光素子によって得られた受光量を示す信号を出力する水平転送路及び出力アンプを備えたものとする一方、デジタルカメラ１０は、当該ＣＣＤ２４から出力された信号に基づいて、合焦に関する処理を行う。
【選択図】図１

Description

本発明は、固体撮像素子及び撮影装置に係り、特に、被写体の撮像に用いられると共に合焦制御に用いられる固体撮像素子、及び当該固体撮像素子を用いて撮影及び合焦制御を行う撮影装置に関する。

近年、ＣＣＤ（Charge Coupled Device）エリアセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージ・センサ等の固体撮像素子の高解像度化に伴い、デジタル電子スチルカメラ、デジタルビデオカメラ、携帯電話機、ＰＤＡ（Personal Digital Assistant，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮影機能を有する情報機器を撮影装置と称する。

ところで、この種の撮影装置に関する技術として、特許文献１には、カメラの機構部や消費電力を増すことなく、精度の高いＡＦ（Auto Focus、自動合焦）制御ができる固体撮像装置を提供することを目的として、固体撮像素子によって得られた画像情報を用いて、位相差ＡＦ方式によるＡＦ制御を行う技術が開示されている。

以下、位相差ＡＦ方式の原理について説明する。

一例として図８に示されるように、被写体の特定点からの光は、Ａ点に対応する瞳を通って当該Ａ点に入る光線束ΦＬａと、Ｂ点に対応する瞳を通って当該Ｂ点に入る光線束ΦＬｂに分けられる。この２つの光線束は、元々１点から発したものであるので、カメラレンズの焦点が固体撮像素子の受光面（撮像面）上に合っていれば、図８（ａ）に示されるように同一のマイクロレンズで括られる１点に到達することになる。しかし、例えば、カメラレンズの焦点が固体撮像素子の受光面から距離ｘだけ手前であれば、図８（ｂ）に示されるように、２θｘだけ互いにずれる。これに対し、カメラレンズの焦点が固体撮像素子の受光面から距離ｘだけ奥側であれば、到達点は２θｘだけ逆方向にずれる。

この原理に基づき、Ａ点の並びによりできる像とＢ点の並びによりできる像は、カメラレンズにより合焦していれば一致し、合焦していなければずれることになる。

この原理に基づいて、特許文献１に開示されている固体撮像素子は、開口位置の異なるマイクロレンズをもった画素を基本配列のなかに組み込み、第１の開口をもつ画素（Ｓ１）を含む基本配列の行と第２の開口をもつ画素（Ｓ２）を含む基本配列の行を隣接してならべる領域を設けたものである。この領域のＳ１群からの行像信号とＳ２群からの行像信号のずれ量を演算してカメラレンズのずれ量を求め、カメラのフォーカスを動かすことによりＡＦ制御が可能となる。

なお、位相差ＡＦ方式については、特許文献１の他、特開昭５７−４９８４１号公報等の多数の文献に開示されている技術であるので、これ以上の説明は省略する。

一方、特許文献２には、焦点距離が短く、絞り径の小さなレンズを用いても、主被写体の位置に影響されず、主被写体以外の焦点の合っていない部分を主被写体との距離に応じて自然にぼかした画像が得られるようにすることを目的として、撮影面における複数の被写体までの距離に基づいて主被写体を検出する検出手段と、検出された主被写体が存在する部分以外の撮影面を撮影して得た画像データを、上記主被写体との間の距離に応じてぼかす画像処理を行う画像処理手段とを設け、主被写体から離れるに従ってぼけるようにする技術が開示されている。
特開２０００−１５６８２３号公報 特開平１１−２６６３８８号公報

しかしながら、上記特許文献１に開示されている技術では、異なる２つの画素間の位相差に基づいてＡＦ制御を行うものとされているので、必ずしも高精度に合焦制御を行うことができるとは限らない、という問題点があった。

また、上記特許文献２に開示されている技術においても、画素単位で画像処理を行うことができないため、必ずしも高精度に主被写体以外の画像をぼかす処理を行うことができるとは限らない、という問題点があった。

本発明は上記問題点を解決するためになされたものであり、合焦に関する処理を高精度に行うことのできる固体撮像素子及び撮影装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載の固体撮像素子は、各々マトリクス状に配置されると共に、画素単位で受光部が複数の分割領域に均等に分割された複数の受光素子と、各々前記複数の受光素子に１対１で対応して設けられ、対応する受光素子に被写体像を結像させる複数のマイクロレンズと、前記複数の受光素子によって得られた受光量を示す信号を出力する出力手段と、を備えている。

請求項１に記載の固体撮像素子によれば、複数の受光素子が各々マトリクス状に配置されると共に、画素単位で受光部が複数の分割領域に均等に分割される。

そして、本発明では、各々前記複数の受光素子に１対１で対応して設けられた複数のマイクロレンズにより、対応する受光素子に被写体像が結像される一方、前記複数の受光素子によって得られた受光量を示す信号が出力手段によって出力される。

従って、本発明に係る固体撮像素子を用いることにより、前述した位相差ＡＦ方式におけるずれ量を画素単位で得ることができる結果、このずれ量を用いてＡＦ制御、撮影画像の背景部分をぼかす画像処理といった合焦に関する処理を実行することにより、当該処理を、より高精度に行うことができる。

このように、請求項１に記載の固体撮像素子によれば、各々マトリクス状に配置されると共に、画素単位で受光部が複数の分割領域に均等に分割された複数の受光素子と、各々前記複数の受光素子に１対１で対応して設けられ、対応する受光素子に被写体像を結像させる複数のマイクロレンズと、前記複数の受光素子によって得られた受光量を示す信号を出力する出力手段と、を備えているので、合焦に関する処理を高精度に行うことができる。

なお、本発明は、請求項２に記載の発明のように、前記複数の受光素子が、画素単位で受光部が水平方向、垂直方向、及び斜め方向の少なくとも１つの方向に対して均等に分割されていてもよい。前記受光部が水平方向に対して分割されている場合、主要被写体が縦方向に長く、その左右の少なくとも一方に背景部分が存在する被写体（以下、「縦方向被写体」という。）について高精度に合焦制御を行うことができる。また、前記受光部が垂直方向に対して分割されている場合、主要被写体が横方向に長く、その上下の少なくとも一方に背景部分が存在する被写体（以下、「横方向被写体」という。）について高精度に合焦制御を行うことができる。更に、前記受光部が斜め方向に対して分割されている場合、縦方向被写体及び横方向被写体の何れの被写体においても高精度に合焦制御を行うことができると共に、対応する分割領域間のピッチを、より狭くすることができる結果、より高精度に合焦制御することができる。

また、本発明は、請求項３に記載の発明のように、前記複数の受光素子が、各々前記受光部（以下、「第１の受光部」という。）の中央部にＦ値（Fade Number）が所定値以下のレンズ用の受光部（以下、「第２の受光部」という。）が更に設けられていてもよい。これにより、第２の受光部によって得られた受光量と、第１の受光部における複数の分割領域によって得られた受光量を加え合わせることにより、当該固体撮像素子による撮影画像のダイナミック・レンジを拡大することができる。

また、本発明は、請求項４に記載の発明のように、前記複数の受光素子が、ハニカム構造とされていてもよい。これにより、前記複数の受光素子を正体画素配列構造とする場合に比較して、より各画素の受光部の面積を大きくすることができる結果、感度特性及び飽和特性を向上させることができる一方、より画素ピッチを狭くすることができる結果、解像度を高くすることができる。

更に、本発明は、請求項５に記載の発明のように、前記出力手段が、前記複数の受光素子の各々毎に、前記複数の分割領域の各々によって得られた受光量を示す信号を分割領域毎に分離した状態で出力する第１の出力と加え合わせた状態で出力する第２の出力を選択的に行うものとしてもよい。これにより、各分割領域によって得られた受光量を示す信号を加え合わせる手段を外部に設ける必要がなくなる結果、より簡易に当該固体撮像素子を用いることができる。

一方、上記目的を達成するために、請求項６に記載の撮影装置は、請求項１〜請求項４の何れか１項記載の固体撮像素子と、前記固体撮像素子の撮像面に対して被写体像を結像させる結像手段と、前記固体撮像素子から出力された信号に基づいて前記複数の分割領域の各領域別に分離された分離画像情報を生成する分離画像情報生成手段と、前記分離画像情報を対応する画素毎に加算することにより撮影画像情報を生成する撮影画像情報生成手段と、前記固体撮像素子を用いた撮影を行うに当たり、前記分離画像情報又は前記撮影画像情報に基づいて合焦制御を行う合焦制御手段と、前記撮影を行う際に、前記分離画像情報及び前記撮影画像情報を記憶する記憶手段と、を備えている。

請求項６に記載の撮影装置によれば、請求項１〜請求項４の何れか１項記載の固体撮像素子の撮像面に対して結像手段により被写体像が結像される。

ここで、本発明では、分離画像情報生成手段により、前記固体撮像素子から出力された信号に基づいて前記複数の分割領域の各領域別に分離された分離画像情報が生成されると共に、撮影画像情報生成手段により、前記分離画像情報を対応する画素毎に加算することにより撮影画像情報が生成される。

そして、本発明では、前記固体撮像素子を用いた撮影を行うに当たり、合焦制御手段により、前記分離画像情報又は前記撮影画像情報に基づいて合焦制御が行われ、前記撮影を行う際に、前記分離画像情報及び前記撮影画像情報が記憶手段によって記憶される。

このように、請求項６に記載の撮影装置によれば、請求項１〜請求項４の何れか１項記載の固体撮像素子から出力された信号に基づいて、当該固体撮像素子の各受光素子における受光部の各分割領域別に分離された分離画像情報を生成すると共に、当該分離画像情報を対応する画素毎に加算することにより撮影画像情報を生成し、前記固体撮像素子を用いた撮影を行うに当たり、前記分離画像情報又は前記撮影画像情報に基づいて合焦制御を行う一方、前記撮影を行う際に、前記分離画像情報及び前記撮影画像情報を記憶しているので、これらの画像情報を用いることにより、合焦に関する処理を高精度に行うことができる。

なお、上記記憶手段には、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュＥＥＰＲＯＭ（Flash EEPROM）等の半導体記憶素子、ｘＤピクチャカード（登録商標）、フレキシブルディスク等の可搬記録媒体、ハードディスク等の固定記録媒体等が含まれる。

一方、上記目的を達成するために、請求項７に記載の撮影装置は、請求項５記載の固体撮像素子と、前記固体撮像素子の撮像面に対して被写体像を結像させる結像手段と、前記固体撮像素子から前記第１の出力により出力された信号に基づいて前記複数の分割領域の各領域別に分離された分離画像情報を生成する分離画像情報生成手段と、前記固体撮像素子から前記第２の出力により出力された信号に基づいて撮影画像を示す撮影画像情報を生成する撮影画像情報生成手段と、前記固体撮像素子を用いた撮影を行うに当たり、前記分離画像情報又は前記撮影画像情報に基づいて合焦制御を行う合焦制御手段と、前記撮影を行う際に、前記分離画像情報及び前記撮影画像情報を記憶する記憶手段と、を備えている。

請求項７に記載の撮影装置によれば、請求項５記載の固体撮像素子の撮像面に対して結像手段により被写体像が結像される。

ここで、本発明では、分離画像情報生成手段により、前記固体撮像素子から前記第１の出力により出力された信号に基づいて前記複数の分割領域の各領域別に分離された分離画像情報が生成されると共に、撮影画像情報生成手段により、前記固体撮像素子から前記第２の出力により出力された信号に基づいて撮影画像を示す撮影画像情報が生成される。

そして、本発明では、前記固体撮像素子を用いた撮影を行うに当たり、合焦制御手段により、前記分離画像情報又は前記撮影画像情報に基づいて合焦制御が行われ、前記撮影を行う際に、前記分離画像情報及び前記撮影画像情報が記憶手段によって記憶される。

このように、請求項７に記載の撮影装置によれば、請求項５記載の固体撮像素子から第１の出力により出力された信号に基づいて、当該固体撮像素子の各受光素子における受光部の各分割領域別に分離された分離画像情報を生成すると共に、前記固体撮像素子から第２の出力により出力された信号に基づいて撮影画像を示す撮影画像情報を生成し、前記固体撮像素子を用いた撮影を行うに当たり、前記分離画像情報又は前記撮影画像情報に基づいて合焦制御を行う一方、前記撮影を行う際に、前記分離画像情報及び前記撮影画像情報を記憶しているので、これらの画像情報を用いることにより、合焦に関する処理を高精度に行うことができる。

なお、上記記憶手段には、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュＥＥＰＲＯＭ等の半導体記憶素子、ｘＤピクチャカード（登録商標）、フレキシブルディスク等の可搬記録媒体、ハードディスク等の固定記録媒体等が含まれる。

なお、請求項６又は請求項７に記載の発明は、請求項８に記載の発明のように、前記記憶手段に記憶された前記分離画像情報に基づいて、前記固体撮像素子の受光素子の各々毎に前記被写体像のずれ量を導出する導出手段と、前記導出手段によって得られた受光素子毎のずれ量に基づいて、前記記憶手段に記憶された前記撮影画像情報に対して、当該ずれ量が大きいほどぼかし量を大きくする画像処理を行う画像処理手段と、を更に備えてもよい。これにより、当該画像処理を高精度に行うことができる。

本発明によれば、合焦に関する処理を高精度に行うことができる、という効果が得られる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、ここでは、本発明を、静止画像の撮影を行うデジタル電子スチルカメラ（以下、「デジタルカメラ」という。）に適用した場合について説明する。

［第１の実施の形態］
まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の電気系の要部構成を説明する。

同図に示されるように、本実施の形態に係るデジタルカメラ１０は、被写体像を結像させるためのレンズを含んで構成された光学ユニット２２と、当該レンズの光軸後方に配設された電荷結合素子（以下、「ＣＣＤ」という。）２４と、入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部２６と、を含んで構成されている。

また、デジタルカメラ１０は、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８と、入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部３０と、を含んで構成されている。

なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ４８の所定領域に直接記憶させる制御も行う。

ＣＣＤ２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、ＣＣＤ２４から出力された被写体像を示すアナログ信号はアナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタル画像データに変換された後にデジタル信号処理部３０に入力される。

一方、デジタルカメラ１０は、撮影された被写体像やメニュー画面等を表示する液晶ディスプレイ（以下、「ＬＣＤ」という。）３８と、当該被写体像やメニュー画面等をＬＣＤ３８に表示させるための信号を生成してＬＣＤ３８に供給するＬＣＤインタフェース３６と、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）４０と、撮影により得られたデジタル画像データ等を一時的に記憶するメモリ４８と、メモリ４８に対するアクセスの制御を行うメモリインタフェース４６と、を含んで構成されている。

更に、デジタルカメラ１０は、可搬型のメモリカード５２をデジタルカメラ１０でアクセス可能とするための外部メモリインタフェース５０と、デジタル画像データに対する圧縮処理及び伸張処理を行う圧縮・伸張処理回路５４と、を含んで構成されている。

なお、本実施の形態のデジタルカメラ１０では、メモリ４８としてフラッシュ・メモリ（Flash Memory）が用いられ、メモリカード５２としてｘＤピクチャ・カード（登録商標）が用いられているが、これに限るものでないことは言うまでもない。

デジタル信号処理部３０、ＬＣＤインタフェース３６、ＣＰＵ４０、メモリインタフェース４６、外部メモリインタフェース５０及び圧縮・伸張処理回路５４はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０及び圧縮・伸張処理回路５４の作動の制御、ＬＣＤ３８に対するＬＣＤインタフェース３６を介した各種情報の表示、メモリ４８及びメモリカード５２へのメモリインタフェース４６ないし外部メモリインタフェース５０を介したアクセスを各々行うことができる。

一方、デジタルカメラ１０には、主としてＣＣＤ２４を駆動させるためのタイミング信号（パルス信号）を生成してＣＣＤ２４に供給するタイミングジェネレータ３２が備えられており、ＣＣＤ２４の駆動はＣＰＵ４０によりタイミングジェネレータ３２を介して制御される。

更に、デジタルカメラ１０にはモータ駆動部３４が備えられており、光学ユニット２２に備えられた図示しない焦点調整モータ、ズームモータ及び絞り駆動モータの駆動もＣＰＵ４０によりモータ駆動部３４を介して制御される。

すなわち、本実施の形態に係る上記レンズは複数枚のレンズを有し、焦点距離の変更（変倍）が可能なズームレンズ系として構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータ及び絞り駆動モータは含まれるものであり、これらのモータは各々ＣＰＵ４０の制御によりモータ駆動部３４から供給された駆動信号によって駆動される。

更に、デジタルカメラ１０には、撮影を実行する際に押圧操作されるレリーズスイッチ（所謂シャッター）、デジタルカメラ１０の電源のオン／オフを切り替える際に操作される電源スイッチ、撮影を行うモードである撮影モード及び被写体像をＬＣＤ３８に再生するモードである再生モードの何れかのモードに設定する際に操作されるモード切替スイッチ、ＬＣＤ３８にメニュー画面を表示させるときに押圧操作されるメニュースイッチ、それまでの操作内容を確定するときに押圧操作される決定スイッチ、直前の操作内容をキャンセルするときに押圧操作されるキャンセルスイッチ等の各種スイッチ類を含んで構成された操作部５６が備えられており、これらの操作部５６はＣＰＵ４０に接続されている。従って、ＣＰＵ４０は、これらの操作部５６に対する操作状態を常時把握できる。

なお、本実施の形態に係るデジタルカメラ１０のレリーズスイッチは、中間位置まで押下される状態（以下、「半押し状態」という。）と、当該中間位置を超えた最終押下位置まで押下される状態（以下、「全押し状態」という。）と、の２段階の押圧操作が検出可能に構成されている。

そして、デジタルカメラ１０では、レリーズスイッチを半押し状態にすることによりＡＥ（Automatic Exposure、自動露出）機能が働いて露出状態（シャッタースピード、絞りの状態）が設定された後、ＡＦ機能が働いて合焦制御され、その後、引き続き全押し状態にすると露光（撮影）が行われる。

また、デジタルカメラ１０には、撮影時に必要に応じて被写体に照射する光を発するストロボ４４と、ストロボ４４とＣＰＵ４０との間に介在されると共に、ＣＰＵ４０の制御によりストロボ４４を発光させるための電力を充電する充電部４２と、が備えられている。更に、ストロボ４４はＣＰＵ４０にも接続されており、ストロボ４４の発光はＣＰＵ４０によって制御される。

次に、図２及び図３を参照して、本実施の形態に係るＣＣＤ２４の構成を説明する。なお、図２はＣＣＤ２４の画素構造を示す平面図であり、図３はＣＣＤ２４の全体構成を示す平面図である。

図２に示すように、本実施の形態に係るＣＣＤ２４は、各々画素を構成する受光部６２を有する受光素子６０がマトリクス状に複数（本実施の形態では、１０００万個）配置されると共に、各受光素子６０における各受光部６２が第１受光部６２Ａ及び第２受光部６２Ｂの２つの分割領域に均等に分割されている。

また、ＣＣＤ２４には、各受光素子６０に１対１で対応し、対応する受光素子６０に被写体像を結像させる複数のマイクロレンズ６４が、対応する受光素子６０の上部に設けられている。

なお、図２では錯綜を回避するために図示を省略するが、マイクロレンズ６４と受光素子６０との間には、対応する色のカラーフィルタ層、当該カラーフィルタ層を保護する保護膜等が形成されている。

また、同図に示されるように、本実施の形態に係るＣＣＤ２４では、各受光素子６０がハニカム構造とされている。これにより、従来型である正体画素配列構造とする場合に比較して、画素ピッチを縮めたり、一画素当たりの面積を拡大したりすることができるものとされている。

一方、図３に示すように、本実施の形態に係るＣＣＤ２４は、上記複数の受光素子６０がマトリクス状に配置されている撮像領域７０の下端部近傍に、撮像領域７０の各受光素子６０において光電変換された信号電荷を１行ずつ受け取り、出力アンプ７４に出力する水平転送路７２が設けられている。ここで、出力アンプ７４は、水平転送路７２から転送されてくる各画素の信号電荷を電圧信号に変換するものである。

なお、錯綜を回避するために図示は省略するが、本実施の形態に係るＣＣＤ２４では、撮像領域７０において、各受光素子６０において光電変換された信号電荷を受け取り、水平転送路７２に向けて順次転送する垂直転送路が設けられている。

本実施の形態に係るＣＣＤ２４では、各受光素子６０において、第１受光部６２Ａによって蓄積された信号電荷が第２受光部６２Ｂに転送されることにより、第２受光部６２Ｂに蓄積されている信号電荷に第１受光部６２Ａに蓄積されている信号電荷を加えた後、対応する垂直転送路に転送して水平転送路７２まで転送する加算転送モードと、第１受光部６２Ａにおいて蓄積された信号電荷と第２受光部６２Ｂにおいて蓄積された信号電荷を各々個別に対応する垂直転送路を介して水平転送路７２まで転送する個別転送モードの２つの動作モードが、外部から入力されたパルス信号の種類に応じて選択的に適用可能とされている。以下では、ＣＣＤ２４を加算転送モードで動作させるためのパルス信号を「加算転送用パルス信号」と称し、ＣＣＤ２４を個別転送モードで動作させるためのパルス信号を「個別転送用パルス信号」と称する。

本実施の形態に係るデジタルカメラ１０では、ＣＰＵ４０による制御に応じて、タイミングジェネレータ３２により上記加算転送用パルス信号又は個別転送用パルス信号をＣＣＤ２４に対して選択的に出力することができる。

そして、本実施の形態に係るデジタルカメラ１０には、ＡＦ機能として、ＣＣＤ２４を加算転送モードで動作させた状態で得られるデジタル画像データに基づいて、予め定められた合焦対象領域（一例として、ＣＣＤ２４による撮像領域の中心を含む分割領域）に対応する、前記デジタル画像データにより示される輝度情報から高周波成分を抽出して積算することにより合焦評価値（コントラスト評価値）を生成しつつ光学ユニット２２に設けられているフォーカス・レンズを光軸方向に移動させ、前記合焦評価値が最大となるフォーカス・レンズの位置を特定して当該位置にフォーカス・レンズを位置決めする、所謂山登り制御方式によりＡＦ制御を行う山登り合焦機能と、ＣＣＤ２４を個別転送モードで動作させた状態で得られるデジタル画像データに基づいて、上記合焦対象領域における画素毎に被写体像のずれ量を導出し、当該ずれ量に応じた位置にフォーカス・レンズを移動させる、所謂位相差ＡＦ方式によりＡＦ制御を行う位相差合焦機能の何れか一方の合焦機能を選択的に適用することができる。

なお、本実施の形態に係るデジタルカメラ１０では、何れの合焦機能を適用するかをメニュー画面上で予め設定するものとされているが、これに限らず、合焦機能の設定用のスイッチを設けておき、当該スイッチにより設定する形態等、他の形態とすることができることは言うまでもない。

次に、本実施の形態に係るデジタルカメラ１０の撮影時における全体的な動作について簡単に説明する。なお、ここでは、合焦機能として山登り合焦機能が設定されている場合を例に説明する。

まず、ＣＣＤ２４は、光学ユニット２２を介した撮像を行い、被写体像を示すＲ（赤）、Ｇ（緑）、Ｂ（青）毎のアナログ信号をアナログ信号処理部２６に順次出力する。このとき、ＣＣＤ２４は加算転送モードで動作し、受光素子６０毎に第１受光部６２Ａに蓄積された信号電荷と第２受光部６２Ｂに蓄積された信号電荷が加算された状態のアナログ信号がアナログ信号処理部２６に順次出力される。

アナログ信号処理部２６は、ＣＣＤ２４から入力されたアナログ信号に対して相関二重サンプリング処理等のアナログ信号処理を施した後にＡＤＣ２８に順次出力する。

ＡＤＣ２８は、アナログ信号処理部２６から入力されたＲ、Ｇ、Ｂ毎のアナログ信号を各々所定ビット数のＲ、Ｇ、Ｂの信号（デジタル画像データ）に変換してデジタル信号処理部３０に順次出力する。デジタル信号処理部３０は、内蔵しているラインバッファにＡＤＣ２８から順次入力されるデジタル画像データを蓄積して一旦メモリ４８の所定領域に直接格納する。

メモリ４８の所定領域に格納されたデジタル画像データは、ＣＰＵ４０による制御に応じてデジタル信号処理部３０により読み出され、所定の物理量に応じたＲ，Ｇ，Ｂ毎のデジタルゲインをかけることでホワイトバランス調整を行うと共に、ガンマ処理及びシャープネス処理を行って所定ビット数のデジタル画像データを生成する。

そして、デジタル信号処理部３０は、生成したデジタル画像データに対しＹＣ信号処理を施して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（以下、「ＹＣ信号」という。）を生成し、ＹＣ信号をメモリ４８の上記所定領域とは異なる領域に格納する。

なお、ＬＣＤ３８は、ＣＣＤ２４による連続的な撮像によって得られた動画像（スルー画像）を表示してファインダとして使用することができるものとして構成されており、ＬＣＤ３８をファインダとして使用する場合には、生成したＹＣ信号を、ＬＣＤインタフェース３６を介して順次ＬＣＤ３８に出力する。これによってＬＣＤ３８にスルー画像が表示されることになる。

ここで、レリーズスイッチがユーザによって半押し状態とされたタイミングで前述のようにＡＥ機能が働いて露出状態が設定された後、前述した山登り合焦機能が働いて合焦制御され、その後、引き続き全押し状態とされたタイミングで、その時点でメモリ４８に格納されているＹＣ信号を、圧縮・伸張処理回路５４によって所定の圧縮形式（本実施の形態では、ＪＰＥＧ形式）で圧縮した後に外部メモリインタフェース５０を介してメモリカード５２に電子化ファイル（画像ファイル）として記録することにより撮影を行う。

次に、図４を参照して、位相差合焦機能が設定されている場合のデジタルカメラ１０の撮影時における作用を説明する。なお、図４は、合焦機能として位相差合焦機能が設定されており、かつ撮影モードが設定されている場合に、ＣＰＵ４０によって実行される撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムはメモリ４８の所定領域に予め記憶されている。

まず、同図のステップ１００では、レリーズスイッチが半押し状態となるまで待機し、次のステップ１０２では、ＣＣＤ２４に入力しているパルス信号を個別転送用パルス信号とするようにタイミングジェネレータ３２を制御することにより、ＣＣＤ２４が個別転送モードで動作するように設定し、次のステップ１０４では、前述したようにＡＥ機能を実行した後、前述した位相差合焦機能を実行する。

このとき、ＣＣＤ２４は、個別転送モードで動作しているため、受光素子６０の各々毎に第１受光部６２Ａにより蓄積された信号電荷と第２受光部６２Ｂにより蓄積された信号電荷が個別に出力されており、上記位相差合焦機能では、これらの信号電荷に基づいて得られる各デジタル画像データを用いて前述した位相差ＡＦ方式による合焦制御を行う。

また、本ステップ１０４の処理によって実行されるＡＥ機能では、第１受光部６２Ａにより蓄積された信号電荷に基づくデジタル画像データ（以下、「第１画像データ」という。）と、第２受光部６２Ｂにより蓄積された信号電荷に基づくデジタル画像データ（以下、「第２画像データ」という。）の少なくとも一方を用いて得られる被写体の明るさに基づいて露出状態の設定を行えばよいが、本実施の形態に係るデジタルカメラ１０では、第１画像データにより示される被写体の明るさに基づいて露出状態の設定を行っている。

次のステップ１０６では、ＣＣＤ２４に入力しているパルス信号を加算転送用パルス信号とするようにタイミングジェネレータ３２を制御することにより、ＣＣＤ２４が加算転送モードで動作するように設定し、次のステップ１０８では、レリーズスイッチが全押し状態に移行したか否かを判定して、肯定判定となった場合はステップ１１２に移行する一方、否定判定となった場合にはステップ１１０に移行する。

ステップ１１０では、レリーズスイッチが押圧されていない場合の位置に復帰したか否かを判定することにより、レリーズスイッチの押圧操作が解除されたか否かを判定し、肯定判定となった場合は上記ステップ１００に戻る一方、否定判定となった場合には上記ステップ１０２に戻る。

一方、ステップ１１２では、前述したように撮影を行い（当該撮影によりメモリカード５２に記憶されたデジタル画像データを以下では「撮影画像データ」という。）、次のステップ１１４では、上記ステップ１０２の処理と同様にＣＣＤ２４が個別転送モードで動作するように設定する。

次のステップ１１６では、この時点で得られた第１画像データと第２画像データを上記ステップ１１２の処理によって記憶した撮影画像データに関連付けてメモリカード５２に記憶し、その後に本撮影処理プログラムを終了する。なお、上記ステップ１１６の処理によってメモリカード５２に記憶された２つのデジタル画像データを以下では「分離画像データ」という。

次に、図５を参照して、上記撮影画像データに対して、当該撮影画像データにより示される被写体における主被写体以外の画像を、それまでに比較して、よりぼかす処理を行う画像変換処理を行う際のデジタルカメラ１０の作用を説明する。なお、図５は、当該画像変換処理の実行指示がユーザによって入力された際にＣＰＵ４０によって実行される画像変換処理プログラムの処理の流れを示すフローチャートであり、当該プログラムもメモリ４８の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、処理対象とする撮影画像データ（以下、「処理対象撮影画像データ」という。）がユーザによって予め指定されている場合について説明する。

まず、同図のステップ２００では、処理対象撮影画像データと、当該処理対象撮影画像データに対応する分離画像データをメモリカード５２から読み出し、次のステップ２０２では、分離画像データにおける各画素毎に、当該分離画像データにより示される被写体像のずれ量を算出する。なお、当該ずれ量の算出手法は、従来既知の位相差ＡＦ方式におけるずれ量の算出手法と同様であるので、ここでの説明は省略する。

次のステップ２０４では、上記ステップ２０２の処理によって算出されたずれ量が大きくなるほど多くなるように各画素毎にボケ量を導出し、次のステップ２０６にて、処理対象撮影画像データに対し、上記ステップ２０４の処理によって得られた対応するボケ量（ぼかし量）によるぼかし処理を各画素毎に実行し、その後に本画像変換処理プログラムを終了する。

なお、本実施の形態に係るデジタルカメラ１０では、上記ぼかし処理として、ロー・パス・フィルタ（Low Pass Filter）を、対応するボケ量に応じた強度で画素毎にかける処理を適用しており、上記ずれ量が小さい画素から順に当該ぼかし処理を施す。この際、既にぼかし処理が施された画素については、ロー・パス・フィルタで用いる周辺画素から除外するようにする。これにより、主要被写体と背景部との境界部分において、ぼかしの強度を大きく変えることができる結果、高精度に主被写体以外の画像をぼかす処理を行うことができる。

このように、本実施の形態に係るデジタルカメラ１０では、ロー・パス・フィルタによりぼかし処理を実行しているが、ぼかし処理の形態はこれに限らず、画素毎に強度を設定することのできる他のぼかし処理を適用する形態とすることもできることは言うまでもない。

以上詳細に説明したように、本実施の形態に係る固体撮像素子（ここでは、ＣＣＤ２４）では、各々マトリクス状に配置されると共に、画素単位で受光部が複数（ここでは、２つ）の分割領域に均等に分割された複数の受光素子と、各々前記複数の受光素子に１対１で対応して設けられ、対応する受光素子に被写体像を結像させる複数のマイクロレンズと、前記複数の受光素子によって得られた受光量を示す信号を出力する出力手段（ここでは、水平転送路７２及び出力アンプ７４）と、を備えているので、合焦に関する処理を高精度に行うことができる。

また、本実施の形態に係る固体撮像素子では、前記複数の受光素子が、画素単位で受光部が水平方向に対して均等に分割されているので、縦方向被写体について高精度に合焦制御を行うことができる。

また、本実施の形態に係る固体撮像素子では、前記複数の受光素子が、ハニカム構造とされているので、前記複数の受光素子を正体画素配列構造とする場合に比較して、より各画素の受光部の面積を大きくすることができる結果、感度特性及び飽和特性を向上させることができる一方、より画素ピッチを狭くすることができる結果、解像度を高くすることができる。

更に、本実施の形態に係る固体撮像素子では、前記複数の受光素子の各々毎に、前記複数の分割領域の各々によって得られた受光量を示す信号を分割領域毎に分離した状態で出力する第１の出力（ここでは、個別転送モードによる出力）と加え合わせた状態で出力する第２の出力（ここでは、加算転送モードによる出力）を選択的に行うものとしているので、各分割領域によって得られた受光量を示す信号を加え合わせる手段を外部に設ける必要がなくなる結果、より簡易に当該固体撮像素子を用いることができる。

一方、本実施の形態に係る撮影装置（ここでは、デジタルカメラ１０）では、前記固体撮像素子から第１の出力により出力された信号に基づいて、当該固体撮像素子の各受光素子における受光部の各分割領域別に分離された分離画像情報（ここでは、分離画像データ）を生成すると共に、前記固体撮像素子から第２の出力により出力された信号に基づいて撮影画像を示す撮影画像情報（ここでは、撮影画像データ）を生成し、前記固体撮像素子を用いた撮影を行うに当たり、前記分離画像情報又は前記撮影画像情報に基づいて合焦制御を行う一方、前記撮影を行う際に、前記分離画像情報及び前記撮影画像情報を記憶しているので、これらの画像情報を用いることにより、合焦に関する処理を高精度に行うことができる。

また、本実施の形態に係る撮影装置では、前記分離画像情報に基づいて、前記固体撮像素子の受光素子の各々毎に前記被写体像のずれ量を導出し、導出した受光素子毎のずれ量に基づいて、前記撮影画像情報に対して、当該ずれ量が大きいほどぼかし量を大きくする画像処理を行っているので、当該画像処理を高精度に行うことができる。

［第２の実施の形態］
上記第１の実施の形態では、固体撮像素子として、受光素子６０の各々毎に、複数の分割領域の各々によって得られた受光量を示す信号を分割領域毎に分離した状態で出力する第１の出力と加え合わせた状態で出力する第２の出力を選択的に行う機能を有するものを適用した場合の形態例について説明したが、本第２の実施の形態では、この機能を有しないものを適用した場合の形態例について説明する。なお、本実施の形態に係るデジタルカメラ１０の構成は、ＣＣＤ２４を除いて上記第１の実施の形態に係るものと同様であるので、以下では、ＣＣＤ２４の構成について説明する。

本第２の実施の形態に係るＣＣＤ２４は、画素構造及び要部構成が上記第１の実施の形態に係るＣＣＤ２４（図２及び図３参照。）と同様のものとされる一方、加算転送モードが設けられておらず、個別転送モードのみが設けられている点が異なる。

すなわち、本第２の実施の形態に係るＣＣＤ２４では、各受光素子６０において、第１受光部６２Ａにおいて蓄積された信号電荷と第２受光部６２Ｂにおいて蓄積された信号電荷を各々個別に対応する垂直転送路を介して水平転送路７２まで転送する個別転送モードのみが適用可能とされている。

次に、図６を参照して、位相差合焦機能が設定されている場合の本第２の実施の形態に係るデジタルカメラ１０の撮影時における作用を説明する。なお、図６は、合焦機能として位相差合焦機能が設定されており、かつ撮影モードが設定されている場合に、ＣＰＵ４０によって実行される撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムはメモリ４８の所定領域に予め記憶されている。

まず、同図のステップ３００では、レリーズスイッチが半押し状態となるまで待機し、次のステップ３０２では、ＡＥ機能を実行した後に位相差合焦機能を実行する。

このとき、ＣＣＤ２４は、個別転送モードで動作しているため、受光素子６０の各々毎に第１受光部６２Ａにより蓄積された信号電荷と第２受光部６２Ｂにより蓄積された信号電荷が個別に出力されており、上記位相差合焦機能では、これらの信号電荷に基づいて得られる各デジタル画像データ（分離画像データ）を用いて前述した位相差ＡＦ方式による合焦制御を行う。

また、本ステップ３０２の処理によって実行されるＡＥ機能では、第１受光部６２Ａにより蓄積された信号電荷に基づく第１画像データと、第２受光部６２Ｂにより蓄積された信号電荷に基づく第２画像データの少なくとも一方を用いて得られる被写体の明るさに基づいて露出状態の設定を行えばよいが、本第２の実施の形態に係るデジタルカメラ１０では、第１画像データにより示される被写体の明るさに基づいて露出状態の設定を行っている。

次のステップ３０４では、レリーズスイッチが全押し状態に移行したか否かを判定して、肯定判定となった場合はステップ３０８に移行する一方、否定判定となった場合にはステップ３０６に移行する。

ステップ３０６では、レリーズスイッチが押圧されていない場合の位置に復帰したか否かを判定することにより、レリーズスイッチの押圧操作が解除されたか否かを判定し、肯定判定となった場合は上記ステップ３００に戻る一方、否定判定となった場合には上記ステップ３０２に戻る。

一方、ステップ３０８では、第１画像データ及び第２画像データを対応する画素毎に加算することにより撮影画像データを導出し、次のステップ３１０では、上記ステップ３０８の処理によって導出された撮影画像データをメモリカード５２に記憶することにより撮影を行う。

次のステップ３１２では、第１画像データと第２画像データを上記ステップ３１０の処理によって記憶した撮影画像データに関連付けてメモリカード５２に記憶し、その後に本撮影処理プログラムを終了する。

なお、合焦機能として山登り合焦機能が設定されている場合の本第２の実施の形態に係るデジタルカメラ１０の撮影時における作用は、ＡＥ機能及びＡＦ機能を働かせる際に、上記撮影処理プログラムのステップ３０８の処理と同様の処理によって得られた撮影画像データを用いてＡＥ制御及び山登り合焦制御を行う点を除いて当該撮影処理プログラムによるデジタルカメラ１０の作用と同様である。

また、本第２の実施の形態に係るデジタルカメラ１０においても、上記第１の実施の形態に係る画像変換処理プログラム（図５参照。）が実行される。

以上詳細に説明したように、本実施の形態に係る撮影装置（ここでは、デジタルカメラ１０）では、固体撮像素子（ここでは、ＣＣＤ２４）から出力された信号に基づいて、当該固体撮像素子の各受光素子における受光部の各分割領域別に分離された分離画像情報（ここでは、分離画像データ）を生成すると共に、当該分離画像情報を対応する画素毎に加算することにより撮影画像情報（ここでは、撮影画像データ）を生成し、前記固体撮像素子を用いた撮影を行うに当たり、前記分離画像情報又は前記撮影画像情報に基づいて合焦制御を行う一方、前記撮影を行う際に、前記分離画像情報及び前記撮影画像情報を記憶しているので、これらの画像情報を用いることにより、合焦に関する処理を高精度に行うことができる。

また、本実施の形態に係る撮影装置では、前記分離画像情報に基づいて、前記固体撮像素子の受光素子の各々毎に前記被写体像のずれ量を導出し、導出した受光素子毎のずれ量に基づいて、前記撮影画像情報に対して、当該ずれ量が大きいほどぼかし量を大きくする画像処理を行っているので、当該画像処理を高精度に行うことができる。

なお、上記各実施の形態では、固体撮像素子の画素構造として図２に示したもの、すなわち、各受光素子６０が、画素単位で受光部６２が水平方向に対して均等に分割されているものを適用した場合について説明したが、本発明はこれに限定されるものではなく、一例として図７（ａ）に示されるように、各受光素子６０が、画素単位で受光部６２が垂直方向に対して均等に分割されているもの（同図では、第１受光部６２Ｃ，第２受光部６２Ｄ）、図７（ｂ）に示されるように、各受光素子６０が、画素単位で受光部６２が斜め方向に対して均等に分割されているもの（同図では、第１受光部６２Ｅ，第２受光部６２Ｆ）、図７（ｃ）に示されるように、各受光素子６０が、画素単位で受光部６２が水平方向、垂直方向及び斜め方向に対して均等に分割されているもの（同図では、第１受光部６２Ｇ，第２受光部６２Ｈ，第３受光部６２Ｉ，第４受光部６２Ｊ）、図７（ｄ）に示されるように、各受光素子６０が、各々受光部６２の中央部にＦ値が所定値（一例として、Ｆ５．６）以下のレンズ用の受光部（同図では、受光部６２Ｋ）が設けられたもの、以上の各構造を組み合わせたもの等としてもよい。

各受光素子６０が、画素単位で受光部６２が垂直方向に対して均等に分割されている場合、横方向被写体について高精度に合焦制御を行うことができる。また、各受光素子６０が、画素単位で受光部６２が斜め方向に対して均等に分割されている場合、縦方向被写体及び横方向被写体の何れの被写体においても高精度に合焦制御を行うことができると共に、対応する分割領域間のピッチを、より狭くすることができる結果、より高精度に合焦制御することができる。

また、各受光素子６０が、各々中央部にＦ値が所定値以下のレンズ用の受光部が設けられている場合、当該受光部によって得られた受光量と、受光部６２における複数の分割領域によって得られた受光量を加算することにより、当該固体撮像素子により撮影を行う際のダイナミック・レンジを拡大することができる。

また、上記各実施の形態では、本発明の固体撮像素子をＣＣＤに適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、ＣＭＯＳイメージ・センサに適用する形態とすることもできる。この場合も、上記各実施の形態と同様の効果を奏することができる。

また、上記各実施の形態では、各受光素子６０における受光部６２の分割領域数を２つとした場合について説明したが、本発明はこれに限定されるものではなく、当該分割領域数を３つ以上とする形態としてもよい。

また、上記各実施の形態では、本発明をデジタルカメラに適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、携帯電話機、ＰＤＡ等の撮影機能を有する他の装置に適用する形態とすることもできる。この場合も、上記各実施の形態と同様の効果を奏することができる。

その他、上記各実施の形態に係るデジタルカメラ及びＣＣＤの構成（図１〜図３，図７参照。）は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

更に、上記各実施の形態において説明した各種処理プログラムの処理の流れ（図４〜図６参照。）も一例であり、本発明の主旨を逸脱しない範囲内において、各ステップの処理順序の変更、処理内容の変更、不要なステップの削除、新たなステップの追加等を行うことができることは言うまでもない。

実施の形態に係るデジタルカメラの電気系の要部構成を示すブロック図である。 実施の形態に係るＣＣＤの要部構成（画素構造）を示す平面図である。 実施の形態に係るＣＣＤの要部構成（全体構成）を示す平面図である。 第１の実施の形態に係る撮影処理プログラムの処理の流れを示すフローチャートである。 実施の形態に係る画像変換処理プログラムの処理の流れを示すフローチャートである。 第２の実施の形態に係る撮影処理プログラムの処理の流れを示すフローチャートである。 実施の形態に係るＣＣＤの他の画素構造の構成例を示す平面図である。 位相差ＡＦ方式の原理の説明に供する側面図である。

符号の説明

１０ デジタルカメラ
２２ 光学ユニット（結像手段）
２４ ＣＣＤ（固体撮像素子）
４０ ＣＰＵ（撮影画像情報生成手段，合焦制御手段，導出手段，画像処理手段）
５２ メモリカード（記憶手段）
６０ 受光素子
６２ 受光部
６２Ａ 第１受光部
６２Ｂ 第２受光部
６２Ｃ 第１受光部
６４Ｄ 第２受光部
６２Ｅ 第１受光部
６２Ｆ 第２受光部
６２Ｇ 第１受光部
６２Ｈ 第２受光部
６２Ｉ 第３受光部
６２Ｊ 第４受光部
６２Ｋ 受光部
６４ マイクロレンズ
７２ 水平転送路（出力手段）
７４ 出力アンプ（出力手段）

Claims (8)

1. 各々マトリクス状に配置されると共に、画素単位で受光部が複数の分割領域に均等に分割された複数の受光素子と、
   各々前記複数の受光素子に１対１で対応して設けられ、対応する受光素子に被写体像を結像させる複数のマイクロレンズと、
   前記複数の受光素子によって得られた受光量を示す信号を出力する出力手段と、
   を備えた固体撮像素子。
2. 前記複数の受光素子は、画素単位で受光部が水平方向、垂直方向、及び斜め方向の少なくとも１つの方向に対して均等に分割されている
   請求項１記載の固体撮像素子。
3. 前記複数の受光素子は、各々前記受光部の中央部にＦ値が所定値以下のレンズ用の受光部が更に設けられている
   請求項１又は請求項２記載の固体撮像素子。
4. 前記複数の受光素子は、ハニカム構造とされている
   請求項１〜請求項３の何れか１項記載の固体撮像素子。
5. 前記出力手段は、前記複数の受光素子の各々毎に、前記複数の分割領域の各々によって得られた受光量を示す信号を分割領域毎に分離した状態で出力する第１の出力と加え合わせた状態で出力する第２の出力を選択的に行う
   請求項１〜請求項４の何れか１項記載の固体撮像素子。
6. 請求項１〜請求項４の何れか１項記載の固体撮像素子と、
   前記固体撮像素子の撮像面に対して被写体像を結像させる結像手段と、
   前記固体撮像素子から出力された信号に基づいて前記複数の分割領域の各領域別に分離された分離画像情報を生成する分離画像情報生成手段と、
   前記分離画像情報を対応する画素毎に加算することにより撮影画像情報を生成する撮影画像情報生成手段と、
   前記固体撮像素子を用いた撮影を行うに当たり、前記分離画像情報又は前記撮影画像情報に基づいて合焦制御を行う合焦制御手段と、
   前記撮影を行う際に、前記分離画像情報及び前記撮影画像情報を記憶する記憶手段と、
   を備えた撮影装置。
7. 請求項５記載の固体撮像素子と、
   前記固体撮像素子の撮像面に対して被写体像を結像させる結像手段と、
   前記固体撮像素子から前記第１の出力により出力された信号に基づいて前記複数の分割領域の各領域別に分離された分離画像情報を生成する分離画像情報生成手段と、
   前記固体撮像素子から前記第２の出力により出力された信号に基づいて撮影画像を示す撮影画像情報を生成する撮影画像情報生成手段と、
   前記固体撮像素子を用いた撮影を行うに当たり、前記分離画像情報又は前記撮影画像情報に基づいて合焦制御を行う合焦制御手段と、
   前記撮影を行う際に、前記分離画像情報及び前記撮影画像情報を記憶する記憶手段と、
   を備えた撮影装置。
8. 前記記憶手段に記憶された前記分離画像情報に基づいて、前記固体撮像素子の受光素子の各々毎に前記被写体像のずれ量を導出する導出手段と、
   前記導出手段によって得られた受光素子毎のずれ量に基づいて、前記記憶手段に記憶された前記撮影画像情報に対して、当該ずれ量が大きいほどぼかし量を大きくする画像処理を行う画像処理手段と、
   を更に備えた請求項６又は請求項７記載の撮影装置。

Images