JP2004198712A

JP2004198712A - 撮像装置及び撮像方法

Info

Publication number: JP2004198712A
Application number: JP2002366822A
Authority: JP
Inventors: Masahiko Sugimoto; 雅彦杉本
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2002-12-18
Filing date: 2002-12-18
Publication date: 2004-07-15

Abstract

【課題】高精度な合焦制御を高速かつ低コストに行うことのできる撮像装置及び撮像方法を提供する。
【解決手段】デジタルカメラ１０によれば、ＣＣＤ１８によって被写体からの光を第１の開口面積とされた開口部を介して第１の感度で受光し、受光した光量に応じた高感度データを取得すると共に、被写体からの光を第１の開口面積より小さな第２の開口面積とされた開口部を介して第２の感度で受光し、受光した光量に応じた低感度データを取得し、合成処理回路８０によって高感度データと低感度データとを合成して合成データを生成するに際し、ＣＰＵ６２により低感度データに基づいてＣＣＤ１８に対する合焦制御を行う。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置及び撮像方法に係り、特に、感度の異なる画像信号を取得することができる撮像素子を備えるとともに、当該撮像素子によって得られた画像信号に基づいて合焦制御を行う撮像装置と、当該撮像装置による撮像方法に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ（Charge Coupled Device、電荷結合素子）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージ・センサ等の撮像素子の高解像度化に伴い、デジタルカメラの需要が急増している。
【０００３】
ところで、現在広く普及しているデジタルカメラ等の撮像装置における撮像素子のダイナミックレンジは、写真フィルムに比べると一般的に狭い。このため、高輝度の被写体を撮影する場合には、受光量がダイナミックレンジを超え、撮像素子の出力信号が飽和してしまい、被写体の情報が欠落してしまう場合があった。
【０００４】
このような問題を解決するため、従来、マスクを用いて、１つの画像中で部分毎に高感度の画像を低感度の画像に置き換えて合成画像を生成することにより、ダイナミックレンジの拡大を図る技術がある（例えば、特許文献１参照。）。
【０００５】
しかしながら、この技術では、画像の各画素について着目すると、高感度の画像信号と低感度の画像信号の何れか一方のみを用いているので、必ずしもダイナミックレンジを有効に拡大できるとは限らない、という問題点があった。
【０００６】
そこで、この問題点を解決するために、画像の各画素毎に高感度の画像信号と低感度の画像信号とを合成して用いる技術が考えられる。
【０００７】
撮像装置における合焦制御（所謂ＡＦ（Auto Focus）制御）は、撮像素子によって取得された画像信号の高周波成分に依存して行われるものが多く、上記画像の各画素毎に感度の異なる画像信号を合成する技術によるダイナミックレンジの拡大により、当該合焦制御がより高精度に行えることも考えられる。
【０００８】
一方、色の偽信号を無くすために画像の必要以上の高周波成分をカットする光学的ローパスフィルタ（以下、「ＯＬＰＦ」という。）が備えられた撮像装置において、合焦制御を行う場合にＯＬＰＦを撮像素子への入射光の光路上から退避させる技術がある（例えば、特許文献２参照。）。
【０００９】
この技術によれば、合焦制御時にはＯＬＰＦにより画像信号の高周波成分がカットされないので、合焦制御を高精度に行うことができる。
【００１０】
そこで、この技術を上述した画像の各画素毎に高感度の画像信号と低感度の画像信号とを合成して用いる技術に適用することが考えられる。
【００１１】
この技術によれば、合焦制御時にＯＬＰＦを退避させない場合に比較して、高精度な合焦制御が実現できると考えられる。
【００１２】
【特許文献１】
特開２０００−３０７９６３公報
【特許文献２】
特開平５−２５７０８７号公報
【００１３】
【発明が解決しようとする課題】
しかしながら、この技術では、合焦制御時と撮影時との間でＯＬＰＦの光路上への挿抜を機械的に切換える必要があるため、高速な処理を行うことができない、高コストとなる、といった問題点が生じると考えられる。
【００１４】
本発明は、上記問題点を解決するためになされたものであり、高精度な合焦制御を高速かつ低コストに行うことのできる撮像装置及び撮像方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、被写体からの光を第１の開口面積とされた開口部を介して第１の感度で受光し、受光した光量に応じた第１画像信号を取得する複数の第１受光素子と、前記被写体からの光を前記第１の開口面積より小さな第２の開口面積とされた開口部を介して第２の感度で受光し、受光した光量に応じた第２画像信号を取得する複数の第２受光素子とを備えた撮像素子と、前記第１画像信号と前記第２画像信号とを合成して合成信号を生成する合成手段と、前記第２画像信号に基づいて前記撮像素子に対する合焦制御を行う合焦制御手段と、を含んで構成されている。
【００１６】
請求項１に記載の発明によれば、撮像素子により、被写体からの光が複数の第１受光素子によって第１の開口面積とされた開口部を介して第１の感度で受光され、受光された光量に応じた第１画像信号が取得されると共に、前記被写体からの光が複数の第２受光素子によって前記第１の開口面積より小さな第２の開口面積とされた開口部を介して第２の感度で受光され、受光された光量に応じた第２画像信号が取得される。これにより、感度の異なる画像信号を取得することができる。
【００１７】
なお、上記撮像素子には、ＣＣＤ、ＣＭＯＳイメージ・センサ等の固体撮像素子を含めることができる。
【００１８】
また、本発明では、第１画像信号と第２画像信号とが合成手段により合成されて合成信号が生成される。このように、本発明では、感度の異なる画像信号を合成しているので、例えば、マスクを用いて、１つの画像中で部分毎に高感度の画像を低感度の画像に置き換える技術を適用して合成するよりも有効にダイナミックレンジを拡大できる。
【００１９】
なお、上記合成手段により合成される第１画像信号及び第２画像信号は、アナログ信号でもデジタル信号でもよい。
【００２０】
ここで、本発明では、合焦制御手段により、前記第２画像信号に基づいて前記撮像素子に対する合焦制御が行われる。
【００２１】
ここで、本発明の原理について図面を参照しつつ説明する。
【００２２】
上記のように、本発明は、被写体からの光を第１の開口面積とされた開口部を介することにより第１の感度で受光し、受光した光量に応じた第１画像信号を取得する複数の第１受光素子と、前記被写体からの光を前記第１の開口面積より小さな第２の開口面積とされた開口部を介することにより第２の感度で受光し、受光した光量に応じた第２画像信号を取得する複数の第２受光素子とを備えた撮像素子により撮像を行うものとされている。
【００２３】
ここで、本発明の発明者は、上記第１受光素子に対応する画素（以下、「主画素」という。）と上記第２受光素子に対応する画素（以下、「副画素」という。）の開口部の開口面積が異なることによる周波数特性の変化について解析を行った。なお、ここでは、受光素子による受光領域が矩形状であるものと仮定した。
【００２４】
この場合、受光素子による受光領域の実空間での特性は図９（Ａ）に示されるようになる。なお、同図においてａは開口部の幅に対応するものであり、ｔは時間を、ｐ（ｔ）は時間の関数を各々示す。
【００２５】
ここで、当該実空間の特性を周波数空間での特性に変換した場合、当該周波数特性は、次の（１）式に示すようにＳｉｎｃ関数で表わされる。
【００２６】
【数１】

【００２７】
また、図９（Ｂ）は、上記（１）式で示される周波数特性をグラフ化したものである。
【００２８】
一方、図１０（Ａ）及び図１０（Ｂ）には、（１）式におけるａの値を‘１’及び‘０．５’としたときの周波数特性が各々示されている。
【００２９】
同図から明らかなように、上記周波数特性は開口部の開口面積によって大きく変化し、開口面積が大きいほどＤＣ成分（直流成分）は大きくなり、また、ローパス効果も大きくなることが分かる。すなわち、開口部の開口面積が大きい主画素ではローパス効果が大きく、開口部の開口面積が小さい副画素ではローパス効果が小さい、と言える。
【００３０】
一方、合焦制御は、撮像素子によって取得された画像信号の高周波成分に依存して行われるものが多いことは前述した通りである。
【００３１】
そこで、本発明では、合焦制御を行う場合には、第１受光素子に比較して開口面積が小さく、ローパス効果の小さい、換言すればハイカット効果が小さく、高周波成分が残りやすい第２受光素子によって取得された第２画像信号を用いるようにしており、これによって合焦制御を高精度に行えるようにしている。
【００３２】
また、本発明では、ＯＬＰＦを光路上に挿抜する技術のように機械的な動作を要しないので、高速かつ低コストに合焦制御を行える。
【００３３】
このように、請求項１に記載の撮像装置によれば、撮像素子によって被写体からの光を第１の開口面積とされた開口部を介して第１の感度で受光し、受光した光量に応じた第１画像信号を取得すると共に、前記被写体からの光を前記第１の開口面積より小さな第２の開口面積とされた開口部を介して第２の感度で受光し、受光した光量に応じた第２画像信号を取得し、前記第１画像信号と前記第２画像信号とを合成して合成信号を生成するに際し、前記第２画像信号に基づいて前記撮像素子に対する合焦制御を行うようにしているので、高精度な合焦制御を高速かつ低コストに行うことができる。
【００３４】
また、請求項２に記載の発明は、請求項１に記載の発明において、前記第１画像信号に基づいて露出制御を行う露出制御手段をさらに含んでいる。
【００３５】
本発明によれば、合焦制御手段と露出制御手段とで、制御に用いる画像信号を異なるものとしているので、合焦制御及び露出制御の処理を並行して同時に行うことができる。この結果、合焦制御及び露出制御にかかる総合的な時間が短縮され、撮影の処理が高速化できる。
【００３６】
ところで、撮像装置には、撮像素子による撮像の感度（所謂、ＩＳＯ感度）を設定することのできるものが多数あり、当該感度は、被写体からの光量が充分な状態（例えば、撮影場所が屋外の場合等。）での撮影時には低感度に設定され、被写体からの光量が少ない状態（例えば、撮影場所が暗い室内の場合や、被写体が夜景である場合等。）での撮影時には高感度に設定される。換言すれば、設定された感度の値が大きいほど被写体からの光量が少ないものと見なすことができる。
【００３７】
この点に着目し、請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、前記撮像素子による撮像の感度を示す感度情報を入力するための感度入力手段をさらに含み、前記合焦制御手段は、前記感度入力手段で入力された前記感度情報により示される感度の値が所定値を超える場合には、前記第１画像信号に基づいて前記合焦制御を行うものである。
【００３８】
本発明によれば、感度入力手段により撮像素子による撮像の感度を示す感度情報が入力され、合焦制御手段により、感度入力手段で入力された感度情報により示される感度の値が所定値を超える場合には、本発明の第１画像信号に基づいて合焦制御が行われる。
【００３９】
すなわち、上述したように、感度情報により示される感度の値が大きいほど被写体からの光量が少ないものと見なすことができるので、当該感度の値が大きいほど第１画像信号及び第２画像信号の信号レベルが共に小さくなると考えられる。
【００４０】
一方、上記感度の値が大きく、被写体からの光量が少ない場合には、高感度側である第１画像信号でも信号レベルが飽和する可能性は低いため、十分に被写体像を表現することができる。これに対し、第２画像信号の信号レベルは第１画像信号より低く、第２画像信号のＳ／Ｎ比（Signal to Noise Ratio）は第１画像信号より小さいため、この場合の第２画像信号は、殆どノイズに埋もれてしまう可能性が高い。
【００４１】
よって、本発明の感度の値が所定値を超える場合には、ノイズに埋もれてしまう可能性の高い第２画像信号に基づいて合焦制御を行うよりも、本発明のように、Ｓ／Ｎ比の大きな第１画像信号に基づいて合焦制御を行う方が、より高精度な合焦制御を行うことができる。
【００４２】
なお、本発明における上記所定値は、当該値を感度の値が超えたときに、第２画像信号がノイズに埋もれてしまう可能性の高い値や、第１画像信号を用いても高精度な合焦制御が行えると見なすことのできる値として、本発明の撮像装置を用いた実機による実験や、当該撮像装置の設計仕様に基づくコンピュータ・シミュレーション等によって予め得られた値を適用することができる。また、当該撮像装置のユーザの好みや合焦制御に要求される精度等に応じて、任意に設定する形態とすることもできる。
【００４３】
一方、上記目的を達成するために、請求項４に記載の発明は、被写体からの光を第１の開口面積とされた開口部を介して第１の感度で受光し、受光した光量に応じた第１画像信号を取得する複数の第１受光素子と、前記被写体からの光を前記第１の開口面積より小さな第２の開口面積とされた開口部を介して第２の感度で受光し、受光した光量に応じた第２画像信号を取得する複数の第２受光素子とを備えた撮像素子と、前記第１画像信号と前記第２画像信号とを合成して合成信号を生成する合成手段と、を含む撮像装置の撮像方法であって、前記第２画像信号に基づいて前記撮像素子に対する合焦制御を行うものである。
【００４４】
したがって、請求項４に記載の撮像方法によれば、請求項１に記載の発明と同様に作用するので、請求項１に記載の発明と同様の効果を奏することができる。
【００４５】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、以下では、本発明をデジタルカメラに適用した場合について説明する。
【００４６】
まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の構成を説明する。同図に示されるように、このデジタルカメラ１０には、光学レンズ１２と、光学レンズ１２を通過する光量を調整する絞り１４と、光の通過時間を調整するシャッタ１６と、光学レンズ１２、絞り１４及びシャッタ１６を通過した被写体像を示す入射光に基づき、被写体を高感度及び低感度のそれぞれの受光素子により撮像して被写体像を示すＲ（赤）、Ｇ（緑）、Ｂ（青）３色のカラーアナログ画像信号を出力するＣＣＤ１８と、が設けられている。
【００４７】
ＣＣＤ１８には、ＣＣＤ１８により入力された高感度及び低感度の信号に対して所定のアナログ信号処理を施すアナログ信号処理部２０と、アナログ信号処理部２０から入力された高感度及び低感度のアナログ信号をそれぞれデジタルデータに変換するアナログ／デジタル変換器（以下、「Ａ／Ｄ変換器」という。）２２と、が順に接続されている。なお、Ａ／Ｄ変換器２２から出力された高感度のデジタルデータ（以下、「高感度データ」という。）が本発明の「第１画像信号」に相当するものであり、低感度のデジタルデータ（以下、「低感度データ」という。）が本発明の「第２画像信号」に相当するものである。
【００４８】
また、デジタルカメラ１０には、光学レンズ１２を駆動するための駆動部２４と、絞り１４を駆動するための駆動部２６と、シャッタ１６を駆動するための駆動部２８と、ＣＣＤ１８に対する撮影時のタイミング制御を行うＣＣＤ制御部３０と、シャッタスイッチ等の各種操作スイッチにより構成されたカメラ操作部８４と、が設けられている。
【００４９】
なお、本実施の形態に係るデジタルカメラ１０では、カメラ操作部８４の操作により、ＣＣＤ１８による撮像の感度（以下、「ＩＳＯ感度」という。）を設定することができる。
【００５０】
Ａ／Ｄ変換器２２から出力された高感度データ及び低感度データ（Ｒ、Ｇ、Ｂ信号のデジタルデータ）は、制御回路６０（詳細は後述）に入力されると共に、デジタル信号処理回路３４に入力される。
【００５１】
デジタル信号処理回路３４は、高感度データ側のホワイトバランスを調整する高感度側ＷＢ（ホワイトバランス）調整処理回路７２と、低感度データ側のホワイトバランスを調整する低感度側ＷＢ調整処理回路７４と、高感度側ＷＢ調整処理回路７２に接続されると共に高感度データ側のガンマ補正処理を行う高感度側γ処理回路７６と、低感度側ＷＢ調整処理回路７４に接続されると共に低感度データ側のガンマ補正処理を行う低感度側γ処理回路７８と、合成処理回路８０と、メモリ４８と、記録制御部５０と、表示制御部５２と、を含んで構成されている。
【００５２】
なお、ＣＣＤ１８が本発明の撮像素子に、合成処理回路８０が本発明の合成手段に、カメラ操作部８４が本発明の感度入力手段に、各々相当する。
【００５３】
高感度側ＷＢ調整処理回路７２及び低感度側ＷＢ調整処理回路７４は、各々、入力されたＲ、Ｇ、Ｂの各画像データ（高感度データ又は低感度データ）の各々にゲインを乗算して増減するための３つの乗算器（図示省略）を含んで構成されており、Ｒ、Ｇ、Ｂの各画像データは、各乗算器にそれぞれ入力される。更に、乗算器には、ホワイトバランスを制御するためのゲイン値Ｒｇ、Ｇｇ、Ｂｇが制御回路６０より入力され、乗算器の各々はこれら２入力を乗算する。この乗算によりホワイトバランスが調整されたＲ’、Ｇ’、Ｂ’の各画像データは、高感度側γ処理回路７６又は低感度側γ処理回路７８に出力される。
【００５４】
高感度側γ処理回路７６及び低感度側γ処理回路７８は、入力されたホワイトバランスの調整されたＲ’、Ｇ’、Ｂ’の各画像データが所定のガンマ特性となるように入出力特性を変更し、また、１０ビットの信号が８ビットの信号となるように変更して、合成処理回路８０に出力する。
【００５５】
合成処理回路８０は、入力されたＲ’、Ｇ’、Ｂ’の高感度データ及び低感度データを色毎に次のように合成して合成データ（本発明の「合成信号」に相当。）として出力する。
【００５６】
すなわち、合成処理回路８０では、入力された高感度データ及び低感度データを、対数加算方式を用いて次の（２）式に示すように合成する。
【００５７】
【数２】

【００５８】
ここで、ｔｈは、高感度データと低感度データが１対１の割合で加算される閾値である。また、ｈｉｇｈは高感度データの値であり、ｌｏｗは低感度データの値である。更に、ｐは、加算データ全体に対するゲイン（通常は０．８〜０．９程度の値。）であり、これによってダイナミックレンジの制御を行う。このゲインｐが小さいほどダイナミックレンジは広く、大きいほどダイナミックレンジは狭くなる。具体的には、コントラストの高いシーン（真夏の晴天等）では０．８、曇りや日陰では０．８６、室内蛍光灯下では０．９といったようにシーンに応じてこの値を変化させることにより、階調値を有効に使用することが可能となる。
【００５９】
図２には、ゲインｐによってダイナミックレンジが変化する様子が示されている。なお、ここで適用したゲインｐの範囲における最小値に対応するものが破線で示されたものであり、最大値に対応するものが２点鎖線で示されたものである。同図に示すように、この場合、ゲインｐの値を小さくするほどダイナミックレンジは広くなることになる。
【００６０】
ここで、上記（２）式について、次の（３）式に示されるように一般化して更に説明する。
【００６１】
【数３】

【００６２】
上記（３）式におけるＭＩＮ（ｈｉｇｈ／ｔｈ，１）の部分における変化の様子を図３（Ａ）に示す。同図に示されるように、高感度データが閾値ｔｈとなったときに高感度データと低感度データが１対１で加算されることになる。
【００６３】
また、上記（３）式におけるＭＡＸ（−ｋ×ｈｉｇｈ／ｔｈ＋１，ｐ）の部分において係数ｋを０．２とした場合の変化の様子を図３（Ｂ）に示す。
【００６４】
なお、（３）式における係数ｋは、次の（４）式で示されるように、高感度信号の信号電荷飽和量Ｓｈと、低感度信号の信号電荷飽和量Ｓｌとによって定まる係数である。
【００６５】
【数４】

【００６６】
例えば、高感度信号と低感度信号の信号電荷飽和量の比が４対１であった場合には、ｋ＝０．２（＝１−４／（４＋１））となる。
【００６７】
また、（３）式におけるｐは前述したように加算データ全体に対するゲインであり、可変の値であるが、この下限値ｐ_minも、次の（５）式で示されるように、高感度信号と低感度信号の信号電荷飽和量の比によって定められる。
【００６８】
【数５】

【００６９】
予め高感度データの最大値が入力されたときに最終出力が最大値となるような系となっている場合に、高感度データと低感度データの合成データを出力する場合には、ゲイン操作が必要となる。
【００７０】
つまり、高感度信号と低感度信号の飽和量分だけ信号が入力された場合に、出力値に対してｐ_min（＜１）分だけゲインをかけて、最終出力が最大値となるように変換をする必要がある。
【００７１】
例えば、高感度信号と低感度信号の信号電荷飽和量の比が４対１であった場合には、ｐ_min＝０．８（＝４／（４＋１））となる。
【００７２】
そして、コントラストが高いようなシーンではｐ＝ｐ_minとすればよく、あまりコントラストの高くないようなシーンではｐをｐ_minよりも大きな値に設定することにより、有効に出力階調を使用することができるようになる。
【００７３】
一方、デジタルカメラ１０のメモリ４８（図１参照）には、合成処理回路８０からＲ’、Ｇ’、Ｂ’の各合成データが入力され、当該Ｒ’、Ｇ’、Ｂ’の各合成データを格納する。
【００７４】
また、記録制御部５０は、スマートメディアとして構成された記録メディア８６をデジタルカメラ１０に装着するための役割を有するものであり、合成処理回路８０により合成されてメモリ４８に格納された合成データを当該メモリ４８から読み出して記録メディア８６に記録する処理を行う。また、表示制御部５２は、メモリ４８に記憶された合成データを読み出し、当該合成データを用いた液晶ディスプレイ（以下、「ＬＣＤ」という。）８２への画像表示のための処理を行う。
【００７５】
上記構成に加え、デジタルカメラ１０は、ＣＰＵ（中央演算処理装置）６２と、ＲＯＭ６４と、ＲＡＭ６６と、を備えたマイクロ・コンピュータで構成された制御回路６０を備えている。
【００７６】
制御回路６０は、デジタルカメラ１０全体の動作を制御する。また、ＲＯＭ６４には、ＣＰＵ６２で実行される後述する撮影処理プログラム等の各種処理プログラムが記憶されている。また、ＲＡＭ６６には、Ａ／Ｄ変換器２２から制御回路６０に入力された高感度データ及び低感度データが各々互いに異なる領域に記憶される。
【００７７】
なお、デジタルカメラ１０では、ＣＣＤ１８により取得された画像データによって示される被写体像のコントラストが最大となるようにレンズの位置を設定する、所謂ＴＴＬ（Through The Lens）方式により合焦制御（所謂ＡＦ制御）を行う。この場合、被写体像の高周波成分に依存してＡＦ制御が行われる。
【００７８】
また、デジタルカメラ１０では、ＣＣＤ１８により取得された画像データによって示される被写体像の明るさに応じてシャッタースピード及び絞りの状態を設定するＴＴＬ方式により露出制御（所謂ＡＥ制御）を行う。
【００７９】
ここで、本実施の形態に係るＣＣＤ１８の構造について説明する。ＣＣＤ１８には、図４に示すようなハニカムＣＣＤを採用することができる。
【００８０】
このＣＣＤ１８の撮像部は、図４に示すように、１画素の１色について１つずつ割り当てられると共に、所定の配列ピッチ（水平配列ピッチ＝Ｐｈ（μｍ）、垂直配列ピッチ＝Ｐｖ（μｍ））で、かつ隣接する受光素子ＰＤ１が垂直方向及び水平方向にずらされて２次元配置された複数の受光素子ＰＤ１と、この受光素子ＰＤ１の前面に形成された開口部ＡＰを迂回するように配置され、かつ受光素子ＰＤ１からの信号（電荷）を取り出して垂直方向に転送する垂直転送電極ＶＥＬと、垂直方向最下に位置する垂直転送電極ＶＥＬの垂直方向下側に配置され、垂直転送電極ＶＥＬから転送されてきた信号を外部へ転送する水平転送電極ＨＥＬと、を備えている。なお、同図に示す例では、開口部ＡＰを八角形のハニカム形状に形成している。
【００８１】
ここで、水平方向に直線状に並んで配置された複数の垂直転送電極ＶＥＬにより構成される垂直転送電極群には、各々垂直転送駆動信号Ｖ１、Ｖ２、・・・、Ｖ８の何れか１つを同時に印加することができるように構成されている。なお、同図に示す例では、１段目の垂直転送電極群に対して垂直転送駆動信号Ｖ３が、２段目の垂直転送電極群に対して垂直転送駆動信号Ｖ４が、３段目の垂直転送電極群に対して垂直転送駆動信号Ｖ５が、４段目の垂直転送電極群に対して垂直転送駆動信号Ｖ６が、５段目の垂直転送電極群に対して垂直転送駆動信号Ｖ７が、６段目の垂直転送電極群に対して垂直転送駆動信号Ｖ８が、７段目の垂直転送電極群に対して垂直転送駆動信号Ｖ１が、８段目の垂直転送電極群に対して垂直転送駆動信号Ｖ２が、各々印加できるように構成されている。
【００８２】
一方、各受光素子ＰＤ１は隣接する１つの垂直転送電極ＶＥＬに対し転送ゲートＴＧを介して電気的に接続されるように構成されている。同図に示す例では、各受光素子ＰＤ１が右下に隣接する垂直転送電極ＶＥＬに転送ゲートＴＧを介して接続されるように構成されている。
【００８３】
なお、同図において‘Ｒ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは赤色の光を透過する色分離フィルタ（カラーフィルタ）で覆われており、‘Ｇ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは緑色の光を透過する色分離フィルタで覆われており、‘Ｂ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは青色の光を透過する色分離フィルタで覆われている。すなわち、‘Ｒ’が記入された受光素子ＰＤ１は赤色光を、‘Ｇ’が記入された受光素子ＰＤ１は緑色光を、‘Ｂ’が記入された受光素子ＰＤ１は青色光を、各々受光し、受光した光量に応じたアナログ信号を各々出力する。
【００８４】
ＣＣＤ１８は、更に、上述の受光素子ＰＤ１に比較して低感度な受光素子ＰＤ２を備えている。受光素子ＰＤ２は図４に示される如く、複数の受光素子ＰＤ１間に設けられている。この受光素子ＰＤ２も受光素子ＰＤ１と同様に、その前面に受光素子ＰＤ１の開口部より面積が小さい開口部ＡＰが形成され、隣接する１つの垂直転送電極ＶＥＬに対して転送ゲートＴＧにより電気的に接続されている。また、この受光素子ＰＤ２には、その前面に形成された開口部ＡＰに、受光素子ＰＤ１と同様にＲ、Ｇ、Ｂ何れかのカラーフィルタが装着されている。このように、受光素子ＰＤ２の受光面積（開口部ＡＰの開口面積）を受光素子ＰＤ１の受光面積より小さくしているので、受光素子ＰＤ１に比較して低感度なＲ、Ｇ、Ｂ信号が得られる。
【００８５】
なお、受光素子ＰＤ２の転送ゲートＴＧが接続される電極は、隣接する受光素子ＰＤ１の転送ゲートＴＧが接続される電極とは異なるように設けられている。また、本実施の形態においては、先に受光素子ＰＤ１の電荷を読み出してから受光素子ＰＤ２の電荷を読み出すようにしている。
【００８６】
以下、このような構成のデジタルカメラ１０の撮影時における作用を説明する。
【００８７】
まず、光学レンズ１２、絞り１４、及びシャッタ１６を通過した被写体像を示す入射光は、ＣＣＤ１８の感度の異なる受光素子ＰＤ１及びＰＤ２の双方により受光され、被写体像を示すアナログ画像信号としてアナログ信号処理部２０に出力される。
【００８８】
アナログ信号処理部２０は、ＣＣＤ１８から入力された高感度及び低感度の双方のアナログ画像信号に対して所定のアナログ信号処理を施す。これらのアナログ画像信号は、Ａ／Ｄ変換器２２により各々高感度データ及び低感度データに変換される。Ａ／Ｄ変換器２２から出力された高感度データ及び低感度データは、デジタル信号処理回路３４及び制御回路６０に入力される。
【００８９】
制御回路６０では、Ａ／Ｄ変換器２２から入力された高感度データ及び低感度データがＲＡＭ６６に記憶されると共に、当該高感度データ及び低感度データに基づいて高感度データ及び低感度データの各々のホワイトバランスを制御するためのゲイン値Ｒｇ、Ｇｇ、Ｂｇが導出され、対応する高感度側ＷＢ調整処理回路７２及び低感度側ＷＢ調整処理回路７４に出力される。
【００９０】
一方、デジタル信号処理回路３４に入力された高感度データ及び低感度データは、高感度側ＷＢ調整処理回路７２及び低感度側ＷＢ調整処理回路７４により、制御回路６０から入力されたゲイン値を用いてホワイトバランス調整が行われ、更に高感度側γ処理回路７６及び低感度側γ処理回路７８によりそれぞれガンマ補正処理が行われて合成処理回路８０に出力される。そして、合成処理回路８０では、入力された高感度データ及び低感度データが対数加算方式を用いて前述のように合成され、これによって得られた合成データがメモリ４８に格納される。
【００９１】
また、表示制御部５２は、メモリ４８に記憶された各種処理後の合成データを用いたＬＣＤ８２への画像表示のための処理を実行する。
【００９２】
ここで、本実施の形態に係るデジタルカメラ１０では、ユーザが被写体を撮影するためにカメラ操作部８４のシャッタスイッチを半押しすると、ＣＰＵ６２において撮影処理プログラムが実行される。
【００９３】
図５は、当該撮影処理プログラムの処理の流れを示すフローチャートであり、同図を参照して本実施の形態に係る撮影処理について説明する。なお、本実施の形態では、ユーザによるカメラ操作部８４の操作により、予めＩＳＯ感度が設定されているものとして説明する。
【００９４】
まず、ステップ１０２では、光学レンズ１２に含まれるフォーカスレンズを一端部へ移動させ、次のステップ１０４では、ユーザにより予め設定されているＩＳＯ感度情報を取込み、その後にステップ１０６に移行して、ＩＳＯ感度が所定値（本実施の形態では、４００）以下であるか否かを判定する。
【００９５】
そして、ステップ１０６で肯定判定の場合は、被写体の明るさが低感度データを用いて合焦制御を行うのに充分であり、低感度データに基づいて合焦制御を行うものと判断して、ステップ１０８に移行する。
【００９６】
ステップ１０８では、フォーカスレンズの他端部への所定速度での移動を開始させ、次のステップ１０９では、高感度データ及び低感度データをＲＡＭ６６のそれぞれ異なる領域から読出す。
【００９７】
次のステップ１１０では、読出した低感度データに基づいて被写体像の所定領域におけるＡＦ評価値（本実施の形態では、コントラスト値）を導出すると共に、読出した高感度データに基づいて被写体像の所定領域における分割測光データを取得する。
【００９８】
次のステップ１１２では、取得した分割測光データに基づいて被写体の明るさに応じた露出情報（シャッタ１６によるシャッタースピード及び絞り１４の状態）を導出し、次のステップ１１４では、導出したＡＦ評価値及び露出情報を、この時点でＣＰＵ６２により把握されているフォーカスレンズの位置を示す位置情報と関連付けてＲＡＭ６６の所定領域に記憶する。
【００９９】
次のステップ１１６では、フォーカスレンズが他端部まで移動したか否かを判定し、当該判定が否定判定の場合は上記ステップ１０９に戻って再びステップ１０９〜ステップ１１４の処理を実行し、当該判定が肯定判定となった時点でステップ１１８に移行する。
【０１００】
以上のステップ１０９〜ステップ１１６の繰り返し処理により、フォーカスレンズによるフォーカシング範囲内の一端部から他端部にかけての所定区間毎のＡＦ評価値及び露出情報が、対応するフォーカスレンズの位置を示す位置情報と関連付けられてＲＡＭ６６に記憶されることになる。
【０１０１】
そこで、ステップ１１８では、フォーカスレンズの移動を停止し、次のステップ１２０で、ＲＡＭ６６に記憶された最大値を示すＡＦ評価値と関連付けられた位置情報によって示されるフォーカスレンズの位置を合焦位置として決定する。
【０１０２】
次のステップ１２２では、フォーカスレンズを上記合焦位置に移動し、その後にステップ１２４に移行して、当該合焦位置を示す位置情報と関連付けられてＲＡＭ６６に記憶された露出情報によって示されるシャッタースピード及び絞りの状態を合焦位置に対応する露出状態として設定し、その後にステップ１４６に移行する。
【０１０３】
このように、低感度データに基づいて合焦制御を行う場合、合焦制御と露出制御とで異なる領域に記憶された画像データに基づいて処理を行うため、高感度データ及び低感度データを同時に読み出すことができ、合焦制御と露出制御の２つの処理を並行して、見かけ上、同時に行うことができる。よって、撮影処理にかかる時間を短縮することができる。
【０１０４】
一方、ステップ１０６で否定判定された場合は、低感度データの信号レベルがノイズに埋もれてしまっている可能性が高く、高感度データに基づいて合焦制御を行う方が高精度な制御が行えるものと判断して、ステップ１２６に移行する。
【０１０５】
ステップ１２６では、フォーカスレンズの他端部への所定速度での移動を開始し、その後にステップ１２７に移行して、高感度データをＲＡＭ６６から読み出す。そして、次のステップ１２８では、読出した高感度データに基づいて被写体像の所定領域におけるＡＦ評価値（ここでは、コントラスト値）を導出する。
【０１０６】
次のステップ１３０では、導出したＡＦ評価値を、この時点でＣＰＵ６２により把握されているフォーカスレンズの位置を示す位置情報と関連付けてＲＡＭ６６の所定領域に記憶し、その後にステップ１３２に移行してフォーカスレンズが他端部まで移動したか否かを判定し、当該判定が否定判定の場合は上記ステップ１２７に戻って上記ステップ１２７〜ステップ１３０を再び実行し、当該判定が肯定判定となった時点でステップ１３４に移行する。
【０１０７】
以上のステップ１２７〜ステップ１３２の繰り返し処理により、フォーカスレンズによるフォーカシング範囲内の一端部から他端部にかけての所定区間毎のＡＦ評価値が、対応するフォーカスレンズの位置を示す位置情報と関連付けられてＲＡＭ６６に記憶されることになる。
【０１０８】
そこで、ステップ１３４では、フォーカスレンズの移動を停止し、その後にステップ１３６で、ＲＡＭ６６に記憶された最大値を示すＡＦ評価値と関連付けられた位置情報によって示されるフォーカスレンズの位置を合焦位置として決定する。
【０１０９】
次のステップ１３８では、フォーカスレンズを合焦位置に移動し、その後にステップ１３９に移行して、ＲＡＭ６６から高感度データを再び読出す。
【０１１０】
次のステップ１４０では、読み出した高感度データに基づいて所定領域の分割測光データを取得し、その後にステップ１４２に移行して、取得した分割測光データに基づいて上記ステップ１１２と同様に露出情報を導出し、次のステップ１４４では、導出した露出情報によって示されるシャッタースピード及び絞りの状態を露出状態として設定し、その後ステップ１４６に移行する。
【０１１１】
ステップ１４６では、シャッタスイッチが半押し状態から全押し状態に移行されたか否かを判定し、当該判定が否定判定である場合はステップ１４８に移行して、シャッタスイッチがオフ状態とされたか否かを判定する。当該判定が肯定判定の場合は、撮影処理が中止されたと判断して本撮影処理を終了し、当該判定が否定判定の場合は上記ステップ１４６に戻る。
【０１１２】
一方、ステップ１４６で肯定判定された場合にはステップ１５０に移行し、記録制御部５０に対して、この時点でメモリ４８に記憶されている合成データを記録メディア８６へ記憶させることにより撮影を行い、本撮影処理を終了する。
【０１１３】
このように、本実施の形態に係る撮影処理では、被写体像を示す入射光の光量が充分である場合には、低感度データに基づいてＣＣＤ１８に対する合焦制御を行い、被写体像を示す入射光の光量が少ない場合には、高感度データに基づいてＣＣＤ１８に対する合焦制御が行われる。よって、高周波成分をより多く含む画像データを用いて合焦制御が行われるので、合焦制御を高精度に行うことができる。
【０１１４】
以上詳細に説明したように、本実施の形態に係るデジタルカメラ１０によれば、ＣＣＤ１８によって被写体からの光を第１の開口面積とされた開口部ＡＰを介して第１の感度で受光し、受光した光量に応じた高感度データを取得すると共に、被写体からの光を第１の開口面積より小さな第２の開口面積とされた開口部ＡＰを介して第２の感度で受光し、受光した光量に応じた低感度データを取得し、高感度データと低感度データとを合成して合成信号を生成するに際し、低感度データに基づいてＣＣＤ１８に対する合焦制御を行うようにしているので、高精度な合焦制御を高速かつ低コストに行うことができる。
【０１１５】
また、本実施の形態に係るデジタルカメラ１０では、高感度データに基づいて露出制御を行うようにしており、合焦制御と露出制御とで、制御に用いる画像データを異なるものとしているので、合焦制御及び露出制御の処理を並行して同時に行うことができる。この結果、合焦制御及び露出制御にかかる総合的な時間が短縮され、撮影の処理が高速化できる。
【０１１６】
さらに、本実施の形態に係るデジタルカメラ１０では、ＩＳＯ感度を示す感度情報をカメラ操作部８４により入力し、入力した感度情報により示される感度の値が所定値を超える場合には、高感度データに基づいて合焦制御を行うようにしているので、低感度データがノイズに埋もれてしまうような低輝度での撮影時においても高精度に合焦制御を行うことができる。
【０１１７】
なお、本実施の形態では、撮影処理において、ユーザにより予め設定されたＩＳＯ感度が４００を超えているか否かを判断することによって、高感度データに基づいて合焦制御を行うか低感度データに基づいて合焦制御を行うかを判断する形態について説明したが、本発明はこれに限定されるものではなく、デジタルカメラ１０の設計仕様に基づくコンピュータ・シミュレーションや実機による実験等により予め得られた、低感度データがノイズに埋もれてしまう可能性の高いＩＳＯ感度や、高感度データを用いても高精度な合焦制御が行えると見なすことのできるＩＳＯ感度を用いて判断する形態とすることもできる。この場合も、本実施の形態と同様の効果を奏することができる。
【０１１８】
また、本実施の形態では、合成前にホワイトバランス調整及びガンマ補正を高感度データ及び低感度データのそれぞれに対して行い、その後に対数加算方式により合成処理する形態について説明したが、本発明はこれに限定されるものではなく、合成処理回路によってＡ／Ｄ変換器２２から入力された高感度データ及び低感度データを、ホワイトバランス調整やガンマ補正を行う前に合成する形態とすることもできる。
【０１１９】
図６は、この形態に係るデジタル信号処理部３４Ｂの構成を示している。デジタル信号処理回路３４Ｂは、合成手段としての合成処理回路４０と、Ｋｎｅｅ処理回路４２と、ホワイトバランス（ＷＢ）調整回路４４と、ガンマ処理回路４６と、メモリ４８と、記録制御部５０と、表示制御部５２と、を含んで構成されている。
【０１２０】
図６の構成によれば、合成処理回路４０では、Ａ／Ｄ変換器２２から入力された高感度データ及び低感度データを、真数加算方式を用いて次の（６）式に示すように合成する。
【０１２１】
【数６】

【０１２２】
ここで、Ｓは、高感度信号と低感度信号の比（感度比）を示すものであり、その値は１以上となる。ｔｈは、画像形成において合成データｄａｔａの合成開始レベルを示す閾値である。また、ｈｉｇｈは、高感度データの値であり、ｗ_hは、高感度データの重みを示す値である。ｌｏｗは、低感度データの値であり、ｗ_lは、低感度データの重みを示す値である。なお、上記（６）式を簡略化するために、本実施の形態では、重みｗ_hと重みｗ_lの合計値を１とするものとされている。
【０１２３】
なお、上記閾値ｔｈは、高感度データにより示される階調値が当該値未満であれば当該高感度データにより示される被写体像に白とびが発生しないと見なすことのできる値として、実際のＣＣＤ１８を用いた実験や、ＣＣＤ１８の設計仕様に基づくコンピュータ・シミュレーション等によって予め得られた値等を適用する。
【０１２４】
図７は、このとき、合成処理回路４０によって、被写体からの光を受光して得られた高感度データと、その高感度データに低感度データを上述のように合成して得られた合成データとの関係を示した図である。図中の細線が合成前の高感度データであり、太線が合成処理により得られた合成データである。また、被写体輝度において、Ｘ₁は合成処理を行わない場合に表現可能な被写体輝度の最大値を示しており、Ｘ₂は合成後に表現可能となった被写体輝度の最大値を示している。この場合の撮影対象である被写体の輝度Ｘ₂はＸ₁のレベルより高い。なお、本図は、Ｒ、Ｇ、Ｂ何れか１色についてのデータを示している。
【０１２５】
図から明らかなように、上述した合成処理により表現可能な被写体輝度のレベルはＸ₁からＸ₂まで拡大されている。このため、被写体がＸ₁のレベルより高い輝度を有する場合には、合成処理を施すことにより好適にダイナミックレンジが拡大され、表現可能な領域を拡大することができる。
【０１２６】
合成処理回路４０により得られた合成データはＫｎｅｅ処理回路４２に出力され、Ｋｎｅｅ処理回路４２での予め設定されたＫｎｅｅ特性に応じた処理後、ＷＢ調整処理回路４４及びガンマ処理回路４６で所定の処理が行われた後、メモリ４８の所定領域に記憶される。
【０１２７】
そして、表示制御部５２は、メモリ４８に記憶された各種処理後の合成データを用いたＬＣＤ８２への画像表示のための処理を実行する。また、記録制御部５０は、カメラ操作部８４のシャッタスイッチが全押しされたときに制御回路６０から入力された指示信号に応じて、メモリ４８に記憶された合成データの記録メディア８６への記録を行う。これによって撮影がなされる。この場合も、本実施の形態と同様の効果を奏することができる。
【０１２８】
また、本実施の形態では、高感度の受光素子ＰＤ１と低感度の受光素子ＰＤ２の各々を設け、高感度信号及び低感度信号を得る例について説明したが、図８に示されるように、１つの受光素子ＰＤの受光領域をチャネルストッパ９４により高感度の受光を行う受光面積が広い高感度受光領域９２と低感度の受光を行う受光面積が狭い低感度受光領域９０とに分割し、それぞれの領域により高感度信号及び低感度信号が得られるような構成としてもよい。なお、受光素子ＰＤにはチャネルストッパ９４が設けられているため、高感度で受光された信号と低感度で受光された信号とが混合されずに、双方の信号を別々に受光することができる。
【０１２９】
また、本実施の形態で説明した撮影処理プログラム（図５参照）の処理の流れは一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
【０１３０】
また、本実施の形態に係るデジタルカメラ１０の構成（図１参照）も一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
【０１３１】
更に、本発明は上記デジタルカメラに限られるものではなく、様々な撮像装置に適用可能である。
【０１３２】
【発明の効果】
以上説明したように、本発明の撮像装置及び撮像方法によれば、撮像素子によって被写体からの光を第１の開口面積とされた開口部を介して第１の感度で受光し、受光した光量に応じた第１画像信号を取得すると共に、前記被写体からの光を前記第１の開口面積より小さな第２の開口面積とされた開口部を介して第２の感度で受光し、受光した光量に応じた第２画像信号を取得し、前記第１画像信号と前記第２画像信号とを合成して合成信号を生成するに際し、前記第２画像信号に基づいて前記撮像素子に対する合焦制御を行うようにしているので、高精度な合焦制御を高速かつ低コストに行うことができる、という優れた効果を有する。
【図面の簡単な説明】
【図１】実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】実施の形態に係る（２）式において、ゲインｐによりダイナミックレンジが変化する様子を示す光量対合成データ（最終画像８ｂｉｔＱＬ）のグラフである。
【図３】実施の形態に係る（２）式の説明に供するグラフである。
【図４】実施の形態に係るデジタルカメラで適用されているＣＣＤの構成を示す概略図である。
【図５】実施の形態に係る撮影処理プログラムの処理の流れを示すフローチャートである。
【図６】デジタル信号処理回路の他の構成例を示すブロック図である。
【図７】合成前の高感度データと、合成処理されて得られた合成データとの関係を示すグラフである。
【図８】高感度と低感度の信号の双方を受光することができる受光素子が設けられたＣＣＤの構成を示す概略図である。
【図９】（Ａ）は受光素子による受光領域の実空間での特性を示すグラフであり、（Ｂ）は（１）式で示される周波数特性を示すグラフである。
【図１０】（１）式による周波数特性を示すグラフであり、（Ａ）はａの値を‘１’としたときのグラフで、（Ｂ）はａの値を‘０．５’としたときのグラフである。
【符号の説明】
１０デジタルカメラ
１８ＣＣＤ（撮像素子）
６２ＣＰＵ（合焦制御手段、露出制御手段）
８０合成処理回路（合成手段）
８４カメラ操作部（感度入力手段）

Claims

被写体からの光を第１の開口面積とされた開口部を介して第１の感度で受光し、受光した光量に応じた第１画像信号を取得する複数の第１受光素子と、前記被写体からの光を前記第１の開口面積より小さな第２の開口面積とされた開口部を介して第２の感度で受光し、受光した光量に応じた第２画像信号を取得する複数の第２受光素子とを備えた撮像素子と、
前記第１画像信号と前記第２画像信号とを合成して合成信号を生成する合成手段と、
前記第２画像信号に基づいて前記撮像素子に対する合焦制御を行う合焦制御手段と、
を含む撮像装置。
前記第１画像信号に基づいて露出制御を行う露出制御手段
をさらに含む請求項１に記載の撮像装置。
前記撮像素子による撮像の感度を示す感度情報を入力するための感度入力手段をさらに含み、
前記合焦制御手段は、前記感度入力手段で入力された前記感度情報により示される感度の値が所定値を超える場合には、前記第１画像信号に基づいて前記合焦制御を行う
請求項１又は請求項２に記載の撮像装置。
被写体からの光を第１の開口面積とされた開口部を介して第１の感度で受光し、受光した光量に応じた第１画像信号を取得する複数の第１受光素子と、前記被写体からの光を前記第１の開口面積より小さな第２の開口面積とされた開口部を介して第２の感度で受光し、受光した光量に応じた第２画像信号を取得する複数の第２受光素子とを備えた撮像素子と、前記第１画像信号と前記第２画像信号とを合成して合成信号を生成する合成手段と、を含む撮像装置の撮像方法であって、
前記第２画像信号に基づいて前記撮像素子に対する合焦制御を行う
撮像方法。