JP2007097033A - 撮像装置及びそのプログラム - Google Patents

Abstract

【課題】 動画撮影時や被写体のスルー画像表示時のフレームレートを向上させ、且つ、ＡＦ処理時の性能を高めることができる撮像装置及びそのプログラムを実現する。
【解決手段】 スルー画像表示時においては、両方のＣＣＤに蓄積された画像データが交互に読み出されるようにＣＣＤ９及びＣＣＤ１０をスルー画像表示に適した制御により駆動させ（Ｓ１）、ＣＣＤ９及びＣＣＤ１０から出力される画像データを交互に表示部２０に表示させる（Ｓ２）。ＡＦ処理時は、一方のＣＣＤをＡＦ処理に適した制御により駆動に切り替え、該ＣＣＤを用いてＡＦ処理を行うとともに（Ｓ４）、他方のＣＣＤで撮像された画像データをスルー画像表示させる（Ｓ５）。静止画撮影処理時は、一方のＣＣＤを静止画撮影に適した制御により駆動させて静止画撮影処理を行うとともに（Ｓ１０）、他方のＣＣＤで撮像された画像データをスルー画像表示させる（Ｓ１１）。
【選択図】 図５

Description

本発明は、撮像装置及びそのプログラムに係り、詳しくは、複数の撮像素子を備えた撮像装置及びそのプログラムに関する。

従来、撮像装置においては、画像データのフレームレートを上げるためには、撮像素子の駆動周波数を上げたり、画素加算駆動をさせたり、撮像素子の１部のエリアの画像データのみを読み出すように駆動（１部読出し駆動）させたりすることにより、フレームレートを上げるというものがある。
また、コントラスト検出方式によるＡＦ処理のＡＦ処理時間も画像データのフレームレートに依存し、フレームレートが高ければ、その分ＡＦ処理時間を短縮することができる。
そのため、ＡＦ処理時間を短縮すべく、ＡＦ処理中には、１部読出し駆動させることにより、1部のエリアの画像をリアルタイムに表示させ、1部以外のエリアに対しては、過去に撮像された画像を表示させることにより、ＡＦ処理中にスルー画像をリアルタイムに表示させるとともにＡＦ処理時間を短縮させるという技術も登場した（特許文献１）。

公開特許公報 特開２００３−３３３４０９

しかしながら、従来の撮像装置によれば、駆動周波数を上げることによりフレームレートを上げる場合でも、撮像素子の特性上駆動周波数には上限があるため、それ以上フレームレートを上げることはできず、また、１部読出し駆動では、１部のエリアの画像しか表示させることができないため、被写体の動画撮影や被写体のスルー画像表示には向かないという問題点があった。また、画素加算によりフレームレートを上げる場合であっても限度があり、それ以上フレームレートを上げると動画撮影や被写体のスルー画像表示には向かないという問題点もあった。
また、上記特許文献１記載の技術によれば、ＡＦ処理時間を短縮させることはできるが、１部の画像しかリアルタイムに表示させることができず、ＡＦ処理中は思うように撮影の構図が決められないという問題点があった。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、動画撮影時や被写体のスルー画像表示時のフレームレートを向上させ、且つ、ＡＦ処理時の性能を高めることができる撮像装置及びそのプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明による撮像装置は、被写体の光を画像データに変換する第１の撮像素子と、
被写体の光を画像データに変換する第２の撮像素子と、
前記第１の撮像素子により変換された画像データと、前記第２の撮像素子により変換された画像データとが交互に出力されるように制御して、前記第１の撮像素子及び前記第２の撮像素子を駆動させることにより被写体の動画の撮像を行なう動画撮像制御手段と、
前記第１の撮像素子及び前記第２の撮像素子のうち、どちらか一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、他方の撮像素子を用いて被写体に対してオートフォーカスを行なうように制御するフォーカス制御手段と、
を備えたことを特徴とする。

また、例えば、請求項２に記載されているように、前記フォーカス制御手段は、
オートフォーカスに用いられる前記他方の撮像素子を、ＡＦ処理に適した制御により駆動させるようにしてもよい。

また、例えば、請求項３に記載されているように、前記ＡＦ処理に適した制御による駆動は、
ＡＦ評価値の検出に適した露出制御による駆動、高速駆動のうち、少なくとも１つ以上の駆動を含むようにしてもよい。

また、例えば、請求項４に記載されているように、前記高速駆動は、
画素加算駆動、１部読出し駆動のうち、少なくとも１つ以上の駆動を行なうようにしてもよい。

また、例えば、請求項５に記載されているように、前記高速駆動による駆動により前記他方の撮像素子から出力される画像データのフレームレートは、
前記動画撮像制御手段により得られる画像データのフレームレート以上、又は、前記フォーカス制御手段による制御により動画の撮像に用いられる前記一方の撮像素子から出力される画像データのフレームレート以上であるようにしてもよい。

また、例えば、請求項６に記載されているように、前記フォーカス制御手段によりオートフォーカスに用いられる前記他方の撮像素子に入射される被写体の光の光路長を変えていくことにより、各光路長における前記他方の撮像素子から出力される画像データに基づいてＡＦ評価値を検出し、該検出したＡＦ評価値の中でＡＦ評価値がピークとなる光路長となるように、前記第１又は／及び第２の撮像素子に入射される光の光路長を制御することにより、被写体に対してオートフォーカスを行なうコントラストＡＦ手段を備え、
前記フォーカス制御手段は、
前記一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、前記他方の撮像素子をＡＦ処理に適した制御により駆動させた状態で、前記コントラストＡＦ手段にオートフォーカス動作を行なわせるようにしてもよい。

また、例えば、請求項７に記載されているように、前記第１の撮像素子及び前記第２の撮像素子のうち、どちらか一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、他方の撮像素子を用いて被写体の静止画撮影を制御する静止画撮影制御手段と、
前記静止画撮影制御手段により前記他方の撮像素子から出力された画像データを記録手段に記録する第１の記録制御手段と、
を備えるようにしてもよい。

また、例えば、請求項８に記載されているように、前記静止画撮影制御手段の制御により動画の撮像に用いられている前記一方の撮像素子から出力される画像データから画スルー像データ又は動画データを順次生成するとともに、その生成の合間に静止画撮影に用いられている前記他方の撮像素子から出力される画像データを分割して処理することにより静止画像データを生成する画像生成手段を備え、
前記第１の記録制御手段は、
前記画像生成手段により生成された静止画像データを前記記録手段に記録するようにしてもよい。

また、例えば、請求項９に記載されているように、前記動画撮像制御手段、前記フォーカス制御手段、前記静止画撮影制御手段は、
動画の撮像に用いられる撮像素子をスルー画像表示に適した制御により駆動させるようにしてもよい。

また、例えば、請求項１０に記載されているように、前記動画撮像制御手段による動画の撮像により得られる画像データ、又は／及び、前記フォーカス制御手段による動画の撮像に用いられている前記一方の撮像素子から出力される画像データ、又は／及び、前記静止画撮影制御手段により動画の撮像に用いられている前記一方の撮像素子から出力される画像データを表示手段に表示させる表示制御手段を備えるようにしてもよい。

また、例えば、請求項１１に記載されているように、前記動画撮像制御手段による動画の撮像により得られる画像データ、又は／及び、前記フォーカス制御手段による動画の撮像に用いられる前記一方の撮像素子から出力される画像データ、又は／及び、前記静止画撮影制御手段により動画の撮像に用いられる前記一方の撮像素子から出力される画像データを前記記録手段に記録する第２の記録制御手段を備えるようにしてもよい。

上記目的達成のため、請求項１２記載の発明による撮像装置は、被写体の光を画像データに変換する複数の撮像素子と、
静止画撮影に必要な静止画用露光時間を前記複数の撮像素子に分担させて、前記複数の撮像素子に露光を行なわせ、該複数の撮像素子に変換されたそれぞれ画像データを取得する取得手段と、
前記取得手段により取得された複数の画像データから１枚の合成画像データを生成する生成手段と、
を備えたことを特徴とする。

また、例えば、請求項１３に記載されているように、前記生成手段は、
飽和している部分が出ないように前記取得手段により取得された画像データから１枚の合成画像データを生成するようにしてもよい。

また、例えば、請求項１４に記載されているように、半押し全押し可能なシャッタボタンと、
前記シャッタボタンが半押しされるまでは、前記動画撮像制御手段により前記第１の撮像素子及び前記第２の撮像素子を駆動させることにより被写体の動画の撮像を行なわせ、前記シャッタボタンが半押しされると、前記フォーカス制御手段により前記一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、前記他方の撮像素子を用いて被写体に対してオートフォーカスを行なうように制御させ、前記シャッタボタンが全押しされると、前記一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、前記他方の撮像素子を用いて被写体の静止画撮影を制御させるように制御する制御手段と、
を備えるようにしてもよい。

上記目的達成のため、請求項１５記載の発明による撮像装置は、被写体の光を画像データに変換する第１の撮像素子と、
被写体の光を画像データに変換する第２の撮像素子と、
前記第１の撮像素子を用いて被写体の動画の撮像を行なうとともに、前記第２の撮像素子を用いて被写体の静止画撮影を行なう静止画撮影制御手段と、
前記静止画撮影制御手段により前記第１の撮像素子から出力される画像データからスルー画像データ又は動画データを順次生成するとともに、その生成の合間に前記第２の撮像素子から出力される画像データを分割して処理することにより静止画像データを生成する画像生成手段と、
を備えたことを特徴とする。

上記目的達成のため、請求項１６記載の発明によるプログラムは、被写体の光を画像データに変換する第１の撮像素子と、
被写体の光を画像データに変換する第２の撮像素子と、
を備えた撮像装置を実行させるためのプログラムであって、
前記第１の撮像素子により変換された画像データと、前記第２の撮像素子により変換された画像データとが交互に出力されるように制御して、前記第１の撮像素子及び前記第２の撮像素子を駆動させることにより被写体の動画の撮像を行なう動画撮像処理と、
前記第１の撮像素子及び前記第２の撮像素子のうち、どちらか一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、他方の撮像素子を用いて被写体に対してオートフォーカスを行なうように制御するフォーカス制御処理と、
を含むことを特徴とする。

上記目的達成のため、請求項１７記載の発明によるプログラムは、被写体の光を画像データに変換する複数の撮像素子を備えた撮像装置を実行させるためのプログラムであって、
静止画撮影に必要な静止画用露光時間を前記複数の撮像素子に分担させて、前記複数の撮像素子に露光を行なわせ、該複数の撮像素子に変換されたそれぞれ画像データを取得する取得処理と、
前記取得処理により取得された複数の画像データから１枚の合成画像データを生成する生成処理と、
を含むことを特徴とする。

上記目的達成のため、請求項１８記載の発明によるプログラムは、被写体の光を画像データに変換する第１の撮像素子と、
被写体の光を画像データに変換する第２の撮像素子と、
を備えた撮像装置を実行させるためのプログラムであって、
前記第１の撮像素子を用いて被写体の動画の撮像を行なうとともに、前記第２の撮像素子を用いて被写体の静止画撮影を行なう静止画撮影処理と、
前記静止画撮影処理により前記第１の撮像素子から出力される画像データからスルー画像データ又は動画データを順次生成するとともに、その生成の合間に前記第２の撮像素子から出力される画像データを分割して処理することにより静止画像データを生成する画像生成処理と、
を含むことを特徴とする。

請求項１記載の発明によれば、被写体の光を画像データに変換する第１の撮像素子と、被写体の光を画像データに変換する第２の撮像素子と、前記第１の撮像素子により変換された画像データと、前記第２の撮像素子により変換された画像データとが交互に出力されるように制御して、前記第１の撮像素子及び前記第２の撮像素子を駆動させることにより被写体の動画の撮像を行なう動画撮像制御手段と、前記第１の撮像素子及び前記第２の撮像素子のうち、どちらか一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、他方の撮像素子を用いて被写体に対してオートフォーカスを行なうように制御するフォーカス制御手段と、備えるようにしたので、ＡＦ処理中であっても被写体のスルー画像を表示することができ、また、フレームレートの高いスルー画像データや動画データを得ることができる。

請求項２記載の発明によれば、前記フォーカス制御手段は、オートフォーカスに用いられる前記他方の撮像素子を、ＡＦ処理に適した制御により駆動させるので、ＡＦ処理の精度を高めることができる。

請求項３記載の発明によれば、前記ＡＦ処理に適した制御による駆動は、ＡＦ評価値の検出に適した露出制御、高速駆動のうち、少なくとも１つ以上の駆動を含むようにしたので、ＡＦ評価値の検出の精度を上げることができ、ＡＦ処理時間を短縮することができる。

請求項４記載の発明によれば、前記高速駆動は、画素加算駆動、１部読出し駆動のうち、少なくとも１つ以上の駆動を行なうようにしたので、画像データの転送周期等を速くすることができ、ＡＦ処理時間を短縮することができる。

請求項５記載の発明によれば、前記高速駆動による駆動により前記他方の撮像素子から出力される画像データのフレームレートは、前記動画撮像制御手段により得られる画像データのフレームレート以上、又は、前記フォーカス制御手段による制御により動画の撮像に用いられる前記一方の撮像素子から出力される画像データのフレームレート以上であるようにしたので、スルー画像表示に用いられる画像データに基づいてＡＦ処理を行なう場合より、ＡＦ処理時間を短縮することができる。

請求項６記載の発明によれば、前記フォーカス制御手段によりオートフォーカスに用いられる前記他方の撮像素子に入射される被写体の光の光路長を変えていくことにより、各光路長における前記他方の撮像素子から出力される画像データに基づいてＡＦ評価値を検出し、該検出したＡＦ評価値の中でＡＦ評価値がピークとなる光路長となるように、前記第１又は／及び第２の撮像素子に入射される光の光路長を制御することにより、被写体に対してオートフォーカスを行なうコントラストＡＦ手段を備え、前記フォーカス制御手段は、前記一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、前記他方の撮像素子をＡＦ処理に適した制御により駆動させた状態で、前記コントラストＡＦ手段にオートフォーカス動作を行なわせるようにしたので、ＡＦ処理の精度を上げることができ、ＡＦ処理中であっても被写体のスルー画像を表示や動画撮影を行なうこととが可能となる。

請求項７記載の発明によれば、前記第１の撮像素子及び前記第２の撮像素子のうち、どちらか一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、他方の撮像素子を用いて被写体の静止画撮影を制御する静止画撮影制御手段と、前記静止画撮影制御手段により前記他方の撮像素子から出力された画像データを記録手段に記録する第１の記録制御手段と、を備えるようにしたので、静止画撮影中に被写体のスルー画像を表示や動画撮影を行なうことができ、静止画撮影により得られた画像データを記録することができる。

請求項８記載の発明によれば、前記静止画撮影制御手段の制御により動画の撮像に用いられている前記一方の撮像素子から出力される画像データからスルー画像データを順次生成するとともに、その生成の合間に静止画撮影に用いられている前記他方の撮像素子から出力される画像データから静止画像データを生成する画像生成手段を備え、前記第１の記録制御手段は、前記画像生成手段により生成された静止画像データを前記記録手段に記録するようにしたので、静止画撮影中に被写体のスルー画像を表示や動画撮影を行なうことができるとともに、静止画像データを記録することができる。

請求項９記載の発明によれば、前記動画撮像制御手段、前記フォーカス制御手段、前記静止画撮影制御手段は、動画の撮像に用いられる撮像素子をスルー画像表示に適した制御により駆動させるようにしたので、スルー画像表示に適した画像データを得ることができる。

請求項１０記載の発明によれば、前記動画撮像制御手段による動画の撮像により得られる画像データ、又は／及び、前記フォーカス制御手段による動画の撮像に用いられている前記一方の撮像素子から出力される画像データ、又は／及び、前記静止画撮影制御手段により動画の撮像に用いられている前記一方の撮像素子から出力される画像データを表示手段に表示させる表示制御手段を備えるようにしたので、被写体のスルー画像を表示させることができる。

請求項１１記載の発明によれば、前記動画撮像制御手段による動画の撮像により得られる画像データ、又は／及び、前記フォーカス制御手段による動画の撮像に用いられる前記一方の撮像素子から出力される画像データ、又は／及び、前記静止画撮影制御手段による動画の撮像に用いられる前記一方の撮像素子から出力される画像データを前記記録手段に記録する第２の記録制御手段を備えるようにしたので、被写体の動画を記録することができる。

請求項１２記載の発明によれば、被写体の光を画像データに変換する複数の撮像素子と、静止画撮影に必要な静止画用露光時間を前記複数の撮像素子に分担させて、前記複数の撮像の撮像素子に露光を行なわせ、該複数の撮像素子に変換されたそれぞれの画像データを取得する取得手段と、前記取得手段により取得された複数の画像データから１枚の合成画像データを生成する生成手段と、を備えるようにしたので、暗電流ノイズの少ない画像データを得ることができる。

請求項１３記載の発明によれば、前記生成手段は、飽和している部分が出ないように前期取得手段により取得された画像データから１枚の合成画像データを生成するので、白飛びのない綺麗な画像データを得ることができる。

請求項１４記載の発明によれば、半押し全押し操作が可能なシャッタボタンと、前記シャッタボタンが半押しされるまでは、前記動画撮像制御手段により前記第１の撮像素子及び前記第２の撮像素子を駆動させることにより被写体の動画の撮像を行なわせ、前記シャッタボタンが半押しされると、前記フォーカス制御手段により前記一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、前記他方の撮像撮像素子を用いて被写体に対してオートフォーカスを行なうように制御させ、前記シャッタボタンが全押しされると、静止画撮影制御手段により前記一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、前記他方の撮像素子を用いて被写体の静止画撮影を制御させるように制御する制御手段と、を備えるようにしたので、シャッタボタンが半押しされると精度の高いオートフォーカスができるとともに被写体の動画も撮像することができ、シャッタボタンが全押しされると被写体の静止画撮影を行なうとともに被写体の動画を撮像することができ、シャッタボタン半押し及び全押しされていない場合には、フレームレートの高い動画を撮像することができる。

請求項１５記載の発明によれば、被写体の光を画像データに変換する第１の撮像素子と、被写体の光を画像データに変換する第２の撮像素子と、前記第１の撮像素子を用いて被写体の動画の撮像を行なうとともに、前記第２の撮像素子を用いて被写体の静止画撮影を行なう静止画撮影制御手段と、前記静止画撮影制御手段により前記第１の撮像素子から出力される画像データからスルー画像データ又は動画データを順次生成するとともに、その生成の合間に前記第２の撮像素子から出力される画像データを分割して処理することにより静止画像データを生成する画像生成手段と、を備えるようにしたので、静止画撮影中に被写体のスルー画像を表示や動画撮影を行なうことができる。

請求項１６乃至１８記載の発明によれば、デジタルカメラ、パソコン等に読み込ませることにより、本発明の撮像装置を実現することができる。

以下、本実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[第１の実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の撮像装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動回路３、光路分離手段４、ＮＤフィルタ５、ＮＤフィルタ６、絞り兼用シャッタ７、絞り兼用シャッタ８、ＣＣＤ９、ＣＣＤ１０、垂直ドライバ１１、ＴＧ（timing generator）１２、ユニット回路１３、ユニット回路１４、画像生成部１５、ＡＦ評価値算出部１６、ＤＭＡコントローラ１７、ＤＲＡＭ１８、ビデオエンコーダ１９、表示部２０、ＣＰＵ２１、メモリ２２、キー入力部２３、圧縮回路２４、フラッシュメモリ２５、バス２６を備えている。

撮影レンズ２は、図示しないフォーカスレンズ、ズームレンズを含み、レンズ駆動回路３が接続されている。レンズ駆動回路３は、図示しないフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、ＣＰＵ２１からの制御信号にしたがってフォーカスモータ、ズームモータをそれぞれ光軸方向に駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。

光路分離手段４は、プリズム、ハーフミラー等の撮影光束を２つに分離させる光学部材からなり、撮影レンズ２を介して入射された光束を２つに分離させ、該分離された撮影光束はそれぞれＮＤフィルタ５及び絞り兼用シャッタ７、ＮＤフィルタ６及び絞り兼用シャッタ８を介してＣＣＤ９、ＣＣＤ１０に投影される。

ＮＤフィルタ５、ＮＤフィルタ６は、入射された光の光量を低減させるためのものである。つまり、ＮＤフィルタ５、ＮＤフィルタ６は、光路分離手段により２つに分離されたそれぞれの光の光量を低減する。

絞り兼用シャッタ７、絞り兼用シャッタ８は、図示しない駆動回路を含み、駆動回路はＣＰＵ２１から送られてくる制御信号にしたがって絞り兼用シャッタ７、絞り兼用シャッタ８をそれぞれ動作させる。この絞り兼用シャッタは、絞りとシャッタとして機能する。
絞りとは、入射される光の量を制御する機構のことをいい、シャッタとは、ＣＣＤ９、１０に光を当てる時間を制御する機構のことをいい、ＣＣＤ９、１０に光を当てる時間は、シャッタの開閉の速度（シャッタ速度）によって変わってくる。露出は、この絞りとシャッタ速度によって定めることができる。

ＣＣＤ９、ＣＣＤ１０は、垂直ドライバ１１によってそれぞれ走査駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換してユニット回路１３、ユニット回路１４にそれぞれ出力する。この垂直ドライバ１１、ユニット回路１３及びユニット回路１４の動作タイミングはＴＧ１２を介してＣＰＵ２１により制御される。

ユニット回路１３、ユニット回路１４は、ＣＣＤ９、ＣＣＤ１０からそれぞれ出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログ信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ９、ＣＣＤ１０の撮像信号は、それぞれユニット回路１３、ユニット回路１４を経てデジタル信号として画像生成部１５に送られる。

画像生成部１５は、ユニット回路１３、ユニット回路１４から送られてきた画像データを、画素補間処理、γ補正処理、ホワイトバランス処理、輝度色差信号（ＹＵＶデータ）の生成処理等の画像処理を施す。
ＡＦ評価値算出部１６は、オートフォーカス時に各フォーカスポイント（フォーカスレンズ位置）においてＣＣＤにより取得されるフォーカスエリア内の画像データに基づいて高周波成分を抽出し、該抽出した高周波成分を積算してＡＦ評価値を算出する。ＣＰＵ２１は、この算出されたＡＦ評価値に基づいてレンズ駆動回路３に制御信号を送ることにより、フォーカスレンズを合焦レンズ位置に移動させる。

ＤＭＡコントローラ１７は、画像生成部１５とＤＲＡＭ１８との間及びＤＲＡＭ１８とビデオエンコーダ１９との間及びＤＲＡＭ１８とバス２６との間のデータの転送を行なうものである。
ＤＲＡＭ１８は、書き換え可能な半導体の一種であり、ＣＣＤ９、ＣＣＤ１０によって撮像された画像データ（画像生成部１５で生成されたＹＵＶデータ）を一時記憶しておくバッファメモリであるとともに、ＣＰＵ２１のワーキングメモリとしても利用される。

ビデオエンコーダ１９は、ＤＲＡＭ１８から読み出されたデジタル信号の画像データをアナログ信号に変換するとともに、表示部２０の走査方式に応じたタイミングで順次出力するものである。
表示部２０は、カラーＬＣＤとその駆動回路を含み、撮影モードの時には、ＣＣＤ９、ＣＣＤ１０によって撮像され、ＤＲＡＭ１８に記憶された画像データ（ＹＵＶデータ）を表示部２０に表示させ、再生時の時には、フラッシュメモリ２５から読み出され伸張された記録画像データを表示させる。

ＣＰＵ２１は、上記したデジタルカメラ１の各部を制御するワンチップマイコンである。
メモリ２２には、ＣＰＵ２１の各部の制御に必要な制御プログラム、必要なデータが記録されており、ＣＰＵ２１は該制御プログラムにしたがって動作する。

キー入力部２３は、モード切替キー、半押し全押し可能なシャッタボタン、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ２１に出力する。
圧縮回路２４は、ＪＰＥＧ（Joint Photographic Experts
group）やＭＰＥＧ（Moving Picture Experts Group）の圧縮・伸張を行なう部分である。圧縮回路２４は、ＣＰＵ２１の制御信号にしたがってＤＲＡＭ１８に記憶されている画像データ（ＹＵＶ信号）を圧縮したり、フラッシュメモリ２５に記録されている画像データを伸張したりする。
フラッシュメモリ２５は、圧縮回路２４で圧縮された画像データなどを保存しておく記録媒体である。

Ｂ．次に本発明の特徴となるＣＣＤ９及びＣＣＤ１０の駆動方法、及び画像生成部１５の動作方法について説明する。
ＣＣＤ９、ＣＣＤ１０に蓄積された電荷は、垂直ドライバ１１によって生成された所定周波数タイミング信号にしたがって読み出されるが、スルー画像表示時（動画撮像時）、ＡＦ処理時、静止画撮影処理時では異なる。なお、垂直ドライバ１１は、ＴＧ１２を介してＣＰＵ２１によって制御される。

Ｂ−１．スルー画像表示時
スルー画像表示時においては、ＣＣＤ９及びＣＣＤ１０により撮像された画像データを表示部２０に表示させるべく、ＣＰＵ２１は、スルー画像表示に適した制御によりＣＣＤ９及びＣＣＤ１０を駆動させる。このとき、ＣＰＵ２１は、ＣＣＤ９とＣＣＤ１０とを交互に（ＣＣＤ９の駆動周期とＣＣＤ１０の駆動周期とを半周期ずらして）駆動させていく。これにより、ＣＣＤ９、ＣＣＤ１０は露光、転送が交互に行われ、画像データが交互にＣＣＤ９、ＣＣＤ１０から出力されることとなる。
このスルー画像表示に適した制御による駆動とは、スルー画像表示に適した駆動と、スルー画像表示に適した露出制御よる駆動との両方を行なう。

このスルー画像表示に適した駆動とは、ＣＣＤ９、ＣＣＤ１０の全画素に蓄積された電荷を１ラインずつ読み出して、全画素の電荷を読み出すという方法もあるが、ＣＣＤ９、ＣＣＤ１０の全画素に蓄積された電荷を全て読み出すのは時間がかかり、また、ＣＣＤ９、ＣＣＤ１０により得られた画像データの解像度が表示部２０の解像度より多い場合には、該得られた画像データの解像度を低くしてから表示させるため、初めから表示部２０の解像度に適した画像サイズとなるように、間引いて読み出したり、画素加算して読み出したりするようにする。これにより動きの滑らかなスルー画像を表示させることができる。ここでは、スルー画像用駆動では、２画素加算して画像データを読み出すようにする。
また、スルー画像表示に適した露出制御による駆動とは、例えば、電子シャッタによりスルー画像表示に適した露光時間となるようにＣＣＤ９、ＣＣＤ１０の駆動を制御したりする。

そして、画像生成部１５は、ＣＣＤ９、ＣＣＤ１０から交互に順次出力される画像データに対して、スルー画像表示用の画像処理を施すことによりスルー画像データを生成する。
このスルー画像表示用の画像処理が施された画像データは順次バッファメモリに記憶され、該記憶された画像データはスルー画像として表示部２０に表示される。

図２は、スルー画像表示時におけるＣＣＤ９及びＣＣＤ１０の駆動、画像生成部１５の動作を示すタイムチャートである。
図２を見ると、ＣＣＤ９が露光した電荷を画像データとして転送している最中にＣＣＤ１０が露光を行ない、また、ＣＣＤ１０の画像データの転送中はＣＣＤ９が露光を行なっているのがわかる（露光周期が半周期ずれている）。このように、ＣＣＤ９、ＣＣＤ１０を交互に露光、転送を行なわせることにより、ＣＣＤ９、ＣＣＤ１０の駆動周波数を上げずに、スルー画像表示される画像データのフレームレートを２倍にすることが可能となる。

また、画像生成部１５は、ＣＣＤ９、ＣＣＤ１０から順次送られてきた画像データに対してスルー画像表示に適した画像処理を施すことによりスルー画像データを生成する。この生成されたスルー画像データはバッファメモリに記憶され表示部２０に表示される。
なお、画像生成部１５は、スルー画像表示される画像データのフレームレート（ＣＣＤ９又はＣＣＤ１０により得られる画像データのフレームレートの２倍のフレームレート）で、画像処理を施す能力を有しており、それ以上の画像処理を施す能力や並列的に画像処理を施す能力を有しないものとする。

Ｂ−２．ＡＦ処理時
ＡＦ処理時においては、ＣＰＵ２１は、ＡＦ評価値算出部１６にフォーカスレンズの各レンズ位置におけるＡＦ評価値を検出させるとともに、被写体のスルー画像を表示させるべく、一方のＣＣＤをスルー画像表示に適した制御により駆動させ、他方のＣＣＤをＡＦ処理に適した制御により駆動させる。
このＡＦ処理に適した制御による駆動とは、ＡＦ処理の精度を上げるような駆動のことをいう。
以下、ＡＦ処理に適した駆動方法について幾つか説明する。

Ｂ−２ａ．まず、高速駆動（画像データの読出し周期を早くするようなＣＣＤの駆動）によりＡＦ処理時間を短くすることによりＡＦ処理の精度を上げる方法について説明する。
コントラスト検出方式によるＡＦ処理においては、フォーカスレンズをレンズ端からレンズ端まで移動させるとともに、フォーカスレンズの各レンズ位置におけるＡＦ評価値を検出し、該検出したＡＦ評価値の中でＡＦ評価値がピークとなるレンズ位置にフォーカスレンズを移動させることによりオートフォーカスを行なう。

ここで、コントラスト検出方式によるＡＦ処理の時間を短縮するためには、フォーカスレンズの移動スピードを早くすればよいということになる。
しかし、フォーカスレンズの移動スピードを単に早くしても、ＣＣＤの読出し周期（転送周期）が変わらないと（フレームレートが変わらないと）、ＡＦ評価値を検出するレンズ位置（フォーカスポイント）が少なくなり、フォーカスの精度が荒くなってしまうため、読出し周期を早くし、その読出し周期に対応してフォーカスレンズの移動スピードを早くすればフォーカスの精度を落とさずに、ＡＦ処理時間を短縮することができるので、ＡＦ処理の精度を高めることができる。

例えば、通常のコントラスト検出方式によるＡＦ処理でＡＦ評価値を検出するフォーカスポイントが８つあるとした場合には、単にフォーカスレンズの移動スピードを２倍するとＡＦ評価値を検出するフォーカスポイントは４つに減ってしまうが、読出し周期を２倍早くするとともにフォーカスレンズの移動スピードを２倍すれば、ＡＦ処理時間が約１／２倍に短くなるとともに、ＡＦ評価値を検出するフォーカスポイントは８つのままとなる。
なお、ここでの高速駆動とは、スルー画像表示に適した駆動よりも高速な駆動という意味であり、高速駆動によるフレームレートは、スルー画像表示に適した駆動によるフレームレート、又は、上記したスルー画像表示時に表示されるスルー画像のフレームレート（スルー画像表示に適した駆動によるフレームレートの２倍のフレームレート）より高い。
以下、高速駆動の方法について幾つか述べる。

Ｂ−２ａ−１．１部読出し駆動
１部読出し駆動とは、ＣＣＤの１部のエリアのライン（該１部のエリアはフォーカスエリアを含む）の画素データを読み出すようにＣＣＤを駆動させる方法である。
ここでは、読み出す１部のエリアは、ＣＣＤの全ラインの１／２のラインであって、且つ、ＣＣＤの中央部分のラインであるとする。
なお、この１部読みし駆動を行なう場合においても、スルー画像表示に適した駆動を行なう場合と同様に、ＣＣＤの１部エリア内において、間引いて読み出したり、画素加算して読み出したりするようにしてもよい。

この１部読出し駆動によれば、１部のエリアの画素データを読み出すので、スルー画像表示に適した駆動よりフレームレートを上げることが可能となる。つまり、ＣＣＤの全ラインの１／Ｎ（Ｎ：任意）のラインを１部読出し駆動により画像データを読み出せば（転送すれば）、スルー画像表示に適した駆動より約Ｎ倍フレームレートを上げることが可能となる（スルー画像表示に適した駆動で、間引き読出しや画素加算駆動により読み出している場合には、同程度の間引き読出しや画素加算駆動をさせて１部読出し駆動をさせている場合）。
例えば、ＣＣＤの全ラインの１／２のラインを１部読出し駆動により画像データを読み出すと、スルー画像表示に適した駆動より約２倍フレームレートを上げることができる。

Ｂ−２ａ−２．画素加算駆動
画素加算駆動とは、ＣＣＤの画素に蓄積された電荷を加算して読み出す方法であり、既に周知技術なので説明を割愛する。
スルー画像表示に適した駆動においても、画素加算駆動をして画素に蓄積された電荷を読み出すようにしてもよいと説明したが、ここでの画素加算駆動は、スルー画像表示には適さない程度に画素に蓄積された電荷を加算させて読み出すことをいう。つまり、画素加算駆動により加算させる画素の数を増やしていくと、フレームレートは上がるが、その分解像度が下がりスルー画像表示に適さなくなってしまうからである。
例えば、スルー画像用表示に適した駆動では、２つの画素に蓄積された電荷を加算することにより画像データを読出し、ＡＦ制御に適した駆動（画素加算駆動）においては８画素に蓄積された電荷を加算して画像データを読み出している場合では、ＡＦ制御に適した駆動は、スルー画像表示に適した駆動よりもフレームレートが４倍に上がるということである。

Ｂ−２ａ−３．その他
１部読出し駆動、画素加算駆動に限らず、間引き読出しによりフレームレートをスルー画像表示に適した駆動より上げるようにしてもよいし、その他の方法であってもよい。また、１部読出し駆動や、画素加算駆動などを組み合わせることにより、フレームレートを上げる方法であってもよい。つまり、フレームレートをスルー画像用表示に適した駆動によるフレームレート、又は、上記したスルー画像表示時に表示されるスルー画像のフレームレートよりフレームレートを上げる駆動方法であれば何でも良いということになる。

Ｂ−２ｂ．次に、露出制御によりＡＦ処理の精度を上げる方法について説明する。
ＡＦ評価値を検出するときにおいても、スルー画像表示に適した露出制御によりＣＣＤを駆動させると、検出されるＡＦ評価値の検出精度が落ちてしまうため、ＡＦ処理時においては、ＡＦ評価値の検出に適した露出制御によりＣＣＤを駆動させることによりＡＦ処理の精度を上げるというものである。
このＡＦ評価値の検出に適した露出制御によりＣＣＤを駆動させても、フレームレートが上がるわけではないので（読出し周期が早くならないので）、ＡＦ処理時間の短縮は図れないが、検出されるＡＦ評価値の精度が上がるという利点がある。

そして、画像生成部１５は、スルー画像表示に適した制御により駆動されている他方のＣＣＤから順次出力される画像データのみに対してスルー画像データを生成する。なお、ＡＦ処理に適した制御により駆動されている一方のＣＣＤから出力される画像データは、ＡＦ評価値算出部１６に送られ、ＡＦ評価値算出部１６が、該送られてきた画像データに基づいて順次ＡＦ評価値を検出する。

図３は、ＡＦ処理時におけるＣＣＤ９及びＣＣＤ１０の駆動、画像生成部１５の動作を示すタイムチャートであり、ＣＣＤ９がＡＦ処理に適した制御により駆動されており、ＣＣＤ１０がスルー画像表示に適した制御により駆動されているときのタイムチャートである。
ここでは、ＣＣＤ９は、ＡＦ処理に適した制御による駆動として、画素加算駆動（４画素加算駆動）及び１部読出し駆動（全ラインの１／２のラインの読出し駆動）と、ＡＦ処理に適した露出制御による駆動とを合わせた駆動により駆動されている。

また、ＣＣＤ１０は、スルー画像表示に適した制御による駆動、つまり、画素加算駆動（２画素加算駆動）とスルー画像表示に適した露出制御による駆動とを合わせた駆動により駆動されている。
ここでは、ＣＣＤ９は４画素加算駆動と１部読出し駆動により駆動され、ＣＣＤ１０は２画素加算駆動により駆動されているので、図３を見ると、ＣＣＤ９から出力される画像データのフレームレート、転送周期、露光周期が、ＣＣＤ１０から出力されるフレームレート、転送周期、露光周期の４倍となっていることがわかる。また、ＣＣＤ９はＡＦ処理に適した露出制御が、ＣＣＤ１０はスルー画像表示に適した露出制御が行なわれているので、ＣＣＤ９とＣＣＤ１０とでは露光時間が異なることもわかる。

そして、画像生成部１５は、ユニット回路１４を介してＣＣＤ１０から順次送られてきた画像データのみに基づいてスルー画像データを生成する。この画像処理が施されたスルー画像データはバッファメモリに記憶され、スルー画像として表示される。
また、ユニット回路１３を介してＣＣＤ９から順次送られてきた画像データは、ＡＦ評価値算出部１６に送られ、ＡＦ評価値算出部１６は、該送られてきた画像データに基づいてＡＦ評価値を順次検出していく。

このように、ＡＦ処理時には、一方のＣＣＤをＡＦ処理に適した制御により駆動させ、他方のＣＣＤをスルー画像表示に適した制御により駆動させることにより、精度良くＡＦ処理を行うことが可能となるとともに、ＡＦ処理中であっても被写体のスルー画像表示を行うことができる。
なお、図２と図３とを比べるとわかるように、上述したスルー画像表示（図２のスルー画像表示）においては、ＣＣＤ９、ＣＣＤ１０から交互に出力される画像データを表示させるので、スルー画像表示される画像データのフレームレートは、ＣＣＤ９又はＣＣＤ１０から出力される画像データのフレームレートの２倍となるが、ＡＦ処理時におけるスルー画像表示（図３のスルー画像表示）においては、ＣＣＤ１０から出力される画像データのみを表示させるので、スルー画像表示されるフレームレートは、上述したスルー画像表示（図２）で表示される画像データのフレームレートの１／２倍のフレームレートとなる。

Ｂ−３．静止画撮影処理時
静止画撮影処理時のおいては、ＣＰＵ２１は、被写体の静止画撮影を行なうとともに、被写体のスルー画像を表示させるべく、一方のＣＣＤをスルー画像表示に適した制御により駆動させ、他方のＣＣＤを静止画撮影に適した制御により駆動させる。
静止画撮影に適した制御による駆動とは、静止画撮影に適した露出制御を行なうとともに、ＣＣＤの全画素に蓄積された電荷を１ラインずつ読み出して全画素に蓄積された電荷を読み出すという駆動を行なう。なお、静止画撮影に適した露出制御による駆動を行なわずに、絞り兼用シャッタ７を用いて露出制御を行なうようにしてもよい。

そして、画像生成部１５は、スルー画像表示に適した制御により駆動されている一方のＣＣＤから順次出力される画像データのみに基づいてスルー画像データを生成するとともに、静止画撮影に適した制御により駆動されている他方のＣＣＤから出力される画像データを複数回に分割し、スルー画像データの生成の合間に該複数回に分割された画像データに静止画撮影用の画像処理を施すことにより静止画像データを生成する。つまり、スルー画像表示に適した制御により駆動されているＣＣＤの転送周期で転送される画像データの間に静止画像データを生成する。

図４は、静止画撮影処理時におけるＣＣＤ９及びＣＣＤ１０の駆動、画像生成部１５の動作を示すタイムチャートであり、ＣＣＤ９が静止画撮影に適した制御により駆動されており、ＣＣＤ１０がスルー画像表示に適した制御により駆動されているときのタイムチャートである。
図４を見ると、画像生成部１５は、ＣＣＤ１０の転送周期で順次転送される画像データからスルー画像データを生成するとともに、ＣＣＤ９から転送された画像データを、ＣＣＤ１０から転送される画像データからスルー画像データを生成する合間に分割して処理することにより静止画像データを生成していっているのがわかる。

つまり、画像生成部１５は、図２に示すように、ＣＣＤ９又はＣＣＤ１０から読み出される画像データのフレームレートの２倍のフレームレートで画像処理を施す能力を有しおり、スルー画像表示に適した制御による駆動によりＣＣＤ９から転送される画像データからスルー画像データを生成する替わりに、図４に示すように、ＣＣＤ９から転送される画像データを、スルー画像データのフレームレート時間程度に分割させて、ＣＣＤ１０から転送された画像データからのスルー画像データの生成の間に静止画像データを生成していくことにより、１枚の静止画像データを生成する。これにより、静止画撮影処理中であっても被写体のスルー画像を表示させることが可能となる。
また、ＣＣＤ９は静止画撮影に適した露出制御が、ＣＣＤ１０はスルー画像表示に適した露出制御が行なわれているので、ＣＣＤ９とＣＣＤ１０とでは露光時間が異なることもわかる。

Ｃ．デジタルカメラ１の動作
第１の実施の形態におけるデジタルカメラ１の動作を図５のフローチャートにしたがって説明する。
ユーザのキー入力部２３のモード切替キーの操作により撮影モードに設定されると、ＣＰＵ２１は、ＴＧ１２を介して垂直ドライバ１１を制御することにより、ＣＣＤ９と、ＣＣＤ１０とを交互にスルー画像表示に適した制御により駆動させることにより両ＣＣＤの駆動を開始させる（ステップＳ１）。このときは、ＣＣＤ９とＣＣＤ１０との露光周期、転送周期が半周期ずれることになる。ここでは、スルー画像表示に適した制御による駆動により、ＣＣＤ９及びＣＣＤ１０は２画素加算駆動されている。

次いで、ＣＰＵ２１は、ＣＣＤ９、ＣＣＤ１０から転送される画像データを交互に表示部２０に表示させる（ステップＳ２）。
具体的には、図２に示すように、ＣＣＤ９とＣＣＤ１０から交互に転送された画像データは順次画像生成部１５に入力され、画像生成部１５は、入力された画像データ順にスルー画像用の画像処理を施すことによりスルー画像データを生成し、ＣＰＵ２１は、該生成されたスルー画像データを順々に表示部２０に表示させる。これにより、ＣＣＤ９又はＣＣＤ１０から出力される画像データのフレームレートより２倍のフレームレートで被写体のスルー画像表示を行うことができる。
次いで、ＣＰＵ２１は、ユーザによってシャッタボタンが半押しされたか否かを判断する（ステップＳ３）。この判断は、シャッタボタン半押しに対応する操作信号がキー入力部２３から送られてきたか否かにより判断する。

ステップＳ３でシャッタボタンが半押しされていないと判断するとステップＳ２に戻り、ステップＳ３でシャッタボタンが半押しされたと判断すると、ＣＰＵ２１は、ＴＧ１２に制御信号を送ることにより、どちらか一方のＣＣＤをスルー画像表示に適した制御による駆動からＡＦ処理に適した制御による駆動に切り替え、該切り替えられたＣＣＤを用いてコントラスト検出方式によるＡＦ処理の実行を開始する（ステップＳ４）。そして、フォーカスレンズを移動させることにより全サーチ範囲の各レンズ位置のＡＦ評価値を該ＡＦ処理に適した制御による駆動に切り替えられたＣＣＤを用いて検出し、ＡＦ評価値がピークとなるレンズ位置にフォーカスレンズを移動させることによりＡＦ処理が完了する。
なお、ＡＦ評価値のピーク値を検出した時点で、ＡＦ評価値のサーチを終了させ、ＡＦ評価値がピークとなるレンズ位置にフォーカスレンズを移動させてＡＦ処理を完了させるようにしてもよい。

このときのコントラスト検出方式によるＡＦ処理においては、ＡＦ処理に適した制御により駆動されているＣＣＤのフレームレート（転送周期）に応じてフォーカスレンズの移動スピードを速くする。例えば、ＡＦ処理に適した制御による駆動によりＣＣＤが高速駆動され、ＣＣＤのフレームレートが４倍に上がった場合は、フォーカスレンズの移動スピードを４倍に速くしてコントラスト検出方式によるＡＦ処理を実行する。なお、ＡＦ処理に適した制御による駆動がＡＦ処理に適した露出制御のみの場合には、フレームレートは上がらないのでフォーカスレンズの移動スピードも速くならない。

図５のフローチャートに戻り、ステップＳ４でＡＦ処理を開始させると、ＣＰＵ２１は、他方のＣＣＤから出力され、画像生成部１５によってスルー画像用の画像処理が施された画像データをスルー画像として表示部２０に表示させる（ステップＳ５）。このときは、片方のＣＣＤから出力された画像データを表示部２０に表示させるので、表示されるスルー画像データのフレームレートはステップＳ２によって表示されるスルー画像データのフレームレートの１／２倍となるが、ＡＦ処理中であっても被写体のスルー画像を表示させることが可能となる。
次いで、ＣＰＵ２１は、ＡＦ処理が完了したか否かを判断し（ステップＳ６）、完了していないと判断するとステップＳ５に戻る。

ここでは図３に示すように、ＡＦ処理時には、ＣＣＤ９を４画素加算駆動、１部読出し駆動（全ラインのうち１／２ラインの読出し駆動）、ＡＦ処理に適した露出制御による駆動によりＡＦ処理に適した制御により駆動させ、ＣＣＤ１０をスルー画像表示に適した制御により駆動させているので、ＣＣＤ１０から出力される画像データのフレームレートよりＣＣＤ９から出力される画像データのフレームレートの方が４倍高いのがわかり、これによりＡＦ処理時間を通常のコントラスト検出方式によるＡＦ処理より１／４倍短縮することができる。そして、画像生成部１５は、ＣＣＤ１０から出力される画像データに対してのみスルー画像用に適した画像処理を施す。このスルー画像用の画像処理が施された画像データが表示部２０に表示されることとなる。

一方、ステップＳ６で、ＡＦ処理が完了したと判断すると、ＣＰＵ２１は、ＴＧ１２を介して垂直ドライバ１１を制御することにより、ＡＦ処理に適した制御により駆動させているＣＣＤ（ここではＣＣＤ９）の駆動をスルー画像表示に適した制御による駆動に切り替えるとともに、ＣＣＤ９の駆動とＣＣＤ１０の駆動を半周期ずらして駆動させる（ステップＳ７）。

そして、ＣＰＵ２１は、ＣＣＤ９、ＣＣＤ１０から転送される画像データを交互に表示部２０に表示させる（ステップＳ８）。このときの動作はステップＳ２と同様なので、図２に示す様に、ＣＣＤ９とＣＣＤ１０から交互に転送された画像データは順次画像生成部１５に入力され、画像生成部１５は、入力された画像データ順にスルー画像用の画像処理を施すことによりスルー画像データを生成し、ＣＰＵ２１は、該生成されたスルー画像データを順々に表示部２０に表示させる。
次いで、ＣＰＵ２１は、シャッタボタンが全押しされたか否かを判断し（ステップＳ９）、全押しされていないと判断するとステップＳ８に戻る。この全押しされたか否かの判断は、シャッタボタン全押しに対応する操作信号がキー入力部２３から送られてきたか否かにより判断する。

ステップＳ９で、シャッタボタンが全押しされたと判断すると、ＣＰＵ２１は、ＴＧ１２に制御信号を送ることにより、どちらか一方のＣＣＤをスルー画像表示に適した制御による駆動から静止画撮影処理に適した制御による駆動に切り替えることにより静止画撮影処理を開始させる（ステップＳ１０）。
つまり、静止画撮影に適した露出制御を行なうとともに、ＣＣＤの全画素に蓄積された電荷を１ラインずつ読み出して全画素に蓄積された電荷（画像データ）を読み出すという駆動を行ない、そして、該読み出された画像データから静止画像データを生成することにより静止画撮影処理が完了する。

静止画撮影処理を開始すると、ＣＰＵ２１は、他方のＣＣＤから出力され、画像生成部１５によってスルー画像用の画像処理が施された画像データをスルー画像として表示部２０に表示させる（ステップＳ１１）。このときは、片方のＣＣＤから出力された画像データを表示部２０に表示させるので、表示されるスルー画像データのフレームレートはステップＳ２、Ｓ８によって表示されるスルー画像データのフレームレートの１／２倍となるが、静止画撮影処理中であっても被写体のスルー画像を表示させることが可能となる。
次いで、ＣＰＵ２１は、静止画撮影処理が完了したか否か、つまり、画像生成部１５により静止画像データの生成が完了したか否かを判断し（ステップＳ１２）、完了していないと判断するとステップＳ１１に戻る。

ここでは、図４に示すように、静止画撮影処理時において、画像生成部１５は、ＣＣＤ１０の転送周期で順次転送される画像データからスルー画像データを生成するとともに、ＣＣＤ９から転送された画像データを、ＣＣＤ１０から転送される画像データからスルー画像データを生成する合間に分割して処理することにより静止画像データを生成していく。
つまり、ＣＣＤ９から転送される画像データを、スルー画像データのフレームレート時間程度に分割させて、ＣＣＤ１０から転送された画像データからのスルー画像データの生成の間に静止画像データを生成していくことにより、一枚の静止画像データを生成する。

ステップＳ１２で、静止画撮影処理が完了すると判断すると、つまり、静止画像データを生成したと判断すると、ＣＰＵ２１は、該生成された１枚の静止画像データを圧縮回路２４により圧縮させ、該圧縮された静止画像データをフラッシュメモリ２５に記録させるという圧縮記録処理を開始して、ステップＳ１に戻る。

Ｄ．以上のように、第１の実施の形態においては、スルー画像表示時においては、ＣＣＤ９とＣＣＤ１０の駆動周期を半周期ずらすことによりＣＣＤ９、ＣＣＤ１０により撮像された画像データをスルー画像表示として表示させるので、ＣＣＤ９、ＣＣＤ１０の駆動周波数を上げずに、スルー画像のフレームレートを上げることができる。
また、ＡＦ処理時においては、一方のＣＣＤをＡＦ処理に適した制御により駆動させ、他方のＣＣＤをスルー画像表示に適した制御により駆動させるので、ＡＦ処理中であっても被写体のスルー画像表示を行うことができる。また、一方のＣＣＤをＡＦ処理に適した露出制御により駆動させるので、ＡＦ処理の精度を高めることができる。
また、静止画撮影処理においては、一方のＣＣＤを静止画撮影に適した制御により駆動させ、他方のＣＣＤをスルー画像表示に適した制御により駆動させるので、静止画撮影処理中で合っても被写体のスルー画像を表示させることができる。また、スルー画像生成の合間に静止画像データを生成していくので、静止画撮影中であっても、被写体のスルー画像を表示させることができる。

なお、第１の実施の形態においては、スルー画像データを表示部２０に表示させるようにしたが、該スルー画像データを表示部２０に表示させるとともにフラッシュメモリ２５に記録するようにしてもよい。
また、スルー画像用の画像処理を施すことによりスルー画像データを生成し、該生成したスルー画像データを表示部２０に表示させるようにしたが、画像生成部１５は、スルー画像用の画像処理を施す替わりに動画撮影用の画像処理を施すことにより動画データを生成し、ＣＰＵ２１は、該生成した動画データをフラッシュメモリ２５に記録させるとともに、表示部２０に被写体のスルー画像を表示させるようにしてもよい。このときは、スルー画像表示に適した制御による駆動に替えて、動画撮影に適した制御による駆動によりＣＣＤを駆動させるようにしてもよい。
具体的に説明すると、ステップＳ２及びステップＳ８のスルー画像表示においては、ＣＰＵ２１は、ＣＣＤ９、ＣＣＤ１０から交互に転送される画像データを、表示部２０に表示させるとともにフラッシュメモリ２５に記録させる。また、ステップＳ５、ステップＳ１１のスルー画像表示においては、ＣＰＵ２１は、他方のＣＣＤから出力された画像データのみを、表示部２０に表示させるとともにフラッシュメモリ２５に記録させる。

［第２の実施の形態］
次に第２の実施の形態について説明する。
第１の実施の形態においては、シャッタボタンが全押しされると、一方のＣＣＤで静止画撮影処理を行い、他方のＣＣＤで撮像された画像データをスルー画像として表示させるようにしたが、第２の実施の形態においては、シャッタボタンが全押しされると、両方のＣＣＤを用いて被写体の静止画撮影を行なうというものである。

Ｄ.デジタルカメラ１の動作
第２の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の撮像装置を実現する。
以下、第２の実施の形態のデジタルカメラ１の動作を図６のフローチャートにしたがって説明する。なお、第１の実施の形態と同様の動作については説明を省略する。

図５のステップＳ９でシャッタボタンが全押しされたと判断すると、図６のステップＳ５１に進み、ＣＰＵ２１は、露光開始タイミングが異なるようにＣＣＤ９及びＣＣＤ１０を駆動させることにより、ＣＣＤ９及びＣＣＤ１０に被写体の光を露光させ、ＣＣＤの全画素に蓄積された電荷を１ラインずつ読み出して全画素に蓄積された電荷（画像データ）を読み出すという駆動を行なうことにより、ＣＣＤ９及びＣＣＤ１０により得られた画像データを取得する（ステップＳ５１）。

図７は、第２の実施の形態におけるＣＣＤ９、ＣＣＤ１０、ＣＰＵ２１、画像生成部１５の動作を示すタイムチャートである。
この図７を見ると、全体の静止画露光時間をＣＣＤ９とＣＣＤ１０で分担させているのがわかる。まず、ＣＣＤ９により露光を開始させ（露光１）、ＣＣＤ９の露光が終了すると同時にＣＣＤ１０の露光を開始させる（露光２）とともに、ＣＣＤ９の画像データを転送させ、ＣＣＤ１０の露光が終了するとＣＣＤ１０の画像データを転送させているのがわかる。
ここでＣＣＤに被写体の露光を行なわせると暗電流と呼ばれるノイズが発生してしまう。この暗電流ノイズは、露光時間が長くなるにつれて急激に増加するという性質を有しているため、このように露光時間を２つのＣＣＤに分担させることで、各ＣＣＤの露光時間を短くして、暗電流ノイズの増加を抑えることが可能となる。

なお、この露光１と露光２の露光時間は同じであってもよいし、異なるようにしてもよい。
また、露光１の終了と同時に露光２を開始するようにした、露光１が終了する前に、露光２を開始させるようにしてもよい。つまり、ＣＣＤ９の露光とＣＣＤ１０との露光が重なるようにしてもよい。
また、全体の静止画露光時間を複数回に分けてＣＣＤ９とＣＣＤ１０とに露光行なわせるようにしてもよい。例えば、全体の静止画露光時間を４回に分ける場合は、まず、どちらか一方のＣＣＤに露光を行なわせ、その次に他方のＣＣＤに露光を行なわせる。そしてまた、一方のＣＣＤに露光を行なわせ、更に他方のＣＣＤに露光を行なわせるようにする。これにより、一回の露光時間が更に短くなるので、更に暗電流ノイズの発生を抑えることができる。この場合には、４枚の画像データが得られることとなる。

次いで、ＣＰＵ２１は、該取得した２枚の画像データを合成することにより合成画像データを生成する。（ステップＳ５２）。
このとき、単に２枚の画像データを合成した画像データを合成画像データとしてしまうと、合成後の画像データの中には、飽和してしまう部分（白飛び部分）が出てしまう可能性があるので、ステップＳ５２の合成は、２枚の画像データを加算し、その後、飽和する部分が出ないように該加算した画像データを変換することにより飽和している部分のない１枚の合成画像データを生成する。
このとき、１回の露光で得られる各画素データの値は１２ｂｉｔ（０〜４０９５）とすると、加算された各画素データの値は１３ｂｉｔ（０〜８１９１）となる。

以下、簡単に、合成画像データの生成の１例を説明する。
図８は、変換特性を示す図であり、加算された各画素データ（１３ｂｉｔ）は、図８に示すような変換特性にしたがって、飽和していない画素データ（１２ｂｉｔ）に変換される。
図８を見るとわかるように、画素データの値が小さい範囲では略線形性を保ち、画素データの値が大きい、つまり、飽和に近い値の場合には、クリップされずに階調変化が保たれているのがわかる。

なお、露光回数が３つ以上の場合には、加算された画素データの値の取りうる範囲に応じて変換特性の変曲点の位置を調整するようにしてもよいし、加算された画素データのヒストグラムを解析し、その結果から変換特性を決定するようにしてもよい。
このように、１つのＣＣＤで長時間露光を行なうと、飽和してしまう画素が出てしまうが、ＣＣＤ９とＣＣＤ１０とに分担させて静止画露光時間分の露光を行なわせると、露光時間が短くなり、飽和していない画像データがＣＣＤ９とＣＣＤ１０とから得られ、合成する段階で飽和している画素データがわかるので、飽和しない１枚の合成画像データを生成することができる。

図６のフローチャートに戻り、１枚の合成画像データを生成すると、ＣＰＵ２１は、該生成した１枚の合成画像データから静止画用の画像処理を施すことにより静止画像データを生成させて（ステップＳ５３）、図２のステップＳ１３に進む。

Ｄ．以上のように、第２の実施の形態においては、静止画撮影時には、全体の静止画露光時間をＣＣＤ９とＣＣＤ１０とに分担させて露光を行なわせるので、各ＣＣＤの露光時間は静止画露光時間より短くなり、暗電流ノイズの発生を抑えることができる。
また、静止画露光時間を複数回に分けて行い、各露光により得られた複数の画像データを合成するので、合成段階で飽和しそうな画素を認識することができ、それにより、飽和しないように複数の画像データを合成することができる。

［変形例］
なお、上記各実施の形態は以下のような変形例も可能である。
（１）第２の実施の形態においては露光開始タイミングをずらして、ＣＣＤ９及びＣＣＤ１０に露光を行なわせ、該露光により得られた複数の画像データを合成して静止画像データを生成するようにしたが、図９に示すように、露光開始タイミングをずらして、ＣＣＤ９及びＣＣＤ１０に露光を行なわせ、ＣＣＤ９から転送された画像データと、ＣＣＤ１０から転送された画像データとを合成せずに、ＣＣＤ９から転送された該画像データ、及び、ＣＣＤ１０から転送された画像データのそれぞれに対して静止画用の画像処理を画像生成部１５に施させることにより２枚の静止画像データを生成させるようにしてもよい。これにより高速に被写体の連写撮影が可能となる。この生成された２枚の静止画像データはそれぞれ圧縮されてフラッシュメモリ２５に記録されることとなる。

また、図１０に示すように、露光開始タイミングを同時にしてＣＣＤ９とＣＣＤ１０に露光を行なわせ、ＣＣＤ９とＣＣＤ１０との露光時間を異ならせるようにしてもよい。この場合では、ＣＣＤ９の露光時間を短くし、ＣＣＤ１０の露光時間を長くする。そして、ＣＰＵ２１は、該ＣＣＤ９から転送された画像データとＣＣＤ１０から転送された画像データを合成し、画像生成部１５に該合成した１枚の画像データから静止画用の画像処理を施させることにより１枚の静止画像データを生成させるようにする。これにより、ダイナミックレンジの広い静止画像データを生成することが可能となる。この生成された静止画像データは圧縮されてフラッシュメモリ２５に記録されることとなる。

また、図１１に示すように、露光開始タイミング及び露光終了タイミングを同時にさせてＣＣＤ９とＣＣＤ１０に露光を行なわせるようにしてもよい。この場合には、ＮＤフィルタ５及びＮＤフィルタ６のうち、どちらか一方のＮＤフィルタは入射された光量を殆ど通過させるように設定し、他方のＮＤフィルタは入射された光量の半分の光量を通過させるように設定する。そして、ＣＰＵ２１は、該ＣＣＤ９から転送された画像データとＣＣＤ１０から転送された画像データを合成し、画像生成部１５に該合成した１枚の画像データから静止画用の画像処理を施させることにより１枚の静止画像データを生成させるようにする。これにより、ダイナミックレンジの広い静止画像データを生成することが可能となる。この生成された静止画像データは圧縮されてフラッシュメモリ２５に記録されることとなる。

（２）また、上記各実施の形態においては、撮影レンズ２のフォーカスレンズを移動させることにより、ＣＣＤ９に入射される光の光路長とＣＣＤ１０に入射される光の光路長とを一緒に変更させるようにしたが、ＣＣＤ９に入射される光の光路長を変えるフォーカスレンズと、ＣＣＤ１０に入射される光の光路長を変えるフォーカスレンズとを別々に設けるようにしてもよい。
また、フォーカスレンズを設けずに、ＣＣＤ９とＣＣＤ１０とを光軸方向に別々動かすことによりＣＣＤ９に入射される光の光路長と、ＣＣＤ１０に入射される光の光路長とを個々に変えるようにしてもよい。

（３）また、上記各実施の形態においては、ＣＣＤを２つ備えるようにしたが、３つ以上であっても良い。これにより、スルー画像表示時のスルー画像データのフレームレート、及び、ＡＦ処理時のフレームレートを上げることができる。

また、上記実施の形態におけるデジタルカメラ１は、上記の実施の形態に限定されるものではなく、カメラ付き携帯電話、カメラ付きＰＤＡ、カメラ付きパソコン、カメラ付きＩＣレコーダ、又はデジタルビデオカメラ等でもよく、要は被写体を撮影することができる機器であれば何でもよい。

本発明の実施の形態のデジタルカメラのブロック図である。 スルー画像表示時のおけるＣＣＤ９及びＣＣＤ１０の駆動、画像生成部１５の動作を示すタイムチャートである。 ＡＦ処理時におけるＣＣＤ９及びＣＣＤ１０の駆動、画像生成部１５の動作を示すタイムチャートである。 静止画撮影処理時におけるＣＣＤ９及びＣＣＤ１０の駆動、画像生成部１５の動作を示すタイムチャートである。 第１の実施の形態のデジタルカメラの動作を示すフローチャートである。 第２の実施の形態のデジタルカメラの動作を示すフローチャートである。 第２の実施の形態におけるＣＣＤ９、ＣＣＤ１０、ＣＰＵ２１、画像生成部１５の動作を示すタイムチャートである。 図８は、変換特性を示す図である。 変形例におけるＣＣＤ９、ＣＣＤ１０、画像生成部１５の動作を示すタイムチャートである。 変形例におけるＣＣＤ９、ＣＣＤ１０、ＣＰＵ２１、画像生成部１５の動作を示すタイムチャートである。 変形例におけるＣＣＤ９、ＣＣＤ１０、ＣＰＵ２１、画像生成部１５の動作を示すタイムチャートである。

符号の説明

１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動回路
４ 光路分離手段
５ ＮＤフィルタ
６ ＮＤフィルタ
７ 絞り兼用シャッタ
８ 絞り兼用シャッタ
９ ＣＣＤ
１０ ＣＣＤ
１１ 垂直ドライバ
１２ ＴＧ
１３ ユニット回路
１４ ユニット回路
１５ 画像生成部
１６ ＡＦ評価値算出部
１７ ＤＭＡコントローラ
１８ ＤＲＡＭ
１９ ビデオエンコーダ
２０ 表示部
２１ ＣＰＵ
２２ メモリ
２３ キー入力部
２４ 圧縮回路
２５ フラッシュメモリ
２６ バス

Claims (18)

1. 被写体の光を画像データに変換する第１の撮像素子と、
   被写体の光を画像データに変換する第２の撮像素子と、
   前記第１の撮像素子により変換された画像データと、前記第２の撮像素子により変換された画像データとが交互に出力されるように制御して、前記第１の撮像素子及び前記第２の撮像素子を駆動させることにより被写体の動画の撮像を行なう動画撮像制御手段と、
   前記第１の撮像素子及び前記第２の撮像素子のうち、どちらか一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、他方の撮像素子を用いて被写体に対してオートフォーカスを行なうように制御するフォーカス制御手段と、
   を備えたことを特徴とする撮像装置。
2. 前記フォーカス制御手段は、
   オートフォーカスに用いられる前記他方の撮像素子を、ＡＦ処理に適した制御により駆動させることを特徴とする請求項１記載の撮像装置。
3. 前記ＡＦ処理に適した制御による駆動は、
   ＡＦ評価値の検出に適した露出制御による駆動、高速駆動のうち、少なくとも１つ以上の駆動を含むことを特徴とする請求項２記載の撮像装置。
4. 前記高速駆動は、
   画素加算駆動、１部読出し駆動のうち、少なくとも１つ以上の駆動を行なうことを特徴とする請求項３記載の撮像装置。
5. 前記高速駆動による駆動により前記他方の撮像素子から出力される画像データのフレームレートは、
   前記動画撮像制御手段により得られる画像データのフレームレート以上、又は、前記フォーカス制御手段による制御により動画の撮像に用いられる前記一方の撮像素子から出力される画像データのフレームレート以上であることを特徴とする請求項３又は４記載の撮像装置。
6. 前記フォーカス制御手段によりオートフォーカスに用いられる前記他方の撮像素子に入射される被写体の光の光路長を変えていくことにより、各光路長における前記他方の撮像素子から出力される画像データに基づいてＡＦ評価値を検出し、該検出したＡＦ評価値の中でＡＦ評価値がピークとなる光路長となるように、前記第１又は／及び第２の撮像素子に入射される光の光路長を制御することにより、被写体に対してオートフォーカスを行なうコントラストＡＦ手段を備え、
   前記フォーカス制御手段は、
   前記一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、前記他方の撮像素子をＡＦ処理に適した制御により駆動させた状態で、前記コントラストＡＦ手段にオートフォーカス動作を行なわせることを特徴とする請求項２乃至５の何れかに記載の撮像装置。
7. 前記第１の撮像素子及び前記第２の撮像素子のうち、どちらか一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、他方の撮像素子を用いて被写体の静止画撮影を制御する静止画撮影制御手段と、
   前記静止画撮影制御手段により前記他方の撮像素子から出力された画像データを記録手段に記録する第１の記録制御手段と、
   を備えたことを特徴とする請求項１乃至７の何れかに記載の撮像装置。
8. 前記静止画撮影制御手段の制御により動画の撮像に用いられている前記一方の撮像素子から出力される画像データから画スルー像データ又は動画データを順次生成するとともに、その生成の合間に静止画撮影に用いられている前記他方の撮像素子から出力される画像データを分割して処理することにより静止画像データを生成する画像生成手段を備え、
   前記第１の記録制御手段は、
   前記画像生成手段により生成された静止画像データを前記記録手段に記録することを特徴とする請求項８記載の撮像装置。
9. 前記動画撮像制御手段、前記フォーカス制御手段、前記静止画撮影制御手段は、
   動画の撮像に用いられる撮像素子をスルー画像表示に適した制御により駆動させることを特徴とする請求項１乃至９の何れかに記載の撮像装置。
10. 前記動画撮像制御手段による動画の撮像により得られる画像データ、又は／及び、前記フォーカス制御手段による動画の撮像に用いられている前記一方の撮像素子から出力される画像データ、又は／及び、前記静止画撮影制御手段により動画の撮像に用いられている前記一方の撮像素子から出力される画像データを表示手段に表示させる表示制御手段を備えたことを特徴とする請求項１乃至１０の何れかに記載の撮像装置。
11. 前記動画撮像制御手段による動画の撮像により得られる画像データ、又は／及び、前記フォーカス制御手段による動画の撮像に用いられる前記一方の撮像素子から出力される画像データ、又は／及び、前記静止画撮影制御手段により動画の撮像に用いられる前記一方の撮像素子から出力される画像データを前記記録手段に記録する第２の記録制御手段を備えたことを特徴とする請求項１乃至１４の何れかに記載の撮像装置。
12. 被写体の光を画像データに変換する複数の撮像素子と、
    静止画撮影に必要な静止画用露光時間を前記複数の撮像素子に分担させて、前記複数の撮像素子に露光を行なわせ、該複数の撮像素子に変換されたそれぞれ画像データを取得する取得手段と、
    前記取得手段により取得された複数の画像データから１枚の合成画像データを生成する生成手段と、
    を備えたことを特徴とする撮像装置。
13. 前記生成手段は、
    飽和している部分が出ないように前記取得手段により取得された画像データから１枚の合成画像データを生成することを特徴とする請求項１６記載の撮像装置。
14. 半押し全押し可能なシャッタボタンと、
    前記シャッタボタンが半押しされるまでは、前記動画撮像制御手段により前記第１の撮像素子及び前記第２の撮像素子を駆動させることにより被写体の動画の撮像を行なわせ、前記シャッタボタンが半押しされると、前記フォーカス制御手段により前記一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、前記他方の撮像素子を用いて被写体に対してオートフォーカスを行なうように制御させ、前記シャッタボタンが全押しされると、前記一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、前記他方の撮像素子を用いて被写体の静止画撮影を制御させるように制御する制御手段と、
    を備えたことを特徴とする請求項１乃至１３の何れかに記載の撮像装置。
15. 被写体の光を画像データに変換する第１の撮像素子と、
    被写体の光を画像データに変換する第２の撮像素子と、
    前記第１の撮像素子を用いて被写体の動画の撮像を行なうとともに、前記第２の撮像素子を用いて被写体の静止画撮影を行なう静止画撮影制御手段と、
    前記静止画撮影制御手段により前記第１の撮像素子から出力される画像データからスルー画像データ又は動画データを順次生成するとともに、その生成の合間に前記第２の撮像素子から出力される画像データを分割して処理することにより静止画像データを生成する画像生成手段と、
    を備えたことを特徴とする撮像装置。
16. 被写体の光を画像データに変換する第１の撮像素子と、
    被写体の光を画像データに変換する第２の撮像素子と、
    を備えた撮像装置を実行させるためのプログラムであって、
    前記第１の撮像素子により変換された画像データと、前記第２の撮像素子により変換された画像データとが交互に出力されるように制御して、前記第１の撮像素子及び前記第２の撮像素子を駆動させることにより被写体の動画の撮像を行なう動画撮像処理と、
    前記第１の撮像素子及び前記第２の撮像素子のうち、どちらか一方の撮像素子を用いて被写体の動画の撮像を制御するとともに、他方の撮像素子を用いて被写体に対してオートフォーカスを行なうように制御するフォーカス制御処理と、
    を含むことを特徴とするプログラム。
17. 被写体の光を画像データに変換する複数の撮像素子を備えた撮像装置を実行させるためのプログラムであって、
    静止画撮影に必要な静止画用露光時間を前記複数の撮像素子に分担させて、前記複数の撮像素子に露光を行なわせ、該複数の撮像素子に変換されたそれぞれ画像データを取得する取得処理と、
    前記取得処理により取得された複数の画像データから１枚の合成画像データを生成する生成処理と、
    を含むことを特徴とするプログラム。
18. 被写体の光を画像データに変換する第１の撮像素子と、
    被写体の光を画像データに変換する第２の撮像素子と、
    を備えた撮像装置を実行させるためのプログラムであって、
    前記第１の撮像素子を用いて被写体の動画の撮像を行なうとともに、前記第２の撮像素子を用いて被写体の静止画撮影を行なう静止画撮影処理と、
    前記静止画撮影処理により前記第１の撮像素子から出力される画像データからスルー画像データ又は動画データを順次生成するとともに、その生成の合間に前記第２の撮像素子から出力される画像データを分割して処理することにより静止画像データを生成する画像生成処理と、
    を含むことを特徴とするプログラム。
    
    

Images