JP2012054867A

JP2012054867A - 撮像装置

Info

Publication number: JP2012054867A
Application number: JP2010197596A
Authority: JP
Inventors: Sumio Kawai; 澄夫川合; Manabu Ichikawa; 学市川
Original assignee: Olympus Imaging Corp
Current assignee: Olympus Imaging Corp
Priority date: 2010-09-03
Filing date: 2010-09-03
Publication date: 2012-03-15

Abstract

【課題】１つの撮像素子により高画質の画像の撮像を行うと共に、焦点検出に兼用することが可能な撮像装置を提供する。
【解決手段】フォトダイオード１１を含む第１画素群と、ＡＦ検出用ダイオード１１ｂを含む第２画素群と、第１画素群に面して配置されたカラーフィルタ１５と、第２画素群に面して配置された輝度フィルタ１５ｂと、第１および第２画素群に面して配置されたマイクロレンズ１７を有する撮像素子１０３と、撮像素子１０３を、撮影光学系の光軸に垂直な平面内で変位させる撮像素子位置移動部１１７と、撮像素子１０３を変位させる前後で複数回の撮像を行い複数の画像データを生成し、第１画素群と第２画素群の画像データを合成するマイクロコンピュータ１２１を有している。被写体の同一部分を表わす画素のデータであって且つ第２画素群に属さない画素のデータ同士を合成して記録用の画像データを生成している。
【選択図】図3

Description

本発明は、一部を焦点検出用素子に兼用する撮像素子を有する撮像装置に関する。

ベイヤ―配列の色フィルタを有し、撮像素子の一部を焦点検出用フォトダイオードに兼用する撮像素子は従来より知られている（特許文献１参照）。この特許文献１に開示の撮像素子では、焦点検出用に兼用する領域の各画素は、２つの画素に分割され、この２つの画素は、それぞれオンチップマイクロレンズと色フィルタセグメントを介して、撮影レンズの異なる射出瞳領域（以下「瞳領域」と記載する）を通過した被写体光束を受光する。そして、この異なる瞳領域を通過した２種類の画像信号によって表わされる２つの画像の位相差に基づいて焦点状態が検出される。一方、撮像用の画像信号を得るときは、２つに分割された画素の出力信号が合成される。

特開２００１−８３４０７号公報

上述の特許文献１に開示の撮像素子は、１つの撮像素子を撮像と焦点検出に兼用できる点で優れている。しかし、特許文献１に開示の撮像素子は、ベイヤ―配列の色フィルタを介して受光して得られた画像信号に基づいて焦点検出を行うため、光電変換素子の感度が低下してしまう。また、被写体の色が偏っていると、特定の色フィルタを通過した光束では十分な感度が得られない場合もあるため、複数の色信号を合成する等の対策が必要になり、画像処理上の負担が増大する。これは、特に高速処理が要求される焦点検出においては問題となる。

そこで、焦点検出領域の色フィルタを、輝度フィルタに置き換えることが考えられる。なお、本明細書においては、輝度フィルタは、ＮＤフィルタ、透明フィルタ、グレーフィルタ、フィルタがないもの等を意味する。しかし、輝度フィルタに置き換えた場合には、撮像用の画像信号を得る場合に、輝度フィルタに対応した画素信号を周辺の色フィルタによって補間演算によって求める必要があり、画質の劣化に繋がってしまう。一般に、焦点検出用の画素領域は直線的に配列されるが、このように配列された画素の信号の劣化は、画像として表示したときに目立ちやすいので、非常に高精度の信号処理が要求される。

本発明は、このような事情を鑑みてなされたものであり、１つの撮像素子により高画質の画像の撮像を行うと共に、焦点検出に兼用することが可能な撮像装置を提供することを目的とする。

上記目的を達成するため第１の発明に係わる撮像装置は、撮像用画素がマトリクス状に配置された第１画素群と、焦点検出用の第２画素群と、上記第１画素群に属するそれぞれの画素に面して配置されたカラーフィルタと、上記第２画素群のそれぞれの画素に面して配置された輝度フィルタと、上記第１画素群、及び上記第２画素群のそれぞれの画素に面して配置されたマイクロレンズと、を有する撮像素子と、上記撮像素子の撮像面と該撮像面に結像する被写体像との相対的な位置を、撮影光学系の光軸に垂直な平面内で画素ピッチの整数倍変位させるシフト部と、上記撮像素子シフト部で上記撮像素子を変位させる前後で複数回の撮像を行い複数の画像データを生成する撮像制御部と、上記複数の画像データのうち、被写体の同一部分を表わす画素のデータであって且つ上記第２画素群に属さない画素のデータ同士を合成して、記録用の画像データを生成する画像処理部と、上記第２画素群によって生成される画像信号に基づいて焦点状態を検出する焦点検出部と、を備える。

第２の発明に係わる撮像装置は、上記第１の発明において、上記画像処理部は、上記被写体の同一部分を表わす画素に上記第２画素群に属する画素が存在するときは、該被写体の同一部分を表わす画素のデータであって且つ該第２画素群に属さない画素のデータ同士を合成した画素のデータを増幅する。

第３の発明に係わる撮像装置は、上記第１の発明において、上記第１画素群に属する画素によって生成される画像信号のみに基づいて動画データを生成する動画データ生成部をさらに備える。

第４の発明に係わる撮像装置は、上記第１の発明において、上記シフト部は、撮影光学系を該撮影光学系の光軸に垂直な平面内で変位させる。
第５の発明に係わる撮像装置は、上記第１の発明において、上記シフト部は、上記撮像素子を上記撮影光学系の光軸に垂直な平面内で変位させる。

第６の発明に係わる撮像装置は、上記第１の発明において、上記焦点検出用の第２画素群は、撮影光学系の異なる瞳領域を通過した被写体光束のうち、一方の瞳領域を通過した光束を受光する位置に配置された第１の焦点検出用画素群と、他方の瞳領域を通過した光束を受光する位置に配置された第２の焦点検出用画素群とを含む。

本発明によれば、１つの撮像素子により高画質の画像の撮像を行うと共に、焦点検出に兼用することが可能な撮像装置を提供することができる。

本発明の第１実施形態に係わるデジタルカメラの電気系を主とする全体構成を示すブロック図である。本発明の第１実施形態に係わるデジタルカメラの撮像素子のフィルタの配列を示す平面図である。本発明の第１実施形態に係わるデジタルカメラの撮像素子の構造を示す図であり、（ａ）は撮像素子の平面図であり、（ｂ）は撮像素子のＢ−Ｂ断面図である。本発明の第１実施形態に係わるデジタルカメラにおいて、撮像素子位置移動部の構成を示す平面図である。本発明の第１実施形態におけるデジタルカメラにおいて、撮像素子位置移動部のＸ−Ｘ断面図である。本発明の第１実施形態におけるデジタルカメラにおいて、撮像素子位置移動部のＸ’−Ｘ’断面図である。本発明の第１実施形態におけるデジタルカメラにおいて、撮像素子位置移動部内の撮像素子シフト回路の回路図である。本発明の第１実施形態におけるデジタルカメラにおいて、撮像素子シフト回路中の信号波形図である。本発明の第１実施形態に係わるデジタルカメラのメインフローを示すフローチャートである。本発明の第１実施形態に係わるデジタルカメラの静止画撮影の動作を示すフローチャートである。本発明の第１実施形態に係わるデジタルカメラにおいて、撮像素子位置移動部による撮像素子の移動を示す図である。本発明の第１実施形態に係わるデジタルカメラにおいて、撮像素子位置移動部によって移動した撮像素子と、取得する撮像データの関係を示す図である。本発明の第１実施形態に係わるデジタルカメラの動画撮影の動作を示すフローチャートである。本発明の第１実施形態に係わるデジタルカメラにおいて、動画撮影時における撮像素子と取得する撮像データの関係を示す図である。本発明の第１実施形態に係わるデジタルカメラの画像処理の動作を示すフローチャートである。本発明の第２実施形態に係わるデジタルカメラの電気系を主とする全体構成を示すブロック図である。本発明の第２実施形態に係わるデジタルカメラの静止画撮影の動作を示すフローチャートである。本発明の第２実施形態に係わるデジタルカメラにおいて、光軸移動レンズの移動と、取得する撮像データの関係を示す図である。本発明の第２実施形態と比較するための従来のデジタルカメラの撮像素子のフィルタの配列を示す平面図である。本発明の第２実施形態と比較するための従来のデジタルカメラの撮像素子の構造を示す図であり、（ａ）は撮像素子の平面図であり、（ｂ）は撮像素子のＡ−Ａ断面図である。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は、本発明の第１実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。このデジタルカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。

交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）３００を有する。

撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ３００およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。

フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ３００は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のカラーフィルタが配置されている。ベイヤ―配列は、水平方向にＲ画素とＧ画素が交互に配置されたラインと、Ｇ画素とＢ画素が交互に配置されたラインを有している。さらにそのＲ画素とＢ画素の一部は、焦点検出用画素に置き換えられている。この撮像素子１０３の詳しい構成について、図２および図３を用いて後述する。

撮像素子１０３は、撮像素子位置移動部１１７によって、撮影レンズ２０１の光軸と直交する面内で、垂直方向にシフトさせられる。この撮像素子位置移動部１１７は、圧電素子の駆動力によって撮像素子１０３を移動させるためのメカ機構と、圧電素子の駆動制御を行うための回路等から構成される。撮像素子移動部１１７の詳しい構成について、図４ないし図８を用いて後述する。

撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１９に出力する。

バス１１９は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１９には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮伸張部１１５、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、液晶ディスプレイ（以後、ＬＣＤという）ドライバ１３３が接続されている。

画像処理部１０９は、ホワイトバランス補正、同時化処理、ガンマ・色再現処理、ノイズリダクション処理、オプティカルブラック減算処理、エッジ強調処理等を行い、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して種々の画像処理を施す。

ＡＥ処理部１１１は、バス１１９を介して入力した画像データに基づいて被写体輝度測定し、この被写体輝度情報を、バス１１９を介してマイクロコンピュータ１１７に出力する。被写体輝度測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。

ＡＦ処理部１１３は、撮像素子１０３の焦点検出画素に設けられたＡＦフォトダイオード１１ｂの出力に基づいて、いわゆる位相差法により、撮影レンズ２０１のデフォーカス方向およびデフォーカス量を算出し、バス１１９を介してマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、算出されたデフォーカス方向およびデフォーカス量を交換式レンズ２００内のマイクロコンピュータ２０７に出力し、ドライバ２０５によって、撮影レンズ２０１の自動焦点調節を行う。

画像圧縮伸張部１１５は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から画像データを読み出し、この読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮する。また、画像データの再生時に、記録媒体１３１からの読み出した画像データの伸張処理を行う。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、ＭＰＥＧ等、他の圧縮方式でも勿論かまわない。

マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ３００以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。

操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。

動画釦は、動画の撮影を開始させ、また終了させるための釦である。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。また、再生釦は、記録媒体１３１に記録されている撮影画像をＬＣＤ１３５に表示させる表示モードを実行させるための操作釦である。

フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいて当該デジタルカメラの制御を行う。また、フラッシュメモリ１２５は、被写体輝度に対して適正露光となる露出制御値（ＩＳＯ感度、絞り値、シャッタ速度）の組合せを示すテーブル（露出条件決定テーブル）、ホワイトバランス補正を行うためのホワイトバランスゲインや、カラーマトリックス係数を記憶している。フラッシュメモリ１２５は、当該デジタルカメラの動作に必要な各種パラメータやテーブルを記憶しており、マイクロコンピュータ１２１が前述のプログラムに従って、これらのパラメータを読み出し、各処理を実行する。

バス１１９に接続されたＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９や画像圧縮伸張部１１５等において処理された画像データを一時記憶する。

バス１１９に接続されたメモリＩ／Ｆ１２９は、記録媒体１３１に画像データ等を記録し、また記録媒体１３１から画像データ等を読出しの際のインターフェースである。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。

ＬＣＤドライバ１３３は、ＬＣＤ１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮伸張部１１５によって伸張された画像データに基づいて画像をＬＣＤ１３５において表示させる。ＬＣＤ１３５は、カメラ本体１００の背面等に配置された液晶ディスプレイを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、圧縮されている画像データを表示する場合には、前述したように、画像圧縮伸張部１１５によって伸張処理を施した後に表示する。また、表示部としては、ＬＣＤに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。

次に、本実施形態における撮像素子の詳細な構成について、図２および図３を用いて説明するが、理解を容易にするために、先に図１９および図２０を用いて、従来の一般的な撮像素子の構成を説明する。図１９は、従来の撮像素子のベイヤ―配列の撮像素子を示す。図１９（ｂ）は、撮像素子の平面図であり、図１９（ａ）は、撮像素子の一部分を拡大した図である。

図１９（ａ）において、横方向に画素ナンバとしてア〜タを割り当て、縦方向に画素ナンバとして１〜１６を割り当てる。この従来例では、画素（ア、１）がＲ画素であり、画素（イ、２）がＢ画素であり、画素（イ、１）および画素（ア、２）がＧ画素である。この４画素の組合せが、横方向および縦方向に繰り返され、撮像素子が構成される。なお、各画素内において丸で示した部分は、マイクロレンズを示す。

図２０は、撮像素子の１画素の拡大図であり、図２０（ａ）は画素の平面図であり、図２０（ｂ）はＡ−Ａ断面図である。撮像素子上のフォトダイオード１１の上側には、カラーフィルタ１５が配置されており、カラーフィルタ１５は、ＲＧＢのいずれかの色が着色されている。カラーフィルタ１５の周囲には、遮光部材１３が配置されている。遮光部材１３としては、画素の配線と兼用させてもよい。カラーフィルタ１４の上側には、マイクロレンズ１７が配置されている。このように、１画素につき、１つのダイオード１１、１つのカラーフィルタ１５、１つのマイクロレンズ１７が、順次、積み上げるように配置されている。

このように配置されているので、撮影レンズ２０１の射出瞳１９からの被写体光束２１は、マイクロレンズ１７によって集光され、カラーフィルタ１５によって特定波長領域（すなわち、ＲＧＢのいずれか）の光束がフォトダイオード１１上に投射される。なお、本実施形態においては、後述する撮像画像生成用画素は、図２０に示す従来の画素と同様の構成を採用している。

次に、本実施形態における撮像素子の構成について図２および図３を用いて説明する。図２は、撮像素子１０３のベイヤ―配列の撮像素子を示し、図２（ｂ）は、撮像素子１０３の平面図であり、図２（ａ）は、撮像素子１０３の一部分を拡大した図である。本実施形態における撮像素子の配置は、図７に示した従来の撮像素子のＲＧＢに加えて、一部のＲまたはＢの画像生成用画素を焦点検出用画素に置き換えて配列されている。

すなわち、図２（ａ）に示した例では、画素（エ、４）、画素（オ、５）、画素（シ、４）、画素（ス、５）、画素（エ、１２）、画素（オ、１３）、画素（ス、１３）、画素（セ、１２）の合計８個の焦点検出用画素を含んでいる。ここで、画素（エ、４）と画素（オ、５）の対は、撮影画像中において、右下がり方向の位相差を測定するための画素である。また、画素（シ、４）と画素（ス、５）の対は、撮影画像中において、垂直方向の位相差を測定するための画素である。また、画素（エ、１２）と画素（オ、１３）の対は撮影画像中において、水平方向の位相差を測定するための画素である。また、画素（ス、１３）と画素（セ、１２）の対は、撮影画像中において、左下がり方向の位相差を測定するための画素である。

次に、焦点検出用画素の詳しい構造について、図３を用いて、説明する。図３（ａ）は焦点検出用画素の平面図であり、図３（ｂ）はＢ−Ｂ断面図である。図２０に示したように、通常のマトリクス状に配置された撮影画像生成用画素ではフォトダイオード１１が配置されているのに対して、焦点検出用画素では、フォトダイオードは、ＡＦ検出用フォトダイオード１１ｂが配置される。このＡＦ検出用フォトダイオード１１ｂは、マイクロレンズ１７の光軸よりも、一側に偏って形成される。また、カラーフィルタは、焦点検出用画素では、輝度フィルタ１５ｂが配置される。なお、輝度フィルタは、前述したように、ＮＤフィルタ、透明フィルタ、グレーフィルタ等で構成され、またフィルタがなく中空となっているものも含まれる。

輝度フィルタ１５ｂの上側は、マイクロレンズ１７によって覆われている。マイクロレンズ１７は、撮影レンズ２０１の射出瞳１９の位置と画素（ＡＦ検出用フォトダイオード１１ｂ）が略共役になるように、焦点距離とその位置が決められている。また、輝度フィルタ１５ｂには遮光部材１３が設けられており、この遮光部材１３は、射出瞳１９の一側のみがＡＦ検出用フォトダイオード１１ｂに到達させ、それ以外の被写体光束を遮光する。なお、図３（ｂ）においては、ＡＦ検出用フォトダイオード１１ｂは、マイクロレンズ１７の光軸よりも、一側に偏って形成されているが、画像生成用画素と同じような大きさであっても構わない。

このように、本実施形態における焦点検出用画素は構成されている。このため、撮影レンズ２０１の射出瞳１９の一部を通過した被写体光束２５は、マイクロレンズ１７および輝度フィルタ１５ｂを通過し、ＡＦ検出用フォトダイオード１１ｂ上に投射される。また、被写体光束２５以外の光束は、遮光部材１３によって遮光され、ＡＦ検出用フォトダイオード１１ｂ上には投射されない。なお、撮像画像生成用画素は、図２０を用いて説明した画素と同様の構成である。

本実施形態においては、焦点検出用画素中にＡＦ検出用フォトダイオード１１ｂが配置されていることから、位相差検出による焦点検出が可能となる。すなわち、焦点検出用画素（ＡＦ用フォトダイオード１１ｂ）は、撮影光学系の異なる瞳領域を通過した被写体光束のうち、一方の瞳領域を通過した光束を受光する位置に配置された第１の焦点検出用画素と、他方の瞳領域を通過した光束を受光する位置に配置された第２の焦点検出用画素とを含んでいる。例えば、図２（ａ）において、焦点検出用画素（エ、４）（第１の焦点検出用画素とすると）は、一方の瞳領域を通過した光束を受光する位置にあり、一方、焦点検出用画素（オ、５）（第２の焦点検出用画素）は、他方の瞳領域を通過した光束を受光する位置にある。

なお、焦点検出用画素のＡＦ検出用フォトダイオード１１ｂと遮光部材１３の形状は、長方形または正方形をしているが、この形状や大きさは適宜変更できる。ＡＦ検出用フォトダイオード１１ｂと遮光部材１３の位置を変えると、ＡＦ検出用フォトダイオード１１ｂの受光面と共役関係にある瞳の位置を制御することが可能となる。これらの形状は、撮像素子の製造過程において、露光時のマスクを適切に作成すればよい。また、本実施形態においては、遮光部材１３を設けているが、マイクロレンズ１７により、ＡＦ検出用フォトダイオード１１ｂの受光面と瞳領域の共役関係を正確に保持することができれば、遮光部材を設けなくても、ＡＦ検出用フォトダイオード１１ｂの形状のみで瞳分割を行うようにしてもよい。

次に、撮像素子位置移動部１１７の構成について、図４ないし図８を用いて説明する。前述の撮像素子１０３は、ホルダ４０３上に配置され、このホルダ４０３は、固定枠４０１に保持されている。すなわち、図５に示すように、固定枠４０１にネジ４１３によって固設された保持板４０９ｃと、固定枠４０１の間に、ボール４１１を介して、ホルダ４０３の突起部４０３ａが介挿され、板バネを形成する保持板４０９ｃにより押圧保持されている。保持板４０９ａ、４０９ｂにおいても、同様に、ホルダ４０３がボールを介して固定枠４０１に保持されている。

また、ホルダ４０３は、圧電体Ａ４０５ａおよび圧電体Ｂ４０５ｂによって、上方に圧接され、ホルダ４０３と固定枠４０１の間には、伸張性のバネＡ４０７ａ、バネＢ４０７ｂが介挿されている。すなわち、図６に示すように、圧電体Ａ４０５ａの一端側には、突起４７１ａの設けられた突起板４７１が、圧電体Ａ４０５ａに固設され、また、ホルダ４０３と固定枠４０１の突起部４０１ａの間には、バネＡ４０７ａが配置されている。また、圧電体Ａ４０５ａの側面と固定枠４０１の間には、圧電体Ａ４０５ａの伸縮を阻害しない、例えば、ゴム等の軟質材料からなる保持シート４７３が配置されている。

圧電体Ａ４０５ａは、図６の矢印の方向に伸縮し、圧電体Ａ４０５ａが伸びた際には、ホルダ４０３をバネＡ４０７ａの弾性力に抗して上方に押し上げ、圧電体Ａ４０５ａが縮んだ際には、ホルダ４０３はバネＡ４０７ａの弾性力によって下方に押下げられる。

圧電体Ａ４０５ａには、フレキＡ４１５ａが接続されており、このフレキＡ４１５ａを介して給電される。図４に示すように、ホルダ４０３の左右に、圧電体Ａ４０５ａおよび圧電体Ｂ４０５ｂが配置され、またホルダ４０３は、保持板４０９ａ〜４０９ｃ、およびボール４１１によって保持され、上下方向（Ｙ方向）に沿って移動可能となっている。なお、圧電体Ｂ４０５ｂの構成と動作は、圧電体Ａ４０５ａと同様であるので、ここでは詳しい説明を省略する。

また、撮像素子１０３のうちのＣＣＤチップ１０３ａは、図５に示すように、フレキシブル基板４３７上に設けられ、スペーサ４３１と保護ガラス４３３によって密閉されている。保護ガラス４３３上にはフィルタ受け部材４３５を介してローパスフィルタ（ＬＰＦ）４６１が配置されている。ＬＰＦ４６１は、ホルダ４０３に固設されており、ホルダ４０３には、ネジ４４１、支持部材４４３、押圧部材４４５、受け部材４４７、防塵フィルタ受け部４５１、シール４５３によって、防塵フィルタ４５７とＬＰＦ４６１が対向する空間を密閉固着している。圧電素子４４９は、超音波程度の周波数で振動し、この振動によって発生した振動波は防塵フィルタ４５７に伝搬し、防塵フィルタ４５７上に付着した塵埃を振動によって除去する。ホルダ４０３の段部４５５によって決まる開口４５９を介して被写体光束は入射し、ＬＰＦ４６１、保護ガラス４３３を通過して、ＣＣＤチップ１０３上に被写体像を形成する。

ＣＣＤチップ１０３ａを保持するフレキシブル基板４３７は、その背面に固定板４２１が密着しており、また、その背面側に延出されたホルダ４０３の凸部にはスペーサを介して主回路基板４２３が配置されている。主回路基板４２３上には、コネクタ４２９ａ、４２９ｂが設けられており、フレキシブル基板４３７とコネクタ４２９ａ、４２９ｂとの間は、接続部４２５ａ、４２５ｂによって電気的に接続されている。

次に、図７および図８を用いて撮像素子１０３のシフト動作を行う撮像素子シフト制御回路５００とその周辺回路について説明する。撮像素子シフト制御回路５００内に配置されたＮ進カウンタ５０１は、マイクロコンピュータ１２１内のクロックジェネレータ１２１ａから出力されるクロックパルス（Ｓｉｇ１）を入力し、またマイクロコンピュータ１２１の出力ＩＯポートであるＤ_ＮＣｎｔ端子から出力されるカウンタ設定値Ｎを入力する。Ｎ進カウンタ５０１はクロックパルスをカウントしてカウンタ設定値Ｎとなるとパルス（Ｓｉｇ２）を出力する。このパルスＳｉｇ２を入力するＤフリップフロップから構成される１／２分周回路５０３は、パルスＳｉｇ２の立ち上がり信号を入力するたびに出力（Ｓｉｇ３）が反転する分周回路である。

１／２分周回路５０３の出力端子はインバータ５０５の入力端子に接続され、このインバータ５０５の出力端子は、ＭＯＳトランジスタ（Ｑ０２）５０７ｃのゲートに接続される。ＭＯＳトランジスタ（Ｑ０２）５０７ｃのソースはトランス５０９の一次側の一端に接続され、ドレインは抵抗（Ｒ００）５１１を介して接地されている。また、１／２分周回路５０３の出力端子はＭＯＳトランジスタ（Ｑ０１）５０７ｂのゲートにも接続され、ＭＯＳトランジスタ（Ｑ０１）５０７ｂのソースはトランス５０９の一次側の他端に接続され、ドレインはＭＯＳトランジスタ（Ｑ０２）５０７ｃのドレインに接続されている。

トランス５０９の一次側中間タップは、電源オン・オフ用のＭＯＳトランジスタ（Ｑ００）５０７ａのドレインに接続しており、このＭＯＳトランジスタ（Ｑ００）５０７ａのゲートは、マイクロコンピュータ１２１のＩＯポートであるＰ_ＰｗＣｏｎｔ端子に接続されている。ＭＯＳトランジスタ５０７ａのソースは、電源回路５２０に接続されている。また、トランス５０９の二次側の一端は、圧電素子４０５ａ、４０５ｂの一端に接続され、圧電素子４０５ａ、４０５ｂの他端は接地されている。圧電素子４０５ａ、４０５ｂはトランス５０９による昇圧交流電圧（Ｓｉｇ４）を受け、超音波振動を行う。

以上のように、撮像素子シフト制御回路５００とその周辺回路は構成されている。まず、ＭＯＳトランジスタ（Ｑ００）５０７ａのゲートに、マイクロコンピュータ１２１のＰ_ＰｗＣｏｎｔ端子からＬレベル信号が印加されると、トランジスタ５０７ａはｎチャネルタイプであることから、導通し、電源回路５２０から電源電圧がトランス５０９の一次側中間タップに印加される。

この状態で、マイクロコンピュータ１２１のクロックジェネレータ１２１ａからクロックパルス（図８のＳｉｇ１参照）がＮ進カウンタ５０１に出力されると、Ｎ進カウンタ５０１はカウントを開始し、入出力回路マイクロコンピュータ１２１のＤ_ＮＣｎｔを介して入力された設定値Ｎまでカウントすると、出力端子からパルス信号Ｓｉｇ２を出力する（図８のＳｉｇ２参照）。Ｎ進カウンタ５０１からのパルス信号Ｓｉｇ２を入力する１／２分周回路５０３によって、デューティ比が５０％のパルス信号（図８のＳｉｇ３）に変換され、このパルス信号はＭＯＳトランジスタ（Ｑ０１）５０７ｂのゲートと、インバータ５０５を介してＭＯＳトランジスタ（Ｑ０２）５０７ｃに印加される。

ＭＯＳトランジスタ（Ｑ０１）５０７ｂとＭＯＳトランジスタ（Ｑ０２）５０７ｃは交互にオン状態となり、トランス５０９の一次側には中間タップを介して電源回路５２０から電源電圧が印加され、トランス５０９の巻線数比に従って昇圧された電圧（図８のＳｉｇ４）が二次側から出力され、圧電素子４０５ａ、４０５ｂに印加される。圧電素子４０５ａ、４０５ｂに高電圧が印加されることにより、圧電素子４０５ａ、４０５ｂは伸縮を繰り返す。

このように撮像素子位置移動部１７１においては、撮像素子１０３を保持するホルダ４０３を、圧電体Ａ４０５ａおよび圧電体Ｂ４０５ｂに電圧を印加することによって、Ｙ方向（図４の紙面方向）に沿って移動させることができる。このとき、圧電体Ａ４０５ａおよび圧電体Ｂ４０５ｂに印加する電圧と印加周波数、印加時間を制御することにより、撮像素子１０３のシフト量を制御することができる。なお、図８においては、圧電体Ａ４０５ａ及び圧電体Ｂ４０５ｂに印加される電圧波形は台形波となっているが、矩形波または正弦波としてもよい。

次に、図９ないし図１５を用いて、本実施形態におけるデジタルカメラの動作について説明する。まず、図９に示すフローチャートを用いてメイン動作を説明する。電源釦が操作され、電源オンとなると、図９に示すメインフローが動作を開始する。動作を開始すると、まず、記録中フラグをオフに初期化する（Ｓ１）。この記録中フラグは、動画の記録中であるか否かを示すフラグであり、オンの場合には動画を記録中であることを示し、オフの場合には動画の記録を行っていないことを示す。

記録中フラグをオフに初期化すると、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３の内の再生釦の操作状態に基づいて判定する。この判定の結果、再生釦が押された場合には、次に、再生を行う（Ｓ１９）。ここでは、記録媒体１３１から画像データを読出し、ＬＣＤ１３５に表示させる。

ステップＳ１９において再生を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ５）。このステップでは、操作部１２３において、動画釦の操作状態を検知し、この検知結果に基づいて判定する。この判定の結果、動画釦が押された場合には、次に、記録中フラグの反転を行う（Ｓ２１）。前述したように、動画釦は押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。

ステップＳ２１において記録中フラグを反転させると、またはステップＳ５における判定の結果、動画釦が押されていなかった場合には、次に、動画記録中か否かの判定を行う（Ｓ７）。記録中フラグがオンであれば動画記録中であることから、ここでは、記録中フラグがオンであるか否かに基づいて判定する。

ステップＳ７における判定の結果、動画記録中でなかった場合には、次に、ファーストレリーズが押されたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ９）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。なお、このステップでは、ファーストレリーズスイッチがオフからオンに変化したかを判定し、変化後にオン状態が維持されている場合には、判定結果はＮｏとなる。

ステップＳ９における判定の結果、ファーストレリーズが押された場合には、ＡＥを行う（Ｓ１１）。ここでは、ＡＥ処理部１１１によって、被写体輝度を測定し、絞り値やシャッタ速度等の露出制御値を決め、またＬＣＤ１３５に表示するライブビュー表示を適正露光で行うための制御値を決める。

ステップＳ１１においてＡＥを行うと、次に、撮影を行う（Ｓ１３）。ここでの撮影は、撮像素子１０３によって画像信号を取得する。なお、ここでは、画像データを記録媒体１３１に記録することはない。

撮影を行うと、次に、ＡＦを行う（Ｓ１５）。ここでは、撮像素子１０３の焦点検出画素のＡＦ検出用フォトダイオード１１ｂからの画像データに基づいて、いわゆる位相差法による焦点検出を行う。すなわち、水平方向、垂直方向、右下がり方向、または左下がり方向の各方向に沿ってのＡＦ検出用フォトダイオードの画像データの位相のずれに基づいて、撮影レンズ１０１のデフォーカス方向およびデフォーカス量を求め、この求めた値に基づいて、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を制御する。したがって、動画記録中ではない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを１回行う。

ステップＳ９における判定の結果、レリーズ釦がオフ→１ｓｔ遷移でなかった場合には、次に、セカンドレリーズ（２ｎｄ）が押されたか否か、言い換えると、レリーズ釦が全押しされセカンドレリーズスイッチがオンとなっているか否かの判定を行う（Ｓ２３）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。

ステップＳ２３における判定の結果、セカンドレリーズが押された場合には、静止画撮影を行う（Ｓ２５）。ここでは、撮像素子１０３において露光を行い、被写体像に応じた画像信号を取得する。なお、焦点検出用画素のある位置には、撮像用画素のフォトダイオード１１が配置されていないことから、撮像画像生成用の画像信号を取得することができない。そこで、本実施形態においては、撮像素子位置移動部１１７によって、撮像素子１０３を所定画素数分だけシフトさせ、シフトさせたときの画像信号に基づいて、焦点検出用画素のある位置の撮像画像生成用の画像信号を生成する。この静止画撮影の詳しい動作については、図１０を用いて後述する。

ステップＳ２５において、静止画撮影を行うと、次に画像処理を行う（Ｓ２７）。ここでは、画像信号を読出し、この画像信号に基づく静止画の画像データについて画像処理および画像圧縮処理を行った後、記録媒体１３１に記録する。この画像処理の詳しい動作については、図１５を用いて後述する。

ステップＳ２３における判定の結果、レリーズ釦の全押しがなされていなかった場合、またはステップＳ７における判定の結果動画記録中であった場合には、次にステップＳ１１と同様にＡＥを行う（Ｓ２９）。続いて、動画撮影を行う（Ｓ３１）。ここでは、撮像素子１０３によって画像信号を取得し、画像処理部１０９や画像圧縮伸張部１１５において画像処理を行った後、動画の画像データを記録媒体１３１に記録する。この動画撮影の詳しい動作については、図１３を用いて説明する。

動画撮影を行うと、続いて、ステップＳ２７と同様に画像処理を行う（Ｓ３３）。この画像処理の詳しい動作については、図５を用いて後述する。

ステップＳ３３、Ｓ２７において画像処理を行うと、またはステップＳ１５においてＡＦを実行すると、次に、電源オフか否かの判定を行う（Ｓ１７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。

次に、ステップＳ２５における静止画撮影の動作について、図１０ないし図１２を用いて説明する。図１０に示すフローチャートの説明を行う前に、本実施形態における静止画撮影の際の撮像素子１０３のシフト動作について、説明する。図１１は、撮像素子１０３の撮像位置を示しており、図１１（ａ）はリセット時の撮像位置を、図１１（ｂ）はシフト動作１回目の撮像位置を、図１１（ｃ）はシフト動作２回目の撮像位置を示す。本実施形態においては、シフト動作１回目では、図１１（ｂ）に示すように、撮像素子１０３を下へ２画素分ずらして撮像を行う。また、シフト動作２回目では、シフト動作１回目の位置から撮像素子１０３を上へ４画素分ずらす。２回目のシフト動作は、リセット時の撮像位置に対して上へ２画素分ずらすことに対応する。

図１１（ａ）〜（ｃ）において、太枠の範囲は被写体の同一部分が露光される範囲である。撮影レンズ２０１によって形成される被写体像は移動しないが（言い換えると、図１１において太枠の範囲は移動しない）、撮像素子１０３は撮像位置移動部１１７によって上下方向（Ｙ方向）に移動するので、撮像素子１０３がシフトするたびに被写体像の同一部分は異なる画素によって撮像される。

例えば、リセット時において、太枠の範囲、すなわち画素（ア、１）（ク、１）（ア、８）、（ク、８）で囲まれた範囲の画像は（図１１（ａ）参照）、シフト動作１回目では、画素（ア、−１）（ク、−１）、（ア、６）、（ク、６）の範囲の画素によって撮像される（図１１（ｂ）参照）。同様に、シフト動作２回目では、画素（ア、３）（ク、３）、（ア、１０）、（ク、１０）の範囲の画素によって撮像される（図１１（ｃ）参照）。

太枠の範囲の被写体像の左隅の位置αは、リセット時の露光では、図１２（ａ）に示すように、撮像素子１０３の画素（ア、１）によって画像信号を取得する。リセット時の後に行われるシフト動作１回目の露光では、位置αは、図１２（ｂ）に示すように、画素（ア、−１）によって画像信号を取得する。続いて行われるシフト動作２回目の露光では、位置αは、図１２（ｃ）に示すように、画素（ア、３）によって画像信号を取得する。これらの３つの画素（ア、１）、（ア、−１）、（ア、３）は、いずれも撮像画像生成用画素であり、焦点検出用画素ではない。この場合には、分割露光によって得られた３つの画素の画像信号を加算し合成画像データを生成する。

また、太枠の範囲の被写体像の位置βは、リセット時の露光では、図１２（ａ）に示すように、画素（エ、２）によって画像信号を取得する。シフト動作１回目の露光では、位置βは、図１２（ｂ）に示すように、画素（エ、０）によって画像信号を取得する。続いて行われるシフト動作２回目の露光では、位置βは、図１２（ｃ）に示すように、画素（エ、４）の位置となる。これらの３つの画素（エ、２）、（エ、０）、（エ、４）のうち、画素（エ、２）、（エ、０）は撮像画像生成用画素であるが、画素（エ、４）は焦点検出用画素であり、画素（エ、４）からは画像信号を得ることができない。そこで、本実施形態においては、被写体の同一位置を露光する画素のデータの一つが焦点検出用画素を含む場合には、焦点検出用画素ではない、残り２つの撮像画像生成用画素（図示の例では、画素（エ、２）、（エ、０））の画像信号を加算し、この加算値を３／２倍したデータをその画素の合成データとする。

次に、図１０に示すフローチャートを用いて、静止画撮影の動作を説明する。静止画撮影のフローに入ると、まず、露光時間の算出を行う（Ｓ４１）。ここでは、ステップＳ１１において行ったＡＥ処理における露出制御値の算出結果に基づいて、露光時間の算出を行う。本実施形態においては、静止画撮影時には、リセット位置で露光を行い、その後１回目のシフト動作と露光、２回目のシフト動作と露光を行うことから、各回での露光時間は、ステップＳ１１において算出された露光時間の１／３となる。

露光時間の算出を行うと、次に、撮像位置のリセットを行う（Ｓ４３）。ここでは、撮像素子位置移動部１１７によって、撮像素子１０３をリセット位置に移動させる。このリセット位置は、撮影レンズ２０１の光軸と撮像素子１０３の中央部が一致する位置である。

続いて、撮像素子１０３のリセット位置で露光を行う（Ｓ４５）。ここでは、撮像素子１０３の光電変換電流蓄積用のキャパシタの電荷をリセットした後、直前のＡＥの結果から得られるＩＳＯ感度と絞り値で、ステップＳ４１において算出した露光時間だけ露光を行う。ステップＳ４５における露光が終わると、撮像素子１０３から画像信号の読出しを行う（Ｓ４７）。

画像信号の読出しを行うと、次に、撮像位置シフトを行う（Ｓ４９）。ここでは、１回目のシフト動作を行い、図１１（ｂ）において説明したように、撮像位置移動部１１７が、予め決められた画素数分だけ撮像素子１０３の位置をずらす。

１回目の撮像位置のシフトが終わると、次に、露光を行う（Ｓ５１）。ここでは、撮像素子１０３のキャパシタの電荷をリセットし、直前のＡＥの結果から得られるＩＳＯ感度と絞り値で、ステップＳ４１において算出した露光時間だけ露光を行う。ステップＳ５１における露光が終わると、撮像素子１０３から画像信号の読出しを行う（Ｓ５３）。

画像信号の読出しを行うと、次に、撮像位置シフトを行う（Ｓ５５）。ここでは、２回目のシフト動作を行い、図１１（ｃ）において説明したように、撮像位置移動部１１７が、予め決められた画素数分だけ撮像素子１０３の位置をずらす。

撮像位置のシフトが終わると、次に、露光を行う（Ｓ５７）。ここでは、まず、撮像素子１０３のキャパシタの電荷をリセットし、直前のＡＥの結果から得られるＩＳＯ感度と絞り値で、ステップＳ４１において算出した露光時間だけ露光を行う。ステップＳ５１における露光が終わると、撮像素子１０３から画像信号の読出しを行う（Ｓ５９）。

読出しを行うと、次に、合成を行う（Ｓ６１）。図１２を用いて説明したように、３回の露光において、被写体の同一位置に対応する画素が撮像画像生成用画素である場合には、３つの画像信号の加算値を撮像画像の合成データとする。一方、３回の露光において、被写体の同一位置に対応する画素の１つが焦点検出用画素である場合には、撮像画像生成用画素から取得した画像データの３／２倍を撮像画像の合成データとする。ステップＳ６１における合成を行うと、元のフローに戻る。

次に、ステップＳ３１における動画撮影の動作について、図１３および図１４を用いて説明する。図１３に示すフローチャートの説明を行う前に、本実施形態における動画撮影について、図１４を用いて説明する。動画撮影の際には、所定のフレーム周期に応じて露光が繰り返されることから、静止画撮影の際に行った撮像素子１０３のシフト動作は行わない。静止画撮影と比較し動画撮影では、撮影画像の画素数が少なくても十分な画質が保たれることから、焦点検出用画素が含まれる画素列を間引くようにする。

図１４に動画撮影時の画像の間引きの様子を示す。画素（エ、４）、（シ、４）、（オ、５）、（ス、５）は、焦点検出用画素であることから、ライン４およびライン５の画素は、全て間引き処理を行う。同様に、画素（エ、１２）、（セ、１２）、（オ、１３）、（ス、１３）は、焦点検出用画素であることから、ライン１２およびライン１３の画素は、全て間引き処理を行う。ライン４、５、１２、１３以外にも、ライン１、８、９、１６も間引き処理を行う。動画としての画質を保つに、十分な程度の間引き処理を行えばよい。

なお、間引き処理としては、撮像素子１０３から画像信号を読み出す際に、ライン指定が可能な素子であれば、ライン指定により必要なラインの画像信号のみを読み出す。ライン指定が可能でない場合には、一旦、全画素の画像信号を読出した後に、必要なラインの画像信号のみを選択するようにすればよい。

次に、図１３に示すフローチャートを用いて、動画撮影の動作を説明する。動画撮影のフローに入ると、まず、撮影を行う（Ｓ７１）。ここでは、決定した撮影時のＩＳＯ感度、絞り値、シャッタ速度を用いて露出制御を行う。なお、シャッタ速度は、メカシャッタ１０１ではなく、撮像素子１０３の電子シャッタによって制御を行う。

撮影を行うと、次に画像データの間引きを行う（Ｓ７３）。ここでは、図１４を用いて説明したように、焦点検出用画素を使用しないように、撮影した画像データの間引きを行う。例えば、焦点検出用画素が含まれるラインを使用せずに、一定間隔ずつ使用するように、ライン間引きを行う。画像データ間引きを行うと元のフローに戻る。

なお、本実施形態においても、静止画で行ったような分割露光と合成により画像データを生成するようにしてもよい。静止画は１０数Ｍピクセルに対し、動画は数Ｍピクセルであることから、このような間引きをしても、十分な画質の画像を得ることができる。

次に、ステップＳ２７およびＳ３３における画像処理の動作について、図１５に示すフローチャートを用いて説明する。画像処理のフローがスタートすると、まず、現像処理を行う（Ｓ８１）。ここでは、ベイヤ―配列の画像データに対して、画像処理部１０９が、ＯＢ（Optical Black）減算、ＷＢ（White Balance）補正、同時化処理、カラーマトリックス乗算、ガンマ変換、エッジ強調、ＮＲ（Noise Reduction）等の画像処理を行う。

ステップＳ８１において現像処理を行うと、次に、ＬＣＤ表示を行う（Ｓ８３）。ここでは、現像処理が行われた画像データを用いて、ＬＣＤ１３５に画像の表示を行う。ステップＳ２７における画像処理の場合には、レックビューとして表示を行い、またステップＳ３３における画像処理の場合には、動画のライブビューとして表示を行う。

ステップＳ８３においてＬＣＤ表示を行うと、次に、現在のモードが静止画であるか否かを判定する（Ｓ８５）。動画釦によって動作撮影モードが選択されていなければ、静止画モードである。この判定の結果、静止画であれば、次に、ＪＰＥＧ記録を行う（Ｓ８７）。ここでは、画像データを、画像圧縮伸張部１１５によって、ＪＰＥＧ圧縮を行い、この圧縮処理の行われた画像データを記録媒体１３１に記録する。なお、カメラの設定によって、画像圧縮と共にＲＡＷデータも記録する。

ステップＳ８７においてＪＰＥＧ記録を行うと、またはステップＳ８５における判定の結果、静止画でなかった場合には、次に、動画記録中であるか否かを判定する（Ｓ８９）。前述したように、動画撮影中には記録中フラグがオンとなっていることから、ここでは、記録中フラグに基づいて判定する。

ステップＳ５１における判定の結果、動画記録中であれば、次に、動画ファイルへ保存を行う（Ｓ５３）。ここでは、画像圧縮伸張部１１５において動画ファイルの形式に合わせた圧縮を行い、動画ファイルに記録する。動画ファイルとしては、ＭｏｔｉｏｎＪＰＥＧ形式、ＭＰＥＧ、ＡＶＣＨＤ等がある。

動画ファイルへ保存を行うと、または、ステップＳ５１における判定の結果が、動画記録中でなかった場合には、画像処理のフローを終了し、元のフローに戻る。

以上説明したように、本発明の第１実施形態においては、撮像素子位置移動部１１７によって撮像素子１０３を変位させ、この変位の前後で合計３回の撮像を行い、３個の画像データを合成して記録用の画像データを生成している。そして、この画像データの合成時に、焦点検出用画素がある場合には、焦点検出用画素を除外し、残りの撮影画像生成用画素からの画像データを用いて画像データを生成するようにしている。このため、１つの撮像素子により高画質の画像の撮像を行うと共に、焦点検出に兼用することが可能となる。

また、本実施形態においては、撮像素子１０３のシフト動作を行うにあたって、画素ピッチの整数倍（具体的には、２画素分）だけ変位するようにしている。このため、合成のための演算を簡略化することができる。また、本実施形態においては、焦点検出用画素を有する撮像素子１０３を移動させている。撮像素子１０３は一般に軽量であることから、移動に要するエネルギを小さくすることができる。

なお、本実施形態においては、撮像素子１０３のシフトにより合計３回の撮像を行うようにしているが、この回数は３回に限らず、２回でも４回または４回を超える回数でもよい。また、撮像素子のシフト動作を行うにあたって、リセット位置に対して、２画素分、上側と下側にシフトするようにしていたが、これに限らず、異なる画素分だけ移動させるようにしてもよい。焦点検出用画素の配置を考慮し、効率的に撮像するようにすればよい。

次に、本発明の第２実施形態について、図１６ないし図１８を用いて説明する。本発明の第１実施形態においては、撮像素子位置移動部１１７によって撮像素子１０３を移動させていた。これに対して、第２実施形態においては、光軸移動レンズ２０２および光軸移動レンズ制御部２０６を設け、撮像素子１０３上に形成される被写体像を光軸移動レンズ２０２によって移動させるようにしている。

図１６に第２実施形態における電気的構成のブロック図を示すが、図１に示した第１実施形態における構成と略同様であることから、相違点を中心に説明する。カメラ本体１００では、第１実施形態においては撮像素子位置移動部１１７が設けてあったが、第２実施形態においては、撮像素子位置移動部１１７は省略されている。

交換式レンズ２００内の撮影レンズ２０１の光軸上には、光軸移動レンズ２０２が配置されている。この光軸移動レンズ２０２は、撮影レンズ２０１の光軸に対して垂直な面内で上下方向に移動可能に構成されている。この光軸移動レンズ２０２は、光軸移動レンズ制御部２０６によって、移動される。光軸移動レンズ２０２が上方向に移動すると、撮像素子１０３上に形成される被写体像は上方向に移動する。一方、光軸移動レンズ２０２が下方向に移動すると、撮像素子１０３上に形成される被写体像は下方向に移動する。

光軸移動レンズ制御部２０６は、マイクロコンピュータ２０７に接続されており、カメラ本体１００内のマイクロコンピュータ１２１からの指示に従って、光軸移動レンズ制御部２０６に対して制御命令を出力する。フラッシュメモリ２０９は、マイクロコンピュータ２０７のプログラムや各種調整値等を記憶する。各種調整値として、本実施形態においては、光軸移動レンズの２０２の移動量に応じて、撮像素子１０３上での被写体の移動量に関する光軸移動関連データが記憶されている。

交換式レンズ２００内のマイクロコンピュータ２０７は、カメラ本体１００内のマイクロコンピュータから撮像素子１０３面上での必要移動量に関する情報を受け取ると、フラッシュメモリ２０９に記憶されている光軸移動関連データに基づいて、光軸移動レンズの移動量を算出し、光軸移動レンズ制御部２０６によって光軸移動レンズ２０２の移動を行う。

次に、本発明の第２実施形態の動作について、図１７および図１８を用いて説明する。本実施形態における動作を図１７に示すフローチャートを用いて説明する前に、図１８を用いて、光軸移動レンズ２０２の移動と撮像素子１０３における撮像の関係について説明する。第１実施形態においては、撮像素子１０３がシフト動作し被写体像は固定のままであった。これに対して、第２実施形態においては、撮像素子１０３は固定のままであるが、光軸移動レンズ２０２が移動すると被写体像も移動する。

図１８は、撮像素子１０３の撮像位置を示しており、図１８（ａ）はリセット時の撮像位置を、図１８（ｂ）は光軸移動レンズ２０２のシフト動作１回目の撮像位置を、図１８（ｃ）はシフト動作２回目の撮像位置を示す。本実施形態においては、シフト動作１回目では、図１１（ｂ）に示すように、光軸移動レンズ２０２によって被写体像を下へ２画素分ずらして撮像を行う。また、シフト動作２回目では、シフト動作１回目の位置から被写体像を上へ４画素分ずらす。２回目のシフト動作は、リセット時の撮像位置に対して上へ２画素分ずらすことに対応する。

図１８（ａ）〜（ｃ）において、太枠の範囲は、第１実施形態の場合と同様（図１１参照）、被写体の同一部分が露光される範囲である。撮像素子１０３の位置は移動しないが、被写体像（図１８において太枠の範囲）は移動し、光軸移動レンズ２０２は光軸移動レンズ制御部２０６によって上下方向（Ｙ方向）に移動するので、光軸移動レンズ２０２がシフトするたびに被写体像の同一部分は異なる画素によって撮像される。

例えば、リセット時において、太枠の範囲、すなわち画素（ア、１）（ク、１）（ア、８）、（ク、８）で囲まれた範囲の画像は（図１８（ａ）参照）、シフト動作１回目では、画素（ア、３）（ク、３）、（ア、１０）、（ク、１０）の範囲の画素によって撮像される（図１８（ｂ）参照）。同様に、シフト動作２回目では、画素（ア、−１）（ク、−１）、（ア、６）、（ク、６）の範囲の画素によって撮像される（図１８（ｃ）参照）。

本実施形態においても、３回撮像する内の１回が焦点検出用画素によって撮像される場合がある。そこで、本実施形態においても、被写体の同一位置を露光する画素のデータの一つが焦点検出用画素を含む場合には、焦点検出用画素ではない、残り２つの撮像画像生成用画素の画像信号を加算し、この加算値を３／２倍したデータをその画素の合成データとする。

次に、本実施形態における静止画撮影のフローについて、図１７に示すフローチャートを用いて説明する。なお、本実施形態においても、図９に示したメインフロー、図１３に示した動画撮影のフロー、図１５に示した画像処理のフローは同様に実行する。本実施形態における静止画撮影のフローと、図１０に示した第１実施形態における静止画撮影のフローを比較すると、ステップＳ４４、Ｓ５０、Ｓ５６が異なり、他のステップは同様であることから、同じ処理を行うステップは、同一のステップ番号を付し、詳しい説明は省略する。

静止画撮影のフローに入ると、まず、露光時間を算出する（Ｓ４１）。本実施形態においても、３回に分けて露光を行うことから、各回での露光時間は、ステップＳ１１において算出された露光時間の１／３となる。

露光時間を算出すると、次に、光軸リセットを行う（Ｓ４４）。ここでは、光軸移動レンズ制御部２０６によって、光軸移動レンズ２０２の光軸が撮影レンズ２０１の光軸と一致させる。これによって、撮像中心が光軸と一致する。

光軸リセットを行うと、次に、露光を行い（Ｓ４５）、露光が終わると、撮像素子１０３から画像信号の読出しを行う（Ｓ４７）。読出しを行うと、次に、第１回目の光軸シフトを行う（Ｓ５０）。ここでは、カメラ本体側から交換式レンズ側に、撮像素子１０３面上の移動量（例えば、何μｍ移動させるか）を伝え、交換式レンズ２００でその距離を移動するように、光軸移動レンズ２０２を移動させる。

ステップＳ５０において光軸シフトを行うと、次に、露光を行い（Ｓ５１）、露光が終わると画像信号の読出しを行う（Ｓ５３）。読出しを行うと、第２回目の光軸移動レンズの光軸シフトを行う（Ｓ５６）。ここでもカメラ本体側から交換式レンズ側に、撮像素子１０３面上の移動量（例えば、何μｍ移動させるか）を伝え、交換式レンズ２００でその距離を移動するように、光軸移動レンズ２０２を移動させる。

ステップＳ５６において、光軸シフトを行うと、次に、露光を行い（Ｓ５７）、露光が終わると、画像信号の読出しを行う（Ｓ５９）。読出しが終わると、次に、合成を行う（Ｓ６１）本実施形態においても、第１実施形態の場合と同様、３回の露光において、被写体の同一位置に対応する画素が撮像画像生成用画素である場合には、３つの画像信号の加算値を撮像画像の合成データとする。一方、３回の露光において、被写体の同一位置に対応する画素の１つが焦点検出用画素である場合には、撮像画像生成用画素から取得した画像データの３／２倍を撮像画像の合成データとする。ステップＳ６１における合成を行うと、元のフローに戻る。

以上説明したように、本発明の第２実施形態においては、撮影光学系の一部である光軸移動レンズ２０２を、撮影光学系の光軸の垂直な平面内で変位させている。このため、撮像素子１０３を固定したままであっても、焦点検出用画素が存在する位置の撮像画像データを算出することができる。

なお、本実施形態においては、ステップＳ５０、Ｓ５６において、カメラ本体側から撮像素子１０３面上の移動量を交換式レンズ２００側に伝達し、交換式レンズ２００側で光軸移動レンズ２０２の移動量を算出していた。しかし、これに限らず、交換式レンズ２００側で所定量レンズを移動させたときの光軸移動距離をカメラ本体１００側に伝え、カメラ側でその移動距離から何ピクセル（画素）分の移動が生じたのか算出して、合成時にその分移動させた画像を合成するようにしてもよい。

以上説明したように、本発明の各実施形態においては、フォトダイオード１１を含む撮像画像生成用画素がマトリクス状に配置された第１画素群と、ＡＦ検出用ダイオード１１ｂを含む焦点検出用画素からなる第２画素群と、第１画素群に面して配置されたカラーフィルタ１５と、第２画素群に面して配置された輝度フィルタ１５ｂと、第１および第２画素群に面して配置されたマイクロレンズ１７を有する撮像素子１０３と、撮像素子１０３の撮像面と、この面に結像する被写体像の相対的な位置を、撮影光学系の光軸に垂直な平面内で変位させるシフト部（撮像素子位置移動部１１７または光軸移動レンズ制御部２０６）と、撮像素子１０３を変位させる前後で複数回の撮像を行い複数の画像データを生成し、第１画素群と第２画素群の画像データを合成するマイクロコンピュータ１２１を有している。そして、上記画像データの合成にあたっては、被写体の同一部分を表わす画素のデータであって且つ第２画素群に属さない画素のデータ同士を合成して記録用の画像データを生成している。このため、１つの撮像素子により高画質の画像の撮像を行うと共に、焦点検出に兼用することが可能となる。

なお、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１１・・・フォトダイオード、１１ｂ・・・ＡＦ検出用フォトダイオード、１３・・・遮光部材、１５・・・カラーフィルタ、１５ｂ・・・輝度フィルタ、１７・・・マイクロレンズ、１９・・・射出瞳、２１〜２５・・・被写体光束、１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０３ａ・・・ＣＣＤチップ、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１１１・・・ＡＥ処理出部、１１３・・・ＡＦ処理部、１１５・・・画像圧縮伸張部、１１７・・・撮像素子位置移動部、１１９・・・バス、１２１・・・マイクロコンピュータ、１２１・・・クロックジェネレータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・ＣＤドライバ、１３５・・・ＬＣＤ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０２・・・光軸移動レンズ、２０３・・・絞り、２０５・・・ドライバ、２０６・・・光軸移動レンズ制御部、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、３００・・・Ｉ／Ｆ、４０１・・・固定枠、４０１ａ〜４０１ｂ・・・突起部、４０３・・・ホルダ、４０５ａ・・・圧電体Ａ、４０５ｂ・・・圧電体Ｂ、４０７ａ・・・バネＡ、４０７ｂ・・・バネＢ、４０９ａ〜４０９ｃ・・・保持板、４１１・・・ボール、４２３・・・ネジ、４１５・・・フレキ、４１５ａ・・・フレキ、４２１・・・固定板、４２３・・・主回路基板、４２５ａ・・・接続部、４２５ｂ・・・接続部、４２７・・・受け部材、４２９ａ・・・コネクタ、４２９ｂ・・・コネクタ、４３１・・・スペーサ、４３３・・・保護ガラス、４３５・・・フィルタ受け部材、４３７・・・フレキシブル基板、４４１・・・ネジ、４４３・・・支持部材、４４５・・・押圧部材、４４７・・・受け部材、４４９・・・圧電素子、４５１・・・防塵フィルタ受け部、４５３・・・シール、４５５・・・段部、４５７・・・防塵フィルタ、４５９・・・開口、４６１・・・ＬＰＦ、４６３・・・受け部材、４７１・・・突起板、４７１ａ・・・突起、４７３・・・保持シート、５００・・・撮像素子シフト制御回路、５０１・・・Ｎ進フィルタ、５０３・・・１／２分周回路、５０５・・・インバータ、５０７ａ〜５０７ｃ・・・ＭＯＳトランジスタ、５０９・・・トランス、５１１・・・抵抗、５２０・・・電源回路

Claims

撮像用画素がマトリクス状に配置された第１画素群と、焦点検出用の第２画素群と、上記第１画素群に属するそれぞれの画素に面して配置されたカラーフィルタと、上記第２画素群のそれぞれの画素に面して配置された輝度フィルタと、上記第１画素群、及び上記第２画素群のそれぞれの画素に面して配置されたマイクロレンズと、を有する撮像素子と、
上記撮像素子の撮像面と該撮像面に結像する被写体像との相対的な位置を、撮影光学系の光軸に垂直な平面内で画素ピッチの整数倍変位させるシフト部と、
上記撮像素子シフト部で上記撮像素子を変位させる前後で複数回の撮像を行い複数の画像データを生成する撮像制御部と、
上記複数の画像データのうち、被写体の同一部分を表わす画素のデータであって且つ上記第２画素群に属さない画素のデータ同士を合成して、記録用の画像データを生成する画像処理部と、
上記第２画素群によって生成される画像信号に基づいて焦点状態を検出する焦点検出部と、
を備えたことを特徴とする撮像装置。
上記画像処理部は、上記被写体の同一部分を表わす画素に上記第２画素群に属する画素が存在するときは、該被写体の同一部分を表わす画素のデータであって且つ該第２画素群に属さない画素のデータ同士を合成した画素のデータを増幅するものであることを特徴とする請求項１に記載の撮像装置。
上記第１画素群に属する画素によって生成される画像信号のみに基づいて動画データを生成する動画データ生成部をさらに備えたことを特徴とする請求項１に記載の撮像装置。
上記シフト部は、撮影光学系を該撮影光学系の光軸に垂直な平面内で変位させるものであることを特徴とする請求項１に記載の撮像装置。
上記シフト部は、上記撮像素子を上記撮影光学系の光軸に垂直な平面内で変位させるものであることを特徴とする請求項１に記載の撮像装置。
上記焦点検出用の第２画素群は、撮影光学系の異なる瞳領域を通過した被写体光束のうち、一方の瞳領域を通過した光束を受光する位置に配置された第１の焦点検出用画素群と、他方の瞳領域を通過した光束を受光する位置に配置された第２の焦点検出用画素群とを含むことを特徴とする請求項１に記載の撮像装置。