JP2013135410A

JP2013135410A - 撮像装置および評価値生成装置

Info

Publication number: JP2013135410A
Application number: JP2011286029A
Authority: JP
Inventors: Yoshinobu Tanaka; 義信田中; Takashi Yanada; 崇志梁田; Tomoyuki Sengoku; 知行仙石
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2011-12-27
Filing date: 2011-12-27
Publication date: 2013-07-08
Anticipated expiration: 2031-12-27
Also published as: US20130162863A1; US9007479B2; JP5829122B2

Abstract

【課題】回路規模を著しく増大させることなく、リアルタイムに入力される画像データ以外からＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成することができる撮像装置および評価値生成装置を提供する。
【解決手段】固体撮像装置から入力された画素信号に応じた画像データを、第１の画像データとして出力する画像データインターフェース部と、記憶部に記憶している画像データを読み出し、該読み出した画像データを、第２の画像データとして出力する画像データ読み出し部と、入力された画像データに基づいた評価値を生成する評価値生成部と、第１の画像データに基づいた画像データまたは第２の画像データに基づいた画像データのいずれか一方の画像データを、評価値生成部に入力する画像データとして選択する画像データ選択部と、第１の画像データに基づいた画像データを、記憶部に記憶させる画像データ書き込み部と、を備える。
【選択図】図１

Description

本発明は、撮像装置および評価値生成装置に関する。

近年のデジタルカメラなどの撮像装置における撮影に関する制御として、自動露出（ＡｕｔｏＥｘｐｏｓｕｒｅ：ＡＥ）、オートホワイトバランス（ＡｕｔｏＷｈｉｔｅＢａｌａｎｃｅ：ＡＷＢ）、自動焦点（ＡｕｔｏＦｏｃｕｓ：ＡＦ）などの制御がある。

従来の撮像装置におけるＡＥ、ＡＷＢ、およびＡＦの制御では、固体撮像装置（以下、「イメージセンサ」という）から出力される画素信号に基づいて、それぞれの制御を行うための評価値（ＡＥ評価値、ＡＷＢ評価値、ＡＦ評価値）を生成している。このとき、従来の撮像装置では、イメージセンサから出力される画素信号を取り込みつつ、それぞれの評価値を生成する評価値生成部（ＡＥ評価値生成部、ＡＷＢ評価値生成部、ＡＦ評価値生成部）が、リアルタイムに、それぞれの評価値を生成する（特許文献１参照）。

図１０は、従来の撮像装置の概略構成を示したブロック図である。図１０において、撮像装置は、イメージセンサと、撮像処理部と、画像処理部と、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）コントローラと、ＤＲＡＭと、表示処理部と、表示デバイスと、ＣＰＵと、を備えている。また、図１０には、撮像処理部内の概略構成も併せて示している。図１０において撮像処理部は、撮像ＩＦ（インターフェース）部と、前処理部と、ＡＥ評価値生成部と、ＡＷＢ評価値生成部と、ＡＦ評価値生成部と、出力ＤＭＡ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓ）部と、を備えている。

図１０に示した従来の撮像装置では、撮像ＩＦ部が、イメージセンサから画素信号を取り込み、取り込んだ画素信号を画像データとして前処理部に出力する。前処理部は、撮像ＩＦ部から入力された画像データに様々な処理を施す。図１０には、それぞれの処理を行う処理部を３つ備えた前処理部の一例を示している。前処理部は、それぞれの処理部が順次処理を施した最終の画像データを、ＡＥ評価値生成部、ＡＷＢ評価値生成部、ＡＦ評価値生成部、および出力ＤＭＡ部のそれぞれに出力する。

ＡＥ評価値生成部、ＡＷＢ評価値生成部、およびＡＦ評価値生成部は、それぞれ、前処理部から入力された画像データに基づいて、評価値を生成する。ＡＥ評価値生成部、ＡＷＢ評価値生成部、およびＡＦ評価値生成部のそれぞれは、生成したＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を、ＤＲＡＭコントローラを介してＤＲＡＭに格納する。ＣＰＵは、ＤＲＡＭに格納されているそれぞれの評価値を用いて、従来の撮像装置におけるＡＥ、ＡＷＢ、およびＡＦの制御を行う。

なお、ＡＥ評価値生成部、ＡＷＢ評価値生成部、およびＡＦ評価値生成部のそれぞれが、生成したＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値をＤＲＡＭに格納せず、生成した評価値を、それぞれの評価値生成部内のレジスタに保持する構成の場合もある。このような構成の場合には、ＣＰＵは、それぞれの評価値生成部から評価値の生成が完了したことを表す通知を受け取った後に、それぞれの評価値生成部内のレジスタに保持しているそれぞれの評価値を読み出し、読み出したそれぞれの評価値を用いて、撮像装置におけるＡＥ、ＡＷＢ、およびＡＦの制御を行う。

また、出力ＤＭＡ部は、前処理部から入力された画像データを、ＤＲＡＭコントローラを介してＤＲＡＭに格納する。ここでＤＲＡＭに格納された画像データが、後に、画像処理部によって画像処理される元の画像データになる。

このような構成によって、従来の撮像装置では、イメージセンサから出力される画素信号をリアルタイムに取り込みながら、ＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成する。これにより、従来の撮像装置では、ＡＥ、ＡＷＢ、およびＡＦの制御を行うためのＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を、即座に生成することができる。

特開２００８−５０４８号公報

しかしながら、特許文献１で開示されたような従来の撮像装置では、リアルタイムに入力される画像データ以外から、ＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成することができない。例えば、一旦ＤＲＡＭに格納された画像データに基づいたＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成することができない。

そこで、ＤＲＡＭに格納された画像データに基づいたＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成するＡＥ評価値生成部、ＡＷＢ評価値生成部、およびＡＦ評価値生成部を別途専用に搭載することが考えられる。これにより、リアルタイムに入力される画像データ以外からＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成することができるようになる。しかし、ＡＥ評価値生成部、ＡＷＢ評価値生成部、およびＡＦ評価値生成部を別途設ける方法では、撮像装置の回路規模が著しく増大してしまうという問題がある。

本発明は、上記の課題認識に基づいてなされたものであり、回路規模を著しく増大させることなく、リアルタイムに入力される画像データ以外からＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成することができる撮像装置および評価値生成装置を提供することを目的としている。

上記の課題を解決するため、本発明の撮像装置は、固体撮像装置から入力された画素信号に応じた画像データを、第１の画像データとして出力する画像データインターフェース部と、記憶部に記憶している画像データを読み出し、該読み出した画像データを、第２の画像データとして出力する画像データ読み出し部と、入力された画像データに基づいた評価値を生成する評価値生成部と、前記第１の画像データに基づいた画像データまたは前記第２の画像データに基づいた画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択する画像データ選択部と、前記第１の画像データに基づいた画像データを、前記記憶部に記憶させる画像データ書き込み部と、を備えることを特徴とする。

また、本発明の撮像装置は、入力された画像データに対して、予め定められた処理を行う第１の前処理部と、入力された画像データに対して、予め定められた処理を行う第２の前処理部と、をさらに備え、前記第１の前処理部は、入力された前記第１の画像データまたは前記第２の画像データのいずれか一方の画像データに対して、予め定められた処理を行った画像データを、第３の画像データとして出力し、前記第２の前処理部は、入力された前記第１の画像データまたは前記第２の画像データのいずれか他方の画像データに対して、予め定められた処理を行った画像データを、第４の画像データとして出力し、前記画像データ選択部は、前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択し、前記画像データ書き込み部は、前記第１の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記記憶部に記憶させる、ことを特徴とする。

また、本発明の前記第１の前処理部は、入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの処理部であり、前記第２の前処理部は、入力された画像データを、予め定められた時間だけ遅延させて出力する処理を行う、少なくとも１つの遅延部である、ことを特徴とする。

また、本発明の撮像装置における前記予め定められた時間は、前記第１の前処理部に画像データが入力されてから、前記予め定められた補正処理を行って出力するまでの遅延時間と同じ時間である、ことを特徴とする。

また、本発明の前記第１の前処理部は、入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第１の処理部であり、前記第２の前処理部は、入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第２の処理部である、ことを特徴とする。

また、本発明の撮像装置において、前記評価値生成部が、前記固体撮像装置から入力された画素信号に応じた画像データに基づいた評価値を生成する場合、前記画像データ選択部は、前記第１の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択し、前記評価値生成部が、前記記憶部に記憶している画像データに基づいた評価値を生成する場合、前記画像データ選択部は、前記第２の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択する、ことを特徴とする。

また、本発明の撮像装置は、前記記憶部に記憶している画像データに対して予め定められた画像処理を行い、該画像処理をした後の画像データを、再び前記記憶部に記憶させる画像処理部、をさらに備え、前記評価値生成部が、前記画像処理部が画像処理をした後の前記画像データに基づいた評価値を生成する場合、前記画像データ読み出し部は、前記記憶部に記憶している、前記画像処理部が画像処理をした後の前記画像データを読み出して、前記第２の画像データとして出力し、前記画像データ選択部は、前記第２の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択する、ことを特徴とする。

また、本発明の撮像装置は、前記記憶部に記憶している画像データに基づいて、該画像データに含まれる被写体の動きを検出する動き検出部、をさらに備え、前記評価値生成部が、前記動き検出部が検出した被写体の動きに応じた評価値を生成する場合、前記画像データ読み出し部は、前記記憶部に記憶している、前記動き検出部が被写体の動きを検出する際に用いた前記画像データを読み出して、前記第２の画像データとして出力し、前記画像データ選択部は、前記第２の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択する、ことを特徴とする。

また、本発明の撮像装置において、前記固体撮像装置が、１枚の画像の画素信号を複数のフィールドに分けて出力し、前記評価値生成部が、前記固体撮像装置から入力された１枚の画像の画素信号に応じた画像データに基づいた評価値を生成する場合、前記画像データインターフェース部は、前記固体撮像装置から複数のフィールドに分かれて入力されたそれぞれの画素信号に応じたそれぞれのフィールドの画像データを、それぞれのフィールドの前記第１の画像データとして出力し、前記画像データ書き込み部は、それぞれのフィールドの前記第１の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記記憶部に順次記憶させ、前記画像データ読み出し部は、前記記憶部に記憶しているそれぞれのフィールドの前記第１の画像データを、１枚の画像に合わせた状態となるように、１枚の画像を構成する全てのフィールドの前記第１の画像データを読み出して、１枚の画像に対応した前記第２の画像データとして出力し、前記画像データ選択部は、１枚の画像に対応した前記第２の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択する、ことを特徴とする。

また、本発明の撮像装置は、前記記憶部に記憶している画像データに対して予め定められた画像処理を行い、該画像処理をした後の画像データを、再び前記記憶部に記憶させる画像処理部、をさらに備え、前記評価値生成部が、前記固体撮像装置の露光条件を変えて得られたそれぞれの画素信号に応じたそれぞれの画像データを、前記画像処理部が画像処理をした後の前記画像データに基づいた評価値を生成する場合、前記画像データインターフェース部は、前記固体撮像装置から入力されたそれぞれの露光条件の画素信号に応じたそれぞれの露光条件の画像データを、それぞれの露光条件の前記第１の画像データとして出力し、前記画像データ書き込み部は、それぞれの露光条件の前記第１の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記記憶部に順次記憶させ、前記画像データ読み出し部は、前記記憶部に記憶している、前記画像処理部がそれぞれの露光条件の前記第１の画像データを１枚の画像に合成する画像処理をした後の１枚の前記画像データを読み出して、前記第２の画像データとして出力し、前記画像データ選択部は、１枚の前記第２の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択する、ことを特徴とする。

また、本発明の撮像装置において、当該撮像装置は、複数の前記評価値生成部と、複数の前記評価値生成部のそれぞれに対応した複数の前記画像データ選択部と、を備え、それぞれの前記画像データ選択部は、対応する前記評価値生成部が評価値を生成する際に用いる前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、対応する前記評価値生成部に入力する画像データとして選択する、ことを特徴とする。

また、本発明の撮像装置において、少なくとも１つの前記画像データ選択部は、対応する前記評価値生成部が評価値を生成する際に用いる前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、対応する前記評価値生成部に入力する画像データとして選択し、少なくとも別の１つの前記画像データ選択部は、対応する前記評価値生成部が評価値を生成する際に用いる前記第１の画像データまたは前記第２の画像データのいずれか他方に基づいた前記第３の画像データまたは前記第４の画像データのいずれか他方の画像データを、対応する前記評価値生成部に入力する画像データとして選択する、ことを特徴とする。

また、本発明の評価値生成装置は、固体撮像装置から入力された画素信号に応じた画像データを、第１の画像データとして出力する画像データインターフェース部と、記憶部に記憶している画像データを読み出し、該読み出した画像データを、第２の画像データとして出力する画像データ読み出し部と、入力された画像データに基づいた評価値を生成する評価値生成部と、前記第１の画像データに基づいた画像データまたは前記第２の画像データに基づいた画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択する画像データ選択部と、前記第１の画像データに基づいた画像データを、前記記憶部に記憶させる画像データ書き込み部と、を備えることを特徴とする。

本発明によれば、回路規模を著しく増大させることなく、リアルタイムに入力される画像データ以外からＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成することができるという効果が得られる。

本発明の実施形態における撮像装置の概略構成を示したブロック図である。本実施形態の撮像装置による評価値生成の第１の動作の一例を模式的に示した図である。本実施形態の撮像装置による評価値生成の第２の動作の一例を模式的に示した図である。本実施形態の撮像装置による評価値生成の第３の動作の一例を模式的に示した図である。本実施形態の撮像装置による評価値生成の第３の動作における実際の運用の一例を模式的に示した図である。本実施形態の撮像装置による評価値生成の第４の動作の一例を模式的に示した図である。本実施形態の撮像装置による評価値生成の第４の動作における別の動作の一例を模式的に示した図である。本実施形態の撮像装置による評価値生成の第５の動作の一例を模式的に示した図である。本実施形態の撮像装置による評価値生成の第５の動作における実際の運用の一例を模式的に示した図である。従来の撮像装置の概略構成を示したブロック図である。

以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態における撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１０は、イメージセンサ１００と、撮像処理部２００と、画像処理部３００と、表示処理部４００と、表示デバイス４０１と、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）コントローラ５００と、ＤＲＡＭ５０１と、ＣＰＵ６００と、を備えている。

撮像装置１０内の撮像処理部２００と、画像処理部３００と、表示処理部４００と、ＤＲＡＭコントローラ５００と、ＣＰＵ６００とは、データバス７００を介してそれぞれ接続され、例えば、ＤＭＡ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓ）によってＤＲＡＭコントローラ５００に接続されたＤＲＡＭ５０１からのデータの読み出し、およびＤＲＡＭ５０１へのデータの書き込みを行う。

図１に示した撮像装置１０は、図１０に示した従来の撮像装置と同様の構成要素を備えている。ただし、撮像装置１０では、撮像処理部２００の構成が、従来の撮像装置に備えた撮像処理部の構成と異なる。図１には、従来の撮像装置と異なる構成の撮像処理部２００に注目し、その撮像処理部２００の概略構成も併せて示している。

撮像装置１０に備えた撮像処理部２００は、撮像ＩＦ（インターフェース）部２１０と、前処理部２２０と、セレクタ２３０と、ＡＥ評価値生成部２３１と、セレクタ２４０と、ＡＷＢ評価値生成部２４１と、セレクタ２５０と、ＡＦ評価値生成部２５１と、セレクタ２６０と、出力ＤＭＡ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓ）部２６１と、入力ＤＭＡ部２７０と、を備えている。

イメージセンサ１００は、図示しないズームレンズによって結像された被写体の光学像を光電変換するＣＣＤ（ＣｈａｒｇｅＣｏｐｌｅｄＤｅｖｉｃｅ：電荷結合素子）イメージセンサや、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）イメージセンサに代表されるイメージセンサである。

イメージセンサ１００には、例えば、ベイヤー配列のカラーフィルタが、撮像面に貼付されている。イメージセンサ１００は、被写体光に応じた各色（例えば、Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画素信号を、撮像処理部２００に出力する。なお、イメージセンサ１００の構成や動作は、例えば、図１０に示した従来の撮像装置に備えたイメージセンサの構成や動作と同様であるため、詳細な説明は省略する。

撮像処理部２００は、イメージセンサ１００から入力された画素信号に各種の処理を施し、撮像装置１０における撮影に関する制御（ＡＥ、ＡＷＢ、およびＡＦの制御）を行うための評価値を生成する。また、撮像処理部２００は、イメージセンサ１００から入力された画素信号に応じた画像データを、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（記憶する）。

また、撮像処理部２００は、ＤＲＡＭ５０１に格納されている画像データを、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した画像データに基づいて、撮像装置１０における撮影に関する制御（ＡＥ、ＡＷＢ、およびＡＦの制御）を行うための評価値を生成する。

撮像ＩＦ部２１０は、イメージセンサ１００から入力された画素信号を取り込み、取り込んだ画素信号を画像データとして前処理部２２０に出力する。撮像ＩＦ部２１０は、画像データを前処理部２２０に出力する際、イメージセンサ１００から入力された各色の画素信号のデータを、以降の処理に使用する画素の色の順番に並べ替える、並べ替え処理などを行う。また、撮像ＩＦ部２１０は、イメージセンサ１００が差動インターフェースによって画素信号を出力するイメージセンサである場合には、例えば、ＬＶＤＳ（Ｌｏｗｖｏｌｔａｇｅｄｉｆｆｅｒｅｎｔｉａｌｓｉｇｎａｌｉｎｇ）の終端の処理なども行う。なお、撮像ＩＦ部２１０の構成や動作は、例えば、図１０に示した従来の撮像装置に備えた撮像ＩＦ部の構成や動作と同様であるため、詳細な説明は省略する。

前処理部２２０は、撮像ＩＦ部２１０から入力された画像データに対して、キズ補正やシェーディング補正などの様々な前処理を施し、処理した結果の画像データ（以下、「前処理画像データ」という）を、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。

また、前処理部２２０は、入力ＤＭＡ部２７０から入力された画像データを予め定めた時間だけ遅らせた画像データ（以下、「遅延画像データ」という）を、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。

図１に示したように、前処理部２２０は、セレクタ２２１と、３つの処理部２２２ａ〜２２２ｃと、３つのディレイ部２２３ａ〜２２３ｃと、を備えている。図１には、図１０に示した従来の撮像装置に備えた前処理部と同様に、それぞれの処理を順次行う３つの処理部２２２ａ〜２２２ｃを備えた前処理部２２０の一例を示している。

セレクタ２２１は、撮像ＩＦ部２１０から入力された画像データ、および入力ＤＭＡ部２７０から入力された画像データの出力先を選択する。より具体的には、セレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを、処理部２２２ａまたはディレイ部２２３ａのいずれか一方に出力する。また、セレクタ２２１は、入力ＤＭＡ部２７０から入力された画像データを、処理部２２２ａまたはディレイ部２２３ａのいずれか一方に出力する。

処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して、予め定められたそれぞれの処理（補正処理）を行う。例えば、処理部２２２ａは、入力された画像データに対して、キズ補正の処理を行う。また、例えば、処理部２２２ｂは、処理部２２２ａから入力されたキズ補正処理後の画像データに対して、シェーディング補正の処理を行う。

このようにして処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して、予め定められた処理（補正処理）を順次行う。そして、処理部２２２ｃが処理（補正処理）した後の画像データを、前処理画像データとして、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。なお、処理部２２２ａ〜２２２ｃのそれぞれの構成や動作は、例えば、図１０に示した従来の撮像装置に備えた３つの処理部の構成や動作と同様であるため、詳細な説明は省略する。

ディレイ部２２３ａ〜２２３ｃのそれぞれは、処理部２２２ａ〜２２２ｃのそれぞれに対応し、入力された画像データを、処理部２２２ａ〜２２２ｃのそれぞれの入力から出力までの遅延時間と同じ時間だけ遅らせて出力する。例えば、ディレイ部２２３ａは、入力された画像データを、処理部２２２ａのキズ補正の処理によって遅れる遅延時間（処理時間）と同じ時間だけ遅らせて出力する。また、例えば、ディレイ部２２３ｂは、ディレイ部２２３ａによって遅らされた画像データを、処理部２２２ｂのシェーディング補正の処理によって遅れる遅延時間（処理時間）と同じ時間だけ遅らせて出力する。

このようにして、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された画像データを、対応する処理部の遅延時間（処理時間）と同じ時間だけ順次遅らせて出力する。そして、ディレイ部２２３ｃが遅らせた後の画像データを、遅延画像データとして、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。

セレクタ２３０は、前処理部２２０から入力された前処理画像データまたは遅延画像データのいずれか一方の画像データを選択し、選択した画像データを、ＡＥ評価値を生成するための画像データとしてＡＥ評価値生成部２３１に出力する。

ＡＥ評価値生成部２３１は、セレクタ２３０から入力された画像データに基づいて、撮像装置１０の露出を制御するためのＡＥ評価値を演算（生成）する。イメージセンサ１００がベイヤー配列のイメージセンサである場合には、ＡＥ評価値生成部２３１は、セレクタ２３０から入力された画像データを色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）毎に積算したそれぞれのＡＥ評価値を生成する。そして、ＡＥ評価値生成部２３１は、生成したＡＥ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。なお、ＡＥ評価値生成部２３１の構成や動作は、例えば、図１０に示した従来の撮像装置に備えたＡＥ評価値生成部の構成や動作と同様であるため、詳細な説明は省略する。

なお、ＡＥ評価値生成部２３１は、生成したＡＥ評価値をＤＲＡＭ５０１に格納せず、生成したＡＥ評価値を、ＡＥ評価値生成部２３１内のレジスタに保持する構成であってもよい。この場合には、ＣＰＵ６００は、ＡＥ評価値生成部２３１からＡＥ評価値の生成が完了したことを表す通知を受け取った後に、ＡＥ評価値生成部２３１内のレジスタに保持しているＡＥ評価値を読み出し、読み出したＡＥ評価値を用いて、撮像装置１０におけるＡＥの制御を行う。

セレクタ２４０は、前処理部２２０から入力された前処理画像データまたは遅延画像データのいずれか一方の画像データを選択し、選択した画像データを、ＡＷＢ評価値を生成するための画像データとしてＡＷＢ評価値生成部２４１に出力する。

ＡＷＢ評価値生成部２４１は、セレクタ２４０から入力された画像データに基づいて、撮像装置１０のホワイトバランスを制御するためのＡＷＢ評価値を演算（生成）する。イメージセンサ１００がベイヤー配列のイメージセンサである場合には、ＡＷＢ評価値生成部２４１は、セレクタ２４０から入力された各色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データから、白（ホワイト）のレベルを調整するためのＡＷＢ評価値を生成する。そして、ＡＷＢ評価値生成部２４１は、生成したＡＷＢ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。なお、ＡＷＢ評価値生成部２４１の構成や動作は、例えば、図１０に示した従来の撮像装置に備えたＡＷＢ評価値生成部の構成や動作と同様であるため、詳細な説明は省略する。

なお、ＡＷＢ評価値生成部２４１は、生成したＡＷＢ評価値をＤＲＡＭ５０１に格納せず、生成したＡＷＢ評価値を、ＡＷＢ評価値生成部２４１内のレジスタに保持する構成であってもよい。この場合には、ＣＰＵ６００は、ＡＷＢ評価値生成部２４１からＡＷＢ評価値の生成が完了したことを表す通知を受け取った後に、ＡＷＢ評価値生成部２４１内のレジスタに保持しているＡＷＢ評価値を読み出し、読み出したＡＷＢ評価値を用いて、撮像装置１０におけるＡＷＢの制御を行う。

セレクタ２５０は、前処理部２２０から入力された前処理画像データまたは遅延画像データのいずれか一方の画像データを選択し、選択した画像データを、ＡＦ評価値を生成するための画像データとしてＡＦ評価値生成部２５１に出力する。

ＡＦ評価値生成部２５１は、セレクタ２５０から入力された画像データに基づいて、撮像装置１０の焦点を制御するためのＡＦ評価値を演算（生成）する。イメージセンサ１００がベイヤー配列のイメージセンサである場合には、ＡＦ評価値生成部２５１は、セレクタ２５０から入力された各色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データから、輝度信号（Ｙ信号）を生成し、生成したＹ信号に基づいてＡＦ評価値を生成する。そして、ＡＦ評価値生成部２５１は、生成したＡＦ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。なお、ＡＦ評価値生成部２５１の構成や動作は、例えば、図１０に示した従来の撮像装置に備えたＡＦ評価値生成部の構成や動作と同様であるため、詳細な説明は省略する。

なお、ＡＦ評価値生成部２５１は、生成したＡＦ評価値をＤＲＡＭ５０１に格納せず、生成したＡＦ評価値を、ＡＦ評価値生成部２５１内のレジスタに保持する構成であってもよい。この場合には、ＣＰＵ６００は、ＡＦ評価値生成部２５１からＡＦ評価値の生成が完了したことを表す通知を受け取った後に、ＡＦ評価値生成部２５１内のレジスタに保持しているＡＦ評価値を読み出し、読み出したＡＦ評価値を用いて、撮像装置１０におけるＡＦの制御を行う。

セレクタ２６０は、前処理部２２０から入力された前処理画像データまたは遅延画像データのいずれか一方の画像データを選択し、選択した画像データを、画像処理部３００が画像処理する元の画像データとして出力ＤＭＡ部２６１に出力する。

出力ＤＭＡ部２６１は、セレクタ２６０から入力された画像データを、ＤＭＡによって、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。イメージセンサ１００がベイヤー配列のイメージセンサである場合には、ベイヤー配列の画像データが、画像処理部３００が画像処理する元の画像データ（ベイヤーデータ）として、ＤＲＡＭ５０１に格納される。なお、出力ＤＭＡ部２６１の構成や動作は、例えば、図１０に示した従来の撮像装置に備えた出力ＤＭＡ部の構成や動作と同様であるため、詳細な説明は省略する。

入力ＤＭＡ部２７０は、ＤＭＡによって、ＤＲＡＭ５０１に格納されている画像データを、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した画像データを前処理部２２０に出力する。なお、入力ＤＭＡ部２７０が取得する画像データは、出力ＤＭＡ部２６１によって格納された画像データのみではなく、例えば、画像処理部３００によって画像処理された後にＤＲＡＭ５０１に格納された画像データでもよい。

画像処理部３００は、ＤＲＡＭ５０１に格納されている画像データを取得し（読み出し）、取得した画像データに、ノイズ除去、歪曲収差補正、ＹＣ変換処理、リサイズ処理、ＪＰＥＧ圧縮処理、およびＭＰＥＧ圧縮処理やＨ．２６４圧縮処理等の動画圧縮処理などの各種の画像処理を施して、表示用の画像データや記録用の画像データを生成する。そして、画像処理部３００は、生成した表示用の画像データや記録用の画像データを、再びＤＲＡＭ５０１に格納する（書き込む）。

また、画像処理部３００は、ＤＲＡＭ５０１に格納されている記録用の画像データを取得し（読み出し）、ＪＰＥＧ伸張処理、ＭＰＥＧ伸張処理やＨ．２６４伸張処理等の動画伸張処理などの各種の画像処理を施して、表示用の画像データを生成する。そして、画像処理部３００は、生成した表示用の画像データを、再びＤＲＡＭ５０１に格納する（書き込む）。なお、画像処理部３００の構成や動作は、例えば、図１０に示した従来の撮像装置に備えた画像処理部の構成や動作と同様であるため、詳細な説明は省略する。

表示処理部４００は、ＤＲＡＭ５０１に格納されている表示用の画像データを取得し（読み出し）、取得した表示用の画像データにＯＳＤ（Ｏｎ−ＳｃｒｅｅｎＤｉｓｐｌａｙ）表示用のデータを重畳する処理などの表示処理を施す。そして、表示処理後の画像データを、表示デバイス４０１や図示しない外部ディスプレイに出力する。なお、表示処理部４００の構成や動作は、例えば、図１０に示した従来の撮像装置に備えた表示処理部の構成や動作と同様であるため、詳細な説明は省略する。

表示デバイス４０１は、ＴＦＴ（薄膜トランジスター：ＴｈｉｎＦｉｌｍＴｒａｎｓｉｓｔｏｒ）液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）や、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示デバイスである。表示デバイス４０１は、表示処理部４００から出力された表示処理後の画像データに応じた画像を表示する。なお、表示デバイス４０１は、例えば、図１０に示した従来の撮像装置に備えた表示デバイスと同様であるため、詳細な説明は省略する。

ＤＲＡＭコントローラ５００は、データバス７００に接続されている撮像装置１０内の複数の構成要素からのＤＲＡＭ５０１へのアクセス要求、例えば、ＤＭＡのアクセス要求に応じて、接続されているＤＲＡＭ５０１へのデータの格納（書き込み）、およびＤＲＡＭ５０１からのデータの取得（読み出し）の制御を行う。なお、ＤＲＡＭコントローラ５００の構成や動作は、例えば、図１０に示した従来の撮像装置に備えたＤＲＡＭコントローラの構成や動作と同様であるため、詳細な説明は省略する。

ＤＲＡＭ５０１は、ＤＲＡＭコントローラ５００によってアクセス制御されるメモリである。ＤＲＡＭ５０１は、撮像装置１０内のそれぞれの構成要素の処理過程における様々なデータを記録する。なお、ＤＲＡＭ５０１は、例えば、図１０に示した従来の撮像装置に備えたＤＲＡＭ５０１と同様であるため、詳細な説明は省略する。

ＣＰＵ６００は、撮像装置１０の構成要素、すなわち、撮像装置１０全体を制御する。例えば、撮像装置１０における撮影動作や再生動作に応じて、撮像装置１０内の各構成要素の動作を制御する。例えば、ＣＰＵ６００は、撮像装置１０が撮影動作を行う際に、イメージセンサ１００からの画素信号の出力の開始、撮像ＩＦ部２１０による画素信号の取り込みの開始を制御する。

また、ＣＰＵ６００は、前処理部２２０内の処理部２２２ａ〜２２２ｃの設定や制御、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１の設定や制御や、出力ＤＭＡ部２６１および入力ＤＭＡ部２７０の設定を行う。また、ＣＰＵ６００は、前処理部２２０内のセレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによる画像データの選択を制御する。

このような構成によって、本実施形態の撮像装置１０では、従来の撮像装置と同様に、イメージセンサ１００から出力される画素信号をリアルタイムに取り込みながら、撮影に関するＡＥ、ＡＷＢ、およびＡＦの制御を行うためのＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を、即座に生成することができる。また、本実施形態の撮像装置１０では、入力ＤＭＡ部２７０によってＤＲＡＭ５０１に格納されている画像データを取得することによって、ＤＲＡＭ５０１に格納されている画像データに基づいて、撮影に関するＡＥ、ＡＷＢ、およびＡＦの制御を行うためのＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成することができる。すなわち、本実施形態の撮像装置１０では、リアルタイムに入力される画像データ以外からでも、ＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成することができる。

ここで、本実施形態の撮像装置１０において、ＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成する動作の一例について説明する。

＜第１の評価値生成動作＞
図２は、本実施形態の撮像装置１０による評価値生成の第１の動作の一例を模式的に示した図である。第１の評価値生成動作は、従来の撮像装置における評価値生成動作と同様の動作である。第１の評価値生成動作では、イメージセンサ１００からの画素信号の出力と同時に、リアルタイムにＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成する。図２には、図１に示した撮像装置１０のブロック図上に、第１の評価値生成動作におけるデータの経路を示している。

第１の評価値生成動作では、イメージセンサ１００から出力された画素信号が、撮像処理部２００に入力され、撮像処理部２００内の撮像ＩＦ部２１０は、入力された画素信号を画像データとして前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを処理部２２２ａに転送し、処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して順次前処理（補正処理）を施す。前処理部２２０は、処理部２２２ｃが前処理（補正処理）した前処理画像データを、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。そして、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０のそれぞれは、前処理部２２０から入力された前処理画像データを、対応するＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、ＡＦ評価値生成部２５１、および出力ＤＭＡ部２６１に、それぞれ出力する。

ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、ＡＦ評価値生成部２５１、および出力ＤＭＡ部２６１のそれぞれは、前処理部２２０から入力された前処理画像データに基づいて演算（生成）したＡＥ評価値、ＡＷＢ評価値、ＡＦ評価値、および前処理部２２０から入力された前処理画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

このように、第１の評価値生成動作では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、図２に示したような、イメージセンサ１００から出力された画素信号に応じた画像データを処理する経路を選択する。これにより、本実施形態の撮像装置１０でも、従来の撮像装置における評価値生成動作と同様の動作を行うことができる。

＜第２の評価値生成動作＞
図３は、本実施形態の撮像装置１０による評価値生成の第２の動作の一例を模式的に示した図である。第２の評価値生成動作では、イメージセンサ１００からの画素信号に応じた画像データを一旦ＤＲＡＭ５０１に格納した後、画像処理部３００がＤＲＡＭ５０１に格納された画像データに基づいて画像処理して再びＤＲＡＭ５０１に格納し、ＤＲＡＭ５０１に格納された画像処理を施した後の画像データに基づいて評価値を生成する。図３には、図１に示した撮像装置１０のブロック図上に、第２の評価値生成動作のそれぞれの処理手順におけるデータの経路を示している。

以下に、第２の評価値生成動作におけるそれぞれの処理手順を、順を追って説明する。第２の評価値生成動作では、以下の手順で評価値の生成を行う。

（手順１）：まず、撮像装置１０は、イメージセンサ１００から出力された画素信号に応じた画像データを前処理し、前処理した前処理画像データを、元の画像データ（ベイヤーデータ）としてＤＲＡＭ５０１に格納する。より具体的には、イメージセンサ１００から出力された画素信号を、撮像処理部２００に入力し、撮像処理部２００内の撮像ＩＦ部２１０が、入力された画素信号を画像データとして前処理部２２０に出力する。

そして、前処理部２２０は、撮像ＩＦ部２１０から入力された画像データに対して、処理部２２２ａ〜２２２ｃのそれぞれで順次前処理（補正処理）を施し、処理部２２２ｃが前処理（補正処理）した前処理画像データを、セレクタ２６０を介して出力ＤＭＡ部２６１に出力する。そして、出力ＤＭＡ部２６１は、前処理部２２０から入力された前処理画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

手順１では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、例えば、図３（ａ）に示した経路Ｃ１１を、データの経路として選択する。

（手順２）：続いて、撮像装置１０は、ＤＲＡＭ５０１に格納されている前処理画像データ（ベイヤーデータ）に画像処理を施し、画像処理を施した後の画像データを、ＤＲＡＭ５０１に再び格納する。より具体的には、画像処理部３００が、ＤＲＡＭ５０１に格納されている画像データを、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した画像データに、例えば、画像合成処理、ノイズ除去処理、歪曲収差補正処理、または撮像装置１０の使用者（ユーザ）の要求に応じた、画像の色を変更する編集処理などの画像処理を施す。

そして、画像処理部３００は、画像処理を施した後の画像データを、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に再び格納する。手順２では、例えば、図３（ａ）に示した経路Ｃ１２で、画像処理部３００にデータが入出力される。

（手順３）：続いて、撮像装置１０は、ＤＲＡＭ５０１に格納されている画像処理を施した後の画像データに基づいて評価値を生成する。より具体的には、撮像処理部２００内の入力ＤＭＡ部２７０が、ＤＲＡＭ５０１に格納されている画像処理を施した後の画像データを、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した画像処理を施した後の画像データを前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２７０から入力された画像処理を施した後の画像データをディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された画像処理を施した後の画像データを、予め定めた時間だけ遅らせる。

前処理部２２０は、ディレイ部２２３ｃが遅らせた遅延画像データを、セレクタ２４０を介してＡＷＢ評価値生成部２４１に出力する。そして、ＡＷＢ評価値生成部２４１は、セレクタ２４０を介して前処理部２２０から入力された遅延画像データ、すなわち、画像処理を施した後の画像データに基づいて、ＡＷＢ評価値を演算（生成）し、生成したＡＷＢ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

手順３では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、例えば、図３（ｂ）に示した経路Ｃ１３を、データの経路として選択する。

このように、第２の評価値生成動作では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、それぞれの処理手順で、図３に示したような、画像データを処理する経路を選択する。これにより、本実施形態の撮像装置１０では、イメージセンサ１００からの画素信号に応じた画像データを一旦ＤＲＡＭ５０１に格納し、画像処理部３００が画像処理を施した後の画像データ、すなわち、ＤＲＡＭ５０１に格納された画像データに基づいて評価値を生成することができる。このことにより、例えば、複数枚の画像を加算（画像合成処理）した後の画像データ、ノイズ除去処理や歪曲収差補正処理などの画像処理を行った後の画像データに対して、ＡＷＢ評価値を生成することができる。

なお、図３に示した第２の評価値生成動作では、手順１においてＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１が評価値を生成していない場合の例について説明したが、手順１において、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１が、それぞれの評価値を生成する動作にしてもよい。

また、手順３においてＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１が評価値を生成していない場合の例について説明したが、手順３において、ＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１が、前処理部２２０から入力された画像処理を施した後の画像データに基づいて、それぞれの評価値を生成する動作にしてもよい。

＜第３の評価値生成動作＞
図４は、本実施形態の撮像装置１０による評価値生成の第３の動作の一例を模式的に示した図である。第３の評価値生成動作では、イメージセンサ１００からの画素信号に応じた画像データを一旦ＤＲＡＭ５０１に格納した後、ＤＲＡＭ５０１に格納された画像データに基づいて評価値を生成する。ただし、第３の評価値生成動作では、被写体を追尾しながら、ＡＥ評価値やＡＦ評価値を生成する。

第３の評価値生成動作を行う撮像装置１０では、図１に示した撮像装置１０に、さらに動き検出部８００を備えている。図４には、図１に示した撮像装置１０のブロック図上に、第３の評価値生成動作をするための動き検出部８００を追加し、第３の評価値生成動作のそれぞれの処理手順におけるデータの経路を示している。

動き検出部８００は、ＤＲＡＭ５０１に格納されている画像データを取得し（読み出し）、取得した画像データに対して、例えば、２枚の画像を比較するブロックマッチングなどの処理を行って被写体の動きベクトルを、画像データに含まれる被写体の動きとして検出する。そして、動き検出部８００は、検出した被写体の動きを表す情報を生成し、生成した被写体の動きを表す情報を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。なお、動き検出部８００の構成や動作は、例えば、従来の撮像装置に備えた動き検出部の構成や動作と同様であるため、詳細な説明は省略する。

なお、動き検出部８００は、生成した被写体の動きを表す情報をＤＲＡＭ５０１に格納せず、生成した被写体の動きを表す情報を、動き検出部８００内のレジスタに保持する構成であってもよい。この場合には、ＣＰＵ６００は、動き検出部８００から被写体の動きを表す情報の生成が完了したことを表す通知を受け取った後に、動き検出部８００内のレジスタに保持している被写体の動きを表す情報を読み出し、読み出した被写体の動きを表す情報を用いて、ＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１の設定や制御を行う。

以下に、第３の評価値生成動作におけるそれぞれの処理手順を、順を追って説明する。第３の評価値生成動作では、以下の手順でそれぞれの評価値の生成を行う。

（手順１）：まず、撮像装置１０は、イメージセンサ１００から出力された画素信号に応じた画像データを前処理し、前処理した前処理画像データに基づいてＡＷＢ評価値を生成すると共に、前処理した前処理画像データを、元の画像データ（ベイヤーデータ）としてＤＲＡＭ５０１に格納する。より具体的には、イメージセンサ１００から出力された画素信号を、撮像処理部２００に入力し、撮像処理部２００内の撮像ＩＦ部２１０が、入力された画素信号を画像データとして前処理部２２０に出力する。

そして、前処理部２２０は、撮像ＩＦ部２１０から入力された画像データに対して、処理部２２２ａ〜２２２ｃのそれぞれで順次前処理（補正処理）を施し、処理部２２２ｃが前処理（補正処理）した前処理画像データを、セレクタ２４０を介してＡＷＢ評価値生成部２４１に、セレクタ２６０を介して出力ＤＭＡ部２６１に、それぞれ出力する。そして、ＡＷＢ評価値生成部２４１は、前処理部２２０から入力された前処理画像データに基づいて、ＡＷＢ評価値を演算（生成）し、生成したＡＷＢ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。また、出力ＤＭＡ部２６１は、前処理部２２０から入力された前処理画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

手順１では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、例えば、図４（ａ）に示した経路Ｃ２１を、データの経路として選択する。

（手順２）：続いて、撮像装置１０は、ＤＲＡＭ５０１に格納されている前処理画像データ（ベイヤーデータ）に基づいて、被写体の動きを検出する。より具体的には、動き検出部８００が、ＤＲＡＭ５０１に格納されている画像データを、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した画像データに含まれる被写体の動きを検出する。

そして、動き検出部８００は、検出した被写体の動きを表す情報を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。手順２では、例えば、図４（ａ）に示した経路Ｃ２２で、動き検出部８００にデータが入出力される。その後、ＣＰＵ６００は、動き検出部８００が検出した被写体の動きを表す情報に基づいて、ＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１の設定を行う。

（手順３）：続いて、撮像装置１０は、ＤＲＡＭ５０１に格納されている元の画像データ（ベイヤーデータ）に基づいて、ＡＥ評価値生成部２３１とＡＦ評価値生成部２５１とによって、ＡＥ評価値とＡＦ評価値とを生成する。より具体的には、撮像処理部２００内の入力ＤＭＡ部２７０が、ＤＲＡＭ５０１に格納されている前処理画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した前処理画像データ（ベイヤーデータ）を前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２７０から入力された前処理画像データ（ベイヤーデータ）をディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された前処理画像データ（ベイヤーデータ）を、予め定めた時間だけ遅らせる。

前処理部２２０は、ディレイ部２２３ｃが遅らせた遅延画像データを、セレクタ２３０を介してＡＥ評価値生成部２３１に、セレクタ２５０を介してＡＦ評価値生成部２５１に、それぞれ出力する。そして、ＡＥ評価値生成部２３１は、セレクタ２３０を介して前処理部２２０から入力された遅延画像データ、すなわち、前処理画像データ（ベイヤーデータ）に基づいて、ＡＥ評価値を演算（生成）し、生成したＡＥ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。また、ＡＦ評価値生成部２５１は、セレクタ２５０を介して前処理部２２０から入力された遅延画像データ、すなわち、前処理画像データ（ベイヤーデータ）に基づいて、ＡＦ評価値を演算（生成）し、生成したＡＦ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

手順３では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、例えば、図４（ｂ）に示した経路Ｃ２３を、データの経路として選択する。

このように、第３の評価値生成動作では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、それぞれの処理手順で、図４に示したような、画像データを処理する経路を選択する。これにより、本実施形態の撮像装置１０では、イメージセンサ１００からの画素信号に応じた画像データを一旦ＤＲＡＭ５０１に格納し、動き検出部８００が被写体の動きを検出する。これにより、被写体の動きに応じた画像データの位置（領域）に対して、ＡＥやＡＦの制御を行うことができる。

そして、本実施形態の撮像装置１０では、動き検出部８００が検出した被写体の動きを表す情報に基づいて、被写体の動きの検出に用いた画像データから、ＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１が、ＡＥ評価値およびＡＦ評価値を生成する。これにより、被写体の動きを追尾しながら、ＡＥ評価値およびＡＦ評価値を生成することができる。

なお、被写体の動きに追尾しながらそれぞれの評価値を生成する場合、図４に示した第３の評価値生成動作のように、手順１〜３を順次行うと、イメージセンサ１００からの画素信号に応じた画像データの取り込みと、被写体の動きに応じた評価値の生成とを交互に行うことになる。このため、撮像装置１０では、例えば、撮像ＩＦ部２１０がイメージセンサ１００から取り込んだ画像データを間引いて処理することになるため、評価値生成の精度が低下し、撮像装置１０の使用者（ユーザ）に違和感を与えてしまう場合がある。そこで、第３の評価値生成動作における実際の動作では、図４に示した第３の評価値生成動作の手順１〜３を同時に行うことによって、上述したような、評価値生成の精度低下を抑えることによって、撮像装置１０の使用者（ユーザ）に違和感を与えさせなくすることができる。

＜第３の評価値生成動作における実際の運用＞
図５は、本実施形態の撮像装置１０による評価値生成の第３の動作における実際の運用の一例を模式的に示した図である。図５には、第３の動作における実際の運用において同時に行う、図４に示した第３の評価値生成動作の手順１〜３の処理におけるデータの経路を、図４に示した第３の評価値生成動作に対応して示している。

図５に示した第３の評価値生成動作における実際の運用でも、図４に示した第３の評価値生成動作と同様に、イメージセンサ１００からの画素信号に応じた画像データのＤＲＡＭ５０１への格納（手順１）と、動き検出部８００による被写体の動きの検出（手順２）と、ＤＲＡＭ５０１に格納された画像データに基づいた評価値の生成（手順３）とを行う。ただし、図５に示した第３の評価値生成動作における実際の運用では、撮像ＩＦ部２１０が、異なるタイミングでイメージセンサ１００から取り込んだそれぞれの画像データに対して、手順１、手順２、または手順３の処理を行う。

より具体的には、撮像処理部２００は、撮像ＩＦ部２１０がイメージセンサ１００から１枚目の画像データを取り込んだとき、手順１によって、ＡＷＢ評価値生成部２４１による１枚目の前処理画像データに基づいたＡＷＢ評価値の演算（生成）と、出力ＤＭＡ部２６１による１枚目の前処理画像データ（ベイヤーデータ）のＤＲＡＭ５０１への格納を行う（経路Ｃ２１参照）。

その後、撮像処理部２００は、撮像ＩＦ部２１０がイメージセンサ１００から２枚目の画像データを取り込んだとき、手順１によって、ＡＷＢ評価値生成部２４１による２枚目の前処理画像データに基づいたＡＷＢ評価値の演算（生成）と、出力ＤＭＡ部２６１による２枚目の前処理画像データ（ベイヤーデータ）のＤＲＡＭ５０１への格納を行う（経路Ｃ２１参照）。また、同時に、動き検出部８００は、手順２によって、ＤＲＡＭ５０１に格納されている１枚目の前処理画像データ（ベイヤーデータ）と２枚目の前処理画像データ（ベイヤーデータ）とに基づいて、被写体の動きを検出する（経路Ｃ２２参照）。

その後、撮像処理部２００は、撮像ＩＦ部２１０がイメージセンサ１００から３枚目の画像データを取り込んだとき、手順１によって、ＡＷＢ評価値生成部２４１による３枚目の前処理画像データに基づいたＡＷＢ評価値の演算（生成）と、出力ＤＭＡ部２６１による３枚目の前処理画像データ（ベイヤーデータ）のＤＲＡＭ５０１への格納を行う（経路Ｃ２１参照）。また、同時に、動き検出部８００は、手順２によって、ＤＲＡＭ５０１に格納されている２枚目の前処理画像データ（ベイヤーデータ）と３枚目の前処理画像データ（ベイヤーデータ）とに基づいて、被写体の動きを検出する（経路Ｃ２２参照）。

また、同時に、撮像処理部２００は、手順３によって、入力ＤＭＡ部２７０がＤＲＡＭ５０１に格納されている１枚目の前処理画像データを取得し（読み出し）、取得した１枚目の前処理画像データをディレイ部２２３ａ〜２２３ｃのそれぞれによって遅らせた遅延画像データに基づいて、ＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１が、ＡＥ評価値およびＡＦ評価値の演算（生成）を行う（経路Ｃ２３参照）。

以降、撮像処理部２００は、手順１における前処理画像データに基づいたＡＷＢ評価値の演算（生成）と、前処理画像データ（ベイヤーデータ）のＤＲＡＭ５０１への格納、および手順３におけるＤＲＡＭ５０１に格納された前処理画像データに基づいたＡＥ評価値およびＡＦ評価値の演算（生成）を繰り返す。また、同時に動き検出部８００は、手順２における被写体の動きの検出を繰り返す。例えば、撮像ＩＦ部２１０がイメージセンサ１００から取り込んだそれぞれの画像データを、「フレーム」ということにすると、Ｎ枚目のフレームをＤＲＡＭ５０１に格納するときに、Ｎ−１枚目とＮ枚目のフレームとに基づいて被写体の動きを検出し、Ｎ−２枚目のフレームに基づいてＡＥ評価値およびＡＦ評価値の演算（生成）を行う。

このように、第３の評価値生成動作における実際の運用では、図４に示した第３の評価値生成動作の手順１〜３を同時に行って、イメージセンサ１００からの画素信号に応じた画像データをＤＲＡＭ５０１に格納しながら、それぞれの評価値を生成することができる。すなわち、本実施形態の撮像装置１０では、撮像ＩＦ部２１０がリアルタイムにイメージセンサ１００から取り込んだ画素信号に応じた画像データと、以前に取り込んだ異なる画像データとを、同時に処理することができる。これは、前処理部２２０内に設けたセレクタ２２１とディレイ部２２３ａ〜２２３ｃとによるものである。

なお、撮像ＩＦ部２１０が異なるタイミングで取り込んだ異なる画像データを同時に処理する方法として、例えば、ＣＰＵ６００が、前処理部２２０における処理の遅延時間（処理時間）を考慮して、入力ＤＭＡ部２７０がＤＲＡＭ５０１に格納されている画像データを取得する（読み出す）タイミングを制御する方法も考えられる。しかし、ＣＰＵ６００によるタイミングの制御は、複雑になりやすい。本実施形態の撮像装置１０では、前処理部２２０内にディレイ部２２３ａ〜２２３ｃを設けているため、容易に、以前に取り込んだ異なる画像データのタイミングを、リアルタイムに前処理されている画像データのタイミングと同じタイミングにすることができる。

より具体的には、セレクタ２２１によって、リアルタイムに撮像ＩＦ部２１０から入力されている画像データを処理部２２２ａに転送し、入力ＤＭＡ部２７０から入力された、以前に撮像ＩＦ部２１０が取り込んだ画像データをディレイ部２２３ａに転送する。そして、ディレイ部２２３ａ〜２２３ｃが、以前に撮像ＩＦ部２１０が取り込んだ画像データを、処理部２２２ａ〜２２２ｃによってリアルタイムに前処理（補正処理）されている画像データと同じタイミングにする。すなわち、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、ＡＦ評価値生成部２５１、および出力ＤＭＡ部２６１には、同じタイミングで画像データが入力される。これにより、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、ＡＦ評価値生成部２５１、および出力ＤＭＡ部２６１は、撮像ＩＦ部２１０が異なるタイミングで取り込んだ異なる画像データを、同時に処理することができる。このことにより、本実施形態の撮像装置１０では、手順１〜３を順次行うことによって生じてしまう評価値生成の精度低下を抑え、ユーザに与える違和感を少なくすることができる。

なお、図４に示した第３の評価値生成動作、および図５に示した第３の評価値生成動作における実際の運用では、動き検出部８００が被写体の動きを検出し、被写体の動きに追尾しながら、ＡＥ評価値およびＡＦ評価値を生成する場合について説明した。しかし、第３の評価値生成動作および実際の運用は、被写体の動きに追尾しながら評価値を生成する場合に限定されるものではなく、例えば、手ぶれ補正を行いながら評価値を生成することや、顔検出を行いながら評価値を生成することもできる。この場合、撮像装置１０に、動き検出部８００に代わって、または動き検出部８００にさらに加えて、手ぶれ補正部や顔検出部を備えることによって、手ぶれ補正や顔検出を行いながら評価値を生成することができる。

＜第４の評価値生成動作＞
図６は、本実施形態の撮像装置１０による評価値生成の第４の動作の一例を模式的に示した図である。第４の評価値生成動作は、イメージセンサ１００からの画素信号が複数回に分かれて入力される、いわゆる、インタレース読み出しのイメージセンサである場合における評価値の生成動作である。第４の評価値生成動作では、イメージセンサ１００から複数回に分かれて入力された画素信号に応じたそれぞれの画像データを一旦ＤＲＡＭ５０１に格納した後、ＤＲＡＭ５０１に格納されたそれぞれの画像データを合わせて１枚の画像データとし、この１枚の画像データに基づいて評価値を生成する。図６には、図１に示した撮像装置１０のブロック図上に、第４の評価値生成動作のそれぞれの処理手順におけるデータの経路を示している。

インタレース読み出しのイメージセンサには、１枚の画像の画素信号を、例えば、奇数（ＯＤＤ）フィールドと偶数（ＥＶＥＮ）フィールドとの２つのフィールドに分けて読み出す２：１インタレースや、３〜６のフィールドに分けて読み出す、それぞれ３：１インタレース、４：１インタレース、５：１インタレース、６：１インタレースなど、様々な形式がある。以下の説明においては、イメージセンサ１００が、２：１インタレースのイメージセンサである場合について説明する。なお、その他の形式のイメージセンサの場合については、１枚の画像を構成するフィールドの数が異なるのみであるため、以下に説明する２：１インタレースのイメージセンサと同様に考えることができる。

以下に、第４の評価値生成動作におけるそれぞれの処理手順を、順を追って説明する。第４の評価値生成動作では、以下の手順でそれぞれの評価値の生成を行う。

（手順１）：まず、撮像装置１０は、イメージセンサ１００から出力された奇数フィールドの画素信号に応じた奇数フィールドの画像データを前処理し、前処理した奇数フィールドの前処理画像データを、元の奇数フィールドの画像データ（ベイヤーデータ）としてＤＲＡＭ５０１に格納する。より具体的には、イメージセンサ１００から出力された奇数フィールドの画素信号を、撮像処理部２００に入力し、撮像処理部２００内の撮像ＩＦ部２１０が、入力された画素信号を奇数フィールドの画像データとして前処理部２２０に出力する。

そして、前処理部２２０は、撮像ＩＦ部２１０から入力された奇数フィールドの画像データに対して、処理部２２２ａ〜２２２ｃのそれぞれで順次前処理（補正処理）を施し、処理部２２２ｃが前処理（補正処理）した奇数フィールドの前処理画像データを、セレクタ２６０を介して出力ＤＭＡ部２６１に出力する。そして、出力ＤＭＡ部２６１は、前処理部２２０から入力された奇数フィールドの前処理画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

手順１では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、例えば、図６（ａ）に示した経路Ｃ３１を、データの経路として選択する。

（手順２）：続いて、撮像装置１０は、イメージセンサ１００から出力された偶数フィールドの画素信号に応じた偶数フィールドの画像データを前処理し、前処理した偶数フィールドの前処理画像データを、元の偶数フィールドの画像データ（ベイヤーデータ）としてＤＲＡＭ５０１に格納する。より具体的には、イメージセンサ１００から出力された偶数フィールドの画素信号を、撮像処理部２００に入力し、撮像処理部２００内の撮像ＩＦ部２１０が、入力された画素信号を偶数フィールドの画像データとして前処理部２２０に出力する。

そして、前処理部２２０は、撮像ＩＦ部２１０から入力された偶数フィールドの画像データに対して、処理部２２２ａ〜２２２ｃのそれぞれで順次前処理（補正処理）を施し、処理部２２２ｃが前処理（補正処理）した偶数フィールドの前処理画像データを、セレクタ２６０を介して出力ＤＭＡ部２６１に出力する。そして、出力ＤＭＡ部２６１は、前処理部２２０から入力された偶数フィールドの前処理画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

手順２では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、例えば、図６（ｂ）に示した経路Ｃ３２を、データの経路として選択する。

（手順３）：続いて、撮像装置１０は、ＤＲＡＭ５０１に格納されている元の奇数フィールドの画像データ（ベイヤーデータ）と元の偶数フィールドの画像データ（ベイヤーデータ）とに基づいて、ＡＷＢ評価値生成部２４１によって、ＡＷＢ評価値を生成する。より具体的には、撮像処理部２００内の入力ＤＭＡ部２７０が、ＤＲＡＭ５０１に格納されている奇数フィールドの前処理画像データ（ベイヤーデータ）と偶数フィールドの前処理画像データ（ベイヤーデータ）とを、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、前処理部２２０に出力する。

なお、入力ＤＭＡ部２７０が奇数フィールドの前処理画像データと偶数フィールドの前処理画像データとを取得する際には、例えば、奇数フィールドと偶数フィールドとの前処理画像データを、イメージセンサ１００の行毎に交互に読み出し、読み出した前処理画像データを順次出力することによって、１枚の前処理画像データ（ベイヤーデータ）として前処理部２２０に出力する。

そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２７０から入力された１枚の前処理画像データ（ベイヤーデータ）をディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された１枚の前処理画像データ（ベイヤーデータ）を、予め定めた時間だけ遅らせる。

前処理部２２０は、ディレイ部２２３ｃが遅らせた１枚の遅延画像データを、セレクタ２４０を介してＡＷＢ評価値生成部２４１に出力する。そして、ＡＷＢ評価値生成部２４１は、セレクタ２４０を介して前処理部２２０から入力された１枚の遅延画像データ、すなわち、１枚の前処理画像データ（ベイヤーデータ）に基づいて、ＡＷＢ評価値を演算（生成）し、生成したＡＷＢ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

手順３では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、例えば、図６（ｃ）に示した経路Ｃ３３を、データの経路として選択する。

このように、第４の評価値生成動作では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、それぞれの処理手順で、図６に示したような、画像データを処理する経路を選択する。これにより、本実施形態の撮像装置１０では、イメージセンサ１００からのそれぞれのフィールドの画素信号に応じた画像データを一旦ＤＲＡＭ５０１に格納し、入力ＤＭＡ部２７０がそれぞれのフィールドの画像データを１枚の画像データ、すなわち、それぞれのフィールドの画素信号を合わせた状態の画像データとして取得する（読み出す）。これにより、本実施形態の撮像装置１０では、インタレース読み出しのイメージセンサからの画素信号に応じた画像データに基づいて、ＡＷＢ評価値を生成することができる。

なお、図６に示した第４の評価値生成動作では、手順１および手順２において、それぞれのフィールドの画像データを、一旦ＤＲＡＭ５０１に格納した後に、手順３において、ＡＷＢ評価値生成部２４１がＡＷＢ評価値を生成する場合について説明した。すなわち、手順１および手順２においては、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１が評価値を生成せず、手順３においては、ＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１が評価値を生成しない場合の例について説明した。しかし、第４の評価値生成動作は、ＡＷＢ評価値生成部２４１がＡＷＢ評価値を生成する場合に限定されるものではなく、手順１、手順２、および手順３のそれぞれにおいて、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１が、それぞれの評価値を生成する動作にしてもよい。

また、図６に示した第４の評価値生成動作では、手順１および手順２において、イメージセンサ１００からのそれぞれのフィールドの画素信号に応じた、それぞれのフィールドの画像データに前処理を施した後にＤＲＡＭ５０１に格納する場合について説明した。しかし、画像データに前処理を施すタイミングは、図６に示した第４の評価値生成動作のタイミングに限定されるものではなく、例えば、それぞれのフィールドの画像データを１枚の画像データにした後に、前処理を施すこともできる。

図７は、本実施形態の撮像装置１０による評価値生成の第４の動作における別の動作の一例を模式的に示した図である。図７に示した第４の評価値生成動作の別の動作では、イメージセンサ１００から出力されたそれぞれのフィールドの画素信号に応じた画像データには前処理を施さず、入力ＤＭＡ部２７０が取得した（読み出した）１枚の画像データに対して前処理を施す場合の動作である。図７には、図１に示した撮像装置１０のブロック図上に、第４の評価値生成動作の別の動作のそれぞれの処理手順におけるデータの経路を示している。第４の評価値生成動作の別の動作では、以下の手順でそれぞれの評価値の生成を行う。

（手順１）：まず、撮像装置１０は、イメージセンサ１００から出力された奇数フィールドの画素信号に応じた奇数フィールドの画像データを、元の奇数フィールドの画像データ（ベイヤーデータ）としてＤＲＡＭ５０１に格納する。より具体的には、イメージセンサ１００から出力された奇数フィールドの画素信号を、撮像処理部２００に入力し、撮像処理部２００内の撮像ＩＦ部２１０が、入力された画素信号を奇数フィールドの画像データとして前処理部２２０に出力する。

そして、前処理部２２０内のセレクタ２２１は、撮像ＩＦ部２１０から入力された奇数フィールドの画像データをディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された奇数フィールドの画像データを、予め定めた時間だけ遅らせる。

前処理部２２０は、ディレイ部２２３ｃが遅らせた奇数フィールドの遅延画像データを、セレクタ２６０を介して出力ＤＭＡ部２６１に出力する。そして、出力ＤＭＡ部２６１は、前処理部２２０から入力された奇数フィールドの遅延画像データを、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

（手順２）：続いて、撮像装置１０は、イメージセンサ１００から出力された偶数フィールドの画素信号に応じた偶数フィールドの画像データを、元の偶数フィールドの画像データ（ベイヤーデータ）としてＤＲＡＭ５０１に格納する。より具体的には、イメージセンサ１００から出力された偶数フィールドの画素信号を、撮像処理部２００に入力し、撮像処理部２００内の撮像ＩＦ部２１０が、入力された画素信号を偶数フィールドの画像データとして前処理部２２０に出力する。

そして、前処理部２２０内のセレクタ２２１は、撮像ＩＦ部２１０から入力された偶数フィールドの画像データをディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された偶数フィールドの画像データを、予め定めた時間だけ遅らせる。

前処理部２２０は、ディレイ部２２３ｃが遅らせた偶数フィールドの遅延画像データを、セレクタ２６０を介して出力ＤＭＡ部２６１に出力する。そして、出力ＤＭＡ部２６１は、前処理部２２０から入力された偶数フィールドの遅延画像データを、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

手順１および手順２では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、例えば、図７（ａ）に示した経路Ｃ３４を、データの経路として選択する。

（手順３）：続いて、撮像装置１０は、ＤＲＡＭ５０１に格納されている元の奇数フィールドの画像データ（ベイヤーデータ）と元の偶数フィールドの画像データ（ベイヤーデータ）とに基づいて、ＡＷＢ評価値生成部２４１によって、ＡＷＢ評価値を生成する。より具体的には、撮像処理部２００内の入力ＤＭＡ部２７０が、ＤＲＡＭ５０１に格納されている奇数フィールドの遅延画像データ（ベイヤーデータ）と偶数フィールドの遅延画像データ（ベイヤーデータ）とを、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、前処理部２２０に出力する。

なお、入力ＤＭＡ部２７０が奇数フィールドの遅延画像データと偶数フィールドの遅延画像データとを取得する際には、上述したような方法によって、それぞれのフィールドの画素信号を合わせた状態の画像データ、すなわち、それぞれのフィールドの遅延画像データを１枚の画像データとして取得し（読み出し）、前処理部２２０に出力する。

そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２７０から入力された１枚の画像データ（ベイヤーデータ）を処理部２２２ａに転送し、処理部２２２ａ〜２２２ｃのそれぞれは、入力された１枚の画像データ（ベイヤーデータ）に対して順次前処理（補正処理）を施す。

前処理部２２０は、処理部２２２ｃが前処理（補正処理）した１枚の画像データを、セレクタ２４０を介してＡＷＢ評価値生成部２４１に出力する。そして、ＡＷＢ評価値生成部２４１は、セレクタ２４０を介して前処理部２２０から入力された１枚の画像データ（ベイヤーデータ）に基づいて、ＡＷＢ評価値を演算（生成）し、生成したＡＷＢ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

手順３では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、例えば、図７（ｂ）に示した経路Ｃ３５を、データの経路として選択する。

このように、第４の評価値生成動作の別の動作でも、それぞれのフィールドの画像データを１枚の画像データ、すなわち、それぞれのフィールドの画素信号を合わせた状態の画像データに基づいて、ＡＷＢ評価値を生成することができる。この第４の評価値生成動作の別の動作は、例えば、それぞれのフィールドの画像データの単位では効果が少ない、または効果がない前処理（補正処理）、すなわち、１枚の画像データが揃った状態で効果が得られる前処理（補正処理）がある場合に、その前処理（補正処理）を有効に画像データに施すことができる点で有用である。

なお、図６に示した第４の評価値生成動作、および図７に示した第４の評価値生成動作の別の動作では、処理部２２２ａ〜２２２ｃのそれぞれが、入力された画像データに対して順次前処理（補正処理）を施す場合について説明したが、画像データに施す前処理（補正処理）は、順次行うことに限定されるものではない。例えば、処理部２２２ａ〜２２２ｃのそれぞれに、入力された画像データに対して前処理（補正処理）を施すか否かを切り換える、すなわち、前処理（補正処理）をＯＮまたはＯＦＦする機能を備え、評価値生成動作の手順毎に、例えば、ＣＰＵ６００が処理部２２２ａ〜２２２ｃのそれぞれに対して前処理（補正処理）を施すか否かを切り換える構成とすることもできる。

例えば、処理部２２２ｂの処理（補正処理）が、１枚の画像データが揃った状態で有効な効果が得られる前処理（言い換えると、それぞれの画像データの単位では有効な効果が得られない前処理）であった場合を考える。この場合、第４の評価値生成動作において、手順１と手順２とでは、ＣＰＵ６００が図６（ａ）に示した経路Ｃ３１または図６（ｂ）に示した経路Ｃ３２を選択し、処理部２２２ａおよび処理部２２２ｃの前処理（補正処理）をＯＮし、処理部２２２ｂの前処理（補正処理）をＯＦＦする。そして、手順３では、ＣＰＵ６００が図７（ｂ）に示した経路Ｃ３５を選択し、処理部２２２ａおよび処理部２２２ｃの前処理（補正処理）をＯＦＦし、処理部２２２ｂの前処理（補正処理）をＯＮする。このように制御することによって、処理部２２２ａ〜２２２ｃのそれぞれの前処理（補正処理）の効果が有効に得られる状態で、それぞれの画像データに対して前処理（補正処理）を施すことができる。

なお、図７に示した第４の評価値生成動作の別の動作でも、手順１および手順２において、それぞれのフィールドの画像データを、一旦ＤＲＡＭ５０１に格納した後に、手順３において、ＡＷＢ評価値生成部２４１がＡＷＢ評価値を生成する場合について説明した。しかし、第４の評価値生成動作の別の動作でも、ＡＷＢ評価値生成部２４１がＡＷＢ評価値を生成する場合に限定されるものではなく、手順１、手順２、および手順３のそれぞれにおいて、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１が、それぞれの評価値を生成する動作にしてもよい。

＜第５の評価値生成動作＞
図８は、本実施形態の撮像装置１０による評価値生成の第５の動作の一例を模式的に示した図である。第５の評価値生成動作では、イメージセンサ１００の露光条件を変えて得られた画素信号に応じた複数の画像データのそれぞれを一旦ＤＲＡＭ５０１に格納した後、画像処理部３００がＤＲＡＭ５０１に格納されたそれぞれの画像データに基づいて画像処理して再びＤＲＡＭ５０１に格納し、ＤＲＡＭ５０１に格納された画像処理を施した後の画像データに基づいて評価値を生成する。図８には、図１に示した撮像装置１０のブロック図上に、第５の評価値生成動作のそれぞれの処理手順におけるデータの経路を示している。

以下の説明においては、イメージセンサ１００の露光時間を変えて撮影した２枚の画像データに基づいて評価値を生成する場合の一例について説明する。なお、それぞれの画像データを得るための露光時間は、説明を容易にするため、短い露光時間（以下、「短露光」という）、および長い露光時間（以下、「長露光」）とする。以下に、第５の評価値生成動作におけるそれぞれの処理手順を、順を追って説明する。第５の評価値生成動作では、以下の手順でそれぞれの評価値の生成を行う。

（手順１）：まず、撮像装置１０は、短露光で撮影し、イメージセンサ１００から出力された短露光の画素信号に応じた短露光の画像データを前処理し、前処理した短露光の前処理画像データに基づいてＡＥ評価値とＡＦ評価値を生成すると共に、前処理した短露光の前処理画像データを、元の短露光の画像データ（ベイヤーデータ）としてＤＲＡＭ５０１に格納する。より具体的には、イメージセンサ１００から出力された短露光の画素信号を、撮像処理部２００に入力し、撮像処理部２００内の撮像ＩＦ部２１０が、入力された短露光の画素信号を、短露光の画像データとして前処理部２２０に出力する。

そして、前処理部２２０は、撮像ＩＦ部２１０から入力された短露光の画像データに対して、処理部２２２ａ〜２２２ｃのそれぞれで順次前処理（補正処理）を施し、処理部２２２ｃが前処理（補正処理）した短露光の前処理画像データを、セレクタ２３０を介してＡＥ評価値生成部２３１に、セレクタ２５０を介してＡＦ評価値生成部２５１に、それぞれ出力する。また、前処理部２２０は、処理部２２２ｃが前処理（補正処理）した短露光の前処理画像データを、セレクタ２６０を介して出力ＤＭＡ部２６１に出力する。

そして、ＡＥ評価値生成部２３１は、セレクタ２３０を介して前処理部２２０から入力された短露光の前処理画像データに基づいてＡＥ評価値を演算（生成）し、生成したＡＥ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。また、ＡＦ評価値生成部２５１は、セレクタ２５０を介して前処理部２２０から入力された短露光の前処理画像データに基づいてＡＦ評価値を演算（生成）し、生成したＡＦ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。また、出力ＤＭＡ部２６１は、セレクタ２６０を介して前処理部２２０から入力された短露光の前処理画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

手順１では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、例えば、図８（ａ）に示した経路Ｃ４１を、データの経路として選択する。

（手順２）：続いて、撮像装置１０は、長露光で撮影し、イメージセンサ１００から出力された長露光の画素信号に応じた長露光の画像データを前処理し、前処理した長露光の前処理画像データを、元の長露光の画像データ（ベイヤーデータ）としてＤＲＡＭ５０１に格納する。より具体的には、イメージセンサ１００から出力された長露光の画素信号を、撮像処理部２００に入力し、撮像処理部２００内の撮像ＩＦ部２１０が、入力された長露光の画素信号を、長露光の画像データとして前処理部２２０に出力する。

そして、前処理部２２０は、撮像ＩＦ部２１０から入力された長露光の画像データに対して、処理部２２２ａ〜２２２ｃのそれぞれで順次前処理（補正処理）を施し、処理部２２２ｃが前処理（補正処理）した長露光の前処理画像データを、セレクタ２６０を介して出力ＤＭＡ部２６１に出力する。そして、出力ＤＭＡ部２６１は、セレクタ２６０を介して前処理部２２０から入力された長露光の前処理画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

手順２では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、例えば、図８（ｂ）に示した経路Ｃ４２を、データの経路として選択する。

（手順３）：続いて、撮像装置１０は、ＤＲＡＭ５０１に格納されている短露光の前処理画像データ（ベイヤーデータ）と、長露光の前処理画像データ（ベイヤーデータ）とに画像処理を施し、画像処理を施した後の画像データを、ＤＲＡＭ５０１に再び格納する。より具体的には、画像処理部３００が、ＤＲＡＭ５０１に格納されている短露光の前処理画像データ（ベイヤーデータ）と、長露光の前処理画像データ（ベイヤーデータ）とのそれぞれを、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した短露光の前処理画像データと長露光の前処理画像データとを画像合成処理して１枚の前処理画像データ（ベイヤーデータ）を生成する画像処理を施す。短露光の前処理画像データと長露光の前処理画像データとを画像合成処理することによって、イメージセンサ１００から出力されるそれぞれの画素信号のダイナミックレンジを広げた画像データを生成することができる。

そして、画像処理部３００は、画像処理を施した後の１枚の前処理画像データを、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に再び格納する。手順３では、例えば、図８（ｃ）に示した経路Ｃ４３で、画像処理部３００にデータが入出力される。

（手順４）：続いて、撮像装置１０は、ＤＲＡＭ５０１に格納されている画像処理を施した後の１枚の前処理画像データに基づいて、ＡＥ評価値生成部２３１とＡＷＢ評価値生成部２４１とによって、ＡＥ評価値とＡＷＢ評価値とを生成する。より具体的には、撮像処理部２００内の入力ＤＭＡ部２７０が、ＤＲＡＭ５０１に格納されている画像処理を施した後の１枚の前処理画像データを、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した画像処理を施した後の１枚の前処理画像データを前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２７０から入力された画像処理を施した後の１枚の前処理画像データをディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された画像処理を施した後の１枚の前処理画像データを、予め定めた時間だけ遅らせる。

前処理部２２０は、ディレイ部２２３ｃが遅らせた遅延画像データを、セレクタ２３０を介してＡＥ評価値生成部２３１に、セレクタ２４０を介してＡＷＢ評価値生成部２４１に、それぞれ出力する。そして、ＡＥ評価値生成部２３１は、セレクタ２３０を介して前処理部２２０から入力された遅延画像データ、すなわち、画像処理を施した後の１枚の前処理画像データ（ベイヤーデータ）に基づいて、ＡＥ評価値を演算（生成）し、生成したＡＥ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。また、ＡＷＢ評価値生成部２４１は、セレクタ２４０を介して前処理部２２０から入力された遅延画像データ、すなわち、画像処理を施した後の１枚の前処理画像データ（ベイヤーデータ）に基づいて、ＡＷＢ評価値を演算（生成）し、生成したＡＷＢ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

手順４では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、例えば、図８（ｄ）に示した経路Ｃ４４を、データの経路として選択する。

このように、第５の評価値生成動作では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、それぞれの処理手順で、図８に示したような、画像データを処理する経路を選択する。これにより、本実施形態の撮像装置１０では、イメージセンサ１００からのそれぞれの露光条件の画素信号に応じた画像データを一旦ＤＲＡＭ５０１に格納し、画像処理部３００がそれぞれの露光条件の画像データに画像処理を施した後の画像データを生成する。これにより、ＡＥ評価値生成部２３１およびＡＷＢ評価値生成部２４１は、ＤＲＡＭ５０１に格納された画像データ（本第５の評価値生成動作の一例では、短露光の前処理画像データと長露光の前処理画像データとを画像合成処理した広いダイナミックレンジの１枚の前処理画像データ）に基づいて、ＡＥ評価値およびＡＷＢ評価値を生成することができる。

なお、図８に示した第５の評価値生成動作では、手順１においてＡＷＢ評価値生成部２４１がＡＷＢ評価値を生成していない場合の例について説明したが、手順１において、ＡＷＢ評価値生成部２４１がＡＷＢ評価値を生成する動作にしてもよい。

また、手順２においてＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１が評価値を生成していない場合の例について説明したが、手順２において、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１が、それぞれの評価値を生成する動作にしてもよい。

また、手順４においてＡＦ評価値生成部２５１がＡＦ評価値を生成していない場合の例について説明したが、手順４において、ＡＦ評価値生成部２５１が、前処理部２２０から入力された画像処理を施した後の１枚の前処理画像データ（ベイヤーデータ）に基づいて、ＡＦ評価値を生成する動作にしてもよい。

なお、図８に示した第５の評価値生成動作では、手順１および手順２において、それぞれの露光時間の画像データを、一旦ＤＲＡＭ５０１に格納した後に、手順３において画像処理部３００が画像処理し、手順４においてＡＥ評価値生成部２３１およびＡＷＢ評価値生成部２４１が、ＡＥ評価値およびＡＷＢ評価値を生成する場合の一例について説明した。しかし、第５の評価値生成動作における実際の動作では、イメージセンサ１００の短露光と長露光とを交互に行いながら、すなわち、図８に示した第５の評価値生成動作の手順１と手順２とを交互に行いながら、手順３および手順４を、手順１または手順２のいずれか一方、または手順１と手順２と両方の処理と同時に行う。これにより、例えば、イメージセンサ１００から出力されるリアルタイムの画像を、より滑らかに表示デバイス４０１に表示しながら、評価値を生成することができる。

＜第５の評価値生成動作における実際の運用＞
図９は、本実施形態の撮像装置１０による評価値生成の第５の動作における実際の運用の一例を模式的に示した図である。図９には、第５の動作における実際の運用において同時に行う、図８に示した第５の評価値生成動作の手順１〜４の処理におけるデータの経路を、図８に示した第５の評価値生成動作に対応して示している。

図９に示した第５の評価値生成動作における実際の運用でも、図８に示した第５の評価値生成動作と同様に、短露光の画像データのＤＲＡＭ５０１への格納（手順１）と、長露光の画像データのＤＲＡＭ５０１への格納（手順２）と、画像処理を施した後の１枚の前処理画像データのＤＲＡＭ５０１への格納（手順３）と、ＤＲＡＭ５０１に格納された１枚の前処理画像データに基づいた評価値の生成（手順４）とを行う。図９に示した第５の評価値生成動作における実際の運用では、長露光の画像データのＤＲＡＭ５０１への格納（手順２）と、ＤＲＡＭ５０１に格納された１枚の前処理画像データに基づいた評価値の生成（手順４）とを同時に行う場合の一例を示している。

より具体的には、撮像処理部２００は、撮像ＩＦ部２１０がイメージセンサ１００から短露光の画像データを取り込んだとき、手順１によって、ＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１による短露光の前処理画像データに基づいたＡＥ評価値およびＡＦ評価値の演算（生成）と、出力ＤＭＡ部２６１による短露光の前処理画像データ（ベイヤーデータ）のＤＲＡＭ５０１への格納を行う（図９（ａ）の経路Ｃ４１参照）。

その後、撮像処理部２００は、撮像ＩＦ部２１０がイメージセンサ１００から長露光の画像データを取り込んだとき、手順２によって、出力ＤＭＡ部２６１による長露光の前処理画像データ（ベイヤーデータ）のＤＲＡＭ５０１への格納を行う（図９（ｂ）の経路Ｃ４２参照）。また、同時に、撮像処理部２００は、手順４によって、入力ＤＭＡ部２７０がＤＲＡＭ５０１に格納されている画像処理を施した後の１枚の前処理画像データを取得し（読み出し）、取得した画像処理を施した後の１枚の前処理画像データをディレイ部２２３ａ〜２２３ｃのそれぞれによって遅らせた遅延画像データに基づいて、ＡＥ評価値生成部２３１およびＡＷＢ評価値生成部２４１が、ＡＥ評価値およびＡＷＢ評価値の演算（生成）を行う（図９（ｂ）の経路Ｃ４４参照）。

以降、撮像処理部２００は、手順１における短露光の前処理画像データに基づいたＡＥ評価値およびＡＦ評価値の演算（生成）、および短露光の前処理画像データ（ベイヤーデータ）のＤＲＡＭ５０１への格納と、手順２における長露光の前処理画像データ（ベイヤーデータ）のＤＲＡＭ５０１への格納、および手順４における画像処理を施した後の１枚の前処理画像データ（遅延画像データ）に基づいたＡＥ評価値およびＡＷＢ評価値の演算（生成）と、を繰り返す。

また、同時に画像処理部３００は、手順３における短露光の前処理画像データと長露光の前処理画像データとを画像合成処理して１枚の前処理画像データ（ベイヤーデータ）を生成する画像処理を繰り返す。なお、図９に示した第５の評価値生成動作における実際の運用では、画像処理部３００による画像処理（手順３）は、画像処理を行うための画像データ（本第５の動作における実際の運用の一例では、短露光の前処理画像データと長露光の前処理画像データ）が揃っている状態であれば、いずれのタイミングでも行うことができる。すなわち、画像処理部３００による画像処理（手順３）は、短露光の画像データのＤＲＡＭ５０１への格納（手順１）と、長露光の画像データのＤＲＡＭ５０１への格納（手順２）とのいずれか一方の手順または両方の手順と同時に行うことができる。従って、図９（ａ）には、手順３を手順１と同時に行う場合、図９（ｂ）には、手順３を手順２と同時に行う場合におけるデータの経路を示している。

このように、第５の評価値生成動作における実際の運用では、図９（ａ）に示した短露光の処理と、図９（ｂ）に示した長露光の処理とを交互に行いながら、それぞれの評価値を生成する。また、第５の評価値生成動作における実際の運用では、長露光の処理において、長露光の前処理画像データ（ベイヤーデータ）をＤＲＡＭ５０１に格納するのと同時に、画像処理を施した後の１枚の前処理画像データ（遅延画像データ）に基づいた、それぞれの評価値を生成する。これにより、第５の評価値生成動作における実際の運用では、例えば、イメージセンサ１００から出力されるリアルタイムの画像を表示デバイス４０１に表示する処理の期間中に、短露光の前処理画像データと長露光の前処理画像データとを画像合成する画像処理を行うことができる。

なお、図９（ａ）に示した第５の評価値生成動作における実際の運用の短露光の処理でも、図８に示した第５の評価値生成動作における手順１と同様に、ＡＷＢ評価値生成部２４１がＡＷＢ評価値を生成していない場合の例について説明したが、短露光の処理のときに、ＡＷＢ評価値生成部２４１がＡＷＢ評価値を生成する動作にしてもよい。

また、図９（ｂ）に示した第５の評価値生成動作における実際の運用の長露光の処理では、図８に示した第５の評価値生成動作における手順２と手順４とを同時に行っても、ＡＦ評価値生成部２５１がＡＦ評価値を生成していない場合の例について説明したが、長露光の処理のときに、ＡＦ評価値生成部２５１がＡＦ評価値を生成する動作にしてもよい。

上記に述べたとおり、本発明を実施するための形態では、撮像装置の撮像処理部内に、ＤＲＡＭに格納された画像データを取得する（読み出す）入力ＤＭＡ部（本実施形態においては、入力ＤＭＡ部２７０）を設けた。また、撮像処理部内に備えた評価値生成部（本実施形態においては、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１）のそれぞれの前段（画像データの入力部）に、対応する評価値生成部に入力する画像データを選択するセレクタ（本実施形態においては、セレクタ２３０、セレクタ２４０、およびセレクタ２５０）を設けた。これにより、評価値生成部に入力して評価値を生成する画像データを、リアルタイムに入力される画像データ、またはＤＲＡＭに格納された画像データのいずれか一方に切り換えることができる。

このことにより、本発明を実施するための形態によれば、同じ評価値生成部を用いて（同じ評価値生成部を流用して）、従来の撮像装置と同様に、リアルタイムに入力される画像データに基づいたそれぞれの評価値を生成することができると共に、すでにイメージセンサから取り込みが終わった画素信号に応じた画像データ、すなわち、リアルタイムに入力される画像データ以外の画像データに基づいても、評価値を生成することができる。

また、本発明を実施するための形態によれば、ＤＲＡＭに格納された画像データに基づいて評価値を生成することができる。これにより、イメージセンサから出力された画素信号に応じた画像データのみではなく、例えば、撮像装置に備えた画像処理部が画像処理した画像データに基づいても、評価値を生成することができる。

また、本発明を実施するための形態によれば、ＤＲＡＭに格納された同じ画像データから、複数回の評価値を生成することもできる。このことは、同じ画像データから異なる評価値の結果を得たい場合に有用である。例えば、同じ画像データに対してＡＦ評価値生成部２５１によるＡＦ評価値の演算（生成）を、フィルタ特性のパラメータを変更して複数回行うことによって、１回目のＡＦ評価値の結果と、２回目のＡＦ評価値の結果とで、異なるフィルタ特性のＡＦ評価値を得ることができる。これにより、複数のフィルタを同時に備え、複数のフィルタ特性のＡＦ評価値を生成することができるＡＦ評価値生成部を撮像処理部内に備える必要がなくなるため、撮像処理部の回路規模の増大を防ぐことができる。

また、本発明を実施するための形態によれば、リアルタイムに入力される画像データと、ＤＲＡＭに格納された画像データとを、異なる評価値生成部に同時に入力することができる。これにより、リアルタイムに入力される画像データに基づいた評価値の生成と、ＤＲＡＭに格納された画像データに基づいた評価値の生成とを、同時に行うことができる。このことにより、撮像装置における評価値の生成処理に要する処理時間を短縮することができる。

また、本発明を実施するための形態では、撮像処理部に備えた前処理部内に、ディレイ部（本実施形態においては、ディレイ部２２３ａ〜２２３ｃ）を設け、入力された画像データを、前処理部内で前処理（補正処理）を行うそれぞれの処理部における処理（補正処理）の遅延時間と同じ時間だけ遅らせて出力する。これにより、前処理部に画像データが入力されてから出力されるまでの遅延時間を、それぞれの処理部とディレイ部とで同じ時間にすることができる。このことにより、撮像装置における評価値の生成処理のタイミングの制御を容易にすることができる。また、ディレイ部は、入力された画像データを遅らせて出力するのみであるため、前処理部の回路規模の増大を防ぐことができる。

また、本発明を実施するための形態では、撮像処理部に備えた前処理部内に、入力された画像データの出力先を切り換えるセレクタ（本実施形態においては、セレクタ２２１）を設けた。これにより、リアルタイムに入力される画像データに対して前処理を行わずにＤＲＡＭに格納することや、ＤＲＡＭに格納された画像データに対して前処理を行うことができる。このことにより、画像データに対して前処理を施すタイミングを制御することができ、より効果が得られる状態の画像データに対して前処理を施すことができる。

より具体的には、例えば、最初は、イメージセンサから出力された画素信号に応じた画像データには前処理（補正処理）を行わずに元の画像データ（ベイヤーデータ）をＤＲＡＭに格納し、その後、ＤＲＡＭに格納された元の画像データ（ベイヤーデータ）に何らかの前処理（補正処理）を施した前処理画像データをＤＲＡＭに格納することができる。これにより、撮影されたシーンに応じて前処理の方法を変更することや、前処理をやり直すなど、撮像装置における前処理（補正処理）の効果がより有効に得られる状態で、画像データに対して前処理（補正処理）を施すことができる。

なお、本実施形態においては、前処理部２２０内に備えた処理部２２２ａ〜２２２ｃのそれぞれに対応する３つのディレイ部２２３ａ〜２２３ｃを設け、それぞれのディレイ部２２３ａ〜２２３ｃが、入力された画像データを、対応する処理部２２２ａ〜２２２ｃの入力から出力までの遅延時間と同じ時間だけ遅らせて出力する場合について説明した。しかし、ディレイ部の構成は、本発明を実施するための形態に限定されるものではない。例えば、ディレイ部２２３ａ〜２２３ｃの代わりに、入力された画像データを、処理部２２２ａ〜２２２ｃによる前処理（補正処理）の合計の遅延時間と同じ時間だけ遅らせて出力するディレイ部を１つのみ設ける構成にすることもできる。

また、本実施形態においては、前処理部２２０内にディレイ部２２３ａ〜２２３ｃを設けた場合について説明した。しかし、前処理部２２０内の構成は、本発明を実施するための形態に限定されるものではない。例えば、ＣＰＵ６００が、前処理部２２０における処理の遅延時間（処理時間）を考慮して、撮像ＩＦ部２１０がリアルタイムに取り込んだ画像データの前処理が終了するタイミングと、入力ＤＭＡ部２７０がＤＲＡＭ５０１に格納されている画像データを取得する（読み出す）タイミングとを、同じタイミングに制御することができる場合には、前処理部２２０内にディレイ部２２３ａ〜２２３ｃを設けない構成にすることもできる。この場合には、セレクタ２２１が、画像データをディレイ部２２３ａに転送する代わりに、入力された画像データを、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する構成になる。これにより、セレクタ２２１が、画像データを出力してから、それぞれの評価値生成部が評価値の生成を終了するまでの時間を短縮することができる。

また、本実施形態においては、前処理部２２０内に、入力された画像データを、処理部２２２ａ〜２２２ｃのそれぞれの入力から出力までの遅延時間と同じ時間だけ遅らせて出力するディレイ部２２３ａ〜２２３ｃを設けた場合について説明した。しかし、前処理部２２０内の構成は、本発明を実施するための形態に限定されるものではない。例えば、ディレイ部２２３ａ〜２２３ｃの代わりに、処理部２２２ａ〜２２２ｃをもう１組設けた構成にすることもできる。この場合には、リアルタイムに入力される画像データと、ＤＲＡＭに格納された画像データとの両方に、同時に前処理（補正処理）を施すことができる。なお、この場合には、前処理部の回路規模が増大してしまうことになるが、回路規模の増大よりも同時に異なる画像データに対して前処理（補正処理）を行えることが要求される撮像装置において有用であると考えられる。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１０・・・撮像装置
１００・・・イメージセンサ（固体撮像装置）
２００・・・撮像処理部（評価値生成装置）
２１０・・・撮像ＩＦ部（画像データインターフェース部）
２２０・・・前処理部（第１の前処理部，第２の前処理部）
２２１・・・セレクタ
２２２ａ，２２２ｂ，２２２ｃ・・・処理部（第１の前処理部，処理部，第１の処理部）
２２３ａ，２２３ｂ，２２３ｃ・・・ディレイ部（第２の前処理部，遅延部，第２の処理部）
２３０・・・セレクタ（画像データ選択部）
２３１・・・ＡＥ評価値生成部（評価値生成部）
２４０・・・セレクタ（画像データ選択部）
２４１・・・ＡＷＢ評価値生成部（評価値生成部）
２５０・・・セレクタ（画像データ選択部）
２５１・・・ＡＦ評価値生成部（評価値生成部）
２６０・・・セレクタ
２６１・・・出力ＤＭＡ部（画像データ書き込み部）
２７０・・・入力ＤＭＡ部（画像データ読み出し部）
３００・・・画像処理部
４００・・・表示処理部
４０１・・・表示デバイス
５００・・・ＤＲＡＭコントローラ（記憶部）
５０１・・・ＤＲＡＭ（記憶部）
６００・・・ＣＰＵ
７００・・・データバス
８００・・・動き検出部

Claims

固体撮像装置から入力された画素信号に応じた画像データを、第１の画像データとして出力する画像データインターフェース部と、
記憶部に記憶している画像データを読み出し、該読み出した画像データを、第２の画像データとして出力する画像データ読み出し部と、
入力された画像データに基づいた評価値を生成する評価値生成部と、
前記第１の画像データに基づいた画像データまたは前記第２の画像データに基づいた画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択する画像データ選択部と、
前記第１の画像データに基づいた画像データを、前記記憶部に記憶させる画像データ書き込み部と、
を備えることを特徴とする撮像装置。
入力された画像データに対して、予め定められた処理を行う第１の前処理部と、
入力された画像データに対して、予め定められた処理を行う第２の前処理部と、
をさらに備え、
前記第１の前処理部は、
入力された前記第１の画像データまたは前記第２の画像データのいずれか一方の画像データに対して、予め定められた処理を行った画像データを、第３の画像データとして出力し、
前記第２の前処理部は、
入力された前記第１の画像データまたは前記第２の画像データのいずれか他方の画像データに対して、予め定められた処理を行った画像データを、第４の画像データとして出力し、
前記画像データ選択部は、
前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択し、
前記画像データ書き込み部は、
前記第１の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記記憶部に記憶させる、
ことを特徴とする請求項１に記載の撮像装置。
前記第１の前処理部は、
入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの処理部であり、
前記第２の前処理部は、
入力された画像データを、予め定められた時間だけ遅延させて出力する処理を行う、少なくとも１つの遅延部である、
ことを特徴とする請求項２に記載の撮像装置。
前記予め定められた時間は、
前記第１の前処理部に画像データが入力されてから、前記予め定められた補正処理を行って出力するまでの遅延時間と同じ時間である、
ことを特徴とする請求項３に記載の撮像装置。
前記第１の前処理部は、
入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第１の処理部であり、
前記第２の前処理部は、
入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第２の処理部である、
ことを特徴とする請求項２に記載の撮像装置。
前記評価値生成部が、前記固体撮像装置から入力された画素信号に応じた画像データに基づいた評価値を生成する場合、
前記画像データ選択部は、
前記第１の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択し、
前記評価値生成部が、前記記憶部に記憶している画像データに基づいた評価値を生成する場合、
前記画像データ選択部は、
前記第２の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択する、
ことを特徴とする請求項４または請求項５に記載の撮像装置。
前記記憶部に記憶している画像データに対して予め定められた画像処理を行い、該画像処理をした後の画像データを、再び前記記憶部に記憶させる画像処理部、
をさらに備え、
前記評価値生成部が、前記画像処理部が画像処理をした後の前記画像データに基づいた評価値を生成する場合、
前記画像データ読み出し部は、
前記記憶部に記憶している、前記画像処理部が画像処理をした後の前記画像データを読み出して、前記第２の画像データとして出力し、
前記画像データ選択部は、
前記第２の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択する、
ことを特徴とする請求項６に記載の撮像装置。
前記記憶部に記憶している画像データに基づいて、該画像データに含まれる被写体の動きを検出する動き検出部、
をさらに備え、
前記評価値生成部が、前記動き検出部が検出した被写体の動きに応じた評価値を生成する場合、
前記画像データ読み出し部は、
前記記憶部に記憶している、前記動き検出部が被写体の動きを検出する際に用いた前記画像データを読み出して、前記第２の画像データとして出力し、
前記画像データ選択部は、
前記第２の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択する、
ことを特徴とする請求項６に記載の撮像装置。
前記固体撮像装置が、１枚の画像の画素信号を複数のフィールドに分けて出力し、前記評価値生成部が、前記固体撮像装置から入力された１枚の画像の画素信号に応じた画像データに基づいた評価値を生成する場合、
前記画像データインターフェース部は、
前記固体撮像装置から複数のフィールドに分かれて入力されたそれぞれの画素信号に応じたそれぞれのフィールドの画像データを、それぞれのフィールドの前記第１の画像データとして出力し、
前記画像データ書き込み部は、
それぞれのフィールドの前記第１の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記記憶部に順次記憶させ、
前記画像データ読み出し部は、
前記記憶部に記憶しているそれぞれのフィールドの前記第１の画像データを、１枚の画像に合わせた状態となるように、１枚の画像を構成する全てのフィールドの前記第１の画像データを読み出して、１枚の画像に対応した前記第２の画像データとして出力し、
前記画像データ選択部は、
１枚の画像に対応した前記第２の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択する、
ことを特徴とする請求項６に記載の撮像装置。
前記記憶部に記憶している画像データに対して予め定められた画像処理を行い、該画像処理をした後の画像データを、再び前記記憶部に記憶させる画像処理部、
をさらに備え、
前記評価値生成部が、前記固体撮像装置の露光条件を変えて得られたそれぞれの画素信号に応じたそれぞれの画像データを、前記画像処理部が画像処理をした後の前記画像データに基づいた評価値を生成する場合、
前記画像データインターフェース部は、
前記固体撮像装置から入力されたそれぞれの露光条件の画素信号に応じたそれぞれの露光条件の画像データを、それぞれの露光条件の前記第１の画像データとして出力し、
前記画像データ書き込み部は、
それぞれの露光条件の前記第１の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記記憶部に順次記憶させ、
前記画像データ読み出し部は、
前記記憶部に記憶している、前記画像処理部がそれぞれの露光条件の前記第１の画像データを１枚の画像に合成する画像処理をした後の１枚の前記画像データを読み出して、前記第２の画像データとして出力し、
前記画像データ選択部は、
１枚の前記第２の画像データに基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択する、
ことを特徴とする請求項６に記載の撮像装置。
当該撮像装置は、
複数の前記評価値生成部と、
複数の前記評価値生成部のそれぞれに対応した複数の前記画像データ選択部と、
を備え、
それぞれの前記画像データ選択部は、
対応する前記評価値生成部が評価値を生成する際に用いる前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、対応する前記評価値生成部に入力する画像データとして選択する、
ことを特徴とする請求項７から請求項１０のいずれか１の項に記載の撮像装置。
少なくとも１つの前記画像データ選択部は、
対応する前記評価値生成部が評価値を生成する際に用いる前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第３の画像データまたは前記第４の画像データのいずれか一方の画像データを、対応する前記評価値生成部に入力する画像データとして選択し、
少なくとも別の１つの前記画像データ選択部は、
対応する前記評価値生成部が評価値を生成する際に用いる前記第１の画像データまたは前記第２の画像データのいずれか他方に基づいた前記第３の画像データまたは前記第４の画像データのいずれか他方の画像データを、対応する前記評価値生成部に入力する画像データとして選択する、
ことを特徴とする請求項１１に記載の撮像装置。
固体撮像装置から入力された画素信号に応じた画像データを、第１の画像データとして出力する画像データインターフェース部と、
記憶部に記憶している画像データを読み出し、該読み出した画像データを、第２の画像データとして出力する画像データ読み出し部と、
入力された画像データに基づいた評価値を生成する評価値生成部と、
前記第１の画像データに基づいた画像データまたは前記第２の画像データに基づいた画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択する画像データ選択部と、
前記第１の画像データに基づいた画像データを、前記記憶部に記憶させる画像データ書き込み部と、
を備えることを特徴とする評価値生成装置。