JP2018025597A - 撮像装置 - Google Patents

Abstract

【課題】露出条件の異なる複数回の撮像動作が行われる場合において被写体に点光源が含まれる場合であっても、高精度のＡＦを行うことができる撮像装置を提供すること。【解決手段】撮像装置１００は、撮像素子による露出条件の異なる複数回の撮像動作において生成される撮像信号に基づき露出条件の異なる複数の画像データを生成する撮像信号処理回路１１０と、複数の画像データを合成して合成画像データを生成する合成回路１１６１と、複数の画像データのそれぞれに基づいてＡＦ評価値を算出し、複数の画像データのそれぞれの飽和状態に基づいて、算出された複数のＡＦ評価値のうちから所定のＡＦ評価値を選択するＡＦ評価値算出回路１１４と、選択されたＡＦ評価値に基づいてフォーカスレンズの焦点調節動作を制御する制御回路１２４とを備える。【選択図】図１

Description

本発明は、撮像装置に関する。

従来、露出条件の異なる複数回の撮像動作によって得られた画像データを用いて各種の処理が行われている。このような処理には、例えばハイダイナックレンジ（ＨＤＲ）処理が含まれる。ＨＤＲ処理は、露出の異なる複数回の撮像動作によって得られた複数の画像データを合成することによって、画像のダイナミックレンジの向上を図る処理である。

露出条件の異なる撮像動作によって得られた画像データを用いて焦点調節（ＡＦ）制御の精度向上を図るようにした技術が例えば特許文献１において提案されている。特許文献１において提案されている撮像装置は、最初は露出時間の長い撮像動作によって得られた画像データに基づいて算出されるＡＦ評価値に従ってＡＦ用のスキャン動作を行い、このスキャン動作中に撮像装置が安定していないときには露出時間の短い撮像動作によって得られた画像データに基づいて算出されるＡＦ評価値に従ってスキャン動作を行うようにしている。このような特許文献１の技術は、ＨＤＲ処理のための撮像動作に対しても適用可能である。

特開２０１５−７９１５８号公報

夜景のシーン等では、被写体に点光源が含まれる場合がある。点光源の位置ではＡＦ評価値は急激に減少するために正確な合焦位置を算出することが困難になる。通常、被写体に点光源が含まれるときには、このような急激な減少をしたＡＦ評価値の補正が行われる。ここで、特許文献１の技術では、露出条件が異なる撮像動作によって得られた画像データに基づいてＡＦ制御を行うときの点光源の対策については特に言及がない。したがって、ＡＦ評価値を得るための画像データの選択によっては補正によってかえって合焦位置の誤差が発生する可能性がある。

本発明は、前記の事情に鑑みてなされたもので、露出条件の異なる複数回の撮像動作が行われる場合において被写体に点光源が含まれる場合であっても、高精度のＡＦを行うことができる撮像装置を提供することを目的とする。

前記の目的を達成するために、本発明の一態様の撮像装置は、フォーカスレンズを有する撮影レンズを通過する光束に基づいて撮像信号を生成する撮像素子を有する撮像装置において、前記撮像素子による露出条件の異なる複数回の撮像動作において生成される前記撮像信号に基づき露出条件の異なる複数の画像データを生成する撮像信号処理部と、複数の前記画像データのそれぞれに基づいてＡＦ評価値を算出し、複数の前記画像データのそれぞれの飽和状態に基づいて前記算出された複数の前記ＡＦ評価値のうちから所定の前記ＡＦ評価値を選択するＡＦ評価値算出部と、選択された前記ＡＦ評価値に基づいて前記フォーカスレンズの焦点調節動作を制御する制御部とを具備することを特徴とする。

本発明によれば、露出条件の異なる複数回の撮像動作が行われる場合において被写体に点光源が含まれる場合であっても、高精度のＡＦを行うことができる撮像装置を提供することができる。

本発明の一実施形態に係る撮像装置の一例の構成を示すブロック図である。 ＡＦ評価値算出回路の構成を示す図である。 本発明の一実施形態に係る撮像装置による焦点調節動作を示すフローチャートである。 長秒画像データと短秒画像データとを取得するための撮像動作を示す図である。 飽和カウント回路における処理を示すフローチャートである。 飽和判定の処理を示すフローチャートである。 シーン判定の処理を示すフローチャートである。 シーン１、シーン２、シーン３のそれぞれが選択される条件と、選択されたシーンに応じてなされる補正と、選択されたシーンに応じて補正判定選択回路において仮に選択されるＡＦ評価値とを対応付けて示した図である。 ＡＦ評価値の補正について説明するための図であって、補正前のＡＦ評価値を示す図である。 ＡＦ評価値の補正について説明するための図であって、補正後のＡＦ評価値を示す図である。 ３乗補正についてのサンプリング位置による合焦位置のずれを示した図である。 １乗補正についてのサンプリング位置による合焦位置のずれを示した図である。 補正判定の処理を示すフローチャートである。 補正がＯＫである状態について説明するための図である。 補正判定の条件と補正判定の結果として最終的に選択されるＡＦ評価値とを対応付けて示した図である。

以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る撮像装置の一例の構成を示すブロック図である。撮像装置は、デジタルカメラ及びスマートフォンといった機器の他、フォーカスレンズを有する各種の撮像装置を含む。

図１に示すように、撮像装置１００は、撮影レンズ１０２と、レンズ駆動モータ１０４と、モータドライブ回路１０６と、撮像素子１０８と、撮像信号処理回路１１０と、ＡＥ評価値算出回路１１２と、ＡＦ評価値算出回路１１４と、画像処理回路１１６と、表示素子１１８と、メモリ１２０と、操作部１２２と、制御回路１２４とを有している。ここで、撮像装置１００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもすべてがハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、撮像装置１００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。

撮影レンズ１０２は、図示しない被写体からの光束を撮像素子１０８の受光面に導くための光学系である。撮影レンズ１０２は、フォーカスレンズを有している。フォーカスレンズは、撮影レンズ１０２の焦点位置を変化させるためのレンズである。撮影レンズ１０２は、ズームレンズとして構成されていてもよい。また、撮影レンズ１０２は、撮像装置１００に対して着脱自在に構成されていてもよい。

レンズ駆動モータ１０４は、例えばフォーカスレンズを駆動するためのモータである。モータドライブ回路１０６は、制御回路１２４からの制御信号を受けてレンズ駆動モータ１０４を駆動するための信号をレンズ駆動モータ１０４に供給する。

撮像素子１０８は、撮影レンズ１０２を通過した光束を受光するための受光面を有している。撮像素子１０８の受光面には、２次元状に配置された複数の画素が設けられている。また、受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１０８は、受光面において受光された光束に応じた電気信号（以下、撮像信号という）を画素毎に生成する。

撮像信号処理部の一例としての撮像信号処理回路１１０は、撮像素子１０８で得られた撮像信号を読み出す。そして、撮像信号処理回路１１０は、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理及びＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像信号処理回路１１０は、アナログ処理した画像信号に基づくデジタル信号（以下、画像データという）を生成する。画像データは、撮像素子１０８の各画素からの撮像信号をデジタル信号に変換することによって得られる画素データの集まりである。

ＡＥ評価値算出回路１１２は、ＡＥ処理において露出条件を決定するためのＡＥ評価値を算出する。ＡＥ評価値は、例えば画像データから算出される被写体の輝度（Ｙ）データを所定領域毎に累積することによって算出される。この所定領域は、例えばＡＦ用の焦点検出領域と一致しているか、焦点検出領域を含む領域である。

ＡＦ評価値算出部としての機能を有するＡＦ評価値算出回路１１４は、コントラストＡＦ処理のためのＡＦ評価値を算出する。ＡＦ評価値は、例えば画像データから算出される輝度データに対してハイパスフィルタ処理をかけることによって得られた高周波輝度成分を所定領域毎に累積することによって算出される。この所定領域は、例えばＡＦ用の焦点検出領域である。焦点検出領域は、画面内に１つだけ設定されてもよいし、画面内に複数設定されてもよい。

画像処理回路１１６は、画像データに対する各種の画像処理を行う。画像処理としては、ホワイトバランス補正処理、色補正処理、ガンマ（γ）補正処理等が含まれる。また、画像処理回路１１６は、合成部としての合成回路１１６１を有している。合成回路１１６１は、複数の画像データを合成して合成画像データを生成する。

表示素子１１８は、例えば液晶ディプレイ（ＬＣＤ）である。表示素子１１８は、制御回路１２４の制御に従って、各種の画像を表示する。

メモリ１２０は、ＲＡＭ及びＲＯＭを含む。メモリ１２０には、ＡＥ評価値算出回路１１２及びＡＦ評価値算出回路１１４による評価値の算出結果、画像処理回路１１６の処理データ、制御回路１２４の処理データといった各種のデータが一時記憶される。また、メモリ１２０には、撮像装置１００の動作に必要なプログラム及びパラメータが記録される。さらに、メモリ１２０には撮影によって得られる画像ファイルが記録される。

操作部１２２は、ユーザによって操作される各種の操作部材である。操作部１２２としては、例えば、レリーズボタン、動画ボタン、モードボタン、選択キー、電源ボタン等が含まれる。レリーズボタンは、静止画撮影の指示をするための操作部材である。動画ボタンは、動画撮影の指示をするための操作部材である。モードボタンは、撮像装置１００の撮影設定を選択するための操作部材である。選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。電源ボタンは、撮像装置の電源をオン又はオフするための操作部材である。

制御部としての機能を有する制御回路１２４は、ＣＰＵ、ＡＳＩＣ、ＦＰＧＡ等で構成され、撮像装置１００の動作を制御するための制御回路である。例えば、制御回路１２４は、フォーカスレンズの焦点調節動作を制御する。制御回路１２４と同様の機能は、ソフトウェアによって実現されてもよい。

次に、ＡＦ評価値算出回路１１４についてさらに説明する。図２は、ＡＦ評価値算出回路１１４の構成を示す図である。図２のＡＦ評価値算出回路１１４の各ブロックは、例えばハードウェアとソフトウェアの組み合わせによって構成される。図２のＡＦ評価値算出回路１１４と同等の機能は、ハードウェア単独又はソフトウェア単独で実現されてもよい。

図２に示すように、ＡＦ評価値算出回路１１４は、Ｙ生成回路１１４１と、水平フィルタ１１４２ａ、１１４２ｂと、累積回路１１４３ａ、１１４３ｂと、飽和カウント回路１１４４ａ、１１４４ｂと、シーン判定回路１１４５と、ＡＦ評価値補正回路１１４６ａ、１１４６ｂと、補正判定選択回路１１４７と、合焦位置検出回路１１４８とを有している。

Ｙ生成回路１１４１は、入力された画像データから輝度（Ｙ）データを生成する。Ｙデータは、例えば入力された画素データの色成分毎に所定の係数をかけて足し合わせることによって生成される。ここで、詳しくは後で説明するが、本実施形態では、露出条件、例えば露出時間の異なる２回の撮像動作が行われる。Ｙ生成回路１１４１は、露出時間の長い方の撮像動作によって得られた画像データ（以下、長秒画像データという）から長秒Ｙデータを生成するとともに、露出時間の短い方の撮像動作によって得られた画像データ（以下、短秒画像データという）から短秒Ｙデータを生成する。

水平フィルタ１１４２ａは、長秒Ｙデータの水平方向に対してＨＰＦ処理を行う。水平フィルタ１１４２ｂは、短秒Ｙデータの水平方向に対してＨＰＦ処理を行う。ここでは、水平方向に対してＨＰＦ処理が行われる例を示しているが、輝度データの垂直方向に対してＨＰＦ処理が行われてもよい。また、ＨＰＦ処理でなく、バンドパスフィルタ（ＢＰＦ）処理であってもよい。

累積回路１１４３ａは、長秒ＹデータのＨＰＦ処理結果を所定領域毎に累積することでＡＦ評価値を生成する。累積回路１１４３ｂは、短秒ＹデータのＨＰＦ処理結果を所定領域毎に累積することでＡＦ評価値を生成する。

飽和カウント回路１１４４ａは、長秒Ｙデータのうちで、飽和状態にある長秒Ｙデータの数をカウントする。飽和カウント回路１１４４ｂは、短秒Ｙデータのうちで、飽和状態にある短秒Ｙデータの数をカウントする。ここでの「飽和状態」は、Ｙデータが所定の判定値以上となっている状態である。本実施形態では、飽和状態にある長秒Ｙデータの数をカウントする飽和カウント回路１１４４ａと飽和状態にある短秒Ｙデータの数をカウントする飽和カウント回路１１４４ｂとは、異なる判定値を用いてカウントを行う。具体的には、飽和カウント回路１１４４ａは判定値ｔｈ１を用い、飽和カウント回路１１４４ｂは判定値ｔｈ２を用いる。判定値ｔｈ１は、判定値ｔｈ２よりも大きい。

シーン判定回路１１４５は、飽和カウント回路１１４４ａのカウント結果と飽和カウント回路１１４４ｂとから現在のシーンが点光源を含むシーンであるか否かを判定する。シーン判定回路１１４５については後で詳しく説明する。

ＡＦ評価値補正回路１１４６ａは、シーン判定回路１１４５における判定結果に応じて累積回路１１４３ａで生成されたＡＦ評価値を補正する。ＡＦ評価値補正回路１１４６ｂは、シーン判定回路１１４５における判定結果に応じて累積回路１１４３ｂで生成されたＡＦ評価値を補正する。この補正は、点光源の存在する位置におけるＡＦ評価値の急激な減少を補正する処理である。ＡＦ評価値補正回路１１４６ａ、１１４６ｂについては後で詳しく説明する。

補正判定選択回路１１４７は、シーン判定回路１１４５における判定結果に応じて、ＡＦ評価値補正回路１１４６ａで補正されたＡＦ評価値とＡＦ評価値補正回路１１４６ｂで補正されたＡＦ評価値との何れかを最終的なＡＦ評価値として選択する。補正判定選択回路１１４７については後で詳しく説明する。

合焦位置検出回路１１４８は、補正判定選択回路１１４７によって選択されたＡＦ評価値を用いてＡＦ評価値のピークに対応するフォーカスレンズ位置（ピーク位置）を検出する。ＡＦ評価値のピーク位置は、離散的に取得されるＡＦ評価値の増加から減少への変化が検出されたときに離散的なＡＦ評価値のピークに対応するフォーカスレンズの位置とその前後のフォーカスレンズの位置とを用いた補間演算により算出される。このＡＦ評価値のピーク位置が合焦位置になる。

以下、本実施形態に係る撮像装置１００の動作を説明する。図３は、本実施形態に係る撮像装置１００による焦点調節動作を示すフローチャートである。

例えば、ユーザによってレリーズボタンが半押しされることによって焦点調節動作が開始される。ステップＳ１において、制御回路１２４は、フォーカスレンズのレンズスキャン駆動を開始させるようにモータドライブ回路１０６に指示する。この指示を受けて、モータドライブ回路１０６は、フォーカスレンズのレンズスキャン駆動のためにレンズ駆動モータ１０４を駆動する。レンズスキャン駆動では、フォーカスレンズは、まず、至近方向及び無限方向の何れか一方向に駆動される。

ステップＳ２において、制御回路１２４は、撮像素子１０８による露出時間の異なる２回の撮像動作により、長秒画像データと短秒画像データとを取得する。図４は、長秒画像データと短秒画像データとを取得するための撮像動作を示す図である。本実施形態では、長秒画像データと短秒画像データとは、ライブビュー表示中にＨＤＲ処理を行うために取得される。したがって、長秒画像データの取得と短秒画像データの取得とは１フレーム分のライブビュー表示の間に行われる。例えば、図４では、ライブビュー表示の間隔は１/６０秒である。したがって、長秒画像データの取得のための撮像動作と短秒画像データの取得のための撮像動作とは１/６０秒よりも短い時間で行われる。また、長秒画像データの取得のための撮像動作の露出時間は、短秒画像データの取得のための撮像動作の露出時間よりも長い。例えば、図４では、長秒画像データの取得のための撮像動作の露出時間は１/９０秒であり、短秒画像データの取得のための撮像動作の露出時間は１/１８０秒である。このようにして露出時間が設定されることにより、ライブビュー表示中にＨＤＲ処理を行うことが可能である。なお、露出時間は、図４で示した時間に限らず、ライブビュー表示のフレームレート等に応じて適宜に変更され得る。

ステップＳ３において、制御回路１２４は、ＡＥ評価値算出回路１１２にＡＥ評価値を生成させる。これを受けて、ＡＥ評価値算出回路１１２は、所定領域毎にＡＥ評価値を生成する。

ステップＳ４において、制御回路１２４は、ステップＳ２において取得した長秒画像データと短秒画像データとをＡＦ評価値算出回路１１４に入力する。これを受けて、ＡＦ評価値算出回路１１４は、Ｙ生成回路１１４１において長秒Ｙデータ及び短秒Ｙデータをそれぞれ生成する。

ステップＳ５において、ＡＦ評価値算出回路１１４は、ＡＦ評価値を生成する。前述したように、ＡＦ評価値算出回路１１４は、累積回路１１４３ａにおいて長秒Ｙデータに関するＡＦ評価値を生成し、累積回路１１４３ｂにおいて短秒Ｙデータに関するＡＦ評価値を生成する。

ステップＳ６において、ＡＦ評価値算出回路１１４は、飽和カウント回路１１４４ａにおいて飽和状態にある長秒Ｙデータの数をカウントするとともに、飽和カウント回路１１４４ｂにおいて飽和状態にある短秒Ｙデータの数をカウントする。以下、この飽和カウントの処理について図５を参照して説明する。図５は、飽和カウント回路における処理を示すフローチャートである。なお、飽和カウント回路１１４４ａと飽和カウント回路１１４４ｂとは、基本的には同一の処理を行う。したがって、図５では、飽和カウント回路１１４４ａと飽和カウント回路１１４４ｂとを区別せずに「飽和カウント回路」として説明する。

ステップＳ１０１において、飽和カウント回路は、入力されたＹデータの値Ｙが判定値ｔｈ以上であるか否かを判定する。飽和カウント回路１１４４ａの場合、ステップＳ１０１のＹは長秒Ｙデータであり、判定値ｔｈは判定値ｔｈ１である。飽和カウント回路１１４４ｂの場合、ステップＳ１０１のＹは短秒Ｙデータであり、判定値ｔｈは判定値ｔｈ２である。ステップＳ１０１において、入力されたＹデータの値Ｙが判定値ｔｈ以上であると判定されたときには、処理はステップＳ１０２に移行する。入力されたＹデータの値Ｙが判定値ｔｈ以上でないと判定されたときには、処理はステップＳ１０３に移行する。

ステップＳ１０２において、飽和カウント回路は、飽和状態にあるＹデータの数を１だけカウントアップする。

ステップＳ１０３において、飽和カウント回路１１４４ａは、全領域のＹデータについてステップＳ１０２の判定が完了したか否かを判定する。ステップＳ１０３において、全領域のＹデータについてステップＳ１０２の判定が完了していないと判定されたときに、処理はステップＳ１０１に戻る。この場合、飽和カウント回路は、まだ判定が完了していない位置のＹデータについての処理を開始する。ステップＳ１０３において、全領域のＹデータについてステップＳ１０２の判定が完了したと判定されたときに、図５の処理は終了する。

ここで、図３の説明に戻る。Ｙデータのカウント処理の後のステップＳ７において、ＡＦ評価値算出回路１１４は、シーン判定回路１１４５によるシーン判定処理を開始させる。以下、シーン判定回路１１４５の処理を説明する。

まず、シーン判定回路１１４５は、飽和判定を行う。図６は、飽和判定の処理を示すフローチャートである。ステップＳ２０１において、シーン判定回路１１４５は、飽和カウント回路（例えば、飽和カウント回路１１４４ａ）からカウント値を取得する。

ステップＳ２０２において、シーン判定回路１１４５は、取得したカウント値が判定値ｔｈ３以上であるか否かを判定する。ステップＳ２０２において、カウント値が判定値ｔｈ３以上であると判定されたときには、処理はステップＳ２０３に移行する。ステップＳ２０２において、カウント値が判定値ｔｈ３以上でないと判定されたときには、処理はステップＳ２０４に移行する。

ステップＳ２０３において、シーン判定回路１１４５は、取得したカウント値に対応したＹデータの飽和状態が検出されたことを確定する。ステップＳ２０４において、シーン判定回路１１４５は、取得したカウント値に対応したＹデータの飽和状態が検出されなかったことを確定する。ステップＳ２０３又はＳ２０４の後、処理はステップＳ２０５に移行する。

ステップＳ２０５において、シーン判定回路１１４５は、長秒Ｙデータと短秒Ｙデータの両方についてステップＳ２０３又はステップＳ２０４の判定が完了したか否かを判定する。ステップＳ２０５において、長秒Ｙデータと短秒Ｙデータの両方についてステップＳ２０３又はステップＳ２０４の判定が完了していないと判定されたときに、処理はステップＳ２０１に戻る。この場合、シーン判定回路１１４５は、まだ判定が完了していないＹデータについての処理を開始する。ステップＳ２０５において、長秒Ｙデータと短秒Ｙデータの両方についてステップＳ２０３又はステップＳ２０４の判定が完了したと判定されたときに、図６の処理は終了する。

飽和判定の後、シーン判定回路１１４５は、シーン選択を行う。図７は、シーン判定の処理を示すフローチャートである。ステップＳ３０１において、シーン判定回路１１４５は、長秒Ｙデータと短秒Ｙデータの両方で飽和状態が検出されているか否かを判定する。ステップＳ３０１において、長秒Ｙデータと短秒Ｙデータの両方で飽和状態が検出されていると判定されたときには、シーン判定回路１１４５は、現在のシーンとしてシーン３を選択する。その後、図７の処理は終了する。ステップＳ３０１において、長秒Ｙデータと短秒Ｙデータの少なくとも何れかで飽和状態が検出されていないと判定されたときには、処理はステップＳ３０２に移行する。

ステップＳ３０２において、シーン判定回路１１４５は、長秒Ｙデータと短秒Ｙデータの両方で飽和状態が検出されていないか否かを判定する。ステップＳ３０２において、長秒Ｙデータと短秒Ｙデータの両方で飽和状態が検出されていないと判定されたときには、シーン判定回路１１４５は、現在のシーンとしてシーン２を選択する。その後、図７の処理は終了する。ステップＳ３０２において、長秒Ｙデータと短秒Ｙデータの一方で飽和状態が検出され、他方で飽和状態が検出されていないと判定されたときには、シーン判定回路１１４５は、現在のシーンとしてシーン１を選択する。その後、図７の処理は終了する。

図８は、シーン１、シーン２、シーン３のそれぞれが選択される条件と、選択されたシーンに応じてＡＦ評価値補正回路１１４６ａ及び１１４６ｂでなされる補正と、選択されたシーンに応じて補正判定選択回路１１４７において仮に選択されるＡＦ評価値とを対応付けて示した図である。

本実施形態では、ＡＦ評価値の補正が所定の関数を用いて行われる。この関数は、１次関数又は高次関数（例えば３次関数）である。本実施形態では、基本的には、飽和状態が検出されているＹデータについては３次関数を用いた補正（以下、３乗補正という）が行われ、飽和状態が検出されていないＹデータについては１次関数を用いた補正（以下、１乗補正という）が行われる。飽和状態が検出されているときには被写体が点光源である可能性がある。被写体が点光源であるときには、点光源の位置に対応したフォーカスレンズ位置において後で説明するようなＡＦ評価値の急激な減少が発生する。このようなＡＦ評価値の急激な減少を補正するために３乗補正が行われる。ただし、シーン判定結果によって仮に選択されるＡＦ評価値は、飽和状態となっていないほうのＹデータに基づくＡＦ評価値である。これは、後で説明するように、飽和状態となっているときには、合焦位置のずれが発生しやすいためである。さらに、長秒Ｙデータと短秒Ｙデータの両方が飽和状態となっているときには、短秒Ｙデータに基づくＡＦ評価値が選択される。これは、短秒Ｙデータのほうが長秒Ｙデータよりも飽和状態の程度が低いと考えられるためである。また、長秒Ｙデータと短秒Ｙデータの両方が飽和状態となっていないときには、長秒Ｙデータに基づくＡＦ評価値が選択される。これは、値の大きなＡＦ評価値を使用することで合焦位置の検出精度の向上を図るためである。

以上のような考え方に基づいて、図８に示すように、シーン３においては、長秒Ｙデータ及び短秒Ｙデータの両方に対して３乗補正が行われ、短秒Ｙデータが仮に選択される。また、シーン２においては、長秒Ｙデータ及び短秒Ｙデータの両方に対して１乗補正が行われ、長秒Ｙデータが仮に選択される。また、シーン１においては、長秒Ｙデータに対しては３乗補正が行われ、短秒Ｙデータに対しては１乗補正が行われ、短秒Ｙデータが仮に選択される。

ここで、図３の説明に戻る。シーン判定処理の後のステップＳ８において、ＡＦ評価値算出回路１１４は、ＡＦ評価値補正回路１１４６ａ、１１４６ｂによるＡＦ評価値の補正を行わせる。以下、ＡＦ評価値の補正について説明する。図９Ａは、ＡＦ評価値の補正について説明するための図であって、補正前のＡＦ評価値を示す図である。図９Ｂは、ＡＦ評価値の補正について説明するための図であって、補正後のＡＦ評価値を示す図である。ここで、図９Ａ及び図９Ｂの横軸はフォーカスレンズの位置を示し、縦軸はＡＦ評価値及びＡＥ評価値の大きさを示す。また、以下では被写体は点光源であるとする。

点光源は、画面内の狭い範囲で輝度が増減する被写体である。したがって、点光源を含む領域では、図９Ａに示すように、ＡＥ評価値は、点光源にピントが合うことにより輝度信号が飽和する狭い範囲で増減する。すなわち、Ｙデータの飽和の状態から点光源の有無を判断することが可能である。

一方、ＡＦ評価値は、Ｙデータの高周波成分を累積することによって得られるものである。したがって、点光源の位置に対応したフォーカスレンズ位置において、本来ピークとなるべき位置におけるＡＦ評価値の減少（ピークの落ち込み）が発生する。この場合、本来のＡＦ評価値のピーク位置（ＡＦ評価値が極小となる位置）の周辺に２つのピーク位置が発生する。このため、ＡＦ評価値のピーク位置がずれることになり、正しい合焦位置を算出することができなくなる。

ＡＥ評価値の補正は、図９Ａのようなピークの落ち込みの発生したＡＦ評価値を持ち上げる補正である。このＡＦ評価値の補正は、例えば以下の式（１）を用いて行われる。なお、ＡＦ評価値の補正は、必ずしも式（１）に従って行われなくてもよい。
AFval ＝ （AEValstd／AEval）ⁿ×AFvalorg （１）
ここで、式（１）のAFvalは補正後のＡＦ評価値であり、AFvalorgは補正前のＡＦ評価値であって、例えばＡＦ評価値の極小値（ＡＥ評価値の急激な減少の発生したフォーカスレンズ位置において得られたＡＦ評価値）と、その前後のフォーカスレンズ位置のＡＦ評価値の３点のＡＦ評価値である。ＡＦ評価値のサンプリング点数は必ずしも３点でなくてよい。また、AEValstdはＡＥ評価値の基準値（例えば焦点検出領域内のＡＥ評価値の平均値）であり、AEvalはサンプリングされたＡＦ評価値が得られた焦点検出領域を含む所定領域（焦点検出領域と一致していてもよい）のＡＥ評価値である。ｎは、１乗補正のときには１になり、３乗補正のときには３になる。前述したように、Ｙデータに対して１乗補正が行われるか又は３乗補正が行われるかは、シーン判定回路１１４５で選択されたシーンに応じて決定される。

式（１）に従って補正が行われることにより、図９Ｂに示すように、ＡＥ評価値が急激に変化する位置、すなわちＡＦ評価値の急激な減少が発生する位置におけるＡＦ評価値の減少が解消される。ここで、式（１）からも分かるように、３乗補正のほうが１乗補正よりも補正後のＡＦ評価値は大きくなる。したがって、飽和状態が検出されているとき、すなわち被写体が点光源であって、ＡＦ評価値の減少が発生していると考えられるときには３乗補正が行われることが望ましい。

また、３乗補正と１乗補正とでは、３乗補正のほうが先鋭なピークを形成しやすいので、サンプリング位置の取り方によって補正後の合焦位置の誤差が生じやすい。図１０Ａ及び図１０Ｂは、サンプリング位置による合焦位置のずれを３乗補正と１乗補正とで比較して示した図である。ここで、図１０Ａは３乗補正について示しており、図１０Ｂは１乗補正について示している。また、図１０Ａ及び図１０Ｂにおける実線は補正前のＡＦ評価値を示し、図１０Ａ及び図１０Ｂにおける破線は補正後のＡＦ評価値を示している。すなわち、３乗補正では、補正後のＡＦ評価値の先鋭なピークが形成されるので、図１０Ａの丸印とばつ印で示すように、サンプリング位置が少しずれるだけで補正後のＡＦ評価値のピーク位置、すなわち合焦位置は大きくずれる。一方、１乗補正では、図１０Ｂの丸印とばつ印で示すように、サンプリング位置が少しずれたとしても補正後のＡＦ評価値のピーク位置、すなわち合焦位置はそれほどはずれない。したがって、飽和状態が検出されていないとき、すなわち被写体が点光源でなく、ＡＦ評価値の減少が発生していないと考えられるときには合焦位置の誤差を抑制するために１乗補正が行われることが望ましい。

ここで、図３の説明に戻る。ＡＦ評価値の補正処理の後のステップＳ９において、ＡＦ評価値算出回路１１４は、補正判定選択回路１１４７による補正判定処理を行わせる。以下、補正判定処理について説明する。図１１は、補正判定の処理を示すフローチャートである。ステップＳ４０１において、補正判定選択回路１１４７は、長秒Ｙデータに基づくＡＦ評価値に対する補正と短秒Ｙデータに基づくＡＦ評価値に対する補正との両方がＯＫであるか否かを判定する。補正がＯＫである状態は、図１２に示すように、補正後の３点のＡＦ評価値のうちの最大のものと最小のものとの差Ｂと最大のＡＦ評価値の値Ａとの比Ｂ／Ａが判定値ｔｈ以下である状態である。ここで、長秒Ｙデータについての判定値ｔｈはｔｈ４であり、短秒Ｙデータについての判定値ｔｈはｔｈ５であり、ｔｈ４＞ｔｈ５である。すなわち、補正がＯＫである状態とは、ＡＦ評価値の先鋭度がそれほどは高くない状態である。一方、補正がＮＧである状態は、ＡＦ評価値のＢ／Ａが判定値ｔｈを超える場合である。すなわち、補正がＮＧである状態とは、ＡＦ評価値の先鋭度が高い状態である。前述したように、ＡＦ評価値の先鋭度が高くなると合焦位置の誤差が発生しやすくなる。したがって、ＡＦ評価値の先鋭度が所定状態よりも高くなるときには、補正がＮＧであると判定される。ステップＳ４０１において、両方の補正がＯＫであると判定されたときには、補正判定選択回路１１４７は、シーン判定の結果として仮に選択されたＡＦ評価値を最終的なＡＦ評価値として選択する。すなわち、仮に選択されたＡＦ評価値が長秒Ｙデータに基づくものであったときには、補正判定選択回路１１４７は、そのまま長秒Ｙデータに基づくＡＦ評価値を選択する。また、仮に選択されたＡＦ評価値が短秒Ｙデータに基づくものであったときには、補正判定選択回路１１４７は、そのまま短秒Ｙデータに基づくＡＦ評価値を選択する。その後、図１１の処理は終了する。ステップＳ４０１において、少なくとも何れかの補正がＯＫでない、すなわちＮＧであると判定されたときには、処理はステップＳ４０２に移行する。

ステップＳ４０２において、補正判定選択回路１１４７は、長秒Ｙデータに基づくＡＦ評価値に対する補正と短秒Ｙデータに基づくＡＦ評価値に対する補正との両方がＮＧであるか否かを判定する。ステップＳ４０２において、両方の補正がＮＧであると判定されたときには、補正判定選択回路１１４７は、シーン判定の結果として仮に選択されたＡＦ評価値を最終的なＡＦ評価値として選択する。その後、図１１の処理は終了する。ステップＳ４０２において、何れかの補正がＯＫであり、何れかの補正がＮＧであると判定されたときには、処理はステップＳ４０３に移行する。

ステップＳ４０３において、補正判定選択回路１１４７は、仮に選択されたＹデータに基づくＡＦ評価値に対する補正がＯＫであるか否かを判定する。ステップＳ４０３において、仮に選択されたほうの補正がＯＫであると判定されたときには、補正判定選択回路１１４７は、シーン判定の結果として仮に選択されたＡＦ評価値を最終的なＡＦ評価値として選択する。その後、図１１の処理は終了する。ステップＳ４０３において、仮に選択されたほうの補正がＮＧであると判定されたときには、補正判定選択回路１１４７は、シーン判定の結果として仮に選択されたＡＦ評価値と逆のＡＦ評価値を最終的なＡＦ評価値として選択する。すなわち、仮に選択されたＡＦ評価値が長秒Ｙデータに基づくものであったときには、補正判定選択回路１１４７は、短秒Ｙデータに基づくＡＦ評価値を選択する。また、仮に選択されたＡＦ評価値が短秒Ｙデータに基づくものであったときには、補正判定選択回路１１４７は、長秒Ｙデータに基づくＡＦ評価値を選択する。

図１３は、補正判定の条件と補正判定の結果として最終的に選択されるＡＦ評価値とを対応付けて示した図である。ここで、図１３の丸印は補正がＯＫであることを示し、図１３のばつ印は補正がＮＧであることを示す。

図１１で説明したように、シーン判定処理の結果として選択されたＡＦ評価値と選択されていないＡＦ評価値との両方の補正がＯＫであるとき（図１１のステップＳ４０１：Ｙｅｓ）、最終的にはシーン判定の結果として選択されたＡＦ評価値が選択される。すなわち、シーン１であれば短秒Ｙデータに基づくＡＦ評価値が選択され、シーン２であれば長秒Ｙデータに基づくＡＦ評価値が選択され、シーン３であれば短秒Ｙデータに基づくＡＦ評価値が選択される。両方の補正がＯＫであれば、最終的に選択されるＡＦ評価値を変更する必要はない。

また、シーン判定処理の結果として選択されたＡＦ評価値の補正がＯＫであり、選択されていないＡＦ評価値の補正がＮＧであるとき（図１１のステップＳ４０３：Ｙｅｓ）、最終的にはシーン判定の結果として選択されたＡＦ評価値が選択される。すなわち、シーン１であれば短秒Ｙデータに基づくＡＦ評価値が選択され、シーン２であれば長秒Ｙデータに基づくＡＦ評価値が選択され、シーン３であれば短秒Ｙデータに基づくＡＦ評価値が選択される。シーン判定処理において選択された補正がＯＫであれば、最終的に選択されるＡＦ評価値を変更する必要はない。

また、シーン判定処理の結果として選択されたＡＦ評価値の補正がＮＧであり、選択されていないＡＦ評価値の補正がＯＫであるとき（図１１のステップＳ４０３：Ｎｏ）、最終的にはシーン判定の結果として選択されたＡＦ評価値と逆のＡＦ評価値が選択される。すなわち、シーン１であれば長秒Ｙデータに基づくＡＦ評価値が選択され、シーン２であれば短秒Ｙデータに基づくＡＦ評価値が選択され、シーン３であれば長秒Ｙデータに基づくＡＦ評価値が選択される。シーン判定処理において選択されたＡＦ評価値の補正がＮＧであり、選択されていないＡＦ評価値の補正がＯＫであるときには、シーン判定処理によって選択されたＡＦ評価値を用いてしまうと合焦位置の誤差が発生しやすい。したがって、最終的に選択されるＡＦ評価値を変更する。

また、シーン判定処理の結果として選択されたＡＦ評価値と選択されていないＡＦ評価値との両方の補正がＮＧであるとき（図１１のステップＳ４０２：Ｙｅｓ）、最終的にはシーン判定の結果として選択されたＡＦ評価値が選択される。すなわち、シーン１であれば短秒Ｙデータに基づくＡＦ評価値が選択され、シーン２であれば長秒Ｙデータに基づくＡＦ評価値が選択され、シーン３であれば短秒Ｙデータに基づくＡＦ評価値が選択される。両方の補正がＮＧであれば、何れが選択されても合焦位置の誤差が発生し得る。この場合には、シーン判定処理における選択が優先される。

ここで、図３の説明に戻る。補正判定処理の後のステップＳ１０において、ＡＦ評価値算出回路１１４は、方向判断が完了したか否かを判定する。ステップＳ１０において、方向判断が完了していないと判定されたときに、処理はステップＳ１１に移行する。ステップＳ１０において、方向判断が完了したと判定されたときに、処理はステップＳ１２に移行する。

ステップＳ１１において、ＡＦ評価値算出回路１１４は、方向判断を行う。その後、処理はステップＳ１３に移行する。方向判断は、ステップＳ９において選択されたＡＦ評価値の所定値以上の増加又は減少が検出されたか否かによって行われる。ＡＦ評価値の所定値以上の増加が検出されたと判定されたときには、フォーカスレンズの駆動方向は現在の駆動方向と同じ方向であると判定されて、方向判断は完了する。ＡＦ評価値の所定値以上の減少が検出されたと判定されたときには、フォーカスレンズの駆動方向は現在の駆動方向と逆方向であると判定されて、方向判断は完了する。ＡＦ評価値の所定値以上の増加も減少も検出されていないときには、方向判断は完了しない。この場合、次回のステップＳ１０において処理は再びステップＳ１１に移行する。

ステップＳ１２において、ＡＦ評価値算出回路１１４は、合焦位置検出回路１１４８によるＡＦ評価値のピーク位置（すなわち合焦位置）の検出を行わせる。これを受けて、まず、合焦位置検出回路１１４８は、ステップＳ９において選択されたＡＦ評価値の所定値以上の増加から減少への変化が検出されたか否かを判定することによって、フォーカスレンズがＡＦ評価値のピークに対応した位置を通過したか否かを判定する。フォーカスレンズがＡＦ評価値のピークに対応した位置を通過していないと判定されたときには、合焦位置検出回路１１４８は、ＡＦ評価値のピーク位置の検出を行わない。この場合、ピーク位置の検出は完了せずに処理はステップＳ１３に移行する。一方、フォーカスレンズがＡＦ評価値のピークに対応した位置を通過したと判定されたときには、合焦位置検出回路１１４８は、ステップＳ９で補正された３点のＡＦ評価値に基づく補間演算によってＡＦ評価値のピーク位置を検出してピーク位置検出を完了する。この後、処理はステップＳ１３に移行する。

ステップＳ１３において、ＡＦ評価値算出回路１１４は、ＡＦ評価値のピーク位置（合焦位置）の検出が完了したか否かを判定する。ステップＳ１３において、ＡＦ評価値のピーク位置の検出が完了していないと判定されたときには、処理はステップＳ１４に移行する。ステップＳ１３において、ＡＦ評価値のピーク位置の検出が完了したと判定されたときには、処理はステップＳ１５に移行する。

ステップＳ１４において、制御回路１２４は、ＨＤＲ処理及びライブビュー表示を行う。具体的には、制御回路１２４は、ステップＳ２において取得した長秒画像データと短秒画像データとを画像処理回路１１６に入力し、画像処理回路１１６においてＨＤＲ処理の実行を指示する。これを受けて、画像処理回路１１６は、長秒画像データと短秒画像データとを合成する。合成は、例えば、長秒画像データにおいて露出が過剰な領域を短秒画像データで置き換えるように合成することで行われる。合成の後、制御回路１２４は、ＨＤＲ処理によって得られた合成画像データを表示素子１１８に入力する。表示素子１１８は、入力された合成画像データをライブビューとして表示する。その後、処理はステップＳ２に戻る。

ステップＳ１５において、制御回路１２４は、ＡＦ評価値算出回路１１４によって検出されたＡＦ評価値のピーク位置に対応した位置までフォーカスレンズを駆動するようにモータドライブ回路１０６に指示する。その後、図３の処理は終了する。この後、ユーザによってレリーズボタンが全押しされることによって撮影動作が開始される。

以上説明したように本実施形態によれば、露出条件（例えば露出時間）が異なる複数回の撮像動作が行われる場合において、それぞれの撮像動作によって得られる画像の飽和の状態によって、何れかの撮像動作に基づくＡＦ評価値を選択して焦点調節動作を行うようにしている。これによって、露出量が異なる複数回の撮像動作のうちで適切な画像データを選択することができ、これによって合焦位置の検出精度を向上することができる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、前述した実施形態では、画像データの飽和状態は輝度データによって判定される。しかしながら、画像データの飽和状態は、輝度データではなく、画素データから判定されてもよい。すなわち、画素データが飽和状態であるときには、飽和している画素としてカウントしてもよい。

また、前述した実施形態では、長秒画像データを得るための撮像動作と短秒画像データを得るための撮像動作とは異なるタイミングで開始されるものとしている。しかしながら、例えば撮像装置１００が長秒画像データ用の撮像素子と短秒画像データ用の撮像素子とを有している場合には、長秒画像データを得るための撮像動作と短秒画像データを得るための撮像動作とは同じタイミングで開始されてもよい。

また、前述した実施形態では、露出条件として露出時間を異ならせているが、感度等の他の条件を異ならせてもよい。

さらに、シーン判定処理の内容と補正判定処理の内容は適宜に変更され得る。例えば、前述の実施形態では、補正判定処理において、シーン判定処理の結果として選択されたＡＦ評価値と選択されていないＡＦ評価値との両方の補正がＮＧであるとき、最終的にはシーン判定の結果として選択されたＡＦ評価値が選択される。しかしながら、ＡＦ評価値と選択されていないＡＦ評価値との両方の補正がＮＧであるときに合焦位置の検出が行われないようにしてもよい。

また、前述した実施形態では、コントラストＡＦ処理の間のレンズ駆動は、スキャン駆動である。これに対し、コントラストＡＦ処理の間のレンズ駆動がウォブリング駆動等であっても本実施形態の技術は適用され得る。

さらに、前述した実施形態では、焦点調節動作は、ＨＤＲ処理を伴うライブビュー表示中に行われる例を示している。しかしながら、本実施形態の技術は、露出条件の異なる複数回の撮像動作を伴う各種の処理における焦点調節動作に対して適用され得る。

また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、コンピュータである制御回路１２４に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御回路１２４は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００ 撮像装置、１０２ 撮影レンズ、１０４ レンズ駆動モータ、１０６ モータドライブ回路、１０８ 撮像素子、１１０ 撮像信号処理回路、１１２ ＡＥ評価値算出回路、１１４ ＡＦ評価値算出回路、１１６ 画像処理回路、１１８ 表示素子、１２０ メモリ、１２２ 操作部、１２４ 制御回路、１１４１ Ｙ生成回路、１１４２ａ，１１４２ｂ 水平フィルタ、１１４３ａ，１１４３ｂ 累積回路、１１４４ａ，１１４４ｂ 飽和カウント回路、１１４５ シーン判定回路、１１４６ａ，１１４６ｂ ＡＦ評価値補正回路、１１４７ 補正判定選択回路、１１４８ 合焦位置検出回路、１１６１ 合成回路。

Claims (7)

1. フォーカスレンズを有する撮影レンズを通過する光束に基づいて撮像信号を生成する撮像素子を有する撮像装置において、
   前記撮像素子による露出条件の異なる複数回の撮像動作において生成される前記撮像信号に基づき露出条件の異なる複数の画像データを生成する撮像信号処理部と、
   複数の前記画像データのそれぞれに基づいてＡＦ評価値を算出し、複数の前記画像データのそれぞれの飽和状態に基づいて前記算出された複数の前記ＡＦ評価値のうちから所定の前記ＡＦ評価値を選択するＡＦ評価値算出部と、
   選択された前記ＡＦ評価値に基づいて前記フォーカスレンズの焦点調節動作を制御する制御部と、
   を具備することを特徴とする撮像装置。
2. 前記ＡＦ評価値算出部は、複数の前記画像データのうちで飽和状態ではない画像データに対応するＡＦ評価値を選択することを特徴とする請求項１に記載の撮像装置。
3. 前記ＡＦ評価値算出部は、複数の前記画像データのうちで飽和状態ではない画像データがない場合には、複数の前記画像データのうちで飽和状態の程度がより低い画像データに対応するＡＦ評価値を選択することを特徴とする請求項１に記載の撮像装置。
4. 前記ＡＦ評価値算出部は、複数の前記画像データ毎に異なる判定値により複数の前記画像データのそれぞれの飽和状態を判定することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記画像データは、複数の画素データから構成され、
   前記制御部は、複数の前記画像データのうちで、所定の判定値以上である前記画素データの数が所定数以上である前記画像データが飽和状態であると判定することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
6. 前記ＡＦ評価値算出部は、前記算出された複数のＡＦ評価値を前記飽和状態に基づいて補正し、前記補正された複数のＡＦ評価値のそれぞれの先鋭度に基づいて前記補正されたＡＦ評価値から所定のＡＦ評価値を選択することを特徴とする請求項１に記載の撮像装置。
7. 前記先鋭度は、前記複数のＡＦ評価値のうちの極値と極値に２番目に近いＡＦ評価値との差と、前記極値との比に基づいて算出することを特徴とする請求項６に記載の撮像装置。