JP2006033023A - 撮像装置 - Google Patents

Abstract

【課題】 撮像装置において、動画像を構成する各フレーム画像をピントの合った画像として、高画質な動画を取得できるようにすること。
【解決手段】 撮像装置１１は、メモリカード９に記録される動画像の出力フレームレートよりも高速フレームレートで画像取得可能なように構成される。レンズ駆動回路１６は、高速フレームレートで取得される画像ごとに、撮影レンズ１０の位置を変化させ、撮像素子１１に結像される画像のピント状態を変化させる。そして合焦評価部２３が、高速フレームレートで取得される各画像のピント状態を評価し、画像生成部２４が、その評価結果に基づき、高速フレームレートで取得される複数の画像のうちから比較的合焦状態に近い画像を選択することによって、出力フレームレートの動画像を生成する。
【選択図】図１

Description

本発明は、デジタルカメラ等の撮像装置に関する。

従来の動画撮影においては、１秒間に３０フレーム、すなわち３０ｆｐｓでの撮影が行われる。また動画撮影中は、常に、被写体にピントが合った状態を保つことが必要であることから、継続的にオートフォーカス制御（ＡＦ）が行われる。動画撮影可能なデジタルカメラには、いわゆるコントラスト検出方式（山登り方式）のフォーカス制御を採用するものが多く、この種のデジタルカメラでは、撮影レンズ全体若しくは一部を光軸方向に沿って前後に移動させ、コントラストがピークを示すレンズ位置を探しだして、そのレンズ位置を合焦位置（ピントの合う位置）として特定し、レンズを移動させるように構成されている。

しかしながら、３０ｆｐｓで動画撮影を行っているときに、撮影レンズを前後に移動させると、それによって被写体のピント状態が変化し、動画中には必ずピント状態の悪い画像が含まれることになる。そのため、従来は、動画像を構成する全てのフレーム画像を合焦状態の画像とすることができず、高画質な動画記録ができないという問題があった。

一方、近年では特許文献１に開示されるように、撮影時のフレームレートを変更することができるカメラも提案されつつある。

特開２００１−３５８９８４号公報

本発明は、従来の問題点を解決するためになされたものであり、動画像を構成する各フレーム画像をピントの合った画像として、高画質な動画を取得できるようにした撮像装置を提供することを目的とするものである。

本発明にかかる撮像装置は、記録又は表示のための出力フレームレートよりも高速フレームレートで画像を取得可能な撮像素子と、前記高速フレームレートで取得される画像ごとに、撮影レンズの位置を変化させ、前記撮像素子に結像される画像のピント状態を変化させるレンズ駆動手段と、前記高速フレームレートで取得される各画像のピント状態を評価する合焦評価手段と、前記合焦評価手段の評価結果に基づき、前記高速フレームレートで取得される複数の画像のうちから比較的合焦状態に近い画像を選択することによって、前記出力フレームレートの画像を生成する画像生成手段と、を備えて構成される。

上記の撮像装置においては、前記画像生成手段が、前記撮像素子で連続的に取得される所定期間内の複数の画像のうちから最も合焦状態に近い一枚の画像を選択するように構成されることが好ましい。

また、上記の撮像装置においては、前記画像生成手段が、前記撮像素子で連続的に取得される所定期間内の複数の画像のうちから、所定レベルよりも合焦状態に近い画像を選択するように構成されることが好ましい。

この場合において、前記所定レベルよりも合焦状態に近い画像が前記所定期間内に複数フレーム存在する場合には、前記画像生成手段が、該複数フレームの画像のうち、前回選択した画像から前記出力フレームレートによって規定されるフレーム間隔に最も近いタイミングで取得された画像を選択するように構成されることがより好ましい。

また、その場合において、前記撮像素子で連続的に取得される前記所定期間内の複数の画像のうちに、前記所定レベルよりも合焦状態に近い画像が存在しない場合には、前記画像生成手段が、前記複数の画像のうちから最も合焦状態に近い一枚の画像を選択するように構成されることがより好ましい。

また、上記の撮像装置においては、前記所定期間が、前記出力フレームレートに対応して規定される期間であることが好ましい。

また、上記の撮像装置においては、前記撮影レンズが焦点距離を変化させる可変焦点レンズを備え、前記画像生成手段が、前記高速フレームレートで取得される複数の画像のうちから比較的合焦状態に近い画像を選択する際の選択基準を、前記可変焦点レンズの焦点距離によって変化させるように構成されることが好ましい。

また、上記の撮像装置においては、パンニング動作の有無を検知する検知手段をさらに備え、前記検知手段がパンニング動作を検知しているときには、前記画像生成手段における選択動作を行わないように構成されることが好ましい。

本発明にかかる撮像装置によれば、動画像を構成する各フレーム画像が合焦状態に近い画像で構成される可能性が高くなり、各フレーム画像が従来よりもピントの合った画像として得られ、高画質な動画像を取得できるようになる。

特に、撮像素子で連続的に取得される複数の画像のうちから、所定レベルよりも合焦状態に近い画像を選択する場合において、その所定レベルよりも合焦状態に近い画像が複数フレーム存在する場合、該複数フレームの画像のうち、前回選択した画像から出力フレームレートによって規定されるフレーム間隔に最も近いタイミングで取得された画像を選択するように構成されることにより、ほぼ一定間隔ごとに抽出されたフレーム画像で動画像を構成することができ、なめらかな動画像が取得できる。

また、特に撮影レンズが焦点距離を変化させる可変焦点レンズを備えており、画像生成手段が、高速フレームレートで取得される複数の画像のうちから比較的合焦状態に近い画像を選択する際の選択基準を、可変焦点レンズの焦点距離によって変化させることにより、均一性のある良好な処理が実現される。

以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。

図１は、本実施形態における撮像装置１の構成を示すブロック図である。撮像装置１は、静止画撮影だけでなく、動画撮影を行うことも可能なように形成されたデジタルカメラである。この撮像素子１は、撮影レンズ１０、撮像素子１１、Ａ／Ｄ変換器１２、画像メモリ１３、タイミングジェネレータ（ＴＧ）１４、演算部１５、レンズ駆動回路１６、シャッタボタン１７、メモリカード９、液晶ディスプレイ（ＬＣＤ）１８、電子ビューファインダ１９及びマイクロコンピュータ２０を備えて構成される。

撮影レンズ１０は、光軸Ｌに沿って入射する被写体からの光を撮像素子１１の受光面に結像させる光学系であり、レンズ駆動回路１６の駆動によって光軸Ｌに沿った方向に移動する。レンズ駆動回路１６は、撮影レンズ１０を光軸Ｌに沿って移動させることにより、撮像素子１１に結像される画像のピント状態を変化させるものである。レンズ駆動回路１６が撮影レンズ１０を駆動する際の駆動量および駆動方向は、マイクロコンピュータ２０によって指示される。

撮像素子１１は、光軸Ｌに垂直な受光面に多くの画素が二次元配列された光電変換素子であり、例えば露光によって各画素に蓄積された電荷を高速転送出力可能なＣＭＯＳセンサなどによって構成される。撮像素子１１から出力される画像信号はＡ／Ｄ変換器１２へと出力される。Ａ／Ｄ変換器１２は、画像信号を画素毎に例えば１２ビットのデジタル信号に変換し画像メモリ１３に出力する。画像メモリ１３は複数フレーム分の画像信号を一時的に格納するための記憶手段であり、例えばＳＤＲＡＭなどによって構成される。

タイミングジェネレータ（ＴＧ）１４は、撮像素子１１に対してタイミング信号を送出することにより、露光の開始及び終了、ならびに電荷転送を指示する制御回路である。タイミングジェネレータ１４は、マイクロコンピュータ２０からの指令によってタイミング信号の送出周期を変化させるように構成されており、その周期を変動させることによって撮像素子１１で取得される画像のフレームレートを変化させる。

演算部１５は、画像メモリ１３に格納される画像から所定領域（通常は画面中央部）の画像成分を抽出して演算処理を行うことにより、所定領域に含まれる画像成分のコントラストをＡＦ評価値として算出する。このＡＦ評価値は、主としてオートフォーカス制御を行う際に用いられる評価値である。また、このＡＦ評価値は、被写体の動きを検知するためにも使用される。

また演算部１５は、画像メモリ１３に格納される連続した２フレームの画像から、撮像素子１のパンニング動作の有無を評価するためのパンニング評価値をも算出するように構成される。例えば、前回の画像の所定領域における輝度分布と、今回の画像の所定領域における輝度分布との一致度合いを示す相関値がパンニング評価値として算出される。また、色分布などの一致度合いを示す相関値をパンニング評価値としてもよい。

演算部１５はこれらの算出した評価値をマイクロコンピュータ２０に出力する。

シャッタボタン１７は撮像装置１に対してユーザが撮影を指示するための操作ボタンである。静止画撮影時にはユーザがシャッタボタン１７の押下操作を行うと、それに応答して撮像装置１は静止画撮影を行い、動画撮影時にはユーザがシャッタボタン１７の押下操作を継続している間、撮像装置１は動画撮影を行い、その間に撮影された動画像を記録する。

メモリカード９は、撮像装置１に着脱自在に設けられた画像記録媒体であり、撮影動作によって取得される静止画及び動画を記録するものである。

液晶ディスプレイ１８及び電子ビューファインダ１９は、ユーザに対して画像を表示するための表示手段であり、例えば撮像素子１１によって取得される画像をリアルタイムで表示したり、メモリカード９に記録された画像の再生表示を行うように構成される。

マイクロコンピュータ２０は、所定のプログラムを実行することによって撮像装置１の各部を統括的に制御するものであり、例えば、撮影制御部２１、合焦制御部２２、合焦評価部２３、画像生成部２４、記録処理部２５及び表示処理部２６として機能する。

撮影制御部２１は、シャッタボタン１７の押下操作に応答して、タイミングジェネレータ１４に対し、フレームレートを指定した撮影指示を与える。また撮影制御部２１は、露出制御（ＡＥ）やホワイトバランス制御（ＷＢ）を行う機能も有している。合焦制御部２２はレンズ駆動回路１６に対して撮影レンズ１０の駆動指令を送出する。合焦評価部２３は演算部１５からのＡＦ評価値を取得して画像のピント状態を評価するとともに、ＡＦ評価値に基づいて被写体の動き検出を行ったり、パンニング評価値に基づいてパンニング動作の有無を判断するように構成される。画像生成部２４は、画像メモリ１３に格納された複数フレームの画像のうちから記録用画像および表示用画像を選択して、記録処理部１５および表示処理部２６に送出するものである。ただし、これらの各機能部は明確に区別される必要はない。

本実施形態の撮像装置１は上記のように構成されている。この撮像装置１を用いて動画撮影を行うとき、記録処理又は表示処理のために画像生成部２４から出力される画像の出力フレームレートは動画像として視覚的に違和感の生じないフレームレート（例えば、３０ｆｐｓ）に設定され、撮像素子１１はその出力フレームレートよりも高速なフレームレートで画像を取得するように制御される。そして高速フレームレートでの撮影動作の継続中は、常時、撮像装置１において被写体を合焦状態に導くためのフォーカス制御（フルタイムＡＦ）が行われる。そのため、レンズ駆動回路１６は高速フレームレートで取得される画像毎に撮影レンズ１０の位置を変化させることができるように構成されている。

図２及び図３は本実施形態におけるコントラスト検出方式のフォーカス制御の概念を示す図である。

図２は、撮影レンズ１０を光軸Ｌ方向に移動可能な全範囲を移動させることによってＡＦ評価値（コントラスト）がピークを示すレンズ位置Ｐを特定する全域スキャンＡＦを示している。撮影レンズ１０を最近接位置から無限遠方位置方向へ所定ピッチで段階的に移動させていくと、演算部１５で求められるＡＦ評価値は、図２の特性曲線Ｃ１のように変化する。画像が合焦状態にあるとき、その画像のコントラストはピークを示すことから、特性曲線Ｃ１がピークを示すレンズ位置Ｐが、被写体像の合焦状態を実現する合焦位置として特定される。一般に被写体は最近接位置から無限遠方までの範囲のどこかに位置すると考えられることから、図２に示すような全域スキャンＡＦを行うことによって、ほぼ確実に合焦位置Ｐが特定される。

ところで、動画撮影を行っているときでも、ユーザが撮像装置１を固定した状態であり、かつ、被写体に動きがない場合には、前回のフォーカス制御によって既に合焦状態が確立されているのであれば、繰り返しフォーカス制御を行う必要はない。これに対し、ユーザが撮像装置１をパンニング操作したり、または被写体が動いた場合には、ピントが暈けた状態になっている可能性が高い。そのため、本実施形態では、フルタイムＡＦ時に、被写体の動き検出と、パンニング検出とを行うように構成される。

被写体動き検出は、例えば次のようにして行われる。合焦評価部２３は、前回合焦位置Ｐを特定したときのＡＦ評価値のピーク値を保持し、そのピーク値と、演算部１５から逐次入力するＡＦ評価値とを比較する。そして今回入力したＡＦ評価値と、保持しているピーク値との差が所定値以上になると、被写体が動いたことを検知する。したがって、この場合、合焦評価部２３は、演算部１５から逐次入力するＡＦ評価値を監視しておくことによって被写体の動きを検出できる。なお、この方法以外にも、種々の方法を採用することができ、例えば撮影レンズ１０を光軸Ｌに沿って前後方向に数段階移動させ、合焦位置が変化したことを検知することによって被写体の動きを検出するようにしてもよい。

また、パンニング検出は、例えば次のようにして行われる。合焦評価部２３は、演算部１５から入力するパンニング評価値を所定値と比較する。そしてパンニング評価値の算出対象となった、前回の画像と、今回の画像との一致度合いが高いと判断される場合には、撮像装置１の姿勢が固定された状態であり、パンニング動作はないと判断される。一方、前回の画像と、今回の画像との一致度合いが所定レベルよりも低いと判断される場合には、撮像装置１の姿勢が変化しつつあり、パンニング動作中であると判断される。

一般に、撮像装置１の姿勢が固定されており、被写体が動いたことによって、合焦位置が変化した場合には、前回の合焦位置に比較的近いレンズ位置にあらたな合焦位置が存在すると考えられる。そのため、上記のようにして被写体の動きが検出されると、撮像装置１は、前回の合焦位置Ｐの近傍領域Ｒ１（図２参照）で撮影レンズ１０をスキャンさせ、移動後の被写体に対して効率的にピントを合わせるためのフォーカス制御を行う。

本実施形態では、近傍領域Ｒ１として、図３に示すように、撮影レンズ１０を前回の合焦位置Ｐを中心にして前後合計７点のレンズ位置に移動させ、各レンズ位置でのＡＦ評価値から再度合焦位置を特定する７点近傍測距ＡＦが行われる。そして７点近傍測距ＡＦを２回繰り返し、前回の７点近傍測距ＡＦで特定された合焦位置と、今回の７点近傍測距ＡＦで特定された合焦位置との差が被写界深度の１Ｆδ（ただし、Ｆは撮影レンズ１０のＦナンバ、δは許容錯乱円）以内に収まっていないときには、依然として被写体が動いている状態であると判断する。この場合、直近の２回の７点近傍測距ＡＦによって求められる合焦位置の差が１Ｆδ以内に収まるまで７点近傍測距ＡＦを繰り返す。この繰り返しにより、迅速に被写体の動きに追随して、画像を合焦状態に保ち続けることができるようになる。

一方、撮像装置１がパンニングしていると判断された場合には、ユーザが被写体を探しているか若しくはフレーミングを決定しようとしている状態であると考えられ、この状態でフォーカス制御を行ったとしても、パンニング動作によるぶれの影響でＡＦ評価値の特性曲線が乱れてしまい、合焦位置を特定することができない。したがって、本実施形態では、パンニング動作中はフォーカス制御を一時的に中断し、パンニング動作が終了した時点で上述の７点近傍測距ＡＦを行うように構成される。

図４は、撮像装置１が動画撮影を行うモードに移行したときに、継続的に実行されるフルタイムＡＦのフローチャートである。

フルタイムＡＦが開始されると、まず、撮影レンズ１０を最近接位置から無限遠方位置まで全域スキャンさせて合焦位置を特定するための全域スキャンＡＦが行われる（ステップＳ１０）。全域スキャンＡＦによって合焦位置が特定されると、続いて露出制御（ＡＥ）及びホワイトバランス制御（ＷＢ）が行われる（ステップＳ１１）。

そして上述したパンニング検出処理が行われ（ステップＳ１２）、パンニングありと判断される場合はステップＳ１４に進み、パンニングなしと判断される場合はステップＳ２１に進む（ステップＳ１３）。

パンニングなしと判断された場合には、被写体動き検出処理が行われる（ステップＳ２１）。そこで被写体の動きが検出された場合（ステップＳ２２にてＹｅｓ）にはステップＳ２３に進むことになる。反対に、被写体の動きが検出されなかった場合（ステップＳ２２にてＮｏ）には再びステップＳ１１，Ｓ１２に戻り、露出制御（ＡＥ）及びホワイトバランス制御（ＷＢ）が行われてから、パンニング検出や被写体の動き検出が繰り返される。

そしてステップＳ１３にてパンニングありと判断された場合、露出制御（ＡＥ）及びホワイトバランス制御（ＷＢ）が行われた後（ステップＳ１４）、再びパンニング検出処理（ステップＳ１５）が行われる。そしてパンニング動作が継続される間はステップＳ１４，Ｓ１５の処理が繰り返され、フォーカス制御は一時的に中断される（ステップＳ１６にてＹｅｓと判断されるループ）。

パンニング動作が終了した場合には、ステップＳ１６にてＮｏと判断され、被写体動き検出処理が行われる（ステップＳ１７）。そして被写体の動きが検出された場合にはステップＳ２３に進み、被写体の動きが検出されなかった場合にはステップＳ１９に進む（ステップＳ１８）。ここで被写体の動きが検出されなかった場合には、パンニング終了後の最初のフォーカス制御となる７点近傍測距ＡＦが行われる（ステップＳ１９）。そして７点近傍測距ＡＦで画像を合焦状態に導くことができた場合（ステップＳ２０にてＹｅｓ）には、ステップＳ１１に戻ることになる。これに対し、７点近傍測距ＡＦで画像を合焦状態に導くことができなかった場合（ステップＳ２０にてＮｏ）には、前回の合焦位置の近傍に現在の合焦位置が存在しないことになるので、ステップＳ１０に戻って全域スキャンＡＦが行われる。ここで再び全域スキャンＡＦが実行されることにより、パンニング動作後のあらたな被写体に対してピントを合わせることができ、合焦状態の画像を取得できる。

一方、ステップＳ２２及びＳ１８において被写体の動きが検出された場合（Ｙｅｓと判断された場合）には、その被写体の動きに追従させるために７点近傍測距ＡＦが行われる（ステップＳ２３）。この７点近傍測距ＡＦで画像を合焦状態に導くことができなかった場合（ステップＳ２４でＮｏ）には、ステップＳ１０に戻って全域スキャンＡＦが行われる。これにより、移動した被写体に対して確実にピントを合わせることができ、合焦状態の画像を取得できる。

ステップＳ２３の７点近傍測距ＡＦで画像を合焦状態に導くことができた場合（ステップＳ２４でＹｅｓ）には、ステップＳ２５に進んで、露出制御（ＡＥ）及びホワイトバランス制御（ＷＢ）が行われる。そして再び７点近傍測距ＡＦが行われ（ステップＳ２６）、画像を合焦状態に導くことができたか否かが判断される（ステップＳ２７）。

前回（ステップＳ２３）に続き今回（ステップＳ２６）も合焦状態を実現することができた場合（ステップＳ２７にてＹｅｓ）には、ステップＳ２８に進み、前回の合焦位置と今回の合焦位置との差が被写界深度の１Ｆδ以内であるか否かが判断される。前回の合焦位置と今回の合焦位置との差が被写界深度の１Ｆδ以内であるということは、前回の７点近傍測距ＡＦと今回の７点近傍測距ＡＦとの間で被写体がほぼ静止した状態にあることを意味している。したがって、前回の合焦位置と今回の合焦位置との差が被写界深度の１Ｆδ以内である場合（ステップＳ２８でＹｅｓ）には、良好に画像を合焦状態に導くことができたことになり、ステップＳ１１に戻って再度パンニングや被写体の動きが検出されるまで露出制御（ＡＥ）及びホワイトバランス制御（ＷＢ）が繰り返される。これに対し、前回の合焦位置と今回の合焦位置との差が被写界深度の１Ｆδ以内でない場合（ステップＳ２８でＮｏ）には、被写体が依然として動いている状態にあり、ステップＳ２５に戻って、露出制御（ＡＥ）及びホワイトバランス制御（ＷＢ）と７点近傍測距ＡＦとを繰り返すループ処理に入る。そして被写体が静止したと判断された場合に、このループを抜けることになる。

一方、ステップＳ２６の７点近傍測距ＡＦで合焦状態を実現することができなかった場合（ステップＳ２７にてＮｏ）には、ステップＳ１０に戻って全域スキャンＡＦが行われる。これにより、移動した被写体に対して確実にピントを合わせることができ、合焦状態の画像を取得できる。

本実施形態の撮像装置１では、動画撮影中に上記のフルタイムＡＦが行われることにより、常時、被写体に対してピントを合わせるようにして合焦状態の画像を撮影できるようになっている。特に、撮像装置１のパンニングや被写体の動きがあった場合には、効率的に合焦位置を特定することのできる７点近傍測距ＡＦが適宜採用され、より迅速に画像を合焦状態に導くことができるようになっている。

ここで本実施形態において採用される７点近傍測距ＡＦの詳細な動作について説明する。図５は７点近傍測距ＡＦの動作を示すタイミングチャートであり、図６はそのときの撮影レンズ１０の動作状態を示す図である。動画撮影中、撮像素子１１には常に一定周期（高速フレームレートに対応する周期）でタイミング信号が与えられる。そのため７点近傍測距ＡＦが実行中であるか否かにかかわらず、撮像素子１１は常に露光動作を繰り返し行っており、撮像素子１１からの画像信号の読出動作も上記露光動作と同じ周期で繰り返されている。

図６に示すように、現在の撮影レンズ１０がレンズ位置Ｐ４にあるとすると、７点近傍測距ＡＦを行うとき、撮影レンズ１０をレンズ位置Ｐ１に移動させることが必要になる。そのため図５に示すように、７点近傍測距ＡＦを開始してから撮像素子１１が第１フレーム目の撮影を行うときには、撮影レンズ１０を初期位置Ｐ１まで移動させるレンズ駆動Ｖ１が行われる。そして撮影レンズ１０がレンズ位置Ｐ１に移動すると、７点のうちのはじめの１点目の露光を行うことができる状態になる。そこで、撮像素子１１が第２フレーム目の撮影を行うときに、第１点目の露光が行われる（図５参照）。

第１点目の露光が終了すると、次に撮影レンズ１０を１Ｆδ移動させ、第２点目のレンズ位置Ｐ２に移動させる。このレンズ駆動Ｖ２は、撮像素子１１が第３フレーム目の撮影を行うときに実施される。そしてレンズ駆動後、レンズ位置Ｐ２での第２点目の露光が行われる。このとき同時に、第２フレーム目の露光で撮像素子１１に蓄積された電荷（すなわち、レンズ位置Ｐ１における画像信号）の読出処理が行われる。

第２点目の露光及び画像信号の読み出しが終了すると、再び撮影レンズ１０を１Ｆδ移動させ、第３点目のレンズ位置Ｐ３に移動させる。このレンズ駆動Ｖ３は、撮像素子１１が第４フレーム目の撮影を行うときに実施される。そしてレンズ駆動後、レンズ位置Ｐ３での第３点目の露光が行われる。このとき、第３フレーム目の露光で撮像素子１１に蓄積された電荷（すなわち、レンズ位置Ｐ２における画像信号）の読出処理が行われる。また更に、このとき第３フレーム目で読み出された画像信号（レンズ位置Ｐ１での画像）を取得してＡＦ評価値を求める演算処理が実行される。

以後、７点近傍測距ＡＦを開始してから撮像素子１１が第８フレーム目の撮影を行うまで同様の処理がなされ、レンズ駆動、露光、画像読み出し、及びＡＦ評価値の演算が繰り返される。そして第９フレーム目の処理では、第８フレーム目に露光されたレンズ位置Ｐ７での画像読み出しが行われ、第８フレーム目に読み出された画像信号（レンズ位置Ｐ６での画像）を取得してＡＦ評価値を求める演算処理が実行される。

そして第１０フレーム目の処理では、第９フレーム目に読み出された画像信号（レンズ位置Ｐ７での画像）を取得してＡＦ評価値を求める演算処理が実行される。この時点で、前回の合焦位置近傍７点でのＡＦ評価値が全て算出されたことになる。よって、この時点で合焦演算が行われ、７点のＡＦ評価値からあらたな合焦位置の特定が行われる。例えば７点のＡＦ評価値のうち、レンズ位置Ｐ５のＡＦ評価値が最大値を示していたと仮定すると、ここでの合焦演算により、合焦位置はレンズ位置Ｐ５として特定される。

そして第１１フレーム目の処理として、撮影レンズ１０のレンズ位置を合焦位置に移動させるためのレンズ駆動Ｖ８が行われる。

本実施形態の撮像装置１では、上記のように７点近傍測距ＡＦが行われ、全域スキャンＡＦに比較した場合、迅速に合焦状態を実現することができる。そして、上記の動作から明らかなように、本実施形態における７点近傍測距ＡＦは、撮像素子１１が１１フレーム分の撮影動作を行う期間に１回行われる。換言すれば、撮像素子１１が１１フレーム分の撮影を行う期間が７点近傍測距ＡＦの１サイクルに相当する。

そして本実施形態の撮像装置１では、上記のようにして７点近傍測距ＡＦが行われたことにより、第１０フレーム目の合焦演算でひとつの合焦位置が特定された場合、図１に示される画像生成部２４が、その合焦位置にて取得された画像を、記録処理又は表示処理のための動画像を構成する１フレームの画像として選択する。したがって、７点近傍測距ＡＦのために行われる１１フレーム分の画像取得動作によって、動画像を構成する１フレームの画像が選択されることになる。

例えば、画像生成部２４から出力される画像の出力フレームレートが３０ｆｐｓである場合、上記のような選択動作を繰り返して良好な動画像を生成しようとすると、撮像素子１１が画像を取得する際のフレームレートは、本実施形態の場合、３３０ｆｐｓとして設定されることになる。そして撮像素子１１で取得される１１フレーム毎に１フレームの画像が動画像を構成する画像として選択され、それらが時系列に沿って順次繋ぎ合わせられることにより、３０ｆｐｓの動画像が生成される。

図７は、撮像装置１において動画撮影記録を行う処理シーケンスの一例を示すフローチャートである。なお、このフローチャートに基づく処理は、マイクロコンピュータ２０において、図４のフローチャートに基づく処理と並行して行われる。

撮像装置１では、動画撮影を行うモードに入ると、撮像素子１１が画像取得を行うフレームレートが３０ｆｐｓから３３０ｆｐｓに設定変更される（ステップＳ４０）。このように動画撮影モードに移行したときに画像取得フレームレートを高速フレームレートに切り替えることにより、動画撮影モード以外の低速フレームレートでの動作時（例えば、静止画撮影モード時）には電力消費を抑えることができるようになる。

そしてステップＳ４０の高速フレームレートへの切り替えにより、画像生成部２４では、画像メモリ１３に順次格納される１１フレーム毎に１フレームの画像を選択する処理が開始される。そして画像生成部２４では、選択対象となる画像、すなわち表示又は記録用の画像を、１１フレーム中の第６フレーム目に読み出される画像（図６のレンズ位置Ｐ４で取得される画像）にデフォルト設定する（ステップＳ４１）。

そしてステップＳ４２に進み、動画撮影記録を終了するか否かが判断され、終了する場合はステップＳ６０に進む。これに対し、動画撮影記録を継続する場合にはステップＳ４３に進む。

そして７点近傍測距ＡＦが現在実行中であるか否かが判断され（ステップＳ４３）、実行中である場合には、さらに現在のフレームが７点近傍測距ＡＦの第１０フレーム目の処理であるか否かが判断される（ステップＳ４４）。ここで第１０フレーム目でない場合には、合焦演算を行うことはできないので、ステップＳ４２へ戻り、第１０フレーム目であった場合には合焦演算（ステップＳ４５）を行う。そしてステップＳ４６では、その合焦演算によって画像の合焦状態を実現するための合焦位置を特定できたか否かが判断され、特定できた場合（ステップＳ４６にてＹｅｓ）には、画像メモリ１３に格納された複数の画像のうちから、合焦位置として特定されたレンズ位置の画像を表示・記録用画像として選択する（ステップＳ４７）。

また、合焦演算によって合焦位置を特定できなかった場合（ステップＳ４６にてＮｏ）には、デフォルト設定に従い、第６フレーム目に読み出された画像を表示・記録用画像として選択する。そしてステップＳ４２に戻る。

一方、ステップＳ４３において７点近傍測距ＡＦが実行中でないと判断された場合には、ステップＳ５０に進み、繰り返される１１フレーム分の画像取得動作のうち、現在のフレームが第６フレーム目であるか否かが判断される。そして第６フレーム目であったなら、ステップＳ５１に進んでデフォルト設定に従い、第６フレーム目に読み出された画像を表示・記録用画像として選択してステップＳ４２に戻る。また、第６フレーム目でなかったなら、そのままステップＳ４２に戻る。

そしてステップＳ４２において、動画撮影記録が終了すると判断された場合には、記録処理部２５が機能して、それまでに選択された１フレームごとの画像が順次に繋ぎ合わされて生成された、３０ｆｐｓの動画像ファイルがメモリカード９に記録される（ステップＳ６０）。

そして撮像素子１１のフレームレートを、３３０ｆｐｓの高速フレームレートから３０ｆｐｓの通常のフレームレートに設定変更して動画撮影モードを終了する（ステップＳ６１）。

なお、上記ステップＳ４７，Ｓ４８，Ｓ５１において選択された画像を表示する際には、画像生成部２４が、選択した画像を画像メモリ１３から取得して表示処理部２６に出力する。これにより、液晶ディルプレイ１８及び電子ビューファインダ１９には１１フレームごとに選択される画像が更新して表示される。

以上のフローチャートでは、７点近傍測距ＡＦが行われて画像の合焦状態が実現された場合、その合焦状態の実現された画像が表示又は記録用の画像として選択されることになり（ステップＳ４７）、撮像装置１はフルタイムＡＦを行っているにもかかわらず、表示又は記録することになる動画像のフレーム画像を、ピントの合った合焦画像とすることができる。したがって、本実施形態の撮像装置１によると、動画像を構成する各フレーム画像が合焦状態となる可能性が従来よりも高く、高画質な動画を取得できるものとなっている。

ところで、上記においては７点近傍測距ＡＦ時のＡＦ評価値が最大となる画像を選択して、表示・記録用画像とする場合を例示した。しかし、他の方法として、ＡＦ評価値が所定値以上のものを、表示・記録用画像として選択する方法も実現することができる。この場合、高速フレームレートで取得される複数の画像のうちから、比較的合焦状態に近いと判断される画像を選択することになる。またこの場合には、ＡＦ評価値が所定値以上を示す複数の画像が抽出されることが想定される。そのため、所定値以上の画像が複数存在する場合には、直前のフレーム画像との記録時間間隔を考慮し、前回選択した画像とのフレーム間隔が出力フレームレート（例えば１／３０ｓｅｃ）に最も近い画像を選択するように構成することが好ましい。そうすることにより、ほぼ一定間隔ごとに抽出されたフレーム画像で動画像を構成することができ、なめらかな動画像を表示又は記録できるようになる。

また、ＡＦ評価値が所定値以上を示す画像が存在しない場合には、第１の選択方法として、所定値よりも小さいＡＦ評価値のうちで最大値を示す画像を選択する方法がある。この場合、図７のフローチャートに基づく処理と同じ結果が得られることになり、高速フレームレートで取得される複数の画像のうちから最も合焦状態に近いと判断される画像を選択することになる。

また、ＡＦ評価値が所定値以上を示す画像が存在しない場合の、第２の選択方法として、直前のフレーム画像との記録時間間隔を考慮し、前回選択した画像とのフレーム間隔が出力フレームレート（例えば１／３０ｓｅｃ）に最も近くなる画像を選択する方法がある。そしてこの場合においても、ほぼ一定間隔ごとに抽出されたフレーム画像で動画像を構成することができ、なめらかな動画像を表示又は記録できるようになる。

このように、表示・記録用の画像を選択する際の選択手法としては種々の態様が考えられる。そして、画像生成部２４にて生成される動画像を、できる限りピントの合ったフレーム画像で構成するという観点からすれば、７点近傍測距ＡＦによって合焦状態の画像若しくは合焦状態に近い画像を特定できる場合には、そのような画像を選択して、出力フレームレートの動画像を構成することが好ましい。

以上のように本実施形態の撮像装置１は、撮像素子１１で取得される高速フレームレートの画像毎にピント状態を評価し、その評価結果に基づいて、高速フレームレートで取得される複数の画像のうちから比較的合焦状態に近い画像を選択して、高速フレームレートよりも低速となる出力フレームレートの動画像を生成するように構成されている。したがって、撮像装置１で生成される動画像は、比較的合焦状態に近い画像が多く用いられて構成された高画質な動画像になる。

また、画像生成部２４が、撮像素子１１で連続的に取得される複数の画像のうちから最も合焦状態に近い一枚の画像を選択するように構成されることにより、より高画質が動画像が得られることになる。

また、これまでは特に言及しなかったが、撮影レンズ１０は、焦点距離を変化させることのできるズームレンズなどの可変焦点レンズであっても構わない。ただし、撮影レンズ１０が可変焦点レンズの場合、同じ被写体を撮影し続けているとしても、焦点距離を変化させることに伴ってＡＦ評価値は変化する。一般に、ワイド側の焦点距離ではＡＦ評価値は高い値を示しやすく、テレ側では低い値を示しやすくなる。そのため、ＡＦ評価値が所定値以上のものを、表示・記録用画像として選択する方法を採用する場合において、撮影レンズ１０が可変焦点レンズである場合には、高速フレームレートで取得される複数の画像のうちから合焦状態に近い画像を選択する際の選択基準（すなわち、上記の所定値）を、可変焦点レンズのその時点での焦点距離によって変化させることが好ましい。具体的には、ワイド側の焦点距離では所定値を高く設定し、テレ側の焦点距離では所定値を低く設定する。このように構成されることにより、撮影レンズ１０として可変焦点レンズが採用されている場合であっても均一性のある良好な処理が実現される。

以上、本発明の実施の形態について説明したが、本発明は上述したものに限定されるものではなく、種々の変形例を適用し得るものである。

例えば、上述した撮像装置１は、静止画撮影と動画撮影との双方を行うことが可能である場合を例示したが、それに限定されるものではなく、動画撮影のみを行うものであっても構わない。

また、上記においては、画像生成部２４が生成する動画像の出力フレームレートが３０ｆｐｓであり、撮像素子１１が画像取得する際の高速フレームレートが３３０ｆｐｓである場合を例示したが、これに限定されるものではない。特に上記実施の形態では、７点近傍測距ＡＦが１１フレーム分の画像取得動作の期間中に実施されることを例示したため、高速フレームレートは出力フレームレートの１１倍になっているが、他の動作形態が採用される場合にはこの倍率は任意のＮ倍（ただし、Ｎ＞１）となる。したがって、撮像装置１は、出力フレームレートのＮ倍の高速フレームレートで画像取得が可能なように構成され、ピント調整を行いながら合焦状態に近い画像を選択して、高速フレームレートの１／Ｎのフレームレートに低減した動画像を生成するものであればよい。

また、上述した７点近傍測距ＡＦでは、１１フレーム分の画像取得期間によって行われるが、合焦状態に近い画像を選択する際には、その期間中に得られた１１フレームの画像全てが選択対象とはなっていない。しかし、それら１１フレームの画像の全てを選択対象としてもよく、上記のように出力フレームレートのＮ倍の高速フレームレートで画像取得を行う場合には、Ｎフレームの画像のうちから１枚の画像を選択するように構成すればよい。

また、上記（例えば図１）においては、ＣＭＯＳセンサなどによって構成される撮像素子１１が、Ａ／Ｄ変換器１２やタイミングジェネレータ１４とは別に構成される場合を例示しているが、撮像素子１１、Ａ／Ｄ変換器１２及びタイミングジェネレータ１４を含む一体的な素子として構成してもよい。それらを一体的な素子とすることにより、部品数が少なくなり、撮像装置の小型化や低コスト化が図られる。

また、図７のフローチャートでは、ステップＳ６０において動画像の記録を行うように構成される場合を例示しているが、これに限定されるものではなく、ステップＳ４７，Ｓ４８，Ｓ５１における画像選択の直後に記録するように構成してもよい。また、ある程度の量の一連のフレーム画像が蓄積されたときに記録するように構成してもよい。このような構成とすることにより、最後に一括して動画記録する場合（図７の場合）に比してバッファメモリの容量を少なくできる。

本実施形態における撮像装置の構成を示すブロック図である。 コントラスト検出方式のフォーカス制御の概念を示す図である。 ７点近傍測距ＡＦの概念を示す図である。 フルタイムＡＦのフローチャートである。 ７点近傍測距ＡＦの動作を示すタイミングチャートである。 ７点近傍測距ＡＦにおける撮影レンズ１０の動作状態を示す図である。 撮像装置において動画撮影記録を行う処理シーケンスの一例を示すフローチャートである。

符号の説明

１ 撮像装置
９ メモリカード
１０ 撮影レンズ
１１ 撮像素子
１３ 画像メモリ
１５ 演算部
１６ レンズ駆動回路（レンズ駆動手段）
１８ 液晶ディスプレイ
２０ マイクロコンピュータ
２１ 撮影制御部
２２ 合焦制御部
２３ 合焦評価部
２４ 画像生成部
２５ 記録処理部
２６ 表示処理部

Claims (8)

1. 動画記録又は表示のための出力フレームレートよりも高速フレームレートで画像を取得可能な撮像素子と、
   前記高速フレームレートで取得される画像ごとに、撮影レンズの位置を変化させ、前記撮像素子に結像される画像のピント状態を変化させるレンズ駆動手段と、
   前記高速フレームレートで取得される各画像のピント状態を評価する合焦評価手段と、
   前記合焦評価手段の評価結果に基づき、前記高速フレームレートで取得される複数の画像のうちから比較的合焦状態に近い画像を選択することによって、前記出力フレームレートの画像を生成する画像生成手段と、
   を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記画像生成手段は、前記撮像素子で連続的に取得される所定期間内の複数の画像のうちから最も合焦状態に近い一枚の画像を選択することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記画像生成手段は、前記撮像素子で連続的に取得される所定期間内の複数の画像のうちから、所定レベルよりも合焦状態に近い画像を選択することを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記画像生成手段は、前記所定レベルよりも合焦状態に近い画像が前記所定期間内に複数フレーム存在する場合、該複数フレームの画像のうち、前回選択した画像から前記出力フレームレートによって規定されるフレーム間隔に最も近いタイミングで取得された画像を選択することを特徴とする撮像措置。
5. 請求項３又は４に記載の撮像装置において、
   前記画像生成手段は、前記撮像素子で連続的に取得される前記所定期間内の複数の画像のうちに、前記所定レベルよりも合焦状態に近い画像が存在しない場合、前記複数の画像のうちから最も合焦状態に近い一枚の画像を選択することを特徴とする撮像装置。
6. 請求項２乃至５のいずれかに記載の撮像装置において、
   前記所定期間は、前記出力フレームレートに対応して規定される期間であることを特徴とする撮像装置。
7. 請求項１乃至６のいずれかに記載の撮像装置において、
   前記撮影レンズは焦点距離を変化させる可変焦点レンズを備え、
   前記画像生成手段は、前記高速フレームレートで取得される複数の画像のうちから比較的合焦状態に近い画像を選択する際の選択基準を、前記可変焦点レンズの焦点距離によって変化させることを特徴とする撮像装置。
8. 請求項１乃至７のいずれかに記載の撮像装置において、
   パンニング動作の有無を検知する検知手段をさらに備え、
   前記検知手段がパンニング動作を検知しているときには、前記画像生成手段における選択動作を行わないことを特徴とする撮像装置。

Images