JP2022124464A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】 本撮影中に準備撮影中とは異なる光学的なブレ補正制御を行う撮影において、主被写体のブレの状態や、撮像装置のパンニング速度を確認できる撮像装置。【解決手段】 第１の撮影パラメータで第１の撮像により得られた第１の撮影画像および前記第１の撮影画像における被写体の動き情報を取得する第１動き情報取得手段と、前記第１の撮像中における前記撮像装置の動き情報を取得する第２動き情報取得手段と、前記第１の撮影パラメータとは独立して第２の撮影パラメータを設定する設定手段と、前記撮影光学系または前記撮像手段の駆動情報を取得する駆動情報取得手段と、前記第１の撮影画像における被写体の動きブレを前記第２の撮影パラメータで第２の撮像が行われる場合に得られる第２の撮影画像における被写体の動きブレに換算した推定動きブレ情報を算出する動きブレ推定手段と、前記推定動きブレ情報を報知する動きブレ報知手段と、を備える撮像装置。【選択図】 図１

Description

本発明は、撮像装置に関し、特に、被写体ブレを確認するための技術に関する。

デジタルカメラ等の撮像装置を用いて移動する主被写体を被写体ブレがないように撮像するためには、適切なシャッタースピードに設定して撮像する、もしくは移動する被写体に撮像装置を追従させて撮像する必要がある。後者の方法は、撮影時に高度な撮像装置の操作が要求されるため、様々な補助機能や技術の提案がなされている。

例えば、特許文献１では、準備撮影中において、ユーザがブレの発生している領域を目視確認するために、準備撮影中に撮像した時系列的な画像間のブレの発生している領域を検出し、その領域を強調表示する技術が開示されている。ここでの、準備撮影とは撮像装置の電子ビューファインダーや背面液晶を見ながら構図合わせや撮影条件の設定を行う撮影のことである。また、特許文献２では、準備撮影中に検出した動き情報から、被写体の動きと、撮像装置の動きにおける角速度の差を算出し、前記速度差を減らすように光学系の補正レンズや、撮像装置の撮像素子を駆動させ、本撮影で被写体追従を補助する技術が開示されている。

特開２００８－１７２６６７号公報 特開２０１６－２２００２４号公報

特許文献１の表示方法は、主被写体領域の全体に対して、撮像装置のパンニング速度が適切であるか否かを把握可能としている。しかしながら、主被写体領域の各部分において動きの速さや方向が異なる場合に、それぞれの部分領域に対して撮像装置のパンニング速度が適切であるか否かの判断ができない課題があった。また、特許文献２の表示方法においても、準備撮影における被写体と撮像装置のパンニング方向や速度の差、光学的なブレ補正制御を行うことが可能な追従範囲の把握は可能であるが、本撮影における被写体ブレの状態を、直感的に把握することは困難だった。

本発明は、前述の課題を鑑み、特に本撮影中と、準備撮影中とで異なる光学的なブレ補正制御を行う撮影において、本撮影における主被写体のブレ状態や、適切なパンニング速度を準備撮影中に確認容易にする撮像装置を提供することを目的とする。

本発明の撮像装置は、光学系を介して結像された被写体像を撮像する撮像手段と、
第１の撮影パラメータで第１の撮像により得られた第１の撮影画像および前記第１の撮影画像における被写体の動き情報を取得する第１動き情報取得手段と、前記第１の撮像中における前記撮像装置の動き情報を取得する第２動き情報取得手段と、前記第１の撮影パラメータとは独立して第２の撮影パラメータを設定する設定手段と、前記光学系または前記撮像手段の駆動情報を取得する駆動情報取得手段と、前記第１の撮影画像における被写体の動きブレを前記第２の撮影パラメータで第２の撮像が行われる場合に得られる第２の撮影画像における被写体の動きブレに換算した推定動きブレ情報を算出する動きブレ推定手段と、前記推定動きブレ情報を報知する動きブレ報知手段と、を備えることを特徴とする。

本発明によれば、準備撮影の動きブレを、光学的なブレ補正情報を用いて、本撮影の動きブレ相当に換算し、準備撮影中に報知する。これにより、ユーザは主被写体のブレ状態や適切なパンニング速度をより容易にかつ直感的に把握することが可能となる。

本発明実施例の第１の構成例を示す図 撮像装置１００の処理フローを示す図 動きベクトル算出部１２２の処理フローを示す図 動きベクトルの算出方法を示す図 準備撮影画像及び動きベクトルを示す図 本撮影における推定動きブレを示す図 本発明実施例の動きブレ報知方法を示す図 本発明実施例の第２の構成例を示す図

以下、添付図面を参照しながら実施形態について説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

本発明の実施例では、準備撮影中に画像から算出した被写体の動き情報と、撮像装置の動き情報と、動きブレの補正量とに基づいて、動きブレの報知を行う。

図１は、本発明の実施例の構成例を示すブロック図である。

図１において、撮像装置１００は、後述の光学系１０１と接続され、光学系１０１を介して被写体像を後述する撮像部１１４の撮像素子で構成される撮像面上に結像することで撮像を行う。

光学系１０１（撮影光学系）は、ズームレンズ、フォーカスレンズを含むレンズ群１０２、補正レンズ１０３、絞り１０４、光学系制御部１０５、そして、光学系通信部１０６で構成される。

光学系通信部１０６は、撮像装置１００と接続された際に、撮影に必要な情報のやり取りを行う。具体的には、光学系１０１の焦点距離や絞り１０４といった光学制御情報や、撮像装置１００の露光時間や、撮影タイミングといった撮像制御情報を、相互に送受信する。

また、本実施例における光学系１０１は、光学的なブレ補正機能を備える。この光学的なブレ補正機能は、光学系制御部１０５が、補正レンズ１０３を、撮像素子の撮像面上における結像位置が変化しないように、光軸に垂直な方向において駆動制御することで実現する。この制御方法については、撮像装置１００の処理とあわせて後述する。

撮像装置１００は、制御部１１０、バス１１１、ＲＯＭ１１２、ＲＡＭ１１３、撮像部１１４、画像処理部１１５、記録部１１６、表示部１１７、指示入力部１１８、動き検出部１１９、通信部１２０、ブレ補正情報取得部１２１で構成される。

制御部１１０は、例えばＣＰＵであり、撮像装置１００が備える各ブロックの制御プログラムを後述のＲＯＭ１１２より読み出し、後述のＲＡＭ１１３に展開して実行する。

これにより、制御部１１０は、バス１１１を介して、撮像装置１００が備える各ブロックの動作を制御する。

ＲＯＭ１１２は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１１３は、書き換え可能な揮発性メモリであり、制御部１１０等が実行するプログラムの展開や、撮像装置１００が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。

撮像部１１４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子と、Ａ／Ｄ変換部を具備する。撮像部１１４は、撮像素子で構成される撮像面上に、前述の光学系１０１を介して結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部に入力する。Ａ／Ｄ変換部は、入力されたアナログ画像信号をデジタル画像データに変換する。そして、Ａ／Ｄ変換部から出力されたデジタル画像データは、ＲＡＭ１１３に一時的に記憶される。

画像処理部１１５は、ＲＡＭ１１３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部１１５は、後述の動きベクトル算出部１２２、動きブレ推定部１２３、動きブレ報知画像生成部１２４を具備し、ＲＡＭ１１３に記憶されている画像に対して、動きブレが容易に確認できる動きブレ報知画像を生成する。処理の詳細は後述する。

記録部１１６は、着脱可能なメモリカード等の記憶媒体である。記録部１１６は、画像処理部１１５で処理された画像データを、ＲＡＭ１１３を介し、記録画像として記録する。

表示部１１７は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１１３に記憶されている画像や記録部１１６に記録されている画像の表示、ユーザからの指示を受け付けるための操作ユーザーインターフェイスの表示等を行う。また、表示部１１７は、準備撮影中に構図合わせ等のために撮像部１１４が撮像した画像や、画像処理部１１５で生成された動きブレ報知画像を表示する。さらに表示部１１７は例えばＥＶＦ（電子ビューファインダー）と撮影者側（背面）に設けられた背面モニタなど、複数の表示デバイスを有していても良い。表示部１１７は複数の表示デバイスに対して同時出力が可能で合っても良いし、切り替えて選択的に表示するような構成であってもよい。

指示入力部１１８は、タッチパネルやボタン、マウス等で、ユーザからの指示を撮像装置１００に反映するためのインターフェースである。例えば、指示入力部１１８を介して、本撮影の露光時間や、光学系１０１の焦点距離の設定が行われる。

動き検出部１１９は、例えばジャイロセンサ等であって、撮像装置１００の移動量や移動方向を表す角速度を周期的に検出し、電気信号に変換してＲＡＭ１１３や、画像処理部１１５へ出力する。

通信部１２０は、前述の光学系１０１に備わる光学系通信部１０６との通信を行う。

ブレ補正情報取得部１２１は、前述の通信部１２０を介し、光学系１０１から光学的なブレ補正情報を取得し、動きブレ推定部１２３へ出力する。この光学的なブレ補正情報は、少なくとも補正レンズ１０３の駆動量を含む。また、補正レンズ１０３の可動範囲に関する情報や、補正レンズ１０３の駆動量の算出に必要なパラメータを含んでもよい。

また、撮像装置１００は制御部１１０の制御によって、撮像部１１４から逐次出力されるアナログ画像信号をＡ／Ｄ変換部、ＲＡＭ１１３、画像処理部１１５、表示部１１７を介して逐次表示デバイスに表示する準備撮影（ライビュー撮影）を行う。準備撮影の際には、記録媒体への記録や外部装置への出力などを想定した本撮影に向けて構図を合わせたり、露光時間（Ｔｖ値）、絞り値（Ａｖ値）、ＩＳＯ感度等の本撮影時の撮影パラメータを変更したりと撮影の準備をすることができる。

次に、撮像装置１００の処理を、図２のフローチャートを参照して詳しく説明する。本フローチャートの各ステップは、ＲＯＭ１１２に記憶されたプログラムに従って、制御部１１０が撮像装置１００、光学系１０１の各部を制御することにより実行される。

本実施例での撮影シーンは、移動する主被写体に対して、撮像装置１００を追従させて撮影する、いわゆる流し撮りによる撮影シーンを想定する。そのため、本実施例の補助表示は、主被写体領域の動きブレ状態に着目し、背景領域の動きブレ検出や補助表示は不要とする。

まず、理想的な流し撮りができている場合は、主被写体の移動速度と撮像装置１００のパンニング速度は完全に合致し、主被写体領域の動きベクトルの大きさはゼロとなる。しかし、実際には、主被写体の移動速度に対し、撮像装置１００のパンニング速度が速すぎたり、遅すぎたりすることで、主被写体に対して動きブレが生じる。

そこで、動き検出部１１９で算出される撮像装置１００の動きベクトルの大きさに対して、動きベクトル算出部１２２で算出された主被写体の動きベクトルの大きさが小さい領域に対して、動きブレ報知を行うように制御する。

なお、動きブレ報知を行う対象領域の決定は、既知の方法を用いた主被写体判別を行い、後述の動きベクトルの算出処理や動きブレ報知処理を、主被写体領域に対してのみ行うように制御しても良い。

図２は、本実施形態における処理のフローチャートである。ステップＳ２０１において、ユーザは、撮像装置１００の電源を入れ、構図合わせ等の準備撮影を開始する。この準備撮影期間中に、撮像装置１００は、逐次画像を撮像し、表示部１１７に表示する。これにより、ユーザは逐次表示される準備撮影画像を確認しながら構図合わせ等を行う。なお、後述のステップＳ２０２からステップＳ２１０までの一連の処理を準備撮影期間中に行う。

ステップＳ２０２において、ユーザは指示入力部１１８を用いて、独立した撮影パラメータとして本撮影時の露光時間を設定する。なお、本撮影時の露光時間は制御部１１０が自動で設定してもよい。

ステップＳ２０３において、撮像装置１００は、動きブレ報知がＯＮ設定かＯＦＦ設定かを判定する。動きブレ報知がＯＮかＯＦＦかの設定は、ユーザが指示入力部１１８により設定する。ここで、動きブレ報知がОＮかＯＦＦかを一度設定すれば、その設定値は保持されているものとする。

ステップＳ２０３において動きブレ報知がＯＮ設定の場合は、ステップ２０４に進み、動きブレ報知がＯＦＦ設定の場合は、ステップＳ２０９へと進む。

ステップＳ２０４において、制御部１１０の指示で、動きベクトル算出部１２２は、準備撮影画像中の主被写体の動きベクトル情報を算出し、ＲＡＭ１１３に格納する。本処理詳細は後述する。

ステップＳ２０５において、制御部１１０は動き検出部１１９を用いて撮像装置１００の動き情報を取得し、ＲＡＭ１１３に格納する。

まず、動き検出部１１９は、撮像装置１００の角速度情報を取得し、準備画像上における撮像装置１００の動きベクトルを算出する。

角速度から画像上の動き情報に変換する近似変換式を、式（１）及び式（２）に示す。

ＭＯＶ＿ｙａｗはヨー方向の移動量を示し、ＭＯＶ＿ｐｉｔｃｈはピッチ方向の移動量を示す。ｆは焦点距離を示し、ω＿ｙａｗはヨー方向の角速度を示し、ω＿ｐｉｔｃｈはピッチ方向の角速度を示し、ｆｐｓは準備撮影のフレームレートを示し、ｐｐは撮像部１１４の画素ピッチを示す。式（１）及び式（２）に示す変換式では、準備撮影画像間の時間間隔で移動した角度と焦点距離に基づき撮像面上の移動量を算出し、画素ピッチで除算することにより画像上の移動量（移動画素数）を算出している。なお、ここで算出した画像上の移動量は、画素毎に異なる移動量ではなく、全画素一様な移動量とする。

また、ヨー方向の移動量を水平方向の移動量、ピッチ方向の移動量を垂直方向の移動量とみなして、全画素一様の撮像装置動きベクトルとしてＲＡＭ１１３に出力する。

別の算出方法として、準備撮影画像中の背景領域における被写体の動きベクトルから、撮像装置１００の動きベクトルを算出してもよい。すなわち、背景領域の被写体が静止していると見なし、背景領域において算出された被写体の動きベクトルの始点と終点を逆転させたものを、撮像装置１００の動きベクトルとして扱ってもよい。

ステップＳ２０６の処理を述べる前に、光学系１０１の動きブレ補正機能について、準備撮影中に本撮影時の補正レンズ駆動情報を算出する動作について述べる。なお、ここでいう駆動情報とは駆動量や駆動方向の少なくとも１つを含む情報である。

準備撮影中は本撮影時における補正レンズの駆動情報について２つの算出処理が行われる。１つは、主被写体の移動速度と合致するための目標角速度の算出である。もう１つは、その目標角速度と現時点の角速度との差を埋めるための、本撮影時における補正レンズ１０３の駆動量の算出、および駆動方向の決定である。

まず、目標角速度の算出方法を説明する。光学系制御部１０５は、光学系通信部１０６を介し、任意のサンプリング周期Ｔで撮像装置１００の角速度情報を取得する。取得した角速度情報から、被写体追従の安定性を判定し、目標角速度の算出を行う。例えば、所定期間の角速度の変化率が所定の割合に収まった時を、被写体の追従が安定しているとする。そして、所定期間の角速度の平均値を算出し、目標角速度とする。なお、角速度の平均値の他に、時間軸上の重みをつけた加重平均値や、期間中に最も頻出した最頻角速度を、目標角速度として算出してもよい。

続いて、補正レンズ１０３の本撮影時の補正レンズ駆動量の算出に関して説明する。角速度から本撮影時の補正レンズ駆動量に変換する近似変換式を、式（３）及び（４）に示す。

ＤＲＶ＿ｙａｗはヨー方向の駆動量を示し、ＤＲＶ＿ｐｉｔｃｈはピッチ方向の駆動量を示す。Ｗ＿ｙａｗ、Ｗ＿ｐｉｔｃｈはそれぞれ、ヨー方向、ピッチ方向の目標角速度で、ω＿ｙａｗ、ω＿ｐｉｔｃｈはヨー方向、ピッチ方向の現在の角速度を示す。そして、ｆは焦点距離を示し、Ｔは任意のサンプリング周期、ｐｐは撮像部１１４の画素ピッチ、ｅｘｐ＿ｔｉｍｅは本撮影時の露光時間を示す。

式（３）及び式（４）が示すように、本撮影時の補正レンズ駆動量は、目標角速度と現在の角速度との角速度差を、画像上の動き情報に変換し、本撮影の露光時間を乗算することで本撮影時の画像上の移動量（ブレ量）を推定する。駆動する方向は、前述の角速度差を打ち消す方向である。

なお、補正レンズ１０３の最大駆動範囲が設けられている場合においては、最大駆動範囲と、前述の駆動量を比較して、本撮影時の補正レンズの駆動量を決定してもよい。例えば、駆動量が最大駆動範囲を超えていた場合は、駆動量を最大駆動範囲としてもよい。

また、駆動量の算出を、角速度の他に角加速度を用いて算出するようにしてもよい。例えば、被写体が等加速度で移動しているかを判定し、加速度を鑑みた補正レンズ１０３の駆動量や、制御方法を決定するようにしてもよい。以上が、光学系１０１の動きブレ補正機能の準備撮影中における動作である。

続いて、撮像装置１００のステップＳ２０６以降の処理について説明する。

ステップＳ２０６において、制御部１１０は、ブレ補正情報取得部１２１から、光学系１０１の動きブレ補正情報を取得する。動きブレ補正情報は、少なくとも前述の本撮影時の補正レンズ駆動量を含むものとする。

なお、光学系１０１に動きブレ補正機能が搭載されていない場合や、動きブレ補正機能がＯＦＦされている場合は、動きブレ補正情報が正常に取得されない。その場合は、制御部１１０は動きブレ補正情報（駆動情報）を利用しないものと判定する。そして、制御部１１０の指示に基づき後述のステップＳ２０７の本撮影時の動きブレ情報の推定処理において、動きブレ推定部１２３は動きブレ補正情報の補正量を０として推定処理を行なってもよいし、動きブレ補正情報を使わない推定処理に切り替えるようなことをしてもよい。

動きブレ補正機能のＯＮ／ＯＦＦの指定は、例えば、指示入力部１１８を介してユーザが指示してもよいし、制御部１１０が、撮影モードに応じて設定してもよい。

また、例えば水平方向はＯＮで、垂直方向はＯＦＦといった具合に、撮像装置の移動方向ごとにＯＮ／ＯＦＦの指定ができてもよい。

ステップＳ２０７において、制御部１１０の指示により、動きブレ推定部１２３が準備撮影における動きベクトル情報と、本撮影時の露光時間と、撮像装置１００の動き情報と、動きブレ推定情報とを用いて、本撮影時の動きブレ情報を推定する。換算処理の詳細は、図６を用いて後述する。

ステップＳ２０８において、動きブレ報知画像生成部１２４が、準備撮影画像に対して、動きブレ報知プレーンを重畳した動きブレ報知画像を生成する。動きブレ報知プレーンは、ステップＳ２０７で推定された本撮影時の動きブレ情報を用いて生成される。動きブレ報知プレーンの生成処理の詳細は、図７を用いて後述する。

ステップＳ２０９において、制御部１１０は、準備撮影画像を表示部１１７に表示する。この表示により、動きブレ報知がＯＮ設定の時に、ユーザが、表示部１１７に表示された動きブレ報知画像を見ることで、主被写体の動きブレ状態や、パンニング速度に対する目安を確認することができる。そして、撮像装置１００のパンニング速度が主被写体の移動速度と合致していない場合は、ユーザが撮像装置１００のパンニング速度を調整してから、本撮影指示を行うことで、適切に流し撮り撮影を行える。

ステップＳ２１０において、ユーザが指示入力部１１８を介して本撮影指示がされたか否かを判定する。ステップＳ２１０において本撮影指示があった場合は、ステップＳ２１１へ進み、本撮影指示がなかった場合は、ステップＳ２０２に戻る。

ステップＳ２１１において、制御部１１０の指示により撮像装置１００と、光学系１０１は本撮影処理を行う。光学系１０１は、本撮影指示を受けて、前述の本撮影時の補正レンズ駆動量を用いて補正レンズ１０３を駆動させ、ブレ補正機能を実現する。そして、撮像部１１４は、ステップＳ２０２で設定された露光時間で露光された本撮影画像を取得し、所定の画像処理を実施後、記録部１１６に本撮影記録画像として記録する。以上が、本実施例の基本的な処理概要である。

ステップＳ２０４における動きベクトル算出処理の算出方法について、図３及び図４、図５を参照して詳しく説明する。

図３は、動きベクトル算出部１２２による動きベクトルの算出処理を示すフローチャートである。図４は、動きベクトルの算出方法を示す図である。図５は、準備撮影画像及び動きベクトルを示す図である。

なお、本発明では、動きベクトルの算出手法としてブロックマッチング法を例に挙げて説明するが、動きベクトルの算出手法はこの例に限定されず、例えば勾配法でもよい。

ステップＳ３０１において、動きベクトル算出部１２２には、時間的に隣接する２枚の準備撮影画像が入力される。そして、動きベクトル算出部１２２は、Ｍ番目フレームの準備撮影画像を基準フレームに設定し、Ｍ＋１番目フレームの準備撮影画像を参照フレームに設定する。

ステップＳ３０２において、動きベクトル算出部１２２は、図４のように、基準フレーム４０１において、Ｎ×Ｎ画素の基準ブロック４０２を配置する。

ステップＳ３０３において、動きベクトル算出部１２２は、図５のように、参照フレーム４０３に対し、基準フレーム４０１の基準ブロック４０２の中心座標と同座標４０４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を、探索範囲４０５として設定する。

ステップＳ３０４において、動きベクトル算出部１２２は、基準フレーム４０１の基準ブロック４０２と、参照フレーム４０３の探索範囲４０５内に存在する異なる座標のＮ×Ｎ画素の参照ブロック４０６との相関演算を行い、相関値を算出する。相関値は、基準ブロック４０２及び参照ブロック４０６の画素に対するフレーム間差分絶対値和に基づき算出する。つまり、フレーム間差分絶対値和の値が最も小さい座標が、最も相関値が高い座標となる。

なお、相関値の算出方法は、フレーム間差分絶対値和を求める方法に限定されず、例えばフレーム間差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図４の例では、参照ブロック４０６が最も相関が高いことを示しているとする。

ステップＳ３０５において、動きベクトル算出部１２２は、ステップＳ３０４で求めた最も高い相関値を示す参照ブロック座標に基づき動きベクトルを算出する。図４の例の場合、参照フレーム４０３の探索範囲４０５の中で、基準フレーム４０１の基準ブロック４０２の中心座標に対応した同座標４０４と、参照ブロック４０６の中心座標に基づき動きベクトルが求められる。つまり、同座標４０４から参照ブロック４０６の中心座標までの座標間距離と方向が動きベクトルとして求められる。

ステップＳ３０６において、動きベクトル算出部１２２は、基準フレーム４０１の全画素について動きベクトルを算出したか否か判定する。動きベクトル算出部１２２は、ステップＳ３０６において全画素の動きベクトルを算出していないと判定した場合には、ステップＳ３０２に処理を戻す。そして、ステップＳ３０２では、動きベクトルが算出されていない画素を中心として前述した基準フレーム４０１にＮ×Ｎ画素の基準ブロック４０２が配置され、以下前述同様に、ステップＳ３０３からステップＳ３０５の処理が行われる。すなわち、動きベクトル算出部１２２は、図４の基準ブロック４０２を移動させながら、ステップＳ３０２からステップＳ３０５までの処理を繰り返して、基準フレーム４０１の全画素の動きベクトルを算出する。

このようにして、算出された動きベクトルの例を図５（ｂ）、（ｃ）に示す。図５（ｂ）、（ｃ）では、それぞれ、動きベクトルの方向が（ｂ）右向き（ｃ）左向きの場合を例にとって図示している。

図５（ｂ）では、主被写体である犬５０１が、図５（ａ）よりも右側にずれていることで示されている通り、撮像装置１００のパンニング速度が、主被写体の移動速度と合致する適切なパンニング速度よりも速い場合に対応している。この場合、図５（ｄ）に示した通り、撮像装置動きベクトル５０３と被写体の動きベクトル５０４とが反対方向（角度θの絶対値が９０度より大きい）となる。図５（ｃ）では、主被写体である犬５０１が、図５（ａ）よりも左側にずれていることで示されている通り、撮像装置１００のパンニング速度が、主被写体の移動速度と合致する適切なパンニング速度よりも遅い場合に対応している。この場合、図５（ｅ）に示した通り、撮像装置動きベクトル５０３と被写体の動きベクトル５０５とが同方向（角度θの絶対値が９０度より小さい）となる。図では、動きベクトルの方向が一定の場合で図示しているが、領域毎に動きベクトルの方向が異なる場合でも構わない。尚、動きベクトル算出部１２２は、全画素の動きベクトルを算出するのではなく、所定画素毎に動きベクトルを算出してもよい。以上、動きベクトル算出部１２２が動きベクトルを算出する処理について説明した。

次に、ステップＳ２０７における本撮影の動きブレ推定方法について、図６を参照して詳しく説明する。図６は、準備撮影における動きベクトルと、推定された本撮影の動きブレである推定動きブレを示す図である。説明にあたって、図６では、準備撮影の画像間の時間間隔を１／６０秒ごと、本撮影の露光時間は１／１２０秒と１／３０秒と１／１５秒を例として示している。

動きブレ推定部１２３は、以下の式（５）、式（６）及び式（７）に示す換算式に基づき、画素毎の動きベクトルを本撮影の動きブレとして推定する。
ＣＮＶ＿ＧＡＩＮ＝ＥＸＰ＿ＴＩＭＥ／ＩＮＴ＿ＴＩＭＥ・・・式（５）
ＣＮＶ＿ＰＲＥ＿ＢＬＵＲ＝ＶＥＣ＿ＬＥＮ×ＣＮＶ＿ＧＡＩＮ・・・式（６）
ＣＮＶ＿ＢＬＵＲ＝ＣＯＮＶ＿ＰＲＥ＿ＢＬＵＲ－ＡＤＪ＿ＢＬＵＲ・・・式（７）

ここで、式（５）のＣＮＶ＿ＧＡＩＮは準備撮影の動きベクトルを本撮影の動きベクトルに換算するための推定ゲインを示し、ＥＸＰ＿ＴＩＭＥは本撮影の露光時間を示し、ＩＮＴ＿ＴＩＭＥは準備撮影の画像間の時間間隔を示す。式（６）のＣＮＶ＿ＰＲＥ＿ＢＬＵＲは本撮影におけるブレ補正前の推定動きブレを示し、ＶＥＣ＿ＬＥＮは準備撮影における動きベクトルの長さを示す。また、式（７）のＣＮＶ＿ＢＬＵＲは本撮影の推定動きブレを示し、ＡＤＪ＿ＢＬＵＲは、動きブレ補正機能による動きブレの補正量を示す。

式（５）において、推定ゲインは本撮影の露光時間を準備撮影の画像間の時間間隔で除算することにより算出する。式（６）において、本撮影におけるブレ補正前の推定動きブレは、動きベクトルの長さに推定ゲインを乗算することにより推定する。

具体的には、図６（ａ）のように準備撮影における動きベクトルの長さが２画素の場合、式（５）、式（６）によって、本撮影の露光時間が１／１２０秒の推定動きブレは、推定ゲインが１／２倍になるため１画素となる。本撮影の露光時間が１／３０秒の推定動きブレであれば、推定ゲインが２倍になるため４画素となり、本撮影の露光時間が１／１５秒の推定動きブレは、推定ゲインが４倍になるため８画素となる。

そして、式（７）によって、本撮影におけるブレ補正前の推定動きブレに対して、動きブレの補正量を減算することで、光学的なブレ補正が有効な設定になっている状況下であっても本撮影における推定動きブレを適切に推定することができる。

例えば、補正レンズ１０３の最大可動範囲は４画素の時には、本撮影における推定動きブレは、図６（ｂ）に示すように、本撮影の露光時間が１／１２０秒、１／３０秒では０画素で、１／１５秒は４画素となる。以上、動きブレ推定部１２３が本撮影における推定動きブレを推定する処理について説明した。

続いて、ステップＳ２０８における動きブレ報知画像生成部１２４による動きブレ報知画像の生成方法について、図７を参照して詳しく説明する。図７は、表示部１１７に表示される動きブレ報知画像の表示例を示す。

第１の表示例として、図７（ａ）（ｂ）を用いて、動きブレ枠表示による動きブレの報知を行う例を示す。図７（ａ）（ｂ）は、それぞれ、図５（ｂ）（ｃ）に対応している。

ここで、枠表示による動きブレ報知画像の生成方法について説明する。動きブレ報知画像生成部１２４は、ステップＳ３０５の結果に基づいて、各分割領域に含まれる画素のうち、適切なパンニング速度よりも速いことを示す推定動きブレの画素数と、適切なパンニング速度よりも遅いことを示す推定動きブレの画素数を比較する。動きブレ報知画像生成部１２４は、画素数の多い方の動きブレの状態を、その分割領域内での被写体動きブレの状態として判定し、その結果に基づいて、動きブレ枠９０１を作成する。すなわち、動きブレ枠は、適切なパンニング速度よりも速いか、遅いかによって表示様式を変える。そして、動きブレ報知画像生成部１２４は、前述の推定動きブレの大きさが、動体ブレ表示閾値を超える領域に対し、動きブレ枠９０１を動きブレ報知プレーンとして作成し、準備撮影画像に重畳することにより図７（ａ）（ｂ）のような動きブレ報知画像を生成する。

本実施例では、動体ブレ表示閾値は０ｐｉｘ以上とするが、動体ブレ表示閾値は任意の値でよく、本撮影時の記録画におけるブレ許容度合いに依存する。そのため、ユーザの指示や、記録解像度などに応じて適宜変更してもよい。

これにより、図７（ａ）（ｂ）のように、パンニング速度が、適切なパンニング速度よりも速い（遅い）場合、動きブレ枠を実線（点線）で表示することにより、ユーザが現在のパンニング速度が速すぎるか、遅すぎるかを把握する事ができる。

続いて、第２の表示例として、図７（ｃ）（ｄ）を用いて、動きブレが発生した被写体のエッジを強調表示する例を示す。図７（ｃ）（ｄ）は、それぞれ、図５（ｂ）、（ｃ）に対応している。ここで、動きブレエッジの強調表示による動きブレ報知画像の生成方法について説明する。

動きブレ報知画像生成部１２４は、準備撮影画像のエッジ強度を検出する。エッジ強度の算出は、ソーベルフィルタなどの既存の方法を用いるものとし、説明は省略する。そして、動きブレ報知画像生成部１２４は、エッジ強度が所定値以上、且つ、推定動きブレが所定値以上の画素を抽出する。抽出した画素に対して、図７（ｃ）（ｄ）の７０２に示すように動きブレエッジを強調表示するような動きブレ報知プレーンとして作成し、準備撮影画像に重畳することにより図７（ｃ）のような動きブレ報知画像を生成する。図７（ｃ）７０２の例では、動きブレエッジを太くする例を示している。

加えて、第１の表示例と同様に、動きブレ報知画像生成部１２４は、ステップＳ４０６における比較結果に基づいて、対象画素の動きブレの状態が、適切なパンニング速度よりも速いか、遅いかを判定し、その結果に応じてエッジ強調の強調度合いを変える。例えば、図７（ｃ）（ｄ）では、パンニング速度が、適切なパンニング速度よりも速い（遅い）場合、動きブレエッジを実線（点線）で太く表示する。

強調表示方法の他の例としては、エッジ強度が所定値以上、且つ、推定動きブレが所定値以上の画素を抽出し、抽出した画素を着色するような強調表示が挙げられる。この場合、動きベクトルの比較結果に基づいて、色を変えて着色するようにすれば良い。

この他にも、エッジ強度が所定値未満のような平坦な領域も含め、動きブレが発生している領域を強調表示しても良い。具体的には、動きブレ報知プレーン作成部３０５は、画素毎の推定動きブレが所定値以上の画素を、動きブレの方向に応じて色を変えて塗るような強調表示を行う。このようにエッジ領域だけではなく、エッジ領域以外の領域も強調表示を行うことにより、被写体全体が強調表示されるため、より動きブレを確認しやすくなる。

また、動きブレ報知の方法として、撮像装置１００の動きベクトルの方向と被写体の動きベクトルの方向とが所定の角度以上異なる領域に対しては、動きブレ報知を行わないよう制御しても良い。このようにすることで、走っている人物の胴体と手足のように、領域間で動きの方向の異なる被写体に対して流し撮りを行う際に、ユーザが着目して撮像装置１００を追従させている領域のみに動きブレ報知が表示されるようになる。これにより、ユーザが着目領域の動きブレを確認しやすくなる。

続いて、第３の表示例として、図７（ｅ）、（ｆ）を用いて、動きブレ度合いをアイコンの位置関係で表示する例に関して説明する。図７（ｅ）（ｆ）は、それぞれ、図５（ｂ）（ｃ）に対応している。

第３の表示例は基準アイコン９０３とブレアイコン９０４とを備え、両アイコンの位置関係から本撮影時の動体ブレの度合いを報知する。例えば、図７（ｅ）は、図５（ｂ）と同じく主被写体が画面右から左に移動し、撮像装置１００のパンニング速度が、主被写体の移動速度と合致する適切なパンニング速度よりも速い場合における表示例である。

基準アイコン９０３は、主被写体等の検知枠９０５に対して、被写体の移動方向成分が水平か垂直かを判定し、移動方向とは異なる方向辺（図７（ｅ）においては、右から左と水平方向に移動しているので、枠の上下辺）の中央に配置される。

ブレアイコン９０４は、基準アイコン９０３が配置される被写体の移動方向辺の軸上に配置される。基準アイコン９０３とブレアイコン９０４との間の距離が、推定動きブレの大きさを所定の比例係数による正比例の関係となるようにブレアイコン９０４を配置する。

ここで、推定動きブレは、二つのアイコン間の距離で表現されていればよく、例えば、正比例関係となっていればよい。比例係数は、記録解像度によって変更してもよい。

撮像装置１００のパンニング速度が、主被写体の移動速度と合致する適切なパンニング速度よりも遅い場合は、図７（ｆ）のようになる。また、撮像装置１００のパンニング速度が、主被写体の移動速度と合致する適切なパンニング速度の場合は、基準アイコン９０３と、ブレアイコン９０４は図７（ｇ）のようになる。そのため、主被写体の視認性を損なわずに、基準アイコンと動体ブレアイコンの位置関係で、本撮影タイミングを示すことでき、直感的な操作補助を可能とする。

なお、動体ブレアイコンによる動体ブレ量の表現として、基準アイコンとの位置関係に加えて、形の大きさや、色の変化で表現するようにしてもよい。以上、動きブレ報知画像生成部１２４の動きブレ報知画像の生成処理について説明した。

本発明では、動きブレ報知の方法として、動きブレ枠表示、動きブレエッジの強調表示、動きブレのアイコンの位置関係表示の３つの例について説明したが、動きブレ報知の方法はこれに限ったものではない。

動きブレ報知においては、撮影シーンや撮影モードに応じて、前述した表示例を切り替えて表示するようにしてもよい。例えば、流し撮り撮影のように主被写体の視認性を優先したい時は、第３の表示例のような表示を行い、主被写体のブレを詳細に確認したい場合は、第２の表示例のような表示を行ってもよい。

また、撮影される記録画の解像度に応じて、表示を切り替えてもよく、前述の動きブレ報知に加え、動きブレ補正機能によって補正されるブレをそれぞれ区別可能な形態で表示してもよい。

以上、本発明により、準備撮影中に、本撮影時に予想される動きブレを報知することができる。これにより、準備撮影中に、ユーザはより直感的に、被写体ブレの度合いや、撮像装置１００が被写体に対して適切な速度で追従できているかを、確認することができるようになる。また、本撮影が静止画撮影である場合に、本撮影にて取得される画像に生じうる動きブレを事前に確認することができるようになる。

本発明では、動きブレの報知方法として、表示部１１７に動きブレを報知する表示を行う例について説明したが、動きブレの報知方法としてはこれに限ったものではない。例えば、音により動きブレを報知しても良い。この場合、撮像装置１１０の内部にスピーカー等の音による報知が可能な装置（報知音発生部）を備えればよい。具体的には、画素毎の推定動きブレのうち、所定値以上の推定動きブレを示す画素数が画面全体に占める割合が所定割合以上と判定された場合に、制御部１１０が報知音発生部に指示し、報知音発生部に動きブレ報知音を発生させる。加えて、動きブレの方向の比較結果に基づいて、発生させる報知音を変えるようにするすることも可能である。

また、動きブレ推定部１２３が推定した本撮影における推定動きブレを、動きブレログとして本撮影画像に関連付けて記録してもよい。例えば、撮影指示を受けた直近、もしくは所定期間の推定動きブレを動きブレログとして記録してもよい。そして、動きブレログを、撮影画像の再生時に動きブレの強調表示や、ブレによる画像選別のためのレーティング情報に用いてもよい。

続いて、本実施例の他の構成例として、撮像装置内で本撮影時の動きブレ補正を実施する例を示す。図８は本発明の第２の構成を示すブロック図であり、以下、参照して説明する。

第２の撮像装置８００は、撮像装置１００の構成に加え、装置内に動きブレを補正する機構を備えている。以下、撮像装置１００と同等の構成は省略し、差分のみ説明する。第２の撮像装置８００は、前述の構成と同様に光学系１０１と接続されて撮像を行う。また、光学系１０１が補正レンズ１０３を備えている場合は、第２の撮像装置８００と協調した光学的なブレ補正制御を行ってもよい。

例えば、第２の撮像装置８００が補正できるブレ補正量以上のブレ補正を行いたい場合は、光学系１０１にもブレ補正制御を行うように制御してもよい。この他にも、撮像装置８００による本撮影時の動きブレ補正が実現しやすいように、準備撮影中の手ブレ補正や、高周波ブレの補正を光学系１０１側で行なうというような処理の役割分担をしてもよい。

ブレ補正制御部８０１は、撮像部１１４の撮像素子を駆動して光学的なブレ補正機能を実現する。具体的には、準備撮影中に動きベクトル算出部１２２や動き検出部１１９で取得された動き情報を用いて、本撮影時における撮像素子の駆動量を算出し、ＲＡＭ１１３や、ブレ補正情報取得部１２１に撮像素子による動きブレ補正情報を出力する。この撮像素子によるブレ補正情報には、例えば撮像素子が光軸に対して垂直な方向に対して駆動する方向や駆動量の情報が含まれる。なお本撮影時における撮像素子駆動量の算出式は、前述した光学系１０１の動きブレ補正機能の算出式（３）、（４）と同様である。そして、本撮影時に、前述の本撮影時における撮像素子の駆動量を用いて、撮像部１１４の撮像素子を駆動させることで、動きブレ補正機能を実現する。

また、第２の構成においては、ステップＳ２０６における、ブレ補正情報取得部１２１が動きブレ補正情報を取得する先が、ブレ補正制御部８０１からとなる点が差分となる。

［他の実施形態］
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行する。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ＤＶＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

さらに、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１００ 撮像装置
１０１ 光学系
１０２ レンズ群
１０３ 補正レンズ
１０４ 絞り
１０５ 光学系制御部
１０６ 光学系通信部
１１０ 制御部
１１１ バス
１１２ ＲＯＭ
１１３ ＲＡＭ
１１４ 撮像部
１１５ 画像処理部
１１６ 記録部
１１７ 表示部
１１８ 指示入力部
１１９ 動き検出部
１２０ 通信部
１２１ ブレ補正情報取得部
１２２ 動きベクトル算出部
１２３ 動きブレ推定部
１２４ 動きブレ報知画像生成部
８００ 第２の撮像装置
８０１ ブレ補正制御部

Claims (23)

1. 撮影光学系を介して結像された被写体像を撮像する撮像手段と、
   第１の撮影パラメータで第１の撮像により得られた第１の撮影画像および前記第１の撮影画像における被写体の動き情報を取得する第１動き情報取得手段と、
   前記第１の撮像中における前記撮像装置の動き情報を取得する第２動き情報取得手段と、
   前記第１の撮影パラメータとは独立して第２の撮影パラメータを設定する設定手段と、
   前記撮影光学系または前記撮像手段の駆動情報を取得する駆動情報取得手段と、
   前記第１の撮影画像における被写体の動きブレを前記第２の撮影パラメータで第２の撮像が行われる場合に得られる第２の撮影画像における被写体の動きブレに換算した推定動きブレ情報を算出する動きブレ推定手段と、
   前記推定動きブレ情報を報知する動きブレ報知手段と、を備える撮像装置。
2. 前記動きブレ推定手段は前記第１動き情報、前記第２動き情報、前記第２の撮影パラメータおよび前記駆動情報を用いて、前記推定動きブレ情報を推定することを特徴とする請求項１に記載の撮像装置。
3. 補正レンズおよび前記補正レンズを光軸に垂直な方向に駆動制御する第１駆動制御手段を前記撮影光学系に備えた撮像装置であって、前記第１駆動制御手段は前記第２動き情報と前記第２の撮影パラメータを用いて算出した駆動情報を用いて前記補正レンズを駆動制御し、前記駆動情報取得手段は前記撮影光学系と通信することで、前記補正レンズの駆動情報を取得することを特徴とする請求項１または２に記載の撮像装置。
4. 前記撮像手段は撮像素子を光軸に垂直な方向に駆動制御する第２駆動制御手段を備え、
   前記第２駆動制御手段は前記第２動き情報と前記第２の撮影パラメータ、および前記補正レンズの駆動情報をもちいて算出した駆動情報を用いて前記撮像素子を駆動制御し、前記駆動情報取得手段は前記第２駆動制御手段と通信することで、前記撮像素子の駆動情報を取得することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記駆動情報は、少なくとも駆動量と駆動方向の情報を含むことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 複数の前記第１の撮影画像間で画像の比較を行うことにより前記動き情報を算出する動き情報算出手段を備えた撮像装置であって、
   前記動き情報と、複数の前記第１の撮像における画像間の時間間隔と、前記第２の撮影パラメータとして設定される露光時間とから換算して算出された第２の撮像における補正前の推定動きブレ情報に対し、前記駆動情報から得られた補正量を減算することで、第２の撮影画像における被写体の動きブレに換算した推定動きブレ量を推定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記動きブレ推定手段に前記駆動情報を利用するかを判定する判定手段を備え、前記動きブレ推定手段が前記判定手段の判定結果によって推定処理を切り替えることを特徴とする請求項６に記載の撮像装置。
8. 前記判定手段が、撮像装置の撮影モードに応じて、前記動きブレ推定手段に前記駆動情報を利用するかを判定することを特徴とする請求項７に記載の撮像装置。
9. 前記判定手段が、前記撮影光学系の補正レンズおよび駆動制御手段の有無に応じて、前記動きブレ推定手段に前記駆動情報を利用するかを判定することを特徴とする請求項８に記載の撮像装置。
10. 前記判定手段が、前記撮像装置の移動方向に応じて、前記動きブレ推定手段に前記駆動情報を利用するかを判定する特徴とする請求項７乃至９のいずれか１項に記載の撮像装置。
11. 前記第２の撮像とは本撮影であり、前記第１の撮像とは、前記本撮影の前に行う準備撮影であることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記推定動きブレ情報を表示して報知を行うための動きブレ報知表示手段を備えることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記動きブレ報知手段は、
    前記動きブレ報知表示手段に動きブレ枠を描画した画像を表示することにより動きブレを報知することを特徴とする請求項１２に記載の撮像装置。
14. 前記動きブレ報知手段は、
    前記動きブレ報知表示手段に動きブレエッジを強調して描画した画像を表示することにより動きブレを報知することを特徴とする請求項１２に記載の撮像装置。
15. 前記動きブレ報知手段は、
    前記動きブレ報知表示手段に基準アイコンと動きブレアイコンの位置関係を描画した画像を表示することにより動きブレを報知することを特徴とする請求項１２に記載の撮像装置。
16. 前記動きブレ報知手段は、
    前記動きブレ補正によって補正されるブレと、動きブレとをそれぞれ区別して報知することを特徴とする請求項１２に記載の撮像装置。
17. 前記動きブレ報知手段は、
    撮像装置の撮影モードや記録解像度に応じて、報知の形態や強調度合いを切り替えることを特徴とする請求項１２乃至１６のいずれか１項に記載の撮像装置。
18. 前記動きブレ報知手段は、前記第１の撮像中に動きブレを報知することを特徴とする請求項１２乃至１６のいずれか１項に記載の撮像装置。
19. 動きブレ報知音を発生する動きブレ報知音発生手段を備え、
    前記動きブレ報知手段は、音により動きブレを報知することを特徴とする請求項１記載の情報処理装置。
20. 前記第２の撮影は、少なくとも静止画撮影であることを特徴とする請求項１乃至１９のいずれか１項に記載の撮像装置。
21. 撮影光学系を介して結像された被写体像を撮像する撮像ステップと、
    第１の撮影パラメータで第１の撮像により得られた第１の撮影画像および前記第１の撮影画像における被写体の動き情報を取得する第１動き情報取得ステップと、
    前記第１の撮像中における前記撮像装置の動き情報を取得する第２動き情報取得ステップと、
    前記第１の撮影パラメータとは独立して第２の撮影パラメータを設定する設定ステップと、
    前記撮影光学系または前記撮像手段の駆動情報を取得する駆動情報取得ステップと、
    前記第１の撮像における前記被写体の動きブレを前記第２の撮影パラメータで第２の撮像が行われる場合の前記被写体の動きブレに換算した推定動きブレ情報を算出する動きブレ推定ステップと、
    換算された前記被写体の動きブレを報知する動きブレ報知ステップと、
    を有する、撮像装置の制御方法。
22. 請求項２１に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
23. 請求項２１に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読取り可能な記憶媒体。

Images