JP2016012811A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】撮影した動画像から容易に静止画として最適な画像を選択することができる撮像装置を提供する。
【解決手段】動画を撮像可能な撮像部と、撮像部により撮像された動画の各フレームの画像の撮影状態の良否を示すメタデータを生成する生成部と、動画の各フレームの画像と、画像の撮影状態の良否を示す生成手段により生成されたメタデータとを関連付けて記録する記録部とを備え、生成部は、画像の撮影状態を示す少なくとも１つのデータについて許容値を設定し、少なくとも１つのデータを許容値を用いて正規化してメタデータを生成する。
【選択図】 図１

Description

本発明は、撮影された動画像から静止画を生成する技術に関するものである。

近年、動画撮影が可能な撮像装置の多画素化が急速に進んでいる。ＦｕｌｌＨＤサイズの動画を撮影する撮像装置は既に広く普及し、４Ｋ、２Ｋ動画撮影が可能な撮像装置も徐々に市場に出始めている。

このような動画像の高精細化によって、動画像の各フレームの画像も静止画として使用するのに十分な画素数を有するようになってきている。これによって、動画像の各フレームから静止画を生成する使用方法が今後更に広がっていくものと考えられる。

特開２０１０−２５２０７８号公報

動画像から静止画を生成する際の課題として、どのフレームの画像が静止画として最適な画像なのかを判断することが、ユーザーにとって難しいという点がある。例えば動画として見た場合には、画像が常に遷移していくために気付かない画像の振れやピントズレなどが、静止画としてみたときに許容できないレベルである場合も多い。それを１フレームずつチェックしていくのはユーザーにとって非常に煩わしい作業となる。

このような課題に対し、例えば特許文献１では、次のような方法が開示されている。即ち、動画記録中に記録しておいたカメラ画像ステータス情報を動画再生中に読み込む。そして、静止画記録用スイッチの押下動作の前後のフレームから、静止画としてふさわしい画像をピックアップする。

しかしながら、上記従来例においては、ＡＦ、ＡＥ、ＡＷＢ、振れ等のステータス情報を動画像と同期して記録し、動画再生時に静止画を選択する際に用いるという概念自体は開示されているものの、ステータス情報の生成方法が具体的に記載されていない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影した動画像から容易に静止画として最適な画像を選択することができる撮像装置を提供することである。

本発明に係わる撮像装置は、動画を撮像可能な撮像手段と、前記撮像手段により撮像された動画の各フレームの画像の撮影状態の良否を示すメタデータを生成する生成手段と、前記動画の各フレームの画像と、該画像の撮影状態の良否を示す前記生成手段により生成されたメタデータとを関連付けて記録する記録手段とを備え、前記生成手段は、画像の撮影状態を示す少なくとも１つのデータについて許容値を設定し、前記少なくとも１つのデータを前記許容値を用いて正規化して前記メタデータを生成することを特徴とする。

本発明によれば、撮影した動画像から容易に静止画として最適な画像を選択することができる撮像装置を提供することが可能となる。

本発明の撮像装置の一実施形態であるビデオカメラの構成を示すブロック図。 フォーカス用のメタデータの演算方法の例を説明するための図。 露出用のメタデータの演算方法の例を説明するための図。 ホワイトバランス用のメタデータの演算方法の例を説明するための図。 振れ用のメタデータの演算を行うためのブロック構成を示す図。 振れ補正量演算部と振れ量演算部の出力を説明するための図。 振れ用のメタデータの演算方法の例を説明するための図。 振れ用のメタデータの演算方法の別の例を説明するための図。 パンニング速度を演算する方法について説明するための図。 パンニング速度を考慮した振れ量演算部の演算を説明するための図。 メタデータを用いて動画像から静止画を生成するときのフローチャート。 静止画としての適切度をユーザーに報知する表示例を示す図。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の撮像装置の一実施形態である動画を撮像可能なビデオカメラの構成を示すブロック図である。図１は、動画撮影時に使用する撮像装置の各ブロックを示している。図１を用いて、撮像装置１００の構成と、動画撮影時における動作について具体的に説明する。

図１において、撮像装置１００は、光軸方向に、変倍レンズ１０１、補正光学系１０２、絞り１０３、及びフォーカスレンズ１０４が順次配置され、これらと図示しないその他の光学系によって撮影光学系が構成される。

変倍レンズ１０１は、光軸方向に移動して変倍を行うレンズである。フォーカスレンズ１０４は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたレンズである。絞り１０３は、入射する光量を調整する絞り羽根などである。

フォーカスレンズ１０５の背部には、撮像素子１０５が配置されている。撮像素子１０５は、光電変換により被写体の撮像を行う。撮像素子１０５は、例えばＸＹアドレス方式のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等で構成される。撮像素子１０５で光電変換された信号は、撮像素子１０５内部でデジタル信号に変換された後、信号処理部１１１に供給される。信号処理部１１１は、撮像素子１０５から出力された画像情報に対してガンマ補正、色補正等種々の信号処理を行う。

システム制御部１２１は、撮像装置１００全体の制御を司る。例えば、システム制御部１２１は、信号処理部１１１からの輝度値・色等の情報を受けて、各種の演算処理を行う。システム制御部１２１が行う制御の詳細については後述する。

ズーム駆動部１０６は、変倍レンズ１０１を移動させるための駆動源であり、システム制御部１２１の指示に従って、ズーミング動作が行われる。システム制御部１２１は、ユーザーによる図示しないズーム操作部の操作に従って、ズーム駆動部に対して指示を送る。

フォーカス駆動部１０９は、フォーカスレンズ１０４を移動させるための駆動源であり、システム制御部１２１の指示に従って駆動が行われる。システム制御部１２１は、距離情報生成部１１７から供給される信号に従って、フォーカスレンズ１０４の駆動位置を決定する。距離情報生成部１１７は、撮像素子１０５により取得された画像信号に対して、信号処理部１１１において信号処理を行った結果から、撮像装置１００と被写体との距離を示す距離情報を生成する。距離情報は、撮像素子１０５上の複数の画素を用いて位相差ＡＦを行う方法等、公知の方法を用いればよい。また、位相差ＡＦ専用のセンサや赤外線センサなどの距離情報取得装置を用いて距離情報を生成してもよい。

絞り駆動部１０８は、絞り１０３を駆動して撮像素子１０５に入射される光量を調整するための駆動源であり、システム制御部１２１の指示に従って駆動が行われる。撮像素子駆動部１１０は、システム制御部１２１の指示に従って、撮像素子１０５を駆動するための駆動パルス等を撮像素子１０５へ供給し、撮像素子１０５に蓄積された電荷の読み出しや露出時間即ちシャッタ速度の調整を行う。撮像素子１０５では、一般にシャッタパルスが印加されることにより、画素内に蓄積された信号電荷が掃き捨てられる電子シャッター動作が行われ、次の読み出しまでの期間において光学像を光電変換し電荷の蓄積が行われる。この蓄積期間が上記シャッタ速度となる。被写体輝度が低輝度時に適切なシャッタースピードが設定できない場合は、撮像素子１０５から出力される画像信号のレベル調整即ちゲイン調整を行うことにより、露光不足による不適正露出が補正される。

ＡＥ用信号生成部１１８は、画素毎のデジタル信号の累積加算を主体とする演算処理を行うことにより、被写体の明るさに応じた測光値を算出してシステム制御部１２１に供給する。システム制御部１２１は、ＡＥ用信号生成部１１８によって生成された測光値に基づいて、絞り駆動部１０８及び撮像素子駆動部１１０を駆動させ、絞り１０３、シャッタ速度、撮像素子１０５のゲインを設定し、露出を制御する。

ＡＷＢ用信号生成部１１９は、撮像素子１０５から信号処理部１１１に供給されるＲ／Ｇ／Ｂの各画素信号を、輝度Ｙ、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）に変換する。そして黒体放射軌跡を基準として無彩色かどうかを判定し、無彩色と判定された画素の色差信号を全て積算して平均値をとることでＡＷＢ用信号が生成される。信号処理部１１１は、Ｒ／Ｇ／Ｂ各色独立したゲインを掛けることができる回路ブロックを有しており、システム制御部１２１は、上記ＡＷＢ用信号に基づいて、撮像素子１０５から出力される画像データにおける白色を正しく表示できるように制御するためのホワイトバランス制御を行う。

補正光学系１０２は、光軸と垂直な方向に移動されることにより光軸の向きを偏向する、光学的に振れ補正可能な補正系である。補正光学系駆動部１０７は、補正光学系１０２を移動させるための駆動源であり、システム制御部１２１の指示に従って駆動が行われる。角速度センサ１２０は、撮像装置１００に加わる振れを角速度信号として検出し、その角速度信号をシステム制御部１２１に供給する。システム制御部１２１は、上記角速度信号から撮像面上での被写体像の移動を補正するように補正光学系１０２を移動させるため、補正光学系駆動部１０７への制御信号を生成する。この結果、装置の振れ等により生じる撮像面上の被写体像の移動が補正され、撮像素子１０５に結像される。なお、補正光学系１０２は、撮像素子１０５を撮影光学系に対して、相対的に光軸と垂直方向に移動する構成に置き換えてもよい。

メタデータ生成部１１３は、システム制御部１２１から供給されるデータに基づいて撮像画像の撮影状態の良否を示す所定のメタデータを生成し、信号処理部１１１から出力される動画像データと対応づけて記録媒体１０９に記録する。メタデータ生成部１１３で扱うメタデータの詳細については後述する。記録媒体１１４は、ハードディスク等の磁気記録媒体や半導体メモリ等の情報記録媒体である。また表示デバイス１１２は液晶表示素子（ＬＣＤ）等により信号処理部１１１から出力される画像を表示する。

次に、メタデータ生成部１１３に供給されるメタデータの演算方法について、詳細を説明する。メタデータは、システム制御部１２１内部で、フォーカス、露出、ＷＢ（ホワイトバランス）、振れの４種類のデータが演算され、メタデータ生成部１１３に供給される。静止画撮影においては、これらの制御パラメータは、露光時に演算された制御目標値にできるだけ誤差なく追従するように設定される。一方動画撮影においては、これらの制御パラメータを急峻に変化させてしまうと、動画としては映像が急に変化するため、不自然に見えてしまう。そのため、一般的に制御目標値に向かって徐々にパラメータを変化させていく制御が行われる。メタデータ生成部１１３は、このときに生じる静止画として最適な制御目標値と動画として自然に見せるための実際の設定値との差分についてのメタデータを、以下に説明する方法で演算して、動画像データと関連付けて記録媒体１１４に記録する。

図２を用いてフォーカスのメタデータ生成方法について詳細を説明する。説明を分かりやすくするため、以下のように記号を定義する。

Ｄｔ…距離情報生成部１１７によって検出される被写体距離
Ｄｌ…フォーカスレンズ１０４の位置によって決まる撮影被写体距離
Ｄｆ…被写界深度（無限遠側）
Ｄｎ…被写界深度（至近側）
図２（ａ）は、横軸をＤｌ−Ｄｔ、即ち目標となる被写体距離とフォーカスレンズ１０４の位置によって決まる撮影被写体距離との差分とし、縦軸を生成されるメタデータＭｄａｔａ＿ｆｏｃｕｓとしたグラフの一例を示している。Ｄｌ−Ｄｔが０のときは、ピントが完全に合っている状態を示しており、このとき、Ｍｄａｔａ＿ｆｏｃｕｓ＝０となる。図２（ａ）において、Ｍｄａｔａ＿ｆｏｃｕｓは、以下の計算式で演算する。

Ｍｄａｔａ＿ｆｏｃｕｓ＝｜（Ｄｌ−Ｄｔ）／（Ｄｆ−Ｄｔ）｜
ただし、Ｄｌ−Ｄｔ≧０
Ｍｄａｔａ＿ｆｏｃｕｓ＝｜（Ｄｌ−Ｄｔ）／（Ｄｎ−Ｄｔ）｜
ただし、Ｄｌ−Ｄｔ＜０
つまり、撮影被写体距離の目標値からのズレ量を被写界深度の深さで正規化している。これによって、Ｍｄａｔａ＿ｆｏｃｕｓは０に近いほどピントが合っており、１よりも大きくなるほどピンボケになっていることを示すデータとなる。

図２（ｂ）は、横軸と縦軸は図２（ａ）と共通で、Ｍｄａｔａ＿ｆｏｃｕｓの演算方法の他の例を示したグラフである。図２（ｂ）は、Ｄｘ＜（Ｄｌ−Ｄｔ）＜Ｄｙの範囲では、Ｍｄａｔａ＿ｆｏｃｕｓの演算方法は図２（ａ）と共通であり、それ以外の範囲では、Ｄｌ−Ｄｔが変化したときのＭｄａｔａ＿ｆｏｃｕｓの変化量（ゲイン）を大きくしている。これは、撮像装置１００内部の画像処理やＰＣの画像処理ソフト等によって、多少のピンボケ画像は輪郭強調などを行うことによって容易に補正ができるが、ボケ量が大きい画像では輪郭強調を行ったときの疑似輪郭等が目立ち、静止画としての画質の劣化度合いが大きくなるためである。

図３を用いて露出のメタデータ生成方法について詳細を説明する。図３（ａ）乃至図３（ｃ）のグラフの横軸はＡＰＥＸ（Additive System of Photographic Exposure）システムを用いた単位系で表現している。各々の記号の定義は以下の通りである。

Ｅｖ＿ｎｏｗ…現在の絞りとシャッタ速度によって決まる露出値
Ｅｖ＿ｔａｒｇｅｔ…ＡＥ用信号生成部１１８の出力によって決まる適正露出値
図３（ａ）は、横軸をＥｖ＿ｔａｒｇｅｔ−Ｅｖ＿ｎｏｗ、即ち適正露出値と現在の露出値との差分とし、縦軸を生成されるメタデータＭｄａｔａ＿ｅｘｐｏｓｕｒｅとしたグラフの一例を示している。横軸は、プラス方向に大きくなると露出オーバーとなり、マイナス方向に小さくなると露出アンダーとなり、０のときは露出が正確に合っている状態を示している。このとき、Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅ＝０となる。図３（ａ）において、Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅは、以下の計算式で演算する。

Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅ＝｜Ｅｖ＿ｔａｒｇｅｔ−Ｅｖ＿ｎｏｗ｜／（１／３）
つまり、現在の露出の適正露出からのズレ量を所定のＥｖ値（ここでは１／３Ｅｖ）で正規化している。ここで、１／３Ｅｖで正規化したのは、あくまでも一例である。本数値は、ユーザーが任意で設定できるようにしてもよいし、被写体の輝度分布により可変にしてもよい。例えば、１／３Ｅｖずれると白飛びや黒つぶれが発生してしまう場合は、１／５Ｅｖで正規化する等の方法を採用することも可能である。本演算により、Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅは０に近いほど露出が適正になっており、１よりも大きいほど露出アンダーあるいはオーバーになっていることを示すデータとなる。

図３（ｂ）は、横軸と縦軸は図３（ａ）と共通で、Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅの演算方法の他の例を示したグラフである。図３（ｂ）は、−１＜（Ｅｖ＿ｔａｒｇｅｔ−Ｅｖ＿ｎｏｗ）＜１の範囲では、Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅの演算方法は図３（ａ）と共通であり、それ以外の範囲では、Ｅｖ＿ｔａｒｇｅｔ−Ｅｖ＿ｎｏｗが変化したときのＭｄａｔａ＿ｅｘｐｏｓｕｒｅの変化量（ゲイン）を大きくしている。これは、撮像装置１００内部の画像処理やＰＣの画像処理ソフト等によって、多少の露出ズレであれば、画像の輝度レベルを調整することによって容易に補正ができるが、露出ズレが大きい画像では黒つぶれや白飛びを補正することができない、補正してもノイズが目立つ等、静止画としての画質の劣化度合いが大きくなるためである。

図３（ｃ）は、横軸と縦軸は図３（ａ）、図３（ｂ）と共通で、Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅの演算方法の更に他の例を示したグラフである。図３（ｃ）において、Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅは、以下の計算式で演算する。

Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅ＝（２^{（｜Ｅｖ＿ｔａｒｇｅｔ−Ｅｖ＿ｎｏｗ｜）−１）}／（２^{（１／３）}−１）
Ｅｖ値は、撮像素子に入射される光量を底を２とした対数で表現した単位系である。つまりＥｖ値が１変化すると、光量は２倍あるいは１／２倍となる。上式はＡＰＥＸシステムの単位系を実際の光量の単位系に変換した後に正規化を行っており、より正確に露出のズレ量をメタデータＭｄａｔａ＿ｅｘｐｏｓｕｒｅで表現することができる。

図４を用いてホワイトバランスのメタデータ生成方法について詳細を説明する。図４（ａ）のグラフはＲ−Ｙ、Ｂ−Ｙの色差を座標としている。上述したＡＷＢ用信号の座標が、図４（ａ）の原点Ｏ付近に位置しているときは、ＲＧＢのバランスが取れている、即ちホワイトバランスが合っていることを示している。逆に原点Ｏから離れているほど、ホワイトバランスがズレていることを示している。ＡＷＢ用信号の図４（ａ）の座標上でのベクトルをＷＢ＿Ｖｅｃｔｏｒと定義する。

図４（ｂ）、図４（ｃ）のグラフの横軸はＷＢ＿Ｖｅｃｔｏｒの大きさとし、縦軸を生成されるメタデータＭｄａｔａ＿ｗｂとしたグラフの一例を示している。上述したように横軸は、値が大きくなるほどホワイトバランスがズレた画像となる。図４（ｂ）において、Ｍｄａｔａ＿ｗｂは、以下の計算式で演算する。

Ｍｄａｔａ＿ｗｂ＝｜ＷＢ＿Ｖｅｃｔｏｒ｜／ＷＢ＿ＴＨ
つまり、ホワイトバランスの最適値からのズレ量を所定の閾値ＷＢ＿ＴＨで正規化している。ここで、ＷＢ＿ＴＨは、ホワイトバランスのズレ量の許容値として設定される。色のズレ量の許容値は個人差も大きく一意に決めるのは困難であるため、ユーザーが任意で設定できるようにしてもよい。また光源によっては、原点に収束し得ない場合もあるため、その場合は、ＷＢ＿ＴＨの閾値を広げてもよいし、図４（ａ）の原点を光源に合わせてシフトさせてもよい。本演算により、Ｍｄａｔａ＿ｗｂは０に近いほどホワイトバランスが適正になっており、１よりも大きいほどホワイトバランスがズレていることを示すデータとなる。

図４（ｃ）は、横軸と縦軸は図４（ｂ）と共通で、Ｍｄａｔａ＿ｗｂの演算方法の他の例を示したグラフである。図４（ｃ）は、｜ＷＢ＿Ｖｅｃｔｏｒ｜＜ＷＢ＿ＴＨ２の範囲では、Ｍｄａｔａ＿ｗｂの演算方法は図４（ｂ）と共通であり、それ以外の範囲では、｜ＷＢ＿Ｖｅｃｔｏｒ｜が変化したときのＭｄａｔａ＿ｗｂの変化量（ゲイン）を大きくしている。これは、撮像装置１００内部の画像処理やＰＣの画像処理ソフト等によって、多少の色ズレであれば、画像の色レベルを調整することによって容易に補正できるが、色ズレが大きい画像ではノイズが目立つようになる等、静止画としての画質の劣化度合いが大きくなるためである。

図５乃至図１０を用いて像振れのメタデータ生成方法について詳細を説明する。図５（ａ）は、像振れのメタデータを生成するためのブロック図の一例である。図５（ａ）は、図１に対してシステム制御部１２１内部の処理を追加したものであり、システム制御部１２１外部のブロックは、図１で説明した通りであるため説明は省略する。

振れ補正量演算部２０１は、角速度センサ１２０の角速度検出結果に基づいて、補正光学系１０２の駆動位置を算出し、補正光学系駆動部１０７に駆動指示を送る。振れ量演算部２０２は、角速度センサ１２０の出力に基づいて、撮像素子１０５の電荷蓄積時間中の撮像装置１００に加えられた振れ量を演算する。メタデータ生成部２０３は、振れ補正量演算部２０１と振れ量演算部２０２の出力に基づいて、メタデータ生成部１１３に渡す像振れのメタデータを演算する。

図６（ａ）乃至図６（ｃ）は、メタデータの演算タイミングを説明するためのグラフである。図６（ａ）は、横軸を時間、縦軸を撮像素子１０５の各ライン毎の電荷蓄積及び読出しタイミングとし、２フレーム分の画像の動作タイミングを示したグラフである。説明を分かりやすくするため、時間的に前のフレームの画像をフレーム１、後のフレームの画像をフレーム２とする。

図６（ａ）において、時間Ｔ１０は撮像素子１０５のフレーム１の一方の端のラインの電荷蓄積が始まるタイミングを示しており、他方の端に向かって順次時系列に、斜線の平行四辺形の左側の辺のタイミングで電荷の蓄積が開始されていく。時間Ｔ１１は時間Ｔ１０で電荷蓄積が始まったラインについて、電荷の読出しが開始されるタイミングを示しており、時間Ｔ１１から始まる太線部は、各ラインの電荷の読出しが行われるタイミングを示している。時間Ｔ１０とＴ１１の間の時間はシャッタ速度となる。時間Ｔ１２は、フレーム１の全ラインの電荷蓄積及び読出しが終了したタイミングとなる。時間Ｔ２０、Ｔ２１、Ｔ２２は、フレーム２における撮像素子１０５の電荷蓄積開始、電荷読出し開始（電荷蓄積終了）、全電荷読出し終了の各タイミングを示している。

図６（ｂ）は、横軸を時間、縦軸を振れ補正量演算部２０１の出力を撮像面上での移動画素数に換算した結果とし、その時間による変化を示したグラフである。図６（ｃ）の実線グラフは、横軸を時間、縦軸を振れ量演算部２０２の出力を撮像面上での移動画素数に換算した結果とし、その時間による変化を示したグラフである。

図６（ｂ）は、補正光学系１０２によって像振れ補正がどれだけ行われたかを示している。図６（ｃ）の実線グラフは、上記フレーム１及びフレーム２の電荷蓄積開始から電荷読出し終了までの時間中に、撮像装置１００にどれだけの振れが生じたかを示している。そのため、フレーム１の振れ量は時間Ｔ１０から始まり、時間Ｔ１２で終了するグラフとなっており、フレーム２の振れ量は時間Ｔ２０から始まり、時間Ｔ２２で終了するグラフとなっている。動画像の振れ量を評価する場合は、フレーム１とフレーム２の間に生じる振れ量即ち、Ｔ１０とＴ１２の中間の時間から、Ｔ２０とＴ２２の中間の時間に生じる振れ量を演算する必要がある。一方本実施形態は、動画像の各フレームから静止画を生成する用途に関する発明であるため、各フレームの画像を生成する時間内に生じる振れ量の演算を行っている。

図６（ｂ）と図６（ｃ）のグラフを比較すると、フレーム１とフレーム２について、撮像装置１００に加えられた振れをどれだけ正確に補正したかを求めることができる。フレーム１については、図６（ｂ）の点Ａから点Ｃまでの振れ補正量の軌跡と図６（ｃ）のフレーム１の振れ軌跡がほぼ一致しており、フレーム１の最終的な振れ量は小さくなっている。一方フレーム２については、図６（ｂ）の点Ｂから点Ｄまでの振れ補正量の軌跡と図６（ｃ）のフレーム２の振れ軌跡は以下に説明するように、一致しない軌跡となっている。

まず、点Ｂの縦軸の座標は、点Ａとは異なり、０ではない数値Ｂ０となっている。そのため、図６（ｃ）のＴ２０からの振れ軌跡と比較するためには、このＢ０を図６（ｂ）のグラフから減算する必要がある。この減算を行った結果を、図６（ｃ）の点線グラフで表記する。図６（ｃ）の点線と実線のグラフを比較すると、両者には差異が生じている。これは、以下の理由による。動画像の振れ補正は、補正限界まで１００％の振れ補正を継続すると振れ補正ができなくなり、振れが補正された状態と補正されない状態が繰り返され、品位の悪い映像となってしまう。これを回避するため、補正光学系１０２が補正限界に近づく際、振れ補正量演算部２０１内部の低周波数帯域遮断用のフィルタの遮断周波数を変更する等の制御を行い、振れ補正効果を弱め、補正光学系１０２を連続的に動作させ続ける制御が一般的に行われる。一方静止画の振れ補正は、静止画露光中は補正限界まで、できるだけ１００％に近い振れ補正を行うことが要求される。この動画像と静止画の振れ補正の考え方の差異によって、図６（ｃ）の差異が生じる。即ち、フレーム２において、本来静止画としての振れ補正を行うためには、図６（ｃ）の実線の軌跡に従って補正光学系１０２を制御することが望ましいが、動画撮影においては、補正限界に近づかないように点線の軌跡に従って制御している。そして、両者の差異がフレーム２の振れ量となる。

図７（ａ）のグラフは、横軸が撮像素子１０５の横方向の振れ量、縦軸は縦方向の振れ量（単位は画素）を示している。図６（ｂ）、図６（ｃ）のグラフが、撮像素子１０５の横あるいは縦のどちらか一方の振れ補正量、振れ量を示しているとすると、フレーム２の一方の軸の最終的な振れ量は図６（ｃ）のＳｈａｋｅ＿Ａｍｏｕｎｔとなる。これを縦横両方の軸で演算すると、動画像の各フレームの振れ量は図７（ａ）に示すように二次元の座標上で表現することができる。この二次元座標上での振れのベクトルをＳｈａｋｅ＿Ｖｅｃｔｏｒと定義する。当然のことながら、Ｓｈａｋｅ＿Ｖｅｃｔｏｒの座標が原点に近いほど、振れは小さくなる。

図７（ｂ）、図７（ｃ）のグラフの横軸をＳｈａｋｅ＿Ｖｅｃｔｏｒの大きさとし、縦軸を生成されるメタデータＭｄａｔａ＿ｓｈａｋｅとしたグラフの一例を示している。上述したように横軸は、値が大きくなるほど振れが大きい画像となる。図７（ｂ）において、Ｍｄａｔａ＿ｓｈａｋｅは、以下の計算式で演算する。

Ｍｄａｔａ＿ｓｈａｋｅ＝｜Ｓｈａｋｅ＿Ｖｅｃｔｏｒ｜／Ｓｈａｋｅ＿ＴＨ
つまり、撮像素子１０５上での振れ量を所定の閾値Ｓｈａｋｅ＿ＴＨで正規化している。ここで、Ｓｈａｋｅ＿ＴＨは、撮像面上での許容振れ量として設定される。振れ量の許容値は撮像素子１０５の画素数や撮影光学系の解像度等にも依存するため、一意に決めるのは困難であるが、例えば許容錯乱円の半径の数値等とする。また、ユーザーが任意で設定できるようにしてもよい。本演算により、Ｍｄａｔａ＿ｓｈａｋｅは０に近いほど振れ量が静止画として問題ないレベルになっており、１よりも大きいほど振れが大きい画像になっていることを示すデータとなる。

図７（ｃ）は、横軸と縦軸は図７（ｂ）と共通で、Ｍｄａｔａ＿ｓｈａｋｅの演算方法の他の例を示したグラフである。図７（ｃ）は、｜Ｓｈａｋｅ＿Ｖｅｃｔｏｒ｜＜Ｓｈａｋｅ＿ＴＨ２の範囲では、Ｍｄａｔａ＿ｓｈａｋｅの演算方法は図７（ｂ）と共通である。しかし、それ以外の範囲では、｜Ｓｈａｋｅ＿Ｖｅｃｔｏｒ｜が変化したときのＭｄａｔａ＿ｓｈａｋｅの変化量（ゲイン）を大きくしている。これは、撮像装置１００内部の画像処理やＰＣの画像処理ソフト等によって、多少の振れであれば、公知の画像復元の技術等を用いて容易に補正ができるが、振れが大きい画像では疑似輪郭やノイズ等が目立つようになり、静止画としての画質の劣化度合いが大きくなるためである。

図８のグラフを用いて、Ｍｄａｔａ＿ｓｈａｋｅの演算方法の他の例について説明する。図７においては、振れ補正量演算部２０１で補正した振れ補正量と振れ量演算部２０２で検出した振れ量との全電荷読出し終了時点での差分を用いて、Ｍｄａｔａ＿ｓｈａｋｅの演算を行った。多くの場合には、この演算方法で正しく動画像の各フレームの振れ量を表現できるが、図８（ａ）に示すように正しく表現することができない場合もある。図８（ａ）は、横軸と縦軸は図７（ｂ）と共通であり、撮像素子１０５の電荷蓄積開始から全電荷読出し終了までの、撮像面上での振れ軌跡の例を示したグラフである。図８（ａ）の例では、全電荷読出し終了は点Ａ０であり、原点Ｏから近い点になっているが、途中の軌跡はＡ０よりも原点Ｏから離れた座標を通っている。シャッタ速度が速い場合には頻度は非常に少ないが、シャッタ速度が遅くなるにつれて、このような軌跡を描く頻度が増えていく。この場合全電荷読出し終了時点のＡ０だけでは、動画像の各フレームの振れ量を正しく表現することができない。

そこで、上記Ｓｈａｋｅ＿Ａｍｏｕｎｔに代わる振れ量の演算方法を図８（ｂ）を用いて説明する。図８（ｂ）のグラフは、図８（ａ）の振れ軌跡について、所定時間毎の移動位置をＡ１〜Ａ７でプロットしたグラフである。そして、振れ量の演算式を以下の式とする。

|Ａ１−Ｏ|＋|Ａ２−Ａ１|＋|Ａ３−Ａ２|＋|Ａ４−Ａ３|＋|Ａ５−Ａ４|＋|Ａ６−Ａ５|＋|Ａ７−Ａ６| …（式１）
（式１）は、所定時間毎の撮像面上での振れの大きさを、電荷蓄積開始から全電荷読出し終了まで順次積算していく式（積分値）となっている。（式１）によれば、振れ軌跡の全移動距離を算出することができ、上述した動画像の各フレームの振れ量を正しく表現することができない問題を回避することができる。なお、図７（ｂ）あるいは図７（ｃ）において、（式１）の演算結果を｜Ｓｈａｋｅ＿Ｖｅｃｔｏｒ｜と置きかえることによって、Ｍｄａｔａ＿ｓｈａｋｅを算出することができる。

上記Ｓｈａｋｅ＿Ａｍｏｕｎｔに代わる振れ量の演算方法の別の例を図８（ｃ）を用いて説明する。図８（ｃ）は、図８（ｂ）の原点ＯからＡ２までの振れ軌跡を拡大表示したグラフである。図に示すように、横軸とベクトルＡ１−Ｏとが成す角度をθ０、横軸とベクトルＡ２−Ａ１が成す角度をθ１、ベクトルＡ１−ＯとベクトルＡ２−Ａ１との相対角度をθ２とすると、θ２＝θ０−θ１となる。振れ量の画像平面上でのベクトルの軌跡が直線に近い場合、撮像装置１００内部の画像処理やＰＣの画像処理ソフト等で振れのない画像へ復元することは比較的容易であるが、複雑な軌跡を描くほど、復元は困難になっていく。よって、所定時間毎（単位時間あたり）の撮像面上での振れの大きさを積算する際に、差分ベクトルの角度変化θ２が大きくなるに従って値が大きくなるゲインを乗算する、という処理を行うことによって、復元の困難さを考慮したデータにすることができる。例えば、|Ａ１−Ｏ|に対して|Ａ２−Ａ１|を積算する際に、以下のような演算を行う方法が考えられる。

|Ａ１−Ｏ|＋|Ａ２−Ａ１|（１＋ｓｉｎθ２）
本式によれば、θ２が０ｄｅｇのときはｓｉｎθ２＝０であり、θ２が９０ｄｅｇのときはｓｉｎθ２＝１となり、θ２の大きさに応じたゲインを設定することができる。本演算を電荷蓄積開始から全電荷読出し終了まで行い、その結果を図７（ｂ）あるいは図７（ｃ）の｜Ｓｈａｋｅ＿Ｖｅｃｔｏｒ｜と置きかえることによって、振れの復元の容易さまで考慮したＭｄａｔａ＿ｓｈａｋｅを算出することができる。

Ｍｄａｔａ＿ｓｈａｋｅの演算方法のさらに他の例について説明する。図５（ｂ）は、振れのメタデータを生成するためのブロック図の一例である。図５（ｂ）は、図５（ａ）に対して符号３０１乃至３０３の各ブロックを追加したものであるため、その他のブロックについての説明は省略する。

動きベクトル検出部３０３は、信号処理部１１１で生成された現在の映像信号に含まれる輝度信号と、動きベクトル検出部３０３内部の画像メモリに格納された１フレーム前の映像信号に含まれる輝度信号に基づいて画像の動きベクトルを検出する。動きベクトル検出部３０３によって検出された動きベクトル出力は、パンニング判定部３０１、パンニング速度演算部３０２に供給される。なお、動きベクトル検出部３０３は必須の構成ではない。

パンニング判定部３０１は、角速度センサ１２０あるいは動きベクトル検出部３０３の出力に基づいて、撮像装置１００がパンニング状態であるかどうかの判定を行う。パンニング速度演算部３０２は、パンニング判定部３０１により撮像装置１００がパンニング状態であるという判定が行われているときは、現在のパンニング速度を演算して、振れ量演算部２０２に供給する。パンニング状態でないという判定のときは、パンニング速度はゼロとする。パンニング速度の演算は、角速度センサ１２０の出力あるいは動きベクトル検出部３０３の出力、またはその両方から演算する。振れ補正量演算部２０２は、パンニング速度演算部３０２によって演算されたパンニング速度を考慮した振れ量の演算を行う。

動画像の撮影においては、静止画撮影とは異なりパンニング動作は頻繁に行われる。主被写体が動く場合、主被写体を画面内の中央付近に保持するような撮影は特に頻繁に行われる。このとき、上述した撮像面上での振れ量を正規化してメタデータとして保持する方法のみを用いると、パンニングを行っている間は、全て振れが大きいことを示すデータとなってしまう。主被写体の動きに合わせてパンニングを行っている場合は、所謂静止画の流し撮り撮影と同じ撮影を行っている状態となるため、パンニングを行っている間の動画像の各フレームが全て振れが大きいと判定されることは適切ではない。

そこで、パンニング判定部３０１ではまず、撮像装置１００がパンニングされている状態であるかどうかの判定を行う。パンニングの判定方法には公知の方法を用いればよい。例えば、角速度センサ１２０の出力あるいは動きベクトル検出部３０３の出力、又はその積分出力（積分値）が所定値を超えたとき、パンニングと判定する方法等がある。

パンニング速度演算部３０２では、パンニングの速度を演算する。パンニングの速度は、角速度センサ１２０の出力の平均値を演算すれば算出することができる。また、動きベクトル検出部３０３の出力を用いてもよい。動きベクトル検出部３０３の出力を用いたパンニング速度の演算方法について、図９を用いて説明する。図９（ａ）は、画面中央の移動している乗り物を、画面中央に保持するように撮影している画像を示している。動きベクトル検出には画像を複数ブロックに分割し、各ブロック毎に動きベクトルを算出するブロックマッチング法を用いることとし、点線は動きベクトル検出を行う各ブロックを示している。

図９（ｂ）は、各ブロックにおける動きベクトル検出の結果を、矢印の方向と大きさで示している。太線枠内の動きベクトルは、乗り物の動きベクトルを示し、太線枠外の動きベクトルは、それ以外の背景領域の動きベクトルを示している。背景領域の動きベクトルの平均値をＶｅｃｔｏｒ＿Ｂａｃｋとし、乗り物の領域の動きベクトルの平均値をＶｅｃｔｏｒ＿Ｃａｒとすると、パンニング速度は、Ｖｅｃｔｏｒ＿Ｂａｃｋ−Ｖｅｃｔｏｒ＿Ｃａｒで演算することができる。上式は、乗り物の領域の動きベクトルをゼロにするためのパンニング速度である。乗り物の領域の動きベクトルがゼロの場合は、乗り物の動きに対して撮影が１００％追従していることを示し、理想的な流し撮りに近い状態になっているということができる。

図１０を用いて、図５（ｂ）の振れ量演算部２０２におけるパンニング速度を考慮した振れ量の演算について説明する。図１０（ａ）は、横軸を時間、縦軸を角速度としたときの、角速度センサ１２０の出力（実線）、パンニング速度演算部３０２により演算されるパンニング速度（点線）の出力を示したグラフである。図１０（ａ）は、撮像装置１００がパンニングされているときのグラフを示しており、角速度センサの出力はパンニング速度に対して周波数の高い振れ角速度信号が重畳された波形となっている。

ここで、時間Ｔ３０を撮像素子１０５の電荷蓄積開始、時間Ｔ３１を全電荷読出し終了のタイミングとする。このとき、図６（ｃ）を使って説明した、パンニング速度を考慮しない演算方法で振れ量の演算を行うと、その結果は図１０（ｂ）に示すグラフとなる。図１０（ａ）はパンニング速度が常に発生している状態のグラフであるため、これを積分して振れ量を算出するとパンニングによる撮像装置１００の動きが積分され、振れ量は図１０（ｂ）に示すように大きな値となる。補正光学系１０２は、通常パンニングの動きは補正しないように制御するため、図１０（ｂ）に示す振れ量と振れ補正量演算部２０１の差分に基づいて演算されるメタデータＭｄａｔａ＿ｓｈａｋｅも大きな値となる。

一方、図１０（ｃ）は、角速度センサ１２０の出力からパンニング速度を減算した結果を積分して、振れ量を算出したグラフである。図１０（ｃ）は、パンニングの動き成分を除外した振れ量となっている。補正光学系１０２は、通常パンニングの動きは補正しないように制御するため、図１０（ｃ）に示す振れ量と振れ補正量演算部２０１の出力は近い出力となり、両者の差分に基づいて演算されるメタデータＭｄａｔａ＿ｓｈａｋｅは小さな値となる。

これによって、ユーザーがパンニングを行った場合に、常にＭｄａｔａ＿ｓｈａｋｅが大きな値となり、振れが大きいと判定されてしまう現象を回避することができる。なお、主被写体が存在せず、風景のみをパンニングして撮影する場合は、上述した流し撮りにはならず、各フレームの画像は単純に風景が振れた画像になっている。このような場合には、パンニング判定部３０１でパンニングではないという判定を行うことで、画像の振れが大きいのにもかかわらず小さいと判定されてしまう現象の発生を防ぐことができる。この判定は、図９で説明した動きベクトルを用いることで行うことができる。例えば、画面全体の動きベクトルが同じ方向を向いている場合は、主被写体を追いかけた撮影ではないと判断することができる。

ここまでの説明においては、補正光学系１０２あるいは撮像素子１０５を駆動する機構があることを前提に説明してきた。このような振れを光学的に補正する手段を有していない撮像装置の場合は、図５（ａ）、図５（ｂ）において、振れ補正量演算部２０１がない構成となる。そのため、Ｍｄａｔａ＿ｓｈａｋｅの演算は、振れ量演算部２０２の出力のみを用いて行えばよく、それ以外の演算方法は振れを光学的に補正する手段を有している場合と同じとなる。

次に、ユーザーが動画像の中から最適な静止画を選ぶことができるようにするための、上記４種類のメタデータＭｄａｔａ＿ｆｏｃｕｓ、Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅ、Ｍｄａｔａ＿ｗｂ、Ｍｄａｔａ＿ｓｈａｋｅの利用方法の例について説明する。

まず、図１１にユーザーが動画像データから静止画を生成するまでのフローチャートを示す。Ｓ１００はユーザー操作であり、ユーザーが撮像装置１００の操作部材（不図示）を操作し、撮影された動画像から静止画を生成するためのモードに設定し、静止画を生成するための動画像を選択することによって、本フローチャートの処理が開始される。Ｓ１０１では、システム制御部１２１はＳ１００で選択された動画像の全フレームのメタデータを読み込む。Ｓ１０２では、Ｓ１０１で読み込んだメタデータを用いて、ユーザーが最適な静止画を選択するためのアシスト機能を提供する。Ｓ１０３はユーザー操作であり、Ｓ１０２の機能を利用して、ユーザーにより静止画を生成するためのフレームが決定される。Ｓ１０４では、Ｓ１０３でユーザーによって決定されたフレームの画像から、１枚の静止画を作るデコードと、デコードされた画像を更にＪＰＥＧ圧縮するエンコードが行われる。Ｓ１０５ではＳ１０４で生成された静止画が、記録媒体１１４に記録される。Ｓ１０５の処理の後、本フローチャートの処理は終了となる。

Ｓ１０２のアシスト機能の例を、以下に示す。最も単純な例としては、図１２に示すように、Ｍｄａｔａ＿ｆｏｃｕｓ、Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅ、Ｍｄａｔａ＿ｗｂ、Ｍｄａｔａ＿ｓｈａｋｅの数値を、ダイヤモンド型のグラフに表示し、動画像の再生と同時に表示デバイス１１２に表示する方法があげられる。ユーザーは、動画像の再生時に、全ての数値が最も内側のダイヤモンドに近い配置となっているフレームの画像を選択することで、静止画として最適なフレームを選択することができる。

また、撮像装置１００側で、メタデータが示す評価が高い画像を自動選択する方法も考えられる。例えば、評価が高いフレームの画像から順に表示デバイス１１２に表示し、ユーザーが優先的に選択することができるようにしたり、評価が高いフレームの画像は目立つように色付けした外枠をつける等の方法を取ることもできる。また、評価が高いフレームが連続して続くと、同じような画像ばかりが抽出される事態が生じるため、公知のシーン切替検知を用いて、各シーンにつき１枚のフレームを選択するようにしてもよい。更に、公知の顔認識機能を用いて、特定の人物の顔が映っている中から、メタデータの評価が高い画像を自動選択するようにしてもよい。

ここで、４つのメタデータから最終的な評価を決定する方法の例について説明する。最も単純な例としては、４つのメタデータＭｄａｔａ＿ｆｏｃｕｓ、Ｍｄａｔａ＿ｅｘｐｏｓｕｒｅ、Ｍｄａｔａ＿ｗｂ、Ｍｄａｔａ＿ｓｈａｋｅを足し算した結果を用いる。０に近いほど評価が高く、数値が大きいほど評価の低い画像となる。また、４つのメタデータを掛け算してもよい。１よりも小さいほど評価が高く、数値が大きいほど評価の低い画像となる。また、ユーザーが重みづけを決定することができるようにしてもよい。例えば、故意に露出をずらしたり、故意に色味を変更する場合もあるため、露出ズレは評価対象としない、ＷＢはＭｄａｔａ＿ｗｂに１よりも小さい係数を掛けて使用するなどとしてもよい。

このように、４つのメタデータを様々な形で用いることによって、ユーザーが動画像から静止画として最適な画像を容易に選択することができる様々なシステムを提供することができる。

以上説明してきたように、本実施形態においては、フォーカスズレ、露出ズレ、ＷＢズレ、振れの４種類のカメラパラメータについて、静止画として適切な画像かどうかを判断するためのメタデータとして、各々の特性を考慮して最適な演算方法を示した。また、これらの４種類のカメラパラメータについて、動画像撮影時の各フレーム毎に、許容値からのズレ量を当該許容値で正規化して、動画像の各フレームと関連付けて記録するようにした。これによって、上記４種類のパラメータを同じ尺度で判断することができ、どのフレームの画像が静止画として最適であるかを、ユーザーに適切に報知することができる。そして、ユーザーは容易に動画像から最適な静止画を生成することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、上記の４種類のパラメータは全てを生成する必要はなく、いずれか１種類以上のパラメータを用いるシステムであってもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：撮像装置、１０２：補正光学系、１０３：絞り、１０４：フォーカスレンズ、１０５：撮像素子、１１０：撮像素子駆動部、１１１：信号処理部、１１３：メタデータ生成部、１１７：距離情報生成部、１１８：ＡＥ用信号生成部、１１９：ＡＷＢ用信号生成部、１２０：角速度センサ、１２１：システム制御部

Claims (11)

1. 動画を撮像可能な撮像手段と、
   前記撮像手段により撮像された動画の各フレームの画像の撮影状態の良否を示すメタデータを生成する生成手段と、
   前記動画の各フレームの画像と、該画像の撮影状態の良否を示す前記生成手段により生成されたメタデータとを関連付けて記録する記録手段とを備え、
   前記生成手段は、画像の撮影状態を示す少なくとも１つのデータについて許容値を設定し、前記少なくとも１つのデータを前記許容値を用いて正規化して前記メタデータを生成することを特徴とする撮像装置。
2. ユーザが前記記録手段に記録された動画から静止画を生成する操作を行う場合に、前記メタデータを用いて、前記動画の各フレームの画像の撮影状態の良否または撮影状態が良いフレームの画像をユーザに報知する報知手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
3. 前記撮影状態を示す少なくとも１つのデータは、フォーカスのズレ量、露出のズレ量、ホワイトバランスのズレ量、画像の振れ量のいずれか１つ以上のデータであることを特徴とする請求項１または２に記載の撮像装置。
4. 前記撮像装置の振れを検出する振れ検出手段をさらに備え、前記生成手段は、前記振れ検出手段の出力に基づいて、動画の各フレームにおける、前記撮像手段の電荷蓄積開始から電荷蓄積終了までの間の撮像面上での画像の振れの大きさを示すデータを算出し、前記画像の振れ量とすることを特徴とする請求項３に記載の撮像装置。
5. 撮像画像に生じる振れを補正する振れ補正手段をさらに備え、前記生成手段は、前記振れ検出手段の出力に基づいて、前記振れ補正手段の振れ補正量および前記撮像装置の振れ量を算出し、前記振れ補正量と前記撮像装置の振れ量の差分に基づいて前記画像の振れ量を算出することを特徴とする請求項４に記載の撮像装置。
6. 前記生成手段は、前記振れ補正量と前記撮像装置の振れ量の単位時間あたりの差分の積分値を前記画像の振れ量とすることを特徴とする請求項５に記載の撮像装置。
7. 前記生成手段は、前記振れ補正量と前記撮像装置の振れ量の差分ベクトルの単位時間あたりの角度変化が大きいほど、前記積分値が大きくなるように前記画像の振れ量を算出することを特徴とする請求項６に記載の撮像装置。
8. 前記撮像装置がパンニング状態であるか否かを判定する判定手段をさらに備え、前記撮像装置がパンニング状態であると判定された場合、前記生成手段は、前記振れ検出手段の出力に基づいてパンニング速度を算出し、撮像面上での画像の振れの大きさを示すデータから前記パンニングによる動き量を減算したデータを前記画像の振れ量とすることを特徴とする請求項４乃至８のいずれか１項に記載の撮像装置。
9. 動画を撮像可能な撮像手段を備える撮像装置を制御する方法であって、
   前記撮像手段により撮像された動画の各フレームの画像の撮影状態の良否を示すメタデータを生成する生成工程と、
   前記動画の各フレームの画像と、該画像の撮影状態の良否を示す前記生成工程により生成されたメタデータとを関連付けて記録する記録工程とを備え、
   前記生成工程では、画像の撮影状態を示す少なくとも１つのデータについて許容値を設定し、前記少なくとも１つのデータを前記許容値を用いて正規化して前記メタデータを生成することを特徴とする撮像装置の制御方法。
10. 請求項９に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
11. 請求項９に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images