JP2010021893A - 動画像処理装置および動画像処理方法 - Google Patents

Abstract

【課題】簡易な操作で動画像から良好な状態の静止画像を抽出することができるようにする。
【解決手段】記録媒体に記録された動画像データから画像パラメータを抽出する。そして、抽出された画像パラメータに基づく時系列グラフ画像を作成し、この時系列グラフ画像を動画像データの再生画像に対して重ねて表示させる。ユーザは、静止画像を、この時系列グラフ画像に基づき抽出することで、良好な画質の静止画像を取得することができる。また、当該グラフ画像が再生画像に合成されて表示されるので、構図が適切であるタイミングを指定して、静止画像を取得することができる。
【選択図】図１０

Description

この発明は、動画像処理装置および動画像処理方法に関し、特には、動画像データからフレームを抽出する動画像処理装置および動画像処理方法に関する。

近年では、デジタルビデオカメラの性能が向上し、動画像を、従来のデジタルビデオカメラに比べて遙かに高画質で撮影および記録できる機種が増えている。また、カメラ機能付き携帯電話端末や動画像の撮影機能を持つデジタルカメラなどが普及し、誰しも手軽に動画像の撮影および記録を行えるようになってきている。このように、近年では、動画像は身近な存在となった。

一方で、静止画像に対するニーズも絶えない。そのため、例えばデジタルビデオカメラなどで、動画像のフレームを静止画像として抽出し、動画像とは別のデータとして記録することが行われている。ところが、上述のデジタルビデオカメラで静止画の抽出を行う場合、記録した動画像を例えばコマ送り再生して複数の画像を見比べる必要がある上、デジタルビデオカメラが備える小さい画面では、画像の細部が分かりにくく、決して使いよいものとはいえなかった。

そこで、動画像から静止画像を抽出する作業に関する補助機能として、幾つかの提案がなされている。例えば、特許文献１には、ユーザが動画像から選択したフレームに対して時間的に近接する複数のフレームを抽出して同一画面に表示させ、この複数のフレームからユーザが選択したフレームを、静止画像として記録する装置が提案されている。特許文献１によれば、ユーザが動画像のフレームを選択するタイミングがずれた場合でも、動画像のフレームをコマ送りして所望の静止画像を探す必要がなくなる。

また、特許文献２には、画像データの画質パラメータ値を決定して、画像データの出力判定を行う画像データ処理技術が提案されている。特許文献２によれば、画質を数値で表せるため、ユーザは、小さい画面でも画像の画質に関する判断を行うことができる。

特開２００４−３１２４９５号公報 特開２００４−１１２５９６号公報

しかしながら、特許文献１によれば、選択したフレームに対して抽出される、時間的に近接するフレームの表示数が多くなると、画面上に表示される当該フレームによる静止画像のサイズが小さくなってしまう。そのため、静止画像の細部を確認するのが困難になるという問題点があった。

また、特許文献２では、画質パラメータ値に基づき動画像データから画質の良好とされる静止画像を抽出しても、その静止画像により表示される内容がユーザの期待しているものではない可能性があるという問題点があった。例えば、その静止画像により表示される内容において、構図が不十分である場合、その静止画像は、ユーザが期待しているものではない可能性がある。

さらに、上述の特許文献１を撮影時に適用した場合、動画像の撮影と、複数フレームからのフレームの選択を並行して行う必要があり、撮影操作を行うユーザにとって、操作が負担となるという問題点があった。

したがって、本発明の目的は、動画像から抽出するフレームをユーザが容易に選択することを可能とする動画像処理装置および動画像処理方法を提供することにある。

本発明は、上述した課題を解決するために、ユーザ操作受け付け手段でユーザ操作を受け付けたタイミングに応じて動画像データのフレームを抽出する動画像処理装置であって、動画像データのフレームからフレームの特性を示す画像パラメータを抽出する画像パラメータ抽出手段と、ユーザ操作に応じて動画像データからフレームを抽出するフレーム抽出手段と、画像パラメータ抽出手段で抽出された各フレームの画像パラメータを示す表示を動画像データの時系列に従い並べて表示し、画像パラメータを示す表示が動画像データによる動画像の表示に同期して更新されるグラフ画像を生成するグラフ画像生成手段と、動画像データによる動画像を表示する表示手段と、表示手段に対して、グラフ画像生成手段で生成された、表示手段に表示中の動画像のフレームに対応する画像パラメータを示す表示を含むグラフ画像を、動画像と同一画面内に表示させる表示制御手段とを有することを特徴とする動画像処理装置である。

また、本発明は、ユーザ操作受け付け手段でユーザ操作を受け付けたタイミングに応じて動画像データのフレームを抽出する動画像処理方法であって、動画像データのフレームからフレームの特性を示す画像パラメータを抽出する画像パラメータ抽出ステップと、ユーザ操作に応じて動画像データからフレームを抽出するフレーム抽出ステップと、画像パラメータ抽出ステップで抽出された各フレームの画像パラメータを示す表示を動画像データの時系列に従い並べて表示し、画像パラメータを示す表示が動画像データによる動画像の表示に同期して更新されるグラフ画像を生成するグラフ画像生成ステップと、動画像データによる動画像を表示手段に表示する表示ステップと、表示手段に対して、グラフ画像生成ステップで生成された、表示手段に表示中の動画像のフレームに対応する画像パラメータを示す表示を含むグラフ画像を、動画像と同一画面内に表示させる表示制御ステップとを有することを特徴とする動画像処理方法である。

本発明は、上述の構成を有するために、動画像から抽出するフレームをユーザが容易に選択することが可能となる。

以下、本発明の実施形態を、図面を参照しながら説明する。図１（ａ）は、本発明の実施形態に適用可能なデジタルビデオカメラ１００の一例の外観を示す外観図である。図１（ａ）の例では、デジタルビデオカメラ１００は、筐体の正面側にレンズ部３０が設けられ、背面側および上部に各種のボタン２１ａ〜２１ｄ、ボタン２２〜２６が設けられる。なお、ここでは便宜上、デジタルビデオカメラ１００の被写体に向けられる側を正面側、撮影者に向けられる側を背面側とする。また、筐体の側面に、表示部１０が設けられる。表示部１０は、筐体に対して開閉可能に構成され、開いた状態で、ユーザは、表示部１０の表示を見ることができる。

筐体の上部に設けられるボタン２３〜２５は、それぞれ、表示部１０に後述する画像パラメータ設定画面を表示させる設定ボタン２３、撮影の開始／停止を指示する撮影ボタン２４、ならびに、電源のＯＮ／ＯＦＦを指示する電源ボタン２５である。撮影ボタン２４は、例えば押下される度に撮影の開始と停止とが交互に指示される。

筐体の背面側に設けられるボタン２１ａ〜２１ｄは、デジタルビデオカメラ１００の動作モードに応じた複数の機能が割り当てられる。例えば、設定ボタン２３が操作されて画像パラメータを設定する設定モードになった場合、表示部１０に表示される設定画面に対する項目選択のための方向指示の機能が割り当てられる。すなわち、ボタン２１ａ〜２１ｄは、それぞれ上下左右の方向を指示する十字ボタンとして機能され、設定画面における項目間の移動を指示することができる。この場合、ボタン２１ａ〜２１ｄの中心に設けられるボタン２２は、選択される項目に対する決定ボタンとして機能する。以降、ボタン２２を、適宜、決定ボタン２２と記述する。

また例えば、デジタルビデオカメラ１００が記録モードにある場合、ボタン２１ａ〜２１ｄのうち上下方向を指示するボタン２１ａおよび２１ｂ、あるいは、左右方向を指示するボタン２１ｃおよび２１ｄの組み合わせて、ズーム操作が行われる。

さらに、デジタルビデオカメラ１００が再生モードにある場合、ボタン２１ａ〜２１ｄは、再生制御を指示するボタンとして機能する。例えば、図１（ｂ）に一例が示されるように、ボタン２１ａが再生および一時停止、ボタン２１ｂが停止、ボタン２１ｃが高速逆転再生（巻き戻し）、ボタン２１ｄが高速再生（早送り）を指示する。

筐体の背面側に設けられる解析ボタン２６は、記録された動画像データからの画像パラメータの抽出を指示する。この画像パラメータ抽出については、後述する。

図２は、本発明に適用可能なデジタルビデオカメラ１００の一例の構成を示す。ＣＰＵ１５は、このデジタルビデオカメラ１００の全体の動作を制御する。すなわち、ＣＰＵ１５は、ＲＯＭ１６に予め記憶されたプログラムに従い、ＲＡＭ１７をワークメモリとして用いて動作し、デジタルビデオカメラ１００の各部の動作を制御する。操作部２０は、上述したボタン２１ａ〜２１ｄ、ボタン２２〜２６が設けられ、ボタンに対する操作に応じた制御信号を出力し、ＣＰＵ１５に供給する。ＣＰＵ１５は、この制御信号に応じて、このデジタルビデオカメラ１００の動作を制御することができる。操作部２０およびＣＰＵ１５により、ユーザ操作を受け付けるユーザ操作受け付け手段が構成される。

ＯＳＤ生成部１８は、ＣＰＵ１５の命令に従い、表示部１０にＯＳＤ(On Screen Display)表示させる画像データを生成する。例えば、ＯＳＤ生成部１８は、このデジタルビデオカメラ１００に対して各種設定を行うためのメニュー画面をＯＳＤ表示させる画像データを、ＣＰＵ１５の命令に基づき生成する。また例えば、ＯＳＤ生成部１８およびＣＰＵ１５でグラフ画像生成手段が構成され、ＯＳＤ生成部１８は、ＣＰＵ１５の命令に従い、画像パラメータに基づくグラフをＯＳＤ表示させるグラフ画像データを生成する。ＯＳＤ生成部１８で生成されたＯＳＤ表示のための画像データは、後述する表示部１０に供給される。以下、ＯＳＤ表示のための画像データを、ＯＳＤ画像データと呼ぶ。

先ず、記録側の構成について説明する。光学系１は、図１のレンズ部３０に対応し、光学レンズ、ズーム機構、オートフォーカス機構および絞り機構を有する。ズーム機構、オートフォーカス機構および絞り機構の動作は、ＣＰＵ１５により制御される。

撮像部２は、光学系１を介して入射された光を電気信号に変換するＣＣＤといった撮像素子と、撮像素子を駆動し画素毎の電荷の読み出しを行う駆動回路と、撮像素子から出力された撮像信号に所定の処理を施し画像データとする撮像信号処理部とを有する。駆動回路によりフレームタイミングで連続的に撮像素子からの電荷の読み出しを行うことで、動画像データを生成することができる。また、撮像素子を駆動する駆動回路は、撮像素子に対する電子シャッタ機能を有する。例えば、この駆動回路は、ＣＰＵ１５の命令に従い、指定されたシャッタ速度で撮像の制御を行う。

撮像部２から出力された動画像データは、画像処理部３に供給される。画像処理部３は、撮像素子から出力された動画像データに対してガンマ補正やノイズ除去処理、ホワイトバランス処理、画質補正処理など所定の信号処理を施す。画像処理部３で信号処理された動画像データは、動画符号化部４、静止画符号化部５および表示部１０にそれぞれ供給される。

また、画像パラメータ抽出手段としての画像処理部３は、撮像部２から出力された動画像データの各フレームから、画像パラメータの抽出を行うことができる。抽出された画像パラメータは、例えばＣＰＵ１５に供給される。画像パラメータの具体的な例については、後述する。

画像処理部３から供給された動画像データと、ＯＳＤ生成部１８から供給されたＯＳＤ画像データとが表示部１０に供給される。表示手段および表示制御手段としての表示部１０は、表示制御部と、ＬＣＤといった表示デバイスおよびその駆動回路とからなる。撮影時のモニタ画像を表示するための動画像データと、ＯＳＤ画像データとが表示部１０で１画面に合成されて表示される。

動画符号化部４は、画像処理部３から供給された動画像データを所定の圧縮符号化方式で圧縮符号化して出力する。圧縮符号化方式としては、ＭＰＥＧ２方式やＨ．２６４｜ＡＶＣ方式などが適用可能である。動画符号化部４で圧縮符号化された圧縮動画像データは、記録再生制御部６に供給される。

画像処理部３は、ＣＰＵ１５からの命令に基づき、撮像部２から供給された動画像データから指定されたフレームを抽出し、当該フレームによる静止画像データを出力することができる。この静止画像データは、静止画符号化部５に供給される。また、静止画符号化部５には、後述する画像処理部１３からの静止画像データも供給される。静止画符号化部５は、供給された静止画像データを所定の圧縮符号化方式で圧縮符号化して出力する。圧縮符号化方式としては、ＪＰＥＧ方式などが適用可能である。静止画符号化部５で圧縮符号化された圧縮静止画像データは、記録再生制御部６に供給される。

記録再生制御部６は、ＣＰＵ１５の命令に従い、動画用記録媒体７や静止画用記録媒体８に対するデータの読み書きを制御する。記録再生制御部６は、例えば、動画符号化部４から供給された圧縮動画像データを動画用記録媒体７に記録し、静止画符号化部５から供給された圧縮静止画像データを静止画用記録媒体８に記録するように制御する。動画用記録媒体７および静止画用記録媒体８として適用可能な記録媒体は、脱着可能な不揮発性メモリ、ディスク記録媒体、脱着可能またはデジタルビデオカメラ１００に内蔵されるハードディスクなど、特に限定されない。また、動画用記録媒体７および静止画用記録媒体８を、同一の記録媒体の異なる領域としてもよい。

再生側の構成について説明する。記録再生制御部６は、ＣＰＵ１５からの命令に基づき、指定された圧縮動画像データを動画用記録媒体７から読み出し、動画復号部１１に供給する。動画復号部１１は、供給された圧縮動画像データを記録時の符号化方式に応じて復号し、ベースバンドの動画像データとする。このベースバンドの動画像データは、画像処理部１３に供給され、色調補正、コントラスト調整、シャープネス（エッジ強調）処理など所定の画質調整処理を施される。これらの画質調整は、例えば操作部２０に対する操作に応じたＣＰＵ１５の制御によりなされる。画像処理部１３から出力された動画像データは、表示部１０に供給され、必要に応じてＯＳＤ生成部１８から供給されたＯＳＤ画像データと合成されて表示される。

画像処理部１３は、上述の画像処理部３と同様にして、ＣＰＵ１５からの命令に基づき、動画復号部１１から供給された動画像データから指定されたフレームを抽出し、当該フレームによる静止画像データを出力することができる。この静止画像データは、静止画符号化部５に供給される。画像処理部１３、ＣＰＵ１５および操作部２０で、フレーム抽出手段が構成される。

また、画像パラメータ抽出手段としての画像処理部１３は、上述の画像処理部３と同様に、動画復号部１１から供給された動画像データの各フレームから、画像パラメータの抽出を行うことができる。抽出された画像パラメータは、例えばＣＰＵ１５に供給される。

静止画像データの再生も、同様である。すなわち、記録再生制御部６は、ＣＰＵ１５からの指示に基づき静止画用記録媒体８から圧縮静止画像データを読み出し、静止画復号部１２に供給する。静止画復号部１２は、供給された圧縮静止画像データを記録時の符号化方式に応じて復号し、ベースバンドの静止画像データとする。このペースバンドの静止画像データは、画像処理部１３に供給され上述のような所定の画像処理を施され、表示部１０に供給される。

ここで、画像処理部３または画像処理部１３で抽出される画像パラメータについて説明する。画像パラメータは、動画像データの各フレームの特性を表すものであって、動画像撮影時の撮影条件情報である撮影パラメータと、撮影によって得られた動画像データを構成する各フレームに対して画像解析を行うことで得られる解析パラメータとからなる。撮影パラメータは、換言すれば、動画像データが生成された際の生成条件を示す情報であるといえる。画像処理部３は、撮影パラメータおよび解析パラメータの抽出が行われる。画像処理部１３は、解析パラメータの抽出が行われる。

撮影パラメータの種類は、例えば「シャッタ速度」、「レンズＦ値」、「ＩＳＯ感度」、「レンズ焦点距離」および「画素数」である。「シャッタ速度」は、撮影時に、１フレーム分の撮影を行う際に撮像素子に対して露光を与えた時間である。例えば、露光制御を自動的に行うような場合、撮像素子に対する露光量が一定範囲内に収まるように、シャッタ速度を自動制御することができる。一例として、画像処理部３において撮像部２から供給された動画像データに対して、フレーム毎に輝度成分の解析を行い、解析結果に基づきシャッタ速度を制御する。シャッタ速度の数値が大きいほど、画像がブレ易くなる。

「レンズＦ値」は、光学系１のレンズに入射される光量を数値化したものであり、数値が大きいほど光量が少ないことを意味する。「ＩＳＯ感度」は、撮像素子の感度であり、数値が大きいほど感度が高いことを意味する。ＩＳＯ感度が高いほど、ノイズの影響を受け易くなる。ＩＳＯ感度は、上述のシャッタ速度の場合と同様に、撮像部２から供給された動画像データの輝度成分に基づき自動的に制御される。

「レンズ焦点距離」は、光学系１による画角であり、光学ズーム操作を行った場合には、このレンズ焦点距離の値が変化する。ワイド側で値が小さくなり、テレ側で値が大きくなる。また、値が一定値で、光学ズーム操作を行っていないことを示す。「画素数」は、撮像素子の有効画素のうち動画像データのフレームに用いられた画素数であり、デジタルズームを行った場合に、値が変化する。テレ側で値が小さくなり、ワイド側で値が大きくなる。値が一定値で、デジタルズーム操作を行っていないことを示す。

解析パラメータの種類は、例えば「シャープネス」、「明るさ」および「ブレ」である。「シャープネス」とは、動画像データのフレームにおいて、例えば輝度値が不連続的に変化するエッジ部分での輝度値の変化量であり、数値が大きいほど輪郭が明確であることを意味する。例えば、「シャープネス」は、判定対象領域内の各画素位置におけるエッジ量の平均値を用いて表すことができる。エッジ量は、その画素位置における輝度値の変化の大きさを示す値である。ある画素位置におけるエッジ量としては、その画素位置の近傍における各画素の輝度値との差分を用いることができる。

「ブレ」は、動画像データのフレーム間における画像の動き量であり、数値が大きいほど、動き量が大きいことを意味する。これは、換言すれば、「ブレ」値が大きいほど、当該動画像データによる動画像がブレている可能性が高いといえる。例えば、任意のフレームとその前のフレームについて、判定対象領域内の任意の画素位置における輝度値の変化量から、画像の動きを推定することができる。この推定した動きから動き量を求め、「ブレ」に関するパラメータを得る。なお、上述の動き検出は、勾配法に基づいているが、ブロックマッチングなどの他の動き検出方法を用いてもよい。例えば、動画符号化部４において符号化を行う際に検出する動きベクトルを用いて動き量を求めてもよい。

「明るさ」は、動画像データのフレームにおける平均輝度値であり、数値が大きいほど明るい画像であることを意味する。

＜第１の実施形態＞
次に、本発明の第１の実施形態について説明する。本第１の実施形態は、上述した記録時の構成に係るもので、記録時に、撮影による動画像データから画像パラメータを抽出し、抽出された画像パラメータに基づき画像パラメータの時系列的な変化を示すグラフを作成する。このグラフを表示するためのグラフ画像を、撮影による画像をモニタするモニタ画像に対して合成して表示させる。ユーザは、静止画像を抽出するタイミングを、このグラフ画像に基づき決めることで、良好な画質の静止画像を取得することができる。また、当該グラフ画像が撮影のモニタ画像に合成されて表示されるので、モニタ画像に基づき構図が適切であるタイミングを指定して、静止画像を取得することができる。

図３は、本第１の実施形態による処理を概略的に示す。撮影ボタン２４が操作されて動画像の撮影が開始されると（ステップＳ１０）、撮影により得られる動画像データのフレームから画像パラメータを抽出する（ステップＳ１１）。抽出した画像パラメータに基づき、当該画像パラメータの時系列的な変化を示すグラフを作成し、グラフ画像を表示部１０にＯＳＤ表示させる（ステップＳ１２）。撮影停止の指示がなければ（ステップＳ１３）、処理はステップＳ１１に戻され、次のフレームに対する処理が行われる。撮影停止の指示がなされれば、動画像の撮影が終了されると共に、画像パラメータの時系列的変化を示すグラフ画像の表示が終了される（ステップＳ１４）。

図４は、本第１の実施形態を実現するためのデジタルビデオカメラ１００の一例の機能を示す機能ブロック図である。本第１の実施形態では、デジタルビデオカメラ１００は、情報処理部１１０、静止画像処理部１２０、動画像処理部１３０、グラフ抽出部１４０、ユーザインターフェイス（ＵＩ）処理部１５０および撮像処理部１６０の各機能部を備える。これら各機能部は、互いにデータのやりとりが可能に接続されている。

ＵＩ処理部１５０は、操作処理部１５１および表示処理部１５２を有する。操作処理部１５１は、例えばＣＰＵ１５および操作部２０に対応する。すなわち、ＵＩ処理部１５０は、ユーザによるボタン２１ａ〜２１ｄ、ボタン２２〜２６に対する操作を操作処理部１５１において受け付け、当該操作に応じて各機能部を制御する。また、表示処理部１５２は、例えば表示部１０に対応し、動画像や静止画像、ＯＳＤ画像の表示部１０に対する表示を行う。

情報処理部１１０は、情報記録部１１１および情報管理部１１２を有する。情報記録部１１１は、例えば動画用記録媒体７や静止画用記録媒体８そのものである。情報管理部１１２は、例えばＣＰＵ１５および記録再生制御部６に対応し、情報記録部１１１に対する動画像データや静止画像データの記録を行うと共に、記録されたデータの読み出しや削除を行う。

静止画像処理部１２０は、静止画像抽出部１２１および静止画像記録処理部１２２を有し、例えばＣＰＵ１５および画像処理部３に対応する。静止画像抽出部１２１は、例えばユーザによる決定ボタン２２の操作のタイミングに応じて、撮影中の動画像データのフレームを静止画像データとして抽出する。静止画像記録処理部１２２は、静止画像抽出部１２１で抽出された静止画像データを、情報管理部１１２を介して情報記録部１１１に供給する。

動画像処理部１３０は、動画像表示制御部１３１および画像パラメータ抽出部１３２を有し、例えばＣＰＵ１５および画像処理部３に対応する。動画像表示制御部１３１は、撮像部２から出力された動画像データを表示処理部１５２に供給する。画像パラメータ抽出部１３２は、撮像部２から供給された動画像データの各フレームに対して画像解析を行って解析パラメータを抽出すると共に、動画像撮影時の撮影条件を示す情報である撮影パラメータを抽出する。これら解析パラメータおよび撮影パラメータは、フレーム毎の画像パラメータとして後述するグラフ生成部１４１に供給される。

グラフ抽出部１４０は、グラフ生成部１４１およびグラフ再生制御部１４２を有し、例えばＣＰＵ１５およびＯＳＤ生成部１８に対応する。グラフ生成部１４１は、画像パラメータ抽出部１３２から出力された画像パラメータに基づき、各画像パラメータの時系列グラフを生成する。グラフ再生制御部１４２は、グラフ生成部１４１で生成された時系列グラフの表示形式を、指定された表示形式に変換する。グラフの表示形式の指定は、例えばユーザによる操作部２０に対する操作によりなされる。

表示形式が変換された時系列グラフのデータは、例えばＣＰＵ１５の制御によりＯＳＤ生成部１８でＯＳＤ画像データとされる。この時系列グラフのＯＳＤ画像データは、表示部１０で画像処理部３から供給される動画像データの対応するフレームと同期させて合成され、表示部１０に表示される。

撮像処理部１６０は、例えば撮像部２および画像処理部３に対応し、撮像部２から出力された動画像データを表示処理部１５２に供給する。また、撮影ボタン２４が操作され、撮影開始が指示されたときには、撮像部２から出力された動画像データを表示処理部１５２に供給すると共に、情報管理部１１２を介して情報記録部１１１に供給する。さらに、当該動画像データから画像パラメータを抽出するために、当該動画像データを画像パラメータ抽出部１３２に供給する。

図５は、本発明の第１の実施形態による、撮影時に動画像から静止画像を抽出するために表示部１０に表示される実行画面２００の例を示す。表示部１０に対して、撮像部２から出力された動画像データが画像処理部３を介して供給され、実行画面２００上に動画像２１０として表示される。ここでは、実行画面２００における左上側から右下側に自動車が走行しているシーンを撮影したものとする。図５（ａ）は、あるフレームにおける動画像２１０の表示例を示し、図５（ｂ）は、図５（ａ）のフレームから数秒後における動画像２１０の表示例を示す。

また、実行画面２００において、時系列グラフ画像２１１が動画像２１０に重ねて同一画面内に表示される。時系列グラフ画像２１１は、動画像２１０の動画像データの各フレームから抽出された画像パラメータに基づき、ＣＰＵ１５において生成されたグラフデータにより、ＯＳＤ生成部１８で生成され、表示部１０にＯＳＤ表示される。時系列グラフ画像２１１は、動画像２１０として表示される動画像データのフレームに同期して、表示が順次更新される。

時系列グラフ画像２１１において、横軸である時間軸２１２は、時間の経過を示す。本第１の実施形態では、時間軸２１２は、現在を示す位置を一方の端点とし、この一方の端点から他方の端点に向けて時間を遡るように構成される。図５の例では、時間軸２１２において、時系列グラフ画像２１１の右端が現在の時刻を示し、左方向に時間を遡る。時間軸２１２の下には、現在の時刻に対する時間差が表示されている。例えば、現在を示す時間軸２１２の右端に対し、「０ｓ（秒）」が表示される。「−５ｓ」と表示される位置は、現在に対して５秒過去の時刻を示す。

時系列グラフ画像２１１の縦軸は、画像パラメータの値を示す画像パラメータ軸２１３である。この図５の例では、画像パラメータとして「シャッタ速度」が選択され、シャッタ速度の値が所定に正規化されて示される。画像パラメータ軸２１３の実行画面２００に対して上側がシャッタ速度が遅いことを示し、下側がシャッタ速度が速いことを示す。なお、この図５に示されるような、被写体に動きがある動画像データのフレームを静止画像データとして抽出する場合、シャッタ速度がより速い部分で抽出を行うと、ブレを小さく抑えることができる。

時系列グラフ画像２１１において、グラフ線２１５は、撮影により得られた動画像データの各フレームから抽出した画像パラメータを示す値を、時間軸２１２と画像パラメータ軸２１３とに対応させてグラフ化した線である。画像パラメータを示す値の時間の経過に伴う更新に伴い、過去のデータが左方向に順次シフトされて表示される。

なお、時系列グラフ画像２１１は、背景として表示される動画像２１０を明確に確認可能に表示することが好ましい。一例として、時系列グラフ画像２１１を、全て線画で構成することが考えられる。これに限らず、既知のアルファブレンディング技術を用いて、時系列グラフ画像２１１を動画像２１０に対して所定の透過率で透過させて表示させてもよい。線画表示と透過表示とを組み合わせて用いてもよい。

図６は、本第１の実施形態による、撮影時に動画像データから静止画像データを抽出する際の一例の処理を示すフローチャートである。以下、このフローチャートと上述の図５を用いて当該処理について説明を行う。なお、時系列グラフ画像２１１において、画像パラメータとして「シャッタ速度」が選択されているものとする。

先ず、ユーザにより撮影ボタン２４が操作されることにより、動画像の撮影が開始される（ステップＳ２０）。撮影が開始されると、次のステップＳ２１で、撮影に伴い撮像部２から出力された動画像データの表示制御が行われる。すなわち、撮像部２から出力された動画像データのフレームが画像処理部３を介して表示部１０に供給され、例えば図５（ａ）に例示される動画像２１０として表示される。それと共に、撮像部２から出力された動画像データは、画像処理部３を介して動画符号化部４に供給されて所定に圧縮符号化される。動画符号化部４から出力された圧縮動画像データは、記録再生制御部６に供給され、動画用記録媒体７に記録される。

また、撮影の開始に伴い、撮像部２から出力された動画像データのフレームが画像処理部３で解析され、画像パラメータが抽出される。この画像パラメータは、ＣＰＵ１５に供給される。ＣＰＵ１５は、供給された画像パラメータに基づき時系列グラフ画像２１１を表示するためのグラフデータを生成する。このデータは、ＯＳＤ生成部１８に供給され、時系列グラフ画像２１１を表示するためのＯＳＤ画像データが生成される。このＯＳＤ画像データは、表示部１０に供給され、動画像２１０に重ねて表示される。

次のステップＳ２２で、ＣＰＵ１５は、静止画像データの抽出が指示されたか否かを判断する。静止画像データの抽出は、例えば決定ボタン２２が操作されることで指示される。一例として、ユーザは、表示部１０に表示中の動画像２１０と時系列グラフ画像２１１とを見て、静止画像データを抽出すべきタイミングで決定ボタン２２を操作する。ＣＰＵ１５は、操作部２０から決定ボタン２２に対する操作に応じた制御信号が供給されたら、静止画像データの抽出が指示されたと判断する。

静止画像データの抽出が指示されたと判断したら、処理はステップＳ２４に移行され、動画像データから静止画像データが抽出される。例えば、ＣＰＵ１５は、画像処理部３に対して静止画像データの抽出を命令する。この命令に応じて、画像処理部３は、撮像部２から供給された動画像データのフレームを抽出する。例えば、画像処理部３は、この命令がＣＰＵ１５から供給された時点で撮像部２から供給されているフレームを抽出する。抽出されたフレームは、１つの静止画像データに変換されて静止画符号化部５に供給され、所定に圧縮符号化されて記録再生制御部６により静止画用記録媒体８に記録される。そして、処理はステップＳ２１に戻され、動画像データの次のフレームに対する処理が行われる。

なお、画像処理部３から静止画像データが出力されてから以降の処理、すなわち静止画符号化部５での圧縮符号化処理、ならびに、記録再生制御部６による記録処理は、図６のフローチャートの他の処理と並行して行うことができる。

一方、ステップＳ２２で静止画像データの抽出を行わないと判断されれば、処理はステップＳ２３に移行され、動画像の撮影を終了するか否かが判断される。若し撮影を終了すると判断されたら、処理はステップＳ２５に移行される。ステップＳ２５では、動画像の撮影の終了処理が行われると共に時系列グラフ画像２１１の表示が終了され、一連の処理が終了する。撮影終了は、例えば撮影ボタン２４に対して撮影停止操作がなされることで指示される。

一方、ステップＳ２３で動画像の撮影を終了しないと判断されたら、処理はステップＳ２１に戻され、次のフレームに対する処理が行われる。

ここで、図５（ａ）の例では、時系列グラフ画像２１１から、シャッタ速度の値が徐々に減少し、シャッタ速度が徐々に速くなる傾向にあることが分かる。しかしながら、図５（ａ）における現在（０ｓ）のシャッタ速度では未だ静止画像にブレがある可能性が高いので、この時点では静止画像データの抽出を行わない方がよいと判断できる。ユーザがこのように判断した場合、決定ボタン２２が操作されないので、上述したステップＳ２２では、静止画像データの抽出が行われないと判断され、処理がステップＳ２１に戻されることになる。

一方、図５（ｂ）の例では、時系列グラフ画像２１１から、シャッタ速度の値が小さい状態で安定していることが分かる。この時点で静止画像データを抽出すると、上述の図５（ａ）の例の場合よりシャッタ速度が高速となっているため、よりブレの少ない静止画像データが抽出できることが期待される。ユーザがこのように判断し、決定ボタン２２を操作すると、上述したステップＳ２２において静止画像データの抽出が行われると判断され、処理がステップＳ２４に移行される。

このように、本第１の実施形態では、動画像の撮影時にユーザが動画像から静止画像を抽出する際に、撮影している動画像を表示部１０に表示すると共に、対応する動画像から抽出した画像パラメータの時系列グラフを、ＯＳＤ表示する。

例えば、デジタルビデオカメラ１００が小さな画面の表示部１０を備える場合、表示部１０の画面に撮影中の動画像が表示されていても、ユーザは、当該動画像の画質を判断することが困難である。本第１の実施形態のように、画像パラメータを用いた時系列グラフをＯＳＤ表示することで、画面に表示されているフレームの画質を判断することを可能にすると共に、過去のフレームの画質との比較を行うことが可能となる。

また、本第１の実施形態によれば、画像パラメータの時系列グラフの表示と共に、撮影中の動画像も表示部１０に表示される。これにより、動画像の撮影を行うと同時に、静止画像として抽出するフレームの構図を確認すると共に、現在のフレームが過去のフレームに比べて画質の優劣があるのかを判断できる。つまり、ユーザは、構図と画質の両方の観点から抽出する静止画像を絞り込めるので、品質の高いフレームを静止画像として抽出して記録することが可能となる。

時系列グラフ画像２１１の表示形式は、ユーザ操作により変更することが可能である。図７は、時系列グラフ画像２１１の表示形式を設定するための設定画面３００の一例を示す。

この設定画面３００は、動画像の撮影前あるいは撮影中に設定ボタン２３を操作することで、表示部１０に表示される。例えば、ＣＰＵ１５は、設定ボタン２３に対する操作に応じて操作部２０から供給される制御信号に従い、ＯＳＤ生成部１８に対して設定画面３００を表示するためのＯＳＤ画像データを生成するように命令する。この命令に従い、ＯＳＤ生成部１８で当該ＯＳＤ画像データが生成される。生成されたＯＳＤ画像データは、表示部１０に供給される。

設定領域３１０は、グラフの種類を設定するための領域である。ボタン２１ａ〜２１ｄからなる十字ボタンを操作して設定領域３１０上にカーソル３０１を合わせてから、決定ボタン２２を操作することで、グラフの種類に関する選択肢が表示される。グラフの種類の選択肢は、例えば「棒グラフ」と「線グラフ」である。これらのうち、ユーザの所望するグラフの種類にカーソル３０１を合わせてから、決定ボタン２２を操作することで、グラフの種類が設定される。図７の例では、グラフの種類として「線グラフ」が設定されている。

設定領域３２０は、グラフ化する、すなわち、時系列グラフ画像２１１の縦軸として用いる画像パラメータを設定するための領域である。時系列グラフ画像２１１の縦軸として選択可能な画像パラメータとしては、例えば撮影パラメータでは、「シャッタ速度」、「レンズＦ値」、「ＩＳＯ感度」、「レンズ焦点距離」および「画素数」が考えられる。また、解析パラメータでは、「シャープネス」、「明るさ」および「ブレ」が考えられる。上述と同様に、十字ボタンおよび決定ボタン２２を用いて、時系列グラフ画像２１１の縦軸として用いる画像パラメータを設定する。図７の例では、画像パラメータとして「シャッタ速度」が設定されている。

設定領域３３０は、横軸である時間軸の範囲を設定するための領域である。設定領域３３０における選択肢は、例えば「２秒」、「１０秒」および「５０秒」である。図７の例では、時間軸の範囲として「１０秒」が設定されている。

ボタン３５０は、上述の設定領域３１０、３２０および３３０に設定された内容を有効として設定画面３００における設定処理を終了する。例えば、ボタン３５０を操作することで、上述の設定領域３１０、３２０および３３０に設定された内容に基づき、ＣＰＵ１５において、時系列グラフ画像２１１を描画する際の各種パラメータが変更される。

一方、ボタン３５１は、上述の設定領域３１０、３２０および３３０に設定された内容を無効として、設定画面３００における設定処理を終了する。この場合には、ＣＰＵ１５は、例えば上述の設定領域３１０、３２０および３３０に設定された内容を破棄し、時系列グラフ画像２１１を描画する際の各種パラメータを変更しない。

ボタン３５０または３５１が操作されると、表示部１０の表示は、例えば設定ボタン２３を操作する前の表示に戻される。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本第２の実施形態は、上述した再生時の構成に係るもので、記録媒体に記録された動画像データの再生時に、当該動画像データから画像パラメータを抽出する。そして、上述の第１の実施形態と同様にして、抽出された画像パラメータに基づく時系列グラフ画像を作成し、この時系列グラフ画像を動画像データの再生画像に対して重ねて表示させる。ユーザは、静止画像を、この時系列グラフ画像に基づき抽出することで、良好な画質の静止画像を取得することができる。また、当該グラフ画像が再生画像に合成されて表示されるので、構図が適切であるタイミングを指定して、静止画像を取得することができる。

図８は、本第２の実施形態による処理を概略的に示す。例えば動画像の選択画面において、再生する動画像が選択された状態で解析ボタン２６が操作されると（ステップＳ３０）、選択された動画像の画像パラメータが抽出される（ステップＳ３１）。例えば、ＣＰＵ１５の制御に基づき、記録再生制御部６により、動画用記録媒体７から選択された動画像に対応する圧縮動画像データが読み出され、動画復号部１１で復号されてベースバンドの動画像データとされ、画像処理部１３に供給される。画像処理部１３は、供給された動画像データの各フレームから画像パラメータを抽出し、ＣＰＵ１５に供給する。

なお、本第２の実施形態においては、動画像データから抽出される画像パラメータは、動画像データの各フレームを解析して得られる解析パラメータである。撮影パラメータが動画像データと共に記録されている場合には、画像パラメータとして、解析パラメータと共にこの撮影パラメータを抽出してもよい。

抽出された画像パラメータは、例えばＲＡＭ１７に記憶したり、動画用記録媒体７または静止画用記録媒体８に記録するなどして、保持する（ステップＳ３２）。ここでは、抽出された画像パラメータをＲＡＭ１７に記憶して保持するものとする。例えば、ＣＰＵ１５は、画像処理部３から供給された各フレームの画像パラメータを、動画像データの対応するフレームにそれぞれ対応付けてＲＡＭ１７に記憶する。画像パラメータと動画像データのフレームとの対応付けは、例えば動画像データの圧縮符号化がＭＰＥＧ２方式やＨ．２６４｜ＡＶＣ方式で行われている場合、ピクチャの再生時刻を指定するＰＴＳを用いることが考えられる。

画像パラメータがＲＡＭ１７に保持されると、当該動画像データの再生が開始され、再生された動画像が表示部１０に表示される。この動画像の表示に対して、ＲＡＭ１７に保持された画像パラメータに基づく時系列グラフ画像が重ねて表示される（ステップＳ３３）。

例えば、ＣＰＵ１５の制御に基づき、記録再生制御部６により、上述の処理により画像パラメータを抽出した圧縮動画像データが読み出され、動画復号部１１で復号されてベースバンドの動画像データとされ、画像処理部１３を介して表示部１０に供給される。また、ＣＰＵ１５は、表示部１０に現在表示されている動画像データのフレームに対応する画像パラメータと、当該フレームの前後の所定時間内のフレームに対応する画像パラメータとをそれぞれＲＡＭ１７から読み出す。そして、ＲＡＭ１７から読み出された画像パラメータに基づき、ＯＳＤ生成部１８において、時系列グラフを表示するための時系列グラフ画像データが生成される。この時系列グラフ画像データが表示部１０に供給される。

なお、ここでは、先ず、再生の対象となる動画像データの全体から画像パラメータを抽出して保持し、次に、当該動画像データの再生と共に、保持された画像パラメータに基づく時系列グラフ画像を表示させるようにしている。これは、この例に限定されず、例えば動画像データを再生しながら、再生されるフレームについて画像パラメータを抽出し、動画像と共に表示するようにもできる。抽出された画像パラメータを動画像データのフレームに対応付けてＲＡＭ１７などに保持することで、正逆方向の再生に対応させることができる。

また、画像パラメータは、動画像データの記録時に予め抽出しておくことも可能である。例えば、記録時に、ＣＰＵ１５は、画像処理部３から供給された画像パラメータを、撮像部２から出力される動画像データのフレームに対応付けて記録再生制御部６に供給し、動画用記録媒体７または静止画用記録媒体８などに記録させる。こうすることにより、再生時にも、同様にして動画像データからの静止画像データの抽出を行うことができる。

記録時における画像パラメータと動画像データのフレームとの対応付けは、例えば撮像部２から出力される動画像データのフレームを撮影開始時からカウントしたカウント値を用いて行うことが考えられる。また、動画符号化部４がＭＰＥＧ２やＨ．２６４｜ＡＶＣ方式で動画像データの圧縮符号化を行う場合、上述のＰＴＳを用いて、画像パラメータと動画像データのフレームとの対応付けを行うこともできる。

図９は、本第２の実施形態を実現するためのデジタルビデオカメラ１００の一例の機能を示す機能ブロック図である。なお、図９において、上述した図４の機能ブロック図と共通する部分には同一の符号を付して、詳細な説明を省略する。図９の再生側の機能ブロック図は、図４の記録側の機能ブロック図における動画像表示制御部１３１の代わりに、動画像再生制御部１７１を有する点と、図４の機能ブロック図における撮像処理部１６０が存在しない点とが異なる。

動画像処理部１７０は、動画像再生制御部１７１および画像パラメータ抽出部１７２を有し、例えばＣＰＵ１５、画像処理部１３、記録再生制御部６および動画復号部１１に対応する。動画像再生制御部１７１は、情報記録部１１１に記録された動画像データを選択するための選択画面を表示する画像データを表示処理部１５２に出力し、表示部１０に表示させる。選択画面は、情報記録部１１１に記録された各動画像データのインデックス画像が表示される。

また、動画像再生制御部１７１は、当該選択画面において選択された動画像データを情報記録部１１１から読み出して再生し、表示処理部１５２に出力して表示部１０に表示させる。さらに、動画像再生制御部１７１は、ボタン２１ａ〜２１ｄに対してなされた操作に応じて、動画像データの再生や停止、正逆方向それぞれへの高速再生などの処理を行う。

図１０は、本発明の第２の実施形態による、再生時に動画像から静止画像を抽出するために表示部１０に表示される実行画面６００の例を示す。表示部１０に対して、動画復号部１１から出力された動画像データが画像処理部１３を介して供給され、実行画面６００上に動画像２５０として表示される。ここでは、実行画面６００において、左上側から右下側に自動車が走行しているシーンを１倍速で再生した動画像が表示されているものとする。図１０（ａ）は、あるフレームにおける動画像２５０の表示例を示し、図１０（ｂ）は、図１０（ａ）のフレームから２秒後、図１０（ｃ）はさらに２秒後の動画像２５０の表示例を示す。

また、上述の図５と同様にして、実行画面６００において、時系列グラフ画像２６１が動画像に重ねて表示される。時系列グラフ画像２６１において、横軸である時間軸２６２は、実行画面６００に表示中の動画像データの表示時刻を示す。なお、ここでいう表示時刻とは、例えば１つの動画像データの先頭フレームを基準とした相対的な表示時刻である。本第２の実施形態では、時間軸２６２は、表示中の動画像データの表示時刻を含む一定の時間範囲を示す。

横軸に垂直の再生軸２６４は、表示中の動画像データの現在の表示時刻を示す。より具体的には、図１０では、時間軸２６２において再生軸２６４との交点が表示中の動画像データの現在の表示時刻を示し、再生軸２６４より右側が未来の表示時刻を示し、左側が過去の表示時刻を示す。図１０（ａ）を例に取ると、時間軸２６２の左端および右端は、それぞれ動画像データの先頭フレームから８秒および１８秒が経過したフレームであることを示し、現在表示されているフレームは、先頭フレームから１３秒目のフレームであることを示す。この例では、時間軸２６２が示す時刻は、動画像データによる動画像の表示に伴い順次、変化する。

時系列グラフ画像２６１の縦軸は、画像パラメータの値を示す画像パラメータ軸２６３である。この図１０の例では、画像パラメータとして「シャープネス」が選択され、シャープネス値が所定に正規化されて表示される。画像パラメータ軸２６３の画面に対して下側がシャープネス値が小さく、上側がシャープネス値が大きいことを示す。シャープネス値が大きいほど、その画像は輪郭が明確であることを示す。したがって、動画像データのフレームを静止画像データとして抽出する場合、輪郭が明確な大きなシャープネス値のフレームを選択するのが好ましい。

時系列グラフ画像２６１において、グラフ線２６５は、再生を行う動画像データから抽出した画像パラメータを示す値を、時間軸２６２と画像パラメータ軸２６３とに対応させてグラフ化した線である。

一例として、ＣＰＵ１５は、例えばＲＡＭ１７に保持される画像パラメータを示す値のうち、この時系列グラフ画像２６１で時間軸２６２に応じて表示されている時間範囲内のフレームに対応する画像パラメータに基づき、グラフ線２６５のデータを生成する。動画像データによる動画像の表示に伴い時間軸２６２が示す時刻がより未来の方向に変化されると共に、グラフ線２６５のデータに用いる画像パラメータを、時間軸２６２が示す時刻に対応して順次シフトさせる。

図１０の例では、図１０（ａ）の時刻においては、動画像データの先頭を基準として８秒目のフレームから１８秒目のフレームまでの画像パラメータを用いてグラフ線２６５のデータを生成する。２秒後の図１０（ｂ）の時刻においては、１０秒目のフレームから２０秒目のフレームまでの画像パラメータを用いてグラフ線２６５を生成する。さらに２秒後の図１０（ｃ）の時刻においては、１２秒目のフレームから２２秒目のフレームまでの画像パラメータを用いてグラフ線２６５を生成する。

図１１は、本第１の実施形態による、再生時に動画像データから静止画像データを抽出する際の一例の処理を示すフローチャートである。以下、このフローチャートと上述の図１０とを用いて当該処理について説明を行う。なお、時系列グラフ画像２６１において、画像パラメータとして「シャープネス」が選択されているものとする。また、再生を行う動画像データの選択および当該動画像データからの画像パラメータの抽出は、既に行われており、抽出された画像パラメータがＲＡＭ１７に保持されているものとする。

先ず、ユーザにより再生ボタン（ボタン２１ａ）が操作されることにより、動画像データの再生開始が指示される（ステップＳ４０）。この再生開始指示に応じて、次のステップＳ２１で、指示された動画像データの再生制御が行われる。すなわち、ＣＰＵ１５は、再生するために選択された動画像データ（圧縮静止画像データ）を読み出すように、記録再生制御部６に対して命令する。記録再生制御部６は、ＣＰＵ１５から命令に従い、動画用記録媒体７から指定された圧縮動画像データを読み出す。読み出された圧縮動画像データは、動画復号部１１で復号されてベースバンドの動画像データとされ、画像処理部１３を介して表示部１０に供給され、動画像２５０として表示される。

それと共に、ＣＰＵ１５により、現在表示部１０に供給されている動画像データのフレームの表示時刻に対して表示時刻が前後の所定の範囲（例えば前後の２秒間）内のフレームに対応する画像パラメータがＲＡＭ１７から読み出される。そして、ＣＰＵ１５は、ＲＡＭ１７から読み出した画像パラメータに基づき時系列グラフ画像２６１を表示するためのグラフデータを生成する。このグラフデータは、ＯＳＤ生成部１８に供給され、時系列グラフ画像２６１を表示するためのＯＳＤ画像データが生成される。このＯＳＤ画像データは、表示部１０に供給され、動画像２５０に対して重ねて表示される。ＣＰＵ１５は、動画像データの再生に伴い、ＲＡＭ１７から読み出す画像パラメータをフレーム単位で順次シフトさせてグラフデータを生成し、時系列グラフ画像２６１を更新させる。

次のステップＳ４２で、ＣＰＵ１５は、静止画像データの抽出が指示されたか否かを判断する。静止画像データの抽出は、例えば決定ボタン２２が操作されることで指示される。一例として、ユーザは、表示部１０に表示された動画像２５０と時系列グラフ画像２６１とを見て、静止画像データを抽出すべきタイミングで決定ボタン２２を操作する。ＣＰＵ１５は、操作部２０から決定ボタン２２に対する操作に応じた制御信号が供給されたら、静止画像データの抽出が指示されたと判断する。

静止画像データの抽出が指示されたと判断したら、処理はステップＳ４４に移行され、動画像データから静止画像データが抽出される。例えば、ＣＰＵ１５は、画像処理部１３に対して静止画像データの抽出を命令する。この命令に応じて、画像処理部１３は、動画復号部１１から供給された動画像データのフレームを抽出する。例えば、画像処理部３は、この命令がＣＰＵ１５から供給された時点で撮像部２から供給されているフレームを抽出する。抽出されたフレームは、１つの静止画像データに変換されて静止画符号化部５に供給され、圧縮符号化されて記録再生制御部６により静止画用記録媒体８に記録される。そして、処理はステップＳ４１に戻され、動画像データの次のフレームに対する処理が行われる。

なお、画像処理部１３から静止画像データが出力されてから以降の処理、すなわち静止画符号化部５での圧縮符号化処理、ならびに、記録再生制御部６による記録処理は、図６のフローチャートの他の処理と並行して行うことができる。

一方、ステップＳ４２で静止画像データの抽出を行わないと判断されれば、処理はステップＳ４３に移行され、動画像の再生を終了するか否かが判断される。例えばＣＰＵ１５は、操作部２０からの制御信号に基づき、停止ボタン（ボタン２１ｂ）の操作を検出する。若し、停止ボタンの操作が検出されたら、動画像の再生を終了すると判断する。再生を終了すると判断されたら、処理はステップＳ４５に移行される。ステップＳ４５では、動画像の再生の終了処理が行われると共に時系列グラフ画像２６１の表示が終了され、一連の処理が終了する。

一方、ステップＳ４３で動画像の再生を終了しないと判断されたら、処理はステップＳ４１に戻され、次のフレームに対する処理が行われる。

ここで、図１０（ａ）〜図１０（ｃ）を比較する。時系列グラフ画像２６１から、例えば図１０（ａ）に例示される動画像２５０のフレームは、略２秒後に表示される動画像２５０のフレーム（図１０（ｂ）参照）よりもシャープネス値が小さいことが分かる。これは、図１０（ｂ）の時点で抽出する静止画像は、図１０（ａ）の時点で抽出する静止画像よりも、輪郭が明確な画像である可能性が高いことを意味する。また、図１０（ａ）の時点から図１０（ｂ）の時点までのシャープネス値の変化は、図１０（ａ）の時点において時系列グラフ画像２６１から予め知ることができる。したがって、ユーザは、図１０（ａ）の時点では静止画像データの抽出を行わない方がよいと、容易に判断することができる。ユーザがこのように判断した場合、図１０（ａ）の時点では決定ボタン２２が操作されないので、上述したステップＳ４２では、静止画像データの抽出が行われないと判断され、処理がステップＳ４１に戻されることになる。

一方、図１０（ｂ）に例示されるように、時系列グラフ画像２６１から、この時点でのシャープネス値は、前後の数秒間におけるシャープネス値の中で最も大きいことが分かる。また、目的の被写体が自動車である場合、構図的にも、この図１０（ｂ）の時点が最も好ましいと推測できる。そこで、この図１０（ｃ）の時点で静止画像データを抽出すると、より輪郭が明確で、構図的にも良好な静止画像が抽出できることが期待される。ユーザがこのように判断し、決定ボタン２２を操作すると、上述したステップＳ４２において静止画像データの抽出が行われると判断され、処理がステップＳ４４に移行される。

なお、例えば図１０（ｂ）の時点で決定ボタン２２を操作するタイミングを逃し、表示部１０の表示が例えば図１０（ｃ）に例示される状態になってしまうことも考えられる。再生時の場合には、図１０（ｃ）の時点で逆転高速再生ボタン（ボタン２１ｃ）を操作して例えば図１０（ａ）の時点に遡って、操作をやり直すことができる。

このように、本第２の実施形態では、動画像の再生時にユーザ操作により動画像から静止画像を抽出する際、動画像を再生表示すると共に、対応する動画像から抽出した画像パラメータの時系列グラフ画像をＯＳＤ画像として表示する。

例えば、デジタルビデオカメラ１００が小さな画面の表示部１０を備える場合、表示部１０の画面に再生中の動画像が表示されていても、ユーザは、その表示から当該動画像のフレームの画質を判断することが困難である。本第２の実施形態のように、画像パラメータを用いた時系列グラフをＯＳＤ表示することで、画面に表示されているフレームの画質を判断することを可能にすると共に、過去および未来のフレームの画質との比較を行うことが可能となる。これにより、ユーザが動画像から所望の静止画像を抽出するために、動画像のフレームを一々コマ送りして見比べる必要が無くなり、静止画像抽出の作業を効率が向上される。

また、本第１の実施形態によれば、画像パラメータの時系列グラフ表示は、再生中の動画像と共に表示部１０に表示される。これにより、動画像の再生を行うと同時に、静止画像として抽出するフレームの構図を確認すると共に、現在のフレームが過去および未来のフレームに比べて画質の優劣があるのかを判断できる。つまり、ユーザは、構図と画質の両方の観点から抽出する静止画像を絞り込めるので、品質の高いフレームを静止画像として抽出して記録することが可能となる。

第１の実施形態において図７を用いて説明したのと同様に、時系列グラフ画像２６１の表示形式は、ユーザ操作により変更することが可能である。図１２は、時系列グラフ画像２６１の表示形式を設定するための設定画面４００の一例を示す。なお、図１２において、図７と共通する部分には同一の符号を付し、詳細な説明を省略する。

この図１２に例示される設定画面４００は、上述の図７の設定画面３００に対して、再生軸２６４の時間軸２６２における位置を設定するための設定領域４１０が追加されている。また、時間軸２６２の時間範囲を設定する設定領域４１０の選択肢が図７の設定画面３００とは異なっている。

時間軸２６２の時間範囲を設定する設定領域４１０の選択肢は、例えば「２秒」、「１０秒」、「５０秒」および「動画像の全記録時間」である。「動画像の全記録時間」は、例えば、１つの動画像データの先頭から終端までの記録時間である。

図１０の例では、時間軸２６２の範囲を「１０秒」に設定している。なお、設定領域４１０における時間軸２６２の範囲とは、動画像データを１倍速で再生したときの設定である。本第２の実施形態においては、再生速度が２倍速であれば、時間軸２６２の範囲は、設定領域４１０で設定された値の２倍とする（図１０の例では２０秒）。一方、再生速度が１／２倍速のスロー再生であれば、時間軸２６２の範囲は、設定領域４１０で設定された値の１／２倍とする（図１０の例では５秒）。ＣＰＵ１５は、操作部２０に対する再生速度の設定操作に応じて時間軸２６２の範囲を変更して、時系列グラフ画像２６１を表示するグラフデータを生成する。

これは、例えばユーザがあるフレームの近傍で１／２倍速で動画像を再生する場合、そのフレーム近傍で静止画像を抽出する可能性が高いと考えられる。そのため、より精密にフレームを決定できるようにするため、時系列グラフ画像２６１におけるグラフ線２６５の勾配を詳細に表示可能とするのが好ましい。一方、ユーザがあるフレーム近傍で２倍速で動画像を再生する場合は、そのフレーム近傍で静止画像を抽出しない可能性が高いと考えられる。そのため、時系列グラフ画像２６１におけるグラフ線２６５の勾配を大まかに表示しても構わないとする。このように、再生速度に合わせて時間軸２６２の範囲を変更することで、静止画像の抽出に適したフレームを簡単に探すことが可能となる。

再生軸２６４の位置を設定する設定領域４２０における選択肢は、例えば「０％」、「２５％」、「５０％」、「７５％」および「１００％」である。「０％」は、時間軸２６２における最小値（例えば時間軸２６２の左端）を意味し、「１００％」は、時間軸２６２における最大値（例えば右端）を意味する。上述の図１０の例では、再生軸２６４の位置は、「５０％」に設定されている。ユーザが過去のフレームよりも未来のフレームに関する画像パラメータを見たい場合には、設定領域４２０において、値を「０％」側に設定すればよい。また、設定領域４１０において「動画の全記録時間」を設定した場合は、再生軸２６４を時間軸２６２方向に推移させる設定を自動で行う。

＜第２の実施形態の変形例＞
上述では、時系列グラフ画像２６１を動画像２５０に対して重ねて表示するようにしたが、これはこの例に限定されない。例えば、図１３に例示されるように、動画像２５０および時系列グラフ画像２６１を、互いに重ならないように、それぞれ実行画面６００の異なる領域に表示するようにしてもよい。この場合、時系列グラフ画像２６１の表示と、再生された動画像２５０の表示とが互いに重ならないため、動画像２５０における構図の確認が容易である。

また例えば、図１４に例示されるように、実行画面６００に表示する時系列グラフ画像として、帯状の時間軸２７０を用いることも考えられる。この場合、画像パラメータの値は、時間軸２７０における該当時刻部分の表示の濃淡で表す。一例として、画像パラメータが「シャープネス」の場合、時間軸２７０上でシャープネス値が大きい部分で表示を濃くし、シャープネス値が小さい部分で表示を薄くすることが考えられる。また、画像パラメータの値と時間軸２７０の表示の濃淡との関係をユーザに対して提示する凡例表示２７１を、実行画面６００に対して表示させると、好ましい。

このように構成することで、時系列グラフ画像の表示面積を小さくすることができ、時系列グラフ画像と動画像２７２との重なり部分を少なくすることが可能である。図１４の例では、時系列グラフ画像が表示部１０の下端側に表示され、動画像２７２の中央部分に時系列グラフ画像が重ならないようにされている。動画像における主要な被写体は、再生画像の中央部分に映っていることが多いと考えられる。この図１４の例では、時系列グラフ画像が動画像２７２における主要な被写体とが重なることが少なく、再生画像の構図を確認することが容易となる。

さらに例えば、１つの時系列グラフ画像に対して複数種類の画像パラメータを表示することもできる。図１５は、実行画面６００において、１つの時系列グラフ画像２８１に対して２つの画像パラメータを表示した例である。図１５の例では、動画像２９０に重ねて表示される時系列グラフ画像２８１において、縦軸である画像パラメータ軸２８３は、画像パラメータの「シャープネス」を示す。グラフ線２８５は、この「シャープネス」を示す値を、時間軸２８２と対応させてグラフ化した線である。

図１５の例では、画像パラメータの１つである「ブレ」を示す情報が、時系列グラフ画像２８１に対してさらに表示されている。すなわち、図１５の例では、「ブレ」が所定量以下の範囲が、グラフ線２８５上に太線２８６で付加されて表示されている。これによれば、時間軸２８２における２秒目付近から７．５秒目付近までの範囲で、「ブレ」が所定量以下になっていることが分かる。

動画像２９０が、輪郭の不明瞭な雲の動画を１倍速で再生表示した画像であるものとして、この図１５による時系列グラフ画像２８１の解釈の例について説明する。実行画面６００において、動画像２９０から静止画像を抽出する場合、動画像２９０が輪郭の不明瞭な動画であることから、「シャープネス」が大きい必要は無いと考えられる。一方、被写体である雲の画像に「ブレ」が生じていては、静止画像として良好な品質ではないため、「ブレ」はなるべく小さい方がよいと考えられる。

このような考えに基づき、ユーザは、時系列グラフ画像２８１に表示される画像パラメータのうち「シャープネス」ではなく「ブレ」を参考にして、動画像２９０がブレの小さいフレームであるか否かを判断することができる。これにより、動画像２９０からユーザの目的に沿った静止画像を抽出することが可能となる。図１５の例では、再生軸２８４が時間軸２８２と交差する５秒目近傍が、ユーザの目的に沿ったブレの少ない静止画像データの抽出が可能であると期待される。

このように、複数の画像パラメータを１つの時系列グラフ画像に表示することで、再生中の動画像に応じて、静止画像の抽出の際に参考にする画像パラメータを選択することができる。これにより、ユーザが所望する静止画像に適した動画像のフレームをより的確に判断することが可能となる。

図１６は、複数の画像パラメータを同時に表示する時系列グラフ画像２８１の表示形式を設定するための設定画面５００の一例の構成を示す。なお、図１６において、上述の図７および図１２と共通する部分には同一の符号を付して詳細な説明を省略する。

この図１６に例示される設定画面５００は、上述の図１２の設定画面４００に対して、第２の画像パラメータとしての付加情報を設定するための設定領域５５０、５５１および５５２が追加されている。すなわち、設定領域３２０により設定された第１の画像パラメータに対して付加する第２のパラメータの設定を、設定領域５５０、５５１および５５２を用いて行う。

設定領域５５０は、設定領域３２０において設定された第１の画像パラメータのグラフ線に付加する第２の画像パラメータを選択する領域である。設定領域５５０における選択肢は、例えば「シャープネス」、「ブレ」および「明るさ」である。設定領域５５１は、設定領域５５０で選択した第２の画像パラメータの境界値を選択する領域である。設定領域５５１における選択肢の種類は、設定領域５５０で設定した第２の画像パラメータの種類に応じて変化する。第２の画像パラメータとして「ブレ」を選択した場合には、設定領域５５１における選択肢は、例えば「１／２ピクセル」、「１ピクセル」および「２ピクセル」である。設定領域５５２は、設定領域５５１において選択した境界値に関して、時系列グラフ画像２８１上で強調して表示する範囲を選択する領域である。設定領域５５２における選択肢は、例えば「以上」、「一定」および「以下」である。

図１５の例では、設定領域３２０で第１の画像パラメータが「シャープネス」に設定され、設定領域５５０で、第１の画像パラメータに対して付加して表示する第２の画像パラメータとして「ブレ」が選択されている。さらに、設定領域５５１で、設定領域５５０にて選択された第２の画像パラメータに対する境界値として「１ピクセル」が選択され、設定領域５５２で、「以下」が選択されている。以上の設定から、図１５の例では、「ブレが１ピクセル以下」の条件を満たすフレームに対応して、グラフ線２８５上に太線が表示される。

なお、図１３、図１４および図１５を用いて説明した時系列グラフ画像の表示方法は、上述した第１の実施形態にも適用できるものである。

＜他の実施形態＞
上述では、本発明がデジタルビデオカメラに適用されるように説明したが、本発明は、他の電子機器にも適用可能なものである。例えば、動画像データの記録再生が可能とされたカメラ機能付き携帯電話端末やデジタルスチルカメラ、ＰＤＡ(Personal Digital Assistant)などにも、本発明を適用可能である。また、第２の実施形態については、動画像データの再生機能は持つが記録機能を持たない動画像再生装置にも適用可能である。

さらに、各実施形態に係る、画像パラメータを時系列に並べてグラフ化して動画像と共に表示し、この表示を利用して動画像から静止画像を抽出する機能を、パーソナルコンピュータ用のアプリケーションとして提供することも可能である。

従って、上述の各実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の各実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の各実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。

上述の各実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。

つまり、上述の各実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の各実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、上述の各実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。

さらに、上述の各実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本発明の実施形態に適用可能なデジタルビデオカメラの一例の外観を示す外観図である。 本発明に適用可能なデジタルビデオカメラの一例の構成を示すブロック図である。 本発明の第１の実施形態による処理を概略的に示すフローチャートである。 本発明の第１の実施形態を実現するためのデジタルビデオカメラの一例の機能を示す機能ブロック図である。 本発明の第１の実施形態による、撮影時に動画像から静止画像を抽出するために表示部に表示される実行画面の例を示す図である。 本発明の第１の実施形態による、撮影時に動画像データから静止画像データを抽出する際の一例の処理を示すフローチャートである。 時系列グラフ画像の表示形式を設定するための設定画面の一例を示す図である。 本発明の第２の実施形態による処理を概略的に示すフローチャートである。 本発明の第２の実施形態を実現するためのデジタルビデオカメラの一例の機能を示す機能ブロック図である。 本発明の第２の実施形態による、再生時に動画像から静止画像を抽出するために表示部に表示される実行画面の例を示す図である。 本第１の実施形態による、再生時に動画像データから静止画像データを抽出する際の一例の処理を示すフローチャートである。 時系列グラフ画像の表示形式を設定するための設定画面の一例を示す図である。 本発明の第２の実施形態による、再生時に動画像から静止画像を抽出するために表示部に表示される実行画面の他の例を示す図である。 実行画面に表示する時系列グラフ画像として、帯状の時間軸を用いる例を説明するための図である。 実行画面において、１つの時系列グラフ画像に対して２つの画像パラメータを表示した例を示す図である。 複数の画像パラメータを同時に表示する時系列グラフ画像の表示形式を設定するための設定画面の一例の構成を示す図である。

符号の説明

２ 撮像部
３，１３ 画像処理部
４ 動画符号化部
５ 静止画符号化部
６ 記録再生制御部
１０ 表示部
１１ 動画復号部
１２ 静止画復号部
１５ ＣＰＵ
１７ ＲＡＭ
１８ ＯＳＤ生成部
２０ 操作部
１００ デジタルビデオカメラ
２００ 実行画面
２１１，２６１，２８１ 時系列グラフ画像
２１２，２６２，２８２ 時間軸
２１３，２６３，２８３ 画像パラメータ軸
２６４，２８４ 再生軸
２２５，２６５，２８５ グラフ線
３００，４００，５００ 設定画面

Claims (8)

1. ユーザ操作受け付け手段でユーザ操作を受け付けたタイミングに応じて動画像データのフレームを抽出する動画像処理装置であって、
   動画像データのフレームから該フレームの特性を示す画像パラメータを抽出する画像パラメータ抽出手段と、
   ユーザ操作に応じて前記動画像データからフレームを抽出するフレーム抽出手段と、
   前記画像パラメータ抽出手段で抽出された各フレームの前記画像パラメータを示す表示を前記動画像データの時系列に従い並べて表示し、該画像パラメータを示す表示が該動画像データによる動画像の表示に同期して更新されるグラフ画像を生成するグラフ画像生成手段と、
   前記動画像データによる動画像を表示する表示手段と、
   前記表示手段に対して、前記グラフ画像生成手段で生成された、前記表示手段に表示中の前記動画像のフレームに対応する前記画像パラメータを示す表示を含む前記グラフ画像を、前記動画像と同一画面内に表示させる表示制御手段と
   を有する
   ことを特徴とする動画像処理装置。
2. 前記グラフ画像生成手段は、
   現在を示す位置を一方の端点とし、該一方の端点から他方の端点に向けて時間を遡る時間軸を持ち、前記表示手段に表示中の前記動画像のフレームに対応する前記画像パラメータを示す表示が前記一方の端点に表示されると共に、前記動画像の表示に伴い前記表示手段に対する表示が終了した前記フレームに対応する前記画像パラメータを示す表示が、前記他方の端点に向けて順次シフトされる前記グラフ画像を生成する
   ことを特徴とする請求項１に記載の動画像処理装置。
3. 前記グラフ画像生成手段は、
   前記表示手段に表示中の前記動画像のフレームの表示時刻を含む一定の時間範囲を示す時間軸を持ち、表示時刻が該一定の時間範囲に含まれる前記フレームに対応する前記画像パラメータを示す表示が並べられると共に、現在の時刻を示す表示がなされる前記グラフ画像を生成する
   ことを特徴とする請求項１に記載の動画像処理装置。
4. 前記グラフ画像生成手段は、
   複数種類の前記画像パラメータそれぞれの前記画像パラメータを示す表示を１の前記グラフ画像の中に表示させる
   ことを特徴とする請求項１乃至請求項３の何れか１項に記載の動画像処理装置。
5. 前記画像パラメータ抽出手段は、
   動画像データのフレームを解析して前記画像パラメータを抽出する
   ことを特徴とする請求項１乃至請求項４の何れか１項に記載の動画像処理装置。
6. 前記画像パラメータ抽出手段は、
   前記動画像データが生成された際の生成条件を示す情報を該動画像データから抽出して前記画像パラメータとして用いる
   ことを特徴とする請求項１乃至請求項５の何れか１項に記載の動画像処理装置。
7. ユーザ操作受け付け手段でユーザ操作を受け付けたタイミングに応じて動画像データのフレームを抽出する動画像処理方法であって、
   動画像データのフレームから該フレームの特性を示す画像パラメータを抽出する画像パラメータ抽出ステップと、
   ユーザ操作に応じて前記動画像データからフレームを抽出するフレーム抽出ステップと、
   前記画像パラメータ抽出ステップで抽出された各フレームの前記画像パラメータを示す表示を前記動画像データの時系列に従い並べて表示し、該画像パラメータを示す表示が該動画像データによる動画像の表示に同期して更新されるグラフ画像を生成するグラフ画像生成ステップと、
   前記動画像データによる動画像を表示手段に表示する表示ステップと、
   前記表示手段に対して、前記グラフ画像生成ステップで生成された、前記表示手段に表示中の前記動画像のフレームに対応する前記画像パラメータを示す表示を含む前記グラフ画像を、前記動画像と同一画面内に表示させる表示制御ステップと
   を有する
   ことを特徴とする動画像処理方法。
8. コンピュータを、請求項１乃至請求項６の何れか１項に記載の動画像処理装置として機能させるプログラム。

Images