JP2013232696A - 記録再生装置 - Google Patents

Abstract

【課題】
動画中から静止画として切り出すフレームを選択しやすくする。
【解決手段】
カメラ信号処理部（１０３）は撮像素子（１０２）による動画像をフレーメモリ（１０４）に格納する。光学制御部（１０１）は撮像光学系（１００）の焦点評価値を出力する。符号化部（１０５）は動画像データを符号化し、画質劣化度を算出する。多重化部（１０６）は符号化による符号データのヘッダに画質劣化度と焦点評価値を埋め込み、記録媒体（１０７）に記録する。復号化部（１０８）は記録媒体（１０７）からの符号データを復号化する。ヘッダ解析部（１０９）は、読み出した符号データのヘッダから画質劣化度と焦点評価値を抽出し、評価値算出部（１１０）は抽出された画質劣化度と焦点評価値に基づき静止画評価値を算出する。表示部（１１１）は再生された動画の所定のフレームを関連する静止画評価値と共に表示する。
【選択図】 図１

Description

本発明は、画像データを記録再生する記録再生装置に関する。

被写体を撮影し、それにより得られた動画像を圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。デジタルビデオカメラで動画像を記録した後、再生時に動画像の１コマを静止画として切り出せる機能がある。この機能を使えば、動画撮影中に静止画を別途記録しなくても動画から静止画を切り出せるので、撮影者が所望するタイミングでの静止画を作ることができる。

例えば、動画を再生中に所望のタイミングで一時停止などの操作を行い、シャッタボタン等の操作ボタンを押すことで静止画を切り出す構成が知られている。しかし、一時停止した時の１コマの画質は、一目では分かりづらいという問題がある。この問題に対して、様々な観点から画像を評価し、各評価値をモニタに表示する技術が提案されている（例えば特許文献１）。

特開２００４−０４６５９１号公報

動画は、１秒間に３０枚のフレーム（又は６０枚のフィールド）から構成されているのが一般的である。再生中に所望のタイミングで一時停止し、静止画として切り出す操作では、ユーザは、どのフレームを静止画にすべきかを判断しづらい。一般的には、再生と一時停止の操作を繰り返して、所望の画質と構成の画像を探索することになる。また、一時停止中の前後の数フレームに評価値が高いフレームがあるかもしれない。

本発明は、このような従来技術の問題点に鑑みなされたものであり、フレームを選択する際のユーザの煩雑な操作を軽減する記録再生装置を提供することを目的とする。

上述の目的を達成するため、本発明に係る記録再生装置は、動画像データを出力する撮像手段と、前記動画像データを符号化して符号データを生成し、画質劣化度を算出する符号化手段と、前記符号データ及び前記画質劣化度を記録媒体に記録再生する記録再生手段と、前記記録媒体から再生される前記符号データを復号化する復号化手段と、前記記録媒体から再生される前記画質劣化度に基づき静止画評価値を算出する評価値算出手段と、前記復号化手段で復号化された画像を、前記評価値算出手段で算出された前記静止画評価値を示す情報と共に表示する表示手段とを具備することを特徴とする。

本発明に係る記録再生装置は、動画像データを出力する撮像手段と、前記撮像手段に光学像を結合する撮像光学系と、前記撮像光学系を制御する光学系制御手段であって、前記撮像光学系の合焦度を示す焦点評価値を出力する光学系制御手段と、前記動画像データを符号化して符号データを生成し、画質劣化度を算出する符号化手段と、前記焦点評価値と前記画質劣化度に基づき前記動画像データの各フレームの静止画評価値を算出する評価値算出手段と、前記符号データ及び前記静止画評価値を記録媒体に記録再生する記録再生手段と、前記記録媒体から再生される前記符号データを復号化する復号化手段と、前記復号化手段で復号化された画像を、前記記録媒体から再生された前記静止画評価値を示す情報と共に表示する表示手段とを具備することを特徴とする。

本発明によれば、動画像のフレームのうち、静止画を生成するに適したフレームを容易に検索し選択できる。

本発明の一実施例の概略構成ブロック図である。 本実施例の動作フローチャートである。 本実施例の表示画面例である。 本発明の第２実施例の概略構成ブロック図である。 本発明の第３実施例の概略構成ブロック図である。 第３実施例の表示画面例である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る記録再生装置の第１実施例の概略構成ブロック図を示す。

撮像光学系１００は、固定レンズ、フォーカスレンズ及びフォーカスレンズを駆動するモータなどのメカ系駆動回路などから構成され、撮像素子１０２に被写体光学像を入射する。撮像素子１０２は、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサからなる。

光学系制御部１０１は、撮像素子１０２上に被写体光学像が合焦するように撮像光学系を制御する。光学系制御部１０１は、合焦検出にコントラスト方式を用いる。コントラスト方式は、被写体を撮影して得られる映像信号の高域周波数成分を抽出し、該高域周波数成分に基づいて被写体画像のコントラストの高低を評価する方式である。光学系制御部１０１は、撮像光学系１００の被写体への合焦度を示す評価値（以下、焦点評価値と呼ぶ）が最大になるように撮像光学系１００のフォーカスレンズを制御する。光学系制御部１０１は、合焦させる過程で用いた焦点評価値を多重化部１０６に出力する。

カメラ信号処理部１０３は、撮像素子１０２で光電変換された電気信号にＡ／Ｄ変換等の所定の処理を施し、画像データに変換する。

フレームメモリ１０４は、カメラ信号処理部１０３から出力される画像データを一時保持する。フレームメモリ１０４はまた、復号化部１０８によって復号された画像データを保持する。

符号化部１０５は、フレームメモリ１０４に一時保持されている画像データを符号化し、符号化画像データを生成する。動画像圧縮符号化方式としては、ＭＰＥＧ２（Moving Picture Experts Group phase 2）やＨ．２６４（MPEG-4 Part 10 Advanced Video Coding）などが知られている。符号化部１０５は、フレームメモリ１０４から入力した画像データに対して、符号化及び局所復号化して得られる画像データとの差分からＰＳＮＲ（Peak Signal-to-Noise Ratio）を算出する。符号化部１０５は、符号化で得られる符号データ（又は符号化画像データ）をＰＳＮＲ値と共に多重化部１０６に出力する。

ＰＳＮＲは画質劣化度を示す指標として用いられる。ＰＳＮＲは例えば、

で計算されうる。ただし、Ｎはデータ数であり、輝度信号の場合、Ｎ＝２５６である。Ｃｉは符号化前画像の各画素値を示し、Ｄｉは符号化部内部で復号化された画像の各画素値を示す。ＰＳＮＲ（ｄＢ）は、符号化前画像と符号化後画像の二乗平均誤差の逆数であり、画像の相違（劣化）が大きいほど小さい値を示す。逆にＰＳＮＲが大きいほど、画質が良いことを示す。

多重化部１０６には、符号化部１０５から符号データとＰＳＮＲ値が入力し、光学系制御部１０１から焦点評価値が入力する。多重化部１０６は、符号化部１０５からの符号データのヘッダ部に、圧縮符号化方式に則り光学系制御部１０１からの焦点評価値と符号化部１０５からのＰＳＮＲ値を埋め込む。多重化部１０６は、圧縮符号化方式がＨ．２６４の場合、ＳＥＩ（Supplemental Enhancement Information：補足的な付加情報）に焦点評価値及びＰＳＮＲ値を記録する。多重化部１０６は、焦点評価値とＰＳＮＲ値をヘッダに埋め込んだ符号データを記録媒体１０７に記録する。記録媒体１０７は、ＤＶＤ（Digital Versatile Disk）、ＨＤＤ（Hard Disk Drive）又は半導体メモリカードなどからなる。

復号化部１０８は、記録媒体１０７に記録されている符号データを読み出し、復号化する。復号化部１０８は、復号化した画像データをフレームメモリ１０４に一時保持する。

ヘッダ解析部１０９は、記録媒体１０７から読み出される符号データのヘッダを解析する。ヘッダには、多重化部１０６により焦点評価値及びＰＳＮＲ値が記録されている。ヘッダ解析部１０９は、ヘッダから焦点評価値とＰＳＮＲ値を抜き出し、評価値算出部１１０に出力する。

評価値算出部１１０は、ヘッダ解析部１０９からの焦点評価値とＰＳＮＲ値を用いて、ある動画を構成する１フレームの合焦度合と画質を示す静止画評価値を算出する。静止画評価値は、例えば、下記式
静止画評価値＝焦点評価値＋ＰＳＮＲ （２）
により計算される。評価値算出部１１０は、フレーム毎に静止画評価値を算出し、フレームメモリ１０４に記録される画像データと対応させてフレームメモリ１０４に一時格納する。

表示部１１１は、ＬＣＤ（Liquid Crystal Display）に代表される画像表示モニタからなり、フレームメモリ１０４に保持されている画像データを画像表示する。表示部１１１はまた、フレームメモリ１０４に記録されている静止画評価値も画像データと合わせて表示する。静止画評価値を数値として表示しても、アイコンなどに変換して表示してもよい。

制御部１１２は、ＣＰＵ（Central Processing Unit）などであり、制御プログラムを実行することにより記録再生装置全体の動作を制御する。制御部１１２はまた、操作部１１３からのユーザ操作に従い、記録再生装置の動作を設定し制御する。例えば、ユーザが操作部１１３を用いて再生操作を行った場合、制御部１１２は、記録媒体１０７から指定された動画の符号データを読み出させ、復号化部１０８、ヘッダ解析部１０９、評価値算出部１１０及び表示部１１１を動作させる。

操作部１１３は、記録再生装置に付随するボタン等からなる。ユーザは、操作部１１３を用いて、記録再生装置（の制御部１１２）に種々の指示を入力できる。例えば、撮影（記録）、再生及び動画から静止画像の生成等の処理を指示するのに使用できる。

図２は、動画から静止画を生成する本実施例の動作のフローチャートである。Ｓ１で、制御部１１２は、ユーザの動画を指定した再生操作に従い記録媒体１０７から指定の動画の符号データを復号化部１０８に読み出させる。復号化部１０８は、記録媒体１０７から読み出された符号データを復号化し、表示部１１１は、復号化された画像データが示す画像を表示する。

Ｓ２で、制御部１１２は、ユーザによる動画再生中の一時停止操作に従い、復号化部１０８に復号化処理の一時停止させる。このとき、表示部１１１は、一時停止時のフレームの画像を継続的に表示する。表示部１１１の画面により、ユーザは、一時停止中の動画フレームを視覚的に確認できる。

Ｓ３で、制御部１１２は、表示部１１１で表示する画像を、一時停止したフレームの時間的に前後に切り替える。この画像切替えの様子は、後述する。

Ｓ４で、ユーザは、Ｓ３で切り替えられるフレームのうちの何れか１つのフレームを静止画用に選択する。Ｓ５で、ユーザは、シャッタボタンの押下により静止画にしたいフレームの選択を確定し、制御部１１２に指示する。静止画としての動画からの切出し又は分離を指示する手段として、シャッタボタンに限定されず、そのたの操作手段であっても良い。

Ｓ６で、制御部１１２は、ユーザにより指定されたフレームの符号データを記録媒体１０７から復号化部１０８に読み出させ、復号化させる。勿論、ユーザが指定したフレームの符号データの復号化に他のフレームが必要な場合、制御部１１２は、当該他のフレームの符号データも、事前に記録媒体１０７から復号化部１０８に読み出させ、復号化させる。復号化部１０８は、指定フレームの復号化された画像データをフレームメモリ１０４に格納し、符号化部１０５が、フレームメモリ１０４の復号化された画像データを静止画として符号化する。多重化部１０６は、符号化部１０５により符号化された静止画像データを記録媒体１０７に記録する。

図３を参照して、ステップＳ３における表示切替え動作例を説明する。図３（ａ）は一時停止時の画面例を示し、図３（ｂ）は、一時停止したフレームとその前後のフレームの画像をそれぞれの静止画評価値と同時に表示する画面例を示す。図３（ｂ）では、一時停止したフレームの画像とその前後の画像を時間軸に沿って同時に表示しつつ、静止画評価値を各画像の上に表示している。

図３で、画面３０は、一時停止した際のフレームを示している。画面３１は、Ｓ３において、一時停止したフレームから表示の切り替えがなされた後の表示部１１１の画面例を示す。３２は一時停止したときのフレームであって、画面３０に示された画像より縮小されて表示される。３３は、静止画評価値を示す。図３に示す例では、静止画評価値をその値に応じた星の数のアイコンで表示しているが、数値そのものを表示しても良い。３４は、フレーム３２よりも時間的に前に記録されたフレームを示し、３５は、フレーム３２よりも時間的に後に記録されたフレームを示す。図３（ｂ）に示す例では、フレーム３４及びフレーム３５の静止画評価値は、一時停止のフレーム３２のそれよりも高い。３６は、フレーム３２，３４，３５を含むシーンを一フレームずつ並べて表示する時系列表示であり、この表示により、ユーザは、フレーム３２，３４，３５の相対的時間関係を直感的に理解できる。

以上、説明したように、本実施例によれば、動画像の複数フレームの評価値が一覧できる形態で表示されるので、静止画を生成するのに適したフレームを容易に発見できる。従って、より好ましい画質の静止画を動画から生成することが簡単な操作で可能になる。

図４は、本発明の第２実施例の概略構成ブロック図を示す。本実施例では、動画の記録前に静止画評価値を算出することが、第１実施例とは異なる。相違部分を主に本実施例の動作を説明する。

撮像光学系２００、光学系制御部２０１、撮像素子２０２及びカメラ信号処理部２０３はそれぞれ、図１の撮像光学系１００、光学系制御部１０１、撮像素子１０２及びカメラ信号処理部１０３と同様に動作する。フレームメモリ２０４には、カメラ信号処理部２０３により処理された動画像データが順次、格納される。

符号化部２０５は、フレームメモリ２０４の動画像データを符号化し、得られた符号データを多重化部２０６に供給し、ＰＳＮＲ値を評価値算出部２１０に供給する。評価値算出部２１０は、光学系制御部２０１からの焦点評価値と符号化部２０５からのＰＳＮＲ値とから静止画評価値を算出し、多重化部２０６に供給する。多重化部２０６は、符号化部２０５からの符号データのヘッダであるＳＥＩに評価値算出部２１０からの静止画評価値を埋め込み、記録媒体２０７に記録する。

復号化部２０８は再生時に、復号化部１０８と同様に、記録媒体２０７に記録される符号データを復号化して動画像データを再生し、再生動画像データをフレームメモリ２０４に格納する。

ヘッダ解析部２０９は、記録媒体１０７から読み出される符号データのヘッダを解析し、ヘッダに含まれる静止画評価値を抜き出してフレームメモリ２０４に供給する。

表示部２１１は、図３を参照して説明したように、再生中の動画フレーム及びその前後のフレームの画像と、関連する静止画評価値を同時に表示する。

このように、記録時に、記録すべき動画の各フレームについて静止画評価値を算出し、動画像データに関連つけて記録媒体に記録しても、簡単な操作で適切なフレームから静止画を生成できる。

図５は、本発明の第３実施例の概略構成ブロック図を示す。この実施例では、評価値算出部３１０は、制御部３１２の制御下で、焦点評価値とＰＳＮＲから静止画評価値を算出する際の重み付けを変更する。図６に示す画面例を参照して、評価値算出部３１０の動作を説明する。

動画像から静止画像を生成するために、記録媒体１０７に記録されている符号データの再生を一時停止したとき、ユーザは、操作部３１３を用いて焦点評価値とＰＳＮＲのいずれを優先するかを制御部３１２に指示できる。

図６は、再生を一時停止した状態で、焦点評価値とＰＳＮＲの重み付けを変更する際の画面例を示す。５０は再生を一時停止し、表示切替がなされたときの画面を示す。バー５１は、ユーザが操作部３１３により左右に動かすことができる。左にバー５１を動かると、焦点評価値に重みがつき、静止画評価値が焦点評価値の影響を受けやすくなる。逆に右にバー５１を動かすと、静止画評価値がＰＳＮＲを重視する値になる。

図５に示す例では、バー５１を焦点よりに動かすことで、静止画評価値の値が再計算され、表示アイコンが変更される。ユーザが画像に何を所望するかによって静止画評価値を任意に変更できる。例えば、評価値算出部３１０は、
静止画評価値＝焦点評価値×α＋ＰＳＮＲ×（１−α） （３）
に従って、静止画評価値を算出する。式（３）の重み係数αは、操作部３１３の操作に従い、制御部３１２が、評価値算出部３１０に指示する。

例えば、ユーザがバー５１を左に操作すると、αの値が大きくなり、静止画評価値が焦点評価値重視の値になる。逆にバー５１を右に操作すると、αが小さくなり、静止画評価値がＰＳＮＲ重視の値になる。

本実施例では、静止画評価値を算出する際の、焦点評価値とＰＳＮＲの重み付けをその場で変更できるので、ユーザの希望に沿った評価値での静止画の選択が容易になる。

Claims (5)

1. 動画像データを出力する撮像手段と、
   前記動画像データを符号化して符号データを生成し、画質劣化度を算出する符号化手段と、
   前記符号データ及び前記画質劣化度を記録媒体に記録再生する記録再生手段と、
   前記記録媒体から再生される前記符号データを復号化する復号化手段と、
   前記記録媒体から再生される前記画質劣化度に基づき静止画評価値を算出する評価値算出手段と、
   前記復号化手段で復号化された画像を、前記評価値算出手段で算出された前記静止画評価値を示す情報と共に表示する表示手段
   とを具備することを特徴とする記録再生装置。
2. 更に、
   前記撮像手段に光学像を入射する撮像光学系と、
   前記撮像光学系を制御する光学系制御手段であって、前記撮像光学系の合焦度を示す焦点評価値を出力する光学系制御手段
   とを具備し、
   前記記録再生手段は、前記焦点評価値を前記記録媒体に記録再生し、
   前記評価値算出手段は、前記記録媒体から再生される前記画質劣化度及び前記焦点評価値に基づき前記静止画評価値を算出する
   ことを特徴とする請求項１に記載の記録再生装置。
3. 更に、ユーザ操作に従い、前記評価値算出手段が静止画評価値を算出する際の前記画質劣化度と前記焦点評価値の重みを変更する制御手段を具備することを特徴とする請求項２に記載の記録再生装置。
4. 前記表示手段は、前記復号化手段で復号化された複数の画像を、前記評価値算出手段で算出された前記複数の画像のそれぞれに関連する前記静止画評価値を示す情報と共に表示することを特徴とする請求項１乃至３の何れか１項に記載の記録再生装置。
5. 動画像データを出力する撮像手段と、
   前記撮像手段に光学像を入射する撮像光学系と、
   前記撮像光学系を制御する光学系制御手段であって、前記撮像光学系の合焦度を示す焦点評価値を出力する光学系制御手段と、
   前記動画像データを符号化して符号データを生成し、画質劣化度を算出する符号化手段と、
   前記焦点評価値と前記画質劣化度に基づき前記動画像データの各フレームの静止画評価値を算出する評価値算出手段と、
   前記符号データ及び前記静止画評価値を記録媒体に記録再生する記録再生手段と、
   前記記録媒体から再生される前記符号データを復号化する復号化手段と、
   前記復号化手段で復号化された画像を、前記記録媒体から再生された前記静止画評価値を示す情報と共に表示する表示手段
   とを具備することを特徴とする記録再生装置。

Images