JP2016015654A - 再生装置 - Google Patents

Abstract

【課題】適切な動画のダイジェストを再生する。【解決手段】ダイジェスト再生のシーンを選択するための閾値を設定し、複数のシーンの動画データの評価値と設定した閾値とを比較し、閾値以上の評価値に対応したシーンを、前記ダイジェスト再生のシーンとして選択する選択手段と、選択手段により選択されたシーンを再生することにより、ダイジェスト再生を行う制御手段とを備え、選択手段は、動画データを、それぞれが複数のシーンを含む複数の単位区間に分割し、複数の単位区間のそれぞれから、少なくとも一つのシーンがダイジェスト再生のシーンとして選択されたか否かを判別し、ダイジェスト再生のシーンが選択されていない単位区間があった場合、より小さい値に閾値を再設定し、ダイジェスト再生のシーンが選択されていない単位区間の複数のシーンの評価値と再設定した閾値とを比較することにより、ダイジェスト再生のシーンを選択する処理を行う。【選択図】図４

Description

本発明は、再生装置に関し、特に、動画のダイジェストの再生に関する。

従来、放送された番組や、カメラにより撮影された動画のダイジェストを再生する機能を持つ再生装置が知られている。ダイジェスト再生を行うため、記録された動画についての評価値を算出し、この評価値が高い部分をダイジェストとして再生することが提案されている。

また、複数ブロックで構成された動画像の各ブロックに対して代表画像を決定し、代表画像をもとに各ブロックから連続した複数フレームからなる区間を抽出して動画像ダイジェストを生成する（特許文献１参照）。

特開平０８−００９３１０号公報

しかし、評価値が適切に算出されていない場合や、或いは、ダイジェストとして再生するための評価値の閾値が適切でない場合、ユーザにとって適切なダイジェストとならない場合がある。

また特許文献１では、ひとつのブロックに対してひとつのシーンしかダイジェスト映像を抽出することができないため、この場合も、ユーザが見たい部分が欠落してしまう可能性がある。また、特許文献１では、一定フレーム数または１カットを１ブロックとしているため、その分割方法もユーザが意図する期間に一致するとは限らない。

本発明はこのような問題を解決し、適切な動画のダイジェストを再生することが可能な装置を提供することを目的とする。

本発明に係る再生装置の構成は、複数のシーンを含む動画データを再生する再生手段と、前記動画データの複数のシーンから、ダイジェスト再生のシーンとして選択するための閾値を設定し、前記複数のシーンの動画データの評価値と前記設定した閾値とを比較し、前記閾値以上の評価値に対応したシーンを、前記ダイジェスト再生のシーンとして選択する選択手段と、前記選択手段により選択されたシーンを再生するように前記再生手段を制御することにより、ダイジェスト再生を行う制御手段とを備え、前記動画データを、それぞれが複数の前記シーンを含む複数の単位区間に分割し、前記複数の単位区間のそれぞれから、少なくとも一つのシーンが前記ダイジェスト再生のシーンとして選択されたか否かを判別し、前記ダイジェスト再生のシーンが選択されていない単位区間があった場合、より小さい値に前記閾値を再設定し、前記ダイジェスト再生のシーンが選択されていない単位区間の複数のシーンの評価値と前記再設定した閾値とを比較することにより、前記再設定した閾値以上の評価値に対応したシーンを前記ダイジェスト再生のシーンとして選択する処理を行うことを特徴とする。

本発明によれば、適切な動画のダイジェストを再生することが可能となる。

本発明の実施形態におけるビデオカメラの構成を示すブロック図である。 動画データにおける評価値を示した図である。 ダイジェスト再生のシーンを選択する処理を示すフローチャートである。 動画データにおけるダイジェスト再生シーンを示す図である。 動画データにおけるダイジェスト再生シーンを示す図である。 ダイジェスト再生のシーンを選択する処理を示すフローチャートである。

以下、本発明を実施するための形態を図面に基づいて説明する。

＜第１の実施形態＞
図１は、本発明の実施形態としての再生装置を含むビデオカメラの構成を示す図である。図１において、１０１はズームレンズ、フォーカスレンズ、絞り等を含むレンズと、ＣＣＤ／ＣＭＯＳなどの撮像素子から構成される撮像光学系である。レンズを通過した外光は、撮像素子の面上に光学像を結像し、撮像素子により映像信号に変換される。１０２は、撮像光学系１０１から得られた映像信号から動画データを生成するカメラ信号処理部である。１０３は、カメラ信号処理部１０２によって生成された動画データを解析し、対象コンテンツからダイジェスト映像を抽出するための指標となるシーン評価値を生成する評価値生成部である。

本実施形態では、撮影日時や使用された符号化方式、データサイズ、ディスク上の記録位置、全再生時間長、絞り、シャッター速度、ゲインなどからなる撮影時のカメラ状態に基づく情報を用いて評価値を生成する。また、映像の明るさ、ノイズ、コントラスト等や、音声のレベル、ノイズ、周波数等のコンテンツに基づく情報も用いて評価値を生成する。これらの情報を所定の規則に基づいて数値化することにより、評価値を生成する。なお、本実施形態では、記録される動画のシーンを単位として評価値を生成する。また、本実施形態では、ユーザによる記録開始の指示から記録停止の指示までの間に記録された動画を一つのシーンとする。これ以外にも、例えば、動画の記録開始からの経過時間に応じて、所定時間毎に一つのシーンとすることも可能である。また、被写体の動き等に基づいて、複数のシーンに分割することも可能である。この場合にも、評価値をシーン毎に生成する。

１０４は、フラッシュメモリなどのカメラ本体に内蔵または着脱可能な記録媒体に対し、動画データ及びシーン毎の評価値の情報を記録し、また、再生する記録再生部である。１０５は、ユーザがダイジェスト再生を行う際に抽出パラメータの指示、設定を行うための入力装置である。また、入力装置１０５は、記録開始、停止を指示するためのスイッチや、再生モードへの切り替えスイッチ等を含む。

１０６は、入力装置１０５からの指示に基づき、記録装置１０４に記録された映像コンテンツからダイジェスト映像として再生すべきシーンを選択するシーン選択部である。シーン選択部１０６は、シーンごとの評価値と、入力装置１０５によって指定されたダイジェストシーン抽出パラメータとに基づいて、後述のように、ダイジェストとして再生するシーンを選択する。

１０７は、再生された動画データに対して表示装置１０８に出力するため必要な処理を施す再生処理部である。１０８は、液晶ディスプレイなどの表示装置である。１０９は入力部１０５からの指示に応じて、記録或いは再生を制御する制御部である。

次に、評価値生成部１０３により生成される評価値について説明する。前述のように、評価値は撮影時のカメラ状態に基づく情報とコンテンツに基づく情報とに大別され、それぞれに多数のパラメータが存在する。

まず、撮影時のカメラ状態に基づく情報として、ビデオカメラのズーム操作やパン操作が挙げられる。ズーム操作とは、撮像光学系１０１に含まれるズームレンズを用いて被写体の像を拡大あるいは縮小することであり、パン操作とは、カメラの位置を保った状態で向きを変えることにより、撮像画面に変化を与えて撮影することである。これらは撮影時のズーム操作やジャイロの出力等によるパン操作を直接的に検出するほか、撮像画像の動きベクトルから同操作を間接的に検出する方法がある。これらズーム操作やパン操作が検出された場合、撮影者の意思が積極的に反映されたフレーム画像として、評価値は高くなる。

一方、コンテンツに基づく情報には、撮像画面の明るさや記録された音声の盛り上がり等がある。撮像画面の明るさによるシーン評価値を生成方法としては、画面の輝度信号レベルの平均をフレーム間で比較し、フレーム間の差分が大きい場合に評価値を高くしたり、撮像画面中央部分の輝度信号レベルが適度な明るさである場合に評価値を高くする。また、シーンごとの音声レベルのピーク値及び平均値から、音声レベルが大きいほどシーン評価値を高くする。なお、本実施形態ではこれらのシーン評価値を０から１の値で正規化し、各シーンの付加情報として記録する。図２は、評価値の様子を示したものである。

制御部１０９は、入力部１０５からの記録開始の指示に応じて、記録再生部１０４により動画データ及び評価値生成部１０３からの評価値の情報を記録する。また、通常の再生時においては、制御部１０９は、記録再生部１０４を制御して、記録された動画データを再生する。

次に、ダイジェスト再生時の処理を説明する。制御部１０９は、入力部１０５よりダイジェスト再生の指示があった場合、シーン選択部１０６に対し、ダイジェストとして再生するシーンを選択する処理を行う様に指示する。図３は、シーン選択部１０６による選択処理を示すフローチャートである。

Ｓ３０１において、シーン選択部１０６は、まず、再生するシーンを選択するための閾値を設定する。前述のように、評価値は０から１の値で正規化されているため、この閾値は同範囲内の値に設定する必要がある。ここでの値はシーン評価値の結果に応じて決定された値であっても、あらかじめ設定されている固定値であっても構わない。

次に、Ｓ３０２において、設定した閾値に基づいて、記録された動画データから、ダイジェストとして再生するシーン選択する。具体的には、各シーンの評価値と閾値とを比較し、閾値以上の評価値に対応したシーンを、再生するシーンとして選択する。図４（ａ）は、記録された動画データのうち、ダイジェストとして再生されるシーンの例を示した図である。

次に、Ｓ３０３において、入力部１０５によってユーザが指定した任意の単位区間を設定する。本実施形態では、１週間の旅行で撮影された動画データをダイジェスト再生の対象として、設定する単位区間を１日とした場合を例として説明する。なお、ここでは時間に基づいて単位区間を設定した場合の例を説明するが、撮影された場所や被写体などに基づいて単位区間を設定しても構わない。

Ｓ３０４において、Ｓ３０３で設定された単位区間に基づいて、動画データを分割する。本実施形態の場合、Ｓ３０３で単位区間を１日と設定したため、動画データの撮影日時の情報から、１日単位で複数の単位区間（ブロック）に分割する。図４（ｂ）は、１日毎に分割された動画データを示している。

Ｓ３０５において、すべてのブロックからダイジェスト再生のシーンが選択されているか否かを判別する。すべてのブロックからダイジェスト再生のシーンが選択されている場合は処理を終了し、そうでない場合はＳ３０６へ遷移する。図４（ｂ）の例の場合、５日目のブロックからは、ダイジェスト再生のシーンが一つも選択されていないため、Ｓ３０６へ遷移する。

Ｓ３０６では、Ｓ３０５で、ダイジェスト再生のシーンが一つも選択されていないと判別したブロックに対して、閾値を再度設定する。このとき、新たに設定する閾値は、Ｓ３０１で設定した値より小さく設定すべきである。ダイジェスト再生のシーンが一つも選択されていないと判別したブロックの評価値に応じて閾値を設定してもよい。また、あらかじめ設定されている固定値であっても構わない。

Ｓ３０７では、ダイジェスト再生のシーンが一つも選択されていないと判別したブロックの各シーンの閾値と再設定した閾値とを比較する。そして、評価値が閾値以上のシーンをダイジェスト再生するシーンとして選択する。その後、Ｓ３０５へ遷移し、改めてすべてのブロックから抽出されているか否かを判別する。

ここで図４（ｃ）は、Ｓ３０６で再設定した閾値と、再設定した閾値に基づいて新たにダイジェスト再生するシーンが選択された様子を示している。この場合、１日目から７日目までのすべてのブロックにおいて少なくとも１つ以上のシーンがダイジェスト再生のシーンとして選択されているため、Ｓ３０５の判別によって処理を終了する。なお、Ｓ３０７の処理の結果、なおＳ３０５でダイジェスト再生のシーンが一つも選択されていないブロックが存在する場合は、再度Ｓ３０６にて改めて閾値を設定する。

このように、ダイジェスト再生するシーンが選択されると、シーン選択部１０６は、選択されたシーンを示す情報を制御部１０９に送る。制御部１０９は、記録再生部１０４に対して、選択されたシーンを先頭から順次再生するように制御する。

このように、ユーザの設定した単位区間において、少なくとも１つ以上のシーンを抽出することが可能となるため、ダイジェスト再生の映像から特定の期間のシーンが欠落してしまうことを防ぐことができる。

なお、本実施形態では、Ｓ３０３での単位区間を設定を１日とした場合を例としたが、前述のようにここでの単位区間の設定は時間に基づく必要はない。例えば、撮影された場所に基づいて単位区間を国と設定した場合のダイジェスト映像シーンの抽出結果は図５に示すようになる。この場合、Ｓ３０２の処理によってすべてのブロックからシーンが抽出されることになるため、Ｓ３０５の判別後、処理は終了する。

＜第２の実施形態＞
続いて、本発明の第２の実施形態を説明する。再生装置を含むビデオカメラの構成は図１と同様である。本実施形態では、ユーザが、ダイジェスト再生の対象となる単位区間を選択できる様にした。図６は、シーン選択部１０６による、ダイジェストとして再生するシーンの選択処理を示すフローチャートである。

Ｓ６０１では、入力部１０５によってユーザが指定した任意の単位区間を設定する。本実施形態においても、単位区間を設定するための指標は時間以外に、場所、被写体などであっても構わない。Ｓ６０２では、Ｓ６０１で設定された単位区間に基づいて、ダイジェスト再生の対象となる動画データを複数のブロックに分割する。

Ｓ６０３では、Ｓ６０２で分割されたブロックごとに、ダイジェストとして再生されるシーンを選択するための閾値を設定する。各シーンの評価値は０から１の値で正規化されているため、この閾値は同範囲内の値に設定する必要がある。その値はブロックごとのシーン評価値の結果に応じて決定された値であっても、あらかじめ設定されている固定値であっても構わない。

Ｓ６０４では、Ｓ６０３で設定した閾値と、各シーンの評価値とを比較して、ダイジェストとして再生するシーンを選択する。Ｓ６０５では、Ｓ６０３で分割したすべてのブロックから、ダイジェストとして再生するシーンが選択されているか否かを判別する。ここで、すべてのブロックからシーンが抽出されている場合は処理を終了し、そうでない場合はＳ６０３へ遷移してシーンが抽出されていないブロックの閾値を再度設定する。

これにより、ユーザの設定した単位区間において、少なくとも１つ以上のシーンを抽出することが可能となるため、ダイジェスト再生の映像から特定の期間のシーンが欠落してしまうことを防ぐことができる。

本実施形態では、ユーザが選択された単位区間毎に閾値が設定される。これにより、ブロックごとに最適な閾値を設定することが可能となるため、生成されたダイジェスト映像の偏りをより軽減させることができる。

１０１ 撮像光学系、１０２ カメラ信号処理部、１０３ 評価値生成部

Claims (6)

1. 複数のシーンを含む動画データを再生する再生手段と、
   ダイジェスト再生のシーンを選択するための閾値を設定し、前記複数のシーンの動画データの評価値と前記設定した閾値とを比較し、前記閾値以上の評価値に対応したシーンを、前記ダイジェスト再生のシーンとして選択する選択手段と、
   前記選択手段により選択されたシーンを再生するように前記再生手段を制御することにより、ダイジェスト再生を行う制御手段と、を備え、
   前記選択手段は、前記動画データを、それぞれが複数の前記シーンを含む複数の単位区間に分割し、前記複数の単位区間のそれぞれから、少なくとも一つのシーンが前記ダイジェスト再生のシーンとして選択されたか否かを判別し、前記ダイジェスト再生のシーンが選択されていない単位区間があった場合、より小さい値に前記閾値を再設定し、前記ダイジェスト再生のシーンが選択されていない単位区間の複数のシーンの評価値と前記再設定した閾値とを比較することにより、前記再設定した閾値以上の評価値に対応したシーンを前記ダイジェスト再生のシーンとして選択する処理を行うことを特徴とする再生装置。
2. 前記選択手段は、前記複数の単位区間に対して、同じ閾値を設定することを特徴とする請求項１に記載の再生装置。
3. 前記選択手段は、前記複数の単位区間に対して、異なる閾値を設定することを特徴とする請求項１に記載の再生装置。
4. 前記選択手段は、ユーザからの指示に応じて、前記単位区間を決めることを特徴とする請求項１に記載の再生装置。
5. 前記選択手段は、ユーザにより、ダイジェスト再生の対象となる前記単位区間を選択し、前記選択された単位区間から、前記ダイジェスト再生のシーンを選択することを特徴とする請求項１に記載の再生装置。
6. 前記再生手段は、記録媒体から、前記動画データと、前記動画データの複数のシーンの評価値を示す付加情報とを再生し、前記選択手段は、再生された前記付加情報により示される前記複数のシーンの評価値を前記閾値と比較することを特徴とする請求項１に記載の再生装置。