JP2011211738A

JP2011211738A - 映像再生装置

Info

Publication number: JP2011211738A
Application number: JP2011121175A
Authority: JP
Inventors: Ryosuke Otsuki; 良輔大槻; Tomoji Yamamoto; 友二山本; Tatsuo Koga; 達雄古賀; Satoru Matsumoto; 悟松本
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2011-05-31
Filing date: 2011-05-31
Publication date: 2011-10-20

Abstract

【課題】抽出された要約画像がコンテンツのどの部分に相当するかを容易に認識することができる映像再生装置を提供する。
【解決手段】映像再生装置は、映像信号と音声信号を含むコンテンツの特徴部を該コンテンツの音声信号に基づいて抽出する抽出部と、抽出部が抽出した特徴部のそれぞれに対し識別番号を付与する付与部と、抽出部が抽出した特徴部に係る映像信号と該映像信号に対応する識別番号とを合成して表示する表示部とを備え、前記付与部は、各特徴部の識別番号を時系列順に付与する。
【選択図】図１

Description

本発明は、音映像のコンテンツに対して、特徴抽出シーンを自動的に生成して再生する映像再生装置に関する。

従来、映像等の特徴あるシーンを抽出して再生する技術が提案されている。

特許文献１には、ニュース、音楽、相撲等、番組のカテゴリに応じて適切な要約画像を生成する技術が開示されている。
特開２００３-２９８９８１号公報

しかしながら、抽出された要約画像がコンテンツのどの部分（序盤、中盤、終盤）に相当するか分かりにくい場合がある。

そこで、本発明は、かかる問題を解決することを目的とする。

本発明の映像再生装置は、映像信号と音声信号を含むコンテンツの特徴部を該コンテンツの音声信号に基づいて抽出する抽出部と、抽出部が抽出した特徴部のそれぞれに対し識別番号を付与する付与部と、抽出部が抽出した特徴部に係る映像信号と該映像信号に対応する識別番号とを合成して表示する表示部とを備え、前記付与部は、各特徴部の識別番号を時系列順に付与することを特徴とする。

本発明の映像再生装置によれば、抽出された要約画像がコンテンツのどの部分に相当するかを容易に認識することができる。

以下、本発明の実施の形態につき図面を参照して説明する。

図1は、本実施形態に係る映像記録再生装置の構成を示す図である。図示のように、映像記録再生装置は、主に、受信部11、データ分離部12、音声デコーダ13、ピーク検出部14、記憶媒体インタフェース15、記憶媒体16、再生制御部17、AVデコーダ18、モニタ19、スピーカ20、シーンチェンジ出力制御部21、システムコントローラ（図示しない）を含む。

尚、図1では、記録媒体16としてHDD(Hard Disk Drive)が例示してあり、また、それに対する書込み・読出しの記憶媒体インタフェース15としてHDDインタフェースを例示している。受信部11は、音映像放送信号を受信して検波し、MPEG2-TS形式のような符号化音映像信号に復調する。

データ分離部12は、受信部11から出力されたMPEG2-TS形式のような符号化音映像信号から、符号化音声信号と符号化映像信号を分離する。

音声デコーダ13は、データ分離部12において分離された符号化音声信号を音声信号に変換する。

ピーク検出部14は、音声デコーダ13の変換した音声信号に対して、その出力が所定区間において最大となるピーク位置、およびその値であるピーク値を検出する。また、ピーク検出部14は、その結果をダイジェスト再生ポイント情報として記憶媒体16に記録する。ダイジェスト再生ポイントとは、ダイジェスト再生を行う際に、用いるシーンを指す。

記憶媒体インタフェース15は、記憶媒体16に対して符号化音映像信号を記録し、また記憶媒体16から符号化音映像信号を読み出すインタフェースである。

また、記憶媒体インタフェース15は、ピーク検出部14の制御に基づいて、ピーク検出部14において作成されたダイジェスト再生ポイント情報を記憶媒体16に記録する。また、再生制御部17の制御に基づいて、記憶媒体16からダイジェスト再生ポイント情報を読み出す。

記憶媒体16は、符号化音映像信号を記録する記録媒体である。

再生制御部17は、HDDに記録されているダイジェスト再生ポイント情報を参照して、検出されたダイジェスト再生ポイントの総数を取得する。さらに、全ダイジェスト再生ポイントにおける各ダイジェスト再生ポイントの再生順を示す情報を生成し、これとダイジェスト再生ポイントの総数と各ダイジェスト再生ポイント情報とからなるプレイリストを生成する。

再生制御部17は、プレイリストに基づき、記録媒体16から該当記録部分を読出してAVデコーダ19にて再生させるとともに、プレイリストをシーンチェンジ出力制御部21に出力する。

AVデコーダ18は、記録媒体16に記録されているMPEG2-TS形式のような符号化音映像信号を読み出して映像信号と音声信号とに変換する。

モニタ19は、映像信号を再生出力する。このモニタ19は、主映像信号を表示する主画面と、OSD(On Screen Display)として使用される副画面を備える。

スピーカ20は、音声信号を再生出力する。

シーンチェンジ出力制御部21は、再生制御部17から入力されたプレイリストを参照して、ダイジェスト再生ポイントを識別するための情報、例えば、全ダイジェスト再生ポイントにおける順序等をOSDとしてモニタ19に表示させるよう制御する。また、同情報を音声合成等によってスピーカ20から出力するよう制御する。

なお、図示しないシステムコントローラは、映像記録再生装置の構成要素を統括的に制御する。

次に、上記構成の映像記録再生装置による記録動作について説明する。

映像記録再生装置において、受信部11が音映像放送信号を受信して検波し、MPEG2-TSに復調する。

復調された符号化音映像信号はデータ分離部12に入力され、データ分離部12において、符号化音声信号が取り出される。そしてこれを音声デコーダ13にて音声信号に変換し、ピーク検出部14にてその音声信号に対して後述する処理方法にてピーク位置、ピーク値を検出し、インタフェース15を介して記録媒体16にダイジェスト再生ポイント情報として順次記録していく。

また、受信部11にて復調し、圧縮された音映像の圧縮信号もインタフェース15を介して記録媒体16に記録していく。

前述のピーク検出部14によるピークの位置、その出力パワーピーク値の記録処理は、以下の通りである。

図2に、音声振幅波形（同図(a)）とその一部の量子化グラフ（同図(b)）を示す。この図2において、音声出力パワー値を最初から順に比較していき、あるパワー値Piがそれ以降の一定期間T、例えば20秒間の間、他のパワー値よりも大きい時、このパワー値Piを特徴点とし、その記録位置とパワー値Piを記録する。

以降も同様にして、あるパワー値Piを越えるパワー値がそれに続く一定期間Tの間、出現しない場合に、そのパワー値Piを特徴点として、その記録位置とパワー値Piを記録していく。

図3は、このピーク検出部14によるパワーピーク値記録処理を概略的に示すフローチャートである。

記録に先立って特徴点パワー値Pj＝0に初期設定し（Ｓ１）、順次にサンプリングタイミングごとのパワー値Piを取り込み（Ｓ３）、特徴点パワー値Pjと大小比較する（Ｓ５）。

そして、新たに取り込んだパワー値Piの方が特徴点パワー値Pjよりも大きければ特徴点パワー値Pjを新たにパワー値Piにて置換える（Ｓ７，Ｓ９）。

そして、この新たな特徴点パワー値に置換えると、その時点で経過時間を０にリセットする。そして、新たな特徴点パワー値Pjに対して、Ｓ３からの処理を再開する（Ｓ１１）。

他方、ある特徴点パワー値Pjに対して、その出現時点よりも後により大きなパワー値Piが一定経過時間Tの間出現しなければ（Ｓ１３）、この特徴点パワー値Pjの記録位置とパワー値をダイジェスト再生ポイントのピーク位置及びピーク値として記録する（Ｓ１５）。こうして、ダイジェスト再生ポイントが発見されると、特徴点パワー値Pjを初期状態にリセットし（Ｓ１７，Ｓ１）、Ｓ３以降の処理を再開する。

以上のダイジェスト再生ポイント記録処理は、ユーザによる停止操作まで、あるいは1つのコンテンツの終了まで継続する。これにより、記録媒体16にはコンテンツ毎に、一連のダイジェスト再生ポイントのピーク位置、ーク値が記録されることになる。

図4は、このように生成され、記録媒体16に記録されたダイジェスト再生ポイント群のピーク位置及びピーク値を示している。

次に、本実施の形態の映像記録再生装置によるダイジェスト再生処理について、図5のフローチャートを参照しながら説明する。

再生制御部17は、記録媒体16に記録されている図4の表に示すダイジェスト再生ポイント群を読出し、ダイジェスト再生ポイントのピーク値の高い方から順に並べ替え、所定数だけ抽出する（Ｓ２１，Ｓ２３）。ここで、抽出するダイジェスト再生ポイントの数は任意であり、抽出したダイジェスト再生ポイント全てであってもよく、また、単位時間内に再生するダイジェスト再生ポイントの数とすることもできる。Ｓ２１およびＳ２３における処理の結果の一例を図6(a)に示す。

そして、図6(b)の表に示すようなプレイリストを作成する。このプレイリストには、Ｓ２３にて抽出されたダイジェスト再生ポイントがその記録時期の早い順にリストアップされている。

再生制御部17は、ダイジェスト再生ポイントに対応するダイジェストシーンとして、該当ピーク位置から一定期間T前の位置、該当ピーク位置から一定期間T後ろの位置を、それぞれ再生開始位置と再生終了位置として設定する（Ｓ２５）。尚、ダイジェストシーンの切取り再生時間Tは、ここではピークサーチ時間Tと同じ長さに設定している。しかしながら、そのダイジェストシーンの再生時間は限定されるものではない。

さらに、これらの情報は、再生制御部17によって、ダイジェストシーンの総数とダイジェストシーンの再生順を示す情報ととともにプレイリストに記録される。

図6(b)の表は、上記一定期間（再生期間）Tを10秒とし、ダイジェスト再生ポイント群の中から抽出するダイジェスト再生ポイントの数を24とした例を示している。このプレイリスト1行目のデータは、開始時間10秒、終了時刻30秒、総ダイジェスト再生ポイント中1番目、総ダイジェスト再生ポイント数24を示している。

続いて再生制御部17は、図7に示すフローチャートの手順にて、プレイリストを用いた再生処理を行う。

再生制御部17は、図6(b)に示すようなプレイリストをシーンチェンジ出力制御部21に出力するとともに、このプレイリストに基づき、記録媒体16に記録されているコンテンツに対して記録時期の早い順に該当位置から一定期間Tの間の記録映像を順次読出し（Ｓ３１、Ｓ３３）、AVデコーダ18に出力する。AVデコーダ18は、入力された記録映像信号をデコードし、デコードされた映像信号をモニタ19の主画面に表示させ、また、デコードした音声信号をスピーカ20から出力させる（Ｓ３５）。

一方、シーンチェンジ出力制御部21は、入力されたプレイリストを参照して、ダイジェストシーンの総数とダイジェストシーンの再生順を示す情報を取得し、これらの情報を用いて、再生中のダイジェストシーンが、ダイジェストシーン全体においてどの位置にあるかを示す再生経過情報を生成し、これをOSDとしてモニタ19の副画面に表示させるよう出力制御する（Ｓ３７）。

AVデコーダ18によってデコードされた再生音声信号はスピーカ20から出力され、デコードされた映像信号は、OSDとして表示される再生経過情報とともにモニタ19から出力される（Ｓ３９）。

以上のダイジェスト再生動作は、ユーザによる停止操作まで、あるいは１つのコンテンツの終了まで継続する。

図8〜10は、本実施の形態におけるシーンチェンジ時に表示される再生経過情報の表示例である。

図8は、シーン番号とシーン総数を、“シーン番号／シーン総数”の形式で表示している。

図9は、全ダイジェストシーンを意味する全円をシーン総数で分割し、再生中のダイジェストシーンに対応する分割円をハイライト表示している。このとき、時計まわり順に分割円を再生順のダイジェストシーンに対応させ、再生経過にしたがって表示させるようにさせてもよい。

図10は、シーン番号とシーン総数を表す、“シーン番号／総シーン数”の形式での表示のほかに、ダイジェストシーン総時間における再生経過時間を、“再生経過時間／ダイジェストシーン総時間”の形式での表示、および、録画総時間における再生経過時間を、“再生経過時間／録画総時間”の形式で表示している。

上記によれば、記録媒体14に記録されたコンテンツのダイジェストシーンが予め設定されたダイジェスト再生時間内に再生できる数だけ特徴性の高いものを最初から順に再生でき、長いコンテンツであってもそのハイライトを自動再生できるとともに、ダイジェスト再生におけるシーンの切り替わりを、再生中のシーン番号を表示するなどして再生経過を表示することができる。

これにより、ユーザは、ダイジェストシーンの再生経過を容易に知ることでき、また、所望のシーンの検索も容易に行うことができ、ユーザの利便性を向上させることが可能となる。

特に、ダイジェストシーンのシーン総数やシーン番号を用いて、再生経過を円グラフ状に表示したり、再生経過時間を表示することによって、ユーザはよりダイジェストシーンの再生を利用し易くなる。

なお、上記の実施の形態において、ダイジェスト再生の経過を再生中のシーン番号を表示するなどしてモニタに表示するようにしたが、例えば、シーン番号を音声にて出力するようにしてもよい。

また、上記の実施の形態では、ダイジェスト再生ポイント情報としてピークに関する情報を記憶媒体に記録するようにしてダイジェスト再生ポイントの決定を行ったが、記憶媒体へ記録することなく、再生時にリアルタイム処理にて行うようにしてもよい。

以上、本発明に係る実施の形態について説明したが、本発明ないし各構成要件の用語の意義等は、本実施の形態に記載されたものに制限されるものではない。

実施形態に係る映像記録再生装置の構成を示す図実施形態に係るピーク点候補の検出処理を説明する図実施形態に係るピーク点候補の検出処理を示すフローチャート実施形態に係るピーク点候補のリストの一例を示す図実施形態に係るダイジェスト再生処理を示すフローチャート実施形態に係るプレイリストの一例を示す図実施形態に係るダイジェスト再生処理を示すフローチャート実施形態に係るダイジェスト再生時の経過表示の一例を示す図実施形態に係るダイジェスト再生時の経過表示の一例を示す図実施形態に係るダイジェスト再生時の経過表示の一例を示す図

11 受信部
12 データ分離部
13 音声デコーダ
14 CM検出部
15 記憶媒体インタフェース
16 記憶媒体
17 再生制御部
18 AVデコーダ
19 モニタ
20 スピーカ

Claims

映像信号と音声信号を含むコンテンツの特徴部を該コンテンツの音声信号に基づいて抽出する抽出部と、
抽出部が抽出した特徴部のそれぞれに対し識別番号を付与する付与部と
抽出部が抽出した特徴部に係る映像信号と、該映像信号に対応する識別番号とを合成して表示する表示部とを備え、
前記付与部は、各特徴部の識別番号を時系列順に付与することを特徴とする、映像再生装置。