JP2011101393A - 動画記録再生装置 - Google Patents

Abstract

【課題】動画データのハイライト再生において、動画データのカテゴリに応じて、最適なハイライト再生を実施可能とする。
【解決手段】動画データを構成するフレームごとに映像あるいは音声の特徴を保持し（1202）、フレームごとの特徴データに基づき、動画データのカテゴリに対応するアルゴリズムにより動画データのハイライト再生の候補となる候補シーンの抽出とランキング付けとを行い、候補シーンとランキング付けからハイライト再生するシーンを決定する（1203）。
【選択図】 図１２

Description

本発明は、動画データを記録及び再生する動画記録再生装置に関する。

近年、デジタルテレビ放送による動画データの多チャンネル放送化やネットワークの広帯域化により、多くの動画データを取得あるいは視聴可能となった。また、動画圧縮伸張技術の向上や、それを実現するハードウェア/ソフトウェアの低価格化、及び蓄積メディアの大容量化ならびにその低価格化により、多くの動画データの保存を手軽に行えるようになり、録画及び視聴可能な動画データが増加しつつある。しかしながら、多忙な人にとっては、それら全ての動画データを視聴する時間は無く、結果として視聴可能な動画データが氾濫するといった状況になってきている。そこで、動画データにおける重要なシーンだけを視聴することにより、短時間で内容を理解する仕組みや、本当に視聴したい動画データを探し出せるようにすることが重要となる。

このような状況に鑑み、例えば特許文献１及び非特許文献１では、動画データにおける重要なシーンを表示可能な技術が紹介されている。特に、非特許文献１では、動画データからその特徴を生成し、その特徴に基づいて、重要なシーンの抽出及びランキング付けを行い、利用者から指定された割合で重要なシーンのみを再生する技術が紹介されている。これらの技術により、利用者が動画データの内容を短時間で把握することが可能なる。

特開２００３−１５３１３９号公報

D.DeMenthon, V.Kobla, and D.Doermann, 天ideo Summarization by Curve Simplification ACM Multimedia 98, Bristol, England, pp.211-218, 1998

以上のように、重要シーンのみの表示（以下の説明及び図面では、ハイライト再生と呼ぶ）により、動画データの内容を短時間で把握するための技術が提案されているが、動画データにおける重要なシーンの定義は、すべての動画データに対して一意ではなく、動画データのカテゴリによって変わる。例えば、動画データがドラマの場合には、長いシーンの重要度が上がり、スポーツの場合には音声のパワーが大きいシーンの重要度が上げるべきである。また、スポーツであっても、音声のパワーが大きくなった位置を含み再生すべきシーンの長さを変えることが望ましい。すなわち、動画データのカテゴリによって、重要シーンの抽出方法及びランキング方法を変える必要があり、このようにしないとすべての動画データに対して、適したハイライト再生を行うことが出来ない。

本発明は、これらの課題を解決するものであり、動画データのカテゴリに応じて、最適なハイライト再生を実施することが可能な動画記録再生装置を提供する。

上述の課題を解決すべく、本発明の動画記録再生装置は、少なくとも、動画データを入力する動画データ入力手段と、動画データを記憶する記憶手段と、動画データを前記記憶手段に記憶させる録画手段と、動画データの特徴を生成する特徴生成手段と、生成した特徴に基づいて動画データにおけるシーンごとに重要度に応じたランキングづけを行うランキング生成手段と、生成したランキングに基づいて再生シーンを決定する再生シーン決定手段と、決定した再生シーンを再生する再生手段と、再生画像を表示する表示手段と、動画データのカテゴリを取得するカテゴリ取得手段を有し、前記ランキング生成手段が、該取得したカテゴリに基づいて、入力した動画データにおけるシーンのランキング付けを行うように構成する。そして、カテゴリ取得手段によるカテゴリ取得方法を以下のいずれかとする。

動画記録再生装置は、さらに放送データ入力手段を有し、前記カテゴリ取得手段は、放送データ入力手段によって放送データを受信し、該放送されているデータから電子番組ガイドを取得して、該電子番組ガイドのデータから動画データのカテゴリを取得する。特に、前記録画手段によって動画データの録画開始時に、該動画データのカテゴリを含む電子番組ガイドのデータが取得されていなかった場合に、前記録画開始をトリガとして、前記放送データ入力手段によって放送データを受信し、前記電子番組ガイドのデータを該放送データから取得する。

動画記録再生装置は、さらにネットワークデータ送受信手段を有し、前記カテゴリ取得手段は、ネットワークデータ送受信手段によって、ネットワークを利用して、あらかじめ決められたサーバから前記電子番組ガイドを取得して、該電子番組ガイドのデータから、動画データのカテゴリを取得する。特に、前記録画手段によって動画データの録画開始時に、該動画データのカテゴリを含む電子番組ガイドのデータが取得されていなかった場合に、前記録画開始をトリガとして、前記ネットワークデータ送受信手段によって、ネットワークを利用して、あらかじめ決められたサーバから前記電子番組ガイドのデータを取得する。

動画記録再生装置は、さらに利用者がカテゴリを入力するための入力手段を有し、前記カテゴリ取得手段は、該入力手段によって利用者から入力されたカテゴリを取得する。動画記録再生装置は、さらに前記動画データに含まれる音声を認識する音声認識手段を有し、前記カテゴリ取得手段は、該音声認識手段によって、動画データに含まれる音声を認識し、あらかじめ決められたキーワードの出現数をカウントして、該カウント結果を元に前記動画データのカテゴリを決定する。

動画記録再生装置は、さらに前記動画データに含まれる字幕を取得する字幕データ取得手段を有し、前記カテゴリ取得手段は、該字幕データ取得手段によって、動画データに含まれる字幕の文字列を取得し、あらかじめ決められたキーワードの出現数をカウントして、該カウント結果を元に前記動画データのカテゴリを決定する。

すべてのカテゴリの動画データに対して適切にハイライト再生を行うことが出来るので、氾濫しつつある視聴可能な動画データの内容を短時間で適切かつ効率よく把握可能となる。

本発明の実施例に係る動画記録再生装置のハードウェア構成の一例である。 本発明の実施例１に係る動画記録再生装置の機能ブロック図である。 本発明の実施例に係る動画記録再生装置のカテゴリ取得部において取得する電子番組ガイドのデータ構造の一例である。 本発明の実施例に係る動画記録再生装置のカテゴリテーブル生成部で生成するカテゴリテーブルのデータ構造の一例である。 本発明の実施例に係る動画記録再生装置のランキング生成部において生成するランキングデータのデータ構造の一例である。 本発明の実施例１に係る動画記録再生装置の録画ブロック２０１における処理のフローチャートである。 本発明の実施例に係る動画記録再生装置の特徴生成ブロック２０２における処理のフローチャートである。 本発明の実施例に係る動画記録再生装置のランキング生成ブロック２０３における処理のフローチャートである。 本発明の実施例に係る動画記録再生装置の再生ブロック２０４における処理のフローチャートである。 本発明の実施例に係る再生シーンの決定方法及びデータ処理の推移を説明する図である。 本発明の実施例に係る再生シーンの再生方法を説明するフローチャートである。 本発明の実施例に係る本動画記録再生装置における録画から再生までの流れを説明するフローチャートの一例である。 本発明の実施例２に係る動画記録再生装置の機能ブロック図である。 本発明の実施例２に係る動画記録再生装置の録画ブロック２０１における処理のフローチャートである。 本発明の実施例３に係る動画記録再生装置の機能ブロック図である。 本発明の実施例３に係る動画記録再生装置の録画ブロック２０１における処理のフローチャートである。

以下、本発明にかかる実施例について、図面を参照して説明する。

図１は、本発明の実施例に係る動画記録再生装置のハードウェア構成の一例である。

図１に示す通り、本実施例１に係る動画記録再生装置は、中央処理装置１０１と、入力装置１０２と、表示装置１０３と、音声出力装置１０４と、記憶装置１０５と、二次記憶装置１０６を有して構成される。また、ネットワークを介して動画データや電子番組ガイドを取得する場合には、さらに、データ送受信装置１０８を有して構成される。また、放送データを受信して動画データや電子番組ガイドを取得する場合には、さらに、放送データ入力装置１００を有して構成される。そして、各装置は、バス１０７によって接続され、各装置間で、相互にデータの送受信が可能なように構成されている。

中央処理装置１０１は、マイクロプロセッサを主体に構成されており、記憶装置１０５や二次記憶装置１０６に格納されているプログラムを実行する。

入力装置１０２は、例えばリモコン、あるいはキーボードや、マウス等のポインティングデバイスによって実現され、本入力装置１０２を通して、本動画記録再生装置の利用者が動画の録画及び再生に関する動作設定を行う。また、本入力装置１０２を通して、利用者が動画データのカテゴリを指定できる。

表示装置１０３は、例えばディスプレイアダプタと液晶パネルやプロジェクタ等によって実現され、本動画再生装置による動画データの再生画像等を表示する。

音声出力装置１０４は、例えばスピーカによって実現され、動画データに含まれる音声を出力する。

記憶装置１０５は、例えばランダムアクセスメモリ(RAM)やリードオンリーメモリ(ROM)等によって実現され、中央処理装置１０１によって実行されるプログラムや本動画記録再生装置において処理されるデータや動画データ等を格納する。

二次記憶装置１０６は、例えばハードディスクやDVDあるいはCDとそれらのドライブ、あるいはフラッシュメモリ等の不揮発性メモリにより構成され、中央処理装置１０１によって実行されるプログラムや本動画記録再生装置において処理されるデータや動画データ等を格納する。

放送データ入力装置１００は、テレビのチューナ等によって実現され、テレビ等によって放送されている動画データを入力可能とする。また、放送データから電子番組ガイドを取得する場合には、当該電子番組ガイドのデータを取得可能とする。

ネットワークデータ送受信装置１０８は、LANカード等のネットワークカードによって実現され、ネットワークでつながれている他の装置からの動画データや電子番組ガイドのデータの入力を可能とする。

図２は、本発明の実施例１に係る動画記録再生装置の機能ブロック図である。これらの機能ブロックの一部あるいは全部は、図１で示したハードウェアに加えて、ハードウェアとして実現されてもよいが、中央処理装置１０１によって実行されるソフトウェアプログラムとして実現されてもよい。なお、以下では、一例として、これらの機能ブロックの全てが中央処理装置１０１によって実行されるソフトウェアプログラムであるものとして説明する。

図２に示す通り、本実施例１に係る動画記録再生装置は、録画ブロック２０１と、特徴生成ブロック２０２と、ランキング生成ブロック２０３と、再生ブロック２０４から構成される。

録画ブロック２０１は、外部から入力した動画データを録画するブロックであり、録画動画データ入力部２１１と、録画部２１２と、記録部２１３と、カテゴリ取得部２１４と、カテゴリテーブル生成部２１５と、カテゴリデータ保持部２１６を有して構成される。

録画動画データ入力部２１１は、録画部２１２により起動され、放送データ入力装置１００あるいはネットワークデータ送受信装置１０８から録画対象の動画データを入力する。なお、放送データ入力装置１００から動画データを入力する場合には、後述する録画部２１２の指示に従い、指定されたチャンネルから放送されている動画データを取得し、デジタルデータに変換して記憶装置１０５に格納する。一方、ネットワークデータ送受信装置１０８から動画データを入力する場合には、後述する録画部２１２の指示に従い、指定された装置からネットワーク経由で動画データを取得して記憶装置１０５に格納する。このとき、動画データを取得する方法としては、既に知られるHTTPあるいはFTP等を使用すればよい。

録画部２１２は、利用者から入力装置１０２を介して録画の開始が指示された場合に起動し、録画動画データ入力部２１１を介して放送データ入力装置１００あるいはネットワークデータ送受信装置１０８から動画データを入力して、後述する記録部２１３により二次記憶装置１０６に記憶する。このとき、放送データ入力装置１００から動画データを入力する場合には、あらかじめ設定されているチャンネルあるいは利用者から指定されたチャンネルを、録画動画データ入力部２１１を介して放送データ入力装置１００に設定し、当該チャンネルの動画データを入力して、記録部２１３により二次記憶装置１０６に記憶する。このとき、入力した動画データをMPEG等の方式により圧縮して二次記憶装置１０６に記憶してもよい。一方、ネットワークデータ送受信装置１０８から動画データを入力する場合には、あらかじめ設定されているURIあるいは利用者から指定されたURIを、録画動画データ入力部２１１を介してネットワークデータ送受信装置１０８に設定し、当該URIの動画データを入力して、記録部２１３により二次記憶装置１０６に記憶する。また、入力動画データのカテゴリ（ドラマ、野球、サッカー等の種別）を後述するカテゴリ取得部２１４により取得し、カテゴリテーブル生成部２１５によって、二次記憶装置１０６に記録した録画動画データと対応付けるカテゴリテーブルを生成し、生成したカテゴリテーブルをカテゴリデータ保持部２１６で保持する。

記録部２１３は、録画部２１２からの指示により、録画動画データ入力部２１１からの入力動画データを二次記憶装置１０６に記憶する。このとき、録画動画データには固有のファイル名を付ける。

カテゴリ取得部２１４は、録画部２１２からの指示により、録画動画データ入力部２１１からの入力動画データのカテゴリを取得する。これは、例えば、既に当該動画データに関する情報を含む電子番組ガイドのデータが取得済みの場合には、この電子番組ガイドのデータから当該動画データのカテゴリを取得し、当該電子番組ガイドのデータが取得済みではないばあいには、新たに当該動画データに関する情報を含む電子番組ガイドのデータを取得した上で、この電子番組ガイドのデータから当該動画データのカテゴリを取得する。なお、電子番組ガイドのデータは、放送データ入力装置１００あるいはネットワークデータ送受信装置１０８により、放送データに含まれる電子番組ガイドのデータあるいはネットワーク経由で他のサーバによって提供されている電子番組ガイドのデータを取得して、記憶装置１０５あるいは二次記憶装置１０６に記憶されるように構成すればよい。なお、電子番組ガイドのデータの構成については後述する。具体的には、動画データを放送データ入力装置１００から入力する場合には、録画を開始した時刻とチャンネルの情報から、当該時刻とチャンネルに対応する電子番組ガイドのデータが記憶装置１０５あるいは二次記憶装置１０６に記憶されているか否かを判断し、既に記憶されている場合には、当該電子番組ガイドのデータから録画を開始した時刻とチャンネルの情報をキーにして対応するカテゴリを取得すればよい。

一方で、まだ記憶されていない場合には、放送データ入力装置１００を介して、あらかじめ決められたチャンネルで放送されている電子番組ガイドのデータを取得するか、ネットワークデータ送受信装置１０８を介して所定のURIから電子番組ガイドのデータを取得した上で、当該電子番組ガイドのデータから録画を開始した時刻とチャンネルの情報をキーにして対応するカテゴリを取得すればよい。これらは、すなわち、入力動画データに関する情報を含む電子番組ガイドのデータが未取得である場合には、録画開始をトリガとして電子番組ガイドのデータを取得することを意味する。あるいは、本カテゴリ取得部２１４は、利用者から指定されたカテゴリを入力動画データのカテゴリとしてもよい。また、動画データを、ネットワークデータ送受信装置１０８を介してネットワークで取得する場合にも、これが放送されているデータの場合には、上述の通り電子番組ガイドのデータや利用者から指定されたカテゴリを入力動画データのカテゴリとしてもよいし、当該動画データのカテゴリが所定のURIあるいは動画データのURIに含まれる場合には、これらのデータを取得してカテゴリとしてもよい。

カテゴリテーブル生成部２１５は、録画部２１２によって起動され、記録部２１３により二次記憶装置１０６に記憶した動画データ、すなわち録画した動画データとそのカテゴリ、すなわちカテゴリ取得部２１４で取得した入力動画データのカテゴリを関連付けて、後で例示するカテゴリテーブルを生成し、カテゴリデータ保存部２１６を介して記憶装置１０５あるいは二次記憶装置１０６に記憶する。なお、本カテゴリテーブル生成部２１５及びカテゴリテーブルは、録画終了後いつでもその録画動画データのカテゴリを参照可能とするためのものであり、録画と同時に、あるいは録画終了後に継続して、録画中のあるいは録画した動画データの特徴データ及びランキングを生成する等、録画動画データとそのカテゴリが対応付けられる場合には、カテゴリ取得部２１４で取得したカテゴリを直接後述するカテゴリデータ保持部２１６で保持するように構成してもよく、この場合には、必ずしも本カテゴリテーブル生成部２１５及びカテゴリテーブルは必要ない。また、カテゴリテーブル生成部２１５は、録画動画データのファイル名とカテゴリデータを格納したファイ名を同一にするなどの方法で録画動画データとそのカテゴリを関連付けてもよい。この場合には、必ずしもカテゴリテーブルは必要ない。

カテゴリデータ保持部２１６は、録画部２１２からの指示により、カテゴリテーブル生成部２１５で生成したカテゴリテーブルを記憶装置１０５あるいは二次記憶装置１０６に記憶する。なお、上述の通り、録画と同時に、あるいは録画終了後に継続して、録画中のあるいは録画した動画データの特徴データ及びランキングを生成する等、録画動画データとそのカテゴリが対応付けられる場合には、本カテゴリデータ保持部２１６は、カテゴリ取得部２１４で取得したカテゴリをそのまま記憶装置１０５あるいは二次記憶装置１０６に記憶するように構成してもよい。また、カテゴリテーブル生成部２１５において、録画動画データのファイル名とカテゴリデータを格納したファイ名を同一にするなどの方法で録画動画データとそのカテゴリを関連付ける場合には、本カテゴリデータ保持部２１６は、録画動画データのファイル名と同じファイル名でその動画データのカテゴリデータ、すなわち、カテゴリ取得部２１４で取得したカテゴリのデータを記憶装置１０５あるいは二次記憶装置１０６に記憶するように構成してもよい。

続いて、特徴データ生成ブロック２０２について説明する。特徴データ生成ブロック２０２は、入力動画データあるいは再生対象の動画データの特徴を生成するブロックであり、解析動画データ入力部２２１と、特徴生成部２２２と、特徴データ保持部２２３を有して構成される。

解析動画データ入力部２２１は、ハイライト再生対象の動画データを記憶装置１０５あるいは二次記憶装置１０６から入力する。このとき、動画データのファイル名を取得する。なお、本解析動画データ入力部２２１は、録画開始後、録画終了後、あるいは利用者によって特徴データ及びランキングデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、特徴データ及びランキングデータが作成されていない動画データを発見した場合に起動される。また、本解析動画データ入力部２２１は、録画が開始された場合に起動されてもよく、この場合には録画部２１２で入力あるいは録画中の動画データを入力するように構成してもよい。この場合には、録画中の動画データのファイル名を取得する。

特徴生成部２２２は、解析動画データ入力部２２１において入力した動画データの特徴を生成する。これは、例えば、動画データにおける音声データ及び画像データのそれぞれのフレームについて、音声のパワー及び画像の動き等を生成することによって実現できる。なお、本特徴生成部２２２は、解析動画データ入力部２２１が実行された場合に、動画データが入力されるたびに実行される。

特徴データ保持部２２３は、特徴生成部２２２において生成した特徴データを保持する。これは、例えば特徴生成部２２２において生成した特徴データを記憶装置１０５あるいは二次記憶装置１０６に格納することによって実現できる。このとき、保持する特徴データには、解析動画データ入力部２２１で取得した録画動画データのファイル名と同じファイル名を付ける。なお、本特徴データ保持部２２３は、特徴生成部２２２が実行された場合に、特徴データが生成されるたびに、あるいは１フレーム分の特徴データが生成されるごとに実行されるように構成すればよい。

続いて、ランキング生成ブロック２０３について説明する。ランキング生成ブロック２０３は、入力動画データあるいは再生対象の動画データにおけるシーンごとに重要度に応じたランキングづけを行うブロックであり、特徴データ入力部２３１と、カテゴリデータ入力部２３２と、ランキング生成部２３３と、ランキングデータ保持部２３４と、動画データのカテゴリごとのランキング生成部２３５乃至２３７を有して構成される。

特徴データ入力部２３１は、特徴データ保持部２２３において保持された特徴データを入力する。これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されている特徴データを読み出すことによって実現できる。このとき、特徴データのファイル名を取得する。なお、本特徴データ入力部２３１は、後述するランキング生成部２３３が実行された場合に実行されればよい。

カテゴリデータ入力部２３２は、ランキング生成対象の録画動画データのカテゴリデータを取得する。本例の場合、前述の通り録画動画データのファイル名とその特徴データのファイル名は同一にしているため、録画動画データに対するカテゴリデータの取得は、後述の通り、カテゴリデータ保持部２１６において記憶装置１０５あるいは二次記憶装置１０６に保持されたカテゴリテーブルから、特徴データ入力部２３１で取得した特徴データのファイル名をキーにして、対応するカテゴリデータを取得することによって実現できる。なお、本カテゴリデータ入力部２３２は、後述するランキング生成部２３３が実行された場合に実行されればよい。

２３５乃至２３７は、動画データのカテゴリに応じたランキングデータの生成部であり、特に、一例として、２３５、２３６、及び２３７は、動画データのカテゴリが、それぞれ、相撲、サッカー、及びドラマの場合のランキングデータ生成部を示している。これらのカテゴリに応じたランキング生成部は、後述するランキング生成部２３３によって、動画データのカテゴリに応じて起動され、特徴データ入力部２３１で入力した特徴データに基づいて、動画データにおける重要シーンの抽出及び各シーンのランキング付けを行う。なお、それぞれのカテゴリに応じたランキング生成は、例えば、動画データのカテゴリが相撲の場合には、取り組みの字幕が現れた時点からあらかじめ決められた数のシーンの重要度を上げるとともに、音声のパワーが強くなったシーンの重要度を上げ、サッカーの場合には、音声パワーの強くなったシーンの前後数シーンの重要度を上げる、あるいはドラマの場合には、非特許文献１で記載されている方法を用いる等、カテゴリに最適なアルゴリズムを用いるとよい。

ランキング生成部２３３は、カテゴリデータ入力部２３２で入力した、動画データのカテゴリに応じて、各カテゴリに対応したランキング生成部を起動して、動画データのカテゴリに最適な重要シーンの抽出及び各シーンのランキング付けを行う。なお、本ランキング生成部２３３は、録画開始後、録画終了後、特徴データ生成終了後、利用者によってランキングデータの作成が指示された場合、再生開始時、あるいは図示しないスケジューラによってランキングデータが作成されていない動画データを発見した場合に起動されるように構成すればよい。

ランキングデータ保持部２３４は、ランキング生成部２３３において生成したランキングデータを保持する。これは、例えばランキング生成部２３３において生成したランキングデータを記憶装置１０５あるいは二次記憶装置１０６に格納することによって実現できる。なお、本ランキングデータ保持部２３４は、ランキング生成部２３３が実行された場合に、ランキングデータが生成されるたびに実行されるように構成すればよい。

続いて、再生ブロック２０４について説明する。再生ブロック２０４は、再生対象の動画データのハイライト再生を行うブロックであり、ランキングデータ入力部２４１と、再生動画データ入力部２４２と、再生シーン決定パラメタ入力部２４３と、再生シーン決定部２４４と、再生部２４５と、表示部２４６と、音声出力部２４７を有して構成される。

ランキングデータ入力部２４１は、ランキングデータ保持部２３４において保持されたランキングデータを入力する。これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されているランキングデータを読み出すことによって実現できる。なお、本ランキングデータ入力部２４１は、後述する再生シーン決定部２４４が実行された場合に起動されるように構成すればよい。

再生シーン決定パラメタ入力部２４３は、利用者から入力装置１０２を介して、ハイライト再生における再生シーンを決定する際のパラメタを入力する。なお、本パラメタとしては、例えば動画データにおけるハイライト再生での視聴時間等がある。本再生シーン決定パラメタ入力部２０５は、後述する再生部２０６においてハイライト再生が実行された時点で実行される。

再生シーン決定部２４４は、再生シーン決定パラメタ入力部２４３で入力したパラメタ及び、ランキングデータ入力部２４１で入力したランキングデータを元にハイライト再生における再生シーンを決定する。なお、本再生シーンの決定方法については後述する。本再生シーン決定部２４４は、再生シーン決定パラメタ入力部２４３でハイライト再生における再生シーンを決定する際のパラメタが入力された後に実行される。

再生動画データ入力部２４２は、再生対象の動画データを二次記憶装置１０６から入力する。なお、本再生動画データ入力部２４２は、後述する再生部２４５によって再生対象の動画データを取得する際に起動される。

再生部２４５は、再生シーン決定部２４４で決定した再生シーンの動画データを再生動画データ入力部２４２により入力して、再生画像を生成して後述する表示部２４６に表示する。本再生部２４５は、利用者によって、ハイライト再生が指示された場合に実行される。

表示部２４６は、再生部２４５において生成された再生画像を表示装置１０３に表示する。本表示部２４６は、再生部２４５が生成した再生画像を１フレームごとに表示装置１０３に表示する。この場合、本表示部２４６は、再生部２４５によって１フレーム分の再生画像が生成されるごとに起動されるように構成すればよい。

音声出力部２４７は、再生部２４５において生成された再生音声を音声出力装置１０４に出力する。本音声出力部２４７は、再生部２４５が生成した再生音声を１フレームごとに音声出力装置１０４に出力することによって実現可能である。この場合、本音声出力部２４７は、再生部２４５によって１フレーム分の再生音声が生成されるごとに起動されるように構成すればよい。

次に、カテゴリ取得部２１４において取得する電子番組ガイドのデータについて説明する。

図３は、本発明の実施例に係る動画記録再生装置のカテゴリ取得部２１４において取得する電子番組ガイドのデータ構造の一例である。

図３において、３０６乃至３０９は、放送される番組すなわち動画データであり、それぞれの動画データに対して、少なくとも、その動画データが放送される日にち３００と、チャンネル３０１と、放送開始時刻３０２と、放送終了時刻あるいは放送時間３０３と、タイトルと３０４と、カテゴリ３０５を含んでいる。したがって、カテゴリ取得部２１４は、録画を開始した日にちと時刻とチャンネルの情報から、当該動画データに対応する電子番組ガイドのデータが存在するか否かを判断可能となる。また、当該電子番組ガイドのデータから録画を開始した日にちと時刻とチャンネルの情報をキーにして対応するカテゴリを取得することにより、録画対象としている動画データのカテゴリを取得可能となる。なお、本電子番組ガイドのデータにおけるデータ構造は一例であり、例えば、放送される日にちごとに別のファイルとなっていてもよいし、また、放送されるチャンネルごとに別のファイルとなっていてもよく、このような場合にも、日にちと時刻とチャンネルの情報をキーにして、動画データに対応する電子番組ガイドのデータの存在確認及びカテゴリの取得が可能である。

次に、カテゴリテーブル生成部２１５において生成するカテゴリテーブルのデータ構造について説明する。

図４は、本発明の実施例に係る動画記録再生装置のカテゴリテーブル生成部２１５で生成するカテゴリテーブルのデータ構造の一例である。

図４において、４０３乃至４０６は、録画した動画データであり、それぞれの動画データに対して、少なくとも、録画した動画データのファイル名４０１と、そのカテゴリ４０２を含んでいる。したがって、カテゴリデータ入力部２３２において、録画動画データのファイル名をキーにして、対応するカテゴリデータを取得することによって、録画されている動画データのカテゴリを取得可能となる。なお、本実施例に係る動画記録再生装置では、特徴データ保持部２２３において、特徴データ生成部２２２で生成した特徴データのファイル名とその録画動画データのファイル名を同一にしている。そして、特徴データ入力部２３１では、特徴データとそのファイル名を取得し、ランキング生成部２３３がこれらを取得する。このため、ランキング生成部２３３がカテゴリデータ入力部２３２に特徴データのファイル名を通知することで、カテゴリデータ入力部２３２は、特徴データのファイル名を元にして、録画されている動画データのカテゴリを取得可能となる。

次に、ランキング生成部２３３において生成するランキングデータのデータ構造について説明する。

図５は、本発明の実施例に係る動画記録再生装置のランキング生成部２３３において生成するランキングデータのデータ構造の一例である。

図５において、５０４乃至５０８は動画データにおけるシーンであり、５０１は各シーンにおける重要度すなわちランクである。なお、ここでは、便宜的に数値が小さいほどランクが高いものとしている。５０２及び５０３はそれぞれ各シーンの開始位置及び終了位置であり、ここでは便宜的に各シーンの開始時刻（秒）と終了時刻（秒）としている。ランキング生成部２２３は、動画データのカテゴリに応じたランキング生成部において、動画データにおけるシーンの抽出及びランキング付けを行い、各シーンの開始位置の時刻及び終了位置の時刻を取得して、本データ構造を生成すればよい。なお、各シーンの開始位置の時刻及び終了位置の時刻は、例えば動画データがMPEGストリームであれば、フレームに対応するタイムスタンプを取得することによって取得可能である。本ランキングデータにより、再生シーン決定部２４４は、各シーンのランクと再生時間を参照し、再生すべきシーンを決定可能となる。

次に、各機能ブロックの処理フローを説明する。

図６は、本発明の実施例１に係る動画記録再生装置の録画ブロック２０１における処理のフローチャートである。

本録画ブロック２０１は、利用者から入力装置１０２を介して録画の開始が指示された場合に、録画部２１２の指示により動作する。本録画ブロック２０１は、図６に示すとおり、まず、カテゴリ取得部２１４が入力動画データのカテゴリを取得する（ステップ６０１）。次に、カテゴリテーブル生成部２１５が、録画する入力動画データとそのカテゴリ、すなわちステップ６０１においてカテゴリ取得部２１４で取得したカテゴリを関連付けて、カテゴリテーブルを生成して（ステップ６０２）、カテゴリデータ保持部２１６でこのカテゴリテーブルを保持する。続いて、録画動画データ入力部２１１により録画対象の動画データを入力し（ステップ６０３）、記録部２１３により、入力した録画対象の動画データを二次記憶装置１０６に記録する（ステップ６０４）。このとき、録画動画データには固有のファイル名を付ける。なお、入力した動画データは、MPEG等の方式により圧縮されて二次記憶装置１０６に記憶されてもよい。

図７は、本発明の実施例に係る動画記録再生装置の特徴生成ブロック２０２における処理のフローチャートである。

本特徴生成ブロック２０２は、録画開始後、録画終了後、あるいは利用者によって特徴データ及びランキングデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、特徴データ及びランキングデータが作成されていない動画データを発見した場合に起動される。本特徴生成ブロック２０２は、図７に示すとおり、まず、解析動画データ入力部２２１において、録画済あるいは録画中の動画データを取得する（ステップ７０１）。このとき、動画データのファイル名を取得する。続いて、特徴生成部２２２において、ステップ７０１で入力した動画データの特徴を生成し（ステップ７０２）、生成した特徴データが特徴データ保持部２２３において保持される。

図８は、本発明の実施例に係る動画記録再生装置のランキング生成ブロック２０３における処理のフローチャートである。

本ランキング生成ブロック２０３は、ランキング生成部２３３の指示により、録画開始後、録画終了後、特徴データ生成終了後、利用者によってランキングデータの作成が指示された場合、再生開始時、あるいは図示しないスケジューラによってランキングデータが作成されていない動画データを発見した場合に起動される。本ランキング生成ブロック２０３は、図８に示すとおり、まず、特徴データ入力部２３１により特徴データを入力する（ステップ８０１）。このとき、特徴データのファイル名を取得する。続いて、カテゴリデータ入力部２３２により、ランキング生成対象の録画動画データのカテゴリデータを取得する（ステップ８０２）。なお、本例の場合、前述の通り録画動画データのファイル名とその特徴データのファイル名は同一にしているため、録画動画データに対するカテゴリデータの取得は、ステップ８０１で取得した特徴データのファイル名をキーにして、対応するカテゴリデータを取得ことによって、ランキング生成対象の録画動画データのカテゴリデータを取得可能である。続いて、カテゴリに応じたランキングの生成部を起動して、動画データにおける重要シーンの抽出及び各シーンのランキング付けを行い（ステップ８０３）、生成したランキングデータがランキングデータ保持部２３４において保持される。

図９は、本発明の実施例に係る動画記録再生装置の再生ブロック２０４における処理のフローチャートである。

本再生ブロック２０４は、再生部２４５の指示により、利用者によって、ハイライト再生が指示された場合に実行される。本再生ブロック２０４は、図９に示すとおり、まず、ランキングデータ入力部２４１により、ランキングデータを入力し（ステップ９０１）、再生シーン決定パラメタ入力部２４３により、ハイライト再生における再生シーンを決定する際のパラメタを入力する（ステップ９０２）。なお、本パラメタとしては、例えば動画データにおけるハイライト再生での視聴時間等がある。さて、再生ブロック２０４は、続いて、再生シーン決定部２４４により、再生シーン決定パラメタ入力部２４３で入力したパラメタ及び、ランキングデータ入力部２４１で入力したランキングデータを元にハイライト再生における再生シーンを決定する（ステップ９０３）。なお、本再生シーンの決定方法については後述する。続いて、再生ブロック２０４は、再生動画データ入力部２４２により、各再生シーンの動画データを取得して（ステップ９０４）、これらのシーンの再生画像を表示部２４６により表示装置１０３に表示するとともに、再生音声を音声出力部２４７により音声出力装置１０４から出力することにより、各再生シーンを再生する（ステップ９０５）。なお、各シーンの再生方法については後述する。

次に、再生シーン決定部２４４における再生シーンの決定方法について説明する。

再生シーンを決定するために、再生シーン決定部２４４は、まず、動画データにおいて、現在再生している位置を取得する。これは、現在動画データを再生中の場合には、現在再生している動画データにおけるフレームの時刻を取得することによって実現できる。あるいはこれから動画データを再生しようとしている場合には、動画データにおける最初のフレームの時刻を取得することによって実現できる。なお、動画データにおけるフレームの時刻は、例えば動画データがMPEGストリームであれば、該当フレームに対応するタイムスタンプを取得することによって実現できる。次に、再生シーン決定部２４４は、再生シーン決定パラメタ入力部２４３で取得したパラメタと、ランキング生成部２３３で生成したランキングデータと、先に取得した現在の再生位置から再生シーンを決定する。具体的には、例えば、再生シーン決定パラメタ入力部２４３で取得するパラメタが視聴時間である場合には、まず、図１０（ａ）に示すとおり、ランキング生成部２３３で生成したランキングデータに対して、終了位置が現在再生の位置よりも小さいシーンを削除する。なお、図１０（ａ）では、図５で例示したランキングデータに対して、現在の再生位置が５０秒であった場合の例を示している。次に、図１０（ｂ）に示すとおり、ランクの高いシーン順に各シーンの時間を積算し、再生シーン決定パラメタ入力部２４３で取得した視聴時間を越えない範囲で再生シーンを列挙する。すなわち、各再生シーンの時間の合計が再生シーン決定パラメタ入力部２４３で取得した視聴時間を越えないようにランクの高いシーン順に再生シーンを選択していく。

なお、図１０（ｂ）では、再生シーン決定パラメタ入力部２４３で取得した視聴時間が１５０秒であった場合の例を示しており、ランク１のシーン１００４（時間５秒）と、ランク２のシーン１００５（時間１０秒）と、ランク４のシーン１００７（時間１１０秒）の合計３シーン（積算時間１２５秒）が再生シーンとして選択されたことを示している。このとき、オプションとしてランク５のシーン１００８に関しても残りの２５秒分にシーンをカットして再生シーンとして選択してもよい。この場合、シーンの初めから２５秒分を選択してもよいし、シーンの中心を含み２５秒分を選択してもよい。さらに、現在の再生位置がシーンの途中であった場合には、そのシーンの時間を現在の再生位置から終了位置までに補正するとよい。これは、例えば図１０の例において、現在の再生位置が１０５秒であった場合には、ランク２のシーン１００５の開始位置が１０５秒であり、終了位置が１１０秒として計算すればよい。さて、再生シーン決定部２４４は、最後に、図１０（ｃ）に示すとおり、決定した再生シーンを再生時刻順に並べ替えて、並べ替えられた各再生シーンを最終的な再生シーンとして決定する。

次に、再生シーンの再生方法について説明する。

図１１は、本発明の実施例に係る再生シーンの再生方法を説明するフローチャートである。

図１１に示すとおり、再生シーンを再生する場合には、まず、動画データにおける現在の再生位置を取得し（ステップ１１０１）、この現在の再生位置を元に、次の再生シーンの開始位置及び終了位置を取得する（ステップ１１０２）。これは、再生シーン決定部２４４で決定した再生シーンのうち、現在の再生位置よりも後で、かつ現在の再生位置に最も近い再生シーンの開始位置及び終了位置を取得することによって実現できる。次に、ステップ１１０２で取得した次の再生シーンの開始位置へジャンプし（ステップ１１０３）、当該再生シーンの再生を行う（ステップ１１０４）。これは、再生シーンにおける再生画像を表示部２４６を介して表示装置１０３への表示すること、及び再生シーンにおける再生音声を音声出力部部２４７を介して音声出力装置１０４への出力することにより実施される。なお、同再生シーンの再生中、定期的に再生が終了したか否かを判断し（ステップ１１０５）、再生が終了した場合には動画データの再生を終了する。ここで、再生シーン決定部２４４で決定した再生シーンをすべて再生し終わった場合あるいは利用者から再生の終了が指示された場合に再生の終了と判断し、それ以外は再生シーンの再生を継続する。さらに、同再生シーンの再生中、定期的に現在の再生位置を取得し（ステップ１１０６）、当該再生シーンの終了位置に到達したか否かを判断する（ステップ１１０７）。これは、ステップ１１０２で取得した再生シーンの終了位置とステップ１１０６で取得した現在の再生位置とを比較することで判断できる。さて、本ステップ１１０７における判断の結果、当該再生シーンの終了位置に到達していないと判断した場合には、ステップ１１０４乃至ステップ１１０７を繰り返し、当該再生シーンの再生を継続する。一方、ステップ１１０７における判断の結果、当該再生シーンの終了位置に到達したと判断した場合には、ステップ１１０１乃至ステップ１１０７を繰り返すことにより、再生シーン決定部２４４で決定した再生シーンを順次再生し、再生シーン決定部２４４で決定したすべての再生シーンを再生し終わると、ステップ１１０５でそれを認識し、再生を終了する。これにより、各再生シーンにジャンプしつつ再生シーン決定部２４４で決定した再生シーンのみを順次再生可能となる。

最後に、本動画記録再生装置における録画から再生までの全体の流れについて説明する。

図１２は、本発明の実施例に係る本動画記録再生装置における録画から再生までの流れを説明するフローチャートの一例である。

図１２に示すとおり、本動画記録再生装置は、利用者から録画が指示されると、録画ブロック２０１により入力動画データの録画及びそのカテゴリを取得し（ステップ１２０１）、特徴生成ブロック２０２により当該入力動画データの特徴データを生成する（ステップ１２０２）。そして、ランキング生成部ブロック２０３において、録画ブロック２０１で取得した入力動画データすなわち録画動画データのカテゴリ取得し、そのカテゴリに応じて、当該動画データにおけるシーンのランキングを行う（ステップ１２０３）。なお、上記ステップ１２０１乃至ステップ１２０３は、それぞれが終了してから順次行われるようにしてもよいし、例えば動画データにおける１フレームごとに順次行われるようにしてもよい。そして、利用者からハイライト再生が指定されると、再生ブロック２０４において、ステップ１２０３で作成したランキングデータを元に再生シーンを決定して、この再生シーンのみを再生することにより、ハイライト再生を実現する（ステップ１２０４）。

以上説明した本実施例１に係る動画記録再生装置では、電子番組ガイドのデータを取得してカテゴリを判別するとともに、カテゴリに応じて再生シーンを決定できるので、動画データのカテゴリに応じて、最適なハイライト再生を実施することが可能となる。または、利用者から指定されたカテゴリに基づいて、最適なハイライト再生を実施することが可能となる。

図１３は、本発明の実施例２に係る動画記録再生装置の機能ブロック図である。

図１３に示すとおり、本実施例２に係る動画記録再生装置では、実施例１の動画記録再生装置におけるカテゴリ取得部２１４の代わりにカテゴリ決定部２１８を有した構成とする。

カテゴリ決定部２１８は、図示しない音声認識エンジンを備え、入力動画データにおける音声を認識し、あらかじめ登録されているキーワードのうち、出現したキーワードを列挙するとともに、それらをカウントして、キーワードの出現した回数に応じてカテゴリを決定する。例えば、キーワードとして、ストライク、シュート等を登録しておき、ストライクというキーワードをより多く認識及びカウントした場合にはカテゴリを野球と判断し、同様にシュートというキーワードをより多く認識及びカウントした場合にはカテゴリをサッカーと判断する。そして、登録されているキーワードが現れなかった場合には、その他のカテゴリとすることが出来る。また、カテゴリ決定部２１８は、図示しない字幕取得部を備えるようにしてもよい。この場合、字幕取得部は動画データとともに送られてくる字幕情報を取得し、カテゴリ決定部２１８は、上記音声認識エンジンを使用した場合と同様に、あらかじめ登録されているキーワードのうち、出現したキーワードを列挙するとともに、それらをカウントして、キーワードの出現した回数に応じてカテゴリを決定する。さらに、カテゴリ決定部２１８は、図示しない字幕画像認識エンジンを備えるようにしてもよい。この場合、字幕画像認識エンジンは動画データにおける画像上にオーバーレイされている字幕画像を取得するとともに文字認識し、カテゴリ決定部２１８は、上記音声認識エンジンを使用した場合と同様に、あらかじめ登録されているキーワードのうち、出現したキーワードを列挙するとともに、それらをカウントして、キーワードの出現した回数に応じてカテゴリを決定する。なお、上記音声認識エンジン、字幕取得部、及び字幕画像認識エンジンは、公知の技術を適用可能である。

図１４は、本発明の実施例２に係る動画記録再生装置の録画ブロック２０１における処理のフローチャートである。

図１４に示すとおり、本実施例２に係る動画記録再生装置の録画ブロック２０１における処理の流れは、実施例１に係る動画記録再生装置の録画ブロック２０１における処理の流れと異なり、動画データを取得しつつ、当該動画データを元にカテゴリ決定部２１８において、キーワードをカウントする（ステップ６０３）。そして、すべての動画データを取得し、キーワードのカウントが終了した時点で、キーワードの出現した回数に応じてカテゴリを決定し（ステップ６０１’）、動画データを記録（ステップ６０４）するとともに、決定したカテゴリを元にカテゴリテーブルを生成する（ステップ６０２）。

これにより、本実施例２に係る動画記録再生装置では、電子番組ガイドのデータを取得せずに、カテゴリを決定でき、動画データのカテゴリに応じて、最適なハイライト再生を実施することが可能となる。

図１５は、本発明の実施例３に係る動画記録再生装置の機能ブロック図である。

図１５に示すとおり、本実施例３に係る動画記録再生装置では、実施例１の動画記録再生装置に、カテゴリ判断部２１７と、実施例２で説明したカテゴリ決定部２１８を加えた構成とする。

カテゴリ判断部２１７は、カテゴリ取得部２１４において、入力動画データのカテゴリを取得できなかった場合に、カテゴリ決定部２１８によりカテゴリを決定し、逆に、カテゴリ取得部２１４において、入力動画データのカテゴリを取得できた場合には、カテゴリ決定部２１８によるカテゴリの決定を行わないように、録画部２１２における動作を制御する。このときの動画記録再生装置の録画ブロック２０１における処理の流れは、図１６に示す通りとなる。

図１６は、本発明の実施例３に係る動画記録再生装置の録画ブロック２０１における処理のフローチャートである。

図１６に示すとおり、本実施例３に係る動画記録再生装置の録画ブロック２０１では、カテゴリ取得部２１４において入力動画データのカテゴリを取得（ステップ６０１）した後、カテゴリ判断部２１７において当該入力動画データのカテゴリを取得できたか否かを判断することにより、カテゴリを生成すべきか否かを判断する（ステップ１６０１）。本ステップ１６０１において、カテゴリ判断部２１７において当該入力動画データのカテゴリを取得できた場合には、カテゴリを生成する必要は無いと判断し、動画データの取得（ステップ６０３）及び記録（ステップ６０４）を行って、カテゴリテーブルを作成（ステップ６０２）する。一方、上記ステップ１６０１において、カテゴリ判断部２１７において当該入力動画データのカテゴリを取得できなかった場合には、カテゴリを生成する必要があると判断し、動画データを取得しつつ、当該動画データを元にカテゴリ決定部２１８において、キーワードをカウントする（ステップ６０３）。そして、すべての動画データを取得し、キーワードのカウントが終了した時点で、キーワードの出現した回数に応じてカテゴリを決定し（ステップ６０１’）、動画データを記録（ステップ６０４）するとともに、決定したカテゴリを元にカテゴリテーブルを生成する（ステップ６０２）。

これにより、本実施例３に係る動画記録再生装置では、電子番組ガイドのデータから録画対象の動画データのカテゴリを取得できなかった場合でも、カテゴリを決定でき、動画データのカテゴリに応じて、最適なハイライト再生を実施することが可能となる。

本発明は、例えば動画データを録画再生可能なハードディスクレコーダやビデオテープレコーダ、あるいはパーソナルコンピュータ等に適用可能である。

１００・・・放送データ入力装置、１０１・・・中央処理装置、１０２・・・入力装置、１０３・・・表示装置、１０４・・・音声出力装置、１０５・・・記憶装置、１０６・・・二次記憶装置、１０７・・・バス、１０８・・・データ送受信装置、２０１・・・録画ブロック、２０２・・・特徴生成ブロック、２０３・・・ランキング生成ブロック、２０４・・・再生ブロック、２１１・・・録画動画データ入力部、２１２・・・録画部、２１３・・・記録部、２１４・・・カテゴリ取得部、２１５・・・カテゴリテーブル生成部、２１６・・・カテゴリデータ保持部、２２１・・・解析動画データ入力部、２２２・・・特徴生成部、２２３・・・特徴データ保持部、２３１・・・特徴データ入力部、２３２・・・カテゴリデータ入力部、２３３・・・ランキング生成部、２３４・・・ランキングデータ保持部、２３５・・・野球用ランキング生成部、２３６・・・サッカー用ランキング生成部、２３７・・・ドラマ用ランキング生成部、２４１・・・ランキングデータ入力部、２４２・・・再生動画データ入力部、２４３・・・再生シーン決定パラメタ入力部、２４４・・・再生シーン決定部、２４５・・・再生部、２４６・・・表示部、２４７・・・音声出力部

Claims (1)

1. 動画データを記憶する記憶手段と、
   前記記憶手段に記憶された動画データを構成するフレームごとに映像あるいは音声の特徴を保持する特徴データ保持部と、
   前記記憶手段に記憶される動画データのカテゴリを取得するカテゴリ取得手段と、
   前記カテゴリ取得手段により取得したカテゴリに対応するアルゴリズムにより、前記特徴データ保持部に保持された動画データの特徴データに基づいて、動画データのハイライト再生の候補となる候補シーンを抽出し、抽出した候補シーンに対して前記候補シーンの重要度を示すランキング付けを行うランキング生成部と、
   前記ランキング生成部で生成した動画データの候補シーン及び前記候補シーンのランキングを保持するランキング保持部と、
   外部から再生条件の指定を含む動画データのハイライト再生指示を受け、前記再生条件の指定と前記ランキング保持部に保持されている動画データの候補シーン及び前記ランキングとからハイライト再生するシーンを決定する再生シーン決定手段とを有し、
   前記再生手段は、前記再生シーン決定手段で決定されたシーンを、ハイライト再生することを特徴とする動画記録再生装置。

Images