JP2008047004A

JP2008047004A - 番組提供方法、番組提供方法のプログラム、番組提供方法のプログラムを記録した記録媒体及び番組提供装置

Info

Publication number: JP2008047004A
Application number: JP2006223752A
Authority: JP
Inventors: Taka Murakoshi; 象村越
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-08-21
Filing date: 2006-08-21
Publication date: 2008-02-28
Anticipated expiration: 2026-08-21
Also published as: CN101131850A; CN101131850B; US20080066104A1; JP4835321B2

Abstract

【課題】本発明は、番組提供方法、番組提供方法のプログラム、番組提供方法のプログラムを記録した記録媒体及び番組提供装置に関し、例えば大容量の記録媒体に記録した番組からユーザーの所望する番組を再生する記録再生装置に適用して、番組の概要を精度良く的確に把握することができるようにする。
【解決手段】本発明は、映像を解析して番組の内容を代表するダイジェスト区間を検出し、字幕全体で検出される出現頻度の高いキーワードを多く含むダイジェスト区間の字幕の部分を見出しに設定する。
【選択図】図１

Description

本発明は、番組提供方法、番組提供方法のプログラム、番組提供方法のプログラムを記録した記録媒体及び番組提供装置に関し、例えば大容量の記録媒体に記録した番組からユーザーの所望する番組を再生する記録再生装置に適用することができる。本発明は、映像を解析して番組の内容を代表するダイジェスト区間を検出し、字幕全体で検出される出現頻度の高いキーワードを多く含むダイジェスト区間の字幕の部分を見出しに設定することにより、番組の概要を精度良く的確に把握することができるようにする。

従来、ハードディスクレコーダ等の記録再生装置は、テレビジョン放送によって提供される番組を記録し、この番組を後日、改めて視聴する場合に利用されている。このような記録再生装置は、近年、記録容量の増大により多数の番組を記録可能となっている。そこで近年、このような記録再生装置に関して、番組の内容紹介用のサムネイル画像を作成することにより、番組選択におけるユーザーの利便を図る方法が提供されている。

これに対して特開平１１−１８４８６７号公報には、クローズドキャプションで提供される番組中のセリフを利用して頭出し再生する方法が提案されている。

ところでこの種の記録再生装置において、記録して保持した番組の詳細を視聴することなく番組の概要が分かれば、例えば記録して保持した多数のニュースから気になるニュースを選択的に視聴することができ、この種の記録再生装置の使い勝手を一段と向上することができると考えられる。

しかしながら従来のサムネイル画像による番組の紹介では、番組の概要を精度良くかつ的確に把握できない問題がある。
特開平１１−１８４８６７号公報

本発明は以上の点を考慮してなされたもので、番組の概要を精度良く的確に把握することができる番組提供方法、番組提供方法のプログラム、番組提供方法のプログラムを記録した記録媒体及び番組提供装置を提案しようとするものである。

上記の課題を解決するため請求項１の発明は、ビデオデータ及びオーディオデータによる番組を記録媒体に記録してユーザーに提供する番組提供方法に適用して、前記ビデオデータの映像を解析して、前記ビデオデータによる番組の内容を代表するダイジェスト区間を検出するダイジェスト区間検出ステップと、前記番組の字幕から、出現頻度の高い重要キーワードを検出するキーワード検出ステップと、前記ダイジェスト区間の字幕から、前記キーワード検出ステップで検出した前記重要キーワードの出現頻度の高い部分を検出して前記番組の見出しを作成する見出し作成ステップと、前記見出しを表示する見出し表示ステップとを有するようにする。

また請求項７の発明は、ビデオデータ及びオーディオデータによる番組を記録媒体に記録してユーザーに提供する番組提供方法のプログラムに適用して、前記ビデオデータの映像を解析して、前記ビデオデータによる番組の内容を代表するダイジェスト区間を検出するダイジェスト区間検出ステップと、前記番組の字幕から、出現頻度の高い重要キーワードを検出するキーワード検出ステップと、前記ダイジェスト区間の字幕から、前記キーワード検出ステップで検出した前記重要キーワードの出現頻度の高い部分を検出して前記番組の見出しを作成する見出し作成ステップと、前記見出しを表示する見出し表示ステップとを有するようにする。

また請求項８の発明は、ビデオデータ及びオーディオデータによる番組を記録媒体に記録してユーザーに提供する番組提供方法のプログラムを記録した記録媒体に適用して、前記番組提供方法は、前記ビデオデータの映像を解析して、前記ビデオデータによる番組の内容を代表するダイジェスト区間を検出するダイジェスト区間検出ステップと、前記番組の字幕から、出現頻度の高い重要キーワードを検出するキーワード検出ステップと、前記ダイジェスト区間の字幕から、前記キーワード検出ステップで検出した前記重要キーワードの出現頻度の高い部分を検出して前記番組の見出しを作成する見出し作成ステップと、前記見出しを表示する見出し表示ステップとを有するようにする。

また請求項９の発明は、ビデオデータ及びオーディオデータによる番組を記録媒体に記録してユーザーに提供する番組提供装置に適用して、前記ビデオデータの映像を解析して、前記ビデオデータによる番組の内容を代表するダイジェスト区間を検出するダイジェスト区間検出部と、前記番組の字幕から、出現頻度の高い重要キーワードを検出するキーワード検出部と、前記ダイジェスト区間の字幕から、前記キーワード検出部で検出した前記重要キーワードの出現頻度の高い部分を検出して前記番組の見出しを作成する見出し作成部と、前記見出しを表示する見出し表示部とを有するようにする。

請求項１、請求項７、請求項８又は請求項９の構成によれば、ダイジェスト区間には、番組の内容を代表する字幕が割り当てられていることが予測される。従って字幕から出現頻度の高い重要キーワードを検出し、ダイジェスト区間の字幕からこの重要キーワードの出現頻度の高い部分を検出すれば、番組の概要を精度良く紹介し、かつ的確に把握可能に見出しを作成することができ、この見出しの表示により番組の概要を精度良く把握することができる。

本発明によれば、番組の概要を精度良く的確に把握することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例１の構成
図２は、本発明の実施例１に係るハードディスクレコーダの構成を示すブロック図であり、図３は、その要部の機能ブロック図である。このハードディスクレコーダ１は、テレビジョン放送によって提供される番組、インターネットによって提供される番組を記録してユーザーに提供する。

すなわちこのハードディスクレコーダ１において、モデム２は、ＳＩＯ（Serial I/O）コントローラ３の制御によりインターネット４上に設けられたＷｅｂサーバー５から映像コンテンツのトランスポートストリームを取得してＳＩＯコントローラ３に出力する。ＳＩＯコントローラ３は、中央処理ユニット（ＣＰＵ：Central Processing Unit ）６の制御によりモデム２の動作を制御し、モデム２から出力されるトランスポートストリームをバスＢＵＳに出力する。これらモデム２、ＳＩＯコントローラ３の構成によりこのハードディスクレコーダ１は、インターネットによって提供される番組を受信する。

放送受信部１０は、中央処理ユニット６の制御によりテレビジョン放送による映像コンテンツを受信してビデオデータ及びオーディオデータを出力する。

すなわちこの放送受信部１０において、チューナー１１は、アンテナ１２で受信される各種放送波からユーザーの所望する放送波を選局して受信し、その受信結果による中間周波信号を出力する。復調器１３は、チューナー１１から出力される中間周波信号を処理してトランスポートストリームを出力する。ＴＳデコーダ１４は、復調器１３から出力されるトランスポートストリーム、又はバスＢＵＳを介してＳＩＯコントローラ３から入力されるトランスポートストリームを、ＲＡＭ（Random Access Memory）１５に一時格納して処理し、ビデオデータ、オーディオデータ、文字放送データを再生する。ＴＳデコーダ１４は、この再生したビデオデータ及びオーディオデータをモニタ用に又は後述するダイジェスト作成用にデコード部１６に出力する。またＴＳデコーダ１４は、再生したビデオデータ、オーディオデータ、文字放送データを映像コンテンツの記録用にバスＢＵＳに出力する。

これによりハードディスクレコーダ１では（図３）、放送受信部２、ＳＩＯコントローラ３により、テレビジョン放送による映像コンテンツ、インターネットによる映像コンテンツを受信する映像、音声受信部４０を構成する。また放送受信部２、ＳＩＯコントローラ３により、テレビジョン放送による映像コンテンツ、インターネットによる映像コンテンツの文字放送データによる字幕を受信する字幕受信部４２を形成する。

デコード部１６は、中央処理ユニット６の制御によりバスＢＵＳから出力されるビデオデータ及びオーディオデータ、又は放送受信部１０から出力されるビデオデータ及びオーディオデータをデータ伸長する。またデータ身長したビデオデータ及びオーディオデータをモニタ用に出力部１７に出力し、また後述するダイジェスト作成用にバスＢＵＳに出力する。

出力部１７は、中央処理ユニット６の制御により、このデコード部１６から出力されるモニタ用のビデオデータ及びオーディオデータに、ユーザーに提供する各種の情報に係るビデオデータ及びオーディオデータをミキシングして出力する。

すなわち出力部１７において、ミクサ（ＭＵＸ）２１は、デコード部１６から出力されるオーディオデータに、バスＢＵＳから出力されるオーディオデータをミキシングして出力し、これにより再生結果、モニタ用の映像コンテンツによる音声に、各種警告音等を重畳して出力する。表示コントローラ２２は、バスＢＵＳから出力される画像データによりメニュー等に係るＯＳＤ（On Screen Display ）用のビデオデータを生成して出力する。画像処理部２３は、デコード部１６から出力されるビデオデータに、表示コントローラ２２から出力されるビデオデータをミキシングして出力し、これにより再生結果、モニタ用の映像コンテンツによる映像に、各種アイコン等を重畳する。

このハードディスクレコーダ１は、この出力部１７から出力されるビデオデータ及びオーディオデータをモニタ装置２５に出力し、このモニタ装置２５に設けられたスピーカ２６、表示装置２７よりこれらオーディオデータ及びビデオデータの音声及び映像をユーザーに提供する。

ハードディスクインターフェース（ハードディスクＩ／Ｆ）３１は、中央処理ユニット６の制御により、バスＢＵＳに出力されるビデオデータ、オーディオデータ、文字放送データ等をハードディスク装置（ＨＤＤ）３２に出力し、これによりこれらのデータをハードディスク装置３２に記録する。また同様の中央処理ユニット６の制御により、ハードディスク装置３２に記録したデータを再生してバスＢＵＳに出力する。

カードインターフェース（カードＩ／Ｆ）３３は、カードスロット３４に装着されるメモリカード３５と、バスＢＵＳとの間のインターフェースであり、バスＢＵＳに出力される各種のデータを中央処理ユニット６の制御によりメモリカード３５に記録し、またメモリカード３５に記録した各種のデータをバスＢＵＳに出力する。

Ｕ／Ｉ制御部３６は、リモートコマンダからの遠隔制御信号を受信して中央処理ユニット６に通知する。

中央処理ユニット６は、このハードディスクレコーダ１の動作を制御するコントローラであり、ＲＡＭ３７にワークエリアを確保してＲＯＭ（Read Only Memory）３８に記録されたプログラムを実行することにより、各部の動作を制御する。なおこの実施例において、この中央処理ユニット６のプログラムは、このハードディスクレコーダ１に事前にインストールされて提供されるものの、これに代えて、光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。

中央処理ユニット６は、このプログラムの実行により、ユーザーが映像コンテンツの録画を指示すると、ユーザーが指示したテレビジョン放送を放送受信部１０で受信してＴＳデコーダ１４から出力されるビデオデータ、オーディオデータ、文字放送データをハードディスク装置３２で記録する。またユーザーの指示にしたＷｅｂサーバー５をアクセスして映像コンテンツを取得し、この取得した映像コンテンツのビデオデータ、オーディオデータ、文字放送データをＴＳデコーダ１４で再生した後、ハードディスク装置３２に記録する。

またユーザーが映像コンテンツのモニタを指示すると、ＴＳデコーダ１４で再生したビデオデータ及びオーディオデータをデコード部１６で処理した後、出力部１７からモニタ装置２５に出力する。これに対してユーザーがハードディスク装置３２に記録した映像コンテンツの再生を指示すると、ハードディスク装置３２から対応するビデオデータ及びオーディオデータを再生してデコード部１６でデコードした後、出力部１７からモニタ装置２５に出力する。

中央処理ユニット６は、映像コンテンツの記録時、ハードディスク装置３２に記録するビデオデータをデコード部１６でデコードして取得し、この取得したビデオデータを解析する。また記録を完了した後の、空き時間を利用してこの解析結果を処理してダイジェスト区間を設定し、文字放送データの解析により、このダイジェスト区間に見出しを設定する。またユーザーの指示により映像コンテンツの再生時、この見出しを表示して頭出しの処理を実行する。なおここでダイジェスト区間は、番組の内容を代表する映像の区間である。

図４は、この記録時における中央処理ユニット６の処理手順を示すフローチャートである。中央処理ユニット６は、録画を開始すると、この処理手順を開始してステップＳＰ１からステップＳＰ２に移る。ここで中央処理ユニット６は、録画の終了が指示されたか否か判断し、否定結果が得られると、ステップＳＰ２からステップＳＰ３に移る。

このステップＳＰ３において、中央処理ユニット６は、デコード部１６から出力されるビデオデータを解析し、続くステップＳＰ４において、この解析結果を処理して画面の連続性を評価する評価値を計算する。ここで中央処理ユニット６は、例えば画面を複数領域に区切り、各領域で動きベクトルを求めてこの評価値とする。ここでこのようにして検出される複数の動きベクトルは、シーンチェンジがあると変化するのに対し、同一の被写体を同一のカメラワークで撮影している場合には、ほぼ同一の値を示すことになる。従ってこの評価値は、連続するフレームにおける映像の連続性を示すことになる。

これにより中央処理ユニット６は、また続くステップＳＰ５において、この計算した評価値をそれまでの直前フレームで求めた評価値と判定することにより、それまでの映像との間で連続性の有無を判定し、連続性が有る場合には、ステップＳＰ２に戻る。これに対して連続性を有していない場合には、ステップＳＰ６に移り、ステップＳＰ３で計算した評価値を記録してステップＳＰ２に戻る。

中央処理ユニット６は、このステップＳＰ２−ＳＰ３−ＳＰ４−ＳＰ５−ＳＰ６−ＳＰ２の処理手順を、デコード部１６でデコードされるビデオデータの所定フレーム毎に繰り返す。またこの所定フレーム毎の繰り返しにおいて、連続性が途絶えると、評価値を特徴量として記録し、録画を終了すると、ステップＳＰ２からステップＳＰ７に移ってこの処理手順を終了する。これにより中央処理ユニット６は、特徴量を抽出する特徴量抽出部４１を構成する（図３）。

図１は、このようにして検出した特徴量の処理手順を示すフローチャートである。中央処理ユニット６は、記録を終了した後の空き時間でこの処理手順を実行する。なお中央処理ユニット６の処理能力が十分な場合、この図１の処理手順は、記録中に実行するようにしてもよい。

すなわちこの処理手順において、中央処理ユニット６は、ステップＳＰ１１からステップＳＰ１２に移り、ダイジェスト区間判別処理を実行する。ここでダイジェスト区間判別処理は、図５に示すように、映像コンテンツをダイジェスト区間Ａ、Ｂと、それ以外の区間とに区別する処理である。

ここでダイジェスト区間は、映像コンテンツを代表する当該映像コンテンツの一部であり、例えば図５に示すように、映像コンテンツがニュース番組の場合、各ニュースの冒頭でアナウンサーがニュースの概要を紹介するシーンＳＡ、ＳＢが該当する。なお以下において、ダイジェスト区間Ａから続くダイジェスト区間Ｂの先頭までをそれぞれトピックスと呼ぶ。ニュース番組では、このトピックスの区間からダイジェスト区間を除いた区間が、具体的なニュース映像ＴＡ、ＴＢを放送している区間となる。

図６は、このダイジェスト区間判別処理を詳細に示すフローチャートである。中央処理ユニット６は、この処理手順を開始すると、ステップＳＰ１３からステップＳＰ１４に移る。ここで中央処理ユニット６は、記録して保持した特徴量の分布から最も分布の大きな特徴量を検出する。またこの検出した特徴量を基準にしてしきい値を設定し、このしきい値を用いて記録した保持して特徴量を判定する。これにより中央処理ユニット６は、記録した映像コンテンツから特徴量が類似する区間を検出する。

なおここでこのハードディスクレコーダ１は、事前の設定により、ダイジェスト区間の設定時間を「みじかめ」、「ややみじかめ」、「ふつう」、「ややながめ」、「ながめ」との５段階で設定できるように構成されており、中央処理ユニット６は、事前のユーザーの設定に応じて、しきい値を設定してこのステップＳＰ１６の処理手順を実行する。

続いて中央処理ユニット６は、ステップＳＰ１５に移る。ここで中央処理ユニット６は、ステップＳＰ１４で検出した区間の総合の再生時間を計算する。また続くステップＳＰ１６において、この再生時間が一定値以内か否か判断する。

ここで否定結果が得られると、中央処理ユニット６は、ステップＳＰ１６からステップＳＰ１７に移り、ステップＳＰ１４で区間の判定に使用したしきい値を、最も分布の多い特徴量の側に変更する。またステップＳＰ１４に戻ってこの変更したしきい値を用いて記録して保持した特徴量を判定する。これにより中央処理ユニット６は、記録した映像コンテンツから特徴量が類似する区間を改めて検出する。

これに対してステップＳＰ１６で肯定結果が得られると、中央処理ユニット６は、直前のステップＳＰ１５で検出した区間をダイジェスト区間に設定した後、ステップＳＰ１６からステップＳＰ１８に移ってこの処理手順を終了する。

なお中央処理ユニット６は、この図６の処理手順の実行によりダイジェスト区間を設定するダイジェスト生成部４３を形成する（図３）。なおハードディスク装置３２は、特徴量を記録する特徴情報蓄積部４４を構成し、また文字放送データによる字幕情報を蓄積する字幕蓄積部４５を構成する。なおダイジェスト区間の検出方法にあっては、この図６に示す特徴量の処理による場合に限らず、種々の手法を広く適用することができる。

続いて中央処理ユニット６は、ステップＳＰ２１に移り（図１）、字幕分別処理を実行する。ここで字幕分別処理は、文字放送データで提供される字幕を、ダイジェスト区間のものとそれ以外の区間のものとに分別する処理である。この実施例では、図７に示す処理手順の実行により、ダイジェスト区間の字幕と、ダイジェスト区間以外の字幕とで得点を異ならせてダイジェスト区間とそれ以外の区間とに分別する。

すなわち中央処理ユニット６は、この処理手順を開始すると、ステップＳＰ２２からステップＳＰ２３に移り、文字放送データで提供される字幕から１つの文章を選択し、この選択した文章がダイジェスト区間に含まれるか否か判断する。ここで否定結果が得られると、中央処理ユニット６は、ステップＳＰ２４に移り、この文章の字幕に低得点を設定してステップＳＰ２５に移る。これに対してステップＳＰ２３で肯定結果が得られると、中央処理ユニット６は、ステップＳＰ２３からステップＳＰ２６に移り、この文章の字幕に高得点を設定した後、ステップＳＰ２５に移る。

なおここでこの実施例において、中央処理ユニット６は、全体に占めるダイジェスト区間の割合が増大するに従って、ダイジェスト区間以外の字幕の得点に対して、ダイジェスト区間の字幕の得点が増大するように得点を設定する。これによりダイジェスト区間の長さとダイジェスト区間以外の長さとが種々に変化する場合でも、後述する重要キーワード抽出処理において、重要なキーワードを漏れなく、適切に検出できるようにする。

より具体的に、中央処理ユニット６は、ダイジェスト区間以外の字幕の得点を１点に設定し、１つのトピックス毎に、１つのトピックスを構成するダイジェスト区間以外の字幕の文字数を、対応するダイジェスト区間の字幕の文字数で割り算した値を、ダイジェスト区間の得点に設定する。

中央処理ユニット６は、続くステップＳＰ２５において、字幕の全ての文章についてこの処理手順を実行したか否か判断し、ここで否定結果が得られると、ステップＳＰ２５からステップＳＰ２３に戻って続く文章を処理する。これに対してステップＳＰ２５で肯定結果が得られると、ステップＳＰ２５からステップＳＰ２７に移ってこの処理手順を終了する。

この図７の処理により、中央処理ユニット６は、文字放送データで提供される字幕を、ダイジェスト区間のものとそれ以外の区間のものとに分別する字幕分類部４７を構成する（図３）。

続いて中央処理ユニット６は、ステップＳＰ３１に移り（図１）、重要キーワード抽出処理を実行する。ここで重要キーワード抽出処理は、トピックス毎に、トピックスの内容を示す重要キーワードを抽出する処理である。中央処理ユニット６は、出現頻度の高いキーワード程、またダイジェスト区間のキーワード程、得点が高くなるように、字幕を構成する各キーワードに得点を設定し、得点の高いキーワードを抽出する。

ここで図８は、この重要キーワード抽出処理を示すフローチャートである。中央処理ユニット６は、この処理手順を開始すると、ステップＳＰ３２からステップＳＰ３３に移る。ここで中央処理ユニット６は、文字放送データで提供される字幕から１つのトピックスを選択し、この選択したトピックスの字幕を取得する。また続くステップＳＰ３４において、この取得した字幕からキーワードを切り出す。なおこのキーワードの切り出しには、形態素解析等の手法を適用することができる。

続いて中央処理ユニット６は、ステップＳＰ３５に移り、ステップＳＰ２１で字幕に設定した得点を、キーワード毎に加算し、各キーワードの得点を計算する。

ここで図９に示すように、２４秒間のダイジェスト区間と、続く１分２４秒の区間（以下、ポストダイジェスト区間と呼ぶ）とで１つのトピックスの字幕が形成されているとする。また形態素解析によって、それぞれ枠により囲って示すキーワードが検出されたものとする。ここでこの図９の例では、ダイジェスト区間の文字数が１２５文字であり、ポストダイジェスト区間の文字数が４０６文字であることから、ステップＳＰ２１の処理により、ダイジェスト区間の字幕には３．２点の得点が設定されていることになる。

この場合、図１０に示すように、中央処理ユニット６は、それぞれダイジェスト区間、ポストダイジェスト区間で各キーワードが検出される回数の分だけ、各キーワードに得点を設定する。従ってこの図９及び図１０の例において、「午後」のキーワードは、ダイジェスト区間で１回、ポストダイジェスト区間で１回検出されることから、４．２点の得点（３．２点＋１点）に設定される。また「ニュース」のキーワードは、ダイジェスト区間で１回だけ検出されることから、３．２点の得点に設定される。

続いて中央処理ユニット６は、ステップＳＰ３６に移り、得点の高い順にキーワードをソートし、続くステップＳＰ３７で得点の高い順に所定個数だけキーワードを選択して重要キーワードを設定する。従ってこの図１０の例では、下線を付して示す「瓶」、「男性」、「ホームレス」、「事件」、「少年」のキーワードを重要キーワードとして検出する。

続いて中央処理ユニット６は、ステップＳＰ３８に移り、全てのトピックスを処理したか否か判断し、ここで否定結果が得られると、ステップＳＰ３３に戻り、続くトピックスを処理する。これに対してステップＳＰ３８で肯定結果が得られると、ステップＳＰ３９に移って元の処理手順に戻る。

これにより中央処理ユニット６は、トピックス毎に、各トピックスの内容を表す重要キーワードを検出する重要キーワード検出部４８（図３）を構成する。

続いて中央処理ユニット６は、ステップＳＰ４１に移り（図１）、見出し生成処理を実行する。ここで見出し生成処理は、各トピックスの見出しを生成する処理であり、中央処理ユニット６は、ステップＳＰ３１で検出した重要キーワードを用いて、各トピックスのダイジェスト区間の字幕から見出しを生成する。

ここで図１１は、この見出し生成処理を示すフローチャートである。中央処理ユニット６は、この処理手順を開始すると、ステップＳＰ４２からステップＳＰ４３に移り、文字放送データで提供される字幕から１つのトピックスを選択する。またこの選択したトピックスについて、ステップＳＰ３１で検出した重要キーワードを取得する。

続いて中央処理ユニット６は、ステップＳＰ４４に移り、この選択したトピックスのダイジェスト区間から１つの文章の区切りを選択し、このトピックスで検出した重要キーワードをこの文章の区切りから検出する。またこのステップＳＰ３１で検出した各重要キーワードの得点を用いて、この文章の区切りに含まれる重要キーワードの得点を加算し、この区切りの重要度を示す得点を計算する。なおここでこの文章の区切りは、１つの意味をユーザーが把握できる程度に、句読点等を基準にしてダイジェストの字幕から切り出した文字列である。

続いて中央処理ユニット６は、ステップＳＰ４５に移り、この選択したトピックスの全ての区切りを処理したか否か判断し、ここで否定結果が得られると、ステップＳＰ４４に戻る。これにより中央処理ユニット６は、ダイジェストにおける文章の区切り毎に、重要度を示す得点を計算する。

ここで図１０の例では、「瓶」、「男性」、「ホームレス」、「事件」、「少年」のキーワードが重要キーワードとして検出されていることから、図１２に示すように、対応するダイジェストにおける各文章の区切りでは、それぞれ０点、５４．８点、１７．８点、８．２点の得点が得られる。

中央処理ユニット６は、続くステップＳＰ４６において、最も高得点の文章の区切りを、このダイジェストの見出しに設定し、対応するトピックス、ダイジェスト区間を特定する情報と共にハードディスク装置３２に記録する。また続くステップＳＰ４７において、全てのトピックスを処理したか否か判断し、ここで否定結果が得られると、ステップＳＰ４３に移り、続くトピックスを処理する。これに対してステップＳＰ４７で肯定結果が得られると、ステップＳＰ４８に移って元の処理手順に戻る。また元の処理手順に戻ると、ステップＳＰ４１からステップＳＰ５１に移ってこの空き時間の処理を終了する。

これにより中央処理ユニット６は、トピックス毎に、各トピックスの見出しを生成する見出し生成部４９（図３）を構成する。

これに対してユーザーがハードディスク装置３２に記録した映像コンテンツを指示してハイライト再生を指示すると、中央処理ユニット６は、この映像コンテンツの見出しを表示する。

ここで中央処理ユニット６は、図１３に示すように、ユーザーが再生を指示した映像コンテンツの先頭に設定されたダイジェスト区間の先頭フレームを静止画で表示する。またこの映像コンテンツの各トピックスで検出した見出しを順次表示する。またユーザーのリモートコマンダの操作に応動して、この見出しの表示をスクロールさせる。またユーザーが何れかの見出しを選択して再生を指示すると、このユーザーが選択した見出しに係るトピックスを再生して表示する。

なおこの場合、図１３との対比により図１４に示すように、各トピックスの先頭フレームのサムネイル画像を一覧表示し、各サムネイル画像に見出しを表示するようにしてもよく、見出しの表示方法は種々の表示方法を広く適用することができる。またこのような静止画による先頭フレームの表示に代えて、映像コンテンツの先頭から順次再生して表示するようにして、表示画面の一部に見出しを一覧表示するようにしてもよい。

これによりこの実施例において、中央処理ユニット６は、見出しを管理する見出し管理部５０を構成し（図３）、また表示コントローラ２２、出力部１７と共に見出しを表示する見出し表示部５１を構成する。

（２）実施例の動作
以上の構成において、インターネット４から取得される番組は（図２）、モデム２、ＳＩＯコントローラ３を介してＷｅｂサーバー５からトランスポートストリームが取得され、このトランスポートストリームがＴＳデコーダ１４でビデオデータ、オーディオデータ、文字放送データに分離される。またこれらビデオデータ、オーディオデータ、文字放送データがバスＢＵＳを介してハードディスク装置３２に記録される。これに対してテレビジョン放送の番組は、チューナー１１で受信した放送波が処理されてトランスポートストリームが取得され、このトランスポートストリームがＴＳデコーダ１４でビデオデータ、オーディオデータ、文字放送データに分離される。またこれらビデオデータ、オーディオデータ、文字放送データがバスＢＵＳを介してハードディスク装置３２に記録される。

このハードディスクレコーダ１では、このようにしてハードディスク装置３２に番組を記録する際に、ＡＶデコーダ１９でビデオデータがデータ伸長されてバスＢＵＳに出力され、このビデオデータが中央処理ユニット６で解析される。またこの解析結果から、連続するフレームにおける連続性を示す特徴量が検出され、ビデオデータ、オーディオデータと共にハードディスク装置３２に記録される（図４）。

また番組の記録を完了して空き時間となると、ハードディスク装置３２に記録した特徴量を処理して、番組の内容を代表するダイジェスト区間が検出される（図１、図５及び図６）。ここでこのようにして検出されるダイジェスト区間は、ビデオデータによる映像中で番組の内容を代表する区間であることから、この区間に割り当てられている字幕にあっても、番組の内容を示す文章が含まれていると考えられる。実際上、ニュース番組では、初めにアナウンサーがニュースの概要を説明した後、実際の取材による映像が写し出されて内容が詳細に紹介される。従って、ダイジェスト区間としてアナウンサーがニュースの概要を説明する部分が検出され、この部分の字幕には、ニュースの概要を説明する文章が含まれていることになる。

しかしながらこのダイジェスト区間の字幕の全てを表示したのでは、表示する文章が冗長になり、的確に番組の概要を把握することが困難になる。またダイジェスト区間のサムネイル画像を表示したのでは、精度良く番組の概要を把握することが困難になり、さらには的確に番組の概要を把握することが困難になる。

しかしながら種々に解析した結果によれば、ダイジェスト区間の字幕の文章中に現れるキーワードは、ダイジェスト区間以外の部分でも現れる。さらにダイジェスト区間の字幕の文章のうちで、最も番組の内容を表している文章には、ダイジェスト区間以外の部分で現れる重要なキーワードが最も多く含まれる。

このことからこのハードディスクレコーダ１では、番組の字幕から出現頻度の高い重要キーワードを検出し、ダイジェスト区間の字幕から、この重要キーワードの出現頻度の高い部分を検出して番組の見出しとし、この見出しを表示する（図１）。これによりこのハードディスクレコーダ１では、この見出しの表示により、従来に比して番組の概要を精度良く、かつ的確に把握することができる。

より具体的に、番組の字幕をダイジェスト区間とダイジェスト区間以外の字幕とに分類して、ダイジェスト区間側の字幕に高い得点を設定し（図７）、この得点を用いて番組の字幕から検出した各キーワードの得点を計算し、得点の高い側より所定個数のキーワードを選択して重要キーワードに設定する（図８）。すなわち番組によっては、ダイジェスト区間以外の部分でのみ出現するキーワードもあり、このようなキーワードを重要キーワードに設定したのでは、ダイジェスト区間から正しく見出しを作成できなくなる。そこでこのハードディスクレコーダ１では、ダイジェスト区間側の字幕に高い得点を設定して重要キーワードを選択することにより、ダイジェスト区間以外の部分でのみ出現するキーワードについては、重要キーワードに設定しないようにし、見出しの誤った設定を有効に回避する。

また全体に占めるダイジェスト区間の割合が増大するに従って、ダイジェスト区間以外の字幕の得点に対して、ダイジェスト区間の字幕の得点が増大するように、字幕に得点を設定する。これによりダイジェスト区間の長さとダイジェスト区間以外の長さとが種々に変化する場合でも、重要なキーワードを漏れなく適切に検出できるようにする。

すなわちハードディスクレコーダ１では、ダイジェスト区間の字幕の得点をダイジェスト区間以外の字幕の得点で割り算した値が、全体の字幕の文字数をダイジェスト区間の字幕の文字数で割り算した値となるように字幕に得点を設定し、これにより簡易な処理でダイジェスト区間の長さとダイジェスト区間以外の長さとが種々に変化する場合でも、重要なキーワードを漏れなく適切に検出できるようにする。

また１つの番組から検出される複数のダイジェスト区間毎に、重要キーワード、見出しを検出し、これにより例えばニュース番組等にあっても、各ニュースの概要を精度良く、かつ的確に把握できるようにする。

（３）実施例の効果
以上の構成によれば、映像を解析して番組の内容を代表するダイジェスト区間を検出し、字幕全体で検出される出現頻度の高いキーワードを多く含むダイジェスト区間の字幕の部分を見出しに設定することにより、番組の概要を精度良く的確に把握することができる。

また番組の字幕をダイジェスト区間とダイジェスト区間以外の字幕とに分類して、ダイジェスト区間側の字幕に高い得点を設定し、この得点を用いて重要キーワードに設定することにより、ダイジェスト区間以外の部分でのみ出現するキーワードについては、重要キーワードに設定しないようにして、見出しの誤った設定を有効に回避することができる。

またこのとき全体に占めるダイジェスト区間の割合が増大するに従って、ダイジェスト区間以外の字幕の得点に対して、ダイジェスト区間の字幕の得点が増大するように字幕に得点を設定することにより、ダイジェスト区間の長さとダイジェスト区間以外の長さとが種々に変化する場合でも、重要なキーワードを漏れなく適切に検出して精度の高い見出しを作成することができる。

より具体的には、ダイジェスト区間の字幕の得点をダイジェスト区間以外の字幕の得点で割り算した値が、全体の字幕の文字数をダイジェスト区間の字幕の文字数で割り算した値となるように字幕に得点を設定することにより、簡易な処理でダイジェスト区間の長さとダイジェスト区間以外の長さとが種々に変化する場合でも、重要なキーワードを漏れなく適切に検出して精度の高い見出しを作成することができる。

また１つの番組から検出される複数のダイジェスト区間毎に、重要キーワード、見出しを検出することにより、例えばニュース番組等にあっても、各ニュースの概要を精度良く、かつ的確に把握できる。

なお上述の実施例においては、単に文字数の比率でダイジェスト区間とそれ以外の区間とで字幕の得点を設定する場合について述べたが、本発明はこれに限らず、例えば再生時間の比率でダイジェスト区間とそれ以外の区間とで字幕の得点を設定する場合、図６で説明したユーザーのダイジェスト区間作成の長さの指示に応じてダイジェスト区間とそれ以外の区間とで字幕の得点を変化させる場合等、必要に応じて得点の設定方法にあっては、種々に変更することができる。

また上述の実施例においては、先頭ダイジェスト又は各トピックスの先頭フレームのサムネイル画像を見出しと共に表示する場合について述べたが、本発明はこれに限らず、番組先頭フレームのサムネイル画像を見出しと共に表示するようにしてもよく、さらには見出しのみを表示するようにしてもよい。

また上述の実施例においては、１つの意味をユーザーが把握できる程度に、句読点等を基準にしてダイジェストの字幕から文字列を切り出して見出しを作成する場合について述べたが、本発明はこれに限らず、見出しの長さについては、必要に応じて種々に設定するようにしてもよい。

また上述の実施例においては、文字放送データの字幕を処理する場合について述べたが、本発明はこれに限らず、音声認識処理によりオーディオデータから字幕を作成し、この字幕を処理するようにしてもよい。

また上述の実施例においては、ハードディスクレコーダに本発明を適用して映像コンテンツを記録再生する場合について述べたが、本発明はこれに限らず、例えばパーソナルコンピュータに適用して、ニュース映像を携帯端末装置にダウンロードする場合等にも広く適用することができる。この場合、各ニュースの概要を的確かつ精度良く把握できることにより、気になるニュースを的確に携帯端末装置にダウンロードして視聴することができる。

また上述の実施例においては、ハードディスクレコーダに本発明を適用する場合について述べたが、本発明はこれに限らず、各種の記録媒体を用いた映像コンテンツの記録再生装置に広く適用することができる。

本発明は、映像コンテンツを記録再生するハードディスクレコーダ等に適用することができる。

本発明の実施例１のハードディスクレコーダにおける中央処理ユニットの処理手順を示すフローチャートである。本発明の実施例１のハードディスクレコーダを示すブロック図である。図２のハードディスクレコーダの機能ブロック図である。図２のハードディスクレコーダにおける記録時の中央処理ユニットの処理手順を示すフローチャートである。ダイジェストの説明に供する略線図である。図１の処理手順におけるダイジェスト区間判別処理を示すフローチャートである。図１の処理手順における字幕分別処理を示すフローチャートである。図１の処理手順における重要キーワード抽出処理を示すフローチャートである。重要キーワードの抽出例の説明に供する図表である。各キーワードの特定を示す図表である。図１の処理手順における見出し生成処理を示すフローチャートである。図１１の処理手順の説明に供する図表である。見出しの表示例を示す平面図である。他の例による見出しの表示例を示す平面図である。

符号の説明

１……ハードディスクレコーダ、２……モデム、３……ＳＩＯコントローラ、６……中央処理ユニット、１０……受信部、１６……デコード部、１７……出力部、２５……モニタ装置、４０……映像音声受信部、４１……特徴抽出部、４２……字幕受信部、４３……ダイジェスト生成部、４７……字幕分類部、４８……重要キーワード抽出部、４９……見出し生成部、５０……見出し管理部、５１……見出し表示部

Claims

ビデオデータ及びオーディオデータによる番組を記録媒体に記録してユーザーに提供する番組提供方法において、
前記ビデオデータの映像を解析して、前記ビデオデータによる番組の内容を代表するダイジェスト区間を検出するダイジェスト区間検出ステップと、
前記番組の字幕から、出現頻度の高い重要キーワードを検出するキーワード検出ステップと、
前記ダイジェスト区間の字幕から、前記キーワード検出ステップで検出した前記重要キーワードの出現頻度の高い部分を検出して前記番組の見出しを作成する見出し作成ステップと、
前記見出しを表示する見出し表示ステップとを有する
ことを特徴とする番組提供方法。
前記キーワード検出ステップは、
前記番組の字幕を前記ダイジェスト区間と前記ダイジェスト区間以外の字幕とに分類して、前記ダイジェスト区間側の字幕に高い得点を設定する字幕分類ステップと、
前記番組の字幕からキーワードを検出して、前記字幕分類のステップで設定した得点を各キーワードで加算して各キーワードの得点を計算する得点計算ステップと、
前記得点計算ステップで計算した得点の高い側より所定個数のキーワードを選択して前記重要キーワードを設定する重要キーワード設定ステップとを有する
ことを特徴とする請求項１に記載の番組提供方法。
前記字幕分類ステップは、
全体に占める前記ダイジェスト区間の割合が減少するに従って、前記ダイジェスト区間以外の字幕の得点に対して、前記ダイジェスト区間の字幕の得点が増大するように、前記得点を設定する
ことを特徴とする請求項２に記載の番組提供方法。
前記字幕分類ステップは、
前記ダイジェスト区間の字幕の得点を前記ダイジェスト区間以外の字幕の得点で割り算した値が、前記ダイジェスト区間以外の区間の字幕の文字数を、前記ダイジェスト区間の字幕の文字数で割り算した値となるように、前記得点を設定する
ことを特徴とする請求項２に記載の番組提供方法。
前記ダイジェスト区間検出ステップは、
１つの番組から複数の前記ダイジェスト区間を検出し、
前記キーワード検出ステップは、
前記ダイジェスト区間検出ステップで検出したダイジェスト区間毎に、前記ダイジェスト区間と続くダイジェスト区間以外の区間とから、前記重要キーワードを検出し、
前記見出し作成ステップは、
前記ダイジェスト区間毎に、前記キーワード検出ステップで検出した対応する重要キーワードを用いて前記見出しを作成する
ことを特徴とする請求項１に記載の番組提供方法。
前記見出し表示ステップで表示した見出しの選択を受け付ける選択受け付けステップと、
前記選択受け付けステップで選択を受け付けた見出しに対応する箇所から前記番組を再生する番組再生ステップとを有する
ことを特徴とする請求項１に記載の番組提供方法。
ビデオデータ及びオーディオデータによる番組を記録媒体に記録してユーザーに提供する番組提供方法のプログラムにおいて、
前記ビデオデータの映像を解析して、前記ビデオデータによる番組の内容を代表するダイジェスト区間を検出するダイジェスト区間検出ステップと、
前記番組の字幕から、出現頻度の高い重要キーワードを検出するキーワード検出ステップと、
前記ダイジェスト区間の字幕から、前記キーワード検出ステップで検出した前記重要キーワードの出現頻度の高い部分を検出して前記番組の見出しを作成する見出し作成ステップと、
前記見出しを表示する見出し表示ステップとを有する
ことを特徴とする番組提供方法のプログラム。
ビデオデータ及びオーディオデータによる番組を記録媒体に記録してユーザーに提供する番組提供方法のプログラムを記録した記録媒体において、
前記番組提供方法は、
前記ビデオデータの映像を解析して、前記ビデオデータによる番組の内容を代表するダイジェスト区間を検出するダイジェスト区間検出ステップと、
前記番組の字幕から、出現頻度の高い重要キーワードを検出するキーワード検出ステップと、
前記ダイジェスト区間の字幕から、前記キーワード検出ステップで検出した前記重要キーワードの出現頻度の高い部分を検出して前記番組の見出しを作成する見出し作成ステップと、
前記見出しを表示する見出し表示ステップとを有する
ことを特徴とする番組提供方法のプログラムを記録した記録媒体。
ビデオデータ及びオーディオデータによる番組を記録媒体に記録してユーザーに提供する番組提供装置において、
前記ビデオデータの映像を解析して、前記ビデオデータによる番組の内容を代表するダイジェスト区間を検出するダイジェスト区間検出部と、
前記番組の字幕から、出現頻度の高い重要キーワードを検出するキーワード検出部と、
前記ダイジェスト区間の字幕から、前記キーワード検出部で検出した前記重要キーワードの出現頻度の高い部分を検出して前記番組の見出しを作成する見出し作成部と、
前記見出しを表示する見出し表示部とを有する
ことを特徴とする番組提供装置。