JP2009135754A - ダイジェスト作成装置及び方法 - Google Patents

Abstract

【課題】番組のジャンルに拘わらすコンテンツに対して適切な適切にハイライト部分を抽出することができるダイジェスト作成装置及び方法を提供する。
【解決手段】１つの番組についてのコンテンツデータの番組カテゴリを検出し、その検出番組カテゴリに対応したコンテンツデータの解析項目及びその判定条件を示すカテゴリ特性を設定し、コンテンツデータのうちの設定カテゴリ特性に適合した部分を時系列順に抽出してダイジェストデータとする。
【選択図】図１

Description

本発明は、放送番組等のコンテンツのハイライト部分からなるダイジェスト（要約）を作成するダイジェスト作成装置及び方法に関する。

従来のダイジェスト作成装置としては、番組のメタデータを利用して視聴時間の短縮を行うものがあり、入力又は検出されたメタデータのうちのユーザの嗜好に合ったコンテンツのセグメントを抽出し、そのコンテンツのセグメントをハイライトと解釈して再生することが行われる（特許文献１参照）。そのセグメントの抽出は、メタデータとユーザ嗜好データのマッチングによりなされる。この方法によれば、特定の番組ジャンルに属するコンテンツであれば、ユーザの嗜好に応じて、適当なシーンを抽出して短時間で再生するハイライト視聴が可能である。
特開２００７−２０８６５１号公報

しかしながら、上記の従来のダイジェスト作成装置においては、様々な番組ジャンルのコンテンツに対し、適切なハイライト部分を視聴を実現できないという問題があった。すなわち、一般に視聴者の嗜好は番組ジャンル毎に異なり、そのため、ユーザ嗜好データを一意に定めることができないため、その従来のダイジェスト作成装置においては、特定ジャンルのコンテンツに対してしか適切にハイライトセグメントを抽出できないという問題があった。

そこで、本発明の目的は、番組のジャンルに拘わらすコンテンツに対して適切な適切にハイライト部分を抽出することができるダイジェスト作成装置及び方法を提供することである。

本発明のダイジェスト作成装置は、１つの番組についてのコンテンツのダイジェストデータを作成するダイジェスト作成装置であって、前記１つの番組についてのコンテンツデータを蓄積する記憶手段と、前記コンテンツデータの番組カテゴリを検出するカテゴリ検出手段と、前記カテゴリ検出手段によって検出された番組カテゴリに対応した前記コンテンツデータの解析項目及びその判定条件を示すカテゴリ特性を設定する設定手段と、前記コンテンツデータのうちの前記設定手段で設定されたカテゴリ特性に適合した部分を時系列順に抽出して前記ダイジェストデータとする抽出手段と、を備えたことを特徴としている。

本発明のダイジェスト作成方法は、１つの番組についてのコンテンツのダイジェストデータを作成するダイジェスト作成方法であって、前記１つの番組についてのコンテンツデータの番組カテゴリを検出し、その検出した番組カテゴリに対応した前記コンテンツデータの解析項目及びその判定条件を示すカテゴリ特性を設定し、前記コンテンツデータのうちの設定したカテゴリ特性に適合した部分を時系列順に抽出して前記ダイジェストデータとすることを特徴としている。

かかる本発明のダイジェスト作成装置及び方法によれば、コンテンツデータの番組カテゴリを検出し、その番組カテゴリに対応したコンテンツデータの解析項目及びその判定条件を示すカテゴリ特性を設定し、コンテンツデータのうちのカテゴリ特性に適合した部分を時系列順に抽出するので、番組のジャンルに拘わらすコンテンツに対して適切な適切にハイライト部分を抽出することができる。

以下、本発明の実施例を図面を参照しつつ詳細に説明する。

図１は本発明によるダイジェスト作成装置が適用されたコンテンツ視聴装置のブロック構成を示している。このコンテンツ視聴装置は、コンテンツ入力部１、データ分離部２、解析規則判定部３、データ解析部４、コンテンツ記憶部５、コンテンツ選択部６、コンテンツ再生部７及び映像音響モニタ８を備えている。

コンテンツ入力部１は、外部のネットワークよりコンテンツデータを入力して、その入力コンテンツデータをデータ分離部２及びコンテンツ記憶部５に出力する、例えば、受信回路からなる。

データ分離部２は、コンテンツ入力部１より供給されたコンテンツデータを入力し、コンテンツデータ中の番組メタデータを解析規則判定部３に出力し、コンテンツデータ中の映像データ、音響データ及び字幕データをデータ解析部４に出力する。

解析規則判定部３は、データ分離部２から供給される番組メタデータを入力し、解析規則データをデータ解析部４に出力する。

データ解析部４は、解析規則判定部３より解析規則データを入力し、データ分離部２より映像データ、音響データ、字幕データを入力し、解析結果データをコンテンツ記憶部５に出力する。

コンテンツ記憶部５は、コンテンツ入力部１より入力コンテンツデータを入力し、データ解析部４より解析結果データを入力し、解析結果データとコンテンツデータをコンテンツ選択部６に出力する。

コンテンツ選択部６は、コンテンツ記憶部５より解析結果データとコンテンツデータを入力し、解析結果データに応じてコンテンツデータを選択的にコンテンツ再生部７に出力する。

コンテンツ再生部７はコンテンツ選択部６からのコンテンツデータを再生して映像信号及び音声信号として映像音響モニタ８に出力する。映像音響モニタ８は映像信号及び音声信号が供給されると、映像信号に応じて再生映像を表示し、音声信号に応じて音声を出力する。

本実施例において、コンテンツデータは、上記した映像データ、音響データ、字幕データ、及び番組メタデータから構成されている。ファイル等のデータ単位のコンテンツデータに含まれる映像データ、音響データ、及び字幕データは、合わせて１つの番組を構成しており、相互に時間同期されている。番組メタデータは、コンテンツデータにおいてその１つの番組についての詳細情報をテキストで表す情報であり、番組のジャンル、タイトル、出演者、放送時間、番組内容等の情報を含むものとする。なお、映像データ、音響データ等のデータはディジタル化されたデータの他、圧縮処理された形式のデータでも良く、コンテンツ再生部７はそれらのデータ形式に対応して再生できるものとする。

かかる構成のコンテンツ視聴装置の動作について説明する。

外部のネットワークからコンテンツデータがコンテンツ入力部１に入力されると、その入力コンテンツデータはデータ分離部２とコンテンツ記憶部５に出力される。

データ分離部２では、入力コンテンツデータが４種類のデータ、すなわち映像データ、音響データ、字幕データ及び番組メタデータに分離されて出力される。映像データ、音響データ及び字幕データはデータ解析部４に供給され、番組メタデータは解析規則判定部３に供給される。

解析規則判定部３は、データ分離部２から番組メタデータが供給されると、番組に適した解析結果データを生成するために、図２に示すように、(1)番組メタデータの単語検出、(2)番組カテゴリの解析、(3)解析規則の決定、の３段階の動作により解析規則データを求め、これをデータ解析部４に出力する。

上記の３段階の動作について、図３の解析規則判定部３の動作説明図を用いて説明する。
(1)番組メタデータの単語検出
解析規則判定部３は、番組メタデータに含まれるような単語のリストを保持しており、入力された番組メタデータにリストの複数の単語のうちのいずれの単語が含まれているかを検出する（ステップＳ１１）。図３(a)はその単語リストの一部を示しており、図３(a)の例では、「スポーツ」、「サッカー」、「日本」という３つの単語が入力番組メタデータから検出されている。
(2)番組カテゴリの解析
解析規則判定部３は、番組カテゴリ毎に上記の単語リストの複数の単語各々に対して整数の重み値を定めた重み値データテーブルを有している。肯定的な意味の単語には正の重み値が割り当てられ、肯定的であるほど正側に大となる。一方、否定的な意味の単語には負の重み値が割り当てられ、否定的であるほど負側に大となる。重み値データテーブルにおいては、例えば、「サッカー」及び「野球」各々の場合には単語リストの複数の単語各々について図４に示すように重み値が設定されている。解析規則判定部３は、番組カテゴリ毎に上記の(1)の単語検出動作で検出された単語だけの重み値の合計値を計算してそれを評価値とし（ステップＳ２１）、その評価値が最大値となったカテゴリを解析結果として検出する（ステップＳ２２）。図３(b)の例では、「スポーツ」、「サッカー」、「日本」という番組メタデータ中の３つの単語に対応して、「サッカー」という番組カテゴリで最も大きな評価値が得られている。なお、本実施例でいう「カテゴリ」は「ジャンル」より狭い分類とする。
(3)解析規則の決定
解析規則判定部３は、番組カテゴリ毎に解析規則をデータとして保持しており、上記の(2)の番組カテゴリ解析動作で決定された番組カテゴリに対応した解析規則を解析規則データとして出力する（ステップＳ３１）。解析規則データは、解析項目のリストと、各解析項目に対応したカテゴリ特性、とから構成される。解析項目は、映像データ、音響データ、字幕データ各々について番組カテゴリに属するコンテンツのハイライトの部分を検出するために有効な解析項目を示す。また、カテゴリ特性は、該セグメントにおいて、解析項目がどうあるべきかの判定条件を示す。図３(c)の例では、「サッカー」という番組カテゴリに対応して、「音量」、「ゴール」、「カット長」、「動き」などの解析項目を定義するとともに、音量が大きく、ゴールというキーワードがあり、カット長が短く連続し、動きが激しい時間区間がサッカー番組のハイライトのセグメントであるとし、これらの情報を解析規則データとして決定している。解析規則判定部３の判定結果である解析規則データはデータ解析部４に供給される。

データ解析部４は、解析規則判定部３から供給される解析規則データに基づいて、映像データ、音響データ及び字幕データ各々を解析し、解析規則データを含む解析結果データを出力する。解析結果データは、解析規則データに含まれる解析項目についてカテゴリ特性に対応した部分を示す時系列データである。その計測については、従来公知の任意の方法を適用可能である。すなわち、解析規則データが示す解析項目毎に映像データ、音響データ、及び字幕データのうちの少なくとも１のデータからカテゴリ特性の判定条件を満足する部分を検出し（ステップＳ４１）、更に、満足部分の整合度合いを数値化して時系列の解析結果データを生成する（ステップＳ４２）。整合度合いが高いほど大きい値とされる。

例えば、図３(c)を例にとると、「音量」、「ゴール」、「カット長」、「動き」の４つの解析項目が対象となるが、一例として、「音量」は、音響データを解析することにより得られる。音響データのうちの所定レベル以上の大音量部分を検出し、更に、その検出部分を整合度合いとして高中小の３段階に分類する。また、「ゴール」は、字幕データから「ゴール」のキーワードを検出する方法、音響データから「ゴール」の音声を検出する方法、映像データから「ゴール」の文字パターンを検出する方法の少なくとも１の方法が用いられる。「カット長」は、映像データの時間的な不連続点（シーンチェンジ）を検出し、隣接する不連続点間（シーン）の長さを計測することにより得られる。「動き」は、映像データの隣接フレーム間の動き量を計測し、そのカテゴリ特性は動き量が所定量以上であることである。

図５(a)は、図３(c)の例に対応した解析結果データを説明する図である。図５(a)において、「音量」、「ゴール」、「カット長」、「動き」の各々の時系列の解析結果データを模式的に表現している。図５(a)の中で、黒部分は解析項目の計測結果がカテゴリ特性と整合性が最も高い区間を示し、白は整合性がない区間を示し、網線部分及び斜線部分はその中間の区間を示す。４つの解析項目のすべてにおいて、黒で示した区間は、「音量」、「ゴール」、「カット長」、「動き」、のいずれの点においても、特徴的なセグメント（例えば、ゴールシーンなど）の可能性が高いことを示している。数値化の値としては例えば、黒部分が３、網線部分が２、斜線部分が１、白部分が０である。

解析結果データが得られると、その解析結果データはコンテンツ記憶部５に供給される。コンテンツ記憶部５においては、入力コンテンツデータと共に、解析規則データを含む解析結果データが記憶される（ステップＳ５１）。

コンテンツ記憶部５に蓄積されたコンテンツのハイライトを視聴する際には、ユーザは例えば、図示しない操作部から所定の操作を行う。コンテンツ選択部６はこの操作に応答してコンテンツ選択動作を開始する。コンテンツ選択動作では、図６に示すように、先ず、コンテンツ選択部６は、コンテンツ記憶部５から解析規則データを含む解析結果データを入力し（ステップＳ６１）、解析結果データが示すカテゴリ特性各々の数値の総和を時系列順に計算してそれをハイライト度とする（ステップＳ６２）。そして、ハイライト度が所定値以上の部分のコンテンツデータを抽出してそれを結合して１つのダイジェストデータとする（ステップＳ６３）。

図５(b)及び(c)を用いて、図３(c)のカテゴリ特性の例に対応したハイライト視聴の動作を説明する。解析項目の解析結果データとカテゴリ特性がマッチする領域、例えば、音量が大きく、ゴールというキーワードがあり、カット長が短く連続し、動きが激しい時間区間では、それぞれの解析項目の解析結果データがカテゴリ特性とマッチするため、ハイライト度は高い数値を示す。図中、黒で示した区間及び網線区間は、ハイライト度が所定値以上であることを示す。網線区間で示した区間は、黒の区間に次いでハイライト度が高いことを示す。ハイライト度が所定値以上のコンテンツデータ（映像データ、音響データ、及び字幕データ）の部分が抽出されることにより図５(c)に示すようにダイジェストデータが得られる。

コンテンツ選択部６は、ハイライト度が所定値以上の部分のコンテンツデータの抽出の際には、その抽出部分の合計再生時間が所定の時間長となるように所定値を変化させても良い。所定の時間長はユーザによる操作部の操作によって指定できるようにしても良い。

コンテンツ選択部６によって作成されたダイジェストデータであるコンテンツデータは映像音響再生部７に供給され、コンテンツ選択部６からのコンテンツデータが再生される。コンテンツデータ中の映像データに基づいて映像信号が生成され、また、音響データに基づいて音声信号が作成され、その映像信号及び音声信号は映像音響モニタ８に出力される。

よって、ユーザは、入力コンテンツデータに対して番組カテゴリに応じて最適化されたハイライト部分の視聴を映像音響モニタ８からすることができ、視聴時間を短縮することができる。

このように、上記した実施例においては、コンテンツの番組カテゴリに応じた解析規則を用いてコンテンツの時系列解析を行うようにしたので、様々な番組ジャンル（カテゴリ）のコンテンツデータに対し、適切なハイライト部分の視聴を実現することができる。

上記した実施例では、コンテンツ選択部６が解析結果データに基づき、ハイライト部分の映像を再生する場合につき説明したが、コンテンツ選択部６の動作はこれに限定されるものではない。例えば、コンテンツ選択部６の別の動作として、解析結果データに基づき、各ハイライトのセグメントを抽出し、各セグメントの先頭へのスキップ再生を行うことが可能となるように各セグメントの先頭イメージを画面上に表示し、ユーザによるイメージ選択により、該時刻からの映像が再生されるようにしても良い。これにより、ユーザは視聴時間を短縮することが可能となる。

上記した実施例においては、データ分離部２がコンテンツデータの中から番組メタデータを抽出する場合について説明したが、該番組メタデータは別の手段により抽出してもよい。例えば、データ分離部２の動作として、ネットワークを介して該コンテンツに関連したメタデータを取得する動作や、ユーザが手動操作に応じてメタデータを入力を行う動作を適用しても、上記の実施例と同様の効果を得ることができる。

上記した実施例においては、コンテンツデータがネットワークより入力された場合について説明したが、コンテンツデータの入力手段はネットワークのみに限定されるわけではなく、電波、蓄積媒体等の任意の手段が適用できる。また、コンテンツデータは、映像データを含む場合のみに限定されるわけではなく、音響データのみの番組であっても、上記の実施例と同様の効果が得られる。

上記した実施例では、入力されたコンテンツデータの解析結果データを抽出して蓄積するとともに、該解析結果データに基づいて入力コンテンツデータのハイライト部分の視聴を行う場合について説明したが、入力コンテンツデータのハイライト部分、すなわちダイジェストデータを単に蓄積するだけでも良い。また、そのダイジェストデータの蓄積は容易に持ち運び可能なディスク等の記録媒体に対して行っても良い。

また、上記した実施例においては、１つの番組のコンテンツデータが入力されて蓄積されるが、複数の番組各々のコンテンツデータが入力されて蓄積され、その蓄積された複数の番組のコンテンツデータのうちから任意の１の番組のコンテンツデータを選択してその選択コンテンツデータのダイジェストデータを作成しても良い。

本発明によるダイジェスト作成装置が適用されたコンテンツ視聴装置を示すブロック図である。 図１の装置中の解析規則判定部及びデータ解析部の動作を示すフローチャートである。 単語リスト、番組カテゴリ毎の評価値、及びサッカーのカテゴリ特性を示す図である。 サッカー及び野球の重み値データテーブルを示す図である。 解析結果データ、ハイライト度及びダイジェストデータを説明するための図である。 図１の装置中のコンテンツ選択部の動作を示すフローチャートである。

符号の説明

１ コンテンツ入力部
３ 解析規則判定部
４ データ解析部
６ コンテンツ選択部
７ コンテンツ再生部
８ 映像音響モニタ

Claims (6)

1. １つの番組についてのコンテンツのダイジェストデータを作成するダイジェスト作成装置であって、
   前記１つの番組についてのコンテンツデータを蓄積する記憶手段と、
   前記コンテンツデータの番組カテゴリを検出するカテゴリ検出手段と、
   前記カテゴリ検出手段によって検出された番組カテゴリに対応した前記コンテンツデータの解析項目及びその判定条件を示すカテゴリ特性を設定する設定手段と、
   前記コンテンツデータのうちの前記設定手段で設定されたカテゴリ特性に適合した部分を時系列順に抽出して前記ダイジェストデータとする抽出手段と、を備えたことを特徴とするダイジェスト作成装置。
2. 前記コンテンツデータは番組内容をテキストで示す番組メタデータを含み、
   前記カテゴリ検出手段は、前記番組メタデータに示された単語と予め定められた複数の単語を含む単語リストとを比較し、その比較結果に応じて前記コンテンツデータの番組カテゴリを検出することを特徴とする請求項１記載のダイジェスト作成装置。
3. 前記カテゴリ検出手段は、前記単語リストの複数の単語のうちの前記番組メタデータに示された単語を検出する単語検出手段と、
   予め定められた複数の番組カテゴリ各々で前記複数の単語各々に対して割り当てられた重み値を重み値データテーブルとして保持した保持手段と、
   前記重み値データテーブルを用いて前記複数の番組カテゴリ各々について前記単語検出手段によって検出された単語に対応した重み値を得てその重み値の合計値を評価値として算出する算出手段と、
   前記算出手段で前記複数の番組カテゴリ各々について算出された評価値のうちの最大値となった評価値の番組カテゴリを前記コンテンツデータの番組カテゴリとする手段と、を備えたことを特徴とする請求項２記載のダイジェスト作成装置。
4. 前記設定手段は、予め定められた複数の番組カテゴリ各々についての前記コンテンツデータの解析項目毎の判定条件を示すカテゴリ特性を保持する保持手段を有し、
   前記カテゴリ検出手段によって検出された番組カテゴリに対応したカテゴリ特性を前記保持手段から得て前記抽出手段に供給することを特徴とする請求項１記載のダイジェスト作成装置。
5. 前記抽出手段は、前記コンテンツデータを構成する映像データ、音響データ及び字幕データのうちの少なくとも１以上を時系列に解析して前記設定手段で設定されたカテゴリ特性に適合した部分を抽出することを特徴とする請求項１又は４記載のダイジェスト作成装置。
6. １つの番組についてのコンテンツのダイジェストデータを作成するダイジェスト作成方法であって、
   前記１つの番組についてのコンテンツデータの番組カテゴリを検出し、
   その検出した番組カテゴリに対応した前記コンテンツデータの解析項目及びその判定条件を示すカテゴリ特性を設定し、
   前記コンテンツデータのうちの設定したカテゴリ特性に適合した部分を時系列順に抽出して前記ダイジェストデータとすることを特徴とするダイジェスト作成方法。

Images