JP2009033413A - 情報処理装置及び情報処理方法、並びにプログラム - Google Patents

Abstract

【課題】チャプタが付与されるチャプタ点の検出に適した番組の分類を検出する。
【解決手段】記録再生装置１では、オーディオ特徴量抽出部１４及びビデオ特徴量抽出部１５は、番組の特徴量を抽出し、識別部１７は、特徴ベクトル生成部１６から供給された、抽出された特徴量からなる特徴ベクトルに基づいて、番組の分類を識別し、チャプタ点検出部１８は、検出された番組の分類に基づいて、チャプタ点を検出する。検出されたチャプタ点にチャプタが付与されて、ダイジェスト再生が行われる。本発明は、例えば、ビデオレコーダに適用できる。
【選択図】図１

Description

本発明は、情報処理装置及び情報処理方法、並びにプログラムに関し、特に、コンテンツの分類に応じてコンテンツに対して所定の処理を行う場合において、その処理に最適なコンテンツの分類を識別し、識別した分類に応じた方法でその処理を実行することができるようにした情報処理装置及び情報処理方法、並びにプログラムに関する。

デジタルテレビジョン放送の普及に伴い電子番組表（EPG（Electric Program Guide））の利用も一般的なものとなってきている。

EPGを構成するデータには、番組のタイトルや放送日時の他、番組がニュース番組であるかサッカー番組であるかなどのジャンルを示す情報（以下、ジャンル情報と称する）などの番組の分類を示す情報が含まれている。

ところでこのEPGから得られる番組のジャンル情報は、記録再生装置における各種の機能に利用されている。

例えば、録画した大量の映像の内容を簡単に把握することができるように、録画した映像から、要約映像を作成して再生するいわゆるダイジェスト再生機能が存在するが、このダイジェスト再生では、その精度を向上させる用途として番組のジャンル情報が利用されている（特許文献１参照）。

特許文献１では、録画された映像から検出された所定の特徴量が、EPGから取得された番組のジャンル情報に基づいて重み付けされ、その結果に基づいてダイジェスト再生される映像が決定される。
特開２００３−２８３９９３号公報

しかしながら、EPGは、主として、視聴者が番組選択するのに便利なように、例えば放送局側において作成されるものであって、それに示されているジャンル情報も、視聴者の番組選択に対応した分類となっている。従ってその分類が、機器側の処理（例えば、ダイジェスト再生）に必ずしも適していない場合がる。

本発明は、このような状況に鑑みてなされたものであり、機器側の処理に最適なコンテンツの分類を識別することができるようにするものである。

本発明の一側面の情報処理装置は、コンテンツの特徴量を抽出する抽出手段と、前記抽出手段により抽出された前記特徴量に基づいて前記コンテンツの分類を識別する識別手段と、前記コンテンツに対する所定の処理を、前記識別手段により識別された分類に応じた方法で実行する実行手段とを備える。

前記実行手段は、前記識別手段により識別された前記分類に応じて、前記所定の処理の方法を選択し、選択したその方法で、前記所定の処理を実行することができる。

前記コンテンツは、ビデオデータを含んで構成されており、前記所定の処理は、前記コンテンツから、ダイジェスト再生されるチャプタ点を検出する処理であり、前記実行手段は、前記識別手段により識別された前記分類に応じて、チャプタ点検出に利用する特徴量及びその特徴量に基づいてチャプタ点を検出するための演算方法を選択し、選択したその特徴量及び演算方法で、チャプタ点を検出することができる。

所定の分類に属する所定のコンテンツを前記所定の分類に識別することができるパラメータを生成する学習手段をさらに備え、前記識別手段は、前記学習手段により生成されたパラメータに基づいて、前記コンテンツの分類を識別することができる。

前記識別手段は、外部の学習装置により生成された所定の分類に属する所定のコンテンツを前記所定の分類に識別することができるパラメータを入力し、入力したパラメータに基づいて、前記コンテンツの分類を識別することができる。

本発明の一側面の情報処理方法は、コンテンツの特徴量を抽出する抽出ステップと、前記抽出ステップの処理で抽出された前記特徴量に基づいて前記コンテンツの分類を識別する識別ステップと、前記コンテンツに対する所定の処理を、前記識別ステップの処理で識別された分類に応じた方法で実行する実行ステップとを含む。

本発明の一側面のプログラムは、コンテンツに対する所定の処理を実行する情報処理をコンピュータに実行させるプログラムにおいて、前記コンテンツの特徴量を抽出する抽出ステップと、前記抽出ステップの処理で抽出された前記特徴量に基づいて前記コンテンツの分類を識別する識別ステップと、前記コンテンツに対する所定の処理を、前記識別ステップの処理で識別された分類に応じた方法で実行する実行ステップとを含む。

本発明の一側面の情報処理装置、情報処理方法、又はプログラムにおいては、コンテンツの特徴量が抽出され、抽出された前記特徴量に基づいて前記コンテンツの分類が識別され、前記コンテンツに対する所定の処理が、識別された分類に応じた方法で実行される。

本発明の一側面によれば、実行される所定の処理に最適なコンテンツの分類を識別することができ、その分類に応じた方法で所定の処理をコンテンツに対して実行することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の情報処理装置は、
コンテンツの特徴量を抽出する抽出手段（例えば、図１のオーディオ特徴量抽出部１４又はビデオ特徴量抽出部１５）と、
前記抽出手段により抽出された前記特徴量に基づいて前記コンテンツの分類を識別する識別手段（例えば、図１の識別部１７）と、
前記コンテンツに対する所定の処理を、前記識別手段により識別された分類に応じた方法で実行する実行手段（例えば、図１のチャプタ点検出部１８）と
を備える情報処理装置。

本発明の情報処理方法又はプログラムは、
コンテンツの特徴量を抽出する抽出ステップ（例えば、図１のオーディオ特徴量抽出部１４又はビデオ特徴量抽出部１５の処理）と、
前記抽出ステップの処理で抽出された前記特徴量に基づいて前記コンテンツの分類を識別する識別ステップ（例えば、図１の識別部１７の処理）と、
前記コンテンツに対する所定の処理を、前記識別ステップの処理で識別された分類に応じた方法で実行する実行ステップ（例えば、図１のチャプタ点検出部１８の処理）と
を含む情報処理方法。

図１は、本発明を適用した記録再生装置１の構成例を示している。この記録再生装置１は、受信されたデジタルテレビジョン放送の番組を録画し、録画した番組をダイジェスト再生することができる機能を有している。記録再生装置１は、ダイジェスト再生を行うに当り、ダイジェスト再生において再生される映像を検出し、その映像にチャプタを付与するが、後述するように、チャプタが付与される映像（以下、適宜、チャプタ点と称する）の検出に適した番組の分類を識別し、識別したその番組の分類に応じた方法で、チャプタ点を検出する。

データ分離部１１には、図示せぬ受信部から供給された、その受信部により受信された、例えばデジタルテレビジョン放送波のデジタルデータが入力される。データ分離部１１は、入力されたデジタルデータからEPG（電子番組ガイド）データ、及びオーディオデータとビデオデータ（以下、適宜、AVデータと称する）に分離する。

データ分離部１１は、分離したEPGデータを保持部２２に供給して保持させ、分離したAVデータを、入力制御部１２に供給する。

入力制御部１２は、受信された放送番組の録画が行われるとき、データ分離部１１から供給されたAVデータを、保持部２０に供給して保持させる。

入力制御部１２はまた、データ分離部１１から供給されたAVデータを、チャプタ点検出対象としてデコーダ１３にする。

デコーダ１３は、入力制御部１２から供給されたチャプタ点検出対象としてのAVデータ、又は保持部２０からチャプタ点検出対象として読み出したAVデータを、オーディオデータとビデオデータに分離し、オーディオデータをオーディオ特徴量抽出部１４に、ビデオデータをビデオ特徴量抽出部１５に、それぞれ供給する。

オーディオ特徴量抽出部１４は、デコーダ１３から供給されたオーディオデータから、音量、周波数スペクトラム、左右チャンネル相関値などを、オーディオの特徴量として抽出し、特徴ベクトル生成部１６及びチャプタ点検出部１８に供給する。

ビデオ特徴量抽出部１５は、デコーダ１３から供給されたビデオデータから、色ヒストグラム、差分画像、縮小画像などを、ビデオの特徴量として抽出し、特徴ベクトル生成部１６及びチャプタ点検出部１８に供給する。

特徴ベクトル生成部１６は、オーディオ特徴量抽出部１４又はビデオ特徴量抽出部１５から供給された特徴量の中から、識別部１７において、チャプタ点が付される番組の分類を識別するのに用いる所定の特徴量を選択し、選択した特徴量を要素とするベクトル（以下、特徴ベクトルと称する）を生成する。特徴ベクトル生成部１６は、生成した特徴ベクトルを、識別部１７に供給する。

識別部１７は、特徴ベクトル生成部１６から供給された特徴ベクトルに基づいて、番組の分類（いまの例の場合、チャプタ点を検出するのに適した番組の分類）を識別する。

例えば識別部１７は、線形識別器、非線形識別器、又はニューラルネットなどの識別器で構成され、特徴ベクトルを構成する各要素を、学習器３１により設定された識別パラメータに基づいて生成した直線や曲線等で分割した所定の特徴空間に配置し、配置した各要素の分布が属する特徴空間の分割領域に基づいて、番組の分類を識別する。

識別部１７は、識別結果として、番組の分類を示す情報（以下、分類情報と称する）を、チャプタ点検出部１８に供給する。

チャプタ点検出部１８は、識別部１７から供給された分類情報が示す番組の分類に応じて、チャプタ点を検出し、検出したチャプタ点を示す情報（以下、チャプタ点情報と称する）を、保持部１９に供給して保持させる。

例えばチャプタ点検出部１８は、オーティオ特徴量抽出部１４又はビデオ特徴量抽出部１５から供給される特徴量の中から、番組の分類に応じた特徴量を選択するとともに、番組の分類に応じた演算処理を実行する。

すなわちこの場合、チャプタ点検出部１８は、番組の分類に応じた特徴量の選択及び演算を実行するための実行データ（例えば、パラメータやアルゴリズムを含むプログラム）を、番組の分類毎に保持しており、番組の分類に応じた実行データを選択して実行することにより、チャプタ点を検出する。

再生部２１は、保持部２０に保持されているAVデータを読み出して、通常の再生やダイジェスト再生を行う。ダイジェスト再生を行う際は、再生部２１は、保持部１９に保持されているチャプタ点情報に示されている映像（例えば、フレーム）にチャプタを付与するとともに、チャプタが付与された映像を、保持部２０から適宜読み出して再生する。すなわちチャプタが付された映像が間引かれて再生される。

学習器３１は、モデルの学習処理を行い、学習の結果として識別部１７において番組の分類の識別に用いられるパラメータ、すなわち例えば特徴空間を分割するための直線や曲線を生成するためのパラメータを、識別部１７に供給して設定する。

サッカーの試合を放送する番組では、図２に示すように、通常、グランドの映像を含むシーンが多く放送されるので、サッカーの試合を放送する番組からは、例えば緑色の頻度が高い色ヒストグラムが多く（例えば、連続して）得られる。

そこで学習時において学習器３１は、図２に示すようなグランドの映像を含むシーンから構成されるサッカーの試合を放送する番組を、分類が「サッカー番組」の教師データとし、教師データから得られるフレーム毎の色ヒストグラムの特徴ベクトルを、識別部１７に供給する。そして学習器３１は、識別部１７からの識別結果を参照して、識別部１７が、分類が「サッカー番組」であると識別することができるような識別パラメータ（すなわち、例えば色ヒストグラムから得られた緑色の頻度の特徴空間上の分布が、「サッカー番組」の領域内となるように特徴空間を分割する直線等を生成するための識別パラメータ）を生成し、識別部１７に供給して設定する。

また、事件や出来事を報道する番組は、図３に示すように、人物とスタジオの映像を含むシーンが多く放送されるので、事件や出来事を報道する番組からは、人物とスタジオの特有の色の頻度が高い色ヒストグラムが多く得られる。

そこで学習時において学習器３１は、図３に示すような人物とスタジオの映像を含むシーンから構成される事件や出来事を報道する番組を、分類が「ニュース番組」の教師データとし、教師データから得られるフレーム毎の色ヒストグラムの特徴ベクトルを識別部１７に供給する。そして学習器３１は、識別部１７からの識別結果を参照して、識別部１７が、分類が「ニュース番組」であると識別することができるような識別パラメータ（すなわち、例えば特定の色の頻度の特徴空間上の分布が、「ニュース番組」の領域内となるように特徴空間を分割する直線等を生成するための識別パラメータ）を生成し、識別部１７に供給して設定する。

なお教師データを用いないで学習することもできる。例えば特徴空間を、特徴ベクトルの要素の配置などから、いくつかの類型に分類し、その分類が実現できるような識別パラメータが生成される。

図１に戻り制御部４１は、記録再生装置１全体を制御し、番組録画、通常再生、ダイジェスト再生等の処理を実行させる。

次に、チャプタ点検出処理を、具体的に説明する。

図４に示すような、サッカーの試合を放送する番組からチャプタ点を検出する場合について説明する。図４の上段には、サッカーの試合を放送する番組を構成する映像が示され、図４の下段には、その映像と同時に出力される音声の音量が示されている。

いまの場合、オーディオ特徴量抽出部１４は、デコーダ１３から供給された図４に示すように音量が変動する音声のオーディオデータから、音量、周波数スペクトラム、左右チャンネル相関値などを、オーディオの特徴量として抽出し、特徴ベクトル生成部１６及びチャプタ点検出部１８に供給する。

ビデオ特徴量抽出部１５は、デコーダ１３から供給された図４に示す映像のビデオデータから、色ヒストグラム、差分画像、縮小画像などを、ビデオの特徴量として抽出し、特徴ベクトル生成部１６及びチャプタ点検出部１８に供給する。

特徴ベクトル生成部１６は、いまの例の場合、オーディオ特徴量抽出部１４又はビデオ特徴量抽出部１５から供給された特徴量のうち、ビデオ特徴量抽出部１５から供給された色ヒストグラムを用いて、特徴ベクトルを生成し、識別部１７に供給する。

図４に示した映像からは、図２を参照して上述したように、例えば緑色の頻度が高い色ヒストグラムを多く含む特徴ベクトルが生成され、識別部１７に供給される。

識別部１７は、緑色の頻度が高い色ヒストグラムを多く含む特徴ベクトルが特徴ベクトル生成部１６から供給されると、上述したように、そのような特徴ベクトルからは、番組の分類が「サッカー番組」であることを識別できるように学習しているので、番組の分類が「サッカー番組」であると識別し、その識別結果として、分類が「サッカー番組」であることを示す分類情報を、チャプタ点検出部１８に供給する。

サッカーの試合を放送する番組は、キックオフのとき、ゴールチャンスがあったとき、又はゴールがあったとき等の盛り上がっているシーン（図４の例では、図中、上向きの矢印が付されている映像Ｆ４２，Ｆ５１，Ｆ５３）で音量が高くなる特徴がある。

すなわちこの盛り上がっているシーンが、ユーザが興味を有する点であるので、ダイジェスト再生においてはこのシーンが再生されることが望ましい。そこで識別部１７から番組の分類が「サッカー番組」であることを示す分類情報が供給された場合、チャプタ点検出部１８は、オーディオ特徴量抽出部１４及びビデオ特徴量抽出部１５から供給された特徴量の中から音量を選択し、一定以上の音量が得られた盛り上がりシーンをチャプタ点とする演算を行う。チャプタ点検出部１８は、その演算の結果検出したチャプタ点のチャプタ点情報を、保持部１９に供給して保持させる。

このように番組の分類が「サッカー番組」であると識別された場合、盛り上がり点がチャプタ点として検出されると、ダイジェスト再生において、キックオフのとき、ゴールチャンスがあったとき、又はゴールがあったとき等の盛り上がっているシーンの映像Ｆ４２，Ｆ５１，Ｆ５３等が、ダイジェスト再生される。

次に、図５に示すような、事件や出来事を報道する番組からチャプタ点を検出する場合について説明する。

オーディオ特徴量抽出部１４は、デコーダ１３から供給されたオーディオデータから、音量、周波数スペクトラム、左右チャンネル相関値などを、オーディオの特徴量として抽出し、特徴ベクトル生成部１６及びチャプタ点検出部１８に供給する。

ビデオ特徴量抽出部１５は、デコーダ１３から供給された図５に示す映像のビデオデータから、色ヒストグラム、差分画像、縮小画像などを、ビデオの特徴量として抽出し、特徴ベクトル生成部１６及びチャプタ点検出部１８に供給する。

特徴ベクトル生成部１６は、いまの例の場合、オーディオ特徴量抽出部１４又はビデオ特徴量抽出部１５から供給された特徴量のうち、ビデオ特徴量抽出部１５から供給された色ヒストグラムを用いて、特徴ベクトルを生成し、識別部１７に供給する。

図５に示した映像からは、図３を参照して上述したように、人物とスタジオの特有の色の頻度が高い色ヒストグラムを多く含む特徴ベクトルが生成されて、識別部１７に供給される。

識別部１７は、人物とスタジオの特有の色の頻度が高い色ヒストグラムを多く含む特徴ベクトルが特徴ベクトル生成部１６から供給されると、上述したように、そのような特徴ベクトルからは、番組の分類が「ニュース番組」であることを識別できるように学習しているので、番組の分類が「ニュース番組」であると識別し、その識別結果として、分類が「ニュース番組」であることを示す分類情報を、チャプタ点検出部１８に供給する。

事件や出来事を報道する番組は、報道の内容を説明するアナウンサーの映像と事件等に応じた映像が順次切り替わる（図５の例では、図中、上向きの矢印が付されている映像Ｆ６１，Ｆ６３，Ｆ７１，Ｆ７２で切り替わっている）特徴がある。

すなわちこの映像が切り替わるシーンが、報道の内容を説明するアナウンサーの映像と報道に応じた映像の冒頭のシーンであるので、ダイジェスト再生においてはこのシーンが再生されることが望ましい。そこで識別部１７から番組の分類が「ニュース番組」であることを示す分類情報が供給された場合、チャプタ点検出部１８は、オーディオ特徴量抽出部１４及びビデオ特徴量抽出部１５から供給された特徴量の中から色ヒストグラムと差分画像を選択し、それらを用いて、映像の連続性がない位置（例えば、フレーム）（以下、カット点と称する）（すなわち報道の内容を説明するアナウンサーの映像と報道に応じた映像が切り替わる位置）を、チャプタ点とする演算を実行する。チャプタ点検出部１８は、その演算の結果検出したチャプタ点のチャプタ点情報を、保持部１９に供給して保持させる。

このように番組が「ニュース番組」であると識別された場合、カット点をチャプタ点として検出されると、ダイジェスト再生において、報道の内容を説明するアナウンサーの映像と報道に応じた映像が切り替わるシーンの映像Ｆ４２、Ｆ５１、Ｆ５３が、ダイジェスト再生される。

次に、図６に示すような、サッカーの試合結果（いわゆるダイジェスト）を紹介する番組からチャプタ点を検出する場合について説明する。

オーディオ特徴量抽出部１４は、デコーダ１３から供給されたオーディオデータから、音量、周波数スペクトラム、左右チャンネル相関値などを、オーディオの特徴量として抽出し、特徴ベクトル生成部１６及びチャプタ点検出部１８に供給する。

ビデオ特徴量抽出部１５は、デコーダ１３から供給された図６に示す映像のビデオデータから、色ヒストグラム、差分画像、縮小画像などを、ビデオの特徴量として抽出し、特徴ベクトル生成部１６及びチャプタ点検出部１８に供給する。

特徴ベクトル生成部１６は、いまの例の場合、オーディオ特徴量抽出部１４又はビデオ特徴量抽出部１５から供給された特徴量のうち、ビデオ特徴量抽出部１５から供給された色ヒストグラムを用いて、特徴ベクトルを生成し、識別部１７に供給する。

図６に示した映像からは、人物とスタジオの特有の色の頻度が高い色ヒストグラム多く含む色ヒストグラムが生成されて、識別部１７に供給される。

識別部１７は、人物とスタジオの特有の色の頻度が高い色ヒストグラムを多く含む特徴ベクトルが特徴ベクトル生成部１６から供給されると、上述したように、そのような特徴ベクトルからは、番組の分類が「ニュース番組」であることを識別できるように学習しているので、番組の分類が「ニュース番組」であると識別し、その識別結果として、分類が「ニュース番組」であることを示す分類情報を、チャプタ点検出部１８に供給する。

識別部１７から番組の分類が「ニュース番組」であることを示す分類情報が供給されると、チャプタ点検出部１８は、図５の例の場合と同様に、オーディオ特徴量抽出部１４及びビデオ特徴量抽出部１５から供給された特徴量の中から色ヒストグラムと差分画像を選択し、それらを用いて、カット点をチャプタ点とする演算を実行する。チャプタ点検出部１８は、その演算の結果検出したチャプタ点のチャプタ点情報を、保持部１９に供給して保持させる。

サッカーの試合結果（いわゆるダイジェスト）を紹介する番組は、試合結果の内容を説明するアナウンサーの映像と試合の映像が順次切り替わる（図６の例では、図中、上向きの矢印が付されている映像Ｆ８１，Ｆ８２，Ｆ９１，Ｆ９２で切り替わっている）特徴がある。この特徴は、アナウンサーの映像とそれ以外の映像が順次切り替わる点で、事件や出来事を報道する番組（図５）の特徴に対応している。

すなわちこの映像が切り替わるシーンが、試合内容を説明するアナウンサーの映像と試合の映像の冒頭のシーンであるので、分類が「ニュース番組」とされる番組の場合と同様に、ダイジェスト再生においてはこのシーンが再生されることが望ましい。

図６に示したようなサッカーの試合結果を紹介する番組は、EPGでは、そのジャンルが「サッカー番組」とされるが、このように、分類が「ニュース番組」であると識別し、分類が「ニュース番組」である番組に対する場合と同様な方法で、チャプタ点を検出するようにしたので、サッカーの試合結果を紹介する番組に対して最適なダイジェスト再生を行うことができる。図６の例の場合、試合結果を説明するアナウンサーの映像とその試合に応じた映像が切り替わるシーンの映像Ｆ８１，Ｆ８３，Ｆ９１，Ｆ９２等が、ダイジェスト再生される。

例えば図６に示す番組に対して、EPGでの分類に応じて、図４の例の場合のように盛り上がり点をチャプタ点として検出すると、ダイジェスト再生において適切な映像を再生することができない。

以上のようにして、ダイジェスト再生で利用されるチャプタ点の検出に適した番組の分類識別が行われ、その分類に基づいてチャプタ点が検出される。

なお以上においては、放送番組をダイジェスト再生する場合に利用されるチャプタ点検出を例として説明したが、他のコンテンツをダイジェスト再生する場合のチャプタ点検出についても同様に適用することができる。例えばカムコーダで撮ったパーソナルコンテンツについても適用することができる。なおパーソナルコンテンツの分類用の学習が必要となるが、図１の例では、学習器３１が記録再生装置１に内蔵されているので、その学習が容易となる。

なお学習器３１が内蔵されず、外部の学習器で生成された識別パラメータを、記録再生装置１に供給し、識別部１７に設定するようにすることもできる。この識別パラメータの記録再生装置１への供給は、識別パラメータを記録再生装置１が読み取り可能な記録媒体に記録させることによって行うこともできるし、記録再生装置１がネットワークと接続されている場合、そのネットワークを介して提供することもできる。

また以上においては、ダイジェスト再生で利用されるチャプタ点の検出に適した番組の分類を識別する場合を例として説明したが、他の処理に適した分類が識別されるようにすることもできる。

また以上においては、分類識別処理が実行されるタイミングについては言及しなかったが、番組を録画とすると同時に行うことができる。すなわち入力制御部１２は、AVデータを保持部２０に供給して記憶させるとともに（すなわち録画させるとともに）、デコーダ１３に供給する。

デコーダ１３乃至識別部１７は、入力制御部１２から供給されたAVデータに基づいて、上述したように分類識別処理を実行する。なおこの際、チャプタ点検出部１８は、動作せず、オーディオ特徴量抽出部１４及びビデオ特徴量抽出部１５から供給された特徴量は、例えばチャプタ点検出部１８に保持されるようにすることもできるし、破棄されるようにすることもできる。

なおチャプタ点検出は、番組の録画が完了し、番組の分類が識別された後、保持部２０に保持されたAVデータがデコーダ１３によって読み出され、オーディオ特徴量抽出部１４及びビデオ特徴量抽出部１５によって各特徴量が抽出され、チャプタ点検出部１８において、抽出された特徴量から先に識別された番組の分類に応じた特徴量が選択されて、チャプタ点が検出される。

また分類識別に必要な特徴ベクトルの特徴量を、番組全体に渡って抽出することもできるし、例えば番組の先頭の所定の時間（例えば、１０分間）の部分から抽出することもできる。番組全体に渡って特徴量を抽出する場合には、上述したように番組の録画が完了した後、分類識別が行われるが、番組の一部から特徴量を抽出する場合、オーディオ特徴量抽出部１４及びビデオ特徴量抽出部１５のそれぞれと、チャプタ点検出部１８の間にバッファを設け、特徴ベクトルが生成されて分類が識別されるまでの特徴量をバッファしておけば、分類が識別された後に、直ちにチャプタ点検出を開始することができる。

また以上においては、番組の分類が「ニュース番組」又は「サッカー番組」である場合を例として説明したが、「音楽番組」など、他の分類に識別することができるようにすることができる。歌や演奏を放送する番組には、司会者と出演者との会話の時間が長く、その分類を「ニュース番組」とした方が、ダイジェスト再生におけるチャプタ点を適切に検出することができる場合がある。

また分類は、いわゆるジャンルに相当するものに限らず、他のものであってもよい。歌や演奏を放送する番組には、以下に示すようなタイプがあるが、それらを分類として識別することができれば、ダイジェスト再生におけるチャプタ点検出をさらに適切に行うことができる。
・司会者と出演者との会話などよりも、実際の歌や演奏の時間が長いタイプ
・司会者と出演者との会話などが長いタイプ
・ホールなどの収録であって、観客の声援や拍手が入るタイプ

また以上においては、分類識別に当り、EPGデータを利用しなかったが、保持部２２に保持されたEPG情報をさらに利用して番組の分類識別の精度を向上させることもできる。

図７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明を適用した記録再生装置１の構成例を示すブロック図である。 教師データの例を示す図である。 他の教師データの例を示す図である。 チャプタ点検出対象の番組の例を示す図である。 チャプタ点検出対象の他の番組の例を示す図である。 チャプタ点検出対象の他の番組の例を示す図である。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ 記録再生装置， １１ データ分離部， １２ 入力制御部， １３ デコーダ， １４ オーディオ特徴量抽出部， １５ ビデオ特徴量抽出部， １６ 特徴ベクトル生成部， １７ 識別部， １８ チャプタ点検出部， １９ 保持部， ２０ 保持部， ２１ 再生部， ２２ 保持部， ３１ 学習部， ４１ 制御部

Claims (7)

1. コンテンツの特徴量を抽出する抽出手段と、
   前記抽出手段により抽出された前記特徴量に基づいて前記コンテンツの分類を識別する識別手段と、
   前記コンテンツに対する所定の処理を、前記識別手段により識別された分類に応じた方法で実行する実行手段と
   を備える情報処理装置。
2. 前記実行手段は、前記識別手段により識別された前記分類に応じて、前記所定の処理の方法を選択し、選択したその方法で、前記所定の処理を実行する
   請求項１に記載の情報処理装置。
3. 前記コンテンツは、ビデオデータを含んで構成されており、
   前記所定の処理は、前記コンテンツから、ダイジェスト再生されるチャプタ点を検出する処理であり、
   前記実行手段は、前記識別手段により識別された前記分類に応じて、チャプタ点検出に利用する特徴量及びその特徴量に基づいてチャプタ点を検出するための演算方法を選択し、選択したその特徴量及び演算方法に基づいて、チャプタ点を検出する
   請求項２に記載の情報処理装置。
4. 所定の分類に属する所定のコンテンツを前記所定の分類に識別することができるパラメータを生成する学習手段をさらに備え、
   前記識別手段は、前記学習手段により生成されたパラメータに基づいて、前記コンテンツの分類を識別する
   請求項１に記載の情報処理装置。
5. 前記識別手段は、外部の学習装置により生成された所定の分類に属する所定のコンテンツを前記所定の分類に識別することができるパラメータを入力し、入力したパラメータに基づいて、前記コンテンツの分類を識別する
   請求項１に記載の情報処理装置。
6. コンテンツの特徴量を抽出する抽出ステップと、
   前記抽出ステップの処理で抽出された前記特徴量に基づいて前記コンテンツの分類を識別する識別ステップと、
   前記コンテンツに対する所定の処理を、前記識別ステップの処理で識別された分類に応じた方法で実行する実行ステップと
   を含む情報処理方法。
7. コンテンツに対する所定の処理を実行する情報処理をコンピュータに実行させるプログラムにおいて、
   前記コンテンツの特徴量を抽出する抽出ステップと、
   前記抽出ステップの処理で抽出された前記特徴量に基づいて前記コンテンツの分類を識別する識別ステップと、
   前記コンテンツに対する所定の処理を、前記識別ステップの処理で識別された分類に応じた方法で実行する実行ステップと
   を含む情報処理をコンピュータに実行させるプログラム。

Images