JP2007318200A - コンテンツ再生装置およびコンテンツ再生方法 - Google Patents

Abstract

【課題】簡単なユーザ操作のみで、ユーザが所望するシーン区間のみを通常速度再生したり、ユーザが再生を希望しないシーン区間をスキップ再生したりできる。
【解決手段】記憶手段に、コンテンツの分類種別ごとに、所定の特徴データを記憶する。再生対象のコンテンツの分類種別を検出し、検出された再生対象のコンテンツの分類種別と同じまたは同種の分類種別についての所定の特徴データを記憶手段から取得する。所定の再生時に、再生対象のコンテンツのデータの区切りの隣接するものにより特定される分節区間毎の特徴データを取得し、取得した分節区間毎の特徴データと、記憶手段から取得した所定の特徴データとを比較し、両特徴データが同一または類似するか否か判別する。両特徴データが同一または類似すると判別したときに、取得した分節区間では、他の区間とは異なる再生速度で再生するように制御する。
【選択図】図１

Description

この発明は、例えばテレビ放送番組などのコンテンツの再生装置およびコンテンツ再生方法に関する。

例えばテレビ放送番組などのコンテンツをハードディスクやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの大容量の記録媒体に記録し、当該記録したテレビ放送番組などのコンテンツを再生する記録再生装置が普及している。特に、ハードディスクは、記録容量が非常に大きく、大量のコンテンツを格納することができるようになっている。

このように記録容量に余裕があるため、例えばテレビ放送番組の場合、とりあえず、視聴の可能性のあるテレビ放送番組を記録媒体に記録しておき、後で、視聴するというような記録再生装置の使い方が可能となっている。

しかし、後で視聴する場合において、記録したテレビ放送番組のすべてを通常速度再生するのには長時間を要する。これは、視聴時間を長時間、取れないユーザにとっては、大きな問題であり、記録したテレビ放送番組を視聴する機会を中々作れない場合が多くなるという問題がある。

このため、録画したテレビ放送番組のすべてを再生して視聴するのではなく、必要とする場面（シーン）のみを再生したいという要求がある。例えば録画したスポーツ番組などにおいて、得点シーンなどを探す場合が考えられる。このような場合に、従来の技術では、１．５倍速〜１０倍速再生などの変速再生により、順次その所望のシーンを再生しながら当該所望のシーンを探すことをしていた。

しかしながら、このようなサーチ動作では、例えば、高速で画面が変化するので、所望の探しているシーンを見過ごしてしまう場合が考えられる。また、高速で変化する画面を見ながら所望のシーンを探すことになるので、ユーザにとっては目の疲労などが考えられる。

この問題を軽減する一つの手法として、テレビ放送番組の中から、主要なシーン区間を抽出して短時間で番組を再生するようにする、いわゆるダイジェスト再生機能が提案されている（例えば特許文献１（特開２００２−１９９３３３号公報）参照）。

このダイジェスト再生を行う場合には、まず、テレビ放送番組の映像信号や音声信号について予め定めた複数種類の特徴量、例えば無音、黒レベル、歓声、テロップの有無などを検出し、その特徴量検出に基づいてシーン変化点を検出することにより、番組を複数個のシーンに分ける。このとき、各シーンに対応する特徴量も保持しておく。

次に、テレビ放送番組からダイジェスト再生するシーンを抽出するのであるが、どのようなシーンを抽出するかは、テレビ放送番組のジャンルに応じた特徴量に注目して定めるようにしている。例えば、スポーツのジャンルのテレビ放送番組であれば、観客が歓声を上げているシーンを抽出する、ニュース番組であれば、アナウンサーが中央に映出されているシーンを抽出する、というように、放送番組のジャンルに応じて注目すべき特徴量を定め、その特徴量をより多く有するシーンを抽出するようにする。

このため、ダイジェスト再生の対象となるテレビ放送番組のジャンルを検出し、その検出したジャンルに応じて、いずれの特徴量に基づいてシーンを抽出するかを設定する。次に、設定した特徴量をより多く有するシーン区間の情報（この区間情報をダイジェスト情報と呼ぶ）を、ダイジェスト再生の対象となるテレビ放送番組から検出する。そして、検出したダイジェスト情報により示されるシーン区間のみを再生することでダイジェスト再生を実行する。

上記の特許文献および参考となる特許文献は、次の通りである。
特開２００２−１９９３３３号公報

しかしながら、上述した特許文献１に記載のダイジェスト再生の方法では、ダイジェスト情報を予め生成しなければならず、厄介であった。また、ジャンルに応じて予め定められた特徴量を用いてダイジェスト情報の生成をするものであるので、ユーザが所望するシーンが必ずしも抽出されるとは限らないという問題もある。

さらに、ダイジェスト再生は、ダイジェスト情報により示されるシーン区間のみを再生するので、高速再生しながら、ユーザが所望するシーン区間のみを通常再生速度で再生をするなどという再生態様を得ることができない。

この発明は、以上の点にかんがみ、以上の問題点を改善したコンテンツ再生装置およびコンテンツ再生方法を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、
コンテンツの分類種別ごとに、所定の特徴データを記憶する記憶手段と、
所定の再生時に、前記再生対象のコンテンツのデータの区切りの隣接するものにより特定される分節区間毎の特徴データを取得する分節区間特徴データ取得手段と、
再生対象のコンテンツの前記分類種別を検出する分類種別検出手段と、
前記分類種別検出手段で検出された前記再生対象のコンテンツの分類種別と同じまたは同種の分類種別についての前記所定の特徴データを前記記憶手段から読み出す読み出し手段と、
前記分節区間特徴データ取得手段で取得した前記分節区間毎の特徴データと、前記記憶手段から読み出された前記所定の特徴データとを比較し、前記分節区間毎の特徴データと、前記記憶手段からの前記所定の特徴データとが、同一または類似であるか否かを判別する判別手段と、
前記判別手段で、前記分節区間毎の特徴データと、前記記憶手段から読み出された前記所定の特徴データとが同一または類似であると判別したときに、前記同一または類似であると判別された前記分節区間では、他の区間とは異なる再生速度で再生するように制御する制御手段と、
を備えるコンテンツ再生装置を提供する。

上述の構成の請求項１の発明においては、所定の再生時、例えば高速再生時に、分節区間（例えば映像コンテンツのシーンに対応）毎の特徴データが分節区間特徴データ取得手段により取得される。

そして、取得された分節区間毎の特徴データと、記憶手段から読み出された再生対象のコンテンツの分類種別と同じまたは同種の分類種別についての前記所定の特徴データとが比較され、前記分節区間毎の特徴データと、前記所定の特徴データとが同一または類似すると判別したときに、前記分節区間では、他の区間とは異なる再生速度で再生される。

例えば、前記所定の再生時が、高速再生時であって、その特徴データが、所定の特徴データと同一または類似すると判別された前記分節区間では通常速度再生されるように制御するようにすることができる。したがって、記憶手段により記憶された所定の特徴が、ユーザが好む分節区間の特徴データとしておくことで、この所定の特徴と同一または類似の特徴を備えるユーザが好むと推定される分節区間は、通常速度再生し、その他は高速再生するような再生態様が実現できる。

また、例えば、前記所定の再生時が、通常速度再生時であって、その特徴データが、所定の特徴データと同一または類似すると判別された前記分節区間では高速再生やジャンプ再生がなされるように制御することができる。したがって、記憶手段により記憶された所定の特徴が、ユーザが好まない分節区間の特徴データとしておくことで、この所定の特徴と同一または類似の特徴を備えるユーザが好まないと推定される分節区間は、高速再生やジャンプ再生をし、その他の区間では通常速度再生するような再生態様が実現できる。

この発明によれば、ユーザが所望するシーンなどの分節区間と同じまたは類似の特徴を備える分節区間を通常速度再生し、他の区間は高速再生したり、ユーザが所望しないシーンなどの分節区間と同じまたは類似の特徴を備える分節区間は高速再生やジャンプ再生し、他の区間は通常速度再生したりすることが可能になる。

以下、この発明によるコンテンツ再生装置およびコンテンツ再生方法の実施形態を、図を参照しながら説明する。以下に説明する実施形態は、テレビ放送番組およびインターネットからダウンロードした映像・音声コンテンツを記録再生する記録再生装置に、この発明を適用した場合であり、再生対象のコンテンツは、記録媒体に記録されたテレビ放送番組やダウンロードされたコンテンツなどとされている。なお、以下の実施形態は、記録再生装置にこの発明を適用した場合の例であり、コンテンツ再生装置およびコンテンツ再生方法の実施形態は、当該記録再生装置の再生系に、それぞれ具現化されている。

［第１の実施形態］
第１の実施形態は、受信したテレビ放送番組の映像信号および音声信号からなる情報信号を、内蔵するハードディスク装置などからなる内蔵記録媒体に記録し、また、この内蔵記録媒体に記録された情報信号を読み出して再生する機能を備える記録再生装置に、この発明を適用した場合の例である。

この実施形態の記録再生装置は、記録媒体としてＤＶＤなどのリムーバルな外部記録媒体を用いることができるようにされており、当該外部記録媒体に対しても、この発明が同様に適用できるようにされているが、説明が煩雑になるので、図１の例では、外部記録媒体への記録再生の系は省略してある。以下の説明においても、便宜上、記録媒体は内蔵記録媒体のみを用いるものとし、外部記録媒体に対する記録再生処理は省略してある。

この例の記録再生装置は、テレビ放送番組などの映像信号および音声信号を内蔵記録媒体に記録し、また、この内蔵記録媒体に記録されている映像信号および音声信号を再生する機能を備えるだけでなく、記録するテレビ放送番組などの映像信号および音声信号または再生した映像信号および音声信号の特徴量（特徴データ）を検出し、その検出出力から、特徴点としてのシーン変化点を検出し、その検出したシーン変化点の情報のうちの必要なものを、テレビ放送番組などの情報信号と共に、記録媒体に記録する機能を備える。

ここで、シーン変化点は、情報信号の区切りに対応し、例えば番組本編とコマーシャル（以下、ＣＭと略称する）との区切りのみではなく、番組本編内の番組宣伝の区間の開始点および終了点、番組オープニングや番組エンディングの区間の開始点や終了点の他、番組本編内で、場面が大きく変化する場面変化点（いわゆるシーンチェンジ）を含む。また、この実施形態では、複数個のＣＭが連続するとき、それぞれのＣＭの開始点、終了点もシーン変化点として検出することができるようにされている。

なお、この実施形態の説明においては、隣接するシーン変化点により特定されるテレビ放送番組の情報信号（映像信号や音声信号）の区間、すなわち、隣接するシーン変化点の間の区間（これを分節区間と称することとする）を、シーンと呼ぶことにする。このシーンは、最短で数秒程度の区間のものであり、番組内のスポーツコーナーや料理コーナーなどの「コーナー」は、通常、連続する複数個のシーンからなる。ただし、検出されたシーン区間が長い場合には、コーナーが１個のシーンからなる場合もある。

［第１の実施形態の記録再生装置のハードウエア構成例］
図１は、第１の実施形態の記録再生装置のハードウエア構成例を示すブロックである。図１において、システムコントローラ部２０は、マイクロコンピュータを備えて構成されるもので、この例の記録再生装置における各種モードの制御およびその他の動作制御を行なう。

このシステムコントローラ部２０には、例えばリモートコマンダ２２を用いたユーザの操作入力に応じて操作入力情報が、ユーザ入力インターフェース部２１を通じて供給される。システムコントローラ部２０は、入力された操作入力情報を判別し、当該操作入力情報に応じた処理を実行する。

システムコントローラ部２０には、表示処理部２３を通じて、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などからなる表示部２４が接続されており、この表示部２４に、ユーザの操作入力に際して参考となる表示情報が表示される。ユーザは、この表示部２４の表示を見ながら、種々の操作入力をすることができる。

＜記録系処理＞
先ず、図１を参照しながら、この例の記録再生装置の記録系について説明する。
ユーザが、例えばリモートコマンダ２２を用いて記録指示のコマンド入力をすると、その操作情報が、ユーザインターフェース部２１を通じてシステムコントローラ部２０に供給され、このシステムコントローラ部２０による制御の下で、記録再生装置は、以下のような記録処理を行なう。

放送受信部２は、この例では、地上波アナログテレビ放送の受信用として、テレビチューナ、映像および音声中間周波回路および映像および音声検波回路を備える。

前述の記録指示のコマンド入力に先立ち、ユーザは、リモートコマンダ２２を用いて、選局入力操作をする。すると、その操作情報が、ユーザインターフェース部２１を通じてシステムコントローラ部２０に供給され、システムコントローラ部２０は、ユーザの選局操作に応じた放送チャンネルを選択するようにするための選局制御情報を放送受信部２に供給する。この選局の際、システムコントローラ部２０は、表示処理部２３を通じて表示部２４に選局中の放送チャンネルの表示を行なうので、ユーザは、この表示部２４の表示を見ながら、選局操作をする。

放送受信部２は、この選局制御情報を受けて、受信アンテナ１で受信したテレビ放送電波から、ユーザが選局した放送チャンネルの放送番組を選択抽出し、当該選択抽出した放送番組から映像信号および音声信号を出力する。

放送受信部２で選択抽出されたテレビ放送番組の映像信号および音声信号は、映像信号記録エンコード部３および音声信号記録エンコード部４に供給されて、所定のサンプリング周波数、所定の量子化ビット数で、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換信号処理が行われ、その変換後のデジタル映像信号およびデジタル音声信号が、記録エンコード処理される。

ここで記録エンコード処理としては、デジタル音声信号に対しては、例えばＭＰＥＧオーディオやＡＣ−３オーディオ（ドルビーＡＣ−３、またはＡｕｄｉｏ Ｃｏｄｅ Ｎｕｍｂｅｒ ３）などの所定の帯域圧縮方式でデータ圧縮処理が行われる。

また、デジタル映像信号に対しては、記録エンコード処理として、例えばＭＰＥＧビデオやウェーブレット変換などの所定の帯域圧縮方式でデータ圧縮処理が行われる。そして、データ圧縮処理された映像データは、前記圧縮音声データと多重化されて、記録処理部５を通じて内蔵の記録媒体６に記録される。

このとき、記録される放送番組には識別情報（記録番組識別情報という）が付与され、圧縮映像データおよび圧縮音声データは、この記録番組識別情報が付加されて記録媒体６に記録される。この記録番組識別情報は、再生時の検索用に用いられる。ここで、内蔵の記録媒体６は、この例では、ハードディスク装置で構成される。

また、この例の記録再生装置では、放送受信部２では、例えば垂直ブランキング期間に重畳されている放送番組に関する情報を抽出し、当該抽出した情報をジャンル判定部７に供給される。ジャンル判定部７は、受け取った放送番組に関する情報から放送番組コンテンツの分類種別、つまり、ジャンルを判定し、その判定結果をシステムコントローラ部２０に入力するようにする。

また、この例の記録再生装置では、映像信号記録エンコード部３からのデジタル映像信号および音声信号記録エンコード部４からのデジタル音声信号は、特徴抽出処理部８に供給されて、予め定められた種々の特徴データが検出され、その検出された特徴データがシーン変化点検出部９に供給されると共に、システムコントローラ部２０に供給される。

特徴抽出処理部８で行なう特徴データの検出としては、番組本編とＣＭとの区切り、複数個のＣＭが連続するとき、それぞれのＣＭの開始点、終了点を検出するためのものとしては、無音区間の検出、黒レベル区間の検出などが用いられる。また、ＣＭ区間の時間長は１５秒、３０秒、４５秒、６０秒などのように、１５秒の倍数となっているので、検出された無音区間や黒レベル区間の時間長さが１５秒の倍数となっているかもＣＭ区間の検出に用いられる。

また、その他の特徴データの検出としては、シーンチェンジの検出、テロップの検出、人物の検出、肌色検出、トーク検出、音楽検出、盛り上がり検出などが用いられる。ここで、盛り上がり検出は、静かな状態から急激な音量変化があったり、大きな拍手があったりすることを検出することにより行なわれる。

すなわち、特徴抽出処理部８では、この例では、各種映像特性データおよび各種音声特性データと所定のパラメータデータとにより、所定のテロップ特徴データ（テロップ区間判定データ）、人物特徴データその他の画像特徴データ（画像特徴区間判定データ）、および話者音声特徴データ（話者音声判定データ）、拍手歓声特徴データ（拍手歓声判定データ）、その他の音声特徴データ（音声特徴区間判定データ）の各種特徴抽出処理が行われる。

なお、特徴抽出処理部８には、映像信号記録エンコード処理部３および音声信号記録エンコード部４からの、データ圧縮処理過程の途中で得られる映像データおよび音声データが入力される。この例では、後述するように、再生信号についても特徴抽出処理を行ない、シーン変化点の検出を行なうことを考慮して、データ圧縮処理過程の途中で得られるデータを用いて特徴抽出処理およびシーン変化点検出部９においてシーン変化点の検出を行なうようにする。

このようにすれば、再生信号について、特徴抽出処理およびシーン変化点の検出を行なう際に、再生信号を完全に圧縮デコードして、元のデジタル音声データおよびデジタル映像データに戻す必要がなく、圧縮デコード処理の途中のデータを用いて特徴抽出処理およびシーン変化点検出を行なうことができ、検出処理が早くなるというメリットがある。

シーン変化点検出部９では、特徴抽出処理部８で抽出された特徴データからシーン変化点を検出する。この場合に、シーン変化点検出部９は、前述したように、例えば番組本編とＣＭとの区切りのみではなく、番組本編内の番組宣伝の区間の開始点および終了点、番組オープニングや番組エンディングの区間の開始点や終了点の他、番組本編内で、場面が大きく変化する場面変化点、複数個のＣＭが連続するとき、それぞれのＣＭの開始点、終了点などを、区切りとしてのシーン変化点（特徴点）として検出する。この例の場合、このシーン変化点の検出データは、ＣＭや番組本編、番組オープニング、番組エンディングの開始点および終了点の位置情報（例えばＣＭを含めた放送番組の先頭位置を基準にしたフレーム番号（あるいはフィールド番号））である。

なお、受信した放送番組の情報に、番組タイトルや番組のジャンルなどの情報が含まれている場合には、特徴抽出処理部８では、これら番組タイトルやジャンルの情報をも、特徴データとして検出し、シーン変化点検出部９に送る。したがって、シーン変化点検出部９は、これら番組タイトルやジャンルの情報をも用いて、シーン変化点の検出を行なう。

そして、シーン変化点検出部９からのシーン変化点の位置データは、システムコントローラ部２０に供給される。システムコントローラ部２０は、シーン変化点検出部９で検出されたシーン変化点の隣接するものの間の区間である分節区間（シーン）毎の、特徴データを生成し、付加情報ファイル生成部１０に供給する。このときシステムコントローラ部２０から付加情報ファイル生成部１０に供給されるデータには、シーンを特定するための隣接するシーン変化点の位置情報の組と、当該シーンの特徴データとが含まれる。さらに、ジャンル判定部７で判定された記録された放送番組のジャンルも、付加情報の一部として付加情報ファイル生成部１０に供給される。

付加情報ファイル生成部１０は、システムコントローラ部２０から受け取ったデータを付加情報ファイルに含めて、記録処理部５に送る。記録処理部５は、前述の記録番組識別情報により記録番組情報と対応付けて、付加情報ファイルを記録媒体６の所定の記録領域、この例では、付加情報ファイルの領域に記録するようにする。

この場合、シーン変化点の位置データは、この実施形態では、例えば、記録される放送番組のフレーム番号（またはフィールド番号）が用いられることにより、当該記録される放送番組の一塊について、その映像データおよび音声データのフレーム位置（またはフィールド位置）と対応付けられているものである。

なお、シーン毎の特徴データの抽出に関しては、詳しくは、例えば特願２００４−２３３９４３に記載されたものを用いることができるが、ここでは、その詳細な説明は省略する。

図２に、付加情報ファイルとして記録されるデータの例を示す。この例では、特徴データは、シーン毎に検出された特徴種別と、各特徴種別の特徴量の一例としての検出割合とからなる。ここで、検出割合とは、例えば所定のシーン区間全体に対する所定の特徴データが検出された割合である。

例えば、あるシーン区間長がｆａであるときに、ある特徴データＰの検出区間が、前記ｆａの一部ｆ０およびｆ１であったと仮定した場合、特徴データＰの検出割合Ｆは、
Ｆ＝（ｆ０＋ｆ１）／ｆａ
で表される。

特徴種別は、例えば、次のように定義されたものである。図４および図５は、この特徴種別を説明するための図である。この例では、特徴データの属性情報としては、音声属性情報、色特徴情報、類似画像情報、人物特徴情報、テロップ特徴情報、カメラ特徴情報およびシーンチェンジ情報が用いられている。

そして、各特徴データの属性情報は、それぞれ複数個の特徴種別に分けられており、それらの特徴種別のそれぞれに対して、この例では、アルファベットと番号との組み合わせからなる特徴種別識別コードが付与されている。

すなわち、音声属性情報は、「話者音声」、「音楽」、「その他(歓声、拍手)」という３種の特徴種別に分けられ、そのそれぞれに対して、アルファベットＡと番号との組み合わせ、この例では、Ａ１，Ａ２，Ａ３が、特徴種別識別コードとして割り当てられている。

また、色特徴情報は、所定の色が画面上のどの領域で検出されるかを特徴種別として４種に分けられ、そのそれぞれに対して、アルファベットＢと番号との組み合わせ、この例では、Ｂ１，Ｂ２，Ｂ３，Ｂ４が、特徴種別識別コードとして割り当てられている。なお、色特徴の検出領域は、この例では、図５に示すように、画面の垂直方向に４分割された４つの領域１、領域２、領域３、領域４とされている。

また、類似画像情報は、類似する画像の出現頻度の１位と２位とが特徴種別として２種に分けられ、そのそれぞれに対して、アルファベットＣと番号との組み合わせ、この例では、Ｃ１，Ｃ２が、特徴種別識別コードとして割り当てられている。

また、人物特徴情報は、人物として検出される特徴が、画面上のどの領域で検出されるかを特徴種別として５種に分けられ、そのそれぞれに対して、アルファベットＤと番号との組み合わせ、この例では、Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５が、特徴種別識別コードとして割り当てられている。なお、人物特徴の検出領域は、この例では、図６に示すように、画面を縦横に分割して４分割した領域１、領域２、領域３、領域４と、中央の領域５との合計５個の領域とされる。

テロップ特徴情報は、テロップが画面上のどの領域で検出されるかを特徴種別として４種に分けられ、そのそれぞれに対して、アルファベットＥと番号との組み合わせ、この例では、Ｅ１，Ｅ２，Ｅ３，Ｅ４が、特徴種別識別コードとして割り当てられている。なお、テロップ特徴情報の検出領域は、この例では、色特徴と同様に、図５に示すように、画面の垂直方向に４分割された４つの領域１、領域２、領域３、領域４とされている。

カメラ特徴情報は、カメラが静止している状態、ズーム状態、パン状態の３種を特徴種別としており、そのそれぞれに対して、アルファベットＦと番号との組み合わせ、この例では、Ｆ１，Ｆ２，Ｆ３が、特徴種別識別コードとして割り当てられている。

図２に示したように、付加情報ファイルに記憶される特徴種別は、上述した特徴種別のうち、そのシーン区間に存在している特徴種別のコードと、その特徴量としての検出割合である。この場合に、シーンに存在していたすべての特徴種別を付加情報として記録するのではなく、特徴量が所定値以上のものを記録するようにする。

なお、シーン変化点検出部９からのシーン変化点の位置データや特徴データおよびジャンル情報は、付加情報ファイルとして記録するのではなく、記録処理部５内の多重化処理部に供給し、圧縮エンコード処理された映像データおよび音声データに多重化して、記録媒体６の所定の記録領域に記録するようにしてもよい。

図１の例の記録再生装置においては、記録するコンテンツは、放送受信部２で受信した放送番組のみに限られない。すなわち、この実施形態の記録再生装置は、通信インターフェース１１を通じてインターネットにアクセスして、所定のコンテンツサーバから、映画、ニュース、ドラマ、スポーツ番組などのコンテンツをダウンロードして記録することができるように構成されている。

すなわち、コンテンツサーバからダウンロードして取得した映像データおよび音声データは、通信インターフェース１１から、映像信号記録エンコード部３および音声信号記録エンコード部４に供給されて、上述の放送番組コンテンツの場合と同様にして記録媒体６に記録される。

このときにも、映像データや音声データから、特徴抽出処理部８で特徴データが抽出されると共に、シーン変化点検出部９でシーン変化点の検出が、前述した放送番組の場合と全く同様にして行われ、付加情報ファイルが生成されて、記録コンテンツデータに対応付けられて記録媒体６に記録される。

そして、この場合には、ダウンロードされるコンテンツのデータには、当該コンテンツのジャンル情報も含まれており、そのジャンル情報が通信インターフェース１１からジャンル判定部７に供給されて、ダウンロードされたコンテンツのジャンルが判定される。そして、ジャンル判定部７で判定されたジャンルの情報は、システムコントローラ部２０を通じて付加情報ファイルに含められて記録される。

なお、放送受信部２で受信された情報からジャンル情報が得られない場合に、通信インターフェース１１を通じてインターネットにアクセスし、このインターネットを通じて放送番組の電信番組表データを取得し、その電子番組表データの中から、ジャンル判定部７が受信し記録した放送番組のジャンルを判定するようにすることもできる。

なお、ジャンル判定部７、特徴抽出処理部８、シーン変化点検出部９および付加情報ファイル生成部１０の処理は、システムコントローラ部２０のマイクロコンピュータによるソフトウエア処理とすることもできる。

＜再生系処理＞
次に、図１を参照しながら、この例の記録再生装置の再生系について説明する。

ユーザが、記録媒体６からの通常再生モードによる再生指示を、例えばリモートコマンダ２２を通じて入力すると、ユーザ入力インターフェース部２１を通じてシステムコントローラ部２０にそれが入力される。システムコントローラ部２０は、このユーザ入力を受けて、通常再生モードを行なうように読み出し制御部１２を制御する。

読み出し制御部１２は、このシステムコントローラ部２０からの制御指示に応じて、記録媒体６から再生指定された放送番組の圧縮映像データおよび圧縮音声データを読み出し再生処理部１３に供給する。再生処理部１３は、記録媒体６から読み出された、ユーザにより再生指定された放送番組の圧縮映像データおよび圧縮音声データを、映像信号再生デコード出力部１４および音声信号デコード出力部１５に供給する。

映像信号再生デコード出力部１４では、圧縮映像データは、記録時に帯域圧縮処理された信号処理方式に対応する所定のデコード処理がなされて、デジタル映像信号とされた後、Ｄ／Ａ変換処理が行なわれ、アナログ映像信号として出力端子（図示は省略）を通じて出力される。

また、音声信号デコード出力部１５では、圧縮音声データは、記録時に帯域圧縮処理された信号処理方式に対応する所定のデコード処理がなされ、そのデコード処理されて得られたデジタル音声信号が、Ｄ／Ａ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）変換処理され、これよりアナログ音声信号として、出力端子（図示は省略）を通じて出力される。

この実施形態の記録再生装置は、再生モードにおいて、ユーザが再生速度の変更制御をすることができるように構成されており、そのための操作ボタンがリモートコマンダ２２に設けられており、その操作ボタンが操作されると、システムコントローラ部２０は、その操作ボタンに応じた再生速度でコンテンツ再生するように構成されている。

例えば、再生中に、押下操作することにより、システムコントローラ部２０が、当該押下操作区間を早送り再生するように制御する早送り操作ボタンや、押下操作されると、システムコントローラ部２０が、その時点から一定時間分だけ先の再生位置まで、スキップあるいは高速再生をするように制御するスキップ再生指示操作ボタンを備えている。

また、この実施形態の記録再生装置は、再生中にユーザが操作をすることにより、システムコントローラ部２０が、操作された所定のシーン区間をリピートさせるように制御するリピート操作ボタンを構成されている。

そして、この第１の実施形態の記録再生装置は、後述するように、早送り操作ボタンまたは巻き戻し再生ボタンが操作されたときに、通常の早送り再生や巻き戻し再生がされるモードの他、早送り操作ボタンまたは巻き戻し再生ボタンが操作されて、早送り再生や巻き戻し再生がされているときに、ユーザが何時も注目して視聴しているシーン区間（キーフレーム区間）と同一の特徴または類似する特徴を備えるシーン区間では自動的に再生速度をノーマル速度に変更制御してユーザの視聴に供するようにするキーフレーム検出モードが設定可能とされている。

すなわち、この実施形態の記録再生装置では、キーフレーム検出モードのオン／オフ操作ボタンを備え、キーフレーム検出モードをオンにするか、オフにするかを設定することができるようにされている。

そして、キーフレーム検出モードがオフであるときには、早送り操作ボタンまたは巻き戻し再生ボタンが操作されたときに、通常の早送り再生や巻き戻し再生がなされる。また、キーフレーム検出モードがオンであるときに、早送り操作ボタンまたは巻き戻し再生ボタンが操作されて早送り再生や巻き戻し再生がされると、この実施形態の記録再生装置では、ユーザが何時も注目して視聴しているシーン区間と同一または類似する特徴のシーン区間において自動的に再生速度がノーマル速度に変更制御されて再生がなされる。

そして、この第１の実施形態の記録再生装置は、ユーザがリピート再生したり、サーチ再生した後、ノーマル再生したりしたシーン区間については、そのリピート再生した回数やサーチ再生後にノーマル再生した回数などのユーザ評価（シーンの再生についての正方向のユーザ評価）を、当該シーンを備えるコンテンツ（この例では放送番組）のジャンルと、当該シーンの特徴データとに対応させて記憶するようにする。そして、この第１の実施形態では、この正方向のユーザ評価値が高いシーンを、対応するジャンルのキーフレーム（重要シーン）と呼ぶ。

そして、記憶する、ジャンルとキーフレームの特徴データと当該キーフレームのユーザ評価値との対応情報を、この第１の実施形態では、キーフレーム特徴情報と呼び、図１の記録再生装置においては、キーフレーム特徴情報メモリ部２５に記憶するようにする。

このキーフレーム特徴情報は、コンテンツごとに記憶されるのではなく、ジャンルごとに記憶される。図７に、キーフレーム特徴情報メモリ部２５に記憶されるキーフレーム特徴情報の例を示す。

すなわち、この例においては、各ジャンルごとに、キーフレームについての特徴データおよびユーザ評価値が記憶されるが、特徴データとしては、前述した特徴種別と特徴量（この例では検出割合）が記憶される。この例においては、キーフレームは、各ジャンルごとに複数個、記憶される。

そして、この実施形態では、一つのジャンルごとに記憶されている複数個のキーフレームのうち、例えば所定値以上の評価値となっているキーフレームと同一または類似するシーン区間を、キーフレーム検出モードがオンの状態において、ユーザが何時も注目しているキーフレーム（重要シーン）として、当該シーン区間をノーマル再生速度で再生するようにする。

なお、この実施形態では、実際的には、再生中には、前記リピート再生ボタン操作、早送り操作ボタンやノーマル速度再生操作ボタンの操作区間の情報を保持しておき、再生が終了したときに、保持していた各操作ボタンの操作区間の情報に基づいて、キーフレーム区間を検出する。そして、記録媒体６に記録されている付加情報ファイルを付加情報ファイル処理部１６を介して読み出し、検出したキーフレームのシーン区間の特徴データを取得して、キーフレーム特徴情報メモリ部２５に、検出したキーフレーム区間のキーフレーム特徴情報を記憶するようにする。

この際に、この実施形態においては、検出したキーフレームの特徴データが、キーフレーム特徴情報メモリ部２５に既に記憶されている特徴データと同一または類似しているときは、既に当該キーフレーム特徴情報は記憶されているとして、当該記憶されているキーフレーム特徴情報のユーザ評価値を更新する。この例では、ユーザ評価値は回数（再生回数または検出回数）であるので、その回数を１だけ増加するようにする。

そして、この実施形態では、新たにキーフレームとして検出した類似する特徴データは、それまでキーフレーム特徴情報メモリ部２５に記憶されている類似する特徴データとの間で、平均をとるなどして、新たな特徴データを記憶するキーフレーム特徴情報に反映させるようにする。

また、検出したキーフレームの特徴データが、キーフレーム特徴情報メモリ部２５に既に記憶されている特徴データと同一または類似しておらず、新たなキーフレームであると検出されたときは、キーフレーム特徴情報メモリ部２５の対応するジャンルにおける新たなキーフレーム特徴情報として追加記憶する。

このように、この例においては、再生終了後に、キーフレーム特徴情報メモリ部２５の記憶内容が更新される。

なお、図７の例では、シーン番号が記憶されているが、これは、キーフレーム（重要シーン）を識別するためのものであって、記憶しなくてもよい。また、特徴データとしては、特徴量（例えば検出割合）を記憶せずに、特徴種別のみを記憶するようにしても良い。その場合のキーフレーム特徴情報メモリ部２５の記憶データの例を図８に示す。

なお、通常再生モードがユーザにより指示されたときに、記録媒体６に記録された放送番組のデータに、付加情報ファイルが対応して記録されていないときには、この実施形態の記録再生装置は、ユーザに「必要な付加情報ファイルがないので、生成しますか？」という問合せをする。

そして、この問合せに対して、ユーザが「ＹＥＳ（付加情報ファイルを生成する）」と返答操作したときには、記録再生装置のシステムコントローラ部２０は、再生モードの実行に先立ち、記録された放送番組の記録データを読み出して、再生処理部１３、映像信号再生デコード出力部１４および音声信号再生デコード出力部１５を通じて、映像データおよび音声データを特徴抽出処理部８に供給し、特徴抽出処理部８での特徴データ抽出処理およびシーン変化点検出部９でのシーン変化点検出を実行するように制御する。そして、前述の図３に示したような、特徴抽出処理部８で抽出された特徴データとシーン変化点検出部９で検出されたシーン変化点の情報とを含む付加情報ファイルを、再生対象の放送番組の記録データに対応付けて、記録媒体６に記録するようにする。

なお、記録媒体６に記録されている放送番組の情報中に、シーン変化点情報、特徴データを含む付加情報ファイルが記録されていない状態は、例えばＤＶＤなどの外部記録媒体から、テレビ放送番組コンテンツを記録媒体６に取り込んだ場合などに生じる。

これにより、例えば、外部記録媒体が、この実施形態の記録再生装置によって記録されたものではなく、付加情報ファイルが記録されていなくても、この実施形態の記録再生装置における後述するようなキーフレーム検出モードを実行することができるようになる。

［キーフレーム検出モード］
この実施形態の記録再生装置では、ユーザのボタン操作により、キーフレーム検出モードをオン・オフすることができる。そして、キーフレーム検出モードがオフとされているときには、前述したように、早送り操作や巻き戻し操作がユーザによりなされたときには、従来と同様の通常の早送り処理動作および巻き戻し処理動作がなされる。

また、キーフレーム検出モードがオンとされている状態で、早送り操作や巻き戻し操作がユーザによりなされたときには、システムコントローラ部２０は、キーフレーム区間では、ノーマル再生速度として再生を実行し、その他の区間は、早送り処理動作および巻き戻し処理動作をするようにする。ここで、早送り処理動作や巻き戻し処理動作は、再生を伴わない動作であっても良いし、早送り再生動作や巻き戻し再生動作など再生動作を伴うものであっても良い。

このキーフレーム検出モードがオンとされている場合における動作を、図９〜図？を参照しながら具体例を挙げて説明する。

例えば図９は、ジャンルが「ニュース」の放送番組のシーンｎからシーン（ｎ＋５）までの画像の一例であり、図１０は、その各シーンｎ〜（ｎ＋５）の画像の特徴データの例を示すものである。

そして、図９の例においては、シーン（ｎ＋１）およびシーン（ｎ＋２）において、ユーザが例えばリピート再生の操作をした、あるいは、早送り状態からノーマル再生状態に移行させたなどのキーフレーム区間とするような操作をしたものとして、これらシーン（ｎ＋１）およびシーン（ｎ＋２）の区間がキーフレーム（重要シーン）区間とされた場合を想定している。

したがって、この図９の例の「ニュース」のコンテンツの再生が終了すると、この実施形態の記録再生装置は、図１０において、シーン（ｎ＋１）およびシーン（ｎ＋２）について丸印を付与した特徴種別コードおよびその特徴量が、図７に示したようにして、キーフレーム特徴情報メモリ部２５に記憶される。

そして、他の「ニュース」の放送番組の再生時において、キーフレーム検出モードがオンに設定されている状態で、ユーザにより早送り操作または巻き戻し操作がなされたときには、この実施形態の記録再生装置のシステムコントローラ部２０は、当該他の「ニュース」の放送番組についての付加情報ファイルを、記録媒体６から付加情報ファイル処理部１６を通じて読み出して、各シーンの特徴データを取得し、キーフレーム特徴情報メモリ部２５に記憶されている、同じジャンルについてのキーフレームの特徴と比較しながら、当該他の「ニュース」の放送番組の高速再生を実行する。

そして、付加情報ファイルから取得した各シーンの特徴データと、キーフレーム特徴情報メモリ部２５から読み出した、当該再生中の放送番組と同じジャンルについてのキーフレームの特徴データとの比較の結果、特徴データが同じあるいは類似するシーンを検出すると、図１１に示すように、当該特徴データが類似するシーン区間においては、再生速度を高速再生速度から、ノーマル再生速度（１倍）に制御して、当該特徴データが類似するシーン区間の画像内容をノーマル再生するようにする。そして、当該特徴データが類似するシーン区間が終了すると、再度、ノーマル再生速度から高速再生速度に戻すようにする。

これにより、キーフレーム検出モードにおいては、ユーザが早送り操作または巻き戻し操作をすると、同じジャンルの番組で、何時も注目して観ているシーンは、自動的にノーマル再生速度で再生がなされる。したがって、この実施形態においては、ユーザは、当該注目して観ているシーンを、特別の操作なしにノーマル再生の状態で視聴することができるようになる。

図１１の例では、キーフレーム検出モードのオン状態における再生速度制御は、所定の高速の状態からノーマル速度に、また、ノーマル速度から高速の状態に、というように２段階に行うようにするが、この２段階の再生速度制御は、ステップ的に変更しても良いし、また、図１１の例のように、徐々に速度を下げたり、徐々に上げたりするようにしても良い。

そして、この場合に、検出するキーフレームは、キーフレーム特徴情報メモリ部２５に記憶されている同一のジャンルの、最もユーザ評価値の高い特徴データと同一または類似するものとしても良いし、前述もしたように、ユーザ評価値が、予め定めた所定値よりも高い特徴データと同一または類似するものとしても良い。

また、ユーザ評価値に応じて多段階に再生速度を変化させるようにしても良い。例えば、図１２（Ａ）に示すように、ユーザ評価値のスレッショールド値として、０，Ｅ１，Ｅ２，Ｅ３（０＜Ｅ１＜Ｅ２＜Ｅ３）の４値を設定し、検出されたキーフレームの評価値Ｅが、どのような値であるかに応じて、図１２（Ｂ）または（Ｃ）に示すように、再生速度を多段階に変えるようにしても良い。

例えば、（１）０＜Ｅ＜Ｅ１のときには、図１２（Ｂ）または（Ｃ）に示すように、再生速度を３倍速にする。（２）Ｅ１≦Ｅ＜Ｅ２のときには、図１２（Ｂ）または（Ｃ）に示すように、再生速度を２倍速にする。（３）Ｅ２≦Ｅ＜Ｅ３のときには、図１２（Ｂ）または（Ｃ）に示すように、再生速度を１．５倍速にする。（４）Ｅ３≦Ｅのときには、図１２（Ｂ）または（Ｃ）に示すように、再生速度を１倍速（ノーマル速度）にする。

なお、図１２（Ｂ）の場合は、再生速度をステップ状に変化させるように制御する場合であり、図１２（Ｃ）の場合は、再生速度を穏やかに徐々に変化させるように制御する場合である。

図１２（Ｃ）の場合の再生速度の変化こう配は、図１３に示すように、減速のときと、加速のときとで変化させても良い。すなわち、図１３（Ａ）は、再生速度の減速は緩やかなこう配で行い、再生速度の加速は急峻なこう配で行う場合であり、また、図１３（Ｂ）は、逆に、再生速度の減速は急峻なこう配で行い、再生速度の加速は穏やかなこう配で行う場合である。

［実施形態の記録再生装置における主要な動作処理の説明］
次に、上述のように構成された実施形態の記録再生装置における主要な動作処理を、図１４〜図２０のフローチャートを参照しながら説明する。以下に説明するフローチャートの各ステップの処理は、主としてシステムコントローラ部２０を構成するマイクロコンピュータが実行するものである。

すなわち、図１４に示すように、システムコントローラ部２０は、ユーザ入力インターフェース部２１の出力を監視することにより、ユーザ操作入力があるか否か監視する（ステップＳ１）。そして、ユーザ操作入力があったと判別したときには、システムコントローラ部２０は、当該ユーザ操作入力に対応する動作モードを判定し（ステップＳ２）、判定した動作モードは記録開始操作であるか否か判別する（ステップＳ３）。

そして、ステップＳ３で、記録開始操作であると判別したときには、システムコントローラ部２０は、記録処理ルーチンと、特徴抽出処理およびシーン変化点検出処理ルーチンとを、並行して実行する（ステップＳ４）。

そして、システムコントローラ部２０は、記録停止のユーザ操作があったか否か監視し（ステップＳ５）、記録停止のユーザ操作を検知しないときには、ステップＳ４に戻って、記録処理ルーチンと、特徴抽出処理およびシーン変化点検出処理ルーチンとの並行実行を継続し、記録停止のユーザ操作がなされたと判別したときには、記録後処理として、付加情報ファイル生成および記録処理を実行（ステップＳ６）した後、ステップＳ１に戻る。

ステップＳ６の記録後処理においては、システムコントローラ部２０は、前述したように、シーン変化点検出部９で検出されたシーン変化点のデータ（シーン変化点の組）と、特徴抽出処理部８で抽出された特徴データとを対応付けた付加情報を生成し、生成した付加情報を付加情報ファイルとして、記録した放送番組などのコンテンツの記録データに対応付けて記録媒体６に記録する処理を行う。この場合、付加情報ファイルと、記録した放送番組の記録データとの対応付けは、記録した放送番組などのコンテンツの識別情報により行なわれる。

なお、記録処理と並行してリアルタイムでなされたシーン変化点検出の検出結果、そのものを記録後処理で用いるシーン変化点の情報として用いるのではなく、記録後処理において、シーン変化点検出部９で、記録処理と並行してなされたシーン変化点検出の検出結果にさらに検討を加えて、より確からしいシーン変化点を検出し、当該より確からしいシーン変化点を付加情報ファイルに含めて記録するようにしてもよい。

ステップＳ４で実行される、記録処理と特徴抽出処理およびシーン変化点検出処理との並行処理ルーチンを、図１５のフローチャートを参照して説明する。

先ず、システムコントローラ部２０は、記録しようとするコンテンツのジャンルを検出する（ステップＳ１１）。次に、システムコントローラ部２０は、コンテンツデータを取り込む（ステップＳ１２）。すなわち、システムコントローラ部２０は、記録しようとするデータが放送受信部２からの放送番組の情報（映像情報および音声情報）であるときには、放送受信部２で選択受信した放送番組の情報を映像信号記録エンコード部３および音声信号記録エンコード部４に供給するように指示する。また、ダウンロードしたコンテンツデータを記録するときには、通信インターフェース１１を通じて得たコンテンツデータを、映像信号記録エンコード部３および音声信号記録エンコード部４に供給するように指示する。

次に、システムコントローラ部２０は、映像信号記録エンコード部３および音声信号記録エンコード部４に、コンテンツデータを記録エンコード処理するように指示し（ステップＳ１３）、記録処理部５を制御して、記録媒体６に、その記録エンコード処理されたコンテンツの映像データおよび音声データを記録する（ステップＳ１４）。

そして、システムコントローラ部２０は、ユーザにより記録終了指示がなされたか否か判別し（ステップＳ１５）、記録終了指示がなされてはいないと判別したときには、ステップＳ１１に戻って、上述の記録処理を継続する。

ステップＳ１１〜Ｓ１４は、記録処理ルーチンを構成するもので、この記録処理ルーチンと並行して特徴量検出およびシーン変化点検出処理ルーチンがなされる。すなわち、システムコントローラ部２０は、ステップＳ１２で取り込まれた記録すべきデータを、特徴抽出処理部８にも供給するように指示すると共に、特徴抽出処理部８に特徴抽出処理の実行を指示する（ステップＳ１６）。なお、前述したように、この例では、映像信号記録エンコード部３および音声信号記録エンコード部４からの圧縮途中のデータが特徴抽出処理部８に供給される。

特徴抽出処理部８は、この実行指示を受けて、前述した種々の特徴量の検出を実行し、その処理結果をシーン変化点検出部９に供給する。シーン変化点検出部９は、システムコントローラ部２０の実行指示を受けて、上述したシーン変化点の検出処理を実行する（ステップＳ１７）。そして、システムコントローラ部２０は、特徴抽出処理部８で検出された特徴データと、シーン変化点検出部９で検出されたシーン変化点のデータとを、ステップＳ１１で検出したジャンルに対応させて、内蔵するバッファメモリなどに記憶保持しておく（ステップＳ１８）。

そして、システムコントローラ部２０は、ユーザにより記録終了指示がなされたか否か判別し（ステップＳ１９）、記録終了指示がなされてはいないと判別したときには、ステップＳ１６に戻って、特徴抽出処理およびシーン変化点検出の処理を継続する。

なお、ステップＳ１５の判別処理とステップＳ１９の判別処理は、実際には、別々の判別処理ではなく、同一の判別処理であるが、ここでは、２つの処理ルーチンを並列に記述したため、便宜上、図１５のように、２つの判別ステップに分離して記載している。

そして、システムコントローラ部２０は、ステップＳ１５、ステップＳ１９で、ユーザにより記録終了指示がなされたと判別したときには、シーン変化点検出部９に指示して、バッファメモリに保持しているジャンルに対応した特徴データとシーン変化点データとを用いて、記録するための、より確からしいシーン変化点の情報を生成させるようにする（ステップＳ２０）。

そして、システムコントローラ部２０は、記録処理部５に対し、図２に示したような、ステップＳ２０で生成されたシーン変化点の情報と、対応するシーン区間の特徴データとを、ジャンルに対応させた付加情報ファイルを、記録したコンテンツデータに対応付けた状態で、放送番組の記録データを記録した記録媒体に記録するように制御する（ステップＳ２１）。

次に、図１４のステップＳ３で、操作入力は、記録開始操作ではないと判別したときには、システムコントローラ部２０は、操作入力は、キーフレーム検出モードのオン操作であるか否か判別し（図１６のステップＳ３１）、キーフレーム検出モードのオン操作ではないと判別したときには、通常再生モードの開始操作がなされたか否か判別する（ステップＳ３２）。

ステップＳ３２で、通常再生モードの開始操作がなされたと判別したときには、システムコントローラ部２０は、記録媒体６から再生指定されたコンテンツの記録データを読み出すと共に、付加情報ファイルが検出できる場合には、当該付加情報ファイルを読み出して、通常再生を開始する（ステップＳ３３）。

次に、システムコントローラ部２０は、キーフレーム区間と評価されるようなユーザ操作がなされたか否か判別し（ステップＳ３４）、なされていないと判別したときには、再生終了操作がなされたか、あるいはコンテンツが最後まで再生されて再生終了となったか否か判別する（ステップＳ３５）。そして、システムコントローラ部２０は、ステップＳ３５で、再生終了ではないとは判別したときには、ステップＳ３３に戻って再生を継続し、再生終了であると判別したときには、ステップＳ１に戻って、このステップＳ１以降を繰り返し実行するようにする。

また、ステップＳ３４で、キーフレーム区間と評価されるようなユーザ操作、例えばリピート再生操作がなされたと判別したときには、システムコントローラ部２０は、再生処理部１３および付加情報ファイル処理部１６を通じて記録媒体６から取得した付加情報ファイルから、再生されたコンテンツのジャンルと、キーフレーム区間と評価されるユーザ操作の対象シーンの特徴データを、得て認識する（図１７のステップＳ４１）。

次に、システムコントローラ部２０は、キーフレーム特徴情報メモリ部２５に、認識したジャンルについての特徴データと同等のもの、つまり、認識したジャンルについての特徴データと同じあるいは類似する特徴データが既に記憶されているか否か判別する（ステップＳ４２）。なお、特徴データが類似するとは、複数個の特徴種別のうちの例えば１個が異なる、あるいは１個が欠落しているなどの状態をいう。また、特徴量が記憶されている場合には、特徴量が異なる場合を含むものである。

ステップＳ４２で、既にキーフレーム特徴情報メモリ部２５に、ステップＳ４１で認識されたジャンルについての特徴データが記憶されていると判別したときには、システムコントローラ部２０は、当該ジャンルの特徴データについての回数値を１だけ加算すると共に、ステップＳ４１で認識された特徴データを、記憶されている特徴データに反映させる（ステップＳ４３）。そして、図１６のステップＳ３５に進む。

ここで、ステップＳ４１で認識された特徴データを、記憶されている特徴データに反映させる処理としては、記憶される特徴データに特徴量を含む場合には、ステップＳ４１で認識された特徴データに含まれる特徴量と、記憶されている特徴データの特徴量との平均値を取る処理が例として挙げられる。また、記憶される特徴データに特徴量を含まない場合において、ステップＳ４１で認識された特徴データの特徴種別と、記憶済みの特徴種別との数が異なるときには、例えば多い数の特徴種別を記憶するようにする、などの処理をするようにしても良い。

ステップＳ４２で、キーフレーム特徴情報メモリ部２５には、ステップＳ４１で認識したジャンルについての特徴データが記憶されていないと判別したときには、システムコントローラ部２０は、ステップＳ４１で認識したジャンルおよび特徴データを、ユーザ評価値の初期値（「１」）と共に、キーフレーム特徴情報メモリ部２５に書き込むようにする（ステップＳ４４）。つまり、ステップＳ４１で認識されたジャンルについてのキーフレームの特徴情報を追加するようにする。そして、図１６のステップＳ３５に進む。

次に、ステップＳ３２で、通常再生モードの開始操作はなされていないと判別したときには、システムコントローラ部２０は、早送り操作（ＦＦ）または巻き戻し操作（ＲＥＷ）がなされたか否か判別し（ステップＳ３６）、早送り操作（ＦＦ）または巻き戻し操作（ＲＥＷ）がなされていないと判別したときには、ステップＳ１でなされた操作に応じたその他の所定動作モードの処理を実行する（ステップＳ３７）。

また、ステップＳ３６で、早送り操作（ＦＦ）または巻き戻し操作（ＲＥＷ）がなされたと判別したときには、システムコントローラ部２０は、通常の早送り再生または巻き戻し再生の処理を行うようにする（ステップＳ３８）。

そして、システムコントローラ部２０は、キーフレーム区間と評価されるようなユーザ操作がなされたか否か判別し（ステップＳ３８）、なされていないと判別したときには、再生終了操作がなされたか、あるいはコンテンツが最後まで再生されて再生終了となったか否か判別する（ステップＳ４０）。そして、システムコントローラ部２０は、ステップＳ４０で、再生終了ではないとは判別したときには、ステップＳ３８に戻って再生を継続し、再生終了であると判別したときには、ステップＳ１に戻って、このステップＳ１以降を繰り返し実行するようにする。

また、ステップＳ３９で、キーフレーム区間と評価されるようなユーザ操作、例えばリピート再生操作がなされたと判別したときには、システムコントローラ部２０は、再生処理部１３および付加情報ファイル処理部１６を通じて記録媒体６から取得した付加情報ファイルから、再生されたコンテンツのジャンルと、キーフレーム区間と評価されるユーザ操作の対象シーンの特徴データを、得て認識する（図１８のステップＳ５１）。

次に、システムコントローラ部２０は、キーフレーム特徴情報メモリ部２５に、認識したジャンルについての特徴データと同等のもの、つまり、認識したジャンルについての特徴データと同じあるいは類似する特徴データが既に記憶されているか否か判別する（ステップＳ５２）。

ステップＳ５２で、既にキーフレーム特徴情報メモリ部２５に、ステップＳ５１で認識されたジャンルについての特徴データが記憶されていると判別したときには、システムコントローラ部２０は、当該ジャンルの特徴データについての回数値を１だけ加算すると共に、ステップＳ４１で認識された特徴データを、記憶されている特徴データに反映させる（ステップＳ５３）。そして、図１６のステップＳ４０に進む。

ここで、ステップＳ５３における、ステップＳ５１で認識された特徴データを、記憶されている特徴データに反映させる処理は、ステップＳ４３と同様である。

ステップＳ５２で、キーフレーム特徴情報メモリ部２５には、ステップＳ５１で認識したジャンルについての特徴データが記憶されていないと判別したときには、システムコントローラ部２０は、ステップＳ５１で認識したジャンルおよび特徴データを、ユーザ評価値の初期値（「１」）と共に、キーフレーム特徴情報メモリ部２５に書き込むようにする（ステップＳ５４）。つまり、ステップＳ５１で認識されたジャンルについてのキーフレームの特徴情報を追加するようにする。そして、図１６のステップＳ４０に進む。

次に、ステップＳ３１で、キーフレーム検出モードのオン操作がなされたと判別したときには、システムコントローラ部２０は、再生を指示されたコンテンツのジャンルを、付加情報ファイル処理部１６を通じて取得する付加情報ファイルから検出する（図１９のステップＳ６１）。

そして、次に、システムコントローラ部２０は、キーフレーム特徴情報メモリ部２５の記憶内容のジャンル情報を調べ（ステップＳ６２）、ステップＳ６１で検出したジャンルと同一のジャンルが存在するか否か判別する（ステップＳ６３）。

ここで、同一ジャンルであるか否かの判別において、ジャンルが、大分類、中分類、小分類などのように、階層的に分けられるときには、例えば小分類や中分類のジャンルが再生コンテンツのジャンルとして付与されていて、キーフレーム特徴情報メモリ部２５には対応するジャンルが記憶されていないときには、その上位の中分類または大分類のジャンルがあれば、その中分類または大分類のジャンルを同一のジャンルとして検出する。

そして、ステップＳ６３で、ステップＳ６１で検出した再生しようとするコンテンツのジャンルと同じジャンルが有ると判別したときには、システムコントローラ部２０は、早送り操作（ＦＦ）または巻き戻し操作（ＲＥＷ）がなされたか否か判別し（ステップＳ６４）、早送り操作（ＦＦ）または巻き戻し操作（ＲＥＷ）がなされていないと判別したときには、ノーマル速度再生を実行する（ステップＳ６５）。

そして、システムコントローラ部２０は、コンテンツの再生が終了したか、あるいはユーザにより終了操作がなされたか否かにより、当該コンテンツのキーフレーム検出モードの再生が終了したか判別し（ステップＳ６６）、終了したと判別したときには、再生終了処理を実行して（ステップＳ６７）、この処理ルーチンを終了する。

また、ステップＳ６６で、再生が終了していないと判別したときには、ステップＳ６４に戻り、このステップＳ６４以降の処理を繰り返す。

そして、ステップＳ６３で、ステップＳ６１で検出した再生しようとするコンテンツのジャンルと同じジャンルが無いと判別したときには、システムコントローラ部２０は、例えば、キーフレーム検出モードの実行ができない旨のメッセージを表示部２４の表示画面に表示して、ユーザに警告を報知する（ステップＳ６８）。

その後、システムコントローラ部２０は、キーフレーム検出モードの解除操作がなされたか否か判別し（図２０のステップＳ８０）、キーフレーム検出モードの解除操作がなされたと判別したときには、キーフレーム検出モードを終了して（ステップＳ８１）、図１４のステップＳ１に戻る。また、ステップＳ８０で、キーフレーム検出モードの解除操作がなされていないと判別したときには、図１９のステップＳ６５に戻る。

また、ステップＳ６４で、早送り操作（ＦＦ）または巻き戻し操作（ＲＥＷ）がなされたと判別したときには、システムコントローラ部２０は、再生コンテンツの付加情報ファイルから、各シーンの特徴データを取得し（図２０のステップＳ７１）、キーフレーム特徴情報メモリ部２５の、同一ジャンルにおけるキーフレーム特徴データと比較する（ステップＳ７２）。

ここで、再生コンテンツの各シーンの特徴データと比較する同一ジャンルのキーフレーム特徴データは、前述したように、ユーザ評価値が最大である１個でも良いし、ユーザ評価値が所定のスレッショールド値以上である上位の複数個であってもよい。また、前述した図１２の例のように、ユーザ評価値に対して複数個のスレッショールド値を設定して、再生速度を複数段階に制御する場合には、再生コンテンツの各シーンの特徴データは、対応するすべてのキーフレームの特徴データと比較するようにする。

次に、システムコントローラ部２０は、ステップＳ７２での比較の結果、特徴データがキーフレームの特徴データと同一または類似するシーンであるか否か判別し（ステップＳ７３）、同一または類似するシーンではないと判別したときには、通常の早送り再生または巻き戻し再生の処理を行うようにする（ステップＳ７４）。そして、ステップＳ７１に戻り、このステップＳ７１以降の処理を繰り返す。

また、ステップＳ７３で、特徴データがキーフレームの特徴データと同一または類似するシーンであると判別したときには、システムコントローラ部２０は、前述した例のように、当該シーンをノーマル速度再生するように再生速度制御を行う（ステップＳ７５）。

この場合に、実際的には、付加情報ファイルのシーンの特徴データを、実際の再生タイミングよりも先読みし、事前にキーフレームと同一または類似の特徴データのシーンであるかを判別しておき、そのシーンのところで、前述した例のような再生速度制御を行うものである。

次に、システムコントローラ部２０は、キーフレームと同一または類似の特徴データのシーン区間が終了したか否か判別し（ステップＳ７６）、終了していないと判別したときには、ステップＳ７５に戻り、ノーマル速度再生を継続する。また、ステップＳ７６で、キーフレームと同一または類似の特徴データのシーン区間が終了したと判別したときには、システムコントローラ部２０は、再生速度を早送り再生または巻き戻し再生の状態に戻す（ステップＳ７７）。

次に、システムコントローラ部２０は、ユーザにより、早送り再生または巻き戻し再生の停止操作がなされたか否かを判別し（ステップＳ７８）、早送り再生または巻き戻し再生の停止操作がなされていないと判別したときには、ステップＳ７１に戻り、このステップＳ７１以降の処理を繰り返す。

また、ステップＳ７８で、早送り再生または巻き戻し再生の停止操作がなされたと判別したときには、システムコントローラ部２０は、早送り再生または巻き戻し再生の停止処理を行う（ステップＳ７９）。

次に、システムコントローラ部２０は、キーフレーム検出モードの解除操作、つまり、キーフレーム検出モードをオフにする操作がなされたか否か判別し（ステップＳ８０）、キーフレーム検出モードをオフにする操作がなされていないと判別したときには、図１９のステップＳ６５に戻り、このステップＳ６５以降の処理を繰り返す。

また、ステップＳ８０で、キーフレーム検出モードをオフにする操作がなされたと判別したときには、システムコントローラ部２０は、キーフレーム検出モードを終了し（ステップＳ８１）、図１４のステップＳ１に戻る。

以上のようにして、第１の実施形態では、ユーザが、重要とするシーン（キーフレーム）の特徴データを、ジャンルごとに、キーフレーム特徴情報メモリ部２５に記憶しておき、キーフレーム検出モードにおいて、当該キーフレームと同一または類似のシーンを、他の区間とは区別してノーマル速度再生する。

したがって、ユーザは、キーフレーム検出モードをオンに設定し、早送り操作ボタンまたは巻き戻し操作ボタンを操作するだけで、自動的に、再生コンテンツと同じジャンルのキーフレームと同一または類似する特徴を有するシーンを、ノーマル再生速度で視聴することができるようになる。

［第２の実施形態］
上述した第１の実施形態では、ジャンルごとにユーザが重要とするシーン（キーフレーム）の特徴データを、記憶部に記憶しておき、そのキーフレーム区間は、ノーマル再生するようにした。これに対して、この第２の実施形態では、ジャンルごとに、ユーザが不要とするシーンの特徴データを記憶部に記憶してお区。そして、記録再生装置には、不要シーン除去再生モードを設け、この不要シーン除去再生モードがオンとされたときには、記憶部に記憶された当該シーンと同じまたは類似する特徴データを備えるシーンは、ノーマル再生しているときにも、スキップ再生あるいはジャンプ再生するように制御する。

この第２の実施形態においては、コンテンツの再生時に、ユーザが早送り再生操作ボタンを操作したり、スキップ再生指示操作ボタンを操作したりした場合には、当該操作がなされた再生信号区間は、ユーザにとって再生を要しないユーザ評価が負の方向である不要シーン区間と判定し、そのコンテンツのジャンルに対応して、その不要シーン区間の特徴データをメモリ部に記憶する。

そして、再生に当たっては、付加情報ファイルから取得した特徴データと、メモリ部に記憶した不要シーン区間の特徴データとを比較して、両者が同一または類似するシーン区間を検出したら、その検出したシーン区間においては、スキップ再生またはジャンプ再生するように制御する。

この第２の実施形態においても、実際的には、再生中には、早送り再生操作ボタンやスキップ指示操作ボタンの操作区間の情報を保持しておき、再生が終了したときに、保持していた早送り再生操作ボタンやスキップ指示操作ボタンの操作区間の情報に基づいて、対応するシーン区間の特徴データを取得し、取得した特徴データを、再生したコンテンツのジャンルに対応して、不要シーン区間の特徴データとしてメモリ部に記憶するようにする。

そして、同一または類似する特徴データを有する不要シーン区間についてのユーザ評価値は、例えば、早送り再生操作ボタンやスキップ指示操作ボタンの操作回数（早送り再生やスキップ再生された回数）が記録される。

［第１の実施形態および第２の実施形態の変形例］
上述の第１および第２の実施形態では、記録媒体に、記録したコンテンツデータに対応付けて、各シーンの特徴データを付加情報ファイルとして記録しておき、キーフレーム検出モードや不要シーン区間の検出モードにおいては、付加情報ファイルから取得した特徴データと、メモリ部に記憶した対応するジャンルのキーフレームまたは不要シーン区間の特徴データとを比較するようにした。

しかし、予め、記録したコンテンツデータの各シーンの特徴データを抽出して記録媒体に記録しておかなくても、コンテンツデータの再生をしながら、各シーン区間の検出および検出したシーン区間の特徴データを検出し、その検出した特徴データと、メモリ部に記憶した、対応するジャンルのキーフレームまたは不要シーン区間の特徴データとを比較するようにしてもよい。

また、上述の第１および第２の実施形態では、キーフレームや不要シーン区間のユーザ評価値には、キーフレーム区間と評価されるユーザ操作の回数、あるいは、不要シーン区間と評価されるユーザ操作の回数を用いたが、例えば図２１に示すように、ユーザの操作に基づく再生態様に応じたユーザ評価値を設定しておき、再生時に、当該再生態様になったシーンには、対応するユーザ評価値を割り当てるようにして、各シーンに対するユーザ評価値を求めるようにしても良い。

この場合には、キーフレーム特徴情報メモリ部２５や、不要シーン区間の特徴情報メモリ部には、前述の例のようなキーフレームや不要シーン区間の特徴データのみを、ジャンルに対応して記憶するのではなく、ジャンルごとに、出現するすべてシーンについての特徴データと、当該特徴データに対応してユーザ評価値を記憶するようにする。そして、ユーザ評価値は、コンテンツを再生するごとに、その再生コンテンツと同じジャンルについての各シーンの特徴データについて、累積加算するようにする。

そして、この例では、検出するキーフレームや検出する不要シーン区間は、当該メモリ部に記憶されているものの中から、例えばユーザ評価値に基づいて決定し、決定したキーフレームの特徴データや不要シーン区間の特徴データに基づいて、キーフレーム検出モードや不要シーン区間を実行するようにする。

例えば、あるジャンルのシーン区間のユーザ評価値が、正方向に最も大きい特徴データや、所定のスレッショールド値よりも正方向に大きい特徴データを、キーフレームの特徴データとしてキーフレーム検出モードを実行するようにする。また、あるジャンルのシーン区間のユーザ評価値が、負方向に最も大きい特徴データや、所定のスレッショールド値よりも負方向に大きい特徴データを、不要シーン区間の特徴データとして不要シーン区間検出モードを実行するようにする。

また、上述の実施形態では、キーフレーム特徴情報メモリ部２５や、不要シーン区間特徴情報メモリ部には、ユーザ評価に応じたキーフレームや不要シーン区間の特徴データを、ジャンルごとに記憶するようにしたが、予め、記録再生装置の製造者側において、それぞれのジャンルのコンテンツにおける特徴的なシーン区間を設定し、その設定したシーン区間の特徴データ（これを教師データと呼ぶことにする）をメモリ部に記憶して、キーフレームの特徴データや不要シーン区間の特徴データとして用いるようにしても良い。

この場合に、教師データの設定は、不特定多数のユーザに対してアンケート調査や、視聴状態調査、あるいは実際的な再生操作調査を行って決定するようにすると良い。

また、教師データのほかに、前述したユーザ評価を反映させて決定されるキーフレームの特徴データや、不要シーン区間の特徴データを、追加記憶して用いるようにしても良い。そして、そのように追加記憶する場合において、教師データと類似する特徴データがキーフレームや不要シーン区間の特徴データとして検出されたときには、教師データと、その検出されたキーフレームや不要シーン区間の特徴データとの平均をとるなどして、ユーザの嗜好を反映させるようにしてもよい。

［その他の変形例等］
上述の実施形態の受信部２は、地上アナログテレビ放送の受信部の場合である他、地上デジタルテレビ放送の受信部、衛星デジタルテレビ放送の受信部、ケーブルテレビ放送の受信部、インターネット配信されたテレビ放送の受信部であっても、この発明は適用可能である。

また、この発明は、テレビ放送番組のコンテンツではなく、例えばラジオ放送番組のコンテンツの記録再生の他、種々の情報信号の記録再生に適用可能である。

また、シーン変化点で区分けされるシーン区間は、上述の実施形態のように、映像情報および音声情報の両方の特徴量から検出する場合のみではなく、映像情報のみの特徴量から、あるいは、音声情報の特徴量のみから検出するようにすることもできる。

この発明によるコンテンツ再生装置の実施形態が適用された記録再生装置の一例のブロック図である。 図１の例において、コンテンツデータに付随して記録される付加情報ファイルのデータの一例を示す図である。 テレビ放送番組の特定のジャンルについての特徴データを説明するための図である。 テレビ放送番組の特定のジャンルについての特徴データを説明するための図である。 図３および図４を説明するために用いる図である。 図３および図４を説明するために用いる図である。 図１の例におけるキーフレーム特徴情報メモリ部２５の記憶内容の一例を説明するための図である。 図１の例におけるキーフレーム特徴情報メモリ部２５の記憶内容の一例を説明するための図である。 この発明によるコンテンツ再生方法の実施形態の要部を説明するための図である。 この発明によるコンテンツ再生方法の実施形態の要部を説明するための図である。 この発明によるコンテンツ再生方法の実施形態の要部を説明するための図である。 この発明によるコンテンツ再生方法の実施形態の要部を説明するための図である。 この発明によるコンテンツ再生方法の実施形態の要部を説明するための図である。 この発明によるコンテンツ再生方法の実施形態における処理動作例を説明するためのフローチャートの一部を示す図である。 この発明によるコンテンツ再生方法の実施形態における処理動作例を説明するためのフローチャートの一部を示す図である。 この発明によるコンテンツ再生方法の実施形態における処理動作例を説明するためのフローチャートの一部を示す図である。 この発明によるコンテンツ再生方法の実施形態における処理動作例を説明するためのフローチャートの一部を示す図である。 この発明によるコンテンツ再生方法の実施形態における処理動作例を説明するためのフローチャートの一部を示す図である。 この発明によるコンテンツ再生方法の実施形態における処理動作例を説明するためのフローチャートの一部を示す図である。 この発明によるコンテンツ再生方法の実施形態における処理動作例を説明するためのフローチャートの一部を示す図である。 この発明によるコンテンツ再生方法の他の実施形態を説明するために用いる図である。

符号の説明

６…記録媒体、７…ジャンル判定部、８…特徴抽出処理部、９…シーン変化点検出部、２０…システムコントローラ部、２１…ユーザ入力インターフェース、２５…キーフレーム特徴情報メモリ部

Claims (11)

1. コンテンツの分類種別ごとに、所定の特徴データを記憶する記憶手段と、
   所定の再生時に、前記再生対象のコンテンツのデータの区切りの隣接するものにより特定される分節区間毎の特徴データを取得する分節区間特徴データ取得手段と、
   再生対象のコンテンツの前記分類種別を検出する分類種別検出手段と、
   前記分類種別検出手段で検出された前記再生対象のコンテンツの分類種別と同じまたは同種の分類種別についての前記所定の特徴データを前記記憶手段から読み出す読み出し手段と、
   前記分節区間特徴データ取得手段で取得した前記分節区間毎の特徴データと、前記記憶手段から読み出された前記所定の特徴データとを比較し、前記分節区間毎の特徴データと、前記記憶手段からの前記所定の特徴データとが、同一または類似であるか否かを判別する判別手段と、
   前記判別手段で、前記分節区間毎の特徴データと、前記記憶手段から読み出された前記所定の特徴データとが同一または類似であると判別したときに、前記同一または類似であると判別された前記分節区間では、他の区間とは異なる再生速度で再生するように制御する制御手段と、
   を備えるコンテンツ再生装置。
2. 請求項１に記載のコンテンツ再生装置において、
   前記コンテンツの分類種別ごとの前記所定の特徴データは、前記コンテンツの分類種別ごとの、ユーザが好む前記分節区間の特徴データであることを特徴とするコンテンツ再生装置。
3. 請求項１に記載のコンテンツ再生装置において、
   前記コンテンツの分類種別ごとの前記所定の特徴データは、前記コンテンツの分類種別ごとの、ユーザが好まない前記分節区間の特徴データであることを特徴とするコンテンツ再生装置。
4. 請求項１または請求項２に記載のコンテンツ再生装置において、
   前記分割区間特徴データ取得手段は、前記コンテンツの前記所定の再生時に、前記コンテンツのデータについて特徴量の抽出を行って、前記分節区間毎の特徴データを抽出する
   ことを特徴とするコンテンツ再生装置。
5. 請求項１または請求項２に記載のコンテンツ再生装置において、
   前記分節区間特徴データ取得手段は、記録媒体に前記再生対象のコンテンツと共に記録されている各分節区間毎の特徴データを前記記録媒体から読み出して前記分節区間毎の特徴データを取得する
   ことを特徴とするコンテンツ再生装置。
6. 請求項２に記載のコンテンツ再生装置において、
   前記所定の再生時は高速再生時であり、前記制御手段は、前記同一または類似であると判別された前記分節区間では、通常再生速度で再生するように制御する
   ことを特徴とするコンテンツ再生装置。
7. 請求項３に記載のコンテンツ再生装置において、
   前記所定の再生時は、通常再生時であり、前記制御手段は、前記同一または類似であると判別された前記分節区間では、高速再生またはスキップ再生する
   ことを特徴とするコンテンツ再生装置。
8. 請求項２に記載のコンテンツ再生装置において、
   前記記憶手段は、ユーザの操作入力を監視して、前記コンテンツを正常に再生することを要求する操作入力がされた前記コンテンツの分節区間の特徴データを、前記所定の特徴データとして前記コンテンツの分類種別の情報と対応付けて記憶する
   ことを特徴とするコンテンツ再生装置。
9. 請求項３に記載のコンテンツ再生装置において、
   前記記憶手段は、ユーザの操作入力を監視して、前記コンテンツを正常に再生しないことを要求する操作入力がされた前記コンテンツの分節区間の特徴データを、前記所定の特徴データとして前記コンテンツの分類種別の情報と対応付けて記憶する
   ことを特徴とするコンテンツ再生装置。
10. 請求項１に記載のコンテンツ再生装置において、
    前記制御手段は、他の区間と異なる再生速度で再生する前記同一または類似であると判別された前記分節区間と、他の区間との間では徐々に再生速度を変化させるように制御する
    ことを特徴とするコンテンツ再生装置。
11. コンテンツの分類種別ごとに、所定の特徴データを記憶する記憶工程と、
    所定の再生時に、前記再生対象のコンテンツのデータの区切りの隣接するものにより特定される分節区間毎の特徴データを取得する分節区間特徴データ取得工程と、
    再生対象のコンテンツの前記分類種別を検出する分類種別検出工程と、
    前記分類種別検出工程で検出された前記再生対象のコンテンツの分類種別と同じまたは同種の分類種別についての前記所定の特徴データを前記記憶手段から読み出す読み出し工程と、
    前記分節区間特徴データ取得工程で取得した前記分節区間毎の特徴データと、前記記憶手段から読み出された前記所定の特徴データとを比較し、前記分節区間毎の特徴データと、前記記憶手段からの前記所定の特徴データとが、同一または類似であるか否かを判別する判別工程と、
    前記判別工程で、前記分節区間毎の特徴データと、前記記憶手段から読み出された前記所定の特徴データとが同一または類似であると判別したときに、前記同一または類似であると判別された前記分節区間では、他の区間とは異なる再生速度で再生するように制御する制御工程と、
    を備えるコンテンツ再生方法。
    

Images