JP2005348077A

JP2005348077A - 記録再生装置、及び再生装置。

Info

Publication number: JP2005348077A
Application number: JP2004165033A
Authority: JP
Inventors: Takuji Kimura; 琢二木村
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-06-02
Filing date: 2004-06-02
Publication date: 2005-12-15

Abstract

【課題】テレビ番組コンテンツの重要場面のみ再生させるダイジェスト再生可能な記録再生装置、及び再生装置を提供する。
【解決手段】テレビ番組コンテンツに記録メディアに記録する記録信号を生成する記録再生部１５と、この記録信号を解析してテレビ番組コンテンツの重要場面を検出し、その検出した重要場面を示す補助データを生成する補助データ生成部１７と、記録信号と補助データを映像メディアに記録させると共に、補助データを基に記録信号を再生処理してモニタにテレビ番組コンテンツのダイジェストを表示させる記録再生装置。
【選択図】図１

Description

本発明は、リアルタイムに放送されているテレビ番組コンテンツを記録メディアに記録する際に、番組コンテンツの重要場面を示す補助データをテレビ番組コンテンツと別もしくは番組コンテンツに多重して記録し、その補助データを基にテレビ番組コンテンツのダイジェスト再生を可能とした記録再生装置、及び再生装置に関する。

近年、大記録容量のハードディスク（ＨＤ）や半導体メモリカード（ＳＤメモリカード）が開発実用化されている。この大記録容量のＨＤを従来の磁気テープに代わる記録メディアとして内蔵させて、リアルタイムに放送されるテレビ番組コンテンツを録画記録する録画記録再生装置が製品化されている。これにより、従来よりも長時間録画記録、あるいは多数番組記録が可能となっている。ＳＤメモリカード等に映像コンテンツを記録する際のフォーマットの１つとして、非特許文献１のＩＳＯ／ＩＥＣ１４４９６−１２に記載されているＭＰ４ファイルフォーマットがある。

一方、ノート型パーソナルコンピュータ、携帯情報端末機、携帯電話などの携帯可能なモバイル機器においても映像コンテンツの再生が可能となっている。この携帯可能なモバイル機器による映像コンテンツの再生には、ブロードバンドのデータ通信回線を介して配信された映像コンテンツを受信記録し、その受信記録した映像コンテンツを再生したり、あるいは、ＤＶＤ−ＲやＳＤメモリカード等のブリッジメディアに映像コンテンツを記録あるいはコピーし、そのブリッジメディアをモバイル機器に装着して映像コンテンツを再生することができるようになっている。

この映像コンテンツの配信元から配信受信する映像コンテンツの選択方法としては、例えば配信元が用意している映像コンテンツの要約内容のみのダイジェスト版を携帯モバイル機器により受信再生して、映像コンテンツの購入配信を決定する方法がある。しかし、このダイジェスト版は、配信元が作成した短時間のものであり、受信者が望む再生時間に合わせた映像コンテンツのダイジェスト版や映像コンテンツの内容の詳しいダイジェスト版の送信はできなかった。

そこで、受信者が望むダイジェスト版を生成して配信する方法が、例えば、特許文献１に提案されている。この特許文献１に提案されているコンテンツ情報配信方法は、映像コンテンツの音声信号をフレーム毎に分析した特徴量に基づいて強調状態にある音声区間を要約区間として抽出し、この要約区間の音声情報と、この音声情報に同期した映像情報を用いて利用者が望む時間のダイジェスト再生可能なコンテンツを利用者の携帯モバイル機器に送信するものであり、利用者は配信されたダイジェスト再生可能なコンテンツから映像コンテンツの購入配信の決定を行っている。

また、特許文献２には、監視カメラなどで長時間に渡り撮像された撮像信号を記録保存すると、記録メディアの記録容量が膨大となるために、撮像信号から映像の動き検出を行い、その映像の動きが検出された時には、撮像信号の動画記録を行い、映像の動きが検出されない時には、撮像信号の静止画を記録し、その記録メディアに記録された撮像信号を再生することで、動きのある映像のダイジェスト再生が可能な映像記録装置が提案されている。
特開２００３−２８８０９６号公報。特開平１１−１８０７６号公報。ＩＳＯ／ＩＥＣ１４４９６−１２「ＰｒｏｐｏｓｅｄＲｅｖｉｓｅｄＣｏｍｍｏｎＴｅｘｔＭｕｌｔｉｍｅｄｉａＦｉｌｅＦｏｒｍａｔＳｐｅｃｉｆｉｃａｔｉｏｎ」

上述した特許文献１に提案されているコンテンツ情報の配信方法は、映像コンテンツの配信元から利用者に対して、利用者が望む時間のダイジェスト版の送信が可能となるが、このダイジェスト版は、映像コンテンツの購入配信を選択するために用いられもので、映像コンテンツに付属する音声信号の特徴量による強調状態にある音声区間を抽出し、その音声区間に同期する映像信号の１フレームを代表静止画像として選択して、利用者のモバイル機器に配信するものである。

このために、映像コンテンツを購入配信するか否かを決定するためのコンテンツの概略内容やストーリーなどの認識はできるが、送信される映像は静止画でもあり、映像コンテンツの全体内容をダイジェスト的に視聴することはできない。

また、上述した特許文献２に提案されている映像記録装置は、撮像映像の動きを検出して、その動き検出された撮像映像を動画記録し、動き検出されない撮像映像を静止画記録することで、記録媒体への効率的撮像信号の記録と、撮像信号のダイジェスト再生が可能となる。しかし、この例では記録メディアに記録される時点の撮像映像の動き検出に応じて、撮像信号の記録形式を異ならせているために、記録時と再生時の再生時間は同じであり、記録メディアに記録されている撮像映像を更に短縮してダイジェスト再生させるためには一定間隔毎に映像信号を間欠再生させるタイムラプス再生を行うしかなく、このタイムラプス再生は主要な撮像映像が欠落することがある。

一方、上述したように、ブリッジメディアにテレビ番組コンテンツや映像コンテンツを記録、及びコピーすることにより、携帯モバイル機器でのコンテンツの再生が可能となったが、携帯モバイル機器は、駆動電源は電池であるため、長時間記録したテレビ番組コンテンツや映像コンテンツを再生している際に、電池容量が途中で消滅すると再生動作が中断されてしまう。このために、電池容量により許容される時間内に長時間記録されているコンテンツのダイジェスト再生が望まれている。

本発明は、このように事情に鑑み、テレビ番組コンテンツ等の記録時に、そのコンテンツの重要場面に補助データを記録させ、その補助データから重要場面を再生させるダイジェスト再生可能な記録再生装置、及び再生装置を提供することを目的としている。

本発明の記録再生装置は、リアルタイムに放送されるテレビ番組コンテンツを受信して記録メディアに記録し、その記録メディアに記録されたテレビ番組コンテンツを再生してモニタに表示させる記録再生装置において、受信したテレビ番組コンテンツに所定の信号処理を施して記録信号を生成する記録信号生成手段と、この記録信号生成手段により生成された記録信号を解析してテレビ番組コンテンツの重要場面を検出し、その検出した重要場面を示す補助データを生成する重要場面検出手段と、前記記録信号生成手段により生成された記録信号と、前記重要場面検出手段により生成された補助データを映像メディアに記録させる記録手段と、この記録メディアに記録されている補助データを基に記録信号を再生処理してモニタにテレビ番組コンテンツのダイジェストを表示させる再生手段と、を備えたことを特徴としている。

また、本発明の再生装置は、リアルタイムに放送されたテレビ番組コンテンツの記録信号が記録され、かつ、その記録されているテレビ番組コンテンツの重要場面の補助データが重み付けされて記録されている記録メディアと、この記録メディアに記録されている補助データを検出し、その補助データで指定されている記録信号を時系列に再生して、テレビ番組コンテンツのダイジェスト再生させるダイジェスト再生手段とを備えたことを特徴としている。

本発明の記録再生装置は、番組コンテンツの記録メディアへの記録の際に、番組の重要場面を重要度毎に検出し、その重要度に応じた重要場面情報を示す補助データを生成して記録メディアに共に記録することにより、所望の再生時間に応じたダイジェスト再生が可能となり、携帯モバイル機器において長時間番組コンテンツのダイジェスト再生が可能となった。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

本発明の一実施形態である記録再生装置の構成と基本概念について図１乃至図３を用いて説明する。

図1は、本発明の一実施形態の記録再生装置１０を示すもので、リアルタイムに放送されるテレビ番組コンテンツを受信して、所定の映像信号と音声信号を復調する受信部１１と、記録再生装置１０の各種機能の駆動を制御する制御部１２と、受信部１１を有している。

また、受信部１１で受信して復調した映像信号と音声信号をデジタル化してＭＰＥＧ−２の圧縮符号技術によりＭＰＥＧ２データにエンコードすると共に、ＭＰＥＧ２データをデコードして映像信号と音声信号を生成するＭＰＥＧ２記録・再生部１４と、このＭＰＥＧ２記録・再生部１４によりエンコードされたＭＰＥＧ２データを記録する高記録容量のＨＤを有するハードディスクドライブ（以下、ＨＤＤと称する）１３と、受信部１１において復調した映像信号と音声信号、あるいは、ＭＰＥＧ２記録・再生部１４によりデコードされた映像信号と音声信号をデジタル化してＭＰＥＧ−４の圧縮符号技術によりＭＰＥＧ４データにエンコードすると共に、ＭＰＥＧ４データをデコードして映像信号と音声信号を生成するＭＰＥＧ４記録・再生部１５を有している。

さらに、このＭＰＥＧ４記録・再生部１５においてエンコードされたＭＰＥＧ４データをＳＤメモリカード２１に記録、あるいは、ＳＤメモリカード２１に記録されているＭＰＥＧ４データの読み出しを行うための、ＳＤカードインターフェイス（以下、ＳＤカードＩ／Ｆと称する）１６と、テレビ番組コンテンツの重要場面を検出して、補助データを生成し、ＨＤＤ１３あるいはＳＤメモリカード２１に記録するＭＰＥＧ２あるいはＭＰＥＧ４のデータに多重記録させる補助データ生成部１７とを有している。

また、ユーザが記録再生装置１０の操作指示を入力する各種スイッチやリモートコントローラとのインターフェイスであるユーザーＩ／Ｆ部１８と、受信部１１からの映像信号と音声信号、またはＭＰＥＧ２記録・再生部１４、あるいはＭＰＥＧ４記録・再生部１５によりデコードされた映像信号と音声信号を所定のテレビ信号に変換して、モニタ装置２０にテレビ番組コンテンツを再生表示させるＡＶ出力部１９とを備えている。

制御部１２は、ユーザーＩ／Ｆ部１８を介してユーザーが入力した指示により、バスを介して、受信部１１、ＨＤＤ１３、ＭＰＥＧ２記録・再生部１４、ＭＰＥＧ４記録・再生部１５、ＳＤカードＩ／Ｆ１６、補助データ生成部１７、ユーザーＩ／Ｆ部１８、及びＡＶ出力部１８を制御する。

この記録再生装置１０は、受信部１１が受信したテレビ番組コンテンツをＭＰＥＧ２記録・再生部１４あるいはＭＰＥＧ４記録・再生部１５により、ＭＰＥＧ２あるいはＭＰＥＧ４のデータにエンコードして、ＨＤＤ１３あるいはＳＤメモリカード２１に記録する際に、補助データ生成部１７において、テレビ番組コンテンツの重要場面を検出し、その検出した重要場面を示す補助データを生成して記録するようにしている。すなわち、図２に示すように、ＭＰＥＧ２あるいはＭＰＥＧ４の映像データの中の重要場面（図中斜線部分）を示す補助データを一緒に記録する。そしてこの補助データが記録されている重要場面の映像データのみを読み取り、時系列に再生することによりコンテンツの重要場面のみを短時間で再生することで、ダイジェスト再生を可能にしている。

この映像信号に多重する補助データの構成は、図３（ａ）に示すように、コンテンツの重要場面部分を示すフレーム情報として、重要場面が検出された時系列順に生成され、各フレーム情報には、重要場面の記録開始位置情報である再生映像位置情報と、その重要場面の開始時間情報である再生開始時刻情報と、その重要場面の継続時間を示す再生時間長情報からなる。尚、番組コンテンツが、ＭＰ４ファイルフォーマットで記録される場合、図３（ｂ）に示すように、再生映像位置情報は、ＳＴＳＳ（シンクサンプル）ｂｏｘ内のｓａｍｐｌｅ＿ｎｕｍｂｅｒの値としてもよい。また、この補助データは、独立したファイルとしてもよいし、ｂｏｘとして番組コンテンツのｍｐ４ファイルに多重してもよい。

次に、このテレビ番組コンテンツの重要場面を検出して補助データを生成多重するコンテンツの重要場面の検出方法について説明する。テレビ番組コンテンツの重要場面として、例えば、ドラマやドキュメントは、映像の動きが多く早い場面、あるいは音声レベルが高い、つまり音量が大きい場面は、ドラマやドキュメントに変化がある場面と考えられ、その変化がある場面を重要場面と判定する。

また、スポーツ番組の場合は、スポーツ特有の画面構成と特有の用語が用いられる。例えば、野球中継の場合は、現在の攻撃回数、得点、アウトカウント、ストライクカウント、ボールカウント等のテロップが画面に比較的常時表示され、ホームランや得点が入った時に画面に大きくホームランの文字や得点状態が表示され、更に、ホームラン、ヒット、三振、アウト、大きい、ホームイン等の特有用語がよく用いられる。

更に、サッカー中継の場合は、前後半の時間経過、及び得点を示すテロップが比較的常時画面表示され、更に、シュート、ゴール、ペナルティキック、コーナーキック等の特有用語が用いられる。このように、映像の動きや音量、及びコンテンツのジャンル特有の画面構成と用語を用いてコンテンツの重要場面の検出を行うことができる。

図４は、本発明の記録再生装置１０に用いる補助データ生成部１７の構成を示すもので、映像の動き検出を利用して重要場面の検出を行う例を示している。この補助データ生成部１７は、受信部１１から出力されたテレビ番組コンテンツの映像信号が入力され、その映像信号に所定の信号処理を施して、デジタル映像信号を生成する映像信号処理部３１と、この映像信号処理部３１から出力されたデジタル映像信号をＭＰＥＧー４の映像圧縮符号技術によりＭＰＥＧ４データにエンコードする映像データ変換部３２と、映像信号処理部３１からのデジタル映像信号あるいは映像データ変換部３２からのＭＰＥＧ４データを複数フレーム分一時記憶させる映像信号バッファ３３と、映像データ変換部３２からのＭＰＥＧ４データから映像の動きを検出し、その検出した映像の動きに応じて補助データを生成する映像動き検出部３４と、この映像動き検出部３４の映像の動き検出と補助データ生成により映像信号バッファ３３とＳＤメモリカード２１の制御を行うコントロール部３５からなっている。なお、映像信号処理部３１と映像データ変換部３２は前述したＭＰＥＧ４記録・再生部１５と置き換えることもできる。

図４において、映像動き検出部３４は、映像データ変換部３２からの映像の動きを検出し、その検出した映像の動き情報によりコンテンツの重要場面の検出を行い、重要場面を示す補助データの生成を行う。すなわち、この映像動き検出部３４において映像の動きが検出されるとその情報から重要場面であると判別し、重要場面を示す補助データが生成される。そしてコントロール部３５を介して映像信号バッファ３３に一時記憶されている映像データと、生成された補助データがＳＤカードＩ／Ｆ１６を介してＳＤメモリカード２１に記録される。

図５は、補助データの生成動作を示すフローチャートであり、補助データ生成について、以下説明する。映像動き検出部３４は、映像データ変換部３２からのＭＰＥＧ４データが入力されると、映像の動き検出処理が開始され（ステップＳ１）、検出された映像の動き情報を取り込み（ステップＳ２）、この取り込んだ映像動き情報から動き量が所定の閾値を越えているか判定する（ステップＳ３）。このステップＳ３の判定の結果、検出された映像の動き量が閾値を越えている場合は、重要場面であり補助データを生成する対象場面である認識して補助データを生成（ステップＳ５）して、ステップＳ２に戻る。

ステップＳ３の判定の結果、検出された映像の動き量が閾値を越えていない場合は、重要場面ではないとして重要場面検出を終了させる（ステップＳ４）。

つまり、映像動き検出部３４は、映像データから検出した映像の動き量を閾値と比較して重要場面の有無を検出し、重要場面の開始位置と重要場面の終了位置の情報を基に図３（ａ）に示す補助データを生成して、コントローラ部３５に出力する。

コントローラ部３５は、映像動き検出部３５からの重要場面の有無と補助データにより、映像信号バッファ３３に一時記憶されているＭＰＥＧ４データをＳＤカードＩ／Ｆ１６を介してＳＤメモリカード２１に出力して記録すると共に、補助データをＳＤカードＩ／Ｆ１６を介してＳＤメモリカード２１に出力記録する。

こうして記録メディア（ＳＤメモリカード２１）に記録された補助データを基に、記録データの重要場面を読み出して再生することにより、ダイジェスト再生を行うことができる。

本発明の記録再生装置は、以上の構成及び動作により、図２に示すように、映像データの重要場面を示す補助データを記録することができ、その補助データが記録されている映像データのみを読み出し再生処理することにより重要場面のみのダイジェスト再生が可能となる。

尚、補助データは、前記記録信号と別に記録してもよいし、前記記録信号に多重して記録してもよい。

また、図示していないが、映像動き検出部３４を音声レベル検出部に代え、ＭＰＥＧ４音声データから音量の大きさである音声レベルを検出し、その検出した音声レベルが閾値を超えたときの映像データの位置と、音声レベルが閾値以下となったときの映像データの位置情報から補助データを生成させるようにしても良い。

次に、図６を参照して、本発明の記録再生装置１０に用いる補助データ生成部１７の別の実施形態について説明する。この実施形態では特定のジャンルに特化した番組における重要場面の検出例を示している。

なお、この特定のジャンルに特化した重要場面の検出については、図４の映像動き検出部３４に、後述するジャンル特有の重要場面の検出機能を設けることで実現できる。また、この番組ジャンルに特化した重要場面の検出操作は、ユーザーＩ／Ｆ部１８からユーザーによる番組ジャンル指定、及び重要場面検出条件の選択入力が必要となるが、詳細説明は省略する。

以下、図６を用いて番組ジャンルに特化した重要場面の検出と、補助データ作成の基本処理動作について説明する。先ず特定ジャンルの番組の録画が開始されると（ステップＳ１１）、録画が継続しているか否かの判定が行われる（ステップＳ１２）。録画が継続している場合はステップＳ１４，Ｓ１５に移行するが、録画が終了するとステップＳ１３にて処理は終了する。

番組の録画が継続している場合、ステップＳ１４では、後述する、番組の画面に表示されるジャンル特有のテロップを解析して番組の重要場面の検出（ステップＳ１４）が行われる。また、ステップ１５では、ジャンル特有の用語が発せられたか否かを音声認識により判別し、重要場面の検出が行われる。

ステップＳ１５において、音声認識による重要場面の検出が行われると、その検出された音声が重要場面を示す用語であるか否かが判定される（ステップＳ１６）。このステップＳ１６の判定の結果、検出した音声が重要場面を示す用語であると判定されると、後述するその用語の音声レベルによる重要場面の検出を行う（ステップＳ１７）。

ステップ１８では、ステップＳ１４のテロップ解析による重要場面の検出と、ステップＳ１７の音声レベルによる重要場面の検出から重要場面の重要度を判定し、このステップＳ１８における重要度を基にステップＳ１９では重要場面の補助データを作成し、ステップＳ１２に戻る。

次に、ステップＳ１４のテロップ解析による重要場面検出について、図７と図８を用いて説明する。図７は、番組ジャンルが野球中継番組の場合のテロップ解析について説明したものである。前述したように、野球中継番組の画面には、得点、アウトカウント、ストライクカウント、及びボールカウント等を示すテロップが表示される。

この野球中継番組を録画している際に、映像データからテロップの得点を示す領域の認識を行い（ステップＳ２１）、その得点領域の得点に変化があったか判定する（ステップＳ２２）。このステップＳ２２の判定の結果、得点領域の得点に変化があることは、得点が得られた重要場面であると判定されて重要度大の補助データ生成パラメータを作成させる（ステップＳ２３）。

ステップＳ２２において、得点領域の得点に変化がないと判定されると、テロップのアウトカウントを示す領域の認識を行い（ステップＳ２４）、そのアウトカウント領域のアウトカウントに変化があったかを判定する（ステップＳ２５）。このステップＳ２５の判定の結果、アウトカウント領域のアウトカウントに変化があることは、アウトカウントを得た比較的重要な場面であると判定されて重要度中の補助データ生成パラメータを作成させる（ステップＳ２６）。

ステップＳ２５において、アウトカウント領域のアウトカウントに変化がないと判定されると、テロップのストライク／ボールのカウントを示す領域の認識を行い（ステップＳ２７）、そのストライク／ボールのカウント領域のストライクカウントが２ストライク、またはボールカウントが３ボールであるか判定する（ステップＳ２８）。このステップＳ２８での判定の結果、ストライク／ボールのカウントが、２ストライク、または３ボールであると試合が動く場面であると判定されて重要度小の補助データ生成パラメータを作成させる（ステップＳ２９）。

ステップＳ２８において、ストライク／ボールのカウントが、２ストライク、または３ボール以外であると、重要場面無しの補助データパラメータを作成（ステップＳ３０）して、野球用テロップによる重要場面検出を終了する。

これにより、野球の得点時、アウトカウントが増えた時、及び三振あるいは４ボールにより試合が変化した場面に応じた重要度が設定できる。

次に、サッカー中継番組の例を用いたテロップ解析について図８を用いて説明する。前述したように、サッカー中継番組の画面には、試合の前後半の経過時間、及び得点を示すテロップが表示されている。

このサッカー中継番組を録画している際に、映像データからテロップの得点を示す領域の認識を行い（ステップＳ４１）、その得点領域の得点に変化があったか判定する（ステップＳ４２）。このステップＳ４２の判定の結果、得点領域の得点に変化があることは、得点が得られた重要場面であると判定されて重要度大の補助データ生成パラメータを作成させる（ステップＳ４３）。

ステップＳ４２において、得点領域の得点に変化がないと判定されると、重要度なしの補助データパラメータを作成（ステップＳ４４）して、サッカー用テロップによる重要場面検出を終了する。これにより、サッカーの得点時の試合が大きく変化した場面に重要度設定ができる。

次に、ステップＳ１５の音声認識による重要場面の検出について、図９と図１０を用いて説明する。この音声認識による重要場面検出においては、前述したように、番組特有の用語を検出する。そのために、事前に番組ジャンル毎の特有用語を設定する必要がある。例えば、図１０に示すように、野球中継用のデータベースには、ホームラン、三振、アウト、大きい、及びホームイン等の試合の変化を表す用語が特定されており、サッカー中継用のデータベースには、シュート、ゴール、ペナルティキック、及びコーナーキック等の試合の変化を表す用語が特定されている。

ステップＳ１５の音声認識による重要場面検出が開始されると、図１０を用いて説明したように、ユーザによって選択された番組ジャンルに応じたデータベースが選択される（ステップＳ５１）。次にその番組ジャンルの音声データからフレーズレベルの用語を音声認識処理して検出する（ステップＳ５２）。このステップＳ５２において音声認識されたフレーズレベルの用語は、ステップＳ５３において、選択したデータベース内に予め登録されている用語フレーズと一致するものか否かが比較される。

ステップＳ５４では一致、不一致の判断が行われ、一致と判定されるとその用語が使われた場面に重要度大の補助データ生成パラメータを作成させる（ステップＳ５５）。ステップＳ５４において、フレーズレベルの用語とデータベースの用語が一致しないと判定されると、重要度無しの補助データ生成パラメータを作成させる（ステップＳ５６）。こうして音声用語に基づいて重要場面か否かの判定を行うことができる。

次に、音声レベル検出による重要場面の検出（図６のステップＳ１７）について、図１１を用いて説明する。この音声レベル検出は、先の音声認識によりフレーズが一致した用語の発生音量である音声レベルをステップＳ６１で検出し、ステップＳ６２で音声レベルが所定の閾値を超えているか判定する。

このステップＳ６２の判定の結果、検出された音声レベルが閾値を超えている場合は、重要度大の補助データ生成パラメータを作成させる（ステップＳ６３）。ステップＳ６２の判定の結果、検出された音声レベルが閾値を超えていない場合は、重要度小の補助データ生成パラメータを作成させる（ステップＳ６４）。

つまり、前述したジャンル毎の特有用語のデータベースと一致する用語が音声データに含まれおり、かつアナウンサーが比較的大きな声で発生し、音声レベルが閾値を超える場合は、試合展開が大きく変化した重要場面と判断し、アナウンサーの発生音が小さい場合は、試合展開の変化が少ない場面であると判別することができる。

次に図６のステップＳ１８における重要度判定処理について、図１２を用いて説明する。この重要度判定処理は、前述したステップＳ２３，Ｓ２６，Ｓ２９，Ｓ４３，Ｓ５５．Ｓ６３，Ｓ６４において作成されたパラメータを用いて、重要場面を示す補正データを生成するものである。

図１２において、ステップＳ７１では、前述した重要度のパラメータが補助データ作成基準の閾値を超えているか否かを判定する。つまり、補助データを生成する基準を超えているか判定される。

このステップＳ７１の判定の結果、重要度のパラメータが閾値を超えていると判定されると、この閾値を超える重要場面は、既に生成されている補助データ上の対象番組場面であるか否かが判定される（ステップＳ７２）。つまり、このステップＳ７２では、図３に示す補助データのフレーム情報１の対象の番組場面であるか、次のフレーム情報２の対象の番組場面であるか判定する。

このステップＳ７２の判定の結果、補助データの重要場面として再生対象中の番組場面であると判定されると、補助データ上ではフレーム情報１の番組場面として組み込まれる。

このステップＳ７２の判定の結果、フレーム情報１の対象の番組場面ではない判定されると、重要場面の補助データとしてフレーム情報２を新たに生成する（ステップＳ７３）。

一方、ステップＳ７１の判定の結果、パラメータが閾値を超えていないと判定されると、ステップＳ７４では、補助データ上で再生対象の番組場面であったか否かを判定し、再生対象中の番組場面であったと判定されると、補助データの生成を終了させる（ステップＳ７５）。すなわち、補助データを生成する重要場面ではないと判定されると補助データの生成を終了させる。

次に、本発明の第３の実施形態として、図１の録再生装置１０のＳＤメモリカード２１に、テレビ番組コンテンツのデータと共に重要場面を示す補助データが記録され、そのコンテンツのデータと補助データを基にコンテンツのダイジェスト再生を行う場合の動作について図１３乃至図１５を用いて説明する。なお、図１３は、前述した図６と同一部分は、同一符号を付して詳細説明は省略する。

また、補助データは、ＳＤメモリカード２１上で、コンテンツデータと別に記録してもよいし、コンテンツデータに多重して記録してもよい。

図１３のステップＳ１２〜Ｓ１７による処理により重要場面の検出が行われ、その重要場面の重要度による補助データ生成のパラメータを基に、ステップＳ８１においては、重要場面情報の記録が行われる。

そしてステップＳ１２において、録画の終了が判別されると、ダイジェスト再生させるための重要場面の選択処理が行われる（ステップＳ８２）。このステップＳ８２の重要場面の選択処理が終了すると、その選択された重要場面の補助データの作成処理が行われる（ステップＳ８３）。

ステップＳ８２の重要場面の選択処理は、図１５に示すように、例えば、携帯モバイル機器において、ブリッジメディアであるＳＤメモリカード２１に記録されたコンテンツを再生させる際に、電池の容量の関係から、２時間のコンテンツを１時間のダイジェスト再生（５０％に内容圧縮再生）や、３０分のダイジェスト再生（２５％に内容圧縮）、あるいは、電池が消耗して見られなくなるところまで再生（内容非圧縮）等に応じて、補助データを用いて番組場面のダイジェスト再生の選択設定を行う。

このダイジェスト再生において、例えば、５０％に内容圧縮させたダイジェスト再生が指示入力された場合、ステップＳ８２の重要場面の選択は、図１４に示すように、記録メディアであるＳＤメモリカード２１に記録されている重要場面情報の中から最も重要度のパラメータが高いものを順次選択する（ステップＳ９１）。次に、選択した重要場面の総再生時間を検出して加算する（ステップＳ９２）。ステップＳ９３では、重要場面の総再生時間が、指定された５０％に内容圧縮して再生させる時間を超えるか否かの判定を行う。

このステップＳ９３の判定の結果、指定された５０％に内容圧縮して再生する時間を超える場合は、処理を終了させる（ステップＳ９４）。指定された５０％に内容圧縮して再生可能と判定されると、その重要場面の情報を補助データ作成の対象場面として決定する。（ステップＳ９５）。そして、再度ステップＳ９１に戻るように動作する。

このように、重要場面の情報を示す補助データから重要番組の重要度を基に重要場面の再生時間を集計することで、所望の再生時間内での重要場面のダイジェスト再生が可能となる。

また、このダイジェスト再生時間は、例えば、携帯モバイル機器の電源電池の残量を検出し、その電池残量でダイジェスト再生できる時間を算出し、その算出時間内でダイジェスト再生できるように重要度の高いものを優先して再生するようにすればよい。更に、検出した電池残量からダイジェスト再生する時間設定において、携帯モバイルを他の用途に使用することも考慮して電池の容量を若干残すようにダイジェスト再生時間を設定させるようにしても良い。

以上説明したように、本発明は、テレビ番組コンテンツを記録する際に、コンテンツの重要場面を検出し、その重要場面を示す補助データをコンテンツのデータと共に記録メディアに記録することにより、記録されている重要場面の重要度により補助データを選択することで、所望する圧縮時間で重要場面のダイジェスト再生が可能となる。

本発明の記録再生装置の概略構成を示すブロック図。本発明の記録再生装置の映像データと補助データの関係を説明する説明図。本発明の記録再生装置の補助データのデータ構成を示す説明図。本発明の記録再生装置に用いる補助データ生成部の概略構成を示すブロック図。本発明の記録再生装置の第１の実施形態である映像動き検出による重要場面検出の動作を説明するフローチャート。本発明の記録再生装置の第２の実施形態の番組ジャンルに特化した重要場面検出の動作を説明するフローチャート。本発明の記録再生装置の第２の実施形態の番組ジャンルに特化した重要場面検出における野球用テロップによる認識動作を説明するフローチャート。本発明の記録再生装置の第２の実施形態の番組ジャンルに特化した重要場面検出におけるサッカー用テロップによる認識動作を説明するフローチャート。本発明の記録再生装置の第２の実施形態の番組ジャンルに特化した重要場面検出における特有用語による認識動作を説明するフローチャート。本発明の記録再生装置の第２の実施形態の番組ジャンルの特有用語のデータベースを説明する説明図。本発明の記録再生装置の第２の実施形態の番組ジャンルに特化した重要場面検出における特有用語の音声レベルによる認識動作を説明するフローチャート。本発明の記録再生装置の重要場面の補助データ生成動作を説明するフローチャート。本発明の記録再生装置の重要場面の補助データ生成と、再生時間に応じた重要場面選択動作を説明するフローチャート。本発明の記録再生装置の重要場面の補助データからダイジェスト再生データの生成する動作を説明するフローチャート。本発明の記録再生装置のダイジェスト再生の選択例を説明する説明図。

符号の説明

１０記録再生装置、１１受信部、１２制御部、１３ハードディスクドライブ（ＨＤＤ）、１４ＭＰＥＧ２記録・再生部、１５ＭＰＥＧ４記録・再生部、１６ＳＤカードＩ／Ｆ、１７補助データ生成部、１８ユーザーＩ／Ｆ部、１９ＡＶ出力部、２０モニタ装置、２１ＳＤメモリカード。
代理人弁理士伊藤進

Claims

リアルタイムに放送されるテレビ番組コンテンツを受信して記録メディアに記録し、その記録メディアに記録されたテレビ番組コンテンツを再生してモニタに表示させる記録再生装置において、
受信したテレビ番組コンテンツに所定の信号処理を施して記録信号を生成する記録信号生成手段と、
この記録信号生成手段により生成された記録信号を解析してテレビ番組コンテンツの重要場面を検出し、その検出した重要場面を示す補助データを生成する重要場面検出手段と、
前記記録信号生成手段により生成された記録信号と、前記重要場面検出手段により生成された補助データを映像メディアに記録させる記録手段と、
この記録メディアに記録されている補助データを基に記録信号を再生処理してモニタにテレビ番組コンテンツのダイジェストを表示させる再生手段と、
を具備することを特徴とした記録再生装置。
前記重要場面検出手段は、前記記録信号生成手段により生成された記録信号から映像の動きの多い番組場面を重要場面として検出することを特徴とした請求項１記載の記録再生装置。
前記重要場面検出手段は、前記記録信号生成手段により生成された記録信号から音声レベルが所定の閾値を超える番組場面を重要場面として検出することを特徴とした請求項１記載の記録再生装置。
前記重要場面検出手段は、前記記録信号生成手段により生成された記録信号から番組ジャンル特有の映像信号部分を解析して、その番組ジャンル特有映像信号部分が変化した番組場面を重要場面として検出することを特徴とした請求項１に記載の記録再生装置。
前記重要場面検出手段は、前記記録信号生成手段により生成された記録信号から番組ジャンル特有の用語を解析して、その特有用語を用いた番組場面を重要場面として検出することを特徴とした請求項１記載の記録再生装置。
前記補助データ生成手段は、前記重要場面検出手段により検出された番組ジャンル特有の映像信号部分の変化内容と、番組ジャンル特有の用語の音声レベルにより重要場面に重み付けした補助データを生成することを特徴とした請求項４または５のいずれかに記載の記録再生装置。
前記再生手段は、前記記録メディアに記録されている記録信号部分を時系列に再生する番組コンテンツ再生と、前記記録メディアに記録されている補助データで指定された部分の記録信号を検出して時系列に再生させるダイジェスト再生とを選択可能であることを特徴とした請求項１に記載の記録再生装置。
前記再生手段は、前記記録メディアに記録されている記録信号部分を時系列に再生する番組コンテンツ再生と、当該番組コンテンツに多重記録されている補助データで指定された部分の記録信号を検出して時系列に再生させるダイジェスト再生とを選択可能であることを特徴とした請求項１に記載の記録再生装置。
前記再生手段は、ダイジェスト再生時に再生時間を指定入力すると、その指定再生時間に応じて補助データに付されている重み付けを選択し、その選択された重み付け補助データ部分の記録信号を検出して時系列に再生することを特徴とした請求項７に記載の記録再生装置。
リアルタイムに放送されたテレビ番組コンテンツの記録信号が記録され、かつ、その記録されているテレビ番組コンテンツの重要場面の補助データが重み付けされて記録されている記録メディアと、
この記録メディアに記録されている補助データを検出し、その補助データで指定されている記録信号を時系列に再生して、テレビ番組コンテンツのダイジェスト再生させるダイジェスト再生手段と、
を具備することを特徴とした再生装置。
リアルタイムに放送されたテレビ番組コンテンツの記録信号が記録され、かつ、その記録信号には番組コンテンツの重要場面の補助データが重み付けされて多重記録されている記録メディアと、
この記録メディア中の番組コンテンツに多重記録されている補助データを検出し、当該番組コンテンツのうち、補助データで指定されている部分の記録信号を時系列に再生して、テレビ番組コンテンツのダイジェスト再生させるダイジェスト再生手段と、
を具備することを特徴とした再生装置。
前記ダイジェスト再生手段は、ダイジェスト再生時間を指定入力すると、前記記録メディアに記録信号と多重記録されている補助データから指定入力した再生時間内に再生可能な重み付け補助データを選択して再生することを特徴とした請求項１０乃至１１記載の再生装置。
前記ダイジェスト再生手段は、駆動用電源電池の残量を検出する電池残量検出手段を有し、この電池残量検出手段により検出された電池残量により再生可能な時間を設定し、その再生可能時間内に再生可能な重み付け補助データを選択して再生することを特徴とした請求項１０乃至１１記載の再生装置。
前記ダイジェスト再生手段は、駆動用電源電池の電池量を検出する電池量検出手段を有し、この電池量検出手段により検出された電池量から所定の電池量を残存させて再生可能な時間を設定し、その再生可能時間内に再生可能な重み付け補助データを選択して再生させることを特徴とした請求項１０乃至１１記載の再生装置。