JP2007094234A - データ記録再生装置、データ記録再生方法及びそのプログラム - Google Patents

Abstract

【課題】
演算処理量を増やすことなく、データのコンテンツの特徴点を抽出することができるデータ記録再生装置、データ記録再生方法及びそのプログラムを提供すること。
【解決手段】
圧縮符号化された音声データの中からＳＦ（原音信号の音の特性情報）がＳＦ抽出回路３５により抽出され、ＭＰＥＧオーディオ／ビデオデコーダ２８での復号処理を要することなく、抽出されたＳＦに基づいて特徴点ファイルが生成される。これにより、復号処理した後にサブバンドデータが生成され、そのサブバンドが持つエネルギーを観測して小区間が持つ特徴を分類する従来の方法に比べ、本発明では演算処理量を減らすことができる。また、既に過去に記録された別の番組（別のタイトル）の再生途中であっても、現在記録中のタイトルのコンテンツのＳＦを抽出することが可能となる。
【選択図】図１

Description

本発明は、原音信号が符号化されて生成された音声データを元の原音信号に復号して再生することが可能なデータ記録再生装置、データ記録再生方法及びそのプログラムに関する。

近年のデジタル家電やパーソナルコンピュータの普及により、アナログテレビ放送やデジタルテレビ放送、ラジオ放送等をディスクやカード状の記録媒体へ記録して再生する使い方が広く利用されつつある。そういった背景の中、記録したコンテンツをより短時間で視聴したいという需要が増えてきている。この需要に応じて、例えば、単純な一定間隔で映像や音声のデータを間引き処理する方法、あるいは、映像や音声のコンテンツが持つ特徴に応じて不均一な時間間隔で間引き処理する方法等、各種変速再生方法が考案されている。

例えば、再生コンテンツの音が持つ特徴に応じて、再生タイトル（再生データ）内を、例えば無音区間、音楽信号区間、音声信号区間の３種に分類して、音声信号区間を優先的に選択して高速にダイジェスト再生する、といった技術が開示されている（例えば、特許文献１参照。）。この特許文献１では、音声入力信号を圧縮符号化する前にＦＦＴ（Fast Fourier Transform）処理を施して周波数帯域ごとのエネルギーを観測して小区間の特徴を分類する手法が提案されている。さらに、特許文献１では、ＭＰＥＧ（Moving Picture Experts Group）オーディオ方式で符号化されたデータを復号してサブバンドデータを作成し、サブバンドが持つエネルギーを観測して小区間が持つ特徴を分類する手法も提案されている。

かかる特許文献１に記載の方法では、例えば、単にアナログ音声入力信号を符号化し、映像信号と多重化してハードディスク等の記録媒体へ記録する際に、コンテンツの特徴点を抽出しておき、後にダイジェスト再生する際にその特徴点情報を利用することができる。あるいは、例えばデジタル放送で送られてくるデジタル多重化ストリームを一旦分離して復号したデータを再符号化及び再多重化した後に記録媒体に記録する際に、上記同様にコンテンツの特徴点を抽出して記憶しておき、後にダイジェスト再生する際にその特徴点の情報を利用することも可能である。
特開平１０−２４７０９３号公報（段落[０００８]、[０００９]）

しかしながら、上記特許文献１の方法では、デジタル放送で送られてくるデジタル多重化ストリームを一旦分離して復号したデータを再符号化及び再多重化した後に記録媒体に記録する場合は、次のような問題がある。つまり、符号化された音声データから音声の特徴を分類する場合、そのデータを復号してサブバンドデータを作成しているため演算量が多くなり、機器の負担が増大する。

また、特許文献１の方法では、例えばデジタル放送から送られてくるデジタル多重化ストリームをそのままの形態で記録媒体に記録しながら、並行して記録媒体上の別のデータ（例えば、別のテレビ番組等）を再生するといった場合には不都合を生じる。特許文献１の方法では、特徴点抽出のためにストリームの復号処理を行うが、再生中には当該別のデータのストリームの復号処理でデコーダが占有されてしまうため、現在記録中のコンテンツが持つ特徴点を実時間で抽出することができない。その結果、その記録されたデータがダイジェスト再生される場合、そのコンテンツが持つ特徴に応じたダイジェスト再生ができないという問題がある。

なお、以上の説明中、「ダイジェスト再生」というのは、データのコンテンツが要約されて再生される意味の他にも、コンテンツの途中が省略して再生されたりして通常の時間より短い時間で再生される意味も含まれる。

以上のような事情に鑑み、本発明の目的は、演算処理量を増やすことなく、データのコンテンツの特徴点を抽出することができるデータ記録再生装置、データ記録再生方法及びそのプログラムを提供することにある。

本発明のさらなる目的は、音声データの記録中に別のデータが再生されている場合であっても、その記録中のデータのコンテンツの特徴点を抽出することができる技術を提供することにある。

上記目的を達成するため、本発明に係るデータ記録再生装置は、原音信号が符号化されて生成された音声データを前記原音信号に復号して再生するデータ記録再生装置であって、前記音声データを記憶するデータ記憶手段と、前記データ記憶手段に記憶された音声データの中から前記原音信号の音の特性情報を抽出し、前記抽出した特性情報に基づいて特徴点情報を生成する特徴点情報生成手段と、前記音声データを復号し、前記復号した復号データに前記特徴点情報に基づいて間引き処理を施すことで、前記原音信号を変速再生する変速再生手段とを具備する。

本発明では、符号化された音声データの中から原音信号の音の特性情報が抽出され、復号処理を要することなく、抽出された特性情報に基づいて特徴点情報が生成される。これにより、従来に比べて演算処理量が減るとともに、既に過去に記録された別のデータの再生途中であっても、現在記録中のデータコンテンツの特徴点を抽出することが可能となる。

具体的には、符号化のコーデックがＭＰＥＧ１、２等の場合、各周波数帯域ごとの音圧レベルを表す「特徴点情報」は、「スケールファクタ」（以下、ＳＦという。）である。コーデックがドルビーデジタル（ＡＣ（Audio Code）−３）方式では、各周波数帯域ごとの音圧レベルを表す「特徴点情報」は、「exponents」である。「音の特性情報」とは、例えば音圧レベル、周波数、位相等である。

「原音信号」とは、人間が認識することのできるアナログ的な信号、またはそのアナログ信号がＰＣＭ（Pulse Code Modulation）まで符号化されたデジタル信号を意味する。この原音信号が符号化（圧縮符号化）される処理は、必ずしも本データ記録再生装置により行われなくてもよい。例えば、外部の機器で予め符号化されている場合や、デジタル放送等のコンテンツのように予め符号化されている場合も考えられる。

また、具体的には、データ記録再生装置は、前記データ記憶手段から前記音声データを読み出し、前記音声データを復号しながら前記原音信号を通常速度で再生する再生手段と、前記音声データの読み出し制御と、前記特徴点情報を記憶制御とを並行して行うバッファコントローラとをさらに具備すればよい。

変速再生手段により原音信号が変速再生されるときに、特徴点情報生成手段によりリアルタイムで特徴点情報が生成されてもよい。あるいは、後述するように特徴点情報が特徴点情報記憶手段により記憶され、その後、変速再生時にその記憶された特徴点情報が用いられてもよい。

本発明では原音信号が再生されるとき、あくまで人間が元の原音を聴き取ることができるように再生されればよく、復号化により完全に元の原音が復元されない場合も、もちろん本発明の概念に含まれる。つまり、本発明によるコーデックは、可逆性であってもよいし、不可逆であってもよい。また、そのコーデックの種類としては、原音信号が符号化された音声データの中に、復号しなくても原音信号の音の特性情報が残るようなコーデックであれば何でもよい。

「データ記憶手段」は、記憶できる媒体であれば何でもよい。例えば、ハードディスク等の磁気ディスク、半導体や誘電体等を用いた固体メモリ、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、その他ホログラム等の光学的な方法でデータ記録が可能な光ディスク、ＭＯ（Magneto Optical disk）やＭＤ（Mini-Disk）等の光磁気ディスク等が挙げられる。これ以降に説明するあらゆる記憶デバイスについても同様である。

特徴点情報生成手段は、もちろん、アナログ信号及びデジタル信号のどちらからも特性情報を抽出し、特徴点情報を生成することができるものを想定している。

本発明において、前記特徴点情報生成手段は、前記音声の有無の情報を前記特徴点情報として生成する。この場合、変速再生手段は、例えば音声がある部分を優先的にピックアップして変速再生することができる。特徴点情報には、人間の声音の有無の情報も含まれるようにしてもよい。これにより、変速再生手段は、例えば人間の声音のみがピックアップされるように変速再生することができる。

本発明において、前記特徴点情報生成手段は、所定の時間ごとに前記特徴点情報を生成する。本発明では、例えば映像とともに音声が再生される場合は、「所定の時間」が短いほど、ユーザにとって変速再生時に映像と音声との同期が取れているように見え、ユーザに違和感を与えることが少なくなるという利点がある。逆に言うと、例えば１０秒、３０秒、１分というようにある程度短い時間であれば、映像と音声とが同期が取れていなくもユーザに違和感を与えることは少ない。つまり、音声は途中で途切れると違和感があるが、映像については常に変化があることがほとんどであり、所定の時間ごとに映像と音声とがある程度同期していればよい。また、逆に言うと、音声についてはユーザがはっきり聴こえるようにピックアップされ、映像についてはその音声に同期させないでその区間の映像がまんべんなく表示された方がユーザにとって見やすい場合もある。

本発明において、データ記録再生装置は、前記生成された特徴点情報を、該特徴点情報に対応する前記特性情報を持つ前記音声データと対応付けて記憶する特徴点情報記憶手段をさらに具備する。特徴点情報生成手段は、符号化された音声データがデータ記憶手段に記憶される前に、特徴点情報を生成してもよい。あるいは、特徴点情報生成手段は、符号化された音声データがデータ記憶手段に記憶された後、その音声データをデータ記憶手段から読み出しながら、特徴点情報を生成することも可能である。その場合、その後、特徴点情報が特徴点情報記憶手段に記憶されればよい。

「特徴点情報記憶手段」としては、上記データ記憶手段と物理的に同じ記憶媒体が利用されてもよいし、別体の記憶媒体であってもよい。

本発明に係るデータ記録再生方法は、前記音声データを記憶するステップと、前記記憶された音声データの中から前記原音信号の音の特性情報を抽出するステップと、前記抽出された特性情報に基づいて特徴点情報を生成するステップと、前記音声データを復号するステップと、前記復号した復号データに前記特徴点情報に基づいて間引き処理を施すことで、前記生成された特徴点情報を用いながら前記原音信号を変速再生するステップとを具備する。

以上のように、本発明によれば、演算処理量を増やすことなく、また、音声データの記録中に別のデータが再生されている場合であっても、その記録中のデータのコンテンツの特徴点を抽出することができる。

以下、本発明の実施の形態を図面に基づき説明する。

図１は、本発明の一実施の形態に係るデータ記録再生装置の構成を示すブロック図である。このデータ記録再生装置１００は、アナログテレビ放送やデジタルテレビ放送等を記録し、また、記録したデータを再生することが可能な機器である。

システムコントローラ１０は、このデータ記録再生装置１００の各ブロックの制御を司っている。システムコントローラ１０は、必要に応じてホストバスを介してＲＯＭ（Read Only Memory）１１及びＲＡＭ（Random Access Memory）１２にアクセスし、全体を制御する。

以下、アナログチューナ１４を介してアナログ放送信号が供給される場合において、そのアナログ放送を記録する場合に用いられるブロック及びその機能を説明する。

アナログチューナ１４は、アンテナ１３を介して入力された映像信号及び音声信号を入力切換回路１５に供給する。この入力切換回路１５には、外部からのコンポジット映像信号及び音声信号も供給される。入力切換回路１５は、システムコントローラ１０の制御に応じて、コンポジット映像信号をＹ／Ｃ分離回路１６に供給すると共に、音声信号を音声Ａ／Ｄ（Analogue／Digital）変換器２２に供給する。

Ｙ／Ｃ分離回路１６は、コンポジット映像信号をＹ／Ｃ分離して切換回路１７に供給する。切換回路１７は、システムコントローラ１０の制御に応じて、外部からのＳ映像信号とＹ／Ｃ分離回路１６からの出力との何れかを選択し、選択した映像信号をＮＴＳＣ（National Television System Committee）デコーダ１８に供給する。

ＮＴＳＣデコーダ１８は、供給された映像信号に対してＡ／Ｄ変換、クロマエンコードの処理を施してデジタルコンポーネント映像データ（以下、映像データという。）に変換し、この映像データをプリ映像信号処理回路２０に供給する。また、ＮＴＳＣデコーダ１８は、供給された映像信号の水平同期信号を基準に生成したクロックと、同期分離して得た水平同期信号、垂直同期信号及びフィールド判別信号とを同期制御回路１９に供給する。同期制御回路１９は、これらの信号を基準として、後述する各ブロックに必要なタイミングに変換したクロック及び同期信号を生成し、各ブロックに供給する。

プリ映像信号処理回路２０は、供給された映像データにプリフィルタ処理等の各種映像処理を施し、映像処理後の映像データをＭＰＥＧ（Moving Picture Experts Group）ビデオエンコーダ２１及びポスト映像信号処理回路２９に供給する。

ＭＰＥＧビデオエンコーダ２１は、プリ映像信号処理回路２０からの映像データに対してブロックＤＣＴ（Discrete Cosine Transform）等の符号化処理を施して映像エレメンタリーストリーム（Elementary Stream；ＥＳ）を生成し、このビデオＥＳを多重・分離回路２５に供給する。なお、本実施の形態ではＭＰＥＧ方式の圧縮としているが、他の圧縮方式であっても構わない。

一方、音声Ａ／Ｄ変換器２２は、入力切換回路１５で選択された音声信号をデジタル音声データに変換し、ＭＰＥＧオーディオエンコーダ２３及び切換回路３２に供給する。ＭＰＥＧオーディオエンコーダ２３は、音声Ａ／Ｄ変換器２２からの音声データをＭＰＥＧフォーマットに従って圧縮した後、オーディオＥＳを生成し、このオーディオＥＳを多重・分離回路２５に供給する。

なお、本実施の形態では、映像データ及び音声データをＭＰＥＧフォーマットに従って圧縮するものとして説明したが、他の圧縮フォーマットに従って圧縮するようにしてもよく、あるいは圧縮しなくてもよい。

多重・分離回路２５は、ビデオＥＳ、オーディオＥＳ及び各種制御信号を多重化してトランスポートストリーム（Transport Stream；ＴＳ）を生成し、バッファ制御回路２６に供給する。バッファ制御回路２６は、連続的に入力されるＴＳを、後段のＨＤＤ（Hard Disc Drive）２７に断続的に送るための制御を行う。例えば、ＨＤＤ２７がシーク動作を行っている際にはＴＳの書き込みができないため、バッファ制御回路２６は、図示しないバッファにＴＳを一時的に蓄え、書き込みが可能な場合には、入力レートよりも高いレートでＨＤＤ２７に対して書き込ませる。これにより、連続的に入力されるＴＳを途切れることなくＨＤＤ２７に記録することができる。ＨＤＤ２７は、システムコントローラ１０の制御に応じて、所定のアドレスにＴＳを記録する。

ＳＦ（スケールファクタ）抽出回路３５は、バッファ制御回路２６を介して多重・分離回路２５からＨＤＤ２７へ伝送されるＴＳをパース（parse）して、ＭＰＥＧオーディオＥＳ中のＳＦを抽出し、特徴点ファイル（特徴点情報）を生成する。生成した特徴点ファイルはシステムコントローラ１０の制御に応じて、バッファ制御回路２６を介してＨＤＤ２７上の所定のアドレスへ記録される。ＳＦ抽出回路３５については、後に詳述する。

なお、本実施の形態では、バッファ制御回路２６及びＨＤＤ２７のプロトコルとしてＩＤＥ（Intelligent Drive Electronics）を用いているが、これに限定されるものではない。また、本実施の形態では、記録媒体の例としてＨＤＤを用いて説明したが、光ディスク、光磁気ディスク、固体メモリ等の他の記録媒体を用いることも可能である。

次に、再生時に用いられるブロック及びその機能を説明する。ＨＤＤ２７は、システムコントローラ１０の制御に応じて、所定のアドレスにシークし、ＴＳを読み出してバッファ制御回路２６に供給する。バッファ制御回路２６は、断続的に入力されるＴＳが連続的になるようバッファ制御し、ＴＳを多重・分離回路２５に供給する。多重・分離回路２５は、ＴＳからパケット化ＥＳ（Packetized Elementary Stream；ＰＥＳ）を抽出し、ＭＰＥＧオーディオ／ビデオデコーダ２８に供給する。

ＭＰＥＧオーディオ／ビデオデコーダ２８は、供給されたパケット化ＥＳをビデオＥＳとオーディオＥＳとに分離し、それぞれ図示しないＭＰＥＧビデオデコーダ及びＭＰＥＧオーディオデコーダに供給して復号処理を施す。この結果、ベースバンドの映像データ及び音声データが得られ、ＭＰＥＧオーディオ／ビデオデコーダ２８は、この映像データ及び音声データをそれぞれポスト映像信号処理回路２９及び切換回路３２に供給する。また、ＭＰＥＧオーディオ／ビデオデコーダ２８は、後述するように、上記特徴点ファイルを用いた変速再生のために、復号した後のデータを間引き処理する。

ポスト映像信号処理回路２９は、ＭＰＥＧオーディオ／ビデオデコーダ２８からの映像データとプリ映像信号処理回路２０からの映像データとの切換え、合成や、フィルタ処理を施し、オンスクリーンディスプレイ（On Screen Display；ＯＳＤ）３０に映像データを供給する。ＯＳＤ３０は、画面表示用のグラフィックス等を生成して映像データに重ねたり部分的に表示したりする等の処理を施し、処理後の映像データをＮＴＳＣエンコーダ３１に供給する。ＮＴＳＣエンコーダ３１は、供給された映像データ（デジタルコンポーネント映像データ）をＹ／Ｃ信号に変換した後、Ｄ／Ａ変換を行い、アナログのコンポジット映像信号とＳ映像信号とを得る。

一方、切換回路３２は、ＭＰＥＧオーディオ／ビデオデコーダ２８からの音声データと音声Ａ／Ｄ変換器２２からの音声データとの何れか一方を選択して音声Ｄ／Ａ変換器３３に供給し、音声Ｄ／Ａ変換器３３は、供給された音声データをアナログ音声信号に変換する。

次に、デジタルＩＮ／ＯＵＴ３９から供給される外部のデジタル信号、デジタルＩＮ／ＯＵＴ３９から外部へ出力されるデジタル信号について説明する。

例えば、外部のＩＲＤ（Integrated Receiver Decoder）から、ＩＥＥＥ１３９４のようなデジタルインターフェイスを介して入力されたデジタルデータを記録する場合、デジタルデータはデジタルインターフェイス回路２４に入力される。デジタルインターフェイス回路２４は、本方式に適合するよう、デジタルデータに対してフォーマット変換等の処理を施してＴＳを生成し、このＴＳを多重・分離回路２５に供給する。多重・分離回路２５は、さらに制御信号等の解析や生成を行い、本方式に適応するＴＳに変換し、バッファ制御回路２６に供給する。以降の処理は上述と同様であるため省略する。

再生時についても、多重・分離回路２５までの処理は、上述と同様であるため省略する。多重・分離回路２５は、必要に応じて制御信号の解析、生成を行い、ＴＳをデジタルインターフェイス回路２４に供給する。デジタルインターフェイス回路２４は、記録時と逆の変換を行って外部のＩＲＤに適合するデジタルデータに変換し、出力する。また、これと同時に多重・分離回路２５にて分離処理を行い、ＭＰＥＧオーディオ／ビデオデコーダ２８にパケット化ＥＳを供給することにより、アナログの映像信号及び音声信号を得ることができる。

なお、本実施の形態では、ＩＲＤとの接続について説明したが、テレビジョン機器等のＡＶ機器や、パーソナルコンピュータと接続することも可能である。

次に、デジタルチューナ３６を用いたデジタル放送の記録及び再生時の機能について説明する。

デジタル放送で送られてきたＴＳ及びＥＳがそのままＨＤＤ２７に記録されるのではなく、ＭＰＥＧビデオエンコーダ２１やＭＰＥＧオーディオエンコーダ２３で再エンコードして記録される場合、デジタルチューナ３６からのＴＳ出力はバッファ制御回路２６を介して、ＳＦ抽出回路３５及び多重・分離回路２５へと供給される。このように、デジタル放送で送られてきたＴＳ及びＥＳが再エンコードされて記録される理由は、例えばデジタル放送のストリーム形式であるＴＳを、ＤＶＤ等のフォーマットで用いられるＰＳ（Program Stream）に変換するためである。これにより、デジタル放送のストリームをＤＶＤに記録することが可能となる。

ＳＦ抽出回路３５は、上述したようにＴＳをパースしてオーディオＥＳ中のＳＦを抽出し、特徴点ファイルを生成する。生成した特徴点ファイルはシステムコントローラ１０の制御に応じて、バッファ制御回路２６を介してＨＤＤ２７上の所定のアドレスへ記録される。ＳＦ抽出や特徴点ファイルの生成等については後述する。このＳＦ抽出や特徴点ファイルの生成等については、上述のデジタルＩＮ／ＯＵＴ３９から入力される外部のＩＲＤ等による記録時の場合に説明を省略している。しかし、その場合も、上記アナログチューナ１４による場合や、デジタルチューナ３６等による場合と同様な動作である。

説明を戻し、多重・分離回路２５は、バッファ制御回路２６から供給されるＴＳからＰＥＳ（Packetized Elementary Stream）を抽出し、ＭＰＥＧオーディオ／ビデオデコーダ２８に供給する。

ＭＰＥＧオーディオ／ビデオデコーダ２８は、入力されたＰＥＳを、ビデオＥＳとオーディオＥＳに分離し、それぞれをＭＰＥＧビデオデコーダ及びＭＰＥＧオーディオデコーダに供給し、デジタル放送で用いられている符号化方式に見合った復号処理を施す。本実施の形態では、デジタル放送のオーディオＥＳの種類として、ＭＰＥＧ音声を例に説明しているが、他の圧縮方式でも構わない。その結果、ベースバンドの画像データと音声データが得られ、それぞれＭＰＥＧビデオエンコーダ２１とＭＰＥＧオーディオエンコーダ２３へと供給される。

ＭＰＥＧビデオエンコーダ２１は、ＭＰＥＧビデオ方式の符号化処理を施し、映像のＥＳを生成し、多重・分離回路２５に供給する。ＭＰＥＧオーディオエンコーダ２３は、ＭＰＥＧオーディオ方式の符号化処理を施し、音声のＥＳを生成し、多重・分離回路２５に供給する。

多重・分離回路２５は、入力されたＭＰＥＧビデオＥＳと、ＭＰＥＧオーディオＥＳを合わせて、多重化処理を施し、ＭＰＥＧシステムのＴＳを生成して、バッファ制御回路２６に供給する。

バッファ制御回路２６は、多重・分離回路２５から連続的に入力されるＴＳを、後段のＨＤＤ２７に断続的に送るための制御を施し、ＨＤＤ２７へ記録する。

一方、再エンコードせず、デジタル放送で送信されてきたＴＳ及びＥＳをそのままＨＤＤ２７へ記録する場合、デジタルチューナ３６からのＴＳ形式の出力はバッファ制御回路２６を介して、ＳＦ抽出回路３５及びＨＤＤ２７へと供給される。

この場合も同様に、ＳＦ抽出回路３５は、ＴＳをパースして、デジタル放送で使われている圧縮方式のオーディオＥＳ中のＳＦを抽出し、特徴点ファイルを生成する。生成した特徴点ファイルはシステムコントローラ１０の制御に応じて、バッファ制御回路２６を介してＨＤＤ２７上の所定のアドレスへ記録される。ＨＤＤ２７は、バッファ制御回路２６から断続的に入力されるＴＳ及び特徴点ファイルをＨＤＤ２７上へ記録する。

図２は、ＳＦ抽出回路３５の構成を示すブロック図である。

分離回路４３は、バッファ制御回路２６から入力されたＴＳを分離して、ＭＰＥＧオーディオのＰＥＳを抽出し、ＭＰＥＧオーディオパーサ４４に供給する。分離回路４３は、つまり多重・分離回路２５の一部の機能を有する。

ＭＰＥＧオーディオパーサ４４は、分離回路４３から入力されたＭＰＥＧオーディオのＰＥＳをパースして、ＰＥＳの中から再生時刻を表すＰＴＳ（Presentation Time Stamp）及びＭＰＥＧオーディオＥＳ中のサブバンドごとのＳＦを抽出し、これを特徴点ファイル生成回路４５へ供給する。

特徴点ファイル生成回路４５は、ＭＰＥＧオーディオパーサ４４から入力されたＰＴＳとＳＦから、例えば人の声である声音帯域成分が含まれる期間、人の声以外の音である非声音帯域成分が含まれる有音区間 及び 音が何もない無音区間等のオーディオコンテンツの特徴をまとめた特徴点ファイルを生成する。生成した特徴点ファイルはシステムコントローラ１０の制御に応じて、バッファ制御回路２６を介してＨＤＤ２７上の所定のアドレスへ記録される。

なお、本実施の形態では特徴点ファイルの中身として、音声成分が含まれる期間や無音区間等を表す形態で格納しているが、例えばＭＰＥＧオーディオＥＳ中のＳＦをそのまま格納する形態も考えられる。また特徴点ファイルの中身としては、本実施の形態で述べたオーディオコンテンツの特徴だけではなく、例えばビデオコンテンツの特徴や二ヶ国語放送の有無等の特徴も一緒に格納する形態も考えられる。

図３は、ＳＦ抽出回路３５が扱うＭＰＥＧオーディオＥＳ中のＳＦと特徴点ファイルの関係性を説明するための図である。

図３の中段に記した３次元棒グラフは、ある再生時間（図３中の２Ｔ）分のＭＰＥＧオーディオＥＳに含まれる、ある特定のサブバンド（周波数帯域）ごとのＳＦ値を一例として表した図である。その横軸は時間、縦軸はＳＦが示す音圧レベル、左手前から右奥へ斜めに伸びる軸はサブバンドを表す。つまり９個のオーディオフレーム分の時間内にある特定の３つのサブバンドが持つ各ＳＦ値を３次元でプロットした図である。

図３では、サブバンドは、３つの帯域が示されているが、ＭＰＥＧ方式では実際には３２個ある。しかし、サブバンドはこれらの個数に限られない。図中の２Ｔは、例えば１０秒〜３分程度、より好ましくは、３０秒〜２分程度、さらに好ましくは１分程度である。しかし、２Ｔはこれらの値に限られない。

図３の上段は、中段に示したＳＦ値を算出する元となった、つまりＭＰＥＧオーディオエンコード処理を施す前の時間軸での音波形を、中段のＳＦと時間軸を合わせて示している。図中に示した時間範囲のうち、前半には比較的高い周波数成分を持つ音が存在し、後半には比較的低い周波数成分が存在している。ＳＦは各サブバンドが持つ周波数帯域内の最大音圧レベルを示すものとして捉えられるため、前半の比較的高い周波数成分を持つ時間軸音波形は、図３中段の３次元棒グラフ中の奥側、つまり比較的高い周波数帯域を受け持つサブバンドのＳＦ値として積み上げられる。一方、後半の比較的低い周波数成分を持つ時間軸波形は、図３中段の３次元棒グラフ中の手前側、つまり比較的低い周波数帯域を受け持つサブバンドのＳＦ値として積み上げられる。なお、図３上段の時間軸波形を見ると前半及び後半共に同様の波形振幅を持つような例となっているため、図３中段のＳＦを示す棒の高さ（長さ）も前半及び後半共に同様の値になっている。

図３下段には、特徴点ファイル生成回路４５が、図３中段に示したＭＰＥＧオーディオＥＳ中のＳＦから、どのように特徴点を抜き出し、特徴点ファイルとしてどのようにＨＤＤ２７に記憶するのかを表した図である。図３上段及び中段同様、下段も同じスケールの時間軸を持っているが、前半は比較的高い周波数成分を受け持つサブバンドのＳＦ値が大きくなっている。したがって、コンテンツとして比較的高い音が存在するが、特徴点ファイル生成回路４５は、これらのＳＦ値を人間の声音が持つ周波数帯域よりも高い音である「非声音有」として、この「非声音有」の情報を特徴点ファイル内の該当再生区間に相当する場所に格納する。

比較的高い周波数成分を持った信号を含む前半と、比較的低い周波数成分を持つ信号を含む後半の間に、どのサブバンドのＳＦも振幅を持たない（棒の高さが無い）２オーディオフレーム分の区間が存在する。そのため、特徴点ファイル生成回路４５は、その区間を「無音」として特徴点ファイル内の該当再生区間に相当する場所へ格納する。

後半は、比較的低い周波数成分を持つサブバンドのＳＦ値（例えば４オーディオフレーム分）が大きくなっており、ちょうど人間の声音が持つ周波数帯域と合致する。したがって、特徴点ファイル生成回路４５は、その区間を「声音有」として特徴点ファイル内の該当再生区間に相当する場所へ格納する。

本実施の形態では、人間の「声音」は、例えば基本周波数で７０〜３５０Ｈｚ程度、より具体的には１００〜３００Ｈｚ程度とする。その「声音」より低い周波数及び高い周波数が「非声音」とされる。しかし、これらの範囲に限られず、適宜設定可能である。システムコントローラ１０は、これらの周波数帯域を閾値として、「非声音有」、「非声音有」及び「無音」を判別する。それらの周波数帯域を閾値は、ＨＤＤ２７、ＲＡＭ１２、またはＲＯＭ１１等に格納されていればよい。

このように所定の時間（上記２Ｔ）ごとに生成された「非声音有」、「非声音有」及び「無音」の情報が、当該所定の時間ごとに特徴点ファイルとしてＨＤＤ２７に記憶される。その場合、各特徴点ファイルと、その特徴点ファイルの元になる、符号化された音声データとは、図示しないテーブルにより対応付けされてＨＤＤ２７に記憶される。

なお、本実施の形態では、特徴点ファイルはＰＥＳから抽出したＰＴＳを利用して抽出した特徴点ファイルと再生コンテンツの時間的な関係を保っているが、他の時刻情報を用いた管理手法を用いても構わない。

また、本実施の形態では特徴点ファイルに格納する情報の分類方法として、コンテンツ内に含まれる人間の声音を優先して再生することを目的として、音声の有無を１つの基準として用いているが、別の観点で分類することも可能である。

図４は、ＭＰＥＧオーディオ／ビデオデコーダ２８の構成を示すブロック図である。

例えば２倍速の変速再生の場合、分離回路３７には、２倍の供給レートでＰＥＳが入力される。この場合、分離回路３７は、通常再生（１倍速再生）時と比べて２倍の処理速度で、ビデオＥＳとオーディオＥＳに分離処理し、２倍の供給レートで、ビデオＥＳをＭＰＥＧビデオデコーダ４０へ、オーディオＥＳをＭＰＥＧオーディオデコーダ４１へ供給する。もしＭＰＥＧビデオデコーダ４０が通常再生でなく、また２倍速で動作しない場合は、分離回路３７は、システムコントローラ１０の制御に応じて、ビデオＥＳの中から２倍速変速再生に用いる部分だけを抜き出してＭＰＥＧビデオデコーダ４０へ供給する。ＭＰＥＧビデオデコーダ４０で復号処理を施されたベースバンドの映像データは、２倍速の変速再生として見合った映像データとして、ＭＰＥＧオーディオ／ビデオデコーダ２８の出力としてポスト映像信号処理回路２９へ供給される。ＭＰＥＧオーディオデコーダ４１で２倍速で復号されたＰＣＭデータは、通常再生と比べて２倍の供給レートで間引き処理回路４２へと供給される。間引き処理回路４２は、システムコントローラ１０によってＨＤＤ２７から読み出された特徴点ファイルを利用しながら、入力されてきた音声データを半分のレートへ間引く処理を行う。間引き処理回路４２は、間引き処理した音声データをＭＰＥＧオーディオ／ビデオデコーダ２８の出力として切換回路３２へ供給する。

なお、通常再生時においては、間引き処理回路４２は、ＭＰＥＧオーディオデコーダ４１から供給されるＰＣＭデータに間引き処理を施さず、通常速度でＭＰＥＧオーディオ／ビデオデコーダ２８の出力として切換回路３２へ供給する。

図５は、間引き処理回路４２が、記録時に作成してＨＤＤ２７に保管された特徴点ファイルを利用し、音声が含まれる区間を優先的に再生するようにして２倍速再生を実現する方法を説明するための図である。

図５の上段は、あるタイトル（例えば、ある１つのテレビ番組）を１倍速で再生した場合のある一定期間（図中の２Ｔ）分の時間軸音波形を表したものである。図５の中段は、図３の下段と同じ、あるタイトルが記録される際に生成されＨＤＤ２７上で保管されていた特徴点ファイルの内容を、上段の時間軸波形の時間軸に合わせて並べて示した図である。その特徴点ファイルの中身「非声音有」、「無音」及び「声音有」は、図３で示した方法で生成されたものであり、図５の上段と中段を結ぶ４本の垂直の破線により、復号して得られた図５上段の時間軸音波形とも相関関係を持つことを示している。

図５の下段は、間引き処理回路４２が、特徴点ファイルを利用し、「声音有」の区間を優先して２倍速で再生したときの再生音波形を表す。図５上段の２Ｔ時間分のコンテンツが２倍速再生されることで、再生時間は図５下段中のＴ時間分に半減したことになる。図５上段の２Ｔ時間分のコンテンツの中身は、間引き処理回路４２は、図５中段の特徴点ファイルを参照することでその２Ｔ時間分のコンテンツの特徴が分かる。これにより、間引き処理回路４２は、「無音」の区間及び「非声音有」の区間を除去して、後半の「声音有」の区間だけを再生することで、２倍速という再生要求速度に対応しつつ、人の声音が含まれる重要と思われるシーンを優先的に再生することができる。

特に、記録されるコンテンツが、バラエティ番組、ニュース番組、英会話番組等、人の声音の内容がその番組の要旨となるような番組に、特に本実施の形態は有効である。しかし、これらの番組に限定されないことは言うまでもない。テレビ放送に限らず、もちろんラジオ番組でもよい。

以上のように、本実施の形態によれば、圧縮符号化された音声データの中からＳＦ（原音信号の音の特性情報）が抽出され、ＭＰＥＧオーディオ／ビデオデコーダ２８での復号処理を要することなく、抽出されたＳＦに基づいて特徴点ファイルが生成される。これにより、復号処理した後にサブバンドデータが生成され、そのサブバンドが持つエネルギーを観測して小区間が持つ特徴を分類する従来の方法に比べ、本実施の形態では演算処理量を減らすことができる。また、既に過去に記録された別の番組（別のタイトル）の再生途中であっても、現在記録中のタイトルのコンテンツのＳＦを抽出することが可能となる。

本発明は以上説明した実施の形態には限定されるものではなく、種々の変形が可能である。

上記の説明では、２倍の速度の変速再生を例に挙げた。しかし、２倍だけに限定されるものではなく、例えば１．５倍速、４倍速、８倍速、１０倍速、あるいはそれ以上であってもよい。あるいは、ユーザの設定により段階的に再生速度が変化するような形態であってもよい。さらには、再生速度が自動で変化するような形態でもよい。

上記実施の形態では、例えば図３上段に示すように、説明を分かりやすくするため、たまたま「声音有」の区間が、特徴点ファイルの全時間（２Ｔ）の半分の時間で、２倍速再生に合うような例を挙げた。しかし、２Ｔ分のほとんどが「声音有」であった場合、例えば２倍速再生する場合には、その特徴点ファイルの「声音有」のＳＦの中でもより音圧レベルの高いＳＦを抽出して間引き処理することにより実現される。その音圧レベルの閾値は、１つだけ設定されていてもよいし、複数段階的に設定されていてもよい。

例えば、上記実施の形態のように、声音が含まれる区間を優先して再生することに限定されない。例えば声音を問わず、有音区間を優先的に再生して、無音区間だけを除去するような変速再生方法が考えられる。あるいは、ビデオのコンテンツが持つ特徴を加味して間引き処理を行う変速再生方法への適用も考えられる。

また、特徴点ファイルの生成タイミングも、記録時だけに限定されるものではなく、一旦記録が完了した後にＨＤＤ上のＴＳを読み出してパースする方法が考えられる。あるいは、高速な読出しレートを持つ記録媒体と高速な演算能力を持つＳＦ抽出回路やシステムコントローラ等が用いられれば、変速再生するときにリアルタイムで特徴点ファイルを瞬時に生成して変速再生時の間引き処理に利用する方法等も考えられる。

本発明の一実施の形態に係るデータ記録再生装置の構成を示すブロック図である。 ＳＦ抽出回路の構成を示すブロック図である。 ＳＦ抽出回路が扱うＭＰＥＧオーディオＥＳ中のＳＦと特徴点ファイルの関係性を説明するための図である。 ＭＰＥＧオーディオ／ビデオデコーダの構成を示すブロック図である。 図４に示す間引き処理回路が、記録時に作成してＨＤＤに保管された特徴点ファイルを利用し、音声が含まれる区間を優先的に再生するようにして２倍速再生を実現する方法を説明するための図である。

符号の説明

１０…システムコントローラ
２１…ＭＰＥＧビデオエンコーダ
２３…ＭＰＥＧオーディオエンコーダ
２５…多重・分離回路
２６…バッファ制御回路
２７…ＨＤＤ
２８…ＭＰＥＧオーディオ／ビデオデコーダ
３５…ＳＦ抽出回路
３７…分離回路
４０…ＭＰＥＧビデオデコーダ
４１…ＭＰＥＧオーディオデコーダ
４２…間引き処理回路
４３…分離回路
４４…ＭＰＥＧオーディオパーサ
４５…特徴点ファイル生成回路
１００…データ記録再生装置

Claims (6)

1. 原音信号が符号化されて生成された音声データを前記原音信号に復号して再生するデータ記録再生装置であって、
   前記音声データを記憶するデータ記憶手段と、
   前記データ記憶手段に記憶された音声データの中から前記原音信号の音の特性情報を抽出し、前記抽出した特性情報に基づいて特徴点情報を生成する特徴点情報生成手段と、
   前記音声データを復号し、前記復号した復号データに前記特徴点情報に基づいて間引き処理を施すことで、前記原音信号を変速再生する変速再生手段と
   を具備することを特徴とするデータ記録再生装置。
2. 請求項１に記載のデータ記録再生装置であって、
   前記特徴点情報生成手段は、前記音声の有無の情報を前記特徴点情報として生成することを特徴とするデータ記録再生装置。
3. 請求項１に記載のデータ記録再生装置であって、
   前記特徴点情報生成手段は、所定の時間ごとに前記特徴点情報を生成することを特徴とするデータ記録再生装置。
4. 請求項１に記載のデータ記録再生装置であって、
   前記生成された特徴点情報を、該特徴点情報に対応する前記特性情報を持つ前記音声データと対応付けて記憶する特徴点情報記憶手段をさらに具備することを特徴とするデータ記録再生装置。
5. 原音信号が符号化されて生成された音声データを前記原音信号に復号して再生するデータ記録再生方法であって、
   前記音声データを記憶するステップと、
   前記記憶された音声データの中から前記原音信号の音の特性情報を抽出するステップと、
   前記抽出された特性情報に基づいて特徴点情報を生成するステップと、
   前記音声データを復号するステップと、
   前記復号した復号データに前記特徴点情報に基づいて間引き処理を施すことで、前記生成された特徴点情報を用いながら前記原音信号を変速再生するステップと
   を具備することを特徴とするデータ記録再生方法。
6. 原音信号が符号化されて生成された音声データを前記原音信号に復号して再生するためのプログラムであって、
   前記音声データをデータ記憶手段に記憶させるステップと、
   前記記憶された音声データの中から前記原音信号の音の特性情報を抽出するステップと、
   前記抽出された特性情報に基づいて特徴点情報を生成するステップと、
   前記音声データを復号するステップと、
   前記復号した復号データに前記特徴点情報に基づいて間引き処理を施すことで、前記生成された特徴点情報を用いながら前記原音信号を変速再生するステップと
   をコンピュータに実行させるプログラム。

Images