JP2010130140A

JP2010130140A - 音声再生装置、及び音声再生方法

Info

Publication number: JP2010130140A
Application number: JP2008300488A
Authority: JP
Inventors: Yusuke Mori; 勇介森
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2008-11-26
Filing date: 2008-11-26
Publication date: 2010-06-10
Anticipated expiration: 2028-11-26
Also published as: JP5168105B2

Abstract

【課題】デコード処理を簡略化することを特徴とする高速再生において、オーディオフレームサイズの異なる複数のオーディオ信号を合成しながら、高速再生を行う場合、再生速度が同じであっても、合成する際に音声が同期せず、正しく出音されない。
【解決手段】オーディオ合成手段とビデオ合成手段を制御する合成制御手段を設ける。複数のオーディオ信号を合成して再生する場合、予め再生するオーディオ信号の優先順位を決定する。合成制御手段は優先順位に従い、特定のオーディオ信号のみを高速再生し、そのオーディオ信号に同期しない他のオーディオ信号は出音しないようにする。これにより、デコード処理を簡略化しつつ、違和感のない高速再生を実現する。
【選択図】図２

Description

本発明は、オーディオ信号およびビデオ信号を復号し、それぞれを合成して出力する再生装置および再生方法に関するものである。

近年、ＤＶＤ等のように、ビデオデータとオーディオデータが圧縮されたメディアを再生するシステムが一般的である。これらのシステムでは、ビデオおよびオーディオの入力データは、パケットに分割されてマルチプレックスされている。このような入力データからビデオデータ（ビデオ信号とも言う）およびオーディオデータ（オーディオ信号とも言う）を分離し、これらのデータを復号することによって、ビデオおよびオーディオを再生する。更に、ＢＤ−ＲＯＭの登場により、これらのシステムには、映画の本編音声であるプライマリオーディオと、監督や出演者の解説であるセカンダリオーディオなど、複数のビデオデータと複数のオーディオデータを同時に復号し、合成して出力することが要求される。

このようなシステムにおいて、高速再生を行うことを考える。まず、ＤＶＤを例に取り、従来技術について述べる。
ビデオデータは、ＭＰＥＧ２の仕様で圧縮されており、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類のピクチャデータから構成されている。ＮＴＳＣ規格において、フィールドストラクチャの場合は各ピクチャが１／６０秒、フレームストラクチャの場合は各ピクチャ
が１／３０秒単位で圧縮されて記録されている。
またＤＶＤにおけるオーディオ規格の一つとしてＡＣ―３やＭＰＥＧ―２ＭＣがある。ここでは、オーディオデータが１５３６オーディオサンプルを１フレームとして構成されており、標本化周波数を４８ｋＨｚとし、３２ｍｓ単位で圧縮されてＤＶＤに記録されている。
上記のように、オーディオデータやビデオデータを構成する単位時間が異なる場合に、これらのデータを再生するには、同期を取る必要がある。ＤＶＤでは、ビデオ及びオーディオの出力の同期は、各パケットにつけられているプログラム・タイム・スタンプ（ＰＴＳ）の管理により実行される。即ちビデオデータ、オーディオデータの再生タイミングを独立に調整することによって同期が確立される。
このようなシステムにおいて、ビデオを高速再生する場合は以下の手法が一般的に用いられている。
（１―１）；Ｉピクチャのみ再生する（約６倍〜７倍）。
（１―２）；Ｉ及びＰピクチャのみ再生する（約１．５倍から３倍）。
（１―３）；Ｉ及びＰピクチャ，及びＢピクチャの一部を再生する（約１倍から１．５倍）。
各ピクチャの枚数はエンコードの方法、ビットレート等によって変化するため、上記（１）〜（３）の手法では、高速再生時に再生速度が一定倍率にならず、約１．５倍から約７倍の幅を持つ可能性がある。
一方、オーディオの高速再生は、信号処理が簡単であり、ビデオの再生速度に合わせて高速再生を行い、且つ音切れを少なくするために、オーディオ入力バッファの状態を監視し、その空き容量によって、オーディオデータの入出力を制御する手法がある。入出力を制御する方法として以下の方法がある。
（２―１）；オーディオ入力バッファをフラッシュし、オーディオデータを間引く。
（２―２）；オーディオ入力バッファへのオーディオデータ転送をストップする。
（２―３）；オーディオデータを復号する際に、オーディオデータをスキップする。
特開平１１―２２５３０９号公報

しかし、ＢＤ−ＲＯＭのように、複数のオーディオ信号を合成する場合、前期（２―１）〜（２―３）のいずれかの方法を用いて高速再生を行うと、間引くデータサイズが同じ、つまり、それぞれのオーディオ信号の再生速度は同じであっても、合成する際にオーディオが同期せず、正しく出力されない課題がある。
例えば、プライマリオーディオをＤＴＳ−ＨＤ（ＤＴＳＨｉｇｈＤｅｆｉｎｉｔｉｏｎ）のオーディオデータ、セカンダリオーディオをＤｏｌｂｙＤｉｇｉｔａｌＰｌｕｓのオーディオデータとし、前記（２−３）を用いて高速再生した場合を、図１を用いて説明する。ＤＴＳ−ＨＤは、５１２オーディオサンプルを１フレームとして構成されており、標本化周波数が４８ｋＨｚの場合、１０．６ｍｓ単位で圧縮されている。ＤｏｌｂｙＤｉｇｉｔａｌＰｌｕｓは、１５３６オーディオサンプルを１フレームとして構成されており、標本化周波数が４８ｋＨｚの場合、３２ｍｓ単位で圧縮されている。オーディオデータのスキップは、このオーディオフレーム単位で行う。例えば１．５倍速の再生を行う場合、３フレーム中１フレームをスキップすることになるが、フレームのサンプル数が異なるため、再生するフレームとスキップするフレームが一致せず、プライマリオーディオとセカンダリオーディオが時間的にずれた状態で合成されてしまう。図１は、プライマリオーディオの通常再生時のオーディオデータを示す通常再生データと高速再生時のオーディオデータを示す高速再生データ、およびセカンダリオーディオの通常再生時のオーディオデータを示す通常再生データと高速再生時のオーディオデータを示す高速再生データを示している。プライマリオーディオは通常再生データの３，６，９，１２フレームをスキップすることでオーディオデータを廃棄し、高速再生データを得る。高速再生時は高速再生データを復号することによって１．５倍速再生を行う。セカンダリオーディオは通常再生データの３，６，９，１２フレームをスキップすることでオーディオデータを廃棄し、高速再生データを得る。高速再生時は高速再生データを復号することによって１．５倍速再生を行う。プライマリオーディオの高速再生データとセカンダリオーディオの高速再生データを合成する場合、プライマリオーディオとセカンダリオーディオの高速再生データを比べると、プライマリオーディオのフレーム４は通常再生時ではセカンダリオーディオのフレーム２に合成されるのに対し、高速再生時ではセカンダリオーディオのフレーム１に合成されることになるため、出力タイミングにずれが生じる。フレーム７，８についても同様にずれが生じる。
したがって、合成するオーディオ信号の同期が取れるか否かを判断し、同期が取れない場合は、特定のオーディオ信号のみを選択して出力する音声再生装置を提供することを目的とする。

以上の課題を解決するために、本発明にかかる音声再生装置は、複数のオーディオストリームを合成して高速再生するオーディオストリームの優先順位を決定する決定手段と、合成する複数のオーディオストリームの同期がとれるか否かを判断する判断手段と、前記判断手段で合成する複数のオーディオストリームの同期がとれないと判断した場合には、前記決定手段で決定された優先順位に従い、特定のオーディオストリームを高速再生し、他のオーディオストリームは出音しないようにする再生手段を有する。
また、前記判断手段は、１オーディオフレームのサンプル数が異なる場合に、同期がとれないと判断することを特徴とする。

以上のように、本発明によれば、複数のオーディオ信号を合成して出力する場合において、高速再生を行う際に、合成制御手段によって合成する複数のオーディオ信号から特定のオーディオ信号のみを選択し、高速再生を行うことが可能となる。

（実施の形態）
以下、本発明の実施の形態１における音声再生装置について、図面を参照しながら説明する。図２は本実施の形態における音声再生装置の構成を示すブロック図である。この音声再生装置は、１０１ストリーム入力手段、１０２オーディオ入力バッファ１、１０３オーディオ復号手段１、１０４バッファ制御手段１、１０５ビデオ入力バッファ１、１０６ビデオ復号手段１、１０７再生制御手段１、１０８オーディオ入力バッファ２、１０９オーディオ復号手段２、１１０バッファ制御手段２、１１１ビデオ入力バッファ２、１１２ビデオ復号手段２、１１３再生制御手段２、１１４オーディオ合成手段、１１５オーディオ出力手段、１１６ビデオ合成手段、１１７ビデオ出力手段、１１８合成制御手段、を含んで構成される。
１０１ストリーム入力手段に入力される入力ストリームは、ＢＤ−ＲＯＭの出力データ、またはこれと同等のデータである。即ち入力ストリームデータはビデオ信号およびオーディオ信号が圧縮されてマルチプレックスされたデータである。本実施の形態では説明の簡略化のため、入力ストリームをＢＤ−ＲＯＭのストリームデータとし、ビデオデータがＭＰＥＧ２に準拠し、オーディオデータは、ＤＴＳ−ＨＤ、ＤＴＳ−ＬＢＲおよびＤｏｌｂｙＤｉｇｉｔａｌＰｌｕｓに準拠するものとして説明する。しかしこの他のストリーム形式でも同様である。
入力ストリームが入力されると、１０１ストリーム入力手段は入力ストリームから再生すべきビデオデータおよびオーディオデータを取り出し、ビデオデータを１０５ビデオ入力バッファ１および１１１ビデオ入力バッファ２に格納し、オーディオデータを１０２オーディオ入力バッファ１および１０８オーディオ入力バッファ２に格納する。このとき、１０４バッファ制御手段１は１０２オーディオ入力バッファ１および１０５ビデオ入力バッファ１の空き容量を監視し、１１０バッファ制御手段２は１０８オーディオ入力バッファ２および１１１ビデオ入力バッファ２の空き容量を監視する。
通常状態では、ビデオデータが１０６ビデオ復号手段１および１１２ビデオ復号手段２に入力されると、１０６ビデオ復号手段１および１１２ビデオ復号手段２は復号処理を行い，ビデオ出力信号を出力する。またオーディオデータが１０３オーディオ復号手段１および１０９オーディオ復号手段２に入力されると、１０３オーディオ復号手段１および１０９オーディオ復号手段２は復号処理を行い、オーディオ出力信号を出力する。
１０６ビデオ復号手段１および１１２ビデオ復号手段２から出力されたビデオ出力信号が１１６ビデオ合成手段に入力されると、１１６ビデオ合成手段は合成処理を行い、ビデオ合成信号を出力する。また１０３オーディオ復号手段１および１０９オーディオ復号手段２から出力されたオーディオ出力信号が１１４オーディオ合成手段に入力されると、１１４オーディオ合成手段は合成処理を行い、オーディオ合成信号を出力する。
高速再生時には、まず１０６ビデオ復号手段１および１１２ビデオ復号手段２は１０７再生制御手段１および１１３再生制御手段２からの指示に従い、所定倍率の高速再生を行う。このとき１０３オーディオ復号手段１および１０９オーディオ復号手段２は音のピッチを通常再生時と同一にして、一部のオーディオデータを廃棄することによりオーディオの高速再生を行う。所定倍率の高速再生は、ＭＰＥＧ２ビデオの場合、以下の手法を用いる。
（１―１）；Ｉピクチャのみ再生する（約６倍〜７倍）。
（１―２）；Ｉ及びＰピクチャのみ再生する（約１．５倍から３倍）。
（１―３）；Ｉ及びＰピクチャ、及びＢピクチャの一部を再生する（約１倍から１．５倍）。なお、（１―１）〜（１―３）以外の高速再生でもよい。
一方、オーディオの高速再生は、信号処理が簡単であり、ビデオの再生速度に合わせて高速再生を行い、且つ音切れを少なくするために、オーディオ入力バッファの状態を監視し、その空き容量によって、オーディオデータの入出力を制御する手法がある。入出力を制御する方法として以下の方法がある。
（２―１）；オーディオ入力バッファをフラッシュし、オーディオデータを間引く。
（２―２）；オーディオ入力バッファへのオーディオデータ転送をストップする。
（２―３）；オーディオデータを復号する際に、オーディオデータをスキップする。
ここで、ＢＤ−ＲＯＭのプライマリオーディオとセカンダリオーディオを高速再生する場合を例に挙げ、オーディオの同期判定と高速再生の流れ（図３）について述べる。
（ｉ）プライマリオーディオとセカンダリオーディオが同期する場合。
プライマリオーディオおよびセカンダリオーディオは共にＤｏｌｂｙＤｉｇｉｔａｌＰｌｕｓとし、プライマリオーディオを１０３オーディオ復号手段１、セカンダリオーディオを１０９オーディオ復号手段２で復号する。オーディオの高速再生はオーディオフレームスキップによりオーディオデータを廃棄することで実現する。
まず、同期判定について述べる。１１８合成制御手段はＳ１フレームスキップ高速再生判定において、オーディオフレームスキップによりオーディオデータを廃棄することで高速再生を実現すると判定する。１１８合成制御手段はＳ３優先度判定において、最も優先度の高いオーディオデータを決定する。本実施の形態では、優先度を優先度の高い順に、優先度１、優先度２とする。優先度はシステムによって様々に設定が可能である。（ｉ）の場合、プライマリオーディオが優先度１、セカンダリオーディオが優先度２とする。１１８合成制御手段はＳ４合成可能判定において、優先度１のオーディオフレームサンプル数と同じオーディオフレームサンプル数であるオーディオデータが存在するかどうかを判定する。（ｉ）の場合、プライマリオーディオが１５３６サンプル、セカンダリオーディオが１５３６サンプルであるので、プライマリオーディオにセカンダリオーディオは合成可能であると判定する。１１８合成制御手段はＳ６高速再生において、優先度１のプライマリオーディオおよびプライマリオーディオに合成可能なオーディオデータ、すなわち（ｉ）の場合、セカンダリオーディオについて高速再生する。
次に、高速再生と合成処理について図４、５、６を用いて述べる。（ｉ）の場合、１０４バッファ制御手段１は１０５ビデオ入力バッファ１の残量および１０２オーディオ入力バッファ１の空き容量を監視する。そして、１０５ビデオ入力バッファ１の残量が所定値Ｖ１より少なくなるまで、または１０２オーディオ入力バッファ１の空き容量が所定値Ａ１より少なくなるまで通常再生を行う。１０５ビデオ入力バッファ１の残量が所定値Ｖ１より少なくなったとき、または１０２オーディオ入力バッファ１の空き容量が所定値Ａ１より少なくなったときに、１０７再生制御手段１および１１８合成制御手段に残量情報１を伝達する。所定の値Ｖ１およびＡ１はシステムによって様々に設定が可能であるが、（ｉ）では、所定値Ｖ１およびＡ１が０の場合について述べる。勿論、０以外の値を用いて制御を行っても同様である。
１１０バッファ制御手段２は１１１ビデオ入力バッファ２の残量および１０８オーディオ入力バッファ２の空き容量を監視する。そして、１１１ビデオ入力バッファ２の残量が所定値Ｖ２より少なくなるまで、または１０８オーディオ入力バッファ２の空き容量が所定値Ａ２より少なくなるまで通常再生を行う。１１１ビデオ入力バッファ２の残量が所定値Ｖ２より少なくなったとき、または１０８オーディオ入力バッファ２の空き容量が所定値Ａ２より少なくなったときに、１１３再生制御手段２および１１８合成制御手段に残量情報２を伝達する。所定の値Ｖ２およびＡ２はシステムによって様々に設定が可能であるが、（ｉ）では、所定値Ｖ２およびＡ２が０の場合について述べる。勿論、０以外の値を用いて制御を行っても同様である。
図４および図５は再生中の１０２オーディオ入力バッファ１、１０８オーディオ入力バッファ２、１０５ビデオ入力バッファ１および１１１ビデオ入力バッファ２のデータ残存状態の例を示している。本図において、データ残量を網点部で示し、空き領域を非網点部で示す。
ビデオデータを高速再生している場合で、１０５ビデオ入力バッファ１および１１１ビデオ入力バッファ２の残量が０にならない間は、図４および図５の状態２のようになる。即ち、１０５ビデオ入力バッファ１、１１１ビデオ入力バッファ２、１０２オーディオ入力バッファ１および１０８オーディオ入力バッファ２の残量は０でないが、ビデオデータのみ高速再生し、このビデオの再生速度に合わせてデータストリームが入力されるため、通常再生しているオーディオデータのデコード量が入力データ量より少なくなる。
このため１０２オーディオ入力バッファ１または１０８オーディオ入力バッファ２の空き容量が０になる。または、１０５ビデオ入力バッファ１または１１１ビデオ入力バッファ２の残量が０になる。図４の状態１は１０２オーディオ入力バッファ１の空き容量が０になった状態を示している。図５の状態１は１０５ビデオ入力バッファ１の残量が０になった状態を示している。
図４の状態１のとき、１０４バッファ制御手段１はバッファ残量情報１を１０７再生制御手段１および１１８合成制御手段に伝達する。１１８合成制御手段は残量情報１の通知を受けると、１０７再生制御手段１および１１３再生制御手段２にオーディオフレームスキップを指示する。１０７再生制御手段１および１１３再生制御手段２はオーディオフレームスキップの指示を受けると、１０３オーディオ復号手段１および１０９オーディオ復号手段２にオーディオフレームスキップを指示する。１０３オーディオ復号手段１および１０９オーディオ復号手段２はオーディオフレームスキップ指示を受けると、フレームスキップ処理を行い、オーディオデータを廃棄することにより高速再生を行う。オーディオデータを廃棄したことにより図４の状態２になり、１０３オーディオ復号手段１および１０９オーディオ復号手段２は廃棄後のオーディオデータの続きから通常速度で復号処理を再開する。
図５の状態１のときも同様に、１０４バッファ制御手段１はバッファ残量情報１を１０７再生制御手段１および１１８合成制御手段に伝達する。１１８合成制御手段は残量情報１の通知を受けると、１０７再生制御手段１および１１３再生制御手段２にオーディオフレームスキップを指示する。１０７再生制御手段１および１１３再生制御手段２はオーディオフレームスキップの指示を受けると、１０３オーディオ復号手段１および１０９オーディオ復号手段２にオーディオフレームスキップを指示する。１０３オーディオ復号手段１および１０９オーディオ復号手段２はオーディオフレームスキップ指示を受けると、フレームスキップ処理を行い、オーディオデータを廃棄することにより高速再生を行う。オーディオデータを廃棄したことにより図５の状態２になり、１０３オーディオ復号手段１および１０９オーディオ復号手段２は廃棄後のオーディオデータの続きから通常速度で復号処理を再開する。
図４および図５は１０２オーディオ入力バッファ１または１０５ビデオ入力バッファ１の残量情報について述べたが、１０８オーディオ入力バッファ２または１１１ビデオ入力バッファ２の残量情報についても同様のフレームスキップ処理により高速再生を行う。
次に、フレームスキップ方法について図６を用いて述べる。
図６はオーディオの出力ストリームを示し、通常再生の場合が、オーディオ１の通常再生データおよびオーディオ２の通常再生データである。また、フレームスキップした場合がオーディオ１の高速再生データおよびオーディオ２の高速再生データである。図６における例は、高速再生時に通常再生の中のフレーム３，６，９，１２フレームをスキップによって削除した場合である。その結果、高速再生時にデコードするストリームは、通常再生の３，６，９，１２フレームが削除された高速再生データのようになる。この例の場合、フレームスキップによって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は１２／８＝１．５倍となる。
１１８合成制御手段は合成可能なオーディオデータの情報、（ｉ）ではプライマリオーディオとセカンダリオーディオの情報を１１４オーディオ合成手段へ伝達する。１１４オーディオ合成手段は合成可能なオーディオデータ情報で通知されてオーディオデータのみを合成し出力する。
これにより、プライマリオーディオとセカンダリオーディオを合成した高速再生が可能となる。
（ｉｉ−１）プライマリオーディオとセカンダリオーディオが同期しない場合。
プライマリオーディオがＤＴＳ−ＨＤ、セカンダリオーディオがＤｏｌｂｙＤｉｇｉｔａｌＰｌｕｓとし、プライマリオーディオを１０３オーディオ復号手段１、セカンダリオーディオを１０９オーディオ復号手段２で復号する。オーディオの高速再生はオーディオフレームスキップによりオーディオデータを廃棄することで実現する。
まず、同期判定について述べる。
１１８合成制御手段はＳ１フレームスキップ高速再生判定において、オーディオフレームスキップによりオーディオデータを廃棄することで高速再生を実現すると判定する。１１８合成制御手段はＳ３優先度判定において、最も優先度の高いオーディオデータを決定する。本実施の形態では、優先度を優先度の高い順に、優先度１、優先度２とする。優先度はシステムによって様々に設定が可能である。（ｉｉ−１）の場合、プライマリオーディオが優先度１、セカンダリオーディオが優先度２とする。１１８合成制御手段はＳ４合成可能判定において、優先度１のオーディオフレームサンプル数と同じオーディオフレームサンプル数であるオーディオデータが存在するかどうかを判定する。（ｉｉ−１）の場合、プライマリオーディオが５１２サンプル、セカンダリオーディオが１５３６サンプルであるので、プライマリオーディオに合成可能なオーディオデータはないと判定する。１１８合成制御手段はＳ５優先度別高速再生において、優先度１のプライマリオーディオおよび優先度２のセカンダリオーディオについてそれぞれ高速再生する。
次に、高速再生と合成処理について図４、５、７を用いて述べる。
（ｉｉ−１）の場合、１０４バッファ制御手段１は１０５ビデオ入力バッファ１の残量および１０２オーディオ入力バッファ１の空き容量を監視する。そして、１０５ビデオ入力バッファ１の残量が所定値Ｖ１より少なくなるまで、または１０２オーディオ入力バッファ１の空き容量が所定値Ａ１より少なくなるまで通常再生を行う。１０５ビデオ入力バッファ１の残量が所定値Ｖ１より少なくなったとき、または１０２オーディオ入力バッファ１の空き容量が所定値Ａ１より少なくなったときに、１０７再生制御手段１および１１８合成制御手段に残量情報１を伝達する。所定の値Ｖ１およびＡ１はシステムによって様々に設定が可能であるが、（ｉｉ−１）では、所定値Ｖ１およびＡ１が０の場合について述べる。勿論、０以外の値を用いて制御を行っても同様である。
１１０バッファ制御手段２は１１１ビデオ入力バッファ２の残量および１０８オーディオ入力バッファ２の空き容量を監視する。そして、１１１ビデオ入力バッファ２の残量が所定値Ｖ２より少なくなるまで、または１０８オーディオ入力バッファ２の空き容量が所定値Ａ２より少なくなるまで通常再生を行う。１１１ビデオ入力バッファ２の残量が所定値Ｖ２より少なくなったとき、または１０８オーディオ入力バッファ２の空き容量が所定値Ａ２より少なくなったときに、１１３再生制御手段２および１１８合成制御手段に残量情報２を伝達する。所定の値Ｖ２およびＡ２はシステムによって様々に設定が可能であるが、（ｉｉ−１）では、所定値Ｖ２およびＡ２が０の場合について述べる。勿論、０以外の値を用いて制御を行っても同様である。
図４の状態１のとき、１０７バッファ制御手段１はバッファ残量情報１を１０７再生制御手段および１１８合成制御手段に伝達する。
１１８合成制御手段は残量情報１の通知を受けると、１０７再生制御手段１にオーディオフレームスキップを指示する。１０７再生制御手段１はオーディオフレームスキップの指示を受けると、１０３オーディオ復号手段１にオーディオフレームスキップを指示する。１０３オーディオ復号手段１はオーディオフレームスキップ指示を受けると、フレームスキップ処理を行い、オーディオデータを廃棄することにより高速再生を行う。オーディオデータを廃棄したことにより図４の状態２になり、１０３オーディオ復号手段１は廃棄後のオーディオデータの続きから通常速度で復号処理を再開する。
図５の状態１のとき、１０４バッファ制御手段１はバッファ残量情報１を１０７再生制御手段および１１８合成制御手段に伝達する。１０７再生制御手段１はオーディオフレームスキップの指示を受けると、１０３オーディオ復号手段１にオーディオフレームスキップを指示する。１０３オーディオ復号手段１はオーディオフレームスキップ指示を受けると、フレームスキップ処理を行い、オーディオデータを廃棄することにより高速再生を行う。オーディオデータを廃棄したことにより図５の状態２になり、１０３オーディオ復号手段１は廃棄後のオーディオデータの続きから通常速度で復号処理を再開する。
図４および図５は１０２オーディオ入力バッファ１または１０５ビデオ入力バッファ１の残量情報について述べたが、１０８オーディオ入力バッファ２または１１１ビデオ入力バッファ２の残量情報２が伝達された場合は、１０９オーディオ復号手段２でオーディオフレームスキップ処理を行う。
次に、フレームスキップ方法について図７を用いて述べる。図７はオーディオの出力ストリームを示し、通常再生の場合が、優先度１のオーディオ１の通常再生データおよび優先度２のオーディオ２の通常再生データである。また、フレームスキップした場合がオーディオ１の高速再生データおよびオーディオ２の高速再生データである。図７における例は、オーディオ１は高速再生時に通常再生の中のフレーム３，６，９，１２をスキップすることによって削除し、オーディオ２は高速再生時に通常再生の中のフレーム３をスキップすることによって削除した場合である。その結果、オーディオ１は高速再生時にデコードするストリームは、通常再生の３，６，９，１２フレームが削除された高速再生データのようになる。またオーディオ２は高速再生時にデコードするストリームは、通常再生の３フレームが削除された高速再生データのようになる。この例の場合、オーディオ１およびオーディオ２の再生倍率は共に１．５倍となる。
１１８合成制御手段は合成可能なオーディオデータの情報、（ｉｉ−１）ではプライマリオーディオの情報を１１４オーディオ合成手段へ伝達する。１１４オーディオ合成手段は合成可能なオーディオデータ情報で通知されたオーディオデータがプライマリオーディオのみなので、合成処理をせずにプライマリオーディオのみを出力する。
これにより、優先度１のプライマリオーディオのみの高速再生が可能となる。
（ｉｉ−２）プライマリオーディオとセカンダリオーディオが同期しない場合。
プライマリオーディオがＤＴＳ−ＨＤ、セカンダリオーディオがＤｏｌｂｙＤｉｇｉｔａｌＰｌｕｓとし、プライマリオーディオを１０３オーディオ復号手段１、セカンダリオーディオを１０９オーディオ復号手段２で復号する。オーディオの高速再生はオーディオフレームスキップによりオーディオデータを廃棄することで実現する。
まず、同期判定について述べる。１１８合成制御手段はＳ１フレームスキップ高速再生判定において、オーディオフレームスキップによりオーディオデータを廃棄することで高速再生を実現すると判定する。１１８合成制御手段はＳ３優先度判定において、最も優先度の高いオーディオデータを決定する。本実施の形態では、優先度を優先度の高い順に、優先度１、優先度２とする。優先度はシステムによって様々に設定が可能である。（ｉｉ−２）の場合、プライマリオーディオが優先度２、セカンダリオーディオが優先度１とする。１１８合成制御手段はＳ４合成可能判定において、優先度１のオーディオフレームサンプル数と同じオーディオフレームサンプル数であるオーディオデータが存在するかどうかを判定する。（ｉｉ−２）の場合、プライマリオーディオが５１２サンプル、セカンダリオーディオが１５３６サンプルであるので、セカンダリオーディオに合成可能なオーディオデータはないと判定する。１１８合成制御手段はＳ５優先度別高速再生において、優先度１のセカンダリオーディオおよび優先度２のプライマリオーディオについてそれぞれ高速再生する。
次に、高速再生と合成処理について図４、５、８を用いて述べる。（ｉｉ−２）の場合、１０４バッファ制御手段１は１０５ビデオ入力バッファ１の残量および１０２オーディオ入力バッファ１の空き容量を監視する。そして、１０５ビデオ入力バッファ１の残量が所定値Ｖ１より少なくなるまで、または１０２オーディオ入力バッファ１の空き容量が所定値Ａ１より少なくなるまで通常再生を行う。１０５ビデオ入力バッファ１の残量が所定値Ｖ１より少なくなったとき、または１０２オーディオ入力バッファ１の空き容量が所定値Ａ１より少なくなったときに、１０７再生制御手段１および１１８合成制御手段に残量情報１を伝達する。所定の値Ｖ１およびＡ１はシステムによって様々に設定が可能であるが、（ｉｉ−２）では、所定値Ｖ１およびＡ１が０の場合について述べる。勿論、０以外の値を用いて制御を行っても同様である。
１１０バッファ制御手段２は１１１ビデオ入力バッファ２の残量および１０８オーディオ入力バッファ２の空き容量を監視する。そして、１１１ビデオ入力バッファ２の残量が所定値Ｖ２より少なくなるまで、または１０８オーディオ入力バッファ２の空き容量が所定値Ａ２より少なくなるまで通常再生を行う。１１１ビデオ入力バッファ２の残量が所定値Ｖ２より少なくなったとき、または１０８オーディオ入力バッファ２の空き容量が所定値Ａ２より少なくなったときに、１１３再生制御手段２および１１８合成制御手段に残量情報２を伝達する。所定の値Ｖ２およびＡ２はシステムによって様々に設定が可能であるが、（ｉｉ−２）では、所定値Ｖ２およびＡ２が０の場合について述べる。勿論、０以外の値を用いて制御を行っても同様である。
図４の状態１のとき、１０４バッファ制御手段１はバッファ残量情報１を１０７再生制御手段１および１１８合成制御手段に伝達する。
１１８合成制御手段は残量情報１の通知を受けると、１０７再生制御手段１にオーディオフレームスキップを指示する。１０７再生制御手段１はオーディオフレームスキップの指示を受けると、１０３オーディオ復号手段１にオーディオフレームスキップを指示する。１０３オーディオ復号手段１はオーディオフレームスキップ指示を受けると、フレームスキップ処理を行い、オーディオデータを廃棄することにより高速再生を行う。オーディオデータを廃棄したことにより図４の状態２になり、１０３オーディオ復号手段１は廃棄後のオーディオデータの続きから通常速度で復号処理を再開する。
図５の状態１のとき、１０４バッファ制御手段１はバッファ残量情報１を１０７再生制御手段１および１１８合成制御手段に伝達する。１０７再生制御手段１はオーディオフレームスキップの指示を受けると、１０３オーディオ復号手段１にオーディオフレームスキップを指示する。１０３オーディオ復号手段１はオーディオフレームスキップ指示を受けると、フレームスキップ処理を行い、オーディオデータを廃棄することにより高速再生を行う。オーディオデータを廃棄したことにより図４の状態２になり、１０３オーディオ復号手段１は廃棄後のオーディオデータの続きから通常速度で復号処理を再開する。
図４および図５は１０２オーディオ入力バッファ１または１０５ビデオ入力バッファ１の残量情報について述べたが、１０８オーディオ入力バッファ２または１１１ビデオ入力バッファ２の残量情報２が伝達された場合は、１０９オーディオ復号手段２でオーディオフレームスキップ処理を行う。
次に、フレームスキップ方法について図８を用いて述べる。
図８はオーディオの出力ストリームを示し、通常再生の場合が、優先度２のオーディオ１の通常再生データおよび優先度１のオーディオ２の通常再生データである。また、フレームスキップした場合がオーディオ１の高速再生データおよびオーディオ２の高速再生データである。図８における例は、オーディオ１は高速再生時に通常再生の中のフレーム３，６，９，１２をスキップすることによって削除し、オーディオ２は高速再生時に通常再生の中のフレーム３をスキップすることによって削除した場合である。その結果、オーディオ１は高速再生時にデコードするストリームは、通常再生の３，６，９，１２フレームが削除された高速再生データのようになる。またオーディオ２は高速再生時にデコードするストリームは、通常再生の３フレームが削除された高速再生データのようになる。この例の場合、オーディオ１およびオーディオ２の再生倍率は共に１．５倍となる。
１１８合成制御手段は合成可能なオーディオデータの情報、（ｉｉ−２）ではセカンダリオーディオの情報を１１４オーディオ合成手段へ伝達する。１１４オーディオ合成手段は合成可能なオーディオデータ情報で通知されたオーディオデータがセカンダリオーディオのみなので、合成処理をせずにセカンダリオーディオのみを出力する。
これにより、優先度１のセカンダリオーディオのみの高速再生が可能となる。
本実施の形態では、オーディオ入力バッファおよびビデオ入力バッファを監視し、フレームスキップ処理を制御したが、オーディオ入力バッファのみ、あるいはビデオ入力バッファのみを監視し、フレームスキップ処理を制御してもよい。
また、同期しないと判定されたオーディオ信号について、合成処理を行わない方法を述べたが、復号処理自体を行わない方法を用いてもよい。
また、２つのオーディオデータを合成する場合について説明したが、合成するデータ数はこれに限るものではない。
なお、1オーディオフレームのサンプル数が異なる場合であっても、連続する任意のN個のオーディオフレームのサンプル数を合計することにより、他のオーディオデータの1オーディオフレームのサンプル数と等しくなる場合に、同期が取れると判断してもよい。
なお、合成する複数のオーディオストリームの同期がとれるか否かを、１オーディオフレームのサンプル数が異なるかどうかで判断したが、オーディオのビットレートが異なるかどうかで判断してもよい。
なお、合成する複数のオーディオストリームの同期がとれるか否かを、１オーディオフレームのサンプル数が異なるかどうかで判断したが、オーディオを再生するタイミングを示す時間情報があるかないかで判断しても良い。

本発明の音声再生装置は、復号した複数のオーディオ出力信号およびビデオ出力信号を、それぞれ合成して出力することを可能とする音声再生装置として有用である。

従来のオーディオデータ削除方法を示した図本発明の音声再生装置の構成を示した図本発明の高速再生方式の流れを示した図本発明の実施の形態１（ｉ）（ｉｉ−１）（ｉｉ−２）における入力バッファデータ残存状態を示した図本発明の実施の形態１（ｉ）（ｉｉ−１）（ｉｉ−２）における入力バッファデータ残存状態を示した図本発明の実施の形態１（ｉ）におけるオーディオデータ削除方法を示した図本発明の実施の形態１（ｉｉ−１）におけるオーディオデータ削除方法を示した図本発明の実施の形態１（ｉｉ−２）におけるオーディオデータ削除方法を示した図

符号の説明

１０１ストリーム入力手段
１０２オーディオ入力バッファ１
１０３オーディオ復号手段１
１０４バッファ制御手段１
１０５ビデオ入力バッファ１
１０６ビデオ復号手段１
１０７再生制御手段１
１０８オーディオ入力バッファ２
１０９オーディオ復号手段２
１１０バッファ制御手段２
１１１ビデオ入力バッファ２
１１２ビデオ復号手段２
１１３再生制御手段２
１１４オーディオ合成手段
１１５オーディオ出力手段
１１６ビデオ合成手段
１１７ビデオ出力手段
１１８合成制御手段

Claims

複数のオーディオストリームを合成して高速再生するオーディオストリームの優先順位を決定する決定手段と、
合成する複数のオーディオストリームの同期がとれるか否かを判断する判断手段と、
前記判断手段で合成する複数のオーディオストリームの同期がとれないと判断した場合には、前記決定手段で決定された優先順位に従い、特定のオーディオストリームを高速再生し、他のオーディオストリームは出音しないようにする再生手段と
を備えることを特徴とする音声再生装置。
前記判断手段は、１オーディオフレームのサンプル数が異なる場合に、同期がとれないと判断することを特徴とする、請求項１に記載の音声再生装置。
複数のオーディオストリームを合成して高速再生するオーディオストリームの優先順位を決定する決定ステップと、
合成する複数のオーディオストリームの同期がとれるか否かを判断する判断ステップと、
前記判断ステップで合成する複数のオーディオストリームの同期がとれないと判断した場合には、前記決定ステップで決定された優先順位に従い、特定のオーディオストリームを高速再生し、他のオーディオストリームは出音しないようにする再生ステップと
を有することを特徴とする音声再生方法。
前記判断ステップは、１オーディオフレームのサンプル数が異なる場合に、同期がとれないと判断することを特徴とする、請求項３に記載の音声再生方法。