JP2000308012A

JP2000308012A - 映像音声再生装置

Info

Publication number: JP2000308012A
Application number: JP11114697A
Authority: JP
Inventors: Keiichi Shirasuga; 恵一白須賀
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1999-04-22
Filing date: 1999-04-22
Publication date: 2000-11-02

Abstract

(57)【要約】（修正有）【課題】ストリームによりデコータでの伸張時間が異
なる場合でも、圧縮オーディオデータ送信側からは簡単
な制御で確実にオーディオ、ビデオの同期をとる映像音
声再生装置。【解決手段】圧縮されたビデオデータに付加されたタ
イムスタンプを用いて伸張されたビデオデータを出力再
生するタイミングを制御するビデオ再生タイミング制御
部１７と、伸張されたビデオデータを再生タイミングま
で蓄積するフレームバッファ１３と、データ圧縮された
オーディオデータをオーディオデコーダ１５に転送する
タイミングを制御するオーディオ転送タイミング制御部
１８と、圧縮オーディオデータバッファ１４と、伸張さ
れたオーディオデータを再生タイミングまで蓄積するＣ
Ｍバッファ１６と、オーディオデータに付加された情報
を用いてオーディオデコーダ１５で伸張されたオーディ
オデータを出力再生するタイミングを制御するオーディ
オ再生タイミング制御部１９とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、映像音声再生装
置に関し、より詳しくは、オーディオ、ビデオ再生装置
に適用され、受信された圧縮オーディオ、ビデオデータ
を伸張し同期再生するための映像音声再生装置に関す
る。

【０００２】

【従来の技術】オーディオ、ビデオ再生装置では、音声
及び映像を同期化するための手段としてタイムスタン
プ、バッファというハードウェア又はソフトウェアを持
つのが一般的である。映像の再生はビデオデコーダによ
り必要なデータを再生し、タイムスタンプにて必要なデ
ータを挿入する。これにより、音声と映像の同期化が可
能となる。

【０００３】従来のこの種の映像音声再生装置として
は、例えば特開平９−１２８８９４号公報に開示された
映像音声処理装置がある。

【０００４】図８は上記公報に記載された映像音声処理
装置の同期装置において、オーディオ、ビデオのデマル
チプレクサ以降の処理ブロック図である。

【０００５】図において、１はデマルチプレクサ、２は
デマルチプレクサ１で分離された圧縮ビデオデータを伸
張するビデオデコーダ、３はデコードしたビデオデータ
のバッファ、４はデマルチプレクサ１で分離された圧縮
オーディオデータを伸張するオーディオデコーダ、５は
デコードしたオーディオデータのバッファ、６はタイム
スタンプ処理部である。

【０００６】次に動作を説明する。タイムスタンプ処理
部６では、オーディオ再生タイミングを示すオーディオ
ＰＴＳ（プレゼンテーションタイムスタンプ）、ビデオ
再生タイミングを示すビデオＰＴＳを取り込み、各ＰＴ
Ｓが示す出力時間になったときにバッファ３，５にそれ
ぞれタイミング信号を出力するタイムスタンプ処理を行
う。

【０００７】データの出力が許可されると、バッファ
３，５はそれぞれのデータを出力再生する。このＰＴＳ
を用いた再生出力管理を行うことによりオーディオ、ビ
デオの同期がとられる。

【０００８】

【発明が解決しようとする課題】従来の映像音声再生装
置は、以上のように構成されていたので、圧縮ビデオ、
オーディオデータをビデオ、オーディオデコーダでそれ
ぞれ伸張したあと、タイムスタンプ処理部６からの許可
があるまでバッファ３，５で伸張された各データを蓄積
することになる。この場合、伸張した後に蓄積するの
で、伸張前に蓄積するよりもバッファ容量が大きくなっ
てしまう。そこで、伸張前に圧縮データをバッファで蓄
積することが考えられる。

【０００９】伸張前に圧縮データをバッファで蓄積する
場合、デコーダに圧縮データを転送するタイミングをい
かに求めるかが問題になる。デコーダでの伸張時間が無
視できる場合はＰＴＳが示す時刻にデコーダに圧縮デー
タを転送すればよいが、デコーダでの伸張時間が無視で
きないようなストリームや、ストリームにより伸張時間
が大きく異なる場合、伸張に要する時間を考慮しないと
オーディオの再生時刻にばらつきが生じオーディオ、ビ
デオの同期がとれなくなってしまう問題点があった。

【００１０】この発明は、上記のような課題を解決する
ためになされたもので、デコーダでの伸張時間が無視で
きないようなストリームや、ストリームにより伸張時間
が大きく異なる場合であっても、圧縮オーディオデータ
送信側からは簡単な制御だけで確実にオーディオ、ビデ
オの同期をとることができる映像音声再生装置を得るこ
とを目的とする。

【００１１】

【課題を解決するための手段】請求項１に記載の映像音
声再生装置は、データ圧縮されたオーディオデータを伸
張するオーディオデータ伸張手段と、データ圧縮された
ビデオデータを伸張するビデオデータ伸張手段とを備
え、伸張したオーディオデータとビデオデータとを同期
させて出力再生する映像音声再生装置において、データ
圧縮されたオーディオデータをオーディオ伸張手段に転
送するタイミングを制御するオーディオ転送制御手段
と、データ圧縮されたオーディオデータをオーディオ伸
張手段に転送するまでの間蓄積する圧縮オーディオデー
タ蓄積手段と、圧縮されたビデオデータに付加されたタ
イムスタンプを用いてビデオ伸張手段で伸張されたビデ
オデータを出力再生するタイミングを制御するビデオ再
生タイミング制御手段と、ビデオ伸張手段で伸張された
ビデオデータを再生タイミングまで蓄積する再生ビデオ
データ蓄積手段と、オーディオ伸張手段が解析したオー
ディオデータに付加された情報を用いてオーディオ伸張
手段で伸張されたオーディオデータを出力再生するタイ
ミングを制御するオーディオ再生タイミング制御手段
と、オーディオ伸張手段で伸張されたオーディオデータ
を再生タイミングまで蓄積しておく再生オーディオデー
タ蓄積手段とを備えたことを特徴とする。

【００１２】請求項２に記載の映像音声再生装置は、オ
ーディオヘッダに付加された情報から伸張処理時間を計
算する伸張処理時間計算手段を備え、オーディオ再生タ
イミング制御手段は、圧縮オーディオデータが圧縮オー
ディオ伸張手段に到達してから再生オーディオデータ蓄
積手段から出力されるまでの時間を、データの種類に依
存せずに一定にするために最大伸張処理時間から伸張処
理時間計算手段で計算した伸張処理時間を引いた時間だ
け再生オーディオデータ蓄積手段で蓄積するように制御
することを特徴とする。

【００１３】請求項３に記載の映像音声再生装置は、伸
張処理時間計算手段が、オーディオヘッダに付加された
ビットレート情報、及びサンプリング周波数情報から圧
縮オーディオ伸張手段における伸張処理時間を計算する
ものであってもよい。

【００１４】請求項４に記載の映像音声再生装置は、伸
張処理時間計算手段が、オーディオヘッダに付加された
フレーム長、及びサンプリング周波数情報から圧縮オー
ディオ伸張手段における伸張処理時間を計算するもので
あってもよい。

【００１５】請求項５に記載の映像音声再生装置は、伸
張処理時間計算手段により計算された伸張処理時間の所
定数サンプルの移動平均を算出する平均値算出手段を備
え、オーディオ再生タイミング制御手段は、圧縮オーデ
ィオデータが圧縮オーディオ伸張手段に到達してから再
生オーディオデータ蓄積手段から出力されるまでの時間
を、データの種類に依存せずに一定にするために最大伸
張処理時間から平均値算出手段で算出した伸張処理時間
の移動平均値を引いた時間だけ再生オーディオデータ蓄
積手段で蓄積するように制御するものであってもよい。

【００１６】

【発明の実施の形態】以下、添付した図面を参照して、
この発明を具体的に説明する。

【００１７】実施の形態１．まず、オーディオ、ビデオ
同期再生に使用されるオーディオ及びビデオ再生タイム
スタンプ（ＰＴＳ）とオーディオ、ビデオデータの構成
について説明する。

【００１８】図１はこの発明の実施の形態１に係る映像
音声再生装置に入力するオーディオ、ビデオデータをペ
イロードとするトランスポートストリームの構成図であ
り、多重化されたオーディオ、ビデオデータの構造を示
す。

【００１９】図１に示すように、一般にディジタル放送
などに使用されるデータ構造は、１パケット１８８バイ
ト固定長のトランスポートストリームによりオーディ
オ、ビデオデータそれぞれが多重化されている。

【００２０】トランスポートストリームは、オーディ
オ、ビデオデータそれぞれのパケッタイズドエレメンタ
リーストリーム（以下、ＰＥＳパケットという）をペイ
ロードとして運ぶ。オーディオＰＥＳパケット、ビデオ
ＰＥＳパケットには、ＰＥＳヘッダとそれぞれオーディ
オデータやビデオデータが含まれる。ＰＥＳヘッダに
は、オーディオやビデオの再生タイミングを示すプレゼ
ンテーションタイムスタンプが含まれる。

【００２１】エンコード時にビデオＰＴＳ、オーディオ
ＰＴＳが正しく付加されていれば、デコーダ側ではこの
ＰＴＳに従って、伸張されたオーディオデータ、ビデオ
データを再生すれば、オーディオ、ビデオの同期がとら
れるようになっている。

【００２２】また、圧縮オーディオデータには１フレー
ム毎にヘッダがあり、デコード処理時間を求めるのに必
要な情報（サンプリングレート、ビットレート）が格納
されている。デコード処理時間は、最小入力バッファに
データをフルに蓄積し、その後１フレーム時間毎に１フ
レーム分のデータをデコードする場合、次式（１）によ
り求められる。

【００２３】デコード処理時間［秒］＝（最小入力バッファ［ｂｉｔ］／ビットレート［ｂｐｓ］＋１０２４／サンプリング周波数［Ｈｚ］） …（１）上記最小入力バッファは、圧縮オーディオの各規格で決
められている最小入力バッファサイズである。

【００２４】上記のビットレート情報は、ストリームの
種類によってはヘッダに存在しない場合があリ、ビット
レートを他の情報から求めることになる。例えば、フレ
ーム長とサンプリングレートから次式（２）により求め
ることができる。

【００２５】ビットレート［ｂｐｓ］＝フレーム長［ｂｉｔ］／１フレーム時間［秒］ …（２）ここで、上記１フレーム時間は、次式（３）で示され
る。

【００２６】１フレーム時間［秒］＝１０２４／サンプリング周波数［Ｈｚ］ …（３）以上より、ビットレート［ｂｐｓ］は次式（４）とな
る。

【００２７】ビットレート［ｂｐｓ］＝フレーム長［ｂｉｔ］／１０２４×サンプリング周波数［Ｈｚ］ …（４）図２はこの発明の実施の形態１に係る映像音声再生装置
の構成を示すブロック図である。

【００２８】図において、１０はオーディオ、ビデオ同
期再生装置（映像音声再生装置）であり、オーディオ、
ビデオ同期再生装置１０は、トランスポートストリーム
に多重化され伝送されたオーディオ、ビデオを分離し、
さらにオーディオＰＴＳ、ビデオＰＴＳを抽出するデマ
ルチプレクサ１１と、デマルチプレクサ１１によって分
離されたビデオデータの伸張処理を行うビデオデコーダ
１２（ビデオデータ伸張手段）と、伸張したビデオデー
タを格納するフレームバッファ１３（再生ビデオデータ
蓄積手段）と、デマルチプレクサ１１によって分離され
たオーディオデータを格納する圧縮オーディオデータバ
ッファ１４（圧縮オーディオデータ蓄積手段）と、圧縮
オーディオデータバッファ１４から出力されたオーディ
オデータの伸張処理を行うオーディオデコーダ１５（オ
ーディオデータ伸張手段）と、伸張したオーディオデー
タを格納するＰＣＭバッファ１６（再生オーディオデー
タ蓄積手段）と、デマルチプレクサ１１で抽出されたビ
デオＰＴＳ情報によりフレームバッファ１３に再生許可
信号を発生するビデオ再生タイミング制御部１７（ビデ
オ再生タイミング制御手段）と、デマルチプレクサ１１
で抽出されたオーディオＰＴＳ情報より圧縮オーディオ
データバッファ１４にオーディオデコーダ１５に許可信
号を発生するオーディオ転送タイミング制御部１８（オ
ーディオ転送制御手段）と、オーディオデータがオーデ
ィオデコーダ１５に入力されてからＰＣＭバッファ１６
から出力されるまでの時間を、オーディオデコード処理
最大遅延時間と等しくしオーディオデータに依存せずデ
コード処理開始から出力再生までの時間を一定とさせる
ために、オーディオデコーダ１５でヘッダ解析し得られ
た情報よりオーディオ再生タイミングを求め、ＰＣＭバ
ッファ１６に再生出力許可信号を出力するオーディオ再
生タイミング制御部１９（オーディオ再生タイミング制
御手段）とから構成される。

【００２９】図３は上記オーディオデコーダ１５の構成
を示すブロック図である。

【００３０】図において、オーディオデコーダ１５は、
最小入力バッファ２１と、オーディオデータヘッダを解
析するオーディオヘッダ解析部２２と、オーディオデー
タのデコードを実行するデコード部２３とから構成され
る。

【００３１】図４は上記オーディオ再生タイミング制御
部１９の構成を示すブロック図である。

【００３２】図において、オーディオ再生タイミング制
御部１９は、オーディオデコーダ１５がオーディオデー
タヘッダを解析して得られたビットレート、サンプリン
グ周波数情報から前記式（１）に示す計算を行ってデコ
ード処理時間を求めるデコード処理時間計算部２４（伸
張処理時間計算手段）と、得られたデコード処理時間情
報と既知の最大デコード処理時間情報からＰＣＭバッフ
ァ１６でＰＣＭデータを保持しておく時間を求める蓄積
時間計算部２５と、計算されたＰＣＭバッファ１６での
蓄積時間情報に応じてＰＣＭバッファ１６に供給するオ
ーディオデータ再生出力タイミング信号を発生させるＰ
ＣＭバッファ制御部２６と、デコード処理時間計算部２
４からのデコード処理時間情報が変化したときＰＣＭバ
ッファをクリアするＰＣＭバッファクリア部２７とから
構成される。

【００３３】図５は上記ＰＣＭバッファ制御部２６の構
成を示すブロック図である。

【００３４】図において、ＰＣＭバッファ制御部２６
は、ＰＣＭバッファ１６の書き込みアドレスを示すライ
トポインタ２８と読み出し位置を示すリードポインタ２
９と、ライトポインタ２８の値とリードポインタ２９の
値を加算する加算器３０と、ライトポインタ２８の値と
リードポインタ２９の値を引いた値が蓄積時間計算部２
５で求めた蓄積時間に対応する値に等しくなったときに
読み出し許可を行う再生出力タイミング信号発生部３１
とから構成される。

【００３５】以下、上述のように構成されたオーディ
オ、ビデオ同期再生装置１０の動作を説明する。

【００３６】ビデオデータは、従来例のようにビデオ再
生タイミング制御部１７によってビデオＰＴＳに基づい
て所望の時刻に再生される。

【００３７】オーディオの再生については、ＰＣＭバッ
ファ容量を極力小さくするためにオーディオデコーダ１
５の前段の圧縮オーディオデータバッファ１４にバッフ
ァリングする。

【００３８】ここで、オーディオデコーダが伸張に要す
る時間が無視できず、またストリームによって伸張時間
が大きくばらつく場合、圧縮オーディオデータバッファ
１４からオーディオデコーダ１５ヘデータ転送するタイ
ミングを求める時点でオーディオデコーダ１５での伸張
時間を考慮に入れなければならない。

【００３９】図６はオーディオデータ処理のタイミング
チャートである。

【００４０】図に示すように、オーディオデコーダ１５
にデータを転送する時刻は、オーディオＰＴＳが示す再
生時刻よりもデコード処理に要する時間だけ前に行う。

【００４１】デコード処理に要する時間は、前記式
（１）に示すようにビットレート、サンプリングレート
により変動するので、圧縮オーディオデータバッファ１
４からデータを出力するタイミングを知るにはビットレ
ート、サンプリングレートをオーディオデコーダ１５に
データ転送するより前に知っておかなければならない。

【００４２】しかし、上記情報は、圧縮オーディオデー
タをデコードしないとわからないので圧縮オーディオデ
ータの伸張の前段である圧縮オーディオデータバッファ
１４から転送するタイミングを求めることは不可能であ
る。

【００４３】この問題を解決するために、本実施の形態
では、圧縮オーディオデータバッファ１４からオーディ
オデコーダ１５でデコードしＰＣＭバッファ１６から再
生するまでの時間を最大デコード処理時間に等しく一定
にするようにする。これにより、オーディオデコーダが
処理すべきオーディオデータヘッダを解析し未知のサン
プリング周波数、ビットレートをオーディオデコータ１
１よりも前段で検出する必要がなくなる。

【００４４】オーディオ転送タイミング制御部１８で
は、デマルチプレクサ１１で検出した最初のオーディオ
ＰＴＳが示す時刻から既知のオーディオデコーダの最大
デコード処理時間を引いた時間だけ経過したときに圧縮
オーディオデータバッファ部１０に対し出力許可信号を
出力する。最大デコード処理時間は、ビットレート、サ
ンプリング周波数の下限値がそれぞれ既知であれば前記
式（１）により求めることができ既知の一定の値とな
る。

【００４５】圧縮オーディオデータバッファ１４からの
オーディオデータをオーディオデコーダ１５でデコード
し、ＰＣＭバッファ１６から再生するまでの時間を最大
デコード処理時間に等しく一定にするために、ＰＣＭバ
ッファ１６でのバッファリング時間を調整する。これは
オーディオデコーダ１５で検出したサンプリングレー
ト、ビットレートからオーディオ再生タイミング制御部
１９で以下のように制御する。

【００４６】オーディオ再生タイミング制御部１９で
は、図４に示すデコード処理時間計算部２４でオーディ
オデコーダ１５がオーディオデータヘッダを解析して得
られたビットレートサンプリング周波数情報から前記式
（１）の計算を行い、実際のデコード処理時間を求め
る。さらに蓄積時間計算部２５では、既知の最大デコー
ド処理時間情報からデコード処理時間情報を減算しＰＣ
Ｍバッファ１６で蓄積すべき時間が得られ、この時間情
報をＰＣＭバッファ制御部２６に通知する。

【００４７】ＰＣＭバッファ制御部２６では、図５の減
算器３０によりＰＣＭバッファ１６のライトポインタ２
８の値からリードポインタ２９の値を減算し、再生出力
タイミング信号発生部３１は、上記減算値が蓄積時間計
算部２５で求めた時間に対応する値に等しくなったとき
にＰＣＭバッファ１６に再生出力タイミング信号を発生
する。

【００４８】また、デコード処理時間計算部２４からの
デコード処理時間情報が変化したとき、このデコード処
理時間情報の変化をＰＣＭバッファクリア部２７で検出
してＰＣＭバッファをクリアし、上述した処理を繰り返
す。

【００４９】以上説明したように、実施の形態１に係る
映像音声再生装置は、トランスポートストリームに多重
化され伝送されたオーディオ、ビデオを分離し、さらに
オーディオＰＴＳ、ビデオＰＴＳを抽出するデマルチプ
レクサ１１と、ビデオデータの伸張処理を行うビデオデ
コーダ１２と、圧縮されたビデオデータに付加されたタ
イムスタンプを用いて伸張されたビデオデータを出力再
生するタイミングを制御するビデオ再生タイミング制御
部１７と、伸張されたビデオデータを再生タイミングま
で蓄積するフレームバッファ１３と、データ圧縮された
オーディオデータをオーディオデコーダ１５に転送する
タイミングを制御するオーディオ転送タイミング制御部
１８と、データ圧縮されたオーディオデータをオーディ
オデコーダ１５に転送するまでの間蓄積する圧縮オーデ
ィオデータバッファ１４と、オーディオデータの伸張処
理を行うオーディオデコーダ１５と、伸張されたオーデ
ィオデータを再生タイミングまで蓄積しておくＰＣＭバ
ッファ１６と、オーディオデータに付加された情報を用
いてオーディオデコーダ１５で伸張されたオーディオデ
ータを出力再生するタイミングを制御するオーディオ再
生タイミング制御部１９とを備え、オーディオ再生タイ
ミング制御部１９は、圧縮オーディオデータがオーディ
オデコーダ１５に到達してからＰＣＭバッファ１６から
再生出力されるまでの時間を、最大伸張処理時間に等し
く一定とするために、最大伸張処理時間から実際のデコ
ード処理時間を引いた差の時間だけＰＣＭバッファ１６
で蓄積し調整するように制御したので、オーディオデコ
ーダ１５でのデコード処理からＰＣＭバッファ１６で再
生出力されるまでの遅延時間は最大デコード遅延時間と
なり一定の時間となる。

【００５０】したがって、ストリームのレートやサンプ
リング周波数の変化によるデコード遅延時間をＰＣＭバ
ッファ１６で吸収できるので、デコーダでの伸張時間が
無視できないようなストリームや、ストリームにより伸
張時間が大きく異なる場合であっても、デマルチプレク
サ１１などの圧縮オーディオデータ送信側からは簡単な
制御だけで確実にオーディオ、ビデオの同期をとること
ができる。

【００５１】実施の形態２．実施の形態１は、オーディ
オデータヘッダにビットレート情報とサンプリングレー
ト情報が含まれている場合についてデコード処理時間計
算部２４を構成したが、オーディオデータによってはそ
のヘッダにビットレート情報が含まれていない場合があ
る。

【００５２】この場合、デコード処理時間計算部２４に
おいて、まずフレーム長とサンプリングレートから前記
式（４）によりビットレートを求めた後、このビットレ
ートを用いて前記式（１）によりデコード処理時間を求
めることができる。

【００５３】したがって、オーディオヘッダにビットレ
ート情報が含まれていない場合であってもデコード処理
時間を求めることができ、実施の形態１と同様の効果を
得ることができる。

【００５４】実施の形態３．図７はこの発明の実施の形
態３である映像音声再生装置のオーディオ再生タイミン
グ制御部の構成を示すブロック図である。実施の形態３
の説明にあたり前記図４に示すオーディオ再生タイミン
グ制御部１９と同一構成部分には同一符号を付してい
る。

【００５５】図において、オーディオ再生タイミング制
御部４０（オーディオ再生タイミング制御手段）は、デ
コード処理時間計算部２４と、デコード処理時間計算部
２４の計算結果の移動平均を計算する移動平均計算部４
１（平均値算出手段）と、蓄積時間計算部２５と、ＰＣ
Ｍバッファ制御部２６と、ＰＣＭバッファクリア部２７
から構成される。

【００５６】以上説明したように、実施の形態３に係る
映像音声再生装置は、オーディオ再生タイミング制御部
４０が、伸張処理時間の数サンプルの移動平均を計算す
る移動平均計算部４１をさらに備え、最大伸張処理時間
から移動平均値を引いた時間だけＰＣＭバッファ１６で
蓄積するように制御するように構成したので、デコード
処理時間を求めるのに必要な情報が頻繁に変動する場合
に、ＰＣＭバッファ１６が頻繁にクリアされてしまうこ
とを防ぐことができる。その結果、ＰＣＭバッファ１６
は、オーディオデータによって変動するオーディオデコ
ード処理時間の差分に対応する容量を持てば良いことに
なり従来例よりバッファ容量を小さくすることができ
る。

【００５７】なお、上記各実施形態では、例えばＭＰＥ
Ｇ方式を用いた映像音声再生装置に適用することができ
るが、オーディオ、ビデオを伸張し同期再生する装置に
は全て適用することができる。

【００５８】また、映像音声再生装置という名称に限定
されるものではなく、本発明の技術的思想の範囲内であ
れば映像データ蓄積再生装置のように適宜変更すること
ができ、装置の一部に組み込まれる態様であってもよ
い。

【００５９】さらに、上記映像音声再生装置、オーディ
オ再生タイミング制御部等を構成する各回路の種類、接
続状態、映像音声信号再生装置に接続される周辺デバイ
スの種類、制御方法などは前述した実施の形態に限られ
ない。

【００６０】

【発明の効果】請求項１に記載の映像音声再生装置によ
れば、デコーダでの伸張時間が無視できないようなスト
リームや、ストリームにより伸張時間が大きく異なる場
合であっても、圧縮オーディオデータ送信側からは簡単
な制御だけで確実にオーディオ、ビデオの同期をとるこ
とができる効果を奏する。

【００６１】特に、ストリームのレートやサンプリング
周波数の変化によるデコード遅延時間をＰＣＭバッファ
（再生オーディオデータ蓄積手段）で吸収できるので、
デマルチプレクサなどの圧縮オーディオデータ送信側か
らは簡単な制御でオーディオ出力をＰＴＳの示す時刻に
出力することができる。

【００６２】請求項２に記載の映像音声再生装置によれ
ば、オーディオヘッダに付加された情報から伸張処理時
間を計算する伸張処理時間計算手段を備えて構成したの
で、圧縮オーディオデータ送信側からは簡単な制御だけ
で確実にオーディオ、ビデオの同期をとることができる
効果を奏する。

【００６３】請求項３に記載の映像音声再生装置によれ
ば、伸張処理時間計算手段が、オーディオヘッダに付加
されたビットレート情報、及びサンプリング周波数情報
から圧縮オーディオ伸張手段における伸張処理時間を計
算するように構成したので、ストリームのレートやサン
プリング周波数の変化によるデコード遅延時間をＰＣＭ
バッファで吸収でき、確実にオーディオ、ビデオの同期
をとることができる効果を奏する。

【００６４】請求項４に記載の映像音声再生装置によれ
ば、伸張処理時間計算手段が、オーディオヘッダに付加
されたフレーム長、及びサンプリング周波数情報から圧
縮オーディオ伸張手段における伸張処理時間を計算する
ように構成したので、オーディオヘッダにビットレート
情報が含まれていない場合であってもデコード処理時間
を求めることができ、圧縮オーディオデータ送信側から
は簡単な制御だけで確実にオーディオ、ビデオの同期を
とることができる効果を奏する。

【００６５】請求項５に記載の映像音声再生装置によれ
ば、伸張処理時間計算手段により計算された伸張処理時
間の所定数サンプルの移動平均を算出する平均値算出手
段を備えて構成したので、ＰＣＭバッファ（再生オーデ
ィオデータ蓄積手段）が、オーディオデータによって変
動するオーディオデコード処理時間の差分に対応する容
量を持てば良いことになり従来例よりバッファ容量を小
さくすることができる効果を奏する。

【図面の簡単な説明】

【図１】この発明の実施の形態１である映像音声再生
装置に入力するオーディオ、ビデオデータをペイロード
とするトランスポートストリームの構成図である。

【図２】この発明の実施の形態１である映像音声再生
装置の構成を示すブロック図である。

【図３】この発明の実施の形態１である映像音声再生
装置のオーディオデコーダの構成を示すブロック図であ
る。

【図４】この発明の実施の形態１である映像音声再生
装置のオーディオ再生タイミング制御部の構成を示すブ
ロック図である。

【図５】この発明の実施の形態１である映像音声再生
装置のＰＣＭバッファ制御部の構成を示すブロック図で
ある。

【図６】この発明の実施の形態１である映像音声再生
装置のオーディオデータ処理のタイミングチャートであ
る。

【図７】この発明の実施の形態３である映像音声再生
装置のオーディオ再生タイミング制御部の構成を示すブ
ロック図である。

【図８】従来のオーディオ、ビデオ同期再生装置の構
成を示すブロック図である。

【符号の説明】

１０オーディオ、ビデオ同期再生装置（映像音声再生
装置）、１１デマルチプレクサ、１２ビデオデ
コーダ（ビデオデータ伸張手段）、１３ビデオフレ
ームバッファ（再生ビデオデータ蓄積手段）、１４
圧縮オーディオデータバッファ（圧縮オーディオデータ
蓄積手段）、１５オーディオデコーダ（オーディオ
データ伸張手段）、１６ＰＣＭバッファ（再生オー
ディオデータ蓄積手段）、１７ビデオ再生タイミン
グ制御部（ビデオ再生タイミング制御手段）、１８
オーディオ転送タイミング制御部（オーディオ転送制御
手段）、１９，４０オーディオ再生タイミング制御
部（オーディオ再生タイミング制御手段）、２１最
小入力バッファ、２２オーディオヘッダ解析部、
２３オーディオデコード部、２４デコード処理時
間計算部（伸張処理時間計算手段）、２５蓄積時間
計算部、２６ＰＣＭバッファ制御部、２７ＰＣＭ
バックァクリア部、２８ライトポインタ、２９
リードポインタ、３０加算器、３１再生出力タ
イミング信号発生部、４１移動平均計算部（平均値
算出手段）。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C053 FA21 GB05 GB06 GB10 GB37 HA01 KA01 KA03 KA05 KA24 LA06 5C059 KK34 RC11 RC28 RE03 TA71 TB01 TC36 TC37 TD03 UA05 UA32 5D044 AB05 AB07 BC01 BC03 DE34 DE44 FG10 FG18 FG21 5J064 AA04 BB09 BC01 BC02 BC21 BC24 BC25 BD01 CA02 CB13 CC02

Claims

【特許請求の範囲】

【請求項１】データ圧縮されたオーディオデータを伸
張するオーディオデータ伸張手段と、データ圧縮された
ビデオデータを伸張するビデオデータ伸張手段とを備
え、伸張したオーディオデータとビデオデータとを同期
させて出力再生する映像音声再生装置において、データ圧縮されたオーディオデータを前記オーディオ伸
張手段に転送するタイミングを制御するオーディオ転送
制御手段と、データ圧縮されたオーディオデータを前記オーディオ伸
張手段に転送するまでの間蓄積する圧縮オーディオデー
タ蓄積手段と、圧縮されたビデオデータに付加されたタイムスタンプを
用いて前記ビデオ伸張手段で伸張されたビデオデータを
出力再生するタイミングを制御するビデオ再生タイミン
グ制御手段と、前記ビデオ伸張手段で伸張されたビデオデータを再生タ
イミングまで蓄積する再生ビデオデータ蓄積手段と、前記オーディオ伸張手段が解析したオーディオデータに
付加された情報を用いて前記オーディオ伸張手段で伸張
されたオーディオデータを出力再生するタイミングを制
御するオーディオ再生タイミング制御手段と、前記オーディオ伸張手段で伸張されたオーディオデータ
を前記再生タイミングまで蓄積しておく再生オーディオ
データ蓄積手段とを備えたことを特徴とする映像音声再
生装置。
【請求項２】オーディオヘッダに付加された情報から
伸張処理時間を計算する伸張処理時間計算手段を備え、前記オーディオ再生タイミング制御手段は、圧縮オーディオデータが前記圧縮オーディオ伸張手段に
到達してから前記再生オーディオデータ蓄積手段から出
力されるまでの時間を、データの種類に依存せずに一定
にするために最大伸張処理時間から前記伸張処理時間計
算手段で計算した伸張処理時間を引いた時間だけ前記再
生オーディオデータ蓄積手段で蓄積するように制御する
ことを特徴とする請求項１記載の映像音声再生装置。
【請求項３】前記伸張処理時間計算手段は、オーディオヘッダに付加されたビットレート情報、及び
サンプリング周波数情報から前記圧縮オーディオ伸張手
段における伸張処理時間を計算することを特徴とする請
求項２記載の映像音声再生装置。
【請求項４】前記伸張処理時間計算手段は、オーディオヘッダに付加されたフレーム長、及びサンプ
リング周波数情報から前記圧縮オーディオ伸張手段にお
ける伸張処理時間を計算することを特徴とする請求項２
記載の映像音声再生装置。
【請求項５】前記伸張処理時間計算手段により計算さ
れた伸張処理時間の所定数サンプルの移動平均を算出す
る平均値算出手段を備え、前記オーディオ再生タイミング制御手段は、圧縮オーディオデータが前記圧縮オーディオ伸張手段に
到達してから前記再生オーディオデータ蓄積手段から出
力されるまでの時間を、データの種類に依存せずに一定
にするために最大伸張処理時間から前記平均値算出手段
で算出した伸張処理時間の移動平均値を引いた時間だけ
前記再生オーディオデータ蓄積手段で蓄積するように制
御することを特徴とする請求項１乃至４の何れかに記載
の映像音声再生装置。