JP2004104733A

JP2004104733A - マルチメディア復号再生装置とその同期制御方法

Info

Publication number: JP2004104733A
Application number: JP2002267669A
Authority: JP
Inventors: Shiyouko Osada; 長田　将高
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-09-13
Filing date: 2002-09-13
Publication date: 2004-04-02
Anticipated expiration: 2022-09-13
Also published as: JP4373654B2

Abstract

【課題】同期制御をメディア符号化ストリームのフレーム周期より十分短い間隔で管理し、より高精度で安定した分解能を得る。
【解決手段】同期制御装置１５において、予め定められたフレーム数の復号処理が終了し、ＳＴＣが参照可能な状態になった時点で復号装置１８に復号開始命令を発行し、ＳＴＣがＰＴＳの示す時刻であるかを判定し、ＰＴＳの示す時刻ならば、再生装置２０に再生開始命令を発行し、ＰＴＳの示す時刻でなければ待機状態に遷移し、タイマー割り込みによって待機状態を解除して再度ＰＴＳとＳＴＣの比較を実行するという動作を、ＳＴＣがＰＴＳ時刻に到達するまで繰り返すようにして、タイマー割り込み機能の分解能の精度で同期制御を行えるようにした。
【選択図】　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばＭＰＥＧ２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　ｐｈａｓｅ　２）方式によるマルチメディア多重化ストリームから各メディア符号化ストリームを分離し、互いに同期をとって復号再生するマルチメディア復号再生装置とその同期制御方法に関する。
【０００２】
【従来の技術】
従来のマルチメディア情報伝送における多重方式の代表的なものとてＭＰＥＧ２方式がある。このＭＰＥＧ２方式によって生成されたマルチメディア多重化ストリームからそれぞれのメディアの符号化ストリームを分離して復号再生する場合には、各メディア間で同期をとって再生する必要がある。この同期制御は、メディア毎に符号化ストリームに付加される提示時刻情報（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ：以下、ＰＴＳ）をシステム管理時刻情報（Ｓｙｓｔｅｍ　Ｔｉｍｅ　Ｃｌｏｃｋ：以下、ＳＴＣ）と比較して、ＳＴＣが付加されたＰＴＳの時刻になった時点で復号化メディアの再生を開始することによって行われる。
【０００３】
このようなシステムにおけるマルチメディア復号再生装置での同期制御方法としては、一般に、メディア符号化ストリームのフレーム周期でＰＴＳとＳＴＣの比較を行い、ＳＴＣがＰＴＳが示す時刻になった時点で再生を開始するようにしている。しかしながら、このような手法で同期制御を行うと、フレーム周期（例えば、オーディオ符号化ストリームにおいて、１フレーム１０２４サンプルの符号化方式で４８ｋＨｚサンプリングの場合は約２１ｍｓ）の分解能でしかＰＴＳとＳＴＣの比較を行えない。このため、同期制御の精度がフレーム周期で決定されてしまい、より精度の高い同期制御を行うことが困難な状況にある。さらに、符号化ストリームのサンプリング周波数、１フレーム毎のサンプル数に依存して分解能が変化してしまう。
【０００４】
【発明が解決しようとする課題】
以上述べたように、従来のマルチメディア復号再生装置は、メディア符号化ストリームの復号再生における同期制御をフレーム周期で管理している場合、同期制御の精度がストリームのフレーム周期で決定されてしまい、しかもフレーム毎のサンプル数に依存して分解能が変化してしまうという問題を有していた。
【０００５】
本発明は、上記の問題を解決するためになされたもので、同期制御をメディア符号化ストリームのフレーム周期より十分短い間隔で管理することができ、より高精度で安定した分解能が得られるマルチメディア復号再生装置とその同期制御方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の目的を達成するために、本発明に係るマルチメディア復号再生装置は、基準時刻情報と共にメディア毎に同期再生用の再生時刻を示す情報が付加され、フレーム単位で構成された複数のメディア符号化ビットストリームを多重してなる多重化ビットストリームを復号再生するマルチメディア復号再生装置において、前記多重化ビットストリームからメディア毎に符号化ビットストリームを分離する分離手段と、この分離手段で分離されたメディアの符号化ビットストリームを蓄積する蓄積手段と、この蓄積手段から符号化ビットストリームを復号開始命令に従ってフレーム単位で読み出して復号出力する復号手段と、この復号手段から出力される復号信号を順次格納し、再生開始命令に従ってフレーム単位で再生出力する再生手段と、前記蓄積手段の蓄積データから前記再生時刻を読み取る再生時刻読み取り手段と、前記基準時刻情報に基づくシステム時刻を読み取るシステム時刻読み取り手段と、前記蓄積手段の蓄積データ量を監視する監視手段と、一定周期で割り込み命令を発生するタイマー割り込み手段と、前記復号手段の復号タイミング、前記再生手段の再生タイミングを制御してメディア間の同期制御を行う同期制御手段とを具備し、
前記同期制御手段は、同期制御方法として、前記監視手段を通じて前記蓄積手段の蓄積データ量を定期的に確認し、１フレーム分に達したことを検出する蓄積データ量確認手段と、前記蓄積データ量確認手段で１フレーム分のデータ量に達したことが検出された時点で前記復号手段に復号開始命令を送る復号開始手段と、前記システム時刻読み取り手段で読み取られたシステム時刻と前記再生時刻読み取り手段で読み取られた再生時刻とを比較し、両時刻が一致していなければ待機状態となり、前記タイマー割り込み手段の割り込み命令により待機状態を解除して再び両時刻の比較を行い、両時刻が一致するまで待機状態と待機解除状態を繰り返す時刻比較手段と、前記時刻比較手段で時刻一致が得られた時点で前記再生手段に再生開始命令を送る再生開始手段とを備えるようにした。
【０００７】
上記構成によれば、１フレーム分の符号化ビットストリームが蓄積された時点で復号を開始し、システム時刻と再生時刻とを比較して、一致した時点で再生出力を開始するようにした上で、時刻比較において両時刻が一致していなければ待機状態とし、タイマー割り込みによって定期的に割り込みをかけて待機状態を解除して時刻比較を再開する待機状態と待機解除状態を繰り返すようにしているので、同期制御をメディア符号化ビットストリームのフレーム周期より十分短いタイマー割り込み間隔で管理することができる。
【０００８】
また、上記同期制御方法では、システム時刻と再生時刻を比較する周期がタイマーの分解能に依存していることから、例えばタイマーの計時が１ｍｓの分解能であれば、誤差は１ｍｓ以下とすることができる。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本発明に係るマルチメディア復号再生装置の一実施形態を示すブロック図である。尚、ここではＭＰＥＧ２方式によるオーディオ・ビデオ多重ビットストリームからオーディオ信号、ビデオ信号をそれぞれ復号再生する場合について説明する。また、オーディオ処理系を中心に説明するが、ビデオ処理系についても同様に適用可能で、ここではその詳細を省略する。
【００１０】
図１において、図示しない伝送系からのオーディオ・ビデオ多重ビットストリームは多重分離装置１１に供給され、ビデオビットストリーム（以下、ビデオＢＳと記す）とオーディオビットストリーム（以下、オーディオＢＳと記す）とに分離される。このうち、ビデオＢＳはビデオＢＳバッファ１２に順次蓄積され、順次読み出されてビデオ復号装置１３で復号される。復号されたビデオデータは、ビデオ格納部１４にいったん格納され、同期制御装置１５からの出力命令により表示装置１６へ再生出力される。
【００１１】
一方、多重分離装置１１で分離されたオーディオＢＳは、オーディオＢＳバッファ１７に順次蓄積され、順次読み出されてオーディオ復号装置１８で復号され、これによってＰＣＭ（Ｐｕｌｓｅ　Ｃｏｄｅ　Ｍｏｄｕｌａｔｉｏｎ：パルス幅変調）方式によるデジタルオーディオデータ（以下、ＰＣＭデータと記す）が得られる。このＰＣＭデータはいったんＰＣＭ格納装置１９に格納され、同期制御装置１５からの出力命令によりオーディオ再生装置２０に出力され、アナログオーディオ信号に変換されて拡声出力される。
【００１２】
上記のオーディオ処理系に対する同期制御処理は、以下の構成によって実現される。
図１において、ＰＴＳ読み取り装置２１はオーディオＢＳバッファ１７上のデータからＰＴＳ情報を取得するもので、取得されたＰＴＳ情報は同期制御装置１５に送られる。また、ＢＳバッファチェック装置２２はオーディオＢＳバッファ１７上に１フレーム分の復号が可能なデータが書き込まれているかをチェックするもので、そのチェック結果は同期制御装置１５に送られる。また、ＳＴＣ読み取り装置２３は、入力多重ビットストリームに付加されているＰＣＲ（Ｐｒｏｇｒａｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ：プログラムクロックリファレンス）情報に基づいて設定されたＳＴＣカウンタ（図示せず）からＳＴＣ情報を取得するもので、取得されたＳＴＣは同期制御装置１５に送られる。
【００１３】
上記同期制御装置１５は、詳細は後述するが、オーディオ処理系に対し、ＳＴＣ情報、ＰＴＳ情報、ＢＳバッファチェック情報に基づいてオーディオ再生出力、ビデオ再生出力の同期をとるもので、オーディオ復号装置１８に復号開始命令を送り、ＰＣＭ格納装置１９に出力命令を送り、オーディオ再生装置２０に再生開始命令を送る。また、オーディオ復号装置１８から復号ステータス通知を受け取り、オーディオ再生装置２０から出力ステータス通知を受け取る。
【００１４】
上記同期制御装置１５及びＢＳバッファチェック装置２２は、判定処理において待機状態が生じる。このため、これらの装置１５，２２に対しては、タイマー割り込み装置２４によって自動的に待機状態が解除されるようにしている。タイマーの計時は内部処理クロックに基づく。
尚、詳細は図示しないが、ビデオ処理系に対してもオーディオ処理系と同様の処理がなされる。
【００１５】
上記構成によるマルチメディア復号再生装置において、オーディオ処理系の同期制御の流れを具体的に説明する。ここでは放送系のように遅延を許すシステムの場合も考慮して３フレーム遅延のシステム（ＮＵＭ＿ＤＥＬＡＹ＿ＦＲＡＭＥ＝３とする）について説明するが、ＮＵＭ＿ＤＥＬＡＹ＿ＦＲＡＭＥの値を変更することによって、遅延無しの場合や、その他の遅延量の場合にも対応することが可能である。
【００１６】
（実施例１）
以下、実施例１として、図２に示す同期制御装置１５のシーケンス図を参照しながら順を追って説明する。
【００１７】
［１−１］　最初に、多重分離装置１１からオーディオ符号化データが出力され、オーディオＢＳバッファ１７に格納される。ここで、多重分離装置１１がオーディオＢＳバッファ１７にデータを書き込んだ時には、書き込んだデータサイズだけライトポインタを進め、オーディオ復号装置１８がオーディオＢＳバッファ１７からデータを読み込んだ時には、読み込んだ分だけリードポインタを進める。これらのライトポインタ、リードポインタによって、オーディオＢＳバッファ１７内にある有効データサイズの管理を行うものとする。また、復号したフレーム数をカウントするために、同期制御装置１５は内部に持っているパラメータ（例えば、ｎｕｍ＿ｄｅｃｏｄｅ＿ｆｒａｍｅ）の値を０に初期化しておく（図２ステップＳ１）。
【００１８】
［１−２］　オーディオＢＳバッファ１７の格納状況はＢＳバッファチェック装置２２によって監視されている。このチェック装置２２は、オーディオＢＳバッファ１７にオーディオ符号化ストリームの１フレーム分が存在するかのチェックを行い、１フレーム分のストリームが存在する場合に、その旨を同期制御装置１５に通知する。１フレーム分のデータの有無を調べる方法としては、例えば、オーディオＢＳの各フレーム先頭に付加されるヘッダを解析してフレーム長を取得する方法などがある。
【００１９】
ここで、同期制御装置１５はステップＳ１による初期化完了後、オーディオＢＳバッファ１７に１フレーム分のデータがあるか判断する（図２ステップＳ２）。この判断はＢＳバッファチェック装置２２からの通知によってなされるものであり、通知がない場合には待機状態となり（図２ステップＳ３）、タイマー割り込み装置２４からのタイマー割り込みによる解除によって再びステップＳ２の判断を行う。この割り込み処理により、タイマー割り込み装置２４の分解能が高ければ高いほど同期制御の精度が向上することになる。
【００２０】
［１−３］　オーディオＢＳバッファ１７にＰＴＳが存在する場合には、ＰＴＳ読み取り装置２１によってＰＴＳの読み取りが行われ、同期制御装置１５に送られる。同期制御装置７は、ステップＳ２で１フレーム分のデータがあることが判別された場合には、オーディオ復号装置１８に復号開始命令を発行する（図２ステップＳ４）。オーディオ復号装置１８は、復号開始命令を受けて１フレーム分の復号処理を行い、復号後のＰＣＭデータをＰＣＭ格納装置１９に格納し、復号ステータスとして復号終了通知を同期制御装置１５に送る。同期制御装置１５は、復号終了通知を受け取った後、ｎｕｍ＿ｄｅｃｏｄｅ＿ｆｒａｍｅをインクリメント（＋１）する。
【００２１】
［１−４］　同期制御装置１５は、ＳＴＣ読み取り装置２１からＳＴＣの値を取得するが、ＳＴＣカウンタ（図示せず）の設定が終了していない場合には、ＳＴＣを取得することができないため、ステップＳ４からの引継後、ＳＴＣの値を参照可能か判断し（図２ステップＳ５）、参照不能の場合には、引き続き自律的な復号処理を行うため、ステップＳ２へ戻る。ＳＴＣの設定が終了して、ＳＴＣを取得できる状態になった場合には、式（１）の関係を満たすかの判断を実行する（図２ステップＳ６）。
ｎｕｍ＿ｄｅｃｏｄｅ＿ｆｒａｍｅ　＞　ＮＵＭ＿ＤＥＬＡＹ＿ＦＲＡＭＥ　　…（１）
式（１）を満たす場合（ＮＵＭ＿ＤＥＬＡＹ＿ＦＲＡＭＥ＝３よりｎｕｍ＿ｄｅｃｏｄｅ＿ｆｒａｍｅが４となっているか判断）には、遅延フレーム分を考慮して出力すべきＰＣＭデータの復号が完了し、オーディオ再生装置２０から出力する準備ができているので、ステップＳ７に進む。式（１）を満たさない場合は、出力すべきＰＣＭデータの復号が完了していないため、ステップＳ２へ戻る。
【００２２】
［１−５］　ステップＳ６で式（１）を満たすと判断した場合、同期制御装置１５は式（２）を実行して、ＳＴＣが初期ＰＴＳの示す時刻になっているかどうかを判定する（図２ステップＳ７）。
ＰＴＳ　≦　ＳＴＣ　　…（２）
式（２）を満たす場合には、ＳＴＣが初期ＰＴＳの示す時刻に到達したと判断して、ＰＣＭ格納装置１９に出力命令を発行すると共に、オーディオ再生装置２０に再生開始命令を発行する（図２ステップＳ９）。オーディオ再生装置２０は、同期制御装置１５からの再生開始命令を受付けると、即座にＰＣＭ格納装置１９からＰＣＭデータを読み込み、再生出力を開始する。また、同期制御装置１５は、ステップＳ９において、再生出力が開始されると同時に、オーディオ復号装置１８に復号開始命令を発行する。この先の処理においては、ＰＴＳ時刻に当該ＰＴＳに対応するＰＣＭデータを出力している限り、オーディオ復号装置１８における復号処理が破綻することはないので、ＢＳバッファチェック装置２２による１フレーム分のオーディオ符号化ストリームが存在の有無を確認する必要はない。
【００２３】
一方、式（２）を満たさない場合には、ＳＴＣが初期ＰＴＳ時刻に到達していないと判断して待機状態に入る（図２ステップＳ８）。その後、タイマー割り込み装置２４の割り込みによって待機状態が解除され、再びステップＳ７の判断を実行する。
【００２４】
［１−６］　オーディオ再生装置２０は、１フレーム分のＰＣＭデータの再生出力が終了した瞬間に、１フレーム分の再生出力が終了したことを出力ステータスとして同期制御装置１５に通知する。同期制御装置は当該ステータスを受け付け後、即座にオーディオ復号装置１８に復号命令を発行する。これによって、オーディオ再生装置２０からの出力とオーディオ復号装置１８からのＰＣＭデータ出力の整合が取られ、オーディオ再生装置２０は連続的に復号ＰＣＭデータを再生することができる。
【００２５】
（実施例２）
以下、実施例２として、図３に示す同期制御装置１５のシーケンス図を参照しながら順を追って説明する。この実施例２は、実施例１に加えて、伝送路誤りを考慮した場合の処理を説明するものである。
【００２６】
［２−１］　実施例１の［１−１］と同様に、最初に、多重分離装置１１からオーディオ符号化データが出力され、オーディオＢＳバッファ１７に格納される。オーディオＢＳバッファ１７内にある有効データサイズの管理は、ライトポインタ、リードポインタによって行われる。同期制御装置１５は、内部に持っているパラメータ（例えば、ｎｕｍ＿ｄｅｃｏｄｅ＿ｆｒａｍｅ）の値を０に初期化しておく（図３ステップＳ１０）。
【００２７】
［２−２］　実施例１の［１−２］と同様に、オーディオＢＳバッファ１７にオーディオ符号化ストリームの１フレーム分が格納されると、ＢＳバッファチェック装置２２によって、１フレーム分の格納完了が同期制御装置１５に通知される。同期制御装置１５はステップＳ１１による初期化完了後、ＢＳバッファチェック装置２２からの通知の有無によりオーディオＢＳバッファ１７に１フレーム分のデータがあるか判断している（図３ステップＳ１１）。通知がない場合には待機状態となり（図３ステップＳ１２）、タイマー割り込み装置２４からのタイマー割り込みによる解除によって再びステップＳ１１の判断を行う。
【００２８】
［２−３］　実施例１の［１−３］と同様に、オーディオＢＳバッファ１７にＰＴＳが格納されると、ＰＴＳ読み取り装置２１によってＰＴＳの読み取りが行われ、同期制御装置１５に送られる。同期制御装置７は、ステップＳ１１で１フレーム分のデータがあることが判別された場合には、オーディオ復号装置１８に復号開始命令を発行し、ｎｕｍ＿ｄｅｃｏｄｅ＿ｆｒａｍｅをインクリメント（＋１）する（図３ステップＳ１３）。
【００２９】
［２−４］　ここで、伝送路誤りによってオーディオ復号装置１８で復号エラーが生じたとする。この場合、オーディオ復号装置１８は、復号ステータスとして復号エラーを同期制御装置１５に通知する。同期制御装置１５は復号ステータスによって復号エラーの有無を判断しており（図３ステップＳ１４）、復号エラーの発生有りと判断した場合には、ｎｕｍ＿ｄｅｃｏｄｅ＿ｆｒａｍｅの値を０として、ステップＳ１１へ戻る（図３ステップＳ１５）。これは、復号エラーが発生した場合に、そのフレームまでのＰＣＭデータを破棄する事を意味しており、最初から誤りのある再生音がオーディオ再生装置２０から出力されることによる、聴感上に品質劣化を抑制することを目的とした処理である。
【００３０】
［２−５］　オーディオ復号装置１８は、正常に復号が完了した場合には、復号開始命令を受けて１フレーム分の復号処理を行い、復号後のＰＣＭデータをＰＣＭ格納装置１９に格納し、復号ステータスとして復号終了通知を同期制御装置１５に送る。同期制御装置１５は、復号終了通知を受け取った場合、復号エラーなしと判断して、実施例１の［１−４］と同様に、ＳＴＣ参照が可能か判断し（図３ステップＳ１６）、参照不能ならばステップＳ１１に戻り、参照可能ならば、式（３）の関係を満たすまでステップＳ１１からの処理を繰り返す（図３ステップＳ１７）。
ｎｕｍ＿ｄｅｃｏｄｅ＿ｆｒａｍｅ　＞　ＮＵＭ＿ＤＥＬＡＹ＿ＦＲＡＭＥ　　…（３）
［２−６］　同期制御装置１５は、ステップＳ１７において、式（３）を満たすと判断した場合、復号されたＰＣＭデータをオーディオ再生装置２０から再生出力するタイミングの制御を行うが、参照すべきＰＴＳに誤りがあって、正常な値よりはるかに大きい値になってしまっている場合には、長時間無音の状態となってしまうため、初期ＰＴＳの正当性を評価する必要がある。そこで、式（４）の関係を満たすかの判断を実行する（図３ステップＳ１８）。
０　＜　（ＰＴＳ−ＳＴＣ）　＜　ｔ１　　…（４）
ここで、ｔ１はシステムによって予め定められた値であり、オーディオＢＳバッファ１７のバッファサイズなど、システム固有の様々な要因を考慮して決定されるべきである。式（４）を満たす場合には、初期ＰＴＳが正当な値であると判断してステップＳ１９に進む。式（４）を満たさない場合には、初期ＰＴＳは誤りが混入していると判断して、今までの格納データを破棄するために、ステップＳ１１に戻る。尚、このステップＳ１１に戻る際に、ステップＳ１５を経由して、ｎｕｍ＿ｄｅｃｏｄｅ＿ｆｒａｍｅを０とするようにしてもよい。
【００３１】
［２−７］　ステップＳ１８で式（４）を満たすと判断した場合、同期制御装置１５は、実施例１の［１−５］と同様に式（５）を実行し、ＳＴＣが初期ＰＴＳの示す時刻になっているかどうかを判定する（図３ステップＳ１９）。
ＰＴＳ　≦　ＳＴＣ　…　　（５）
式（５）を満たす場合には、ＳＴＣが初期ＰＴＳの示す時刻に到達したと判断して、ＰＣＭ格納装置１９に出力命令を発行すると共に、オーディオ再生装置２０に再生開始命令を発行する（図３ステップＳ２１）。オーディオ再生装置２０は、同期制御装置１５からの再生開始命令を受付けると、即座にＰＣＭ格納装置１９からＰＣＭデータを読み込み、再生出力を開始する。また、同期制御装置１５は、ステップＳ２１において、再生出力が開始されると同時に、オーディオ復号装置１８に復号開始命令を発行する。
【００３２】
一方、式（５）を満たさない場合には、ＳＴＣが初期ＰＴＳ時刻に到達していないと判断して待機状態に入る（図３ステップＳ２０）。その後、タイマー割り込み装置２４の割り込みによって待機状態が解除され、再びステップＳ１９の判断を実行する。
【００３３】
［２−８］　実施例１の［１−６］と同様に、オーディオ再生装置２０は、１フレーム分のＰＣＭデータの再生出力が終了した瞬間に、１フレーム分の再生出力が終了したことを出力ステータスとして同期制御装置１５に通知する。同期制御装置は当該ステータスを受け付け後、即座にオーディオ復号装置１８に復号命令を発行する。これによって、オーディオ再生装置２０からの出力とオーディオ復号装置１８からのＰＣＭデータ出力の整合が取られ、オーディオ再生装置２０は連続的に復号ＰＣＭデータを再生することができる。
【００３４】
以上、実施例１及び実施例２の説明から明らかなように、本実施形態の構成によれば、タイマー割り込みの分解能の精度でＢＳバッファ管理及び出力時刻判定を行うようにしているので、同期制御をメディア符号化ストリームのフレーム周期より十分短い間隔で管理することができ、多メディアの同期を高精度で行うことができる。
【００３５】
すなわち、ＢＳバッファチェック装置２２により、ＢＳバッファ１７に１フレーム分のデータが存在するかどうかの判定を行い、１フレーム分のデータが存在する場合には、当該情報を同期制御装置１５に通知し、１フレーム分のデータが存在しない場合には、待機状態に遷移後、ハードウェアのタイマー割り込みによって待機状態を解除し、再びＢＳバッファ１７のチェックを行うという動作を繰り返すようにしているので、タイマー割り込み機能の分解能で、ＢＳバッファ管理を行うことができる。
【００３６】
ここで、ＭＰＥＧ方式のように、可変長符号化方式によって符号化されたビットストリームを復号する際には、ＢＳバッファ１７の管理を行わずに復号を開始すると、復号途中でアンダーフローやオーバーフローが発生して、復号処理が破綻する可能性がある。そこで、上記実施形態では、同期制御装置１５において、ＢＳバッファチェック装置２２からＢＳバッファ１７に１フレーム分以上のデータが存在するという通知を受けた時点で、復号装置１１８に復号開始命令を発行するようにしている。このように、タイマーの割り込み機能を利用して１フレーム分以上のデータが存在することを確認してから復号処理を開始することにより、復号処理の破綻を防ぐことができる。
【００３７】
また、放送など遅延を許すシステムにおいては、復号された出力データを一時的にメモリに格納しておき、遅延を持たせて出力させる必要がある。そこで、上記実施形態では、同期制御装置１５において、復号装置１８に発行した復号開始命令の回数をカウントするようにしている。このように復号が完了したフレーム数を同期制御装置１５でカウントすることによって、当該遅延のあるようなシステムにも対応することができる。
【００３８】
また、上記実施形態では、同期制御装置１５において、ＳＴＣの設定が完了するまではＳＴＣの参照は行わず、ＳＴＣの設定が完了した時点でＳＴＣの参照を開始するようにしているので、ＳＴＣの設定が完了していない状態でＳＴＣを参照して、同期制御に破綻をきたすことを防ぐことができる。
【００３９】
また、上記実施形態では、同期制御装置１５において、予め定められたフレーム数の復号処理が終了し、ＳＴＣが参照可能な状態になった時点で復号装置１８に復号開始命令を発行し、ＳＴＣがＰＴＳの示す時刻であるかを判定し、ＰＴＳの示す時刻ならば、再生装置２０に再生開始命令を発行し、ＰＴＳの示す時刻でなければ待機状態に遷移し、タイマー割り込みによって待機状態を解除して再度ＰＴＳとＳＴＣの比較を実行するという動作を、ＳＴＣがＰＴＳ時刻に到達するまで繰り返すようにしているので、タイマー割り込み機能の分解能の精度で同期制御を行うことができる。
【００４０】
また、最初に出力される再生信号に誤りがあると、誤りが認知されやすい。そこで、上記実施形態では、同期制御装置１５において、復号装置１８に発行した復号開始命令の回数をカウントし、復号装置１８から復号エラー通知を受け取った場合には、カウントしていた復号命令発行回数を０に戻すようにしている。このように、最初に出力されるデータに誤りがある場合でも、誤りを検出し、当該誤りフレームの出力を破棄して再度誤りのない復号出力を得るようにしているので、最初から正しい再生出力を行うことができる。
【００４１】
また、ＳＴＣがＰＴＳに一致した時点で再生が開始されるが、ＰＴＳに誤りがあると、一致まで時間がかかるか無限に一致しない状態に陥る。そこで、上記実施形態では、同期制御装置１５において、ＰＴＳとＳＴＣとの差が一定値以上の場合には最初から処理をやり直すようにしているので、ＰＴＳの伝送誤りによる問題も解決することができる。
【００４２】
【発明の効果】
以上述べたように本発明によれば、同期制御をメディア符号化ストリームのフレーム周期より十分短い間隔で管理することができ、より高精度で安定した分解能が得られるマルチメディア復号再生装置とその同期制御方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態によるマルチメディア復号再生装置の構成を示すブロック図。
【図２】実施例１として、上記実施形態の同期制御装置の処理の流れを示すフローチャート。
【図３】実施例２として、伝送路誤りに対応するための上記実施形態の同期制御装置の処理の流れを示すフローチャート。
【符号の説明】
１１…多重分離装置
１２…ビデオＢＳバッファ
１３…ビデオ復号装置
１４…ビデオ格納装置
１５…同期制御装置
１６…表示装置
１７…オーディオＢＳバッファ
１８…オーディオ復号装置
１９…ＰＣＭ格納装置
２０…オーディオ再生装置
２１…ＰＴＳ読み取り装置
２２…ＢＳバッファチェック装置
２３…ＳＴＣ読み取り装置
２４…タイマー割り込み装置

Claims

基準時刻情報と共にメディア毎に同期再生用の再生時刻を示す情報が付加され、フレーム単位で構成された複数のメディア符号化ビットストリームを多重してなる多重化ビットストリームを復号再生するマルチメディア復号再生装置において、
前記多重化ビットストリームからメディア毎に符号化ビットストリームを分離する分離手段と、
この分離手段で分離されたメディアの符号化ビットストリームを蓄積する蓄積手段と、
この蓄積手段から符号化ビットストリームを復号開始命令に従ってフレーム単位で読み出して復号出力する復号手段と、
この復号手段から出力される復号信号を順次格納し、再生開始命令に従ってフレーム単位で再生出力する再生手段と、
前記蓄積手段の蓄積データから前記再生時刻を読み取る再生時刻読み取り手段と、
前記基準時刻情報に基づくシステム時刻を読み取るシステム時刻読み取り手段と、
前記蓄積手段の蓄積データ量を監視する監視手段と、
一定周期で割り込み命令を発生するタイマー割り込み手段と、
前記復号手段の復号タイミング、前記再生手段の再生タイミングを制御してメディア間の同期制御を行う同期制御手段とを具備し、
前記同期制御手段は、
前記監視手段を通じて前記蓄積手段の蓄積データ量を定期的に確認し、１フレーム分に達したことを検出する蓄積データ量確認手段と、
前記蓄積データ量確認手段で１フレーム分のデータ量に達したことが検出された時点で前記復号手段に復号開始命令を送る復号開始手段と、
前記システム時刻読み取り手段で読み取られたシステム時刻と前記再生時刻読み取り手段で読み取られた再生時刻とを比較し、両時刻が一致していなければ待機状態となり、前記タイマー割り込み手段の割り込み命令により待機状態を解除して再び両時刻の比較を行い、両時刻が一致するまで待機状態と待機解除状態を繰り返す時刻比較手段と、
前記時刻比較手段で時刻一致が得られた時点で前記再生手段に再生開始命令を送る再生開始手段とを備えることを特徴とするマルチメディア復号再生装置。
前記蓄積データ量確認手段は、前記蓄積手段の蓄積データ量が１フレーム分に達したか否かを判断し、達していない場合には待機状態となり、前記タイマー割り込み手段の割り込み命令により待機状態を解除して前記蓄積データ量の判断を実行し、蓄積データ量が１フレーム分に達したことが確認されるまで、待機状態と待機解除状態を繰り返すことを特徴とする請求項１記載のマルチメディア復号再生装置。
前記監視手段は、前記蓄積手段に１フレーム以上のデータ量が存在するとき前記同期制御手段に蓄積検出通知を発するものとし、
前記蓄積データ量確認手段は、前記監視手段からの蓄積検出通知を受けて蓄積手段に１フレーム分のデータ量が存在することを確認することを特徴とする請求項１記載のマルチメディア復号再生装置。
前記時刻比較手段は、前記システム時刻情報が前記基準時刻情報による設定が完了するまで待機することを特徴とする請求項１記載のマルチメディア復号再生装置。
前記再生手段は、前記再生開始命令による１フレーム再生処理の結果を示す再生ステータス信号を前記同期制御手段に通知するものとし、
前記復号開始手段は、前記再生開始命令を発した後は、前記再生ステータス信号により再生完了が確認されるまで前記復号開始命令の発行を待機することを特徴とする請求項１記載のマルチメディア復号再生装置。
前記同期制御手段は、さらに、前記復号開始命令の発行回数を管理し、初期設定時に０にリセットして前記復号開始命令を発行する毎にインクリメントする復号回数管理手段を備え、
前記再生開始手段は、前記復号回数管理手段で管理される復号開始命令の発行回数が規定回数となった後に処理を実行することを特徴とする請求項１記載のマルチメディア復号再生装置。
前記復号手段は、前記復号開始命令による１フレーム復号処理の結果を示す復号ステータス信号を前記同期制御手段に通知するものとし、
前記復号回数管理手段は、前記復号手段からの復号ステータス信号が復号エラーを示す通知であるとき、復号回数を０にリセットすることを特徴とする請求項６記載のマルチメディア復号再生装置。
前記同期制御手段は、前記システム時刻と前記再生時刻との差が規定時間以内か判断し、規定時間以内に入らない場合には、初期状態に戻って次のフレームから処理を開始することを特徴とする請求項１記載のマルチメディア復号再生装置。
基準時刻情報と共にメディア毎に同期再生用の再生時刻を示す情報が付加され、フレーム単位で構成された複数のメディア符号化ビットストリームを多重してなる多重化ビットストリームを入力し、
前記多重化ビットストリームからメディア毎に符号化ビットストリームを分離する分離手段と、
この分離手段で分離されたメディアの符号化ビットストリームを蓄積する蓄積手段と、
この蓄積手段から符号化ビットストリームを復号開始命令に従ってフレーム単位で読み出して復号出力する復号手段と、
この復号手段から出力される復号信号を順次格納し、再生開始命令に従ってフレーム単位で再生出力する再生手段と、
前記蓄積手段の蓄積データから前記再生時刻を読み取る再生時刻読み取り手段と、
前記基準時刻情報に基づくシステム時刻を読み取るシステム時刻読み取り手段と、
前記蓄積手段の蓄積データ量を監視する監視手段と、
一定周期で割り込み命令を発生するタイマー割り込み手段とを備えるマルチメディア復号再生装置に用いられ、
前記監視手段を通じて前記蓄積手段の蓄積データ量を定期的に確認し、１フレーム分に達したことを検出する蓄積データ量確認ステップと、
前記蓄積データ量確認手段で１フレーム分のデータ量に達したことが検出された時点で前記復号手段に復号開始命令を送る復号開始ステップと、
前記システム時刻読み取り手段で読み取られたシステム時刻と前記再生時刻読み取り手段で読み取られた再生時刻とを比較し、両時刻が一致していなければ待機状態となり、前記タイマー割り込み手段の割り込み命令により待機状態を解除して再び両時刻の比較を行い、両時刻が一致するまで待機状態と待機解除状態を繰り返す時刻比較ステップと、
前記時刻比較手段で時刻一致が得られた時点で前記再生手段に再生開始命令を送る再生開始ステップとを備えることを特徴とするマルチメディア復号再生装置の同期制御方法。
前記蓄積データ量確認ステップは、前記蓄積手段の蓄積データ量が１フレーム分に達したか否かを判断し、達していない場合には待機状態となり、前記タイマー割り込み手段の割り込み命令により待機状態を解除して前記蓄積データ量の判断を実行し、蓄積データ量が１フレーム分に達したことが確認されるまで、待機状態と待機解除状態を繰り返すことを特徴とする請求項９記載のマルチメディア復号再生装置の同期制御方法。
前記監視手段が前記蓄積手段に１フレーム以上のデータ量が存在するとき蓄積検出通知を発するものであるとき、
前記蓄積データ量確認ステップは、前記監視手段からの蓄積検出通知を受けて蓄積手段に１フレーム分のデータ量が存在することを確認することを特徴とする請求項９記載のマルチメディア復号再生装置の同期制御方法。
前記時刻比較ステップは、前記システム時刻情報が前記基準時刻情報による設定が完了するまで待機することを特徴とする請求項９記載のマルチメディア復号再生装置の同期制御方法。
前記再生手段が前記再生開始命令による１フレーム再生処理の結果を示す再生ステータス信号を発するものであるとき、
前記復号開始ステップは、前記再生開始命令を発した後は、前記再生ステータス信号により再生完了が確認されるまで前記復号開始命令の発行を待機することを特徴とする請求項９記載のマルチメディア復号再生装置の同期制御方法。
さらに、前記復号開始命令の発行回数を管理し、初期設定時に０にリセットして前記復号開始命令を発行する毎にインクリメントする復号回数管理ステップを備え、
前記再生開始ステップは、前記復号回数管理ステップで管理される復号開始命令の発行回数が規定回数となった後に処理を実行することを特徴とする請求項９記載のマルチメディア復号再生装置の同期制御方法。
前記復号手段は、前記復号開始命令による１フレーム復号処理の結果を示す復号ステータス信号を発するものであるとき、
前記復号回数管理ステップは、前記復号手段からの復号ステータス信号が復号エラーを示す通知であるとき、復号回数を０にリセットすることを特徴とする請求項１４記載のマルチメディア復号再生装置の同期制御方法。
さらに、前記システム時刻と前記再生時刻との差が規定時間以内か判断し、規定時間以内に入らない場合には、初期状態に戻って次のフレームから処理を開始する初期化ステップを備えることを特徴とする請求項９記載のマルチメディア復号再生装置の同期制御方法。