JP2000236544A - オーディオ又は、ビデオフレームデータの処理方法及び、符号化装置 - Google Patents

オーディオ又は、ビデオフレームデータの処理方法及び、符号化装置

Info

Publication number
JP2000236544A
JP2000236544A JP2000003018A JP2000003018A JP2000236544A JP 2000236544 A JP2000236544 A JP 2000236544A JP 2000003018 A JP2000003018 A JP 2000003018A JP 2000003018 A JP2000003018 A JP 2000003018A JP 2000236544 A JP2000236544 A JP 2000236544A
Authority
JP
Japan
Prior art keywords
time stamp
input
output
data
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000003018A
Other languages
English (en)
Inventor
Ulrich Schreiber
シュライバー ウルリヒ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Thomson Brandt GmbH
Original Assignee
Deutsche Thomson Brandt GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Thomson Brandt GmbH filed Critical Deutsche Thomson Brandt GmbH
Publication of JP2000236544A publication Critical patent/JP2000236544A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 本発明の目的は、特に、オーディオデータが
関連するビデオデータと共に提示されるときに、全遅延
と同様に異なる処理段階の間の遅延が適応され得る、オ
ーディオ及び、ビデオフレームデータを処理する方法を
提供することである。 【解決手段】 放送の目的のために、マルチチャネルの
オーディオ符号化ボードが設計された。少なくとも1つ
の入力処理段階で符号化されるべきオーディオ又はビデ
オデータのフレームと連結される入力時間スタンプが生
成され、前記入力時間スタンプ又は、前記入力時間スタ
ンプから得られた時間スタンプは、処理の前記異なる処
理段階で対応して処理されたフレームデータと連結され
て維持されるが、しかし、少なくとも最後の処理段階
で、出力時間スタンプと置き換えられる。これらの段階
の各々で、処理される現在のフレームデータと連結され
た対応する時間スタンプ情報は、処理の全体の遅延を制
御するために注目される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、オーディオ又は、
ビデオフレームデータを処理する方法及び、符号化する
装置に関する。
【0002】
【従来の技術】放送の目的のために、4ステレオチャネ
ルの実時間MPEGオーディオ符号化ボードが設計され
た。そのような符号化器はDSP(ディジタル信号処理
器)を用いて実現され、入力及び、出力インターフェー
スはもちろん、処理は幾つかのDSP上に分散されてい
る。処理はブロック毎に行われる。例えば、1152サ
ンプルの新しいブロック毎に、関連したビットストリー
ム部分が発生される。処理ブロックの処理時間は一定で
は無く、また、各DSPの幾つかの処理ブロックは、あ
る時間の瞬間の実行で競合し得るので、全処理遅延は非
常に大きく変わりうる。MPEGは、例えば、様々なサ
ンプリング周波数と全体のデータレートで動作できるの
で、要求は、符号化器が、異なった符号化パラメータで
動作できることである。
【0003】実時間処理の全負荷は、マルチスレッド
(multi−threading)により、各DSP
及び、1つ又はそれ以上のフレーム又は、ブロックのデ
ータを担うFIFOバッファのソフトウェアの等価なも
のにより分散される。即ち、符号化器は原理的に、符号
器入力と出力の間の処理ブロック(示されたスレッド)
と交互の、ソフトウェアFIFOの連鎖より成る。
【0004】実時間処理システムでは以下の問題が解決
されねばならない。 a)入力から出力の全遅延は、外部及び、内部の要求の
両方に対して、(所定のメモリ制約内で)一定か又は、
画定できねばならない。最小遅延を強いることは、最悪
の場合(最大処理時間となる入力データシーケンス)で
も、出力バッファの一時的なオーバーフロー無しに充分
な処理時間が得られることを保証するであろう。 b)利便性から、この遅延の制御に、充分簡単で信頼性
のある方法が要求される。
【0005】
【発明が解決しようとする課題】本発明の1つの目的
は、特に、オーディオデータが関連するビデオデータと
共に表示されるときに、全遅延と同様に異なる処理段階
の間の遅延が適応され得る、オーディオ及び、ビデオフ
レームデータを処理する方法を提供することである。
【0006】
【課題を解決するための手段】この目的は請求項1に記
載の方法で達成される。
【0007】本発明の更なる目的は、発明の方法を利用
するオーディオデータの符号化装置を提供することであ
る。この目的は、請求項5に記載の方法で達成される。
【0008】通常は、オーディオ又は、ビデオフレーム
は、符号化器で、連続した異なる段階で処理される。例
えば、第1段階で周波数係数へ変換し、更なる段階でビ
ット割り当て及び、量子化を行う。経路では、第1段階
と平行に、(心理聴覚)マスキングが計算される。
【0009】本発明では、入力から出力の全遅延は、シ
ステム時間スタンプと関連した時間スタンプに基づく機
構を適用することで制御される。システムの入力に際
し、例えば、データのフレーム又は、ブロック毎の入力
データは、現在のシステム時間、即ち、入力時間スタン
プITSがスタンプされる。この時間スタンプは、例え
ば、連結したデータフィールドのフォーマットで、処理
段階を通して主データと共に送られる。処理中にどこか
で、原理的に次の計算を用いて、データの出力フレーム
又はブロックの意図された出力時間が計算される。OT
S=ITS+DELAY,ここで、OTSは出力時間ス
タンプである。OTSは、出力段階で、意図された時間
に出力データが出力されるように制御するのに使用され
る。
【0010】更に、特定の処理経路で要求される符号化
パラメータは、関連するオーディオデータと連結させ、
そのオーディオデータと共に様々なバッファに蓄積する
ことにより、オーディオチャネルの入力ストリームに加
えることができる。即ち、対応する符号化パラメータ
は、符号化されるオーディオデータと、経路を通して、
連結して保持される。必要なワード長を最小化し、及び
/又は、関連した処理段階で、簡単に評価するために、
元々の符号化パラメータは、異なるフォーマットに変換
されることが好ましい。これにより各データストリーム
は、新しいパラメータで新しいデータストリームの処理
の開始前に、古いデータストリームの符号化処理の終
了、リセット及び、新しいパラメータのロードを待たず
に、正しいパラメータセットで処理されることができ
る。
【0011】本発明は、処理段階が逆のオーディオ又
は、ビデオ復号器でも使用できる。
【0012】原理的には、本発明の方法は、異なる処理
段階で連続して処理されるオーディオ又はビデオフレー
ムデータを符号化するのに適する方法であって、少なく
とも1つの入力処理段階で符号化されるべきオーディオ
又はビデオデータのフレームと連結される入力時間スタ
ンプが生成され、前記入力時間スタンプ又は、前記入力
時間スタンプから得られた時間スタンプは、処理の前記
異なる処理段階で対応して処理されたフレームデータと
連結されて維持されるが、しかし、少なくとも最後の処
理段階で、表示時間を示す出力時間スタンプと置き換え
られ、かつ、これらの段階の各々で、処理される現在の
フレームデータと連結された対応する時間スタンプ情報
は、処理の全体の遅延を制御するために、注目される。
【0013】本発明の方法の優位性のある更なる実施例
は、それぞれの独立請求項に記載されている。
【0014】原理的には、本発明の装置は、連続した異
なる処理段階で処理されるオーディオフレームデータを
符号化するのに適した装置であって、 −入力時間スタンプと出力時間スタンプとを有する時間
スタンプ情報を発生する手段と、 −時間スタンプ情報を前記オーディオデータ又は、処理
されたオーディオデータのフレームと、それぞれ連結す
る手段と、 −入力にバッファ手段が割り当てられ、時間領域サンプ
ルを周波数領域係数へ変換する手段と、 −入力にバッファ手段が割り当てられ、前記時間領域サ
ンプルからマスキング特性を計算する手段と、 −入力にバッファ手段が割り当てられ、前記マスキング
計算手段の出力の制御の下に、係数のビット割り当てと
量子化を行う手段と、 −前記入力時間スタンプは、少なくとも1つの入力処理
段階に関して、符号化される前記オーディオデータのフ
レームと連結され、且つ、前記入力時間スタンプ又は、
前記入力時間スタンプより得られた時間スタンプは、前
記マスキング計算手段と前記ビット割り当て及び量子化
手段で、前記変換手段で対応して処理されたフレームデ
ータと連結して維持されるが、しかし、符号化処理の少
なくとも最後の処理段階で、出力時間スタンプ情報と置
き換えられ、これらの段階の各々で、処理されるべき現
在のフレームデータと連結した対応する時間スタンプ情
報は、符号化処理の全体の遅延を制御するために、注目
される、前記出力時間スタンプに対応する時間で、又
は、前記出力時間スタンプに対応する時間付近で、最終
出力データの表示を制御する手段とを有する。
【0015】本発明の方法の優位性のある更なる実施例
は、それぞれの独立請求項に記載されている。
【0016】
【発明の実施の形態】図1のオーディオ符号化器は、4
つのステレオPCM入力信号PCMA,PCMB,PC
MC及び、PCMDを受ける。例えば、MPEGオーデ
ィオデータはフレーム基準であり、各フレームはモノ又
は、ステレオの1152サンプルを含む。図1の符号化
オぺレーティングシステムは、4つのMPEGチャネル
を符号化するために、6つのDSP(図示していない)
を含んでも良い。これらのDSPは、ソフトウェア符号
化器を構成し、図1に示す技術的な機能を有する。DS
Pの好ましい形式は、例えば、アナログデバイス社のA
DSP21060又は、21061又は、21062で
ある。代わりとして、図1に示す技術的な機能は、ハー
ドウェアで実現されることもできる。
【0017】6つのDSP上で動作するソフトウェアの
又は、対応するハードウェアの同期は、FIFOバッフ
ァを使用して達成され、ここで、各バッファは1つ又は
それ以上の特定のフレームに割り当てられる。これは、
ある時間に、現在のフレームと前のフレームが、フレー
ム数は有効なバッファの量に依存するが、処理段階に存
在することを意味する。
【0018】ある段階の間に、非同期書きこみ及び、読
み出し動作が可能な非同期バッファASBUFが挿入さ
れる。他の段階の間では、同期バッファBUFで充分で
ある。
【0019】PCM入力信号PCMA,PCMB,PC
MC及び、PCMDは、非同期バッファを介して、それ
ぞれの変換器CONA,CONB,CONC,COND
へ送られる。そのような変換器では、符号化されるべき
オーディオサンプルの整数から浮動小数点表現への変換
が起こる。符号化器は、整数表現のオーディオサンプル
を処理することも可能である。そのような変換器では、
例えば、フレームの全サンプルのエネルギー又は、フレ
ームのサンプルの平均エネルギー等の、フレーム内の1
つ又はそれ以上種類のエネルギーレベルが計算され得
る。これらのエネルギー値は、続く心理聴覚処理で使用
され得る。
【0020】更に、そのような変換器では、可能な適応
された符号化パラメータが、フレームオーディオデータ
に連結される。パラメータ符号化器PENCA、PEN
CB、PENCC及び、PENCDに関わらず、元々の
符号化パラメータは、上述のように変換され、そして、
CONA、CONB、CONC及び、CONDへそれぞ
れ送られる。MPEG復号器では、伝送されたデータス
トリームの中の復号パラメータは、各データフレームに
(再)連結される前に、復号器中で、ハードウェア又
は、ソフトウェア要求に従って、対応して適用される。
【0021】非同期バッファを介して、CONA、CO
NB、CONC及び、CONDの出力データは、平行し
て、サブバンドフィルタSUBA、SUBB、SUBC
及び、SUBD及び、第1の左及び右チャネルの心理聴
覚計算器Psycho1A_L,Psycho1A_
R,Psycho1B_L,Psycho1B_R,P
sycho1C_L,Psycho1C_R,Psyc
ho1D_L,Psycho1D_Rへそれぞれ送られ
る。サブバンドフィルタは、FFTを使用して、全オー
ディオスペクトルを周波数バンドへ分割し、また、周波
数バンド又は、サブバンド内の係数の最大値又は、スケ
ールファクタを計算する。周波数バンド内では、正規化
が行われる。サブバンドフィルタは、上述の時間スタン
プ情報及び、あるいは対応するアップストリーム非同期
バッファから読まれた符号化パラメータを考慮する。
【0022】第1の心理聴覚計算器は、例えば、102
4サンプルの長さを有するFFTを行い、現在のマスキ
ング情報を決定する。各第1の心理聴覚計算器には、第
2の心理聴覚計算器Psycho2A_L,Psych
o2A_R,Psycho2B_L,Psycho2B
_R,Psycho2C_L,Psycho2C_R,
Psycho2D_L,Psycho2D_Rがそれぞ
れ続き、前にサブバンドフィルタで計算された最大値又
は、スケールファクタ値を推定する。第1及び、第2の
心理聴覚計算器は、上述の時間スタンプ情報及び、ある
いは対応するアップストリーム非同期バッファから読ま
れた符号化パラメータを考慮する。
【0023】Psycho2A_L,Psycho2A
_R,Psycho2B_L,Psycho2B_R,
Psycho2C_L,Psycho2C_R,Psy
cho2D_L,Psycho2D_Rの出力信号は、
バッファを介して関連するサブバンドフィルタから来
る、割り当てられたビット数及びオーディオデータ係数
の量子化ビット数を決定するために、ビット割り当て器
及び量子化器Bal/Q/E_A,Bal/Q/E_
B,Bal/Q/E_C及び、Bal/Q/E_Dでそ
れぞれ使用される。第1の心理聴覚計算器で計算されて
いるものを、更に、第2の心理聴覚計算器で計算するこ
とも可能であり、それにより第1の心理聴覚計算器を省
略できる。
【0024】最後に、Bal/Q/E_A,Bal/Q
/E_B,Bal/Q/E_C及び、Bal/Q/E_
Dの出力は、非同期バッファを通過し、それぞれ、出力
インターフェースAES−EBU_A、AES−EBU
_B、AES−EBU_C及び、AES−EBU_Dへ
送られ、符号化出力信号PCM_Out_A、PCM_
Out_B、PCM_Out_C及び、PCM_Out
_Dから出力される。
【0025】出力インターフェースは、IEC958に
対応しても良い。
【0026】ビデオ符号化器は、以下の、ブロック差段
階、DCT(離散コサイン変換)、量子化、フィードバ
ックループでの逆量子化、逆DCT、出力がブロック差
段階へ入力される動き補償補間段階を含む。量子化の出
力は、VLC(可変長符号化)符号化され、最終出力前
にバッファされている。バッファ充填度は、できる限り
符号化歪がマスクされるように量子化を制御するのに使
用される。
【0027】本発明では、以下の要素が必要である。 −全ての包含される入力及び出力段階に対して唯一の値
を提供する、システム時間を供給するシステム時間ベー
ス、 −充分に精密な入力時間スタンプ(ITS)を得るため
の、システム時間ベースと入力データに関連するハード
ウェア及び/又はソフトウェア機構、 −出力時間スタンプ(OTS)に従って、充分に精密な
出力得るための、システム時間ベースを出力データに関
連させるハードウェア及び/又はソフトウェア機構。
【0028】これらの要素は、以下のように使用され
る。 a)システムの入力インターフェース毎に、入力データ
はシステムタイマと関連させられる。即ち、入力データ
と共に入力時間スタンプは得られ、データフレームに割
り当てられる。それゆえ、例えば、サンプルされたオー
ディオデータブロック又は、フレームの第1サンプルの
サンプリング時点のシステム時間は、使用される。 b)多入力の場合には、入力データブロックは、入力時
間スタンプにより与えられた時間情報により、チャネル
に亘って、再整列され得る。 例1:複数の2チャネルインターフェースに亘って多チ
ャネルオーディオ入力は分散される。 例2:複数のステレオ符号化器のビットストリーム出力
は、チャネルに亘り良く画定された時間関係で、即ち等
遅延の可能性で、MPEG TS(トランスポートスト
リーム)へ分割される。 c)入力時間スタンプITSと意図された全体の遅延D
ELAYから出力データの出力時間スタンプOTSが計
算される。入力データブロック毎に1つの出力データブ
ロックがシステムにより計算される最も簡単な処理の場
合、各出力ブロックの意図された出力時間は、以下で与
えられる。 OTS(n)=ITS(n)+DELAY ここで、n=0,1,2...はデータブロック番号を
示す。
【0029】入力データブロック毎にいくつかの出力デ
ータブロック又は、非整数個の出力ブロックが生成され
る場合、各出力ブロックに対するOTSは、対応する時
間比に従って補間される。例は、MPEG符号化器の1
152サンプル入力、又は、1つ又はそれ以上のESP
(エレメンタリーストリームパケット)を有するMPE
G PESパケット、及び、188バイトのパケット長
を有するMPEG TSトランスポートストリームであ
る。即ち、各サンプルフレームに対し、3から7のTS
パケットが伝送に必要とされる。 d)各出力インターフェースは、現在のシステム時間に
関して関連したOTSに関して、処理段階により出力バ
ッファに供給された出力データブロックを試験する。O
TSが既に過ぎてしまった時間を示しているときには、
応用により、出力データブロックは捨てられるか又は、
すぐに出力されることができる。OTSが、これからの
時間を示している場合には、出力段階は、時間が来るま
で待ち、そして、待ち時間の間何も出力しないか、又
は、画定された充填パターンを出力できる。
【0030】利用されるI/O処理で必要とされるよう
な、異なる組み合わせで使用されることができる関連し
た機構の結合は有効である。最小ハードウェアモデルの
例では、システムは、ある種の正規の又は、制御された
出力駆動ソフトウェアの活性化と共に、既に典型的には
各DSPの一部である、単一のハードウェアタイマを利
用する。残りの遅延制御は、DSPにより実行される。
原理的には、2つのタイマ機能が必要である。−ソフト
ウェアは、‘getTime()’関数で、実際のシス
テム時間を要求できる。各入力データブロックの開始又
は、終了の(DMA又は、INTに基づいた)受信に際
し、getTime()関数は、そのブロックに関する
ITSを得るのに使用できる。−出力機能は、対応する
処理が終了した出力ブロックを送る前に、ある遅延を必
要とし得る。これは、ポーリング方法、即ち、ある種の
周期的活性化が可能なら実際のシステム時間対OTSの
周期的制御によるか、又は、画定去れたされた遅延‘i
nterruptAfter(DELAY)’又は、
‘threadActivityAfter(DELA
Y)’関数後に割り込みを発生する特定の時間ベース遅
延機能で行うことができる。
【0031】ゼロで割り込みの逆カウンタとして動作す
る単一のハードウェアタイマ又は、DSPの組み込み機
能である入力及び出力DMAブロック完了割り込みが使
用される。単一のハードウェアタイマは、関数‘int
erruptAfter(DELAY)’及び、‘ge
tTime()’を供給できる。ここで、後者の関数に
関して、連続システム時間を得るために、タイマにロー
ドされた続いて起こる遅延時間は合計される。ここで、
幾つかの‘interruptAfter(DELA
Y)’関数は並列して実行され得る。
【0032】各DSPが各々のタイマを利用している
が、しかし異なるDSPに亘って入力と出力の間で遅延
要求があり、入力と出力は分散している複数のDSPシ
ステムの場合には、タイマ同期の問題がある。この問題
は、システム上の全DSPに与えられ、システム時間に
再同期するのに使用される(例えば、10msの長さ
の)特別の周期的割り込み信号により解決できる。カウ
ンタの出力ワードは、iiii.ffffのフォーマッ
トを有し、ここで、iiiiは整数部として翻訳され、
またffffは、小数部として翻訳される。10ms毎
に、iiiiは1だけ増加される。このイベントは、D
SPに伝送され、そこでカウントされる。DELAYの
最大の取り扱いできる値は、iiiiのワード長に依存
する。それにより、割り込みは再同期の瞬間を示し、割
り込み期間中は、時間のマスタ値iiiiは、1つのマ
スタDSPから他の全てのDSPへ伝送される。この時
点で、ffffは、ゼロに設定される。
【0033】上述の例のモデルで説明した遅延制御は、
最小ハードウェアのみであり、大部分の動作は(安価
な、更に柔軟性のある)ソフトウェアで行うが、欠点
は、遅延時間の正確さは、例えば、割り込み待ち時間、
最大割り込み不能時間及び、複数のDSPシステムの場
合にはバスアービトレーション遅延により、制限される
ことである。達成された正確さが不充分な場合には、シ
ステム時間に対するITSを得る処理及び、システム時
間に対して更に正確にOTSで出力する、ハードウェア
による向上が使用できる。ソフトウェアが大まかな時点
を決め、特別のハードウェアが正確な時点を決める結合
した解決方法は、(ハードウェアと比較して低速な)要
求されるDSP応答時間と、(時間周期が長くなるほど
複雑になりがちな)ハードウェアの複雑さの間の妥協を
達成するであろう。
【0034】最後の処理段階に関連したバッファで始ま
り最初の処理段階に関連したバッファに進む理論的なオ
ーバーフローはDSPの間でハンドシェークすることに
より避けることができる。
【0035】図2は、フレーム又は、ブロックに関する
オーディオサンプル又は、オーディオ係数COEを有す
るデータフィールドを示す。これらのサンプル又は、係
数に対して、入力時間スタンプ情報ITSが、連結又
は、割り当てられる。アドレスポインタPOIは、入力
時間スタンプ情報ITSの先頭を示す。第2処理段階の
最初で、ITSは(ITS+DELAY)とPCR(P
MEGプログラムクロックリファレンス)に置き換える
ことができる。ここで、DELAYは、ユーザ定義の遅
延である。最後の処理段階で、ITS又は、(ITS+
DELAY)はOTSに置き換えられる。MPEGプロ
グラムクロックリファレンスPCRは、90kHzクロ
ック周波数を示す33ビットワードである。
【0036】更に、例えば、モード情報(モノ,ステレ
オ,デュアル、連結ステレオ)、サンプルレート及びデ
ータレート情報、データフィールドの長さ及び/又は、
MPEGレイヤの形式は、COEに連結可能である。
【0037】図3では、メモリと共に、マイクロプロセ
ッサ又は、DSPμPを示す。メモリには、あるデータ
フィールドAからFが示されている。これは図2に示す
データフィールドに対応する。例えば、データフィール
ドA,B及び、Cは、図1の1つのデータ経路の3つの
連続するオーディオフレームに対応する。データフィー
ルドAは、データフィールドB及び、Cよりも、他のI
TS、(ITS+DELAY)又は、OTS情報又は、
符号化パラメータを有する。データフィールドBの先頭
のアドレスは、POIにデータフィールドAの長さを加
算することで計算できる。
【0038】μPで動作するソフトウェアは、図2に従
ったデータフィールドを構成するために、以下の例のC
言語の命令を使用できる。 ”構造体”はタイムスタンプ情報を有しても良い。 本発明の遅延制御は、単一のDSPシステム及び、他の
種類の実時間処理にも適用可能である。
【0039】例えば、AC−3復号器のような単純な応
用では、フレーム周期よりも各ブロックの処理時間は短
くなければならないという実時間の制限で、受信後に単
一データフレームを計算することは、しばしば使用され
るアプローチである。このアプローチは、複数の連続す
る処理段階に分割され幾つかのDSPに亘って分散され
ることを含む、更に分散された処理の解決へ適用するこ
とができる。この場合、各処理段階は、良く画定された
‘時間スロット’に割り当てられ、ここで、各処理段階
では、処理時間は、時間スロット長よりも短くなければ
ならない。特に、最初に説明した解決方法では、単一の
時間の制約の代わりに、処理段階の時間スロット毎に1
つの時間制約があるであろう。
【0040】本発明は以下の優位点を有する。 −ユーザ選択可能な遅延を含み、遅延を自由に選択でき
る。遅延は2つのフレーム期間(48ms)から例え
ば、1.5秒の間で変わっても良く、 −ソフトウェアによる実行と、ハードウェアによる向上
が遅延時間精度の改善又は、ジッタの低減のために可能
であり、 −処理段階毎の1つの最大実行時間と反対に、実時間処
理を制約する単一(最小)遅延時間パラメータと、 −入力データフレーム処理時間が、一時的にデータフレ
ーム期間よりも大きい(が、しかし平均は小さい)シス
テムの簡単な実行。
【0041】本発明は、オーディオデータの符号化及
び、復号に関する、例えば、MPEG1、2及び、4オ
ーディオ符号化及び、MPEGレイヤ1,2又は、3の
復号、ディジタルビデオ放送DVB、AC−3、MD及
び、AAC処理、DVD処理及び、インターネット応用
で使用できる。
【0042】
【発明の効果】本発明により、特に、オーディオデータ
が関連するビデオデータと共に表示されるときに、全遅
延と同様に異なる処理段階の間の遅延が適応され得る、
オーディオ及び、ビデオフレームデータを処理する方法
を提供することができる。
【図面の簡単な説明】
【図1】4チャネルオーディオ符号化器の機能的なブロ
ック図である。
【図2】符号化されるオーディオデータと関連する入力
時間スタンプデータを有する連結したデータフィールド
を示す図である。
【図3】連結したデータフィールド有するメモリを伴う
マイクロプロセッサを示す図である。
【符号の説明】
PCMA,PCMB,PCMC,PCMD ステレオP
CM入力信号 CONA,CONB,CONC,COND 変換器 PENCA、PENCB、PENCC、PENCD パ
ラメータ符号化器 SUBA、SUBB、SUBC、SUBD サブバンド
フィルタ Psycho1A_L,Psycho1A_R 第1心
理聴覚計算器 Psycho1B_L,Psycho1B_R 第1心
理聴覚計算器 Psycho1C_L,Psycho1C_R 第1心
理聴覚計算器 Psycho1D_L,Psycho1D_R 第1心
理聴覚計算器 Psycho2A_L,Psycho2A_R 第2の
心理聴覚計算器 Psycho2B_L,Psycho2B_R 第2の
心理聴覚計算器 Psycho2C_L,Psycho2C_R 第2の
心理聴覚計算器 Psycho2D_L,Psycho2D_R 第2の
心理聴覚計算器 Bal/Q/E_A,Bal/Q/E_B,Bal/Q
/E_C及び、Bal/Q/E_D ビット割り当て器
及び量子化器 AES−EBU_A、AES−EBU_B、AES−E
BU_C及び、AES−EBU_D 出力インターフェ
ース PCM_Out_A、PCM_Out_B、PCM_O
ut_C、PCM_Out_D 符号化出力信号 COE オーディオ係数 ITS 入力時間スタンプ情報ITS POI アドレスポインタ

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 連続した異なる処理段階(CONA,S
    UBA,BAL/Q/E_A)で処理されるオーディオ
    又はビデオフレームデータ(PCMA,COE)を処理
    する方法であって、 少なくとも1つの入力処理段階(CONA)で符号化さ
    れるべきオーディオ又はビデオデータのフレームと連結
    される入力時間スタンプ(ITS)が生成され、 前記入力時間スタンプ又は、前記入力時間スタンプから
    得られた時間スタンプは、処理の前記異なる処理段階
    (SUBA,BAL/Q/E_A)で対応して処理され
    たフレームデータと連結されて維持されるが、しかし、
    少なくとも最後の処理段階(AES−EBU_A)で、
    表示時間を示す出力時間スタンプ(OTS)と置き換え
    られ、かつ、 これらの段階の各々で、処理される現在のフレームデー
    タと連結された対応する時間スタンプ情報(ITS、O
    TS)は、処理の全体の遅延を制御するために、注目さ
    れることを特徴とする方法。
  2. 【請求項2】 各段階に対して、入力でバッファが割り
    当てられ、 バッファは、オーディオフレームデータ(COE)及
    び、関連する時間スタンプ情報を含むデータフィールド
    を有する請求項1記載の方法。
  3. 【請求項3】 前記バッファはFIFOのように制御さ
    れ、かつ、全処理遅延はFIFOの連鎖に亘って分散さ
    れている請求項2記載の方法。
  4. 【請求項4】 複数のDSPを使用して処理が行われ、
    かつ、全てのDSPに亘って唯一のシステム時間を達成
    するために、内部DSPタイマは低周期割り込み信号を
    用いて同期される請求項1乃至3のうちいずれか一項記
    載の方法。
  5. 【請求項5】 連続した異なる処理段階(CONA,S
    UBA,BAL/Q/E_A)で処理されるオーディオ
    フレームデータ(PCMA,COE)を符号化する装置
    であって、 −入力時間スタンプ(ITS)と出力時間スタンプ(O
    TS)とを有する時間スタンプ情報を発生する手段と、 −時間スタンプ情報を前記オーディオデータ又は、処理
    されたオーディオデータのフレームと、それぞれ連結す
    る(CONA,CONB,CONC,COND)手段
    と、 −入力にバッファ手段が割り当てられ、時間領域サンプ
    ルを周波数領域係数へ変換する手段(SUBA,SUB
    B,SUBC,SUBD)と、 −入力にバッファ手段が割り当てられ、前記時間領域サ
    ンプルからマスキング特性を計算する手段(Psych
    o1A_L,Psycho1A_R,Psycho1B
    _L,Psycho1B_R,Psycho1C_L,
    Psycho1C_R,Psycho1D_L,Psy
    cho1D_R,Psycho2A_L,Psycho
    2A_R,Psycho2B_L,Psycho2B_
    R,Psycho2C_L,Psycho2C_R,P
    sycho2D_L,Psycho2D_R,)と、 −入力にバッファ手段が割り当てられ、前記マスキング
    計算手段の出力の制御の下に、係数のビット割り当てと
    量子化を行う手段(Bal/Q/E_A,Bal/Q/
    E_B,Bal/Q/E_C,Bal/Q/E_D)
    と、 −前記入力時間スタンプ(ITS)は、少なくとも1つ
    の入力処理段階(CONA)に関して、符号化される前
    記オーディオデータのフレームと連結され、且つ、前記
    入力時間スタンプ又は、前記入力時間スタンプより得ら
    れた時間スタンプは、前記マスキング計算手段と前記ビ
    ット割り当て及び量子化手段で、前記変換手段で対応し
    て処理されたフレームデータと連結して維持されるが、 しかし、符号化処理の少なくとも最後の処理段階(AE
    S−EBU_A)で、出力時間スタンプ情報(OTS)
    と置き換えられ、 これらの段階の各々で、処理されるべき現在のフレーム
    データと連結した対応する時間スタンプ情報(ITS,
    OTS)は、符号化処理の全体の遅延を制御するため
    に、注目される、前記出力時間スタンプに対応する時間
    で、又は、前記出力時間スタンプに対応する時間付近
    で、最終出力データの表示を制御する手段(AES−E
    BU_A)、とを有する装置。
  6. 【請求項6】 前記バッファ手段は、オーディオフレー
    ムデータ(COE)と、関連した時間スタンプ情報(I
    TS,OTS)を有するデータフィールドを有する請求
    項5記載の装置。
  7. 【請求項7】 前記バッファ手段は、FIFOのように
    制御され、且つ、全処理遅延は、FIFOの連鎖に亘っ
    て分散されている請求項6記載の装置。
JP2000003018A 1999-01-12 2000-01-11 オーディオ又は、ビデオフレームデータの処理方法及び、符号化装置 Pending JP2000236544A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP99250009A EP1021045A1 (en) 1999-01-12 1999-01-12 Method for processing and apparatus for encoding audio or video frame data
EP99250009:0 1999-01-12

Publications (1)

Publication Number Publication Date
JP2000236544A true JP2000236544A (ja) 2000-08-29

Family

ID=8241139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000003018A Pending JP2000236544A (ja) 1999-01-12 2000-01-11 オーディオ又は、ビデオフレームデータの処理方法及び、符号化装置

Country Status (3)

Country Link
US (1) US6542550B1 (ja)
EP (1) EP1021045A1 (ja)
JP (1) JP2000236544A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001313630A (ja) * 2000-03-29 2001-11-09 Deutsche Thomson Brandt Gmbh オーディオ又はビデオデータ符号化の出力遅延を変化させる方法及び装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3968317B2 (ja) * 2003-03-31 2007-08-29 松下電器産業株式会社 無線基地局装置
US7733919B2 (en) * 2004-07-12 2010-06-08 General Instrument Corporation Method and apparatus for processing transport stream packets to compensate for jitter
US7908147B2 (en) * 2006-04-24 2011-03-15 Seiko Epson Corporation Delay profiling in a communication system
US9679602B2 (en) 2006-06-14 2017-06-13 Seagate Technology Llc Disc drive circuitry swap
US9305590B2 (en) 2007-10-16 2016-04-05 Seagate Technology Llc Prevent data storage device circuitry swap
US9307267B2 (en) * 2008-12-11 2016-04-05 Nvidia Corporation Techniques for scalable dynamic data encoding and decoding
CN101640796B (zh) * 2009-09-11 2011-01-12 航天恒星科技有限公司 一种基于fpga的帧结构处理方法
KR101694295B1 (ko) * 2012-11-30 2017-01-09 한국전자통신연구원 소프트웨어 분할 실행을 위한 스레드 관리 장치 및 방법
CN105100813A (zh) * 2014-09-09 2015-11-25 航天恒星科技有限公司 一种视频图像预处理方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0224626B1 (en) * 1985-10-30 1990-01-31 International Business Machines Corporation Multi-signal processor synchronized system
US5568403A (en) * 1994-08-19 1996-10-22 Thomson Consumer Electronics, Inc. Audio/video/data component system bus
TW319942B (ja) * 1995-11-14 1997-11-11 Nippon Bickter Kk
US6330033B1 (en) * 1995-12-07 2001-12-11 James Carl Cooper Pulse detector for ascertaining the processing delay of a signal
JP3159041B2 (ja) * 1996-03-05 2001-04-23 株式会社日立製作所 ディジタル信号記録再生装置および再生装置
IL120612A (en) * 1997-04-06 1999-12-31 Optibase Ltd Method for compressing an audio-visual signal
KR100259295B1 (ko) * 1997-08-29 2000-06-15 구자홍 메모리 제어 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001313630A (ja) * 2000-03-29 2001-11-09 Deutsche Thomson Brandt Gmbh オーディオ又はビデオデータ符号化の出力遅延を変化させる方法及び装置

Also Published As

Publication number Publication date
EP1021045A1 (en) 2000-07-19
US6542550B1 (en) 2003-04-01

Similar Documents

Publication Publication Date Title
US6356871B1 (en) Methods and circuits for synchronizing streaming data and systems using the same
US6253293B1 (en) Methods for processing audio information in a multiple processor audio decoder
US6145007A (en) Interprocessor communication circuitry and methods
US6891573B2 (en) Method and apparatus for changing the output delay of audio or video data encoding
US6937988B1 (en) Methods and systems for prefilling a buffer in streaming data applications
US20020103635A1 (en) Efficient PCM buffer
US6665409B1 (en) Methods for surround sound simulation and circuits and systems using the same
US6009389A (en) Dual processor audio decoder and methods with sustained data pipelining during error conditions
US6782300B2 (en) Circuits and methods for extracting a clock from a biphase encoded bit stream and systems using the same
JP2000236544A (ja) オーディオ又は、ビデオフレームデータの処理方法及び、符号化装置
US6804655B2 (en) Systems and methods for transmitting bursty-asnychronous data over a synchronous link
JP4472084B2 (ja) オーディオ又は、ビデオフレームデータを符号化又は、復号する方法及び、装置
US5960401A (en) Method for exponent processing in an audio decoding system
JPH10209876A (ja) ビットストリーム再生装置
US6898470B1 (en) Digital tone controls and systems using the same
US7000138B1 (en) Circuits and methods for power management in a processor-based system and systems using the same
JP2006146247A (ja) オーディオ復号装置
EP1020998B1 (en) Method and apparatus for encoding audio frame data
EP1020997A2 (en) Method for processing and apparatus for encoding audio or video frame data
EP1139666B1 (en) Method and apparatus for changing the output delay of audio or video data encoding
CN100527849C (zh) 音频解码方法、音频解码器及其中的平滑滤波方法
JP2000059232A (ja) オーディオデコーダ
Oh et al. New implementation techniques of a real-time MPEG-2 audio encoding system
KR100294623B1 (ko) Hdtv오디오부호화기의실시간처리장치및그방법
US7395300B2 (en) System, and method for calculating product of constant and mixed number power of two

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090714

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100112