JP2007535258A - 受信端末において音声パケット・バッファーの連続的適応制御を提供する方法及び装置 - Google Patents
受信端末において音声パケット・バッファーの連続的適応制御を提供する方法及び装置 Download PDFInfo
- Publication number
- JP2007535258A JP2007535258A JP2007510146A JP2007510146A JP2007535258A JP 2007535258 A JP2007535258 A JP 2007535258A JP 2007510146 A JP2007510146 A JP 2007510146A JP 2007510146 A JP2007510146 A JP 2007510146A JP 2007535258 A JP2007535258 A JP 2007535258A
- Authority
- JP
- Japan
- Prior art keywords
- delay time
- packet
- interruption
- time
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000872 buffer Substances 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003044 adaptive effect Effects 0.000 title description 23
- 230000003139 buffering effect Effects 0.000 claims abstract description 69
- 238000004590 computer program Methods 0.000 claims abstract description 27
- 230000005236 sound signal Effects 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims description 33
- 230000004044 response Effects 0.000 claims description 12
- 230000001413 cellular effect Effects 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 2
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/253—Telephone sets using digital voice transmission
- H04M1/2535—Telephone sets using digital voice transmission adapted for voice communication over an Internet Protocol [IP] network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/062—Synchronisation of signals having the same nominal but fluctuating bit rates, e.g. using buffers
- H04J3/0632—Synchronisation of packets and cells, e.g. transmission of voice via a packet network, circuit emulation service [CES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/10—Flow control between communication endpoints
- H04W28/14—Flow control between communication endpoints using intermediate storage
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
【選択図】図1
Description
非同期部分12は、パケットが到着するときにだけ働くので、この名が付けられている。パケットが到着したとき、それはパケット・バッファー12Aに置かれ、12Bでそのパケットについて到着間隔が測定される。もし中断が発生すれば、中断遅延時間も測定される。これらの測定値に応じて12Cで推定値(中断遅延時間、到着間隔)が更新される。
(ブロック12Cからの)到着間隔及び中断遅延時間の推定値は、バッファリング遅延時間の制御に使用される。バッファリング遅延時間の成分は14Aで更新され、その後に時間カウンタが1だけ高められ(ブロック14B)、従ってそれは1音声フレームの持続時間に対応する。該時間カウンタは、到着間隔、中断遅延時間及びバッファリング遅延時間成分が測定されるときに使用される。ベース遅延時間は、たとえパケットが作成されるよりも遅く到着してもバッファーがアンダーフローしないように、到着間隔平均値に応じて制御される。一方、リザーブ遅延時間は、中断遅延時間をカバーするように充分に大きく保たれる。制御システムは、両方ともパケットの再生速度に影響を及ぼすベース・オフセット及びリザーブ・オフセットを決定することによって時間スケーリングに関わる。該オフセットから時間スケーリング比の数値が求められる:1.00+ベース・オフセット+リザーブ・オフセット。該時間スケーリング比は、スケーリングされた信号長と元の信号長との比である。時間スケーリング比が0.5と2.0との間に制限されたならば、1音声フレームの間隔の間の復号の数は0回、1回又は2回であり得る。ブロック14C,14D,14E,14F及び14Gのループをたどると、各復号後にサンプルは時間スケーリングされてスケーリング・バッファー14Gに格納される。復号及び時間スケーリングのループはスケーリング・バッファー14G内に少なくとも160個のサンプルが存在するようになるまで実行され、その後にスケーリング・バッファー14G内の最旧の160個のサンプルが更に処理されるべくオーディオ・バッファー14Hに転送される。音声信号が8,000Hzでサンプリングされるときには160個のサンプルは1つの20ms音声フレーム(例えば、AMR又はGSM音声フレーム)に対応する(8,000Hz*0.02s=160)ことに注意することができる。従って、適応プロセス全体が、その後に行われる任意のオーディオ処理のためにトランスペアレントである。好ましい実施態様では、スケーリング・バッファー14Gのために取っておかれる最大サイズは480サンプル(すなわち3音声フレーム)であるが、3より多いか又は少ない音声フレームに配慮することもできる。
(1)到着間隔=現在の時間−前の到着時間、
ここで前の到着時間は前のパケットの到着時間である。
(2)中断遅延時間=現在の時間−前の再生時間、
ここで前の再生時間は、リザーブ遅延時間が導入されなかったならば前のフレームが、従って中断前の最後のフレームが、再生されたはずの時間である。
(3)到着間隔平均値i+1=0.125*到着間隔+0.875*到着間隔平均値i。
方程式(4)及び(5)は、第1の中断及びその後の中断の両方を更新するために使用される(夫々、ブロック212H及び212G)。始めに、中断遅延時間推定値を初期化するべきか否かが判定される。該推定値は、もし中断遅延時間平均値がゼロであれば、初期化される。もし初期化されれば、中断遅延時間平均値は測定された中断遅延時間にセットされ、平均偏差はゼロにセットされる。初期化されなければ、該推定値は、次のように指数平均算出を用いることによって更新される:
(4)中断遅延時間平均値i+1=0.25*中断遅延時間+0.75*中断遅延時間平均値i
(5)中断遅延時間MDi+1=0.25*|中断遅延時間−中断遅延時間平均値|+0.75*中断遅延時間MDi。ここでMDは平均偏差(Mean Deviation)である。
(6)中断遅延時間MD=|中断遅延時間−中断遅延時間平均値|/2
(7)ベース遅延時間=ベース仮想再生時点+作成間隔*(最大到着シーケンス番号−ベースのための第1シーケンス番号)+作成間隔−1−現在の時間。
(8)必要とされるリザーブ遅延時間=第1中断遅延時間平均値+B*第1中断遅延時間MD
であり、さもなければ:
(9)必要とされるリザーブ遅延時間=中断遅延時間平均値+C*中断遅延時間MD
である。
(10)ベース・オフセット=(到着間隔平均値/作成間隔)−1。
(11)所要の再生時点変化=必要とされるリザーブ遅延時間−リザーブ遅延時間
により決定される。
[表1]必要とされる再生時点変化に応じたリザーブ・オフセット
所要の再生時点変化 >= 負 0 1 8 16
ベース・オフセット <= 任意 任意 0.875 0.75 0.5
リザーブ・オフセット −0.125 0 0.125 0.25 0.5
(12)(i+1番目の)必要とされるリザーブ遅延時間=(i番目の)必要とされるリザーブ遅延時間−(現在の時間−前の再生時間)。
(13)リザーブ・オフセット=(必要されるリザーブ遅延時間/リザーブ遅延時間)−1+D。
(14)次のためのリザーブ=リザーブ遅延時間−必要とされるリザーブ遅延時間。
その後、次の中断のために必要とされるリザーブ遅延時間の量の数値が求められる:
(15)次の必要とされるリザーブ遅延時間=中断平均値+C*中断MD。
さて、所要の再生時点変化(B)がブロック514Kで:
(16)所要の再生時点変化=次の必要とされるリザーブ遅延時間−次のためのリザーブ
として決定される。
"実時間音声圧縮及び雑音フィルタリングに用いられる時間スケール修正の同期−オーバーラップ−加算方法の多少の改良(Some Improvements on the Synchronized-overlap-add Method of Time Scale Modification for Use in Real-time Speech Compression and Nose Filtering"、音響学、音声及び信号処理に関するIEEE報告誌(IEEE Transactions on Acoustics, Speech and Signal Processing)、1月、第36巻,pp.139−140(1988);ブェルヘルスト・ダブリュー(Verhelst W.)著、"音声の高品質時間スケール修正のための波形類似性に基くオーバーラップ−加算手法(WSOLA)(An Overlap−add technique Based on Waveform Similarity (WSOLA) for High Quality Time−scale Modification of Speech)"音響学、音声、及び信号処理に関するIEEE国際会議(IEEE International Conference on Acoustics, Speech, and Signal Processing)、4月27−30日、ミネアポリス、第2巻、pp.554−557、米国(1993);又はステンガー・エイ(Stenger A.)著、"パケット損失のあるオーディオ伝送のための新しいエラーコンシールメント手法(A New Error Concealment Technique for Audio Transmission with Packet Loss)"、欧州信号処理会議(European Signal Processing Conference)、トリエステ、9月10−13日、pp.1965−1968、イタリア(1996)に見出される。
(17)時間スケーリング比=1.00+ベース・オフセット+リザーブ・オフセット。
(18)ベース・スケールド・サンプルi+1=ベース・スケールド・サンプルi+160*ベース・オフセット;及び
(19)リザーブ・スケールド・サンプルi+1=リザーブ・スケールド・サンプルi+160*リザーブ・オフセット。
(20)リザーブ遅延時間変化=int(リザーブ・スケールド・サンプル/160)、
ここでint=整数である。
(21)リザーブ遅延時間i+1=リザーブ遅延時間i+リザーブ遅延時間変化。
(22)リザーブ・スケールド・サンプルi+1=リザーブ・スケールド・サンプルi−リザーブ遅延時間変化*160
である。
(23)ベース遅延時間変化=int(ベース・スケールド・サンプル/160);及び
(24)ベース仮想再生時点変化i+1=ベース仮想再生時点変化i+ベース遅延時間変化。
(25)ベース・スケールド・サンプルi+1=ベース・スケールド・サンプルi−ベース遅延時間変化*160
である。
数個のパケットが時点ゼロに到着するが、それは、ベース遅延時間が始めに1420msに増大するという事実から分かる。この高い到着速度は平均到着間隔を160ms未満にする。この高速開始後、パケットは、パケットが作成される速度より一貫して低い速度で到着し(間隔は平均で240である)、従って、到着間隔平均値は増大し始め(高速リンク状態後に正しい値に収束するには或る程度の時間がかかる)、ベース遅延時間は減少する。到着間隔平均値が作成間隔(すなわち、160ms)を超えると、ベース・オフセットはゼロより大きくなり、1.00より大きな時間スケーリング比をもたらす。従って、パケットは初めに作成されたよりも低い速度で再生されるので、ベース遅延時間は同様に迅速には低減されない。時点5000msにおいて到着間隔平均値は収束して正しい値に近くなっている。固定小数点演算が用いられているので、ベース・オフセット値は到着間隔平均値と正確には一致せず、従ってベース遅延時間はゆっくり減少し続ける。しかし、ベース遅延時間とリザーブ遅延時間との和(リザーブ遅延時間はここではゼロである)は負にならず、従って、中断は聞かれない。この場合、前のセッションからの中断推定値は無く、従ってリザーブ遅延時間は使用されなかった。次の例は、リザーブ遅延時間の使用を記述する。
数個のパケットが時点ゼロに到着し、ベース遅延時間は初めに940msに増大する。これに700msのポーズが続き、その間にベース遅延時間は減少する。始めに到着したパケットに含まれる音声サンプルの量は該ポーズ中にベース遅延時間が負になるのを防止するのに充分だったのであり、従って、中断は検出されなかったということが分かる。これは、リザーブ遅延時間が無くても、ベース遅延時間がパケット到着におけるこの第1ポーズをカバーするのに充分な値を有することを意味する。該ポーズ後に、パケットの他のバーストが到着する。到着間隔平均値はポーズ間にだけ更新され(該ポーズはパケット作成間隔の3倍より大きい)、従って160msより低い値を得る。それ故に、ベース・オフセットはゼロである。前のセッションでは中断が検出され、従ってメモリーには中断推定値があり、これから、必要とされるリザーブ遅延時間が決定される。リザーブ・オフセットは必要とされるリザーブ遅延時間に応じてセットされ、従って、時間スケーリング比は1より大きい。見て分かるように、リザーブ遅延時間は、必要とされるリザーブ遅延時間の方へ収束し始める。時点4600msで中断が検出され、ここでベース遅延時間は負になる。その時点から、リザーブ遅延時間は減少し始める。なぜならば、それは今、中断をカバーするために使用されるからである。しかし、同時に次の中断のための準備が始まり、それは現在の中断に対する付加的なガードも提供する。第1中断が終わった後(時点5600で。ここで新しいパケットが到着する)、その後に生じる可能性のある中断をカバーするためになお必要とされるリザーブ遅延時間が決定される。この方法でバッファーのアンダーフローが防止されたが、それは、ベース遅延時間とリザーブ遅延時間との和がセッション全体の間正に保たれているという事実から分かる。もしこの場合に在来の固定遅延時間バッファリングが代わりに使用されていたならば、ベース遅延時間が負になる時点(この例では4600ms)から始まる1秒の中断が聴取者に聞かれたであろう。
Claims (51)
- パケット・ネットワークに接続された装置を作動させる方法であって、この方法は:
音声情報を含むデータパケットを受信してバッファリングすることと;
音声サンプルを得るべく該音声情報を復号することと;
音声再生信号を生成する前に、該復号された音声サンプルをバッファリングすることと;
を含み、
該データパケットが作成される速度とは異なる速度で該データパケットが受信されるときに実質的に連続的な出力音声信号を提供するように該音声再生速度を変更し得るようにバッファリング遅延時間を調整するべく、各フレーム内の該復号された音声サンプルはパケット・ネットワークの状態の関数として時間スケーリングされ、該バッファリング遅延時間は、該データパケットが作成される速度より遅い速度で該データパケットが受信されるときに正の方向に制御されるベース遅延時間と、該ベース遅延時間が負になったならば中断に対する保証を提供するように管理されるリザーブ遅延時間とを含む、方法。 - データパケット到着遅延時間を決定する実質的に非同期のコンポーネントと、該非同期コンポーネントの動作に応じて、各フレーム中の前記復号された音声サンプルの時間スケーリングに基き前記バッファリング遅延時間を制御する、実質的に同期するコンポーネントとを含む、請求項1に記載の方法。
- パケット・バッファーの前記遅延時間は、前記パケットの第1フレームの再生の前に前記パケットが該パケット・バッファー内に存在する時間である、請求項1に記載の方法。
- 平均到着間隔、中断及び前記ベース遅延時間のうちの少なくとも1つの推定値を、中断が生じたか否か、また、もし中断が生じていたならば、それが初めての中断であったのかそれともその後の中断であったのかということの関数として、変更することを更に含む、請求項3に記載の方法。
- 音声フレームの再生は第2音声パケットの到着の後に開始される、請求項1に記載の方法。
- 音声セッション中、前記リザーブ遅延時間は中断の平均持続時間をカバーするように変更される、請求項1に記載の方法。
- 前記リザーブ遅延時間を変更することは、時間スケーリングによって音声パケットの再生間隔を変更することを含む、請求項6に記載の方法。
- 受信された音声フレームのタイプが不良フレーム、待ちフレーム及び良フレームのうちの1つであることを見出すことを更に含み、ベース・オフセット値及びリザーブ・オフセット値のリセットの発生のタイミングは少なくとも或る程度は該見出されたフレーム・タイプの関数である、請求項1に記載の方法。
- パケット・ネットワークに接続される装置であって、この装置は:
音声情報を含むデータパケットを受信してバッファリングするための受信器受信器と;
音声サンプルを得るべく該音声情報を復号するための復号器と;
音声再生信号を生成する前に該復号された音声サンプルをバッファリングするためのバッファーと、を含んでおり、該装置は更に
該データパケットが作成される速度とは異なる速度で該データパケットが受信されるときに実質的に連続的な出力音声信号を提供するように音声再生速度を変更し得るようにバッファリング遅延時間を調整するべく、各フレーム内の復号された音声サンプルを時間スケーリングするために該復号器と該バッファーとの間に挿入された時間スケーリング機能を含んでおり、該バッファリング遅延時間は、該データパケットが作成される速度より遅い速度で該データパケットが受信されるときに正の方向に制御されるベース遅延時間と、該ベース遅延時間が負になったならば中断に対する保証を提供するように管理されるリザーブ遅延時間とを含む、装置。 - データパケット到着遅延時間を決定する実質的に非同期のコンポーネントと、該非同期コンポーネントの動作に応じて、各フレーム中の前記復号された音声サンプルの時間スケーリングに基き前記バッファリング遅延時間を制御する、実質的に同期するコンポーネントとを含む、請求項9に記載の装置。
- 被受信パケット・バッファーのバッファリング遅延時間は、前記パケットの第1フレームの再生の前に前記パケットが該パケット・バッファー内に存在する時間である、請求項9に記載の装置。
- 平均到着間隔、中断及び前記ベース遅延時間のうちの少なくとも1つの推定値を、中断が生じたか否か、また、もし中断が生じていたならば、それが第1の中断であるのかそれともその後の中断であるのかということの関数として、変更するユニットを更に含む、請求項11に記載の装置。
- 音声フレームの再生は第2音声パケットの到着の後に開始される、請求項9に記載の装置。
- 音声セッション中、前記リザーブ遅延時間は中断の平均持続時間をカバーするように変更される、請求項9に記載の装置。
- 前記リザーブ遅延時間を変更することは、時間スケーリングによって音声パケットの再生間隔を変更することを含む、請求項14に記載の装置。
- 受信された音声フレームのタイプが不良フレーム、待ちフレーム及び良フレームのうちの1つであることを見出すための検出器を更に含み、ベース・オフセット値及びリザーブ・オフセット値のリセットの発生のタイミングは少なくとも或る程度は該見出されたフレーム・タイプの関数である、請求項9に記載の装置。
- パケット交換ネットワークに接続された装置を動作せしめるようにデータ・プロセッサに命令するためのコンピュータ可読媒体で具体化されるコンピュータ・プログラムであって、該装置は:
音声情報を含むデータパケットを受信してバッファリングすることと;
音声サンプルを得るべく該音声情報を復号することと;
音声再生信号を生成する前に、該復号された音声サンプルをバッファリングすることと;を含む動作によって動作せしめられ、
該データパケットが作成される速度とは異なる速度で該データパケットが受信されるときに実質的に連続的な出力音声信号を提供するように該音声再生速度を変更し得るようにバッファリング遅延時間を調整するべく、各フレーム内の該復号された音声サンプルはパケット・ネットワークの状態の関数として時間スケーリングされ、該バッファリング遅延時間は、該データパケットが作成される速度より遅い速度で該データパケットが受信されるときに正の方向に制御されるベース遅延時間と、該ベース遅延時間が負になったならば中断に対する保証を提供するように管理されるリザーブ遅延時間とを含む、コンピュータ・プログラム。 - データパケット到着遅延時間を決定する実質的に非同期のコンポーネントと、該非同期コンポーネントの動作に応じて、各フレーム中の前記復号された音声サンプルの時間スケーリングに基き前記バッファリング遅延時間を制御する、実質的に同期するコンポーネントとを含む、請求項17に記載のコンピュータ・プログラム。
- パケット・バッファーの前記遅延時間は、前記パケットの第1フレームの再生の前に前記パケットが前記パケット・バッファー内に存在する期間である、請求項17に記載のコンピュータ・プログラム。
- 平均到着間隔、中断及び前記ベース遅延時間のうちの少なくとも1つの推定値を、中断が生じたか否か、また、もし中断が生じていたならば、それが第1の中断であるのかそれともその後の中断であるのかということの関数として、変更することを更に含む、請求項19に記載のコンピュータ・プログラム。
- 音声フレームの再生は第2音声パケットの到着の後に開始される、請求項17に記載のコンピュータ・プログラム。
- 音声セッション中、前記リザーブ遅延時間は中断の平均持続時間をカバーするように変更される、請求項17に記載のコンピュータ・プログラム。
- 前記リザーブ遅延時間を変更することは、時間スケーリングによって音声パケットの再生間隔を変更することを含む、請求項22に記載のコンピュータ・プログラム。
- 受信された音声フレームのタイプが不良フレーム、待ちフレーム及び良フレームのうちの1つであることを見出すことを更に含み、ベース・オフセット値及びリザーブ・オフセット値のリセットの発生のタイミングは少なくとも或る程度は該見出されたフレーム・タイプの関数である、請求項17に記載のコンピュータ・プログラム。
- 前記装置は、無線リンクを通して前記パケット交換ネットワークに接続する受信器を含む、請求項17に記載のコンピュータ・プログラム。
- 前記装置は、有線リンクを通して前記パケット交換ネットワークに接続する受信器を含む、請求項17に記載のコンピュータ・プログラム。
- 前記装置は、前記パケット交換ネットワークに無線で接続するRF受信器を有するセルラー電話機を含む、請求項17に記載のコンピュータ・プログラム。
- パケット交換ネットワークに接続された装置を動作せしめるようにデータ・プロセッサに命令するためのコンピュータ可読媒体で具体化されるコンピュータ・プログラムであって、該装置は:
実質的に連続的で且つ実質的に均一な時系列で人に呈示されるべく意図されている時間順序付けられたコンテンツを表す情報を含むデータパケットを受信してバッファリングすることと;
音声サンプルを得るべく該情報を復号することと;
再生信号を生成する前に、該サンプルをバッファリングすることと;を含む動作によって動作せしめられ、
該データパケットが作成される速度とは異なる速度で該データパケットが受信されるときに実質的に連続的な出力信号を提供するように再生速度を変更し得るように、各フレーム内の該サンプルはパケット・ネットワークの状態の関数として時間スケーリングされ、該サンプルは、該データパケットが作成される速度より遅い速度で該データパケットが受信されるときに正の方向に制御されるベース遅延時間と、該ベース遅延時間が負になったならば、該時間順序付けられたコンテンツを呈示するときに中断に対する保証を提供するように管理されるリザーブ遅延時間とを調整するように時間スケーリングされる、コンピュータ・プログラム。 - データパケット到着遅延時間を決定する実質的に非同期のコンポーネントと、該非同期コンポーネントの動作に応じて、前記ベース遅延時間及び前記リザーブ遅延時間の値を制御する実質的に同期するコンポーネントとを含む、請求項28に記載のコンピュータ・プログラム。
- 平均到着間隔、中断及び前記ベース遅延時間のうちの少なくとも1つの推定値を、中断が生じたか否か、また、もし中断が生じていたならば、それが第1の中断であるのかそれともその後の中断であるのかということの関数として、変更することを更に含む、請求項28に記載のコンピュータ・プログラム。
- 受信されたフレームのタイプが不良フレーム、待ちフレーム及び良フレームのうちの1つであることを見出すことを更に含み、ベース・オフセット値及びリザーブ・オフセット値のリセットの発生のタイミングは少なくとも或る程度は該見出されたフレーム・タイプの関数である、請求項28に記載のコンピュータ・プログラム。
- パケット・ネットワークに接続するためのインターフェースを含む装置であって、該装置は:
実質的に連続的で且つ実質的に均一な時系列で人に呈示されるべく意図されている時間順序付けられたコンテンツを表す情報を含むデータパケットのための受信器と;
サンプルを得るべく該情報を復号する復号器と;
再生信号を生成する前に該サンプルを格納するためのバッファーと;
該データパケットが作成される速度とは異なる速度で該データパケットが受信されるときに実質的に連続的な出力信号を提供するように再生速度を変更し得るようにパケット・ネットワークの状態の関数として各フレーム内のサンプルを時間スケーリングするためのスケーラーとを含んでおり、該スケーラーは、該データパケットが作成される速度より遅い速度で該データパケットが受信されるときに正の方向に制御されるベース遅延時間と、もし該ベース遅延時間が負になったならば中断に対する保証を提供するように管理されるリザーブ遅延時間とで動作する、装置。 - 前記装置は、データパケット到着遅延時間を決定する実質的に非同期のコンポーネントと、該非同期コンポーネントの動作に応じて、前記スケーラーの動作を制御する実質的に同期するコンポーネントとを含む、請求項32に記載の装置。
- 平均到着間隔、中断及び前記ベース遅延時間のうちの少なくとも1つの推定値を、中断が生じたか否か、また、もし中断が生じていたならば、それが第1の中断であったのかそれともその後の中断であったのかということの関数として、変更する推定器を更に含む、請求項32に記載の装置。
- 受信されたフレームのタイプが不良フレーム、待ちフレーム及び良フレームのうちの1つであることを見出す検出器を更に含み、ベース・オフセット値及びリザーブ・オフセット値のリセットの発生のタイミングは少なくとも或る程度は該見出されたフレーム・タイプの関数である、請求項32に記載の装置。
- 前記データパケットはボイス・オーバーIPパケットを含む、請求項32に記載の装置。
- 前記装置はボイス・オーバーIP能力を有するセルラー電話機を含む、請求項32に記載の装置。
- ネットワークに接続されてそれから信号サンプルを受信し、再生の前に該信号サンプルを適応的にバッファリングする装置を動作せしめるようにデータ・プロセッサに命令するためのコンピュータ可読媒体で具体化されるコンピュータ・プログラムであって、該装置が実行する動作は:
パケットを含む信号サンプルを該ネットワークから受信することと;
パケットの到着間隔に応じて、且つ再生中断に応じてバッファリング遅延時間パラメータを調整することとを含み、ここで該バッファリング遅延時間パラメータの値はパケットの再生時点と該パケットの到着時間との差異の関数であって且つベース遅延時間及びリザーブ遅延時間の組み合わせであり;
該ベース遅延時間は、もしパケットが作成されるよりも速く該パケットが到着し、該パケットが作成される速度と同じ速度で該パケットが再生されるならば該ベース遅延時間が大きくされるようにパケットの該到着速度に起因して導入されるバッファリング遅延時間の量を表し、該パケットが作成されるより速く該パケットが到着する時間の間に導入される該ベース遅延時間は再生中断を避けるようにパケット到着のポーズの間に消費され;
該リザーブ遅延時間は、該ベース遅延時間が負になるときに発生する再生中断を見越して、且つ該再生中断に対する保証として、用いられる付加的な遅延時間を表す、コンピュータ・プログラム。 - 前記ネットワークから受信される前記パケットはボイス・オーバーIPパケットを含む、請求項38に記載のコンピュータ・プログラム。
- 前記装置はセルラー電話機を含む、請求項38に記載のコンピュータ・プログラム。
- それまでに受信された最大のパケット・シーケンス番号を有するパケットの最後のフレームについて前記ベース遅延時間の数値が求められる、請求項38に記載のコンピュータ・プログラム。
- ベース遅延時間変更は、パケット到着間隔平均値に関連付けられ、且つ、該ベース遅延時間変更は、もし残りのパケットが規則的間隔で再生されたならば前記ベース遅延時間の現在の数値を求める期間において最初に到着したパケットのために使用され、なおパケットの実際の不規則的再生と同じ前記ベース遅延時間の値をもたらすものに対応する再生時点を表すベース仮想再生時点変数の中に埋め込まれる、請求項38に記載のコンピュータ・プログラム。
- 前記ベース遅延時間の値はベース仮想再生時点+作成間隔*(最大の到着シーケンス番号−前記ベースについての第1シーケンス番号)+作成間隔−1−現在の時間)に等しいと評価される、請求項42に記載のコンピュータ・プログラム。
- 前記ベース遅延時間の数値を求める期間は、前記ベース遅延時間が負になった後に第1パケットが到着した時点から始まる、請求項43に記載のコンピュータ・プログラム。
- 前記ベース仮想再生時点は、仮想再生時点変化を現在のベース仮想再生時点値に加え、且つ該仮想再生時点変化をゼロにセットすることによって始めに更新される、請求項42に記載のコンピュータ・プログラム。
- パケット・ネットワークに接続するための装置であって、該装置は:
実質的に連続的で且つ実質的に均一な時系列で人に呈示されるべく意図されている時間順序付けられたコンテンツを表す情報を含むデータパケットを受信するための手段と;
サンプルを得るべく該情報を復号するための手段と;
再生信号を生成する前に、該サンプルを記憶するための手段と;
該データパケットが作成される速度とは異なる速度で該データパケットが受信されるときに実質的に連続的な出力信号を提供するように該再生速度を変更し得るように、各フレーム内の該サンプルを該パケット・ネットワークの状態の関数として時間スケーリングするための手段とを含んでおり、該時間スケーリング手段は、該データパケットが作成される速度より遅い速度で該データパケットが受信されるときに正の方向に制御されるベース遅延時間と、該ベース遅延時間が負になったならば中断に対する保証を提供するように管理されるリザーブ遅延時間とで動作する、装置。 - 前記装置は、データパケット到着遅延時間を得るための実質的に非同期の手段と、該非同期手段の動作に応じて前記時間スケーリング手段の動作を制御するための実質的に同期する手段とを含む、請求項46に記載の装置。
- 平均到着間隔、中断及び前記ベース遅延時間のうちの少なくとも1つの推定値を、中断が生じたか否か、また、もし中断が生じていたならば、該中断が第1の中断であったのかそれともその後の中断であったのかということの関数として変更するための手段を更に含む、請求項46に記載の装置。
- 受信された音声フレームのタイプが不良フレーム、待ちフレーム及び良フレームのうちの1つであることを見出すための手段を更に含み、ベース・オフセット値及びリザーブ・オフセット値のリセットの発生のタイミングは少なくとも或る程度は該見出されたフレーム・タイプの関数である、請求項46に記載の装置。
- 前記データパケットはボイス・オーバーIPパケットを含む、請求項46に記載の装置。
- 前記装置はボイス・オーバーIP能力を有するセルラー電話手段を含む、請求項46に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/834,328 US7424026B2 (en) | 2004-04-28 | 2004-04-28 | Method and apparatus providing continuous adaptive control of voice packet buffer at receiver terminal |
PCT/IB2005/001090 WO2005106854A1 (en) | 2004-04-28 | 2005-04-22 | Method and apparatus providing continuous adaptive control of voice packet buffer at receiver terminal |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007535258A true JP2007535258A (ja) | 2007-11-29 |
JP4456633B2 JP4456633B2 (ja) | 2010-04-28 |
Family
ID=35187037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007510146A Active JP4456633B2 (ja) | 2004-04-28 | 2005-04-22 | 受信端末において音声パケット・バッファーの連続的適応制御を提供する方法及び装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US7424026B2 (ja) |
EP (1) | EP1751744B1 (ja) |
JP (1) | JP4456633B2 (ja) |
CN (1) | CN1969321B (ja) |
AT (1) | ATE483229T1 (ja) |
DE (1) | DE602005023857D1 (ja) |
WO (1) | WO2005106854A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016527540A (ja) * | 2013-06-21 | 2016-09-08 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. | ジッターバッファ制御、オーディオデコーダ、方法およびコンピュータプログラム |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7650285B2 (en) * | 2004-06-25 | 2010-01-19 | Numerex Corporation | Method and system for adjusting digital audio playback sampling rate |
CA2691762C (en) * | 2004-08-30 | 2012-04-03 | Qualcomm Incorporated | Method and apparatus for an adaptive de-jitter buffer |
US7783482B2 (en) * | 2004-09-24 | 2010-08-24 | Alcatel-Lucent Usa Inc. | Method and apparatus for enhancing voice intelligibility in voice-over-IP network applications with late arriving packets |
US8085678B2 (en) * | 2004-10-13 | 2011-12-27 | Qualcomm Incorporated | Media (voice) playback (de-jitter) buffer adjustments based on air interface |
WO2006057525A1 (en) * | 2004-11-25 | 2006-06-01 | Electronics And Telecommunications Research Institute | Method and apparatus for constituting transport network based on integrated synch and asynch frame |
SE528248C2 (sv) * | 2004-12-08 | 2006-10-03 | Ericsson Telefon Ab L M | Metod för kompensering av fördröjningar |
US8355907B2 (en) * | 2005-03-11 | 2013-01-15 | Qualcomm Incorporated | Method and apparatus for phase matching frames in vocoders |
US8155965B2 (en) * | 2005-03-11 | 2012-04-10 | Qualcomm Incorporated | Time warping frames inside the vocoder by modifying the residual |
US8102878B2 (en) | 2005-09-29 | 2012-01-24 | Qualcomm Incorporated | Video packet shaping for video telephony |
US8406309B2 (en) * | 2005-10-21 | 2013-03-26 | Qualcomm Incorporated | Video rate adaptation to reverse link conditions |
US8514711B2 (en) * | 2005-10-21 | 2013-08-20 | Qualcomm Incorporated | Reverse link lower layer assisted video error control |
US8548048B2 (en) * | 2005-10-27 | 2013-10-01 | Qualcomm Incorporated | Video source rate control for video telephony |
US8842555B2 (en) * | 2005-10-21 | 2014-09-23 | Qualcomm Incorporated | Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems |
US7796999B1 (en) | 2006-04-03 | 2010-09-14 | Sprint Spectrum L.P. | Method and system for network-directed media buffer-size setting based on device features |
US8665892B2 (en) * | 2006-05-30 | 2014-03-04 | Broadcom Corporation | Method and system for adaptive queue and buffer control based on monitoring in a packet network switch |
US8483243B2 (en) * | 2006-09-15 | 2013-07-09 | Microsoft Corporation | Network jitter smoothing with reduced delay |
KR20120034084A (ko) | 2007-01-10 | 2012-04-09 | 콸콤 인코포레이티드 | 멀티미디어 전화 통신을 위한 컨텐트- 및 링크-의존 코딩 적응 구조 |
KR100787314B1 (ko) * | 2007-02-22 | 2007-12-21 | 광주과학기술원 | 미디어내 동기화를 위한 적응형 미디어 재생 방법 및 장치 |
US8165224B2 (en) | 2007-03-22 | 2012-04-24 | Research In Motion Limited | Device and method for improved lost frame concealment |
KR101418354B1 (ko) | 2007-10-23 | 2014-07-10 | 삼성전자주식회사 | 음성 통신 시스템에서 플레이아웃 스케줄링 방법 및 장치 |
US8797850B2 (en) * | 2008-01-10 | 2014-08-05 | Qualcomm Incorporated | System and method to adapt to network congestion |
US20100006527A1 (en) * | 2008-07-10 | 2010-01-14 | Interstate Container Reading Llc | Collapsible merchandising display |
US8526306B2 (en) * | 2008-12-05 | 2013-09-03 | Cloudshield Technologies, Inc. | Identification of patterns in stateful transactions |
US8611337B2 (en) * | 2009-03-31 | 2013-12-17 | Adobe Systems Incorporated | Adaptive subscriber buffering policy with persistent delay detection for live audio streams |
US8355338B2 (en) * | 2009-07-14 | 2013-01-15 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Method of processing sequential information in packets streamed over a network |
KR101268621B1 (ko) * | 2009-12-21 | 2013-05-29 | 한국전자통신연구원 | 동적 플로우 샘플링 장치 및 방법 |
CN102214464B (zh) | 2010-04-02 | 2015-02-18 | 飞思卡尔半导体公司 | 音频信号的瞬态检测方法以及基于该方法的时长调整方法 |
CN101840703B (zh) * | 2010-05-07 | 2012-07-25 | 无锡中星微电子有限公司 | 一种语音变调方法及装置 |
AU2014283256B2 (en) | 2013-06-21 | 2017-09-21 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Time scaler, audio decoder, method and a computer program using a quality control |
US9806967B2 (en) * | 2014-05-30 | 2017-10-31 | Sony Corporation | Communication device and data processing method |
US9948578B2 (en) | 2015-04-14 | 2018-04-17 | Qualcomm Incorporated | De-jitter buffer update |
JP6695069B2 (ja) * | 2016-05-31 | 2020-05-20 | パナソニックIpマネジメント株式会社 | 電話装置 |
TWI690440B (zh) * | 2018-10-17 | 2020-04-11 | 財團法人車輛研究測試中心 | 基於支持向量機之路口智慧駕駛方法及其系統 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6452950B1 (en) | 1999-01-14 | 2002-09-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Adaptive jitter buffering |
US6377931B1 (en) * | 1999-09-28 | 2002-04-23 | Mindspeed Technologies | Speech manipulation for continuous speech playback over a packet network |
SE517156C2 (sv) * | 1999-12-28 | 2002-04-23 | Global Ip Sound Ab | System för överföring av ljud över paketförmedlade nät |
ATE422744T1 (de) | 2001-04-24 | 2009-02-15 | Nokia Corp | Verfahren zum ändern der grösse eines zitterpuffers und zur zeitausrichtung, kommunikationssystem, empfängerseite und transcoder |
JP2002322182A (ja) * | 2001-04-25 | 2002-11-08 | Inst Of Physical & Chemical Res | 血管新生阻害作用を有するrkb−3564物質 |
US7496086B2 (en) * | 2002-04-30 | 2009-02-24 | Alcatel-Lucent Usa Inc. | Techniques for jitter buffer delay management |
-
2004
- 2004-04-28 US US10/834,328 patent/US7424026B2/en active Active
-
2005
- 2005-04-22 DE DE602005023857T patent/DE602005023857D1/de active Active
- 2005-04-22 WO PCT/IB2005/001090 patent/WO2005106854A1/en active Application Filing
- 2005-04-22 EP EP05732306A patent/EP1751744B1/en active Active
- 2005-04-22 JP JP2007510146A patent/JP4456633B2/ja active Active
- 2005-04-22 AT AT05732306T patent/ATE483229T1/de not_active IP Right Cessation
- 2005-04-22 CN CN200580019322.XA patent/CN1969321B/zh active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016527540A (ja) * | 2013-06-21 | 2016-09-08 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. | ジッターバッファ制御、オーディオデコーダ、方法およびコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP1751744B1 (en) | 2010-09-29 |
CN1969321B (zh) | 2010-12-22 |
DE602005023857D1 (de) | 2010-11-11 |
WO2005106854A1 (en) | 2005-11-10 |
US20050243846A1 (en) | 2005-11-03 |
JP4456633B2 (ja) | 2010-04-28 |
CN1969321A (zh) | 2007-05-23 |
ATE483229T1 (de) | 2010-10-15 |
EP1751744A1 (en) | 2007-02-14 |
US7424026B2 (en) | 2008-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4456633B2 (ja) | 受信端末において音声パケット・バッファーの連続的適応制御を提供する方法及び装置 | |
US7457282B2 (en) | Method and apparatus providing smooth adaptive management of packets containing time-ordered content at a receiving terminal | |
JP2007511939A5 (ja) | ||
CA2691762C (en) | Method and apparatus for an adaptive de-jitter buffer | |
US7266127B2 (en) | Method and system to compensate for the effects of packet delays on speech quality in a Voice-over IP system | |
US7319703B2 (en) | Method and apparatus for reducing synchronization delay in packet-based voice terminals by resynchronizing during talk spurts | |
US8279884B1 (en) | Integrated adaptive jitter buffer | |
TWI305101B (en) | Method and apparatus for dynamically adjusting playout delay | |
JP2001160826A (ja) | 遅延ゆらぎ吸収装置、遅延ゆらぎ吸収方法 | |
EP3742438A1 (en) | Signal processing apparatus, signal processing method, and program | |
WO2016151852A1 (ja) | 音声再生装置、画像表示装置及びその音声再生方法 | |
Lee et al. | Enabling Wireless VoIP | |
EP2487920A2 (en) | Apparatus, and associated method, by which to play out media data pursuant to a media data service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100129 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100205 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4456633 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140212 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |