JP2010226744A - 適応デジッタバッファの方法及び装置 - Google Patents

適応デジッタバッファの方法及び装置 Download PDF

Info

Publication number
JP2010226744A
JP2010226744A JP2010110176A JP2010110176A JP2010226744A JP 2010226744 A JP2010226744 A JP 2010226744A JP 2010110176 A JP2010110176 A JP 2010110176A JP 2010110176 A JP2010110176 A JP 2010110176A JP 2010226744 A JP2010226744 A JP 2010226744A
Authority
JP
Japan
Prior art keywords
time
packet
delay
packets
jitter buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010110176A
Other languages
English (en)
Other versions
JP5389729B2 (ja
Inventor
Peter John Black
ピーター・ジョン・ブラック
Rohit Kapoor
ロヒト・カプアー
Serafin Diaz Spindola
セラフィン・ディアズ・スピンドラ
Mehmet Yavuz
メーメット・ヤブズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2010226744A publication Critical patent/JP2010226744A/ja
Application granted granted Critical
Publication of JP5389729B2 publication Critical patent/JP5389729B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/66Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416Real-time traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/29Flow control; Congestion control using a combination of thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/90Buffering arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/90Buffering arrangements
    • H04L49/9084Reactions to storage capacity overflow
    • H04L49/9089Reactions to storage capacity overflow replacing packets in a storage arrangement, e.g. pushout
    • H04L49/9094Arrangements for simultaneous transmit and receive, e.g. simultaneous reading/writing from/to the storage element
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/752Media network packet handling adapting media to network capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/062Synchronisation of signals having the same nominal but fluctuating bit rates, e.g. using buffers
    • H04J3/0632Synchronisation of packets and cells, e.g. transmission of voice via a packet network, circuit emulation service [CES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/28Flow control; Congestion control in relation to timing considerations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/30Flow control; Congestion control in combination with information about buffer occupancy at either end or at transit nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)
  • Dc Digital Transmission (AREA)
  • Telephone Function (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Use Of Switch Circuits For Exchanges And Methods Of Control Of Multiplex Exchanges (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】適応デジッタバッファの方法及び装置
【解決手段】パケット交換通信用のIP上の音声(VoIP)のための適応デジッタバッファ。提示するデジッタバッファの方法及び装置は、エンドツーエンド遅延のバランスを保ちながらアンダーフローの再生を回避する。一例において、デジッタバッファは、各有音部の開始時に再計算される。別の例では、有音部パケットが、すべての残りのパケットを受け取り次第圧縮される。
【選択図】 図28

Description

本発明は、無線通信システムに関し、詳細には、パケット交換通信用のインターネットプロトコル上の音声(VoIP)のための適応デジッタバッファに関する。本発明は、パケットが失われ得る任意のシステムに適用される。
通信システムにおいて、パケットのエンドツーエンド遅延は、発信元におけるパケットの生成からパケットがこれの宛先に到達するまでの時間であると定義され得る。パケット交換通信システムにおいて、パケットが発信元から宛先まで移動する際の遅延は、これだけに限らないが、チャネル条件やネットワーク負荷を含む様々な動作条件に応じて異なり得る。チャネル条件とは、無線リンクの品質を指す。無線リンクの品質を決定する要因の中には、信号強度、モバイルの速度、及び/又は物理的障害がある。
エンドツーエンド遅延は、ネットワーク、及びパケットが通過する様々な要素において導入される遅延を含む。多くの要因がエンドツーエンド遅延の原因となる。エンドツーエンド遅延の変動をジッタという。ジッタは、パケットを、もはや無用になった後で受けとらせることがある。例えば、音声などの低待ち時間用途では、パケットがあまりにも遅く受け取られると、受信側によってドロップされることがある。かかる条件は、通信品質の低下につながる。
アクセス端末がデジッタバッファを含む従来技術の通信システムを示すブロック図である。 従来技術のデジッタバッファを示す図である。 「アンダーフロー」をもたらすパケットの送信、受信、及び再生を示すタイミング図である。 1つのシナリオにおける最適なデジッタバッファ長の計算を示すタイミング図である。 1つのシナリオにおける最適なデジッタバッファ長の計算を示すタイミング図である。 遅延パケットから生じる一連の「アンダーフロー」を示すタイミング図である。 目標デジッタバッファ長の計算を示す流れ図である。 第1のシナリオにおけるパケットの送信を示すタイミング図である。 デジッタバッファ適応なしでのパケットの受信を示すタイミング図である。 受信側がパケットを、パケットの期待される時刻の後で受け取り得る、デジッタバッファ適応ありでのパケットの受信を示す。 受信側がパケットを、パケットの期待される時刻の後で受け取ることができるようにする暗黙的バッファ適応の一例を示す流れ図である。 適応デジッタバッファの動作モードを示す状態図である。 別の例によるデジッタバッファ適応の適用を示すタイミング図である。 デジッタバッファ遅延がデータの衝突を回避するのに十分ではない一例による、有音部における音声情報の送信を示す図である。 適応デジッタバッファを組み込んでいる通信システムを示すブロック図である。 適応デジッタバッファと時間伸縮ユニットを含む受信機の一部分を示すブロック図である。 圧縮及び拡張閾値を含む適応デジッタバッファの一例を示す図である。 複数の圧縮及び拡張閾値を含む適応デジッタバッファの一例を示す図である。 様々な遅延を有するパケットの受信時の時間伸縮を示すタイミング図である。 i)音声セグメントの無音部分の圧縮例と、ii)音声セグメントの無音部分の拡張例を示すタイミング図である。 音声信号の部分が反復し得る音声信号を示すタイミング図である。 Rウインドウサイズと呼ばれる、追加/オーバーラップ操作のための参照窓内のPCMサンプルの数が識別され、セグメントと呼ばれる、目標又は所望のセグメントサイズが識別される音声セグメントを示す図である。 一例による、音声セグメントを圧縮する追加/オーバーラップ操作の適用を示す図である。 Rウインドウサイズと呼ばれる、追加/オーバーラップ操作のための参照窓内のPCMサンプルの数が識別され、現在の音声セグメントの拡張に備えて、セグメントと呼ばれる、目標又は所望のセグメントサイズが識別される複数の音声セグメントを示す図である。 一例による、音声サンプルを拡張する追加/オーバーラップ操作の適用を示す図である。 代替例による、音声サンプルを拡張する操作の適用を示す図である。 遅延パケット、及びハイブリッドARQ再送信の場合のように順序が乱れて到着するパケットの到着を可能にするパケットの拡張を示す図である。 2人のユーザ間の会話の時間軸を示す図である。 一例による、有音部の先頭における改善を示す流れ図である。 代替例による、有音部の先頭における改善を示す図である。 有音部の末尾の改善を示す図である。 一例による有音部の末尾における改善を示す流れ図である。 デジッタバッファが、一定の時間間隔でパケットを復号器に配信する、従来技術のデジッタバッファ復号器システムの動作を示す図である。 適応デジッタバッファが、不規則な時間間隔でパケットを復号器に配信する一例による、適応デジッタバッファ及び復号器の動作を示す図である。 適応デジッタバッファと時間伸縮制御ユニットを含む、一例によるアクセス端末(AT)を示すブロック図である。 一例による、適応デジッタバッファを含み、パケットを時間伸縮させるように適合されている受信機の一部分を示す図である。 別の例による、適用デジッタバッファを含み、パケットを時間伸縮させるように適合されている受信機の代替例を示す図である。 一例による、適応デジッタバッファを含み、パケットを時間伸縮させるように適合されている受信機の一例における、復号器内のスケジューラの一例を示す流れ図である。 受信機の一例におけるオーディオインターフェースユニット内のスケジューラを示す流れ図である。 スケジューリングが復号器の外部で計算される時間伸縮ユニットを示す図である。 スケジューリングが復号器内の時間伸縮ユニットにおいて計算される時間伸縮ユニットを示す図である。
米国特許法第119条による優先権の主張
本特許出願は、本出願の譲受人に譲渡されている、2004年8月30日に出願された、「パケット交換通信用のIP上の音声(VoIP)のための適応デジッタバッファ(Adaptive De−Jitter Buffer For Voice Over IP for Packet Switched Communications)」という名称の、米国特許仮出願第60/606,036号の優先権を主張するものである。
パケット交換システムでは、データがパケットに形成され、ネットワークを介して経路指定される。各パケットは、パケット内、通常は、ヘッダに含まれる割り当てアドレスに基づいて、ネットワーク内の宛先に送られる。パケットのエンドツーエンド遅延、すなわち、パケットがネットワーク内で第1のユーザ又は「送信者」から第2のユーザ又は「受信者」まで移動するのに要する時間は、チャネル条件、ネットワーク負荷、システムのサービス品質(QoS)機能、及び、中でも特に、リソースを求めて競合する他のフローに応じて変動する。なお、明確にするために、以下の考察は、これだけに限らないが、符号分割多元接続(CDMA)システム、直交周波数分割多元接続(OFDMA)、広帯域周波数分割多元接続(W−CDMA)、広域自動車電話システム(GSM)によるシステム、802.11(A、B、G)、802.16といったIEEE標準をサポートするシステムなどを含む、パケットデータ通信をサポートするスペクトラム拡散通信システムを説明するものであることに留意されたい。
無線通信システムでは、各パケットが、同じフローに属する他のパケットに発生する遅延とは異なる、発信元から宛先までの遅延を被ることがある。この遅延のばらつきを「ジッタ」という。ジッタは、受信側アプリケーションにとってさらに厄介な問題を生み出す。受信側がジッタを訂正しない場合、受信したメッセージは、パケットが再アセンブルされるときに、歪みを被ることになる。システムの中には、受信パケットからメッセージを再構築するときに、ジッタを修正するものがある。かかるシステムは、デジッタバッファ遅延と呼ばれる待ち時間を追加するデジッタバッファを組み込んでいる。デジッタバッファは、固定の、大きなデジッタバッファ遅延を適用するとき、パケットの到着に際して、大量のジッタに対応し得る。しかしながら、これの使用は効率的ではない。というのは、より小さい遅延を有するパケットが、これらのパケットがより早く処理され得るはずの場合でも、やはり大きいデジッタバッファ遅延を使って処理されるからである。これは、これらのパケットについて、より小さいデジッタバッファ遅延を使って達成され得るものよりも大きいエンドツーエンド遅延をもたらす。
これを防ぐために、デジッタバッファを組み込んだVoIPシステムは、パケット遅延の変化に対応しようとすることがある。例えば、デジッタバッファは、パケット到着統計を解析することによって、パケット遅延の変化を検出し得る。多くのデジッタバッファ実装形態は、これらの遅延を全く適応させず、保守的に大きい遅延を有するように構成されている。この場合、デジッタバッファは、パケットに余分の遅延を追加し、ユーザに最適には及ばない状態を経験させることがある。
以下の考察では、デジッタバッファ遅延を変更することによって、パケット遅延挙動の変化に適応する適応デジッタバッファを説明する。このデジッタバッファは、音声時間伸縮を利用して、このデジッタバッファの、パケットの可変遅延を追跡できる機能を改善する。以下の考察は、周期的データ送信、低待ち時間要件、データの順次処理、又は指定再生速度を有する通信など、パケット化通信に適用可能である。特に、以下の考察では、データ又は音声及び無音が発信元で発生し、再生のために宛先に送信される音声通信を詳述する。元のデータは、パケット化され、知られている符号化方式を使って符号化される。受信側において、符号化方式は、データの各パケットごとに判定される。音声通信では、例えば、音声の符号化の種類は、無音部の符号化の種類と異なる。これは、通信システムが、無音部分を含む音声の周期的性質を利用することを可能にする。音声通信では、データがバースト性を呈し、音声内容は、反復するように見えることがある。パケット化音声通信は低待ち時間要件を有する。というのは、音声通信への参加者が、遅延を嫌い、通信の品質が限られて遅延だけしか許容しないからである。パケット化音声は、異なるパスをたどって受信側に到達し得るが、受信時に、各パケットは、元の順序で再コンパイルされる。したがって、受信したパケット化音声は、順次再生される。パケットが、無線通信に際して、又は物理層処理に際して失われた場合、このパケットは回復されず、受信側は、パケットの内容が何であったか推定し、又は憶測し得る。加えて、音声通信の再生速度は、所定の再生速度又は範囲を有する。再生がこの範囲外である場合、受信側における品質は低下する。音声通信への適用は、本考察の適用の一例である。他の適用には、ビデオ通信、ゲーム通信、又は音声通信のものに類似した特性、仕様、及び/又は要件を有する他の通信が含まれ得る。例えば、ビデオ通信は、再生の速度を上げたり下げたりしようとする。本考察は、かかる用途に望ましいことがある。本明細書で示すように、適応デジッタバッファは、受信側が、システムのジッタ要件によって指定されるサービス品質を達成することを可能にし得る。適応デジッタバッファは、例えば、デジッタバッファに格納されるデータ量など、目標デジッタバッファ長を、適応デジッタバッファにおいて受け取られるデータのタイミング及び量に適応させる。さらに、適応デジッタバッファは、例えば、適応デジッタバッファに格納されるデータの大きさなど、デジッタバッファの状況又はサイズを使って、時間伸縮が、受信データの処理及び再生に有利であるときを判定する。例えば、データが低速で適応デジッタバッファに到着している場合、適応デジッタバッファは、この情報を時間伸縮ユニットに提供し、時間伸縮ユニットが受信パケットを拡張することができるようにする。適応デジッタバッファに格納されるデータが閾値を超える場合、適応デジッタバッファは、時間伸縮ユニットに、着信データに実質的に追いつくためにパケットを圧縮するよう警告する。なお、時間伸縮は、通信のアプリケーション及び種類によって定義され得る限界内であることに留意されたい。例えば、音声通信では、時間伸縮は、聞く人が通信を理解することができなくなるほど、音声を圧縮する、すなわち、ピッチを上げるべきではない。同様に、時間伸縮は、限界を超えて音声を拡張すべきでもない。理想的には、時間伸縮限界は、聞く人をほとんど、又は全く不快にさせないように定義される。
通信システム
図1は、デジタル通信システム50を示すブロック図である。2つのアクセス端末(AT)52、82が、基地局(BS)70を介してやりとりする。AT52内部では、送信処理ユニット64が符号器60に音声データを送り、符号器60は、音声データを符号化し、パケット化して、パケット化データを下位層処理ユニット58に送る。次いでデータは、送信のために、BS70に送られる。BS70は、受信データを処理して、このデータをAT82に送信し、AT82でデータは、下位層処理ユニット88において受け取られる。次いで、データは、デジッタバッファ86に提供され、デジッタバッファ86は、ジッタの影響を隠し、又は低減するようにデータを格納する。データは、デジッタバッファ86から復号器84に送られ、さらに受信処理ユニット92に送られる。
AT82からの送信では、データ/音声が、送信処理ユニット94から符号器90に提供される。下位層処理ユニット88が、BS70への送信のためにデータを処理する。AT52におけるBS70からのデータの受信では、データが、下位層処理ユニット58において受け取られる。次いで、データのパケットが、デジッタバッファ56に送られ、必要なバッファ長又は遅延に到達するまで、デジッタバッファ56で格納される。この長さ又は遅延が達成されると、デジッタバッファ56は、データを復号器54に送り始める。復号器54は、パケット化データを音声データパケットに変換し、パケットを受信処理ユニット62に送る。本例では、AT52の挙動は、AT82と同様である。
デジッタバッファ
前述のようなATでは、記憶又はデジッタバッファを使って、ジッタの影響が隠蔽される。一例では、適応デジッタバッファが、VoIP通信などの、パケット交換通信に使用される。デジッタバッファは、適応バッファメモリを有し、音声時間伸縮を使って、これの可変遅延及びジッタを追跡できる機能を改善する。この例では、デジッタバッファの処理が復号器の処理と合わせて調整され、デジッタバッファは、パケットを時間伸縮させる機会又は必要を識別し、復号器に、パケットを時間伸縮させるよう指示する。復号器は、デジッタバッファによって指示されるように、パケットを圧縮し、又は拡張することによってパケットを時間伸縮させる。
図2に、デジッタバッファの一例を示す。着信符号化パケットが蓄積され、バッファに格納される。一例では、バッファは、データが、特定の順序で受け取られ、同じ順序で処理される先入れ先出し(FIFO)バッファであり、最初に処理されるデータは最初に受け取られるデータである。別の例では、デジッタバッファは、どのパケットを次に処理すべきか追跡する順序付きリストである。適応デジッタバッファは、デジッタバッファの状況が、適応デジッタバッファに格納されているデータの大きさ(又はパケットの数)である、記憶装置とすることができる。デジッタバッファによって処理されるデータは、デジッタバッファから復号器又は他のユーティリティに送られてもよい。符号化パケットは、例えば、8KHzのサンプリング速度で、160サンプルの音声データに対応する20ミリ秒など、固定量の音声データに対応し得る。本発明の一例では、復号器によって生成されるサンプルの数は、時間伸縮機能を有する場合、パケットが時間伸縮されるか否かに基づいて変化し得る。デジッタバッファが復号器/時間伸縮に、パケットを拡張するよう指示するとき、復号器/時間伸縮器は、160を上回るサンプルを生成し得る。他方、デジッタバッファが、復号器/時間伸縮に、パケットを圧縮するよう指示するとき、復号器/時間伸縮は、160を下回るサンプルを生成し得る。なお、代替のシステムは、20ミリ秒以外のボコーディングなど、異なる再生方式を有し得ることに留意されたい。
デジッタバッファに到着するパケットは、一定の間隔で到着しないこともある。したがって、デジッタバッファの設計目標の1つは、着信データの不規則さを調整することである。本発明の一例では、デジッタバッファが、目標デジッタバッファ長を有する。目標デジッタバッファ長は、最初のパケットを再生し始める前に、デジッタバッファ内に蓄積されるべき必要データ量を指す。別の例では、目標デジッタバッファ長は、デジッタバッファ内の最初のパケットが、再生される前に遅延される必要のある時間量を指すこともある。目標デジッタバッファ長は、図2に示されている。パケットの再生を開始する前に、デジッタバッファ内に十分なパケットを蓄積することによって、デジッタバッファは、後続のパケットを一定の間隔で再生すると同時に、パケットが枯渇する可能性を最小限に抑えることができる。図2には、デジッタバッファに最初に受け取られるボコーダパケットが、デジッタバッファからの出力が予定される次のパケットであるデジッタバッファが示されている。デジッタバッファは、必要なデジッタバッファ遅延を達成するのに十分なパケットを含む。このように、デジッタバッファは、パケットがこうむるジッタを円滑化し、受信側におけるパケット到着時刻のばらつきを隠蔽する。
図3に、様々なシナリオでのパケットの送信、受信、及び再生の時間軸を示す。第1のパケットPKT1は、時刻tに送信され、時刻tに受信され次第再生される。後続のパケットPKT2、PKT3及びPKT4は、PKT1の後20ミリ秒間隔で送信される。時間伸縮なしの場合、復号器が、第1のパケットの再生時刻から一定の時間間隔(20ミリ秒など)でパケットを再生する。例えば、復号器が規則的な20ミリ秒間隔でパケットを再生する場合、第1の受信パケットが時刻tに再生され、後続のパケットが時刻tの20ミリ秒後、時刻tの40ミリ秒後、時刻tの60ミリ秒後、以下同様に再生される。図3に示すように、PKT2の(デジッタバッファ遅延なしの)予期される再生時刻は、t=t+20ミリ秒である。PKT2は、これの予期される再生時刻t前に受け取られる。他方、パケット3は、これの予期される再生時刻t=t+20ミリ秒の後で受け取られる。この状態をアンダーフローという。アンダーフローは、再生ユーティリティはパケットを再生する用意ができているが、パケットがデジッタバッファ内に存在していないときに発生する。アンダーフローは、通常、復号器に消去を生成させ、再生品質を低下させる。
図3に、さらに、デジッタバッファが、第1のパケットの再生前に、遅延tdjbを導入する第2のシナリオを示す。このシナリオでは、再生ユーティリティが、20ミリ秒ごとにパケット(又はサンプル)を受け取ることができるようにデジッタバッファ遅延が追加される。このシナリオでは、PKT3がこれの予期される再生時刻tの後で受け取られたとしても、デジッタバッファ遅延の追加により、PKT3を、PKT2の再生の20ミリ秒後に再生することが可能になる。
PKT1は、時刻tに送信され、時刻tに受け取られ、時刻tに再生されるのではなく、先に行ったように、今度は、時刻t+tdjb=t’に再生される。再生ユーティリティは、PKT1の後、所定の間隔、例えば20ミリ秒などで、すなわち時刻t’=t+tdjb+20=t+tdjbにPKT2を再生し、t’=t+tdjbにPKT3を再生する。再生をtdjbだけ遅延させることにより、第3のパケットを、アンダーフローを生じさせずに再生することが可能になる。よって、図3に示すように、デジッタバッファ遅延の導入は、アンダーフローを低減し、音声品質が劣化するのを防ぐことができる。
音声は、有音部の期間と無音期間とからなる。無音期間の拡張/圧縮は、音声品質にほとんど、又は全く影響を及ぼさない。これは、デジッタバッファが、第1のパケットの再生を、各有音部ごとに、異なったやり方で遅延させることを可能にする。
図4A及び4Bに、異なる有音部の送信及び受信の時間軸を示す。なお、デジッタバッファ遅延の量は、アンダーフローを防ぐように決定される。これを、「最適デジッタバッファ遅延」という。最適デジッタバッファ遅延は、目標デジッタバッファ長に関連する。言い換えると、目標デジッタバッファ長は、バッファ内に、パケットが再生ユーティリティ仕様に合わせて再生されるのに十分なデータを格納させるように決定される。最適デジッタバッファ遅延は、システムがこうむる最大エンドツーエンド遅延によって決定され得る。代替として、最適デジッタバッファ遅延は、システムがこうむる平均遅延に基づくものすることもできる。また、所与の基準又はシステム設計に特有の、最適デジッタバッファ遅延を決定する他の方法も実施され得る。さらに、目標デジッタバッファ長は、最適デジッタバッファ遅延を有効にするように決定され、したがって、目標デジッタバッファ長は、受信パケット速度、パケット誤り率(PER)又は他の動作統計に基づいて計算されてもよい。
図4A及び4Bには、2つの例での最適デジッタバッファ遅延が示されている。図示のように、順次パケットの送信と受信の間の時間は、時間が経つにつれて変動する。PKT3は、送信から受信まで最長の遅延を有するため、この差を使ってデジッタ処理の最適遅延が決定される。
デジッタバッファを目標デジッタバッファ長と共に使用すれば、少なくとも一部のアンダーフロー条件を回避し得る。図3に戻ると、第2のシナリオでは、(復号器がパケットを予期しており、再生ユーティリティはパケットを再生する用意ができていたが、パケット記憶バッファにパケットが存在しなかったときに発生した)アンダーフローを未然に防いだ。ここで、PKT2は、tをPKT1の再生時刻とすると、tから所定間隔、すなわち20ミリ秒後に再生される。PKT3は、時刻tにおける再生が予定され、又は予期されるが、PKT3は、時刻tの後まで受け取られない。すなわち、再生ユーティリティはPKT3を再生する用意はできているが、このパケットは、記憶バッファ内に存在しない。PKT3は、予期される時刻に再生に利用できず、再生されないため、PKT3に関して大量のジッタ及びアンダーフローが生じる。PKT4は、PKT4の予期される再生時刻であるtに再生される。なお、予期される時刻tは、時刻tから計算されることに留意されたい。各パケットは、複数の音声パケットを含み得るため、アンダーフローによるパケットの喪失は、音声品質を低下させる。
考察のための別のシナリオには、図5に示すような一連の「遅延パケットによるアンダーフロー」が伴い、図5には、パケットの送信、受信及び予期される再生時刻が時間で示されている。このシナリオでは、各パケットが、各パケットの予期される再生時刻の少し後に受け取られる。例えば、PKT50の予期される再生時刻はtであるが、PKT50は、t後の時刻t’まで受け取られない。次のパケット51は、tに予期されているが、t後の時刻t’まで受け取られない。これは、高率の「遅延アンダーフロー」、すなわち遅延パケットによるアンダーフローをもたらし、よって、より高いエンドツーエンド遅延をもたらす一連のアンダーフローを引き起こす。
明らかに、再生を大幅に遅延させるデジッタバッファは、アンダーフローを最低限に保つのに役立つ。しかしながら、かかるデジッタバッファは、パケットのエンドツーエンド遅延に大きなデジッタバッファ遅延を導入する。大きなエンドツーエンド遅延は、会話の流れを維持するのを困難にすることがある。100ミリ秒を上回る遅延は、聞き手に、話し手が会話を終えていないと思わせることがある。したがって、良好な品質とは、理想的には、アンダーフローの回避とエンドツーエンド遅延の低減の両方を考慮したものである。一方の問題の解決が他方を悪化させ得るという問題が存在する。言い換えると、より小さいエンドツーエンド遅延は、一般に、より多くのアンダーフローをもたらし、逆もまた同様である。したがって、これらの競合する目標のバランスを取る必要がある。具体的には、デジッタバッファが、アンダーフローを追跡し、回避すると同時に、エンドツーエンド遅延を低減することが求められている。
デジッタバッファ目標長
適応デジッタバッファの設計目標は、システムに、音声パケットの特定の「アンダーフロー率」を目標とすると同時に、低いエンドツーエンド遅延を達成させることである。知覚される品質は、アンダーフローのパーセンテージの関数であるため、アンダーフローの特定のパーセンテージを目標とすることができれば、音声品質の制御が可能になる。デジッタバッファにおけるパケットアンダーフローは、欠落したパケットがあるときに発生し得る。パケットは、これが失われ、又は遅延したときに欠落し得る。喪失パケットは、受信側に到達する前にドロップされたとき、例えば、物理層や順方向リンクスケジューラなど、アクセスネットワーク内のどこかでドロップされたときに、アンダーフローを引き起こす。このシナリオでは、パケットが、決してデジッタバッファに到着しないため、アンダーフローは、デジッタバッファ遅延を使って修正することができない。一方、アンダーフローは、パケットが遅延し、これの再生時刻後に到着した結果として発生することもある。遅延パケットによるアンダーフローを追跡することに加えて、適応デジッタバッファは、喪失パケットによるアンダーフローも追跡し得る。
遅延パケットによるアンダーフローの数は、デジッタバッファ遅延でのアンダーフローをトレードオフすることによって制御され得る。遅延パケットによるアンダーフローの目標パーセンテージを表す値を、「アンダーフロー目標」という。この値は、デジッタバッファの操作の目標値であり、エンドツーエンド遅延を妥当な限度内に保持するように選択される。一例では、1%(0.01)の値が「アンダーフロー目標」として使用され得る。別の例では、0.5%(0.005)の値を使用する。「アンダーフロー目標」を達成するために、デジッタバッファ遅延が適合され得る。
本発明の一例では、遅延パケットによるアンダーフローのパーセンテージのフィルタリングされた値(以後、「遅延アンダーフロー」という)を使って、デジッタバッファ遅延が調整され得る。各無音期間の終了(又は各有音部の開始)時に、図6に示すようにデジッタバッファ遅延が更新される。図6に示すように、アルゴリズムは、以下を指定する。
1)If(PERdelay<TARGET_VALUE)then
DEJITTER_DELAY=DEJITTER_DELAY−CONSTANT;
2)If(PERdelay>TARGET_VALUE&&PERdelay>=last_PERdelay)then
DEJTTTER_DELAY=DEJITTER_DELAY+CONSTANT;
3)Set DEJITTER_DELAY=MAX(MIN_JITTER,DEJITTER_DELAY);
AND
4)DEJTTER_DELAY=MIN(MAX_JITTER,DEJITTER_DELAY)(1)
本例では、初期デジッタバッファ遅延は、40ミリ秒などの定数に設定され得る。TARGET_VALUEは、「遅延アンダーフロー」の目標値(1%など)である。PERdelayは、パケットの「遅延アンダーフロー」率のフィルタリングされた値であり、フィルタのパラメータは、TARGET_VALUEが達成されるようにする。last_PERdelayは、デジッタバッファ遅延の前の更新時におけるPERdelayの値である。DEJITTER_DELAYは、前に定義した目標デジッタバッファ長である。本例では、CONSTANTは20ミリ秒に相当する。MIN_JITTERとMAX_JITTERは、デジッタバッファ遅延の最小値と最大値であり、一例によれば、これらは、それぞれ、20ミリ秒と80ミリ秒に設定される。MIN_JITTERとMAX_JITTERは、システムシミュレションに基づいて推定され得る。各値(MIN_JITTER、MAX_JITTER、CONSTANT)は、デジッタバッファが配置される通信システムに応じて最適化され得る。
PERdelayは、各無音期間の終了時、又は各有音部の開始時に更新されてもよく、以下のように計算される。
Figure 2010226744
PER_CONSTANTは、PERdelayを推定するのに使用されるフィルタの時間定数である。この定数の値は、フィルタのメモリを決定し、TARGET_VALUEが達成されるようにする。Current_PERdelayは、PERdelayの最後の更新から現在の更新までの間に観測される「遅延アンダーフロー」の割合である。
Current_PERdelayは、遅延アンダーフローパケットの数と、PERdelayの最後の更新から現在の更新までの間に受け取られたパケットの合計数の比として定義される。
Figure 2010226744
図6を参照すると、デジッタバッファ遅延を計算し、更新するプロセス100は、ステップ101で開始してDEJITTER_DELAYを初期設定する。比較として、ステップ102で、PERdelayがTARGET_VALUEと比較される。PERdelayがTARGET_VALUEより小さい場合、ステップ104で、CONSTANT値がDEJITTER_DELAYから差し引かれる。ステップ102でPERdelayがTARGET_VALUEより大きく、ステップ103で、PERdelayがTARGET_VALUEより大きく、かつLAST_PERDELAY以上であり、ステップ102で最後のPERdelay以上である場合、処理は判断108に進む。ステップ108で、DEJITTER_DELAYは、DEJITTER_DELAY+CONSTANT値に設定される。ステップ103に続いて、PERdelayがTARGET_VALUE以下であり、LAST_PERDELAY未満である場合、処理はステップ110に進む。また、ステップ104に続いて、DEJITTER_DELAYは、ステップ110で、MIN_JITTERとDEJITTER_DELAYの最大値に設定される。ステップ110から、処理は、ステップ112に進み、ステップ112で、DEJITTER_DELAYを、MAX_JITTERとDEJITTER_DELAYの最大値に設定する。
遅延追跡
デジッタバッファは、(アンダーフロー率を追跡するのではなく)遅延を追跡するモードに入ることもできる。追跡される遅延は、エンドツーエンド遅延でもデジッタバッファ遅延でもよい。一例では、デジッタバッファは、目標アンダーフロー率が容易に満たされ得るときに、「遅延追跡」モードに入る。これは、デジッタバッファが、ある期間にわたって、目標アンダーフロー率より低いアンダーフロー率を達成することができることを意味する。この期間は、数百ミリ秒から数秒までの期間とすることができる。
このモードでは、デジッタバッファは、目標遅延値を有する。これは、前述のアンダーフロー目標値に類似したものである。アンダーフロー率を目標とするのに使用され得る前述の式(1)は、類似のやり方で、目標遅延値を計算するのにも使用され得る。デジッタバッファが、目標遅延値を目標とするこのモードに入ると、このモードは、目標遅延が維持されている限り、デジッタバッファがこれの目標アンダーフロー率を低減することを可能にする。
暗黙的バッファ適応
状況によっては、復号器は、まだ受け取られていないパケットの再生を期待することがある。図5に、この状況が示されており、PKT50の予期される再生時刻はtであるが、PKT50は、この時刻の後で受け取られる。同様に、PKT51も、これの予期される再生時刻tの後で受け取られ、PKT52も、これの予期される再生時刻t後で受け取られ、以下同様である。ここでは、パケットは、ほとんど規則的に到着するが、PKT50がこれの予期される再生時刻のわずか後で受け取られたために、すべての後続のパケットもこれらの再生時刻を外すことになったことに留意すべきである。他方、復号器が、時刻tに消去を挿入し、しかも、PKT50をtに再生することができた場合には、すべてのパケットがこれらの再生時刻を満たすことが可能になるはずである。PKT50の代わりの消去が再生された後でPKT50を再生することによって、デジッタバッファ長は、事実上適合される。
PKT50の消去後のPKT50の再生は、不連続を引き起こすことがあり、これは、2005年7月7日に出願された、「ボコーダにおける位相整合(PHASE MATCHING IN VOCODERS)」という名称の、同時係属中の出願第11/192,231号明細書に記載されている位相整合技術を使って除去され得ることに留意されたい。
図7Aに示すように、パケットの受信に際しては、PKT3とPKT4の間の時間の間隙のようなギャップが発生し得る。パケット到着の際の遅延は、各パケットごとに異なり得る。デジッタバッファは、遅延を補償するための調整と共に直ちに応答し得る。図示のように、PKT1、PKT2及びPKT3は、それぞれ、時刻t、t、及びtに受け取られる。時刻tには、PKT4が受け取られると予期されているが、PKT4は、まだ到着していない。図7Aでは、パケットが20ミリ秒ごとに受け取られることになっている。本図では、PKT2は、PKT1の20ミリ秒後に受け取られ、PKT3はPKT1の40ミリ秒後に受け取られる。PKT4は、PKT1の60ミリ秒後に受け取られると期待されているが、PKT1の80ミリ秒後まで到着しない。
図7Bでは、最初の受信パケットPKT1の再生前に、デジッタバッファにおいて初期遅延が導入される。ここでは初期遅延をDinitとする。この場合、PKT1はバッファによって時刻Dinitに、PKT2は時刻Dinit+20ミリ秒に、PKT3は時刻Dinit+40ミリ秒に再生され、以下同様である。図7Bでは、PKT4が期待される時刻Dinit+60ミリ秒に到着できないとき、デジッタバッファによって消去が再生され得る。次のパケット再生時に、デジッタバッファは、PKT4を再生しようとする。PKT4がまだ到着していない場合、時刻Dinit+80ミリ秒に別の消去が送られ得る。消去は、PKT4がデジッタバッファに到着するまで再生され続ける。PKT4がデジッタバッファに到着すると、PKT4が再生される。このような処理は、PKT4が受け取られるまで他のパケットが再生されないため、遅延を生じる。システムが回復することができない、すなわち、PKT4を全く受け取らないとき、システムは、プロセスのリセットを適用し、PKT4を再生せずに、PKT4に続くパケットを再生させてもよい。前述のシナリオでは、PKT4が到着する前に、消去が長期間にわたって送られ続けることになり得るため、デジッタバッファのエンドツーエンド遅延が増大する可能性がある。
これに対して、図7Cに示す例によれば、パケットが到着できなかった場合、又はパケットの受信が遅れた場合、PKT4の期待される再生時刻に消去が再生される。これは、システムがPKT4の到着を待つ、上記図7Bとの関連で説明したシナリオと類似している。次の再生時刻に、PKT4がまだ到着しておらず、次のパケットPKT5が到着している場合には、PKT5が再生される。さらに説明するために、PKT4の受信が遅延し、デジッタバッファが、PKT4を、時刻Dinit+80ミリ秒に受け取ることになっていると仮定する。PKT4が遅延すると、消去が再生される。時刻Dinit+100ミリ秒に、PKT4がまだ到着していない場合には、別の消去を再生するのでなく、PKT5が再生される。この第2のシナリオでは、遅延のための調整が直ちに行われ、通信ネットワークにおける過剰なエンドツーエンド遅延が回避される。再生前にバッファに格納されるデータのサイズが、データの受信に従って増減するため、このプロセスをIBAという。
暗黙的バッファ適応(IBA)プロセス200を図8Aの流れ図で示す。プロセス200は、出力コントローラ760やデジッタバッファコントローラ756など、適応デジッタバッファ内のコントローラで実施され得る。プロセス200は、適応デジッタバッファをサポートするシステム内の別の部分にあってもよい。ステップ202で、適応デジッタバッファで、次の再生用パケットを提供するよう求める要求が受け取られる。次のパケットが、シーケンス中のインデックスiを有するパケット、具体的にはPKT[i]として識別される。204で、暗黙的バッファ適応(IBA)モードが使用可能にされている場合、処理は、206に進んで、IBAモードに従って処理を行う。IBAモードが使用不可にされている場合、処理は、226に進んで、IBAモードなしで処理を行う。
206でPKT[i]が受け取られた場合、適応デジッタバッファは、ステップ208で、再生のためにPKT[i]を提供する。ステップ210でIBAモードが使用不可にされ、インデックスiの増分、すなわち、(i=i+1)が行われる。さらに、206でPKT[i]が受け取られず、ステップ214でPKT[i+1]が受け取られた場合、処理はステップ216に進んでPKT[i+1]を再生する。ステップ218でIBAモードが使用不可にされ、ステップ220でインデックスiの2回増分、すなわち(i=i+2)が行われる。
214で、PKT[i]とPKT[i+1]が受け取られない場合、コントローラは、ステップ222で消去の再生を開始し、ステップ224でインデックスiが増分される。なお、本例では、IBAモードにあるとき、コントローラは、ステップ202で受け取られるような、次のパケットを求める要求に応答して、最大2つまでのパケットの有無をチェックすることに留意されたい。これにより、事実上、コントローラが受信パケットをサーチするためのパケット窓が実施される。代替例では、例えば3つのパケットをサーチするなど、異なる窓サイズを実施してもよく、本例では、これは、パケット連番i、i+1、及びi+2になる。
204に戻って、IBAモードが使用可能にされない場合、処理は226に進んで、PKT[i]が受け取られたどうか判定する。受け取られた場合、ステップ228で、PKT[i]が再生のために提供され、ステップ230でインデックスiが増分される。226でPKT[i]が受け取られない場合、適応デジッタバッファは、ステップ232で、再生のために消去を提供する。PKT[i]が受け取られず、代わりに消去が再生されたため、IBAモードが使用可能とされる。
図8Bは、IBAモードに関連する状態図である。通常モード242にあるとき、適応デジッタバッファが再生のためにPKT[i]を提供する場合、コントローラは、通常モードのままである。コントローラは、消去が再生されるときに、通常モード242からIBAモード240に遷移する。IBAモード240になると、コントローラは、消去の再生時にIBAモード240のまま留まる。コントローラは、PKT[i]又はPKT[i+l]の再生時にIBAモード240から通常モード242に遷移する。
図9は、図8A及び8Bに示すようなIBAを実施するデジッタバッファの一例である。本図において、再生ユーティリティは、復号器に再生のためのサンプルを要求する。次いで、復号器は、デジッタバッファに、再生ユーティリティによる中断なしの再生を可能にするのに十分なパケットを要求する。本図では、パケットは、音声通信を搬送し、再生ユーティリティは、20ミリ秒ごとにサンプルを再生する。代替システムは、他の構成によって、デジッタバッファから再生ユーティリティにパケット化データを提供してもよく、パケット化データは、音声通信以外でもよい。
図9で、デジッタバッファは、パケットのスタックとして示されている。この図では、バッファは、まず、PKT49を受け取り、続いて、PKT50、51、PKT52、PKT53、以下同様に受け取る。この図におけるパケット番号は、パケットの順序を指す。しかしながら、パケット化システムでは、パケットがこの順序で受け取られる保証はない。理解を明確にするために、この図では、パケットが、送信されたのと同じ番号順に受け取られ、これは、再生の順序でもあるものとする。説明のために、図9では、デジッタバッファ内で、後で受け取られるパケットが、前に受け取られるパケットの上に積み重ねられ、すなわち、例えば、PKT49は、PKT50の上に積み重ねられ、PKT51は、PKT50の上に積み重ねられ、以下同様であるものとする。デジッタバッファ内のスタックの最下部にあるパケットは、再生ユーティリティに送られる最初のパケットである。また、本図では、目標デジッタバッファ長が示されていないことにも留意されたい。
図9では、パケットの受信、パケットの予期される受信時刻、及びパケットの再生時刻が時間に対してグラフで表されている。パケットが受け取られる都度の更新バッファ状況が示されている。例えば、PKT49は、時刻tに受け取られ、時刻tに再生されると予期されている。PKT49受信時のバッファ状況は、PKT49の受信時刻である時刻tの上の、グラフ最上部に示されている。デジッタバッファで受け取られる各パケットごとの受信時刻は、「受信済み」として表されている。「予期される再生」時刻は、「受信済み」時刻のすぐ下に表されている。再生時刻は、「再生」として識別されている。
この例では、最初、次の再生用パケットは、PKT49であり、これは、時刻tに再生されると予期されている。次の順次パケットは、時刻tなどに期待される。最初のパケットPKT49は、予期される再生時刻tの前に受け取られる。したがって、PKT49は、予期されるように時刻tに再生される。次のパケットPKT50は、時刻tに予期されている。しかしながら、PKT50の受信は遅延し、PKT50の代わりに消去が再生ユーティリティに送られる。PKT50の遅延は、前述のようにアンダーフローを引き起こす。PKT50は、予期される再生時刻tの後、次の予期される再生時刻tの前に受け取られる。受け取られると、PKT50は、デジッタバッファに格納される。したがって、時刻tに再生すべきパケットを求める次の要求が受け取られたとき、システムは、デジッタバッファ内で最も低い順番のパケットを探し、時刻tに再生するために、PKT50が再生ユーティリティに提供される。なお、IBAを使用すると、PKT50は、予定通りに再生するのに間に合うように受け取られなくても、遅れて再生され、シーケンスの残りの部分が、この時点から再開される。図示のように、後続のパケットPKT51、PKT52などが受け取られ、時間通りに再生されて、消去が回避される。
IBAは、パケットのエンドツーエンド遅延を増大させるように見えることもあるが、これは、実際にはそうではない。IBAは、より少数のアンダーフローをもたらすため、前述の式1から推定されるデジッタバッファの値は、より低い値に維持される。したがって、IBAの全体的な効果は、全体としてのパケットの平均エンドツーエンド遅延の低減とすることができる。
IBAは、有音部を有する通信の処理を向上させることができる。有音部とは、音声通信の音声部分を指し、音声通信は、通常の発話パターンに呼応して、音声部分と無音部分を含む。音声処理では、ボコーダが、ある種類の音声用のパケットと、別の種類の無音用のパケットとを生成する。音声パケットは、ある符号化率で符号化され、無音部は、異なる符号化率で符号化される。符号化パケットがデジッタバッファで受け取られるとき、デジッタバッファは、符号化率からパケットの種類を識別する。デジッタバッファは、音声フレームが有音部の一部であると仮定する。最初の非無音フレームが、有音部の先頭である。有音部は、無音パケットが受け取られたときに終了する。不連続送信では、すべての無音パケットが送信されるとは限らない。というのは、受信側は、通信の無音部分を説明するために擬似雑音を実施することがあるからである。連続送信では、すべての無音パケットが送信され、受信される。一例では、デジッタバッファは、受け取られるパケットの種類に従ってデジッタバッファ長を調整する。言い換えると、システムは、通信の無音部分に必用とされるデジッタバッファの長さを低減しようとし得る。なお、IBAの方法は、再生が、定率など、所定のタイミング方式によるものである任意の通信に適用できることに留意されたい。
時間伸縮
有音部は、一般に、複数のデータパケットからなる。一例では、有音部の第1のパケットの再生が、デジッタバッファ遅延に等しい長さだけ遅延され得る。デジッタバッファ遅延は、様々なやり方で決定され得る。1つのシナリオでは、デジッタバッファ遅延は、上記式(1)などのアルゴリズムに基づく、計算されたデジッタバッファ遅延とすることができる。別のシナリオでは、デジッタバッファ遅延は、デジッタバッファ遅延の長さに等しい音声データを受け取るのに要する時間とすることができる。代替として、デジッタバッファ遅延は、前述の値の小さい方として選択されてもよい。この例では、デジッタバッファ遅延が、式1を使って60ミリ秒と計算され、有音部の第1のパケットが、第1の時刻tに受け取られるものと仮定する。第1のパケットの50ミリ秒後に有音部の次のパケットが受け取られるとき、適応デジッタバッファデータは、デジッタ遅延60ミリ秒に等しい。すなわち、適応デジッタバッファでのパケットの受信から再生までの時間は60ミリ秒である。なお、適応デジッタバッファの目標長は、60ミリ秒の遅延を達成するように設定され得ることに留意されたい。かかる計算により、遅延時間を満たすためにいくつのパケットを格納すべきかが求められる。
適応デジッタバッファは、バッファからのデータの出し入れを監視し、バッファを、目標遅延長、すなわち、目標遅延時間を達成するデータ量に維持するように、バッファの出力を調整する。デジッタバッファが有音部の第1のパケットを再生に送るときには、Δ=MIN(デジッタバッファ遅延,デジッタ遅延に等しい音声データを受け取るのに要する時間)である、Δに相当する遅延が生じる。有音の後続のパケットは、Δ+前のパケットを再生するのに要する時間だけ遅延される。よって、同じ有音部の後続パケットのデジッタバッファ遅延は、第1のパケットのデジッタバッファ遅延が定義された後で、暗黙的に定義される。実際には、このデジッタバッファ遅延の定義は、図10に示すような状況に対応するためのさらなる考慮事項を必要とし得る。
図10に、有音部中の音声情報の送信を示す。有音部150は時刻tに受け取られ、有音部154は、時刻tに受け取られる。有音部150と有音部154の間に受け取られる、20ミリ秒の無音期間時間152がある。受け取り次第、適応デジッタバッファは、受信データを格納し、各有音部の再生のための遅延を決定し得る。この例では、有音部150が時刻tに適応デジッタバッファで受け取られ、適応デジッタバッファ遅延時間は、80ミリ秒と計算される。デジッタバッファ遅延が受信時刻に加えられて、再生時刻を生じる。このように、有音部150は、再生の前に、適応デジッタバッファによって80ミリ秒だけ遅延される。有音部150は、t=t+80ミリ秒、すなわち、有音部150が受け取られてから80ミリ秒後である、時刻tに再生を開始し、時刻tに再生を完了する。式1などのアルゴリズムを使って前述のように目標デジッタバッファ長を計算すると、有音部154に適用されるデジッタバッファ遅延は40ミリ秒である。これは、有音部154の第1のパケットが、t=t+40ミリ秒、すなわち有音部154が受け取られてから40ミリ秒後である、時刻tに再生されるべきであることを意味する。しかしながら、時刻tにおけるパケット154の再生は、tに再生を終了する有音部150の最後のパケットの再生と競合する。したがって、(パケット154の)計算されたデジッタバッファ遅延40ミリ秒は、有音部150が再生を終えるのに十分な時間を許容しない。かかる競合を回避し、両方のパケットが正しく再生されるようにするために、有音部154の第1のパケットは、有音部150の最後のパケットが、合間に無音期間を挟んで再生された後で、再生されるべきである。この例では、有音部150と有音部154が、時刻tからtまで重なり合う。したがって、このシナリオにおける再生方法は望ましくない。本明細書で説明するパケットの再生の間のオーバーラップを防ぐためには、前の有音部の最後のパケットがいつ再生されるか検出することが必要である。よって、パケットのデジッタバッファ遅延の計算では、オーバーラップ又は競合を回避するために、前に再生されるパケットの再生タイミングを考慮し得る。
前述のように、一例では、デジッタバッファ遅延は、有音部の開始時に計算され、又は更新される。しかしながら、デジッタバッファ遅延の更新を有音部の開始時だけに制限すると、限界が生じることがある。というのは、有音部は、しばしば、長さが変動し、有音部の間の動作条件が変化し得るからである。図10の例を考察する。よって、有音部の間にデジッタバッファ遅延を更新する必要が生じ得る。
なお、目標遅延長を維持するように適応デジッタバッファからのデータの流れを制御することが望ましいことに留意されたい。このように、適応デジッタバッファが様々な遅延でデータを受け取る場合、適応デジッタバッファからのデータは、バッファが、目標適応デジッタバッファ長を満たすのに十分なデータで満たされるように調整される。適応デジッタバッファが目標遅延長を維持するには不十分なパケットを受け取ることになるときには、時間伸縮を使ってパケットが拡張され得る。同様に、適応デジッタバッファが、過剰なパケットを受け取り、目標遅延長を上回るパケットを格納することになるときにも、時間伸縮を使って、パケットが圧縮され得る。適応デジッタバッファは、復号器と協働して、本明細書で説明するようにパケットを時間伸縮させてもよい。
図11は、ネットワーク要素を介してやりとりする2つの受信機を含むシステムのブロック図である。受信機はAT252とAT282であり、図示のように、AT252及びAT282は、BS270を介した通信のために適合されている。AT252では、送信処理ユニット264が符号器260に音声データを送り、符号器260は、音声データをデジタル化し、パケット化されたデータを下位層処理ユニット258に送る。次いで、パケットがBS270に送信される。AT252がBS270からデータを受信するとき、データは、まず、下位層処理ユニット258で処理され、ここからデータのパケットが適応デジッタバッファ256に提供される。受信パケットは、目標デジッタバッファ長に到達するまで適応デジッタバッファ256に格納される。目標デジッタバッファ長に到達すると、適応デジッタバッファ256は、データを復号器254に送る。図示の例では、時間伸縮を実施する圧縮及び拡張が復号器254で行われてもよく、復号器254は、パケット化データを音声データに変換し、音声データを受信処理ユニット262に送る。本発明の別の例では、時間圧縮及び拡張(時間伸縮)が、コントローラ(図示せず)によって適応デジッタバッファ内で行われることもある。AT282の挙動は、AT252の挙動と類似している。AT282は、送信処理ユニット294から符号器290、下位層処理ユニット288、最後にBS270までのパス上でデータを送信する。AT282は、下位層処理ユニット288から適応デジッタバッファ286、復号器284、受信処理ユニット292までのパス上でデータを受信する。これ以上の処理は図示されてはいないが、音声などのデータの再生に影響を及ぼすこともあり、オーディオ処理、画面表示などが関与し得る。
式1で与えられるデジッタバッファの式では、有音部の開始時にデジッタバッファ遅延を計算する。デジッタバッファ遅延は、例えば、有音部数によって決まる特定のパケットの数を表すこともあり、音声データなどのデータの再生に相当する期待される時間を表すこともある。なお、デジッタバッファは目標サイズを有し、これが、デジッタバッファがあらゆる時点において格納されるものと期待するデータ量を決定することに留意されたい。
チャネル条件や、他の動作条件によるパケット遅延のばらつきは、適応デジッタバッファにおけるパケット到着時刻の差異をもたらし得る。したがって、適応デジッタバッファ内のデータ量(パケット数)は、計算されたデジッタバッファ遅延値、DEJITTER_DELAYより大きいことも小さいこともある。例えば、パケットは、パケットが最初に符号器で生成された速度より低速で、又は高速でデジッタバッファに到着することもある。パケットが期待されるより低速でデジッタバッファに到着したとき、デジッタバッファは、着信パケットが同時に発信パケットを補充しなくなるため、枯渇し始める。一方、パケットが符号器での生成速度より高速で到着した場合、デジッタバッファは、パケットが、入ってくるのと同じ速度でデジッタバッファから出て行かないため、サイズが増大し始めることがある。前者の条件はアンダーフローをもたらし得るものであり、後者の条件は、デジッタバッファにおけるバッファリング時間がより大きくなるために、高いエンドツーエンド遅延を引き起こし得る。後者は重要である。というのは、パケットデータシステムのエンドツーエンド遅延が減少する場合(ATが負荷のより低い領域に移動し、又はユーザがチャネル品質のより良い領域に移動する場合)、音声の再生にこの遅延低減を組み込むことが望ましいからである。エンドツーエンド遅延は、重要な音声品質要因であり、再生遅延のいかなる低減も、会話又は音声品質の向上として知覚される。
デジッタバッファにおいて、DEJITTER_DELAYと、デジッタバッファに実際に存在するデータ量の間の不一致を修正するために、デジッタバッファの一例は時間伸縮を用いる。時間伸縮は、音声パケットの期間を拡張し、又は圧縮することを伴う。デジッタバッファは、適応デジッタバッファが枯渇し始めるときに音声パケットを拡張し、適応デジッタバッファがDEJITTER_DELAYより大きくなるときに音声パケットを圧縮することによって時間伸縮を実施する。適応デジッタバッファは、復号器と協働してパケットを時間伸縮させてもよい。時間伸縮は、エンドツーエンド遅延を増大させずに、音声品質の実質的改善を実現する。
図12は、時間伸縮を実施する適応デジッタバッファの一例のブロック図である。物理層処理ユニット302は、データスタック304にデータを提供する。データスタック304は、適応デジッタバッファ及び制御ユニット306にパケットを出力する。順方向リンク(FL)媒体アクセス制御(MAC)処理ユニット300は、デジッタ処理ユニット306にハンドオフ指示を提供する。MAC層は、物理層上で、すなわち、無線を介してデータを送受信するプロトコルを実施する。MAC層は、セキュリティ、暗号化、認証、及び接続情報を含み得る。IS−856をサポートするシステムでは、MAC層は、制御チャネル、アクセスチャネル、ならびに順方向及び逆方向トラフィックチャネルを管理する規則を含む。目標長推定器314は、式1で与えられる計算を使ってデジッタバッファに目標デジッタバッファ長を提供する。目標長推定器314への入力は、パケット到着情報及び現在のパケット誤り率(PER)を含む。なお、代替構成は、適応デジッタバッファ制御ユニット306内に目標長推定器314を含んでいてもよいことに留意されたい。
一例では、適応デジッタバッファ制御ユニット306が、再生のために提供されるデータの速度を制御する再生制御をさらに含む。適応デジッタバッファ制御ユニット306から、パケットが不連続送信(DTX)ユニット308に送られ、DTXユニット308は、音声データが受け取られていないときに、復号器310に背景雑音を提供する。なお、適応デジッタバッファ制御ユニット306によって提供されるパケットは、復号化処理を受ける用意ができており、これをボコーダパケットと呼んでもよい。復号器310は、パケットを復号化し、パルス符号変調(PCM)音声サンプルを時間伸縮ユニット312に提供する。代替例では、時間伸縮ユニット312は、復号器310内で実施され得る。時間伸縮ユニット312は、適応デジッタバッファ制御ユニット306から時間伸縮標識を受け取る。時間伸縮標識は、制御信号でも、命令信号でも、フラグでもよい。一例では、時間伸縮標識を、例えば、圧縮、拡張、及び時間伸縮なしを有する多状態標識とすることができる。様々な圧縮レベル及び/又は様々な拡張レベルの様々な値があってもよい。一例では、時間伸縮標識は、時間伸縮ユニット312に、データを拡張し、又は圧縮するよう命令する。時間伸縮標識は、拡張、圧縮、又は伸縮なしを指示する。時間伸縮標識は、時間伸縮ユニット312における処置を開始する制御信号とみなされ得る。時間伸縮標識は、パケットをどのようにして拡張し、又は圧縮すべきか指定するメッセージとすることもできる。時間伸縮標識は、拡張と圧縮のどちらの処置を講じるべきかのみならず、時間伸縮すべきパケットも識別し得る。さらに、時間伸縮標識は、時間伸縮ユニット312に選択肢からの選択も提供し得る。無音間隔の間に、DTXモジュールは、デジッタバッファによって提供される消去のストリームを、復号器が、より正確で、高品質の背景雑音を再構築するのに使用する消去及び無音フレームのストリームに変更する。代替例では、時間伸縮標識は、時間伸縮をオンとオフにする。別の例では、標識は、再生に使用される圧縮及び拡張の量を識別する。時間伸縮ユニット312は、復号器からのサンプルを変更して、サンプルをオーディオ処理316に提供してもよく、オーディオ処理316は、オーディオドライバ及びスピーカのみならず、インターフェース変換ユニットを含んでいてもよい。
時間伸縮標識は、圧縮すべきとき、又は拡張すべきときを識別するが、所与のパケットにどれ程の時間伸縮を適用すべきか決定する必要がある。一実施形態では、時間伸縮の量が固定されており、パケットが、音声サイクル又はピッチに従って時間伸縮される。
一実施形態では、時間伸縮標識は、目標拡張又は目標圧縮レベルのパーセンテージとして伝えられる。すなわち、時間伸縮標識は、所与のパーセントだけ圧縮し、又は所与のパーセントだけ拡張するよう指示する。
1つのシナリオでは、着信データの知られている特性を認識することが必要とされ得る。例えば、符号器が、知られているトーンの、あるいは例えば、特定の長さの特性を有するデータを予期することがある。この状況では、特定の特性が予期されているため、時間伸縮を使って受信データを変更することは望ましくないはずである。例えば、符号器は、着信データが特定のトーンの長さを有することを期待し得る。しかしながら、時間伸縮が使用可能にされている場合、トーンの長さは、時間伸縮によって変更され得る。したがって、このシナリオでは、時間伸縮が使用可能にされるべきではない。トーンベースの通信には、これだけに限らないが、テレタイプライタ/聾唖者用通信機器(TTY/TDD)情報、キーパッド入力を使用する用途、又はトーンベースの通信を使った他の用途が含まれる。かかる通信では、トーンキャリア情報の長さ、したがって、再生時の圧縮又は拡張など、ピッチ又はトーンの長さを変更することは、この情報の損失をもたらし得る。TTY、TDD、及び聴覚障害を有する受け手による受信を可能にする他の用途では、復号器は、復号器によるかかる通信の帯域内処理の状況も提供する。この指示は、デジッタバッファによって提供される時間伸縮指示にマスクするのに使用される。復号器がTTY/TDD情報を有するパケットを処理する場合、時間伸縮は使用不可とされるべきである。これは、デジッタバッファコントローラにTTY/TDD状況を提供する、又は時間伸縮ユニットにTTY/TDD状況を提供するという、2通りのやり方で行われ得る。復号器のTTY/TDD状況がデジッタバッファコントローラに提供される場合、コントローラは、ボコーダがTTY/TDDの処理を指示するときに、どんな拡張指示も圧縮指示も指示すべきでない。復号器のTTY/TDD状況が時間伸縮ユニットに提供される場合、これはフィルタとして働き、時間伸縮ユニットは、復号器がTTY/TDD情報を処理している場合には、時間伸縮指示に従って動作しない。
図12に示すシステムでは、適応デジッタバッファ制御ユニット306は、着信データの速度を監視し、過多な、又は過少なパケットが利用可能であり、又はバッファに入れられているときに、時間伸縮標識を生成する。適応デジッタバッファ制御ユニット306は、時間伸縮を行うべきときと、講じるべき処置を決定する。図13Aに、圧縮及び拡張閾値を使って時間伸縮決定を行う適応デジッタバッファの一例の動作を示す。デジッタバッファは、不規則な時間間隔で到着していることのあるパケットを蓄積する。デジッタ目標長推定器314は、目標デジッタバッファ長を生成し、次いで、目標デジッタバッファ長がデジッタバッファに適用される。実際には、適応デジッタバッファ制御ユニット306は、デジッタバッファ長の値を使って、デジッタバッファ操作に関する制御決定を行い、再生を制御する。圧縮閾値及び拡張閾値は、それぞれ、いつ圧縮又は拡張がトリガされるべきか指示する。これらの閾値は、デジッタ目標長のある一定の割合として指定され得る。
図13Aに示すように、目標デジッタバッファ長は、LTargetとして与えられる。圧縮閾値は、Tcompressとして与えられ、拡張閾値はTExpandとして与えられる。デジッタバッファ長が圧縮閾値Tcompressを上回るまで増大すると、デジッタバッファは、復号器に、パケットが圧縮されるべきであると指示する。
同様に、デジッタバッファ長が拡張閾値TExpandを下回るまで枯渇すると、デジッタバッファは、復号器に、パケットが拡張され、事実上、より低速で再生されるべきであると指示する。
拡張閾値と圧縮閾値の間の動作点が、アンダーフローと、エンドツーエンド遅延の過度な増大を回避する。したがって、目標動作は、TcompressとTExpandの間にある。一例では、拡張閾値及び圧縮閾値の値は、それぞれ、デジッタバッファの目標値の50%と100%に設定される。一例では、時間伸縮が復号器内部で行われ得るが、代替例では、この機能が、復号器の外部、例えば、復号化の後で行われてもよい。しかしながら、信号を同期させる前に信号を時間伸縮させた方がより簡単になり得る。かかる時間伸縮方法が、信号の復号化後に適用された場合、信号のピッチ周期を推定する必要があるはずである。
いくつかのシナリオ、例えば、W−CDMA方式などでは、デジッタバッファ長がより長いことがある。時間伸縮閾値発生器が、複数の圧縮閾値及び拡張閾値を生成し得る。これらの閾値は、動作条件に応答して計算され得る。図13Bに、多重レベルの閾値を示す。TC1は第1の圧縮閾値であり、TC2は第2の圧縮閾値であり、TC3は第3の圧縮閾値である。また、3つの異なる拡張閾値の値を表すTE1、TE2及びTE3も示されている。これらの閾値は、時間伸縮のパーセンテージ(いくつのパケットが時間伸縮されるか)、圧縮されるパケット、拡張されるパケットのパーセンテージ又はこれら2つの値の比率に基づくものとすることができる。閾値の数は、必要に応じて変更されてもよく、言い換えると、より多くの、又は少ない閾値が必要とされることもある。閾値のそれぞれは、異なる圧縮率又は拡張率に関連し、例えば、より細かい粒度を必要とするシステムでは、より多くの閾値が使用され、より粗い粒度では、より少ない閾値が使用され得る。TE1、TE2、TE3などは、目標遅延長の関数とすることができる。閾値は、遅延アンダーフローを追跡することにより、PERなどの誤り統計に基づいて変更され得る。
図14に、時間伸縮ありとなしでのパケットの再生を示す。図14では、PKT1が時刻tに送信され、PKT2が時刻tに送信され、以下同様である。各パケットは、指示されるように受信側に到着し、PKT1はt’に到着し、PKT2はt”に到着する。各パケットごとに、時間伸縮を使用しない再生時刻が「伸縮なしの再生」として与えられる。これに対して、時間伸縮を使用する再生時刻が「伸縮ありの再生」として与えられる。本例は、音声通信など、リアルタイムデータのものであるため、パケットの予期される再生時刻は、固定された時間間隔にある。再生時、理想的には、各パケットは予期される再生時刻の前に到着する。パケットが予期される時刻の再生に間に合わずに到着した場合、再生品質に影響を及ぼし得る。
PKT1及びPKT2は、予定時刻に受け取られ、時間伸縮なしで再生される。PKT3及びPKT4は、両方とも、同時に、t’に受け取られる。両パケットの受信時刻は、十分間に合うものである。というのは、各パケットが、PKT3に関連付けられた予期される再生時刻であるt”とPKTに関連付けられた予期される再生時刻であるt’の前に受け取られるからである。PKT3及び4は、伸縮なしで、予定どおり再生される。問題は、PKT5が、予期される再生時刻後の、時刻t’に受け取られるときに発生する。予期される再生時刻には、PKT5の代わりに消去が再生される。PKT5は、消去が再生し始まった後で、送れて到着する。
伸縮なしの第1のシナリオでは、PKT5はドロップされ、PKT6は、次の予期される再生時刻に、受け取られ、再生される。なお、この場合、PKT6は、再生に間に合うように受け取られたことに留意されたい。第2のシナリオでは、PKT5及びPKT5に続くすべてのパケットが遅延する場合、各パケットが予期される再生には間に合わずに到着し、消去のストリングを生じることがある。これらのシナリオのどちらでも、情報が失われる。すなわち、第1のシナリオではPKT5がドロップされ、第2のシナリオでは、PKT5及び後続のパケットが失われる。
代替として、IBA技術を使用すると、PKT5を次の予期される再生時刻に再生させることができ、後続のパケットがこの時点から続行する。IBAは、データの喪失を防ぐが、パケットのストリームを遅延させる。
かかる時間伸縮なしの再生は、通信システムにおけるエンドツーエンド遅延全体を増大させることがある。図14に示すように、パケット間遅延は、情報喪失、又は再生の遅延を生じ得る。
時間伸縮を実施することによって、PKT5がこれの予期される再生時刻の後で到着したときに、パケットが拡張され、消去が回避され得る。例えば、PKT4を拡張すると、再生を、20ミリ秒ではなく23ミリ秒で行わせることができる。PKT5は、これが受け取られたときに再生される。これは、(図14で説明している時間伸縮なしIBAありの再生の代替例に示すように)代わりに消去が送られた場合に再生されたはずの時刻より早い。消去を送る代わりにPKT4を拡張すると、再生品質の劣化がより少なくなる。よって、時間伸縮は、待ち時間低減のみならず、より良い全般的な再生品質を実現する。図14に示すように、PKT5に続くパケットは、時間伸縮を使うと、時間伸縮技術を使わない場合よりも早く再生される。この具体例では、時間伸縮が使用されるとき、PKT7が、時刻tに再生され、これは、時間伸縮なしの場合より早い。
時間伸縮の1つの適用は、変化する動作条件と、音声の伝送に際しての送信情報の特性の変化を考慮しながら再生品質を改善するものである。音声特性は変動し、有音部と無音期間があるため、目標デジッタバッファ遅延長、ならびに各種のデータごとの圧縮閾値及び拡張閾値は異なり得る。
図15に、ある有音部から別の有音部までのデジッタ遅延の差による、「無音圧縮」及び「無音拡張」の例を示す。図15では、影付きの領域120、124及び128は有音部を表し、影なしの領域122及び126は、受信情報の無音期間を表す。受け取られる際に、有音部120は、時刻tから開始し、時刻tに終了する。受信側で、デジッタバッファ遅延が導入され、したがって、有音部120の再生は、時刻t’に開始する。デジッタバッファ遅延は、時刻t’と時刻tの間の差として識別される。受け取られる際に、無音期間122は、時刻tに開始し、時刻tに終了する。無音期間122は、圧縮され、受け取られた無音期間122の元の期間より短い、時刻t’からt’までの無音期間132として再生される。有音部124は、発信元で、時刻tに開始し、時刻tに終了する。有音部104は、受信側で、時刻t’から時刻t’まで再生される。無音期間126(時刻tからtまで)は、再生時に受信側で無音期間136として拡張され、(t’−t’)は(t−t)より大きい。無音期間は、デジッタバッファがパケットをより早く再生する必要があるときに圧縮され、デジッタバッファがパケットの再生を遅延させる必要があるときに拡張され得る。一例では、無音期間の圧縮又は拡張が、音声品質のごくわずかな低下しか引き起こさない。よって、適応デジッタ遅延が音声品質を低下させずに達成され得る。図15の例では、適応デジッタバッファは、適応デジッタバッファによって識別され、制御されるように無音期間を圧縮し、拡張する。
なお、本明細書で使用する場合、時間伸縮とは、受信データの到着時刻及び長さに応答した再生の適応制御をいう。時間伸縮は、再生時のデータの圧縮、再生時のデータの拡張を使って、又は再生時のデータの圧縮と拡張両方を使って実施され得る。一例では、閾値を使って圧縮がトリガされる。別の例では、閾値を使って拡張がトリガされる。別の例では、圧縮のためのトリガと、拡張のためのトリガの2つのトリガが使用される。さらに別の例では、様々なレベルの時間伸縮、例えば、様々な速度での高速再生などを含む複数のトリガを用いることもある。
また、時間伸縮は、復号器内部で実行されてもよい。復号器時間伸縮を実行する技法は、2005年5月5日に出願された、「残差変更によるボコーダ内部の時間伸縮フレーム(Time Warping Frames Inside the Vocoder by Modifying the Residual)」という名称の、同時係属中の出願第11/123,467号に記載されている。
一例では、時間伸縮は、音声のセグメントを「マージする」方法を組み込んでいる。音声セグメントのマージは、少なくとも2つの連続する音声セグメントにおける音声サンプルを比較し、比較されたセグメント間に相関が見つかった場合、少なくとも2つの連続するセグメントの単一セグメントを作成することを伴う。音声のマージは、音声品質を保持しようとしながら行われる。音声品質を保持し、「クリック音」や「ポップ音」を含めて、ユーザにとっての品質を低下させる音などのアーチファクトの出力音声への導入を最小限に抑えることは、マージすべきセグメントを慎重に選択することによって達成される。音声セグメントの選択は、セグメント類似性又は相関に基づくものである。音声セグメントの類似性が大きいほど、結果として生じる音声品質は良好になり、音声アーチファクトを導入する可能性が低くなる。
図16に、時間の経過に対してグラフ化した音声信号を示す。縦軸は、信号の振幅を表し、横軸は、時間を表す。なお、音声信号は、特徴的なパターンを有し、音声信号の部分が時間の経過と共に反復することに留意されたい。この例では、音声信号は、時刻tからtまでの第1のセグメントを含み、これは、tからtまでの間の第2のセグメントとして反復する。かかるセグメントの反復が見られるとき、時刻tから時刻tまでのセグメントなど、セグメントの1つ又は複数が、サンプルの再生品質にほとんど、又は事実上全く影響を及ぼさずに除去され得る。
一例では、以下に示す式4を使って、2つの音声セグメントの間の関係が検出され得る。相関は、2つのセグメントの間の関係の強さの尺度である。式4は、関係の強さの尺度として絶対的で有界の相関係数(−1から+1まで)を提供し、低い負の数は、より強い関係、すなわち、より大きい相関を反映する高い正の数よりも弱い関係、すなわち、より小さい相関を反映する。式4の適用で「十分な類似性」が示される場合、時間伸縮が行われる。式4の適用でほとんど類似性が示されない場合、マージされた音声セグメントにアーチファクトが存在し得る。相関は、以下の式で与えられる。
Figure 2010226744
式4において、x及びyは、2つの音声セグメントを表し、mは2つのセグメント間の相関が計算される窓を表し、dは相関部分を表し、iはインデックスである。式4の適用が、各セグメントがアーチファクトを導入せずにマージされ得ることを示している場合、マージが、「追加/オーバーラップ」技法を使って行われ得る。追加/オーバーラップ技法は、比較されたセグメントを組み合わせ、2つの別々の音声セグメントから1つの音声セグメントを生成する。追加/オーバーラップを使った組み合わせは、以下に示す式5などの式に基づくものとすることができる。
Figure 2010226744
結果として生じるサンプルは、パルス符号変調(PCM)サンプルとすることができる。各PCMサンプルは、このPCMサンプルのビット長及びフォーマットを定義する所定のフォーマットを有する。例えば、16ビット符号付き数を、PCMサンプルを表すフォーマットとすることができる。式5の適用によって生じる追加/オーバーラップ技法は、セグメント1の第1のPCMサンプルとセグメント2の最後のPCMサンプルの間の円滑な遷移を提供するための重み付けを含む。式5において、「Rウインドウサイズ」は、参照窓内のPCMサンプルの数であり、「アウトセグメント」は、結果として生じる追加/オーバーラップセグメントのサイズである。「ウインドウサイズ」は参照窓サイズに等しく、「セグメント」は、目標セグメントサイズである。これらの変数は、サンプリング速度、音声の周波数内容、及び品質と計算の複雑さの間の所望のトレードオフに応じて決まる。
前述の追加/オーバーラップ技法を図17A及び17Bに示す。図17Aには、160PCMサンプルからなる音声セグメントが示されている。この例では、Rウインドウサイズが、PCMサンプル0〜47で表される。言い換えると、PCMサンプル0〜47は、サイズウインドウサイズの参照窓内のサンプル数に対応する。セグメントは、目標サーチ領域のサイズをいい、PCMサンプル10〜104で表される。この例では、PCMサンプル0〜47が、サンプル10〜104と、1度に1PCMサンプルずつ比較されて、参照サンプルと目標サーチ領域の間の最大の相関が検出される。最大相関が検出される目標サーチ領域内の場所を「オフセット」という。オフセットの点において、Rウインドウサイズは、Rウインドウサイズのサイズに対応するセグメントの部分と組み合わされ得る。PCMサンプル104〜160に対応する音声セグメントはそのままとされる。
図17Bでは、音声セグメントの最初のRウインドウサイズサンプルが音声セグメントの後続部分と、一度に1PCMサンプルずつ比較される。Rウインドウサイズと目標サーチ領域(セグメント)内のサンプルの対応する長さの間で最大相関が検出される場所が「オフセット」である。オフセットの長さは、音声セグメントの先頭から、Rウインドウサイズとセグメントの間の最大相関点までの距離である。最大相関が検出されると、Rウインドウサイズが、(オフセットの点において)対応する長さのセグメントとマージされる。言い換えると、Rウインドウサイズを、同じ長さのセグメントの部分に追加することによって追加/オーバーラップが行われる。これは、図示のようにオフセットの点において行われる。残りのサンプルは、図示のように、元のセグメントからコピーされる。結果として生じる音声セグメントは、残りのサンプルが元の音声セグメントからそのままコピーされ、図示のようにマージされたセグメントに付加されたものからなる。結果として生じるパケットは、オフセットの長さ分だけ、元のセグメントより短い。このプロセスを音声圧縮という。音声セグメントがより小さく圧縮されるほど、人が品質低下を検出し得る可能性も低くなる。
音声拡張は、デジッタバッファが少数の音声パケットを含むときに行われる。アンダーフローの確率は、デジッタバッファが少数のパケットを有する場合に増大する。デジッタバッファは、アンダーフローが発生するとき、復号器に消去を供給してもよい。しかしながら、これは、音声品質の低下をもたらす。かかる音声品質の低下を防ぐために、デジッタバッファ内の最後のいくつかのパケットの再生が遅延され得る。これは、パケットを拡張することによって達成される。
音声拡張は、音声セグメントの複数のPCMサンプルを反復することによって達成され得る。アーチファクトやピッチの平坦性を回避しつつ複数のPCMサンプルを反復することは、音声時間圧縮が行われるときよりも多くのPCM音声サンプルを処理することによって達成される。例えば、音声拡張を実施するのに使用されるPCMサンプルの数は、音声時間圧縮で使用されるPCMサンプルの数の2倍とすることができる。追加のPCMサンプルは、前に再生された音声のパケットから獲得され得る。
図18Aに、各パケット又は音声セグメントが160PCMサンプルの長さであり、「事前拡張」音声セグメントが生成される、音声拡張の一例を示す。この例では、2つの音声のセグメント、すなわち、「現在の」音声セグメントと「以前の」音声セグメントとが比較される。現在の音声セグメントの最初のRウインドウサイズPCMサンプルが、参照サンプルとして選択される。これらのRウインドウサイズサンプルは、最大相関(又はオフセット)の点が決定されている、音声の前のパケットのセグメントと比較される。RウインドウサイズPCMサンプルは、オフセット点における前のパケット内の対応するサイズのセグメントを用いて追加/オーバーラップされる。図18Aに示すように、前の音声セグメントから、追加/オーバーラップされたセグメントにサンプルの残りの部分をコピーし、付加することによって事前拡張音声セグメントが作成される。この場合、拡張音声セグメントの長さは、図18Aに示すように、事前拡張セグメントの長さ+現在の音声セグメントの長さである。この例では、PCMサンプルが、音声セグメントの先頭からオフセットされる。
別の例では、現在のパケット又は音声サンプルが、図18Bに示すように拡張される。参照サンプルRウインドウサイズは、現在の音声セグメントの先頭に位置する。Rウインドウサイズが、最大相関(オフセット)の点が突き止められるまで、現在の音声パケットの残りの部分と比較される。参照サンプルは、現在の音声セグメント内で最大相関を有することが分かっている対応するPCMサンプルを用いて追加/オーバーラップされる。次いで、拡張音声セグメントは、パケットの先頭から開始するPCMサンプルをオフセットの点にコピーし、追加/オーバーラップされたセグメントをこれに付加し、残りのPCMサンプルを、変更せずに、現在のパケットからコピーし、付加することによって作成される。拡張音声セグメントの長さは、オフセット+元のパケットの長さの和に等しい。
別の例では、音声が、図18Cに示すように拡張され、Rウインドウサイズが現在のパケット又は音声セグメント内に埋め込まれ、パケットの先頭では発生しない。Roffsetは、現在のパケットの先頭と、Rウインドウサイズが開始する点の間の距離に対応する音声セグメントの長さである。Rウインドウサイズは、最大相関の点において検出される現在のパケット内の対応するサイズのPCMサンプルを用いて追加/オーバーラップされる。次いで、拡張音声セグメントは、元の、又は現在のパケットの先頭から開始し、オフセットのところで終わるPCMサンプルをコピーし、追加/オーバーラップされたセグメントと、元のパケットからの残りのPCMサンプルを付加することによって作成される。結果として生じる拡張音声セグメントの長さは、元のパケットの長さ+オフセット−Roffsetサンプル、すなわち、前述のRoffset内のPCMサンプルの数である。
フィルタリングされた時間伸縮閾値
圧縮及び拡張の決定が動揺するのを回避するために、適用デジッタバッファ内に格納されているパケットの数が急速に変動するときには、一例では、適応デジッタバッファの状況、すなわち、適応デジッタバッファ内に格納されたパケットの数を評価するのに使用される変数を、サンプリング窓上でフィルタリングする。適応デジッタバッファの状況は、適応デジッタバッファ内に格納されているパケットの数とすることもでき、又は適応デジッタバッファ内に格納されているデータを評価するのに使用される任意の変数とすることもできる。1xEV−DOと呼ばれるIS−856であるバーストデータ配信をサポートするシステムにおいて、所与の受信側へのパケット配信は、順方向リンク上で時分割多重化され、受信側は、いくつかのパケットを1つのインスタンスにおいて受け取り、続いてしばらくの間全くパケットを受け取らないことがある。この結果、受信側の適応デジッタバッファにおいてデータがバーストとして受け取られることになる。受信データは、事実上、「バンドル」されることになり、時間的に近接して到着する2つ以上のパケットのインスタンスが生じ得る。かかるバンドルは、パケットの拡張と圧縮の間での動揺を生じやすく、適応デジッタバッファは、受信データの速度とバッファの状況に応じて時間伸縮命令を提供する。例えば、計算されるデジッタバッファの値(遅延又は長さ)が、有音部の開始時に40ミリ秒である例を考える。後刻、デジッタバッファ負荷は、拡張閾値を下回り、データパケットを拡張する決定を下すことになる。このパケットの再生の直後、3つのパケットのバンドルが到着する。到着データは、デジッタバッファサイズを埋めて、圧縮閾値を上回るようになる。これは、パケットを圧縮させることになる。パケットのバンドルの到着後は、しばらくの間、全くパケットが到着しないことがあるため、デジッタバッファは、再度枯渇し、パケットを拡張させることになり得る。拡張と圧縮の間でのこの種の切り換わりは、高率のパケットを時間伸縮させることになり得る。時間伸縮により信号情報が変更されるパケットのパーセンテージは小さい値に制限された方がよいので、これは望ましくない。
一例では、かかる動揺を、バンドルが、適応デジッタバッファの適応制御ならびにデータの時間伸縮及び再生に及ぼし得る影響を平滑化することによって回避する。この例では、いつ時間伸縮を行うべきか決定するに際して平均値を使用する。平均値は、かかる計算で使用される変数をフィルタリングすることによって計算される。一例では、圧縮及び拡張閾値は、デジッタバッファのサイズをフィルタリングし、又は平均することによって求められる。なお、バッファのサイズは、バッファの現在の状況を指すことに留意されたい。
バッファのサイズのフィルタリングされた値を、拡張閾値と比較することにより、より多数のアンダーフローがもたらされ得る。というのは、フィルタリングされていない値を使った場合には拡張されたはずのパケットが、フィルタリングされた値を使うと拡張されないからである。他方、フィルタリングされた値を圧縮閾値と比較すると、ほとんど、又は事実上全く悪影響を受けずに、大部分の動揺(又は時間伸縮制御間の切り換わり)を抑制するのに役立ち得る。したがって、圧縮及び拡張閾値は、異なるやり方で処理され得る。
一例では、適応デジッタバッファのサイズの瞬間値が、拡張閾値に対してチェックされる。これに対して、デジッタバッファのフィルタリングされた値は、圧縮閾値に対してチェックされる。1つの構成では、無限インパルス応答(IIR)フィルタを使って、適応デジッタバッファの平均サイズを決定し、適応デジッタバッファは、例えば、60ミリ秒ごとに1回など、周期的に再計算され得る、フィルタリングされた値を有する。フィルタ時間定数は、バンドル統計から導出されてもよく、これの1xEV−DO Rev.Aでの一例は、60ミリ秒とすることができる。バンドル統計がフィルタ時間定数を導出するのに使用されるのは、バンドル統計が、動作時に瞬間デジッタバッファサイズがどのように変動するかと強い相関性を有するためである。
パケットの欠落による拡張
前述のように、適応デジッタバッファ、及び適応デジッタバッファを制御し、受信データの時間伸縮を制御する様々な方法は、特定のシステム仕様及び動作条件に適合させることができる。ハイブリッド自動再送要求(H−ARQ)方式など、性能を向上させる反復要求方式を実施する通信システムでは、かかる反復処理は、音声パケットがどのようにして拡張されるかに関する含意を有する。具体的には、H−ARQは、パケットを、並べ替えて(すなわち乱れた順序で)到着させることがある。ある長さと、目標デジッタバッファ長の50%として与えられる拡張閾値TExpandのデジッタバッファを示す図19を考察する。現在再生中のパケットは、連番20、すなわちPKT20を有する。デジッタバッファは、それぞれ、PKT21、PKT23及びPKT24と識別される、連番21、23及び24を有する3つのパケットを含む。再生ユーティリティが、PKT20の再生後に、次のパケットを要求するとき、拡張閾値はトリガしない。というのは、デジッタバッファが、バッファ長を、計算されるデジッタバッファ長の50%を超える長さに維持するのに十分なパケットを含むからである。したがって、本例では、PKT21が拡張されない。これは、PKT21が再生を終了する時刻までPKT22が到着しない場合、アンダーフローを引き起こし得る。というのは、パケットは順次に再生され、したがって、再生ユーティリティは、PKT22の前にPKT23を再生しない可能性があるからである。拡張閾値がトリガしなかった場合であっても、一例では、受信パケットの不連続を予期し、PKT22が到着するまでより長い時間を許容するようにPKT21を拡張するよう選択する。このようにして、PKT21の拡張は、欠落パケット及び消去を回避し得る。よって、パケットは、デジッタバッファ長が拡張閾値TExpandを上回る場合でさえも拡張され得る。
パケットが拡張されるべき条件は、改善され得る。前述のように、パケットは、デジッタバッファサイズが拡張閾値を下回る場合に拡張され得る。別のシナリオでは、パケットは、次の連番を有するパケットがデジッタバッファに存在しない場合に拡張され得る。
前述のように、デジッタバッファ遅延は、有音部の開始時に計算され得る。これだけに限らないが、チャネル条件及び付加条件を含むネットワーク条件は、有音部の間、特に、長い有音部の間に変化することがあるため、一例は、有音部の間にデジッタバッファ遅延を変更するように構成される。よって、前述のデジッタバッファ式は、有音部の間、CHANGE_JITTER_TIME秒ごとに、周期的に再計算され得る。代替として、変数は、動作条件、負荷、無線インターフェース指示又は他のイベントにおける有意な変化など、トリガイベント時に再計算されてもよい。一例では、CHANGE_JITTER_TIMEの値は、0.2秒(200ミリ秒)に設定され得る。
時間伸縮閾値、例えば圧縮及び拡張閾値などは、有音部の間にどのようにして値を変更すべきかに関する指針を提供し得る。通常の動作とは、適応デジッタバッファ状況が圧縮閾値と拡張閾値の間の、目標デジッタバッファ長前後であるときの受信側の動作を指す。各閾値は、トリガとして働く。閾値に達し、又は閾値に違反したとき、適応デジッタバッファ内のパケットは、閾値に応じて拡張され、又は圧縮され得る。適応デジッタバッファのサイズは、パケットを受信しながら拡張し、又は収縮し続けてもよい。この適応デジッタバッファサイズの一定の変化は、通信の間に拡張及び圧縮閾値に絶えず近づきつつあることを示し得る。一般に、システムは、適応デジッタバッファサイズを、安定状態とみなされる、拡張閾値と圧縮閾値の間に保持しようとする。安定状態では、適応デジッタバッファのサイズが変更されず、パケットの受信に際しての変更、よって、適応デジッタバッファサイズの変更が、自動的に、圧縮閾値又は拡張閾値をトリガさせ、新しい適応デジッタバッファ遅延が達成されるまで、それぞれ、パケットを圧縮又は拡張させてもよい。このシナリオでは、適応デジッタバッファ目標遅延長は、CHANGE_JITTER_TIMEに従って更新される。デジッタバッファの実際のサイズは、必ずしも、計算され得るとは限らない。というのは、デジッタバッファサイズは、時間伸縮拡張閾値又は圧縮閾値のどちらかに到達した結果としてトリガされたときに自動的に変化するからである。一例では、CHANGE_JITTER_TIMEの値は、0.2(200ミリ秒)に設定され得る。
ハンドオフ事前伸縮
ハンドオフは、通常、短期間にわたるカバレージの喪失によって達成される。ハンドオフが間近に迫っているとき、ATは、不良なチャネル条件及びパケット遅延の増大をこうむることがある。一例では、ハンドオフ条件を、音声パケットに時間伸縮を適用する特別なやり方で処理する。ATが新しい基地局にハンドオフしようとするや否や、この情報を使ってデジッタバッファが制御され得る。このハンドオフ信号を受け取り次第、ATは、図8Bの事前伸縮モード244に示すような、「事前伸縮」モードに入る。このモードでは、ATは、2つの条件の1つが満たされるまでパケットを拡張する。第1の条件の下では、デジッタバッファは、パケットを蓄積し続け、累積的な拡張の結果として、PRE_WARPING_EXPANSIONのデジッタバッファサイズがもたらされる。言い換えると、パケットの拡張は、PRE_WARPING_EXPANSIONに到達するまで実行される。代替として、第2の条件の下では、期間WARPING_TIMEが満たされている。ハンドオフ信号又は減量指標を受け取り次第タイマが開始する。タイマは、WARPING_TIMEで満了する。これら2つの条件の一方が満たされた後、ATは、事前伸縮モードを終了する。事前伸縮モードの間、(後述する)End_Talkspurt条件が満たされない限り、どんなパケットも圧縮されない。というのは、デジッタバッファが、パケットを一定の間隔で再生ユーティリティに送るのに十分なパケットを蓄積しようとするからである。パケットが一定の間隔、例えば、20ミリ秒間隔で期待される例では、PRE_WARPING_EXPANSIONの値は、40ミリ秒に設定され、WARPING_TIMEの値は、100スロット(166ミリ秒)に等しくなるように設定され得る。
ハンドオフは、減量イベントの1つの形にすぎない。デジッタバッファは、ハンドオフ又は他の種類の減量を処理する機構を実施してもよい。このために必要とされる情報は、減量を処理するのに、どの程度のデジッタ超過が必要とされるか(PRE_WARPING_EXPANSION)、及びデジッタバッファが、どの程度の時間この減量回避モードを処理し続けるか(WARPING_TIME)である。
遅延アンダーフローのカウント
前述の適応デジッタバッファ式は、遅延アンダーフローのパーセンテージを目標とするように設計されているため、遅延アンダーフローの数を正確に測定することが望ましい。アンダーフローが発生するときには、アンダーフローがパケット遅延のために引き起こされたか、それともネットワーク内のどこかで、すなわち、伝送パス内でドロップされたパケットによって引き起こされたかは分からない。したがって、アンダーフローの種類を正確に説明することが求められる。
一例では、RTP/UDP/IPを使った通信のために、各パケットが、RTP連番を含む。連番は、受信パケットを、これらが送信された順序に整列させるのに使用される。アンダーフローが発生したとき、アンダーフローを生じさせたパケットのRTP連番は、メモリアレイなどのメモリに格納され得る。識別された連番を有するパケットが後で到着した場合、このアンダーフローは、「遅延アンダーフロー」としてカウントされる。
「遅延アンダーフロー率」は、アンダーフローの数と合計受信パケットの数との比である。アンダーフローの数も受信パケットの数も、デジッタバッファ式が更新されるたびにゼロに設定される。
有音部の先頭と末尾の改善
2人のユーザの間の会話の時間軸を示す図20を考察する。このグラフでは、縦軸が時間を表す。各ユーザは、有音部及び無音期間を送信し、次いで、これらが相手のユーザによって受け取られる。明確にするために、影付きブロックセグメント400及び410は、ユーザ1の有音部(音声セグメント)を表すものとする。影なしブロックセグメント405は、ユーザ2の有音部を表すものとする。時間軸上の有音部の外部の領域は、ユーザが話しておらず、相手のユーザの話を聴いており、又は無音期間を受け取っている可能性のある時間を表す。セグメント400がユーザ2側で再生される。音声セグメント400がユーザ2側で再生し終わると、ユーザ2は、話し始める前に短期間待機する。続いて、ユーザ2の第1の音声セグメント405の先頭が、ユーザ1によって聞き取られる。ユーザ1によって知覚される会話往復遅延(RTD)は、ユーザ1が話終えたときから、ユーザ1がユーザ2の音声セグメントの先頭を聞いた時刻までの間隙である。会話RTDは、一方向エンドツーエンド遅延ではなく、ユーザ特有の、ユーザの側から見て有意なものである。例えば、会話RTDがユーザ1にとって大きすぎる場合、この会話RTDは、ユーザ1に、ユーザ2の音声セグメントが再生されるのを待たずに、再度話始めるよう促すことになる。これは、会話の流れを断ち切り、会話品質低下として知覚される。
ユーザ1によって経験される会話RTDは、様々に変更され得る。一例では、ユーザ1の音声セグメントの末尾がユーザ2に対して再生される時刻が変更され得る。第2の例では、ユーザ2の音声セグメントの先頭がユーザ1に対して再生される時刻が変更される。なお、有音部の先頭及び末尾の遅延だけが、会話の音声品質に影響を及ぼすことに留意されたい。1つの設計目標は、有音部の先頭及び末尾の遅延をさらに低減することである。
一例では、目標は、有音部の先頭を改善することである。この改善は、ユーザ1の有音部の第1のパケットを、聞き手であるユーザ2が、このパケットを、デフォルトの適応デジッタバッファ遅延が実施された場合よりも早く受け取るように操作することによって、達成され得る。適応デジッタバッファ内のパケットに適用される遅延は、デフォルトの適応デジッタバッファ遅延、計算された値、又は、聞き手が特定の時刻にパケットを受け取ることになるように選択された値とすることができる。一例では、有音部の第1のパケットのタイミングは、各受信有音部の開始時に適応デジッタバッファ遅延を再計算することによって変動する。有音部の第1のパケットに適用される適応デジッタバッファ遅延が低減されるとき、この第1のパケットは、聞き手にとって早められる。適用される遅延が増大されるとき、第1のパケットは、聞き手によって、より遅い時刻に受け取られる。第1のパケットのデフォルトのデジッタバッファ遅延は、計算されたデジッタバッファ遅延より小さいことも、大きいこともある。図示の例では、各有音部の第1のパケットのデジッタ遅延は、秒単位で測られる、MAX_BEGINNING_DELAYという値によって制限される。この値は、再計算されたデジッタバッファ遅延とすることも、聞き手が指定された時刻にパケットを受け取るように設計された遅延とすることもできる。MAX_BEGINNING_DELAYの値は、実際に計算されたデジッタバッファ遅延より小さくてもよい。MAX_BEGINNING_DELAYがデジッタバッファの計算された遅延より小さく、有音部の第1のパケットに適用されるとき、有音部の後続パケットは、自動的に拡張される。後続パケットの自動拡張が行われるのは、デジッタバッファが、パケットを再生するのと同じ速度でパケットを受け取らない可能性があるからである。デジッタバッファは、パケットを再生する際に、サイズが減少し、拡張閾値に接近する。拡張閾値に到達すると、拡張がトリガされ、デジッタバッファが拡張閾値を十分に上回る着信パケットを受け取るまで、有音部中の後続パケットが拡張される。MAX_BEGINNING_DELAY値を実施することによって、有音部の第1のパケットが、聞き手によってより早く受け取られると共に、後続パケットが拡張される。聞き手は、最初のパケットをより早く受信することで満足する。有音部の先頭を改善することは、アンダーフローの数をわずかに増大させる可能性を有する。しかしながら、MAX_BEGINNING_DELAYの適切な値によってこの影響が軽減される。一例では、MAX_BEGINNING_DELAYの値が、実際のデジッタ目標のある一定の割合として計算される。例えば、TARGET DE−JITTER BUFFER LENGTHの0.7のMAX_BEGINNING_DELAYの値は、アンダーフローのごくわずかな増大しかもたらさない。別の例では、MAX_BEGINNING_DELAYの値を40ミリ秒などの固定数とすることができ、これは、例えば、1xEV−DO Rev Aをサポートするシステムなどでは、アンダーフローのごくわずかな増大しかもたらさない。
有音部中の後続パケットの拡張は、全体的な音声品質を低下させない。これは、図20に示されている。図20では、ユーザ2がユーザ1からの有音部の第1のパケットを受け取り、初期又は「一方向遅延」がTd1に制限されている。図示のように、音声セグメント400は、拡張も圧縮もなしで、ユーザ2側で受け取られるが、音声セグメント405は、受信時に、ユーザ1側で圧縮される。
図21は、有音部の先頭への改善を示す流れ図である。まず、ステップ510で、システムが無音モードであるかどうか判定される。無音モードは、有音部の間の無音の期間、又はパケットがデジッタバッファによって受け取られていない期間に対応し得る。システムが無音モードにない場合、プロセスは終了する。無音モードにある場合、ステップ520で、目標デジッタ長推定が行われる。次いで、ステップ530で、システムが改善されるかどうか判定される。改善は、一例によれば、目標適応デジッタ長が、一例ではMAX_BEGINNING_DELAYなどの改善係数として与えられる所与の値より大きいことを示す。システムは、ステップ540で、改善係数又は目標長のある一定の割合に相当する期間待機してから再生する。システムが改善されない場合、システムは、ステップ550で、新しい目標が再生し始めるのを待つ。新しい目標の値は、計算される目標デジッタバッファ長又は最大デジッタバッファ長とすることができる。
また、図22に、有音部の先頭の改善も示す。プロセス580は、有音部の識別時に開始するものとして示されている。2つのシナリオ、i)時間伸縮ありと、ii)時間伸縮なしを考察する。この例では、20ミリ秒の長さの音声パケットが使用される。任意の長さの音声パケットが実施され得る。ここで、適応デジッタバッファは、パケットを再生する前に、120ミリ秒間待機する。この値が適応目標デジッタバッファ長であり、ステップ582で、適応デジッタバッファ目標推定器から受け取られる。本例では、120ミリ秒は、時間伸縮なしで、それぞれ20ミリ秒の長さの6パケットを受け取ることに相当する。584で時間伸縮が使用されない場合、6パケットが120ミリ秒間で提供される。したがって、第1のシナリオでは、デジッタバッファは、6パケットの受信後に、パケットを再生し始めることになる。これは、時間的に、120ミリ秒の遅延に相当する。第2のシナリオでは、時間伸縮が実施され、デジッタバッファは、受け取った最初の4パケットを拡張し、4パケットを受け取り次第パケットを再生し始め得る。よって、この場合の80ミリ秒のデジッタバッファ遅延が、推定される120ミリ秒のデジッタバッファ遅延より小さくても、最初のいくつかのパケットを拡張することによって潜在的アンダーフローはが回避され得る。言い換えると、パケットの再生は、時間伸縮ありの場合、時間伸縮なしの場合よりも早く開始し得る。よって、時間伸縮は、アンダーフローの数に影響を及ぼさずに、有音部の先頭を改善するのに使用され得る。
別の例では、有音部の末尾が改善され得る。これは、有音部の最後のいくつかのパケットを圧縮することによって達成され、よって、エンドツーエンド遅延が低減される。言い換えると、有音部の末尾の遅延がより縮小され、第2のユーザには、第1のユーザからの話がより速く聞こえる。有音部の末尾の改善は図23に示されている。図23で、1/8レートのパケットは、有音部の末尾を示す。これは、音声データの送信に使用され得る、フルレート(レート1)、ハーフレート(レート1/2)又はクォータレート(レート1/4)のパケットとは異なる。また、他の速度のパケットも、無音期間の間、又は有音部の末尾での送信に使用され得る。音声通信における無音標識パケットとしての1/8レートパケットの実施については、「背景雑音情報の不連続送信及び正確な再生の方法(METHOD FOR DISCONTINUOUS TRANSMISSION AND ACCURATE REPRODUCTION OF BACKGROUND NOISE INFORMATION)」という名称の、優先日2005年2月1日の同時係属中の米国特許出願第11/123,478号明細書に詳細に記載されている。
図23に示すように、時間伸縮なしでは、パケットNからN+4までが、100ミリ秒で再生される。有音部の最後のいくつかのパケットを圧縮することによって、同じパケットNからN+4までが、100ミリ秒ではなく70ミリ秒で再生され得る。時間圧縮が実施されるときに、音声の品質は、ほとんど、又は全く劣化しない。有音部の末尾への改善では、受信側が、有音部の末尾を識別し、末尾に接近しつつあるときを予期する知識を有しているものと仮定する。
一例では、リアルタイムトランスポートプロトコル(RTP)を介して音声パケットを送っている間に、「有音部の末尾」標識が、各有音部の最後のパケットに設定され得る。パケットが再生のために提供されているとき、デジッタバッファ内のパケットは、「有音部の末尾」標識の有無をチェックされる。パケットの1つでこの標識が設定されており、再生のために提供されている現在のパケットと「有音部の末尾」パケットの間に欠落した連番がない場合、再生のために提供されているパケットが圧縮され、現在の有音部の後のすべてのパケットも圧縮される。
別の例では、システムが有音部にあって、1/8レートのパケット又は無音標識記述(SID)ビットが設定されているパケットが再生ユーティリティに配信された場合に、システムが無音に遷移する。1/8レートのパケットは、これのサイズをチェックすることによって検出され得る。SIDビットは、RTPヘッダで搬送される。システムは、システムが無音部にあって、1/8レートでもなく、SIDビットも設定されていないパケットが再生のために配信された場合に、有音部に遷移する。なお、一例では、本明細書で提示する適応デジッタバッファリング方法が、システムが有音状態にあるときに実行され、無音期間には無視され得ることに留意されたい。
なお、この方法は、後で到着した重複するパケットを正しく廃棄し得ることに留意されたい。重複するパケットが到着した場合、これは、そのまま廃棄されることになる。というのは、パケットの最初のインスタンスが適切な時刻に再生され、これのシーケンスが、「遅延アンダーフロー」候補を含む配列に保存されなかったからである。
一例では、RTPを介して音声パケットを送っている間に、「有音部の末尾」標識が、各有音部の最後のパケットで設定され得る。パケットが再生のために提供されているとき、デジッタバッファ内のパケットは、「有音部の末尾」標識の有無をチェックされる。この標識がパケットの1つで設定されており、再生のために提供されている現在のパケットと、「有音部の末尾」パケットの間に欠落した連番がない場合、再生に提供されているパケットは圧縮され、現在の有音部の後のすべてのパケットも圧縮される。
一例による、有音部の末尾の改善を示す流れ図を図24に示す。ステップ600で新しいパケットが開始する。ステップ605で、デジッタバッファ長が圧縮閾値以上である場合、ステップ635で圧縮指示が生成され、ステップ600でテールが新しいパケットに提供される。ステップ605で、デジッタバッファが圧縮閾値未満である場合、ステップ610で、デジッタバッファ長が拡張閾値以下であるかどうか判定される。そうである場合、ステップ615で、テールが、無音期間又は有音部の末尾を表し得るパケットレートに等しいかどうか判定する。一例では、一連の1/8レートパケットが、無音期間に、又は有音部の末尾に、一定の間隔、例えば、20ミリ秒間隔で送られ得る。図24では、ステップ615で、テールが1/8レートパケットに等しくないと判定された場合、ステップ620でセグメントが拡張され、ステップ600で新しいパケットに戻る。ステップ625では、テールが1/8に等しいかどうか判定する。ステップ625で、テールが1/8レートに等しい場合、ステップ635で圧縮指示が生成される。1/8レートに等しくない場合、ステップ630で、再生は、どんな時間伸縮もなしの、通常の再生になる。
時間伸縮品質オプティマイザ
いくつかの連続するパケットが圧縮される(又は拡張される)とき、これは、オーディオを著しく加速(又は減速)させ、品質低下を引き起こし得る。かかる劣化は、時間伸縮パケットの間隔を空ける、すなわち、ある時間伸縮パケットに続けて、いくつかの非時間伸縮パケットを、別のパケットが伸縮される前に置くことによって回避され得る。
前述の伸縮パケットの間隔空けを拡張に適用すると、通常は拡張されるはずのいくつかのパケットを拡張させないようにすることができる。これは、デジッタバッファのパケットが枯渇するときにパケットの拡張が実行されるため、アンダーフローをもたらし得る。よって、一例では、前述の伸縮パケットの間隔空けは、圧縮パケットに適用されてもよい。すなわち、圧縮パケットの後、別のパケットが圧縮される前に、いくつかの圧縮されないパケットを続けさせてもよい。このような、2つの圧縮パケット間の圧縮すべきでないパケットの数は、通常、2から3に設定され得る。
時間伸縮をトリガする条件の組
本明細書で説明するのは、音声パケットの時間伸縮(拡張/圧縮)をトリガするいくつかの条件についてである。以下は、パケットが圧縮されるべきか、拡張されるべきか、それともどちらでもないか決定する(擬似コードの形の)規則の組み合わせである。
If(事前伸縮(ハンドオフ検出)フェーズにあり、かつ有音部の末尾が検出されず、かつDEJITTER_TARGET+PRE_WARPING EXPANSIONに到達していない)
パケットを拡張する
End If
Else
If(有音部の末尾が検出された)
圧縮する
End If
Else
If(圧縮閾値がトリガされた)
圧縮する
End If
Else If(拡張閾値がトリガされた、又は、待ち行列に次のパケットがない)
拡張する
End If
End If
End If.
図25に、復号器機能と結合された従来のデジッタバッファの実現形態を示す。図25で、パケットは、20ミリ秒間隔でデジッタバッファに到着すると期待されている。この例では、パケットが、不規則な間隔で、すなわち、ジッタを伴って到着することが見て取れる。デジッタバッファは、デジッタバッファが、20ミリ秒など一定の間隔でパケットを送出し始めた後で、枯渇しないように、特定のデジッタバッファ長に到達するまでパケットを蓄積する。必要とされるデジッタバッファ長において、デジッタバッファは、20ミリ秒の一定間隔でパケットを再生し始める。復号器が、これらのパケットを一定の間隔で受け取り、各パケットを、1パケット当たり20ミリ秒の音声に変換する。代替例では、他の時間間隔も選択し得る。
これに対して、図26に、時間伸縮をサポートしている適応デジッタバッファの例を示す。この場合、パケットは、不規則な間隔で適応デジッタバッファに到着する。しかしながら、この場合、目標デジッタバッファ長は、ずっと小さい。これは、デジッタバッファが枯渇し始めると、時間伸縮がパケットを拡張させて、適応デジッタバッファが補充される時間が考慮されるからである。復号器は、適応デジッタバッファが枯渇し始めるとパケットを拡張し、適応デジッタバッファが過剰なパケットを蓄積しはじめるとパケットを圧縮し得る。適応デジッタバッファから、音声パケットの不均等な配信が、復号器及び時間伸縮ユニットに入力されることがわかる。これらのパケットに、不規則な間隔で到着することが許容されるのは、時間伸縮を用いれば、復号器が、元のパケットの到着時刻に応じて、各パケットを異なる長さの音声パケットに変換するからである。例えば、この例では、復号器は、各パケットを、1パケットあたり15〜35ミリ秒の音声に変換する。パケットが時間伸縮によってより早く再生され得るため、必要なバッファサイズがより小さくなり、結果としてネットワークにおける待ち時間がより短くなる。
図27は、一例によるATを示すブロック図である。前述の実施形態に示すように、適応デジッタバッファ706、時間伸縮制御ユニット718、受信回路714、プロセッサ722の制御、メモリ710、送信回路712、復号器708、H−ARQ制御720、符号器716、音声処理724、有音部識別726、誤り訂正704が相互に結合され得る。加えて、これらは、図27に示す通信バス702を介しても結合され得る。
図28に、パケットがデジッタバッファによって受け取られ、最終的に、スピーカによって再生される一例におけるパケット処理を示す。図示ように、パケットがデジッタバッファで受け取られる。デジッタバッファは、復号器からパケット要求を受け取り次第、パケットを及び時間伸縮情報を復号器に送る。復号器は、出力ドライバからの要求があり次第、出力ドライバにサンプルを送る。
デジッタバッファ内の入力コントローラは、着信パケットを追跡し、着信パケットに誤りがあるかどうか指示する。デジッタバッファは、連番を有するパケットを受け取り得る。例えば、着信パケットが、前のパケットの連番より低い連番を有するときに、入力コントローラによって誤りが検出され得る。図28の入力コントローラ内に位置する分類ユニットが、着信パケットを分類する。分類ユニットによって定義される様々なカテゴリは、「良好なパケット」、「遅延パケット」、「不良なパケット」などを含み得る。また、入力制御ユニットは、パケットを比較し、この情報をデジッタバッファコントローラに送ってもよい。
図28に示すデジッタバッファコントローラは、デジッタバッファの入力及び出力コントローラからの双方向入力を受け取る。デジッタバッファコントローラは、入力コントローラから、受け取られる良好なパケットの数、受け取られる不良なパケットの数といった、着信データの特性を指示するデータを受け取る。デジッタバッファは、この情報を使って、デジッタバッファが縮小し、又は拡大する必要があるかを決定し、これによって、時間伸縮コントローラへの圧縮又は拡張信号が生じ得る。デジッタバッファコントローラ内のパケット誤り率(PER)ユニットが、PER遅延を計算する。デジッタバッファの出力コントローラは、デジッタバッファにパケットを要求する。また、デジッタバッファの出力コントローラは、再生された最後のパケットが何であったかも指示し得る。
復号器は、デジッタバッファにパケット要求を送り、要求に応じてデジッタバッファからパケットを受け取る。復号器内の時間伸縮コントローラユニットが、デジッタバッファの出力コントローラから時間伸縮制御情報を受け取る。時間伸縮制御情報は、パケットが圧縮されるべきか、拡張されるべきか、それともそのままにされるべきか指示する。復号器によって受け取られるパケットは、復号化され、音声サンプルに変換される。次いで、出力ドライバ内のバッファから要求があり次第、サンプルが出力ドライバに送られる。出力ドライバからのサンプル要求は、復号器内の出力コントローラによって受け取られる。
位相整合
前述のように、パケットをこれの予期される再生時刻後に受け取ると、遅延パケットの代わりに消去が再生されることになり得る。適応デジッタバッファで消去又は欠落したパケットを受け取ると、復号化音声の不連続を生じさせることがある。適応デジッタバッファによって潜在的な不連続が認識されると、適応デジッタバッファは、復号器に、位相整合を実行するよう要求し得る。図28に示すように、適応デジッタバッファ750は、出力コントローラ760から入力を受け取る位相整合コントローラを含み得る。位相整合制御情報は、復号器762に位置し得る位相整合ユニットに送られる。一例では、位相整合制御情報は、「位相オフセット」及び「ランレングス」情報を含み得る。位相オフセットは、復号器が復号化しているパケットの数と、符号器が符号化しているパケットの数の差である。ランレングスは、復号器が、現在のパケットを復号化する直前に復号化している連続した消去の数をいう。
一例では、位相整合と時間伸縮が、両方とも、共通の制御コード又はソフトウェアを有する復号器で実施される。一例では、復号器が、以下のように波形補間を実施する。
a)時間伸縮も位相整合も使用されない場合、ボコーディングが、160サンプルでの波形_補間を使って行われる。
b)時間伸縮が使用され、位相整合が使用されない場合、ボコーディングが、Nを1又は2とし得る、(160+/−N*ピッチ周期)サンプルでの波形_補間_復号化を使って行われる。
c)時間伸縮が使用されず、位相整合が使用される場合、ボコーディングが、Δを位相整合の量とする、(160−Δ)サンプルでの波形_補間_復号化を使って行われる。
d)位相整合と時間伸縮の両方が使用される場合、ボコーディングが、Δを位相整合の量とする、(160−Δ+/−N*ピッチ周期)サンプルでの波形_補間_復号化を使って行われる。
出力ドライバへのクロック入力が、出力ドライバ内のバッファによってどれほどの頻度でデータを要求されるか決定する。これは、システムにおけるメインクロックであり、多種多様なやり方で実施され得る。システムの主クロックは、PCMサンプルのサンプリング速度によって導出され得る。例えば、狭帯域音声が送られている場合、システムは、毎秒8000PCMサンプル(8KHz)を再生する。このクロックがシステムの残りの部分を駆動してもよい。1つの手法は、オーディオインターフェース770に、必要とされるときに復号器により多くのサンプルを要求させることである。別の手法は、復号器/時間伸縮を独立して動作させることであり、このモジュールは、以前にいくつのPCMサンプルが配信されたか知っているので、次により多くのサンプルを提供すべきときを知っている。
復号器762、又はオーディオインターフェース制御ユニット810に、スケジューラが位置していてもよい。オーディオインターフェース制御ユニット810に位置しているとき、スケジューラは、次のパケット要求を、受け取ったPCMサンプルの数に基づかせる。スケジューラが復号器に位置しているとき、スケジューラは、tミリ秒ごとにパケットを要求し得る。例えば、復号器スケジューラは、2ミリ秒ごとに適応デジッタバッファ750にパケットを要求し得る。復号器で時間伸縮が使用可能とされていない場合、又は復号器762に時間伸縮ユニットが位置していない場合、スケジューラは、オーディオインターフェース制御ユニット770に、1パケット中の正確なサンプル数に対応するサンプルの組を送る。例えば、オーディオインターフェースユニット770が2ミリ秒ごとにサンプルを要求する場合、復号器の出力コントローラ766は、16PCMサンプルを送る(1パケットは、8Khzのサンプリング速度において、20ミリ秒160サンプルの音声データに対応する)。言い換えると、時間伸縮コントローラが復号器の外部にあるとき、復号器の出力は、通常のパケット/サンプル変換である。オーディオインターフェースユニット770は、サンプルの数を、復号器が時間伸縮を実行した場合に受け取られたはずのサンプル数に変換する。
別のシナリオでは、時間伸縮コントローラが復号器内に位置しており、時間伸縮が使用可能とされているとき、圧縮モードでは、復号器は、より少ないサンプルを出力し、拡張モードでは、復号器は、より多くのサンプルを出力し得る。
図30に、さらに、スケジューリング機能が復号器によって行われる場合のシナリオを示す。ステップ902で、復号器がデジッタバッファにパケットを要求する。ステップ904でパケットが受け取られる。ステップ906で、パケットが「N」サンプルに変換される。生成された「N」サンプルは、ステップ908でオーディオインターフェース制御ユニットに配信され、ステップ910で、次のパケット要求がNの関数としてスケジュールされる。
図31に、復号器外部の、オーディオインターフェース制御ユニットにおけるスケジューリングを示す。オーディオインターフェースユニットは、まず、ステップ1002で、PCMサンプルの組を要求する。ステップ1004で、要求されたPCMサンプルが受け取られ、ステップ1006で、次のパケット要求がNの関数としてスケジュールされる。
時間伸縮標識は、時間伸縮なし標識など、適応デジッタバッファからの命令の一部とすることができる。図32に、スケジューリングが、復号器の外部、例えば、オーディオインターフェース制御ユニットなどで計算される時間伸縮ユニットを示す。パケットの種類、時間伸縮標識及び行われるべき伸縮の量が、時間伸縮ユニットに入力される。
図33に、スケジューリングが復号器内の時間伸縮ユニットで計算される時間伸縮ユニットを示す。時間伸縮ユニットへの入力は、パケットの種類、時間伸縮標識及び行われるべき伸縮の量を含む。伸縮の量及びイネーブルが、時間伸縮ユニットの品質最適化ユニットに入力される。時間伸縮情報が出力される。
本明細書では、本発明の特定の例について説明しているが、当業者は、本発明の概念を逸脱することなく、本発明の変形を考案することができる。例えば、本明細書の教示は、回線交換網要素に言及しているが、パケット交換ドメインネットワーク要素にも等しく適用され得る。また、本明細書での教示は、認証トリプレット対だけに限定されず、2つのSRES値(通常フォーマットの1つと、本明細書で開示するより新しいフォーマットの1つ)を含む単一のトリプレットの使用にも適用することができる。
情報及び信号が、多種多様な技術及び技法のいずれを使って表されてもよいことを当業者は理解するであろう。例えば、上記の説明を通して参照され得るデータ、命令、コマンド、情報、信号、ビット、記号、及びチップは、電圧、電流、電磁波、磁界又は磁性粒子、光学界又は光学粒子、又はこれらの任意の組み合わせによって表され得る。
さらに、本明細書で開示する例に関連して説明している様々な例示的論理ブロック、モジュール、回路、方法及びアルゴリズムが、電子回路ハードウェア、コンピュータソフトウェア、又は両者の組み合わせとして実施され得ることも、当業者は理解するであろう。このハードウェアとソフトウェアの交換可能性を明確に説明するために、本明細書では、様々な例示的コンポーネント、ブロック、モジュール、回路、方法及びアルゴリズムを、これらの機能の観点から一般的に説明している。かかる機能がハードウェアとして実施されるか、それともソフトウェアとして実施されるかは、システム全体に課せられる個々の用途及び設計制約条件によって決まる。当業者は、説明している機能を、各個別用途ごとに様々なやり方で実施し得るが、かかる実施に際しての決定は、本発明の範囲からの逸脱を生じるものと解釈されるべきではない。
本明細書で開示する例に関連して説明している様々な例示的論理ブロック、モジュール、及び回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)又は他のプログラマブル論理回路、ディスクリートゲート又はトランジスタ論理、ディスクリートハードウェア部品、又は本明細書で説明する機能を実行するように設計されたこれらの任意の組み合わせを用いて実施され、又は実行され得る。汎用プロセッサは、マイクロプロセッサとすることもできるが、代替として、プロセッサは、任意の通常のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械とすることもできる。また、プロセッサは、コンピュータ装置の組み合わせ、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと連動する1つ又は複数のマイクロプロセッサ、又はこのような他の任意の組み合わせとして実施されてもよい。
本明細書で開示する例との関連で説明している方法又はアルゴリズムは、直接ハードウェアとして、プロセッサによって実行されるソフトウェアモジュールとして、又はこれら2つの組み合わせとして実施され得る。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、取り外し可能ディスク、CD−ROM、又は当分野で知られている他の任意の形の記憶媒体とすることができる。記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体は、プロセッサと一体とすることもできる。プロセッサ及び記憶媒体は、ASIC内にあってもよい。
開示の例の以上の説明は、任意の当業者が本発明を作成し、又は使用することを可能にするために提供するものである。これらの例への様々な変更は、当業者には容易に明らかになるはずであり、本明細書で定義する一般原理は、本発明の精神又は範囲を逸脱することなく他の例にも適用され得る。よって、本発明は、本明細書で示す例だけに限定されるべきでなく、本発明には、本明細書で開示する原理及び新規な特徴と整合性を有する最大限の範囲が許容されるべきである。

Claims (85)

  1. データのパケットを格納するように構成されている記憶装置と、
    前記記憶装置内に格納されているパケットの数を、前記記憶装置の第1の時間伸縮閾値と比較するように構成されている第1のコントローラであり、さらに、格納されているパケットの前記数が前記第1の時間伸縮閾値に違反するときに、時間伸縮標識を生成するように適合されている前記第1のコントローラと、
    を備える、装置。
  2. パケットを受け取り、パケットを前記記憶装置に格納するように構成されている入力コントローラと、
    前記第1のコントローラに結合されており、前記第1のコントローラから前記時間伸縮標識を受け取るように構成されている出力コントローラと、
    をさらに備える、請求項1に記載の装置。
  3. 前記時間伸縮標識に応答してパケットを時間伸縮させる手段をさらに備え、前記出力コントローラは、パケットを時間伸縮させる前記手段に前記時間伸縮標識を提供するように適合されている、請求項2に記載の装置。
  4. 前記第1のコントローラは、さらに、前記記憶装置に格納されているパケットの前記数を、前記記憶装置の第2の時間伸縮閾値と比較し、格納されているパケットの前記数が前記第2の時間伸縮閾値を超えたときに前記時間伸縮標識を生成するように構成されている、請求項3に記載の装置。
  5. 前記第1のコントローラは、さらに、パケット拡張のための前記時間伸縮標識の第1の値を生成するように構成されている、請求項4に記載の装置。
  6. 前記第1のコントローラは、さらに、パケット圧縮のための前記時間伸縮標識の第2の値を生成するように構成されている、請求項5に記載の装置。
  7. 前記第1の値は、目標遅延長の第1のパーセンテージである、請求項6に記載の装置。
  8. 前記第2の値は、前記目標遅延長の第2のパーセンテージである、請求項7に記載の装置。
  9. 前記第1のコントローラは、さらに、次の順次パケットが、前の順次パケットの後の第1の期間内に受け取られない場合に前記第1の値を生成するように構成されている、請求項6に記載の装置。
  10. 前記第1のコントローラは、さらに、ある時間窓にわたる前記記憶装置の状況を平均するように構成されている、請求項6に記載の装置。
  11. 前記第1のコントローラは、さらに、ある時間窓にわたって前記記憶装置に格納されているパケットの前記数をフィルタリングするように構成されている、請求項10に記載の装置。
  12. 前記第1のコントローラは、さらに、目標デジッタバッファ遅延長を決定し、前記時間窓を、前記目標デジッタバッファ遅延長の関数として決定するように構成されている、請求項11に記載の装置。
  13. 前記第1のコントローラは、さらに、前記目標デジッタバッファ遅延長を、前記記憶装置に格納されるべきパケットの目標数として決定するように構成されている、請求項12に記載の装置。
  14. 前記第1のコントローラは、さらに、前記記憶装置に格納されているパケットの前記フィルタリングされた数を、前記第1及び第2の時間伸縮閾値と比較するように構成されている、請求項10に記載の装置。
  15. 前記第1のコントローラは、さらに、前記時間伸縮標識を、前記パケットを圧縮し、前記パケットを拡張し、又は前記パケットを時間伸縮なしで処理する命令として生成するように構成されている、請求項1に記載の装置。
  16. 前記記憶装置は適応デジッタバッファである、請求項1に記載の装置。
  17. データのパケットを処理する方法であって、
    データのパケットを記憶装置に格納することと、
    前記記憶装置に格納されているパケットの数を第1の時間伸縮閾値と比較することと、
    前記記憶装置に格納されているパケットの前記数が前記第1の時間伸縮閾値に違反するときに時間伸縮標識を生成することと、
    を備える、方法。
  18. 前記時間伸縮標識に応答して、少なくとも1つのパケットを時間伸縮させることをさらに備える、請求項17に記載の方法。
  19. 前記記憶装置に格納されているパケットの前記数を第2の時間伸縮閾値と比較することと、
    前記記憶装置に格納されているパケットの前記数が前記第1の時間伸縮閾値より小さいときには第1の値で、前記記憶装置に格納されているパケットの前記数が前記第2の時間伸縮閾値を超えるときには第2の値で時間伸縮標識を生成することと、
    をさらに備える、請求項18に記載の方法。
  20. 前記時間伸縮標識が前記第1の値であるときに少なくとも1つのパケットを拡張することと、
    前記時間伸縮標識が第2の値であるときに少なくとも1つのパケットを圧縮することと、
    をさらに備える、請求項17に記載の方法。
  21. 複数の順次パケットを受け取ることと、
    前記時間伸縮標識に応答して、前記順次パケットのセグメントを追加/オーバーラップさせることと、
    をさらに備える、請求項20に記載の方法。
  22. 前記追加/オーバーラップさせることは、さらに、
    前記複数のセグメントのうちの少なくとも2つを、
    Figure 2010226744
    として組み合わせることをさらに備え、
    式中、アウトセグメントは、結果として生じる追加/オーバーラップセグメントであり、
    セグメント1及びセグメント2は、追加/オーバーラップされるべき前記複数のセグメントのうちの前記少なくとも2つであり、
    ウインドウサイズは第1のセグメントに対応し、
    Rウインドウサイズは第2のセグメントに対応する、
    請求項21に記載の方法。
  23. 遅延パケットの数を追跡することによって第1の時間伸縮閾値を決定することをさらに備える、請求項17記載の方法。
  24. 遅延パケットが、前記パケットに関連付けられた予期される再生時刻の後で受け取られるパケットである、請求項23に記載の方法。
  25. 少なくとも1つのパケットを時間伸縮させることと、
    前記少なくとも1つの時間伸縮パケットを再生することと、
    をさらに備える、請求項17に記載の方法。
  26. 命令の組を含むコンピュータ可読記憶媒体であって、前記命令の組が、
    データのパケットを記憶装置に格納する入力ルーチンと、
    前記記憶装置に格納されているパケットの前記数を、第2の時間伸縮閾値と比較する第1のルーチンと、
    前記記憶装置に格納されているパケットの前記数が第1の時間伸縮閾値より小さいときに第1の値で、前記記憶装置に格納されているパケットの前記数が前記第2の時間伸縮閾値を超えるときに第2の値で時間伸縮標識を生成する第2のルーチンと、
    を備える、コンピュータ可読記憶媒体。
  27. データのパケットを格納するように構成されている記憶装置と、
    前記記憶装置に格納されているパケットの数を、前記記憶装置の第1の圧縮時間伸縮閾値及び第1の拡張時間伸縮閾値と比較するように構成されている第1のコントローラであり、さらに、格納されているパケットの前記数が、前記第1の圧縮時間伸縮閾値を超える場合には圧縮を指示する時間伸縮制御信号を生成し、格納されているパケットの前記数が、前記第1の拡張時間伸縮閾値を超える場合には拡張を指示する時間伸縮制御信号を生成するように適合されている前記第1のコントローラと、
    を備える、装置。
  28. 前記第1のコントローラは、さらに、格納されているパケットの前記数を、圧縮時間伸縮閾値の組及び拡張時間伸縮閾値の組と比較するように適合されており、前記圧縮時間伸縮閾値の組のそれぞれ、及び前記拡張時間伸縮閾値の組のそれぞれが、前記記憶装置での目標遅延長の一意のパーセンテージに対応する、請求項27に記載の装置。
  29. 前記第1のコントローラは、さらに、次の順次パケットが、前記次の順次パケットの予期される再生時刻の後で受け取られる場合に、拡張のための前記時間伸縮制御信号を生成するように構成されている、請求項27に記載の装置。
  30. 前記第1のコントローラは、さらに、格納されているパケットの前記数を時間伸縮閾値と比較する前に、ある時間窓にわたる前記記憶装置の状況を平均するように構成されている、請求項29に記載の装置。
  31. 前記第1のコントローラは、さらに、ある時間窓にわたって前記記憶装置に格納されているパケットの前記数をフィルタリングするように構成されている、請求項30に記載の装置。
  32. 前記第1のコントローラは、さらに、目標遅延長を決定し、前記時間窓を、前記目標遅延長の関数として決定するように構成されている、請求項31に記載の装置。
  33. 前記第1のコントローラは、さらに、前記目標遅延長を、前記記憶装置に格納されるべきパケットの目標数として決定されるように構成されている、請求項32に記載の装置。
  34. 前記第1のコントローラは、さらに、前記記憶装置に格納されているパケットの平均数を時間伸縮閾値と比較するように構成されている、請求項30に記載の装置。
  35. 前記第1のコントローラは、さらに、多状態制御信号である前記時間伸縮制御信号を生成するように構成されている、請求項27に記載の装置。
  36. 前記第1のコントローラは、さらに、前記記憶装置の目標遅延長を決定するように構成されており、前記記憶装置は適応デジッタバッファであり、前記目標遅延長は目標デジッタバッファ遅延である、請求項35に記載の装置。
  37. データのパケットを格納するように構成されている記憶装置と、
    前記記憶装置の目標遅延長を決定し、格納されているパケットの数が前記目標遅延長を超えるときに、少なくとも1つのパケットの圧縮を開始するように適合されている第1のコントローラと、
    を備える、装置。
  38. 前記第1のコントローラは、さらに、遅延パケットによる所与のパーセンテージのアンダーフローを維持するように構成されている、請求項37に記載の装置。
  39. 前記第1のコントローラは、さらに、前記目標遅延長を、
    If(PERdelay<TARGET_VALUE)then
    DEJITTER_DELAY=DEJITTER_DELAY−CONSTANT;
    If(PERdelay>TARGET_VALUE&&PERdelay>=last_PERdelay)then
    DEJITTER_DELAY=DEJITTER_DELAY+CONSTANT;
    Set DEJITTER_DELAY=MAX(MIN_JITTER,DEJITTER_DELAY);
    and
    DEJITTER_DELAY=MIN(MAX_JITTER,DEJITTER_DELAY)
    として計算するように構成されており、式中、PERdelayは、遅延パケットによるアンダーフローの比率であり、TARGET_VALUEは、目標とされる遅延パケットの比率であり、DEJITTER_DELAYは、前記適応デジッタバッファの前記目標遅延長であり、CONSTANTは、事前定義値であり、MAX_JITTER及びMIN_JITTERは、それぞれ、最大及び最小目標遅延長を表す事前定義値である、請求項38に記載の装置。
  40. 前記第1のコントローラは、前記PERdelayを、
    Figure 2010226744
    として計算するように構成されており、式中、PER_CONSTANTは、PERdelayを推定するのに使用されるフィルタの時間定数である、請求項39に記載の装置。
  41. 前記第1のコントローラは、
    前記Current_PERdelayを、予期される再生時刻の後で受け取られる遅延パケットの比率として計算するように構成されているパケット誤り計算ユニットを備える、請求項40に記載の装置。
  42. 前記パケット誤り計算ユニットは、前記Current_PERdelayを、遅延パケットと、PERdelayの最後の更新から現在の更新まで測定される、遅延パケットを含む、受け取られる合計パケットとの比として計算するように構成されており、
    Figure 2010226744
    として計算する、請求項41に記載の装置。
  43. 前記第1のコントローラは、受信パケットの第1の部分を識別するように構成されており、前記第1の部分が有音部に対応し、前記有音部が複数の順次パケットを備える、請求項42に記載の装置。
  44. 前記第1のコントローラは、前記第1の部分の符号化によって前記第1の部分を識別するように構成されている、請求項43に記載の装置。
  45. 前記第1のコントローラは、前記有音部の第1のパケットの予期される再生時刻を決定し、前記予期される再生時刻の前に、前記有音部の前記第1のパケットの再生を開始するように構成されている、請求項44に記載の装置。
  46. 前記第1のコントローラは、さらに、前記第1のパケットの再生後に後続パケットの拡張を開始するように構成されている、請求項45に記載の装置。
  47. 前記第1のコントローラは、有音部の先頭と末尾とを識別するように構成されている、請求項46に記載の装置。
  48. 前記第1のコントローラは、前記有音部の前記末尾部分を識別し、前記有音部の前記末尾部分の少なくとも1つのパケットを圧縮するように構成されている、請求項47に記載の装置。
  49. 前記第1のコントローラは、受信パケットの符号化率によって前記有音部の前記末尾部分を識別するように構成されている、請求項48に記載の装置。
  50. 前記第1のコントローラは、無音標識によって前記有音部の前記末尾部分を識別するように構成されている、請求項49に記載の装置。
  51. 前記第1のコントローラは、有音部終了標識によって前記有音部の前記末尾部分を識別するように構成されている、請求項50に記載の装置。
  52. パケット化データを処理する方法であって、
    データのパケットを記憶装置に格納することと、
    前記記憶装置の目標遅延長を決定することと、
    前記目標遅延長に対して、前記記憶装置に格納されているデータの大きさである前記記憶装置の状況を評価することと、
    前記記憶装置の前記状況が前記目標遅延長に違反する場合、前記記憶装置からの少なくとも1つのパケットの時間伸縮を開始することと、
    を備える、方法。
  53. 前記目標遅延長を、
    If(PERdelay<TARGET_VALUE)then
    DEJITTER_DELAY=DEJITTER_DELAY−CONSTANT;
    If(PERdelay>TARGET_VALUE&&PERdelay>=last_PERdelay)then
    DEJITTER_DELAY=DEJITTER_DELAY+CONSTANT;
    Set DEJITTER_DELAY=MAX(MIN_JITTER,DEJITTER_DELAY);
    and
    DEJITTER_DELAY=MIN(MAX_JITTER,DEJITTER_DELAY)
    として計算することをさらに備え、式中、PERdelayは、遅延パケットによるアンダーフローの比率であり、TARGET_VALUEは、目標とされる遅延パケットの比率であり、DEJITTER_DELAYは、前記適応デジッタバッファの前記目標遅延長であり、CONSTANTは事前定義値であり、MAX_JITTER及びMIN_JITTERは、それぞれ、最大及び最小目標遅延長である事前定義値である、請求項52に記載の方法。
  54. 時間伸縮制御信号を生成することと、
    複数の順次パケットを受け取ることと、
    前記時間伸縮制御信号に応答して、セグメントを追加/オーバーラップさせることと、
    をさらに備える、請求項53に記載の方法。
  55. 前記追加/オーバーラップさせることは、
    前記複数のセグメントのうちの少なくとも2つを、
    Figure 2010226744
    として組み合わせることを備え、式中、アウトセグメントは、結果として生じる追加/オーバーラップセグメントであり、セグメント1及びセグメント2は、追加/オーバーラップされるべき前記セグメントであり、ウインドウサイズは第1のセグメントに対応し、Rウインドウサイズは第2のセグメントに対応する、請求項54に記載の方法。
  56. 前記追加/オーバーラップさせることは、
    前記第1のセグメントと前記第2のセグメントの間の最大相関の部分を識別することをさらに備える、請求項55に記載の方法。
  57. 前記第1のセグメントと前記第2のセグメントの間の最大相関の前記部分を識別することは、
    最大相関の前記部分を、
    Figure 2010226744
    として最大相関を計算することによって識別することをさらに備え、
    式中、xは前記第1のセグメントを表し、yは前記第2の音声セグメントを表し、
    mは相関窓を表し、iはインデックス値であり、
    dは前記相関部分を表す、
    請求項56に記載の方法。
  58. 複数の順次パケットを時間伸縮させることと、
    前記複数の順次パケットに続く少なくとも1つの順次パケットの時間伸縮を禁止することと、
    前記少なくとも1つの順次パケットの後で時間伸縮を使用可能にすることと、
    をさらに備える、請求項52に記載の方法。
  59. ある時間窓にわたる時間伸縮パケットの数である時間伸縮率を計算することと、
    パケットの時間伸縮を、前記時間伸縮率の関数として開始することと、
    をさらに備える、請求項52に記載の方法。
  60. 命令の組を含むコンピュータ可読記憶媒体であって、前記命令の組が、
    データのパケットを記憶装置に格納する入力ルーチンと、
    前記記憶装置の目標遅延長を求める目標遅延長計算ルーチンと、
    前記目標遅延長に対して、前記記憶装置に格納されているデータの大きさである前記記憶装置の状況を評価する第1のルーチンと、
    前記記憶装置の前記状況が前記目標遅延長に違反する場合に、前記記憶装置からの少なくとも1つのパケットの時間伸縮を開始する第2のルーチンと、
    を備える、コンピュータ可読記憶媒体。
  61. データのパケットを格納するように構成されているバッファ記憶装置と、
    データの受信パケットの順序識別子を再生順序と比較するように構成されているバッファ適合手段であり、前記受信パケットの少なくとも1つを再生のために選択するように構成されている前記第1のコントローラと、
    を備える、装置。
  62. 前記バッファ適合手段は、さらに、予期される再生順序識別子を有する予期されるパケットが受け取られない場合に、消去の再生を開始するように構成されており、前記消去が、前記予期されるパケットの予期される再生時刻に再生される、請求項1に記載の装置。
  63. 前記バッファ適合手段は、さらに、
    次の予期される再生時刻を決定し、
    受信パケットの順序識別子を、前記予期される再生順序識別子を含む複数の順序識別子と比較し、
    前記予期されるパケットと前記次の順次パケットが受け取られない場合に、前記予期されるパケットの次の予期される再生時刻に再生される消去の再生を開始する、
    ように構成されている、請求項61に記載の装置。
  64. 復号器に結合されている時間伸縮制御ユニットであり、時間伸縮標識を受け取り、前記時間伸縮標識に応答して、少なくとも1つのパケットの時間伸縮を開始するように適合されている前記時間伸縮ユニットと、
    前記時間伸縮制御ユニットに結合されている復号化回路であり、受信したデータのパケットからサンプルの組を生成するように構成されており、さらに、前記時間伸縮標識の第1の値に応答して第1のサンプルの組を生成し、前記時間伸縮標識の第2の値に応答して第2のサンプルの組を生成するように構成されている前記復号化回路と、
    前記時間伸縮制御ユニットに結合されており、サンプルを出力するように構成されている出力制御ユニットと、
    を備える、装置。
  65. 前記時間伸縮ユニットに結合されており、受信パケットを復号化するように構成されている復号化回路と、
    前記復号器と前記時間伸縮制御ユニットに結合されている出力コントローラであり、前記時間伸縮制御ユニットによって決定されたようにパケットを出力するように構成されている前記出力コントローラと、
    をさらに備える、請求項64に記載の装置。
  66. 前記時間伸縮制御ユニットは、パケット内容のおおよその重複部分を検出するように構成されている、請求項65に記載の装置。
  67. 前記時間伸縮制御ユニットは、パケットを拡張するために重複部分を反復し、パケットを圧縮するために重複部分を低減するように構成されている、請求項66に記載の装置。
  68. 前記重複部分は、音声信号の反復する部分である、請求項67に記載の装置。
  69. 前記第1のサンプルの組はパケットの圧縮のために生成され、前記第2のサンプルの組は拡張のために生成され、前記第1のサンプルの組は前記第2のサンプルの組より小さい、請求項68に記載の装置。
  70. 前記時間伸縮標識は多状態標識であり、第1の値が圧縮に対応し、第2の値が拡張に対応し、第3の値が時間伸縮なしの処理に対応する、請求項69に記載の装置。
  71. 前記時間伸縮標識の第3の値に応答して、前記復号化回路は、前記第1のサンプルの組より大きく、前記第2のサンプルの組より小さい第3のサンプルの組を生成する、請求項70に記載の装置。
  72. 前記時間伸縮標識の第4の値が第2の圧縮レベルに対応し、前記第4の値を受け取ったことに応答して、前記復号化回路は、前記第1のサンプルの組より小さい第4のサンプルの組を生成する、請求項71に記載の装置。
  73. 前記時間伸縮標識の第5の値が第2の拡張レベルに対応し、前記第5の値を受け取ったことに応答して、前記復号化回路は、前記第2のサンプルの組より大きい第5のサンプルの組を生成する、請求項72に記載の装置。
  74. 復号化パケットのサンプルを受け取るように構成されている時間伸縮制御ユニットであり、時間伸縮標識を受け取り、前記時間伸縮標識に応答して少なくとも1つのパケットの時間伸縮を開始するように適合されており、複数の受信サンプルを変換して出力サンプルの組を生成するように構成されており、さらに、受信サンプルを、前記時間伸縮標識の第1の値に応答して第1の出力サンプルの組に、前記時間伸縮標識の第2の値に応答して第2のサンプルの組に変換するように構成されており、前記第1の出力サンプルの組が前記第2のサンプルの組より小さい前記時間伸縮制御ユニットを備える、装置。
  75. 前記第1の出力サンプルの組は前記受信サンプルから圧縮され、前記第2のサンプルの組は前記受信サンプルから拡張される、請求項74に記載の装置。
  76. 前記時間伸縮制御ユニットは、パケット内容のおおよその重複部分を検出するように構成されている、請求項75に記載の装置。
  77. 前記時間伸縮制御ユニットは、パケットを拡張するために重複部分を反復し、パケットを圧縮するために重複部分を低減するように構成されている、請求項76に記載の装置。
  78. 前記重複部分は音声信号の反復する部分である、請求項77に記載の装置。
  79. 前記第1のサンプルの組はパケットの圧縮のために生成され、前記第2のサンプルの組は拡張のために生成され、前記第1のサンプルの組は、前記第2のサンプルの組より小さい、請求項78に記載の装置。
  80. 前記時間伸縮標識は多状態標識であり、第1の値が圧縮に対応し、第2の値が拡張に対応し、第3の値が時間伸縮なしの処理に対応する、請求項79に記載の装置。
  81. 前記時間伸縮標識の第3の値に応答して、前記復号化回路は、前記第1のサンプルの組より大きく、前記第2のサンプルの組より小さい第3のサンプルの組を生成する、請求項80に記載の装置。
  82. 前記時間伸縮標識の第4の値が第2の圧縮レベルに対応し、前記第4の値を受け取ったことに応答して、前記復号化回路は、前記第1のサンプルの組より小さい第4のサンプルの組を生成する、請求項81に記載の装置。
  83. 前記時間伸縮標識の第5の値が第2の拡張レベルに対応し、前記第5の値を受け取ったことに応答して、前記復号化回路は、前記第2のサンプルの組より大きい第5のサンプルの組を生成する、請求項82に記載の装置。
  84. パケット化データを処理する方法であって、
    時間伸縮標識を受け取ることと、
    前記時間伸縮標識に応答して少なくとも1つのパケットの時間伸縮を開始することと、
    受信したデータのパケットからサンプルの組を生成することであって、
    前記時間伸縮標識の第1の値に応答して第1のサンプルの組を生成すること、及び
    前記時間伸縮標識の第2の値に応答して第2のサンプルの組を生成することと、
    前記サンプルの組を出力することと、
    を備える、方法。
  85. 命令の組を格納するコンピュータ可読媒体であって、前記命令の組は、
    時間伸縮標識を受け取る第1のルーチンと、
    前記時間伸縮標識に応答して、少なくとも1つのパケットの時間伸縮を開始する第2のルーチンと、
    受信したデータのパケットからサンプルの組を生成する第3のルーチンであって、
    前記時間伸縮標識の第1の値に応答して第1のサンプルの組を生成する第4のルーチン、
    前記時間伸縮標識の第2の値に応答して第2のサンプルの組を生成する第5のルーチン、及び
    前記サンプルの組を出力する第6のルーチン、
    を備える前記第3のルーチンと、
    を備える、コンピュータ可読媒体。
JP2010110176A 2004-08-30 2010-05-12 適応デジッタバッファの方法及び装置 Active JP5389729B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US60603604P 2004-08-30 2004-08-30
US60/606,036 2004-08-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007530289A Division JP2008512062A (ja) 2004-08-30 2005-08-30 適応デジッタバッファの方法及び装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012223579A Division JP5591897B2 (ja) 2004-08-30 2012-10-05 適応デジッタバッファの方法及び装置

Publications (2)

Publication Number Publication Date
JP2010226744A true JP2010226744A (ja) 2010-10-07
JP5389729B2 JP5389729B2 (ja) 2014-01-15

Family

ID=35700421

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2007530289A Withdrawn JP2008512062A (ja) 2004-08-30 2005-08-30 適応デジッタバッファの方法及び装置
JP2009245217A Active JP4933605B2 (ja) 2004-08-30 2009-10-26 適応デジッタバッファの方法及び装置
JP2010110176A Active JP5389729B2 (ja) 2004-08-30 2010-05-12 適応デジッタバッファの方法及び装置
JP2012223579A Active JP5591897B2 (ja) 2004-08-30 2012-10-05 適応デジッタバッファの方法及び装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2007530289A Withdrawn JP2008512062A (ja) 2004-08-30 2005-08-30 適応デジッタバッファの方法及び装置
JP2009245217A Active JP4933605B2 (ja) 2004-08-30 2009-10-26 適応デジッタバッファの方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012223579A Active JP5591897B2 (ja) 2004-08-30 2012-10-05 適応デジッタバッファの方法及び装置

Country Status (17)

Country Link
US (4) US7830900B2 (ja)
EP (4) EP2189978A1 (ja)
JP (4) JP2008512062A (ja)
KR (4) KR100938034B1 (ja)
CN (5) CN102779517A (ja)
AT (1) ATE488838T1 (ja)
BR (1) BRPI0514801B1 (ja)
CA (4) CA2691589A1 (ja)
DE (1) DE602005024825D1 (ja)
DK (1) DK2200024T3 (ja)
ES (2) ES2355039T3 (ja)
MX (1) MX2007002483A (ja)
MY (1) MY149811A (ja)
PL (2) PL1787290T3 (ja)
PT (1) PT2200024E (ja)
TW (1) TWI454101B (ja)
WO (1) WO2006026635A2 (ja)

Families Citing this family (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8017791B2 (en) * 2003-03-28 2011-09-13 Wayne State University Tri-substituted 2-benzhydryl-5-benzylamino-tetrahydro-pyran-4-ol and 6-benzhydryl-4-benzylamino-tetrahydro-pyran-3-ol analogues, and novel, 3,6-disubstituted pyran derivatives
EP2189978A1 (en) * 2004-08-30 2010-05-26 QUALCOMM Incorporated Adaptive De-Jitter Buffer for voice over IP
US7674096B2 (en) * 2004-09-22 2010-03-09 Sundheim Gregroy S Portable, rotary vane vacuum pump with removable oil reservoir cartridge
US8085678B2 (en) * 2004-10-13 2011-12-27 Qualcomm Incorporated Media (voice) playback (de-jitter) buffer adjustments based on air interface
US7672742B2 (en) * 2005-02-16 2010-03-02 Adaptec, Inc. Method and system for reducing audio latency
US20060187970A1 (en) * 2005-02-22 2006-08-24 Minkyu Lee Method and apparatus for handling network jitter in a Voice-over IP communications network using a virtual jitter buffer and time scale modification
US8355907B2 (en) * 2005-03-11 2013-01-15 Qualcomm Incorporated Method and apparatus for phase matching frames in vocoders
US7746847B2 (en) * 2005-09-20 2010-06-29 Intel Corporation Jitter buffer management in a packet-based network
US8102878B2 (en) * 2005-09-29 2012-01-24 Qualcomm Incorporated Video packet shaping for video telephony
US8411662B1 (en) 2005-10-04 2013-04-02 Pico Mobile Networks, Inc. Beacon based proximity services
US8257177B1 (en) 2005-10-04 2012-09-04 PICO Mobile Networks, Inc Proximity based games for mobile communication devices
US8406309B2 (en) * 2005-10-21 2013-03-26 Qualcomm Incorporated Video rate adaptation to reverse link conditions
US8842555B2 (en) * 2005-10-21 2014-09-23 Qualcomm Incorporated Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems
US8514711B2 (en) * 2005-10-21 2013-08-20 Qualcomm Incorporated Reverse link lower layer assisted video error control
US8548048B2 (en) * 2005-10-27 2013-10-01 Qualcomm Incorporated Video source rate control for video telephony
JP4640824B2 (ja) * 2006-01-30 2011-03-02 富士通株式会社 通信環境の測定方法、受信装置、及びコンピュータプログラム
JP4573780B2 (ja) * 2006-02-02 2010-11-04 富士通株式会社 パケット記録再生装置
US20070186146A1 (en) * 2006-02-07 2007-08-09 Nokia Corporation Time-scaling an audio signal
US8832540B2 (en) 2006-02-07 2014-09-09 Nokia Corporation Controlling a time-scaling of an audio signal
US20070201656A1 (en) * 2006-02-07 2007-08-30 Nokia Corporation Time-scaling an audio signal
JP4983054B2 (ja) * 2006-03-10 2012-07-25 富士通株式会社 サーバ装置及び同装置におけるバッファ制御方法
US20070294087A1 (en) * 2006-05-05 2007-12-20 Nokia Corporation Synthesizing comfort noise
US20070263672A1 (en) * 2006-05-09 2007-11-15 Nokia Corporation Adaptive jitter management control in decoder
JP2008005392A (ja) * 2006-06-26 2008-01-10 Kddi Corp 通信端末装置およびバッファ制御方法
US8005094B2 (en) * 2006-06-30 2011-08-23 Agere Systems Inc. Method and apparatus for circuit emulation services over cell and packet networks
US8619623B2 (en) 2006-08-08 2013-12-31 Marvell World Trade Ltd. Ad-hoc simple configuration
CN101366079B (zh) * 2006-08-15 2012-02-15 美国博通公司 用于子带预测编码的基于全带音频波形外插的包丢失隐藏
KR101041895B1 (ko) * 2006-08-15 2011-06-16 브로드콤 코포레이션 패킷 손실 후 디코딩된 오디오 신호의 시간 워핑
US8239190B2 (en) * 2006-08-22 2012-08-07 Qualcomm Incorporated Time-warping frames of wideband vocoder
US7573907B2 (en) * 2006-08-22 2009-08-11 Nokia Corporation Discontinuous transmission of speech signals
US7680099B2 (en) * 2006-08-22 2010-03-16 Nokia Corporation Jitter buffer adjustment
DE602006005360D1 (de) * 2006-08-24 2009-04-09 Ntt Docomo Inc Verfahren und Vorrichtung für nahtloses Handover
US7796626B2 (en) * 2006-09-26 2010-09-14 Nokia Corporation Supporting a decoding of frames
KR101347404B1 (ko) * 2006-10-05 2014-01-02 엘지전자 주식회사 무선통신 시스템에서 음성 패킷의 전송 방법
US9135951B2 (en) * 2006-10-10 2015-09-15 Qualcomm Incorporated System and method for dynamic audio buffer management
US8274945B2 (en) * 2006-10-16 2012-09-25 Qualcomm Incorporated Method and apparatus for time-warping packets at the sender side
US8233456B1 (en) 2006-10-16 2012-07-31 Marvell International Ltd. Power save mechanisms for dynamic ad-hoc networks
US8732315B2 (en) 2006-10-16 2014-05-20 Marvell International Ltd. Automatic ad-hoc network creation and coalescing using WiFi protected setup
US8855275B2 (en) * 2006-10-18 2014-10-07 Sony Online Entertainment Llc System and method for regulating overlapping media messages
US9308455B1 (en) 2006-10-25 2016-04-12 Marvell International Ltd. System and method for gaming in an ad-hoc network
US8792945B2 (en) * 2006-10-31 2014-07-29 Motorola Mobility Llc Methods and devices for dual mode bidirectional audio communication
US8817740B2 (en) * 2006-10-31 2014-08-26 Motorola Mobility Llc Methods and devices of a queue controller for dual mode bidirectional audio communication
US7889686B1 (en) 2006-11-21 2011-02-15 Picomobile Networks, Inc. Seamless switching of media streams between different networks
US7970384B1 (en) 2006-11-21 2011-06-28 Picomobile Networks, Inc. Active phone book enhancements
US8279884B1 (en) 2006-11-21 2012-10-02 Pico Mobile Networks, Inc. Integrated adaptive jitter buffer
US7978699B1 (en) 2006-11-21 2011-07-12 Picomobile Networks, Inc. Protocol compression with synchronized sequence numbers
US7961756B1 (en) 2006-11-21 2011-06-14 Picomobile Networks, Inc. Integrated multimedia system
US8472320B2 (en) * 2006-12-06 2013-06-25 Telefonaktiebolaget Lm Ericsson (Publ) Jitter buffer control
US8111720B2 (en) * 2007-01-09 2012-02-07 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus to indicate maximum scheduling delay for jitter buffer implementations
KR20120034084A (ko) * 2007-01-10 2012-04-09 콸콤 인코포레이티드 멀티미디어 전화 통신을 위한 컨텐트- 및 링크-의존 코딩 적응 구조
US7983309B2 (en) * 2007-01-19 2011-07-19 Nokia Corporation Buffering time determination
ATE474312T1 (de) * 2007-02-12 2010-07-15 Dolby Lab Licensing Corp Verbessertes verhältnis von sprachlichen zu nichtsprachlichen audio-inhalten für ältere oder hörgeschädigte zuhörer
US8195454B2 (en) 2007-02-26 2012-06-05 Dolby Laboratories Licensing Corporation Speech enhancement in entertainment audio
GB0705329D0 (en) 2007-03-20 2007-04-25 Skype Ltd Method of transmitting data in a communication system
DE602007004358D1 (de) * 2007-06-13 2010-03-04 Ntt Docomo Inc Verfahren und Vorrichtung zur Durchführung einer nahtlosen Weiterleitung einer mobilen Vorrichtung
US8918051B1 (en) 2007-06-18 2014-12-23 Marvell International Ltd. Method and apparatus for performing a handoff of a data communication session from one network to another network
WO2009006585A1 (en) * 2007-07-03 2009-01-08 Marvell Semiconductor, Inc. Location aware ad-hoc gaming
US8401865B2 (en) * 2007-07-18 2013-03-19 Nokia Corporation Flexible parameter update in audio/speech coded signals
US20090028300A1 (en) * 2007-07-25 2009-01-29 Mclaughlin Tom Network communication systems including video phones
US8340121B2 (en) 2007-08-22 2012-12-25 Qualcomm Incorporated Method and apparatus for transmission of circuit switched voice over packet switched networks
BRPI0721956A2 (pt) * 2007-08-24 2014-03-18 Alcatel Lucent Método para planejar recurso, elemento de rede e equipamento do usuário
KR101418354B1 (ko) * 2007-10-23 2014-07-10 삼성전자주식회사 음성 통신 시스템에서 플레이아웃 스케줄링 방법 및 장치
US8619711B2 (en) * 2007-12-27 2013-12-31 Kyocera Corporation Wireless communication apparatus
US8797850B2 (en) * 2008-01-10 2014-08-05 Qualcomm Incorporated System and method to adapt to network congestion
CN101926134B (zh) * 2008-01-25 2013-06-19 艾利森电话股份有限公司 用于网络节点的简单适配抖动缓冲器算法
JP5079870B2 (ja) * 2008-02-27 2012-11-21 京セラ株式会社 無線通信装置
US8649353B2 (en) 2008-03-04 2014-02-11 Interdigital Patent Holdings, Inc. Method and apparatus for accessing a random access channel by selectively using dedicated or contention-based preambles during handover
WO2009109069A1 (en) * 2008-03-07 2009-09-11 Arcsoft (Shanghai) Technology Company, Ltd. Implementing a high quality voip device
US8406715B2 (en) * 2008-03-27 2013-03-26 Panasonic Automotive Systems of America, division of Panasonic Corporation of North America Method and apparatus for dynamically adapting FM tuner sensitivity to a local environment for a single-tuner system
CN101304557B (zh) * 2008-04-25 2012-09-05 华为技术有限公司 一种分组传输控制方法及装置
US8892228B2 (en) * 2008-06-10 2014-11-18 Dolby Laboratories Licensing Corporation Concealing audio artifacts
US8055292B1 (en) * 2008-06-12 2011-11-08 Sprint Spectrum L.P. Method and system for power level adjustment of forward channels
US8488661B2 (en) * 2008-06-13 2013-07-16 Verizon Patent And Licensing Inc. Systems and methods for data streaming
US8670573B2 (en) * 2008-07-07 2014-03-11 Robert Bosch Gmbh Low latency ultra wideband communications headset and operating method therefor
KR20110054026A (ko) * 2008-08-28 2011-05-24 쿄세라 코포레이션 무선 단말 및 통신 단말
US20100202302A1 (en) * 2008-09-21 2010-08-12 Research In Motion Limited System and method for reserving and signaling hybrid automatic repeat request identifiers
US8479214B2 (en) * 2008-09-30 2013-07-02 Microsoft Corporation Hardware throughput saturation detection
US8346995B2 (en) * 2008-09-30 2013-01-01 Microsoft Corporation Balancing usage of hardware devices among clients
US8245229B2 (en) * 2008-09-30 2012-08-14 Microsoft Corporation Temporal batching of I/O jobs
US7920475B2 (en) * 2008-12-15 2011-04-05 Verizon Patent And Licensing Inc. System and method for adaptive removal of delay jitter effect and low end-to-end delay
EP2211335A1 (en) * 2009-01-21 2010-07-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for obtaining a parameter describing a variation of a signal characteristic of a signal
US8611337B2 (en) * 2009-03-31 2013-12-17 Adobe Systems Incorporated Adaptive subscriber buffering policy with persistent delay detection for live audio streams
US9137719B2 (en) * 2009-10-27 2015-09-15 Clearwire Ip Holdings Llc Multi-frequency real-time data stream handoff
WO2011076239A1 (en) * 2009-12-24 2011-06-30 Telecom Italia S.P.A. A method of scheduling transmission in a communication network, corresponding communication node and computer program product
US9380401B1 (en) 2010-02-03 2016-06-28 Marvell International Ltd. Signaling schemes allowing discovery of network devices capable of operating in multiple network modes
WO2011127059A1 (en) 2010-04-05 2011-10-13 Huawei Technologies Co., Ltd. Method for dynamic migration of a process or services from one control plane processor to another
US8532804B2 (en) * 2010-06-18 2013-09-10 Microsoft Corporation Predictive resampler scheduler algorithm
US8744367B2 (en) 2010-08-31 2014-06-03 At&T Intellectual Property I, L.P. Tail optimization protocol for cellular radio resource allocation
KR101399604B1 (ko) * 2010-09-30 2014-05-28 한국전자통신연구원 지터버퍼 조정장치, 전자장치 및 그 방법
US8527627B2 (en) 2010-12-14 2013-09-03 At&T Intellectual Property I, L.P. Intelligent mobility application profiling with respect to identified communication bursts
KR20120108564A (ko) * 2011-03-24 2012-10-05 삼성전자주식회사 데이터 처리 시스템 및 그 동작 방법
US9177570B2 (en) * 2011-04-15 2015-11-03 St-Ericsson Sa Time scaling of audio frames to adapt audio processing to communications network timing
US9264872B2 (en) 2011-06-20 2016-02-16 At&T Intellectual Property I, L.P. Controlling traffic transmissions to manage cellular radio resource utilization
US9220066B2 (en) 2011-06-20 2015-12-22 At&T Intellectual Property I, L.P. Bundling data transfers and employing tail optimization protocol to manage cellular radio resource utilization
US8797874B2 (en) 2011-09-09 2014-08-05 Futurewei Technologies, Inc. Apparatus and system for packet routing and forwarding in an interior network
GB2495927B (en) 2011-10-25 2015-07-15 Skype Jitter buffer
CN103325385B (zh) * 2012-03-23 2018-01-26 杜比实验室特许公司 语音通信方法和设备、操作抖动缓冲器的方法和设备
EP2672393A1 (en) * 2012-06-04 2013-12-11 Dialog Semiconductor B.V. Circuit and methods to use an audio interface to program a device within an audio stream
WO2014039843A1 (en) 2012-09-07 2014-03-13 Apple Inc. Adaptive jitter buffer management for networks with varying conditions
US10356143B2 (en) * 2012-10-10 2019-07-16 Samsung Electronics Co., Ltd. Method and apparatus for media data delivery control
CN102970133B (zh) * 2012-11-12 2015-10-14 安徽量子通信技术有限公司 量子网络的语音传输方法和语音终端
KR20140067512A (ko) * 2012-11-26 2014-06-05 삼성전자주식회사 신호 처리 장치 및 그 신호 처리 방법
CN103888381A (zh) 2012-12-20 2014-06-25 杜比实验室特许公司 用于控制抖动缓冲器的装置和方法
US9526037B2 (en) * 2013-02-04 2016-12-20 Apple Inc. SRVCC handover indication for remote party to voice call
US9420475B2 (en) * 2013-02-08 2016-08-16 Intel Deutschland Gmbh Radio communication devices and methods for controlling a radio communication device
US9565139B2 (en) 2013-03-15 2017-02-07 Comcast Cable Communications, Llc Remote latency adjustment
US9107159B2 (en) * 2013-06-07 2015-08-11 Apple Inc. Enhancing jitter buffer performance through radio level feedback
PL3011692T3 (pl) 2013-06-21 2017-11-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sterowanie buforem rozsynchronizowania, dekoder sygnału audio, sposób i program komputerowy
ES2667823T3 (es) 2013-06-21 2018-05-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Escalador de tiempo, decodificador de audio, procedimiento y programa informático mediante el uso de un control de calidad
CN103474083B (zh) * 2013-09-18 2015-11-18 中国人民解放军电子工程学院 基于正交正弦脉冲序列定位标签的语音时间规整方法
GB201318653D0 (en) * 2013-10-22 2013-12-04 Microsoft Corp Adapting a jitter buffer
US9525641B1 (en) * 2014-01-24 2016-12-20 Google Inc. Facilitating buffer wait time determination based on device- or entity-related conditions
US9338259B2 (en) 2014-02-05 2016-05-10 Sergio Ammirata User defined protocol for zero-added-jitter and error free transmission of layer-2 datagrams across lossy packet-switched network links
KR102163269B1 (ko) * 2014-03-04 2020-10-08 삼성전자주식회사 브이오아이피 프레임 전송 방법 및 장치
US20160142840A1 (en) * 2014-03-14 2016-05-19 Qualcomm Incorporated Features and optimizations for personal communication device based public addressing system
CN105940714B (zh) * 2014-03-26 2019-11-01 瑞典爱立信有限公司 用于回放缓存的管理的方法和设备
CN105207955B (zh) * 2014-06-30 2019-02-05 华为技术有限公司 数据帧的处理方法和装置
US9712287B2 (en) * 2014-07-31 2017-07-18 Qualcomm Incorporated System and method of redundancy based packet transmission error recovery
DK3202106T3 (en) 2014-10-02 2019-04-08 Jacoti Bvba PROCEDURE TO HANDLING PROBLEMATIC PATTERNS IN A LOW LATENS MULTIMEDIA STREAMING ENVIRONMENT
KR101600284B1 (ko) 2014-10-17 2016-03-07 주식회사 이노와이어리스 영상 품질 측정 방법
CN104410587A (zh) * 2014-11-13 2015-03-11 京信通信系统(中国)有限公司 一种接收缓冲区容量控制方法及装置
US9998386B2 (en) 2015-05-21 2018-06-12 At&T Mobility Ii Llc Facilitation of adaptive dejitter buffer
US9826445B2 (en) 2015-05-21 2017-11-21 At&T Mobility Ii Llc Facilitation of adaptive dejitter buffer between mobile devices
US9788026B2 (en) * 2015-08-25 2017-10-10 Imagine Communications Corp. Converting adaptive bitrate chunks to a streaming format
US10412453B2 (en) * 2015-10-13 2019-09-10 Futurewei Technologies, Inc. Probability weighted DASH based video streaming over an information-centric network
US10204635B1 (en) * 2015-12-01 2019-02-12 Marvell International Ltd. Device and method for processing media samples
US20170187635A1 (en) * 2015-12-28 2017-06-29 Qualcomm Incorporated System and method of jitter buffer management
KR102419595B1 (ko) 2016-01-07 2022-07-11 삼성전자주식회사 재생 지연 조절 방법 및 이를 적용한 전자 장치
CN106656649B (zh) * 2016-09-14 2021-01-01 腾讯科技(深圳)有限公司 一种实时通话过程中基于测速的通道切换方法、客户端与服务器
CN107945807B (zh) * 2016-10-12 2021-04-13 厦门雅迅网络股份有限公司 基于静音游程的语音识别方法及其系统
JP6919261B2 (ja) 2017-03-24 2021-08-18 ヤマハ株式会社 音データ処理装置、音データ処理方法及びプログラム
US10454811B2 (en) * 2017-04-07 2019-10-22 Qualcomm Incorporated Apparatus and method for de-jitter buffer delay adjustment
US10978096B2 (en) * 2017-04-25 2021-04-13 Qualcomm Incorporated Optimized uplink operation for voice over long-term evolution (VoLte) and voice over new radio (VoNR) listen or silent periods
US10998002B2 (en) * 2017-05-31 2021-05-04 Nxp B.V. Audio time stretching
US10616123B2 (en) * 2017-07-07 2020-04-07 Qualcomm Incorporated Apparatus and method for adaptive de-jitter buffer
US10313416B2 (en) * 2017-07-21 2019-06-04 Nxp B.V. Dynamic latency control
US20190102223A1 (en) * 2017-09-29 2019-04-04 Niall Power System, Apparatus And Method For Real-Time Activated Scheduling In A Queue Management Device
US11456962B2 (en) * 2018-05-16 2022-09-27 Telefonaktiebolaget Lm Ericsson (Publ) Delay-aware resource sharing
US10616304B2 (en) * 2018-05-30 2020-04-07 Qualcomm Incorporated Audio dejittering using delay standard deviation
US11240176B2 (en) 2018-08-21 2022-02-01 At&T Intellectual Property I, L.P. Time-spaced messaging for facilitating network communications
US10812216B2 (en) 2018-11-05 2020-10-20 XCOM Labs, Inc. Cooperative multiple-input multiple-output downlink scheduling
US10756860B2 (en) 2018-11-05 2020-08-25 XCOM Labs, Inc. Distributed multiple-input multiple-output downlink configuration
US10659112B1 (en) 2018-11-05 2020-05-19 XCOM Labs, Inc. User equipment assisted multiple-input multiple-output downlink configuration
US10432272B1 (en) 2018-11-05 2019-10-01 XCOM Labs, Inc. Variable multiple-input multiple-output downlink user equipment
CN113169764A (zh) 2018-11-27 2021-07-23 艾斯康实验室公司 非相干协作式多输入多输出通信
EP3895398A1 (en) * 2018-12-12 2021-10-20 Telefonaktiebolaget Lm Ericsson (Publ) Communication system with de-jitter buffer for reducing jitter
US11063645B2 (en) 2018-12-18 2021-07-13 XCOM Labs, Inc. Methods of wirelessly communicating with a group of devices
US10756795B2 (en) 2018-12-18 2020-08-25 XCOM Labs, Inc. User equipment with cellular link and peer-to-peer link
US11330649B2 (en) 2019-01-25 2022-05-10 XCOM Labs, Inc. Methods and systems of multi-link peer-to-peer communications
US10756767B1 (en) 2019-02-05 2020-08-25 XCOM Labs, Inc. User equipment for wirelessly communicating cellular signal with another user equipment
US10896021B2 (en) 2019-02-26 2021-01-19 Nvidia Corporation Dynamically preventing audio underrun using machine learning
US10735057B1 (en) 2019-04-29 2020-08-04 XCOM Labs, Inc. Uplink user equipment selection
US10686502B1 (en) 2019-04-29 2020-06-16 XCOM Labs, Inc. Downlink user equipment selection
US11411778B2 (en) 2019-07-12 2022-08-09 XCOM Labs, Inc. Time-division duplex multiple input multiple output calibration
US11411779B2 (en) 2020-03-31 2022-08-09 XCOM Labs, Inc. Reference signal channel estimation
US11889128B2 (en) 2021-01-05 2024-01-30 Qualcomm Incorporated Call audio playback speed adjustment
US20240089210A1 (en) * 2021-03-30 2024-03-14 Qualcomm Incorporated Dejitter target delay value based on silence descriptors
DE102021117762B3 (de) * 2021-07-09 2022-08-18 Dfs Deutsche Flugsicherung Gmbh Verfahren zur Jitter-Kompensation bei einem Empfangen von Sprachinhalt über IP basierte Netzwerke und Empfänger hierfür sowie Verfahren und Vorrichtung zum Senden und Empfangen von Sprachinhalt mit Jitter-Kompensation

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57158247U (ja) * 1981-03-30 1982-10-05
JPS61156949A (ja) * 1984-12-27 1986-07-16 Matsushita Electric Ind Co Ltd 音声パケツト通信方式
JPS6268350A (ja) * 1985-09-20 1987-03-28 Nippon Telegr & Teleph Corp <Ntt> 音声パケツト通信方式
JPH02502776A (ja) * 1987-03-18 1990-08-30 アルカテル・エヌ・ブイ 非同期時分割通信システム
JPH02288441A (ja) * 1989-04-28 1990-11-28 Oki Electric Ind Co Ltd 音声パケット受信回路
JPH04331529A (ja) * 1991-05-07 1992-11-19 Fujitsu Ltd ゆらぎ吸収バッファの制御装置
JPH06152648A (ja) * 1992-11-09 1994-05-31 Mitsubishi Electric Corp データ・パケット通信方法
JPH08130544A (ja) * 1994-10-14 1996-05-21 Koninkl Ptt Nederland Nv Atm受信機のためのバッファ読み出し制御装置
JPH10190735A (ja) * 1996-12-27 1998-07-21 Secom Co Ltd 通話システム
JPH10313315A (ja) * 1997-05-12 1998-11-24 Mitsubishi Electric Corp 音声セルゆらぎ吸収装置
JPH11215182A (ja) * 1998-01-26 1999-08-06 Nec Corp 音声パケット送受信方法および装置
JP2000124947A (ja) * 1998-10-13 2000-04-28 Oki Electric Ind Co Ltd 音声パケット受信装置及び方法
JP2000307654A (ja) * 1999-04-23 2000-11-02 Canon Inc 音声パケット伝送システム
JP2001045067A (ja) * 1999-05-25 2001-02-16 Matsushita Electric Ind Co Ltd 音声伝送装置
JP2002164921A (ja) * 2000-11-27 2002-06-07 Oki Electric Ind Co Ltd 音声パケット通信の品質制御装置
JP2002223247A (ja) * 2001-01-25 2002-08-09 Matsushita Electric Ind Co Ltd リアルタイム音声再生装置
US20040120309A1 (en) * 2001-04-24 2004-06-24 Antti Kurittu Methods for changing the size of a jitter buffer and for time alignment, communications system, receiving end, and transcoder

Family Cites Families (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US185186A (en) * 1876-12-12 Improvement in mail-bag fastenings
US89003A (en) * 1869-04-20 Improved railway-carriage wheel
US152152A (en) * 1874-06-16 Improvement in bob-sleds
US243846A (en) * 1881-07-05 David buick
US16711A (en) * 1857-03-03 Pen and pencil holder
US179474A (en) * 1876-07-04 Improvement in the manufacture of gas for illuminating and heating
US742026A (en) * 1903-07-09 1903-10-20 Isaac Pendleton Henthorn Embryotractor.
JPS5643800A (en) 1979-09-19 1981-04-22 Fujitsu Ltd Multilayer printed board
JPS57158247A (en) 1981-03-24 1982-09-30 Tokuyama Soda Co Ltd Flame retardant polyolefin composition
JPS57159038A (en) 1981-03-25 1982-10-01 Fujitsu Ltd Forming method for v-shaped isolation region
JPS59153346A (ja) * 1983-02-21 1984-09-01 Nec Corp 音声符号化・復号化装置
JPS61158949A (ja) 1985-01-07 1986-07-18 Toyo Gosei Kogyo Kk 2−(4′−アミルベンゾイル)安息香酸混合物の製造方法
JPS637297A (ja) 1986-06-24 1988-01-13 辻 賢二 横ミシン刄固定具
JPS6429141A (en) 1987-07-24 1989-01-31 Nec Corp Packet exchange system
JPH01113744A (ja) 1987-10-27 1989-05-02 Ritsutai Shiyashinzou Kk 立体写真像製作方法およびその装置
JP2760810B2 (ja) 1988-09-19 1998-06-04 株式会社日立製作所 音声パケット処理方法
SE462277B (sv) 1988-10-05 1990-05-28 Vme Ind Sweden Ab Hydrauliskt styrsystem
GB2243793B (en) * 1990-05-09 1993-08-18 Pall Corp Filter assemblies
JPH04113744A (ja) 1990-09-04 1992-04-15 Fujitsu Ltd 可変速度パケット伝送方式
CA2068883C (en) * 1990-09-19 2002-01-01 Jozef Maria Karel Timmermans Record carrier on which a main data file and a control file have been recorded, method of and device for recording the main data file and the control file, and device for reading the record carrier
JP2846443B2 (ja) 1990-10-09 1999-01-13 三菱電機株式会社 パケット組立分解装置
CA2568984C (en) 1991-06-11 2007-07-10 Qualcomm Incorporated Variable rate vocoder
US5283811A (en) 1991-09-03 1994-02-01 General Electric Company Decision feedback equalization for digital cellular radio
US5371853A (en) 1991-10-28 1994-12-06 University Of Maryland At College Park Method and system for CELP speech coding and codebook for use therewith
US5317604A (en) * 1992-12-30 1994-05-31 Gte Government Systems Corporation Isochronous interface method
JP3186315B2 (ja) 1993-02-27 2001-07-11 ソニー株式会社 信号圧縮装置、信号伸張装置、信号送信装置、信号受信装置及び信号送受信装置
US5490479A (en) 1993-05-10 1996-02-13 Shalev; Matti Method and a product resulting from the use of the method for elevating feed storage bins
US5440582A (en) * 1993-05-28 1995-08-08 Motorola, Inc. Method and apparatus for determining signal usability
US5640368A (en) * 1993-07-26 1997-06-17 Exxon Production Research Company Migration velocity analysis using limited-aperture and monte carlo migration
US5440562A (en) 1993-12-27 1995-08-08 Motorola, Inc. Communication through a channel having a variable propagation delay
US5784532A (en) 1994-02-16 1998-07-21 Qualcomm Incorporated Application specific integrated circuit (ASIC) for performing rapid speech compression in a mobile telephone system
EP1628306B1 (en) 1994-08-12 2011-12-07 Sony Corporation Video signal editing apparatus
US5602959A (en) 1994-12-05 1997-02-11 Motorola, Inc. Method and apparatus for characterization and reconstruction of speech excitation waveforms
US5699478A (en) 1995-03-10 1997-12-16 Lucent Technologies Inc. Frame erasure compensation technique
US5929921A (en) 1995-03-16 1999-07-27 Matsushita Electric Industrial Co., Ltd. Video and audio signal multiplex sending apparatus, receiving apparatus and transmitting apparatus
JP3286110B2 (ja) 1995-03-16 2002-05-27 松下電器産業株式会社 音声パケット補間装置
KR0164827B1 (ko) * 1995-03-31 1999-03-20 김광호 프로그램 가이드신호 수신기
PL185513B1 (pl) 1995-09-14 2003-05-30 Ericsson Inc Sposób i urządzenie do selektywnej zmiany ramki sygnału cyfrowego ukształtowanego z wielu kolejnych ramek
JPH09127995A (ja) 1995-10-26 1997-05-16 Sony Corp 信号復号化方法及び信号復号化装置
US5640388A (en) 1995-12-21 1997-06-17 Scientific-Atlanta, Inc. Method and apparatus for removing jitter and correcting timestamps in a packet stream
JPH09261613A (ja) 1996-03-26 1997-10-03 Mitsubishi Electric Corp データ受信再生装置
US5866187A (en) * 1996-08-28 1999-02-02 Bunge Foods Corporation Baking formulation containing pelletized shortening
KR0185858B1 (ko) * 1996-08-31 1999-05-15 대우전자주식회사 에이티엠망에서의 이디디를 이용한 스톱-앤-고우 큐 서비스방법
US5940479A (en) 1996-10-01 1999-08-17 Northern Telecom Limited System and method for transmitting aural information between a computer and telephone equipment
US6073092A (en) 1997-06-26 2000-06-06 Telogy Networks, Inc. Method for speech coding based on a code excited linear prediction (CELP) model
US6240386B1 (en) 1998-08-24 2001-05-29 Conexant Systems, Inc. Speech codec employing noise classification for noise compensation
US6259677B1 (en) * 1998-09-30 2001-07-10 Cisco Technology, Inc. Clock synchronization and dynamic jitter management for voice over IP and real-time data
US6370125B1 (en) * 1998-10-08 2002-04-09 Adtran, Inc. Dynamic delay compensation for packet-based voice network
WO2000024144A1 (en) 1998-10-21 2000-04-27 Tiernan Communications, Inc. Method and apparatus for de-jittering asynchronous data transfer delay
US6473399B1 (en) 1998-11-30 2002-10-29 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for determining an optimum timeout under varying data rates in an RLC wireless system which uses a PDU counter
US6456964B2 (en) * 1998-12-21 2002-09-24 Qualcomm, Incorporated Encoding of periodic speech using prototype waveforms
US6922669B2 (en) 1998-12-29 2005-07-26 Koninklijke Philips Electronics N.V. Knowledge-based strategies applied to N-best lists in automatic speech recognition systems
US6311154B1 (en) * 1998-12-30 2001-10-30 Nokia Mobile Phones Limited Adaptive windows for analysis-by-synthesis CELP-type speech coding
US6452950B1 (en) * 1999-01-14 2002-09-17 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive jitter buffering
US20020101885A1 (en) * 1999-03-15 2002-08-01 Vladimir Pogrebinsky Jitter buffer and methods for control of same
US7117156B1 (en) * 1999-04-19 2006-10-03 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
KR100630253B1 (ko) 1999-04-19 2006-10-02 에이티 앤드 티 코포레이션 패킷 손실 또는 프레임 삭제 은폐를 실행하는 방법 및 장치
GB9911737D0 (en) 1999-05-21 1999-07-21 Philips Electronics Nv Audio signal time scale modification
US6785230B1 (en) 1999-05-25 2004-08-31 Matsushita Electric Industrial Co., Ltd. Audio transmission apparatus
JP3506960B2 (ja) * 1999-08-03 2004-03-15 シャープ株式会社 パケット処理装置及びパケット処理プログラムを記録した記憶媒体
JP4895418B2 (ja) 1999-08-24 2012-03-14 ソニー株式会社 音声再生方法および音声再生装置
EP1221694B1 (en) 1999-09-14 2006-07-19 Fujitsu Limited Voice encoder/decoder
US6377931B1 (en) * 1999-09-28 2002-04-23 Mindspeed Technologies Speech manipulation for continuous speech playback over a packet network
US6859460B1 (en) 1999-10-22 2005-02-22 Cisco Technology, Inc. System and method for providing multimedia jitter buffer adjustment for packet-switched networks
US6665317B1 (en) * 1999-10-29 2003-12-16 Array Telecom Corporation Method, system, and computer program product for managing jitter
US6496794B1 (en) 1999-11-22 2002-12-17 Motorola, Inc. Method and apparatus for seamless multi-rate speech coding
US6693921B1 (en) * 1999-11-30 2004-02-17 Mindspeed Technologies, Inc. System for use of packet statistics in de-jitter delay adaption in a packet network
US6366880B1 (en) * 1999-11-30 2002-04-02 Motorola, Inc. Method and apparatus for suppressing acoustic background noise in a communication system by equaliztion of pre-and post-comb-filtered subband spectral energies
WO2001060093A1 (en) 2000-02-08 2001-08-16 Opuswave Networks, Inc. Method and system for integrating pbx features in a wireless network
JP3841256B2 (ja) * 2000-02-15 2006-11-01 三菱電機株式会社 通信システム及び通信方法及び送信端末
GB2360178B (en) * 2000-03-06 2004-04-14 Mitel Corp Sub-packet insertion for packet loss compensation in Voice Over IP networks
US6813274B1 (en) 2000-03-21 2004-11-02 Cisco Technology, Inc. Network switch and method for data switching using a crossbar switch fabric with output port groups operating concurrently and independently
WO2001076162A1 (en) 2000-04-03 2001-10-11 Ericsson Inc. Method and apparatus for efficient handover in packet data communication system
US6763375B1 (en) 2000-04-11 2004-07-13 International Business Machines Corporation Method for defining and controlling the overall behavior of a network processor device
ATE553472T1 (de) 2000-04-24 2012-04-15 Qualcomm Inc Prädikitve dequantisierung von stimmhaften sprachsignalen
US6584438B1 (en) 2000-04-24 2003-06-24 Qualcomm Incorporated Frame erasure compensation method in a variable rate speech coder
US7246057B1 (en) 2000-05-31 2007-07-17 Telefonaktiebolaget Lm Ericsson (Publ) System for handling variations in the reception of a speech signal consisting of packets
EP1182875A3 (en) * 2000-07-06 2003-11-26 Matsushita Electric Industrial Co., Ltd. Streaming method and corresponding system
CN1119890C (zh) * 2000-09-30 2003-08-27 华为技术有限公司 一种ip语音数据包的抗丢包处理方法
US7155518B2 (en) 2001-01-08 2006-12-26 Interactive People Unplugged Ab Extranet workgroup formation across multiple mobile virtual private networks
US20020133334A1 (en) * 2001-02-02 2002-09-19 Geert Coorman Time scale modification of digitally sampled waveforms in the time domain
US20040204935A1 (en) * 2001-02-21 2004-10-14 Krishnasamy Anandakumar Adaptive voice playout in VOP
US7005511B2 (en) 2001-02-26 2006-02-28 The Regents Of The University Of California Fluorescent protein variants and methods for making same
US7212517B2 (en) * 2001-04-09 2007-05-01 Lucent Technologies Inc. Method and apparatus for jitter and frame erasure correction in packetized voice communication systems
JP3644404B2 (ja) * 2001-04-27 2005-04-27 三菱電機株式会社 光加入者線端局装置及びaponシステム及びセル遅延ゆらぎ抑制方法
US7006511B2 (en) 2001-07-17 2006-02-28 Avaya Technology Corp. Dynamic jitter buffering for voice-over-IP and other packet-based communication systems
US7266127B2 (en) * 2002-02-08 2007-09-04 Lucent Technologies Inc. Method and system to compensate for the effects of packet delays on speech quality in a Voice-over IP system
US7079486B2 (en) * 2002-02-13 2006-07-18 Agere Systems Inc. Adaptive threshold based jitter buffer management for packetized data
US7158572B2 (en) 2002-02-14 2007-01-02 Tellabs Operations, Inc. Audio enhancement communication techniques
US7126957B1 (en) 2002-03-07 2006-10-24 Utstarcom, Inc. Media flow method for transferring real-time data between asynchronous and synchronous networks
US7263109B2 (en) 2002-03-11 2007-08-28 Conexant, Inc. Clock skew compensation for a jitter buffer
US6944540B2 (en) * 2002-03-28 2005-09-13 Motorola, Inc. Time determination in satellite positioning system receivers and methods therefor
US20030187663A1 (en) 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
JP3761486B2 (ja) * 2002-03-29 2006-03-29 Necインフロンティア株式会社 無線lanシステム、主装置およびプログラム
AU2002307884A1 (en) 2002-04-22 2003-11-03 Nokia Corporation Method and device for obtaining parameters for parametric speech coding of frames
US7496086B2 (en) 2002-04-30 2009-02-24 Alcatel-Lucent Usa Inc. Techniques for jitter buffer delay management
US7280510B2 (en) 2002-05-21 2007-10-09 Nortel Networks Limited Controlling reverse channel activity in a wireless communications system
WO2003107591A1 (en) 2002-06-14 2003-12-24 Nokia Corporation Enhanced error concealment for spatial audio
US20040001494A1 (en) * 2002-07-01 2004-01-01 Zarlink Semiconductor V.N. Inc Architecture for obtaining playback time from a packet sequence number in AAL2 SSCS voice
US7336678B2 (en) * 2002-07-31 2008-02-26 Intel Corporation State-based jitter buffer and method of operation
US8520519B2 (en) 2002-09-20 2013-08-27 Broadcom Corporation External jitter buffer in a packet voice system
JP3796240B2 (ja) 2002-09-30 2006-07-12 三洋電機株式会社 ネットワーク電話機および音声復号化装置
JP4146708B2 (ja) 2002-10-31 2008-09-10 京セラ株式会社 通信システム、無線通信端末、データ配信装置及び通信方法
US6996626B1 (en) * 2002-12-03 2006-02-07 Crystalvoice Communications Continuous bandwidth assessment and feedback for voice-over-internet-protocol (VoIP) comparing packet's voice duration and arrival rate
KR100517237B1 (ko) 2002-12-09 2005-09-27 한국전자통신연구원 직교 주파수 분할 다중화 무선 통신 시스템에서의채널품질 추정과 링크적응 방법 및 그 장치
US7525918B2 (en) * 2003-01-21 2009-04-28 Broadcom Corporation Using RTCP statistics for media system control
US7394833B2 (en) * 2003-02-11 2008-07-01 Nokia Corporation Method and apparatus for reducing synchronization delay in packet switched voice terminals using speech decoder modification
JP2004266724A (ja) 2003-03-04 2004-09-24 Matsushita Electric Ind Co Ltd リアルタイム音声用バッファ制御装置
JP3825007B2 (ja) * 2003-03-11 2006-09-20 沖電気工業株式会社 ジッタバッファの制御方法
JP4034217B2 (ja) 2003-03-20 2008-01-16 クボタ松下電工外装株式会社 出隅部材とこれを用いた出隅納め構造
US7551671B2 (en) 2003-04-16 2009-06-23 General Dynamics Decision Systems, Inc. System and method for transmission of video signals using multiple channels
JP2005057504A (ja) 2003-08-05 2005-03-03 Matsushita Electric Ind Co Ltd データ通信装置及びデータ通信方法
DE60323886D1 (de) 2003-08-15 2008-11-13 Research In Motion Ltd Vorrichtung und assoziiertes verfahren zum erhalten von dienstqualitätsniveaus während der weiterreichung in einem funkkommunikationssystem
US7596488B2 (en) * 2003-09-15 2009-09-29 Microsoft Corporation System and method for real-time jitter control and packet-loss concealment in an audio signal
US7505764B2 (en) * 2003-10-28 2009-03-17 Motorola, Inc. Method for retransmitting a speech packet
US7272400B1 (en) 2003-12-19 2007-09-18 Core Mobility, Inc. Load balancing between users of a wireless base station
US7424026B2 (en) * 2004-04-28 2008-09-09 Nokia Corporation Method and apparatus providing continuous adaptive control of voice packet buffer at receiver terminal
JP4076981B2 (ja) 2004-08-09 2008-04-16 Kddi株式会社 通信端末装置およびバッファ制御方法
EP2189978A1 (en) 2004-08-30 2010-05-26 QUALCOMM Incorporated Adaptive De-Jitter Buffer for voice over IP
US8085678B2 (en) 2004-10-13 2011-12-27 Qualcomm Incorporated Media (voice) playback (de-jitter) buffer adjustments based on air interface
SG124307A1 (en) 2005-01-20 2006-08-30 St Microelectronics Asia Method and system for lost packet concealment in high quality audio streaming applications
US8102872B2 (en) * 2005-02-01 2012-01-24 Qualcomm Incorporated Method for discontinuous transmission and accurate reproduction of background noise information
US20060187970A1 (en) * 2005-02-22 2006-08-24 Minkyu Lee Method and apparatus for handling network jitter in a Voice-over IP communications network using a virtual jitter buffer and time scale modification
US8155965B2 (en) 2005-03-11 2012-04-10 Qualcomm Incorporated Time warping frames inside the vocoder by modifying the residual
US8355907B2 (en) 2005-03-11 2013-01-15 Qualcomm Incorporated Method and apparatus for phase matching frames in vocoders
JP5129115B2 (ja) 2005-04-01 2013-01-23 クゥアルコム・インコーポレイテッド 高帯域バーストの抑制のためのシステム、方法、および装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57158247U (ja) * 1981-03-30 1982-10-05
JPS61156949A (ja) * 1984-12-27 1986-07-16 Matsushita Electric Ind Co Ltd 音声パケツト通信方式
JPS6268350A (ja) * 1985-09-20 1987-03-28 Nippon Telegr & Teleph Corp <Ntt> 音声パケツト通信方式
JPH02502776A (ja) * 1987-03-18 1990-08-30 アルカテル・エヌ・ブイ 非同期時分割通信システム
JPH02288441A (ja) * 1989-04-28 1990-11-28 Oki Electric Ind Co Ltd 音声パケット受信回路
JPH04331529A (ja) * 1991-05-07 1992-11-19 Fujitsu Ltd ゆらぎ吸収バッファの制御装置
JPH06152648A (ja) * 1992-11-09 1994-05-31 Mitsubishi Electric Corp データ・パケット通信方法
JPH08130544A (ja) * 1994-10-14 1996-05-21 Koninkl Ptt Nederland Nv Atm受信機のためのバッファ読み出し制御装置
JPH10190735A (ja) * 1996-12-27 1998-07-21 Secom Co Ltd 通話システム
JPH10313315A (ja) * 1997-05-12 1998-11-24 Mitsubishi Electric Corp 音声セルゆらぎ吸収装置
JPH11215182A (ja) * 1998-01-26 1999-08-06 Nec Corp 音声パケット送受信方法および装置
JP2000124947A (ja) * 1998-10-13 2000-04-28 Oki Electric Ind Co Ltd 音声パケット受信装置及び方法
JP2000307654A (ja) * 1999-04-23 2000-11-02 Canon Inc 音声パケット伝送システム
JP2001045067A (ja) * 1999-05-25 2001-02-16 Matsushita Electric Ind Co Ltd 音声伝送装置
JP2002164921A (ja) * 2000-11-27 2002-06-07 Oki Electric Ind Co Ltd 音声パケット通信の品質制御装置
JP2002223247A (ja) * 2001-01-25 2002-08-09 Matsushita Electric Ind Co Ltd リアルタイム音声再生装置
US20040120309A1 (en) * 2001-04-24 2004-06-24 Antti Kurittu Methods for changing the size of a jitter buffer and for time alignment, communications system, receiving end, and transcoder

Also Published As

Publication number Publication date
PT2200024E (pt) 2013-07-08
US7817677B2 (en) 2010-10-19
CA2691959C (en) 2013-07-30
EP2189978A1 (en) 2010-05-26
US20060045139A1 (en) 2006-03-02
JP2013031222A (ja) 2013-02-07
CA2691589A1 (en) 2006-03-09
CA2691959A1 (en) 2006-03-09
CA2578737A1 (en) 2006-03-09
US20060045138A1 (en) 2006-03-02
TW200629816A (en) 2006-08-16
KR20090028641A (ko) 2009-03-18
ES2355039T3 (es) 2011-03-22
CN101867522A (zh) 2010-10-20
US7830900B2 (en) 2010-11-09
CN101873266B (zh) 2015-11-25
KR100964436B1 (ko) 2010-06-16
CN101048813A (zh) 2007-10-03
CN102779517A (zh) 2012-11-14
CN101873267A (zh) 2010-10-27
MY149811A (en) 2013-10-14
BRPI0514801B1 (pt) 2019-06-18
ES2405750T3 (es) 2013-06-03
PL1787290T3 (pl) 2011-04-29
US20060056383A1 (en) 2006-03-16
EP2200024B1 (en) 2013-03-27
JP2008512062A (ja) 2008-04-17
JP2010136346A (ja) 2010-06-17
KR100938032B1 (ko) 2010-01-21
KR20070065876A (ko) 2007-06-25
CA2691762A1 (en) 2006-03-09
ATE488838T1 (de) 2010-12-15
TWI454101B (zh) 2014-09-21
BRPI0514801A (pt) 2008-06-24
KR20090028640A (ko) 2009-03-18
WO2006026635A2 (en) 2006-03-09
US20060050743A1 (en) 2006-03-09
PL2200024T3 (pl) 2013-08-30
JP5389729B2 (ja) 2014-01-15
CN101873266A (zh) 2010-10-27
WO2006026635A3 (en) 2006-06-22
EP1787290A2 (en) 2007-05-23
CN101873267B (zh) 2012-10-24
EP2200024A1 (en) 2010-06-23
US7826441B2 (en) 2010-11-02
EP2204796B1 (en) 2017-07-12
CA2578737C (en) 2010-09-21
KR100938034B1 (ko) 2010-01-21
CN101048813B (zh) 2012-08-29
DK2200024T3 (da) 2013-07-01
KR100964437B1 (ko) 2010-06-16
JP4933605B2 (ja) 2012-05-16
US8331385B2 (en) 2012-12-11
EP2204796A1 (en) 2010-07-07
MX2007002483A (es) 2007-05-11
DE602005024825D1 (de) 2010-12-30
JP5591897B2 (ja) 2014-09-17
KR20090026818A (ko) 2009-03-13
CA2691762C (en) 2012-04-03
EP1787290B1 (en) 2010-11-17

Similar Documents

Publication Publication Date Title
JP5591897B2 (ja) 適応デジッタバッファの方法及び装置
US7924711B2 (en) Method and apparatus to adaptively manage end-to-end voice over internet protocol (VolP) media latency

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120815

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130422

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130425

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130621

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131009

R150 Certificate of patent or registration of utility model

Ref document number: 5389729

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250