JP2003504654A - オーディオ信号の符号化効率を向上させる方法 - Google Patents

オーディオ信号の符号化効率を向上させる方法

Info

Publication number
JP2003504654A
JP2003504654A JP2001508440A JP2001508440A JP2003504654A JP 2003504654 A JP2003504654 A JP 2003504654A JP 2001508440 A JP2001508440 A JP 2001508440A JP 2001508440 A JP2001508440 A JP 2001508440A JP 2003504654 A JP2003504654 A JP 2003504654A
Authority
JP
Japan
Prior art keywords
audio signal
signal
prediction
coding
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001508440A
Other languages
English (en)
Other versions
JP4142292B2 (ja
Inventor
オジャンペレー,ジュハ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2003504654A publication Critical patent/JP2003504654A/ja
Application granted granted Critical
Publication of JP4142292B2 publication Critical patent/JP4142292B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

(57)【要約】 本発明は、オーディオ信号の符号化の正確さと送信の効率とを向上させる方法に係わる。本方法によれば、符号化対象オーディオ信号の一部とオーディオ信号の以前に記憶されたサンプルとを比較して、符号化対象オーディオ信号に最も良く一致するサンプルの基準シーケンスを特定する。少なくとも二つの異なる長周期予測(LTP)次数(M)を使って長周期予測によって基準シーケンスから予測信号を生成する。ピッチ予測子係数群(b(k))はピッチ予測子次数毎に形成される。各ピッチ予測子次数に対する予測信号と符号化対象オーディオ信号とを比較して、予測誤差を判定する。予測信号を符号化するのに要する情報量と元の信号を符号化するのに要する情報量とを比較して、必要なデータ量を最小にし更にオーディオ信号を最も良く表すものを提供する符号化方法を選択する。

Description

【発明の詳細な説明】
【0001】 本発明は、オーディオ信号の符号化効率を向上させるための請求項1の前文に
記載の方法に係わる。本発明は、また、請求項21に記載のデータ伝送システムに
も、請求項27の前文に記載の符号器にも、請求項30の前文に記載の復号器にも、
さらに請求項38の前文に記載の復号化方法にも係わる。
【0002】 普通、オーディオ符号化方式では、音声信号などのアナログオーディオ信号か
ら符号化信号を生成する。概して、符号化信号は、データ伝送システムに固有の
データ伝送方法で受信器側へ送信される。受信器側では、符号化信号に基づいて
オーディオ信号が生成される。送信される情報量は、システム内で符号化情報の
ために用いられる帯域幅、および符号化が実行されうる効率などに影響される。
【0003】 符号化のために、例えば0.125msの規則的な間隔でアナログ信号からデジタル
サンプルを生成する。各サンプルは、一般に、固定の大きさ、例えば約20ms間隔
を有するグループで処理される。これらのサンプル群は「フレーム」とも呼ばれ
る。普通、フレームは、オーディオデータを処理する基本単位である。
【0004】 オーディオ符号化方式の目的は、使用可能な帯域幅の範囲内でできるだけ良質
の音を生成することである。この最終目的のために、オーディオ信号特に音声信
号の周期性を利用することができる。音声の周期性は、例えば、声帯の振動に起
因する。一般に、振動期間は2ms〜20ms程度である。先行技術に係わる多数の音
声符号器では、長周期予測(LTP)という手法が用いられている。この方法の目
的は、この周期性を評価し利用して符号化処理の効率を高めることである。従っ
て、符号化中に、符号化対象信号の一部(フレーム)とその信号での先に符号化
された部分とを比較する。類似の信号が先に符号化された部分に存在する場合、
類似の信号と符号化対象信号との間の遅延(時間遅れ)を調べる。類似の信号に
基づいて、符号化対象信号を表す予測信号を形成する。更に、誤差信号を生成す
る。誤差信号は、予測信号と符号化対象信号との間の差異を表す信号である。こ
うして、有利には、遅れ情報と誤差信号とだけが送信されるように、符号化を実
行する。受信器側では、正しいサンプルが、メモリから検索され、符号化対象信
号の一部を予測するために使われ、遅れに基づいて誤差信号と結合される。数学
的には、この種のピッチ予測子(pitch predictor)は、次のような伝達関数で
あらわされうるフィルタ動作を実行するものと考えられる。
【0005】
【数1】
【0006】 上記の方程式は、一次ピッチ予測子としての伝達関数を表す。βはピッチ予測
子係数であり、αは周期性を表す遅れである。より高次のピッチ予測子フィルタ
の場合、もっと一般的な伝達関数を使用することが可能である。
【0007】
【数2】
【0008】 フレーム毎に係数βkを選択する目的は、符号化誤差、すなわち実際の信号と
以前のサンプルを使って形成された信号との間の差異を限りなく小さくすること
にある。有利には、最小自乗法を用いて最小誤差を実現できるような係数を選択
して符号化で使用する。有利には、係数はフレーム毎に更新される。
【0009】 米国特許第5,528,629号には、短周期予測(STP)および一次長周期予測を用い
る先行技術に係わる音声符号化方式が開示されている。
【0010】 先行技術の符号器の場合、オーディオ信号の周波数とその周期性との間の関係
には何ら着目していないという問題をはらんでいる。あらゆる状況で信号の周期
性を有効に利用できるわけではないのである。しかも、符号化情報の量が不必要
に大きくなったり、受信器側で再構成されるオーディオ信号の音質が低下したり
する。
【0011】 例えば、状況によっては、オーディオ信号が周期性の高い信号で経時的変化の
少ない信号ならば、遅れ情報だけで信号の予測がうまくできる。このような状況
では、高次のピッチ予測子を用いる必要はないが、別の状況では、逆である。遅
れは必ずしもサンプリング間隔の整数倍ではない。例えば、オーディオ信号の二
つの連続するサンプルの間の時間が遅れである。この場合、より高次のピッチ予
測子で、離散的なサンプリング時点の間を効果的に補間して、信号をより正確に
表すことができる。更に、より高次のピッチ予測子の周波数応答は周波数の関数
として減少する傾向にある。これは、すなわち、より高次のピッチ予測子の方が
オーディオ信号の低周波成分のモデル化をうまく行えるということである。これ
は、音声符号化の場合、低周波成分の方が、高周波成分より感知できる音声信号
の質に与える影響が大きいので、好都合である。従って、オーディオ信号を予測
するために使われるピッチ予測子の次数を信号の展開に応じて変化させる機能は
非常に望ましいものであることが分かる。固定次数のピッチ予測子を用いる符号
器は、複雑過ぎる場合もあるが、オーディオ信号のモデル化が十分にできない場
合もある。
【0012】 本発明の一つの目的は、データ伝送システムにおけるオーディオ信号の符号化
の正確さと送信の効率とを向上させる方法を実現することである。すなわち、先
行技術の方法より正確にオーディオデータを符号化しより効率良く転送すること
である。本発明に係わる符号器の目的は、伝送される情報量を確実に低く抑えな
がら、符号化対象オーディオ信号を可能な限り正確にフレーム毎に予測すること
である。本発明の方法は、請求項1の特徴部分に提示された点に特徴を有する。
本発明のデータ伝送システムは、請求項21の特徴部分に提示された点に特徴を有
する。本発明の符号器は、請求項27の特徴部分に提示された点に特徴を有する。
本発明の復号器は、請求項30の特徴部分に提示された点に特徴を有する。更に、
本発明の復号化方法は、請求項38の特徴部分に提示された点に特徴を有する。
【0013】 本発明は、先行技術の解決策に比べて優位性がかなり高い。本発明の方法によ
れば、先行技術の方法より正確にオーディオ信号を符号化できる。しかも、符号
化信号を表すために要する情報量を確実に低く抑えることができる。また、本発
明によれば、先行技術による方法よりも柔軟にオーディオ信号の符号化を実行で
きる。オーディオ信号を予測する正確さ(定性的最大化)をはかるために、符号
化オーディオ信号を表すために要する情報量の削減(定量的最小化)をはかるた
めに、あるいは、両者の間のトレードオフを提供するために、本発明を適用する
ことができる。また、本発明の方法によれば、オーディオ信号に存在する異なる
周波数の周期性をより適切に考慮にいれることも可能である。
【0014】 次に、添付の図面を参照して本発明についてより詳細に説明する。
【0015】 図1は、本発明の好適な実施例に係わる符号器1を示す簡略化ブロック図である
。図4は、本発明に係わる方法を示すフロー図400である。符号器1は、例えば、
移動通信網やインターネットネットワークなどのデータ伝送システムで送信され
る符号化信号へとオーディオ信号を変換するための無線通信装置2(図3)の音声
符号器である。復号器33は、有利には、移動通信網の基地局に配置される。これ
に対応して、アナログオーディオ信号例えばマイク29で生成され必要に応じてオ
ーディオブロック30で増幅された信号は、アナログ‐デジタル変換器4でデジタ
ル信号へ変換される。変換の正確さは例えば8あるいは12ビットであり、連続す
るサンプル間の間隔(時間分解能)は例えば0.125msである。本明細書で示す数
値は、本発明を明確に説明するための一例にすぎず本発明を制限するものではな
い。
【0016】 オーディオ信号から得たサンプルはサンプルバッファ(図示せず)に格納され
る。サンプルバッファは、無線通信装置2のメモリ手段5などの周知の手段で実現
されうる。有利には、オーディオ信号の符号化は、所定数のサンプルが符号器1
へ送信されて符号化されるように、例えば、20ms(=連続するサンプル間の時間
間隔が0.125msならば160個のサンプル)以内に生成されたサンプル全部が符号器
1へ送信されて符号化されるように、フレーム毎に実行される。符号化対象フレ
ームのサンプルは、有利には、変換ブロック6へ送信される。ここで、オーディ
オ信号は、例えば修正離散コサイン変換(MDCT)によって時間領域から変換領域
(周波数領域)へと変換される。変換ブロック6の出力は、周波数領域で変換さ
れた信号の特性を表す数値群を提供する。この変換は、図4のフロー図のステッ
プ404で表される。
【0017】 あるいは、時間領域信号を周波数領域へ変換する処理部を、バンドパスフィル
タ数個からなるフィルタバンクとして実現してもよい。各フィルタの通過帯域は
比較的狭い。フィルタから出力される信号の大きさは、変換対象信号の周波数ス
ペクトルを表す。
【0018】 遅れブロック7は、以前のサンプルシーケンスのどれが所定の時点で符号化さ
れるフレームに最も良く一致しているかを判定する(ステップ402)。この遅れ
判定ステージは有利には次のように実行される。すなわち、遅れブロック7が、
基準バッファ8に格納された値と符号化対象フレームのサンプルとを比較して、
例えば最小自乗法を用いて符号化対象フレームのサンプルと基準バッファに格納
された対応するサンプルシーケンスとの間の誤差を算出する。好適には、連続す
るサンプルで構成され最小誤差を示すサンプルシーケンスは、サンプルの基準シ
ーケンスとして選択される。
【0019】 サンプルの基準シーケンスを格納されたサンプルの中から遅れブロック7によ
って選択すると(ステップ403)、遅れブロック7は、選択したシーケンスに関す
る情報を係数算出ブロック9へ転送して、ピッチ予測子係数(pitch predictor c
oefficient)の評価を実行する。係数算出ブロック9では、サンプルの基準シー
ケンス内のサンプルに基づいて、1と3と5と7などの異なるピッチ予測子次数(pi
tch predictor orders)に対するピッチ予測子係数b(k)を算出する。そして、算
出された係数b(k)はピッチ予測子(pitch predictor)ブロック10へ転送される
。図4のフロー図にこれらのステージをステップ405〜411で示す。尚、ここで提
示する次数は、単に本発明を明確に説明するための一例であって本発明を限定す
るものではない。本発明は別の次数ででも適用可能である。また、使用可能な次
数の数はここで提示される合計4次でなくてもよい。
【0020】 ピッチ予測子係数は、このように算出されるとその後量子化される。こうして
、量子化されたピッチ予測子係数が求められる。好適には、受信器側の復号器33
で生成された再構成信号が誤差のないデータ伝送状態において可能な限り元の信
号に近づくように、ピッチ予測子係数を量子化する。ピッチ予測子係数を量子化
する際には、丸めによる誤差を最小にするために限りなく高い分解能を用いる(
量子化段階を限りなく小さくする)とよい。
【0021】 格納されたサンプルの基準シーケンス内のサンプルは、ピッチ予測子ブロック
10へ転送される。ここで、算出され量子化されたピッチ予測子係数b(k)を使って
、ピッチ予測子次数毎に基準シーケンス内のサンプルから予測信号を生成する。
各予測信号とは、該当するピッチ予測子次数を使って評価される符号化対象信号
を予測したものである。本発明の好適な実施例によれば、予測信号は、次に第二
変換ブロック11へ転送されて周波数領域へ変換される。第二変換ブロック11は、
二つ以上の異なる次数を使って変換を実行する。こうして、異なるピッチ予測子
次数で予測された信号に対応する変換値のセットが生成される。ピッチ予測子ブ
ロック10と第二変換ブロック11とは、ピッチ予測子次数毎に必要な処理を実行す
るようにして実現されうる。あるいは、別個のピッチ予測子ブロック10と別個の
第二変換ブロック11とを次数毎に実現してもよい。
【0022】 算出ブロック12では、予測信号の周波数領域変換値と変換ブロック6からえら
れた符号化対象オーディオ信号の周波数領域へ変換されたものとを比較する。符
号化対象オーディオ信号の周波数スペクトルとピッチ予測子を使って予測した信
号の周波数スペクトルとの差異から予測誤差信号を算出する。有利には、予測誤
差信号は、符号化対象信号の周波数成分と予測信号の周波数成分との間の差異に
対応する予測誤差値のセットで構成される。オーディオ信号の周波数スペクトル
と予測信号の周波数スペクトルとの間の平均差などを表す符号化誤差も算出する
。有利には、最小二乗法を用いて符号化誤差を算出する。オーディオ信号の心理
音響モデル化(psychoacoustic modelling)を基盤とした方法など別の適宜の方
法を使って、符号化対象オーディオ信号を最も良く表わす予測信号を判定しても
よい。
【0023】 ブロック12では、送信チャネルに乗せられる情報を決定するために符号化効率
(予測利得)も算出される(ステップ413)。これは、送信情報量(ビット)の
最小化(定量的最小化)および信号歪みの最小化(定性的最大化)を目的とする
【0024】 受信装置に格納された以前のサンプルに基づいて受信器で信号を再構成するた
めに、例えば、選択次数に対する量子化されたピッチ予測子係数と、次数につい
ての情報と、遅れと、予測誤差情報とを、受信側へ送信することが必要である。
有利には、符号化効率は、元の信号に関する情報を送信するのに必要なビット数
より少ないビット数で、ピッチ予測子ブロック10で符号化された信号を復号化す
るのに必要な情報を送信することが可能かどうかを示すものである。この判定処
理を実現するために、例えば、復号化に必要な情報を特定のピッチ予測子を使っ
て生成する場合に送信される情報量を表す第一基準値を定義する。ついで、元の
オーディオ信号に基づいて復号化に要する情報を形成する場合に送信される情報
量を表す第二基準値を定義する。符号化効率は、有利には、第一基準値に対する
第二基準値の比率である。予測信号を表すのに要するビット数は、例えば、ピッ
チ予測子の次数(すなわち、送信される係数の個数)と、各係数が表される(量
子化される)精密さと、予測信号に付随する誤差情報の量と精密さとに依存する
。一方、元のオーディオ信号に関する情報を送信するのに要するビット数は、例
えば、オーディオ信号を周波数領域で表したものの精密さに依存する。
【0025】 このように判定される符号化効率が1より大きい場合、元の信号に関する情報
より少ないビット数で、予測信号を復号化するのに必要な情報を送信できること
を示す。算出ブロック12では、異なる方法での送信に必要なビット数を判定して
、送信されるビット数が少なくてすむ方法を選択する(ステップ414)。
【0026】 本発明の第一実施例によれば、最小符号化誤差を実現するためのピッチ予測子
次数を選択してオーディオ信号を符号化する(ステップ412)。選択されたピッ
チ予測子に対する符号化効率が1より大きい場合、予測信号に関する情報を選択
し送信する。符号化効率が1より大きくない場合、元のオーディオ信号に基づい
て送信情報を形成する。本発明の本実施例では、予測誤差の最小化(定性的最大
化)に力点が置かれている。
【0027】 本発明の第二の有利な実施例によれば、ピッチ予測子次数毎に符号化効率を算
出する。最小符号化誤差を提供するピッチ予測子次数を使ってオーディオ信号を
符号化する。ここで、このピッチ予測子次数は、符号化効率が1より大きくなる
ような次数の中から選択される。どのピッチ予測子次数でも予測利得が得られな
い(すなわち、どの符号化効率も1より大きくない)場合、有利には、元のオー
ディオ信号に基づいて送信情報を形成する。本発明の本実施例によれば、予測誤
差と符号化効率との間のトレードオフ(trade-off)が可能になる。
【0028】 本発明の第三実施例によれば、ピッチ予測子次数毎に符号化効率を算出して、
符号化効率が1より大きくなるような次数の中から最大符号化効率を提供するピ
ッチ予測子次数を選択してオーディオ信号を符号化する。どのピッチ予測子次数
でも予測利得を得られない(すなわち、どの符号化効率も1より大きくない)場
合、有利には、元のオーディオ信号に基づいて送信情報を形成する。本発明の本
実施例は、符号化効率の最大化(定量的最小化)に力点を置いている。
【0029】 本発明の第四実施例によれば、ピッチ予測子次数毎に符号化効率を算出し、最
大符号化効率を提供するピッチ次数を選択してオーディオ信号を符号化する。こ
の場合、符号化効率は1より大きくなくともよい。
【0030】 符号化誤差の算出とピッチ予測子次数の選択とは、一定間隔毎に好適にはフレ
ーム毎別々に実行される。ここで、異なるフレームで、所定の時点でのオーディ
オ信号の特性に最もよく対応するピッチ予測子次数を使用することができる。
【0031】 上記の説明のとおり、ブロック12で判定された符号化効率が1より大きくない
場合、元の信号の周波数スペクトルを送信する方がよいことになる。ここでデー
タ伝送チャネルに乗せるビットストリング501は、有利には、次の手順に従って
形成される(ステップ415)。すなわち、選択された送信方法に関する算出ブロ
ック12からの情報を選択ブロック13へ転送する(図1の線D1とD4)。選択ブロッ
ク13では、元のオーディオ信号を表す周波数領域変換値を選択して量子化ブロッ
ク14へ送信する。元のオーディオ信号の周波数領域変換値の量子化ブロック14へ
の送信を図1のブロック図において線A1で示す。量子化ブロック14では、周波数
領域変換信号値をそれ自体周知の方法で量子化する。量子化値は多重化ブロック
15へ転送され、送信ビットストリングが形成される。図5aと5bは、本発明に関連
づけて有利に適用されうるビットストリング構造の一例を示す。選択された符号
化方法に関する情報は、算出ブロック12から多重化ブロック15へ転送される(線
D1とD3)。ここで、送信方法に従ってビットストリングを形成する。第一論理値
例えば論理0を、元のオーディオ信号を表す周波数領域変換値を当該ビットスト
リングで送信する旨を示す符号化方法情報502として用いる。符号化方法情報502
の他に、所定の正確さで量子化された値自体もビットストリングで送信する。こ
れらの値の送信に使われるフィールドを図5aでは参照番号503で示す。ビットス
トリング毎に送信される数値の個数は、サンプリング周波数と、一度に調べるフ
レーム長とに依存する。このような状況では、受信器側ではビットストリング50
1で送信される元のオーディオ信号の周波数領域値に基づいて信号を再構成する
ので、ピッチ予測子次数情報と、ピッチ予測子係数と、遅れと、誤差情報とは送
信されない。
【0032】 符号化効率が1より大きい場合、選択されたピッチ予測子を使ってオーディオ
信号を符号化したほうがよい。また、データ伝送チャネルに乗せるビットストリ
ング501(図5b)は、有利には、次の手順に従って形成される(ステップ416)。
すなわち、選択された送信方法に関する情報が算出ブロック12から選択ブロック
13へ送信される。これを図1のブロック図で線D1とD4で示す。選択ブロック13は
、量子化されたピッチ予測子係数を選択して多重化ブロック15へ転送する。これ
を図1のブロック図において線B1で示す。尚、選択ブロック13を介してではなく
別の経路でピッチ予測子係数を多重化ブロック15へ転送してもよい。多重化ブロ
ック15で送信ビットストリングが形成される。選択された符号化方法に関する情
報は、算出ブロック12から多重化ブロック15へ転送される(線D1とD3)。ここで
、送信方法に応じてビットストリングを形成する。第二論理値例えば論理1を、
当該ビットストリングで量子化されたピッチ予測子係数を送信する旨を示す符号
化方法情報502として用いる。次数フィールド504のビットは、選択されたピッチ
予測子次数に応じて設定される。例えば4個の異なる次数が使用可能な場合、ど
の次数が所定の時点で選択されるかを示すのにはビット二個(00、01、10あるい
は11)で十分である。更に、遅れ情報を遅れフィールド505においてビットスト
リングで送信する。好適な例では、遅れをビット11個で示しているが、これ以外
のビット長でも本発明の範囲内で適用可能である。量子化されたピッチ予測子係
数を係数フィールド506に設定することでビットストリングに追加する。選択さ
れたピッチ予測子次数が1の場合、係数は一つだけ送信される。次数が3の場合、
係数は三つ送信されるなどである。係数の送信に使われるビット数も実施例によ
って異なる。有利な実施例では、一次の係数をビット3個で表し、三次の係数を
ビット5個で表し、五次の係数をビット9個で表し、七次の係数をビット10個で表
す。普通、選択次数が高いほど、量子化されたピッチ予測子係数の送信に要する
ビット数は大きくなる。
【0033】 オーディオ信号を選択されたピッチ予測子に基づいて符号化する場合、上記の
情報に加えて、予測誤差情報を誤差フィールド507に設定して送信することが必
要である。この予測誤差情報は、有利には、算出ブロック12で差信号として生成
される。差信号は、符号化対象オーディオ信号の周波数スペクトルと、選択され
たピッチ予測子の量子化されたピッチ予測子係数をサンプルの基準シーケンスと
関連させて使用することで復号化(すなわち、再構成)可能な信号の周波数スペ
クトルとの間の差異を表す。誤差信号は、例えば第一選択ブロック13を介して量
子化ブロック14へ転送されて量子化される。量子化された誤差信号は、量子化ブ
ロック14から多重化ブロック15へ転送される。ここで、量子化された予測誤差値
がビットストリングの誤差フィールド507に設定され追加される。
【0034】 本発明に係わる符号器1は、局所的復号化機能をも備えている。符号化オーデ
ィオ信号は、量子化ブロック14から逆量子化ブロック17へ転送される。上述のよ
うに、符号化効率が1より大きくない場合、オーディオ信号はその量子化された
周波数スペクトル値で表される。この場合、量子化された周波数スペクトル値は
逆量子化ブロック17へ転送される。ここで、それ自体周知の方法で逆量子化され
て、限りなく正確にオーディオ信号の元の周波数スペクトルが復元される。元の
オーディオ信号の周波数スペクトルを表わす逆量子化値は、ブロック17から加算
ブロック18へ出力される。
【0035】 符号化効率が1より大きい場合、オーディオ信号は、例えばピッチ予測子次数
情報、量子化されたピッチ予測子係数、遅れ値、及び予測誤差情報などのピッチ
予測子情報によって、量子化された周波数領域値の形式で表わされる。上述のよ
うに、予測誤差情報は、符号化対象オーディオ信号の周波数スペクトルと、選択
されたピッチ予測子とサンプルの基準シーケンスとに基づいて再構成されうるオ
ーディオ信号の周波数スペクトルとの間の差異を表す。従って、この場合、予測
誤差情報で構成される量子化された周波数領域値は、逆量子化ブロック17へ転送
されて逆量子化される。これによって、予測誤差の周波数領域値が限りなく正確
に復元される。このように、ブロック17の出力は逆量子化された予測誤差値で構
成される。これらの値は更に加算ブロック18の入力として提供される。ここで、
選択されたピッチ予測子を使って予測された信号の周波数領域値と合算される。
このようにして、元のオーディオ信号の周波数領域で再構成されたものが形成さ
れる。予測信号の周波数領域値は、算出ブロック12から利用できる。この算出ブ
ロック12で、予測信号の周波数領域値は、予測誤差の判定値に関連づけて算出さ
れ、図1の線C1で示されるように加算ブロック18へ転送される。
【0036】 加算ブロック18の処理は、算出ブロック12からの制御情報に従ってゲートされ
る(オン/オフ切替えされる)。このゲート処理をイネーブルにする制御情報の
転送を算出ブロック12と加算ブロック18との間のリンク(図1の線D1とD2)で示
す。ゲート処理は、逆量子化ブロック17から出力される様々なタイプの逆量子化
された周波数領域値を考慮に入れるために必要である。上述のように、符号化効
率が1より大きくない場合、ブロック17の出力は、元のオーディオ信号を表す逆
量子化された周波数領域値で構成される。この場合、加算処理は不必要であり、
算出ブロック12で構成されるいかなる予測オーディオ信号の周波数領域値に関す
る情報も必要ない。このような状況では、加算ブロック18の処理は、算出ブロッ
ク12からの制御情報で禁止され、元のオーディオ信号を表す逆量子化された周波
数領域値は、加算ブロック18を通過する。一方、符号化効率が1より大きい場合
、ブロック17の出力は逆量子化された予測誤差値で構成される。この場合、逆量
子化された予測誤差値と予測信号の周波数スペクトルとを合算して、元のオーデ
ィオ信号の周波数領域で再構成されたものを形成することが必要である。さて、
加算ブロック18の処理は、算出ブロック12からの制御情報でイネーブルされる。
これによって、逆量子化された予測誤差値と予測信号の周波数スペクトルとが合
算される。有利には、必要な制御情報は、オーディオ信号に適用される符号化方
法の選択と関連させてブロック12で生成される符号化方法の情報で提供される。
【0037】 別の実施例によれば、量子化は、予測誤差と符号化効率値との算出前に実行さ
れうる。ここで、予測誤差の算出と符号化効率の算出とは、元の信号と予測信号
とを表す量子化された周波数領域値を使って実行される。有利には、量子化は、
ブロック6とブロック12との間およびブロック11とブロック12との間に位置する
量子化ブロック(図示せず)で実行される。この実施例では、量子化ブロック14
は必要としない。ただし、逆量子化ブロックを線C1で示される経路に追加する必
要がある。
【0038】 加算ブロック18の出力は、サンプルの符号化シーケンス(オーディオ信号)に
対応するサンプリングされた周波数領域データである。このサンプリングされた
周波数領域データはさらに、逆修正離散コサイン変換部(逆修正DCT部)19で時
間領域へ変換される。サンプルの復号化シーケンスが、この逆修正DCT部から基
準バッファ8へ転送されて格納され、次のフレームの符号化と関連づけて使用さ
れる。基準バッファ8の記憶容量は、当該用途の符号化効率要求を満たすために
必要なサンプルの数に従って選択される。基準バッファ8の場合、好適には、バ
ッファ内の最も古いサンプルに上書きすることによって、新規のサンプルのシー
ケンスを格納する。要するに、バッファはいわゆる循環バッファである。
【0039】 符号器1で形成されるビットストリングは送信器16 へ転送される。送信器16で
はそれ自体周知の方法で変調が実行される。変調された信号は、例えば無線周波
信号としてデータ伝送チャネル3を介して受信器側へ転送される。有利には、符
号化オーディオ信号は、所定のフレームの符号化が終了したほぼすぐ後に、フレ
ーム毎に送信される。あるいは、オーディオ信号は、符号化され送信端末のメモ
リに格納された後に送信されうる。
【0040】 受信装置31では、受信器ブロック20においてそれ自体周知の方法でデータ伝送
チャネルを介して受信した信号を復調する。復号器33で復調データフレームに含
まれる情報を判定する。復号器33の分離(demultiplexing)ブロック21で、ビッ
トストリングの符号化方法情報502に基づいて、受信情報が元のオーディオ信号
に基づいて形成されたかどうかを先ず調べる。復号器が、符号器1で形成された
ビットストリング501には元の信号の周波数領域変換値が含まれていないと判断
すると、有利には次の手順に従って復号が実行される。次数フィールド504から
ピッチ予測子ブロック24で用いられる次数Mを判定し、遅れフィールド505から遅
れを判定する。ビットストリング501の係数フィールド506で受信された量子化ピ
ッチ予測子係数、および次数と遅れとに関する情報を復号器のピッチ予測子ブロ
ック24へ転送する。これを図2に線B2で示す。ビットストリングのフィールド507
で受信された予測誤差信号の量子化値は、逆量子化ブロック22で逆量子化されて
復号器の合算ブロック23へ転送される。遅れ情報に基づいて、復号器のピッチ予
測子ブロック24は、基準シーケンスとして使われるサンプルをサンプルバッファ
28から検索し、選択次数Mに従って予測を実行する。ここで、ピッチ予測子ブロ
ック24は、受信されたピッチ予測子係数を利用する。これによって、第一の再構
成時間領域信号が生成される。この第一の再構成時間領域信号は、変換ブロック
25で周波数領域へ変換されて、この周波数領域信号は加算ブロック23へ転送され
る。加算ブロック23で、周波数領域信号はこの信号と逆量子化された予測誤差信
号との合計値として生成される。このようにして、誤差のないデータ伝送状態で
は、再構成周波数領域信号は、周波数領域において元の符号化信号と実質的に一
致する。この周波数領域信号は、逆変換ブロック26で逆修正DCT(離散コサイン
変換)によって時間領域へと変換される。ここでデジタルオーディオ信号が逆変
換ブロック26から出力される。この信号は、デジタル/アナログ変換器27でアナ
ログ信号へと変換され、必要に応じて増幅され、それ自体周知の方法で次の処理
段階へと送信される。これは、図3に示すオーディオブロック32で示される。
【0041】 符号器1で形成されるビットストリング501が周波数領域へ変換された元の信号
の値で構成される場合、有利には次の手順に従って復号が実行される。量子化さ
れた周波数領域変換値を逆量子化ブロック22で逆量子化し、加算ブロック23を介
して逆変換ブロック26へ転送する。逆変換ブロック26では、逆修正DCTによって
周波数領域信号を時間領域へ変換する。ここで元のオーディオ信号に対応する時
間領域信号はデジタル形式で生成される。必要に応じて、この信号をデジタル/
アナログ変換器27でアナログ信号へ変換する。
【0042】 図2のA2は加算ブロック23への制御情報の送信を示す。この制御信号は、符号
器の局所的復号機能に関連付けて説明したのと同じように用いられる。すなわち
、受信されたビットストリング501のフィールド502に設定された符号化方法情報
が、オーディオ信号自体から得た量子化された周波数領域値がビットストリング
に含まれていることを示す場合、加算ブロック23の処理を禁止する。これによっ
て、オーディオ信号の量子化された周波数領域値は、加算ブロック23を経て逆変
換ブロック26へ送られる。一方、受信されたビットストリングのフィールド502
から検索された符号化方法情報が、オーディオ信号がピッチ予測子を使って符号
化されたことを示す場合、加算ブロック23の処理をイネーブルとする。これによ
って、逆量子化された予測誤差データと変換ブロック25によって生成された予測
信号の周波数領域で表されたものとが合算される。
【0043】 図3の例の場合、送信装置は無線通信装置2であり、受信装置は基地局31である
。無線通信装置2から送信された信号は、基地局31の復号器33で復号される。基
地局からは、アナログオーディオ信号がそれ自体周知の方法で次の処理段階へと
送信される。
【0044】 本例では、本発明を適用するために必要不可欠な機能だけが示されているが、
実用のアプリケーションでは、データ伝送システムは本明細書に提示された機能
以外の機能も備える。また、本発明に係わる符号化と関連させて短周期予測など
別の符号化方法を利用することも可能である。更に、本発明に従って符号化され
た信号の送信の際には、チャネル符号化など別の処理段階を実行することもでき
る。
【0045】 また、予測信号と時間領域での実際の信号との間の対応関係を判定することも
可能である。かくして本発明の別の実施例によれば、信号を周波数領域へ変換す
る必要はない。この場合、変換ブロック6と11は必ずしも必要ではない。また、
符号器の逆変換ブロック19および復号器の変換ブロック25と逆変換ブロック26も
必ずしも必要ではない。従って、符号化効率と予測誤差とは時間領域信号に基づ
いて判定される。
【0046】 先述のオーディオ信号符号化/復号化段階については、移動通信システムや衛
星TVシステムやビデオオンデマンドシステムなど、異なる種類のデータ伝送シス
テムに適用することができる。例えば、オーディオ信号が全二重方式で送信され
る移動通信システムでは、無線通信装置2と基地局31などの両方に符号器と復号
器のペアが必要である。図3のブロック図では、無線通信装置2と基地局31との対
応する機能ブロックを基本的には同じ参照番号で示す。図3では符号器1と復号器
33とを別個の装置として示しているが、実用のアプリケーションでは、符号器1
と復号器33とを一つの装置いわゆるコーデックで実現しうる。コーデックでは、
符号化と復号化の両方を実行するのに必要な機能全部が実現される。オーディオ
信号を移動通信システムにおいてデジタル形式で送信する場合、アナログ/デジ
タル変換とデジタル/アナログ変換とは、基地局では必要ない。従って、これら
の変換処理は無線通信装置とインタフェイスとで実行される。そしてインタフェ
イスを介して、移動通信網が公衆電話網など別の通信網に接続される。この電話
網がデジタル電話網の場合、上記の変換処理は、このような電話網に接続された
デジタル電話(図示せず)などで行われうる。
【0047】 先述の符号化段階は、必ずしも送信に関連させて実行されるわけではなく、符
号化情報は後の送信に備えて記憶されうる。更に、符号器に印加されるオーディ
オ信号は、必ずしも実時間オーディオ信号でなくてもよい。符号化対象オーディ
オ信号は、オーディオ信号から早い段階に記憶された情報でもよい。
【0048】 次に、本発明の有利な実施例に係わる異なる符号化段階について数学的に説明
する。ピッチ予測子ブロックの伝達関数は次のように表される。
【0049】
【数3】
【0050】 ここで、αは遅れを示し、b(k)はピッチ予測子の係数を示す。また、m1とm2とは
有利には次に示すように、次数(M)に依存する。
【0051】 m1=(M−1)/2 m2=M−m1−1 有利には、最も良く一致するサンプルのシーケンス(すなわち、基準シーケン
ス)は最小自乗法を用いて決められる。これは次の数式で表される。
【0052】
【数4】
【0053】 遅れαは、変数m1とm2とを0に設定し、方程式(2)を解いてbを求めることに
よって算出されうる。遅れαを求める別の方法は、正規化相関法を用いる方法で
あり次の数式で表される。
【0054】
【数5】
【0055】 最も良く一致する(基準)サンプルシーケンスが見つかった段階で、遅れブロ
ック7は遅れについての情報を得る。すなわち、遅れブロック7は、どのくらい早
い段階で対応するサンプルシーケンスがオーディオ信号に出現していたかについ
ての情報を得る。
【0056】 ピッチ予測子係数b(k)は、方程式(2)から次数M毎に算出されうる。方程式(
2)を次のように書き直すことができる。
【0057】
【数6】
【0058】
【数7】
【0059】 この方程式は行列形式で書くこともできる。この場合、係数b(k)は行列方程
式を解くことによって求められる。
【0060】
【数8】
【0061】 本発明に係わる方法においては、先行技術に係わるシステムにおける場合より
効果的にオーディオ信号の周期性を利用することをその目的とする。これは、い
くつかの次数に対してピッチ予測子係数を算出することによってオーディオ信号
の周波数変化に対する符号器の適応力を増加させることで達成される。オーディ
オ信号の符号化に使われるピッチ予測子次数については、予測誤差を最小にする
か、符号化効率を最大にするか、予測誤差と符号化効率との間の取捨(trade-of
f)を可能にするような次数を選択しうる。この選択は一定の間隔毎に、好適に
はフレーム毎に独立して実行される。次数とピッチ予測子係数とはフレーム毎に
変えられる。本発明に係わる方法では、固定した次数を用いる先行技術の符号化
方法に比べて符号化の柔軟性を向上させることができる。更に、本発明の方法に
よれば、所定のフレームに対して送信される情報の量(ビット数)を符号化で削
減できない場合、元の信号を周波数領域へ変換させて、ピッチ予測子係数と誤差
信号との代わりに送信することができる。
【0062】 本発明に係わる方法で用いられる前述の算出手順は、有利には、デジタル信号
処理装置などでの制御部34のプログラムコードとしてプログラム形式で実現させ
ることができ、しかも/あるいはハードウェアとして実現させることができる。
上記の本発明の説明に基づき、本発明に係わる符号器1を実現させることは当業
者なら可能である。従って、符号器1の異なる機能ブロックについてここで詳細
に検討する必要はない。
【0063】 前記ピッチ予測子係数を受信器へ伝送するために、いわゆるルックアップテー
ブルを使用することができる。この場合、ルックアップテーブルには異なる係数
値が記憶される。ここで係数の代わりに、ルックアップテーブル内に記憶された
係数のインデックスが送信される。ルックアップテーブルは符号器1と復号器33
の両方に知らされる。受信段階では、送信されたインデックスに基づいてルック
アップテーブルを用いて当該ピッチ予測子係数を判定することができる。場合に
よっては、ルックアップテーブルを使用することで、送信されるビット数がピッ
チ予測子係数を送信する場合に比べて減少することがある。
【0064】 本発明は上記の実施例に限定されるものではない。また、あらゆる点で限定さ
れるものではなく、特許請求の範囲内で修正可能である。
【図面の簡単な説明】
【図1】 本発明の好適な実施例に係わる符号器を示す図である。
【図2】 本発明の好適な実施例に係わる復号器を示す図である。
【図3】 本発明の好適な実施例に係わるデータ伝送システムを示す簡略化ブロック図で
ある。
【図4】 本発明の好適な実施例に係わる方法を示すフロー図である。
【図5a】 本発明の好適な実施例に係わる符号器によって生成されるデータ伝送フレーム
の一例を示す図である。
【図5b】 本発明の好適な実施例に係わる符号器によって生成されるデータ伝送フレーム
の一例を示す図である。
【手続補正書】
【提出日】平成14年1月22日(2002.1.22)
【手続補正2】
【補正対象書類名】図面
【補正対象項目名】図1
【補正方法】変更
【補正の内容】
【図1】
【手続補正3】
【補正対象書類名】図面
【補正対象項目名】図2
【補正方法】変更
【補正の内容】
【図2】
【手続補正4】
【補正対象書類名】図面
【補正対象項目名】図3
【補正方法】変更
【補正の内容】
【図3】
【手続補正5】
【補正対象書類名】図面
【補正対象項目名】図4
【補正方法】変更
【補正の内容】
【図4】
【手続補正書】
【提出日】平成14年2月25日(2002.2.25)
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項31】 更に、少なくとも選択次数に関するデータ(504)と、遅
れ(505)と、少なくとも一つのピッチ予測子係数(506)と、予測誤差データ(
507)と、を前記受信情報から判定する手段(21)を有してなることを特徴とす
る請求項30に記載の復号器。
【請求項32】 更に、前記選択次数に関するデータ(504)と、遅れ(505
)と、少なくとも一つのピッチ予測子係数(506)と、を使って予測信号を生成
する手段(24、28)を有してなることを特徴とする請求項31に記載の復号器。
【請求項33】 更に、前記予測信号と前記予測誤差データとを使って再構
されたオーディオ信号を生成する手段(23、24、28)を有してなることを特徴
とする請求項31又は32に記載の復号器。
【請求項34】 更に、オーディオ信号自体に関する情報を受信する手段(
21)を有してなることを特徴とする請求項30に記載の復号器。
【請求項35】 更に、前記オーディオ信号自体に関する受信情報を使って
再構成されたオーディオ信号を生成する手段(22、23、26)を有してなることを
特徴とする請求項34に記載の復号器。
【請求項36】 請求項1に記載の方法に従って符号化されたオーディオ信
号を復号化する方法であって、該方法は更に、 符号化方法に関する情報(502)に基づいて、受信情報が元のオーディオ信号
に基づいて形成されたか否かを調べる段階であって、ここにオーディオ信号自体 に基づいて形成される符号化情報を使ってこの信号が復号化され、あるいは、 符号化段階で使用されたピッチ予測子次数(M)が調べられ、該ピッチ予測子
次数(M)に従って予測が実行されて、そのオーディオ信号を検索する、段階を
有することを特徴とする方法。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,MZ,SD,SL,SZ,TZ,UG ,ZW),EA(AM,AZ,BY,KG,KZ,MD, RU,TJ,TM),AE,AG,AL,AM,AT, AU,AZ,BA,BB,BG,BR,BY,BZ,C A,CH,CN,CR,CU,CZ,DE,DK,DM ,DZ,EE,ES,FI,GB,GD,GE,GH, GM,HR,HU,ID,IL,IN,IS,JP,K E,KG,KP,KR,KZ,LC,LK,LR,LS ,LT,LU,LV,MA,MD,MG,MK,MN, MW,MX,MZ,NO,NZ,PL,PT,RO,R U,SD,SE,SG,SI,SK,SL,TJ,TM ,TR,TT,TZ,UA,UG,US,UZ,VN, YU,ZA,ZW

Claims (39)

    【特許請求の範囲】
  1. 【請求項1】 オーディオ信号を符号化する方法であって、少なくとも、 ‐符号化対象オーディオ信号の一部を調べて、符号化対象オーディオ信号の一
    部に実質的に一致するオーディオ信号の別の部分を求める段階と、 ‐ピッチ予測子次数のセットを使ってオーディオ信号の実質的に一致する部分
    に基づいて予測信号のセットを生成する段階と、 ‐前記予測信号の中の少なくとも一つに対する符号化効率を判定する段階と、 ‐判定された符号化効率を使って符号化対象オーディオ信号の一部に対する符
    号化方法を選択する段階と、 がなされることを特徴とする方法。
  2. 【請求項2】 選択可能な符号化方法は、予測信号に基づいて符号化対象オ
    ーディオ信号を符号化する方法を含むことを特徴とする請求項1に記載の方法。
  3. 【請求項3】 選択可能な符号化方法は、オーディオ信号自体に基づいて符
    号化対象オーディオ信号を符号化する方法を含むことを特徴とする請求項2に記
    載の方法。
  4. 【請求項4】 前記予測信号の各々に対して符号化誤差を判定することを特
    徴とする請求項1に記載の方法。
  5. 【請求項5】 符号化効率は最小符号化誤差を示す予測信号に対して定義さ
    れ、判定された符号化効率情報が、符号化情報量は符号化が符号化対象オーディ
    オ信号の一部に基づいて実行される場合より少ないことを示すとき、符号化は、
    最小符号化誤差を示す予測信号に基づいて実行されることを特徴とする請求項4
    に記載の方法。
  6. 【請求項6】 符号化対象オーディオ信号の一部は周波数領域へ変換されて
    、そのオーディオ信号の周波数スペクトルが判定され、各予測信号は周波数領域
    へ変換されて、各予測信号の周波数スペクトルが判定され、前記符号化効率は、
    オーディオ信号の周波数スペクトルと予測信号の周波数スペクトルとに基づいて
    最小符号化誤差を示す前記予測信号に対して判定されることを特徴とする請求項
    5に記載の方法。
  7. 【請求項7】 符号化効率は前記予測信号の各々に対して判定され、符号化
    誤差は、判定された符号化効率情報が、符号化情報量は符号化対象オーディオ信
    号の一部に基づいて符号化を実行する場合および最小符号化誤差を示す予測信号
    に基づいて符号化を実行する場合よりも少ないことを示すような予測信号に対し
    て判定されることを特徴とする請求項1に記載の方法。
  8. 【請求項8】 符号化効率は前記予測信号の各々に対して判定され、符号化
    は、判定された符号化効率情報が、符号化情報量は符号化対象オーディオ信号の
    一部に基づいて符号化を実行する場合よりも少ないことを示す場合に、最高の符
    号化効率を提供する予測信号に基づいて実行されることを特徴とする請求項1に
    記載の方法。
  9. 【請求項9】 符号化効率は前記予測信号の各々に対して判定され、符号化
    は、最高の符号化効率を提供する予測信号に基づいて実行されることを特徴とす
    る請求項1に記載の方法。
  10. 【請求項10】 符号化対象オーディオ信号の一部は周波数領域へ変換され
    て、そのオーディオ信号の周波数スペクトルが判定され、各予測信号は周波数領
    域へ変換されて、各予測信号の周波数スペクトルが判定され、前記符号化効率は
    、オーディオ信号の周波数スペクトルと予測信号の周波数スペクトルとに基づい
    て予測信号毎に判定されることを特徴とする請求項7〜9のいずれか一項に記載の
    方法。
  11. 【請求項11】 予測誤差情報は前記予測信号の各々に対して判定されるこ
    と特徴とする請求項5〜9のいずれか一項に記載の方法。
  12. 【請求項12】 前記予測信号は、前記予測信号の各々に対して異なる予測
    次数を使用することによって形成されることを特徴とする請求項5〜9のいずれか
    一項に記載の方法。
  13. 【請求項13】 前記予測信号の各々に対して判定される前記予測誤差情報
    は、前記オーディオ信号の周波数スペクトルと予測信号の周波数スペクトルとを
    使って表される差のスペクトルとして算出されることを特徴とする請求項6又は1
    0に記載の方法。
  14. 【請求項14】 周波数領域への変換は修正離散コサイン変換(DCT)を用
    いて実行されることを特徴とする請求項10又は13に記載の方法。
  15. 【請求項15】 予測信号の符号化情報(501)は、少なくとも符号化方法
    に関するデータ(502)と、選択次数に関するデータ(504)と、遅れ(505)と
    ピッチ予測子係数(506)と、予測誤差に関するデータ(507)と、で構成される
    ことを特徴とする請求項1〜14のいずれか一項に記載の方法。
  16. 【請求項16】 オーディオ信号はフレームに分割され、符号化は、オーデ
    ィオ信号から形成されたフレーム毎に別個に実行されることを特徴とする請求項
    1〜15のいずれか一項に記載の方法。
  17. 【請求項17】 オーディオ信号は音声信号であることを特徴とする請求項
    1〜16のいずれか一項に記載の方法。
  18. 【請求項18】 前記符号化誤差は次のどれか一つに従って判定される、す
    なわち ‐最小自乗法、 ‐符号化対象オーディオ信号の心理音響モデル化に基づく方法、 ことを特徴とする請求項4〜7のいずれか一項に記載の方法。
  19. 【請求項19】 前記符号化誤差が最小自乗法に従って判定される場合、該
    符号化誤差は予測誤差から算出されることを特徴とする請求項18に記載の方法。
  20. 【請求項20】 前記符号化オーディオ信号は受信装置へ送信されることを
    特徴とする請求項1〜19のいずれか一項に記載の方法。
  21. 【請求項21】 オーディオ信号を符号化する手段(16、20)で構成される
    データ伝送システムであって、該データ伝送システムは更に、 ‐符号化対象オーディオ信号の一部を調べて符号化対象オーディオ信号の一部
    に実質的に一致するオーディオ信号の別の部分を求める手段(7、8)と、 ‐ピッチ予測子次数のセットを使って、オーディオ信号の実質的に一致する部
    分に基づいて予測信号のセットを生成する手段(9、10)と、 ‐前記予測信号の中の少なくとも一つに対する符号化効率を判定する手段(12
    )と、 ‐判定された符号化効率を使って、符号化対象オーディオ信号の一部に対する
    符号化方法を選択する手段(12、13、14)と、 ‐符号化オーディオ信号を送信する手段(16)と、 を有してなるデータ伝送システム。
  22. 【請求項22】 更に、前記予測信号の中の少なくとも一つに対する符号化
    誤差を判定する手段を有してなることを特徴とする請求項21に記載のデータ伝送
    システム。
  23. 【請求項23】 更に、符号化対象オーディオ信号の一部を周波数領域へ変
    換する手段と、各予測信号を周波数領域へ変換する手段とを有してなることを特
    徴とする請求項21に記載のデータ伝送システム。
  24. 【請求項24】 更に、受信装置へ送信されるビットストリング(15)を形
    成する手段を有してなり、前記ビットストリングは少なくとも選択された符号化
    方法に関する情報で構成されることを特徴とする請求項21に記載のデータ伝送シ
    ステム。
  25. 【請求項25】 更に、オーディオ信号をフレームに分割する手段を有して
    なることを特徴とする請求項21〜24のいずれか一項に記載のデータ伝送システム
  26. 【請求項26】 更に、移動端末を有してなることを特徴とする請求項21〜
    25のいずれか一項に記載のデータ伝送システム。
  27. 【請求項27】 オーディオ信号を符号化する手段(16、20)で構成される
    符号器(1)であって、該符号器は更に、 ‐符号化対象オーディオ信号の一部を調べて、符号化対象オーディオ信号の一
    部に実質的に一致するオーディオ信号の別の部分を求める手段(7)と、 ‐ピッチ予測子次数のセットを使って、オーディオ信号の実質的に一致する部
    分に基づいて予測信号のセットを生成する手段(9、10)と、 ‐前記予測信号の中の少なくとも一つに対する符号化効率を判定する手段(12
    )と、 ‐判定された符号化効率を使って、符号化対象オーディオ信号の一部に対する
    符号化方法を選択する手段(12、13、14)と、 を有してなることを特徴とする符号器。
  28. 【請求項28】 更に、予測信号に基づいてオーディオ信号を符号化する手
    段(4、6〜14)を有してなることを特徴とする請求項27に記載の符号器(1)。
  29. 【請求項29】 更に、オーディオ信号自体を符号化する手段(4、6、14)
    を有してなることを特徴とする請求項28に記載の符号器(1)。
  30. 【請求項30】 請求項27に記載の符号器で符号化されたオーディオ信号を
    復号化する復号器(33)であって、該復号器は、 復号化対象オーディオ信号の符号化方法を判定する手段と、 判定された符号化方法に従ってオーディオ信号を復号化する手段と、 を有してなることを特徴とする復号器。
  31. 【請求項31】 更に、予測信号に関する情報を受信する手段(21)を有し
    てなることを特徴とする請求項30に記載の復号器。
  32. 【請求項32】 更に、受信情報に基づいて予測信号を生成する手段(24、
    28)を有してなることを特徴とする請求項31に記載の復号器。
  33. 【請求項33】 更に、少なくとも選択次数に関するデータ(504)と、遅
    れ(505)と、少なくとも一つのピッチ予測子係数(506)と、予測誤差データ(
    507)と、を前記受信情報から判定する手段(21)を有してなることを特徴とす
    る請求項31又は32に記載の復号器。
  34. 【請求項34】 更に、前記選択次数に関するデータ(504)と、遅れ(505
    )と、少なくとも一つのピッチ予測子係数(506)と、を使って予測信号を生成
    する手段(24、28)を有してなることを特徴とする請求項33に記載の復号器。
  35. 【請求項35】 更に、前記予測信号と前記予測誤差データとを使って再構
    成オーディオ信号を生成する手段(23、24、28)を有してなることを特徴とする
    請求項33又は34に記載の復号器。
  36. 【請求項36】 更に、オーディオ信号自体に関する情報を受信する手段(
    21)を有してなることを特徴とする請求項30に記載の復号器。
  37. 【請求項37】 更に、前記オーディオ信号自体に関する受信情報を使って
    再構成オーディオ信号を生成する手段(22、23、26)を有してなることを特徴と
    する請求項36に記載の復号器。
  38. 【請求項38】 請求項1に記載の方法に従って符号化されたオーディオ信
    号を復号化する方法であって、復号化対象オーディオ信号の符号化方法を判定し
    、判定されたオーディオ信号の符号化方法に従って復号化を実行することを特徴
    とする方法。
  39. 【請求項39】 符号化方法は次のどれか一つである、すなわち ‐所定の次数のピッチ予測子を使ってオーディオ信号を符号化する方法、 ‐オーディオ信号自体に基づいてオーディオ信号を符号化する方法、 ことを特徴とする請求項38に記載の方法。
JP2001508440A 1999-07-05 2000-07-05 オーディオ信号の符号化効率を向上させる方法 Expired - Lifetime JP4142292B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI991537A FI116992B (fi) 1999-07-05 1999-07-05 Menetelmät, järjestelmä ja laitteet audiosignaalin koodauksen ja siirron tehostamiseksi
FI991537 1999-07-05
PCT/FI2000/000619 WO2001003122A1 (en) 1999-07-05 2000-07-05 Method for improving the coding efficiency of an audio signal

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005056891A Division JP4426483B2 (ja) 1999-07-05 2005-03-02 オーディオ信号の符号化効率を向上させる方法

Publications (2)

Publication Number Publication Date
JP2003504654A true JP2003504654A (ja) 2003-02-04
JP4142292B2 JP4142292B2 (ja) 2008-09-03

Family

ID=8555025

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2001508440A Expired - Lifetime JP4142292B2 (ja) 1999-07-05 2000-07-05 オーディオ信号の符号化効率を向上させる方法
JP2005056891A Expired - Lifetime JP4426483B2 (ja) 1999-07-05 2005-03-02 オーディオ信号の符号化効率を向上させる方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2005056891A Expired - Lifetime JP4426483B2 (ja) 1999-07-05 2005-03-02 オーディオ信号の符号化効率を向上させる方法

Country Status (13)

Country Link
US (2) US7289951B1 (ja)
EP (3) EP1587062B1 (ja)
JP (2) JP4142292B2 (ja)
KR (2) KR100593459B1 (ja)
CN (2) CN1235190C (ja)
AT (2) ATE298919T1 (ja)
AU (1) AU761771B2 (ja)
BR (1) BRPI0012182B1 (ja)
CA (1) CA2378435C (ja)
DE (2) DE60021083T2 (ja)
ES (1) ES2244452T3 (ja)
FI (1) FI116992B (ja)
WO (1) WO2001003122A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002173892A (ja) 2000-09-27 2002-06-21 Nippon Paper Industries Co Ltd グラビア印刷用塗工紙
FI118067B (fi) 2001-05-04 2007-06-15 Nokia Corp Menetelmä audiosignaalin pakkauksen purkamisessa, pakkauksen purkulaite, ja elektroniikkalaite
DE10138650A1 (de) * 2001-08-07 2003-02-27 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Verschlüsseln eines diskreten Signals sowie Verfahren und Vorrichtung zur Entschlüsselung
US7933767B2 (en) * 2004-12-27 2011-04-26 Nokia Corporation Systems and methods for determining pitch lag for a current frame of information
US20070213705A1 (en) * 2006-03-08 2007-09-13 Schmid Peter M Insulated needle and system
US7610195B2 (en) * 2006-06-01 2009-10-27 Nokia Corporation Decoding of predictively coded data using buffer adaptation
JP2008170488A (ja) 2007-01-06 2008-07-24 Yamaha Corp 波形圧縮装置、波形伸長装置、プログラムおよび圧縮データの生産方法
EP2077550B8 (en) 2008-01-04 2012-03-14 Dolby International AB Audio encoder and decoder
WO2009132662A1 (en) * 2008-04-28 2009-11-05 Nokia Corporation Encoding/decoding for improved frequency response
KR20090122143A (ko) * 2008-05-23 2009-11-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
WO2010005224A2 (en) * 2008-07-07 2010-01-14 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US20100114568A1 (en) * 2008-10-24 2010-05-06 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
WO2010053287A2 (en) * 2008-11-04 2010-05-14 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
GB2466672B (en) 2009-01-06 2013-03-13 Skype Speech coding
GB2466673B (en) 2009-01-06 2012-11-07 Skype Quantization
GB2466675B (en) 2009-01-06 2013-03-06 Skype Speech coding
GB2466671B (en) 2009-01-06 2013-03-27 Skype Speech encoding
GB2466674B (en) 2009-01-06 2013-11-13 Skype Speech coding
KR101614767B1 (ko) * 2009-10-28 2016-04-22 에스케이텔레콤 주식회사 벡터 양자화 기반 2차 예측을 통한 동영상 부호화/복호화 장치, 방법 및 기록 매체
BR122020007923B1 (pt) 2010-04-13 2021-08-03 Ge Video Compression, Llc Predição interplano
KR102166520B1 (ko) 2010-04-13 2020-10-16 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
CN105872562B (zh) * 2010-04-13 2019-05-17 Ge视频压缩有限责任公司 跨平面预测
NO2991355T3 (ja) 2010-04-13 2018-04-14
RS64605B1 (sr) 2010-04-13 2023-10-31 Ge Video Compression Llc Kodiranje videa primenom podele sa više stabala na slikama
US9268762B2 (en) * 2012-01-16 2016-02-23 Google Inc. Techniques for generating outgoing messages based on language, internationalization, and localization preferences of the recipient
DE102012207750A1 (de) 2012-05-09 2013-11-28 Leibniz-Institut für Plasmaforschung und Technologie e.V. Vorrichtung zur plasmabehandlung von menschlichen, tierischen oder pflanzlichen oberflächen, insbesondere von haut oder schleimhautarealen
WO2014054556A1 (ja) * 2012-10-01 2014-04-10 日本電信電話株式会社 符号化方法、符号化装置、プログラム、および記録媒体
KR102251833B1 (ko) 2013-12-16 2021-05-13 삼성전자주식회사 오디오 신호의 부호화, 복호화 방법 및 장치
EP2916319A1 (en) 2014-03-07 2015-09-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for encoding of information

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US36721A (en) * 1862-10-21 Improvement in breech-loading fire-arms
JPH0683443B2 (ja) * 1985-03-05 1994-10-19 富士通株式会社 フレ−ム内フレ−ム間符号化方式
WO1990013112A1 (en) * 1989-04-25 1990-11-01 Kabushiki Kaisha Toshiba Voice encoder
CA2021514C (en) 1989-09-01 1998-12-15 Yair Shoham Constrained-stochastic-excitation coding
US5528629A (en) 1990-09-10 1996-06-18 Koninklijke Ptt Nederland N.V. Method and device for coding an analog signal having a repetitive nature utilizing over sampling to simplify coding
NL9001985A (nl) * 1990-09-10 1992-04-01 Nederland Ptt Werkwijze voor het coderen van een analoog signaal met een herhalend karakter en een inrichting voor het volgens deze werkwijze coderen.
NL9002308A (nl) 1990-10-23 1992-05-18 Nederland Ptt Werkwijze voor het coderen en decoderen van een bemonsterd analoog signaal met een herhalend karakter en een inrichting voor het volgens deze werkwijze coderen en decoderen.
US5233660A (en) * 1991-09-10 1993-08-03 At&T Bell Laboratories Method and apparatus for low-delay celp speech coding and decoding
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5765127A (en) * 1992-03-18 1998-06-09 Sony Corp High efficiency encoding method
US5842033A (en) * 1992-06-30 1998-11-24 Discovision Associates Padding apparatus for passing an arbitrary number of bits through a buffer in a pipeline system
IT1257065B (it) 1992-07-31 1996-01-05 Sip Codificatore a basso ritardo per segnali audio, utilizzante tecniche di analisi per sintesi.
FI95086C (fi) 1992-11-26 1995-12-11 Nokia Mobile Phones Ltd Menetelmä puhesignaalin tehokkaaksi koodaamiseksi
CA2116736C (en) * 1993-03-05 1999-08-10 Edward M. Roney, Iv Decoder selection
JPH06332492A (ja) * 1993-05-19 1994-12-02 Matsushita Electric Ind Co Ltd 音声検出方法および検出装置
IT1270438B (it) 1993-06-10 1997-05-05 Sip Procedimento e dispositivo per la determinazione del periodo del tono fondamentale e la classificazione del segnale vocale in codificatori numerici della voce
US5574825A (en) * 1994-03-14 1996-11-12 Lucent Technologies Inc. Linear prediction coefficient generation during frame erasure or packet loss
JP3277692B2 (ja) 1994-06-13 2002-04-22 ソニー株式会社 情報符号化方法、情報復号化方法及び情報記録媒体
JPH08166800A (ja) * 1994-12-13 1996-06-25 Hitachi Ltd 複数種類の符号化方法を備える音声符号器および復号器
JP3183072B2 (ja) 1994-12-19 2001-07-03 松下電器産業株式会社 音声符号化装置
JPH08190764A (ja) * 1995-01-05 1996-07-23 Sony Corp ディジタル信号処理方法、ディジタル信号処理装置及び記録媒体
FR2729247A1 (fr) * 1995-01-06 1996-07-12 Matra Communication Procede de codage de parole a analyse par synthese
FR2729246A1 (fr) * 1995-01-06 1996-07-12 Matra Communication Procede de codage de parole a analyse par synthese
US5864798A (en) * 1995-09-18 1999-01-26 Kabushiki Kaisha Toshiba Method and apparatus for adjusting a spectrum shape of a speech signal
JP4005154B2 (ja) * 1995-10-26 2007-11-07 ソニー株式会社 音声復号化方法及び装置
TW321810B (ja) * 1995-10-26 1997-12-01 Sony Co Ltd
JPH1091194A (ja) * 1996-09-18 1998-04-10 Sony Corp 音声復号化方法及び装置
JP3707154B2 (ja) * 1996-09-24 2005-10-19 ソニー株式会社 音声符号化方法及び装置
JPH10105194A (ja) * 1996-09-27 1998-04-24 Sony Corp ピッチ検出方法、音声信号符号化方法および装置
CN1262994C (zh) * 1996-11-07 2006-07-05 松下电器产业株式会社 噪声消除器
JPH10149199A (ja) * 1996-11-19 1998-06-02 Sony Corp 音声符号化方法、音声復号化方法、音声符号化装置、音声復号化装置、電話装置、ピッチ変換方法及び媒体
FI964975A (fi) * 1996-12-12 1998-06-13 Nokia Mobile Phones Ltd Menetelmä ja laite puheen koodaamiseksi
US6252632B1 (en) * 1997-01-17 2001-06-26 Fox Sports Productions, Inc. System for enhancing a video presentation
US6202046B1 (en) * 1997-01-23 2001-03-13 Kabushiki Kaisha Toshiba Background noise/speech classification method
JP3064947B2 (ja) * 1997-03-26 2000-07-12 日本電気株式会社 音声・楽音符号化及び復号化装置
FI973873A (fi) * 1997-10-02 1999-04-03 Nokia Mobile Phones Ltd Puhekoodaus
JP3765171B2 (ja) 1997-10-07 2006-04-12 ヤマハ株式会社 音声符号化復号方式
AU3372199A (en) * 1998-03-30 1999-10-18 Voxware, Inc. Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment
US6014618A (en) * 1998-08-06 2000-01-11 Dsp Software Engineering, Inc. LPAS speech coder using vector quantized, multi-codebook, multi-tap pitch predictor and optimized ternary source excitation codebook derivation
US6493665B1 (en) * 1998-08-24 2002-12-10 Conexant Systems, Inc. Speech classification and parameter weighting used in codebook search
US6188980B1 (en) * 1998-08-24 2001-02-13 Conexant Systems, Inc. Synchronized encoder-decoder frame concealment using speech coding parameters including line spectral frequencies and filter coefficients
US6691084B2 (en) * 1998-12-21 2004-02-10 Qualcomm Incorporated Multiple mode variable rate speech coding
US6493664B1 (en) * 1999-04-05 2002-12-10 Hughes Electronics Corporation Spectral magnitude modeling and quantization in a frequency domain interpolative speech codec system

Also Published As

Publication number Publication date
CA2378435A1 (en) 2001-01-11
EP1587062B1 (en) 2008-12-24
KR20020019483A (ko) 2002-03-12
CN100568344C (zh) 2009-12-09
FI991537A (fi) 2001-01-06
ES2244452T3 (es) 2005-12-16
KR20050085977A (ko) 2005-08-29
AU5832600A (en) 2001-01-22
DE60021083D1 (de) 2005-08-04
CN1766990A (zh) 2006-05-03
EP1587062A1 (en) 2005-10-19
JP4142292B2 (ja) 2008-09-03
CN1235190C (zh) 2006-01-04
US7289951B1 (en) 2007-10-30
WO2001003122A1 (en) 2001-01-11
DE60021083T2 (de) 2006-05-18
EP1203370A1 (en) 2002-05-08
FI116992B (fi) 2006-04-28
EP1203370B1 (en) 2005-06-29
US20060089832A1 (en) 2006-04-27
KR100545774B1 (ko) 2006-01-24
AU761771B2 (en) 2003-06-12
DE60041207D1 (de) 2009-02-05
US7457743B2 (en) 2008-11-25
EP2037451A1 (en) 2009-03-18
JP4426483B2 (ja) 2010-03-03
KR100593459B1 (ko) 2006-06-28
CN1372683A (zh) 2002-10-02
BRPI0012182B1 (pt) 2017-02-07
ATE418779T1 (de) 2009-01-15
JP2005189886A (ja) 2005-07-14
BR0012182A (pt) 2002-04-16
CA2378435C (en) 2008-01-08
ATE298919T1 (de) 2005-07-15

Similar Documents

Publication Publication Date Title
JP4426483B2 (ja) オーディオ信号の符号化効率を向上させる方法
US7729905B2 (en) Speech coding apparatus and speech decoding apparatus each having a scalable configuration
US5214741A (en) Variable bit rate coding system
KR101061404B1 (ko) 가변 레이트로 오디오를 인코딩 및 디코딩하는 방법
US5623575A (en) Excitation synchronous time encoding vocoder and method
US7688921B2 (en) Transmitting apparatus and transmitting method, receiving apparatus and receiving method, transceiver apparatus, communication apparatus and method, recording medium, and program
JPS60116000A (ja) 音声符号化装置
MXPA01004137A (es) Dispositivo de ponderacion perceptible y metodo para la codificacion eficiente de senales de banda ancha.
JP2001519551A (ja) 音声符号化
US7016832B2 (en) Voiced/unvoiced information estimation system and method therefor
US7801732B2 (en) Audio codec system and audio signal encoding method using the same
JP2007504503A (ja) 低ビットレートオーディオ符号化
US7162419B2 (en) Method in the decompression of an audio signal
JP2001519552A (ja) ビットレートスケーラブルなオーディオデータストリームを生成する方法および装置
CA2293165A1 (en) Method for transmitting data in wireless speech channels
US5761633A (en) Method of encoding and decoding speech signals
CN115910078A (zh) 自适应语音编解码调节方法、装置、设备及介质
JPH02203400A (ja) 音声符号化方法
JPS61281632A (ja) 適応ビツト割当変換符号化装置
JPH09269798A (ja) 音声符号化方法および音声復号化方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040427

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20040726

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20040809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040813

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050302

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050317

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080409

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080612

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4142292

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130620

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term