JP2003076397A - 音響符号化装置、音響復号化装置、音響符号化方法及び音響復号化方法 - Google Patents

音響符号化装置、音響復号化装置、音響符号化方法及び音響復号化方法

Info

Publication number
JP2003076397A
JP2003076397A JP2001266253A JP2001266253A JP2003076397A JP 2003076397 A JP2003076397 A JP 2003076397A JP 2001266253 A JP2001266253 A JP 2001266253A JP 2001266253 A JP2001266253 A JP 2001266253A JP 2003076397 A JP2003076397 A JP 2003076397A
Authority
JP
Japan
Prior art keywords
code
acoustic
order
band
codes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001266253A
Other languages
English (en)
Other versions
JP3469567B2 (ja
Inventor
Hirohisa Tazaki
裕久 田崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2001266253A priority Critical patent/JP3469567B2/ja
Priority to US10/222,902 priority patent/US7191126B2/en
Publication of JP2003076397A publication Critical patent/JP2003076397A/ja
Application granted granted Critical
Publication of JP3469567B2 publication Critical patent/JP3469567B2/ja
Priority to US11/701,461 priority patent/US20070136049A1/en
Priority to US11/907,928 priority patent/US20080071552A1/en
Priority to US11/907,924 priority patent/US20080052088A1/en
Priority to US11/907,922 priority patent/US7756698B2/en
Priority to US11/907,921 priority patent/US20080052086A1/en
Priority to US11/907,923 priority patent/US7756699B2/en
Priority to US11/907,917 priority patent/US20080281603A1/en
Priority to US11/907,926 priority patent/US20080052084A1/en
Priority to US11/907,927 priority patent/US20080052085A1/en
Priority to US12/773,396 priority patent/US20100217608A1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • H04B1/667Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using a division in frequency subbands
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes

Abstract

(57)【要約】 【課題】 可変長符号である帯域毎符号の多重化順序が
フレームに依らず固定である関係上、固定的に後ろに多
重化される高周波数の帯域での誤分離が多くなる。一
方、包絡値が大きい帯域を誤ると、音響信号の音質劣化
が大きいので、高い周波数帯域の包絡値が大きい時には
ビット誤りによる音響信号の音質劣化が大きくなる課題
があった。 【解決手段】 音響符号化装置においては、多重化順序
決定手段12により決定された順序にしたがって複数の
符号を多重化し、音響復号化装置においては、分離順序
決定手段14により決定された順序にしたがって音響符
号から複数の符号を順次分離するように構成した。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、楽音や音声など
のディジタル音響信号を少ない情報量に圧縮して音響符
号を出力する音響符号化装置、および音響符号を復号し
て音響信号を得る音響復号化装置に関するものである。
【0002】
【従来の技術】従来の多くの音響符号化装置では、音響
信号から少ない情報量の複数の符号を求めて、この複数
の符号を多重化して音響符号とする。また、音響復号化
装置では、音響符号を分離して得られる複数の符号を復
号化して音響信号を生成する。文献1(ITU−T R
ecommendation G.722.1,199
9年9月)に開示された従来の音響符号化装置および音
響復号化装置では、少ない情報量の音響符号でも良好な
音響信号を復号できるように、一部の符号にハフマン符
号を使用している。ハフマン符号は、頻繁に使用される
値の時には符号長が短く、頻繁に使用されない値の時に
は符号長が長くなる特徴を持つ代表的な可変長符号であ
る。
【0003】図10は文献1に開示された従来の音響符
号化装置を示す構成図であり、図11は文献1に開示さ
れた従来の音響復号化装置を示す構成図である。図にお
いて、1は符号化対象である音響信号を入力し、その音
響信号を符号化して複数の符号(包絡符号、帯域毎符
号)を出力する符号化手段、2は符号化手段1から出力
された複数の符号を多重化し、その多重化結果を音響符
号として出力する多重化手段である。3は音響符号化装
置から音響符号を入力すると、その音響符号を複数の符
号(包絡符号、帯域毎符号)に分離する分離手段、4は
分離手段3により分離された複数の符号を復号して音響
信号を生成する復号化手段である。
【0004】次に動作について説明する。従来の音響符
号化装置では、20msを1フレームとして、フレーム
単位で処理を行う。音響符号化装置の符号化手段1は、
音響信号を入力すると、その音響信号に対して時間周波
数変換(MLT:Modulated Lapped
Transform)を行って周波数領域係数(MLT
coefficients)を求め、この周波数領域
係数を複数の帯域(region)に分割する。
【0005】そして、符号化手段1は、各帯域内の周波
数領域係数の平均値を求め、複数の平均値によって構成
される包絡ベクトル(amplitude envel
ope)を符号化し、その符号化結果を包絡符号として
出力する。また、この包絡符号を復号した値で各帯域の
周波数領域係数を正規化し、正規化した周波数領域係数
を帯域毎に量子化し、量子化方式毎に固定の長さの固定
長符号を得る。そして、この固定長符号をハフマン符号
化(可変長符号)し、その可変長符号を帯域毎符号とし
て出力する。なお、文献1では包絡符号及び帯域毎符号
の他に、上記帯域毎の量子化ステップサイズを制御する
ためのカテゴリ制御符号を求めているが、説明を簡単に
するためにここでは省略している。
【0006】多重化手段2は、符号化手段1が包絡符号
と帯域毎符号を出力すると、これらを予め定められた固
定順序で多重化し、その多重化結果を音響符号として音
響復号化装置に出力する。
【0007】音響復号化装置の分離手段3は、音響符号
化装置から音響符号を入力すると、予め定められた固定
順序で、その音響符号を分離して複数の符号(包絡符
号、帯域毎符号)を出力する。
【0008】復号化手段4は、分離手段3から包絡符号
と帯域毎符号を受けると、その包絡符号を復号して包絡
ベクトルを算出するとともに、その帯域毎符号を復号し
て正規化された周波数領域係数を算出する。そして、包
絡ベクトルの帯域毎の値を各帯域の正規化された周波数
領域係数に乗じて正規化を外し、正規化が外れた周波数
領域係数に対して周波数時間変換(IMLT:Inve
rse MLT)を行って音響信号を生成する。
【0009】図12は従来の音響符号化装置における包
絡ベクトルの一例を示す説明図である。図12におい
て、横軸が周波数、縦軸が包絡ベクトルの帯域毎の値、
つまり包絡値を示している。符号化対象である音響信号
の全周波数帯域を14分割して、低周波帯域から順に帯
域番号を昇順に割り当てている。包絡ベクトルは、周波
数領域係数の帯域毎の平均値を要素とする14次元のベ
クトルとなり、これを符号化した結果が包絡符号とな
る。
【0010】図13は図12の包絡ベクトルに対する音
響符号の構成を説明する説明図である。包絡符号に続い
て、低周波数の帯域から順番に各帯域の可変長(ハフマ
ン)符号、つまり帯域毎符号の多重化を行っている。図
13中に×印で示したビット位置にビット誤りが発生し
た場合、音響復号化装置の分離手段3により分離される
帯域11の帯域毎符号は、音響符号化装置が多重化した
帯域11の帯域毎符号と異なるものになってしまう。ま
た、帯域毎符号にハフマン符号を用いているため、かな
りの確率で帯域11の帯域毎符号の符号長を誤って解釈
してしまう。
【0011】この結果、帯域11以降に分離される帯域
12から帯域14の帯域毎符号は分離位置が正しくなく
なり、誤った符号が分離されることになる。図12と図
13中には、この時に誤って復号される範囲を網掛けし
て示している。このように、従来の音響符号化装置およ
び音響復号化装置では、高周波数の帯域は固定的に後ろ
に多重化されるため、その多重化位置より前にビット誤
りが発生して、誤って分離されることが多い。
【0012】上記従来例と別の音響符号化装置および音
響復号化装置として、特開平9−106299号公報と
特開2000−183751公報に開示されているもの
がある。特開平9−106299号公報に開示されてい
る従来の音響符号化装置および音響復号化装置では、音
響信号を周波数領域に変換した周波数領域係数の全サン
プルのうち、必要なものだけを選択して能率よく符号化
するために、係数値(振幅)の大きい順に所定数選択し
た部分係数だけを符号化するようにしている。また、部
分係数の符号化は、値の大きい順に符号化していき、2
番目以降を符号化する際には、直前に符号化した係数を
復号化し、この復号値で正規化してから符号化を行うよ
うにしている。なお、部分係数の符号化順序に関する情
報は、サンプル番号を2進数に変換したり、サンプル番
号列をハフマン符号化して、音響符号化装置から音響復
号化装置に渡されている。
【0013】特開2000−183751公報に開示さ
れている従来の音響符号化装置および音響復号化装置で
は、トラヒック(伝送路の輻輳状態)にリアルタイムに
連動した可変ビットレート符号化を実現するために、符
号化データのビットと、データエラーを基準としたビッ
ト感度など、所定の基準に従って並び替えるようにした
ものである。なお、データの並び替え順序については、
符号化側と復号化側との間で、予め規定されていること
を前提としている。つまり並び替え順序はフレームに依
らず一定である。
【0014】
【発明が解決しようとする課題】従来の音響符号化装置
及び音響復号化装置は以上のように構成されているの
で、可変長符号である帯域毎符号の多重化順序がフレー
ムに依らず固定である関係上、固定的に後ろに多重化さ
れる高周波数の帯域での誤分離が多くなる。一方、包絡
値が大きい帯域を誤ると、音響信号の音質劣化が大きい
ので、高い周波数帯域の包絡値が大きい時にはビット誤
りによる音響信号の音質劣化が大きくなる課題があっ
た。即ち、フレーム毎に異なるビット誤り感度の分布を
反映した多重化が行われていないために、ビット誤りに
よる音響信号の音質劣化が大きくなる課題があった。
【0015】なお、特開平9−106299号公報に開
示されている従来の音響符号化装置及び音響復号化装置
では、符号化手段の変更を行っているだけで、ビット誤
りによる音響信号の劣化を抑制する構成を開示していな
い。部分係数の符号化順序に関する符号を追加し、これ
をハフマン符号を用いて符号化する構成を開示している
が、この符号化順序に関する符号以外は固定長符号であ
り、可変長符号ゆえに起こる誤分離の課題を解消するも
のではない。むしろ、符号化順序に関する新たな符号を
追加したことと、直前に符号化した係数を復号化した値
で正規化してから符号化を行うようにしたことで、ビッ
ト誤りによる音響信号の劣化が増大する構成となってい
る。
【0016】特開2000−183751公報に開示さ
れている従来の音響符号化装置及び音響復号化装置で
は、フレームに依らない固定順序の並び替えを行ってい
るだけなので、図10及び図11で説明した従来の音響
符号化装置及び音響復号化装置と同様に、フレーム毎に
異なるビット誤り感度の分布を反映した多重化が行われ
ていないために、ビット誤りによる音響信号の劣化を十
分に抑制できない課題が残っている。
【0017】この発明は上記のような課題を解決するた
めになされたもので、高いビット誤り耐性を有する音響
符号化装置及び音響復号化装置を得ることを目的とす
る。
【0018】
【課題を解決するための手段】この発明に係る音響符号
化装置は、多重化順序決定手段により決定された順序に
したがって複数の符号を多重化し、その多重化結果を音
響符号として出力するようにしたものである。
【0019】この発明に係る音響符号化装置は、複数の
符号を一部又は全部が可変長符号である主符号と、残り
の補助符号とに分類し、その補助符号に基づいて主符号
の多重化順序を決定するようにしたものである。
【0020】この発明に係る音響符号化装置は、補助符
号を主符号より先に多重化するようにしたものである。
【0021】この発明に係る音響符号化装置は、主符号
がフレームを構成する各区分の情報符号である場合、補
助符号に基づいてフレームを構成する各区分の評価値を
計算し、各区分の評価値を比較して主符号の多重化順序
を決定するようにしたものである。
【0022】この発明に係る音響符号化装置は、フレー
ムを構成する各区分が周波数方向に分割された周波数帯
域であるようにしたものである。
【0023】この発明に係る音響符号化装置は、フレー
ムを構成する各区分が時間方向に分割されたサブフレー
ムであるようにしたものである。
【0024】この発明に係る音響符号化装置は、各区分
の評価値として振幅又はパワーを計算するようにしたも
のである。
【0025】この発明に係る音響復号化装置は、分離順
序決定手段により決定された順序にしたがって音響符号
から複数の符号を順次分離して出力するようにしたもの
である。
【0026】この発明に係る音響復号化装置は、複数の
符号を一部又は全部が可変長符号である主符号と、残り
の補助符号とに分類し、その補助符号に基づいて主符号
の分離順序を決定するようにしたものである。
【0027】この発明に係る音響復号化装置は、補助符
号を主符号より先に分離するようにしたものである。
【0028】この発明に係る音響復号化装置は、主符号
がフレームを構成する各区分の情報符号である場合、補
助符号に基づいてフレームを構成する各区分の評価値を
計算し、各区分の評価値を比較して主符号の分離順序を
決定するようにしたものである。
【0029】この発明に係る音響復号化装置は、フレー
ムを構成する各区分が周波数方向に分割された周波数帯
域であるようにしたものである。
【0030】この発明に係る音響復号化装置は、フレー
ムを構成する各区分が時間方向に分割されたサブフレー
ムであるようにしたものである。
【0031】この発明に係る音響復号化装置は、各区分
の評価値として振幅又はパワーを計算するようにしたも
のである。
【0032】
【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態1.図1はこの発明の実施の形態1による音
響符号化装置を示す構成図であり、図2はこの発明の実
施の形態1による音響復号化装置を示す構成図である。
図において、11は符号化対象である音響信号を所定長
のフレーム毎に入力し、その音響信号を符号化して複数
の符号(包絡符号、帯域毎符号)を出力する符号化手
段、12は符号化手段11から出力された包絡符号に基
づいて帯域毎符号の多重化順序を決定する多重化順序決
定手段、13は多重化順序決定手段12により決定され
た順序にしたがって包絡符号及び帯域毎符号を多重化
し、その多重化結果を音響符号として出力する多重化手
段である。
【0033】14は音響符号から複数の符号を分離する
順序を決定する分離順序決定手段、15は分離順序決定
手段14により決定された順序にしたがって音響符号か
ら複数の符号(包絡符号、帯域毎符号)を順次分離して
出力する分離手段、16は分離手段15から出力された
包絡符号及び帯域毎符号を復号化して音響信号を出力す
る復号化手段である。
【0034】次に動作について説明する。音響符号化装
置では、予め定められた区間長、例えば、20msを1
フレームとして、フレーム単位で処理を行う。音響符号
化装置の符号化手段11は、音響信号を入力すると、そ
の音響信号に対してMLT(Modulated La
pped Transform)などの時間周波数変換
を行って周波数領域係数を求め、この周波数領域係数を
複数の帯域(region)に分割する。
【0035】そして、符号化手段11は、各帯域内の周
波数領域係数の平均値を求め、複数の平均値によって構
成される包絡ベクトル(amplitude enve
lope)を符号化し、その符号化結果を包絡符号とし
て出力する。また、この包絡符号を復号した値で各帯域
の周波数領域係数を正規化し、正規化した周波数領域係
数を帯域毎に量子化し、量子化方式毎に固定の長さの固
定長符号を得る。そして、この固定長符号をハフマン符
号(可変長符号)化し、その可変長符号を帯域毎符号と
して出力する。なお、包絡符号及び帯域毎符号の他に、
上記帯域毎の量子化ステップサイズを制御するためのカ
テゴリ制御符号等を求めて、包絡符号及び帯域毎符号と
合わせて多重化する構成も当然可能である。
【0036】多重化順序決定手段12は、符号化手段1
1から複数の符号を受けると、帯域毎符号を主符号と分
類し、残りの包絡符号を補助符号と分類する。そして、
その補助符号である包絡符号に基づいて主符号である帯
域毎符号の多重化順序を決定する。具体的には次の通り
である。
【0037】まず、補助符号である包絡符号の多重化に
関する順序については、フレームに依らずに一定とす
る。そして、主符号である帯域毎符号の多重化に関する
順序の決定は、例えば、包絡符号を復号して得られる包
絡ベクトルの各要素の値の大きさの順番によって決定す
る。なお、包絡ベクトルは、符号化手段11の内部で中
間変数として算出されているので、符号化手段11が包
絡ベクトルを多重化順序決定手段12に与えることで、
多重化順序決定手段12における包絡符号の復号を省略
することができる。なお、ここでの順序とは、多重化手
段13で多重化されて得られる音響符号内での並び順を
指定するものであり、単に処理の時間的順番を指すもの
ではない。
【0038】多重化手段13は、符号化手段11から複
数の符号を受けると、多重化順序決定手段12により決
定された順序にしたがって包絡符号及び帯域毎符号を多
重化し、その多重化結果を音響符号として出力する。
【0039】音響復号化装置の分離手段15は、音響符
号化装置から音響符号を受けると、その音響符号の中の
補助符号、即ち、包絡符号のみを分離して出力する。な
お、音響符号化装置の多重化順序決定手段12は、補助
符号に関する多重化の順序を一定としているので、分離
手段15は、補助符号だけはフレーム毎に決定される順
序の入力を待たずに分離することができる。
【0040】分離順序決定手段14は、分離手段15か
ら補助符号である包絡符号を受けると、この包絡符号に
基づいて分離手段15における符号の分離順序を決定す
る。なお、この順序決定方法は、音響符号化装置の多重
化順序決定手段12と同じものにする必要がある。ただ
し、分離順序決定手段14の処理に先だって、復号化手
段16の内部で包絡ベクトルを算出できる場合には、復
号化手段16が包絡ベクトルを分離順序決定手段14に
与えることで、分離順序決定手段14における包絡符号
の復号を省略することができる。
【0041】分離手段15は、分離順序決定手段14に
より決定された順序にしたがって音響符号中の主符号、
即ち、帯域毎符号を分離して出力する。復号化手段16
は、分離手段15から包絡符号及び帯域毎符号を受ける
と、その包絡符号を復号して包絡ベクトルを算出すると
ともに、その帯域毎符号を復号して正規化された周波数
領域係数を算出する。そして、包絡ベクトルの帯域毎の
値を各帯域の正規化された周波数領域係数に乗じて正規
化を外し、正規化が外れた周波数領域係数に対してIM
LT(Inverse MLT)などの周波数時間変換
を行って音響信号を生成する。
【0042】図3は音響符号化装置における包絡ベクト
ルの一例を示す説明図である。図3において、横軸が周
波数、縦軸が包絡ベクトルの帯域毎の値、つまり包絡値
を示している。符号化対象である音響信号の全周波数帯
域を14分割して、低周波帯域から順に帯域番号を昇順
に割り当てている。包絡ベクトルは、周波数領域係数の
帯域毎の平均値を要素とする14次元のベクトルとな
り、これを符号化した結果が包絡符号となる。なお、図
3に示した包絡ベクトルの包絡値は図12に示したもの
と同じである。
【0043】図3の包絡ベクトルの場合には、帯域4
(帯域番号が4の帯域)、帯域8、帯域12の包絡値が
他の帯域より大きく、包絡値順序は図3の最下段に示す
通りである。多重化順序決定手段12及び分離順序決定
手段14では、入力された包絡符号を復号して得られた
包絡ベクトルに対して、フレーム毎にこの包絡値順序を
算出する。
【0044】図4は図3の包絡ベクトルに対する音響符
号の構成を説明する説明図である。先頭に包絡符号を多
重化し、これに続けて上述したフレーム毎の包絡値順序
に従って各帯域の可変長符号、つまり帯域毎符号の多重
化を行う。具体的には包絡値順序が1、つまり包絡値が
最も大きい帯域4の帯域毎符号を包絡符号の次の位置に
多重化する。そして包絡値順序が2、つまり包絡値が2
番目に大きい帯域8の帯域毎符号を帯域4の帯域毎符号
の次の位置に多重化する。これを繰り返して包絡値順序
が14、つまり包絡値が最も小さい帯域14の帯域毎符
号までを順番に多重化する。図13に示した従来の音響
符号と比べると、帯域毎符号の多重化順序が変化してい
る。
【0045】図13と同じ×印で示したビット位置にビ
ット誤りが発生した場合、音響復号化装置の分離手段1
5で分離される帯域6の帯域毎符号は、音響符号化装置
が多重化した帯域6の帯域毎符号と異なるものになって
しまう。また、帯域毎符号にハフマン符号を用いている
ため、かなりの確率で帯域6の帯域毎符号の符号長を誤
って解釈してしまう。この結果、帯域6より後ろから分
離される帯域7、帯域9、帯域10、帯域11、帯域1
3、帯域14の帯域毎符号は分離位置が正しくなくな
り、誤った符号が分離されることになる。図3と図4中
には、この時に誤って復号される範囲を網掛けして示し
ている。
【0046】図3の誤って復号される範囲を図13のそ
れと比較すると、包絡値の小さい帯域で誤って復号され
ることは増えているが、包絡値の大きい帯域12で誤っ
て復号されることが無くなっていることが分かる。包絡
値が大きい帯域、つまりパワーが大きい帯域を誤ると、
復号される音響信号の音質劣化が大きいので、従来と比
べて音質劣化が少なくなる。このように誤りの影響が大
きいと判断される帯域(この場合には包絡値が大きい帯
域)の多重化順序を前に配置することで、その帯域を誤
って復号する確率を下げることができ、音響信号の音質
劣化を軽減することができる。
【0047】図5は音声を音響信号として入力した時の
ビット誤り感度の評価結果である。図において、横軸は
音響符号の各ビット位置を示し、左側が音響符号の先
頭、右側が音響符号の終端のビット位置である。縦軸は
信号対雑音比SNRを示し、各ビット位置に誤りを発生
させたときに音響復号化装置が出力する音響信号をx
(t)、ビット誤りが無い時に音響復号化装置が出力す
る音響信号をs(t)とした時に以下の式によって求め
た値である。図5では値が大きい程(上の位置)、劣化
が少ないことを示している。
【数1】
【0048】図5から従来構成と比較して、この実施の
形態1の構成の方が信号対雑音比SNRが大きく、ビッ
ト誤りによる劣化が軽減していることが分かる。また、
大半のビット位置で改善効果があることから、一部のビ
ットを誤り訂正符号で保護している場合でも、残りの無
保護区間での改善が得られることが分かる。
【0049】なお、この実施の形態1では、包絡符号の
みを補助符号として順序決定に使用するものについて示
したが、これに限るものではなく、量子化ステップサイ
ズを制御するためのカテゴリ制御符号を合わせて多重化
する場合に、このカテゴリ制御符号による順序の補正を
行うなど、様々な変形が可能である。また、この実施の
形態1では、包絡値順序をそのまま多重化順序とした
が、人間の聴覚が周波数によって感度が異なることを包
絡値に加味して順序を決定したり、低域の数個の帯域に
ついては固定的に先に多重化するなどの変形も可能であ
る。
【0050】以上で明らかなように、この実施の形態1
によれば、音響符号化装置においては、多重化順序決定
手段12により決定された順序にしたがって複数の符号
を多重化するように構成し、音響復号化装置において
は、分離順序決定手段14により決定された順序にした
がって音響符号から複数の符号を順次分離して出力する
ように構成したので、ビット誤りの影響が大きい符号ま
たは符号の一部を、誤復号する可能性が低い位置に適応
的に多重化することができる。つまり、フレーム毎に異
なるビット誤り感度の分布を反映した多重化と分離が実
現できる。これにより、高いビット誤り耐性を有する音
響符号化装置及び音響復号化装置を得ることができる効
果を奏する。
【0051】実施の形態2.図6はこの発明の実施の形
態2による音響符号化装置を示す構成図であり、図7は
この発明の実施の形態2による音響復号化装置を示す構
成図である。図において、21は符号化対象である音響
信号を所定長のフレーム毎に入力し、その音響信号を符
号化して複数の符号(サブフレーム毎パワー符号、サブ
フレーム毎形状符号)を出力する符号化手段、22は符
号化手段21から出力されたサブフレーム毎パワー符号
に基づいてサブフレーム毎形状符号の多重化順序を決定
する多重化順序決定手段、23は多重化順序決定手段2
2により決定された順序にしたがってサブフレーム毎パ
ワー符号及びサブフレーム毎形状符号を多重化し、その
多重化結果を音響符号として出力する多重化手段であ
る。
【0052】24は音響符号から複数の符号を分離する
順序を決定する分離順序決定手段、25は分離順序決定
手段24により決定された順序にしたがって音響符号か
ら複数の符号(サブフレーム毎パワー符号、サブフレー
ム毎形状符号)を順次分離して出力する分離手段、26
は分離手段25から出力されたサブフレーム毎パワー符
号及びサブフレーム毎形状符号を復号化して音響信号を
出力する復号化手段である。
【0053】次に動作について説明する。音響符号化装
置では、予め定められた区間長、例えば、20msを1
フレームとして、フレーム単位で処理を行う。音響符号
化装置の符号化手段21は、音響信号を入力すると、そ
の音響信号のフレームを2分割したサブフレーム毎の符
号化を行う。各サブフレームにおいて、そのサブフレー
ム内信号のパワーを求め、そのパワーを符号化したパワ
ー符号を得る。そして、そのサブフレーム内の音響信号
を前記パワー符号を復号した値で正規化し、正規化後の
音響信号を符号化して形状符号を得る。この符号化処理
を2つのサブフレームで行い、得られた2つのパワー符
号をサブフレーム毎パワー符号、2つの形状符号をサブ
フレーム毎形状符号として出力する。
【0054】なお、形状符号はその一部または全部がハ
フマン符号などの可変長符号となっている。形状符号と
して、上記実施の形態1で説明した包絡符号と帯域毎符
号を使用することができるが、これに限定されるもので
はなく、音声符号化で広く用いられているスペクトル符
号、適応音源符号、駆動音源符号、ゲイン符号の組合せ
など、様々な構成が可能である。
【0055】多重化順序決定手段22は、符号化手段2
1から複数の符号を受けると、サブフレーム毎形状符号
を主符号と分類し、残りのサブフレーム毎パワー符号を
補助符号と分類する。そして、その補助符号であるサブ
フレーム毎パワー符号に基づいて主符号であるサブフレ
ーム毎形状符号の多重化順序を決定する。具体的に次の
通りである。なお、この順序とは、多重化手段23で多
重化されて得られる音響符号内での並び順を指定するも
のであり、単に処理の時間的順番を指すものではない。
【0056】まず、補助符号であるサブフレーム毎パワ
ー符号の多重化に関する順序については、フレームに依
らずに一定とし、主符号の多重化に関する順序のみをフ
レーム毎に決定する。主符号の多重化に関する順序の決
定は、例えば、補助符号であるサブフレーム毎パワー符
号を復号して得られるサブフレーム毎のパワー値の大き
さに関する比較結果によって決定する。なお、サブフレ
ーム毎のパワー値は、符号化手段21の内部で中間変数
として算出されているので、符号化手段21がサブフレ
ーム毎のパワー値を多重化順序決定手段22に与えるこ
とにより、多重化順序決定手段22におけるサブフレー
ム毎パワー符号の復号を省略することができる。
【0057】多重化手段23は、符号化手段21から複
数の符号を受けると、多重化順序決定手段22により決
定された順序にしたがってサブフレーム毎パワー符号及
びサブフレーム毎形状符号を多重化し、その多重化結果
を音響符号として出力する。
【0058】音響復号化装置の分離手段25は、音響符
号化装置から音響符号を受けると、その音響符号の中の
補助符号、即ち、サブフレーム毎パワー符号のみを分離
して出力する。なお、音響符号化装置の多重化順序決定
手段22は、補助符号に関する多重化の順序を一定とし
ているので、分離手段25は、補助符号だけはフレーム
毎に決定される順序の入力を待たずに分離することがで
きる。
【0059】分離順序決定手段24は、分離手段25か
ら補助符号であるサブフレーム毎パワー符号を受ける
と、このサブフレーム毎パワー符号に基づいて分離手段
25における符号の分離順序を決定する。なお、この順
序決定方法は、音響符号化装置の多重化順序決定手段2
2と同じものにする必要がある。ただし、分離順序決定
手段24の処理に先だって、復号化手段26の内部でサ
ブフレーム毎のパワー値を算出できる場合には、復号化
手段26がサブフレーム毎のパワー値を分離順序決定手
段24に与えることで、分離順序決定手段24における
サブフレーム毎パワー符号の復号を省略することができ
る。
【0060】分離手段25は、分離順序決定手段24に
より決定された順序にしたがって音響符号中の主符号、
即ち、サブフレーム毎形状符号を分離して出力する。復
号化手段26は、分離手段25からサブフレーム毎パワ
ー符号及びサブフレーム毎形状符号を受けると、そのサ
ブフレーム毎パワー符号を復号してサブフレーム毎のパ
ワー値を算出するとともに、そのサブフレーム毎形状符
号を正規化された音響信号を算出する。そして、サブフ
レーム毎のパワー値を各サブフレームの正規化された音
響信号に乗じて正規化を外し、正規化が外れた音響信号
を音響信号として出力する。
【0061】図8は音響符号化装置におけるサブフレー
ム毎のパワー値を説明する説明図である。図8におい
て、横軸が時間方向を示し、現在のフレームを2分割し
た前半を第一サブフレーム、後半を第二サブフレームと
している。図中上段が現在のフレームの音響信号、下段
がこの音響信号に対して求めた各サブフレーム毎のパワ
ー値(符号化したパワー符号を復号化した値)である。
図8の音響信号の場合、第一のサブフレームより第二の
サブフレームの方がパワー値が大きくなっている。
【0062】図9は音響符号化装置が出力する音響符号
の構成を説明する説明図である。図9において、(a)
は第一サブフレームのパワー値が第二サブフレームのパ
ワー値以上の場合の音響符号、(b)は図8のように第
一サブフレームのパワー値が第二サブフレームのパワー
値を下回る場合の音響符号である。図9に示したよう
に、補助符号であるパワー符号については、第一サブフ
レームと第二サブフレームのパワー値に依らずに常に先
頭に多重化している。そして、主符号である形状符号に
ついては、第一サブフレームと第二サブフレームのパワ
ー値を比較して、より大きいパワー値を与えたサブフレ
ームの形状符号を先に多重化する順序としている。
【0063】通常形状符号は複数の符号を多重化したも
のである。ここで、形状符号の一部または全部が可変長
符号であるため、ビット誤りが発生すると符号長の誤解
釈が起こり、ビット誤り位置より後ろに多重化されてい
る符号が誤って分離される。従って、音響符号中の後ろ
に行く程、ビット誤りによって誤って復号される確率が
高くなる。図9の構成では、パワー値が大きいサブフレ
ームの形状符号を先に多重化することで、パワー値が大
きいサブフレームを誤って復号する確率を下げている。
通常パワー値が大きいサブフレームを誤って復号すると
音響信号の音質劣化が大きいので、図9のように構成し
てパワー値が大きいサブフレームを誤って復号する確率
を下げれば、音響信号の音質劣化を軽減することができ
る。
【0064】なお、この実施の形態2では、フレーム内
のサブフレーム数を2としたが、これに限定されるもの
ではなく、3以上のサブフレーム数であっても構わな
い。また、この実施の形態2では、サブフレーム毎にパ
ワー符号を求めて多重化を行っているが、パワー符号に
ついては、サブフレーム毎のパワー値を一括してベクト
ル量子化してフレーム単位で符号化する構成も可能であ
る。また、第一サブフレームの形状符号と第二サブフレ
ームの形状符号の順序を制御する構成としたが、各形状
符号の一部はパワー符号に続けて固定順序での多重化を
行い、第一サブフレームの形状符号の残りと第二サブフ
レームの形状符号の残りを多重化する順序をパワー値に
応じて制御する構成や、各サブフレームの形状符号を複
数に分割して、パワー値の大きさの大小によって細かく
順序を制御する構成など、様々な変形が可能である。
【0065】さらに、この実施の形態2では、パワー符
号のみを補助符号として順序決定に使用するものについ
て示したが、これに限るものではなく、サブフレームの
重要さを判断できるものであれば他の符号を合わせた
り、他の符号のみを補助符号とする構成も可能である。
【0066】以上で明らかなように、この実施の形態2
によれば、音響符号化装置においては、多重化順序決定
手段22により決定された順序にしたがって複数の符号
を多重化するように構成し、音響復号化装置において
は、分離順序決定手段24により決定された順序にした
がって音響符号から複数の符号を順次分離して出力する
ように構成したので、ビット誤りの影響が大きい符号ま
たは符号の一部を、誤復号する可能性が低い位置に適応
的に多重化することができる。つまり、フレーム毎に異
なるビット誤り感度の分布を反映した多重化と分離が実
現できる。これにより、高いビット誤り耐性を有する音
響符号化装置及び音響復号化装置を得ることができる効
果を奏する。
【0067】実施の形態3.上記実施の形態1,2で
は、多重化順序決定手段12,22により決定された順
序に基づいて複数の符号の多重化を行っているが、複数
の符号を一旦固定的な順序で多重化してから、多重化順
序決定手段12,22により決定された順序に基づいて
多重化符号内の入れ替えを行う構成でも全く同じ効果が
得られる。同様に実施の形態1,2では、分離順序決定
手段14,24により決定された順序に基づいて複数の
符号の分離を行っているが、その順序に基づいて多重化
符号内の入れ替えを行ってから、固定的な分離を行う構
成でも全く同じ効果が得られる。
【0068】
【発明の効果】以上のように、この発明によれば、多重
化順序決定手段により決定された順序にしたがって複数
の符号を多重化するように構成したので、ビット誤りの
耐性を高めることができる効果がある。
【0069】この発明によれば、複数の符号を一部又は
全部が可変長符号である主符号と、残りの補助符号とに
分類し、その補助符号に基づいて主符号の多重化順序を
決定するように構成したので、別途順序に関する情報を
多重化しないでも、固定位置に多重化された補助符号に
基づいて順序を再生することができるようになり、その
結果、音響符号の情報量を増やことなく、フレーム毎に
異なるビット誤り感度の分布を反映した多重化を実現す
ることができる効果がある。
【0070】この発明によれば、補助符号を主符号より
先に多重化するように構成したので、主符号が補助符号
のビット誤りの影響を受けなくなり、その結果、補助符
号のビット誤りによって主符号の順序を誤って決定する
不具合を抑制することができる効果がある。
【0071】この発明によれば、主符号がフレームを構
成する各区分の情報符号である場合、補助符号に基づい
てフレームを構成する各区分の評価値を計算し、各区分
の評価値を比較して主符号の多重化順序を決定するよう
に構成したので、フレーム毎および区分毎に異なる区分
毎符号のビット誤り感度の分布を反映した多重化を実現
することができる効果がある。
【0072】この発明によれば、フレームを構成する各
区分が周波数方向に分割された周波数帯域であるように
構成したので、フレーム毎および帯域毎に異なる帯域毎
符号のビット誤り感度の分布を反映した多重化を実現す
ることができる効果がある。
【0073】この発明によれば、フレームを構成する各
区分が時間方向に分割されたサブフレームであるように
構成したので、フレーム毎およびサブフレーム毎に異な
る符号のビット誤り感度の分布を反映した多重化を実現
することができる効果がある。
【0074】この発明によれば、各区分の評価値として
振幅又はパワーを計算するように構成したので、フレー
ム毎および区分毎に異なる区分毎符号のビット誤り感度
の分布を比較的簡単に算出できる振幅またはパワーによ
って評価できる。したがって、少ない処理量の増加によ
ってフレーム毎および区分毎に異なる区分毎符号のビッ
ト誤り感度の分布を反映した多重化を実現することがで
きる効果がある。
【0075】この発明によれば、分離順序決定手段によ
り決定された順序にしたがって音響符号から複数の符号
を順次分離して出力するように構成したので、ビット誤
りの耐性を高めることができる効果がある。
【0076】この発明によれば、複数の符号を一部又は
全部が可変長符号である主符号と、残りの補助符号とに
分類し、その補助符号に基づいて主符号の分離順序を決
定するように構成したので、別途順序に関する情報を多
重化しないでも、固定位置に多重化された補助符号に基
づいて順序を再生することができるようになり、その結
果、音響符号の情報量を増やすことなく、フレーム毎に
異なるビット誤り感度の分布を反映した分離を実現する
ことができる効果がある。
【0077】この発明によれば、補助符号を主符号より
先に分離するように構成したので、主符号が補助符号の
ビット誤りの影響を受けなくなり、その結果、補助符号
のビット誤りによって主符号の順序を誤って決定する不
具合を抑制することができる効果がある。
【0078】この発明によれば、主符号がフレームを構
成する各区分の情報符号である場合、補助符号に基づい
てフレームを構成する各区分の評価値を計算し、各区分
の評価値を比較して主符号の分離順序を決定するように
構成したので、フレーム毎および区分毎に異なる区分毎
符号のビット誤り感度の分布を反映した分離を実現する
ことができる効果がある。
【0079】この発明によれば、フレームを構成する各
区分が周波数方向に分割された周波数帯域であるように
構成したので、フレーム毎および帯域毎に異なる帯域毎
符号のビット誤り感度の分布を反映した分離を実現する
ことができる効果がある。
【0080】この発明によれば、フレームを構成する各
区分が時間方向に分割されたサブフレームであるように
構成したので、フレーム毎およびサブフレーム毎に異な
る符号のビット誤り感度の分布を反映した分離を実現す
ることができる効果がある。
【0081】この発明によれば、各区分の評価値として
振幅又はパワーを計算するように構成したので、フレー
ム毎および区分毎に異なる区分毎符号のビット誤り感度
の分布を比較的簡単に算出できる振幅またはパワーによ
って評価できる。したがって、少ない処理量の増加によ
ってフレーム毎および区分毎に異なる区分毎符号のビッ
ト誤り感度の分布を反映した分離を実現することができ
る効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による音響符号化装
置を示す構成図である。
【図2】 この発明の実施の形態1による音響復号化装
置を示す構成図である。
【図3】 音響符号化装置における包絡ベクトルの一例
を示す説明図である。
【図4】 図3の包絡ベクトルに対する音響符号の構成
を説明する説明図である。
【図5】 音声を音響信号として入力した時のビット誤
り感度の評価結果を示す説明図である。
【図6】 この発明の実施の形態2による音響符号化装
置を示す構成図である。
【図7】 この発明の実施の形態2による音響復号化装
置を示す構成図である。
【図8】 音響符号化装置におけるサブフレーム毎のパ
ワー値を説明する説明図である。
【図9】 音響符号化装置が出力する音響符号の構成を
説明する説明図である。
【図10】 従来の音響符号化装置を示す構成図であ
る。
【図11】 従来の音響復号化装置を示す構成図であ
る。
【図12】 従来の音響符号化装置における包絡ベクト
ルの一例を示す説明図である。
【図13】 図12の包絡ベクトルに対する音響符号の
構成を説明する説明図である。
【符号の説明】
1 符号化手段、2 多重化手段、3 分離手段、4
復号化手段、11 符号化手段、12 多重化順序決定
手段、13 多重化手段、14 分離順序決定手段、1
5 分離手段、16 復号化手段、21 符号化手段、
22 多重化順序決定手段、23 多重化手段、24
分離順序決定手段、25 分離手段、26 復号化手
段。
【手続補正書】
【提出日】平成14年8月6日(2002.8.6)
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正内容】
【書類名】 明細書
【発明の名称】 音響符号化装置音響復号化装置、音
響符号化方法及び音響復号化方法
【特許請求の範囲】
【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、楽音や音声など
のディジタル音響信号を少ない情報量に圧縮して音響符
号を出力する音響符号化装置及び音響符号化方法と、音
響符号を復号して音響信号を得る音響復号化装置及び音
響復号化方法とに関するものである。
【0002】
【従来の技術】従来の多くの音響符号化装置では、音響
信号から少ない情報量の複数の符号を求めて、この複数
の符号を多重化して音響符号とする。また、音響復号化
装置では、音響符号を分離して得られる複数の符号を復
号化して音響信号を生成する。文献1(ITU−T R
ecommendation G.722.1,199
9年9月)に開示された従来の音響符号化装置および音
響復号化装置では、少ない情報量の音響符号でも良好な
音響信号を復号できるように、一部の符号にハフマン符
号を使用している。ハフマン符号は、頻繁に使用される
値の時には符号長が短く、頻繁に使用されない値の時に
は符号長が長くなる特徴を持つ代表的な可変長符号であ
る。
【0003】図10は文献1に開示された従来の音響符
号化装置を示す構成図であり、図11は文献1に開示さ
れた従来の音響復号化装置を示す構成図である。図にお
いて、1は符号化対象である音響信号を入力し、その音
響信号を符号化して複数の符号(包絡符号、帯域毎符
号)を出力する符号化手段、2は符号化手段1から出力
された複数の符号を多重化し、その多重化結果を音響符
号として出力する多重化手段である。3は音響符号化装
置から音響符号を入力すると、その音響符号を複数の符
号(包絡符号、帯域毎符号)に分離する分離手段、4は
分離手段3により分離された複数の符号を復号して音響
信号を生成する復号化手段である。
【0004】次に動作について説明する。従来の音響符
号化装置では、20msを1フレームとして、フレーム
単位で処理を行う。音響符号化装置の符号化手段1は、
音響信号を入力すると、その音響信号に対して時間周波
数変換(MLT:Modulated Lapped
Transform)を行って周波数領域係数(MLT
coefficients)を求め、この周波数領域
係数を複数の帯域(region)に分割する。
【0005】そして、符号化手段1は、各帯域内の周波
数領域係数の平均値を求め、複数の平均値によって構成
される包絡ベクトル(amplitude envel
ope)を符号化し、その符号化結果を包絡符号として
出力する。また、この包絡符号を復号した値で各帯域の
周波数領域係数を正規化し、正規化した周波数領域係数
を帯域毎に量子化し、量子化方式毎に固定の長さの固定
長符号を得る。そして、この固定長符号をハフマン符号
化(可変長符号)し、その可変長符号を帯域毎符号とし
て出力する。なお、文献1では包絡符号及び帯域毎符号
の他に、上記帯域毎の量子化ステップサイズを制御する
ためのカテゴリ制御符号を求めているが、説明を簡単に
するためにここでは省略している。
【0006】多重化手段2は、符号化手段1が包絡符号
と帯域毎符号を出力すると、これらを予め定められた固
定順序で多重化し、その多重化結果を音響符号として音
響復号化装置に出力する。
【0007】音響復号化装置の分離手段3は、音響符号
化装置から音響符号を入力すると、予め定められた固定
順序で、その音響符号を分離して複数の符号(包絡符
号、帯域毎符号)を出力する。
【0008】復号化手段4は、分離手段3から包絡符号
と帯域毎符号を受けると、その包絡符号を復号して包絡
ベクトルを算出するとともに、その帯域毎符号を復号し
て正規化された周波数領域係数を算出する。そして、包
絡ベクトルの帯域毎の値を各帯域の正規化された周波数
領域係数に乗じて正規化を外し、正規化が外れた周波数
領域係数に対して周波数時間変換(IMLT:Inve
rse MLT)を行って音響信号を生成する。
【0009】図12は従来の音響符号化装置における包
絡ベクトルの一例を示す説明図である。図12におい
て、横軸が周波数、縦軸が包絡ベクトルの帯域毎の値、
つまり包絡値を示している。符号化対象である音響信号
の全周波数帯域を14分割して、低周波帯域から順に帯
域番号を昇順に割り当てている。包絡ベクトルは、周波
数領域係数の帯域毎の平均値を要素とする14次元のベ
クトルとなり、これを符号化した結果が包絡符号とな
る。
【0010】図13は図12の包絡ベクトルに対する音
響符号の構成を説明する説明図である。包絡符号に続い
て、低周波数の帯域から順番に各帯域の可変長(ハフマ
ン)符号、つまり帯域毎符号の多重化を行っている。図
13中に×印で示したビット位置にビット誤りが発生し
た場合、音響復号化装置の分離手段3により分離される
帯域11の帯域毎符号は、音響符号化装置が多重化した
帯域11の帯域毎符号と異なるものになってしまう。ま
た、帯域毎符号にハフマン符号を用いているため、かな
りの確率で帯域11の帯域毎符号の符号長を誤って解釈
してしまう。
【0011】この結果、帯域11以降に分離される帯域
12から帯域14の帯域毎符号は分離位置が正しくなく
なり、誤った符号が分離されることになる。図12と図
13中には、この時に誤って復号される範囲を網掛けし
て示している。このように、従来の音響符号化装置およ
び音響復号化装置では、高周波数の帯域は固定的に後ろ
に多重化されるため、その多重化位置より前にビット誤
りが発生して、誤って分離されることが多い。
【0012】上記従来例と別の音響符号化装置および音
響復号化装置として、特開平9−106299号公報と
特開2000−183751公報に開示されているもの
がある。特開平9−106299号公報に開示されてい
る従来の音響符号化装置および音響復号化装置では、音
響信号を周波数領域に変換した周波数領域係数の全サン
プルのうち、必要なものだけを選択して能率よく符号化
するために、係数値(振幅)の大きい順に所定数選択し
た部分係数だけを符号化するようにしている。また、部
分係数の符号化は、値の大きい順に符号化していき、2
番目以降を符号化する際には、直前に符号化した係数を
復号化し、この復号値で正規化してから符号化を行うよ
うにしている。なお、部分係数の符号化順序に関する情
報は、サンプル番号を2進数に変換したり、サンプル番
号列をハフマン符号化して、音響符号化装置から音響復
号化装置に渡されている。
【0013】特開2000−183751公報に開示さ
れている従来の音響符号化装置および音響復号化装置で
は、トラヒック(伝送路の輻輳状態)にリアルタイムに
連動した可変ビットレート符号化を実現するために、符
号化データのビットと、データエラーを基準としたビッ
ト感度など、所定の基準に従って並び替えるようにした
ものである。なお、データの並び替え順序については、
符号化側と復号化側との間で、予め規定されていること
を前提としている。つまり並び替え順序はフレームに依
らず一定である。
【0014】
【発明が解決しようとする課題】従来の音響符号化装置
及び音響復号化装置は以上のように構成されているの
で、可変長符号である帯域毎符号の多重化順序がフレー
ムに依らず固定である関係上、固定的に後ろに多重化さ
れる高周波数の帯域での誤分離が多くなる。一方、包絡
値が大きい帯域を誤ると、音響信号の音質劣化が大きい
ので、高い周波数帯域の包絡値が大きい時にはビット誤
りによる音響信号の音質劣化が大きくなる課題があっ
た。即ち、フレーム毎に異なるビット誤り感度の分布を
反映した多重化が行われていないために、ビット誤りに
よる音響信号の音質劣化が大きくなる課題があった。
【0015】なお、特開平9−106299号公報に開
示されている従来の音響符号化装置及び音響復号化装置
では、符号化手段の変更を行っているだけで、ビット誤
りによる音響信号の劣化を抑制する構成を開示していな
い。部分係数の符号化順序に関する符号を追加し、これ
をハフマン符号を用いて符号化する構成を開示している
が、この符号化順序に関する符号以外は固定長符号であ
り、可変長符号ゆえに起こる誤分離の課題を解消するも
のではない。むしろ、符号化順序に関する新たな符号を
追加したことと、直前に符号化した係数を復号化した値
で正規化してから符号化を行うようにしたことで、ビッ
ト誤りによる音響信号の劣化が増大する構成となってい
る。
【0016】特開2000−183751公報に開示さ
れている従来の音響符号化装置及び音響復号化装置で
は、フレームに依らない固定順序の並び替えを行ってい
るだけなので、図10及び図11で説明した従来の音響
符号化装置及び音響復号化装置と同様に、フレーム毎に
異なるビット誤り感度の分布を反映した多重化が行われ
ていないために、ビット誤りによる音響信号の劣化を十
分に抑制できない課題が残っている。
【0017】この発明は上記のような課題を解決するた
めになされたもので、高いビット誤り耐性を有する音響
符号化装置及び音響復号化装置を得ることを目的とす
る。
【0018】
【課題を解決するための手段】この発明に係る音響符号
化装置は、多重化順序決定手段により決定された順序に
したがって複数の符号を多重化し、その多重化結果を音
響符号として出力するようにしたものである。
【0019】この発明に係る音響符号化装置は、複数の
符号を一部又は全部が可変長符号である主符号と、残り
の補助符号とに分類し、その補助符号に基づいて主符号
の多重化順序を決定するようにしたものである。
【0020】この発明に係る音響符号化装置は、補助符
号を主符号より先に多重化するようにしたものである。
【0021】この発明に係る音響符号化装置は、主符号
がフレームを構成する各区分の情報符号である場合、補
助符号に基づいてフレームを構成する各区分の評価値を
計算し、各区分の評価値を比較して主符号の多重化順序
を決定するようにしたものである。
【0022】この発明に係る音響符号化装置は、フレー
ムを構成する各区分が周波数方向に分割された周波数帯
域であるようにしたものである。
【0023】この発明に係る音響符号化装置は、フレー
ムを構成する各区分が時間方向に分割されたサブフレー
ムであるようにしたものである。
【0024】この発明に係る音響符号化装置は、各区分
の評価値として振幅又はパワーを計算するようにしたも
のである。
【0025】この発明に係る音響復号化装置は、分離順
序決定手段により決定された順序にしたがって音響符号
から複数の符号を順次分離して出力するようにしたもの
である。
【0026】この発明に係る音響復号化装置は、複数の
符号を一部又は全部が可変長符号である主符号と、残り
の補助符号とに分類し、その補助符号に基づいて主符号
の分離順序を決定するようにしたものである。
【0027】この発明に係る音響復号化装置は、補助符
号を主符号より先に分離するようにしたものである。
【0028】この発明に係る音響復号化装置は、主符号
がフレームを構成する各区分の情報符号である場合、補
助符号に基づいてフレームを構成する各区分の評価値を
計算し、各区分の評価値を比較して主符号の分離順序を
決定するようにしたものである。
【0029】この発明に係る音響復号化装置は、フレー
ムを構成する各区分が周波数方向に分割された周波数帯
域であるようにしたものである。
【0030】この発明に係る音響復号化装置は、フレー
ムを構成する各区分が時間方向に分割されたサブフレー
ムであるようにしたものである。
【0031】この発明に係る音響復号化装置は、各区分
の評価値として振幅又はパワーを計算するようにしたも
のである。
【0032】この発明に係る音響符号化方法は、多重化
順序決定ステップで決定された順序にしたがって複数の
符号を多重化し、その多重化結果を音響符号として出力
するようにしたものである。
【0033】この発明に係る音響復号化方法は、分離順
序決定ステップで決定された順序にしたがって音響符号
から複数の符号を順次分離して出力するようにしたもの
である。
【0034】
【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態1.図1はこの発明の実施の形態1による音
響符号化装置を示す構成図であり、図2はこの発明の実
施の形態1による音響復号化装置を示す構成図である。
図において、11は符号化対象である音響信号を所定長
のフレーム毎に入力し、その音響信号を符号化して複数
の符号(包絡符号、帯域毎符号)を出力する符号化手
段、12は符号化手段11から出力された包絡符号に基
づいて帯域毎符号の多重化順序を決定する多重化順序決
定手段、13は多重化順序決定手段12により決定され
た順序にしたがって包絡符号及び帯域毎符号を多重化
し、その多重化結果を音響符号として出力する多重化手
段である。
【0035】 14は音響符号から複数の符号を分離する
順序を決定する分離順序決定手段、15は分離順序決定
手段14により決定された順序にしたがって音響符号か
ら複数の符号(包絡符号、帯域毎符号)を順次分離して
出力する分離手段、16は分離手段15から出力された
包絡符号及び帯域毎符号を復号化して音響信号を出力す
る復号化手段である。
【0036】 次に動作について説明する。音響符号化装
置では、予め定められた区間長、例えば、20msを1
フレームとして、フレーム単位で処理を行う。音響符号
化装置の符号化手段11は、音響信号を入力すると、そ
の音響信号に対してMLT(Modulated La
pped Transform)などの時間周波数変換
を行って周波数領域係数を求め、この周波数領域係数を
複数の帯域(region)に分割する。
【0037】 そして、符号化手段11は、各帯域内の周
波数領域係数の平均値を求め、複数の平均値によって構
成される包絡ベクトル(amplitude enve
lope)を符号化し、その符号化結果を包絡符号とし
て出力する。また、この包絡符号を復号した値で各帯域
の周波数領域係数を正規化し、正規化した周波数領域係
数を帯域毎に量子化し、量子化方式毎に固定の長さの固
定長符号を得る。そして、この固定長符号をハフマン符
号(可変長符号)化し、その可変長符号を帯域毎符号と
して出力する。なお、包絡符号及び帯域毎符号の他に、
上記帯域毎の量子化ステップサイズを制御するためのカ
テゴリ制御符号等を求めて、包絡符号及び帯域毎符号と
合わせて多重化する構成も当然可能である。
【0038】 多重化順序決定手段12は、符号化手段1
1から複数の符号を受けると、帯域毎符号を主符号と分
類し、残りの包絡符号を補助符号と分類する。そして、
その補助符号である包絡符号に基づいて主符号である帯
域毎符号の多重化順序を決定する。具体的には次の通り
である。
【0039】 まず、補助符号である包絡符号の多重化に
関する順序については、フレームに依らずに一定とす
る。そして、主符号である帯域毎符号の多重化に関する
順序の決定は、例えば、包絡符号を復号して得られる包
絡ベクトルの各要素の値の大きさの順番によって決定す
る。なお、包絡ベクトルは、符号化手段11の内部で中
間変数として算出されているので、符号化手段11が包
絡ベクトルを多重化順序決定手段12に与えることで、
多重化順序決定手段12における包絡符号の復号を省略
することができる。なお、ここでの順序とは、多重化手
段13で多重化されて得られる音響符号内での並び順を
指定するものであり、単に処理の時間的順番を指すもの
ではない。
【0040】 多重化手段13は、符号化手段11から複
数の符号を受けると、多重化順序決定手段12により決
定された順序にしたがって包絡符号及び帯域毎符号を多
重化し、その多重化結果を音響符号として出力する。
【0041】 音響復号化装置の分離手段15は、音響符
号化装置から音響符号を受けると、その音響符号の中の
補助符号、即ち、包絡符号のみを分離して出力する。な
お、音響符号化装置の多重化順序決定手段12は、補助
符号に関する多重化の順序を一定としているので、分離
手段15は、補助符号だけはフレーム毎に決定される順
序の入力を待たずに分離することができる。
【0042】 分離順序決定手段14は、分離手段15か
ら補助符号である包絡符号を受けると、この包絡符号に
基づいて分離手段15における符号の分離順序を決定す
る。なお、この順序決定方法は、音響符号化装置の多重
化順序決定手段12と同じものにする必要がある。ただ
し、分離順序決定手段14の処理に先だって、復号化手
段16の内部で包絡ベクトルを算出できる場合には、復
号化手段16が包絡ベクトルを分離順序決定手段14に
与えることで、分離順序決定手段14における包絡符号
の復号を省略することができる。
【0043】 分離手段15は、分離順序決定手段14に
より決定された順序にしたがって音響符号中の主符号、
即ち、帯域毎符号を分離して出力する。復号化手段16
は、分離手段15から包絡符号及び帯域毎符号を受ける
と、その包絡符号を復号して包絡ベクトルを算出すると
ともに、その帯域毎符号を復号して正規化された周波数
領域係数を算出する。そして、包絡ベクトルの帯域毎の
値を各帯域の正規化された周波数領域係数に乗じて正規
化を外し、正規化が外れた周波数領域係数に対してIM
LT(Inverse MLT)などの周波数時間変換
を行って音響信号を生成する。
【0044】 図3は音響符号化装置における包絡ベクト
ルの一例を示す説明図である。図3において、横軸が周
波数、縦軸が包絡ベクトルの帯域毎の値、つまり包絡値
を示している。符号化対象である音響信号の全周波数帯
域を14分割して、低周波帯域から順に帯域番号を昇順
に割り当てている。包絡ベクトルは、周波数領域係数の
帯域毎の平均値を要素とする14次元のベクトルとな
り、これを符号化した結果が包絡符号となる。なお、図
3に示した包絡ベクトルの包絡値は図12に示したもの
と同じである。
【0045】 図3の包絡ベクトルの場合には、帯域4
(帯域番号が4の帯域)、帯域8、帯域12の包絡値が
他の帯域より大きく、包絡値順序は図3の最下段に示す
通りである。多重化順序決定手段12及び分離順序決定
手段14では、入力された包絡符号を復号して得られた
包絡ベクトルに対して、フレーム毎にこの包絡値順序を
算出する。
【0046】 図4は図3の包絡ベクトルに対する音響符
号の構成を説明する説明図である。先頭に包絡符号を多
重化し、これに続けて上述したフレーム毎の包絡値順序
に従って各帯域の可変長符号、つまり帯域毎符号の多重
化を行う。具体的には包絡値順序が1、つまり包絡値が
最も大きい帯域4の帯域毎符号を包絡符号の次の位置に
多重化する。そして包絡値順序が2、つまり包絡値が2
番目に大きい帯域8の帯域毎符号を帯域4の帯域毎符号
の次の位置に多重化する。これを繰り返して包絡値順序
が14、つまり包絡値が最も小さい帯域14の帯域毎符
号までを順番に多重化する。図13に示した従来の音響
符号と比べると、帯域毎符号の多重化順序が変化してい
る。
【0047】 図13と同じ×印で示したビット位置にビ
ット誤りが発生した場合、音響復号化装置の分離手段1
5で分離される帯域6の帯域毎符号は、音響符号化装置
が多重化した帯域6の帯域毎符号と異なるものになって
しまう。また、帯域毎符号にハフマン符号を用いている
ため、かなりの確率で帯域6の帯域毎符号の符号長を誤
って解釈してしまう。この結果、帯域6より後ろから分
離される帯域7、帯域9、帯域10、帯域11、帯域1
3、帯域14の帯域毎符号は分離位置が正しくなくな
り、誤った符号が分離されることになる。図3と図4中
には、この時に誤って復号される範囲を網掛けして示し
ている。
【0048】 図3の誤って復号される範囲を図13のそ
れと比較すると、包絡値の小さい帯域で誤って復号され
ることは増えているが、包絡値の大きい帯域12で誤っ
て復号されることが無くなっていることが分かる。包絡
値が大きい帯域、つまりパワーが大きい帯域を誤ると、
復号される音響信号の音質劣化が大きいので、従来と比
べて音質劣化が少なくなる。このように誤りの影響が大
きいと判断される帯域(この場合には包絡値が大きい帯
域)の多重化順序を前に配置することで、その帯域を誤
って復号する確率を下げることができ、音響信号の音質
劣化を軽減することができる。
【0049】 図5は音声を音響信号として入力した時の
ビット誤り感度の評価結果である。図において、横軸は
音響符号の各ビット位置を示し、左側が音響符号の先
頭、右側が音響符号の終端のビット位置である。縦軸は
信号対雑音比SNRを示し、各ビット位置に誤りを発生
させたときに音響復号化装置が出力する音響信号をx
(t)、ビット誤りが無い時に音響復号化装置が出力す
る音響信号をs(t)とした時に以下の式によって求め
た値である。図5では値が大きい程(上の位置)、劣化
が少ないことを示している。
【数1】
【0050】図5から従来構成と比較して、この実施の
形態1の構成の方が信号対雑音比SNRが大きく、ビッ
ト誤りによる劣化が軽減していることが分かる。また、
大半のビット位置で改善効果があることから、一部のビ
ットを誤り訂正符号で保護している場合でも、残りの無
保護区間での改善が得られることが分かる。
【0051】 なお、この実施の形態1では、包絡符号の
みを補助符号として順序決定に使用するものについて示
したが、これに限るものではなく、量子化ステップサイ
ズを制御するためのカテゴリ制御符号を合わせて多重化
する場合に、このカテゴリ制御符号による順序の補正を
行うなど、様々な変形が可能である。また、この実施の
形態1では、包絡値順序をそのまま多重化順序とした
が、人間の聴覚が周波数によって感度が異なることを包
絡値に加味して順序を決定したり、低域の数個の帯域に
ついては固定的に先に多重化するなどの変形も可能であ
る。
【0052】 以上で明らかなように、この実施の形態1
によれば、音響符号化装置においては、多重化順序決定
手段12により決定された順序にしたがって複数の符号
を多重化するように構成し、音響復号化装置において
は、分離順序決定手段14により決定された順序にした
がって音響符号から複数の符号を順次分離して出力する
ように構成したので、ビット誤りの影響が大きい符号ま
たは符号の一部を、誤復号する可能性が低い位置に適応
的に多重化することができる。つまり、フレーム毎に異
なるビット誤り感度の分布を反映した多重化と分離が実
現できる。これにより、高いビット誤り耐性を有する音
響符号化装置及び音響復号化装置を得ることができる効
果を奏する。
【0053】 実施の形態2.図6はこの発明の実施の形
態2による音響符号化装置を示す構成図であり、図7は
この発明の実施の形態2による音響復号化装置を示す構
成図である。図において、21は符号化対象である音響
信号を所定長のフレーム毎に入力し、その音響信号を符
号化して複数の符号(サブフレーム毎パワー符号、サブ
フレーム毎形状符号)を出力する符号化手段、22は符
号化手段21から出力されたサブフレーム毎パワー符号
に基づいてサブフレーム毎形状符号の多重化順序を決定
する多重化順序決定手段、23は多重化順序決定手段2
2により決定された順序にしたがってサブフレーム毎パ
ワー符号及びサブフレーム毎形状符号を多重化し、その
多重化結果を音響符号として出力する多重化手段であ
る。
【0054】 24は音響符号から複数の符号を分離する
順序を決定する分離順序決定手段、25は分離順序決定
手段24により決定された順序にしたがって音響符号か
ら複数の符号(サブフレーム毎パワー符号、サブフレー
ム毎形状符号)を順次分離して出力する分離手段、26
は分離手段25から出力されたサブフレーム毎パワー符
号及びサブフレーム毎形状符号を復号化して音響信号を
出力する復号化手段である。
【0055】 次に動作について説明する。音響符号化装
置では、予め定められた区間長、例えば、20msを1
フレームとして、フレーム単位で処理を行う。音響符号
化装置の符号化手段21は、音響信号を入力すると、そ
の音響信号のフレームを2分割したサブフレーム毎の符
号化を行う。各サブフレームにおいて、そのサブフレー
ム内信号のパワーを求め、そのパワーを符号化したパワ
ー符号を得る。そして、そのサブフレーム内の音響信号
を前記パワー符号を復号した値で正規化し、正規化後の
音響信号を符号化して形状符号を得る。この符号化処理
を2つのサブフレームで行い、得られた2つのパワー符
号をサブフレーム毎パワー符号、2つの形状符号をサブ
フレーム毎形状符号として出力する。
【0056】 なお、形状符号はその一部または全部がハ
フマン符号などの可変長符号となっている。形状符号と
して、上記実施の形態1で説明した包絡符号と帯域毎符
号を使用することができるが、これに限定されるもので
はなく、音声符号化で広く用いられているスペクトル符
号、適応音源符号、駆動音源符号、ゲイン符号の組合せ
など、様々な構成が可能である。
【0057】 多重化順序決定手段22は、符号化手段2
1から複数の符号を受けると、サブフレーム毎形状符号
を主符号と分類し、残りのサブフレーム毎パワー符号を
補助符号と分類する。そして、その補助符号であるサブ
フレーム毎パワー符号に基づいて主符号であるサブフレ
ーム毎形状符号の多重化順序を決定する。具体的に次の
通りである。なお、この順序とは、多重化手段23で多
重化されて得られる音響符号内での並び順を指定するも
のであり、単に処理の時間的順番を指すものではない。
【0058】 まず、補助符号であるサブフレーム毎パワ
ー符号の多重化に関する順序については、フレームに依
らずに一定とし、主符号の多重化に関する順序のみをフ
レーム毎に決定する。主符号の多重化に関する順序の決
定は、例えば、補助符号であるサブフレーム毎パワー符
号を復号して得られるサブフレーム毎のパワー値の大き
さに関する比較結果によって決定する。なお、サブフレ
ーム毎のパワー値は、符号化手段21の内部で中間変数
として算出されているので、符号化手段21がサブフレ
ーム毎のパワー値を多重化順序決定手段22に与えるこ
とにより、多重化順序決定手段22におけるサブフレー
ム毎パワー符号の復号を省略することができる。
【0059】 多重化手段23は、符号化手段21から複
数の符号を受けると、多重化順序決定手段22により決
定された順序にしたがってサブフレーム毎パワー符号及
びサブフレーム毎形状符号を多重化し、その多重化結果
を音響符号として出力する。
【0060】 音響復号化装置の分離手段25は、音響符
号化装置から音響符号を受けると、その音響符号の中の
補助符号、即ち、サブフレーム毎パワー符号のみを分離
して出力する。なお、音響符号化装置の多重化順序決定
手段22は、補助符号に関する多重化の順序を一定とし
ているので、分離手段25は、補助符号だけはフレーム
毎に決定される順序の入力を待たずに分離することがで
きる。
【0061】 分離順序決定手段24は、分離手段25か
ら補助符号であるサブフレーム毎パワー符号を受ける
と、このサブフレーム毎パワー符号に基づいて分離手段
25における符号の分離順序を決定する。なお、この順
序決定方法は、音響符号化装置の多重化順序決定手段2
2と同じものにする必要がある。ただし、分離順序決定
手段24の処理に先だって、復号化手段26の内部でサ
ブフレーム毎のパワー値を算出できる場合には、復号化
手段26がサブフレーム毎のパワー値を分離順序決定手
段24に与えることで、分離順序決定手段24における
サブフレーム毎パワー符号の復号を省略することができ
る。
【0062】 分離手段25は、分離順序決定手段24に
より決定された順序にしたがって音響符号中の主符号、
即ち、サブフレーム毎形状符号を分離して出力する。復
号化手段26は、分離手段25からサブフレーム毎パワ
ー符号及びサブフレーム毎形状符号を受けると、そのサ
ブフレーム毎パワー符号を復号してサブフレーム毎のパ
ワー値を算出するとともに、そのサブフレーム毎形状符
号を正規化された音響信号を算出する。そして、サブフ
レーム毎のパワー値を各サブフレームの正規化された音
響信号に乗じて正規化を外し、正規化が外れた音響信号
を音響信号として出力する。
【0063】 図8は音響符号化装置におけるサブフレー
ム毎のパワー値を説明する説明図である。図8におい
て、横軸が時間方向を示し、現在のフレームを2分割し
た前半を第一サブフレーム、後半を第二サブフレームと
している。図中上段が現在のフレームの音響信号、下段
がこの音響信号に対して求めた各サブフレーム毎のパワ
ー値(符号化したパワー符号を復号化した値)である。
図8の音響信号の場合、第一のサブフレームより第二の
サブフレームの方がパワー値が大きくなっている。
【0064】 図9は音響符号化装置が出力する音響符号
の構成を説明する説明図である。図9において、(a)
は第一サブフレームのパワー値が第二サブフレームのパ
ワー値以上の場合の音響符号、(b)は図8のように第
一サブフレームのパワー値が第二サブフレームのパワー
値を下回る場合の音響符号である。図9に示したよう
に、補助符号であるパワー符号については、第一サブフ
レームと第二サブフレームのパワー値に依らずに常に先
頭に多重化している。そして、主符号である形状符号に
ついては、第一サブフレームと第二サブフレームのパワ
ー値を比較して、より大きいパワー値を与えたサブフレ
ームの形状符号を先に多重化する順序としている。
【0065】 通常形状符号は複数の符号を多重化したも
のである。ここで、形状符号の一部または全部が可変長
符号であるため、ビット誤りが発生すると符号長の誤解
釈が起こり、ビット誤り位置より後ろに多重化されてい
る符号が誤って分離される。従って、音響符号中の後ろ
に行く程、ビット誤りによって誤って復号される確率が
高くなる。図9の構成では、パワー値が大きいサブフレ
ームの形状符号を先に多重化することで、パワー値が大
きいサブフレームを誤って復号する確率を下げている。
通常パワー値が大きいサブフレームを誤って復号すると
音響信号の音質劣化が大きいので、図9のように構成し
てパワー値が大きいサブフレームを誤って復号する確率
を下げれば、音響信号の音質劣化を軽減することができ
る。
【0066】 なお、この実施の形態2では、フレーム内
のサブフレーム数を2としたが、これに限定されるもの
ではなく、3以上のサブフレーム数であっても構わな
い。また、この実施の形態2では、サブフレーム毎にパ
ワー符号を求めて多重化を行っているが、パワー符号に
ついては、サブフレーム毎のパワー値を一括してベクト
ル量子化してフレーム単位で符号化する構成も可能であ
る。また、第一サブフレームの形状符号と第二サブフレ
ームの形状符号の順序を制御する構成としたが、各形状
符号の一部はパワー符号に続けて固定順序での多重化を
行い、第一サブフレームの形状符号の残りと第二サブフ
レームの形状符号の残りを多重化する順序をパワー値に
応じて制御する構成や、各サブフレームの形状符号を複
数に分割して、パワー値の大きさの大小によって細かく
順序を制御する構成など、様々な変形が可能である。
【0067】 さらに、この実施の形態2では、パワー符
号のみを補助符号として順序決定に使用するものについ
て示したが、これに限るものではなく、サブフレームの
重要さを判断できるものであれば他の符号を合わせた
り、他の符号のみを補助符号とする構成も可能である。
【0068】 以上で明らかなように、この実施の形態2
によれば、音響符号化装置においては、多重化順序決定
手段22により決定された順序にしたがって複数の符号
を多重化するように構成し、音響復号化装置において
は、分離順序決定手段24により決定された順序にした
がって音響符号から複数の符号を順次分離して出力する
ように構成したので、ビット誤りの影響が大きい符号ま
たは符号の一部を、誤復号する可能性が低い位置に適応
的に多重化することができる。つまり、フレーム毎に異
なるビット誤り感度の分布を反映した多重化と分離が実
現できる。これにより、高いビット誤り耐性を有する音
響符号化装置及び音響復号化装置を得ることができる効
果を奏する。
【0069】 実施の形態3.上記実施の形態1,2で
は、多重化順序決定手段12,22により決定された順
序に基づいて複数の符号の多重化を行っているが、複数
の符号を一旦固定的な順序で多重化してから、多重化順
序決定手段12,22により決定された順序に基づいて
多重化符号内の入れ替えを行う構成でも全く同じ効果が
得られる。同様に実施の形態1,2では、分離順序決定
手段14,24により決定された順序に基づいて複数の
符号の分離を行っているが、その順序に基づいて多重化
符号内の入れ替えを行ってから、固定的な分離を行う構
成でも全く同じ効果が得られる。
【0070】
【発明の効果】以上のように、この発明によれば、多重
化順序決定手段により決定された順序にしたがって複数
の符号を多重化するように構成したので、ビット誤りの
耐性を高めることができる効果がある。
【0071】 この発明によれば、複数の符号を一部又は
全部が可変長符号である主符号と、残りの補助符号とに
分類し、その補助符号に基づいて主符号の多重化順序を
決定するように構成したので、別途順序に関する情報を
多重化しないでも、固定位置に多重化された補助符号に
基づいて順序を再生することができるようになり、その
結果、音響符号の情報量を増やことなく、フレーム毎に
異なるビット誤り感度の分布を反映した多重化を実現す
ることができる効果がある。
【0072】 この発明によれば、補助符号を主符号より
先に多重化するように構成したので、主符号が補助符号
のビット誤りの影響を受けなくなり、その結果、補助符
号のビット誤りによって主符号の順序を誤って決定する
不具合を抑制することができる効果がある。
【0073】 この発明によれば、主符号がフレームを構
成する各区分の情報符号である場合、補助符号に基づい
てフレームを構成する各区分の評価値を計算し、各区分
の評価値を比較して主符号の多重化順序を決定するよう
に構成したので、フレーム毎および区分毎に異なる区分
毎符号のビット誤り感度の分布を反映した多重化を実現
することができる効果がある。
【0074】 この発明によれば、フレームを構成する各
区分が周波数方向に分割された周波数帯域であるように
構成したので、フレーム毎および帯域毎に異なる帯域毎
符号のビット誤り感度の分布を反映した多重化を実現す
ることができる効果がある。
【0075】 この発明によれば、フレームを構成する各
区分が時間方向に分割されたサブフレームであるように
構成したので、フレーム毎およびサブフレーム毎に異な
る符号のビット誤り感度の分布を反映した多重化を実現
することができる効果がある。
【0076】 この発明によれば、各区分の評価値として
振幅又はパワーを計算するように構成したので、フレー
ム毎および区分毎に異なる区分毎符号のビット誤り感度
の分布を比較的簡単に算出できる振幅またはパワーによ
って評価できる。したがって、少ない処理量の増加によ
ってフレーム毎および区分毎に異なる区分毎符号のビッ
ト誤り感度の分布を反映した多重化を実現することがで
きる効果がある。
【0077】 この発明によれば、分離順序決定手段によ
り決定された順序にしたがって音響符号から複数の符号
を順次分離して出力するように構成したので、ビット誤
りの耐性を高めることができる効果がある。
【0078】 この発明によれば、複数の符号を一部又は
全部が可変長符号である主符号と、残りの補助符号とに
分類し、その補助符号に基づいて主符号の分離順序を決
定するように構成したので、別途順序に関する情報を多
重化しないでも、固定位置に多重化された補助符号に基
づいて順序を再生することができるようになり、その結
果、音響符号の情報量を増やすことなく、フレーム毎に
異なるビット誤り感度の分布を反映した分離を実現する
ことができる効果がある。
【0079】 この発明によれば、補助符号を主符号より
先に分離するように構成したので、主符号が補助符号の
ビット誤りの影響を受けなくなり、その結果、補助符号
のビット誤りによって主符号の順序を誤って決定する不
具合を抑制することができる効果がある。
【0080】 この発明によれば、主符号がフレームを構
成する各区分の情報符号である場合、補助符号に基づい
てフレームを構成する各区分の評価値を計算し、各区分
の評価値を比較して主符号の分離順序を決定するように
構成したので、フレーム毎および区分毎に異なる区分毎
符号のビット誤り感度の分布を反映した分離を実現する
ことができる効果がある。
【0081】 この発明によれば、フレームを構成する各
区分が周波数方向に分割された周波数帯域であるように
構成したので、フレーム毎および帯域毎に異なる帯域毎
符号のビット誤り感度の分布を反映した分離を実現する
ことができる効果がある。
【0082】 この発明によれば、フレームを構成する各
区分が時間方向に分割されたサブフレームであるように
構成したので、フレーム毎およびサブフレーム毎に異な
る符号のビット誤り感度の分布を反映した分離を実現す
ることができる効果がある。
【0083】 この発明によれば、各区分の評価値として
振幅又はパワーを計算するように構成したので、フレー
ム毎および区分毎に異なる区分毎符号のビット誤り感度
の分布を比較的簡単に算出できる振幅またはパワーによ
って評価できる。したがって、少ない処理量の増加によ
ってフレーム毎および区分毎に異なる区分毎符号のビッ
ト誤り感度の分布を反映した分離を実現することができ
る効果がある。
【0084】この発明によれば、多重化順序決定ステッ
プで決定された順序にしたがって複数の符号を多重化
し、その多重化結果を音響符号として出力するように構
成したので、ビット誤りの耐性を高めることができる効
果がある。
【0085】この発明によれば、分離順序決定ステップ
で決定された順序にしたがって音響符号から複数の符号
を順次分離して出力するように構成したので、ビット誤
りの耐性を高めることができる効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による音響符号化装
置を示す構成図である。
【図2】 この発明の実施の形態1による音響復号化装
置を示す構成図である。
【図3】 音響符号化装置における包絡ベクトルの一例
を示す説明図である。
【図4】 図3の包絡ベクトルに対する音響符号の構成
を説明する説明図である。
【図5】 音声を音響信号として入力した時のビット誤
り感度の評価結果を示す説明図である。
【図6】 この発明の実施の形態2による音響符号化装
置を示す構成図である。
【図7】 この発明の実施の形態2による音響復号化装
置を示す構成図である。
【図8】 音響符号化装置におけるサブフレーム毎のパ
ワー値を説明する説明図である。
【図9】 音響符号化装置が出力する音響符号の構成を
説明する説明図である。
【図10】 従来の音響符号化装置を示す構成図であ
る。
【図11】 従来の音響復号化装置を示す構成図であ
る。
【図12】 従来の音響符号化装置における包絡ベクト
ルの一例を示す説明図である。
【図13】 図12の包絡ベクトルに対する音響符号の
構成を説明する説明図である。
【符号の説明】 1 符号化手段、2 多重化手段、3 分離手段、4
復号化手段、11 符号化手段、12 多重化順序決定
手段、13 多重化手段、14 分離順序決定手段、1
5 分離手段、16 復号化手段、21 符号化手段、
22 多重化順序決定手段、23 多重化手段、24
分離順序決定手段、25 分離手段、26 復号化手
段。

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 所定長のフレーム毎に音響信号を符号化
    して、一部又は全部が可変長符号である複数の符号を出
    力する符号化手段と、上記符号化手段から出力された複
    数の符号を解析して、その複数の符号を多重化する順序
    を決定する多重化順序決定手段と、上記多重化順序決定
    手段により決定された順序にしたがって複数の符号を多
    重化し、その多重化結果を音響符号として出力する多重
    化手段とを備えた音響符号化装置。
  2. 【請求項2】 多重化順序決定手段は、複数の符号を一
    部又は全部が可変長符号である主符号と、残りの補助符
    号とに分類し、その補助符号に基づいて主符号の多重化
    順序を決定することを特徴とする請求項1記載の音響符
    号化装置。
  3. 【請求項3】 多重化手段は、補助符号を主符号より先
    に多重化することを特徴とする請求項2記載の音響符号
    化装置。
  4. 【請求項4】 多重化順序決定手段は、主符号がフレー
    ムを構成する各区分の情報符号である場合、補助符号に
    基づいてフレームを構成する各区分の評価値を計算し、
    各区分の評価値を比較して主符号の多重化順序を決定す
    ることを特徴とする請求項2記載の音響符号化装置。
  5. 【請求項5】 フレームを構成する各区分が周波数方向
    に分割された周波数帯域であることを特徴とする請求項
    4記載の音響符号化装置。
  6. 【請求項6】 フレームを構成する各区分が時間方向に
    分割されたサブフレームであることを特徴とする請求項
    4記載の音響符号化装置。
  7. 【請求項7】 多重化順序決定手段は、各区分の評価値
    として振幅又はパワーを計算することを特徴とする請求
    項4記載の音響符号化装置。
  8. 【請求項8】 所定長のフレーム毎に音響符号を入力
    し、その音響符号から一部又は全部が可変長符号である
    複数の符号を分離する順序を決定する分離順序決定手段
    と、上記分離順序決定手段により決定された順序にした
    がって音響符号から複数の符号を順次分離して出力する
    分離手段と、上記分離手段から出力された複数の符号を
    復号化して音響信号を出力する復号化手段とを備えた音
    響復号化装置。
  9. 【請求項9】 分離順序決定手段は、複数の符号を一部
    又は全部が可変長符号である主符号と、残りの補助符号
    とに分類し、その補助符号に基づいて主符号の分離順序
    を決定することを特徴とする請求項8記載の音響復号化
    装置。
  10. 【請求項10】 分離手段は、補助符号を主符号より先
    に分離することを特徴とする請求項9記載の音響復号化
    装置。
  11. 【請求項11】 分離順序決定手段は、主符号がフレー
    ムを構成する各区分の情報符号である場合、補助符号に
    基づいてフレームを構成する各区分の評価値を計算し、
    各区分の評価値を比較して主符号の分離順序を決定する
    ことを特徴とする請求項9記載の音響復号化装置。
  12. 【請求項12】 フレームを構成する各区分が周波数方
    向に分割された周波数帯域であることを特徴とする請求
    項11記載の音響復号化装置。
  13. 【請求項13】 フレームを構成する各区分が時間方向
    に分割されたサブフレームであることを特徴とする請求
    項11記載の音響復号化装置。
  14. 【請求項14】 分離順序決定手段は、各区分の評価値
    として振幅又はパワーを計算することを特徴とする請求
    項11記載の音響復号化装置。
JP2001266253A 2001-09-03 2001-09-03 音響符号化装置、音響復号化装置、音響符号化方法及び音響復号化方法 Expired - Lifetime JP3469567B2 (ja)

Priority Applications (12)

Application Number Priority Date Filing Date Title
JP2001266253A JP3469567B2 (ja) 2001-09-03 2001-09-03 音響符号化装置、音響復号化装置、音響符号化方法及び音響復号化方法
US10/222,902 US7191126B2 (en) 2001-09-03 2002-08-19 Sound encoder and sound decoder performing multiplexing and demultiplexing on main codes in an order determined by auxiliary codes
US11/701,461 US20070136049A1 (en) 2001-09-03 2007-02-02 Sound encoder and sound decoder
US11/907,927 US20080052085A1 (en) 2001-09-03 2007-10-18 Sound encoder and sound decoder
US11/907,926 US20080052084A1 (en) 2001-09-03 2007-10-18 Sound encoder and sound decoder
US11/907,924 US20080052088A1 (en) 2001-09-03 2007-10-18 Sound encoder and sound decoder
US11/907,928 US20080071552A1 (en) 2001-09-03 2007-10-18 Sound encoder and sound decoder
US11/907,922 US7756698B2 (en) 2001-09-03 2007-10-18 Sound decoder and sound decoding method with demultiplexing order determination
US11/907,921 US20080052086A1 (en) 2001-09-03 2007-10-18 Sound encoder and sound decoder
US11/907,923 US7756699B2 (en) 2001-09-03 2007-10-18 Sound encoder and sound encoding method with multiplexing order determination
US11/907,917 US20080281603A1 (en) 2001-09-03 2007-10-18 Sound encoder and sound decoder
US12/773,396 US20100217608A1 (en) 2001-09-03 2010-05-04 Sound decoder and sound decoding method with demultiplexing order determination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001266253A JP3469567B2 (ja) 2001-09-03 2001-09-03 音響符号化装置、音響復号化装置、音響符号化方法及び音響復号化方法

Publications (2)

Publication Number Publication Date
JP2003076397A true JP2003076397A (ja) 2003-03-14
JP3469567B2 JP3469567B2 (ja) 2003-11-25

Family

ID=19092583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001266253A Expired - Lifetime JP3469567B2 (ja) 2001-09-03 2001-09-03 音響符号化装置、音響復号化装置、音響符号化方法及び音響復号化方法

Country Status (2)

Country Link
US (11) US7191126B2 (ja)
JP (1) JP3469567B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193043A (ja) * 2006-01-18 2007-08-02 Casio Comput Co Ltd 音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法
WO2012144128A1 (ja) * 2011-04-20 2012-10-26 パナソニック株式会社 音声音響符号化装置、音声音響復号装置、およびこれらの方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3469567B2 (ja) * 2001-09-03 2003-11-25 三菱電機株式会社 音響符号化装置、音響復号化装置、音響符号化方法及び音響復号化方法
US8497800B2 (en) * 2003-09-19 2013-07-30 Trimble Navigation Limited Method and a system for communicating information to a land surveying rover located in an area without cellular coverage
WO2008035949A1 (en) * 2006-09-22 2008-03-27 Samsung Electronics Co., Ltd. Method, medium, and system encoding and/or decoding audio signals by using bandwidth extension and stereo coding
EP2210252B1 (en) 2007-11-12 2017-05-24 The Nielsen Company (US), LLC Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8457951B2 (en) 2008-01-29 2013-06-04 The Nielsen Company (Us), Llc Methods and apparatus for performing variable black length watermarking of media
US9160988B2 (en) 2009-03-09 2015-10-13 The Nielsen Company (Us), Llc System and method for payload encoding and decoding
US9245529B2 (en) * 2009-06-18 2016-01-26 Texas Instruments Incorporated Adaptive encoding of a digital signal with one or more missing values
JP5997592B2 (ja) * 2012-04-27 2016-09-28 株式会社Nttドコモ 音声復号装置
US9628630B2 (en) 2012-09-27 2017-04-18 Dolby Laboratories Licensing Corporation Method for improving perceptual continuity in a spatial teleconferencing system
US11196594B2 (en) * 2019-02-28 2021-12-07 Nokia Solutions And Networks Oy Probabilistic signal shaping using multiple codebooks

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5678898A (en) 1979-11-30 1981-06-29 Matsushita Electric Ind Co Ltd Parameterrinformation compacting method
CA1252568A (en) * 1984-12-24 1989-04-11 Kazunori Ozawa Low bit-rate pattern encoding and decoding capable of reducing an information transmission rate
JPH0754438B2 (ja) 1985-03-20 1995-06-07 日本電気株式会社 音声処理装置
JP2523286B2 (ja) 1986-08-01 1996-08-07 日本電信電話株式会社 音声符号化及び復号化方法
JPH0833746B2 (ja) 1987-02-17 1996-03-29 シャープ株式会社 音声・楽音の帯域分割符号化装置
JP2692104B2 (ja) * 1988-02-12 1997-12-17 株式会社日立製作所 音声多重化システム
DE69029120T2 (de) * 1989-04-25 1997-04-30 Toshiba Kawasaki Kk Stimmenkodierer
JP3007120B2 (ja) 1990-07-17 2000-02-07 宇部興産株式会社 ヒト免疫不全ウイルスの逆転写酵素に対するモノクローナル抗体、その製法及びその抗体産生株
US5303058A (en) * 1990-10-22 1994-04-12 Fujitsu Limited Data processing apparatus for compressing and reconstructing image data
US5253326A (en) * 1991-11-26 1993-10-12 Codex Corporation Prioritization method and device for speech frames coded by a linear predictive coder
TW224191B (ja) 1992-01-28 1994-05-21 Qualcomm Inc
US5864650A (en) * 1992-09-16 1999-01-26 Fujitsu Limited Speech encoding method and apparatus using tree-structure delta code book
US5717394A (en) * 1993-02-10 1998-02-10 Ricoh Company Ltd. Method and apparatus for encoding and decoding data
JPH06259096A (ja) 1993-03-04 1994-09-16 Matsushita Electric Ind Co Ltd 音声符号化装置
JPH0844393A (ja) 1994-07-28 1996-02-16 Sony Corp オーディオ符号化データの処理装置
US5612445A (en) * 1995-02-15 1997-03-18 Arizona Chemical Co. Ultraviolet curable epoxidized alkyds
JPH08251031A (ja) 1995-03-07 1996-09-27 Mitsubishi Electric Corp 符号器および復号器
JP3311234B2 (ja) * 1995-04-24 2002-08-05 キヤノン株式会社 ネットワークシステム及びノード装置及び伝送制御方法
JP3353868B2 (ja) 1995-10-09 2002-12-03 日本電信電話株式会社 音響信号変換符号化方法および復号化方法
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
JPH1174868A (ja) * 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置/復号化装置、並びに符号化・多重化装置/復号化・逆多重化装置
US5831977A (en) * 1996-09-04 1998-11-03 Ericsson Inc. Subtractive CDMA system with simultaneous subtraction in code space and direction-of-arrival space
US5956341A (en) * 1996-12-13 1999-09-21 International Business Machines Corporation Method and system for optimizing data transmission line bandwidth occupation in a multipriority data traffic environment
JPH10234014A (ja) * 1997-02-20 1998-09-02 Matsushita Electric Ind Co Ltd 画像復号化方法、画像復号化装置、画像多重化方法、画像多重化装置、及び記録媒体
WO1999003095A1 (en) * 1997-07-11 1999-01-21 Koninklijke Philips Electronics N.V. Transmitter with an improved harmonic speech encoder
DE19743662A1 (de) 1997-10-02 1999-04-08 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erzeugung eines bitratenskalierbaren Audio-Datenstroms
KR100335609B1 (ko) * 1997-11-20 2002-10-04 삼성전자 주식회사 비트율조절이가능한오디오부호화/복호화방법및장치
JP3357829B2 (ja) * 1997-12-24 2002-12-16 株式会社東芝 音声符号化/復号化方法
US6405338B1 (en) * 1998-02-11 2002-06-11 Lucent Technologies Inc. Unequal error protection for perceptual audio coders
US6230130B1 (en) * 1998-05-18 2001-05-08 U.S. Philips Corporation Scalable mixing for speech streaming
JP3522137B2 (ja) 1998-12-18 2004-04-26 富士通株式会社 可変レート符号化・復号装置
US6975254B1 (en) * 1998-12-28 2005-12-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Methods and devices for coding or decoding an audio signal or bit stream
JP3594829B2 (ja) 1999-02-24 2004-12-02 アルパイン株式会社 Mpegオーディオの復号化方法
JP3434260B2 (ja) 1999-03-23 2003-08-04 日本電信電話株式会社 オーディオ信号符号化方法及び復号化方法、これらの装置及びプログラム記録媒体
JP3438651B2 (ja) * 1999-05-31 2003-08-18 日本電気株式会社 パケット多重装置
US6978236B1 (en) * 1999-10-01 2005-12-20 Coding Technologies Ab Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching
US7254116B2 (en) * 2000-04-07 2007-08-07 Broadcom Corporation Method and apparatus for transceiver noise reduction in a frame-based communications network
US6760699B1 (en) * 2000-04-24 2004-07-06 Lucent Technologies Inc. Soft feature decoding in a distributed automatic speech recognition system for use over wireless channels
US7136418B2 (en) * 2001-05-03 2006-11-14 University Of Washington Scalable and perceptually ranked signal coding and decoding
JP3463752B2 (ja) * 2001-07-25 2003-11-05 三菱電機株式会社 音響符号化装置、音響復号化装置、音響符号化方法および音響復号化方法
JP4318412B2 (ja) * 2001-08-08 2009-08-26 富士通株式会社 通信システムにおける送受信装置及び送受信方法
JP3469567B2 (ja) * 2001-09-03 2003-11-25 三菱電機株式会社 音響符号化装置、音響復号化装置、音響符号化方法及び音響復号化方法
DE10230809B4 (de) * 2002-07-08 2008-09-11 T-Mobile Deutschland Gmbh Verfahren zur Übertragung von Audiosignalen nach dem Verfahren der priorisierenden Pixelübertragung

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193043A (ja) * 2006-01-18 2007-08-02 Casio Comput Co Ltd 音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法
JP4548348B2 (ja) * 2006-01-18 2010-09-22 カシオ計算機株式会社 音声符号化装置及び音声符号化方法
WO2012144128A1 (ja) * 2011-04-20 2012-10-26 パナソニック株式会社 音声音響符号化装置、音声音響復号装置、およびこれらの方法
JP5648123B2 (ja) * 2011-04-20 2015-01-07 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 音声音響符号化装置、音声音響復号装置、およびこれらの方法
US9536534B2 (en) 2011-04-20 2017-01-03 Panasonic Intellectual Property Corporation Of America Speech/audio encoding apparatus, speech/audio decoding apparatus, and methods thereof
US10446159B2 (en) 2011-04-20 2019-10-15 Panasonic Intellectual Property Corporation Of America Speech/audio encoding apparatus and method thereof

Also Published As

Publication number Publication date
US20100217608A1 (en) 2010-08-26
US7191126B2 (en) 2007-03-13
US20030055656A1 (en) 2003-03-20
US20080071552A1 (en) 2008-03-20
US20080052088A1 (en) 2008-02-28
US20080071551A1 (en) 2008-03-20
US20070136049A1 (en) 2007-06-14
US20080281603A1 (en) 2008-11-13
JP3469567B2 (ja) 2003-11-25
US20080052084A1 (en) 2008-02-28
US7756699B2 (en) 2010-07-13
US20080052085A1 (en) 2008-02-28
US7756698B2 (en) 2010-07-13
US20080052087A1 (en) 2008-02-28
US20080052086A1 (en) 2008-02-28

Similar Documents

Publication Publication Date Title
US7756699B2 (en) Sound encoder and sound encoding method with multiplexing order determination
EP2382626B1 (en) Selective scaling mask computation based on peak detection
JP3259759B2 (ja) 音声信号伝送方法及び音声符号復号化システム
JPH02502491A (ja) 符号化/復号化装置
WO2005106848A1 (ja) スケーラブル復号化装置および拡張レイヤ消失隠蔽方法
WO2009055192A1 (en) Method and apparatus for generating an enhancement layer within an audio coding system
US5826221A (en) Vocal tract prediction coefficient coding and decoding circuitry capable of adaptively selecting quantized values and interpolation values
JP2002268696A (ja) 音響信号符号化方法、復号化方法及び装置並びにプログラム及び記録媒体
JPH07129195A (ja) 音声復号化装置
JP3063668B2 (ja) 音声符号化装置及び復号装置
JP2010213350A (ja) 中継装置
JP3255022B2 (ja) 適応変換符号化方式および適応変換復号方式
EP1020848A2 (en) Method for transmitting auxiliary information in a vocoder stream
JP3463752B2 (ja) 音響符号化装置、音響復号化装置、音響符号化方法および音響復号化方法
JP3496618B2 (ja) 複数レートで動作する無音声符号化を含む音声符号化・復号装置及び方法
JP3308783B2 (ja) 音声復号化装置
JPH09172413A (ja) 可変レート音声符号化方式
JPH0481199B2 (ja)
JP3212123B2 (ja) 音声符号化装置
JPH09297598A (ja) 音声符号化/復号化装置
JPH10177399A (ja) 音声符号化方法、音声復号化方法及び音声符号化復号化方法
JPH05249999A (ja) 学習型音声符号化装置
JPH06250694A (ja) 音声符号化復号化装置
JPH0736485A (ja) 音声符号化装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3469567

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080905

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080905

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090905

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090905

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100905

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130905

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term