JP2009518666A - 周波数ドメイン波形アラインメントのためのシステム、方法、および装置 - Google Patents

周波数ドメイン波形アラインメントのためのシステム、方法、および装置 Download PDF

Info

Publication number
JP2009518666A
JP2009518666A JP2008543592A JP2008543592A JP2009518666A JP 2009518666 A JP2009518666 A JP 2009518666A JP 2008543592 A JP2008543592 A JP 2008543592A JP 2008543592 A JP2008543592 A JP 2008543592A JP 2009518666 A JP2009518666 A JP 2009518666A
Authority
JP
Japan
Prior art keywords
waveform
phase shift
correlation
prototype
correlation measure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008543592A
Other languages
English (en)
Other versions
JP4988757B2 (ja
Inventor
マンジュナス、シャラス
カンドハダイ、アナンサパドマナブハン・エー.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2009518666A publication Critical patent/JP2009518666A/ja
Application granted granted Critical
Publication of JP4988757B2 publication Critical patent/JP4988757B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/097Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using prototype waveform decomposition or prototype waveform interpolative [PWI] coders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Measuring Frequencies, Analyzing Spectra (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

説明されるシステム、方法、および装置は、単一の組の評価されたコサインおよびサインが、2つの異なる位相シフトにおける2つの周期的波形の相互相関を計算するために使用される波形アラインメントオペレーションを含んでいる。

Description

関連出願
本願は、2005年12月2日に出願された、アトーニィドケット番号050296P1、「周波数ドメインアラインメントの計算における複雑さの低減(COMPLEXITY REDUCTION IN FREQUENCY DOMAIN ALIGNMENT CALCULATION)」と題された米国仮特許出願第60/742,116号の利益を主張する。
分野
本開示は、信号処理に関する。
背景
プロトタイプ波形符号化スキーム(prototype waveform encoding scheme)は、一般的にスムーズに展開する波形をサポートするプロトタイプアラインメント(prototype alignment)のオペレーションを含んでいる。そのようなアラインメント(alignment)は、タイムドメイン(time domain)における、あるいは周波数ドメイン(frequency domain)における一連の相互相関(cross-correlation)として計算されることができる。
概要
2つの周期的スピーチ波形をアラインする(align)方法は、ある範囲内の第1の複数の位相シフトのおのおのについての次の動作:(1)その位相シフトに基づいて複数の角度のおのおのについて少なくとも1つの三角関数(trigonometric function)を評価することと、(2)評価された三角関数に基づいて、第1および第2の相関測度(correlation measure)を計算することと、を含んでいる。第1の相関測度は、(A)位相シフトによってシフトされるときの、2つの周期的スピーチ波形のうちの第1の波形と、(B)2つの周期的スピーチ波形のうちの第2の波形と、の間の相関の測度(measure)である。第2の相関測度は、(C)範囲外の位相シフトによってシフトされるときの、2つの周期的スピーチ波形のうちの第1の波形と、(D)2つの周期的スピーチ波形のうちの第2の波形と、の間の相関の測度である。
2つの周期的スピーチ波形をアラインするように構成される装置(apparatus)は、範囲内の第1の複数の位相シフトのおのおのについて、位相シフトに基づいて複数の角度のおのおのについて少なくとも1つの三角関数を評価するための手段を含んでいる。本装置はまた、第1の複数の位相シフトのおのおのについて、(1)位相シフトに基づいた角度の評価された三角関数に基づいた第1の相関測度と、(2)位相シフトに基づいた角度の評価された三角関数に基づいた第2の相関測度と、を計算するための手段も含んでいる。第1の相関測度は、(A)位相シフトによってシフトされるときの、2つの周期的スピーチ波形のうちの第1の波形と、(B)2つの周期的スピーチ波形のうちの第2の波形と、の間の相関の測度である。第2の相関測度は、(C)範囲外の位相シフトによってシフトされるときの、2つの周期的スピーチ波形のうちの第1の波形と、(D)2つの周期的スピーチ波形のうちの第2の波形と、の間の相関の測度である。
2つの周期的スピーチ波形をアラインするように構成される別の装置は、範囲内の第1の複数の位相シフトのおのおのについて、位相シフトに基づいた複数の角度のおのおのについて少なくとも1つの三角関数を評価するように構成される三角関数評価器(trigonometric function evaluator)を、含んでいる。本装置はまた、第1の複数の位相シフトのおのおのについて、(1)位相シフトに基づいた角度の評価された三角関数に基づいた第1の相関測度と、(2)位相シフトに基づいた角度の評価された三角関数に基づいた第2の相関測度と、を計算するように構成されるカルキュレータも、含んでいる。第1の相関測度は、(A)位相シフトによってシフトされるときの、2つの周期的スピーチ波形のうちの第1の波形と、(B)2つの周期的スピーチ波形のうちの第2の波形と、の間の相関の測度である。第2の相関測度は、(C)範囲外の位相シフトによってシフトされるときの、2つの周期的スピーチ波形のうちの第1の波形と、(D)2つの周期的スピーチ波形のうちの第2の波形と、の間の相関の測度である。
詳細な説明
ほとんどの既存のスピーチコーダ(speech coder)は、スピーチフレーム(speech frame)が、1組の線形予測符号化(linear predictive coding)(LPC)係数と残留部(residual)に分解されるオペレーションを含んでいる。残留部の符号化は、符号化される信号ストリームの多くを占有するので、様々なスキームが、残留部を符号化するために必要とされるビットレートを低減させるために開発されてきている。
摩擦音などの無声スピーチセグメント(unvoiced speech segment)では、ランダムノイズが、残留部のすべてまたは一部分の代わりに使用されることができる。母音などの有声スピーチセグメント(voiced speech segment)では、残留信号(residual signal)は、高度の周期性を示し、これは、少なくとも一部のサンプルが補間され得ることを意味する。実際に、低い量子化レートで有声スピーチセグメントを符号化するために符号励振線形予測(code-excited linear prediction)(CELP)などの符号化技法を使用することは、周期性のレベルを保存することができない可能性がある。
低ビットレートで有声スピーチセグメントの記憶または伝送のために使用され得る符号化スキームは、プロトタイプピッチ周期(prototype pitch period)(PPP)コーダとプロトタイプ波形補間(prototype waveform interpolation)(PWI)コーダとを含んでいる。そのような符号化スキームは、残留信号における1ピッチ周期の長さを有するプロトタイプ波形を周期的に見出す。デコーダにおいては、残留信号は、元の非常に周期的な波形の近似を得るためにプロトタイプの間の周期にわたって補間される。
一般的に、周期性は、ピッチ周期が、スピーチのあまり強くない有声モードまたは無声モードでは存在しない可能性さえあるように、強い有声セグメント中だけにおいて強い。非周期的スピーチセグメントを含めて、スピーチ信号のすべてのセグメントを符号化するためにPPPコーダまたはPWIコーダを使用することは、不満足な全体的な結果をもたらす可能性が高い。1つのソリューションは、有声スピーチと無声スピーチについて異なる符号化スキームを使用することである。例えば、PPPスキームまたはPWIスキームは、有声セグメントについて使用されることができ、CELPスキームは、無声セグメントについて使用されることができる。符号化スキームの間のスイッチングは、スピーチ信号における周期性の測度に応じて実行されることができ、この測度は、ゼロ交差(zero crossing)関数または正規化自己相関(autocorrelation)関数を使用して計算されることができる。
別のソリューションは、PWIスキームを波形補間(waveform interpolation)(WI)スキームへと拡張することである。WI符号化スキームにおいては、今や代表的波形(representative waveform)または特性波形(characteristic waveform)と呼ばれるプロトタイプ波形は、スムーズに展開する波形(smoothly evolving waveform)(SEW)と、急速に展開する波形(rapidly evolving waveform)(REW)とに分解される。SEWは、ピッチに関連した成分をモデル化するが、REWは、もっと急速に変化する成分をモデル化する。これらの2つの波形は、一般的に非常に異なる知覚的要件を有し、別々に量子化されることができる。
別な方法で明示的に述べられない限り、「プロトタイプ」と「プロトタイプ波形」という用語は、ここにおいて少なくともゆっくり展開する波形(slowly evolving waveform)(SEW)を含む波形など、周期的な任意のスピーチ波形を含むように使用される。そのような波形について使用されることができる他の用語は、「特性波形」および「代表的波形」であり、これらは、時にSEWとREWの両方を含み得る波形を示すために使用される。それ故に、PPP符号化スキーム、PWI符号化スキーム、およびWI符号化スキームに対するここにおいて説明される原理の適用は、明白に考えられており、これによって開示されることが、理解されるであろう。
図1は、スピーチフレームについての残留信号を符号化する方法M100を示している。フレームは、その長期のスペクトル特性が比較的静止しているように十分に短いスピーチ信号のセグメントである。典型的なフレーム長は、20ミリ秒である。タスクT100は、フレームについてのピッチ遅延値(pitch lag value)(または「ピッチ周期(pitch period)」)Lを抽出する(extracts)。このオペレーションは、「ピッチ推定(pitch estimation)」とも呼ばれる。8kHzでサンプリングされたスピーチ信号では、ピッチ遅延値は、一般的に約20から約120の範囲(それぞれ400Hzと67Hzの基本周波数に対応する)の中にある。
タスクT100は、残留信号における、最大の絶対値を有するサンプルの間の平均距離を決定することを含むことができる。代わりに、タスクT100は、フレーム、または候補のピッチ周期(例えば、先行フレームのピッチ周期)の2倍の大きさのウィンドウなどのウィンドウの自己相関を最大にする遅延を決定するように構成されることができる。この自己相関オペレーションの結果は、そのフレームが、有声であるか、または無声であるかについての決定をサポートするために使用されることもできる。一部の場合においては(特に、WI符号化スキームでは)、タスクT100は、ピッチの倍増化または三倍増化を回避するためにおよそL/2サンプルおよびL/3サンプルの極大についてのチェックを含むことができる。より高いサンプリングレートを有する信号上で(例えば、8kHzから16kHzで再サンプリングされる信号上で)ピッチ推定を実行することにより、ピッチの倍増化または三倍増化を低減させることが可能になり得る。
タスクT200は、残留フレームから長さLのプロトタイプ(prototype)を抽出する。タスクT200は、一般的にフレームの最終ピッチ周期からプロトタイプを抽出するように構成される。残留部の高エネルギー領域は、そのような配置が、隣接するプロトタイプの間で不連続を引き起こす可能性があるので、プロトタイプの始まりまたは終わりでは起こらないことを保証することが望ましいこともある。一例においては、タスクT200は、プロトタイプの始まりと終わりにおけるエネルギーの合計が最小化されるように、プロトタイプを抽出するように構成される。別の例においては、最高の大きさ(すなわち、主要なスパイク)を有する、プロトタイプ内のサンプルから、プロトタイプのいずれかの端までの距離が、サンプルの特定の数(例えば、6)またはLの特定の比率(例えば、25%)よりも小さくないように、タスクT200は、プロトタイプを抽出するように構成される。
フレーム当たりに複数のプロトタイプを抽出するように、タスクT200を構成することも可能である。例えば、WI符号化スキームにおいては、フレーム当たりに8つ以上までのプロトタイプを抽出することが望ましいこともある。この場合においては、同様に、より頻繁なピッチ推定値を取得することが望ましいこともある。一部の場合においては、ピッチ抽出は、フレーム当たりに一回または二回実行され、追加のピッチ値(例えば、フレーム当たり全部で8つの値について)は、線形補間(値が近接しているピッチ値について)および/またはステップごとの補間(stepwise interpolation)(隣接するピッチ値の間の差が大きいとき)などの方法を使用して抽出されたピッチ値の間で補間される。
抽出されたプロトタイプsは、一般的に長さLのシーケンスs[n]としてタイムドメインにおいて表され、ここでサンプルインデックスn∈[0,L−1]であり、Lは、ピッチ周期である。プロトタイプは、周期Lの周期信号として周波数ドメインにおいて表されることもできる。例えば離散フーリエ級数(discrete Fourier series)(DFS)表現を使用して、プロトタイプsは、おのおのがスペクトル係数またはDFS係数a[k]、b[k]のそれぞれの対によって重み付けされる基本周波数1/Lの高調波の和として次式で表されることができる。
Figure 2009518666
この式においては、kは、基本周波数の第k高調波を示すインデックスであり、ここで、プロトタイプsにおける高調波は、第0高調波(k=0、DC成分(DC component)を示す)および第1高調波(k=1、基本周波数(fundamental frequency)を示す)から第
Figure 2009518666
高調波(
Figure 2009518666
、プロトタイプにおける基本周波数の最高の高調波(highest harmonic)を示す)まで広がる。式(1)においては、タイムドメイン表現におけるように、サンプルインデックスnは、範囲0≦n<(L−1)を有する。しかしながら、式(1)の周波数ドメイン表現においては、nは、式(1)が、nの端数値(fractional value)におけるsを評価するために使用されることができるように、整数値である必要はない。
方法M100は、1組のDFS係数を計算するタスクT300を含んでいる。例えば、タスクT300は、以下の式に応じてDFS係数(DFS coefficients)a[k]、b[k]を計算するように構成されることができる。
Figure 2009518666
式中で、z[0]は、1/Lに等しく、z[L/2]は、偶数のLについて1/Lに等しく、z[k]は、そうでなければ2/Lに等しい。
式(1)においては、係数b[0]は、k=0について、
Figure 2009518666
がゼロであるので、冗長である。係数a[0]は、それが知覚的に無関係である、プロトタイプのDC成分を表すので、無視されることもできる。したがって、タスクT300は、範囲
Figure 2009518666
についてのDFS係数を計算するように構成されることができ、式(1)は、次のように簡略化されることができる。
Figure 2009518666
波形は、1つのプロトタイプから次へとスムーズに展開することが望ましい。プロトタイプの間のスムーズな補間をサポートするために、隣接するプロトタイプをアラインすることが望ましい。例えば、以前のフレームのプロトタイプなどの基準に現在のフレームについてのプロトタイプをアラインする(align)ことが望ましいこともある。そのようなアラインメントは、プロトタイプのより効率的な量子化をサポートすることもできる。基準プロトタイプでは、デコーダにおいて見られることになるような復号化された(例えば、逆量子化された)プロトタイプを使用することが、一般的に望ましい。
プロトタイプアラインメントは、タイムドメインにおいて、または周波数ドメインにおいて実行されることができる。タイムドメインにおいては、プロトタイプアラインメントは、他のプロトタイプの円形に回転され、時間シフトされたバージョンに対して1つのプロトタイプの最大の相互相関を与えるタイムシフトx
Figure 2009518666
を識別することにより、実行されることができ、式中で、xは、(サンプルにおいて測定される)タイムシフトであり、sは、現在のプロトタイプを示し、sは、基準プロトタイプを示す。次いで、識別されたシフトxは、2つのプロトタイプの特徴がタイムアラインされる(time-aligned)ようにするために基準プロトタイプに適用されることができる。この例においては、基準プロトタイプは、現在のプロトタイプに対してシフトされるが、他の例においては、オペレーションは、タイムシフトxがその代わりに現在のプロトタイプに対して適用されるように構成される。
プロトタイプが、時間においてではなくて位相においてアラインされるように、その代わりに周波数ドメインにおけるプロトタイプアラインメントを実行することが、望ましいこともある。例えば、タイムドメインにおいてそのようなオペレーションを実行することが、一方のプロトタイプの長さを他方に対してマッチさせるためにタイムワーピング(time-warping)を必要とする可能性があるので、異なる長さのプロトタイプのアラインメントは、周波数ドメインにおいてより簡単に達成されることができる。計算の複雑さの低減が、周波数ドメインにおいて、特に端数の位相シフト(fractional phase shifts)についてアラインメントオペレーションを実行することにより、達成されることができることもまた可能である。
周波数ドメインにおいて、アラインメントオペレーションは、一方のプロトタイプの最大相互相関を他方のプロトタイプの位相シフトされたバージョンに対して与える位相シフトr
Figure 2009518666
を識別することにより、実行されることができ、式中でa[k]、b[k]は、基準プロトタイプについてのDFS係数を示し、an+1[k]、bn+1[k]は、現在のプロトタイプについてのDFS係数を示す。相互相関は、それらのプロトタイプの間の相関が最大にされる位相シフトrを決定するためにアラインメント範囲0≦r<L(これらの値は端数とすることができる)の中のrの値について反復される。図2は、式(5)の計算を実行するために使用されることができる擬似コードリストの一例を示している。
周波数ドメインにおけるアラインメントの計算は、タイムドメインにおけるそのような計算より優れたある種の利点をもたらす可能性があるが、それにもかかわらず、アラインされるべきプロトタイプの各対についての式(5)の評価は、計算集約的であり、プロトタイプ符号化システムにおける全体的な計算の負担のうちのかなりの部分を表す可能性がある。
式(5)の計算は、望ましい位相サンプリングレートでアラインメント範囲0≦r<Lにわたって実行されることができる。代わりに、PWIエンコーダは、第1の一連のシフトが粗い分解能で、但し全体のアラインメント範囲にわたって実行される再帰的スキーム(recursive scheme)を適用するように構成されることもできる。再帰の各レベルにおいて、識別されたシフトは、次のレベルに対するパラメータとして与えられ、この次のレベルは、より微細な分解能で、但し識別されたシフトを含むもっと小さなアラインメント範囲にわたって別の一連のシフトを実行する。再帰は、ターゲット分解能における一連のシフトが完了されたときに終了する。しかしながら、そのようなスキームは、それがグローバルなものよりも局所的な相関最大値を見出す可能性が高いので、有声スピーチでは不適切な可能性がある。
方法M100は、異なる技法によって効率的なアラインメントを実行するように構成されるが、そのような再帰を同様に含む方法M100のさらなるインプリメンテーションも、明白に考えられており、これによって開示される。この技法の1タイプのインプリメンテーションによれば、タスクT400は、2つの異なる位相シフトについての相互相関が単一の組の評価されたコサインおよびサインについて実行されるように、プロトタイプの間のアラインメントを計算する。そのような技法は、式(5)によって記述されるオペレーションと比べて、約2分の1だけ、プロトタイプアラインメントオペレーションについての三角関数評価の数を低減させるように適用されることができる。
タスクT400は、アラインメント範囲0≦r<Lにおける2つの異なる位相シフト値rについてプロトタイプ相互相関を計算するために(0ラジアンまたはπラジアンの角度に対応する組についての可能性のある例外と共に)各組の評価されたコサインおよびサインを使用するように構成される。この技法の開発についての1つの説明は、式(5)についての次の修正:
Figure 2009518666
と共に開始される。
式(6)においては、rおよびL−rの位相シフトについての相関が対にされる。そのようなペアリング(pairing)は、+rと−rの対をなす位相シフトと同等であることが理解されるであろう。次の三角法恒等式(trigonometric identity)の適用を用いて、これらの対をなす位相シフトのコサインとサインの間の関係が活用されることができる。
Figure 2009518666

Figure 2009518666
と、整数kについてのcos(2πk)=1およびsin(2πk)=0とを、これらの恒等式と組み合わせて、
Figure 2009518666
であることが、確立されることができる。
結果(8a)および(8b)は、次のとおり、式(6)を修正するために使用されることができる。評価範囲
Figure 2009518666
におけるrの各値では、同じコサイン値およびサイン値が、以下の2つの式(9A)および(9B)を計算するために使用され、最大の結果を与える式が識別される。
Figure 2009518666
最大の結果を与える式が、式(9A)のうちの一方である場合、そのときにはrには、値rが割り当てられる。最大の結果を与える式が、式(9B)のうちの一方である場合、そのときにはrには、値−rが割り当てられる。式(9A〜B)におけるrの各値についての評価されたコサインおよびサインの組は、それ故に2つの異なる位相シフト値についての相互相関を計算するために使用される(r=0またはr=L/2の場合、式(9A)および(9B)における位相シフト値が等しい場合を除く)。この方法において、または類似した方法において、タスクT400は、アラインメント範囲0≦r<Lにおける2つの異なる位相シフト値rについてのプロトタイプ相互相関を計算するために位相シフト評価範囲
Figure 2009518666
にわたって評価されたコサインおよびサインの各組を(r=0またはr=L/2に対応する組を除いて)使用するように構成される。図3は、式(9)の計算を実行するためにタスクT400のインプリメンテーションによって使用されることができる擬似コードリストの一例を示している。
アラインメントの前にプロトタイプに対してスペクトル重み付けを実行することが望ましいこともある。例えば、もしかするとフォルマント周波数(formant frequency)における何らかのデエンファシス(de-emphasis)を有するLPC係数を使用してフォルマント構造の一部を回復することが望ましいこともある。そのような1つのインプリメンテーションにおいては、タスクT400は、現在のプロトタイプを長さ2Lまでゼロをパッドする(zero-pad)ように、ゼロメモリを有する重み付けされたLPC合成フィルタによってこの信号に(例えば、現在のフレームの最後のサブフレームのLPC係数を使用して)フィルタをかけるように、そして0≦n<Lについて(n+L)−番目のサンプルに、フィルタがかけられた信号のn−番目のサンプルを追加することにより、長さLの知覚的に重み付けされたプロトタイプを取得するように構成される。
以上の相互相関最大化式(4)、(5)、(6)、および(9)は、それらのプロトタイプが等しい長さであることを仮定している。周波数ドメインにおいて、等しくない長さの2つのプロトタイプは、長い方のプロトタイプをスペクトル的に切り捨てることにより、かつ/または短い方のプロトタイプにゼロをパッドすることにより、正規化されることができる。WI符号化スキームにおいては、1つのプロトタイプが、(例えば、ピッチの倍増化または三倍増化のために)他のプロトタイプの長さの約倍または三倍の長さを有することが起こり得る。そのような場合には、より短いプロトタイプは、ゼロ振幅の高調波の挿入により周期的に拡張されることができる。タスクT400は、プロトタイプアラインメントの前に1つまたは複数のそのような長さの正規化オペレーションを実行するように構成されることができる。
以上の式(5)、(6)、および(9)においては、これらの式はすべて、プロトタイプの各高調波成分について、プロトタイプのDFS係数に基づいて同じファクタにより評価された各コサインを乗算することと、プロトタイプのDFS係数に基づいて同じファクタにより評価された各サインを乗算することとを含んでいる。計算の複雑さのさらなる低減は、これらのファクタを事前に計算することと、それらを(例えば、ファクタXおよびYとして)記憶することとにより、達成されることができる。そのようにして、式(5)は、次のように簡略化されることができる。
Figure 2009518666
図4は、式(10)による低減を使用するプロトタイプアラインメントタスクについての擬似コードリストの一例を示している。
同様に、ファクタXおよびYの事前計算は、以下のように式(9A〜B)を簡略化するために使用されることができる。
Figure 2009518666
図5は、そのような低減を使用するタスクT400のインプリメンテーションについての擬似コードリストの一例を示している。
タスクT500は、現在のプロトタイプに対して最大相互相関(the maximum cross-correlation)に対応する位相シフト(例えば、r)を適用するように構成される。例えば、タスクT500は、タイムドメインにおいてプロトタイプに対して円形回転(例えばrサンプルの)を適用するように、あるいは周波数ドメインにおいてプロトタイプを(例えば、
Figure 2009518666
ラジアンの角度だけ)回転させるように構成されることができる。タスクT500はまた、アラインされたプロトタイプに対してスペクトル重み付けオペレーション(例えば、知覚的重み付けオペレーション)を実行するようにも構成されることもできる。
タスクT600は、プロトタイプを(例えば、効率的な伝送および/または記憶のために)量子化する(quantize)ように構成される。そのような量子化は、パワーと形状の別々の量子化についてのプロトタイプの利得正規化を含むことができる。追加して、または代わりに、そのような量子化は、別々の量子化および/またはサブサンプリングについての振幅と位相ベクトルへのDFS係数の分解を含むこともできる。そのような正規化オペレーションおよび/または分解オペレーションは、結果として生じるベクトルが、スピーチ信号の他のプロトタイプのそのようなベクトルに、もっと高く相関づけられることができるように、より効率的なベクトル量子化をサポートすることができる。
方法M100のさらなるインプリメンテーションにおいては、タスクT400は、異なる位相シフトが異なる周波数帯域のおのおのについて取得されることができるようにプロトタイプの異なる周波数帯域上で別々にプロトタイプアラインメントを実行するように構成される。この場合には、タスクT500は、対応する帯域内のプロトタイプの高調波成分に対してそれぞれの位相シフトを適用するように構成されることができ、タスクT600は、周波数帯域分割に応じてプロトタイプの位相ベクトルを(例えば、1つの位相値が、各周波数帯域について符号化されるように)サブサンプリングするように構成されることができる。
WI符号化スキームにおいては、フィルタバンク(例えば、ハイパスフィルタおよびローパスフィルタを含む)が、さらなる処理および/または別個の量子化のためにSEWとREWを分離するためにアラインされたプロトタイプに適用されることができる。
図6は、送信のためにスピーチサンプルを処理するように構成されるスピーチコーダの一例によって実行されることができるような、符号化モード選択を含むオペレーションのフローチャートを示している。タスク400において、スピーチコーダは、スピーチ信号のデジタルサンプルを連続するフレームの形で受け取る。与えられたフレームを受け取るとすぐに、スピーチコーダは、タスク402へと進む。タスク402において、スピーチコーダは、フレームのエネルギーを検出する。そのエネルギーは、フレームのスピーチアクティビティの測度である。スピーチ検出は、デジタル化されたスピーチサンプルの振幅の二乗を合計することと、結果として生じるエネルギーをしきい値に対して比較することとにより、実行される。タスク402は、バックグラウンドノイズの変化するレベルに基づいてこのしきい値を適合するように構成されることができる。例示の可変しきい値スピーチアクティビティ検出器が、米国特許第5,414,796号(ヤコブ他(Jacobs et al.)、1995年5月9日に発行)に説明されている。一部の無声スピーチ音は、バックグラウンドノイズとして誤って符号化され得る非常に低エネルギーのサンプルとすることができる。そのようなエラーの機会を低減させるために、低エネルギーサンプルのスペクトルの傾き(例えば、第1の反射係数(reflection coefficient))は、前述の米国特許第5,414,796号に説明されるようなバックグラウンドノイズから無声スピーチを区別するために使用されることができる。
フレームのエネルギーを検出した後に、スピーチコーダは、タスク404へと進む。タスク404において、スピーチコーダは、検出されたフレームエネルギーが、スピーチ情報を含むものとしてフレームを分類するために十分であるかどうかを決定する。検出されたフレームエネルギーが、あらかじめ定義されたしきい値レベルを割り込む場合、スピーチコーダは、タスク406へと進む。タスク406において、スピーチコーダは、フレームをバックグラウンドノイズ(background noise)(すなわち、無音(silence))として符号化する。1つのコンフィギュレーションにおいては、バックグラウンドノイズフレームは、1/8レート、または1kbpsで符号化される。タスク404において、検出されたフレームエネルギーがあらかじめ定義されたしきい値レベルを満たし、または超過する場合には、フレームは、スピーチとして分類され、スピーチコーダは、タスク408へと進む。
タスク408において、スピーチコーダは、フレームが無声スピーチ(unvoiced speech)であるかどうかを決定する。例えば、タスク408は、フレームの周期性を検査するように構成されることができる。周期性決定の知られている様々な方法は、例えば、ゼロ交差の使用、および正規化された自己相関関数(normalized autocorrelation function)(NACF)の使用を含んでいる。特に、周期性を検出するためにゼロ交差およびNACFを使用することは、米国特許第5,911,128号(デジャコ(Dejaco)、1999年6月8日発行)および第6,691,084号(マンジュナス他(Manjunath et al.)、2004年2月10日発行)に説明される。さらに、有声スピーチを無声スピーチから区別するために使用される以上の方法は、米国電気通信工業会暫定規格(Telecommunication Industry Association Interim Standards)TIA/EIA IS−127およびTIA/EIA IS−733に組み込まれている。フレームが、タスク408において無声スピーチであることが決定される場合、スピーチコーダは、タスク410へと進む。タスク410において、スピーチコーダは、フレームを無声スピーチとして符号化する。1つのコンフィギュレーションにおいては、無声スピーチフレームは、1/4レート、または2.6kbpsで符号化される。フレームが、タスク408において無声スピーチであることが決定されない場合、スピーチコーダは、タスク412へと進む。
タスク412において、スピーチコーダは、フレームが遷移性スピーチ(transitional speech)であるかどうかを決定する。タスク412は、(例えば、米国特許第5,911,128号に説明されるような)当技術分野において知られている周期性検出法を使用するように構成されることができる。フレームが遷移性スピーチであることが決定される場合、スピーチコーダは、タスク414へと進む。タスク414において、フレームは、遷移スピーチ(transition speech)(すなわち、無声スピーチから有声スピーチへの遷移)として符号化される。1つのコンフィギュレーションにおいては、遷移スピーチフレームは、米国特許第6,260,017号(ダス他(Das et al.)、2001年7月10日発行)に説明されるマルチパルス補間符号化法(multipulse interpolative coding)に従って符号化される。CELPスキームが、遷移スピーチフレームを符号化するために使用されることもできる。別のコンフィギュレーションにおいては、遷移スピーチフレームは、フルレートまたは13.2kbpsで符号化される。
タスク412において、スピーチコーダが、フレームが遷移性スピーチではないことを決定する場合には、スピーチコーダは、タスク416へと進む。タスク416において、スピーチコーダは、フレームを有声スピーチとして符号化する。1つのコンフィギュレーションにおいては、有声スピーチフレームは、ここにおいて説明されるようにPPP符号化スキームまたは他のプロトタイプ符号化スキームを使用して、1/2レート(例えば、6.2kbps)で、あるいは1/4レートで符号化されることができる。PPP符号化スキームまたは他の符号化スキームを使用してフルレート(例えば、13.2kbps、または8kCELPコーダにおいては8kbps)で有声スピーチフレームを符号化することも可能である。しかしながら、当業者は、1/2レートまたは1/4レートで有声フレームを符号化することにより、コーダが、有声フレームの定常状態の性質を活用することにより有用な帯域幅を節約することができるようになることを認識するであろう。さらに有声スピーチを符号化するために使用されるレートとは無関係に、有声スピーチは、過去のフレームからの情報を使用して有利に符号化され、それ故に予測的に符号化されるように言われる。
図7Aは、スピーチ符号化および/またはスピーチ通信についてのスピーチコーダ、セルラ電話、または他の装置において使用されることができる開示のコンフィギュレーションによる装置100についてのブロック図を示している。装置100は、フレームについてのピッチ遅延値(または「ピッチ周期」)Lを抽出するように構成されるピッチ遅延抽出器(pitch lag extractor)110を含んでいる。例えば、ピッチ遅延抽出器110は、線形予測(linear prediction)(LP)解析モジュールからの残留信号を受け取るように構成されることができ、この線形予測解析モジュールは、スピーチ信号のフレームを1組のLPC係数と残留信号とに分解するように構成される。ピッチ遅延抽出器110は、残留信号に対してここにおいて説明されるようなタスクT100のインプリメンテーションを実行するように構成されることができる。一例においては、ピッチ遅延抽出器110は、残留信号の中に最大絶対値を有するサンプルの間の平均距離を決定することによりピッチ周期を抽出するように構成される。代わりに、ピッチ遅延抽出器110は、フレーム、または候補のピッチ周期(例えば、先行するフレームのピッチ周期)の2倍の大きさのウィンドウなどのウィンドウの自己相関を最大にする遅延を決定するように構成されることもできる。この自己相関オペレーションの結果はまた、フレームが有声であるか、または無声であるかについての決定をサポートするために使用されることもできる。一部の場合には(特にWI符号化スキームでは)、ピッチ遅延抽出器110は、およそL/2およびL/3のサンプルの極大を(例えば、ピッチの倍増化または三倍増化を回避するために)チェックするように構成されることができる。
装置110は、残留フレームから長さLのプロトタイプを(例えば、ここにおいて説明されるようなタスクT200のインプリメンテーションに応じて)抽出するように構成されるプロトタイプ抽出器120を含んでいる。プロトタイプ抽出器120は、一般的にフレームの最終ピッチ周期からプロトタイプを抽出するように構成される。一例においては、プロトタイプ抽出器120は、プロトタイプの始まりおよび終わりにおけるエネルギーの合計が最小にされるようにプロトタイプを抽出するように構成される。別の例においては、プロトタイプ抽出器120は、プロトタイプのいずれかの端に対する最高の大きさ(すなわち、主要なスパイク)を有するプロトタイプ内のサンプルからの距離が、サンプルの特定の数(例えば、6)またはLの特定の比率(例えば、25%)よりも小さくないようにプロトタイプを抽出するように構成される。
プロトタイプ抽出器120はまた、フレーム当たりに複数のプロトタイプを抽出するように構成されることもできる。例えばWI符号化スキームにおいては、プロトタイプ抽出器120が、フレーム当たりに8個以上のプロトタイプを抽出することが望ましいこともある。この場合には、ピッチ遅延抽出器110は、フレーム当たりにピッチ遅延値を1回または2回抽出するように、そして線形補間(値が近接したピッチ値について)および/またはステップごとの補間(隣接するピッチ値の間の差が大きいとき)などの方法を使用して、抽出されたピッチ値の間の追加のピッチ値を(全体について、例えばフレーム当たりに8個の値について)補間するように構成されることができる。
装置100は、1組のスペクトル係数(例えば、DFS係数)を計算するように構成される係数カルキュレータ(coefficient calculator)130を含んでいる。例えば、係数カルキュレータ130は、以上の式(2a)および(2b)に応じて、基本周波数1/Lの高調波に対応する1組のDFS係数を計算するように構成されることができる。係数カルキュレータ130は、範囲
Figure 2009518666
における各kについて1対の係数a[k]、b[k]を計算するように構成されることが、望ましいこともある。
装置100は、ここにおいて説明されるようなタスクT400のインプリメンテーションに応じて2つのプロトタイプ(例えば、現在のフレームのプロトタイプと以前のフレームのプロトタイプと)の間のアラインメントを計算するように構成されるプロトタイプアライナ(prototype aligner)140を含んでいる。例えば、プロトタイプアライナ140は、2つの異なる位相シフトについての相互相関が、単一の組の評価されたコサインおよびサインについて実行されるようにプロトタイプの間のアラインメントを計算するように構成されることができる。
プロトタイプアライナ140は、アラインメント範囲0≦r<Lの中の2つの異なる位相シフトrについてのプロトタイプ相互相関を計算するために各組の評価されたコサインおよびサインを(0ラジアンまたはπラジアンの角度に対応する組の可能な例外と共に)使用するように構成されることができる。例えば、プロトタイプアライナ140は、アラインメント範囲0≦r<Lの中の2つの異なる位相シフトrについてのプロトタイプ相互相関を計算するために、位相シフト評価範囲
Figure 2009518666
にわたって各組の評価されたコサインおよびサインを(r=0またはr=L/2に対応する組を除いて)使用するように構成されることができる。プロトタイプアライナ140は、図3および図5に示される擬似コードリストのいずれかに応じてそのようなオペレーションを実行するように構成されることができる。
図7Bは、プロトタイプアライナ140のインプリメンテーション142のブロック図を示している。三角関数評価器144は、評価範囲(例えば、
Figure 2009518666
)内の複数の第1の位相シフトのおのおのについて、第1の位相シフトに基づいた複数の角度のおのおのについての少なくとも1つの三角関数を評価するように構成される。カルキュレータ146は、複数の第1の位相シフトのおのおのについて2つのプロトタイプの間の第1および第2の相関測度を計算するように構成される。第1の相関測度は、他方に対して第1の位相シフト(例えば、r)によってシフトされるプロトタイプのうちの一方に対応する。第2の相関測度は、評価範囲の外側の位相シフト(例えば、−rまたはL−r)だけ他方に対してシフトされるプロトタイプのうちの一方に対応する。比較器148は、第1の相関測度と第2の相関測度とのうちの最大を識別するように構成される。
プロトタイプアライナ140は、アラインメントの前にプロトタイプに対してスペクトル重み付けを実行することが望ましいこともある。そのような1つのインプリメンテーションにおいては、プロトタイプアライナ140は、現在のプロトタイプを長さ2Lまでゼロをパッドするように、ゼロメモリを有する重み付けされたLPC合成フィルタによって(例えば、現在のフレームの最後のサブフレームのLPC係数を使用して)この信号にフィルタをかけ、0≦n<Lについて(n+L)−番目のサンプルにフィルタがかけられた信号のn−番目のサンプルを追加することにより、長さLの知覚的に重み付けされたプロトタイプを取得するように構成される。プロトタイプアライナ140はまた、アラインメントを計算する前に1つまたは複数のプロトタイプに対してここにおいて説明されるような1つまたは複数の長さ正規化オペレーションを実行するように構成されることもできる。
装置100は、現在のプロトタイプに対して、プロトタイプアライナ140によって識別される最大相互相関に対応する位相シフト(例えば、r)を適用するように構成される位相シフタ(phase shifter)150を含んでいる。例えば、位相シフタ150は、タイムドメインにおいてプロトタイプに対して円形回転(例えば、rサンプルの)を適用するように、あるいは周波数ドメインにおいてプロトタイプを(例えば、
Figure 2009518666
ラジアンの角度だけ)回転させるように構成されることができる。位相シフタ150はまた、アラインされたプロトタイプに対して(例えば、アラインされたプロトタイプに対して知覚的重み付けフィルタなどのフィルタを適用することにより)、知覚的重み付けオペレーションなどのスペクトル重み付けオペレーションを実行するように構成されることもできる。
装置100は、プロトタイプを(例えば、効率的な伝送および/または記憶のために)量子化するように構成されるプロトタイプ量子化器(prototype quantizer)160を含んでいる。そのような量子化は、パワーと形状の別々の量子化のためのプロトタイプの利得正規化を含むことができる。追加して、または代わりにそのような量子化は、別々の量子化のために振幅と位相ベクトルへのDFS係数の分解を含むこともできる。プロトタイプ量子化器160は、以下の方法:各成分のスカラ量子化、成分の組のベクトル量子化、マルチステージ量子化(ベクトル、スカラ、または混合された)、対または対の組における振幅と位相の共同量子化のうちの任意の方法に応じて振幅および位相の量子化を実行するように構成されることができる。
装置100のさらなるインプリメンテーションにおいては、プロトタイプアライナ140は、異なる位相シフトが、異なる周波数帯域のおのおのについて取得されることができるようにプロトタイプの異なる周波数帯域上で別々にプロトタイプアラインメントを実行するように構成される。この場合には、位相シフタ150は、対応する帯域内のプロトタイプの高調波成分に対してそれぞれの位相シフトを適用するように構成されることができ、プロトタイプ量子化器160は、周波数帯域分割に応じてプロトタイプの位相ベクトルを(例えば、1つの位相値が、各周波数帯域について符号化されるように)サブサンプリングするように構成されることができる。位相および振幅の情報のサブサンプリングと、PPPの符号化および復号化の他の態様は、例えば米国特許第6,678,649号(マンジュナス(Manjunath)、2004年、1月13日発行)の中で論じられている。
WI符号化スキームにおいて使用するために、装置100は、位相シフタ150からアラインされたプロトタイプを受け取るように、そしてさらなる処理および/または別々の量子化のためにSEWとREWを分離するように構成されたフィルタバンク(例えば、ハイパスフィルタおよびローパスフィルタを含む)を含むように構成されることができる。
装置100のインプリメンテーションの様々な要素は、例えば同じチップ上に、あるいはチップセットの中の複数のチップの間に存在する電子デバイスおよび/または光デバイスとしてインプリメントされることができるが、そのような限定のない他の構成も考えられている。そのような装置の1つまたは複数の要素は、マイクロプロセッサ、埋め込み型プロセッサ、IPコア、デジタル信号プロセッサ、FPGA(フィールドプログラマブルゲートアレイ(field-programmable gate array))、ASSP(特定用途向け標準プロダクト(application-specific standard product))、ASIC(特定用途向け集積回路(application-specific integrated circuit))など、論理要素(例えば、トランジスタ、ゲート)の1つまたは複数の固定アレイまたはプログラマブルアレイ上で実行するように構成される1つまたは複数の命令セットとして全体的に、あるいは部分的にインプリメントされることができる。
装置100のインプリメンテーションの1つまたは複数の要素は、タスクを実行するために、あるいは装置が埋め込まれるデバイスまたはシステムの別のオペレーションに関連したタスクなど、装置のオペレーションに直接には関連しない他の命令セットを実行するために使用されることが可能である。また、装置100のインプリメンテーションの1つまたは複数の要素は、共通の構造(例えば、異なる時刻に異なる要素に対応するコードの一部分を実行するために使用されるプロセッサ、異なる時刻に異なる要素に対応するタスクを実行するように実行される命令セット、あるいは異なる時刻に異なる要素についてのオペレーションを実行する電子デバイスおよび/または光デバイスの構成)を有することも可能である。
以上で論じられた個々の例は、0≦r<Lのアラインメント範囲について説明しており、この範囲は、0ラジアンから2πラジアンの角度範囲に対応する。しかしながら、ここにおいて開示されるようなアラインメントの方法(例えば、タスクT400、タスクT400とT500の組合せ、またはタスクT400を含む別の方法)は、一般におよそL/2(またはおよびπラジアン)で対称である任意の範囲上で2つの異なる角度値についての計算を実行するために1組の評価された三角関数(例えば、コサインおよび/またはサイン)を使用するように構成されることができることが、明白に考えられており、これによって開示されている。同様に、ここにおいて説明されるようなアラインメントの方法は、一般により大きな範囲のうちの、およそL/2(またはおよびπラジアン)で対称である任意の一部分上で2つの異なる角度値についての計算を実行するために1組の評価された三角関数を使用するように構成されることもできる。
図8は、以上で論じられたような異なるアラインメント分解能で2つの周期的波形(例えば、プロトタイプ)の進行性アラインメントを実行するように構成されるタスクT400、T500のインプリメンテーションT410、T510の適用の一例を示している。図8Aは、2つの波形aとbの図を示しており、ここでLの値は、100であり、数字は、サンプル軸に沿ったインデックス値を示す。参考のために、図は、それらの波形の間の最大相互相関を引き起こす位相シフトrが73であることを示している。換言すれば、波形は、r=73のシフトが波形bに対して適用されるときにアラインされる。
この方法においては、タスクT410とT510は、望ましいアラインメント分解能が達成されるまで反復して実行される。およそL/2に中心があるアラインメント範囲を保持するために、タスクT510は、タスクT410の各反復の前にそれらの波形のうちの一方をシフトするように構成される。
タスクT410の第1の反復の前に、タスクT510は、それらの波形のうちの一方に対してL/2(例えば、πラジアン)のシフトを適用する。図8Bは、タスクT510が波形bに対してL/2のシフトを実行した後の2つの波形aとbの図を示している。次いでタスクT410の第1の反復は、第1の分解能における(この例においては、10の分解能における)アラインメント範囲0≦r<Lにまたがって(
Figure 2009518666
の評価範囲を用いて)波形aとbとの相関を計算する。図8Bに示されるように、タスクT410は、この反復についてr =20の値を計算する。
タスクT410の第2の反復の前に、タスクT510は、図8Bに示されるように波形bに対してr +L/2(この例においては、70)の追加シフトを適用する。図8Cは、タスクT510が、このシフトを実行した後の2つの波形aとbの図を示している。次いで、タスクT410の第2の反復は、第2の分解能(この例においては、ν=10であり、第2の分解能は2である)で、クロスハッチングされた区域だけによって示されるような、低減された評価範囲の
Figure 2009518666
を有する)ハッチングされた領域によって示されるような低減されたアラインメント範囲
Figure 2009518666
にまたがって、波形aとbとの相関を計算する。図8Cに示されるように、タスクT410は、この反復についてr =52の値を計算する。
タスクT410の第3の反復の前に、タスクT510は、図8Cに示されるように波形bに対してr +L/2(この例においては、102)の追加シフトを適用する。図8Dは、タスクT510が、このシフトを実行した後の2つの波形aとbの図を示している。次いでタスクT410の第3の反復は、第3の分解能(この例においては、ν=5であり、第3の分解能は1である)で、クロスハッチングされた区域だけによって示されるような、低減された評価範囲の
Figure 2009518666
を有する)ハッチングされた領域によって示されるような低減されたアラインメント範囲
Figure 2009518666
にまたがって、波形aとbとの相関を計算する。図8Dに示されるように、タスクT410は、この反復についてr =51の値を計算する。
この例においては、反復の数は3であり、タスクT410は、次式:
Figure 2009518666
などの式に応じてrの最終値を計算するように構成される。この例において説明されるように、rについてのこの式は、70+2+1、すなわち73と評価される。当業者は、そのような方法の同等なインプリメンテーションにおいては、上記のようなL/2の事前の位相シフトは、省略されることができ、rについての式は、次のように修正されることを認識するであろう。
Figure 2009518666
図9Aは、タスクT400およびT500のそれぞれインプリメンテーションT410、T510を含めて、方法M100のインプリメンテーションM200のフローチャートを示している。図9Bは、そのような反復方法を実行するように構成されるプロトタイプアライナ140および位相シフタ150のインプリメンテーション144、154を含む装置100のインプリメンテーション200のブロック図を示している。プロトタイプアライナ140は、例えば図7Bに示されるインプリメンテーション142に応じてインプリメントされることができることが理解される。そのような場合には、カルキュレータ146は、さらに上記されるようにrの最終値を計算するように構成されることができ、あるいはプロトタイプアライナ140および/または装置200は、そのように構成される別のカルキュレータを含むこともできる。
説明されたコンフィギュレーションの以上の提示は、いずれの当業者もここにおいて開示される方法および他の構造を作るのを、または使用するのを、可能とするように提供されている。これらのコンフィギュレーションに対する様々な修正が可能であり、ここにおいて提示される包括的な原理は、同様に他のコンフィギュレーションに対しても適用されることができる。例えばコンテキストから認識されることができるように、コンフィギュレーションは、部分的にまたは全体的にハードワイヤード回路として、特定用途向け集積回路の形に製造される回路コンフィギュレーションとして、あるいは、不揮発性ストレージへとロードされるファームウェアプログラム、または機械読取り可能コードとして、データストレージ媒体から、またはデータストレージ媒体へとロードされるソフトウェアプログラムとして、インプリメントされることができ、そのようなコードは、マイクロプロセッサや他のデジタル信号処理ユニットなどのロジック要素のアレイによって実行可能な命令である。データストレージ媒体は、ストレージ素子のアレイ、例えば、半導体メモリ(これは、限定なしに、ダイナミックまたはスタティックRAM(ランダムアクセスメモリ(random-access memory))、ROM(読取り専用メモリ(read-only memory))、および/またはフラッシュRAMを含むことができる)、強誘電体メモリ、磁気抵抗メモリ、オボニックメモリ(ovonic memory)、高分子メモリ(polymeric memory)、または位相変化メモリ(phase-change memory)など、あるいは、ディスク媒体、例えば、磁気ディスクや光ディスクなど、であってもよい。用語「ソフトウェア」は、ソースコード、アセンブリ言語コード、機械コード、2進コード、ファームウェア、マクロコード、マイクロコード、ロジック要素のアレイによって実行可能な1つまたは複数の命令セットまたは命令シーケンス、およびそのような例の任意の組合せ、を含むように理解されるべきである。
ここにおいて開示される方法のおのおのは、読取り可能な1つまたは複数の命令セットとして(例えば、上記にリストアップされるような1つまたは複数のデータストレージ媒体において)有形に具現化されることもでき、かつ/または、ロジック要素(例えば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、または他の有限状態機械)のアレイを含む機械によって実行可能である。それ故に、本開示は、上記に示されるコンフィギュレーションに限定されるようには意図されておらず、むしろ、オリジナルの開示(original disclosure)の一部分を形成する、出願された添付の特許請求の範囲の中を含めて、ここにおいて任意の方法で開示された原理および新規な特徴と整合する最も広い範囲が与えられるべきである。
1つのコンフィギュレーションによる方法M100についてのフローチャートである。 2つの周期的スピーチ波形をアラインする方法についての擬似コードリストの一例を示す図である。 アラインメントタスクT400のインプリメンテーションについての擬似コードリストの一例を示す図である。 アラインメントタスクの別のインプリメンテーションについての擬似コードリストの一例を示す図である。 アラインメントタスクT400の別のインプリメンテーションについての擬似コードリストの一例を示す図である。 符号化モード選択スキームの図である。 開示されたコンフィギュレーションによる装置100のブロック図である。 プロトタイプアライナ140のインプリメンテーション142のブロック図である。 タスクT400、T500のインプリメンテーションT410、T510の適用の一例をそれぞれ示す図である。 方法M100のインプリメンテーションM200についてのフローチャートである。 装置100のインプリメンテーション200についてのブロック図である。

Claims (38)

  1. 2つの周期的スピーチ波形をアラインする方法であって、評価範囲内の複数の第1の位相シフトのおのおのについて、
    前記第1の位相シフトに基づいた複数の角度のおのおのについて少なくとも1つの三角関数を評価することと、
    前記第1の位相シフトに基づいた角度の前記評価された三角関数に基づいて、第1の相関測度を計算することと、
    前記第1の位相シフトに基づいた角度の前記評価された三角関数に基づいて、第2の相関測度を計算することと、
    を備え、
    前記第1の相関測度は、(A)前記第1の位相シフトによってシフトされるときの、前記2つの周期的スピーチ波形のうちの第1の波形と、(B)前記2つの周期的スピーチ波形のうちの第2の波形と、の間の相関の測度であり、
    前記第2の相関測度は、(C)前記第1の位相シフトに対応し、前記評価範囲外にある、複数の第2の位相シフトのうちの1つによってシフトされるときの、前記2つの周期的スピーチ波形のうちの前記第1の波形と、(D)前記2つの周期的スピーチ波形のうちの前記第2の波形と、の間の相関の測度である、
    アラインする方法。
  2. 前記の第1の相関測度と第2の相関測度のうちの最大を識別すること、を備える請求項1に記載のアラインする方法。
  3. 前記2つの周期的スピーチ波形のうちの前記第1の波形に対して、前記の第1の相関測度と第2の相関測度のうちの前記識別された最大に対応する前記第1の位相シフトを、その最大が前記第1の相関測度のうちの1つである場合に適用することと、
    前記2つの周期的スピーチ波形のうちの前記第1の波形に対して、前記の第1の相関測度と第2の相関測度のうちの前記識別された最大に対応する前記第2の位相シフトを、その最大が前記第2の相関測度のうちの1つである場合に適用することと、
    を備える、請求項1に記載のアラインする方法。
  4. 前記複数の第1の位相シフトのおのおのについて、前記第1の位相シフトに基づいた前記複数の角度のおのおのは、プロトタイプの異なる高調波周波数に対応する、請求項1に記載のアラインする方法。
  5. 前記の少なくとも1つの三角関数を評価することは、前記第1の位相シフトに基づいた前記複数の角度のおのおのについてのコサインを評価することを備える、請求項1に記載のアラインする方法。
  6. 前記の少なくとも1つの三角関数を評価することは、前記第1の位相シフトに基づいた前記複数の角度のおのおのについてのコサインおよびサインを評価することを備える、請求項1に記載のアラインする方法。
  7. 前記の第1の相関測度を計算することは、(E)前記評価されたコサインの積と、(F)前記評価されたサインの積との、複数の和を計算することを含み、
    前記の第2の相関測度を計算することは、(G)前記評価されたコサインの積と、(H)前記評価されたサインの積との、複数の差を計算することを含む、請求項1に記載のアラインする方法。
  8. 前記2つの周期的スピーチ波形のうちの前記第1の波形は、スピーチ信号の時間の中の第1の部分の残留部から抽出されるプロトタイプ波形に基づいており、
    前記2つの周期的スピーチ波形のうちの前記第2の波形は、前記スピーチ信号の時間の中の第2の部分の残留部から抽出されるプロトタイプ波形に基づいている、請求項1に記載のアラインする方法。
  9. 前記2つの周期的スピーチ波形のおのおのの長さは、前記スピーチ信号の時間の中の前記の第1の部分と第2の部分のうちの少なくとも一方のピッチ周期に等しい、請求項8に記載のアラインする方法。
  10. 前記評価範囲は、ゼロラジアンからパイラジアンまでの両端を含む範囲内にある、請求項1に記載のアラインする方法。
  11. 前記複数の第1の位相シフトのおのおのについて、前記対応する第2の位相シフトは、パイラジアンから(2倍のパイ)ラジアンの範囲内にある、請求項1に記載のアラインする方法。
  12. 請求項1に記載の方法を記述する機械実行可能な命令、を有するデータストレージ媒体。
  13. 2つの周期的スピーチ波形をアラインするように構成される装置であって、
    評価範囲内の複数の第1の位相シフトのおのおのについて、前記第1の位相シフトに基づいた複数の角度のおのおのについて少なくとも1つの三角関数を評価するための手段と、
    前記複数の第1の位相シフトのおのおのについて、(1)前記第1の位相シフトに基づいた角度の前記評価された三角関数に基づいて、第1の相関測度と、(2)前記第1の位相シフトに基づいた角度の前記評価された三角関数に基づいて、第2の相関測度と、を計算するための手段と、
    を備え、
    前記第1の相関測度は、(A)前記第1の位相シフトによってシフトされるときの、前記2つの周期的スピーチ波形のうちの第1の波形と、(B)前記2つの周期的スピーチ波形のうちの第2の波形と、の間の相関の測度であり、
    前記第2の相関測度は、(C)前記第1の位相シフトに対応し、前記評価範囲外にある複数の第2の位相シフトのうちの1つによってシフトされるときの、前記2つの周期的スピーチ波形のうちの前記第1の波形と、(D)前記2つの周期的スピーチ波形のうちの前記第2の波形と、の間の相関の測度である、
    装置。
  14. 前記装置は、前記の第1の相関測度と第2の相関測度のうちの最大を識別するための手段を備える、請求項13に記載の装置。
  15. 前記装置は、(i)前記2つの周期的スピーチ波形のうちの前記第1の波形に対して、前記の第1の相関測度と第2の相関測度のうちの前記識別された最大に対応する前記第1の位相シフトを、その最大が前記第1の相関測度のうちの1つである場合に適用することと、(ii)前記2つの周期的スピーチ波形のうちの前記第1の波形に対して、前記の第1の相関測度と第2の相関測度のうちの前記識別された最大に対応する前記第2の位相シフトを、その最大が前記第2の相関測度のうちの1つである場合に適用することと、のための手段を備える、請求項13に記載の装置。
  16. 前記複数の第1の位相シフトのおのおのについて、前記第1の位相シフトに基づいた前記複数の角度のおのおのは、プロトタイプの異なる高調波周波数に対応する、請求項13に記載の装置。
  17. 前記複数の第1の位相シフトのおのおのについて、少なくとも1つの三角関数を評価するための前記手段は、前記第1の位相シフトに基づいた前記複数の角度のおのおのについてのコサインを評価するように構成される、請求項13に記載の装置。
  18. 前記複数の第1の位相シフトのおのおのについて、少なくとも1つの三角関数を評価するための前記手段は、前記第1の位相シフトに基づいた前記複数の角度のおのおのについてのコサインおよびサインを評価するように構成される、請求項13に記載の装置。
  19. 前記複数の第1の位相シフトのおのおのについて、計算するための前記手段は、(E)前記評価されたコサインの積と、(F)前記評価されたサインの積との、複数の和を含むように前記第1の相関測度を計算するよう構成され、
    前記複数の第1の位相シフトのおのおのについて、計算するための前記手段は、(G)前記評価されたコサインの積と、(H)前記評価されたサインの積との、複数の差を含むように前記第2の相関測度を計算するよう構成される、請求項13に記載の装置。
  20. 前記装置は、(i)スピーチ信号の時間の中の第1の部分の残留部から第1のプロトタイプ波形を抽出するように、そして(ii)前記スピーチ信号の時間の中の第2の部分の残留部から第2のプロトタイプ波形を抽出するように構成される、プロトタイプ波形を抽出するための手段を備え、
    前記2つの周期的スピーチ波形のうちの前記第1の波形は、前記第1のプロトタイプ波形に基づいており、
    前記2つの周期的スピーチ波形のうちの前記第2の波形は、前記第2のプロトタイプ波形に基づいている、
    請求項13に記載の装置。
  21. 前記2つの周期的スピーチ波形のおのおのの長さは、前記スピーチ信号の時間の中の前記の第1の部分と第2の部分のうちの少なくとも一方のピッチ周期に等しい、請求項20に記載の装置。
  22. 前記評価範囲は、ゼロラジアンからパイラジアンまでの両端を含む範囲内にある、請求項13に記載の装置。
  23. 前記複数の第1の位相シフトのおのおのについて、前記対応する第2の位相シフトは、パイラジアンから(2倍のパイ)ラジアンの範囲内にある、請求項13に記載の装置。
  24. 請求項13に記載の装置、を含むスピーチコーダ。
  25. 請求項13に記載の装置を含む、セルラ電話。
  26. 2つの周期的スピーチ波形をアラインするように構成される装置であって、
    評価範囲内の複数の第1の位相シフトのおのおのについて、前記第1の位相シフトに基づいた複数の角度のおのおのについて少なくとも1つの三角関数を、評価するように構成される三角関数評価器と、
    前記複数の第1の位相シフトのおのおのについて、(1)前記第1の位相シフトに基づいた角度の前記評価された三角関数に基づいて、第1の相関測度と、(2)前記第1の位相シフトに基づいた角度の前記評価された三角関数に基づいて、第2の相関測度と、を計算するように構成されるカルキュレータと、
    を備え、
    前記第1の相関測度は、(A)前記第1の位相シフトによってシフトされるときの、前記2つの周期的スピーチ波形のうちの第1の波形と、(B)前記2つの周期的スピーチ波形のうちの第2の波形と、の間の相関の測度であり、
    前記第2の相関測度は、(C)前記第1の位相シフトに対応し、前記評価範囲外にある複数の第2の位相シフトのうちの1つによってシフトされるときの、前記2つの周期的スピーチ波形のうちの前記第1の波形と、(D)前記2つの周期的スピーチ波形のうちの前記第2の波形と、の間の相関の測度である装置。
  27. 前記装置は、前記の第1の相関測度と第2の相関測度のうちの最大を識別するように構成される比較器を備える、請求項26に記載の装置。
  28. 前記装置は、前記2つの周期的スピーチ波形のうちの前記第1の波形に対して、前記の第1の相関測度と第2の相関測度のうちの前記識別された最大に対応する前記第1の位相シフトをその最大が前記第1の相関測度のうちの1つである場合に適用するように、そして前記2つの周期的スピーチ波形のうちの前記第1の波形に対して、前記の第1の相関測度と第2の相関測度のうちの前記識別された最大に対応する前記第2の位相シフトをその最大が前記第2の相関測度のうちの1つである場合に適用するように構成される位相シフタを備える、請求項26に記載の装置。
  29. 前記複数の第1の位相シフトのおのおのについて、前記第1の位相シフトに基づいた前記複数の角度のおのおのは、プロトタイプの異なる高調波周波数に対応する、請求項26に記載の装置。
  30. 前記複数の第1の位相シフトのおのおのについて、前記三角関数評価器は、前記第1の位相シフトに基づいた前記複数の角度のおのおのについてのコサインを評価するように構成される、請求項26に記載の装置。
  31. 前記複数の第1の位相シフトのおのおのについて、前記三角関数評価器は、前記第1の位相シフトに基づいた前記複数の角度のおのおのについてのコサインおよびサインを評価するように構成される、請求項26に記載の装置。
  32. 前記複数の第1の位相シフトのおのおのについて、前記カルキュレータは、(E)前記評価されたコサインの積と、(F)前記評価されたサインの積との、複数の和を含むように前記第1の相関測度を計算するよう構成され、
    前記複数の第1の位相シフトのおのおのについて、前記カルキュレータは、(G)前記評価されたコサインの積と、(H)前記評価されたサインの積との、複数の差を含むように前記第2の相関測度を計算するよう構成される、請求項26に記載の装置。
  33. 前記装置は、(i)スピーチ信号の時間の中の第1の部分の残留部から第1のプロトタイプ波形を抽出するように、そして(ii)前記スピーチ信号の時間の中の第2の部分の残留部から第2のプロトタイプ波形を抽出するように構成される、プロトタイプ抽出器を備え、
    前記2つの周期的スピーチ波形のうちの前記第1の波形は、前記第1のプロトタイプ波形に基づいており、
    前記2つの周期的スピーチ波形のうちの前記第2の波形は、前記第2のプロトタイプ波形に基づいている、
    請求項26に記載の装置。
  34. 前記2つの周期的スピーチ波形のおのおのの長さは、前記スピーチ信号の時間の中の前記の第1の部分と第2の部分のうちの少なくとも一方のピッチ周期に等しい、請求項33に記載の装置。
  35. 前記評価範囲は、ゼロラジアンからパイラジアンまでの両端を含む範囲内にある、請求項26に記載の装置。
  36. 前記複数の第1の位相シフトのおのおのについて、前記対応する第2の位相シフトは、パイラジアンから(2倍のパイ)ラジアンの範囲内にある、請求項26に記載の装置。
  37. 請求項26に記載の装置を含む、スピーチコーダ。
  38. 請求項26に記載の装置を含む、セルラ電話。
JP2008543592A 2005-12-02 2006-12-01 周波数ドメイン波形アラインメントのためのシステム、方法、および装置 Active JP4988757B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US74211605P 2005-12-02 2005-12-02
US60/742,116 2005-12-02
PCT/US2006/061529 WO2007120308A2 (en) 2005-12-02 2006-12-01 Systems, methods, and apparatus for frequency-domain waveform alignment

Publications (2)

Publication Number Publication Date
JP2009518666A true JP2009518666A (ja) 2009-05-07
JP4988757B2 JP4988757B2 (ja) 2012-08-01

Family

ID=38609993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008543592A Active JP4988757B2 (ja) 2005-12-02 2006-12-01 周波数ドメイン波形アラインメントのためのシステム、方法、および装置

Country Status (7)

Country Link
US (1) US8145477B2 (ja)
EP (1) EP1955320A2 (ja)
JP (1) JP4988757B2 (ja)
KR (1) KR101019936B1 (ja)
CN (1) CN101317218B (ja)
TW (1) TWI358056B (ja)
WO (1) WO2007120308A2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101355626B1 (ko) * 2007-07-20 2014-01-27 삼성전자주식회사 네트워크 제어 장치
US8990094B2 (en) * 2010-09-13 2015-03-24 Qualcomm Incorporated Coding and decoding a transient frame
US8862465B2 (en) * 2010-09-17 2014-10-14 Qualcomm Incorporated Determining pitch cycle energy and scaling an excitation signal
EP2634769B1 (en) * 2012-03-02 2018-11-07 Yamaha Corporation Sound synthesizing apparatus and sound synthesizing method
WO2013142951A1 (en) 2012-03-29 2013-10-03 Litens Automotive Partnership Tensioner and endless drive arrangement
US9036734B1 (en) * 2013-07-22 2015-05-19 Altera Corporation Methods and apparatus for performing digital predistortion using time domain and frequency domain alignment
US9569405B2 (en) * 2014-04-30 2017-02-14 Google Inc. Generating correlation scores
WO2016025812A1 (en) * 2014-08-14 2016-02-18 Rensselaer Polytechnic Institute Binaurally integrated cross-correlation auto-correlation mechanism
US10262677B2 (en) * 2015-09-02 2019-04-16 The University Of Rochester Systems and methods for removing reverberation from audio signals
JP7003119B6 (ja) 2016-09-13 2023-08-18 リテンズ オートモーティヴ パートナーシップ Vテンショナ及び無端駆動装置
CN114429770A (zh) * 2022-04-06 2022-05-03 北京普太科技有限公司 一种被测设备的声音数据测试方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320695A (ja) * 1995-05-25 1996-12-03 Nippon Telegr & Teleph Corp <Ntt> 標準音声信号発生方法およびこの方法を実施する装置
JPH0950293A (ja) * 1995-08-07 1997-02-18 Fujitsu Ltd 音声信号変換装置および超音波診断装置
US5884253A (en) * 1992-04-09 1999-03-16 Lucent Technologies, Inc. Prototype waveform speech coding with interpolation of pitch, pitch-period waveforms, and synthesis filter

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3638004A (en) * 1968-10-28 1972-01-25 Time Data Corp Fourier transform computer
JP2707564B2 (ja) * 1987-12-14 1998-01-28 株式会社日立製作所 音声符号化方式
US5003604A (en) * 1988-03-14 1991-03-26 Fujitsu Limited Voice coding apparatus
CA1328509C (en) * 1988-03-28 1994-04-12 Tetsu Taguchi Linear predictive speech analysis-synthesis apparatus
ES2225321T3 (es) * 1991-06-11 2005-03-16 Qualcomm Incorporated Aparaato y procedimiento para el enmascaramiento de errores en tramas de datos.
US5517595A (en) * 1994-02-08 1996-05-14 At&T Corp. Decomposition in noise and periodic signal waveforms in waveform interpolation
TW271524B (ja) 1994-08-05 1996-03-01 Qualcomm Inc
WO1998005029A1 (en) * 1996-07-30 1998-02-05 British Telecommunications Public Limited Company Speech coding
US6754630B2 (en) * 1998-11-13 2004-06-22 Qualcomm, Inc. Synthesis of speech from pitch prototype waveforms by time-synchronous waveform interpolation
US6456964B2 (en) * 1998-12-21 2002-09-24 Qualcomm, Incorporated Encoding of periodic speech using prototype waveforms
US6691084B2 (en) * 1998-12-21 2004-02-10 Qualcomm Incorporated Multiple mode variable rate speech coding
US6260017B1 (en) * 1999-05-07 2001-07-10 Qualcomm Inc. Multipulse interpolative coding of transition speech frames
US6397175B1 (en) * 1999-07-19 2002-05-28 Qualcomm Incorporated Method and apparatus for subsampling phase spectrum information
US6324505B1 (en) * 1999-07-19 2001-11-27 Qualcomm Incorporated Amplitude quantization scheme for low-bit-rate speech coders
US6665638B1 (en) * 2000-04-17 2003-12-16 At&T Corp. Adaptive short-term post-filters for speech coders
KR20030005222A (ko) * 2001-01-10 2003-01-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 코딩
US6931373B1 (en) * 2001-02-13 2005-08-16 Hughes Electronics Corporation Prototype waveform phase modeling for a frequency domain interpolative speech codec system
US20030028887A1 (en) * 2001-07-02 2003-02-06 Laurent Frouin Method to control the copying and/or broadcasting of audiovisual signals transmitted to within a home audiovisual network
US20030074383A1 (en) * 2001-10-15 2003-04-17 Murphy Charles Douglas Shared multiplication in signal processing transforms
US8355907B2 (en) * 2005-03-11 2013-01-15 Qualcomm Incorporated Method and apparatus for phase matching frames in vocoders

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5884253A (en) * 1992-04-09 1999-03-16 Lucent Technologies, Inc. Prototype waveform speech coding with interpolation of pitch, pitch-period waveforms, and synthesis filter
JPH08320695A (ja) * 1995-05-25 1996-12-03 Nippon Telegr & Teleph Corp <Ntt> 標準音声信号発生方法およびこの方法を実施する装置
JPH0950293A (ja) * 1995-08-07 1997-02-18 Fujitsu Ltd 音声信号変換装置および超音波診断装置

Also Published As

Publication number Publication date
WO2007120308A3 (en) 2008-02-07
US8145477B2 (en) 2012-03-27
KR20080085007A (ko) 2008-09-22
US20070185708A1 (en) 2007-08-09
CN101317218A (zh) 2008-12-03
CN101317218B (zh) 2013-01-02
TWI358056B (en) 2012-02-11
TW200802302A (en) 2008-01-01
WO2007120308A2 (en) 2007-10-25
JP4988757B2 (ja) 2012-08-01
EP1955320A2 (en) 2008-08-13
KR101019936B1 (ko) 2011-03-09

Similar Documents

Publication Publication Date Title
JP4988757B2 (ja) 周波数ドメイン波形アラインメントのためのシステム、方法、および装置
US8401843B2 (en) Method and device for coding transition frames in speech signals
CN102881292B (zh) 用于低位速率应用的译码方案选择
JP6692948B2 (ja) 異なるサンプリングレートを有するフレーム間の移行による音声信号の線形予測符号化および復号のための方法、符号器および復号器
EP2617029B1 (en) Estimating a pitch lag
CN105825861B (zh) 确定加权函数的设备和方法以及量化设备和方法
DK2633521T3 (en) CODING GENERIC AUDIO SIGNALS BY LOW BITRATES AND LOW DELAY
US20090319261A1 (en) Coding of transitional speech frames for low-bit-rate applications
US20110082693A1 (en) Systems, methods, and apparatus for frame erasure recovery
CN102197423A (zh) 用于低位速率应用的过渡语音帧的译码
EP2128858B1 (en) Encoding device and encoding method
KR100463417B1 (ko) 상관함수의 최대값과 그의 후보값의 비를 이용한 피치검출 방법 및 그 장치
Kleijn et al. A 5.85 kbits CELP algorithm for cellular applications
CN1355915A (zh) 过滤语言帧的多脉冲内插编码
US7643996B1 (en) Enhanced waveform interpolative coder
US20050065786A1 (en) Hybrid speech coding and system
RU2759092C1 (ru) Аудиодекодер, поддерживающий набор разных инструментов маскирования потерь
Kroon et al. A low-complexity toll-quality variable bit rate coder for CDMA cellular systems
Bae et al. On a reduction of pitch searching time by preliminary pitch in the CELP vocoder
HUE035162T2 (en) Systems, procedures, equipment and computer-readable media for decoding harmonic signals

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120426

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4988757

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250