JP5087024B2 - Echo canceling apparatus, method and program - Google Patents
Echo canceling apparatus, method and program Download PDFInfo
- Publication number
- JP5087024B2 JP5087024B2 JP2009028486A JP2009028486A JP5087024B2 JP 5087024 B2 JP5087024 B2 JP 5087024B2 JP 2009028486 A JP2009028486 A JP 2009028486A JP 2009028486 A JP2009028486 A JP 2009028486A JP 5087024 B2 JP5087024 B2 JP 5087024B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- signal spectrum
- coupling amount
- acoustic coupling
- echo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Description
この発明は、音響再生系を有する例えば通信会議システムにおいて用いられる、ハウリングの原因及び聴覚上の障害となる音響エコーを消去するエコー消去装置と、その方法とプログラムに関する。 The present invention relates to an echo canceling apparatus for canceling an acoustic echo that causes a howling and an auditory disturbance, and a method and a program thereof, which are used in, for example, a communication conference system having an acoustic reproduction system.
短時間スペクトル振幅(STSA:Short-Time Spectral Amplitude)推定に基づくエコー抑圧処理は、人間の聴覚特性が位相に鈍感である性質及び、エコーの統計的な性質を利用して周波数領域でエコーの振幅成分を減算することで実現される。周波数領域でエコーを抑圧する従来のエコー消去装置800は、例えば非特許文献1に記載されている。
Echo suppression processing based on short-time spectral amplitude (STSA) estimation is based on the fact that the human auditory characteristics are insensitive to the phase and the statistical characteristics of the echo, and the amplitude of the echo in the frequency domain. This is achieved by subtracting the components. A
図8にエコー消去装置800の機能構成例を示し、その動作を説明する。エコー消去装置800は、受話端1に入力され、スピーカ2によって音響信号に変換される再生信号x
(k)と、マイクロホン3が出力する音響信号に変換された再生信号x(k)に図示しない屋内のインパルス応答(伝達関数)の影響を受けたエコー成分が重畳した収音信号y(k)とを入力信号とする。エコー消去装置800の送話端4に出力される出力信号e(k)は、収音信号y(k)のエコー成分が抑圧された信号である。
FIG. 8 shows an example of the functional configuration of the
(K) and a collected sound signal y (k) in which an echo component influenced by an indoor impulse response (transfer function) (not shown) is superimposed on a reproduction signal x (k) converted into an acoustic signal output from the
エコー消去装置800は、第1周波数分析部81、第2周波数分析部82、音響結合量計算部83、エコーパワー計算部84、ゲイン計算部85、積算部86、周波数合成部87、を備える。第1周波数分析部81は、再生信号x(k)を入力として再生信号スペクトルXω(i)を出力する。第2周波数分析部82は、収音信号y(k)を入力として収音信号スペクトルYω(i)を出力する。ここでkは、所定間隔の離散時間を示すサンプル点の番号であり、再生信号x(k)と収音信号y(k)はディジタル信号である。図8において、スピーカ2への入力及び、マイクロホン3の出力するアナログ信号をディジタル信号に変換するA/D変換器は省略している。
The
再生信号スペクトルXω(i)と収音信号スペクトルYω(i)のωは、周波数値であり、所定の周波数間隔で求めたスペクトルの周波数の番号である。また、iはフレーム番号である。フレームの時間長は、例えばサンプリング周波数を16kHz、周波数分析のデータ量を256点とした場合、16msである。 In the reproduction signal spectrum X ω (i) and the collected sound signal spectrum Y ω (i), ω is a frequency value, which is a frequency number of the spectrum obtained at a predetermined frequency interval. I is a frame number. The time length of the frame is, for example, 16 ms when the sampling frequency is 16 kHz and the data amount of frequency analysis is 256 points.
音響結合量計算部83は、再生信号スペクトルXω(i)と収音信号スペクトルYω(i)を入力として、音響結合量の推定値|Hω^(i)|2を出力する。音響結合量とは、スピーカ2からマイクロホン3に回り込むエコー経路の音響的な大きさを表す値である。音響結合量の推定値|Hω^(i)|2は式(1)で計算される。
The acoustic coupling
ここで*は共役複素数、Nは加算フレーム数である。例えばN=500といった値に設定される。iはi=0,1,…,N−1の整数値をとる。
エコーパワー計算部84は、再生信号スペクトルXω(i)と音響結合量の推定値|Hω^(i)|2を入力として、エコーパワー推定値|Dω^(i)|2を式(2)で計算する。
Here, * is a conjugate complex number, and N is the number of added frames. For example, a value such as N = 500 is set. i takes an integer value of i = 0, 1,..., N−1.
Echo-power calculating unit 84, the reproduction signal spectrum X ω (i) the acoustic coupling amount estimate | H ω ^ (i) | 2 as input
ゲイン計算部85は、エコーパワー推定値|Dω^(i)|2と収音信号スペクトルYω(i)を入力として、ゲイン係数Gω(i)を式(3)で計算する。
The
ゲイン係数Gω(i)は、0〜1の実数値をとり、収音信号スペクトルYω(i)にエコー成分が多い場合には小さな値に、エコー成分以外の成分が多い場合には大きな値になる。
積算部86は、収音信号スペクトルYω(i)にゲイン係数Gω(i)を積算してエコー消去信号スペクトルEω(i)を出力する。
周波数合成部87は、周波数値ωに対応するエコー消去信号スペクトルEω(i)から時間領域の出力信号e(k)を再合成して出力する。
The gain coefficient G ω (i) takes a real value between 0 and 1, and is small when the collected sound signal spectrum Y ω (i) has many echo components, and large when there are many components other than the echo components. Value.
The
有限フレーム毎に処理するエコー消去装置800では、エコー経路全体の音響結合量を推定するために、エコー経路のインパルス応答長より長いフレームを用いる必要があった。しかし、部屋の音響環境等によってインパルス応答長は大きく変化し、概ねその値は100ms〜400msの範囲である。これに対してフレーム長は上記したように例えば16msといった値である。したがって、エコー経路のインパルス応答長の方が、フレーム長よりも大きくなる場合が多い。そのため、従来のエコー消去装置では、音響結合量の誤推定が生じ易かった。その結果、正確にエコーパワーを推定することが出来ず、それが、ミュージカルノイズ発生の原因の一つになっていた。
In the
この発明はこの点に鑑みてなされたものであり、エコー経路のインパルス応答長に関わらず高精度にエコーパワーを推定できるエコー消去装置と、その方法とプログラムを提供することを目的とする。 The present invention has been made in view of this point, and an object of the present invention is to provide an echo cancellation apparatus capable of estimating echo power with high accuracy regardless of the impulse response length of the echo path, and a method and program thereof.
この発明のエコー消去装置は、第1周波数分析部と、第2周波数分析部と、音響結合量計算部と、エコーパワー計算部と、ゲイン計算部と、積算部と、周波数合成部と、を具備する。第1周波数分析部は、再生信号を周波数変換した再生信号スペクトルを出力する。第2周波数分析部は、収音信号を周波数変換した収音信号スペクトルを出力する。音響結合量計算部は、再生信号スペクトルと収音信号スペクトルを所定フレーム数Nの範囲で掛け合わせて加算した値を、再生信号スペクトルの所定フレーム数のパワーを加算した値で除した結合量を第1音響結合量推定値とし、収音信号スペクトルに対して再生信号スペクトルを、過去の時刻m(m=1〜M−1)にずらして第1音響結合量推定値と同様に計算した結合量を第2音響結合量推定値乃至第M音響結合量推定値とし、第1音響結合量推定値から第M音響結合量推定値をそれぞれ自乗した第1乃至第Mの音響結合量推定値を出力する。エコーパワー計算部は、再生信号スペクトルと第1乃至第Mの音響結合量推定値を入力として、現在時刻フレームの音響結合量推定値と再生信号スペクトルのパワーの乗算値と、上記過去の時刻m(m=1〜M−1)の範囲内で当該mの値で対応する過去の同時刻の音響結合量推定値と再生信号スペクトルのパワーを乗算した値との合計を、エコーパワー推定値として出力する。ゲイン計算部は、収音信号スペクトルとエコーパワー推定値を入力としてゲイン係数を出力する。積算部は、収音信号スペクトルにゲイン係数を乗算したエコー消去信号スペクトルを出力する。周波数合成部は、エコー消去信号スペクトルを周波数合成して時間領域の出力信号を出力する。 The echo cancellation apparatus of the present invention includes a first frequency analysis unit, a second frequency analysis unit, an acoustic coupling amount calculation unit, an echo power calculation unit, a gain calculation unit, an integration unit, and a frequency synthesis unit. It has. The first frequency analysis unit outputs a reproduction signal spectrum obtained by frequency conversion of the reproduction signal. The second frequency analysis unit outputs a sound collection signal spectrum obtained by frequency-converting the sound collection signal. The acoustic coupling amount calculation unit multiplies the reproduction signal spectrum and the collected sound signal spectrum within a range of a predetermined number of frames N and divides it by a value obtained by adding the power of the predetermined number of frames of the reproduction signal spectrum. The first acoustic coupling amount estimated value, and the coupling calculated by shifting the reproduced signal spectrum to the past time m (m = 1 to M−1) with respect to the collected sound signal spectrum in the same manner as the first acoustic coupling amount estimated value. The first to M-th acoustic coupling amount estimation values obtained by squaring the second acoustic coupling amount estimation value to the M-th acoustic coupling amount estimation value and the first acoustic coupling amount estimation value to the M-th acoustic coupling amount estimation value, respectively. Output. The echo power calculation unit receives the reproduction signal spectrum and the first to Mth acoustic coupling amount estimation values as input, and multiplies the acoustic coupling amount estimation value of the current time frame by the power of the reproduction signal spectrum and the past time m. the sum of the corresponding values obtained by multiplying the power of the acoustic coupling amount estimating value and the reproduction signal spectrum of the past same time the value of the m in the range of (m = 1~M-1), as an echo power estimate Output. The gain calculation unit receives the collected sound signal spectrum and the echo power estimation value and outputs a gain coefficient. The integrating unit outputs an echo cancellation signal spectrum obtained by multiplying the collected sound signal spectrum by a gain coefficient. The frequency synthesizer frequency synthesizes the echo cancellation signal spectrum and outputs an output signal in the time domain.
この発明のエコー消去装置は、収音信号スペクトルに対する再生信号スペクトルを過去にずらして求めた結合量を音響結合量推定値として求める。したがって、エコー経路のインパルス応答長に関わらず高精度に音響結合量を推定することができる。つまり、或るフレームの再生信号とそれ以外のフレームの再生信号は統計的に無相関であることから、過去の時刻の再生信号と現在時刻のフレームの収音信号とのクロススペクトル加算値から、無相関成分を除去した過去フレームのエコー経路の音響結合量を抽出することが可能である。よって、現在時刻のフレームの音響結合量推定値と再生信号スペクトルのパワーの乗算値と、過去の同時刻の音響結合量推定値と再生信号スペクトルとを乗算した値を合計することで、エコー経路のインパルス応答長がフレームより長い場合でも、エコーパワーを高精度に推定できる。 The echo canceller of the present invention obtains a coupling amount obtained by shifting the reproduction signal spectrum with respect to the collected sound signal spectrum in the past as an acoustic coupling amount estimation value. Therefore, it is possible to estimate the acoustic coupling amount with high accuracy regardless of the impulse response length of the echo path. That is, since the reproduction signal of a certain frame and the reproduction signal of other frames are statistically uncorrelated, the cross spectrum addition value of the reproduction signal of the past time and the sound collection signal of the frame of the current time is It is possible to extract the acoustic coupling amount of the echo path of the past frame from which the uncorrelated component is removed. Therefore, the echo path is obtained by summing the product of the acoustic coupling amount estimate value of the frame at the current time and the power of the reproduction signal spectrum and the product of the past acoustic coupling amount estimate value and the reproduction signal spectrum at the same time. Even when the impulse response length is longer than the frame, the echo power can be estimated with high accuracy.
以下に、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は省略する。 Embodiments of the present invention will be described below with reference to the drawings. The same components in the drawings are denoted by the same reference numerals, and the description thereof is omitted.
図1にこの発明のエコー消去装置100の機能構成例を示す。エコー消去装置100は、第1周波数分析部81、第2周波数分析部82、音響結合量計算部13、エコーパワー計算部14、ゲイン計算部85、積算部86、周波数合成部87、を具備する。エコー消去装置100は、例えばROM、RAM、CPU等で構成されるコンピュータに所定のプログラムが読み込まれて、CPUがそのプログラムを実行することで実現されるものである。エコー消去装置100は、音響結合量計算部13とエコーパワー計算部14とが新しく、他の構成は従来のエコー消去装置800と同じである。従来と同じ部分については、参照符号を同一にして説明を簡単にする。
FIG. 1 shows a functional configuration example of an echo canceling apparatus 100 of the present invention. The echo cancellation apparatus 100 includes a first
第1周波数分析部81は、再生信号x(k)を周波数変換した再生信号スペクトルXω(i)を出力する。第2周波数分析部82は、収音信号y(k)を周波数変換した収音信号スペクトルYω(i)を出力する。音響結合量計算部13は、再生信号スペクトルXω(i)と収音信号スペクトルYω(i)を所定フレーム数Nの範囲で掛け合わせて加算した値を、再生信号スペクトルの所定フレーム数Nのパワーを加算した値で除した結合量の自乗を第1音響結合量推定値とし、収音信号スペクトルYω(i)に対して再生信号スペクトルXω(i)を、過去の時刻m(m=1〜M−1)にずらして第1音響結合量推定値と同様に計算した値を第2音響結合量推定値乃至第M音響結合量推定値とし、第1音響結合量推定値から第M音響結合量推定値を第1乃至第Mの音響結合量推定値|Hω^(i,m)|2として出力する。
The first
エコーパワー計算部14は、再生信号スペクトルXω(i)と第1乃至第Mの音響結合量推定値を入力として、第1乃至第Mの音響結合量推定値|Hω^(i,m)|2のそれぞれに、mの値(m=0〜M−1)で対応する再生信号スペクトルXω(i−1)のパワーを乗算した値の合計を、エコーパワー推定値|Dω^(i)|2として出力する。ゲイン計算部は、収音信号スペクトルYω(i)とエコーパワー推定値|Dω^(・)|2を入力としてゲイン係数Gω(i)を出力する。積算部86は、収音信号スペクトルYω(i)にゲイン係数Gω(i)を乗算したエコー消去信号スペクトルEω(i)を出力する。周波数合成部87は、エコー消去信号スペクトルEω(i)を周波数合成して時間領域の出力信号e(k)を出力する。
The echo power calculation unit 14 receives the reproduction signal spectrum X ω (i) and the first to Mth acoustic coupling amount estimation values as inputs, and the first to Mth acoustic coupling amount estimation values | H ω ^ (i, m ) | 2 is multiplied by the power of the reproduction signal spectrum X ω (i−1) corresponding to the value of m (m = 0 to M−1), and the echo power estimated value | D ω ^ (I) Output as | 2 . The gain calculation unit receives the collected sound signal spectrum Y ω (i) and the echo power estimated value | D ω ^ (•) | 2 as input, and outputs a gain coefficient G ω (i). The
このようにエコー消去装置100は、収音信号スペクトルに対する再生信号スペクトルを過去にずらして求めた結合量を第1乃至第Mの音響結合量推定値として求める。そして、その音響結合量推定値のそれぞれに、mの値(m=0〜M−1)で対応する再生信号スペクトルXω(i)のパワーを乗算した値の合計を、エコーパワー推定値として出力する。したがって、エコー経路のインパルス応答長がフレームより長い場合でも、エコーパワーを高精度に推定することができる。以降、エコー消去装置100の新しい部分である音響結合量計算部13と、エコーパワー計算部14とについて詳しく説明する。 As described above, the echo canceling apparatus 100 obtains the coupling amount obtained by shifting the reproduction signal spectrum with respect to the collected sound signal spectrum in the past as the first to Mth acoustic coupling amount estimation values. Then, the sum of the values obtained by multiplying each of the acoustic coupling amount estimated values by the power of the reproduction signal spectrum X ω (i) corresponding to the value of m (m = 0 to M−1) is used as the echo power estimated value. Output. Therefore, even when the impulse response length of the echo path is longer than the frame, the echo power can be estimated with high accuracy. Hereinafter, the acoustic coupling amount calculator 13 and the echo power calculator 14 which are new parts of the echo canceller 100 will be described in detail.
〔音響結合量計算部〕
図2に音響結合量計算部13の機能構成例を示す。その動作フローを図3に示す。音響結合量計算部13は、クロススペクトル加算部130と、パワースペクトル加算部131と、除算・自乗部132と、を備え、収音信号スペクトルYω(i)と、再生信号スペクトルXω(i)とを入力として式(4)で音響結合量の推定値|Hω^(i,m)|2を計算する。
[Acoustic coupling amount calculation part]
FIG. 2 shows a functional configuration example of the acoustic coupling amount calculation unit 13. The operation flow is shown in FIG. The acoustic coupling amount calculation unit 13 includes a cross
ここでmは、m=0,1,…,M−1の整数値をとる値であり、収音信号スペクトルY
ω(i−j)に対して再生信号スペクトルXω(i−j−m)を過去の時刻にずらすフレーム数を表す。
N(m)は、所定フレーム数であり、音響結合量の推定値を求めるフレーム幅を表す。C(m)は調整定数であり、例えばC(m)=1とする。
Here, m is a value that takes an integer value of m = 0, 1,..., M−1, and the collected sound signal spectrum Y
This represents the number of frames by which the reproduction signal spectrum X ω (i−j−m) is shifted to a past time with respect to ω (i−j).
N (m) is a predetermined number of frames and represents a frame width for obtaining an estimated value of the acoustic coupling amount. C (m) is an adjustment constant, for example, C (m) = 1.
クロススペクトル加算部130は、式(5)の右辺の分子の計算を行う(ステップS1
30)。その計算は、周波数領域の再生信号スペクトルXω(i−j−m)と収音信号スペクトルYω(i−j)を入力として、同一時刻のフレームの再生信号スペクトルXω(・)(・はi−1やi−2等を意味する)と収音信号スペクトルYω(・)を所定フレーム数N(m)の範囲で掛け合わせてクロススペクトルを求め(ステップS130a)、そのクロススペクトルを加算してクロススペクトル加算値CRS(m)を求める計算である(ステップS130b)。この計算は、収音信号スペクトルYω(・)に対する再生信号スペクトルXω(・)が、m=0,1,…,M−1の範囲でずらされて計算される。
The cross
30). The calculation is performed by using the reproduction signal spectrum X ω (ij) in the frequency domain and the collected sound signal spectrum Y ω (ij) as inputs, and the reproduction signal spectrum X ω (·) (· means i-1 and i-2, etc.) and the collected sound signal spectrum Y omega (·) multiplied by the range of a predetermined number of frames N (m) seeking cross spectrum (step S130a), the cross-spectral This is a calculation for adding the cross spectrum addition value C RS (m) by addition (step S130b). In this calculation, the reproduction signal spectrum X ω (•) with respect to the collected sound signal spectrum Y ω (•) is shifted in the range of m = 0, 1,..., M−1.
パワースペクトル加算部131は、式(5)の分母の計算を行う(ステップS131)。その計算は、現在時刻のフレームから、所定フレーム数N(m)(j=N(m)−1)過去の範囲の再生信号スペクトルXω(i)〜Xω(i−j)のそれぞれのパワーを求め(ステップS131a)、それらを合計したパワーの合計値PS(m)を求める計算である(ステップS131b)。この計算も、再生信号スペクトルXω(・)が、m=0,1,…,M−1の範囲でずらされて計算される。
除算・自乗部132は、クロススペクトル加算値CRS(m)をパワーの合計値PS(m)で除した値を自乗した第1から第Mの音響結合量推定値を計算する(ステップS132)。
The power
The division /
以上の計算を図4に示す。図4はN=4,M=3とした場合の例である。m=0の時が第1音響結合量を求める計算になる。この場合、式(5)の分子のクロススペクトルは、現在時刻(i)から4個のフレーム数過去の時刻(i−3)までの、同一時刻同士の再生信号スペクトルXω(・)と収音信号スペクトルYω(・)とが乗算され、それぞれの乗算値が合計された値である。分母は、現在時刻(i)〜(i−3)までのそれぞれの時刻の再生信号スペクトルXω(・)のパワーの合計である。 The above calculation is shown in FIG. FIG. 4 shows an example where N = 4 and M = 3. When m = 0, the first acoustic coupling amount is calculated. In this case, the cross spectrum of the numerator of Equation (5) is the same as the reproduction signal spectrum X ω (•) of the same time from the current time (i) to the time (i-3) four frames past. This is a value obtained by multiplying the sound signal spectrum Y ω (•) and summing the respective multiplication values. The denominator is the total power of the reproduction signal spectrum X ω (•) at each time from the current time (i) to (i-3).
m=1の時が第2音響結合量の計算になる。この場合、分子のクロススペクトルは、現在時刻の収音信号スペクトルYω(i)に対して1フレーム過去の時刻の再生信号スペクトルXω(i−1)が乗算され、以後、時刻(i−3)の収音信号スペクトルYω(i−3)に時刻(i−4)の再生信号スペクトルXω(i−4)が乗算されまで繰り返され、それぞれの乗算値が合計される。m=1の場合の分母は、時刻(i−1)〜(i−4)までのそれぞれの時刻の再生信号スペクトルXω(・)のパワーの合計である。 When m = 1, the second acoustic coupling amount is calculated. In this case, the cross spectrum of the numerator is obtained by multiplying the sound collection signal spectrum Y ω (i) at the current time by the reproduction signal spectrum X ω (i−1) at the time one frame past, and thereafter the time (i− It is repeated until the sound collection signal spectrum Y ω (i-3) of 3) is multiplied by the reproduction signal spectrum X ω (i-4) of time (i-4), and the respective multiplication values are summed. The denominator in the case of m = 1 is the total power of the reproduction signal spectrum X ω (•) at each time from time (i-1) to (i-4).
m=2の時が第3音響結合量の計算になる。この場合は、収音信号スペクトルYω(i)に対して2フレーム過去の時刻の再生信号スペクトルXω(i−2)が乗算され、以下同様に計算される。 When m = 2, the third acoustic coupling amount is calculated. In this case, the sound collection signal spectrum Y ω (i) is multiplied by the reproduction signal spectrum X ω (i−2) at a time two frames past, and the same calculation is performed thereafter.
音響結合量計算部100は、このように現在時刻の収音信号スペクトルYω(i)に、過去の時刻の再生信号スペクトルXω(i−j−m)を乗算したクロススペクトルの加算値から音響結合量の推定値を求めるので、過去の時刻のエコー経路の音響結合量を抽出することができる。この結果、エコー経路全体の音響結合量を高精度に推定することが可能である。 The acoustic coupling amount calculation unit 100 thus calculates the sum of the cross spectrum obtained by multiplying the collected signal spectrum Y ω (i) at the current time by the reproduction signal spectrum X ω (i−j−m) at the past time. Since the estimated value of the acoustic coupling amount is obtained, the acoustic coupling amount of the echo path at the past time can be extracted. As a result, it is possible to estimate the acoustic coupling amount of the entire echo path with high accuracy.
なお、調整定数C(m)について、C(m)=1として特に説明しなかったがmによっ
て異なる値に設定しても良い。例えばmが大であるとより過去のフレーム時刻が計算対象
になるので、mが小の場合の音響結合量よりもSN比が相対的に低下する。そこでmが大
の時は、例えばC(m)を小さくするようにしても良い。つまり、過去分の重みを小さく
する調整係数乗算ステップ(ステップS133)を設けても良い。
The adjustment constant C (m) is not particularly described as C (m) = 1, but may be set to a different value depending on m. For example, if m is large, the past frame time becomes a calculation target, so that the SN ratio is relatively lower than the acoustic coupling amount when m is small. Therefore, when m is large, for example, C (m) may be decreased. That is, an adjustment coefficient multiplication step (step S133) for reducing the past weight may be provided.
また、同様に過去のフレーム時刻のSN比は低下することから、所定のフレーム数N(m)もmの値によって変化させても良い。例えばmが大であればN(m)も大とする。そうすることで、クロススペクトル加算値やパワー値がより平均化されるので精度向上が期待できる。 Similarly, since the SN ratio of the past frame time decreases, the predetermined number of frames N (m) may be changed depending on the value of m. For example, if m is large, N (m) is also large. By doing so, since the cross spectrum addition value and the power value are further averaged, an improvement in accuracy can be expected.
〔エコーパワー計算部〕
図5にエコーパワー計算部14の機能構成例を示す。その動作フローを図6に示す。エコーパワー推定部14は、再生信号スペクトルパワー計算部140と、再生信号パワー記録部141と、乗算・累積部142と、を備える。再生信号パワースペクトルパワー計算部140は、入力される再生信号スペクトルXω(・)を自乗して再生信号スペクトルパワー|Xω(・)|2を求める(ステップS140)。再生信号スペクトルパワー|Xω(・)|2は、再生信号スペクトルパワー記録部141に記録される。乗算・累積部142は、音響結合量推定値|Hω^(i,m)|2と、再生信号スペクトルパワー記録部141に記録された現在からm=0〜M−1の過去の再生信号スペクトルパワーとを入力として式(6)で、エコーパワー推定値|Dω^(・)|2を計算する(ステップS142)。
[Echo power calculator]
FIG. 5 shows a functional configuration example of the echo power calculator 14. The operation flow is shown in FIG. The echo power estimation unit 14 includes a reproduction signal spectrum
このように、エコーパワー計算部14は、現在時刻フレーム(i)の音響結合量推定値|Hω^(i,0)|2と再生信号スペクトルのパワー|Xω(i−0)|2の乗算値と、過去の時刻m(m=1〜M−1)の範囲内での、同時刻の音響結合量推定値|Hω^(i,m)|2と再生信号スペクトルのパワー|Xω(i−m)|2の乗算値を合計してエコーパワーを求める。よって、エコー経路のインパルス応答長がフレーム長より長い場合でも、エコーパワーを高精度に推定することができる。 Thus, the echo power calculation unit 14 calculates the acoustic coupling amount estimated value | H ω ^ (i, 0) | 2 of the current time frame (i) and the reproduction signal spectrum power | Xω (i−0) | 2 . The estimated value of the acoustic coupling amount | H ω ^ (i, m) | 2 at the same time within the range of the multiplication value and the past time m (m = 1 to M−1) and the power of the reproduction signal spectrum | Xω (I−m) | The multiplication value of 2 is summed to obtain the echo power. Therefore, even when the impulse response length of the echo path is longer than the frame length, the echo power can be estimated with high accuracy.
〔実験結果〕
この発明のエコー消去装置100の有効性を確認する目的で、従来方式とSTSAエコー抑圧処理の性能比較実験を行った。スピーカとマイクロホンの配置は、ITU−Tの勧告P.34に従った。残響時間は約300ms、サンプリング周波数は16kHz、周波数帯域は100Hz〜7kHzである。また、遠端話者からのシングルトーク状態でのエコー抑圧量がほぼ等しくなるように、従来方式のエコーパワー推定値を一定マージンで調整した。
〔Experimental result〕
For the purpose of confirming the effectiveness of the echo canceling apparatus 100 of the present invention, a performance comparison experiment between the conventional method and the STSA echo suppression processing was performed. The arrangement of the speakers and microphones is recommended by ITU-T Recommendation P.27. 34. The reverberation time is about 300 ms, the sampling frequency is 16 kHz, and the frequency band is 100 Hz to 7 kHz. In addition, the echo power estimation value of the conventional method is adjusted with a certain margin so that the echo suppression amount in the single talk state from the far-end speaker is almost equal.
エコー抑圧量の評価には、音響エコーキャンセラの性能指標であるERLE(Echo Return Lose Enhancement)を用いた。この発明と従来方式のERLEは、それぞれ25.35dBと25.44dBであった。送話歪の評価をケプストラム距離により行った。ケプストラム距離とは、目標信号(近端話者信号)と出力信号(エコー抑圧後信号)の間の距離(歪)である。図7に同時通話時の比較を示す。図7の横軸は時間[秒]、縦軸はケプストラム距離である。実線がこの発明、破線が従来方法である。0.3秒及び3.5秒以降に顕著に現れているように、この発明の方が同時通話時の送話歪を少なくすることができる。 For the evaluation of the echo suppression amount, ERLE (Echo Return Lose Enhancement) which is a performance index of the acoustic echo canceller was used. The ERLE of this invention and the conventional system were 25.35 dB and 25.44 dB, respectively. The transmission distortion was evaluated by the cepstrum distance. The cepstrum distance is a distance (distortion) between a target signal (near-end speaker signal) and an output signal (signal after echo suppression). FIG. 7 shows a comparison during simultaneous calls. The horizontal axis of FIG. 7 is time [second], and the vertical axis is the cepstrum distance. The solid line is the present invention, and the broken line is the conventional method. As clearly shown after 0.3 seconds and 3.5 seconds, the present invention can reduce transmission distortion during simultaneous calls.
以上説明したこの発明のエコー消去装置とその方法は、上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能である。例えば、上記した装置及び方法において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。 The echo canceling apparatus and method of the present invention described above are not limited to the above-described embodiment, and can be appropriately changed without departing from the spirit of the present invention. For example, the processes described in the above-described apparatus and method are not only executed in time series in the order described, but are also executed in parallel or individually as required by the processing capability of the apparatus that executes the processes. Also good.
上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。 When the processing means in the above apparatus is realized by a computer, the processing contents of the functions that each apparatus should have are described by a program. Then, by executing this program on the computer, the processing means in each apparatus is realized on the computer.
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD(Digital Versatile Disc)、DVD-RAM
(Random Access Memory)、CD-ROM(Compact Disc Read Only Memory)、CD-R
(Recordable)/RW(ReWritable)等を、光磁気記録媒体として、MO(Magneto Optical disc)等を、半導体メモリとしてフラッシュメモリー等を用いることができる。
The program describing the processing contents can be recorded on a computer-readable recording medium. As the computer-readable recording medium, for example, any recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory may be used. Specifically, for example, as a magnetic recording device, a hard disk device, a flexible disk, a magnetic tape, or the like, and as an optical disk, a DVD (Digital Versatile Disc), a DVD-RAM
(Random Access Memory), CD-ROM (Compact Disc Read Only Memory), CD-R
(Recordable) / RW (ReWritable) or the like can be used as a magneto-optical recording medium, MO (Magneto Optical disc) or the like as a semiconductor memory, and flash memory or the like as a semiconductor memory.
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 The program is distributed by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Further, the program may be distributed by storing the program in a recording device of a server computer and transferring the program from the server computer to another computer via a network.
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 Each means may be configured by executing a predetermined program on a computer, or at least a part of these processing contents may be realized by hardware.
Claims (7)
収音信号を周波数変換した収音信号スペクトルを出力する第2周波数分析部と、
上記再生信号スペクトル信号と収音信号スペクトル信号を入力として、同一時刻のフレームの上記再生信号スペクトルと上記収音信号スペクトルを所定フレーム数Nの範囲で掛け合わせて加算した値を、上記再生信号スペクトルの上記所定フレーム数のパワーを加算した値で除した結合量の絶対値の自乗を第1音響結合量推定値とし、上記収音信号スペクトルに対して上記再生信号スペクトルを、過去の時刻m(m=1〜M−1)にずらして上記第1音響結合量推定値と同様に計算した値を第2音響結合量推定値乃至第M音響結合量推定値とし、上記第1音響結合量推定値から第M音響結合量推定値をそれぞれ出力する音響結合量計算部と、
上記再生信号スペクトルと上記第1乃至第Mの音響結合量推定値を入力として、現在時刻フレームの音響結合量推定値と再生信号スペクトルのパワーの乗算値と、上記過去の時刻m(m=1〜M−1)の範囲内で当該mの値で対応する過去の同時刻の音響結合量推定値と再生信号スペクトルのパワーを乗算した値との合計を、エコーパワー推定値として出力するエコーパワー計算部と、
上記収音信号スペクトルと上記エコーパワー推定値を入力としてゲイン係数を出力するゲイン計算部と、
上記収音信号スペクトルに上記ゲイン係数を乗算したエコー消去信号スペクトルを出力する積算部と、
上記エコー消去信号スペクトルを周波数合成して時間領域の出力信号を出力する周波数合成部と、
を具備するエコー消去装置。 A first frequency analyzer that outputs a reproduction signal spectrum signal obtained by frequency conversion of the reproduction signal;
A second frequency analysis unit that outputs a collected sound signal spectrum obtained by frequency-converting the collected sound signal;
A value obtained by multiplying the reproduced signal spectrum and the collected sound signal spectrum of frames at the same time within a range of a predetermined number of frames N and adding the reproduced signal spectrum signal and the collected sound signal spectrum signal as inputs is the reproduced signal spectrum. The square of the absolute value of the coupling amount divided by the value obtained by adding the powers of the predetermined number of frames is defined as the first acoustic coupling amount estimated value, and the reproduced signal spectrum with respect to the collected sound signal spectrum is expressed as a past time m ( m = 1 to M−1), and a value calculated in the same manner as the first acoustic coupling amount estimation value is set as a second acoustic coupling amount estimation value to an Mth acoustic coupling amount estimation value, and the first acoustic coupling amount estimation is performed. An acoustic coupling amount calculator that outputs an estimated value of the Mth acoustic coupling amount from each value;
Using the reproduction signal spectrum and the first to Mth acoustic coupling amount estimation values as inputs, a multiplication value of the acoustic coupling amount estimation value of the current time frame and the reproduction signal spectrum power, and the past time m (m = 1). the sum of the corresponding values obtained by multiplying the power of the acoustic coupling amount estimating value and the reproduction signal spectrum of the past same time the value of the m in the range of ~M-1), the echo-power output as the echo power estimate A calculation unit;
A gain calculator that outputs the gain coefficient with the collected sound signal spectrum and the echo power estimation value as inputs;
An accumulator for outputting an echo cancellation signal spectrum obtained by multiplying the collected sound signal spectrum by the gain coefficient;
A frequency synthesizer that synthesizes the frequency of the echo cancellation signal spectrum and outputs an output signal in the time domain;
An echo canceller comprising:
音響結合量計算部は、上記第1乃至第Mの音響結合量推定値のそれぞれに対して調整定数を乗算し、その調整定数は上記過去の時刻を示すmの値によって異なる値であることを特徴とするエコー消去装置。 The echo canceller according to claim 1,
The acoustic coupling amount calculation unit multiplies each of the first to Mth acoustic coupling amount estimation values by an adjustment constant, and the adjustment constant is different depending on the value of m indicating the past time. Echo canceling device.
音響結合量計算部は、上記所定フレーム数Nを、上記過去の時刻を示すmの値が大であれば大きくなる値にすることを特徴とするエコー消去装置。 In the echo canceller according to claim 1 or 2,
The acoustic coupling amount calculation unit sets the predetermined number of frames N to a value that increases when the value of m indicating the past time is large.
第2周波数分析部が、収音信号を周波数変換した収音信号スペクトルを出力する第2周波数分析過程と、
音響結合量計算部が、上記再生信号スペクトル信号と収音信号スペクトル信号を入力として、同一時刻のフレームの上記再生信号スペクトルと上記収音信号スペクトルを所定フレーム数Nの範囲で掛け合わせて加算した値を、上記再生信号スペクトルの上記所定フレーム数のパワーを加算した値で除した結合量を第1音響結合量推定値とし、上記収音信号スペクトルに対して上記再生信号スペクトルを、過去の時刻m(m=1〜M−1)にずらして上記第1音響結合量推定値と同様に計算した結合量を第2音響結合量推定値乃至第M音響結合量推定値とし、上記第1音響結合量推定値乃至第M音響結合量推定値をそれぞれ自乗した第1乃至第Mの音響結合量推定値を出力する音響結合量計算過程と、
エコーパワー計算部が、上記再生信号スペクトルと上記第1乃至第Mの音響結合量推定値を入力として、現在時刻フレームの音響結合量推定値と再生信号スペクトルのパワーの乗算値と、上記過去の時刻m(m=1〜M−1)の範囲内で当該mの値で対応する過去の同時刻の音響結合量推定値と再生信号スペクトルのパワーを乗算した値との合計を、エコーパワー推定値として出力するエコーパワー計算過程と、
ゲイン計算部が、上記収音信号スペクトルと上記エコーパワー推定値を入力としてゲイン係数を出力するゲイン計算過程と、
積算部が、上記収音信号スペクトルに上記ゲイン係数を乗算したエコー消去信号スペクトルを出力する積算過程と、
周波数合成部が、上記エコー消去信号スペクトルを周波数合成して時間領域の出力信号を出力する周波数合成過程と、
を含むエコー消去方法。 A first frequency analysis process in which a first frequency analysis unit outputs a reproduction spectrum signal obtained by frequency-converting the reproduction signal;
A second frequency analysis process in which the second frequency analysis unit outputs a collected sound signal spectrum obtained by frequency-converting the collected sound signal;
The acoustic coupling amount calculation unit receives the reproduced signal spectrum signal and the collected sound signal spectrum signal as inputs, multiplies the reproduced signal spectrum and the collected sound signal spectrum of frames at the same time within a range of a predetermined number of frames N, and adds them. The amount of coupling obtained by dividing the value by the value obtained by adding the power of the predetermined number of frames of the reproduction signal spectrum is used as a first acoustic coupling amount estimation value, and the reproduction signal spectrum with respect to the sound collection signal spectrum A coupling amount calculated in the same manner as the first acoustic coupling amount estimation value by shifting to m (m = 1 to M−1) is set as a second acoustic coupling amount estimation value to an Mth acoustic coupling amount estimation value, and the first acoustic coupling amount is calculated. An acoustic coupling amount calculation process for outputting first to Mth acoustic coupling amount estimation values obtained by squaring the coupling amount estimation value to the Mth acoustic coupling amount estimation value, respectively;
The echo power calculation unit receives the reproduction signal spectrum and the first to Mth acoustic coupling amount estimation values as input, and multiplies the acoustic coupling amount estimation value of the current time frame and the reproduction signal spectrum power, and the past Echo power estimation is the sum of the past acoustic coupling amount estimated value corresponding to the value of m within the range of time m (m = 1 to M−1) and the value obtained by multiplying the power of the reproduction signal spectrum. Echo power calculation process to output as a value,
A gain calculation process in which a gain calculation unit outputs a gain coefficient with the collected sound signal spectrum and the echo power estimation value as inputs;
An integration unit that outputs an echo cancellation signal spectrum obtained by multiplying the collected sound signal spectrum by the gain coefficient; and
A frequency synthesizing unit that synthesizes the frequency of the echo cancellation signal spectrum and outputs an output signal in the time domain;
Echo cancellation method including
上記音響結合量計算過程は、上記第1乃至第Mの音響結合量推定値のそれぞれに対して調整定数が乗算される調整定数乗算ステップを含み、上記調整定数は上記過去の時刻を示すmの値によって異なる値であることを特徴とするエコー消去方法。 In the echo cancellation method according to claim 4,
The acoustic coupling amount calculation process includes an adjustment constant multiplication step in which each of the first to Mth acoustic coupling amount estimation values is multiplied by an adjustment constant, and the adjustment constant is a value of m indicating the past time. An echo cancellation method characterized in that the value varies depending on the value.
上記音響結合量計算過程の上記同一時刻のフレームの上記再生信号スペクトルと上記収音信号スペクトルを所定フレーム数Nの範囲で掛け合わせて加算した値を求めるステップは、上記所定フレーム数Nが、上記過去の時刻を示すmの値が大であれば大きくなる値であることを特徴とするエコー消去方法。 In the echo cancellation method according to claim 4 or 5,
The step of obtaining the value obtained by multiplying the sum of the reproduced signal spectrum and the collected sound signal spectrum of the frames at the same time in the acoustic coupling amount calculation process within a range of a predetermined number of frames N includes: An echo canceling method characterized in that if the value of m indicating the past time is large, the value becomes larger.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009028486A JP5087024B2 (en) | 2009-02-10 | 2009-02-10 | Echo canceling apparatus, method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009028486A JP5087024B2 (en) | 2009-02-10 | 2009-02-10 | Echo canceling apparatus, method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010187086A JP2010187086A (en) | 2010-08-26 |
JP5087024B2 true JP5087024B2 (en) | 2012-11-28 |
Family
ID=42767489
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009028486A Active JP5087024B2 (en) | 2009-02-10 | 2009-02-10 | Echo canceling apparatus, method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5087024B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021024373A1 (en) * | 2019-08-06 | 2021-02-11 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5769672B2 (en) * | 2012-07-10 | 2015-08-26 | 日本電信電話株式会社 | Echo suppression gain estimation method, echo canceller and program using the same |
JP5769671B2 (en) * | 2012-07-10 | 2015-08-26 | 日本電信電話株式会社 | Echo suppression gain estimation method, echo canceller and program using the same |
JP5769670B2 (en) * | 2012-07-10 | 2015-08-26 | 日本電信電話株式会社 | Echo suppression gain estimation method, echo canceller and program using the same |
JP5889224B2 (en) * | 2013-01-31 | 2016-03-22 | 日本電信電話株式会社 | Echo suppression gain estimation method, echo canceller and program using the same |
JP6295722B2 (en) * | 2014-02-28 | 2018-03-20 | 沖電気工業株式会社 | Echo suppression device, program and method |
JP6314608B2 (en) * | 2014-03-31 | 2018-04-25 | 沖電気工業株式会社 | Echo suppression device, echo suppression program, and echo suppression method |
JP6356087B2 (en) * | 2015-03-30 | 2018-07-11 | 日本電信電話株式会社 | Echo canceling apparatus, method and program |
JP6984559B2 (en) | 2018-08-02 | 2021-12-22 | 日本電信電話株式会社 | Sound collecting loudspeaker, its method, and program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3420705B2 (en) * | 1998-03-16 | 2003-06-30 | 日本電信電話株式会社 | Echo suppression method and apparatus, and computer-readable storage medium storing echo suppression program |
JP3507020B2 (en) * | 2000-09-08 | 2004-03-15 | 日本電信電話株式会社 | Echo suppression method, echo suppression device, and echo suppression program storage medium |
JP4456594B2 (en) * | 2006-07-25 | 2010-04-28 | 日本電信電話株式会社 | Acoustic coupling amount calculation device, echo cancellation device and voice switch device using acoustic coupling amount calculation device, call state determination device, method thereof, program thereof and recording medium thereof |
JP4928922B2 (en) * | 2006-12-01 | 2012-05-09 | 株式会社東芝 | Information processing apparatus and program |
JP5097148B2 (en) * | 2009-02-10 | 2012-12-12 | 日本電信電話株式会社 | Acoustic coupling amount calculation device, method and program |
-
2009
- 2009-02-10 JP JP2009028486A patent/JP5087024B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021024373A1 (en) * | 2019-08-06 | 2021-02-11 | ||
JP7235117B2 (en) | 2019-08-06 | 2023-03-08 | 日本電信電話株式会社 | ECHO ERASE DEVICE, ECHO ERASE METHOD, AND PROGRAM |
Also Published As
Publication number | Publication date |
---|---|
JP2010187086A (en) | 2010-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5087024B2 (en) | Echo canceling apparatus, method and program | |
US9210504B2 (en) | Processing audio signals | |
JP5079761B2 (en) | Direct ratio estimation device, sound source distance measurement device, noise removal device, method of each device, and device program | |
JP4787851B2 (en) | Echo suppression gain estimation method, echo canceller using the same, device program, and recording medium | |
JP5769671B2 (en) | Echo suppression gain estimation method, echo canceller and program using the same | |
JP4568193B2 (en) | Sound collecting apparatus and method, program and recording medium | |
JP2003309493A (en) | Method, device and program for reducing echo | |
JP5769670B2 (en) | Echo suppression gain estimation method, echo canceller and program using the same | |
JP2003250193A (en) | Echo elimination method, device for executing the method, program and recording medium therefor | |
JP5889224B2 (en) | Echo suppression gain estimation method, echo canceller and program using the same | |
JP5769672B2 (en) | Echo suppression gain estimation method, echo canceller and program using the same | |
JP5937451B2 (en) | Echo canceling apparatus, echo canceling method and program | |
JP5524316B2 (en) | Parameter estimation apparatus, echo cancellation apparatus, parameter estimation method, and program | |
JP5044594B2 (en) | Multi-channel echo canceller, method and program thereof | |
JP5562451B1 (en) | Echo suppression gain estimation method, echo canceller and program using the same | |
JP2002223182A (en) | Echo canceling method, its device, its program and its recording medium | |
JP5097148B2 (en) | Acoustic coupling amount calculation device, method and program | |
JP5925149B2 (en) | Acoustic coupling amount estimating apparatus, echo canceling apparatus, method and program thereof | |
JP2005062096A (en) | Detection method of speaker position, system, program and record medium | |
Yousefian et al. | Power level difference as a criterion for speech enhancement | |
JP6075783B2 (en) | Echo canceling apparatus, echo canceling method and program | |
JP7235117B2 (en) | ECHO ERASE DEVICE, ECHO ERASE METHOD, AND PROGRAM | |
JP2014075756A (en) | Delay estimation method, echo cancellation method using the method, devices therefor, program and recording medium therefor | |
KR101537653B1 (en) | Method and system for noise reduction based on spectral and temporal correlations | |
JP4209348B2 (en) | Echo suppression method, apparatus for implementing this method, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110106 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120703 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120828 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120907 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5087024 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150914 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |