JP2012247810A - ノイズ生成装置、方法、及びコンピュータ可読記録媒体 - Google Patents

ノイズ生成装置、方法、及びコンピュータ可読記録媒体 Download PDF

Info

Publication number
JP2012247810A
JP2012247810A JP2012206602A JP2012206602A JP2012247810A JP 2012247810 A JP2012247810 A JP 2012247810A JP 2012206602 A JP2012206602 A JP 2012206602A JP 2012206602 A JP2012206602 A JP 2012206602A JP 2012247810 A JP2012247810 A JP 2012247810A
Authority
JP
Japan
Prior art keywords
parameter
noise
frame
sid
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2012206602A
Other languages
English (en)
Inventor
De-Min Chang
チャン、デミン
Jinliang Dai
ダイ、ジンリャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2012247810A publication Critical patent/JP2012247810A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012Comfort noise or silence coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Abstract

【課題】さまざまな標準プロトコルに適応して、復号器がユーザに快適なノイズを回復できる。
【解決手段】ノイズ生成装置及び方法が提供される。ノイズ生成方法は、再構成されるパラメータの初期値を決定し、その再構成パラメータの初期値に基づいてランダム値域を決定し、そのランダム値域の中の1つの値を再構成ノイズパラメータとしてランダムに取り、その再構成ノイズパラメータに基づいてノイズを生成することを含む。
【選択図】図1

Description

本出願は、中華人民共和国の国家知的財産局に2007年9月28日に提出された、「ノイズ生成装置及び方法」と題する、中国特許出願第200710151408.9号の優先権を主張するものであり、その全体が参照によりここに組み込まれるものとする。
本発明は通信技術に関するものであり、より具体的には、ノイズ生成装置及び方法に関するものである。
音声伝送においては、一般に音声符号化技術を用いて音声メッセージを圧縮し、通信システムの容量改善が図られる。
音声通信においては、音声は通信時間の内の40%を占めるだけであり、残りの時間は、無音あるいは背景ノイズとなっている。一般的に言えば、音声通信を行っている人は音声の内容にしか関心がなく、無音あるいは背景ノイズのみの時間については注意を払わない。従って、音声メッセージを圧縮する場合には、音声メッセージであるか、無音、背景ノイズであるかによって符号化及び伝送の方法が異なり、通信システムの容量をより改善できるようになっている。非連続伝送システム/コンフォートノイズ生成(DTX/CNG)は、そのような、通信システムの容量改善を更に図る方法である。
このDTX/CNG技術を用いて背景ノイズを符号化して得られるフレームは、一般に無音挿入記述子(SID)フレームと呼ばれる。通常の音声フレームには、スペクトルパラメータ、信号エネルギーゲインパラメータ、並びに固定コードブックと適応コードブックに関するパラメータが含まれる。音声フレームを受信すると、それらの情報に基づいて復号器が元の音声データを回復する。しかし、SIDフレームは一般的には、スペクトルパラメータと信号エネルギーゲインパラメータしか含んでいない。復号器は、スペクトルパラメータと信号エネルギーゲインパラメータに基づいて背景ノイズを回復する。これはユーザが通常、背景ノイズ中に含まれる情報には注意を払わない、という事実によるものである。従って、SIDフレームは少量の参照情報、即ちスペクトルパラメータと信号エネルギーゲインパラメータのみを配信する。このような参照情報に基づいて復号器が背景ノイズを回復し、ユーザは相手のいる環境をおおよそ知ることができ、かつユーザが受ける聴取品質には顕著な影響を及ぼさない。音声伝送において、SIDフレームは数フレームのインタバルで送信される。符号化されたパラメータが送信されないか、符号化されたパラメータが全くないフレームは、一般にNO_DATAフレームと呼ばれる。
DTX/CNG技術は、さまざまな組織や機関において開発された最近の音声コーディング標準で広く用いられている。
DTX/CNG技術は、第3世代パートナーシッププロジェクト(3GPP)により開発された音声符号化標準である、適応マルチレート(AMR)に採用されている。SIDフレームは固定インタバルで、即ち8フレーム毎に送信される。連続して受信される2つのSIDフレームから復号化されるパラメータ、即ち信号エネルギーゲインパラメータとスペクトルパラメータとを用いて線形補完を行い、ノイズ合成のために必要なパラメータを次式のように算出する。
Figure 2012247810

ここで、Pn+kはn番目のSIDフレームの後のk番目のフレームのCNGパラメータの算出された値を表し,Psid(nー1)は復号器により受信されたn−1番目のS
IDフレームのパラメータを表し,Psid(n)は復号器により受信されたn番目のS
IDフレームのパラメータを表わす。n=0の場合には、Psid(ー1)は直前の8つの音声フレームのスペクトルパラメータと信号エネルギーゲインパラメータの平均値を表す。
DTX/CNG技術はまた、音声符号化標準である、国際電気通信連合(ITU)により開発された共役構造代数符号励振型線形予測音声コーデックにより定義される無音圧縮方式にも採用されている。符号器は、ノイズパラメータの変化に基づきSIDフレームを送信するかどうかを状況に適応して決定する。2つの連続するSIDフレーム間のインタバルは、少なくとも20msであり、最大値を持たない。復号器に使用されるCNGアルゴリズムは以下のように与えられる。
信号エネルギーゲインパラメータの再構成に関しては、
Figure 2012247810

スペクトルパラメータの再構成に関しては、
Figure 2012247810

Figure 2012247810
ここで、
Figure 2012247810

は、復号器で新たに受信したSIDフレームから復号化された信号エネルギーゲインパラメータを表し、LSFsid_lastは、復号器で最後に受信したSIDフレームから復号化されたスペクトルパラメータを表し、LSFsid_newは、復号器で新たに受信したSIDフレームから復号化されたスペクトルパラメータを表す。
従来技術の調査及び適用において、発明者らは従来技術には以下の問題があることを発見した。
3GPPの音声コーディング標準、即ちAMRに用いられるDTX/CNG技術に関しては、符号器は固定インタバルでしかSIDフレームを送信できない。符号器がSIDフレームを適応インタバルで送信する場合には、システムは正常に動作しない。
ITUの音声コーディング標準、即ち共役構造代数符号励振型線形予測ボコーダにより定義される無音圧縮方式に利用されるDTX/CNG技術に関しては、現フレームがSIDフレームである場合には、現フレーム中の第1のサブフレームのスペクトルパラメータは、現フレームの復号化されたスペクトルパラメータとその前のSIDフレームのスペクトルパラメータとを平均して生成され、この復号化されたスペクトルパラメータが第2のサブフレームのスペクトルパラメータとして直接利用される。次のSIDフレームが来る前のNO_DATAフレームに関しては、直近のSIDフレームの復号化されたスペクトルパラメータがノイズ再構成に直接利用される。次のSIDフレームが来て、その複合化されたスペクトルパラメータと前のSIDフレームのスペクトルパラメータとが異なっている場合には、不連続性が生じる。更には、スペクトルパラメータは一定の変化をする変数であり、従って、2つの連続したスペクトルパラメータ間には一般的に差異があるので、再構成されたコンフォートノイズのスペクトルは不連続になりがちであり、特に2つの連続するスペクトルパラメータ間に大きな差異がある場合には、それが聴取品質に影響を与える。
本発明の実施形態における解決すべき技術課題は、さまざまな標準プロトコルに適応して、復号器がユーザに快適なノイズを回復できるようなノイズ生成の方法及び装置を提供することである。
上記の技術課題を解決するために、本発明の実施形態は、
再構成パラメータの初期値を決定し、
再構成パラメータの初期値に基づいてランダムな値域を決定し、
再構成ノイズパラメータとしてランダムな値域の中から1つの値をランダムに取り出し、
再構成ノイズパラメータを用いてノイズを生成することを含む、ノイズ生成の方法を提供する。
本発明の実施形態は、
再構成パラメータの初期値を決定するための初期値ユニットと、
再構成パラメータの初期値に基づいてランダムな値域を決定するためのレンジユニットと、
ランダム値域の中から再構成ノイズパラメータとして1つの値をランダムに取り出す再構成ユニットと、
再構成ノイズパラメータを用いてノイズを生成するための合成ユニットと、
を備えるノイズ生成のための装置を提供する。
上記の技術的解決策から、本発明の実施形態では、符号器におけるプロトコル標準に関する制限がないことがわかる。本発明の技術的解決策は、符号器がSIDフレームを固定インタバルで伝送しても、あるいは適応インタバルで伝送しても、操作可能である。更には、第1のSIDフレームを受信した後に新しいSIDフレームを受信すると、新しく受信したSIDフレームの前のフレームに対する再構成ノイズパラメータが、再構成パラメータの初期値とされる。再構成パラメータの初期値と、新しく受信したSIDフレームのノイズパラメータとを参照して、ランダムな値域が決定される。その範囲内の1つの値をランダムに取ってノイズパラメータとする。このようにして、生成されたノイズの遷移はより自然となり、ユーザの聴取感がより良くなる。
本発明の一実施形態によるノイズ生成方法を示すフローチャートである。 本発明の別の実施形態によるノイズ生成方法を示すフローチャートである。 本発明の更に別の実施形態によるノイズ生成方法を示すフローチャートである。 本発明の更に別の実施形態によるノイズ生成方法を示すフローチャートである。 本発明の一実施形態によるノイズ生成装置の構成を示すブロック図である。
本発明の実施形態は、ノイズ生成の装置及び方法を提供する。これは各種の標準プロトコルに適応し、復号器がユーザにとって快適なノイズを回復することができる。
本発明の実施形態によるノイズ生成方法においては、復号器が少数のSIDフレームのノイズパラメータを用いて、ランダムな変化と滑らかなカーブとを有するノイズパラメータを再構成する。このようにして、ユーザにとって快適なノイズの回復を支援する。
本発明の実施形態1によるノイズ生成方法のフローが図1に示される。
ステップ101では、SIDフレームで搬送されるノイズパラメータが取得される。
音声通信が開始された後、復号器は受信したデータパケットからフレーム情報を復号する。そして、フレームのフォーマットに関する決定が行われる。フレームが音声フレームである場合には、音声フレーム処理フローが開始される。フレームが、SIDフレームやNO_DATAフレームなどの非音声フレームである場合、本実施形態で提供されるノイズ生成方法のフローが開始される。
非音声フレームが処理される場合、NO_DATAフレームには音声データが含まれていないので、この手順はステップ102に直接進む。SIDフレームが受信されると、SIDフレーム中で搬送されたノイズパラメータ、即ち信号エネルギーゲインパラメータとスペクトルパラメータとが取得される。
ステップ102において、取得されたノイズパラメータに基づいて、予測された方向にランダムに変化し、滑らかな曲線を有する連続ノイズパラメータが再構成されてもよい。ここで、連続ノイズパラメータは信号エネルギーゲインパラメータとスペクトルパラメータとを含んでいる。
現フレーム、即ちノイズパラメータが現に再構成されようとしているフレームは、SIDフレームとNO_DATAフレームとを含む非音声フレームであってよい。
再構成されるノイズパラメータが実際の値からあまり大きくかけ離れないようにするために、再構成ノイズパラメータの変化曲線に対する中心値を先ず第1に決め、再構成ノイズパラメータの値がその中心値の周りで浮動するようにする。この中心値を浮動中心Cと呼ぶ。その一方で、再構成ノイズパラメータの値がCを中心とするある範囲内に浮動するための浮動範囲を決めなければならない。この浮動範囲を、浮動半径Δと呼ぶ。
この浮動半径Δを得るための様々な方法がある。本実施形態ではその内の2つを提供する。1つの方法によれば、浮動半径は、ノイズパラメータ増分dP、予想インタバル長length、及び現フレームと新しく受信したSIDフレームとの間の時間インタバルk、とによって得られてもよい。別の方法によれば、浮動半径はノイズパラメータ増分dPと、予想インタバル長length、とによって得られてもよい。
第1の方法によって浮動半径Δが得られる場合には、現フレームのノイズパラメータに対する浮動半径Δは次式によって求めることができる。
Figure 2012247810

ここで、lengthは新規に受信したSIDフレームとその次のSIDフレームとの間の予想インタバル長である。つまり、次のSIDフレームが時間インタバルlengthの後に受信されるものと仮定する。
現フレームが、音声フレームの次に復元器が受信した最初のSIDフレームである場合には、新しく受信したSIDフレームのノイズパラメータPsidか、バッファ中に格納されている以前のいくつかの音声フレームのエネルギーゲインパラメータ及びスペクトルパラメータ、を利用してノイズパラメータ増分dPが取得される。
復元器が音声フレームの次に最初の非音声フレームを受信する場合には、いくつかの実施形態に従ってノイズパラメータ増分を取得する2つの方法が提供される。
方法1:バッファ中に格納されたそれ以前のいくつかの音声フレームのエネルギーゲインパラメータとスペクトルパラメータが、再構成パラメータPrefの初期値として、以前の平均エネルギーゲインパラメータとスペクトルパラメータとを算出するのに用いられる。新規に受信されたノイズパラメータPsidと再構成パラメータPrefの初期値との間の差が、ノイズパラメータの増分dPとされる。この場合、ノイズパラメータの増分dPは、次式により求めることができる。
Figure 2012247810

再構成パラメータPrefの初期値の評価は変化するかもしれない。それ以前のいくつかのフレームのエネルギーゲインパラメータとスペクトルパラメータの平均値を、再構成パラメータPrefの初期値としてもよい。あるいは、それ以前のいくつかのフレームのエネルギーゲインパラメータとスペクトルパラメータの荷重平均値を、再構成パラメータPrefの初期値としてもよい。
方法2:新規に受信したSIDフレームの中で搬送されてきたエネルギーゲインパラメータとスペクトルパラメータとを直接用いて、新規に受信したSIDフレームと次のSIDフレームとの間のノイズを再構成することができる。新規に受信したSIDフレームの次のSIDフレームを受信すると、ノイズパラメータの再構成が開始される。音声フレームの後の最初のSIDフレーム中に搬送されたエネルギーゲインパラメータとスペクトルパラメータが、再構成パラメータPrefの初期値として採用される。そして、新規に受信されたノイズパラメータPsidと再構成パラメータPrefの初期値との間の差が、ノイズパラメータ増分dPとされる。そうすると、ノイズパラメータの増分dPは、次式により求めることができる。
Figure 2012247810

現フレームが、最初のSIDフレームの後に受信されたSIDフレームであるか、最初のSIDフレームの後のNO_DATAフレームである場合には、ある実施形態により、ノイズパラメータ増分を得る2つの方法が提供される。
方法1:新規に受信されたSIDフレームの前のフレームの再構成ノイズパラメータPk−1を、再構成パラメータPrefの初期値とし、新しく受信したSIDフレームのノイズパラメータPsidと再構成パラメータPrefの初期値との差を、ノイズパラメータ増分dPとする。そうすると、ノイズパラメータの増分dPは、次式により求めることができる。
Figure 2012247810

方法2:新規に受信したSIDフレームの中で搬送されてきたノイズパラメータと前のSIDフレーム中に搬送されてきたノイズパラメータとの差を、ノイズパラメータ増分dPとする。新規に受信したSIDフレームがn番目のフレームである例においては、ノイズパラメータ増分dPは次式で得られる。
Figure 2012247810

次のSIDフレームが受信される前に、2つのSIDフレームの間のNO_DATAフレームに対してノイズパラメータを再構成しなければならない場合には、新規に受信したSIDフレームに対するノイズパラメータ増分dPが、NO_DATAフレームに対する浮動半径Δを決定するために利用される。また、ノイズパラメータ増分dPは、新規のNO_DATAフレームに対してノイズが再構成されると必ず更新される。ある実施態様が、ノイズパラメータ増分dPを更新するための2つの方法を提供する。
方法1:新規に受信されたSIDフレームのノイズパラメータPsidと再構成パラメータPrefの初期値との間の差がノイズパラメータの増分dPとされる。NO_DATAフレームに対してノイズパラメータが再構成される場合に、前のフレームに対する再構成ノイズパラメータPk−1が再構成パラメータPrefの初期値を更新するために利用される。その結果、再構成ノイズパラメータPrefの初期値を利用して得られるノイズパラメータ増分dPが更新される。
方法2:新しく受信したSIDフレームのノイズパラメータと前のSIDフレーム中のノイズパラメータとの差をdとし、新しく受信したSIDフレームの前のフレームの再構成ノイズパラメータをPとし、現フレームが新しく受信したSIDフレームからk番目のフレームであり、現フレームのノイズパラメータ増分がdであるとする。現フレームのノイズパラメータ増分dは、再構成パラメータの初期値PrefとPとの差をdから差し引いて得られ、従ってd=dPとなる。そこでdは以下の式から得られる。
Figure 2012247810

NO_DATAフレームのノイズパラメータを再構成する場合、再構成パラメータPrefの初期値は前のフレームの再構成ノイズパラメータPk−1により更新される。その結果、再構成ノイズパラメータPrefの初期値を利用して得られるノイズパラメータ増分dが更新される。
変化曲線の予想される方向は、浮動半径Δの値の方向でもある。浮動半径Δの値の方向は、ノイズパラメータ増分dPの影響を受ける。ノイズパラメータ増分dPが“+”の場合は、Δの値は“+”である。ノイズパラメータ増分dPが“−”の場合は、Δの値は“−”である。
現フレームがSIDフレームであれば、kは“0”であり、
Figure 2012247810

Figure 2012247810

となる。
複数のNO_DATAフレームから成るNO_DATAセグメントの継続時間が長くなれば、値kもゆっくりと大きくなる。ノイズパラメータ増分dPが不変であれば、2(|k−length|+1)の値がゆっくりと小さくなり、kの値がゆっくりと大きくなる。
k=lengthである場合、即ち現フレームが新しく受信したSIDフレームの後のlength番目のフレームである場合には、
Figure 2012247810

Figure 2012247810

となる。
そのフレームの後に新規のSIDフレームが受信されない場合には、kの値は増加し続ける。ノイズパラメータ増分dPが不変であれば、2(|k−length|+1)の値がゆっくりと大きくなり、Δの値がゆっくりと小さくなる。
2つのSIDフレームの間のNO_DATAフレームのノイズパラメータが再
構成され、ノイズパラメータ増分dPが不変であれば、Δの値は、
Figure 2012247810

に等しい初期値を持ち、最大値dP/2を取って、その後次第に小さくなる。そのようにノイズパラメータ増分dPが変化すれば、Δの値はそれに応じて影響を受ける。
第2の方法によって浮動半径Δが取得される場合には、現フレームのノイズパラ
メータの浮動半径Δは次式によって求めることができる。
Figure 2012247810

ノイズパラメータ増分dP及び予想インタバル長lengthを取得する方法は、浮動半径Δを得る上記の第1の方法と実質的に同じである。
そのような場合、浮動半径Δの値の方向は、いまだノイズパラメータ増分dPの影響を受ける。ノイズパラメータ増分dPが“+”であれば、Δの値も“+”であり、ノイズパラメータ増分dPが“−”であれば、Δの値も“−”である。
現フレームのノイズパラメータの浮動中心Cは、再構成パラメータPrefの初期値及び現フレームのノイズパラメータの浮動半径Δを通して得られる。浮動中心Cは次式から得られる。
Figure 2012247810

ここで再構成パラメータPrefの初期値は、ノイズパラメータが再構成される度に更新される。現行のノイズパラメータはPでありPrefはPk−1により更新されものとする。浮動中心Cは次のように表される。
Figure 2012247810

を中心とすると、この方法を用いて区間
Figure 2012247810

における1つのランダム値がきめられてて、現フレームのノイズパラメータPが再構成される。ノイズパラメータPは、次のように表される。
Figure 2012247810

現フレームがSIDフレームであり、Δ値が“+”である場合には、Cは前のフレームのノイズパラメータPk−1より大きく、
Figure 2012247810

の最小値は、
Figure 2012247810

で表される。
Figure 2012247810
の最小値はPk−1よりΔだけ大きい。第1の方法でΔを求めると、Δの初期値は
Figure 2012247810

に等しい。これはノイズ増分dPの
Figure 2012247810

倍である。これはノイズ増分dPに比べれば非常に小さい。従って、
Figure 2012247810

の最小値はPk−1より少し大きい値である。
第2の方法でΔが得られる場合には、
Figure 2012247810

となる。Δの値はノイズパラメータ増分の
Figure 2012247810

倍である。これはノイズパラメータ増分dPに比較して大変小さい値である。従って、
Figure 2012247810

の最小値もまたPk−1より少し大きい値である。
Figure 2012247810

の最大値は、
Figure 2012247810

となる。
Figure 2012247810

の最大値はPk−1より3Δだけ大きい。Δが第1の方法で求められる場合、例としてlengthの値が“2”であるとすると、3Δの値はノイズパラメータ増分dPの1/2であり、これはノイズパラメータ増分dPよりもまだ小さい。言い換えると、
Figure 2012247810

の最大値はPk−1とノイズパラメータ増分dPとの和よりも小さい。
Δが第2の方法で求められる場合、例としてlengthの値が“2”であるとすると、3Δの値はPsidとPk−1との差の3/4であり、これはノイズパラメータ増分dPよりもまだ小さい。言い換えると、
Figure 2012247810

の最大値はPk−1とノイズパラメータ増分dPとの和よりも小さい。更に、第2の方法は一般にSIDフレームが固定インタバルで送信される場合に適用される。この場合、lengthは通常“2”よりもはるかに大きく、従って、3Δは更に小さい。
同様に、現フレームがSIDフレームであり、Δの値が“−”である場合、
Figure 2012247810

の最小値は新規に受信したSIDフレームのノイズパラメータPsidよりも大きい。そして最大値は、前のフレームのノイズパラメータPk−1よりもわずかに小さい。
従って、現フレームがSIDフレームである場合には、区間
Figure 2012247810

の中のランダムな値を取るノイズパラメータPは、前のフレームのノイズパラメータPk−1に比較してわずかだけ変化するパラメータとなる。そのような変化は、新規に受信されたSIDフレームのノイズパラメータPsidによる影響を軽く受ける変化である。新しく受信したSIDフレームのノイズパラメータPsidが、前のフレームのノイズパラメータPk−1とは明らかに異なるとしても、Pは円滑な遷移を有する値である。Pから生成されるノイズもまた変化が軽微であり、ユーザにはよりよい使用感をもたらすであろう。
現フレームがNO_DATAフレームである場合、再構成パラメータPrefの初期値は前のフレームの再構成ノイズパラメータPk−1である。浮動中心Cは、再構成パラメータPrefの初期値の影響を受け、浮動半径Δの値の方向に向かって円滑な変化をする。区間
Figure 2012247810

内のランダムな値を有するノイズパラメータPは、前のフレームのノイズパラメータPk−1に対して僅かに変化するパラメータである。2つのSIDフレーム間で再構成される連続的なノイズパラメータPは、滑らかな遷移をする値となる。Pから生成されるノイズもまた変化が軽微であり、ユーザにはよりよい使用感をもたらすであろう。
更に、2つのSIDフレーム間の浮動半径Δは、kの値あるいはdPの値の影響を受けて変化するかもしれない。ランダムな値の範囲もまたそれに従って変化するであろう。2つのSIDフレーム間で再構成された連続的なノイズパラメータPは、よりランダムに変化する曲線となろう。Pから生成されるノイズもまたより違った変化をし、ユーザにはよりよい使用感をもたらすであろう。
ある場合には、現フレームがNO_DATAフレームであって、再構成パラメータPrefの初期値が次にSIDフレームが来るまでは更新されない可能性がある。ランダムな値の範囲の変化は、浮動半径Δの変化に依存する。
本実施形態においては、再構成パラメータPrefの初期値は、再構成された信号エネルギーゲインパラメータの初期値と再構成されたスペクトルパラメータの初期値とを含む。
ステップ103において、再構成ノイズパラメータを用いてノイズが生成される。
復号器はランダム系列発生器を用いて励起信号を合成する。ノイズが再構成される場合、励起信号は、例えば固定コードブックや適応コードブックに関連するパラメータなどの、通常の音声フレームに比べてSIDフレームに欠けているものと等価である。ノイズの共通性に基づいて、復号器はノイズ再構成のための励起信号合成にランダム系列発生器を利用する。
励起信号と再構成ノイズパラメータとを利用するノイズ生成に2つの方法がある。
第1の方法では、復号器が再構成ノイズパラメータのスペクトルパラメータを合成フィルタ係数に変換し、励起信号に対して合成フィルタリングを実行し、そうしてノイズ信号を得る。次に、再構成ノイズパラメータ中のエネルギーゲインパラメータを用いて合成ノイズ信号に時間領域形成を行う。後処理が施され、最終の再構成ノイズが出力される。
第2の方法では、復号器が再構成ノイズパラメータ中のエネルギーゲインパラメータとランダム系列発生器を用いて励起信号を合成する。次に、再構成ノイズパラメータ中のスペクトルパラメータが合成フィルタ係数に変換される。合成フィルタリングが励起信号に適用されてノイズ信号が得られる。
この実施形態においては、符号器に使用されるプロトコル標準に関する制約はない。本発明の技術的解決策は、符号器がSIDフレームを固定インタバルで伝送しても、あるいは適応インタバルで伝送しても、操作可能である。更に、新しいSIDフレームが受信される度に、ノイズパラメータ再構成が前のフレームの再構成ノイズパラメータと新しく受信したノイズパラメータとを参照する。こうして、生成されたノイズの遷移が自然であり、ユーザの聴取感がより良くなる。更には、実際のノイズパラメータの影響が参照されてユーザが近似的な音声環境を認識できるようにする。更に、NO_DATAフレームが処理される場合、NO_DATAフレームと直近SIDフレームとの間の距離と、直近SIDフレームのノイズパラメータの変化方向と、直近SIDフレームのノイズパラメータと再構成パラメータの初期値との間の差異とに基づいて、前のフレームとは少し変化したノイズパラメータがNO_DATAフレーム用に再構成される。こうして、再構成ノイズパラメータの変化曲線が滑らかになる。その結果、生成されたノイズのフレーム間での遷移が自然となり、ユーザの聴取感がより良くなる。
本発明の実施形態2によるノイズ生成方法においては、符号器はSIDフレー
ムを適応インタバルで送信する。フローが図2に示される。
ステップ201において、SIDフレームが受信され、そのSIDフレームで搬送されるノイズパラメータが取得される。
音声通信が開始された後、復号器は受信したデータパケットからフレーム情報
を復号する。そして、フレームのフォーマットに関する決定が行われる。フレームが音声フレームである場合には、音声フレーム処理フローが開始される。フレームが、SIDフレームやNO_DATAフレームなどの非音声フレームである場合、本実施形態で提供されるノイズ生成方法のフローが開始される。
非音声フレームが処理される場合、NO_DATAフレームには音声データが含まれていないので、この手順は直接ステップ202に進む。SIDフレームが受信されると、SIDフレーム中で搬送されたノイズパラメータ、即ち信号エネルギーゲインパラメータGsidとスペクトルパラメータlsfsidが取得される。
ステップ202においては、再構成パラメータの初期値が取得される。
フレームタイプが音声フレームから非音声フレームに変わったことを復号器が検出すると、即ち第1のSIDフレームを受信すると、バッファ中に格納されている前のNフレームのエネルギーゲインパラメータとスペクトルパラメータとを用いて、再構成パラメータの初期値として、平均エネルギーゲインパラメータGrefとスペクトルパラメータlsfrefを計算する。ここで、Nの値は0より大きい整数であり、例えばN=5である。その前のフレームは音声フレームかあるいはSIDフレームである。エネルギーゲインパラメータGrefの初期値の再構成、及びスペクトルパラメータlsfrefの初期値の再構成は、次式に従って得られる。
Figure 2012247810

Figure 2012247810

受信したSIDフレームが最初のSIDフレームでない場合には、そのSIDフレームの前のフレームに対して再構成されたエネルギーゲインパラメータとスペクトルパラメータが、再構成パラメータの初期値として使用される。
1つの実施形態に従って、ノイズパラメータがNO_DATAフレームに対して再構成される場合は、再構成パラメータの初期値が、前のフレームに対して再構成されたエネルギーゲインパラメータとスペクトルパラメータとを用いて更新される。又は、次のSIDフレームが来るまでは、再構成パラメータの初期値は更新されない。
ステップ203において、ノイズパラメータが再構成される。
音声セグメントからノイズセグメントへの遷移が生じると、つまり、音声フレームの次に最初のSIDフレームが受信されると、lengthの初期値がNに設定される。その後、別のSIDフレームが受信されると、直近のSIDフレームとその前のSIDフレームとの間のインタバルの長さが採用される。DTXの効率を保障するために、SIDフレームの伝送インタバルは一般には制限がある。即ち、lengthは自然数より大きいか等しくなければならない。例えば、プロトコルG729Bリリースでは、lengthは2より大きいか等しくなければならない、と規定されている。
直近のSIDフレームから復号されたエネルギーゲインパラメータはGsidであり、スペクトルパラメータはlsfsidである。SIDフレームからk番目のフレームに対しては、次式に従ってエネルギーゲインパラメータのノイズパラメータ増分dk,Gが与えられる。
Figure 2012247810

そのエネルギーゲインパラメータの浮動半径Δは、次式により与えられる。
Figure 2012247810

そのスペクトルパラメータのノイズパラメータ増分dk,lsfは次のように表される。
Figure 2012247810

そのスペクトルパラメータの浮動半径Δ lsfは次のように表される。
Figure 2012247810

ここで、Mはスペクトルパラメータの線形予測法の次数である。
次に、現フレームの再構成ノイズパラメータ中の再構成エネルギーゲインパラメータの浮動中心CG,kが次式により与えられる。
Figure 2012247810

現フレームの再構成ノイズパラメータ中の再構成スペクトルパラメータの浮動中心C lsf,kが次式により与えられる。
Figure 2012247810

現フレームの再構成ノイズパラメータの中の再構成エネルギーゲインパラメータGが次式により与えられる。
Figure 2012247810

現フレームの再構成ノイズパラメータ中の再構成スペクトルパラメータlsf が次式により与えられる。
Figure 2012247810

ここで、関数rand(a,b)は区間[a,b]に均一に分散している値からランダムに1つの値を取り出すことを表している。
新しいSIDが受信されると、関連する変数が以下のように更新される。
Figure 2012247810

Figure 2012247810

Figure 2012247810

そして、k=1である。
NO_DATAフレームが受信されると、再構成パラメータの初期値が更新されて、次のようになる。
Figure 2012247810

Figure 2012247810

再構成パラメータの初期値が更新され、k=k+1となる。
フレームのノイズパラメータの再構成は、新しいSIDフレームが受信されるまで続く。
ステップ204において、再構成ノイズパラメータを用いてノイズが生成される。
ランダム系列を用いてホワイトノイズ励起信号e(n)が生成される。
再構成スペクトルパラメータlsfは合成フィルタa(z)を形成するの
に用いられる。
合成フィルタは、生成された励起信号:
Figure 2012247810

を合成フィルタリングするのに使用される。
再構成エネルギーゲインパラメータGが、合成ノイズy(n)の時間領域形成に使用される。
Figure 2012247810

ここで、Nは復号器でコンフォートノイズが回復されるフレームの長さである。
本実施形態においては、ステップ204では再構成ノイズパラメータを用いたノイズ生成方法、即ち、励起信号及び再構成ノイズパラメータを用いる、前述のノイズ生成の第1の方法、が使われる。
この実施形態においては、符号器に使用されるプロトコル標準に関する制約はない。本発明の技術的解決策は、符号器がSIDフレームを固定インタバルで伝送しても、あるいは適応インタバルで伝送しても、操作可能である。更に、音声セグメントからノイズセグメントへの遷移が生じると、直近の音声セグメントの平均エネルギーゲインパラメータとスペクトルパラメータを初期値とし、新しく受信したノイズパラメータを参照して、ノイズパラメータが再構成される。こうして、音声セグメントからノイズセグメントへ変化が生じると、生成されたノイズと音声セグメントの遷移は自然であり、ユーザの聴取感がより良くなる。その一方で、実際のノイズパラメータの影響を参照することにより、ユーザが近似的な音声環境を認識できる。新しいSIDフレームが受信される度に、前のフレームの再構成ノイズパラメータを初期値とし、新しく受信したノイズパラメータを参照することにより、ノイズパラメータが再構成される。生成されたノイズの遷移はこのように自然であり、ユーザの聴取感がより良くなる。その一方でまた、実際のノイズパラメータの影響を参照することにより、ユーザが近似的な音声環境を認識できる。更に、NO_DATAフレームが処理される場合、再構成ノイズパラメータの変化曲線を滑らかとするために、NO_DATAフレームと直近のSIDフレームとの間の距離と、直近のSIDフレームのノイズパラメータの変化方向と、直近のSIDフレームのノイズパラメータと再構成パラメータの初期値との間の差異と、に基づいて、前のフレームとは少し変化したノイズパラメータがNO_DATAフレーム用に再構成される。こうして、生成されたノイズの遷移はフレーム間で自然であり、ユーザにはより良い聴取感がもたらされる。
本発明の実施形態3によるノイズ生成方法においては、符号器はSIDフレームを固定インタバルで送信する。図3にフロー図が示される。
ステップ301において、SIDフレームが受信され、そのSIDフレームで搬送されるノイズパラメータが取得される。
音声通信が開始された後、復号器は受信したデータパケットからフレーム情報を復号する。そして、フレームのフォーマットに関する決定が行われる。フレームが音声フレームである場合には、音声フレーム処理フローが開始される。フレームが、SIDフレームやNO_DATAフレームなどの非音声フレームである場合、本実施形態で提供されるノイズ生成方法のフローが開始される。
非音声フレームが処理される場合、NO_DATAフレームには音声データが含まれていないので、この手順は直接ステップ302に進む。SIDフレームが受信されると、SIDフレーム中で搬送されたノイズパラメータ、即ち信号エネルギーゲインパラメータGsid及びスペクトルパラメータlsfsidが取得される。
ステップ302においては、再構成パラメータの初期値が取得される。
符号器が、固定SIDフレームインタバルでSIDフレームを送信する。ここで、SIDフレームインタバルをLENGTHとする。LENGTHの値は0より大きい自然数である。
フレームタイプが音声フレームから非音声フレームに変わったことを復号器が検出すると、即ち最初のSIDフレームを受信すると、受信したSIDフレームのノイズパラメータは後から来るLENGTHフレームの再構成ノイズパラメータとして利用することができ、再構成ノイズエネルギーゲインパラメータGrefとスペクトルパラメータlsfrefの初期値として利用される。エネルギーゲインパラメータGrefの初期値の再構成、及びスペクトルパラメータlsfrefの初期値の再構成は、以下のようになる。
Figure 2012247810

Figure 2012247810

ステップ303において、ノイズパラメータが再構成される。
ノイズパラメータの再構成が、第2のSIDフレームの受信で始まる。直近のSIDフレームから復号されたエネルギーゲインパラメータはGsidであり、スペクトルパラメータはlsfsidである。SIDフレームからk番目のフレームに対しては、次式に従ってエネルギーゲインパラメータのノイズパラメータ増分dk,Gが与えられる。
Figure 2012247810
そのエネルギーゲインパラメータの浮動半径Δは、次式により与えられる。
Figure 2012247810

そのスペクトルパラメータのノイズパラメータ増分dk,lsfは次のように表される。
Figure 2012247810

そのスペクトルパラメータの浮動半径Δ lsfは次のように表される。
Figure 2012247810

ここで、Mは形予測法の次数である。
現フレームの再構成ノイズパラメータ中の再構成エネルギーゲインパラメータの浮動中心CG,kが次式により与えられる。
Figure 2012247810

現フレームの再構成ノイズパラメータ中の再構成スペクトルパラメータの浮動中心C lsf,kが次式により与えられる。
Figure 2012247810

現フレームの再構成ノイズパラメータ中の再構成エネルギーゲインパラメータGが次式により与えられる。
Figure 2012247810
現フレームの再構成ノイズパラメータ中の再構成スペクトルパラメータlsf が次式により与えられる。
Figure 2012247810

ここで、関数rand(a,b)は区間[a,b]に均一に分散している値からランダムに1つの値を取り出すことを表している。
新しいSIDが受信されると、関連する変数が以下のように更新される。
Figure 2012247810

Figure 2012247810

Figure 2012247810

最後にk=1とする。
NO_DATAフレームが受信されると、再構成パラメータの初期値が更新されて、次のようになる。
Figure 2012247810

Figure 2012247810

再構成パラメータの初期値が更新され、k=k+1となる。
フレームのノイズパラメータの再構成は、新しいSIDフレームが受信されるまで続く。
ステップ304において、再構成ノイズパラメータを用いてノイズが生成される。
ランダム系列発生器と再構成エネルギーゲインパラメータGを用いてホワイトノイズ励起信号e(n)が合成される。
再構成スペクトルパラメータlsfは合成フィルタa(z)を形成するのに用いられる。
生成された励起信号は合成フィルタで合成フィルタリングされてもよい。
Figure 2012247810

更に後フィルタリングを行った後、コンフォートノイズが復号器で回復される。
本実施形態においては、ステップ304では再構成ノイズパラメータを用いたノイズ生成方法、即ち、励起信号及び再構成ノイズパラメータを用いる、前記のノイズ生成の第2の方法、が使われる。
この実施形態においては、符号器に使用されるプロトコル標準に関する制約はない。符号器がSIDフレームを固定インタバルで伝送しても、あるいは適応インタバルで伝送しても、エネルギーゲインパラメータ、スペクトルパラメータなどを含む、滑らかなノイズパラメータが再構成される。そうして、自然なコンフォートノイズが生成される。
音声セグメントからノイズセグメントへの変化が生じると、新規に受信したSIDフレームのノイズパラメータが、最初のSIDフレームとその次のSIDフレームとの間のノイズ生成に利用される。新しいSIDフレームが受信される度に、ノイズパラメータが再構成され、前のフレームの再構成ノイズパラメータを初期値とし、新しく受信したノイズパラメータを参照することにより、ノイズが生成される。音声セグメントからノイズセグメントへの変化が生じる場合、伝送されるSIDフレームは音声セグメントに非常に近接している。従って、新しく受信したSIDフレームのノイズパラメータが、最初のSIDフレームとその次のSIDフレームとの間のノイズ生成に直接利用される。音声セグメントからノイズセグメントへの遷移は自然なものとなる。2つのSIDフレーム間のインタバルは非常に短い。従ってノイズは短期間では変化せず、普通の人は聞いても気がつかない。従って、ユーザの聴取感がより良くなる。新しいSIDフレームが受信される度に、前のフレームの再構成ノイズパラメータを初期値とし、新しく受信したノイズパラメータを参照することにより、ノイズパラメータが再構成される。生成されたノイズの遷移は自然であり、ユーザの聴取感がより良くなる。その一方で、実際のノイズパラメータの影響を参照することにより、ユーザが近似的な音声環境を認識できる。更に、NO_DATAフレームが処理される場合、NO_DATAフレームと直近のSIDフレームとの間の距離と、直近のSIDフレームのノイズパラメータの変化方向と、直近のSIDフレームのノイズパラメータと再構成パラメータの初期値との間の差異と、に基づいて、前のフレームとは少し変化したノイズパラメータがNO_DATAフレームに対して再構成される。その結果再構成ノイズパラメータは滑らかな変化曲線となる。従って、生成されたノイズの遷移はフレーム間でより自然であり、ユーザの聴取感がより良くなる。
本発明の実施形態4によるノイズ生成方法においては、符号器はSIDフレームを適応インタバルで送信する。図4にそのフロー図が示される。
ステップ401において、SIDフレームが受信され、そのSIDフレームで搬送されるノイズパラメータが取得される。
音声通信が開始された後、復号器は受信したデータパケットからフレーム情報を復号する。次に、フレームのフォーマットに関する決定が行われる。フレームが音声フレームである場合には、音声フレーム処理フローが開始される。フレームが、SIDフレームやNO_DATAフレームなどの非音声フレームである場合、本実施形態で提供されるノイズ生成方法のフローが開始される。
非音声フレームが処理される場合、NO_DATAフレームには音声データが含まれていないので、この手順は直接ステップ402に進む。SIDフレームが受信されると、SIDフレーム中で搬送されたノイズパラメータ、即ち信号エネルギーゲインパラメータGsidとスペクトルパラメータlsfsidとが取得される。
ステップ402においては、再構成パラメータの初期値が取得される。
フレームタイプが音声フレームから非音声フレームに変わったことを復号器が検出すると、即ち最初のSIDフレームを受信すると、そのフレームから得られた信号エネルギーゲインパラメータをGsid(1)及びスペクトルパラメータをlsfsid(1)とする。エネルギーゲインパラメータGrefの初期値の再構成、及びスペクトルパラメータlsfrefの初期値の再構成は、次式に従って得られる。
Figure 2012247810

Figure 2012247810

受信したSIDフレームが最初のSIDフレームでない場合には、そのSIDフレームの前のフレームに対して再構成されたエネルギーゲインパラメータとスペクトルパラメータが、再構成パラメータの初期値として使用される。
この実施形態においては、ノイズパラメータがNO_DATAフレームに対して再構成される場合は、再構成パラメータの初期値が、前のフレームに対して再構成されたエネルギーゲインパラメータとスペクトルパラメータを用いて更新される。又は、次のSIDフレームが来るまでは、再構成パラメータの初期値は更新されない。
ステップ403において、ノイズパラメータが再構成される。
音声セグメントからノイズセグメントへの変化が生じると、つまり、音声フレームの次に最初のSIDフレームが受信されると、lengthの初期値がNに設定される。その後、別のSIDフレームが受信されると、直近のSIDフレームとその前のSIDフレームとの間のインタバルの長さが用いられる。DTXの効率を保障するために、SIDフレームの伝送間隔は一般には制限がある。即ち、lengthは自然数より大きいか等しくなければならない。例えば、プロトコルG729Bリリースでは、lengthは2より大きいか等しくなければならない、と規定されている。
復号器により直近のSIDフレームから復号されるエネルギーゲインパラメータはGsid(n)であり、スペクトルパラメータはlsfsid(n),(n=1,2,・・)である、従って、
Figure 2012247810

Figure 2012247810

となる。
n番目のSIDフレームの後のk番目のフレームに対しては、そのエネルギーゲインパラメータのノイズパラメータ増分dk,Gは次のように表される。
Figure 2012247810

ここで、Grefはエネルギーゲインパラメータの再構成パラメータの初期値であり、Gは新しく受信したSIDフレームの前のフレームに対して再構成されたエネルギーゲインパラメータである。
新しく受信したSIDフレームが最初のSIDフレームであれば、Gはバッファに格納されている、以前のNフレームのエネルギーゲインパラメータの荷重平均Gsid(0)である。Gsid(0)は次のように表される。
Figure 2012247810

ここで、wは荷重であり、
Figure 2012247810

である。
そのエネルギーゲインパラメータの浮動半径Δは次のように表される。
Figure 2012247810

そのスペクトルパラメータのノイズパラメータ増分d k,lsfは次のように表される。
Figure 2012247810

ここで、lsfrefはスペクトルパラメータに対する再構成パラメータの初期値であり、lsfは新たに受信したSIDフレームの前のフレームに対して再構成されたスペクトルパラメータである。
新しく受信したSIDフレームが最初のSIDフレームであれば、lsfは、バッファに格納されている、以前のNフレームに対するエネルギーゲインパラメータの荷重平均lsfsid(0)である。lsfsid(0)は次のように表される。
Figure 2012247810

ここで、wは荷重であり、
Figure 2012247810

である。
そのスペクトルパラメータの浮動半径Δ lsfは次のように表される。
Figure 2012247810

ここで、Mはスペクトルパラメータの線形予測法の次数である。
現フレームの再構成ノイズパラメータ中の再構成エネルギーゲインパラメータの浮動中心CG,kが次式により与えられる。
Figure 2012247810

現フレームの再構成ノイズパラメータ中の再構成スペクトルパラメータの浮動中心C lsf,kが次式により与えられる。
Figure 2012247810

現フレームの再構成ノイズパラメータ中の再構成エネルギーゲインパラメータGが次のように表される。
Figure 2012247810

現フレームの再構成ノイズパラメータ中の再構成スペクトルパラメータlsf が次のように表される。
Figure 2012247810

ここで、関数rand(a,b)は区間[a,b]に均一に分散している値からランダムに1つの値を取り出すことを表している。
新しいSIDフレームが受信されると、関連する変数が以下のように更新される。
Figure 2012247810

Figure 2012247810

Figure 2012247810

最後にk=1である。
NO_DATAフレームが受信されると、再構成パラメータの初期値が更新されて、次のようになる。
Figure 2012247810

Figure 2012247810

再構成パラメータの初期値が更新され、k=k+1となる。
フレームのノイズパラメータの再構成は、新しいSIDフレームが受信されるま
で続く。
ステップ404において、再構成ノイズパラメータを用いてノイズが生成される。
ランダム系列を用いてホワイトノイズ励起信号e(n)が生成される。
再構成スペクトルパラメータlsfは合成フィルタa(z)を形成するのに用いられる。
合成フィルタは、生成された励起信号:
Figure 2012247810

をフィルタリングするのに使用される。
次に、再構成エネルギーゲインパラメータGが、合成ノイズy(n)の時間領域形成に使用される。
Figure 2012247810

ここで、Nは復号器でコンフォートノイズが回復されるフレームの長さである。
本実施形態においては、ステップ404で再構成ノイズパラメータを用いたノイズ生成方法、即ち、励起信号及び再構成ノイズパラメータを用いる前述のノイズ生成の第1の方法、が使われる。
この実施形態においては、符号器で使用されるプロトコル標準に関する制約はない。符号器がSIDフレームを固定インタバルで伝送しても、あるいは適応インタバルで伝送しても、エネルギーゲインパラメータ、スペクトルパラメータなどを含む、滑らかなノイズパラメータが再構成される。そうして、自然なコンフォートノイズが生成される。
音声セグメントからノイズセグメントへの遷移が生じると、新しく受信したフレームのノイズパラメータを初期値とし、新しく受信したノイズパラメータを参照することにより、ノイズパラメータが再構成される。音声セグメントからノイズセグメントへの変化が生じる場合、伝送されるSIDフレームは音声セグメントに非常に近接している。従って、新しく受信したSIDフレームのノイズパラメータが初期値として直接用いられてもよい。従って、音声セグメントからノイズセグメントへの遷移はより自然なものとなる。新しいSIDフレームが受信される度に、前のフレームの再構成ノイズパラメータが初期値とされる。ノイズパラメータの再構成には、新しく受信したノイズパラメータも参照される。こうして、生成されたノイズの遷移はより自然となり、ユーザの聴取感はより良いものになるであろう。その一方で、実際のノイズパラメータの影響を参照することにより、ユーザが近似的な音声環境を認識できる。更に、直近のSIDフレームと前のSIDフレームとの差、及び、再構成パラメータの初期値と直近のSIDフレームより前のフレームの再構成ノイズパラメータとの差、とに従って、再構成ノイズパラメータのランダム値範囲に更に影響を及ぼすノイズパラメータ増分が求められる。ノイズパラメータ増分による影響を受ける値域が、前のフレームに対して滑らかに変化する。この値域の範囲内でランダムな値を取る再構成ノイズパラメータは、それに応じた影響を受けて再構成ノイズパラメータの変化曲線が滑らかになる。こうして、フレーム間での生成ノイズの遷移がより自然となり、ユーザにはよりよい聴取感がもたらされる。
本発明の実施形態で提供されるノイズ生成装置は、一般に復号器の中に配置される。ランダムな変化と滑らかな曲線を有するノイズパラメータは、少数のSIDフレームのノイズパラメータの使用を介して再構成され、ユーザにとって快適なノイズが回復される。
当業者であれば、本発明の実施形態による上記の方法における、ステップのすべてあるいは一部は、関連するハードウェアに命令するプログラムで実行されてもよいことは理解されるであろう。プログラムはコンピュータ可読媒体に格納されてもよい。プログラムが実行される場合、上記の記憶媒体は読み出し専用メモリ(ROM)、磁気ディスク、光ディスク、等であってよい。
本発明の実施形態で提供されるノイズ生成装置は、図5の構成であって、以下の部品を含んでよい。
前もって得られたノイズパラメータに従って再構成パラメータの初期値を取得するための初期値ユニット5100、
再構成パラメータの初期値に基づいてランダムな値域を得るためのレンジユニット5200、
前記ランダム値域の中から再構成ノイズパラメータとして1つの値をランダムに取り出す再構成ユニット5300、 再構成ノイズパラメータを用いてノイズを合成するための合成ユニット5400。
復号器はランダム系列発生器を用いて励起信号を合成する。ノイズが再構成される場合、励起信号は、例えば固定コードブックや適応コードブックに関連するパラメータなどの、通常の音声フレームに比べてSIDフレームに欠けているものと等価である。ノイズの共通性に基づいて、復号器はノイズ再構成のための励起信号合成にランダム系列発生器を利用する。
合成ユニット5400はノイズ生成に、励起信号と再構成ノイズパラメータとを用いた2つの方法を利用する。
第1の方法では、合成ユニット5400が再構成ノイズパラメータ中のスペクトルパラメータを合成フィルタ係数に変換し、励起信号に対して合成フィルタリングを実行し、そうしてノイズ信号を得る。次に、再構成ノイズパラメータ中のエネルギーゲインパラメータを用いて合成ノイズ信号に時間領域形成を行う。後処理が施され、最終の再構成ノイズが出力される。
第2の方法では、合成ユニット5400が再構成ノイズパラメータ中のエネルギーゲインパラメータとランダム系列発生器を用いて励起信号を合成する。次に、再構成ノイズパラメータ中のスペクトルパラメータが合成フィルタ係数に変換される。合成フィルタリングが励起信号に適用されてノイズ信号が得られる。
初期値ユニット5100は、第1の初期値ユニット5101と、所望により第2の初期値ユニット5102とを含む。
第1の初期値ユニット5101は、第1のSIDフレームを受信すると、SIDフレームの前の所定数のフレームに対するノイズパラメータの平均値あるいは荷重平均値を再構成パラメータの初期値とするように構成されている。
第2の初期値ユニット5102は、最初のSIDフレームの受信した後にSIDフレームを受信すると、新規に受信したSIDフレーム以前のフレームに対する再構成ノイズパラメータを、再構成ノイズパラメータの初期値とするか、NO_DATAフレームに対してノイズパラメータを再構成する場合に、NO_DATAフレームの前のフレームに対する再構成ノイズパラメータを再構成ノイズパラメータの初期値とする、ように構成されている。
レンジユニット5200は、
SIDフレームから取得されたノイズパラメータに基づいてノイズパラメータ増分を取得するように構成された増分ユニット5210と、
予想インタバル長を取得するように構成されたインタバル取得ユニット5220と、
予想インタバル長とノイズパラメータ増分とに基づいて浮動半径を取得するように構成された半径取得ユニット5230と、
再構成パラメータの初期値と浮動半径とに基づいて浮動中心を取得するように構成された中心取得ユニットと、
浮動中心をランダム値域の中心とし、浮動半径をランダム値域の半径とすることにより、ランダム値域を決定するように構成された操作ユニット5240と、を含む。
増分ユニット5210は第1の増分ユニット5211か、第2の増分ユニット5212か、あるいは第3の増分ユニット5213か、を含んでよい。
第1の増分ユニット5211は、新規に取得されたSIDフレームから得られるノイズパラメータと、再構成パラメータの初期値との差をノイズパラメータ増分とするように構成される。
第2の増分ユニット5212は、新規に取得されたSIDフレームから得られるノイズパラメータと、以前のSIDフレームから得られるノイズパラメータとの差をノイズパラメータ増分とするように構成される。
第3の増分ユニット5213は、新規に取得されたSIDフレームから得られるノイズパラメータと以前のSIDフレームから得られるノイズパラメータとの差と、再構成パラメータの初期値と新規に取得されたSIDフレームより前のフレームの再構成ノイズパラメータとの差と、の両者の差を、ノイズパラメータ増分とするように構成される。
半径取得ユニット5230は、第1の半径取得ユニット5231、あるいは第2の半径取得ユニット5232を含んでよい。
第1の半径取得ユニット5231は、ノイズパラメータ増分を予想インタバル長の2倍で割ることにより浮動半径を取得するように構成される。
第2の半径取得ユニット5232は、ノイズパラメータ増分と、予想インタバル長と、現フレームと新しく受信したSIDフレームとの間の距離と、に基づいて浮動半径を取得するように構成される。
インタバル取得ユニット5220は、第1のインタバル取得ユニット5221又は第2のインタバル取得ユニット5222と、所望により第3のインタバル取得ユニット5223とを含んでよい。
第1のインタバル取得ユニット5221は、最初のSIDフレームを受信すると所定の値をインタバル長とするように構成される。
第2のインタバル取得ユニット5222は、最初のSIDフレームを受信すると、システムにより設定される伝送音声挿入記述子フレームインタバルをインタバル長とするように構成される。
第3のインタバル取得ユニット5223は、最初のSIDフレームを受信した後に任意のSIDフレームを受信するか、ノイズパラメータをNO_DATAフレームに対して再構成するか、のいずれかの場合に、新しく受信したSIDフレームとその前に受信したSIDフレームとの間のインタバル長を予想インタバル長とするように構成される。
本発明の実施形態で提供されるノイズ生成装置の操作方法は、本発明の実施形態で提供される上記のノイズ生成法と実質的に同一であり、ここでは繰り返し説明しない。
この実施形態においては、符号器に使用されるプロトコル標準に関する制約はない。本発明の技術的解決策は、符号器がSIDフレームを固定インタバルで伝送しても、あるいは適応インタバルで伝送しても、操作可能である。更に、新しいSIDフレームが受信される度に、ノイズパラメータ再構成が前のフレームの再構成ノイズパラメータと新しく受信したノイズパラメータとを参照する。こうして、生成されたノイズの遷移がより自然となり、ユーザにはよりよい聴取感がもたらされる。更には、実際のノイズパラメータの影響が参照されてユーザが近似的な音声環境を認識できるようにする。更に、NO_DATAフレームが処理される場合、NO_DATAフレームと直近SIDフレームとの間の距離と、直近SIDフレームのノイズパラメータの変化方向と、直近SIDフレームのノイズパラメータと再構成パラメータの初期値との間の差異と、に基づいて、前のフレームから少し変化したノイズパラメータがNO_DATAフレームに対して再構成される。こうして、再構成ノイズパラメータの変化曲線が滑らかになる。その結果、フレーム間での生成されたノイズの遷移がより自然であり、ユーザにはよりよい聴取感がもたらされる。
以上、本発明で提供されるノイズ生成の装置及び方法について、詳細な説明を行った。ある特定の例示的実施形態を用いて本発明の原理及び実行を説明した。これは単に、本発明の方法及び基本概念の理解に資するためだけのものである。当業者にとっては、本発明の範囲から逸脱することなしに種々の変更が可能である。従って、上記の記述は本発明の範囲を制限するものと見なすべきではない。

Claims (19)

  1. 再構成パラメータの初期値を取得し、
    前記再構成パラメータの前記初期値に基づいてランダムな値域を決定し、
    前記ランダムな値域の中から再構成ノイズパラメータとして1つの値をランダムに取り出し、
    前記再構成ノイズパラメータを用いてノイズを生成する、
    ことを含む、ノイズ生成方法。
  2. 前記再構成パラメータの前記初期値を取得するプロセスが、
    最初の無音挿入記述子(SID)フレームを受信すると、前記最初のSIDの前の所定数のフレームに対するノイズパラメータの平均値あるいは荷重平均値を前記再構成パラメータの前記初期値とする、
    ことを含む、請求項1に記載のノイズ生成方法。
  3. 前記再構成パラメータの前記初期値を取得する前記プロセスが、
    前記最初のSIDフレームを受信した後に任意のSIDフレームを受信すると、新たに受信したSIDフレームの前のフレームに対する前記再構成ノイズパラメータを、前記再構成パラメータの前記初期値とするか、又は
    NO_DATAフレームに対してノイズパラメータが再構成される場合に、前記NO_DATAフレームの前のフレームに対する前記再構成ノイズパラメータを、前記再構成パラメータの前記初期値とする、
    ことを含む、請求項1に記載のノイズ生成方法。
  4. 前記再構成パラメータの前記初期値に基づいて前記ランダム値域を決定するプロセスが、
    SIDフレームから取得したノイズパラメータに基づいてノイズパラメータ増分を決定し、
    予想インタバル長を決定し、かつ前記予想インタバル長と前記ノイズパラメータ増分とに基づいて浮動半径を決定し、
    前記再構成パラメータの前記初期値と前記浮動半径とに基づいて浮動中心を決定し、
    前記浮動中心を前記ランダム値域の中心とし、前記浮動半径を前記ランダム値域の半径とすることにより、前記ランダム値域を決定する、
    ことを含む、請求項1〜請求項3の何れか1項に記載のノイズ生成方法。
  5. 前記再構成パラメータの前記初期値と前記浮動半径とに基づいて前記浮動中心を決定するプロセスが、
    前記再構成パラメータの前記初期値と前記浮動半径の2倍との合計を前記浮動中心とする、
    ことを含む、請求項4に記載のノイズ生成方法。
  6. 前記SIDフレームから得られた前記ノイズパラメータに基づいて前記ノイズパラメータ増分を決定するプロセスが、
    新たに取得されたSIDフレームから得られるノイズパラメータと、前記再構成パラメータの前記初期値との差を前記ノイズパラメータ増分とするか、
    新たに取得されたSIDフレームから得られるノイズパラメータと、以前のSIDフレームから得られるノイズパラメータとの差を前記ノイズパラメータ増分とするか、又は
    新たに取得されたSIDフレームから得られるノイズパラメータと以前のSIDフレームから得られるノイズパラメータとの差と、前記再構成パラメータの前記初期値と新たに取得されたSIDフレームより前のフレームの前記再構成ノイズパラメータとの差とを、前記ノイズパラメータ増分とする、
    ことを含む、請求項4に記載のノイズ生成方法。
  7. 前記予想インタバル長と前記ノイズパラメータ増分とに基づいて前記浮動半径を決定するプロセスが、
    Figure 2012247810


    を前記浮動半径とするか、又は
    Figure 2012247810


    を前記浮動半径とする、
    ことを含み、
    ここで、dPは前記ノイズパラメータ増分であり、lengthは前記予想インタバル長であり、kは現フレームと前記新たに受信したSIDフレームとの間の距離である、
    請求項4に記載のノイズ生成方法。
  8. 前記予想インタバル長を決定するプロセスが、
    最初のSIDフレームを受信すると、前記予想インタバル長として所定の値を取るか、又は
    システムにより設定された無音挿入記述子フレームインタバルを前記予想インタバル長とする、
    ことを含む、請求項4に記載のノイズ生成方法。
  9. 前記予想インタバル長を決定する前記プロセスが、
    前記最初のSIDフレームを受信した後に任意のSIDフレームを受信するか、又はNO_DATAフレームに対して前記ノイズパラメータを再構成する場合に、前記新しく受信したSIDフレームと以前に受信したSIDフレームとの間のインタバル長を前記予想インタバル長とする、
    ことを更に含む、請求項8に記載のノイズ生成方法。
  10. 前記ノイズパラメータは、エネルギーパラメータとスペクトルパラメータとを含む、請求項1〜請求項9の何れか1項に記載のノイズ生成方法。
  11. 再構成パラメータの初期値を取得するための初期値ユニットと、
    前記再構成パラメータの前記初期値に基づいてランダムな値域を決定するためのレンジユニットと、
    前記ランダム値域の中から再構成ノイズパラメータとして1つの値をランダムに取り出す再構成ユニットと、
    前記再構成ノイズパラメータを用いてノイズを生成するための合成ユニットと、
    を備える、ノイズ生成装置。
  12. 前記初期値ユニットは、
    最初のSIDフレームを受信すると、前記SIDフレームの前の所定数のフレームに対する前記ノイズパラメータの平均値あるいは荷重平均値を前記再構成パラメータの前記初期値とするように構成された第1の初期値ユニット、
    を含む、請求項11に記載のノイズ生成装置。
  13. 前記初期値ユニットは、
    前記最初のSIDフレームを受信した後に任意のSIDフレームを受信すると、前記の新たに受信したSIDフレームより前のフレームに対する前記再構成ノイズパラメータを、前記再構成パラメータの前記初期値とするか、又は
    NO_DATAフレームに対してノイズパラメータを再構成する場合に、前記NO_DATAフレームの前のフレームに対する前記再構成ノイズパラメータを前記再構成パラメータの前記初期値とする、
    ように構成された第2の初期値ユニットを更に備える、
    請求項12に記載のノイズ生成装置。
  14. 前記レンジユニットは、
    SIDフレームから取得されたノイズパラメータに基づいてノイズパラメータ増分を決定するように構成された増分ユニットと、
    予想インタバル長を決定するように構成されたインタバル取得ユニットと、
    前記予想インタバル長と前記ノイズパラメータ増分とに基づいて浮動半径を決定するように構成された半径取得ユニットと、
    前記再構成パラメータの前記初期値と前記浮動半径とに基づいて浮動中心を決定するように構成された中心取得ユニットと、
    前記浮動中心を前記ランダムな値域の中心とし、前記浮動半径を前記ランダム値域の半径とすることにより、前記ランダム値域を決定するように構成された操作ユニットと、
    を含む、請求項11〜請求項13の何れか1項に記載のノイズ生成装置。
  15. 前記増分ユニットは、
    新たに取得されたSIDフレームから得られるノイズパラメータと、前記再構成パラメータの前記初期値との差を前記ノイズパラメータ増分とするように構成された第1の増分ユニット、
    新たに取得されたSIDフレームから得られるノイズパラメータと、以前のSIDフレームから得られるノイズパラメータとの差を前記ノイズパラメータ増分とするように構成された第2の増分ユニット、又は
    新たに取得されたSIDフレームから得られるノイズパラメータと以前のSIDフレームから得られるノイズパラメータとの差と、前記再構成パラメータの前記初期値と新たに取得されたSIDフレームより前のフレームに対する前記再構成ノイズパラメータとの差と、の両者の差を、前記ノイズパラメータ増分とするように構成された第3の増分ユニット
    を備える、請求項14に記載のノイズ生成装置。
  16. 前記半径取得ユニットは、
    前記ノイズパラメータ増分を前記予想インタバル長の2倍で割ることにより前記浮動半径を得るように構成された第1の半径取得ユニット、又は
    前記ノイズパラメータ増分と、前記予想インタバル長と、前記現フレームと前記新しく受信したSIDフレームとの間の前記距離と、に基づいて、前記浮動半径を得るように構成された第2の半径取得ユニット
    を備える、請求項14に記載のノイズ生成装置。
  17. 前記インタバル取得ユニットは、
    最初のSIDフレームを受信すると、所定の値を前記インタバル長とするように構成された第1のインタバル取得ユニット、又は最初のSIDフレームを受信すると、システムにより設定される伝送音声挿入記述子フレームインタバルを前記インタバル長とするように構成された第2のインタバル取得ユニット
    を備える、請求項14に記載のノイズ生成装置。
  18. 前記インタバル取得ユニットは、
    前記最初のSIDフレームを受信した後に任意のSIDフレームを受信するか、又はNO_DATAフレームに対して前記ノイズパラメータを再構成するかした場合に、新たに受信したSIDフレームとその前に受信したSIDフレームとの間の前記インタバル長を前記予想インタバル長とするように構成された第3のインタバル取得ユニットを、
    更に含む、請求項17に記載のノイズ生成装置。
  19. 請求項1〜請求項10の何れか1項に記載の方法を実行するためのプログラムを格納したコンピュータ可読記録媒体。
JP2012206602A 2007-09-28 2012-09-20 ノイズ生成装置、方法、及びコンピュータ可読記録媒体 Ceased JP2012247810A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200710151408.9 2007-09-28
CN2007101514089A CN101335003B (zh) 2007-09-28 2007-09-28 噪声生成装置、及方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010526136A Division JP5096582B2 (ja) 2007-09-28 2008-09-25 ノイズ生成装置及び方法

Publications (1)

Publication Number Publication Date
JP2012247810A true JP2012247810A (ja) 2012-12-13

Family

ID=40197560

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010526136A Active JP5096582B2 (ja) 2007-09-28 2008-09-25 ノイズ生成装置及び方法
JP2012206602A Ceased JP2012247810A (ja) 2007-09-28 2012-09-20 ノイズ生成装置、方法、及びコンピュータ可読記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2010526136A Active JP5096582B2 (ja) 2007-09-28 2008-09-25 ノイズ生成装置及び方法

Country Status (6)

Country Link
US (2) US8296132B2 (ja)
EP (1) EP2202725B1 (ja)
JP (2) JP5096582B2 (ja)
CN (1) CN101335003B (ja)
CA (1) CA2701902A1 (ja)
WO (1) WO2009043287A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101335003B (zh) * 2007-09-28 2010-07-07 华为技术有限公司 噪声生成装置、及方法
CN101453517B (zh) * 2007-09-28 2013-08-07 华为技术有限公司 噪声生成装置、及方法
WO2012127278A1 (en) * 2011-03-18 2012-09-27 Nokia Corporation Apparatus for audio signal processing
US8868415B1 (en) * 2012-05-22 2014-10-21 Sprint Spectrum L.P. Discontinuous transmission control based on vocoder and voice activity
CN106169297B (zh) 2013-05-30 2019-04-19 华为技术有限公司 信号编码方法及设备
CN108364657B (zh) 2013-07-16 2020-10-30 超清编解码有限公司 处理丢失帧的方法和解码器
CN104978970B (zh) 2014-04-08 2019-02-12 华为技术有限公司 一种噪声信号的处理和生成方法、编解码器和编解码系统
US9775110B2 (en) 2014-05-30 2017-09-26 Apple Inc. Power save for volte during silence periods
CN105336339B (zh) * 2014-06-03 2019-05-03 华为技术有限公司 一种语音频信号的处理方法和装置
CN106683681B (zh) * 2014-06-25 2020-09-25 华为技术有限公司 处理丢失帧的方法和装置
EP2980801A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals
EP2980790A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for comfort noise generation mode selection
CN109841222B (zh) * 2017-11-29 2022-07-01 腾讯科技(深圳)有限公司 音频通信方法、通信设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003501925A (ja) * 1999-06-07 2003-01-14 エリクソン インコーポレイテッド パラメトリックノイズモデル統計値を用いたコンフォートノイズの生成方法及び装置
JP2004525540A (ja) * 2000-11-27 2004-08-19 ノキア コーポレーション 音声通信中に快適ノイズを発生するための方法およびシステム
JP2010540992A (ja) * 2007-09-28 2010-12-24 華為技術有限公司 ノイズ生成装置及び方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305395A (ja) * 1995-04-28 1996-11-22 Matsushita Electric Ind Co Ltd 雑音再生装置
US5794199A (en) * 1996-01-29 1998-08-11 Texas Instruments Incorporated Method and system for improved discontinuous speech transmission
US5960389A (en) * 1996-11-15 1999-09-28 Nokia Mobile Phones Limited Methods for generating comfort noise during discontinuous transmission
US20010014857A1 (en) * 1998-08-14 2001-08-16 Zifei Peter Wang A voice activity detector for packet voice network
KR100651457B1 (ko) * 1999-02-13 2006-11-28 삼성전자주식회사 부호분할다중접속 이동통신시스템의 불연속 전송모드에서 연속적인 외부순환 전력제어장치 및 방법
GB2350532B (en) * 1999-05-28 2001-08-08 Mitel Corp Method to generate telephone comfort noise during silence in a packetized voice communication system
US7243065B2 (en) * 2003-04-08 2007-07-10 Freescale Semiconductor, Inc Low-complexity comfort noise generator
US7536298B2 (en) * 2004-03-15 2009-05-19 Intel Corporation Method of comfort noise generation for speech communication
CN1758694A (zh) * 2004-10-10 2006-04-12 中兴通讯股份有限公司 一种产生舒适噪声的装置
US7454010B1 (en) * 2004-11-03 2008-11-18 Acoustic Technologies, Inc. Noise reduction and comfort noise gain control using bark band weiner filter and linear attenuation
CA2609945C (en) 2005-06-18 2012-12-04 Nokia Corporation System and method for adaptive transmission of comfort noise parameters during discontinuous speech transmission

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003501925A (ja) * 1999-06-07 2003-01-14 エリクソン インコーポレイテッド パラメトリックノイズモデル統計値を用いたコンフォートノイズの生成方法及び装置
JP2004525540A (ja) * 2000-11-27 2004-08-19 ノキア コーポレーション 音声通信中に快適ノイズを発生するための方法およびシステム
JP2010540992A (ja) * 2007-09-28 2010-12-24 華為技術有限公司 ノイズ生成装置及び方法
JP5096582B2 (ja) * 2007-09-28 2012-12-12 華為技術有限公司 ノイズ生成装置及び方法

Also Published As

Publication number Publication date
JP2010540992A (ja) 2010-12-24
CA2701902A1 (en) 2009-04-09
EP2202725A4 (en) 2010-09-22
CN101335003A (zh) 2008-12-31
EP2202725B1 (en) 2013-09-18
CN101335003B (zh) 2010-07-07
US8296132B2 (en) 2012-10-23
JP5096582B2 (ja) 2012-12-12
WO2009043287A1 (fr) 2009-04-09
US20100191522A1 (en) 2010-07-29
EP2202725A1 (en) 2010-06-30
US20120288109A1 (en) 2012-11-15

Similar Documents

Publication Publication Date Title
JP5096582B2 (ja) ノイズ生成装置及び方法
JP4658596B2 (ja) 線形予測に基づく音声コーデックにおける効率的なフレーム消失の隠蔽のための方法、及び装置
JP5547081B2 (ja) 音声復号化方法及び装置
JP2020190755A (ja) 信号符号化及び復号化方法及び装置
US10734003B2 (en) Noise signal processing method, noise signal generation method, encoder, decoder, and encoding and decoding system
JP5361909B2 (ja) 背景ノイズ情報を符号化する方法および手段
KR101648290B1 (ko) 컴포트 노이즈의 생성
JP6335190B2 (ja) 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加
KR20160079849A (ko) 시간 도메인 여기 신호를 변형하는 오류 은닉을 사용하여 디코딩된 오디오 정보를 제공하기 위한 오디오 디코더 및 방법
KR101462293B1 (ko) 고정된 배경 잡음의 평활화를 위한 방법 및 장치
JP2010525376A (ja) Dtxハングオーバ期間の長さを調整する方法及び音声符号化装置
JP5415460B2 (ja) 背景ノイズ情報を符号化する方法および手段
KR101166650B1 (ko) 배경 잡음 정보를 디코딩하기 위한 방법 및 수단
CN101393742A (zh) 噪声生成装置、及方法
CN101453517B (zh) 噪声生成装置、及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130507

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140325

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20150421