JP2016500453A - 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加 - Google Patents

低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加 Download PDF

Info

Publication number
JP2016500453A
JP2016500453A JP2015548606A JP2015548606A JP2016500453A JP 2016500453 A JP2016500453 A JP 2016500453A JP 2015548606 A JP2015548606 A JP 2015548606A JP 2015548606 A JP2015548606 A JP 2015548606A JP 2016500453 A JP2016500453 A JP 2016500453A
Authority
JP
Japan
Prior art keywords
signal
noise
decoder
bitstream
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015548606A
Other languages
English (en)
Other versions
JP6335190B2 (ja
Inventor
フッハス,ギローム
ロンバード,アンソニー
ラベリー,エマニュエル
デーラ,ステファン
レコンテ,ジェレミー
ディーツ,マルチン
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2016500453A publication Critical patent/JP2016500453A/ja
Application granted granted Critical
Publication of JP6335190B2 publication Critical patent/JP6335190B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012Comfort noise or silence coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Noise Elimination (AREA)

Abstract

符号化済みオーディオビットストリーム(BS)を処理するよう構成された復号器(1)であって、ビットストリーム(BS)から少なくとも1つの復号化済みフレームを含む復号化済みオーディオ信号(DS)を導出するビットストリーム復号器(2)と、復号化済みオーディオ信号(DS)内のノイズ(N)のレベル及び/又はスペクトル形状の推定を含むノイズ推定信号(NE)を生成するノイズ推定装置(3)と、ノイズ推定信号(NE)からコンフォートノイズ信号(CN)を導出するコンフォートノイズ生成装置(4)と、復号化済みオーディオ信号(DS)の復号化済みフレームとコンフォートノイズ信号(CN)とを結合して、オーディオ出力信号(OS)を得る結合部(5)と、を含む。【選択図】 図1

Description

本発明は、オーディオ信号処理に関し、特に、ノイズの多いスピーチの符号化とオーディオ信号に対するコンフォートノイズ付加とに関するものである。
コンフォートノイズ生成器は、通常、オーディオ信号、特にスピーチを含むオーディオ信号の不連続的な伝送(DTX)において用いられる。このようなモードでは、オーディオ信号はまず、ボイス活性度検出部(VAD)によって活性フレームと不活性フレームとに分類される。VADの一例は、非特許文献1の中に見出すことができる。VADの結果に基づき、活性スピーチフレームだけが基準ビットレートで符号化され、伝送される。背景ノイズだけが存在するような長いポーズ期間中は、ビットレートが低減されるか又はゼロにされ、背景ノイズが挿話的にかつパラメトリック的に符号化される。そのため、平均ビットレートは有意に低減される。ノイズは、不活性フレームの期間中に復号器側でコンフォートノイズ生成器(CNG)によって生成される。例えば、非特許文献2に記載のスピーチコーダAMR−WBと非特許文献1に記載のITU G.718とは、DTXモードにおいて両方が作動される可能性を持つ。
スピーチの符号化、特に低ビットレートにおけるノイズの多いスピーチの符号化は、アーチファクトをもたらす傾向がある。スピーチコーダは通常、背景ノイズが存在する場所ではもはや当てはまらなくなるようなスピーチ生成モデルに基づいている。そのような場合、符号化効率は低下し、復号化されたオーディオ信号の品質も低下する。更に、ノイズの多いスピーチを取り扱う場合には、スピーチ符号化の幾つかの特徴が特に混乱する可能性がある。確かに、低ビットレートにおいては、符号化パラメータの粗い量子化が、経時的にいくらかの揺らぎ(fluctuation)を生じさせ、その揺らぎは、定常的な背景ノイズの上にスピーチを符号化するときに知覚的な不快感を生じさせる。
ノイズ低減は、スピーチの了解度を向上させ、背景ノイズが存在する場合のコミュニケーションを改善させるための公知の技術である。それはまた、スピーチ符号化の中でも採用されてきた。例えば、コーダG.718は、スピーチピッチのような幾つかの符号化パラメータを推論するためのノイズ低減を用いている。ノイズ低減の技術はまた、オリジナル信号の代わりに強化された信号を符号化するという可能性も有する。その場合、復号化された信号において、スピーチはノイズレベルと比較してより優勢なものとなる。しかしながら、スピーチは通常、より劣化し又は不自然な音をもたらしてしまう。なぜなら、ノイズ低減がスピーチ成分を歪ませ、符号化アーチファクトに加えて、可聴の楽音的ノイズアーチファクトをも引き起こす可能性があるからである。
本発明の目的は、オーディオ信号処理の改善された概念を提供することである。本発明の目的は、請求項1に記載の復号器と、請求項18に記載の符号器と、請求項19に記載のシステムと、請求項20又は21に記載の方法と、請求項22に記載のビットストリームと、請求項15に記載のコンピュータプログラムとによって達成される。
1つの態様において、本発明は、符号化済みのオーディオビットストリームを処理するよう構成された復号器を提供し、その復号器は、
ビットストリームから復号化済みオーディオ信号を導出するよう構成されたビットストリーム復号器であって、その復号化済みオーディオ信号が少なくとも1つの復号化済みフレームを含む、ビットストリーム復号器と、
復号化済みオーディオ信号内のノイズのレベル及び/又はスペクトル形状の推定を含むノイズ推定信号を生成するよう構成されたノイズ推定装置と、
ノイズ推定信号からコンフォートノイズ信号を導出するよう構成されたコンフォートノイズ生成装置と、
復号化済みオーディオ信号の復号化済みフレームとコンフォートノイズ信号とを結合してオーディオ出力信号を得るよう構成された結合部と、を含む。
ビットストリーム復号器は、オーディオ情報を含むデジタルデータストリームである、オーディオビットストリームを復号化できる装置又はコンピュータプログラムであってもよい。復号化処理の結果として、デジタルの復号化済みオーディオ信号が生成され、これがA/D変換器へと供給されてアナログのオーディオ信号が生成され、その信号が次にラウドスピーカへと供給されて可聴信号が生成されてもよい。
復号化済みオーディオ信号は所謂フレームへと分割され、これらフレームの各々が、ある時間区間に関連するオーディオ情報を含んでいる。そのようなフレームは、活性フレームと不活性フレームとに分類されてもよく、活性フレームとは、スピーチや音楽などのオーディオ情報の所望の成分を含むフレームであり、一方、不活性フレームとは、オーディオ情報の如何なる所望の成分をも含まないフレームである。不活性フレームは通常、音楽やスピーチなどの所望の成分が存在しないようなポーズ期間中に発生する。したがって、不活性フレームは通常は背景ノイズだけを含む。
オーディオ信号の不連続な伝送(DTX)においては、不活性フレームの期間中、符号器はビットストリーム内にオーディオ信号を伝送しないので、ビットストリームを復号化することによって、復号化済みオーディオ信号の活性フレームだけが取得される。
オーディオ信号の非不連続な伝送(non−DTX)においては、ビットストリームを復号化することによって、活性フレーム及び不活性フレームが取得される。
ビットストリーム復号器によりビットストリームを復号化することで取得されるフレームは、復号化済みフレームと呼ばれる。
ノイズ推定装置は、復号化済みオーディオ信号内のノイズのレベル及び/又はスペクトル形状の推定を含むノイズ推定信号を生成するよう構成されている。更に、コンフォートノイズ生成装置は、ノイズ推定信号からコンフォートノイズ信号を導出するよう構成されている。ノイズ推定信号は、復号化済みオーディオ信号内にパラメトリック形式で含まれているノイズの特性に関する情報を含む信号であってもよい。コンフォートノイズ信号とは、復号化済みオーディオ信号に含まれたノイズに対応する人工的なオーディオ信号である。これらの特徴により、ビットストリーム内の背景ノイズに関する如何なるサイド情報も必要とせずに、コンフォートノイズが実際の背景ノイズのように聴こえることができる。
結合部は、復号化済みオーディオ信号の復号化済みフレームとコンフォートノイズ信号とを結合して、オーディオ出力信号を取得するよう構成されている。その結果、オーディオ出力信号は、人工的ノイズを含む復号化済みフレームを含む。復号化済みフレーム内の人工的ノイズにより、特にビットストリームが低ビットレートで伝送される場合に、オーディオ出力信号内のアーチファクトをマスキングできるようになる。それは、通常観測される揺らぎを平滑化し、その一方で、優勢な符号化アーチファクトをマスキングする。
先行技術とは対照的に、本発明は、復号化済みフレームに対して人工的なコンフォートノイズを付加するという原理を適用する。本発明の概念は、DTX及び非DTXの両方のモードにおいて適用可能である。
本発明は、低ビットレートで符号化されかつ伝送されるノイズの多いスピーチの品質を向上させる方法を提供する。低ビットレートでは、ノイズの多いスピーチ、即ち背景ノイズと一緒に録音されたスピーチの符号化は、通常、明瞭なスピーチの符号化ほど効率的でない。復号化された合成信号は、通常、アーチファクトを持つ傾向にある。2つの異なる種類の音源、即ちノイズとスピーチとは、単一音源モデルに依存する1つの符号化スキームによって効率的に符号化され得ない。本発明は、復号器側において背景ノイズをモデル化しかつ合成する概念を提供し、サイド情報を極少量しか必要としないか又は全く必要としない。このことは、背景ノイズのレベル及びスペクトル形状を復号器側で推定し、かつコンフォートノイズを人工的に生成することによって達成される。生成されたノイズは、復号化済みオーディオ信号と結合され、符号化アーチファクトのマスキングを可能にする。
更に、本発明の概念は、符号器側において適用されるノイズ低減手法と組み合わせることができる。ノイズ低減は信号対ノイズ比(SNR)レベルを改善し、後続のオーディオ符号化の性能を向上させる。復号化済みオーディオ信号内のノイズの消失量は、次に復号器側でコンフォートノイズによって補償される。しかし、それは通常、より劣化した又は不自然に聴こえるものである。なぜなら、ノイズ低減がオーディオ成分を歪ませ、符号化アーチファクトに加えて、可聴の楽音ノイズアーチファクトを引き起こし得るからである。本発明の一つの特徴は、そのような不快な歪みを、復号器側でコンフォートノイズを付加することによりマスキングすることである。ノイズ低減手法を使用する場合、コンフォートノイズの付加はSNRを劣化させない。更に、コンフォートノイズが、ノイズ低減技術で典型的に生じる悩ましい楽音ノイズの大部分を隠蔽する。
本発明の好ましい一実施形態において、復号化済みフレームは活性フレームである。この特徴は、コンフォートノイズの付加の原理を復号化済み活性フレームに拡張するものである。
本発明の好ましい一実施形態において、復号化済みフレームは活性フレームである。この特徴は、コンフォートノイズの付加の原理を復号化済み不活性フレームに拡張するものである。
本発明の好ましい一実施形態において、ノイズ推定装置は、復号化済みオーディオ信号内のノイズのレベルとスペクトル形状とを含む分析信号を生成するよう構成されたスペクトル分析装置と、その分析信号に基づいてノイズ推定信号を生成するよう構成されたノイズ推定生成装置と、を含む。
本発明の好ましい一実施形態において、コンフォートノイズ生成装置は、ノイズ推定信号に基づいて周波数ドメインのコンフォートノイズ信号を生成するよう構成されたノイズ生成部と、その周波数ドメインのコンフォートノイズ信号に基づいてコンフォートノイズ信号を生成するよう構成されたスペクトル合成部と、を含む。
本発明の好ましい一実施形態において、復号器は、第1操作モード又は第2操作モードへとニ者択一的に復号器を切り替えるよう構成されたスイッチ装置を含み、第1操作モードにおいてはコンフォートノイズ信号が結合部へと供給され、一方、第2操作モードにおいてはコンフォートノイズ信号が結合部に供給されない。これらの特徴により、人工的なコンフォートノイズが不要な状況下では人工的なコンフォートノイズの使用を中止させることが可能になる。
本発明の好ましい一実施形態において、復号器は、スイッチ装置を自動的に制御するよう構成された制御装置を含み、その制御装置は、復号化済みオーディオ信号の信号対ノイズ比に依存してスイッチ装置を制御するよう構成されたノイズ検出部を含み、復号器は、信号対ノイズ比が低い状況下では第1操作モードへと切り替えられ、信号対ノイズ比が高い状況下では第2操作モードへと切り替えられる。これらの特徴により、コンフォートノイズは、ノイズの多いスピーチシナリオにおいてだけトリガーされることができ、明瞭なスピーチ又は明瞭な音楽の状況においてはトリガーされない。信号対ノイズ比が低い状況と信号対ノイズ比が高い状況とを区別する目的で、信号対ノイズ比の閾値が定義され使用されてもよい。
本発明の好ましい一実施形態において、制御装置は、ビットストリーム内に含まれた、復号化済みオーディオ信号の信号対ノイズ比に対応するサイド情報を受信し、かつ、ノイズ検出信号を生成するよう構成されたサイド情報受信部を含み、ノイズ検出部はそのノイズ検出信号に依存してスイッチ装置を制御する。これらの特徴により、受信されたビットストリームを生成及び/又は処理する外部装置によって実行された信号分析に基づいて、スイッチ装置を制御することが可能になる。その外部装置は、特に、ビットストリームを生成している符号器であってもよい。
本発明の好ましい一実施形態において、復号化済みオーディオ信号の信号対ノイズ比に対応するサイド情報は、ビットストリーム内の少なくとも1つの専用ビットから構成される。一般的に、専用ビットとは、それ単独で、又は他の専用ビットと共に、定義された情報を含む1つのビットのことである。ここでは、専用ビットは、信号対ノイズ比が所定の閾値より上か下かを示してもよい。
本発明の好ましい一実施形態において、制御装置は、復号化済みオーディオ信号の所望信号のエネルギーを決定するよう構成された所望信号エネルギー推定部と、復号化済みオーディオ信号のノイズのエネルギーを決定するよう構成されたノイズエネルギー推定部と、所望信号のエネルギー及びノイズのエネルギーに基づいて復号化済みオーディオ信号の信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部と、を含み、スイッチ装置はこの制御装置によって決定された信号対ノイズ比に依存して切り替えられる。この場合、ビットストリーム内のサイド情報は必要でない。所望信号のエネルギーは通常、復号化済み信号のノイズのエネルギーより大きいので、所望信号のエネルギーとノイズのエネルギーとを含む復号化済みオーディオ信号の全エネルギーによって、復号化済みオーディオ信号の所望信号のエネルギーの粗い推定が得られる。この理由により、信号対ノイズ比は、復号化済みオーディオ信号の全エネルギーを復号化済み信号のノイズのエネルギーで除算することにより、近似的に計算されてもよい。
本発明の好ましい一実施形態において、ビットストリームは活性フレームと不活性フレームとを含み、制御装置は、復号化済みオーディオ信号の所望信号のエネルギーを活性フレームの期間中に決定し、復号化済みオーディオ信号のノイズのエネルギーを不活性フレームの期間中に決定するよう構成されている。これにより、信号対ノイズ比を推定するときの高度な正確性が容易な方法で達成され得る。
本発明の好ましい一実施形態において、ビットストリームは活性フレームと不活性フレームとを含み、復号器はサイド情報受信部を含み、そのサイド情報受信部は、現在のフレームが活性か不活性かを示すビットストリーム内のサイド情報に基づいて、活性フレームと不活性フレームとを区別するよう構成されている。この特徴により、活性フレーム又は不活性フレームはそれぞれ、計算労力なく識別され得る。
本発明の好ましい一実施形態において、現在のフレームが活性か不活性かを示すサイド情報は、ビットストリーム内の少なくとも1つの専用ビットから構成される。
本発明の好ましい一実施形態において、制御装置は、復号化済みオーディオ信号の所望信号のエネルギーを分析信号に基づいて決定するよう構成されている。この場合、通常はノイズ推定の目的で計算されるべき分析信号が再使用されることができ、その結果、複雑さが低減され得る。
本発明の好ましい一実施形態において、制御装置は、復号化済みオーディオ信号のノイズのエネルギーをノイズ推定信号に基づいて決定するよう構成されている。そのような実施形態においては、典型的にはコンフォートノイズ生成の目的で計算されるべきノイズ推定信号が再使用されることができ、その結果、複雑さが更に低減され得る。
本発明の好ましい一実施形態において、コンフォートノイズ生成装置は、目標コンフォートノイズレベル信号に基づいてコンフォートノイズ信号を生成するよう構成されている。付加されるコンフォートノイズのレベルは、了解度と品質を保存するために制限される必要がある。この点については、事前に決定された目標ノイズレベルを示す目標ノイズ信号を使用してコンフォートノイズをスケールすることで達成可能である。
本発明の好ましい一実施形態において、目標コンフォートノイズレベル信号は、ビットストリームのビットレートに依存して調整される。典型的に、復号化済みオーディオ信号は、特に符号化アーチファクトが最も激しい低ビットレートにおいて、オリジナル入力信号よりも高い信号対ノイズ比を示す。スピーチ符号化におけるノイズレベルのこのような減衰は、入力としてスピーチを有することを想定しているソースモデルパラダイムに起因する。その他の場合には、そのソースモデルの符号化は全く適切ではなく、非スピーチ成分の全体エネルギーを再生できないであろう。それ故、目標コンフォートノイズレベル信号は、符号化プロセスによって固有に導入されたノイズ減衰を大まかに補償するために、ビットレートに依存して調整されてもよい。
本発明の好ましい一実施形態において、目標コンフォートノイズレベル信号は、ビットストリームに適用されたノイズ低減法によって引き起こされたノイズ減衰レベルに依存して調整される。この特徴により、符号器内のノイズ低減モジュールによって引き起こされたノイズ減衰が補償され得る。
本発明の好ましい一実施形態において、ランダムノイズw(k)の周波数ドメインのコンフォートノイズ信号のエネルギーは、目標コンフォートノイズレベル信号に依存して調整される。その目標コンフォートノイズレベル信号は目標コンフォートノイズレベルgtarを示し、各周波数kについて次式の通りである。
Figure 2016500453
ここで、
Figure 2016500453
は、周波数kにおける復号化済みオーディオ信号のノイズのエネルギーの推定値であり、ノイズ推定生成装置によって供給されたものである。これらの特徴により、出力信号の了解度及び品質が向上され得る。
本発明の好ましい実施形態において、復号器は更なるビットストリーム復号器を含み、前記ビットストリーム復号器とその更なるビットストリーム復号器とは異なるタイプのものであり、復号器はスイッチを含み、そのスイッチは、ビットストリーム復号器からの復号化済み信号、又は更なるビットストリーム復号器からの復号化済み信号のいずれかを、ノイズ推定装置と結合部とに供給するよう構成されている。ビットストリーム復号器を使用する場合と同様に、更なるビットストリーム復号器を使用する場合でも、コンフォートノイズの付加が実行されるので、ビットストリーム復号器と更なるビットストリーム復号器とを切り替えるときの遷移アーチファクトは最小化され得る。例えば、ビットストリーム復号器は代数符号励振線形予測(ACELP)ビットストリーム復号器であってもよく、他方、更なるビットストリーム復号器は変換ベースのコア(TCX)ビットストリーム復号器であってもよい。
本発明は更に、オーディオビットストリームを生成するよう構成されたオーディオ信号処理符号器を提供し、その符号器は、
オーディオ入力信号に対応する符号化済みオーディオ信号を生成し、その符号化済みオーディオ信号からビットストリームを導出するよう構成されたビットストリーム符号器と、
所望信号エネルギー推定部により決定されたオーディオ信号の所望信号のエネルギーと、ノイズエネルギー推定部により決定されたオーディオ入力信号のノイズのエネルギーとに基づいて、オーディオ入力信号の信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部を有する、信号分析部と、
ノイズ低減済みオーディオ信号を生成するよう構成されたノイズ低減装置と、
オーディオ入力信号の決定された信号対ノイズ比に依存して、オーディオ入力信号又はノイズ低減済みオーディオ信号のいずれかを、これら各信号を符号化するために、ビットストリーム符号器に対して供給するよう構成されたスイッチ装置であって、ビットストリーム符号器は、オーディオ入力信号又はノイズ低減済みオーディオ信号のどちらが符号化されているかを示すサイド情報を、ビットストリーム内で伝送するよう構成されている、スイッチ装置と、を含む。
ビットストリーム符号器は、オーディオ情報を含むデジタルデータ信号であるオーディオ信号を符号化できる装置またはコンピュータプログラムであってもよい。符号化処理の結果、デジタルビットストリームが生成され、それがデジタルデータリンクを介して遠位の復号器へと伝送されてもよい。
オーディオ入力信号はビットストリーム符号器によって直接的に符号化される。ビットストリーム符号器は、スピーチ符号器であってもよいし、スピーチコーダACELPと変換ベースのオーディオコーダTCXとの間を切り替える低遅延のスキームであってもよい。ビットストリーム符号器は、オーディオ入力信号を符号化し、さらにそのオーディオ信号を復号化するために必要なビットストリームを生成する役割を担う。これと並行して、入力信号は、信号分析器と称される何らかのモジュールによって分析される。好ましい一実施形態において、その信号分析はG.718において使用されているものと同じである。信号分析は、スペクトル分析装置と、それに続くノイズ推定生成装置とにより構成されている。オリジナル信号と推定されたノイズとの両方のスペクトルがノイズ低減モジュールに入力される。ノイズ低減は、周波数ドメインにおいて背景ノイズレベルを減衰させる。その低減量は、目標減衰レベルによって与えられる。強化された時間ドメイン信号(ノイズ低減済みオーディオ信号)は、スペクトル合成の後で生成される。その信号は、幾つかの特徴、即ち活性フレームと不活性フレームとを区別するためにVADにより活用されるピッチ安定度など、を推論するために使用される。その分類の結果は、符号器モジュールによってさらに利用されてもよい。好ましい実施形態において、特定の符号化モードが不活性フレームを取り扱うために使用される。このようにして、復号器は、専用ビットを必要とせずに、ビットストリームからVADフラグを推論できる。
ノイズのない状態(明瞭なスピーチ又は明瞭な音楽)における不要な歪みを回避するために、ノイズ低減はノイズの多いスピーチの場合にのみ適用され、その他の場合には迂回される。ノイズが多い信号とノイズが無い信号との間の区別は、ノイズと所望信号(スピーチ又は音楽)との両者の長期間エネルギーを推定することで達成される。活性フレームの期間中は、長期間エネルギーは入力フレームエネルギーの一次の自己回帰フィルタリングにより計算され、一方で不活性フレームの期間中は、長期間エネルギーはノイズ推定モジュールの出力を使用して計算される。このようにして信号対ノイズ比の推定が計算されることができ、その推定はノイズの長期間エネルギーに対するスピーチ又は音楽の長期間エネルギーの比として定義される。信号対ノイズ比が所定の閾値を下回る場合、そのフレームはノイズの多いスピーチとして認識され、その他の場合には明瞭なスピーチとして分類される。ビットストリーム符号器は、オーディオ入力信号又はノイズ低減済みオーディオ信号のいずれが符号化されているかを示すサイド情報を、ビットストリームの中で伝送するよう構成されているため、復号器は、目標コンフォートノイズレベル信号を、符号器の操作モードに対して自動的に調整することができる。
本発明の好ましい一実施形態において、活性フレームの期間中に、長期間のスピーチ/音楽エネルギー推定だけが更新される。不活性フレームの期間中には、ノイズエネルギー推定だけが更新される。
本発明は更に、オーディオ信号処理復号器とオーディオ信号処理符号器とを含むシステムを提供し、その復号器は特許請求の範囲に従って設計されており、及び/又はその符号器は特許請求の範囲に従って設計されている。
本発明の他の態様は、オーディオビットストリームを復号化する方法を提供し、その方法は、
ビットストリームから復号化済みオーディオ信号を導出するステップであって、その復号化済みオーディオ信号が少なくとも1つの復号化済みフレームを含む、ステップと、
復号化済みオーディオ信号内のノイズのレベル及び/又はスペクトル形状の推定を含むノイズ推定信号を生成するステップと、
ノイズ推定信号からコンフォートノイズ信号を導出するステップと、
復号化済みオーディオ信号の復号化済みフレームとコンフォートノイズ信号とを結合してオーディオ出力信号を得るステップと、
を含む。
本発明は、オーディオビットストリームを生成するためのオーディオ信号符号化の方法を更に提供し、その方法は、
オーディオ入力信号の所望信号の決定されたエネルギーとオーディオ入力信号のノイズの決定されたエネルギーとに基づいて、オーディオ入力信号の信号対ノイズ比を決定するステップと、
ノイズ低減済みオーディオ信号を生成するステップと、
オーディオ入力信号と対応する符号化済みオーディオ信号を生成するステップであって、オーディオ入力信号の決定された信号対ノイズ比に依存して、オーディオ入力信号とノイズ低減済みオーディオ信号とのいずれかを符号化するステップと、
符号化済みオーディオ信号からビットストリームを導出するステップと、
オーディオ入力信号又はノイズ低減済みオーディオ信号のいずれが符号化されているかを示すサイド情報を、ビットストリーム内で伝送するステップと、
を含む。
本発明は、更に、上述の方法に従って生成されたビットストリームを提供する。特許請求の範囲に記載のビットストリームは、オーディオ入力信号又はノイズ低減済みオーディオ信号のいずれが符号化されているかを示すサイド情報を含む。
本発明の更なる態様は、コンピュータ又はプロセッサ上で作動するときに、本発明の方法を実行するコンピュータプログラムを提供する。
本発明の好ましい実施形態を、添付の図を参照しながら以下に説明する。
本発明に係る復号器の第1実施例を示す。 本発明に係る復号器の第2実施例を示す。 先行技術に係る符号器を示す。 本発明に係る符号器の第1実施例を示す。 本発明に係る符号器の第2実施例を示す。 本発明に係るビットストリームのフレームフォーマットの一実施例を示す。
図1は、本発明に係る復号器1の第1実施例を示す。復号器1は、符号化済みビットストリームBSを処理するよう構成され、復号器1は、
ビットストリームBSから復号化済みオーディオ信号DSを導出するよう構成されたビットストリーム復号器2であって、復号化済みオーディオ信号DSが少なくとも1つの復号化済みフレームを含む、ビットストリーム復号器2と、
復号化済みオーディオ信号DS内のノイズNのレベル及び/又はスペクトル形状の推定を含むノイズ推定信号NEを生成するよう構成されたノイズ推定装置3と、
ノイズ推定信号NEからコンフォートノイズ信号CNを導出するよう構成されたコンフォートノイズ生成装置4と、
復号化済みオーディオ信号DSの復号化済みフレームとコンフォートノイズ信号CNとを結合してオーディオ出力信号OSを得るよう構成された結合部5と、
を含む。
ビットストリーム復号器2は、オーディオ情報を含むデジタルデータストリームであるオーディオビットストリームBSを復号化できる装置又はコンピュータプログラムであってもよい。復号化処理の結果としてデジタル復号化済みオーディオ信号DSが生成され、この信号がA/D変換器へと供給されてアナログオーディオ信号が生成され、その信号が次にラウドスピーカへと供給されて、可聴信号が生成されてもよい。
復号化済みオーディオ信号DSは所謂フレームを含み、これらフレームの各々がある時間に関するオーディオ情報を含んでいる。そのようなフレームは、活性フレームと不活性フレームとに分類されてもよく、活性フレームとは、スピーチや音楽などのオーディオ情報の所望の成分WS(所望信号WSとも呼ばれる)を含むフレームであり、一方、不活性フレームとは、オーディオ情報の如何なる所望の成分をも含まないフレームである。不活性フレームは通常はポーズの期間中に発生し、そこでは音楽やスピーチなどの所望の成分は存在しない。したがって、不活性フレームは通常は背景ノイズNだけを含む。
ノイズ推定装置3は、復号化済みオーディオ信号DS内のノイズのレベル及び/又はスペクトル形状の推定を含むノイズ推定信号NEを生成するよう構成されている。更に、コンフォートノイズ生成装置4は、ノイズ推定信号NEからコンフォートノイズ信号CNを導出するよう構成されている。ノイズ推定信号NEは、復号化済みオーディオ信号DS内にパラメトリック形式で含まれているノイズNの特性に関する情報を含む信号であってもよい。コンフォートノイズ信号CNとは、復号化済みオーディオ信号DS内に含まれるノイズNに対応する人工的なオーディオ信号である。これらの特徴により、背景ノイズNに関するビットストリームBS内のサイド情報を何も必要とせずに、コンフォートノイズCNが実際の背景ノイズNのように聴こえることができる。
結合部5は、復号化済みオーディオ信号DSの復号化済みフレームとコンフォートノイズ信号CNとを結合して、オーディオ出力信号OSを取得するよう構成されている。その結果、オーディオ出力信号OSは、人工的ノイズCNを含む復号化済みフレームを含む。復号化済みフレーム内の人工的ノイズCNにより、特にビットストリームBSが低ビットレートで伝送される場合に、オーディオ出力信号OS内のアーチファクトをマスキングできるようになる。
先行技術とは対照的に、本発明は、復号化済みの活性フレーム又は不活性フレームに対して人工的なコンフォートノイズCNを付加するという原理を適用する。本発明の概念は、DTX及び非DTXの両方のモードに適用可能である。
本発明は、低ビットレートで符号化されかつ伝送されるノイズの多いスピーチの品質を向上させる方法を提供する。低ビットレートでは、ノイズの多いスピーチ、即ち背景ノイズNとともに録音されたスピーチの符号化は、通常、明瞭なスピーチWSの符号化ほど効率的でない。復号化された合成信号は、通常、アーチファクトを持つ傾向にある。2つの異なる種類の音源、即ちノイズNとスピーチWSとは、単一音源モデルに依存する1つの符号化スキームによって効率的に符号化され得ない。本発明は、復号器側において背景ノイズNをモデル化しかつ合成し、サイド情報を極少量しか必要としないか又は全く必要としないような概念を提供する。これは、背景ノイズNのレベル及びスペクトル形状を復号器側で推定し、かつコンフォートノイズCNを人工的に生成することによって達成される。その生成されたノイズCNは、復号化済みオーディオ信号DSと結合されて、復号化済みフレーム内の符号化アーチファクトをマスキングすることを可能にする。
更に、前記概念は、符号器側において適用されるノイズ低減スキームと組み合わせることができる。ノイズ低減により信号対ノイズ比(SNR)のレベルが改善し、後続のオーディオ符号化の性能を向上させる。復号化済みオーディオ信号DS内のノイズNの消失量は、復号器側でコンフォートノイズCNによって補償される。しかし、それは通常、より劣化した又は不自然に聴こえるものである。なぜなら、ノイズ低減がオーディオ成分を歪ませ、符号化アーチファクトに加えて、可聴の楽音的ノイズアーチファクトを引き起こし得るからである。本発明の一つの特徴は、そのような不快な歪みを、復号器側でコンフォートノイズCNを付加することでマスクすることである。ノイズ低減スキームを使用する場合、コンフォートノイズの付加はSNRを劣化させない。更に、コンフォートノイズは、ノイズ低減技術では典型的に生じる悩ましい楽音ノイズの大部分を隠蔽する。
本発明の好ましい一実施形態において、復号化済みフレームは活性フレームである。この特徴は、コンフォートノイズの付加の原理を復号化済み活性フレームに拡張するものである。
本発明の好ましい一実施形態において、復号化済みフレームは活性フレームである。この特徴は、コンフォートノイズの付加の原理を復号化済み不活性フレームに拡張するものである。
本発明の好ましい一実施形態において、ノイズ推定装置3は、復号化済みオーディオ信号DS内のノイズのレベル及びスペクトル形状を含む分析信号ASを生成するよう構成されたスペクトル分析装置6と、その分析信号ASに基づいてノイズ推定信号NEを生成するよう構成されたノイズ推定生成装置7と、を含む。
本発明の好ましい一実施形態において、コンフォートノイズ生成装置4は、ノイズ推定信号NEに基づいて周波数ドメインのコンフォートノイズ信号FDを生成するよう構成されたノイズ生成部8と、その周波数ドメインのコンフォートノイズ信号FDに基づいてコンフォートノイズ信号CNを生成するよう構成されたスペクトル合成部9と、を含む。
本発明の好ましい一実施形態において、復号器1は、第1操作モード又は第2操作モードへとニ者択一的に復号器1を切り替えるよう構成されたスイッチ装置10を含み、第1操作モードにおいてはコンフォートノイズ信号CNが結合部へと供給され、第2操作モードにおいてはコンフォートノイズ信号CNが結合部5に供給されない。これらの特徴により、コンフォートノイズCNの不要な状況下での人工的なコンフォートノイズCNの使用を中止させることが可能になる。
本発明の好ましい一実施形態において、復号器1は、スイッチ装置10を自動的に制御するよう構成された制御装置11を含み、その制御装置10は、復号化済みオーディオ信号DSの信号対ノイズ比に依存してスイッチ装置10を制御するよう構成されたノイズ検出部12を含み、復号器は、信号対ノイズ比が低い状況下では第1操作モードへ切り替えられ、信号対ノイズ比が高い状況下では第2操作モードへ切り替えられる。これらの特徴により、コンフォートノイズCNの使用は、ノイズの多いスピーチシナリオにおいてだけトリガーされてもよい。即ち、明瞭なスピーチ又は明瞭な音楽の状況においてはトリガーされない。信号対ノイズ比が低い状況と信号対ノイズ比が高い状況とを区別する目的で、信号対ノイズ比についての閾値が定義され使用されてもよい。
本発明の好ましい一実施形態において、制御装置11は、ビットストリームBS内に含まれた、復号化済みオーディオ信号DSの信号対ノイズ比に対応するサイド情報を受信し、ノイズ検出信号NDを生成するよう構成されたサイド情報受信部13を含み、ノイズ検出部12はそのノイズ検出信号NDに依存してスイッチ装置11を切り替える。これらの特徴により、受信されたビットストリームBSを生成及び/又は処理する外部装置によってなされた信号分析に基づいて、スイッチ装置10を制御することが可能になる。その外部装置は、特に、ビットストリームBSを生成している符号器であってもよい。
本発明の好ましい一実施形態において、復号化済みオーディオ信号DSの信号対ノイズ比に対応するサイド情報は、ビットストリームBS内の少なくとも1つの専用ビットから構成される。一般的に、専用ビットとは、それ単独で、又は他の専用ビットと共に、定義された情報を含む1つのビットのことである。ここでは、専用ビットは、信号対ノイズ比が所定の閾値より上か下かを示してもよい。
本発明の好ましい一実施形態において、コンフォートノイズ生成装置4は、目標コンフォートノイズレベル信号TNLに基づいてコンフォートノイズ信号CNを生成するよう構成されている。付加されるコンフォートノイズCNのレベルは、了解度と品質を保存するために制限されるべきである。この点については、予め決定された目標ノイズレベルを示す目標ノイズ信号TNLを使用してコンフォートノイズCNをスケールすることで達成可能である。
本発明の好ましい一実施形態において、目標コンフォートノイズレベル信号TNLは、ビットストリームBSのビットレートに依存して調整される。典型的に、復号化済みオーディオ信号DSは、特に符号化アーチファクトが最も激しい低ビットレートにおいて、オリジナル入力信号よりも高い信号対ノイズ比を示す。スピーチ符号化におけるノイズレベルのこのような減衰は、入力としてスピーチを有することを想定しているソースモデルパラダイムに起因する。その他の場合には、そのソースモデルの符号化は全く適切ではなく、非スピーチ成分の全体エネルギーを再生できないであろう。それ故、目標コンフォートノイズレベル信号TNLは、符号化プロセスによって固有に導入されたノイズ減衰を大まかに補償するために、ビットレートに依存して調整されてもよい。
本発明の好ましい一実施形態において、目標コンフォートノイズレベル信号TNLは、ビットストリームBSに適用されたノイズ低減法によって引き起こされるノイズ減衰レベルに依存して調整される。この特徴により、符号器内のノイズ低減モジュールによって引き起こされるノイズ減衰は、補償され得る。
本発明の好ましい一実施形態において、ランダムノイズw(k)の周波数ドメインのコンフォートノイズ信号FDのエネルギーは、目標コンフォートノイズレベル信号TNLに依存して調整される。その目標コンフォートノイズレベル信号TNLは目標コンフォートノイズレベルgtarを示し、各周波数kについて次式の通りである。
Figure 2016500453
ここで、
Figure 2016500453
は、ノイズ推定生成装置7によって供給された、周波数kにおける復号化済みオーディオ信号DSのノイズNのエネルギーの推定値である。これらの特徴により、出力信号OSの了解度及び品質が改善され得る。
図2は本発明にかかる復号器1の第2実施例を示す。この復号器1の第2実施例は、第1実施例の復号器1に基づいている。以下では、第1実施例との相違点だけを説明する。
本発明の好ましい一実施形態において、制御装置は、復号化済みオーディオ信号DSの所望信号WSのエネルギーを決定するよう構成された所望信号エネルギー推定部14と、復号化済みオーディオ信号DSのノイズNのエネルギーを決定するよう構成されたノイズエネルギー推定部15と、所望信号WSのエネルギーに基づきまたノイズNのエネルギーにも基づいて復号化済みオーディオ信号DSの信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部16と、を含み、スイッチ装置10は制御装置11によって決定された信号対ノイズ比に依存して切り替えられる。この場合、信号対ノイズ比に関するビットストリーム内のサイド情報は必要でない。従って、第1実施例におけるサイド情報受信部13も必要でない。
本発明の好ましい一実施形態において、ビットストリームBSは活性フレームと不活性フレームとを含み、制御装置11は、復号化済みオーディオ信号DSの所望信号WSのエネルギーを活性フレームの期間中に決定し、復号化済みオーディオ信号DSのノイズNのエネルギーを不活性フレームの期間中に決定するよう構成されている。これにより、信号対ノイズ比を推定するときの高度な正確性が容易な方法で達成され得る。
本発明の好ましい一実施形態において、ビットストリームBSは活性フレームと不活性フレームとを含み、復号器1はサイド情報受信部17を含み、そのサイド情報受信部17は、ビットストリーム内の現在のフレームが活性か不活性かを示すサイド情報に基づいて、活性フレームと不活性フレームとを区別するよう構成されている。この特徴により、活性フレーム又は不活性フレームはそれぞれ、計算労力なく識別され得る。
本発明の好ましい一実施形態において、サイド情報受信部17は、スイッチ17aを制御するよう構成されてもよく、そのスイッチ17aは、所望信号エネルギー推定部14の出力信号OW、又はノイズエネルギー推定部15の出力信号ONのいずれかを択一的に信号対ノイズ比推定部16へと供給し、その場合、所望信号エネルギー推定部14の出力信号OWは活性フレームの期間中に信号対ノイズ比推定部16へと供給され、ノイズエネルギー推定部15の出力信号ONは不活性フレームの期間中に信号対ノイズ比推定部16へと供給される。これらの特徴により、信号対ノイズ比は容易かつ正確な方法で計算され得る。
本発明の好ましい一実施形態において、制御装置11は、分析信号ASに基づいて復号化済みオーディオ信号の所望信号のエネルギーを決定するよう構成されている。この場合、通常はノイズ推定の目的で計算されるべき分析信号ASが再使用されて、複雑さが軽減されてもよい。
本発明の好ましい一実施形態において、制御装置11は、復号化済みオーディオ信号DSのノイズNのエネルギーを、ノイズ推定信号NEに基づいて決定するよう構成されている。このような実施形態においては、典型的にはコンフォートノイズ生成の目的で計算されるべきノイズ推定信号NEが再使用されて、複雑さが更に軽減されてもよい。
本発明の好ましい実施形態において、復号器1は更なるビットストリーム復号器(図示せず)を含み、前記ビットストリーム復号器2とその更なるビットストリーム復号器とは異なるタイプであり、復号器1はスイッチ(図示せず)を含み、そのスイッチは、ノイズ推定装置3と結合部5とに対し、ビットストリーム復号器2からの復号化済み信号DS、又は更なるビットストリーム復号器からの復号化済み信号のいずれかを供給するよう構成されている。ビットストリーム復号器2を使用する場合と同様に、更なるビットストリーム復号器を使用する場合でも、コンフォートノイズ付加が実行されるので、ビットストリーム復号器2と更なるビットストリーム復号器とを切り替えるときの遷移アーチファクトが最小化され得る。例えば、ビットストリーム復号器2は代数符号励振線形予測(ACELP)のビットストリーム復号器であってもよく、一方、更なるビットストリーム復号器は変換ベースのコア(TCX)ビットストリーム復号器であってもよい。
本発明の復号器1は、図1及び図2に示されており、そこではコンフォートノイズの付加が周波数ドメインで盲目的に実行される。実際の背景ノイズNのように聞こえるコンフォートノイズCNを得るために、ノイズ推定装置3が復号器1において使用され、何らのサイド情報をも必要とせずに背景ノイズNのレベル及びスペクトル形状を決定する。
コンフォートノイズ生成装置4は、ノイズの多いスピーチシナリオにおいてだけトリガーされる。即ち、明瞭なスピーチ又は明瞭な音楽の状況においてはトリガーされない。その区別は符号器内で実行される検出に基づいてもよい。この場合、その決定は専用ビットを使用して伝送されるべきである。対照的に、好ましい実施形態においては、符号器内で使用されるノイズ推定装置に類似するノイズ推定生成装置7が適用される。その装置は、VAD決定に依存して、ノイズNのエネルギーと、スピーチ及び/又は音楽などの所望信号WSのエネルギーとのいずれかの長期間推定を別個に採用することで、長期間の信号対ノイズ比を推定する。VAD決定は、ACELPモード及びTCXモードのインデックスから直接的に推定されてもよい。実際のところ、信号が不活性のスピーチ/音楽フレーム、即ち背景ノイズだけを有するフレームであるとき、TCX及びACELPは、TCX−NA及びACELP−NAと呼ばれる特定のモードにおいてそれぞれ作動することができる。ACELP及びTCXの他の全てのモードは、活性フレームに関連する。それ故、ビットストリーム内における専用のVADビットの存在は省略され得る。
付加されるコンフォートノイズのレベルは、了解度と品質を保存するために制限されるべきである。それ故、コンフォートノイズは予め決定された目標ノイズレベルに到達するまでスケールされる。コンフォートノイズ付加後の目標ノイズ振幅レベルをgtarで示す場合、ランダムノイズw(k)のエネルギーEwは各周波数kについて次式のように調整される。
Figure 2016500453
ここで、
Figure 2016500453
は周波数kにおいて復号化されたオーディオ出力内に存在するノイズエネルギーの推定値を示し、ノイズ推定モジュールによって出力されたものである。
典型的に、復号化済みオーディオ信号DSは、特に符号化アーチファクトが最も激しい低ビットレートにおいて、オリジナル入力信号よりも高い信号対ノイズ比を示す。スピーチ符号化におけるノイズレベルのこのような減衰は、入力としてスピーチを有することを想定しているソースモデルパラダイムに起因する。その他の場合には、ソースモデル符号化は全く適切ではなく、非スピーチ成分の全体エネルギーを再生できないであろう。それ故、図3に示された符号器を用いる本発明の第1の態様において、目標コンフォートノイズレベルgtarは、符号化プロセスによって固有に導入されたノイズ減衰を大まかに補償するために、ビットレートに依存して調整される。
図4及び図5に示された符号器を用いる本発明の第2の態様について、目標コンフォートノイズレベルgtarは、追加的に、符号器内のノイズ低減モジュールによって引き起こされるノイズ減衰を考慮に入れなければならない。
更に、本明細書で説明されるコンフォートノイズの付加によれば、全てのフレーム上にコンフォートノイズを均一に付加することで、一つの符号化タイプ(例えば)から別のタイプ(例えばTCX)への遷移アーチファクトを平滑化することが可能になる。
図3は、図1及び図2に示された復号器と組み合わせて使用し得る、従来技術に係る符号器を示す。
入力信号ISはビットストリーム符号器20によって直接的に符号化される。ビットストリーム符号器20はスピーチコーダであってもよく、又は、スピーチコーダACELPと変換ベースのオーディオコーダTCXとの間を切り替える低遅延スキームであってもよい。ビットストリーム符号器20は、信号ISを符号化する信号符号器21と、復号器1において復号化済み信号DSを生成するために必要なビットストリームBSを生成するビットストリーム生成部22とを含む。これと並行して、入力信号ISは信号分析器23と称されるモジュールによって分析され、そのモジュールはノイズ推定装置24を含む。好ましい一実施形態において、ノイズ推定装置24は、G.718において使用されるものと同じである。それは、スペクトル分析装置25と、後続のノイズ推定生成装置26とにより構成されている。オリジナル信号ISのスペクトルSIと推定されたノイズのスペクトルNIとは、ノイズ低減モジュール27に入力される。ノイズ低減モジュール27は、強化された周波数ドメイン信号FSにおける背景ノイズレベルを減衰させる。その低減量は、目標減衰レベル信号TASによって与えられる。強化された時間ドメイン信号(ノイズ低減済みオーディオ信号)TSは、スペクトル合成装置28によって実行されるスペクトル合成の後で生成される。信号TSは、活性フレームと不活性フレームとを区別するために信号活性度検出部29により活用されるピッチ安定度などの、幾つかの特徴を推論するために使用される。その分類の結果は、符号器モジュール18によってさらに利用されてもよい。好ましい実施形態において、特定の符号化モードが不活性フレームを取り扱うために使用される。このようにして、復号器1は、専用ビットを必要とせずに、ビットストリームから信号活性度フラグ(VADフラグ)を推論できる。
図4は本発明にかかる符号器18の第1実施形態を示す。図4に示された符号器18は図3に示された符号器18に基づいている。
図4の符号器18は、オーディオビットストリームBSを生成するよう構成され、符号器18は、
オーディオ入力信号ISに対応する符号化済みオーディオ信号ESを生成し、その符号化済みオーディオ信号ESからビットストリームBSを導出するよう構成されたビットストリーム符号器20と、
所望信号エネルギー推定部31により決定されたオーディオ入力信号ISの所望信号WSのエネルギーと、ノイズエネルギー推定部32により決定されたオーディオ入力信号ISのノイズNのエネルギーとに基づいて、オーディオ入力信号ISの信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部33を有する、信号分析部19と、
ノイズ低減済みオーディオ信号TSを生成するよう構成されたノイズ低減装置27、28と、
オーディオ入力信号ISの決定された信号対ノイズ比に依存して、オーディオ入力信号IS又はノイズ低減済みオーディオ信号TSのいずれかを、それぞれの信号IS、TSを符号化するために、ビットストリーム符号器20に対して供給するよう構成されたスイッチ装置35であって、ビットストリーム符号器20は、オーディオ入力信号IS又はノイズ低減済みオーディオ信号TSのどちらが符号化されているかを示すサイド情報を、ビットストリームの中で伝送するよう構成されている、スイッチ装置35と、を含む。
ビットストリーム符号器20は、オーディオ情報を含むデジタルデータ信号であるオーディオ信号を符号化できる装置またはコンピュータプログラムであってもよい。符号化処理の結果、デジタルビットストリームが生成され、それがデジタルデータリンクを介して遠位の復号器へと伝送されてもよい。
本発明の一実施形態の符号器部分を図4に示す。図3と比較した主な相違点は、ノイズ低減の出力、即ち強化された信号TSを符号化するという事実から生まれる。ノイズのない状態(明瞭なスピーチ又は明瞭な音楽)における不要な歪みを回避するために、ノイズ低減はノイズの多いスピーチの場合にのみ適用され、それ以外の場合には迂回される。ノイズが多い信号とノイズが無い信号との間の区別は、所望信号エネルギー推定部31により所望信号WS(スピーチ又は音楽)の長期間エネルギーを推定すること、及びノイズ推定部32によりノイズNの長期間エネルギーを推定することとによって達成される。この目的のため、所望信号エネルギー推定部31は、スペクトル分析装置25により供給される入力信号ISについてのスペクトル信号SIを受信する。さらに、ノイズエネルギー推定部は、ノイズ推定生成装置26により供給される入力信号ISについてのノイズ推定信号NIを受信する。活性フレームの期間中には、長期間スピーチ/音楽エネルギー推定WEだけが更新される。不活性フレームの期間中には、ノイズエネルギー推定NEだけが更新される。活性フレームの期間中は、長期間エネルギーは入力フレームエネルギーの一次の自己回帰フィルタリングにより計算され、一方で不活性フレームの期間中は、長期間エネルギーはノイズ推定モジュールの出力を使用して計算される。このようにして、信号対ノイズ比信号RSを信号対ノイズ比推定部33により計算することができ、その信号はノイズNの長期間エネルギーに対するスピーチ又は音楽WSの長期間エネルギーの比を含む。信号対ノイズ比信号RSはノイズ検出部34に供給され、その検出部は、現在のフレームがノイズの多いオーディオ信号を含むか又は明瞭なオーディオ信号を含むかについて決定する。信号対ノイズ比信号RSが所定の閾値を下回る場合、そのフレームはノイズの多いスピーチと認識され、その他の場合には明瞭なスピーチとして分類される。
分類の結果は、ノイズフラグ信号NFとして出力され、これはスイッチ35を制御するために使用される。更に、ノイズフラグ信号NFはビットストリーム符号器20へと供給される。ビットストリーム符号器20は、ノイズフラグ信号NFに基づいて、ビットストリーム内にサイド情報を生成しかつ伝送するよう構成されており、そのサイド情報は、オーディオ入力信号IS又はノイズ低減済みオーディオ信号TSのいずれが符号化されているかを示す。このフラグを復号化することで、復号器は、復号化済み信号DSをノイズの多い信号又は明瞭な信号として分類する必要なく、目標ノイズレベルを自動的に調整できる。
図5は、本発明にかかる符号器18の第2の実施形態を示す。図5に示された符号器18は、図4に示された符号器に基づいている。以下に追加的な特徴について説明する。図4では、信号分析部30は、入力信号ISについてのスペクトル信号SIとノイズ推定信号NIとを受け取る、信号活性度検出部36を含む。信号活性度検出部36は、上記2つの信号に基づいて、活性フレームと不活性フレームとを区別するよう構成されている。信号活性度検出部は信号活性度信号SAを生成し、その信号活性度信号SAは、一方では、ビットストリームBSを信号活性度に適合させる目的でビットストリーム符号器20へと送信され、他方では、スイッチ37を切り替えるために使用される。このスイッチ37は、信号対ノイズ比推定部33に対し、所望信号エネルギー信号WE又はノイズエネルギー信号ENを択一的に供給するよう構成されている。
図6は、本発明にかかるビットストリームBSのフレームフォーマットFFの一実施形態を示す。このフレームフォーマットFFに従うフレームは、0からnまでの位置に配置された複数ビットを有する信号ベクトルSVを含む。n+1の位置には、そのフレームが活性フレームか不活性フレームかを示す活性度フラグAFである1ビットが配置されている。更に、n+2の位置には、そのフレームがノイズの多い信号又は明瞭な信号を含むかを示すノイズフラグNFである1ビットが配置される。n+3の位置には、パディングビットPBが配置されている。
本発明の好ましい一実施形態において、現在フレームが活性であるか不活性であるかを示すサイド情報は、ビットストリーム内の少なくとも1つの専用ビットから構成されている。
要約すると、本発明の一態様においては、オリジナル信号が符号化され、復号器1において、人工的に生成されたコンフォートノイズCNによって付加される前にオリジナル信号が復号化される。コンフォートノイズ生成装置4は、サイド情報を全く必要としないか、又は極少量しか必要としない。第1実施形態において、コンフォートノイズ生成装置4はサイド情報を全く必要とせず、全ての処理は盲目的に実行される。その好ましい実施形態において、コンフォートノイズ生成装置4は、VAD情報(活性フレームと不活性フレームとの分類結果)をビットストリームBSから復元する必要があり、そのVAD情報は、ビットストリーム内に既に存在することができ、他の目的にも使用可能である。第3実施形態において、コンフォートノイズ生成装置4は、明瞭なスピーチとノイズの多いスピーチを区別するノイジースピーチフラグを符号器18から要求する。更に、コンフォートノイズ生成装置4の駆動を助成し得る、パラメトリック的に符号化されたいかなる種類の情報をも想定することができる。
本発明の他の態様において、ノイズ低減が最初にオリジナル信号ISに対して適用され、強化された信号TSがビットストリーム符号器20へと送られて、符号化されかつ送信される。復号化の最終段階において、人工的に生成されたコンフォートノイズCNが、復号化された(強化された)信号DSに付加される。符号器においてノイズ低減のために使用された目標減衰レベルは、復号器におけるCNGモジュールと共有される固定値である。それ故、目標減衰レベルは明示的に伝送される必要がない。
これまで装置を説明する文脈で幾つかの態様を示してきたが、これらの態様は対応する方法の説明でもあることは明らかであり、そのブロック又は装置が方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応する装置の対応するブロックもしくは項目又は特徴を表している。方法ステップの幾つか又は全ては、例えばマイクロプロセッサ、プログラム可能なコンピュータ、又は電子回路等のハードウエア装置により(を使用して)実行されても良い。幾つかの実施形態においては、最も重要な方法ステップの内の1つ又は複数のステップはそのような装置によって実行されても良い。
所定の構成要件にも依るが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納される電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する(又は協働可能な)、デジタル記憶媒体、例えばフレキシブルディスク,DVD,ブルーレイ,CD,ROM,PROM,EPROM,EEPROM,フラッシュメモリなどの非一時的記憶媒体を使用して実行することができる。従って、そのデジタル記憶媒体はコンピュータ読み取り可能であっても良い。
本発明に従う幾つかの実施形態は、上述した方法の1つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として構成することができ、このプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動する。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されていても良い。
本発明の他の実施形態は、上述した方法の1つを実行するための、機械読み取り可能なキャリアに記憶されたコンピュータプログラムを含む。
換言すれば、本発明の方法のある実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
本発明の他の実施形態は、上述した方法の1つを実行するために記録されたコンピュータプログラムを含む、データキャリア(又はデジタル記憶媒体又はコンピュータ読み取り可能な媒体)である。データキャリア、デジタル記憶媒体、または記録された媒体は、典型的には有形であり、及び/又は非一時的である。
本発明の他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットを介するデータ通信接続を介して伝送されるよう構成されても良い。
他の実施形態は、上述した方法の1つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。
他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
本発明によるさらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを受信機へと(例えば電子的または光学的に)転送するよう構成された装置またはシステムを含む。受信機は、例えばコンピュータ、携帯デバイス、メモリデバイスなどであってもよい。装置またはシステムは、例えばコンピュータプログラムを受信機へと転送するためのファイルサーバを備えてもよい。
幾つかの実施形態においては、(例えば書換え可能ゲートアレイのような)プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の1つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。
上述した実施形態は、本発明の原理を単に例示的に示したにすぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではなく、添付した特許請求の範囲によってのみ限定されるべきである。
1 復号器
2 ビットストリーム復号器
3 ノイズ推定装置
4 コンフォートノイズ生成装置
5 結合部
6 スペクトル分解装置
7 ノイズ推定生成装置
8 ノイズ生成部
9 スペクトル合成部
10 スイッチ装置
11 制御装置
12 ノイズ検出部
13 サイド情報受信部
14 所望信号エネルギー推定部
15 ノイズエネルギー推定部
16 信号対ノイズ比推定部
17 サイド情報受信部
17a スイッチ
18 符号器
19 信号分析部
20 ビットストリーム符号器
21 信号符号器
22 ビットストリーム生成部
23 信号分析部
24 ノイズ推定装置
25 スペクトル分析装置
26 ノイズ推定生成部
27 ノイズ低減モジュール
28 スペクトル合成装置
29 信号活性度検出部
30 信号分析部
31 所望信号エネルギー推定部
32 ノイズエネルギー推定部
33 信号対ノイズ比推定部
34 ノイズ検出部
35 スイッチ
36 信号活性度検出部
37 スイッチ
BS 符号化済みオーディオビットストリーム
DS 復号化済みオーディオ信号
NE ノイズ推定信号
N ノイズ
CN コンフォートノイズ
OS オーディオ出力信号
AS 分析信号
FD 周波数ドメインのコンフォートノイズ信号
ND ノイズ検出信号
TNL 目標コンフォートノイズレベル
IS 入力信号
ES 符号化済み信号
OW 所望信号エネルギー推定部の出力信号
ON ノイズエネルギー推定部の出力信号
SI 入力信号についてのスペクトル信号
NI 入力信号についてのノイズ推定信号
TAS 目標減衰信号
FS 強化された周波数ドメイン信号
TS ノイズ低減済みオーディオ信号
AD 活性度検出部信号
WE 所望信号エネルギー信号
EN ノイズエネルギー信号
RS 信号対ノイズ比信号
NF ノイズフラグ
SA 信号活性度信号
FF フレームフォーマット
SV 信号ベクトル
AF 活性度フラグ
NF ノイズフラグ信号
PB パディングビット
本発明の好ましい一実施形態において、復号化済みフレームは不活性フレームである。この特徴は、コンフォートノイズの付加の原理を復号化済み不活性フレームに拡張するものである。
本発明の好ましい一実施形態において、復号化済みフレームは不活性フレームである。この特徴は、コンフォートノイズの付加の原理を復号化済み不活性フレームに拡張するものである。
本発明の好ましい一実施形態において、復号器1は、スイッチ装置10を自動的に制御するよう構成された制御装置11を含み、その制御装置11は、復号化済みオーディオ信号DSの信号対ノイズ比に依存してスイッチ装置10を制御するよう構成されたノイズ検出部12を含み、復号器は、信号対ノイズ比が低い状況下では第1操作モードへ切り替えられ、信号対ノイズ比が高い状況下では第2操作モードへ切り替えられる。これらの特徴により、コンフォートノイズCNの使用は、ノイズの多いスピーチシナリオにおいてだけトリガーされてもよい。即ち、明瞭なスピーチ又は明瞭な音楽の状況においてはトリガーされない。信号対ノイズ比が低い状況と信号対ノイズ比が高い状況とを区別する目的で、信号対ノイズ比についての閾値が定義され使用されてもよい。
本発明の好ましい一実施形態において、制御装置11は、ビットストリームBS内に含まれた、復号化済みオーディオ信号DSの信号対ノイズ比に対応するサイド情報を受信し、ノイズ検出信号NDを生成するよう構成されたサイド情報受信部13を含み、ノイズ検出部12はそのノイズ検出信号NDに依存してスイッチ装置10を切り替える。これらの特徴により、受信されたビットストリームBSを生成及び/又は処理する外部装置によってなされた信号分析に基づいて、スイッチ装置10を制御することが可能になる。その外部装置は、特に、ビットストリームBSを生成している符号器であってもよい。
更に、本明細書で説明されるコンフォートノイズの付加によれば、全てのフレーム上にコンフォートノイズを均一に付加することで、一つの符号化タイプ(例えばACELP)から別のタイプ(例えばTCX)への遷移アーチファクトを平滑化することが可能になる。
図4の符号器18は、オーディオビットストリームBSを生成するよう構成され、符号器18は、
オーディオ入力信号ISに対応する符号化済みオーディオ信号ESを生成し、その符号化済みオーディオ信号ESからビットストリームBSを導出するよう構成されたビットストリーム符号器20と、
所望信号エネルギー推定部31により決定されたオーディオ入力信号ISの所望信号WSのエネルギーと、ノイズエネルギー推定部32により決定されたオーディオ入力信号ISのノイズNのエネルギーとに基づいて、オーディオ入力信号ISの信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部33を有する、信号分析部30と、
ノイズ低減済みオーディオ信号TSを生成するよう構成されたノイズ低減装置27、28と、
オーディオ入力信号ISの決定された信号対ノイズ比に依存して、オーディオ入力信号IS又はノイズ低減済みオーディオ信号TSのいずれかを、それぞれの信号IS、TSを符号化するために、ビットストリーム符号器20に対して供給するよう構成されたスイッチ装置35であって、ビットストリーム符号器20は、オーディオ入力信号IS又はノイズ低減済みオーディオ信号TSのどちらが符号化されているかを示すサイド情報を、ビットストリームの中で伝送するよう構成されている、スイッチ装置35と、を含む。
図5は、本発明にかかる符号器18の第2の実施形態を示す。図5に示された符号器18は、図4に示された符号器に基づいている。以下に追加的な特徴について説明する。図5では、信号分析部30は、入力信号ISについてのノイズ低減済みオーディオ信号TSとノイズ推定信号NIとを受け取る、信号活性度検出部36を含む。信号活性度検出部36は、上記2つの信号に基づいて、活性フレームと不活性フレームとを区別するよう構成されている。信号活性度検出部は信号活性度信号SAを生成し、その信号活性度信号SAは、一方では、ビットストリームBSを信号活性度に適合させる目的でビットストリーム符号器20へと送信され、他方では、スイッチ37を切り替えるために使用される。このスイッチ37は、信号対ノイズ比推定部33に対し、所望信号エネルギー信号WE又はノイズエネルギー信号ENを択一的に供給するよう構成されている。
要約すると、本発明の一態様においては、オリジナル信号が符号化され、復号器1において、人工的に生成されたコンフォートノイズCNによって付加される前にオリジナル信号が復号化される。コンフォートノイズ生成装置4は、サイド情報を全く必要としないか、又は極少量しか必要としない。第1実施形態において、コンフォートノイズ生成装置4はサイド情報を全く必要とせず、全ての処理は盲目的に実行される。その好ましい実施形態において、コンフォートノイズ生成装置4は、VAD情報(活性フレームと不活性フレームとの分類結果)をビットストリームBSから復元する必要があり、そのVAD情報は、ビットストリーム内に既に存在することができ、他の目的にも使用可能である。図1に示す実施形態において、復号器1は、明瞭なスピーチとノイズの多いスピーチを区別するノイズフラグを符号器18から要求する。更に、コンフォートノイズ生成装置4の駆動を助成し得る、パラメトリック的に符号化されたいかなる種類の情報をも想定することができる。

Claims (26)

  1. 符号化済みのオーディオビットストリーム(BS)を処理するよう構成された復号器(1)であって、
    前記ビットストリーム(BS)から復号化済みオーディオ信号(DS)を導出するよう構成されたビットストリーム復号器(2)であって、前記復号化済みオーディオ信号(DS)が少なくとも1つの復号化済みフレームを含む、ビットストリーム復号器(2)と、
    前記復号化済みオーディオ信号(DS)内のノイズ(N)のレベル及び/又はスペクトル形状の推定を含むノイズ推定信号(NE)を生成するよう構成されたノイズ推定装置(3)と、
    前記ノイズ推定信号(NE)からコンフォートノイズ信号(CN)を導出するよう構成されたコンフォートノイズ生成装置(4)と、
    前記復号化済みオーディオ信号(DS)の前記復号化済みフレームと前記コンフォートノイズ信号(CN)とを結合して、オーディオ出力信号(OS)を得るよう構成された結合部(5)と、
    を含む復号器(1)。
  2. 前記復号化済みフレームが活性フレームである、請求項1に記載の復号器。
  3. 前記復号化済みフレームが活性フレームである、請求項1又は2に記載の復号器。
  4. 前記ノイズ推定装置(3)は、前記復号化済みオーディオ信号(DS)内の前記ノイズ(N)のレベル及びスペクトル形状を含む分析信号(AS)を生成するよう構成されたスペクトル分析装置(6)と、前記分析信号(AS)に基づいてノイズ推定信号(NE)を生成するよう構成されたノイズ推定生成装置(7)とを含む、請求項1乃至3のいずれか一項に記載の復号器。
  5. 前記コンフォートノイズ生成装置(4)は、前記ノイズ推定信号(NE)に基づいて周波数ドメインのコンフォートノイズ信号(FD)を生成するよう構成されたノイズ生成部(8)と、前記周波数ドメインのコンフォートノイズ信号(FD)に基づいて前記コンフォートノイズ信号(CN)を生成するよう構成されたスペクトル合成部(9)とを含む、請求項1乃至4のいずれか一項に記載の復号器。
  6. 前記復号器(1)は、第1操作モード又は第2操作モードへと択一的に前記復号器を切り替えるよう構成されたスイッチ装置(10)を含み、前記第1操作モードにおいては前記コンフォートノイズ信号(CN)が前記結合部(5)へ供給され、前記第2操作モードにおいては前記コンフォートノイズ信号(CN)が前記結合部(5)へ供給されない、請求項1乃至5のいずれか一項に記載の復号器。
  7. 前記復号器(1)は、前記スイッチ装置(10)を自動的に制御するよう構成された制御装置(11)を含み、前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の信号対ノイズ比に依存して前記スイッチ装置(11)を制御するよう構成されたノイズ検出部(12)を含み、前記復号器(1)は、信号対ノイズ比が低い状況下では前記第1操作モードへと切り替えられ、信号対ノイズ比が高い状況下では前記第2操作モードへと切り替えられる、請求項6に記載の復号器。
  8. 前記制御装置(11)は、前記ビットストリーム(BS)内に含まれた、前記復号化済みオーディオ信号(DS)の前記信号対ノイズ比に対応するサイド情報を受信し、ノイズ検出信号(ND)を生成するよう構成されたサイド情報受信部(13)を含み、前記ノイズ検出部(12)は、前記ノイズ検出信号(ND)に依存して前記スイッチ装置(11)を切り替える、請求項7に記載の復号器。
  9. 前記復号化済みオーディオ信号(DS)の信号対ノイズ比に対応するサイド情報は、前記ビットストリーム(BS)内の少なくとも1つの専用ビットから構成される、請求項8に記載の復号器。
  10. 前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の所望信号(WS)のエネルギーを決定するよう構成された所望信号エネルギー推定部(14)と、前記復号化済みオーディオ信号(DS)のノイズ(N)のエネルギーを決定するよう構成されたノイズエネルギー推定部(15)と、前記所望信号(WS)のエネルギーと前記ノイズ(N)のエネルギーとに基づいて前記復号化済みオーディオ信号(DS)の信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部(16)と、を含み、前記制御装置(11)によって決定された前記信号対ノイズ比に依存して前記スイッチ装置(11)が切り替えられる、請求項7乃至9のいずれか一項に記載の復号器。
  11. 前記ビットストリームは活性フレームと不活性フレームとを含み、前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の前記所望信号(WS)のエネルギーを前記活性フレームの期間中に決定し、前記復号化済みオーディオ信号(DS)の前記ノイズ(N)のエネルギーを前記不活性フレームの期間中に決定するよう構成されている、請求項7乃至10のいずれか一項に記載の復号器。
  12. 前記ビットストリームは活性フレームと不活性フレームとを含み、前記復号器(1)はサイド情報受信部(17)を含み、前記サイド情報受信部(17)は、前記ビットストリーム(BS)内の現在のフレームが活性か不活性かを示すサイド情報に基づいて、前記活性フレームと前記不活性フレームとを区別するよう構成されている、請求項1乃至11のいずれか一項に記載の復号器。
  13. 前記現在のフレームが活性か不活性かを示すサイド情報は、前記ビットストリーム(BS)内の少なくとも1つの専用ビットから構成されている、請求項12に記載の復号器。
  14. 前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の前記所望信号(WS)のエネルギーを、前記分析信号(AS)に基づいて決定するよう構成されている、請求項4及び請求項7乃至13のいずれか一項に記載の復号器。
  15. 前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の前記ノイズ(N)のエネルギーを、前記ノイズ推定信号(NE)に基づいて決定するよう構成されている、請求項7乃至14のいずれか一項に記載の復号器。
  16. 前記コンフォートノイズ生成装置(4)は、目標コンフォートノイズレベル信号(TNL)に基づいて前記コンフォートノイズ信号(CN)を生成するよう構成されている、請求項1乃至15のいずれか一項に記載の復号器。
  17. 前記目標コンフォートノイズレベル信号(TNL)は、前記ビットストリーム(BS)のビットレートに依存して調整される、請求項16に記載の復号器。
  18. 前記目標コンフォートノイズレベル信号(TNL)は、前記ビットストリーム(BS)に適用されたノイズ低減方法によって引き起こされたノイズ減衰レベルに依存して調整される、請求項15又は17に記載の復号器。
  19. 前記周波数ドメインのコンフォートノイズ信号(FD)の周波数帯域kのエネルギーEw(k)は、前記目標コンフォートノイズレベル信号(TNL)に依存して調整され、前記目標コンフォートノイズレベル信号(TNL)は目標コンフォートノイズレベルgtarを示し、各周波数帯域kについて、
    Figure 2016500453
    であり、ここで、
    Figure 2016500453
    は、前記ノイズ推定生成装置(7)によって供給された、前記周波数帯域kにおける前記復号化済みオーディオ信号(DS)の前記ノイズNのエネルギーの推定を示す、請求項16乃至18のいずれか一項に記載の復号器。
  20. 前記復号器(1)は更なるビットストリーム復号器を含み、前記ビットストリーム復号器(2)と前記更なるビットストリーム復号器とは異なるタイプのものであり、前記復号器(1)はスイッチを含み、そのスイッチは、前記ビットストリーム復号器(2)からの前記復号化済み信号(DS)、又は前記更なるビットストリーム復号器からの復号化済み信号のいずれかを、前記ノイズ推定装置(3)と前記結合部(5)とに供給するよう構成されている、請求項1乃至19のいずれか一項に記載の復号器。
  21. オーディオビットストリーム(BS)を生成するよう構成された符号器(18)であって、
    オーディオ入力信号(IS)に対応する符号化済みオーディオ信号(ES)を生成し、前記符号化済みオーディオ信号(ES)から前記ビットストリーム(BS)を導出するよう構成されたビットストリーム符号器(20)と、
    所望信号エネルギー推定部(31)により決定された前記オーディオ入力信号(IS)の所望信号のエネルギーとノイズエネルギー推定部(32)により決定された前記オーディオ入力信号(IS)のノイズのエネルギーとに基づいて、前記オーディオ入力信号(IS)の信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部(33)を有する、信号分析部(30)と、
    ノイズ低減済みオーディオ信号(TS)を生成するよう構成されたノイズ低減装置(27,28)と、
    前記オーディオ入力信号(IS)の決定された信号対ノイズ比に依存して、前記オーディオ入力信号(IS)又は前記ノイズ低減済みオーディオ信号(TS)のいずれかを、それぞれの信号(IS,TS)を符号化するために、前記ビットストリーム符号器(20)に対して供給するよう構成されたスイッチ装置(35)であって、前記ビットストリーム符号器(20)は、前記オーディオ入力信号(IS)又は前記ノイズ低減済みオーディオ信号(TS)のどちらが符号化されているかを示すサイド情報(NF)を前記ビットストリーム(BS)内で伝送するよう構成されている、スイッチ装置(35)と、
    を含む符号器(18)。
  22. 復号器(1)と符号器(18)とを含むシステムであって、前記復号器(1)が請求項1乃至19のいずれか一項に記載のように設計され、及び/又は前記符号器(18)が請求項21に記載のように設計されている、システム。
  23. オーディオビットストリーム(BS)を復号化する方法であって、
    前記ビットストリーム(BS)から復号化済みオーディオ信号(DS)を導出するステップであって、前記復号化済みオーディオ信号(DS)が少なくとも1つの復号化済みフレームを含むステップと、
    前記復号化済みオーディオ信号(DS)内のノイズ(N)のレベル及び/又はスペクトル形状の推定を含むノイズ推定信号(NE)を生成するステップと、
    前記ノイズ推定信号(NE)からコンフォートノイズ信号(CN)を導出するステップと、
    前記復号化済みオーディオ信号(DS)の前記復号化済みフレームと前記コンフォートノイズ信号(CN)とを結合して、オーディオ出力信号(OS)を得るステップと、
    を含む方法。
  24. オーディオビットストリーム(BS)を生成するためのオーディオ信号符号化の方法であって、
    オーディオ入力信号(IS)の所望信号(WS)の決定されたエネルギーと前記オーディオ入力信号(IS)のノイズ(N)の決定されたエネルギーとに基づいて、前記オーディオ入力信号(IS)の信号対ノイズ比を決定するステップと、
    ノイズ低減済みオーディオ信号(TS)を生成するステップと、
    前記オーディオ入力信号(IS)と対応する符号化済みオーディオ信号(ES)を生成するステップであって、前記オーディオ入力信号(IS)の決定された信号対ノイズ比に依存して、前記オーディオ入力信号(IS)と前記ノイズ低減済みオーディオ信号(TS)とのいずれかを符号化するステップと、
    前記符号化済みオーディオ信号(ES)から前記ビットストリーム(BS)を導出するステップと、
    前記オーディオ入力信号(IS)又は前記ノイズ低減済みオーディオ信号(TS)のどちらが符号化されているかを示すサイド情報(NF)を、前記ビットストリーム(BS)内で伝送するステップと、
    を含む方法。
  25. 請求項24に記載の方法に従って生成されたビットストリーム。
  26. コンピュータ又はプロセッサ上で作動したときに、請求項23又は24の方法を実行するためのコンピュータプログラム。
JP2015548606A 2012-12-21 2013-12-19 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加 Active JP6335190B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261740883P 2012-12-21 2012-12-21
US61/740,883 2012-12-21
PCT/EP2013/077527 WO2014096280A1 (en) 2012-12-21 2013-12-19 Comfort noise addition for modeling background noise at low bit-rates

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018000043A Division JP6849619B2 (ja) 2012-12-21 2018-01-04 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加

Publications (2)

Publication Number Publication Date
JP2016500453A true JP2016500453A (ja) 2016-01-12
JP6335190B2 JP6335190B2 (ja) 2018-05-30

Family

ID=49883094

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015548606A Active JP6335190B2 (ja) 2012-12-21 2013-12-19 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加
JP2018000043A Active JP6849619B2 (ja) 2012-12-21 2018-01-04 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加
JP2021034012A Active JP7297803B2 (ja) 2012-12-21 2021-03-04 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2018000043A Active JP6849619B2 (ja) 2012-12-21 2018-01-04 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加
JP2021034012A Active JP7297803B2 (ja) 2012-12-21 2021-03-04 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加

Country Status (20)

Country Link
US (3) US10147432B2 (ja)
EP (1) EP2936486B1 (ja)
JP (3) JP6335190B2 (ja)
KR (2) KR102167541B1 (ja)
CN (2) CN105210148B (ja)
AR (1) AR094279A1 (ja)
AU (1) AU2013366552B2 (ja)
BR (1) BR112015014217B1 (ja)
CA (2) CA2895391C (ja)
ES (1) ES2688021T3 (ja)
HK (1) HK1217244A1 (ja)
MX (1) MX366279B (ja)
MY (1) MY178710A (ja)
PL (1) PL2936486T3 (ja)
PT (1) PT2936486T (ja)
RU (1) RU2633107C2 (ja)
SG (1) SG11201504899XA (ja)
TW (1) TWI553629B (ja)
WO (1) WO2014096280A1 (ja)
ZA (1) ZA201505191B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2633107C2 (ru) * 2012-12-21 2017-10-11 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Добавление комфортного шума для моделирования фонового шума при низких скоростях передачи данных
EP2980790A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for comfort noise generation mode selection
EP2980801A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals
US10958695B2 (en) * 2016-06-21 2021-03-23 Google Llc Methods, systems, and media for recommending content based on network conditions
CN108012148B (zh) * 2018-01-16 2023-12-22 吉林省广播电视研究所(吉林省新闻出版广电局科技信息中心) 广播电视音频质量实时监测并自动切换的装置及方法
CA3134792A1 (en) * 2019-04-15 2020-10-22 Dolby International Ab Dialogue enhancement in audio codec
US11146607B1 (en) * 2019-05-31 2021-10-12 Dialpad, Inc. Smart noise cancellation
EP3997697A4 (en) * 2019-07-08 2023-09-06 VoiceAge Corporation METHOD AND SYSTEM FOR ENCODING METADATA IN AUDIO DATA STREAMS AND FOR EFFICIENT BIT RATE ALLOCATION FOR ENCODING AUDIO DATA STREAMS
GB2596138A (en) * 2020-06-19 2021-12-22 Nokia Technologies Oy Decoder spatial comfort noise generation for discontinuous transmission operation
CN117223054A (zh) * 2021-04-29 2023-12-12 沃伊斯亚吉公司 经解码的声音信号中的多声道舒适噪声注入的方法及设备
US11915698B1 (en) * 2021-09-29 2024-02-27 Amazon Technologies, Inc. Sound source localization

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205485A (ja) * 1998-01-13 1999-07-30 Nec Corp モデム信号対応音声符号化復号化装置
JP2003522964A (ja) * 1998-05-11 2003-07-29 コネクサント システムズ, インコーポレイテッド 背景ノイズが共存する符号化音声の品質を向上させるためのシステムおよび方法
JP2004077961A (ja) * 2002-08-21 2004-03-11 Oki Electric Ind Co Ltd 音声復号装置
JP2005114890A (ja) * 2003-10-06 2005-04-28 Alpine Electronics Inc オーディオ信号圧縮装置
JP2007065636A (ja) * 2005-08-31 2007-03-15 Motorola Inc 音声通信システムにおいて快適雑音を生成する方法および装置
WO2011049515A1 (en) * 2009-10-19 2011-04-28 Telefonaktiebolaget Lm Ericsson (Publ) Method and voice activity detector for a speech encoder
JP2011516901A (ja) * 2008-01-28 2011-05-26 クゥアルコム・インコーポレイテッド 受信機を使用するコンテキスト抑圧のためのシステム、方法、および装置
WO2012055016A1 (en) * 2010-10-25 2012-05-03 Voiceage Corporation Coding generic audio signals at low bitrates and low delay

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5537509A (en) 1990-12-06 1996-07-16 Hughes Electronics Comfort noise generation for digital communication systems
DE69233502T2 (de) * 1991-06-11 2006-02-23 Qualcomm, Inc., San Diego Vocoder mit veränderlicher Bitrate
US5630016A (en) 1992-05-28 1997-05-13 Hughes Electronics Comfort noise generation for digital communication systems
US5657422A (en) * 1994-01-28 1997-08-12 Lucent Technologies Inc. Voice activity detection driven noise remediator
FI101439B (fi) 1995-04-13 1998-06-15 Nokia Telecommunications Oy Transkooderi, jossa on tandem-koodauksen esto
EP0756267A1 (en) 1995-07-24 1997-01-29 International Business Machines Corporation Method and system for silence removal in voice communication
US6167375A (en) * 1997-03-17 2000-12-26 Kabushiki Kaisha Toshiba Method for encoding and decoding a speech signal including background noise
US6424938B1 (en) * 1998-11-23 2002-07-23 Telefonaktiebolaget L M Ericsson Complex signal activity detection for improved speech/noise classification of an audio signal
RU2237296C2 (ru) 1998-11-23 2004-09-27 Телефонактиеболагет Лм Эрикссон (Пабл) Кодирование речи с функцией изменения комфортного шума для повышения точности воспроизведения
US8583427B2 (en) * 1999-11-18 2013-11-12 Broadcom Corporation Voice and data exchange over a packet based network with voice detection
US20070110042A1 (en) 1999-12-09 2007-05-17 Henry Li Voice and data exchange over a packet based network
JP2001318694A (ja) * 2000-05-10 2001-11-16 Toshiba Corp 信号処理装置、信号処理方法および記録媒体
US6873604B1 (en) 2000-07-31 2005-03-29 Cisco Technology, Inc. Method and apparatus for transitioning comfort noise in an IP-based telephony system
US6615169B1 (en) 2000-10-18 2003-09-02 Nokia Corporation High frequency enhancement layer coding in wideband speech codec
US6807525B1 (en) 2000-10-31 2004-10-19 Telogy Networks, Inc. SID frame detection with human auditory perception compensation
DE60029147T2 (de) * 2000-12-29 2007-05-31 Nokia Corp. Qualitätsverbesserung eines audiosignals in einem digitalen netzwerk
US20030120484A1 (en) * 2001-06-12 2003-06-26 David Wong Method and system for generating colored comfort noise in the absence of silence insertion description packets
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
CA2392640A1 (en) * 2002-07-05 2004-01-05 Voiceage Corporation A method and device for efficient in-based dim-and-burst signaling and half-rate max operation in variable bit-rate wideband speech coding for cdma wireless systems
CA2501368C (en) 2002-10-11 2013-06-25 Nokia Corporation Methods and devices for source controlled variable bit-rate wideband speech coding
GB0326263D0 (en) * 2003-11-11 2003-12-17 Nokia Corp Speech codecs
CA2454296A1 (en) 2003-12-29 2005-06-29 Nokia Corporation Method and device for speech enhancement in the presence of background noise
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
US7649988B2 (en) 2004-06-15 2010-01-19 Acoustic Technologies, Inc. Comfort noise generator using modified Doblinger noise estimate
US7454010B1 (en) 2004-11-03 2008-11-18 Acoustic Technologies, Inc. Noise reduction and comfort noise gain control using bark band weiner filter and linear attenuation
JP4551817B2 (ja) * 2005-05-20 2010-09-29 Okiセミコンダクタ株式会社 ノイズレベル推定方法及びその装置
US7693708B2 (en) 2005-06-18 2010-04-06 Nokia Corporation System and method for adaptive transmission of comfort noise parameters during discontinuous speech transmission
JP5009910B2 (ja) * 2005-07-22 2012-08-29 フランス・テレコム レートスケーラブル及び帯域幅スケーラブルオーディオ復号化のレートの切り替えのための方法
US20070064681A1 (en) * 2005-09-22 2007-03-22 Motorola, Inc. Method and system for monitoring a data channel for discontinuous transmission activity
US9185487B2 (en) 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
US8744844B2 (en) 2007-07-06 2014-06-03 Audience, Inc. System and method for adaptive intelligent noise suppression
US8032370B2 (en) * 2006-05-09 2011-10-04 Nokia Corporation Method, apparatus, system and software product for adaptation of voice activity detection parameters based on the quality of the coding modes
WO2008022181A2 (en) * 2006-08-15 2008-02-21 Broadcom Corporation Updating of decoder states after packet loss concealment
CN101149921B (zh) * 2006-09-21 2011-08-10 展讯通信(上海)有限公司 一种静音检测方法和装置
US9966085B2 (en) * 2006-12-30 2018-05-08 Google Technology Holdings LLC Method and noise suppression circuit incorporating a plurality of noise suppression techniques
PL2118889T3 (pl) * 2007-03-05 2013-03-29 Ericsson Telefon Ab L M Sposób i sterownik do wygładzania stacjonarnego szumu tła
CA2690433C (en) * 2007-06-22 2016-01-19 Voiceage Corporation Method and device for sound activity detection and sound signal classification
US8090588B2 (en) * 2007-08-31 2012-01-03 Nokia Corporation System and method for providing AMR-WB DTX synchronization
US8139777B2 (en) 2007-10-31 2012-03-20 Qnx Software Systems Co. System for comfort noise injection
KR101185711B1 (ko) * 2008-01-04 2012-09-24 인터디지탈 패튼 홀딩스, 인크 이볼브드 무선 시스템에서의 회선 교환 음성 애플리케이션의 데이터 레이트를 제어하는 방법
DE102008009719A1 (de) 2008-02-19 2009-08-20 Siemens Enterprise Communications Gmbh & Co. Kg Verfahren und Mittel zur Enkodierung von Hintergrundrauschinformationen
US20090222268A1 (en) 2008-03-03 2009-09-03 Qnx Software Systems (Wavemakers), Inc. Speech synthesis system having artificial excitation signal
CN101483495B (zh) * 2008-03-20 2012-02-15 华为技术有限公司 一种背景噪声生成方法以及噪声处理装置
CN101335000B (zh) 2008-03-26 2010-04-21 华为技术有限公司 编码的方法及装置
WO2009135532A1 (en) * 2008-05-09 2009-11-12 Nokia Corporation An apparatus
ES2654433T3 (es) * 2008-07-11 2018-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificador de señal de audio, método para codificar una señal de audio y programa informático
EP2144230A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
TWI419148B (zh) 2008-10-08 2013-12-11 Fraunhofer Ges Forschung 多解析度切換音訊編碼/解碼方案
EP2446539B1 (en) 2009-06-23 2018-04-11 Voiceage Corporation Forward time-domain aliasing cancellation with application in weighted or original signal domain
ES2441069T3 (es) * 2009-10-08 2014-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decodificador multimodo para señal de audio, codificador multimodo para señal de audio, procedimiento y programa de computación que usan un modelado de ruido en base a linealidad-predicción-codificación
CN102667927B (zh) * 2009-10-19 2013-05-08 瑞典爱立信有限公司 语音活动检测的方法和背景估计器
MX2012004648A (es) * 2009-10-20 2012-05-29 Fraunhofer Ges Forschung Codificacion de señal de audio, decodificador de señal de audio, metodo para codificar o decodificar una señal de audio utilizando una cancelacion del tipo aliasing.
CN102063905A (zh) * 2009-11-13 2011-05-18 数维科技(北京)有限公司 一种用于音频解码的盲噪声填充方法及其装置
US8379151B2 (en) * 2010-03-24 2013-02-19 Floreat, Inc. Synchronization of audio and video streams
ES2860986T3 (es) * 2010-12-24 2021-10-05 Huawei Tech Co Ltd Método y aparato para detectar adaptivamente una actividad de voz en una señal de audio de entrada
CN102136271B (zh) * 2011-02-09 2012-07-04 华为技术有限公司 舒适噪声生成器、方法及回声抵消装置
MX2013009305A (es) 2011-02-14 2013-10-03 Fraunhofer Ges Forschung Generacion de ruido en codecs de audio.
US20120237048A1 (en) * 2011-03-14 2012-09-20 Continental Automotive Systems, Inc. Apparatus and method for echo suppression
WO2012169133A1 (ja) * 2011-06-09 2012-12-13 パナソニック株式会社 音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法
ES2661924T3 (es) * 2012-08-31 2018-04-04 Telefonaktiebolaget Lm Ericsson (Publ) Método y dispositivo para detectar la actividad vocal
RU2633107C2 (ru) 2012-12-21 2017-10-11 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Добавление комфортного шума для моделирования фонового шума при низких скоростях передачи данных
JP6180544B2 (ja) * 2012-12-21 2017-08-16 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオ信号の不連続伝送における高スペクトル−時間分解能を持つコンフォートノイズの生成
US9106196B2 (en) * 2013-06-20 2015-08-11 2236008 Ontario Inc. Sound field spatial stabilizer with echo spectral coherence compensation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205485A (ja) * 1998-01-13 1999-07-30 Nec Corp モデム信号対応音声符号化復号化装置
JP2003522964A (ja) * 1998-05-11 2003-07-29 コネクサント システムズ, インコーポレイテッド 背景ノイズが共存する符号化音声の品質を向上させるためのシステムおよび方法
JP2004077961A (ja) * 2002-08-21 2004-03-11 Oki Electric Ind Co Ltd 音声復号装置
JP2005114890A (ja) * 2003-10-06 2005-04-28 Alpine Electronics Inc オーディオ信号圧縮装置
JP2007065636A (ja) * 2005-08-31 2007-03-15 Motorola Inc 音声通信システムにおいて快適雑音を生成する方法および装置
JP2011516901A (ja) * 2008-01-28 2011-05-26 クゥアルコム・インコーポレイテッド 受信機を使用するコンテキスト抑圧のためのシステム、方法、および装置
WO2011049515A1 (en) * 2009-10-19 2011-04-28 Telefonaktiebolaget Lm Ericsson (Publ) Method and voice activity detector for a speech encoder
WO2012055016A1 (en) * 2010-10-25 2012-05-03 Voiceage Corporation Coding generic audio signals at low bitrates and low delay

Also Published As

Publication number Publication date
ES2688021T3 (es) 2018-10-30
JP2021092816A (ja) 2021-06-17
AU2013366552A1 (en) 2015-07-16
CN105210148A (zh) 2015-12-30
MX366279B (es) 2019-07-03
US20180342253A1 (en) 2018-11-29
JP6849619B2 (ja) 2021-03-24
KR20150107751A (ko) 2015-09-23
MX2015007854A (es) 2016-02-05
CN111145767A (zh) 2020-05-12
RU2633107C2 (ru) 2017-10-11
JP6335190B2 (ja) 2018-05-30
JP2018084834A (ja) 2018-05-31
CN105210148B (zh) 2020-06-30
CN111145767B (zh) 2023-07-25
PT2936486T (pt) 2018-10-19
CA2895391A1 (en) 2014-06-26
KR20170001751A (ko) 2017-01-04
US20150364144A1 (en) 2015-12-17
BR112015014217A2 (pt) 2018-06-26
CA2895391C (en) 2019-08-06
TWI553629B (zh) 2016-10-11
HK1217244A1 (zh) 2016-12-30
PL2936486T3 (pl) 2018-12-31
CA2948015A1 (en) 2014-06-26
US20200013417A1 (en) 2020-01-09
US10789963B2 (en) 2020-09-29
US10339941B2 (en) 2019-07-02
US10147432B2 (en) 2018-12-04
CA2948015C (en) 2018-03-20
RU2015129782A (ru) 2017-01-27
KR101692659B1 (ko) 2017-01-03
EP2936486A1 (en) 2015-10-28
BR112015014217B1 (pt) 2021-11-03
ZA201505191B (en) 2016-07-27
JP7297803B2 (ja) 2023-06-26
WO2014096280A1 (en) 2014-06-26
MY178710A (en) 2020-10-20
AR094279A1 (es) 2015-07-22
AU2013366552B2 (en) 2017-03-02
SG11201504899XA (en) 2015-07-30
KR102167541B1 (ko) 2020-10-19
TW201432671A (zh) 2014-08-16
EP2936486B1 (en) 2018-07-18

Similar Documents

Publication Publication Date Title
JP7297803B2 (ja) 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加
US10249310B2 (en) Audio decoder and method for providing a decoded audio information using an error concealment modifying a time domain excitation signal
US10262662B2 (en) Audio decoder and method for providing a decoded audio information using an error concealment based on a time domain excitation signal
JP2023022101A (ja) 時間領域デコーダにおける量子化雑音を低減するためのデバイスおよび方法
JP2021131569A (ja) セカンダリチャンネルを符号化するためにプライマリチャンネルのコーディングパラメータを使用するステレオ音声信号を符号化するための方法およびシステム
US20200381001A1 (en) Concept for switching of sampling rates at audio processing devices
JP6180544B2 (ja) オーディオ信号の不連続伝送における高スペクトル−時間分解能を持つコンフォートノイズの生成
KR102099293B1 (ko) 오디오 인코더 및 오디오 신호를 인코딩하는 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150730

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150803

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20150730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160927

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180104

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180427

R150 Certificate of patent or registration of utility model

Ref document number: 6335190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250