JP2017062512A - オーディオ・データを処理するための方法、装置、及びシステム - Google Patents

オーディオ・データを処理するための方法、装置、及びシステム Download PDF

Info

Publication number
JP2017062512A
JP2017062512A JP2016252612A JP2016252612A JP2017062512A JP 2017062512 A JP2017062512 A JP 2017062512A JP 2016252612 A JP2016252612 A JP 2016252612A JP 2016252612 A JP2016252612 A JP 2016252612A JP 2017062512 A JP2017062512 A JP 2017062512A
Authority
JP
Japan
Prior art keywords
noise
band
sid
current
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016252612A
Other languages
English (en)
Other versions
JP6462653B2 (ja
Inventor
▲ジョ▼ 王
Zhe Wang
▲ジョ▼ 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2017062512A publication Critical patent/JP2017062512A/ja
Application granted granted Critical
Publication of JP6462653B2 publication Critical patent/JP6462653B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012Comfort noise or silence coding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/22Mode decision, i.e. based on audio signal content versus external parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • G10L19/265Pre-filtering, e.g. high frequency emphasis prior to encoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Noise Elimination (AREA)

Abstract

【課題】 本発明は、オーディオ・データを処理するための方法、装置、及びシステムを開示し、通信技術の分野に関する。
【解決手段】 この方法は、オーディオ信号の雑音フレームを取得し、雑音フレームを雑音低帯域信号及び雑音高帯域信号に分解することと、第1の非連続送信機構を用いることによって雑音低帯域信号を符号化及び送信し、第2の非連続送信機構を用いることによって雑音高帯域信号を符号化及び送信することと、を含む。本発明に従って、高帯域信号及び低帯域信号に異なる処理方法を用い、コーデックの本質的な品質を低下させないという前提のもとに計算の複雑さを軽減して符号化ビットを節約することができ、節約したビットは、送信帯域幅を縮小するか又は全体的な符号化品質を向上させる目的の達成に役立てることができる。
【選択図】図1

Description

本発明は通信技術の分野に関し、具体的には、オーディオ・データを処理するための方法、装置、及びシステムに関する。
デジタル通信の分野において、移動電話通話、オーディオ/ビデオ会議、放送用テレビ、及びマルチメディア娯楽等、音声、画像、オーディオ、及びビデオの送信を幅広く利用しようという要求がある。音声はデジタル化され、次いである端末から別の端末へ音声通話通信ネットワークを介して転送される。本明細書において、端末とは、移動電話、デジタル電話端末、又は音声通話向け端末、又は他のいずれかのタイプである場合がある。デジタル電話端末の例は、VoIP電話又はISDN電話、コンピュータ、及びケーブル通信電話である。オーディオ信号を記憶又は送信するプロセスに占有されるリソースを低減させるため、送信端はオーディオ信号を受信端に送信する前にオーディオ信号に圧縮処理を行い、受信端は伸張処理を行ってオーディオ信号を復元しオーディオ信号を再生する。
音声通話向け通信においては、音声は時間の約40%に含まれるに過ぎず、他の時間は単に無音又は背景雑音があるだけである。無音又は背景雑音期間において送信帯域幅を節約し不必要な帯域幅の消費を回避するため、DTX/CNG(Discontinuous transmission system/Comfort noise Generation)技術が出現している。簡単に言うとDTX/CNGは、雑音フレームを連続的に符号化せず、特定のポリシーに従って雑音/無音期間中はいくつかのフレーム間隔に1度のみ符号化を行うことを意味する。この場合、符号化ビット・レートは概して音声フレーム符号化のビット・レートよりもはるかに低い。かかる低レートで符号化される雑音フレームはSID(Silence Insertion Descriptor、無音挿入記述子フレーム)と称される。デコーダは、非連続的に受信したSIDに従って復号化端において連続的な背景雑音フレームを復元する。かかる連続的に復元した背景雑音は、復号化端の背景雑音の忠実な再生ではなく、聴取における品質低下の発生をできる限り回避して、ユーザに雑音が聞こえた場合でも快適に感じることを目的とするものである。復元した背景雑音はCN(Comfort Noise、快適雑音)と称され、復号化端においてCNを復元するための方法は快適雑音生成と称される。
従来技術において、ITU−T G.718は新しい標準的な広帯域コーデック規格であり、広帯域DTX/CNGシステムを含む。この標準規格に従うシステムは、固定間隔に従ってSIDを送信することができ、推定雑音レベルに従ってSID送信間隔を適応的に調節することができる。G.718のSIDフレームは16のISPパラメータ及び励起エネルギ・パラメータを含む。このISP(Immittance Spectral Pair)パラメータ群は、全ての広帯域帯域幅のスペクトル包絡線を表し、このISPパラメータ群が表す分析フィルタによって励起エネルギを取得する。復号化端において、G.718は、CNG状態となるようにSIDを復号化処理することで取得されるISPパラメータに従って、CNGに必要なLPC係数を推定し、SIDフレームを復号化処理することで取得される励起エネルギ・パラメータに従って、CNGに必要な励起エネルギを推定し、利得調整した白色雑音を用いてCNG合成フィルタを励起して再構築されたCNを取得する。
しかしながら、超広帯域スペクトル包絡線では、超広帯域の帯域幅は極めて広い。従来技術を超広帯域DTX/CNGシステムに拡張した場合、数十個の追加的なISPパラメータを計算し符号化するために、更に多くの計算負荷及びビットを消費する必要がある。なぜなら、SIDのために完全な超広帯域スペクトル包絡線を符号化する必要があるからである。雑音の高帯域信号(これは本明細書において広帯域よりも高い周波数位置に有る周波数範囲を指す)は、概して人間が聴取した際の知覚的な感度が高くない帯域信号であるので、この帯域信号部分のために消費される計算負荷及びビットは費用対効果が小さく、このためコーデックの符号化効率が低下してしまう。
超広帯域符号化及び送信の問題を解決するため、本発明の実施形態は、オーディオ・データを処理するための方法、デバイス、及びシステムを提供する。この技術的解決策は以下の通りである。
本発明を実施するための一態様によれば、オーディオ・データを処理するための方法が提供され、これは、
オーディオ信号の雑音フレームを取得し、当該雑音フレームを雑音低帯域信号及び雑音高帯域信号に分解する処理動作と、
第1の非連続送信機構を用いることによって当該雑音低帯域信号を符号化した上で、当該符号化された後の当該雑音低帯域信号を当該第1の非連続送信機構を使用して送信し、第2の非連続送信機構を用いることによって当該雑音高帯域信号を符号化した上で、当該符号化された後の当該雑音高帯域信号を当該第2の非連続送信機構を使用して送信する処理動作であって、当該第1の非連続送信機構の第1の無音挿入記述子フレーム(SID)を送出するためのポリシーが、当該第2の非連続送信機構の第2のSIDを送出するためのポリシーとは異なり、又は、当該第1の非連続送信機構の第1のSIDを符号化するためのポリシーが、当該第2の非連続送信機構の第2のSIDを符号化するためのポリシーとは異なる、処理動作と、
を含む。
本発明を実施するための一態様によれば、オーディオ・データを処理するための方法が提供され、これは、
デコーダによって、SIDを取得し、当該SIDが低帯域パラメータ及び/又は高帯域パラメータを含むことを判定する処理動作と、
当該SIDが当該低帯域パラメータを含む場合、当該SIDを復号化処理して雑音低帯域パラメータを取得し、雑音高帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音低帯域パラメータ及び当該ローカルに発生した雑音高帯域パラメータに従って第1の快適雑音(CN)フレームを取得する処理動作と、
当該SIDが高帯域パラメータを含む場合、当該SIDを復号化処理して雑音高帯域パラメータを取得し、雑音低帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音高帯域パラメータ及び当該ローカルに発生した雑音低帯域パラメータに従って第2のCNフレームを取得する処理動作と、
当該SIDが高帯域パラメータ及び低帯域パラメータを含む場合、当該SIDを復号化処理して雑音高帯域パラメータ及び雑音低帯域パラメータを取得し、当該復号化処理によって取得した雑音高帯域パラメータ及び雑音低帯域パラメータに従って第3のCNフレームを取得する処理動作と、
を含む。
本発明を実施するためのさらに別の態様によれば、オーディオ・データを符号化するための装置が提供され、これは、
オーディオ信号の雑音フレームを取得し、当該雑音フレームを雑音低帯域信号及び雑音高帯域信号に分解するように構成された取得モジュールと、
第1の非連続送信機構を用いることによって当該雑音低帯域信号を符号化した上で、当該符号化された後の当該雑音低帯域信号を当該第1の非連続送信機構を使用して送信し、第2の非連続送信機構を用いることによって当該雑音高帯域信号を符号化した上で、当該符号化された後の当該雑音高帯域信号を当該第2の非連続送信機構を使用して送信するように構成された送信モジュールであって、当該第1の非連続送信機構の第1のSIDを送出するためのポリシーが、当該第2の非連続送信機構の第2のSIDを送出するためのポリシーとは異なり、又は、当該第1の非連続送信機構の第1のSIDを符号化するためのポリシーが、当該第2の非連続送信機構の第2のSIDを符号化するためのポリシーとは異なる、送信モジュールと、
を含む。
本発明を実施するためのさらに別の態様によれば、オーディオ・データを復号化するための装置が提供され、これは、
SIDを取得し、当該SIDが低帯域パラメータ及び/又は高帯域パラメータを含むことを判定するように構成された取得モジュールと、
当該取得モジュールによって取得された当該SIDが低帯域パラメータを含む場合、当該SIDを復号化処理して雑音低帯域パラメータを取得し、雑音高帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音低帯域パラメータ及び当該ローカルに発生した雑音高帯域パラメータに従って第1のCNフレームを取得するように構成された第1の復号化モジュールと、
当該取得モジュールによって取得された当該SIDが高帯域パラメータを含む場合、当該SIDを復号化処理して雑音高帯域パラメータを取得し、雑音低帯域パラメータをローカルに発生し、当該復号処理によって取得した雑音高帯域パラメータ及び当該ローカルに発生した雑音低帯域パラメータに従って第2のCNフレームを取得するように構成された第2の復号化モジュールと、
当該取得モジュールによって取得された当該SIDが高帯域パラメータ及び低帯域パラメータを含む場合、当該SIDを復号化処理して雑音高帯域パラメータ及び雑音低帯域パラメータを取得し、当該復号化処理によって取得した当該雑音高帯域パラメータ及び当該雑音低帯域パラメータに従って第3のCNフレームを取得するように構成された第3の復号化モジュールと、
を含む。
本発明を実施するためのさらに別の態様によれば、オーディオ・データを処理するためのシステムが提供され、これは、オーディオ・データを符号化するための前述の装置及びオーディオ・データを復号化するための前述の装置を含む。
本発明の実施形態が提供する技術的解決策は、以下の有利な効果を与える。すなわち、現在処理中の雑音フレームを雑音低帯域信号及び雑音高帯域信号に分解し、第1の非連続送信機構を用いることによって雑音低帯域信号を符号化し及び送信し、第2の非連続送信機構を用いることによって雑音高帯域信号を符号化し及び送信する。デコーダは、無音挿入記述子フレーム(SID)を取得し、当該SIDが低帯域パラメータ及び/又は高帯域パラメータを含むか否かを判定する。当該判定に関し、異なる判定結果に応じて異なる雑音復号化方法が用いられる。このように、高帯域信号及び低帯域信号のそれぞれについて互いに異なる符号化及び復号化の処理方法を用い、コーデックの本質的な品質を低下させないという前提のもとに計算の複雑さを軽減して符号化ビットを節約することができ、当該節約したビットは、送信帯域幅を縮小するか又は全体的な符号化品質を向上させる目的を達成するために役立てることができ、これによって超広帯域符号化及び超広帯域送信の問題を解決する。
本発明の実施形態における技術的解決策を更に明確に説明するため、以下で、実施形態又を説明するために必要な添付図面を簡単に紹介する。明らかに、以下の説明における添付図面は本発明のいくつかの実施形態を図示するだけであり、当業者は、創造的な労力なしで、これらの添付図面から他の図面を導出することができる。
本発明の実施形態1に従ってオーディオ・データを処理するための方法のフローチャートである。 本発明の実施形態2に従ってオーディオ・データを処理するための方法のフローチャートである。 本発明の実施形態3に従ってオーディオ・データを処理するための方法のフローチャートである。 本発明の実施形態4に従ってオーディオ・データを処理するための方法のフローチャートである。 本発明の実施形態6に従ってオーディオ・データを符号化するための装置の概略図である。 本発明の実施形態6に従ってオーディオ・データを符号化するための別の装置の概略図である。 本発明の実施形態7に従ってオーディオ・データを復号化するための装置の概略図である。 本発明の実施形態7に従ってオーディオ・データを復号化するための別の装置の概略図である。 本発明の実施形態8に従ってオーディオ・データを処理するためのシステムの概略図である。
本発明の目的、技術的解決策、及び利点を更に明らかにするため、以下で添付図面を参照して本発明の実施形態を更に詳細に記載する。
図1を参照すると、この実施形態はオーディオ・データを処理するための方法を提供する。この方法は以下を含む。
101.オーディオ信号の雑音フレームを取得し、雑音フレームを雑音低帯域信号及び雑音高帯域信号に分解する。
102.第1の非連続送信機構を用いることによって雑音低帯域信号を符号化及び送信し、第2の非連続送信機構を用いることによって雑音高帯域信号を符号化及び送信することであって、第1の非連続送信機構の第1の無音挿入記述子フレーム(SID)を送出するためのポリシーが、第2の非連続送信機構の第2のSIDを送出するためのポリシーとは異なり、又は、第1の非連続送信機構の第1のSIDを符号化するためのポリシーが、第2の非連続送信機構の第2のSIDを符号化するためのポリシーとは異なる。
この実施形態において、第1のSIDは雑音フレームの低帯域パラメータを含み、第2のSIDは雑音フレームの低帯域パラメータ又は高帯域パラメータを含む。
任意選択的な構成として、この実施形態では、第2の非連続送信機構を用いることによって雑音高帯域信号を符号化及び送信することが、
雑音高帯域信号が予め設定されたスペクトル構造を有するか否かを判定し、これを有すると共に第2のSIDを送出するためのポリシーの送出条件を満たす場合は、第2のSIDを符号化するためのポリシーを用いることで雑音高帯域信号のSIDを符号化し、SIDを送出し、これを有しない場合は、雑音高帯域信号の符号化及び送信を行う必要がないと判定することを含む。
雑音高帯域信号が予め設定されたスペクトル構造を有するか否かを判定する処理動作が、
雑音高帯域信号のスペクトルを取得し、当該スペクトルを少なくとも2つのサブバンド(subband)に分割し、当該サブバンド内のいずれの第1のサブバンドの平均エネルギであっても当該サブバンド内の第2のサブバンドの平均エネルギより低くない場合には、雑音高帯域信号が予め設定されたスペクトル構造を有しないことを確定し、その他の場合においては、雑音高帯域信号が予め設定されたスペクトル構造を有することを確定する動作を含み、第2のサブバンドが位置する周波数帯域が第1のサブバンドが位置する周波数帯域よりも高いことを特徴とする。
任意選択的な構成として、この実施形態では、第2の非連続送信機構を用いることによって雑音高帯域信号を符号化及び送信する処理動作が、
第1の比率及び第2の比率に従って偏差程度値(deviation extent value)を発生する処理動作であって、第1の比率が、雑音フレームの雑音低帯域信号のエネルギに対する雑音フレームの雑音高帯域信号のエネルギの比率であり、第2の比率が、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した時点での雑音低帯域信号のエネルギに対する雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音高帯域信号のエネルギの比率である、処理動作と、
偏差程度値が予め設定された閾値に達したか否かを判定し、これに達した場合は第2のSIDを符号化するためのポリシーを用いることによって雑音高帯域信号のSIDを符号化し、SIDを送出し、達しない場合は雑音高帯域信号の符号化及び送信を行う必要がないと判定する処理動作と、
を含む。
任意選択的な構成として、第1の比率を、雑音フレームの雑音低帯域信号のエネルギに対する雑音高帯域信号のエネルギの比率とすることは、
第1の比率を、雑音フレームの雑音低帯域信号の瞬時エネルギに対する雑音フレームの雑音高帯域信号の瞬時エネルギの比率とすることを含み、更に、
これに対応して、第2の比率を、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した時点での雑音低帯域信号のエネルギに対する雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音高帯域信号のエネルギの比率とすることは、
第2の比率を、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した時点での雑音低帯域信号の瞬時エネルギに対する雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音高帯域信号の瞬時エネルギの比率とすることを含む。
あるいは、第1の比率を、雑音フレームの雑音低帯域信号のエネルギに対する雑音フレームの雑音高帯域信号のエネルギの比率とすることが、
第1の比率を、雑音フレーム及びこの雑音フレームの前の雑音フレームの雑音低帯域信号の加重平均エネルギに対する雑音フレーム及びこの雑音フレームの前の雑音フレームの雑音高帯域信号の加重平均エネルギの比率とすることを含み、更に、
これに対応して、第2の比率を、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した時点での雑音低帯域信号のエネルギに対する雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音高帯域信号のエネルギの比率とすることが、
第2の比率を、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音フレーム及び雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での前記雑音フレームの前の雑音フレームの低帯域信号の加重平均エネルギに対する、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での前記雑音フレーム及び雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した時点での前記雑音フレームの前の雑音フレームの高帯域信号の加重平均エネルギの比率とすることを含む。
この実施形態において、第1の比率及び第2の比率に従って偏差程度値を発生する処理動作が、
第1の比率の対数値及び第2の比率の対数値を別個に計算する処理動作と、
第1の比率の対数値と第2の比率の対数値との間の差の絶対値を計算して偏差程度値を取得する処理動作と、
を含む。
任意選択的な構成として、この実施形態では、第2の非連続送信機構を用いることによって雑音高帯域信号を符号化及び送信する処理動作が、
雑音フレームの雑音高帯域信号のスペクトル構造が、雑音フレームの前の雑音高帯域信号の平均スペクトル構造に比べて、予め設定された条件を満たすか否かを判定し、これを満たす場合には、第2のSIDを符号化するためのポリシーを用いることによって雑音フレームの雑音高帯域信号のSIDを符号化し、SIDを送出し、これを満たさない場合には、雑音フレームの雑音高帯域信号の符号化及び送信を行う必要がないと判定する処理動作を含む。
雑音フレームの前の雑音高帯域信号の平均スペクトル構造が、雑音フレームの前の雑音高帯域信号のスペクトルの加重平均を含む。
この実施形態において、第2の非連続送信機構の第2のSIDを送出するためのポリシーにおける送出条件が、第1の非連続送信機構が第1のSIDを送出するための条件を満たす必要があることを更に含む。
本発明が提供する方法の実施形態は、以下の有利な効果を与える。すなわち、オーディオ信号の雑音フレームを取得し、現在処理中の雑音フレームを雑音低帯域信号及び雑音高帯域信号に分解し、第1の非連続送信機構を用いることによって雑音低帯域信号を符号化及び送信し、第2の非連続送信機構を用いることによって雑音高帯域信号を符号化し及び送信する。このように、高帯域信号及び低帯域信号のそれぞれについて互いに異なる処理方法を用い、コーデックの本質的な品質を低下させないという前提のもとに計算の複雑さを軽減して符号化ビットを節約することができ、当該節約したビットは、送信帯域幅を縮小するか又は全体的な符号化品質を向上させる目的を達成するために役立てることができ、これによって超広帯域符号化及び超広帯域送信の問題を解決する。
実施形態2
図2を参照すると、この実施形態はオーディオ・データを処理するための方法を提供する。この方法は以下を含む。
201.デコーダは、無音挿入記述子フレーム(SID)を取得し、このSIDが低帯域パラメータを含むか又は高帯域パラメータを含むかを判定する。
202.当該SIDが低帯域パラメータを含む場合、当該SIDを復号化処理して雑音低帯域パラメータを取得し、雑音高帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音低帯域パラメータ及び当該ローカルに発生した雑音高帯域パラメータに従って第1の快適雑音(CN)フレームを取得する。
203.当該SIDが高帯域パラメータを含む場合、当該SIDを復号化処理して雑音高帯域パラメータを取得し、雑音低帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音高帯域パラメータ及び当該ローカルに発生した雑音低帯域パラメータに従って第2のCNフレームを取得する。
204.当該SIDが高帯域パラメータ及び低帯域パラメータを含む場合、当該SIDを復号化処理して雑音高帯域パラメータ及び雑音低帯域パラメータを取得し、当該復号化処理によって取得した雑音高帯域パラメータ及び雑音低帯域パラメータに従って第3のCNフレームを取得する。
任意選択的な構成として、この実施形態では、当該SIDが低帯域パラメータを含む場合、当該SIDを復号化処理して雑音低帯域パラメータを取得すること、雑音高帯域パラメータをローカルに発生すること、並びに当該復号化処理によって取得した雑音低帯域パラメータ及び当該ローカルに発生した雑音高帯域パラメータに従って第1の快適雑音(CN)フレームを取得する動作に先立って、この方法が、
当該デコーダが第1の快適雑音生成(CNG)状態にある場合、当該デコーダによって第2のCNG状態に入ることを更に含む。
任意選択的な構成として、この実施形態では、当該SIDが高帯域パラメータ及び低帯域パラメータを含む場合、当該SIDを復号化処理して雑音高帯域パラメータ及び雑音低帯域パラメータを取得すること、並びに当該復号化処理によって取得した雑音高帯域パラメータ及び雑音低帯域パラメータに従って第3のCNフレームを取得する動作に先立って、この方法が、
当該デコーダが第2のCNG状態にある場合、デコーダによって第1のCNG状態に入ることを更に含む。
任意選択的な構成として、この実施形態では、当該SIDが低帯域パラメータ及び/又は高帯域パラメータを含むことを判定する処理動作が、以下の動作を実行することを含む。
すなわち、上記判定する処理動作は、当該SIDのビット数が予め設定された第1の閾値よりも小さい場合、当該SIDが高帯域パラメータを含むことを確定し、当該SIDのビット数が予め設定された第1の閾値よりも大きく予め設定された第2の閾値よりも小さい場合、当該SIDが低帯域パラメータを含むことを確定し、当該SIDのビット数が予め設定された第2の閾値よりも大きく予め設定された第3の閾値よりも小さい場合、当該SIDが高帯域パラメータ及び低帯域パラメータを含むことを確定する動作、又は、
当該SIDが第1の識別子を含む場合、当該SIDが高帯域パラメータを含むことを確定し、当該SIDが第2の識別子を含む場合、当該SIDが低帯域パラメータを含むことを確定し、当該SIDが第3の識別子を含む場合、当該SIDが低帯域パラメータ及び高帯域パラメータを含むことを確定する動作、を含む。
この実施形態では、雑音高帯域パラメータをローカルに発生する処理動作が、
SIDに対応する時点での雑音高帯域信号の加重平均エネルギ及び雑音高帯域信号の合成フィルタ係数を別個に取得する動作と、
SIDに対応する時点での雑音高帯域信号の取得した加重平均エネルギ及び雑音高帯域信号の取得した合成フィルタ係数に従って雑音高帯域信号を取得する動作と、
を含む。
任意選択的な構成として、この実施形態では、当該SIDに対応する時点での雑音高帯域信号の加重平均エネルギを取得する処理動作が、
当該復号化処理によって取得した雑音低帯域パラメータに従って第1のCNフレームの低帯域信号のエネルギを取得する動作と、
高帯域パラメータを含むSIDを先行するSIDの前に受信した時点における雑音低帯域信号のエネルギに対する雑音高帯域信号のエネルギの比率を計算して第1の比率を取得する動作と、
当該第1のCNフレームの低帯域信号のエネルギ及び当該第1の比率に従って、SIDに対応する時点での雑音高帯域信号のエネルギを取得することと、
当該SIDに対応する時点での雑音高帯域信号のエネルギ及びローカルにバッファリングされたCNフレームの高帯域信号のエネルギに対して加重平均を実行して、当該SIDに対応する時点での雑音高帯域信号の加重平均エネルギを取得する動作であって、当該SIDに対応する時点での雑音高帯域信号の加重平均エネルギを当該第1のCNフレームの高帯域信号エネルギとする、動作と、
を含む。
任意選択的な構成として、この実施形態では、高帯域パラメータを含むSIDを先行するSIDの前に受信した時点における雑音低帯域信号のエネルギに対する雑音高帯域信号のエネルギの比率を計算して第1の比率を取得する処理動作が、
当該高帯域パラメータを含むSIDを当該先行するSIDの前に受信した時点における雑音低帯域信号の瞬時エネルギに対する雑音高帯域信号の瞬時エネルギの比率を計算して第1の比率を取得する動作、又は、
当該高帯域パラメータを含むSIDを当該先行するSIDの前に受信した時点における雑音低帯域信号の加重平均エネルギに対する雑音高帯域信号の加重平均エネルギの比率を計算して第1の比率を取得する動作、
を含む。
この実施形態においては、当該SIDに対応する時点での雑音高帯域信号のエネルギが、ローカルにバッファリングされた以前のCNフレームの高帯域信号のエネルギよりも大きい場合には、当該ローカルにバッファリングされた以前のCNフレームの高帯域信号のエネルギは第1の更新頻度で更新され、その他の場合には、当該ローカルにバッファリングされた以前のCNフレームの高帯域信号のエネルギは第2の更新頻度で更新され、当該第1の更新頻度が第2の更新頻度よりも大きい。
任意選択的な構成として、この実施形態では、当該SIDに対応する時点での雑音高帯域信号の加重平均エネルギを取得する処理動作が、
当該SIDよりも先行する予め設定された時間期間内の音声フレームから、最小の高帯域信号エネルギを有する音声フレームの高帯域信号を選択する動作と、
当該音声フレーム中で当該最小の高帯域信号エネルギを有する音声フレームの高帯域信号のエネルギに従って、当該SIDに対応する時点での雑音高帯域信号の加重平均エネルギを取得することであって、当該SIDに対応する時点での雑音高帯域信号の加重平均エネルギを第1のCNフレームの高帯域信号エネルギとする、動作と、を含み、又は、
当該SIDよりも先行する予め設定された時間期間内の音声フレームから、当該予め設定された閾値よりも小さい高帯域信号エネルギを有するN個の音声フレームの高帯域信号を選択する動作と、
当該N個の音声フレームの高帯域信号の加重平均エネルギに従って、当該SIDに対応する時点での雑音高帯域信号の加重平均エネルギを取得することであって、当該SIDに対応する時点での雑音高帯域信号の加重平均エネルギを第1のCNフレームの高帯域信号エネルギとする、動作と、
を含む。
任意選択的な構成として、この実施形態では、当該SIDに対応する時点での雑音高帯域信号の合成フィルタ係数を取得する処理動作が、
イミタンス・スペクトル周波数(ISF:Immittance Spectral Frequency)係数又はISP係数又は線スペクトル周波数(LSF:Line Spectral Frequency)係数又は線スペクトル対(LSP:Line Spectral pair)係数の何れかであるM個の係数を、高帯域信号に対応する周波数範囲にわたって分散させることと、
上述したM個の係数に対してランダム化処理を実行する動作であって、当該ランダム化処理の特性が、当該M個の係数中に含まれる各係数を、当該各係数に対応する目標値に徐々に漸近させるものであり、当該目標値は当該係数の値に近接した予め設定された範囲内の値であり、当該M個の係数中に含まれる各係数の目標値がN個のフレームの各々毎に変化し、M及びNの双方が自然数である、動作と、
当該ランダム化処理によって取得したフィルタ係数に従って、当該SIDに対応する時点での雑音高帯域信号の合成フィルタ係数を取得することと、
を含む。
任意選択的な構成として、この実施形態では、当該SIDに対応する時点での雑音高帯域信号の合成フィルタ係数を取得する処理動作が、
ローカルにバッファリングされた雑音高帯域信号のM個のISF係数又はISP係数又はLSF係数又はLSP係数を取得する動作と、
当該M個の係数に対してランダム化処理を実行することであって、当該ランダム化処理の特性が、当該M個の係数中に含まれる各係数を、当該各係数に対応する目標値に徐々に漸近させるものであり、当該目標値は当該係数の値に近接した予め設定された範囲内の値であり、当該M個の係数中に含まれる各係数の目標値がN個のフレームの各々毎に変化する、動作と、
当該ランダム化処理によって取得したフィルタ係数に従って、当該SIDに対応する時点での雑音高帯域信号の合成フィルタ係数を取得する動作と、
を含む。
任意選択的な構成として、この実施形態では、上述した復号化処理によって取得した雑音低帯域パラメータ及び上記のとおりローカルに発生した雑音高帯域パラメータに従って第1のCNフレームを取得する動作に先立って、この方法が、 当該SIDに隣接した履歴フレームが符号化音声フレームである場合には、符号化音声フレームから復号化処理された高帯域信号又は高帯域信号の一部の平均エネルギが、当該ローカルに発生した雑音高帯域信号又は雑音高帯域信号の一部の平均エネルギよりも小さいならば、当該SIDから開始して以降のL個のフレームの雑音高帯域信号を1よりも小さい平滑化係数で乗算して、当該ローカルに発生した雑音高帯域信号の新しい加重平均エネルギを取得する動作をさらに含み、
これに対応して、当該復号化処理によって取得した雑音低帯域パラメータ及び当該ローカルに発生した雑音高帯域パラメータに従って第1のCNフレームを取得する動作が、
当該復号化処理によって取得した雑音低帯域パラメータ、当該SIDに対応する時点での雑音高帯域信号の合成フィルタ係数、及び当該ローカルに発生した雑音高帯域信号の新しい加重平均エネルギに従って、第4のCNフレームを取得する動作を含む。
本発明が提供する方法の実施形態は、以下の有利な効果を与える。すなわち、デコーダが、無音挿入記述子フレーム(SID)を取得し、このSIDが低帯域パラメータ及び/又は高帯域パラメータを含むか否かを判定する。当該SIDが低帯域パラメータを含む場合、SIDを復号化処理して雑音低帯域パラメータを取得し、雑音高帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音低帯域パラメータ及び当該ローカルに発生した雑音高帯域パラメータに従って第1の快適雑音(CN)フレームを取得する。当該SIDが高帯域パラメータを含む場合、当該SIDを復号化処理して雑音高帯域パラメータを取得し、雑音低帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音高帯域パラメータ及び当該ローカルに発生した雑音低帯域パラメータに従って第2のCNフレームを取得する。当該SIDが高帯域パラメータ及び低帯域パラメータを含む場合、当該SIDを復号化処理して雑音高帯域パラメータ及び雑音低帯域パラメータを取得し、当該復号化処理によって取得した雑音高帯域パラメータ及び雑音低帯域パラメータに従って第3のCNフレームを取得する。このように、高帯域信号及び低帯域信号のそれぞれに関して互いに異なる処理方法を用い、コーデックの本質的な品質を低下させないという前提のもとに計算の複雑さを軽減して符号化ビットを節約することができ、当該節約したビットは、送信帯域幅を縮小するか又は全体的な符号化品質を向上させる目的を達成することに役立てることができ、これによって超広帯域符号化及び超広帯域送信の問題を解決する。
実施形態3
この実施形態は、オーディオ・データを処理するための方法を提供する。符号化端においては、低帯域CNG雑音スペクトル又は高帯域CNG雑音スペクトルに関わらず、一般的に高調波構造が失われ、従ってCNG高帯域信号において、聴取に対して知覚的に有効であるのは主にCNG高帯域信号のエネルギであり、CNG高帯域信号のスペクトル構造ではない。従って、超広帯域信号のDTX送信では、多くの場合、SIDにおいて高帯域信号スペクトルを送信する必要はなく、適切な方法を用いて復号化端でローカルに高帯域スペクトルを構築すれば良い。ローカルに構築した高帯域スペクトルは、明らかな知覚的な歪みを生じない。このようにして、符号化端において高帯域スペクトルを計算及び符号化するための計算負荷及びビットが節約される。一方、他の雑音信号では、その高帯域信号に高調波構造が存在する場合があり、復号化端のみでローカルに高帯域スペクトルを構築することによってCNGセグメントと音声セグメントとの間の切り換えにおいて知覚的な品質低下の問題が生じる恐れがある。従って、かかる雑音では、SIDにおいてスペクトル・パラメータを送信する必要がある。効率及び品質の双方を考慮するDTX/CNGシステムは、背景雑音の高帯域特性に従って符号化端でSID内に高帯域スペクトル・パラメータを符号化すること、又は符号化しないこと、及び異なるタイプのSIDに応じて異なる復号化処理方法を用いることによって復号化端でCNGフレームを再構築する手段を適応的に選択可能でなければならないことがわかる。この実施形態では、オーディオ・データを処理するための方法が提供され、この方法は以下を含む。すなわち、雑音高帯域スペクトルを分析し分類する。デコーダは高帯域信号スペクトルを盲目的に構築する。SIDが高帯域エネルギ・パラメータを含まない場合、当該デコーダは高帯域信号エネルギを推定する。当該デコーダは異なるCNGモジュール間で切り換わる等である。特に図3を参照すると、この実施形態に従って符号化端(エンコーダ)においてオーディオ・データを処理するための方法は以下を含む。
301.エンコーダはオーディオ信号の雑音フレームを取得し、この雑音フレームを雑音低帯域信号及び雑音高帯域信号に分解する。
この実施形態では、エンコーダはオーディオ信号の雑音フレームを取得し、エンコーダのそれぞれ異なる符号化ルールに応じて、雑音フレームは、現在処理中の雑音フレーム又は符号化端(エンコーダ)でバッファリングされた雑音フレームとすることができ、これはこの実施形態において特に限定されない。この実施形態では、一例として32kHzでサンプリングされた超広帯域入力オーディオ信号を用いる。エンコーダはまず、入力オーディオ信号にフレーミング処理を実行し、例えば1フレームとして20ms(又は640サンプリング・ポイント)を用いる。現在のフレーム(この実施形態においては現在のフレームとは符号化対象となっている現在のフレームを指す)について、エンコーダはまず高域フィルタリングを実行する。概して通過帯域は50Hzを超える周波数である。高域フィルタリングされた現在のフレームを、直交ミラー・フィルタQMF(Quadrature Mirror Filter)分析フィルタによって、低帯域信号s及び高帯域信号sに分解する。低帯域信号sは16kHzでサンプリングされ、現在のフレームの0〜8kHzスペクトルを表す。高帯域信号sも16kHzでサンプリングされ、現在のフレームの8〜16kHzスペクトルを表す。VAD(Voice Activity Detector、音声活動検出器)が、現在のフレームが前景信号フレームすなわち音声信号フレームであることを示した場合、エンコーダは現在のフレームに音声符号化を実行する。この実施形態では、エンコーダが符号化音声フレームを符号化することは従来技術の分野に関連するので、この実施形態では詳細を繰り返して説明しない。現在のフレームが雑音フレームである場合、VADは、エンコーダがDTX動作状態に入ることを示す。この実施形態では、雑音フレームは背景雑音フレーム又は無音フレームのいずれかを指す。
この実施形態では、DTX動作状態において、DTXコントローラは、SID送出ポリシーに従って、現在のフレームの低帯域信号のSIDを符号化した上で送出するか否かを決定する。この実施形態では、低帯域信号のSIDを送出するためのポリシーは以下の通りである。(1)符号化音声フレーム後の第1の雑音フレームにおいてSIDを送出し、SID送出フラグflagSIDを1にセットする。(2)雑音期間において、各SIDフレーム後のN番目のフレームにおいてSIDフレームを送出し、フレーム内のflagSIDを1にセットする。ここでNは1よりも大きい整数であり、外部からエンコーダに入力される。(3)雑音期間において、他のフレームではSIDを送出せず、flagSIDを0にセットする。この実施形態では、低帯域信号のSIDを送出するためのポリシーは従来技術のものと同様であり、本発明では詳細な説明は行わない。
302.現在の雑音フレームの高帯域信号が予め設定された符号化及び送信に関する条件を満たすか否かを判定し、満たす場合はステップ304を実行し、満たさない場合はステップ303を実行する。
この実施形態において、現在の雑音フレームの高帯域信号が予め設定された符号化及び送信に関する条件を満たすか否かの判定動作は、雑音高帯域信号が予め設定されたスペクトル構造を有するか否かを判定し、これを有すると共に第2のSIDを送出するためのポリシーの送出条件を満たす場合は、第2のSIDを符号化するためのポリシーを用いることによって雑音高帯域信号のSIDを符号化し、SIDを送出し、これを有しない場合は、雑音高帯域信号の符号化及び送信を行う必要がないと判定する動作を含む。雑音高帯域信号が予め設定されたスペクトル構造を有するか否かを判定する動作が、雑音高帯域信号のスペクトルを取得し、スペクトルを少なくとも2つのサブバンドに分割し、サブバンド内のいずれの第1のサブバンドの平均エネルギであってもサブバンド内の第2のサブバンドの平均エネルギより低くない場合には雑音高帯域信号が予め設定されたスペクトル構造を有しないことを確定し、その他の場合には雑音高帯域信号が予め設定されたスペクトル構造を有することを確定する動作を含み、第2のサブバンドが位置する周波数帯域が第1のサブバンドが位置する周波数帯域よりも高いことを特徴とする。
この実施形態では、DTX動作状態において、エンコーダは現在のフレームの高帯域信号sにスペクトル分析を実行して、sが明らかなスペクトル構造すなわち予め設定されたスペクトル構造を有するか否かを判定する。この実施形態における具体的な方法は以下の通りである。すなわち、sに対して12.8kHzへのダウン・サンプリングを実行し、ダウン・サンプリングした信号に256ポイントのFETを実行してスペクトルC(i)を取得する。ここでi=0、...127である。C(i)を等しい幅の4個のサブバンドに分割し、各サブバンドのエネルギE(i)を計算する。各サブバンドは上述のいずれかの第1のサブバンドである。
Figure 2017062512
であり、ここで、i=0、...3であり、l(i)及びh(i)はそれぞれi番目のサブバンドの上方の境界及び下方の境界を表し、l(i)={0、32、64、96}であり、h(i)={31、63、95、127}である。以下の条件を満たすか否かを調べる。
Figure 2017062512
ここで、E(i)は上述の第2のサブバンドである。前述の式(1)を満たした場合、すなわちサブバンド内のいずれの第1のサブバンドのエネルギがサブバンド内の第2のサブバンドのエネルギよりも低くない場合、高帯域信号は明らかなスペクトル構造を有しないと見なされる。他の場合、高帯域信号は明らかなスペクトル構造を有する。高帯域信号が明らかなスペクトル構造を有する場合、DTXポリシーは高帯域パラメータを送出している。この実施形態では、高帯域パラメータ送出フラグflaghbが1でない場合、次にflagSID=1となったときにflaghb=1をセットする。他の場合、flaghb=0とする。
この実施形態において、SID送出条件を満たした場合は、現在の雑音フレームの高帯域信号のスペクトル構造、雑音高帯域信号が予め設定されたスペクトル構造を有するか否かの判定、及びSID送出条件を満たす雑音低帯域信号が第1の判定条件として用いられるか否かの判定を用いることによって、現在の雑音フレームの高帯域信号を符号化及び送信する必要があるか否かを判定することができる。任意選択的な構成として、この実施形態では、現在の雑音フレームの高帯域信号が予め設定された符号化及び送信条件を満たすか否かの判定動作は、第1の比率及び第2の比率に従って偏差程度値を発生する動作であって、当該第1の比率を、雑音フレームの雑音低帯域信号のエネルギに対する雑音フレームの雑音高帯域信号のエネルギの比率とし、当該第2の比率を、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した時点での雑音低帯域信号のエネルギに対する雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音高帯域信号のエネルギの比率とする、動作と、偏差程度値が予め設定された閾値に達したか否かを判定し、これに達した場合は第2のSIDを符号化するためのポリシーを用いることによって雑音高帯域信号のSIDを符号化し、SIDを送出し、達しない場合は雑音高帯域信号の符号化及び送信を行う必要がないと判定する動作と、を含む。任意選択的な構成として、当該第1の比率を、雑音フレームの雑音低帯域信号のエネルギに対する雑音フレームの雑音高帯域信号のエネルギの比率とすることが、当該第1の比率を、雑音フレームの雑音低帯域信号の瞬時エネルギに対する雑音フレームの雑音高帯域信号の瞬時エネルギの比率とすることを含み、これに応じて、当該第2の比率を、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した時点での雑音低帯域信号のエネルギに対する雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音高帯域信号のエネルギの比率とすることが、当該第2の比率を、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した時点での雑音低帯域信号の瞬時エネルギに対する雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音高帯域信号の瞬時エネルギの比率とすることを含む。あるいは、第1の比率を、雑音フレームの雑音低帯域信号のエネルギに対する雑音フレームの雑音高帯域信号のエネルギの比率とすることが、当該第1の比率を、雑音フレーム及びこの雑音フレームの前の雑音フレームの雑音低帯域信号の加重平均エネルギに対する雑音フレーム及びこの雑音フレームの前の雑音フレームの雑音高帯域信号の加重平均エネルギの比率とすることを含み、これに応じて、当該第2の比率を、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した時点での雑音低帯域信号のエネルギに対する雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音高帯域信号のエネルギの比率とすることが、当該第2の比率を、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した時点での雑音フレーム及び雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点でのこの雑音フレームの前の雑音フレームの低帯域信号の加重平均エネルギに対する雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音フレーム及び雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点でのこの雑音フレームの前の雑音フレームの高帯域信号の加重平均エネルギの比率とすることを含む。この実施形態では、好ましくは、当該第1の比率及び当該第2の比率に従って偏差程度値を発生することが、当該第1の比率の対数値及び当該第2の比率の対数値を別個に計算することと、当該第1の比率の対数値と当該第2の比率の対数値との間の差の絶対値を計算して偏差程度値を取得することと、を含む。
具体的には、この実施形態において、偏差程度値が予め設定された閾値に達したか否かの判定は以下のように実施することができる。
DTX動作状態において、エンコーダは現在処理中のフレームの高帯域信号s及び低帯域信号sの対数エネルギe及びeを別個に計算する。
Figure 2017062512
符号化端においてe及びeの長期移動平均e1a及びe0aを更新する。
Figure 2017062512
sign[.]は符号関数を表し、MIN[.]は最小関数を表し、|.|は絶対値関数を表し、形式x(−1)は以前のフレームxの値を表し、α=0.1は更新速度が高いか又は低いかを決定する忘却係数である。以前のフレームは、現在処理中の雑音フレームの前に最後に送出されたSIDであり、雑音高帯域パラメータを含む。この実施形態では、e1a及びe0aの更新の大きさが限定される。現在処理中の雑音フレームのeと以前のフレームのexaとの間のエネルギ変動が3dBよりも大きい場合、現在処理中のフレームのexaを3dBで更新する。エンコーダが最初にDTX動作状態に入った場合、現在処理中のフレームのeとしてexaを初期化する。エンコーダは、現在の雑音フレームの低帯域信号のエネルギに対する高帯域信号のエネルギの比率(すなわち第1の比率)と、高帯域パラメータを含むSIDが最後に送出された時点での低帯域のエネルギに対する高帯域のエネルギの比率(第2の比率)との間の偏差が、ある程度に達するか否かを調べる、すなわち、以下の条件を満たすか否かを調べる。
Figure 2017062512
ここで、
Figure 2017062512
はそれぞれ、高帯域パラメータを含むSIDフレームが最後に送出された時点での高帯域対数エネルギ及び低帯域対数エネルギを表す。前述の式(4)を満たす場合、雑音高帯域信号は符号化及び送信を行う必要がある。高帯域パラメータ送出フラグflaghb=0である場合、フラグflaghb=1をセットする。
この実施形態では、長期移動平均は重み付け平均計算の1つのタイプであり、この実施形態では特に限定されない。
この実施形態において、偏差程度値が予め設定された閾値に達したか否かの判定を第2の判定条件として用いることができる。特定の実施プロセスでは、雑音高帯域信号を符号化及び送信する必要があると判定するために、第1の判定条件又は第2の判定条件のどちらかのみを判定すれば良く、これはこの実施形態では特に限定されない。
この実施形態では、当該第2の判定条件は任意選択である。このステップを実行する目的は、復号化端が、雑音低帯域のエネルギ及び高帯域パラメータを含むSIDが最後に送出された時点での雑音低帯域のエネルギに対する雑音高帯域のエネルギの比率に応じて、高帯域雑音のエネルギをローカルに推定するのを支援することである。具体的には、符号化端で偏差程度値が計算されない場合は、復号化端において、現在処理中の雑音フレームの前のある時間期間内の音声フレームから最小の高帯域信号エネルギを有する音声フレームを取得することができ、現在処理中の雑音フレームの前のその時間期間内の音声フレーム中で最小の高帯域信号エネルギを有する音声フレームの高帯域信号のエネルギに応じて、現在の高帯域雑音のエネルギをローカルに推定する。例えば、現在の雑音フレームの前のその時間期間内の音声フレーム中で最小の高帯域信号エネルギを有する音声フレームの高帯域信号のエネルギを、現在の高帯域雑音のエネルギとして選択する。あるいは、SIDの前のある時間期間内の音声フレームから、予め設定された閾値よりも小さい高帯域信号エネルギを有するN個の音声フレームの高帯域信号を選択し、N個の音声フレームの高帯域信号の加重平均エネルギに従って、SIDに対応する時点での雑音高帯域信号の加重平均エネルギを取得する。具体的には、この実施形態において制約は設定されない。
303.第1の非連続送信機構を用いることによって雑音低帯域信号を送信する。
この実施形態では、好ましくは、第1の非連続送信機構を用いることによって雑音低帯域信号を送信することは以下を含む。すなわち、DTX動作状態において、エンコーダは現在の雑音フレームの低帯域信号sに16次線形予測分析を実行し、16の線形予測係数lpc(i)を取得する。ここでi=0、1、...、15である。LPC係数をISP係数に変換して16のISP係数isp(i)を取得する。ここでi=0、1、...、15である。これらのISP係数をバッファリングする。現在のフレームでSIDが符号化されている、すなわちflagSID=1である場合、現在のフレームを含むN個の履歴フレームのバッファリングされたISP係数において中央値のISP係数を検索する。方法は以下の通りである。まず、各フレームのISP係数から別のフレームのISP係数への距離δを計算する。
Figure 2017062512
次いで、符号化対象のISP係数ispSID(i)として、最小のδを有するフレームのISP係数を選択する。ここでi=0、...、15である。ispSID(i)をISF係数isfSID(i)に変換し、isfSID(i)を量子化し、量子化インデクス群idxISFを取得してSID内にカプセル化する。idxISFをローカルに復号化処理する。復号化処理したISF係数isf’(i)を取得する。ここでi=0、...、15である。isf’(i)をISP係数isp’(i)に変換する。ここでi=0、...、15である。isp’(i)をバッファリングする。各雑音フレームについて、バッファリングしたisp’(i)を用いることによって符号化端の復号ISP係数の長期移動平均を更新する。
Figure 2017062512
ここで、好ましくは、α=0.9であり、isp(i)を第1のSIDのisp’(i)として初期化する。isp(i)をLPC係数lpc(i)に変換し、分析フィルタA(Z)を取得する。各雑音フレームの低帯域信号sをA(Z)でフィルタリングして残留信号r(i)を取得する。ここでi=0、1、...319である。対数残留エネルギeを計算する。
Figure 2017062512
この実施形態では、eをバッファリングする。現在の雑音フレームのflagSIDが1である場合、現在の雑音フレームを含むM個の履歴フレームのバッファリングしたeに応じて、重み付け平均対数エネルギeSIDを計算する。
Figure 2017062512
であり、ここでw(k)はM次元の正の係数群であり、その和は1より小さい。eSIDを量子化し、量子化インデクスidxを取得する。
この実施形態では、DTX動作状態において、flagSID=1である場合、flaghb=0ならば、SIDフレームにおいて低帯域パラメータのみを符号化して送出する。この場合、SIDフレームはidxISF及びidxから成り、便宜上これを小さいSIDフレームと称する。
この実施形態では、雑音低帯域信号を符号化及び送信するためのポリシーは、従来技術において雑音広帯域信号を符号化及び送信するためのポリシーと同様である。この実施形態では簡潔な紹介のみを行う。具体的な実施プロセスはこの実施形態では詳細に説明しない。この実施形態では、現在処理中の雑音フレームの雑音高帯域信号を符号化する必要はなく、雑音低帯域信号のみを符号化する。従って、符号化端において計算負荷が低減し、送信ビットが節約される。
304.第1の非連続送信機構を用いることによって雑音低帯域信号を送信し、第2の非連続送信機構を用いることによって雑音高帯域信号を送信する。
この実施形態では、flaghb=1である場合、低帯域パラメータを符号化する必要があることに加えて、SIDにおいて高帯域パラメータも符号化する必要がある。低帯域雑音の低帯域パラメータの符号化は、ステップ303における符号化モードと同一であり、この実施形態では詳細は繰り返し説明しない。この実施形態では、好ましくは、高帯域パラメータを符号化するための方法は以下の通りである。すなわち、エンコーダがDTX動作状態にあってflagSID=1である場合にのみ、エンコーダは現在のフレームの高帯域信号sに10次の線形予測分析を実行し、10の線形予測係数lpc(i)を取得する。ここでi=0、1、...、9である。lpc(i)を重み付けする。
Figure 2017062512
更に、重み付けLPC係数lpc(i)を取得する。ここで、w(i)は1以下の9次元重み付け係数群を表す。lpc(i)をLSP係数に変換して10のLSP係数lsp(i)を取得する。ここでi=0、1、...、9である。lsp(i)に従って符号化端のlsp(i)の長期移動平均を更新する。
Figure 2017062512
ここで、好ましくは、α=0.9であり、lsp(i)は、flaghbが0から1に変化するたびに現在のフレームのlsp(i)として初期化される。SIDが高帯域パラメータを含む必要がある場合、lsp(i)を量子化し、量子化インデクス群idxLSPを取得する。符号化端における高帯域信号の対数エネルギの長期移動平均e1aを量子化し、量子化インデクスidxを取得する。この場合、SIDは、idxISF、idx、idxLSP、及びidxから成る。この実施形態では、idxISF、idx、idxLSP、及びidxから成るSIDを大きいSIDと称する。
任意選択的な構成として、lsp(i)はDTX動作状態において連続的に更新することも可能である。すなわち、flaghbの値が1であるか0であるかに関わらず、lsp(i)を更新する。具体的には、flaghb=0である場合にlsp(i)を更新するための方法は、flaghb=1である場合の前述の方法と同一であり、この実施形態では詳細は繰り返し説明しない。
この実施形態では、雑音高帯域信号を符号化するためのポリシーの原理は、雑音低帯域信号を符号化するためのポリシーのものと同様である。この実施形態では簡潔な紹介のみを行う。具体的な実施プロセスはこの実施形態では詳細には説明しない。
この実施形態では、雑音高帯域信号を符号化及び送信するための条件が満される場合には、雑音低帯域信号の符号化及び送信と同時に雑音高帯域信号の符号化及び送信を常に実行する。しかしながら任意選択的な構成として、雑音高帯域信号の符号化及び送信は、雑音低帯域信号の符号化及び送信と同時に行わない場合がある。すなわち、SIDを送出した場合、3つの考えられるケースがあり得る。すなわち(1)現在処理中の雑音フレームの低帯域信号のみを符号化及び送信する。(2)現在処理中の雑音フレームの高帯域信号のみを符号化及び送信する。(3)現在処理中の雑音フレームの低帯域信号及び高帯域信号を同時に符号化及び送信する。この場合、第2の非連続送信機構の第2のSIDを送出するためのポリシーにおける送出条件は、第1の非連続送信機構が第1のSID送出条件を満たすことを更に含む。SIDを送出するこれら3つのケースは、この実施形態では特に限定されない。
この実施形態では、ステップ302及び304は具体的には、第1の非連続送信機構を用いることによって雑音低帯域信号を符号化及び送信し、第2の非連続送信機構を用いることによって雑音高帯域信号を符号化及び送信するステップであり、第1の非連続送信機構の第1の無音挿入記述子フレームSIDを送出するためのポリシーが、第2の非連続送信機構の第2のSIDを送出するためのポリシーとは異なり、又は、第1の非連続送信機構の第1のSIDを符号化するためのポリシーが、第2の非連続送信機構の第2のSIDを符号化するためのポリシーとは異なる。
本発明が提供する方法の実施形態は、以下の有利な効果を与える。すなわち、オーディオ信号の現在の雑音フレームを取得し、現在の雑音フレームを雑音低帯域信号及び雑音高帯域信号に分解し、第1の非連続送信機構を用いることによって雑音低帯域信号を符号化し及び送信し、第2の非連続送信機構を用いることによって雑音高帯域信号を符号化及び送信する。このように、高帯域信号及び低帯域信号のそれぞれについて互いに異なる処理方法を用い、コーデックの本質的な品質を低下させないという前提のもとに計算の複雑さを軽減して符号化ビットを節約することができ、当該節約したビットは、送信帯域幅を縮小するか又は全体的な符号化品質を向上させる目的を達成するために役立てることができ、これによって超広帯域符号化及び超広帯域送信の問題を解決する。
実施形態4
この実施形態は、オーディオ・データを処理するための方法を提供する。符号化端(エンコーダ)での雑音信号の処理に比較すると、復号化端(デコーダ)は、受信したビット・ストリームに応じて、現在のフレームが符号化音声フレーム、又はSID、又はNO_DATAフレームのどれであるかを判定することができる。NO_DATAフレームは、符号化端が雑音期間においてSIDの符号化及び送出を行わないことを示すフレームである。現在のフレームがSIDである場合、デコーダは更に、SIDのビット数に応じて、SIDが低帯域及び/又は高帯域パラメータを含むことを判定することができる。任意選択的な構成としてデコーダは、SIDに挿入された特定の識別子に応じて、SIDが低帯域及び/又は高帯域パラメータを含むことを判定することができる。このためには、SIDを符号化した場合に追加の識別子ビットを加える必要がある。例えばSIDに第1の識別子が挿入された場合、これはSIDが高帯域パラメータのみを含むことを識別する。第2の識別子が挿入された場合、これはSIDが低帯域パラメータのみを含むことを識別する。第3の識別子が挿入された場合、これはSIDが高帯域パラメータ及び低帯域パラメータを含むことを識別する。現在のフレームが符号化音声フレームである場合、デコーダは音声フレームを復号化処理する。具体的な処理プロセスは従来技術のものと同様であり、この実施形態では詳細には説明しない。現在のフレームがSID又はNO_DATAフレームである場合、デコーダは、CNGの特定の動作状態に従って、CNフレームを再構築するための対応する方法を選択する。この実施形態では、CNGは2つの動作状態を有する。すなわち、小さいSIDフレームに対応する半復号化CNG状態すなわち第1のCNG状態と、大きいSIDフレームに対応する全復号CNG状態すなわち第2のCNG状態と、である。全復号化CNG状態において、デコーダは、大きいSIDフレームを復号化処理することによって取得した雑音高帯域パラメータ及び雑音低帯域パラメータに従ってCNフレームを再構築する。半復号化CNG状態において、デコーダは、小さいSIDフレームを復号化処理することによって取得した雑音低帯域パラメータ及びローカルに推定した雑音高帯域パラメータに従ってCNフレームを再構築する。復号化端における現在のフレームが大きいSIDフレームである場合、CNG動作状態フラグflagCNGが0である(半復号CNG状態を示す)ならば、CNG動作状態フラグflagCNGを1にセットする(全復号化CNG状態を示す)。他の場合、元の状態を不変のまま維持する。同様に、復号端における現在のフレームが小さいSIDフレームである場合、CNG作業状態フラグflagCNGが1であるならば、CNG動作状態フラグflagCNGを0にセットする。その他の場合、元の状態を不変のまま維持する。図4を参照すると、特にこの実施形態は、復号化端(デコーダ)においてオーディオ・データを処理するための方法を提供する。この方法は以下を含む。
401.デコーダはSIDを取得し、このSIDが高帯域パラメータ及び低帯域パラメータを含む場合、SIDを復号化処理して雑音高帯域パラメータ及び雑音低帯域パラメータを取得し、復号によって取得した雑音高帯域パラメータ及び雑音低帯域パラメータに従って第3のCNフレームを取得する。
この実施形態では、符号化端(エンコーダ)が送信した符号化された音声フレームを受信した後、復号化端(デコーダ)はまず音声フレームのタイプを判定するので、音声フレームの異なるタイプに応じて異なる復号化方法が用いられる。具体的には、SIDのビット数が予め設定された第1の閾値よりも小さい場合には、SIDが高帯域パラメータを含むことを確定する。SIDのビット数が予め設定された第1の閾値よりも大きく予め設定された第2の閾値よりも小さい場合には、SIDが低帯域パラメータを含むことを確定する。SIDのビット数が予め設定された第2の閾値よりも大きく予め設定された第3の閾値よりも小さい場合には、SIDが高帯域パラメータ及び低帯域パラメータを含むことを確定する。あるいは、SIDが第1の識別子を含む場合には、SIDが高帯域パラメータを含むことを確定し、SIDが第2の識別子を含む場合には、SIDが低帯域パラメータを含むことを確定し、又は、SIDが第3の識別子を含む場合には、SIDが低帯域パラメータ及び高帯域パラメータを含むことを確定する。
この実施形態では、SIDが高帯域パラメータ及び低帯域パラメータを含む場合、SIDを復号化処理して雑音高帯域パラメータ及び雑音低帯域パラメータを取得し、復号によって取得した雑音高帯域パラメータ及び雑音低帯域パラメータに従って第3のCNフレームを取得する。具体的には、デコーダはSIDを復号化処理して、復号低帯域励起対数エネルギe、低帯域ISF係数isf(i)、高帯域対数エネルギE、及び高帯域LSP係数lsp(i)を取得する。isf(i)はISP係数isp(i)に変換され、e及びEはエネルギe及びEに変換される。ここで、
Figure 2017062512
であり、
Figure 2017062512
である。
次いでisp(i)、e、lsp(i)、及びEをバッファリングする。
この実施形態では、デコーダがCNG動作状態にあってflagCNG=1である場合は、現在のフレームがSIDであるかNO_DATAフレームであるかには関わらず、バッファリングしたisp(i)、e、lsp(i)、及びEを用いて、復号端においてバッファリングしたisp(i)、e、lsp(i)、及びEの長期移動平均を更新する。
Figure 2017062512
ここで、α=0.9及びβ=0.7である。ECNは高帯域エネルギ・バッファE1oldにバッファリングする。eCNに基づいてランダムな小さいエネルギを加え、低帯域雑音信号を再構築するために用いられる最終励起エネルギe’CNを取得する。
e’CN=(1+0.000011・RND・eCN)・eCNである。ここで、RNDは〔−32767、32767〕の範囲内の乱数を表す。この実施形態では、320ポイント白色雑音シーケンスexc(i)を生成する。ここでi=0、1、...319である。e’CNを用いてexc(i)に利得調整を行ってexc’(i)を取得する。すなわち、exc(i)に利得係数Gを乗算するので、exc’(i)のエネルギはe’CNに等しい。ここで
Figure 2017062512
である。ispCN(i)をLPC係数に変換して合成フィルタ1/A(Z)を取得し、利得調整した励起exc’(i)を用いてフィルタ1/A(Z)を励起して低帯域CN信号s’を取得する。これは復号端で再構築され16kHzでサンプリングされる。s’のエネルギを計算して低帯域エネルギ・バッファE0oldにバッファリングする。
この実施形態では、復号端における雑音高帯域信号の処理は雑音低帯域信号の処理と同様である。別の320ポイント白色雑音シーケンスexc(i)を生成する。ここでi=0、1、...319である。lspCN(i)をLPC係数に変換して合成フィルタ1/A(Z)を取得し、exc(i)を用いてフィルタ1/A(Z)を励起して利得調整した高帯域CN信号s (i)を取得する。s (i)に利得係数G及びGを乗算し、このときG=0.8であり、復号化端で再構築され16kHzでサンプリングされる高帯域CN信号s’を取得する。ここで、
Figure 2017062512
である。この実施形態では、Gの目的は、再構築した雑音信号に対してある程度のエネルギ抑制を実行することである。
この実施形態では、復号化端(デコーダ)において、s’及びs’をQMF合成フィルタに通し、最後に、デコーダにより再構築され32kHzでサンプリングされる第1のCNフレームを取得する。
402.SIDが低帯域パラメータを含む場合、SIDを復号化処理して雑音低帯域パラメータを取得し、雑音高帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音低帯域パラメータ及びローカルに発生した雑音高帯域パラメータに従って第1のCNフレームを取得する。
この実施形態では、デコーダがCNG動作状態にあってflagCNG=0である場合は、現在のフレームがSIDであるかNO_DATAフレームであるかには関わらず、復号化端において再構築され16kHzでサンプリングされる低帯域CN信号s’を、flagCNG=1である場合に用いたものと同一の方法すなわちステップ402の方法に従って取得する。これについては本実施形態ではこれ以上は説明しない。
この実施形態では、第1のCNフレームの高帯域信号は、白色雑音を用いて合成フィルタを励起する方法を用いることによって取得する。ただし、第1のCNフレームの高帯域信号のエネルギ及び合成フィルタ係数は、ローカルに推定を実行することによって取得する。この実施形態では、雑音高帯域パラメータをローカルに発生することは、SIDに対応する時点での雑音高帯域信号の加重平均エネルギ及び雑音高帯域信号の合成フィルタ係数を別個に取得することと、SIDに対応する時点での雑音高帯域信号の取得した加重平均エネルギ及び雑音高帯域信号の取得した合成フィルタ係数に従って雑音高帯域信号を取得することと、を含む。
この実施形態では、好ましくは、SIDに対応する時点での雑音高帯域信号の加重平均エネルギを取得する処理動作が、復号化処理によって取得した雑音低帯域パラメータに従って第1のCNフレームの低帯域信号のエネルギを取得する動作と、高帯域パラメータを含むSIDを先のSIDの前に受信した時点での雑音低帯域信号のエネルギに対する雑音高帯域信号のエネルギの比率を計算して第1の比率を取得する動作と、第1のCNフレームの低帯域信号のエネルギ及び第1の比率に従って、SIDに対応する時点での雑音高帯域信号のエネルギを取得する動作と、SIDに対応する時点での雑音高帯域信号のエネルギ及びローカルにバッファリングされたCNフレームの高帯域信号のエネルギに対して加重平均を実行して、SIDに対応する時点での雑音高帯域信号の加重平均エネルギを取得する動作であって、SIDに対応する時点での雑音高帯域信号の加重平均エネルギを第1のCNフレームの高帯域信号エネルギとする、動作と、を含む。任意選択的な構成として、高帯域パラメータを含むSIDを先のSIDの前に受信した時点での雑音低帯域信号のエネルギに対する雑音高帯域信号のエネルギの比率を計算して第1の比率を取得することが、高帯域パラメータを含むSIDを先のSIDの前に受信した時点での雑音低帯域信号の瞬時エネルギに対する雑音高帯域信号の瞬時エネルギの比率を計算して第1の比率を取得すること、又は、高帯域パラメータを含むSIDを先のSIDの前に受信した時点での雑音低帯域信号の加重平均エネルギに対する雑音高帯域信号の加重平均エネルギの比率を計算して第1の比率を取得すること、を含む。瞬時エネルギは復号によって取得されるエネルギである。SIDに対応する時点での雑音高帯域信号のエネルギが、ローカルにバッファリングされた以前のCNフレームの高帯域信号のエネルギよりも大きい場合は、ローカルにバッファリングされた以前のCNフレームの高帯域信号のエネルギを第1の更新頻度で更新し、その他の場合は、ローカルにバッファリングされた以前のCNフレームの高帯域信号のエネルギを第2の更新頻度で更新し、第1の更新頻度が第2の更新頻度よりも大きい。
具体的には、この実施形態では、SIDに対応する時点での雑音高帯域信号の加重平均エネルギを取得することは、以下の方法を用いて実施することができる。
復号化処理によって取得した雑音低帯域パラメータに従って第1のCNフレームs’の低帯域信号のエネルギEを取得し、全復号化CNG状態における以前のCNフレームの高帯域信号のエネルギE1old及び低帯域信号のE0old及びEに従って、SIDに対応する時点での雑音高帯域信号のエネルギE を推定する。ここで
Figure 2017062512
である。更に、E を用いることによって復号端における高帯域CN信号エネルギの長期移動平均ECNを更新する。
Figure 2017062512
である。ここで係数λは変数であり、E >ECNである場合はλ=0.98であり、他の場合はλ=0.9である。ここでλ=0.98は第1のレートであり、λ=0.9は第2のレートである。
この実施形態では、符号化端で偏差程度値が計算されない場合は、任意選択的な構成として、SIDに対応する時点での雑音高帯域信号の加重平均エネルギを取得する処理動作が、SIDの前の予め設定された時間期間内の音声フレームから、最小の高帯域信号エネルギを有する音声フレームの高帯域信号を選択する動作と、音声フレーム中で最小の高帯域信号エネルギを有する音声フレームの高帯域信号のエネルギに従って、SIDに対応する時点での雑音高帯域信号の加重平均エネルギを取得する動作と、を含み、又は、SIDの前の予め設定された時間期間内の音声フレームから、予め設定された閾値よりも小さい高帯域信号エネルギを有するN個の音声フレームの高帯域信号を選択する動作と、N個の音声フレームの高帯域信号の加重平均エネルギに従って、SIDに対応する時点での雑音高帯域信号の加重平均エネルギを取得する動作であって、SIDに対応する時点での雑音高帯域信号の加重平均エネルギを第1のCNフレームの高帯域信号エネルギとする、動作と、を含む。
この実施形態では、好ましくは、SIDに対応する時点での雑音高帯域信号の合成フィルタ係数を取得する処理動作が、イミタンス・スペクトル周波数ISF係数又はイミタンス・スペクトル対ISP係数又は線スペクトル周波数LSF係数又は線スペクトル対LSP係数のいずれかを含むM個の係数を、高帯域信号に対応する周波数範囲にわたって分散させる動作と、当該M個の係数にランダム化処理を実行する動作であって、当該ランダム化処理の特性が、M個の係数中に含まれる各係数を当該各係数に対応する目標値に徐々に漸近させるものであり、当該目標値が当該係数の値に近接した予め設定された範囲内の値であり、当該M個の係数中に含まれる各係数の目標値がN個のフレームの各々毎に変化し、Nは変数とすることができる、動作と、当該ランダム化処理によって取得したフィルタ係数に従って、SIDに対応する時点での雑音高帯域信号の合成フィルタ係数を取得する動作と、を含む。
具体的には、この実施形態では、SIDに対応する時点での雑音高帯域信号の合成フィルタ係数を取得することは、以下の方法を用いて実施することができる。
9個のISF係数isfext(i)を、低帯域ISF係数isf(14)に対応する16kHzまでの周波数帯域に均等に分散させる。ここでi=0、1、...8である。
Figure 2017062512
isfext(i)を0〜8kHzの周波数帯域に変換し、isf’ext(i)を取得する。
Figure 2017062512
isf’ext(i)を、9次元のランダム化係数群R(i)を用いることによってランダム化する。ここでi=0、1、...8である。ランダム化ISF係数isf(i)を取得する。
Figure 2017062512
ここで、R(i)は以下の式(14)に従って取得する。
Figure 2017062512
ここで、α=0.8であり、R(i)は目標ランダム化係数と称し、以下の式に従って取得する。
Figure 2017062512
前述の式(15)において、RNDは9次元乱数シーケンス群を表し、各次元における乱数は相互に異なり、全てが〔−1、1〕の範囲内に収まる。cntはフレーム・カウンタである。CNG動作状態において、flagCNG=0である場合、各SIDフレーム又はNO_DATAフレームについて、カウンタに1を加える。mod(cnt.10)は10を法とするcntを表す。別の実施形態では、R(i)を計算する場合、例えばmod(cnt.10)の10も変数であることがある。
Figure 2017062512
ここで、RNDは〔−1、1〕の範囲内の乱数を表し、この実施形態では特に限定されない。
この実施形態では、低帯域ISF係数isf(15)をisf(9)として用い、ランダム化ISF係数isf(i)によって合成し(ここでi=0、1、...8である)、10次フィルタISF係数を形成し、これをLPC係数lpc(i)に変換する。ここでi=0、1、...9である。lpc(i)に、10次重み付け係数群W(i)={0.6699、0.5862、0.5129、0.4488、0.3927、0.3436、0.3007、0.2631、0.2302、0.2014}を乗算する。重み付けしたLPC係数lpc (i)を取得する。すなわち、合成フィルタ1/A (Z)を推定する。
この実施形態では、320ポイント白色雑音シーケンスexc(i)を発生し(ここでi=0、1、...319である)、exc(i)を用いてフィルタ1/A (Z)を励起して、利得未調整の高帯域CN信号s (i)を取得する。s に、利得係数G及びGを乗算し、このときG=0.6であり、復号化端で再構築され16kHzでサンプリングされる高帯域CN信号s’を取得する。ここで
Figure 2017062512
である。
現在のフレームがSIDである場合、lpc (i)をLSP係数lsp (i)に変換し、lsp (i)を用いて、復号端でバッファリングされたCNフレームの高帯域信号のLSP係数の長期移動平均を更新する必要がある。
Figure 2017062512
ここで、β=0.7である。
この実施形態では、任意選択的な構成として、SIDに対応する時点での雑音高帯域信号の合成フィルタ係数を取得する処理動作が、ローカルにバッファリングされた雑音高帯域信号のM個のISF係数又はISP係数又はLSF係数又はLSP係数を取得する動作と、M個の係数にランダム化処理を実行する動作であって、当該ランダム化処理の特性が、当該M個の係数中に含まれる各係数を当該各係数に対応する目標値に徐々に漸近させるものであり、当該目標値が当該係数の値に近接した予め設定された範囲内の値であり、当該M個の係数中に含まれる各係数の目標値がN個のフレームの各々毎に変化する、動作と、当該ランダム化処理によって取得したフィルタ係数に従って、SIDに対応する時点での雑音高帯域信号の前記フィルタ係数を取得する動作と、を含む。具体的には、この実施形態において制約は設定されない。
この実施形態では、低帯域パラメータ及び高帯域パラメータを取得した後、s’及びs’をQMF合成フィルタに通し、最後に、デコーダにより再構築され32kHzでサンプリングされる第1のCNフレームを取得する。
更にこの実施形態では、任意選択的な構成として、復号化処理によって取得した雑音低帯域パラメータ及びローカルに発生した雑音高帯域パラメータに従って第1のCNフレームを取得する前に、ローカルに発生した高帯域パラメータを更に最適化して、より良い効果の快適雑音を得ることができる。具体的な最適化ステップは、SIDに隣接した履歴フレームが符号化音声フレームである場合には、符号化音声フレームから復号化処理された高帯域信号又は高帯域信号の一部の平均エネルギが、ローカルに発生した雑音高帯域信号又は雑音高帯域信号の一部の平均エネルギよりも小さいならば、SIDから開始して以降のL個のフレームの雑音高帯域信号を1よりも小さい平滑化係数で乗算して、ローカルに発生した雑音高帯域信号の新しい加重平均エネルギを取得する動作を含み、これに対応して、復号化処理によって取得した雑音低帯域パラメータ及びローカルに発生した雑音高帯域パラメータに従って第1のCNフレームを取得する動作が、復号化処理によって取得した雑音低帯域パラメータ、SIDに対応する時点での雑音高帯域信号の合成フィルタ係数、及びローカルに発生した雑音高帯域信号の新しい加重平均エネルギに従って、第4のCNフレームを取得する動作を含む。
この実施形態では、現在のSIDの前のフレームが符号化音声フレームであって、更に、符号化音声フレームの高帯域信号のエネルギESPがs’のエネルギES’1よりも低い場合、現在のSID及び以降のいくつかのSID(この実施形態では50フレーム)の高帯域信号のエネルギを平滑化する必要がある。具体的な平滑化方法は、現在のフレームのs’に利得Gを乗算することで平滑化s’1Sを取得する。
Figure 2017062512
である。ここで、cntはフレーム・カウンタであり、符号化音声フレーム後の第1のCNフレームから開始して各フレームについてカウンタに1を加える。
Figure 2017062512
は、以前のフレームの平滑化高帯域信号のエネルギであり、cnt=1である場合にESPとして初期化される。平滑化プロセスは最大で50フレームまでに対してのみ実行される。この期間において、
Figure 2017062512
がES’1よりも大きい場合、平滑化プロセスは終了する。任意選択的な構成として、
Figure 2017062512
及びES’1はフレームの一部のみのエネルギを表す場合があり、この実施形態では特に限定されない。この実施形態では、s’及びs’(又はs’1S)をQMF合成フィルタに通し、最後に、デコーダにより再構築され32kHzでサンプリングされるCNフレームを取得する。
403.SIDが高帯域パラメータを含む場合、SIDを復号化処理して雑音高帯域パラメータを取得し、雑音低帯域パラメータをローカルに発生し、復号によって取得した雑音高帯域パラメータ及びローカルに発生した雑音低帯域パラメータに従って第2のCNフレームを取得する。
この実施形態では、SIDが高帯域パラメータを含む場合、SIDを復号化処理して雑音高帯域パラメータを取得し、雑音低帯域パラメータをローカルに発生し、復号によって取得した雑音高帯域パラメータ及びローカルに発生した雑音低帯域パラメータに従って第2のCNフレームを取得する。高帯域パラメータを復号化処理するための方法は、ステップ401における方法と同一であり、この実施形態では詳細は繰り返し説明しない。低帯域パラメータをローカルに発生するための方法は、広帯域パタメータをローカルに発生するための方法と同一であり、この実施形態では詳細は繰り返し説明しない。
本発明が提供する方法の実施形態は、以下の有利な効果を与える。すなわち、デコーダが、無音挿入記述子フレーム(SID)を取得し、SIDが低帯域パラメータ及び/又は高帯域パラメータを含むことを判定する。SIDが低帯域パラメータを含む場合、SIDを復号化処理して雑音低帯域パラメータを取得し、雑音高帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音低帯域パラメータ及びローカルに発生した雑音高帯域パラメータに従って第1の快適雑音CNフレームを取得する。SIDが高帯域パラメータを含む場合、SIDを復号化処理して雑音高帯域パラメータを取得し、雑音低帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音高帯域パラメータ及びローカルに発生した雑音低帯域パラメータに従って第2のCNフレームを取得する。SIDが高帯域パラメータ及び低帯域パラメータを含む場合、SIDを復号化処理して雑音高帯域パラメータ及び雑音低帯域パラメータを取得し、当該復号化処理によって取得した雑音高帯域パラメータ及び雑音低帯域パラメータに従って第3のCNフレームを取得する。このように、高帯域信号及び低帯域信号のそれぞれについて互いに異なる処理方法を用い、コーデックの本質的な品質を低下させないという前提のもとに計算の複雑さを軽減して符号化ビットを節約することができ、当該節約したビットは、送信帯域幅を縮小するか又は全体的な符号化品質を向上させる目的を達成することに役立てることができ、これによって超広帯域符号化及び超広帯域送信の問題を解決する。また、復号化処理によって取得した雑音低帯域パラメータ及びローカルに発生した雑音高帯域パラメータに従って第2のCNフレームを取得するのに先立って、当該ローカルに発生した雑音高帯域パラメータを更に最適化して、より良い効果の快適雑音を得ることができる。これによってデコーダの性能をいっそう最適化する。
実施形態5
この実施形態は、オーディオ・データを処理するための方法を提供する。実施形態2におけるオーディオ・データを処理するための方法と同じように、符号化端(エンコーダ)は、オーディオ信号の雑音フレームを取得し、雑音フレームを雑音低帯域信号及び雑音高帯域信号に分解する。しかしながら任意選択的な構成として、雑音フレームの高帯域信号が予め設定された符号化及び送信条件を満たすか否かを判定する処理動作が、雑音フレームの雑音高帯域信号のスペクトル構造が、雑音フレームの前の雑音高帯域信号の平均スペクトル構造に比べて、予め設定された条件を満たすか否かを判定し、これを満たす場合には第2のSIDを符号化するためのポリシーを用いることによって雑音フレームの雑音高帯域信号のSIDを符号化し、SIDを送出し、これを満たさない場合には雑音フレームの雑音高帯域信号の符号化及び送信を行う必要がないと判定する動作を含む。この実施形態では、雑音フレームの雑音高帯域信号のスペクトル構造が、雑音フレームの前の雑音高帯域信号の平均スペクトル構造に比べて、予め設定された条件を満たすか否かを判定することを、雑音高帯域信号の符号化及び送信を行うか否かを判定するための第3の条件として用いる。
この実施形態では、任意選択的な構成として、雑音高帯域信号を符号化及び送信するか否かを、第2の判定条件を用いることによって判定することができる。これについてはこの実施形態では特に限定しない。
この実施形態では、DTXは、高帯域パラメータを符号化及び送信するか否かを決定する。すなわち、以下の条件を用いることでflaghbの設定を決定することができる。(1)第3の判定条件を満たすか否か。満たす場合はflaghbを0にセットし、他の場合はflaghbを1にセットする。(2)第2の判定条件を満たすか否か。満たさない場合はflaghbを0にセットし、満たす場合はflaghbを1にセットする。
この実施形態では、第3の判定条件を実施するための具体的な方法は以下の通りとすることができる。すなわち、エンコーダは現在の雑音フレームの雑音高帯域信号sの10次LSP係数lsp(i)を取得する。ここでi=0、...9である。任意選択的な構成として、この係数はLSF又はISF又はISP係数とすることも可能であり、これはこの実施形態では特に限定されない。LSP又はLSF又はISF又はISP係数は、単に異なるドメインにおける異なる表現方法に過ぎないが、全て合成フィルタ係数を表し、これはこの実施形態では特に限定されない。lsp(i)を用いてその移動平均を更新する。
Figure 2017062512
ここで、lsp(i)はlsp(i)の長期移動平均である。現在のlsp(i)と、高帯域パラメータを含むSIDフレームが最後に送出された時点でのlsp(i)との間のスペクトル歪みを計算する。
Figure 2017062512
ここで、Dlspはスペクトル歪みを表し、
Figure 2017062512
は、高帯域パラメータを含むSIDフレームが最後に送出された時点でのlsp(i)を表す。Dlspがある閾値よりも小さい場合はflaghb=0にセットする。他の場合はflaghb=1にセットする。
この実施形態では、必要な場合にエンコーダによって低帯域パラメータ及び/又は高帯域パラメータを符号化するための動作方法は、基本的に実施形態3における動作方法と同一であり、この実施形態では詳細は繰り返し説明しない。
この実施形態では、デコーダがCNG動作状態でありflagCNG=0である場合、雑音高帯域信号をローカルに発生する必要がある。SIDに対応する時点で雑音高帯域信号の重み付け平均エネルギを取得するための方法は、実施形態4における方法と同一であり、この実施形態では詳細は繰り返し説明しない。しかしながらこの実施形態では、好ましくは、SIDに対応する時点での雑音高帯域信号の合成フィルタ係数を取得する処理動作が、ローカルにバッファリングされた雑音高帯域信号のM個のISF係数又はISP係数又はLSF係数又はLSP係数を取得する動作と、M個の係数にランダム化処理を実行する動作であって、当該ランダム化処理の特性が、当該M個の係数中に含まれる各係数を当該各係数に対応する目標値に徐々に漸近させるものであり、当該目標値が当該係数の値に近接した予め設定された範囲内の値であり、当該M個の係数中に含まれる各係数の目標値がN個のフレームの各々毎に変化する、動作と、当該ランダム化処理によって取得したフィルタ係数に従って、SIDに対応する時点での雑音高帯域信号の合成フィルタ係数を取得する動作と、を含む。具体的には、SIDに対応する時点での雑音高帯域信号の合成フィルタ係数を取得する動作とは、以下のように実施することができる。
lsp’(i)=lspCN(i)と想定する(ここでi=0、...9である)と、lspCN(i)は、復号端でローカルにバッファリングされたCNフレームの高帯域信号のLSP係数の長期移動平均である。ランダム化処理は、実施形態4におけるものと同一の方法を用いてlsp’(i)に対して実行し、lsp(i)を取得する。
Figure 2017062512
lsp(i)をLPC係数lpc(i)に変換し、実施形態4におけるものと同一の方法を用いることで、w(i)で重み付けした後に合成フィルタ1/A (Z)を取得する。この実施形態では、320ポイント白色雑音シーケンスexc(i)を発生する。ここでi=0、1、...319である。exc(i)を用いてフィルタ1/A (Z)を励起して利得未調整の高帯域CN信号s (i)を取得する。s (i)に利得係数G3を乗算し、復号端で再構築され16kHzでサンプリングされるCNフレームの高帯域信号s’を取得する。この実施形態では、現在のフレームがSIDである場合、この方法を用いて取得したlsp(i)は、復号端でバッファリングされたCNフレームの高帯域信号のLSP係数の長期移動平均を更新するために用いられない。
この実施形態では、エンコーダが大きいSIDフレームを符号化した場合、符号化端で高帯域信号の対数エネルギの長期移動平均e1aを量子化する場合、e1aを減衰させた後に(すなわち値を減算した後に)量子化を実行する。従ってこの場合、復号において、実施形態4におけるようにs をG2又はG4で乗算する必要はない。この実施形態における復号端の他のステップは、前述の実施形態におけるステップと同様であり、この実施形態では詳細は繰り返し説明しない。
本発明が提供する方法の実施形態は、以下の有利な効果を与える。すなわち、オーディオ信号の現在の雑音フレームを取得し、現在の雑音フレームを雑音低帯域信号及び雑音高帯域信号に分解し、第1の非連続送信機構を用いることによって雑音低帯域信号を符号化及び送信し、第2の非連続送信機構を用いることによって雑音高帯域信号を符号化及び送信する。デコーダが、無音挿入記述子フレームSIDを取得し、このSIDが低帯域パラメータ及び/又は高帯域パラメータを含むことを判定する。SIDが低帯域パラメータを含む場合、SIDを復号化処理して雑音低帯域パラメータを取得し、雑音高帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音低帯域パラメータ及びローカルに発生した雑音高帯域パラメータに従って第1の快適雑音CNフレームを取得する。SIDが高帯域パラメータを含む場合、SIDを復号化処理して雑音高帯域パラメータを取得し、雑音低帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音高帯域パラメータ及びローカルに発生した雑音低帯域パラメータに従って第2のCNフレームを取得する。SIDが高帯域パラメータ及び低帯域パラメータを含む場合、SIDを復号化処理して雑音高帯域パラメータ及び雑音低帯域パラメータを取得し、当該復号化処理によって取得した雑音高帯域パラメータ及び雑音低帯域パラメータに従って第3のCNフレームを取得する。このように、高帯域信号及び低帯域信号のそれぞれについて互いに異なる処理方法を用い、コーデックの本質的な品質を低下させないという前提のもとに計算の複雑さを軽減して符号化ビットを節約することができ、当該節約したビットは、送信帯域幅を縮小するか又は全体的な符号化品質を向上させる目的を達成するために役立てることができ、これによって超広帯域符号化及び超広帯域送信の問題を解決する。
実施形態6
図5を参照すると、この実施形態は、オーディオ・データを符号化するための装置を提供する。この装置は取得モジュール501及び送信モジュール502を含む。
取得モジュール501は、オーディオ信号の雑音フレームを取得し、雑音フレームを雑音低帯域信号及び雑音高帯域信号に分解するように構成されている。
送信モジュール502は、第1の非連続送信機構を用いることによって雑音低帯域信号を符号化及び送信し、第2の非連続送信機構を用いることによって雑音高帯域信号を符号化及び送信するように構成され、第1の非連続送信機構の第1の無音挿入記述子フレームSIDを送出するためのポリシーが、第2の非連続送信機構の第2のSIDを送出するためのポリシーとは異なり、又は、第1の非連続送信機構の第1のSIDを符号化するためのポリシーが、第2の非連続送信機構の第2のSIDを符号化するためのポリシーとは異なる。
この実施形態では、第1のSIDが雑音フレームの低帯域パラメータを含み、第2のSIDが雑音フレームの低帯域パラメータ及び/又は高帯域パラメータを含む。
任意選択的な構成として、図6を参照すると、送信モジュール502は、
雑音高帯域信号が予め設定されたスペクトル構造を有するか否かを判定し、これを有すると共に第2のSIDを送出するためのポリシーの送出条件を満たす場合は、第2のSIDを符号化するためのポリシーを用いることによって雑音高帯域信号のIDを符号化し、SIDを送出し、これを有しない場合は、雑音高帯域信号の符号化及び送信を行う必要がないと判定するように構成された第1の送信ユニット502aを含む。
この実施形態では、第1の送信ユニット502aは、
雑音高帯域信号のスペクトルを取得し、スペクトルを少なくとも2つのサブバンドに分割し、サブバンド内のいずれの第1のサブバンドの平均エネルギがサブバンド内の第2のサブバンドの平均エネルギよりも低くない場合は雑音高帯域信号が予め設定されたスペクトル構造を有しないことを確定し、他の場合は雑音高帯域信号が予め設定されたスペクトル構造を有することを確定するように構成され、第2のサブバンドが位置する周波数帯域が第1のサブバンドが位置する周波数帯域よりも高い、第1の判定サブユニットを含む。
図6を参照すると、任意選択的な構成として、送信モジュール502は、
第1の比率及び第2の比率に従って偏差程度値を発生し、第1の比率が、雑音フレームの雑音低帯域信号のエネルギに対する雑音フレームの雑音高帯域信号のエネルギの比率であり、第2の比率が、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した時点での雑音低帯域信号のエネルギに対する雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した時点での雑音高帯域信号のエネルギの比率であり、更に、偏差程度値が予め設定された閾値に達したか否かを判定し、これに達した場合は第2のSIDを符号化するためのポリシーを用いることによって雑音高帯域信号のSIDを符号化し、SIDを送出し、達しない場合は雑音高帯域信号の符号化及び送信を行う必要がないと判定するように構成された第2の送信ユニット502bを含む。
任意選択的な構成として、第1の比率が、雑音フレームの雑音低帯域信号のエネルギに対する雑音フレームの雑音高帯域信号のエネルギの比率であることは、
第1の比率が、雑音フレームの雑音低帯域信号の瞬時エネルギに対する雑音フレームの雑音高帯域信号の瞬時エネルギの比率であることを含み、更に、
これに対応して、第2の比率が、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した時点での雑音低帯域信号のエネルギに対する雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音高帯域信号のエネルギの比率であることが、
第2の比率が、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音低帯域信号の瞬時エネルギに対する雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音高帯域信号の瞬時エネルギの比率であることを含む。
あるいは、第1の比率が、雑音フレームの雑音低帯域信号のエネルギに対する雑音フレームの雑音高帯域信号のエネルギの比率であることは、
第1の比率が、雑音フレーム及びこの雑音フレームの前の雑音フレームの雑音低帯域信号の加重平均エネルギに対する雑音フレーム及びこの雑音フレームの前の雑音フレームの雑音高帯域信号の加重平均エネルギの比率であることを含み、更に、
これに対応して、第2の比率が、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した時点での雑音低帯域信号のエネルギに対する雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音高帯域信号のエネルギの比率であることが、
第2の比率が、雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音フレーム及び雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点でのこの雑音フレームの前の雑音フレームの低帯域信号の加重平均エネルギに対する雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点での雑音フレーム及び雑音高帯域パラメータを含むSIDを雑音フレームの前に最後に送出した前記時点でのこの雑音フレームの前の雑音フレームの高帯域信号の加重平均エネルギの比率であることを含む。
任意選択的な構成として、この実施形態では、第2の送信ユニット502bは、
第1の比率の対数値及び第2の比率の対数値を別個に計算し、第1の比率の対数値と第2の比率の対数値との間の差の絶対値を計算して偏差程度値を取得するように構成された計算サブユニットを含む。
図6を参照すると、任意選択的な構成として、この実施形態では、送信モジュール502は、
雑音フレームの雑音高帯域信号のスペクトル構造が、雑音フレームの前の雑音高帯域信号の平均スペクトル構造に比べて、予め設定された条件を満たすか否かを判定し、これを満たす場合は第2のSIDを符号化するためのポリシーを用いることによって雑音フレームの雑音高帯域信号のSIDを符号化し、SIDを送出し、これを満たさない場合は雑音フレームの雑音高帯域信号の符号化及び送信を行う必要がないと判定するように構成された第3の送信ユニット502cを含む。
この実施形態では、任意選択的な構成として、雑音フレームの前の雑音高帯域信号の平均スペクトル構造が、雑音フレームの前の雑音高帯域信号のスペクトルの加重平均を含む。
任意選択的な構成として、この実施形態では、第2の非連続送信機構の第2のSIDを送出するためのポリシーにおける送出条件が、第1の非連続送信機構が第1のSIDを送出するための条件を満たすことを更に含む。
本発明が提供する装置の実施形態は、以下の有利な効果を与える。すなわち、オーディオ信号の現在の雑音フレームを取得し、現在の雑音フレームを雑音低帯域信号及び雑音高帯域信号に分解し、第1の非連続送信機構を用いることによって雑音低帯域信号を符号化及び送信し、第2の非連続送信機構を用いることによって雑音高帯域信号を符号化し及び送信する。このように、高帯域信号及び低帯域信号のそれぞれについて互いに異なる処理方法を用い、コーデックの本質的な品質を低下させないという前提のもとに計算の複雑さを軽減して符号化ビットを節約することができ、当該節約したビットは、送信帯域幅を縮小するか又は全体的な符号化品質を向上させる目的を達成するために役立てることができ、これによって超広帯域符号化及び超広帯域送信の問題を解決する。
実施形態7
図7を参照すると、この実施形態は、オーディオ・データを復号化するための装置を提供する。この装置は、取得モジュール601、第1の復号化モジュール602、第2の復号化モジュール603、及び第3の復号化モジュール604を含む。
取得モジュール601は、受信した現在の無音挿入記述子フレームSIDが低帯域パラメータを含むか又は高帯域パラメータを含むかを判定するように構成されている。
第1の復号化モジュール602は、取得モジュール601によって取得されたSIDが低帯域パラメータを含む場合、SIDを復号化処理して雑音低帯域パラメータを取得し、雑音高帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音低帯域パラメータ及びローカルに発生した雑音高帯域パラメータに従って第1の快適雑音CNフレームを取得するように構成されている。
第2の復号化モジュール603は、取得モジュール601によって取得されたSIDが高帯域パラメータを含む場合、SIDを復号化処理して雑音高帯域パラメータを取得し、雑音低帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音高帯域パラメータ及びローカルに発生した雑音低帯域パラメータに従って第2のCNフレームを取得するように構成されている。
第3の復号化モジュール604は、取得モジュール601によって取得されたSIDが高帯域パラメータ及び低帯域パラメータを含む場合、SIDを復号化処理して雑音高帯域パラメータ及び雑音低帯域パラメータを取得し、当該復号化処理によって取得した雑音高帯域パラメータ及び雑音低帯域パラメータに従って第3のCNフレームを取得するように構成されている。
任意選択的な構成として、この実施形態では、第1の復号化モジュール602が、SIDを復号化処理して雑音低帯域パラメータを取得すること、雑音高帯域パラメータをローカルに発生すること、並びに当該復号化処理によって取得した雑音低帯域パラメータ及びローカルに発生した雑音高帯域パラメータに従って第1の快適雑音CNフレームを取得することの前に、デコーダが第1の快適雑音生成CNG状態にある場合、第2のCNG状態に入るように更に構成されている。
任意選択的な構成として、この実施形態では、第3の復号化モジュール604が、SIDを復号化処理して雑音高帯域パラメータ及び雑音低帯域パラメータを取得すること、並びに当該復号化処理によって取得した雑音高帯域パラメータ及び雑音低帯域パラメータに従って第3のCNフレームを取得することの前に、デコーダが第2のCNG状態にある場合、第1のCNG状態に入るように更に構成されている。
任意選択的な構成として、この実施形態では、取得モジュール601は、
SIDのビット数が予め設定された第1の閾値よりも小さい場合、SIDが高帯域パラメータを含むことを確定し、SIDのビット数が予め設定された第1の閾値よりも大きく予め設定された第2の閾値よりも小さい場合、SIDが低帯域パラメータを含むことを確定し、SIDのビット数が予め設定された第2の閾値よりも大きく予め設定された第3の閾値よりも小さい場合、SIDが高帯域パラメータ及び低帯域パラメータを含むことを確定するように構成された第1の確定ユニット、又は、
SIDが第1の識別子を含む場合、SIDが高帯域パラメータを含むことを確定し、SIDが第2の識別子を含む場合、SIDが低帯域パラメータを含むことを確定し、SIDが第3の識別子を含む場合、SIDが低帯域パラメータ及び高帯域パラメータを含むことを確定するように構成された第2の確定ユニット、
を含む。
この実施形態では、第1の復号化モジュール602は、
SIDに対応する時点での雑音高帯域信号の加重平均エネルギ及び雑音高帯域信号の合成フィルタ係数を別個に取得するように構成された第1の取得ユニットと、
SIDに対応する時点での雑音高帯域信号の取得した加重平均エネルギ及び雑音高帯域信号の取得した合成フィルタ係数に従って雑音高帯域信号を取得するように構成された第2の取得ユニットと、
を含む。
任意選択的な構成として、第1の取得ユニットは、
復号によって取得した雑音低帯域パラメータに従って第1のCNフレームの低帯域信号のエネルギを取得するように構成された第1の取得サブユニットと、
高帯域パラメータを含むSIDをSIDの前に受信した時点での雑音低帯域信号のエネルギに対する雑音高帯域信号のエネルギの比率を計算して第1の比率を取得するように構成された計算サブユニットと、
第1のCNフレームの低帯域信号のエネルギ及び第1の比率に従って、SIDに対応する時点での雑音高帯域信号のエネルギを取得するように構成された第2の取得サブユニットと、
SIDに対応する時点での雑音高帯域信号のエネルギ及びローカルにバッファリングされたCNフレームの高帯域信号のエネルギに対して加重平均を実行して、SIDに対応する時点での雑音高帯域信号の加重平均エネルギを取得するように構成された第3の取得サブユニットであって、SIDに対応する時点での雑音高帯域信号の加重平均エネルギが第1のCNフレームの高帯域信号エネルギである、第3の取得サブユニットと、
を含む。
計算サブユニットは、具体的には、
高帯域パラメータを含むSIDをSIDの前に受信した時点での雑音低帯域信号の瞬時エネルギに対する雑音高帯域信号の瞬時エネルギの比率を計算して第1の比率を取得する、又は、
高帯域パラメータを含むSIDをSIDの前に受信した時点での雑音低帯域信号の加重平均エネルギに対する雑音高帯域信号の加重平均エネルギの比率を計算して第1の比率を取得する、
ように構成されている。
SIDに対応する時点での雑音高帯域信号のエネルギが、ローカルにバッファリングされた以前のCNフレームの高帯域信号のエネルギよりも大きい場合は、ローカルにバッファリングされた以前のCNフレームの高帯域信号のエネルギを第1のレートで更新し、その他の場合は、ローカルにバッファリングされた以前のCNフレームの高帯域信号のエネルギを第2のレートで更新し、第1のレートは第2のレートよりも大きい。
任意選択的な構成として、第1の取得ユニットは、
SIDの前の予め設定された時間期間内の音声フレームから、最小の高帯域信号エネルギを有する音声フレームの高帯域信号を選択し、音声フレーム中で最小の高帯域信号エネルギを有する音声フレームの高帯域信号のエネルギに従って、SIDに対応する時点での雑音高帯域信号の加重平均エネルギを取得するように構成された第1の選択サブユニットであって、SIDに対応する時点での雑音高帯域信号の加重平均エネルギが第1のCNフレームの高帯域信号エネルギである、第1の選択サブユニット、又は、
SIDの前の予め設定された時間期間内の音声フレームから、予め設定された閾値よりも小さい高帯域信号エネルギを有するN個の音声フレームの高帯域信号を選択し、N個の音声フレームの高帯域信号の加重平均エネルギに従って、SIDに対応する時点での雑音高帯域信号の加重平均エネルギを取得するように構成された第2の選択ユニットであって、SIDに対応する時点での雑音高帯域信号の加重平均エネルギが第1のCNフレームの高帯域信号エネルギである、第2の選択ユニット、
を含む。
任意選択的な構成として、第1の取得ユニットは、
高帯域信号に対応する周波数範囲に、M個のイミタンス・スペクトル周波数ISF係数又はイミタンス・スペクトル対ISP係数又は線スペクトル周波数LSF係数又は線スペクトル対LSP係数を分散させるように構成された分散サブユニットと、
M個の係数にランダム化処理を実行するように構成された第1のランダム化処理サブユニットであって、ランダム化の特性が、M個の係数中の各係数を各係数に対応する目標値に徐々に近付かせるものであり、目標値が係数値に隣接した予め設定された範囲内の値であり、M個の係数中の各係数の目標値がN個のフレームごとに変化し、M及びNの双方が自然数である、第1のランダム化処理サブユニットと、
ランダム化処理によって取得したフィルタ係数に従って、SIDに対応する時点での雑音高帯域信号の合成フィルタ係数を取得するように構成された第4の取得サブユニットと、
を含む。
任意選択的な構成として、第1の取得ユニットは、
ローカルにバッファリングされた雑音高帯域信号のM個のISF係数又はISP係数又はLSF係数又はLSP係数を取得するように構成された第5の取得サブユニットと、
M個の係数にランダム化処理を実行するように構成された第2のランダム化処理サブユニットであって、ランダム化の特性が、M個の係数中の各係数を各係数に対応する目標値に徐々に近付かせるものであり、目標値が係数値に隣接した予め設定された範囲内の値であり、M個の係数中の各係数の目標値がN個のフレームごとに変化する、第2のランダム化処理サブユニットと、
ランダム化処理によって取得したフィルタ係数に従って、SIDに対応する時点での雑音高帯域信号の合成フィルタ係数を取得するように構成された第6の取得サブユニットと、
を含む。
図8を参照すると、任意選択的な構成として、この装置は、
第1の復号化モジュール602が第1のCNフレームを取得することの前に、SIDに隣接した履歴フレームが符号化音声フレームである場合、符号化音声フレームから復号された高帯域信号又は高帯域信号の一部の平均エネルギが、ローカルに発生した雑音高帯域信号又は雑音高帯域信号の一部の平均エネルギよりも小さいならば、SIDから開始して以降のL個のフレームの雑音高帯域信号を1よりも小さい平滑化係数で乗算して、ローカルに発生した雑音高帯域信号の新しい加重平均エネルギを取得するように構成された最適化モジュール605を更に含む。
これに対応して、第1の復号化モジュール602は、具体的には、復号によって取得した雑音低帯域パラメータ、SIDに対応する時点での雑音高帯域信号の合成フィルタ係数、及びローカルに発生した雑音高帯域信号の新しい加重平均エネルギに従って、第4のCNフレームを取得するように構成されている。
本発明が提供する方法の実施形態は、以下の有利な効果を与える。すなわち、デコーダが、無音挿入記述子フレームSIDを取得し、このSIDが低帯域パラメータ又は高帯域パラメータを含むことを判定する。SIDが低帯域パラメータを含む場合、SIDを復号化処理して雑音低帯域パラメータを取得し、雑音高帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音低帯域パラメータ及びローカルに発生した雑音高帯域パラメータに従って第1の快適雑音CNフレームを取得する。SIDが高帯域パラメータを含む場合、SIDを復号化処理して雑音高帯域パラメータを取得し、雑音低帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音高帯域パラメータ及びローカルに発生した雑音低帯域パラメータに従って第2のCNフレームを取得する。SIDが高帯域パラメータ及び低帯域パラメータを含む場合、SIDを復号化処理して雑音高帯域パラメータ及び雑音低帯域パラメータを取得し、当該復号化処理によって取得した雑音高帯域パラメータ及び雑音低帯域パラメータに従って第3のCNフレームを取得する。このように、高帯域信号及び低帯域信号に異なる処理方法を用い、コーデックの本質的な品質を低下させないという前提のもとに計算の複雑さを軽減して符号化ビットを節約することができ、節約したビットは、送信帯域幅を縮小するか又は全体的な符号化品質を向上させる目的の達成に役立ち、これによって超広帯域符号化及び送信の問題を解決する。
実施形態8
図9を参照すると、この実施形態は、オーディオ・データを処理するための方法を提供する。このシステムは、オーディオ・データを符号化するための前述の装置500及びオーディオ・データを復号化するための前述の装置600を含む。
本発明の実施形態が提供する技術的解決策は、以下の有利な効果を与える。すなわち、オーディオ信号の雑音フレームを取得し、現在の雑音フレームを雑音低帯域信号及び雑音高帯域信号に分解し、第1の非連続送信機構を用いることによって雑音低帯域信号を符号化及び送信し、第2の非連続送信機構を用いることによって雑音高帯域信号を符号化及び送信する。デコーダが、無音挿入記述子フレームSIDを取得し、このSIDが低帯域パラメータ及び/又は高帯域パラメータを含むことを判定する。SIDが低帯域パラメータを含む場合、SIDを復号化処理して雑音低帯域パラメータを取得し、雑音高帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音低帯域パラメータ及びローカルに発生した雑音高帯域パラメータに従って第1の快適雑音CNフレームを取得する。SIDが高帯域パラメータを含む場合、SIDを復号化処理して雑音高帯域パラメータを取得し、雑音低帯域パラメータをローカルに発生し、当該復号化処理によって取得した雑音高帯域パラメータ及びローカルに発生した雑音低帯域パラメータに従って第2のCNフレームを取得する。SIDが高帯域パラメータ及び低帯域パラメータを含む場合、SIDを復号化処理して雑音高帯域パラメータ及び雑音低帯域パラメータを取得し、当該復号化処理によって取得した雑音高帯域パラメータ及び雑音低帯域パラメータに従って第3のCNフレームを取得する。このように、高帯域信号及び低帯域信号のそれぞれについて互いに異なる処理方法を用い、コーデックの本質的な品質を低下させないという前提のもとに計算の複雑さを軽減して符号化ビットを節約することができ、当該節約したビットは、送信帯域幅を縮小するか又は全体的な符号化品質を向上させる目的を達成するために役立てることができ、これによって超広帯域符号化及び送信の問題を解決する。
実施形態が提供する装置及びシステムは、特に、方法の実施形態と同一の思想に属することができる。方法及び装置の具体的な実施プロセスは方法の実施形態において詳しく説明したので、ここでは詳細は繰り返し記載しない。
前述の実施形態におけるオーディオ・データを処理するための方法及び装置は、オーディオ・エンコーダ及びオーディオ・デコーダに適用することができる。オーディオ・コーデックは、移動電話、無線装置、携帯情報端末(PDA)、手持ち型又は携帯型コンピュータ、GPS受信器又はナビゲーション・デバイス、カメラ、オーディオ/ビデオ・プレーヤ、カムコーダ、ビデオ・レコーダ、及び監視デバイス等、様々な電子デバイスに広く適用可能である。一般に、かかる電子デバイスはオーディオ・エンコーダ又はオーディオ・デコーダを含む。オーディオ・エンコーダ又はデコーダは、例えばDSP(デジタル信号プロセッサ)のようなデジタル回路又はチップを用いることで直接に実施することができ、又はソフトウェア・コードを用いてこのソフトウェア・コード内の手順をプロセッサに実行させることによって実施することができる。
実施形態のステップの全て又は一部を、ハードウェア又は関連するハードウェアに命令するプログラムによって実施可能であることは、当業者には理解されよう。プログラムはコンピュータ読み取り可能記憶媒体に記憶することができる。記憶媒体は、読み取り専用メモリ、磁気ディスク、又は光ディスクを含むことができる。
前述の記載は本発明の例示的な実施形態に過ぎず、本発明を限定することは意図していない。本発明の精神及び範囲から逸脱することなく行われるいかなる変更、均等な置換、及び改良も、本発明の保護範囲内に包含されるものである。

Claims (27)

  1. オーディオ・データを処理するための方法であって、
    オーディオ信号の現在の雑音フレームから現在の雑音低帯域信号及び現在の雑音高帯域信号を生成するステップと、
    第1の比率及び第2の比率に基づいて偏差を発生するステップであって、前記第1の比率は、前記現在の雑音高帯域信号のエネルギに対する前記現在の雑音低帯域信号のエネルギの比率を表わし、前記第2の比率は、前の時点での前の雑音高帯域信号のエネルギに対する前記前の時点での前の雑音低帯域信号のエネルギの比率を表わし、前記前の時点は、雑音高帯域パラメータを含む前記オーディオ信号の無音挿入記述子(SID)が前記現在の雑音フレームの前に送られた最後の時点に対応する、ステップと、
    生成された前記偏差が予め設定された閾値より大きいかどうかを判定するステップと、
    生成された前記偏差が前記予め設定された閾値より大きいときは、前記現在の雑音低帯域信号の雑音低帯域パラメータ及び前記現在の雑音高帯域信号の雑音高帯域パラメータを含む第1のSIDを符号化するステップと、
    生成された前記偏差が前記予め設定された閾値より大きくないときは、前記現在の雑音低帯域信号の前記雑音低帯域パラメータを含み、かつ前記現在の雑音高帯域信号の雑音高帯域パラメータを含まない第2のSIDを符号化するステップと、
    生成された前記偏差が前記予め設定された閾値より大きくないときは、前記第2のSIDを送信するステップとを含む、
    方法。
  2. 前記現在の雑音低帯域信号のエネルギは前記現在の雑音低帯域信号の平滑化された平均エネルギを表わし、前記現在の雑音高帯域信号のエネルギは前記現在の雑音高帯域信号の平滑化された平均エネルギを表わし、前記前の時点での前記前の雑音低帯域信号のエネルギは前記前の時点での前記前の雑音低帯域信号の平滑化された平均エネルギを表わし、前記前の時点での前記前の雑音高帯域信号のエネルギは前記前の時点での前記前の雑音高帯域信号の平滑化された平均エネルギを表わす、請求項1記載の方法。
  3. 前記現在の雑音低帯域信号の前記平滑化された平均エネルギは、前記前の時点での前記前の雑音低帯域信号の前記平滑化された平均エネルギ及び前記現在の雑音低帯域信号の平均エネルギに基づいて得られ、前記現在の雑音高帯域信号の前記平滑化された平均エネルギは、前記前の時点での前記前の雑音高帯域信号の前記平滑化された平均エネルギ及び前記現在の雑音高帯域信号の平均エネルギに基づいて得られる、請求項2記載の方法。
  4. 前記現在の雑音低帯域信号の前記平滑化された平均エネルギは対数領域で得られ、前記現在の雑音高帯域信号の前記平滑化された平均エネルギは対数領域で得られる、請求項2記載の方法。
  5. 前記第1の比率及び前記第2の比率に基づいて前記偏差を発生することが、
    前記第1の比率の対数値及び前記第2の比率の対数値を別個に計算する動作と、
    前記第1の比率の前記対数値と前記第2の比率の前記対数値との間の差の絶対値を計算して前記偏差を取得する動作と、
    を含む、請求項1ないし4のうちいずれか一項記載の方法。
  6. 前記第1の比率の前記対数値が:
    前記現在の雑音低帯域信号の平滑化された平均エネルギの対数値を取得し、
    前記現在の雑音高帯域信号の平滑化された平均エネルギの対数値を取得し、
    前記現在の雑音低帯域信号の前記平滑化された平均エネルギの前記対数値と前記現在の雑音高帯域信号の平滑化された平均エネルギの前記対数値との間の差を計算することによって、前記第1の比率の前記対数値を取得することによって計算される、
    請求項5記載の方法。
  7. 前記第2の比率の前記対数値が:
    前記前の時点での前記前の雑音低帯域信号の平滑化された平均エネルギの対数値を取得し、
    前記前の時点での前記前の雑音高帯域信号の平滑化された平均エネルギの対数値を取得し、
    前記前の時点での前記前の雑音低帯域信号の平滑化された平均エネルギの前記対数値と前記前の時点での前記前の雑音高帯域信号の平滑化された平均エネルギの前記対数値との間の差を計算することによって、前記第1の比率の前記対数値を取得することによって計算される、
    請求項5記載の方法。
  8. オーディオ・データを処理するための方法であって、
    デコーダによって、現在の無音挿入記述子(SID)を取得するステップであって、前記現在のSIDは雑音低帯域パラメータを含む、ステップ;
    前記現在のSIDが雑音高帯域パラメータを含むかどうかを判定するステップ;
    前記現在のSIDが前記雑音高帯域パラメータを含まないとき、前記現在のSIDを復号化して、前記雑音低帯域パラメータを取得するステップと;
    前記現在のSIDが前記雑音高帯域パラメータを含まないとき、雑音高帯域パラメータを外挿するステップと;
    前記現在のSIDが前記雑音高帯域パラメータを含まないとき、前記復号化された雑音低帯域パラメータ及び前記外挿された雑音高帯域パラメータに基づいて第1の快適雑音(CN)フレームを取得するステップ;
    前記現在のSIDが前記雑音高帯域パラメータを含むとき、前記現在のSIDを復号化して、前記雑音高帯域パラメータ及び前記雑音低帯域パラメータを取得するステップと;
    前記現在のSIDが前記雑音高帯域パラメータを含むとき、前記復号化された雑音高帯域パラメータ及び前記復号化された雑音低帯域に基づいて第2のCNフレームを取得するステップとを含む、
    方法。
  9. 前記現在のSIDが雑音高帯域パラメータを含むかどうかを判定することが:
    前記現在のSIDが第1の識別子を含むときに前記現在のSIDが前記雑音高帯域パラメータを含むと判定し;
    前記現在のSIDが第2の識別子を含むときに前記現在のSIDが前記雑音高帯域パラメータを含まないと判定することを含み、
    前記第1の識別子及び前記第2の識別子は前記現在のSIDの一つのビットによって指示される、
    請求項8記載の方法。
  10. 前記雑音高帯域パラメータを外挿することが:
    前記現在のSIDに対応する現在の時点での雑音高帯域信号の加重平均エネルギを取得し;
    前記現在の時点での前記雑音高帯域信号の合成フィルタ係数を取得し;
    前記現在の時点での前記雑音高帯域信号の前記取得した加重平均エネルギ及び前記現在の時点での前記雑音高帯域信号の前記取得した合成フィルタ係数に基づいて前記雑音高帯域信号を取得することを含む、
    請求項8記載の方法。
  11. 前記現在の時点での前記雑音高帯域信号の前記加重平均エネルギを前記取得することが、
    復号化された前記雑音低帯域パラメータに基づいて前記第1のCNフレームの低帯域信号のエネルギを取得する動作と、
    前の時点での雑音低帯域信号のエネルギに対する前記前の時点での雑音高帯域信号のエネルギの比率を表わす第1の比率を計算する動作であって、前記前の時点は、雑音高帯域パラメータを含む前のSIDが前記現在のSIDの前に受領された最後の時点に対応する、動作と、
    前記第1のCNフレームの前記低帯域信号の前記エネルギ及び前記第1の比率に基づいて、前記現在の時点での前記雑音高帯域信号のエネルギを取得する動作と、
    前記現在の時点での前記雑音高帯域信号の前記エネルギ及びローカルにバッファリングされたCNフレームの高帯域信号のエネルギに対して加重平均を実行して、前記現在の時点での前記雑音高帯域信号の前記加重平均エネルギを取得する動作であって、前記現在の時点での前記雑音高帯域信号の前記加重平均エネルギが前記第1のCNフレームの高帯域信号エネルギに対応する、動作と、
    を含む、請求項10記載の方法。
  12. 前記第1の比率を取得することが、
    前記前の時点での前記雑音低帯域信号の加重平均エネルギに対する前記前の時点での前記雑音高帯域信号の加重平均エネルギの比率を計算すること、又は、
    前記前の時点での前記雑音低帯域信号の瞬時エネルギに対する前記前の時点での前記雑音高帯域信号の瞬時エネルギの比率を計算することを含む、
    請求項11記載の方法。
  13. 前記第1のCNフレームを取得するのに先立って、前記方法がさらに、
    前記現在のSIDに隣接した履歴フレームが符号化音声フレームである場合、前記符号化音声フレームから復号化された高帯域信号の一部又は高帯域信号の平均エネルギが、外挿された前記雑音高帯域信号又は雑音高帯域信号の平均エネルギよりも小さいならば、前記現在のSIDから開始して以降のL個のフレームの雑音高帯域信号に0よりも大きく1よりも小さい平滑化係数を乗算して、前記外挿された雑音高帯域信号の新しい加重平均エネルギを取得するステップを含み、
    前記第1のCNフレームを取得することが、
    復号化された前記雑音低帯域パラメータ、前記現在の時点での前記雑音高帯域信号の前記合成フィルタ係数、及び前記外挿された雑音高帯域信号の前記新しい加重平均エネルギに基づいて、前記第1のCNフレームを取得することを含む、請求項10記載の方法。
  14. コンピュータ実行可能命令を記憶している非一時的なメモリと;
    前記非一時的なメモリに動作上結合されたプロセッサとを有するエンコーダであって、前記プロセッサは前記コンピュータ実行可能命令を実行して:
    オーディオ信号の現在の雑音フレームから現在の雑音低帯域信号及び現在の雑音高帯域信号を生成するステップと、
    第1の比率及び第2の比率に基づいて偏差を発生するステップであって、前記第1の比率は、前記現在の雑音高帯域信号のエネルギに対する前記現在の雑音低帯域信号のエネルギの比率を表わし、前記第2の比率は、前の時点での前の雑音高帯域信号のエネルギに対する前記前の時点での前の雑音低帯域信号のエネルギの比率を表わし、前記前の時点は、雑音高帯域パラメータを含む前記オーディオ信号の無音挿入記述子(SID)が前記現在の雑音フレームの前に送られた最後の時点に対応する、ステップと、
    生成された前記偏差が予め設定された閾値より大きいかどうかを判定するステップと、
    生成された前記偏差が前記予め設定された閾値より大きいときは、前記現在の雑音低帯域信号の雑音低帯域パラメータ及び前記現在の雑音高帯域信号の雑音高帯域パラメータを含む第1のSIDを符号化するステップと、
    生成された前記偏差が前記予め設定された閾値より大きいときは、前記第1のSIDを送信するステップと、
    生成された前記偏差が前記予め設定された閾値より大きくないときは、前記現在の雑音低帯域信号の前記雑音低帯域パラメータを含み、かつ前記現在の雑音高帯域信号の雑音高帯域パラメータを含まない第2のSIDを符号化するステップと、
    生成された前記偏差が前記予め設定された閾値より大きくないときは、前記第2のSIDを送信するステップとを実行するよう構成されている、
    エンコーダ。
  15. 前記現在の雑音低帯域信号のエネルギは前記現在の雑音低帯域信号の平滑化された平均エネルギを表わし、前記現在の雑音高帯域信号のエネルギは前記現在の雑音高帯域信号の平滑化された平均エネルギを表わし、前記前の時点での前記前の雑音低帯域信号のエネルギは前記前の時点での前記前の雑音低帯域信号の平滑化された平均エネルギを表わし、前記前の時点での前記前の雑音高帯域信号のエネルギは前記前の時点での前記前の雑音高帯域信号の平滑化された平均エネルギー表わす、請求項14記載のエンコーダ。
  16. 前記現在の雑音低帯域信号の前記平滑化された平均エネルギは、前記前の時点での前記前の雑音低帯域信号の前記平滑化された平均エネルギ及び前記現在の雑音低帯域信号の平均エネルギに基づいて得られ、前記現在の雑音高帯域信号の前記平滑化された平均エネルギは、前記前の時点での前記前の雑音高帯域信号の前記平滑化された平均エネルギ及び前記現在の雑音高帯域信号の平均エネルギに基づいて得られる、請求項15記載のエンコーダ。
  17. 前記現在の雑音低帯域信号の前記平滑化された平均エネルギは対数領域で得られ、前記現在の雑音高帯域信号の前記平滑化された平均エネルギは対数領域で得られる、請求項16記載のエンコーダ。
  18. 前記プロセッサが:
    前記第1の比率の対数値及び前記第2の比率の対数値を別個に計算し、
    前記第1の比率の前記対数値と前記第2の比率の前記対数値との間の差の絶対値を計算して前記偏差を取得するよう構成されている、
    請求項14ないし17のうちいずれか一項記載のエンコーダ。
  19. 前記プロセッサが:
    前記現在の雑音低帯域信号の平滑化された平均エネルギの対数値を取得し、
    前記現在の雑音高帯域信号の平滑化された平均エネルギの対数値を取得し、
    前記現在の雑音低帯域信号の前記平滑化された平均エネルギの前記対数値と前記現在の雑音高帯域信号の平滑化された平均エネルギの前記対数値との間の差を計算することによって、前記第1の比率の前記対数値を取得するよう構成されている、
    請求項18記載のエンコーダ。
  20. 前記プロセッサが:
    前記前の時点での前記前の雑音低帯域信号の平滑化された平均エネルギの対数値を取得し、
    前記前の時点での前記前の雑音高帯域信号の平滑化された平均エネルギの対数値を取得し、
    前記前の時点での前記前の雑音低帯域信号の平滑化された平均エネルギの前記対数値と前記前の時点での前記前の雑音高帯域信号の平滑化された平均エネルギの前記対数値との間の差を計算することによって、前記第1の比率の前記対数値を取得するよう構成されている、
    請求項18記載のエンコーダ。
  21. コンピュータ実行可能命令を記憶している非一時的なメモリと;
    前記非一時的なメモリに動作上結合されたプロセッサとを有するデコーダであって、前記プロセッサは前記コンピュータ実行可能命令を実行して:
    現在の無音挿入記述子(SID)を取得するステップであって、前記現在のSIDは雑音低帯域パラメータを含む、ステップ;
    前記現在のSIDが雑音高帯域パラメータを含むかどうかを判定するステップ;
    前記現在のSIDが前記雑音高帯域パラメータを含まないとき、前記現在のSIDを復号化して、前記雑音低帯域パラメータを取得するステップと;
    前記現在のSIDが前記雑音高帯域パラメータを含まないとき、雑音高帯域パラメータを外挿するステップと;
    前記現在のSIDが前記雑音高帯域パラメータを含まないとき、前記復号化された雑音低帯域パラメータ及び前記外挿された雑音高帯域パラメータに基づいて第1の快適雑音(CN)フレームを取得するステップ;
    前記現在のSIDが前記雑音高帯域パラメータ及び前記雑音低帯域パラメータを含むとき、前記現在のSIDを復号化して、前記雑音高帯域パラメータ及び前記雑音低帯域パラメータを取得するステップと;
    前記現在のSIDが前記雑音高帯域パラメータ及び前記雑音低帯域パラメータを含むとき、前記復号化された雑音高帯域パラメータ及び前記復号化された雑音低帯域に基づいて第2のCNフレームを取得するステップとを実行するよう構成されている、
    デコーダ。
  22. 前記プロセッサがさらに:
    前記現在のSIDが第1の識別子を含むときに前記現在のSIDが前記雑音高帯域パラメータを含むと判定し;
    前記現在のSIDが第2の識別子を含むときに前記現在のSIDが前記雑音高帯域パラメータを含まないと判定するよう構成されており、
    前記第1の識別子及び前記第2の識別子は前記現在のSIDの一つのビットによって指示される、
    請求項21記載のデコーダ。
  23. 前記プロセッサがさらに:
    前記現在のSIDに対応する現在の時点での雑音高帯域信号の加重平均エネルギを取得し;
    前記現在の時点での前記雑音高帯域信号の合成フィルタ係数を取得し;
    前記現在の時点での前記雑音高帯域信号の前記取得した加重平均エネルギ及び前記現在の時点での前記雑音高帯域信号の前記取得した合成フィルタ係数に基づいて前記雑音高帯域信号を取得するよう構成されている、
    請求項21記載のデコーダ。
  24. 前記プロセッサがさらに:
    復号化された前記雑音低帯域パラメータに基づいて前記第1のCNフレームの低帯域信号のエネルギを取得する動作と、
    前の時点での雑音低帯域信号のエネルギに対する前記前の時点での雑音高帯域信号のエネルギの比率を表わす第1の比率を計算する動作であって、前記前の時点は、雑音高帯域パラメータを含む前のSIDが前記現在のSIDの前に受領された最後の時点に対応する、動作と、
    前記第1のCNフレームの前記低帯域信号の前記エネルギ及び前記第1の比率に基づいて、前記現在の時点での前記雑音高帯域信号のエネルギを取得する動作と、
    前記現在の時点での前記雑音高帯域信号の前記エネルギ及びローカルにバッファリングされたCNフレームの高帯域信号のエネルギに対して加重平均を実行して、前記現在の時点での前記雑音高帯域信号の前記加重平均エネルギを取得する動作であって、前記現在の時点での前記雑音高帯域信号の前記加重平均エネルギが前記第1のCNフレームの高帯域信号エネルギに対応する、動作とを実行するよう構成されている、
    請求項23記載のデコーダ。
  25. 前記プロセッサがさらに:
    前記前の時点での前記雑音低帯域信号の加重平均エネルギに対する前記前の時点での前記雑音高帯域信号の加重平均エネルギの比率を前記第1の比率として計算する、又は、
    前記前の時点での前記雑音低帯域信号の瞬時エネルギに対する前記前の時点での前記雑音高帯域信号の瞬時エネルギの比率を前記第1の比率として計算する
    よう構成されている、請求項24記載のデコーダ。
  26. 前記プロセッサがさらに:
    前記現在のSIDに隣接した履歴フレームが符号化音声フレームである場合、前記符号化音声フレームから復号化された高帯域信号の一部又は高帯域信号の平均エネルギが、外挿された前記雑音高帯域信号又は雑音高帯域信号の平均エネルギよりも小さいならば、前記現在のSIDから開始して以降のL個のフレームの雑音高帯域信号に0よりも大きく1よりも小さい平滑化係数を乗算して、前記外挿された雑音高帯域信号の新しい加重平均エネルギを取得し、
    復号化された前記雑音低帯域パラメータ、前記現在の時点での前記雑音高帯域信号の前記合成フィルタ係数、及び前記外挿された雑音高帯域信号の前記新しい加重平均エネルギに基づいて、前記第1のCNフレームを取得するよう構成されている、
    請求項23記載のデコーダ。
  27. コンピュータによって実行されたときに該コンピュータに請求項1乃至13の中のいずれか1項に記載されたステップを実行させるプログラム。
JP2016252612A 2011-12-30 2016-12-27 オーディオ・データを処理するための方法、装置、及びシステム Active JP6462653B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110455836.7A CN103187065B (zh) 2011-12-30 2011-12-30 音频数据的处理方法、装置和系统
CN201110455836.7 2011-12-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014549344A Division JP6072068B2 (ja) 2011-12-30 2012-12-28 オーディオ・データを処理するための方法、装置、及びシステム

Publications (2)

Publication Number Publication Date
JP2017062512A true JP2017062512A (ja) 2017-03-30
JP6462653B2 JP6462653B2 (ja) 2019-01-30

Family

ID=48678198

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014549344A Active JP6072068B2 (ja) 2011-12-30 2012-12-28 オーディオ・データを処理するための方法、装置、及びシステム
JP2016252612A Active JP6462653B2 (ja) 2011-12-30 2016-12-27 オーディオ・データを処理するための方法、装置、及びシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014549344A Active JP6072068B2 (ja) 2011-12-30 2012-12-28 オーディオ・データを処理するための方法、装置、及びシステム

Country Status (18)

Country Link
US (6) US9406304B2 (ja)
EP (1) EP2793227B1 (ja)
JP (2) JP6072068B2 (ja)
KR (2) KR101770237B1 (ja)
CN (1) CN103187065B (ja)
AU (1) AU2012361423B2 (ja)
BR (1) BR112014016153B1 (ja)
CA (3) CA3059322C (ja)
ES (1) ES2610783T3 (ja)
HK (1) HK1199543A1 (ja)
IN (1) IN2014KN01436A (ja)
MX (1) MX338445B (ja)
MY (1) MY173976A (ja)
PT (1) PT2793227T (ja)
RU (3) RU2617926C1 (ja)
SG (2) SG10201609338SA (ja)
WO (1) WO2013097764A1 (ja)
ZA (2) ZA201404996B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103187065B (zh) * 2011-12-30 2015-12-16 华为技术有限公司 音频数据的处理方法、装置和系统
CN106169297B (zh) * 2013-05-30 2019-04-19 华为技术有限公司 信号编码方法及设备
US9136763B2 (en) * 2013-06-18 2015-09-15 Intersil Americas LLC Audio frequency deadband system and method for switch mode regulators operating in discontinuous conduction mode
CN111710342B (zh) * 2014-03-31 2024-04-16 弗朗霍弗应用研究促进协会 编码装置、解码装置、编码方法、解码方法及程序
US10163453B2 (en) * 2014-10-24 2018-12-25 Staton Techiya, Llc Robust voice activity detector system for use with an earphone
GB2532041B (en) * 2014-11-06 2019-05-29 Imagination Tech Ltd Comfort noise generation
CN105681512B (zh) * 2016-02-25 2019-02-01 Oppo广东移动通信有限公司 一种降低语音通话功耗的方法及装置
CN105721656B (zh) * 2016-03-17 2018-10-12 北京小米移动软件有限公司 背景噪声生成方法及装置
ES2745018T3 (es) 2016-12-12 2020-02-27 Kyynel Oy Procedimiento versátil de selección de canal para red inalámbrica
US10504538B2 (en) * 2017-06-01 2019-12-10 Sorenson Ip Holdings, Llc Noise reduction by application of two thresholds in each frequency band in audio signals
US10540983B2 (en) * 2017-06-01 2020-01-21 Sorenson Ip Holdings, Llc Detecting and reducing feedback
GB2595891A (en) * 2020-06-10 2021-12-15 Nokia Technologies Oy Adapting multi-source inputs for constant rate encoding
CN113571072B (zh) * 2021-09-26 2021-12-14 腾讯科技(深圳)有限公司 一种语音编码方法、装置、设备、存储介质及产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004537739A (ja) * 2000-10-18 2004-12-16 ノキア コーポレーション 音声コーデックにおける擬似高帯域信号の推定方法およびシステム
JP2008139447A (ja) * 2006-11-30 2008-06-19 Mitsubishi Electric Corp 音声符号化装置及び音声復号装置
US20080195383A1 (en) * 2007-02-14 2008-08-14 Mindspeed Technologies, Inc. Embedded silence and background noise compression
JP2009545779A (ja) * 2006-07-31 2009-12-24 クゥアルコム・インコーポレイテッド 信号変化検出のためのシステム、方法、および装置
JP2011502287A (ja) * 2007-11-02 2011-01-20 華為技術有限公司 音声復号化方法及び装置
JP2011514561A (ja) * 2008-03-20 2011-05-06 華為技術有限公司 背景雑音生成方法および雑音処理装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103065B1 (en) * 1998-10-30 2006-09-05 Broadcom Corporation Data packet fragmentation in a cable modem system
US6424938B1 (en) 1998-11-23 2002-07-23 Telefonaktiebolaget L M Ericsson Complex signal activity detection for improved speech/noise classification of an audio signal
EP1133886B1 (en) * 1998-11-24 2008-03-12 Telefonaktiebolaget LM Ericsson (publ) Efficient in-band signaling for discontinuous transmission and configuration changes in adaptive multi-rate communications systems
US6549587B1 (en) * 1999-09-20 2003-04-15 Broadcom Corporation Voice and data exchange over a packet based network with timing recovery
US6782360B1 (en) * 1999-09-22 2004-08-24 Mindspeed Technologies, Inc. Gain quantization for a CELP speech coder
AU1359601A (en) * 1999-11-03 2001-05-14 Tellabs Operations, Inc. Integrated voice processing system for packet networks
FI116643B (fi) * 1999-11-15 2006-01-13 Nokia Corp Kohinan vaimennus
US7920697B2 (en) 1999-12-09 2011-04-05 Broadcom Corp. Interaction between echo canceller and packet voice processing
US6615169B1 (en) * 2000-10-18 2003-09-02 Nokia Corporation High frequency enhancement layer coding in wideband speech codec
US6691805B2 (en) 2001-08-27 2004-02-17 Halliburton Energy Services, Inc. Electrically conductive oil-based mud
US7319703B2 (en) * 2001-09-04 2008-01-15 Nokia Corporation Method and apparatus for reducing synchronization delay in packet-based voice terminals by resynchronizing during talk spurts
US20030093270A1 (en) * 2001-11-13 2003-05-15 Domer Steven M. Comfort noise including recorded noise
CA2392640A1 (en) * 2002-07-05 2004-01-05 Voiceage Corporation A method and device for efficient in-based dim-and-burst signaling and half-rate max operation in variable bit-rate wideband speech coding for cdma wireless systems
FR2859566B1 (fr) * 2003-09-05 2010-11-05 Eads Telecom Procede de transmission d'un flux d'information par insertion a l'interieur d'un flux de donnees de parole, et codec parametrique pour sa mise en oeuvre
JP4572123B2 (ja) * 2005-02-28 2010-10-27 日本電気株式会社 音源供給装置及び音源供給方法
CN101087319B (zh) * 2006-06-05 2012-01-04 华为技术有限公司 一种发送和接收背景噪声的方法和装置及静音压缩系统
US7809559B2 (en) * 2006-07-24 2010-10-05 Motorola, Inc. Method and apparatus for removing from an audio signal periodic noise pulses representable as signals combined by convolution
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
CN101246688B (zh) 2007-02-14 2011-01-12 华为技术有限公司 一种对背景噪声信号进行编解码的方法、系统和装置
CN101320563B (zh) * 2007-06-05 2012-06-27 华为技术有限公司 一种背景噪声编码/解码装置、方法和通信设备
CN100555414C (zh) * 2007-11-02 2009-10-28 华为技术有限公司 一种dtx判决方法和装置
DE102008009718A1 (de) * 2008-02-19 2009-08-20 Siemens Enterprise Communications Gmbh & Co. Kg Verfahren und Mittel zur Enkodierung von Hintergrundrauschinformationen
DE102008009719A1 (de) 2008-02-19 2009-08-20 Siemens Enterprise Communications Gmbh & Co. Kg Verfahren und Mittel zur Enkodierung von Hintergrundrauschinformationen
CN101335000B (zh) 2008-03-26 2010-04-21 华为技术有限公司 编码的方法及装置
CN102792760B (zh) * 2010-02-25 2015-08-12 瑞典爱立信有限公司 为音乐关闭dtx
US20110228946A1 (en) * 2010-03-22 2011-09-22 Dsp Group Ltd. Comfort noise generation method and system
JP2012215198A (ja) * 2011-03-31 2012-11-08 Showa Corp 回転構造体
CN103187065B (zh) * 2011-12-30 2015-12-16 华为技术有限公司 音频数据的处理方法、装置和系统
JP6180544B2 (ja) * 2012-12-21 2017-08-16 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオ信号の不連続伝送における高スペクトル−時間分解能を持つコンフォートノイズの生成

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004537739A (ja) * 2000-10-18 2004-12-16 ノキア コーポレーション 音声コーデックにおける擬似高帯域信号の推定方法およびシステム
JP2009545779A (ja) * 2006-07-31 2009-12-24 クゥアルコム・インコーポレイテッド 信号変化検出のためのシステム、方法、および装置
JP2008139447A (ja) * 2006-11-30 2008-06-19 Mitsubishi Electric Corp 音声符号化装置及び音声復号装置
US20080195383A1 (en) * 2007-02-14 2008-08-14 Mindspeed Technologies, Inc. Embedded silence and background noise compression
JP2011502287A (ja) * 2007-11-02 2011-01-20 華為技術有限公司 音声復号化方法及び装置
JP2011514561A (ja) * 2008-03-20 2011-05-06 華為技術有限公司 背景雑音生成方法および雑音処理装置

Also Published As

Publication number Publication date
US9406304B2 (en) 2016-08-02
KR20170002704A (ko) 2017-01-06
US20140316774A1 (en) 2014-10-23
KR101770237B1 (ko) 2017-08-22
KR20140109456A (ko) 2014-09-15
BR112014016153A2 (pt) 2017-06-13
MY173976A (en) 2020-03-02
SG11201403686SA (en) 2014-10-30
US11183197B2 (en) 2021-11-23
RU2641464C1 (ru) 2018-01-17
JP6072068B2 (ja) 2017-02-01
CA2861916A1 (en) 2013-07-04
ZA201600247B (en) 2016-03-30
US20220044692A1 (en) 2022-02-10
HK1199543A1 (en) 2015-07-03
PT2793227T (pt) 2016-12-29
MX338445B (es) 2016-04-15
EP2793227B1 (en) 2016-10-26
EP2793227A1 (en) 2014-10-22
CA2861916C (en) 2019-11-19
IN2014KN01436A (ja) 2015-10-23
AU2012361423A1 (en) 2014-07-31
AU2012361423B2 (en) 2016-01-28
BR112014016153B1 (pt) 2021-01-12
US20230352035A1 (en) 2023-11-02
SG10201609338SA (en) 2016-12-29
RU2579926C1 (ru) 2016-04-10
EP2793227A4 (en) 2015-03-18
WO2013097764A1 (zh) 2013-07-04
CA3059322C (en) 2023-01-10
JP6462653B2 (ja) 2019-01-30
US10529345B2 (en) 2020-01-07
KR101693280B1 (ko) 2017-01-05
US20160300578A1 (en) 2016-10-13
CN103187065B (zh) 2015-12-16
US11727946B2 (en) 2023-08-15
JP2015507764A (ja) 2015-03-12
CA3059322A1 (en) 2013-07-04
CA3181066A1 (en) 2013-07-04
US20200098378A1 (en) 2020-03-26
MX2014007968A (es) 2015-01-26
CN103187065A (zh) 2013-07-03
BR112014016153A8 (pt) 2017-07-04
ES2610783T3 (es) 2017-05-03
ZA201404996B (en) 2016-06-29
US9892738B2 (en) 2018-02-13
RU2617926C1 (ru) 2017-04-28
US20180137869A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
JP6462653B2 (ja) オーディオ・データを処理するための方法、装置、及びシステム
US10559313B2 (en) Speech/audio signal processing method and apparatus
US20230037845A1 (en) Truncateable predictive coding
JP6474874B2 (ja) ハーモニックオーディオ信号の帯域幅拡張
WO2023197809A1 (zh) 一种高频音频信号的编解码方法和相关装置
EP2127088A1 (en) Audio quantization
CN115512711A (zh) 语音编码、语音解码方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181227

R150 Certificate of patent or registration of utility model

Ref document number: 6462653

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250