JP2021002069A - 音響信号の帯域幅拡張を行う装置及び方法 - Google Patents
音響信号の帯域幅拡張を行う装置及び方法 Download PDFInfo
- Publication number
- JP2021002069A JP2021002069A JP2020166633A JP2020166633A JP2021002069A JP 2021002069 A JP2021002069 A JP 2021002069A JP 2020166633 A JP2020166633 A JP 2020166633A JP 2020166633 A JP2020166633 A JP 2020166633A JP 2021002069 A JP2021002069 A JP 2021002069A
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- spectrum
- harmonic
- unit
- low frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 18
- 238000001228 spectrum Methods 0.000 claims abstract description 184
- 230000003595 spectral effect Effects 0.000 claims description 80
- 230000002596 correlated effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000002347 injection Methods 0.000 claims description 3
- 239000007924 injection Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 239000002131 composite material Substances 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
- G10L21/0388—Details of processing therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
- G10L19/035—Scalar quantisation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】高調波のハーモニクス構造を有する入力信号に対して、より良好な音声品質を得るために、低ビットレートでより効率良く帯域幅拡張を行うこと。【解決手段】本発明は、音響信号の符号化及び復号に対する帯域幅拡張を行う装置に導入される。この発明において、新たな帯域幅拡張符号化は、入力信号の高周波帯域信号と最も相関の高い低周波数スペクトル部分を特定し、そのエネルギ調整により高周波数スペクトルを複製し、合成低周波数スペクトルから推定される高調波周波数に基づいて、複製された高周波数スペクトルのスペクトルピーク位置を調整することにより、低周波数スペクトルと複製された高周波数スペクトルとの間のハーモニクス関係を維持する。【選択図】図５
Description
本発明は、音響信号処理に関し、特に、音響信号の帯域幅拡張のための音響信号の符号化及び復号処理に関する。
通信において、ネットワークリソースをより効率的に使用するために、オーディオコーデックには、主観的品質の許容できる範囲で音響信号を低ビットレートに圧縮することが導入されている。よって、音響信号の符号化の際、ビットレートの制約を克服するために、圧縮効率を向上させる必要がある。
ＢＷＥ（bandwidth extension：帯域幅拡張）は、ＷＢ（wideband：広帯域）又はＳＷＢ（super-wideband：超広帯域）の音響信号を低ビットレートに効率的に圧縮するために、音響信号の符号化において広く使用されている技術である。符号化におけるＢＷＥは、復号された低周波帯域信号を用いてパラメトリックに高周波帯域信号を表現する。すなわち、ＢＷＥは、音響信号の低周波帯域信号の中で高周波帯域信号のサブバンドと類似する部分を探索して特定し、その類似する部分を特定するパラメータを符号化して送信し、受信側で低周波帯域信号を用いて高周波帯域信号を再合成できるようにする。高周波帯域信号を直接的に符号化せず、低周波帯域信号の類似する部分を利用することで伝送するパラメータの情報量を少なくでき、圧縮効率を向上できる。
ＢＷＥの機能を利用した音響信号のコーデックの１つとして、Ｇ．７１８−ＳＷＢがある。Ｇ．７１８−ＳＷＢの適用対象は、ＶｏＩＰ装置、テレビ会議設備、電話会議設備、及び、携帯電話である。
Ｇ．７１８−ＳＷＢの構成を図１及び図２に示す（例えば、非特許文献１を参照）。
図１に示す符号化装置側では、３２ｋＨｚでサンプリングされた音響信号（以下、入力信号という）は、まず、１６ｋＨｚにダウンサンプリングされる（１０１）。ダウンサンプリングされた信号は、Ｇ．７１８コア符号化部によって符号化される（１０２）。ＳＷＢ帯域幅拡張は、ＭＤＣＴ領域において行われる。３２ｋＨｚ入力信号は、ＭＤＣＴ領域に変換され（１０３）、トーン性推定部を介して処理される（１０４）。入力信号の推定されたトーン性に基づいて（１０５）、ジェネリック（generic）モード（１０６）又は正弦波（sinusoidal）モード（１０８）がＳＷＢの第１レイヤ符号化に用いられる。より上位のＳＷＢレイヤは、追加正弦波（additional sinusoid）を用いて符号化される（１０７及び１０９）。
ジェネリックモードは、入力フレームの信号が非トーンと見なされる場合に使用される。ジェネリックモードにおいて、Ｇ．７１８コア符号化部によって符号化されたＷＢ信号のＭＤＣＴ係数（スペクトル）は、ＳＷＢ ＭＤＣＴ係数（スペクトル）の符号化に利用される。ＳＷＢ周波数帯域（７−１４ｋＨｚ）はいくつかのサブバンドに分割され、全てのサブバンドに対して、符号化され正規化されたＷＢ ＭＤＣＴ係数から、最も相関の高い部分が探索される。そして、最も相関の高い部分のゲインは、ＳＷＢのサブバンドの振幅レベルを再現できるようスケール計算され、ＳＷＢ信号の高周波成分の媒介変数表示（パラメトリック表現）が得られる。
正弦波モード符号化は、トーンに分類されるフレームにおいて使用される。正弦波モードにおいて、ＳＷＢ信号は、正弦波成分の有限集合をＳＷＢスペクトルに加えることにより生成される。
図２に示す復号装置側では、Ｇ．７１８コアコーデックは、ＷＢ信号を１６ｋＨｚサンプリングレートで復号する（２０１）。ＷＢ信号は、後処理された後（２０２）、３２ｋＨｚサンプリングレートにアップサンプリングされる（２０３）。ＳＷＢ周波数成分は、ＳＷＢ帯域幅拡張によって再構成される。ＳＷＢ帯域幅拡張は主にＭＤＣＴ領域で行われる。ジェネリックモード（２０４）及び正弦波モード（２０５）は、ＳＷＢの第１レイヤの復号に用いられる。より上位のＳＷＢレイヤは、追加正弦波モードを用いて復号される（２０６及び２０７）。再構成されたＳＷＢ ＭＤＣＴ係数は、時間領域に変換され（２０８）、後処理（２０９）の後、Ｇ．７１８コア復号部によって復号されたＷＢ信号に加算され、時間領域のＳＷＢ出力信号が再構成される。
ITU-T Recommendation G.718 Amendment 2, New Annex B on superwideband scalable extension for ITU-T G.718 and corrections to main body fixed-point C-code and description text, March 2010.
Ｇ．７１８−ＳＷＢの構成に見られるように、入力信号のＳＷＢ帯域幅拡張は、正弦波モード又はジェネリックモードのいずれかによって行われる。
例えば、ジェネリック符号化のメカニズムに対して、高周波数成分は、ＷＢスペクトルから最も相関の高い部分を探索することにより生成される（得られる）。通常、このアプローチのタイプは、特に高調波を有する信号に対する性能に問題を抱える。このアプローチは、低周波帯域の高調波成分（トーン成分）と複製された高周波帯域のトーン成分との間のハーモニクス（高調波）関係を全く維持していない。このことは、聴感的品質を劣化させる不明瞭なスペクトルの原因となる。
したがって、不明瞭なスペクトル、又は、複製された高周波帯域信号のスペクトル（高周波数スペクトル）における乱れによって生成される聴感ノイズ（又はartifact）を抑圧するために、低周波帯域信号のスペクトル（低周波数スペクトル）と高周波数スペクトルとの間のハーモニクス関係を維持することが望ましい。
この問題を解決するために、Ｇ．７１８−ＳＷＢの構成は、正弦波モードを備えている。正弦波モードは、正弦波を用いて重要なトーン成分を符号化するので、良好なハーモニクス構造が維持される。しかしながら、人工的なトーン信号によってＳＷＢ成分を単純に符号化すると、結果として得られる音声品質は必ずしも十分に良好にはならないという課題がある。
本発明は、上記ジェネリックモードが抱える高調波（ハーモニクス）を有する信号に対する符号化性能を改善することを目的とし、スペクトルの微細（fine）構造を維持しつつ、低周波数スペクトルと複製された高周波数スペクトルとの間のトーン成分のハーモニクス構造を維持するための効率的な方法を提供するものである。まず、ＷＢスペクトルから高調波の周波数の値を推定することにより低周波数スペクトルのトーン成分と高周波数スペクトルのトーン成分との関係が得られる。次いで、符号化装置側で符号化された低周波数スペクトルが復号され、インデックス情報に従って高周波数スペクトルのサブバンドに最も相関の高い部分がエネルギレベル調整されたうえで高周波帯域にコピーされることで高周波数スペクトルが複製される。複製された高周波数スペクトルにおけるトーン成分の周波数は、推定された高調波の周波数の値に基づいて特定又は調整される。
低周波数スペクトルのトーン成分と複製された高周波数スペクトルのトーン成分との間のハーモニクス関係は、高調波の周波数の推定が正確である場合のみ維持される。このため、推定精度を向上させるために、高調波の周波数を推定する前にトーン成分を構成するスペクトルピークの補正を行う。
この発明により、特に、ハーモニクス構造を有する入力信号に対して、帯域幅拡張により再構成された高周波数スペクトルにおけるトーン成分を正確に複製し、良好な音声品質を低ビットレートで効率的に得ることができる。
本発明の主な原理は図３〜図１４を用いてこのセクションに記載されている。当業者であれば、本発明の主旨から逸脱することなく、この発明を変更又は適合させることが可能である。
（実施の形態１）
本発明に係るコーデックの構成を図３及び図４に示す。
本発明に係るコーデックの構成を図３及び図４に示す。
図３に示す符号化装置側では、サンプリングされた入力信号は、まず、ダウンサンプリングされる（３０１）。ダウンサンプリングされた低周波帯域の信号（低周波数信号）は、コア符号化部により符号化される（３０２）。コア符号化パラメータは、ビットストリームを形成するために多重化部（３０７）へ送られる。また、入力信号は時間-周波数（Ｔ／Ｆ）変換部（３０３）で周波数領域の信号に変換され、その高周波帯域信号（高周波数信号）は複数のサブバンドに分割される。符号化部は、既存の狭帯域又は広帯域のオーディオ又は音声コーデックでもよく、一例としてＧ．７１８が挙げられる。コア符号化部（３０２）は、単に符号化するだけでなく、ローカルな復号部及び時間−周波数変換部も備えており、ローカルな復号を行い、復号された信号（合成信号）の時間−周波数変換を行い、合成低周波数信号をエネルギ正規化部（３０４）へ供給する。正規化された周波数領域の合成低周波数信号は、以下のようにして帯域幅拡張に利用される。まず、類似度探索部（３０５）が、この正規化された低周波数合成数信号中で入力信号の高周波数信号の各サブバンドと最も相関の高い部分を特定し、探索結果であるインデックス情報を多重化部（３０７）へ送る。次に、この最も相関の高い部分と入力信号の高周波数信号の各サブバンドとのスケールファクタ情報が推定され（３０６）、符号化されたスケールファクタ情報は多重化部（３０７）へ送られる。
最後に、多重化部（３０７）は、コア符号化パラメータ、インデックス情報及びスケールファクタ情報を、ビットストリームに統合する。
図４に示す復号装置では、逆多重化部（４０１）は、ビットストリームを解いて、コア符号化パラメータ、インデックス情報及びスケールファクタ情報を得る。
コア復号部は、コア符号化パラメータを用いて、合成低周波数信号を再構成する（４０２）。合成低周波数信号は、アップサンプリングされる（４０３）とともに帯域幅拡張にも用いられる（４１０）。
この帯域幅拡張は以下のように行われる。すなわち、合成低周波数信号をエネルギ正規化し（４０４）、符号化装置側で導出された入力信号の高周波数信号の各サブバンドとの相関が最も高い部分を特定するインデックス情報に従って特定された低周波数信号を高周波帯域にコピーし（４０５）、入力信号の高周波数信号のエネルギレベルと同じレベルにするために、スケールファクタ情報に従ってエネルギレベル調整を行う（４０６）。
また、高調波の周波数は、合成低周波数信号のスペクトルから推定される（４０７）。推定された高調波の周波数は、高周波数信号のスペクトルにおいてトーン成分の周波数を調整するために使用される（４０８）。
再構成された高周波数信号は、周波数領域から時間領域に変換され（４０９）、アップサンプリングされた合成低周波数信号に加算され、時間領域の出力信号を生成する。
高調波の周波数の推定方式の詳細な処理について以下に説明する。
１）合成低周波数信号（ＬＦ）のスペクトルから、高調波の周波数を推定するための部分を選択。選択された部分は、選択された部分から推定される高調波の周波数が信頼できるものであるために、鮮明なハーモニクス構造を有するべきである。通常、全ての高調波に対して、１−２ｋＨｚからカットオフ周波数の付近において鮮明なハーモニクス構造が観察される。
２）選択された部分を人間のピッチ周波数に近い幅（100Hz〜400Hz程度）の多数のブロックに分割。
３）各ブロック内において振幅が最大となるスペクトル（スペクトルピーク）、及びスペクトルピークの周波数（スペクトルピーク周波数）を探索。
４）エラー回避又は高調波の周波数の推定精度向上のために、特定したスペクトルピークに対して後処理を実施。
１）合成低周波数信号（ＬＦ）のスペクトルから、高調波の周波数を推定するための部分を選択。選択された部分は、選択された部分から推定される高調波の周波数が信頼できるものであるために、鮮明なハーモニクス構造を有するべきである。通常、全ての高調波に対して、１−２ｋＨｚからカットオフ周波数の付近において鮮明なハーモニクス構造が観察される。
２）選択された部分を人間のピッチ周波数に近い幅（100Hz〜400Hz程度）の多数のブロックに分割。
３）各ブロック内において振幅が最大となるスペクトル（スペクトルピーク）、及びスペクトルピークの周波数（スペクトルピーク周波数）を探索。
４）エラー回避又は高調波の周波数の推定精度向上のために、特定したスペクトルピークに対して後処理を実施。
後処理の一例を、図５に示すスペクトルを用いて説明する。
合成低周波数信号のスペクトルに基づいて、スペクトルピーク、及び、スペクトルピーク周波数が算出される。ただし振幅が小さく、隣りあうスペクトルピークとのスペクトルピーク周波数の間隔が非常に短いスペクトルピークは削除される。これにより、高調波の周波数の値を算出する際の推定誤りを回避する。
１）特定されたスペクトルピーク周波数の間隔を算出。
２）特定されたスペクトルピーク周波数の間隔に基づいて高調波の周波数を推定。高調波の周波数を推定する方法の一つを以下に示す。
１）特定されたスペクトルピーク周波数の間隔を算出。
２）特定されたスペクトルピーク周波数の間隔に基づいて高調波の周波数を推定。高調波の周波数を推定する方法の一つを以下に示す。
高調波の周波数の推定は、以下のような方法でも行うことができる。
１）合成低周波数信号（ＬＦ）のスペクトルにおいて、高調波の周波数を推定するため、推定される高調波の周波数の信頼性が担保できるよう鮮明なハーモニクス構造を有する部分を選ぶ。通常、全ての高調波に対して、１−２ｋＨｚからカットオフ周波数の付近において鮮明なハーモニクス構造が見られる。
２）上記の合成低周波数信号（スペクトル）の選択された部分の中で最大の振幅（絶対値）を有するスペクトルとその周波数を特定する。
３）この最大振幅のスペクトルのスペクトル周波数から、ほぼ等しい周波数間隔を有し、かつ振幅の絶対値が所定の閾値を越えるスペクトルピークのセットを特定する。所定の閾値としては例えば前述の選択された部分のスペクトル振幅の標準偏差の２倍の値が採用できる。
４）上記スペクトルピーク周波数の間隔を算出する。
５）上記スペクトルピーク周波数の間隔に基づいて高調波の周波数を推定する。なお、この場合にも高調波の周波数を推定するため、式（１）の方法を使用可能である。
１）合成低周波数信号（ＬＦ）のスペクトルにおいて、高調波の周波数を推定するため、推定される高調波の周波数の信頼性が担保できるよう鮮明なハーモニクス構造を有する部分を選ぶ。通常、全ての高調波に対して、１−２ｋＨｚからカットオフ周波数の付近において鮮明なハーモニクス構造が見られる。
２）上記の合成低周波数信号（スペクトル）の選択された部分の中で最大の振幅（絶対値）を有するスペクトルとその周波数を特定する。
３）この最大振幅のスペクトルのスペクトル周波数から、ほぼ等しい周波数間隔を有し、かつ振幅の絶対値が所定の閾値を越えるスペクトルピークのセットを特定する。所定の閾値としては例えば前述の選択された部分のスペクトル振幅の標準偏差の２倍の値が採用できる。
４）上記スペクトルピーク周波数の間隔を算出する。
５）上記スペクトルピーク周波数の間隔に基づいて高調波の周波数を推定する。なお、この場合にも高調波の周波数を推定するため、式（１）の方法を使用可能である。
ところで、極めて低いビットレートの場合には、合成低周波数信号のスペクトル内の高調波成分が十分に符号化されない場合がある。この場合、特定されるいくつかのスペクトルピークは、入力信号の高調波成分に全く対応していない可能性がある。このため、高調波の周波数の算出において、スペクトルピーク周波数の間隔が平均的な値と大きく異なる場合には、この算出対象から除外した方がよい。
また、スペクトルピークの振幅が比較的小さいとか、符号化のためのビットレートの制限などから、必ずしも全ての高調波成分が符号化できない（つまり合成低周波数信号のスペクトルのいくつかの高調波成分が欠落している）場合がある。このような場合には、欠落する高調波部分において抽出されるスペクトルピーク周波数の間隔は、良好なハーモニクス構造を有する部分で抽出されるスペクトルピーク周波数の間隔の２倍又は数倍となると考えられる。この場合には最大のスペクトルピーク周波数の間隔を含む所定の範囲に含まれるスペクトルピーク周波数の間隔の抽出値の平均値を高調波の周波数の推定値とする。これにより、高周波数スペクトルを適切に複製することができる。具体的には、以下のステップからなる。
１）スペクトルピーク周波数の間隔の最小値及び最大値を特定する。
１）スペクトルピーク周波数の間隔の最小値及び最大値を特定する。
２）次の範囲における全てのスペクトルピーク周波数の間隔を特定する。
３）上記範囲において特定されるスペクトルピーク周波数の間隔の平均値を高調波の周波数の推定値とする。
次に、高調波周波数調整方式の一例を以下に説明する。
１）合成低周波数信号（ＬＦ）のスペクトルにおける符号化された最後のスペクトルピーク、及び、そのスペクトルピーク周波数を特定する。
２）帯域幅拡張により複製された高周波数スペクトル内のスペクトルピーク及びスペクトルピーク周波数を特定する。
３）合成低周波数信号スペクトルのスペクトルピークのうち、最大のスペクトルピーク周波数を基準として、スペクトルピーク周波数の間隔が高調波の周波数間隔の推定値と等しくなるように、スペクトルピーク周波数を調整する。この処理を図６に示す。図６に示すように、まず、合成低周波数信号スペクトル中で最大のスペクトルピーク周波数、及び、複製された高周波数スペクトル内のスペクトルピークを特定する。そして、複製された高周波数スペクトル内の最小のスペクトルピーク周波数を持つものを、合成低周波数信号スペクトルの最大のスペクトルピーク周波数からEstHarmonicの間隔を有する周波数にシフトする。複製された高周波数スペクトル内のスペクトルピーク周波数が２番目に小さなものは、上記のシフトされた最小のスペクトルピーク周波数からEstHarmonicの間隔を有する周波数にシフトする。複製された高周波数スペクトル内の全てのスペクトルピークのスペクトルピーク周波数についてこのような調整が完了するまでこの処理を繰り返す。
２）帯域幅拡張により複製された高周波数スペクトル内のスペクトルピーク及びスペクトルピーク周波数を特定する。
３）合成低周波数信号スペクトルのスペクトルピークのうち、最大のスペクトルピーク周波数を基準として、スペクトルピーク周波数の間隔が高調波の周波数間隔の推定値と等しくなるように、スペクトルピーク周波数を調整する。この処理を図６に示す。図６に示すように、まず、合成低周波数信号スペクトル中で最大のスペクトルピーク周波数、及び、複製された高周波数スペクトル内のスペクトルピークを特定する。そして、複製された高周波数スペクトル内の最小のスペクトルピーク周波数を持つものを、合成低周波数信号スペクトルの最大のスペクトルピーク周波数からEstHarmonicの間隔を有する周波数にシフトする。複製された高周波数スペクトル内のスペクトルピーク周波数が２番目に小さなものは、上記のシフトされた最小のスペクトルピーク周波数からEstHarmonicの間隔を有する周波数にシフトする。複製された高周波数スペクトル内の全てのスペクトルピークのスペクトルピーク周波数についてこのような調整が完了するまでこの処理を繰り返す。
また、以下のような高調波周波数調整方式も可能である。
１）合成低周波数信号（ＬＦ）のスペクトルの最大のスペクトルピーク周波数を持つものを特定する。
２）帯域幅拡張により帯域幅拡張される高周波数（ＨＦ）スペクトル内のスペクトルピーク及びスペクトルピーク周波数を特定する。
３）合成低周波数信号スペクトルの最大のスペクトルピーク周波数を基準として、ＨＦスペクトルにおいて採りうるスペクトルピーク周波数を算出する。帯域幅拡張により複製された高周波数スペクトル内の各スペクトルピークを算出されたスペクトルピーク周波数のうち各スペクトルピーク周波数に最も近い周波数へ移動する。この処理を図７に示す。図７に示すように、まず、合成低周波数スペクトルの最大のスペクトルピーク周波数を持つもの、及び、複製された高周波数スペクトル内のスペクトルピークが抽出される。そして、複製された高周波数スペクトル内で採りうるスペクトルピーク周波数が算出される。合成低周波数信号スペクトルの最大のスペクトルピーク周波数からEstHarmonicの間隔を有する周波数を、複製された高周波数スペクトル内のスペクトルピークが１番目に採りうるスペクトルピークの周波数とする。次に上記１番目の採りうるスペクトルピーク周波数からEstHarmonicの間隔を有する周波数を、２番目に採りうるスペクトルピークの周波数とする。高周波数スペクトル内で計算できる限りこの処理を繰り返す。
１）合成低周波数信号（ＬＦ）のスペクトルの最大のスペクトルピーク周波数を持つものを特定する。
２）帯域幅拡張により帯域幅拡張される高周波数（ＨＦ）スペクトル内のスペクトルピーク及びスペクトルピーク周波数を特定する。
３）合成低周波数信号スペクトルの最大のスペクトルピーク周波数を基準として、ＨＦスペクトルにおいて採りうるスペクトルピーク周波数を算出する。帯域幅拡張により複製された高周波数スペクトル内の各スペクトルピークを算出されたスペクトルピーク周波数のうち各スペクトルピーク周波数に最も近い周波数へ移動する。この処理を図７に示す。図７に示すように、まず、合成低周波数スペクトルの最大のスペクトルピーク周波数を持つもの、及び、複製された高周波数スペクトル内のスペクトルピークが抽出される。そして、複製された高周波数スペクトル内で採りうるスペクトルピーク周波数が算出される。合成低周波数信号スペクトルの最大のスペクトルピーク周波数からEstHarmonicの間隔を有する周波数を、複製された高周波数スペクトル内のスペクトルピークが１番目に採りうるスペクトルピークの周波数とする。次に上記１番目の採りうるスペクトルピーク周波数からEstHarmonicの間隔を有する周波数を、２番目に採りうるスペクトルピークの周波数とする。高周波数スペクトル内で計算できる限りこの処理を繰り返す。
その後、複製された高周波数スペクトルにおいて抽出されたスペクトルピークを、上記で算出した採りうるスペクトルピーク周波数のうちスペクトルピーク周波数が最も近い周波数にシフトする。
推定高調波の値EstHarmonicは、整数の周波数ビンに対応しない場合もある。この場合、スペクトルピーク周波数は、EstHarmonicに基づいて導出される周波数に最も近い周波数ビンとなるように選択する。
なお、高調波の周波数の推定に前フレームのスペクトルが利用されるような高調波の周波数の推定方法、及び、トーン成分の調整の際にフレーム移行がスムーズになるように前フレームのスペクトルが考慮されるようなトーン成分の周波数の調整方法も考えられる。また、トーン成分の周波数をシフトしても元のスペクトルのエネルギレベルが維持されるように振幅を調整してもよい。これらの軽微な変更は全て、本発明の範囲に含まれる。
上記は全て例示であって、本発明の着想はこれらに限定されるものではない。当業者であれば、本発明の主旨から逸脱することなく本発明を変更又は修正することが可能である。
［効果］
本発明に係る帯域幅拡張方法は、高周波数スペクトルと最も相関の高い合成低周波数信号スペクトルを用いて高周波数スペクトルを複製するとともに、スペクトルピークを推定された高調波の周波数へシフトするものである。これにより、スペクトルの微細構造、及び、低周波帯域のスペクトルピークと複製された高周波帯域のスペクトルピークとの間のハーモニクス構造の双方を維持することができる。
本発明に係る帯域幅拡張方法は、高周波数スペクトルと最も相関の高い合成低周波数信号スペクトルを用いて高周波数スペクトルを複製するとともに、スペクトルピークを推定された高調波の周波数へシフトするものである。これにより、スペクトルの微細構造、及び、低周波帯域のスペクトルピークと複製された高周波帯域のスペクトルピークとの間のハーモニクス構造の双方を維持することができる。
（実施の形態２）
本発明の実施の形態２は、図８及び図９に示される。
本発明の実施の形態２は、図８及び図９に示される。
実施の形態２に係る符号化装置は、高調波周波数推定部（７０８，７０９），高調波周波数比較部（７１０）を除いて、実施の形態１とほぼ同一である。
高調波の周波数は、合成低周波数スペクトル（７０８）と入力信号の高周波数スペクトル（７０９）とで別々に推定され、両者の推定値の比較結果（７１０）に基づいてフラグ情報が送信される。一例として、フラグ情報は以下の式のように導出することができる。
すなわち、合成低周波数信号のスペクトル（合成低周波数スペクトル）から推定される高調波の周波数EstHarmonic#LFと、入力信号の高周波数スペクトルから推定される高調波の周波数EstHarmonic#HFとが比較され、２つの値の差分が十分に小さい場合には、合成低周波数スペクトルからの推定が十分に正確であると考え、高調波周波数調整に使用しても良いことを意味するフラグ（Flag=1)がセットされる。一方、２つの値の差分が小さくない場合、合成低周波数スペクトルからの推定値が正確ではないと考え、高調波周波数調整に使用すべきでないことを意味するフラグ（Flag=0)がセットされる。
図９に示す復号装置側では、フラグ情報の値によって複製された高周波数スペクトルに対して高調波周波数調整（８１０）を適用するか否かを決定する。すなわち、復号装置は、Flag=1の場合、高調波周波数調整を行い、Flag=0の場合、高調波周波数調整を行わない。
［効果］
いくつかの信号に対して、合成低周波数スペクトルから推定した高調波の周波数は、入力信号の高周波数スペクトルの高調波の周波数と異なる場合がある。特に低ビットレートでは、低周波数スペクトルのハーモニクス構造は良好に維持されない。フラグ情報を送ることによって、誤った高調波の周波数の推定値を用いたトーン成分の調整を回避することができる。
いくつかの信号に対して、合成低周波数スペクトルから推定した高調波の周波数は、入力信号の高周波数スペクトルの高調波の周波数と異なる場合がある。特に低ビットレートでは、低周波数スペクトルのハーモニクス構造は良好に維持されない。フラグ情報を送ることによって、誤った高調波の周波数の推定値を用いたトーン成分の調整を回避することができる。
（実施の形態３）
本発明の実施の形態３は、図１０及び図１１に示される。
本発明の実施の形態３は、図１０及び図１１に示される。
実施の形態３に係る符号化装置は、差分器（９１０）を除いて、実施の形態２とほぼ同一である。
高調波の周波数は、合成低周波数スペクトル（９０８）と入力信号の高周波数スペクトル（９０９）とで別々に推定される。２つの推定高調波の周波数の差分（Diff）が算出され（９１０）、復号装置側へ送信される。
図１１に示す復号装置側では、差分値（Diff）は、合成低周波数スペクトルからの高調波の周波数の推定値に加算され（１０１０）、新に算出された高調波の周波数の値が複製された高周波数スペクトルにおける高調波周波数調整に使用される。
差分値の代わりに、入力信号の高周波数スペクトルから推定された高調波の周波数が復号部へ直接送信されてもよい。そして、入力信号の高周波数スペクトルの高調波の周波数の受信値を用いて高調波周波数調整が行われる。これによって復号装置側での合成低周波数スペクトルからの高調波の周波数の推定は不要となる。
［効果］
いくつかの信号に対して、合成低周波数スペクトルから推定した高調波の周波数は、入力信号の高周波数スペクトルの高調波の周波数と異なる場合があるため、差分値、又は、入力信号の高周波数スペクトルから導出された高調波の周波数の値を送ることによって、受信側である復号装置で帯域幅拡張して複製した高周波数スペクトルのトーン成分の調整をより精度良く行うことができる。
いくつかの信号に対して、合成低周波数スペクトルから推定した高調波の周波数は、入力信号の高周波数スペクトルの高調波の周波数と異なる場合があるため、差分値、又は、入力信号の高周波数スペクトルから導出された高調波の周波数の値を送ることによって、受信側である復号装置で帯域幅拡張して複製した高周波数スペクトルのトーン成分の調整をより精度良く行うことができる。
（実施の形態４）
本発明の実施の形態４は、図１２に示される。
本発明の実施の形態４は、図１２に示される。
実施の形態４に係る符号化装置は、他の従来の符号化装置、又は、実施の形態１、２又は３と同一である。
図１２に示す復号装置側では、合成低周波数スペクトルから高調波の周波数が推定される（１１０３）。この高調波の周波数の推定値は、低周波数スペクトルでの高調波注入（１１０４）に用いられる。
特に、利用可能なビットレートが低い場合、いくつかの低周波数スペクトルの高調波成分はほとんど符号化されないか、あるいは全く符号化されない場合がある。この場合、高調波の周波数の推定値は、欠落した高調波成分を注入するために使用することができる。
このことを図１３に示す。図１３では、合成低周波数（ＬＦ）スペクトル内に高調波成分の欠落があることが分かる。その周波数は、高調波の周波数の推定値を用いて導出可能である。また、その振幅は、例えば他の既存のスペクトルピークの振幅の平均値、又は、周波数軸上で欠落した高調波成分に近接する既存のスペクトルピークの振幅の平均値を用いればよい。この周波数及び振幅に従って生成された高調波成分が欠落した高調波成分を復元するものとして注入される。
欠落した高調波成分を注入する他のアプローチについて以下で説明する。
１．符号化されたＬＦスペクトルを用いて高調波の周波数を推定する（１１０３）。
１．１ 高調波の周波数を、符号化された低周波数スペクトル内で特定されたスペクトルピーク周波数の間隔を用いて推定する。
１．２ 欠落した高調波部分で導出されたスペクトルピーク周波数の間隔の値は良好なハーモニクス構造を維持している部分で導出されるスペクトルピーク周波数の間隔の値の２倍又は数倍となる。このようなスペクトルピーク周波数の間隔は、異なるカテゴリにグループ化され、それぞれに対して平均的なスペクトルピーク周波数の間隔が推定される。以下にその詳細を説明する。
ａ．スペクトルピーク周波数の間隔の値の最小値及び最大値を特定する。
ｂ．次の範囲における全ての間隔の値を特定する。
ｃ．上記範囲において特定される間隔の値の平均値を高調波の周波数の推定値として算出する。
２．高調波の周波数の推定値を用いて、欠落した高調波成分を注入する。
２．１ 選択されたＬＦスペクトルをいくつかの領域に分割する。
２．２ 領域情報及び推定された周波数を用いることにより欠落した高調波を特定する。
例えば、選択されたＬＦスペクトルが３つの領域ｒ1，ｒ2，ｒ3に分割されたとする。
領域情報に基づいて、高調波が特定され、高調波が注入される。
高調波に対する信号特性により、高調波間のスペクトルギャップは、ｒ1及びｒ2の領域ではEstHarmonicLF1となり、ｒ3の領域ではEstHarmonicLF2となる。この情報は、ＬＦスペクトルの拡張に使用することができる。このことを更に図１４に示す。図１４では、ＬＦスペクトルの領域ｒ２に欠落した高調波成分があることが分かる。この周波数は、高調波の周波数の推定値EstHarmonicLF1を用いて導出可能である。
同様に、EstHarmonicLF2は、領域ｒ2での欠落した高調波のトラッキング及び注入に使用される。
また、その振幅は、欠落していない全高調波成分の振幅の平均値、または欠落した高調波成分の前後に連なる高調波成分の振幅の平均値を用いることができる。又は、振幅はＷＢスペクトルで最小振幅を有するスペクトルピークを用いてもよい。その周波数及び振幅を用いて生成された高調波成分が欠落した高調波成分を復元するものとしてＬＦスペクトルに注入される。
１．符号化されたＬＦスペクトルを用いて高調波の周波数を推定する（１１０３）。
１．１ 高調波の周波数を、符号化された低周波数スペクトル内で特定されたスペクトルピーク周波数の間隔を用いて推定する。
１．２ 欠落した高調波部分で導出されたスペクトルピーク周波数の間隔の値は良好なハーモニクス構造を維持している部分で導出されるスペクトルピーク周波数の間隔の値の２倍又は数倍となる。このようなスペクトルピーク周波数の間隔は、異なるカテゴリにグループ化され、それぞれに対して平均的なスペクトルピーク周波数の間隔が推定される。以下にその詳細を説明する。
ａ．スペクトルピーク周波数の間隔の値の最小値及び最大値を特定する。
ｂ．次の範囲における全ての間隔の値を特定する。
ｃ．上記範囲において特定される間隔の値の平均値を高調波の周波数の推定値として算出する。
２．高調波の周波数の推定値を用いて、欠落した高調波成分を注入する。
２．１ 選択されたＬＦスペクトルをいくつかの領域に分割する。
２．２ 領域情報及び推定された周波数を用いることにより欠落した高調波を特定する。
例えば、選択されたＬＦスペクトルが３つの領域ｒ1，ｒ2，ｒ3に分割されたとする。
領域情報に基づいて、高調波が特定され、高調波が注入される。
高調波に対する信号特性により、高調波間のスペクトルギャップは、ｒ1及びｒ2の領域ではEstHarmonicLF1となり、ｒ3の領域ではEstHarmonicLF2となる。この情報は、ＬＦスペクトルの拡張に使用することができる。このことを更に図１４に示す。図１４では、ＬＦスペクトルの領域ｒ２に欠落した高調波成分があることが分かる。この周波数は、高調波の周波数の推定値EstHarmonicLF1を用いて導出可能である。
同様に、EstHarmonicLF2は、領域ｒ2での欠落した高調波のトラッキング及び注入に使用される。
また、その振幅は、欠落していない全高調波成分の振幅の平均値、または欠落した高調波成分の前後に連なる高調波成分の振幅の平均値を用いることができる。又は、振幅はＷＢスペクトルで最小振幅を有するスペクトルピークを用いてもよい。その周波数及び振幅を用いて生成された高調波成分が欠落した高調波成分を復元するものとしてＬＦスペクトルに注入される。
［効果］
いくつかの信号に対して、合成低周波数スペクトルは維持されない場合がある。特に低ビットレートでは、いくつかの高調波成分は欠落する可能性がある。ＬＦスペクトルで欠落した高調波成分を注入することにより、ＬＦの拡張のみでなく、再構成される高調波のハーモニクス特性を向上させることができる。これにより、高調波の欠落による聴感的な影響を抑圧して、音声品質を更に向上させることができる。
いくつかの信号に対して、合成低周波数スペクトルは維持されない場合がある。特に低ビットレートでは、いくつかの高調波成分は欠落する可能性がある。ＬＦスペクトルで欠落した高調波成分を注入することにより、ＬＦの拡張のみでなく、再構成される高調波のハーモニクス特性を向上させることができる。これにより、高調波の欠落による聴感的な影響を抑圧して、音声品質を更に向上させることができる。
２０１３年６月１１日出願の特願２０１３−１２２９８５の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明に係る符号化装置、復号装置及び符号化／復号方法は、ワイヤレス通信端末装置、移動通信システムにおける基地局装置、電話会議端末装置、テレビ会議端末装置、及び、ＶＯＩＰ端末装置に適用可能である。
Claims (10)
- 音響信号を符号化する符号化装置から送信された符号化情報からコア符号化パラメータ、インデックス情報、およびスケールファクタ情報を取り出す逆多重化部と、
前記コア符号化パラメータを復号して、合成低周波数スペクトルを得るコア復号部と、
前記インデックス情報に基づき、前記合成低周波数スペクトルを用いて高周波数サブバンドスペクトルを複製するスペクトル複製部と、
前記スケールファクタ情報を用いて、前記複製された高周波数サブバンドスペクトルの振幅を調整するスペクトル包絡調整部と、を具備し、
前記合成低周波数スペクトルと前記高周波数サブバンドスペクトルとを用いて出力信号を生成する音響信号復号装置であって、
前記複製された高周波数サブバンドスペクトルにおける高調波成分の周波数を推定する高調波周波数推定部と、
前記合成低周波数スペクトルを用いて推定される高調波周波数を用いて高周波数スペクトルにおける高調波成分の周波数を調整する高調波周波数調整部と、
をさらに具備することを特徴とする音響信号復号装置。 - 前記高調波周波数推定部は、
前記合成低周波数スペクトルの中で予め選択された部分を所定数のブロックに分割する分割部と、
各ブロックにおいて、最大の振幅を有するスペクトル（スペクトルピーク）と、前記スペクトルピークの周波数を求めるスペクトルピーク特定部と、
前記特定されたスペクトルピークの周波数の間隔を算出する間隔算出部と、
前記特定されたスペクトルピークの周波数の間隔を用いて、前記高調波周波数を算出する高調波周波数算出部と、を具備する、
請求項１に記載の音響信号復号装置。 - 前記高調波周波数推定部は、
前記合成低周波数スペクトルの予め選択された部分で振幅の絶対値が最大となるスペクトルと当該スペクトルから周波数軸上でほぼ等間隔に位置し、かつ振幅の絶対値が所定の閾値以上のスペクトルを特定するスペクトルピーク特定部と、
前記特定されたスペクトルピークの周波数の間隔を算出する間隔算出部と、
前記特定されたスペクトルの周波数の間隔を用いて、前記高調波周波数を算出する高調波周波数算出部と、を具備する、
請求項１に記載の音響信号復号装置。 - 前記高調波周波数調整部は、
前記合成低周波数スペクトルにおけるスペクトルピークのうち最大周波数のものの周波数を特定する低周波数スペクトルピーク特定部と、
前記複製された高周波数サブバンドスペクトルにおける複数のスペクトルピークの周波数を特定する高周波数スペクトルピーク特定部と、
前記合成低周波数スペクトルにおけるスペクトルピークのうち最大周波数のものの周波数を基準として、前記複数のスペクトルピークの周波数の間隔が前記推定された高調波の周波数と等しくなるように、前記複数のスペクトルピークの周波数を調整する調整部と、を具備する、
請求項２に記載の音響信号復号装置。 - 前記高調波周波数調整部は、
前記合成低周波数スペクトルにおけるスペクトルピークのうち最大周波数のものの周波数を特定する低周波数スペクトルピーク特定部と、
前記複製された高周波数サブバンドスペクトルにおける複数のスペクトルピークの周波数を特定する高周波数スペクトルピーク特定部と、
前記合成低周波数スペクトルにおけるスペクトルピークのうち最大周波数のものの周波数に前記推定された高調波の周波数の整数倍の周波数を加算した周波数を、採りうるスペクトルピーク周波数として算出するスペクトルピーク周波数算出部と、
前記複製された高周波数サブバンドスペクトル内の前記複数のスペクトルピークの周波数を、前記算出された採りうるスペクトルピーク周波数のうち最も近い周波数へ調整する調整部と、を具備する、
請求項２に記載の音響信号復号装置。 - 音響信号を符号化する符号化装置から多重化して送信されたコア符号化パラメータと、インデックス情報とスケールファクタ情報とフラグ情報を逆多重化する逆多重化部と、
前記コア符号化パラメータを時間領域の低周波数信号に復号するとともに、前記復号された低周波数信号を周波数領域に変換して合成低周波数スペクトルを得るコア復号部と、
前記合成低周波数スペクトルから、前記インデックス情報に基づいて高周波数サブバンドスペクトルを再構成するスペクトル複製部と、
前記スケールファクタ情報を用いて、前記複製された高周波数サブバンドスペクトルの振幅を調整するスペクトル包絡調整部と、
前記合成低周波数スペクトルから高調波の周波数を推定する高調波周波数推定部と、
前記推定された高調波の周波数に基づいて、前記合成低周波数スペクトルから前記複製された高周波数サブバンドスペクトルにおけるトーン成分の周波数を調整する高調波周波数調整部と、
前記フラグ情報に基づいて、前記高調波周波数調整部を動作させるか否かを決定する決定部と、を具備し、
前記合成低周波数スペクトルと、前記高周波数サブバンドスペクトルを用いて出力信号を生成する、
音響信号復号装置。 - 前記推定された高調波の周波数に基づいて、前記合成低周波数スペクトルで欠落した高調波成分を特定する欠落高調波成分特定部と、
前記合成低周波数スペクトルに前記欠落した高調波成分を注入する高調波注入部と、を更に具備する、
請求項１又は６に記載の音響信号復号装置。 - 前記高調波注入部は、
欠落していない全高調波成分の振幅の平均値または周波数軸上で欠落した高調波成分の前後に位置する高調波成分の振幅の平均値を振幅とする高調波成分を生成する、
請求項７に記載の音響信号復号装置。 - 入力音響信号（以下、入力信号）を低サンプリングレートにダウンサンプリングするダウンサンプリング部と、
前記ダウンサンプリングされた信号をコア符号化パラメータへ符号化し、前記コア符号化パラメータを出力するとともに、前記コア符号化パラメータをローカルに復号し、周波数領域に変換して合成低周波数スペクトルを得るコア符号化部と、
前記合成低周波数スペクトルを正規化するエネルギ正規化部と、
前記入力信号をスペクトルに変換するとともに、前記合成低周波数スペクトルより高い周波数のスペクトルを複数のサブバンド（以下、高周波数サブバンド）に分割する時間-周波数変換部と、
前記各高周波数サブバンドに対して、前記正規化された合成低周波数スペクトルから最も相関の高い部分を特定し、特定結果をインデックス情報として出力する類似度探索部と、
前記各高周波数サブバンドと、前記合成低周波数スペクトルから特定された前記最も相関の高い部分との間のエネルギのスケールファクタを推定し、前記スケールファクタを、スケールファクタ情報として出力するスケールファクタ推定部と、
前記合成低周波数スペクトルの高調波の周波数と、前記変換された入力信号の高調波の周波数を推定する高調波周波数推定部と、
前記２つの高調波の周波数を比較して、高調波周波数調整をすべきか否かを判断し、前記判断結果をフラグ情報として出力する高調波周波数比較部と、
を具備する音響信号符号化装置。 - 入力音響信号（以下、入力信号）を低サンプリングレートにダウンサンプリングするダウンサンプリング部と、
前記ダウンサンプリングされた信号をコア符号化パラメータへ符号化し出力するとともに、前記コア符号化パラメータをローカルに復号し、周波数領域に変換して合成低周波数スペクトルを得るコア符号化部と、
前記入力信号をスペクトルに変換するとともに、前記合成低周波数スペクトルより高い周波数のスペクトルを複数のサブバンド（以下、高周波数サブバンド）に分割する時間-周波数変換部と、
前記各高周波数サブバンドに対して、前記低周波数スペクトルから最も相関の高い部分を特定し、特定結果をインデックス情報として出力する類似度探索部と、
前記各高周波数サブバンドと、前記合成低周波数スペクトルから特定された前記最も相関の高い部分との間のエネルギのスケールファクタを推定し、前記スケールファクタをスケールファクタ情報として出力するスケールファクタ推定部と、
前記合成低周波数スペクトルの高調波の周波数と、前記変換された入力信号の高調波の周波数を推定し、出力する高調波周波数推定部と、
を具備する音響信号符号化装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013122985 | 2013-06-11 | ||
| JP2013122985 | 2013-06-11 | ||
| JP2018173725A JP6773737B2 (ja) | 2013-06-11 | 2018-09-18 | 音響信号の帯域幅拡張を行う装置及び方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018173725A Division JP6773737B2 (ja) | 2013-06-11 | 2018-09-18 | 音響信号の帯域幅拡張を行う装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021002069A true JP2021002069A (ja) | 2021-01-07 |
| JP7330934B2 JP7330934B2 (ja) | 2023-08-22 |
Family
ID=52021944
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015522543A Active JP6407150B2 (ja) | 2013-06-11 | 2014-06-10 | 音響信号の帯域幅拡張を行う装置及び方法 |
| JP2018173725A Active JP6773737B2 (ja) | 2013-06-11 | 2018-09-18 | 音響信号の帯域幅拡張を行う装置及び方法 |
| JP2018173731A Pending JP2019008317A (ja) | 2013-06-11 | 2018-09-18 | 音響信号の帯域幅拡張を行う装置及び方法 |
| JP2020166633A Active JP7330934B2 (ja) | 2013-06-11 | 2020-10-01 | 音響信号の帯域幅拡張を行う装置及び方法 |
Family Applications Before (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015522543A Active JP6407150B2 (ja) | 2013-06-11 | 2014-06-10 | 音響信号の帯域幅拡張を行う装置及び方法 |
| JP2018173725A Active JP6773737B2 (ja) | 2013-06-11 | 2018-09-18 | 音響信号の帯域幅拡張を行う装置及び方法 |
| JP2018173731A Pending JP2019008317A (ja) | 2013-06-11 | 2018-09-18 | 音響信号の帯域幅拡張を行う装置及び方法 |
Country Status (11)
| Country | Link |
|---|---|
| US (4) | US9489959B2 (ja) |
| EP (2) | EP3010018B1 (ja) |
| JP (4) | JP6407150B2 (ja) |
| KR (1) | KR102158896B1 (ja) |
| CN (2) | CN105408957B (ja) |
| BR (2) | BR122020016403B1 (ja) |
| ES (1) | ES2836194T3 (ja) |
| MX (1) | MX353240B (ja) |
| PT (1) | PT3010018T (ja) |
| RU (2) | RU2688247C2 (ja) |
| WO (1) | WO2014199632A1 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103516440B (zh) * | 2012-06-29 | 2015-07-08 | 华为技术有限公司 | 语音频信号处理方法和编码装置 |
| CN103971693B (zh) | 2013-01-29 | 2017-02-22 | 华为技术有限公司 | 高频带信号的预测方法、编/解码设备 |
| BR122020016403B1 (pt) * | 2013-06-11 | 2022-09-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V | Aparelho de decodificação de sinal de áudio, aparelho de codificação de sinal de áudio, método de decodificação de sinal de áudio e método de codificação de sinal de áudio |
| EP3550563B1 (en) * | 2014-03-31 | 2024-03-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoder, decoder, encoding method, decoding method, and associated programs |
| US9697843B2 (en) * | 2014-04-30 | 2017-07-04 | Qualcomm Incorporated | High band excitation signal generation |
| EP2980794A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and decoder using a frequency domain processor and a time domain processor |
| EP2980795A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor |
| TWI771266B (zh) | 2015-03-13 | 2022-07-11 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
| CN105280189B (zh) * | 2015-09-16 | 2019-01-08 | 深圳广晟信源技术有限公司 | 带宽扩展编码和解码中高频生成的方法和装置 |
| EP3182411A1 (en) | 2015-12-14 | 2017-06-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for processing an encoded audio signal |
| US10346126B2 (en) | 2016-09-19 | 2019-07-09 | Qualcomm Incorporated | User preference selection for audio encoding |
| JP6769299B2 (ja) * | 2016-12-27 | 2020-10-14 | 富士通株式会社 | オーディオ符号化装置およびオーディオ符号化方法 |
| EP3396670B1 (en) * | 2017-04-28 | 2020-11-25 | Nxp B.V. | Speech signal processing |
| US10896684B2 (en) | 2017-07-28 | 2021-01-19 | Fujitsu Limited | Audio encoding apparatus and audio encoding method |
| CN111386568B (zh) | 2017-10-27 | 2023-10-13 | 弗劳恩霍夫应用研究促进协会 | 使用神经网络处理器生成带宽增强的音频信号的装置、方法或计算机可读存储介质 |
| CN108630212B (zh) * | 2018-04-03 | 2021-05-07 | 湖南商学院 | 非盲带宽扩展中高频激励信号的感知重建方法与装置 |
| CN110660409A (zh) * | 2018-06-29 | 2020-01-07 | 华为技术有限公司 | 一种扩频的方法及装置 |
| US11100941B2 (en) * | 2018-08-21 | 2021-08-24 | Krisp Technologies, Inc. | Speech enhancement and noise suppression systems and methods |
| CN109243485B (zh) * | 2018-09-13 | 2021-08-13 | 广州酷狗计算机科技有限公司 | 恢复高频信号的方法和装置 |
| JP6693551B1 (ja) * | 2018-11-30 | 2020-05-13 | 株式会社ソシオネクスト | 信号処理装置および信号処理方法 |
| CN113192517B (zh) * | 2020-01-13 | 2024-04-26 | 华为技术有限公司 | 一种音频编解码方法和音频编解码设备 |
| CN113808596A (zh) * | 2020-05-30 | 2021-12-17 | 华为技术有限公司 | 一种音频编码方法和音频编码装置 |
| CN113963703A (zh) * | 2020-07-03 | 2022-01-21 | 华为技术有限公司 | 一种音频编码的方法和编解码设备 |
| CN113362837B (zh) * | 2021-07-28 | 2024-05-14 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种音频信号处理方法、设备及存储介质 |
| CN114550732B (zh) * | 2022-04-15 | 2022-07-08 | 腾讯科技（深圳）有限公司 | 一种高频音频信号的编解码方法和相关装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003108197A (ja) * | 2001-07-13 | 2003-04-11 | Matsushita Electric Ind Co Ltd | オーディオ信号復号化装置およびオーディオ信号符号化装置 |
| JP2011100159A (ja) * | 2003-10-23 | 2011-05-19 | Panasonic Corp | スペクトル符号化装置、スペクトル復号化装置、音響信号送信装置、音響信号受信装置、およびこれらの方法 |
| JP6407150B2 (ja) * | 2013-06-11 | 2018-10-17 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 音響信号の帯域幅拡張を行う装置及び方法 |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3246715B2 (ja) * | 1996-07-01 | 2002-01-15 | 松下電器産業株式会社 | オーディオ信号圧縮方法，およびオーディオ信号圧縮装置 |
| DE60230856D1 (de) * | 2001-07-13 | 2009-03-05 | Panasonic Corp | Audiosignaldecodierungseinrichtung und audiosignalcodierungseinrichtung |
| CN101800049B (zh) * | 2003-09-16 | 2012-05-23 | 松下电器产业株式会社 | 编码装置和译码装置 |
| US7668711B2 (en) * | 2004-04-23 | 2010-02-23 | Panasonic Corporation | Coding equipment |
| CN101656076B (zh) * | 2004-05-14 | 2013-01-23 | 松下电器产业株式会社 | 音频编码装置、音频编码方法以及通信终端和基站装置 |
| ES2476992T3 (es) * | 2004-11-05 | 2014-07-15 | Panasonic Corporation | Codificador, descodificador, método de codificación y método de descodificaci�n |
| JP4899359B2 (ja) * | 2005-07-11 | 2012-03-21 | ソニー株式会社 | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 |
| US20070299655A1 (en) * | 2006-06-22 | 2007-12-27 | Nokia Corporation | Method, Apparatus and Computer Program Product for Providing Low Frequency Expansion of Speech |
| JP5339919B2 (ja) * | 2006-12-15 | 2013-11-13 | パナソニック株式会社 | 符号化装置、復号装置およびこれらの方法 |
| US9082397B2 (en) | 2007-11-06 | 2015-07-14 | Nokia Technologies Oy | Encoder |
| CN101471072B (zh) * | 2007-12-27 | 2012-01-25 | 华为技术有限公司 | 高频重建方法、编码装置和解码装置 |
| US9037474B2 (en) * | 2008-09-06 | 2015-05-19 | Huawei Technologies Co., Ltd. | Method for classifying audio signal into fast signal or slow signal |
| US8515747B2 (en) * | 2008-09-06 | 2013-08-20 | Huawei Technologies Co., Ltd. | Spectrum harmonic/noise sharpness control |
| WO2010028292A1 (en) * | 2008-09-06 | 2010-03-11 | Huawei Technologies Co., Ltd. | Adaptive frequency prediction |
| US8532998B2 (en) * | 2008-09-06 | 2013-09-10 | Huawei Technologies Co., Ltd. | Selective bandwidth extension for encoding/decoding audio/speech signal |
| EP2224433B1 (en) | 2008-09-25 | 2020-05-27 | Lg Electronics Inc. | An apparatus for processing an audio signal and method thereof |
| CN101751926B (zh) | 2008-12-10 | 2012-07-04 | 华为技术有限公司 | 信号编码、解码方法及装置、编解码系统 |
| ES2427278T3 (es) | 2009-01-16 | 2013-10-29 | Dolby International Ab | Transposición armónica mejorada de producto cruzado |
| MX2011008685A (es) | 2009-02-26 | 2011-09-06 | Panasonic Corp | Codificador, decodificador y metodo para los mismos. |
| CN101521014B (zh) * | 2009-04-08 | 2011-09-14 | 武汉大学 | 音频带宽扩展编解码装置 |
| CO6440537A2 (es) * | 2009-04-09 | 2012-05-15 | Fraunhofer Ges Forschung | Aparato y metodo para generar una señal de audio de sintesis y para codificar una señal de audio |
| JP5565914B2 (ja) | 2009-10-23 | 2014-08-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置およびこれらの方法 |
| US20130030796A1 (en) * | 2010-01-14 | 2013-01-31 | Panasonic Corporation | Audio encoding apparatus and audio encoding method |
| BR112012002839B1 (pt) * | 2010-06-09 | 2020-10-13 | Panasonic Intellectual Property Corporation Of America | método de extensão de largura de banda, aparelho de extensão de largura de banda, circuito integrado e aparelho de decodificação de áudio |
| NO2765572T3 (ja) * | 2010-07-19 | 2018-01-27 | ||
| US20120029926A1 (en) | 2010-07-30 | 2012-02-02 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for dependent-mode coding of audio signals |
| JP5707842B2 (ja) * | 2010-10-15 | 2015-04-30 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| PT3407352T (pt) * | 2011-02-18 | 2022-06-07 | Ntt Docomo Inc | Descodificador de voz, codificador de voz, método de descodificação de voz, método de codificação de voz, programa de descodificação de voz, e programa de codificação de voz |
| CN102800317B (zh) * | 2011-05-25 | 2014-09-17 | 华为技术有限公司 | 信号分类方法及设备、编解码方法及设备 |
| CN102208188B (zh) | 2011-07-13 | 2013-04-17 | 华为技术有限公司 | 音频信号编解码方法和设备 |
| US9384749B2 (en) * | 2011-09-09 | 2016-07-05 | Panasonic Intellectual Property Corporation Of America | Encoding device, decoding device, encoding method and decoding method |
| JP2013122985A (ja) | 2011-12-12 | 2013-06-20 | Toshiba Corp | 半導体記憶装置 |
-
2014
- 2014-06-10 BR BR122020016403-4A patent/BR122020016403B1/pt active IP Right Grant
- 2014-06-10 JP JP2015522543A patent/JP6407150B2/ja active Active
- 2014-06-10 MX MX2015016109A patent/MX353240B/es active IP Right Grant
- 2014-06-10 EP EP14811296.4A patent/EP3010018B1/en active Active
- 2014-06-10 KR KR1020157033759A patent/KR102158896B1/ko active IP Right Grant
- 2014-06-10 US US14/894,062 patent/US9489959B2/en active Active
- 2014-06-10 CN CN201480031440.1A patent/CN105408957B/zh active Active
- 2014-06-10 RU RU2018121035A patent/RU2688247C2/ru active
- 2014-06-10 WO PCT/JP2014/003103 patent/WO2014199632A1/ja active Application Filing
- 2014-06-10 PT PT148112964T patent/PT3010018T/pt unknown
- 2014-06-10 CN CN202010063428.6A patent/CN111477245B/zh active Active
- 2014-06-10 BR BR112015029574-6A patent/BR112015029574B1/pt active IP Right Grant
- 2014-06-10 EP EP20178265.3A patent/EP3731226A1/en active Pending
- 2014-06-10 RU RU2015151169A patent/RU2658892C2/ru active
- 2014-06-10 ES ES14811296T patent/ES2836194T3/es active Active
-
2016
- 2016-10-05 US US15/286,030 patent/US9747908B2/en active Active
-
2017
- 2017-07-25 US US15/659,023 patent/US10157622B2/en active Active
-
2018
- 2018-09-18 JP JP2018173725A patent/JP6773737B2/ja active Active
- 2018-09-18 JP JP2018173731A patent/JP2019008317A/ja active Pending
- 2018-12-13 US US16/219,656 patent/US10522161B2/en active Active
-
2020
- 2020-10-01 JP JP2020166633A patent/JP7330934B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003108197A (ja) * | 2001-07-13 | 2003-04-11 | Matsushita Electric Ind Co Ltd | オーディオ信号復号化装置およびオーディオ信号符号化装置 |
| JP2011100159A (ja) * | 2003-10-23 | 2011-05-19 | Panasonic Corp | スペクトル符号化装置、スペクトル復号化装置、音響信号送信装置、音響信号受信装置、およびこれらの方法 |
| JP6407150B2 (ja) * | 2013-06-11 | 2018-10-17 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 音響信号の帯域幅拡張を行う装置及び方法 |
| JP6773737B2 (ja) * | 2013-06-11 | 2020-10-21 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 音響信号の帯域幅拡張を行う装置及び方法 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6773737B2 (ja) | 音響信号の帯域幅拡張を行う装置及び方法 | |
| KR102367538B1 (ko) | 다중 채널 신호 인코딩 방법 및 인코더 | |
| JP2004512561A (ja) | 符号化音響信号の復号に関するエラー隠匿 | |
| US20060093048A9 (en) | Partial Spectral Loss Concealment In Transform Codecs | |
| US10269365B2 (en) | Noise filling without side information for CELP-like coders | |
| US9552823B2 (en) | Apparatus and method for generating a frequency enhancement signal using an energy limitation operation | |
| US9117461B2 (en) | Coding device, decoding device, coding method, and decoding method for audio signals | |
| MXPA06006497A (es) | Metodo para el ocultamiento de errores en el dominio de frecuencia, mejorado. | |
| Taori et al. | Hi-BIN: An alternative approach to wideband speech coding | |
| Lin et al. | Adaptive bandwidth extension of low bitrate compressed audio based on spectral correlation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201102 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201102 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220303 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221011 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230809 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7330934 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |