JP2010020251A - 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法 - Google Patents

音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法 Download PDF

Info

Publication number
JP2010020251A
JP2010020251A JP2008183113A JP2008183113A JP2010020251A JP 2010020251 A JP2010020251 A JP 2010020251A JP 2008183113 A JP2008183113 A JP 2008183113A JP 2008183113 A JP2008183113 A JP 2008183113A JP 2010020251 A JP2010020251 A JP 2010020251A
Authority
JP
Japan
Prior art keywords
frequency spectrum
spectrum
high frequency
shape
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008183113A
Other languages
English (en)
Other versions
JP5203077B2 (ja
Inventor
Kosuke Tsujino
孝輔 辻野
Kei Kikuiri
圭 菊入
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2008183113A priority Critical patent/JP5203077B2/ja
Publication of JP2010020251A publication Critical patent/JP2010020251A/ja
Application granted granted Critical
Publication of JP5203077B2 publication Critical patent/JP5203077B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】復号信号の主観的品質を向上させる。
【解決手段】音声信号の低域スペクトルを符号化した情報と高域スペクトルの性質に関する補助情報とを含むビットストリームから、低域スペクトルと高域スペクトルの両方に相当する周波数成分を含む音声信号を復号する音声復号化装置は、ビットストリームを、音声信号の低域スペクトルを符号化した情報と高域スペクトルの性質に関する補助情報とに分離する手段と、音声信号の低域スペクトルを符号化した情報から低域スペクトルを復号する手段と、復号により得られた低域スペクトルの一部または全体を高域に複写することにより第１の高域スペクトルを得る手段と、補助情報を利用して第１の高域スペクトルの形状を調整することにより第２の高域スペクトルを得るスペクトル形状調整手段と、低域スペクトルと第２の高域スペクトルとを利用して音声信号を復号する手段とを備えた。
【選択図】図１５

Description

本発明は、音声信号を符号化する音声符号化装置及び方法、符号化された信号を復号化する音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法に関する。
音声を低ビットレートに圧縮する音声符号化技術は、音声通信において、通信路の限られた伝送容量を有効に活用するために重要である。また、近年においては、音声通信の高品質化への要望が高まっており、それに対して、音声を高品質で伝送可能であるとともに人間の声以外の様々な周囲音、音楽をも伝送可能な音声符号化方式の研究開発が行われている。
従来、携帯電話やVoIP（Voice over Internet Protocol）向けには、300Hz〜3.4kHzの狭帯域信号を4.75kbit/s〜64kbit/s程度の情報量で伝送可能な音声符号化方式であるAdaptive Multi Rate (AMR)、G.711、G.729等が用いられてきた。これに対し、7KHzまでの広帯域信号を、6.6kbit/s〜32kbit/s程度のビットレートで伝送可能なAMR-WB、G.722.1等の音声符号化方式が3GPP、ITU-Tで標準化されている。さらに、15kHz程度までの超広帯域信号を24kbps〜128kbps程度のビットレートで伝送可能な音声・音響符号化方式として、G.722.1C、AAC-LD等の方式がITU-T、MPEGで標準化されている。これらの超広帯域の符号化方式を用いることで、可聴周波数帯域に含まれるほぼ全ての周波数成分が伝送可能であるとともに、人間の声以外の様々な周囲音、音楽をも原音に近い品質で伝送可能であり、高品質の音声通信が可能となる。その反面、これらの方式では伝送に必要なビットレートが比較的高くなるという問題点がある。
これに対し、周波数帯域の広い信号を低いビットレートで符号化する方法として、帯域拡張に基づく音声符号化方法が存在する。帯域拡張に基づく音声符号化方法の例は、特許文献１に記載されている。帯域拡張に基づく音声符号化方法では、QMF（Quadrature Mirror Filters）、FFT（Fast Fourier Transform）、MDCT（Modified Discrete Cosine Transform）などの変換領域で低域から高域へのスペクトル係数の複写を行った後、複写された係数のスペクトル包絡を調整することによって高品質の復号音声を得ることができる。この方法を利用した音声符号化方式においては、信号の高域スペクトルの微細構造に関する情報を伝送する必要がなく、スペクトルの概形のみを少ないビットレートで伝送すればよいため、符号化されたビットストリームの情報量を大幅に削減することができる。
このように、帯域拡張技術は音声・音響符号化のビットレート削減のための有効な手段であるが、スペクトルを低域から高域へ複写することによって高域成分を生成すると、生成された高域成分と原音声の高域成分の間でのスペクトルの微細構造の不一致が復号音声の音質劣化につながる場合がある。複写されたスペクトルに対しては、通常、符号器から与えられる補助情報を用いてスペクトル包絡の調整が行われるが、包絡調整後も、スペクトルの微細構造の影響は依然として残る。スペクトルの微細構造の影響について、以下に例示する。
図１に、STFT（Short-time Fourier Transform）を用いて求めた音声信号のスペクトルの例を示す。およそ4kHzまでの低域においては、基本周波数の整数倍の位置に急峻なスペクトルのピークが現れることから、基本周波数の倍音系列からなるトーン性の成分が信号において支配的であることがわかる。それに対し、4kHz以上の高域においては周波数の増大に伴って次第にピークが弱くなり、トーン性を持たない雑音成分が支配的となってくることが観察できる。このように、音声では、高域ほど雑音成分が支配的になる傾向がある。
図１に示す信号に対し、低域から高域へスペクトルの複写を行った後、スペクトル包絡の調整を行った結果の例を図２に示す。図２のスペクトルは大域的な包絡は図１に近いものの、高域スペクトルのピーク・ディップの形状が図１と大きく異なり、スペクトルの微細構造が原信号と大きく異なることがわかる。
以上の例に示した微細構造の差は、主観的な音声品質に悪影響を及ぼす。すなわち、スペクトル包絡の調整のみを行った帯域拡張音声を聴取した際には、高域スペクトルの微細構造の差により、原音声と異なる不自然な音色が知覚される。例えば音声では、前述の通り高域ほど雑音成分が支配的になるため、帯域拡張技術によって生成された高域成分と原信号の間の微細構造の不一致による不快な金属的音色がしばしば復号音声に現れる。
そこで、一部の帯域拡張技術では、複写によって生成された高域スペクトルに対して微細構造の調整を行う。スペクトル微細構造の調整方法として、低域スペクトルの振幅を一様に制限した後に高域へ複写する方法が特許文献２で開示されている。
特表２００１−５２１６４８号公報 再公表２００５−１１１５６８号公報
しかし、特許文献２で開示された方法によれば、低域スペクトルの複写によって生成される高域スペクトル全体の微細構造を一様に調整するため、原信号のスペクトルの微細構造が周波数に依存して様々に変化する場合であっても、生成される高域スペクトルの微細構造は均一なものとなってしまう。そこで、本発明が解決しようとする課題の１点目は、帯域拡張技術に基づく音声符号化および音声復号化において、周波数に依存する高域スペクトルの微細構造の調整を精度よく行い、復号信号の主観的品質を向上させることにある。
また、演算量の低減やコーデックの構成上の理由から、周波数領域への変換に実数値のフィルタバンクを用いているときには、スペクトルの形状を変形した場合、復号信号に有害なエイリアシング歪みが生じ、復号信号の主観品質に悪影響を与える場合がある。この歪みは、図４のように、振幅を伸縮したスペクトル係数の近隣の周波数に広がって現れる。歪みのパワースペクトル密度が大きく雑音成分のパワースペクトル密度が小さい場合には、歪みが主観的な音質の顕著な劣化につながる場合がある。そこで、本発明が解決しようとする課題の２点目は、帯域拡張技術に基づく音声符号化および音声復号化において、スペクトルの変形に伴う歪みによる音質の劣化を抑えつつスペクトル微細構造の調整を行い、復号信号の主観的品質を向上させることにある。
本発明に係る音声復号化装置は、音声信号の低域スペクトルを符号化した情報と高域スペクトルの性質に関する補助情報とを含むビットストリームから、前記低域スペクトルと前記高域スペクトルの両方に相当する周波数成分を含む音声信号を復号する音声復号化装置であって、前記ビットストリームを、音声信号の低域スペクトルを符号化した情報と、高域スペクトルの性質に関する補助情報とに分離する手段と、前記音声信号の低域スペクトルを符号化した情報から、低域スペクトルを復号する手段と、復号によって得られた低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得る手段と、上記高域スペクトルの性質に関する補助情報を利用して上記第１の高域スペクトルの形状を調整することによって第２の高域スペクトルを得るスペクトル形状調整手段と、上記低域スペクトルと上記第２の高域スペクトルとを利用して音声信号を復号する手段と、を備えたことを特徴とする。
ここで、スペクトル形状調整手段は、上記第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって上記第２の高域スペクトルを得る構成とすることが望ましい。
また、スペクトル形状調整手段は、上記第１の高域スペクトルを複数のサブバンドに分割し、分割後のサブバンドの各々に属する部分スペクトルについて、該部分スペクトルの形状の調整を行う構成とすることが望ましい。
また、本発明に係る音声復号化装置は、高域スペクトルの性質に関する補助情報と上記第１の高域スペクトルとに基づいて、上記スペクトル形状調整手段により用いられる上記形状の調整の仕方または重畳する雑音の量を決定するスペクトル形状調整方法決定手段、をさらに備えた構成とすることが望ましい。
また、スペクトル形状調整方法決定手段は、上記スペクトルの形状の調整に起因して出力信号に生じる歪みと形状調整後の高域スペクトルによるマスキング量とを利用して、上記形状の調整の仕方または重畳する雑音の量を決定する構成とすることが望ましい。
このとき、高域スペクトルの性質に関する補助情報は、音声の高域周波数成分の時間領域での包絡に関する情報を含み、スペクトル形状調整手段は、重畳する雑音の時間領域での包絡を調整する構成とすることが望ましい。
本発明に係る音声符号化装置は、低域スペクトルの復号結果の高域への複写に基づいて高域スペクトルの復号を行う音声復号化装置、に適合するビットストリームを生成する音声符号化装置であって、音声信号を周波数領域に変換し、低域スペクトルを分離した後、残存する高域スペクトルの一部または全体を第１の高域スペクトルとして分離する手段と、上記低域スペクトルを符号化する手段と、上記低域スペクトルの一部または全体を高域に複写することによって第２の高域スペクトルを得る手段と、上記第１の高域スペクトルと上記第２の高域スペクトルの性質に基づいて、上記音声復号化装置における高域スペクトルの形状の調整の仕方を決定するスペクトル形状調整方法決定手段と、符号化された上記低域スペクトルと、上記決定された高域スペクトルの形状の調整の仕方の情報とを多重化したビットストリームを生成する手段とを備えたことを特徴とする。
ここで、スペクトル形状調整方法決定手段は、上記第１の高域スペクトルと上記第２の高域スペクトルの性質に基づいて、上記高域スペクトルの形状の調整の仕方に加え、上記音声復号化装置における高域スペクトルの形状の調整のために高域スペクトルに重畳する雑音の量を決定する構成とすることが望ましい。
また、スペクトル形状調整方法決定手段は、上記第１の高域スペクトルを複数のサブバンドに分割し、分割後のサブバンドの各々に属する部分スペクトルについて、該部分スペクトルの形状の調整の仕方を決定する構成とすることが望ましい。
また、スペクトル形状調整方法決定手段は、上記スペクトルの形状の調整に起因して出力信号に生じる歪みと、スペクトル形状の調整後の高域スペクトルによるマスキング量とを利用して、上記高域スペクトルの形状の調整の仕方または上記重畳する雑音の量を決定する構成とすることが望ましい。
本発明に係る音声帯域拡張装置は、音声の低域周波数成分のみを含む低域スペクトルから、上記低域スペクトルに含まれない高域周波数成分を含む音声信号を復元する音声帯域拡張装置であって、上記低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得る手段と、上記第１の高域スペクトルの形状を調整することで、第２の高域スペクトルを得るスペクトル形状調整手段と、上記低域スペクトルと上記第２の高域スペクトルとを利用して、高域周波数成分を含む音声信号を復元する手段と、を備えたことを特徴とする。なお、上記スペクトル形状調整手段は、第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって第２の高域スペクトルを得る構成とすることが望ましい。
ここで、スペクトル形状調整手段は、上記第１の高域スペクトルを複数のサブバンドに分割し、分割後のサブバンドの各々に属する部分スペクトルについて、該部分スペクトルの形状の調整を行う構成とすることが望ましい。
また、スペクトル形状調整方法決定手段は、上記スペクトルの形状の調整に起因して出力信号に生じる歪みと、スペクトル形状の調整後の高域スペクトルによるマスキング量とを利用して、上記高域スペクトルの形状の調整の仕方または上記重畳する雑音の量を決定する構成とすることが望ましい。
以上のような本発明によれば、帯域拡張技術に基づく音声符号化および音声復号化において、復号信号の主観的品質を向上させることができる。
ところで、音声復号化装置に関する本発明は、音声復号化方法の発明として捉えることもでき、以下のように記述することができる。本発明に係る音声復号化方法は、音声信号の低域スペクトルを符号化した情報と高域スペクトルの性質に関する補助情報とを含むビットストリームから、前記低域スペクトルと前記高域スペクトルの両方に相当する周波数成分を含む音声信号を復号する音声復号化装置、により実行される音声復号化方法であって、前記ビットストリームを、音声信号の低域スペクトルを符号化した情報と、高域スペクトルの性質に関する補助情報とに分離するステップと、前記音声信号の低域スペクトルを符号化した情報から、低域スペクトルを復号するステップと、復号によって得られた低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得るステップと、上記高域スペクトルの性質に関する補助情報を利用して上記第１の高域スペクトルの形状を調整することによって第２の高域スペクトルを得るスペクトル形状調整ステップと、上記低域スペクトルと上記第２の高域スペクトルとを利用して音声信号を復号するステップと、を備えたことを特徴とする。このとき、上記スペクトル形状調整ステップでは、音声復号化装置は、上記第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって上記第２の高域スペクトルを得ることが望ましい。
また、音声符号化装置に関する本発明は、音声符号化方法の発明として捉えることもでき、以下のように記述することができる。本発明に係る音声符号化方法は、低域スペクトルの復号結果の高域への複写に基づいて高域スペクトルの復号を行う音声復号化装置、に適合するビットストリームを生成する音声符号化装置により実行される音声符号化方法であって、音声信号を周波数領域に変換し、低域スペクトルを分離した後、残存する高域スペクトルの一部または全体を第１の高域スペクトルとして分離するステップと、上記低域スペクトルを符号化するステップと、上記低域スペクトルの一部または全体を高域に複写することによって第２の高域スペクトルを得るステップと、上記第１の高域スペクトルと上記第２の高域スペクトルの性質に基づいて、上記音声復号化装置における高域スペクトルの形状の調整の仕方を決定するスペクトル形状調整方法決定ステップと、符号化された上記低域スペクトルと、上記決定された高域スペクトルの形状の調整の仕方の情報とを多重化したビットストリームを生成するステップとを備えたことを特徴とする。このとき、上記スペクトル形状調整方法決定ステップでは、音声符号化装置は、上記第１の高域スペクトルと上記第２の高域スペクトルの性質に基づいて、上記高域スペクトルの形状の調整の仕方に加え、上記音声復号化装置における高域スペクトルの形状の調整のために高域スペクトルに重畳する雑音の量を決定することが望ましい。
また、音声帯域拡張装置に関する本発明は、音声帯域拡張方法の発明として捉えることもでき、以下のように記述することができる。本発明に係る音声帯域拡張方法は、音声の低域周波数成分のみを含む低域スペクトルから、上記低域スペクトルに含まれない高域周波数成分を含む音声信号を復元する音声帯域拡張装置、により実行される音声帯域拡張方法であって、上記低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得るステップと、上記第１の高域スペクトルの形状を調整することで、第２の高域スペクトルを得るスペクトル形状調整ステップと、上記低域スペクトルと上記第２の高域スペクトルとを利用して、高域周波数成分を含む音声信号を復元するステップと、を備えたことを特徴とする。なお、上記スペクトル形状調整ステップでは、音声復号化装置は、第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって第２の高域スペクトルを得ることが望ましい。
本発明によれば、帯域拡張技術に基づく音声符号化および音声復号化において、原信号における高域スペクトルの微細構造がサブバンド間で異なる場合にも、図３に示すように、複写された高域スペクトルの微細構造を精度よく調整することができる。また、調整に伴う歪みの知覚的影響を最小限にしつつスペクトル微細構造の調整を行うことができる。以上により、帯域拡張技術に基づく音声符号化および音声復号化において、復号信号の主観的品質を向上させることができる。
以下では、本発明の実施形態について、添付図面を参照して詳細に説明する。
（実施形態１）
図５は、本発明の実施形態１における音声符号化装置５０１の主要な構成を示すブロック図である。図５に示すように、音声符号化装置５０１は、入力信号に対して周波数領域への変換を行う周波数領域変換部５０３と、低域スペクトルを符号化する低域符号化部５０９と、低域符号化部５０９から与えられた符号を復号する低域復号化部５１５と、入力された低域スペクトルの一部または全体を複写することで、所定の境界周波数以上の成分を持つ高域スペクトルを作成するスペクトル複写部５１７と、所定の分割規則に基づいて高域スペクトルを複数のサブバンドに分割するサブバンド分割部５１１、５２１と、サブバンドに分解された高域スペクトルのスペクトル包絡を計算するスペクトル包絡計算部５２７と、サブバンド分割された高域スペクトルを利用して高域スペクトルの形状調整方法をサブバンドごとに決定するスペクトル形状調整方法決定部５２５と、低域符号化部５０９から与えられる符号とスペクトル形状調整方法決定部５２５から与えられるスペクトル形状調整情報とスペクトル包絡計算部５２７から与えられるスペクトル包絡情報とを多重化しビットストリームを生成するビットストリーム多重化部５２９と、を備えている。
この音声符号化装置５０１は、ハードウェア構成としては、例えば、図２２に示すように、オペレーティングシステムやアプリケーションプログラムなどを実行するＣＰＵ２２０１、ＲＯＭ及びＲＡＭで構成される主記憶部２２０２、ハードディスクなどで構成される補助記憶部２２０３、外部とデータ通信を行う通信制御部２２０４、液晶モニタなどで構成される表示部２２０５、並びに文字・数字入力及び実行指示等を行うための操作部２２０６を含んで構成される。前述した図５の各ブロックの機能は、図２２に示すＣＰＵ２２０１の制御の下で主記憶部２２０２に所定のソフトウェアを読み込ませ実行することにより、実現される。
音声符号化装置５０１は、入力信号に対して、図６のフローチャートに示す一連の処理を行って、符号化されたビットストリームを外部へ出力する。以下、図６の一連の処理を説明する。
図６のステップ６０１では、周波数領域変換部５０３が入力信号に対して周波数領域への変換を行う。ここで、変換の方法としては離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、修正離散コサイン変換（ＭＤＣＴ）、コサイン変調フィルタバンクなどを用いる。周波数領域に変換されたスペクトルは、所定の境界周波数Ｆｃを用いて、低域スペクトル５０５と高域スペクトル５０７に分離される。また、高域スペクトル５０７は境界周波数Ｆｃ以上の周波数帯域の全体でなく、一部のみを含むものであってもよい。周波数領域変換部５０３または周波数領域変換ステップ６０１は、まず帯域通過フィルタやフィルタバンクを用いて入力信号を低域信号と高域信号に分離し、その後各々の信号に対して周波数領域への変換を行うことによっても実現できる。
次のステップ６０３では、低域符号化部５０９が低域スペクトル５０５を符号化し、得られた符号を低域復号化部５１５に与える。そして、次のステップ６０５では、低域復号化部５１５が、低域符号化部５０９から与えられた符号を復号し、復号により得られた低域スペクトルをスペクトル複写部５１７に与える。なお、代替的な実現手段として、図５の低域復号化部５１５および図６のステップ６０５を省略し、低域スペクトル５０５をスペクトル複写部５１７に直接与えることもできる。
次のステップ６０７では、スペクトル複写部５１７が、入力された低域スペクトルの一部または全体を複写することで、境界周波数Ｆｃ以上の成分を持つ高域スペクトル５１９を作成し、サブバンド分割部５２１に与える。高域スペクトル５１９は境界周波数Ｆｃ以上の周波数帯域の全体でなく、一部のみを含むものであってもよい。上記の複写の方法としては、図７（ａ）のように高域スペクトルを高域にシフトさせて複写を行う方法や、図７（ｂ）のように境界周波数Ｆｃに関して線対称になるようにスペクトルを反転させて複写を行う方法を採用することができる。複写によって生成する高域スペクトルの帯域幅が複写に利用する低域スペクトルより広い場合には、図７（ｃ）のように繰り返し複写を行うこともできる。
次のステップ６０９では、サブバンド分割部５１１、５２１が、同一の分割規則に基づいて、高域スペクトル５０７、５１９をそれぞれ複数のサブバンドに分割し、スペクトル形状調整方法決定部５２５に与える。なお、図５のサブバンド分割部５１１、５２１および図６のステップ６０９は必須ではなく、分割されていない高域スペクトル５０７、５１９全体を、スペクトル形状調整方法決定部５２５に与えてもよい。
次のステップ６１１では、スペクトル形状調整方法決定部５２５が、サブバンド分割された高域スペクトル５１３、５２３を利用して、音声復号化装置側における高域スペクトルの形状調整方法をサブバンドごとに決定し、決定された方法を示す情報をビットストリーム多重化部５２９に与える。なお、図５のサブバンド分割部５１１、５２１および図６のステップ６０９が省略されている場合は、スペクトル形状調整方法決定部５２５は高域スペクトル全体を１つのサブバンドとして取り扱う。このステップ６１１の処理については、図８〜図１１を用いて、後に詳述する。
次のステップ６１３では、スペクトル包絡計算部５２７が、サブバンド分割部５１１によりサブバンドに分解された高域スペクトルのスペクトル包絡を計算し、ビットストリーム多重化部５２９に与える。スペクトル包絡は、各々のサブバンド内のスペクトルの平均電力の形で表現することができる。また、代替的な構成として、スペクトル包絡計算部５２７が入力信号を直接受け取ってＬＰＣ分析を行い、得られたＬＰＣパラメータをビットストリーム多重化部５２９に与えることもできる。図５のスペクトル包絡計算部５２７および図６のステップ６１３は、本発明の効果を得るために必須ではなく、省略することもできる。
次のステップ６１５では、ビットストリーム多重化部５２９が、低域符号化部５０９から与えられた符号と、スペクトル形状調整方法決定部５２５から与えられたスペクトル形状調整情報と、スペクトル包絡計算部５２７から与えられたスペクトル包絡情報とを多重化し、ビットストリームを生成する。
以上のようにして、音声符号化装置５０１において、ビットストリームが生成され外部へ出力される。
以下では、図８のスペクトル形状調整方法決定部５２５の構成、および図６のステップ６１１の処理について詳述する。
前述したように、図６のステップ６１１では、スペクトル形状調整方法決定部５２５は、サブバンド分割された高域スペクトル５１３、５２３を利用して、復号器における高域スペクトルの形状調整方法をサブバンドごとに決定し、決定された方法を示す情報をビットストリーム多重化部５２９に与える。
上記処理を行うスペクトル形状調整方法決定部５２５は、図８の構成を備えている。図８に示すスペクトル正規化部８０１、８０３は、サブバンド分割された高域スペクトル５１３、５２３の振幅をサブバンドごとに正規化する。正規化の方法は式１に従う。ただし、正規化前のスペクトル係数をＳ’（ｋ）、正規化後のスペクトル係数をＳ（ｋ）で表す。インデックスｋは周波数を示し、ｉ番目のサブバンドはＦｉ≦ｋ＜Fｉ＋１の周波数を含むものとする。ただし、Ｆｉはｉ番目のサブバンドに含まれる周波数の下限である。また、ｍａｘ（ ）は最大値を、｜ ｜は絶対値をそれぞれ表す。
Figure 2010020251
スペクトル正規化部８０１、８０３は省略することもできる。
なお、図８のスペクトル形状調整方法決定部５２５には、入力信号の高域スペクトルをＬＰＣ分析するＬＰＣ分析部８０５を設けてもよい。例えば、音声復号化装置でＬＰＣフィルタによる雑音波形の時間包絡調整を行う場合には、ＬＰＣ分析部８０５によって入力信号の高域スペクトルをＬＰＣ分析し、分析によって得られたパラメータをスペクトル形状調整情報に含めることができる。
トーン対雑音比算出部８０７、８０９は、スペクトル正規化部８０１、８０３から与えられた正規化スペクトルを用いて各サブバンドのトーン対雑音比を示す指標Ｔｉを算出し、パラメータ決定部８１１に与える。Ｔｉは複数の方法で定義することができるが、例えば式２、式３、式４に示すような定義を用いることができる。ただし、ｍｅａｎ（ ）は算術平均を、ｇｍｅａｎ（ ）は幾何平均を、ｍｉｎ（ ）は最小値をそれぞれ表す。
Figure 2010020251
式２、式３、式４のいずれの定義に従っても、Ｔｉはトーン成分の雑音成分に対する比率が高いほど大きな値をとる。
パラメータ決定部８１１は、複写された高域スペクトル５２３と入力信号の高域スペクトル５２３のトーン対雑音比を比較し、復号器における高域スペクトルのスペクトル形状調整方法を決定する。
スペクトル形状の調整は、複写された高域スペクトル１１０をＳｃ（ｋ）、スペクトル形状調整後の高域スペクトルをＳｔ（ｋ）として、式５に従う。すなわち、スペクトル形状調整方法の決定は、式５の表記において、パラメータαｉ、βｉを決定することと等価である。ただし、ｆ（ｘ，αｉ）はxを入力とする非線形関数であり、αｉは関数の形状を制御するパラメータである。また、ｒｖは所定の電力を持つ雑音であり、βｉはスペクトルに重畳する雑音の大きさを示すパラメータである。ｓｉｇｎ（ ）は正負の符号を示す。
Ｓｔ（ｋ）＝ｓｉｇｎ（Ｓｃ（ｋ））・ｆ（｜Ｓｃ（ｋ）｜，αｉ）＋βｉ・ｒｖ
where Ｆｉ≦ｋ＜Fｉ＋１ …（式５）
ｆ（ｘ，αｉ）の具体的な形状は、例えば式６、式７、式８のように定めることができる。ただし、ｍａｘ（ａ，ｂ）はａとｂの最大値を、ｍｉｎ（ａ，ｂ）はａとｂの最小値を表す。
ｆ（x，αｉ）＝ｘαｉ …（式６）
ｆ（x，αｉ）＝ｍｉｎ（ｘ，αｉ） …（式７）
ｆ（x，αｉ）＝ｍａｘ（０，ｘ＋αｉ） …（式８）
パラメータ決定部８１１は、式５に従う調整によって得られるＳｔ（ｋ）の各サブバンドにおけるトーン対雑音比が入力信号の高域スペクトル１１１の各サブバンドにおけるトーン対雑音比と一致するようパラメータαｉ、βｉを決定する。パラメータ決定部８１１により実行されるパラメータの決定処理は、以下で述べる図９のフローチャートに従う。
図９のステップ９０１では、パラメータ決定部８１１は、未処理のサブバンドから１つを選択し、ステップ９０３にて、高域スペクトル５１３、５２３のトーン対雑音比を取得する。次のステップ９０５ではβｉを０に設定し、ステップ９０７では、高域スペクトル５１３、５２３のトーン対雑音比を比較する。ここで、入力信号の高域スペクトル５１３のトーン対雑音比が複写された高域スペクトル５２３のトーン対雑音比よりも高い場合には、後述するステップ９０９が実行され、高域スペクトル５１３のトーン対雑音比が高域スペクトル５２３のトーン対雑音比以下の場合には、後述するステップ９１１が実行される。
ステップ９０９では、高域スペクトル５１３とＳｔ（ｋ）のトーン対雑音比が一致するαｉを「αｉ＞１」の条件下で探索する。ここでの探索は、一定のステップ幅を用いてαｉを増加させながらＳｔ（ｋ）のトーン対雑音比を計算することで行うことができる。
一方、ステップ９１１では、同様に高域スペクトル５１３とＳｔ（ｋ）のトーン対雑音比が一致するαｉを「αｉ＜１」の条件下で探索する。次のステップ９１３は、マスキング判定部８１３により実行される。このステップ９１３の処理は図１０を用いて後述するが、このステップ９１３では、マスキング判定部８１３が、ステップ９１１で求められたαｉを用いた場合に歪みがマスキングされるか否かを判断する。ステップ９１３で、歪みがマスキングされないと判定された場合にはステップ９１５にてαｉに一定値が加算され、ステップ９１１の処理が再度実行される。一方、ステップ９１３で、歪みがマスキングされないと判定された場合およびステップ９０９が実行された後には、ステップ９１７にて、決定されたαｉ、βｉが出力される。そして、ステップ９１９で未処理のサブバンドが探索され、全てのサブバンドについて処理が終了していない場合には、未処理のサブバンドについてステップ９０１以降の処理が再度実行される。以上のような図９の処理により、パラメータαｉ、βｉが決定される。
ここで、図９のステップ９１３においてマスキング判定部８１３によって実行される歪みのマスキング判定処理について概説する。この歪みのマスキング判定処理は、図１０に示すフローチャートに従う。
図１０のステップ１００１では、マスキング判定部８１３は、スペクトル振幅の変形に伴うスペクトル振幅の変化量ｄ（ｋ）を式９に従って求める。
ｄ（ｋ）＝ｆ（Ｓｃ（ｋ），αｉ）−Ｓｃ（ｋ） …(式９)
次のステップ１００３では、エイリアシング歪みの上界Dｓｕｐ（ｋ）を式１０に従って求める。ただし、ｓｐｒ（ｋ）は、周波数領域への変換の種類と窓関数の形状によって定まる拡散関数であり、＊は畳み込み演算を表す。
Ｄｓｕｐ（ｋ）＝ｓｐｒ（ｋ）＊｜ｄ（ｋ）｜ …（式１０）
次のステップ１００５では、マスキング量Ｔｍａｓｋ（ｋ）を式１１に従って求める。ただし、同時マスキング量を示すマスキングパターンをＦｃｂ(ｋ)とする。
Ｔｍａｓｋ（ｋ）＝｜Ｓｔ（ｋ）｜＊Ｆｃｂ（ｋ） …（式１１）
Ｔｍａｓｋ（ｋ）とDｓｕｐ（ｋ）の関係の例を図１１に示す。
次のステップ１００７では、Ｔｍａｓｋ（ｋ）とDｓｕｐ（ｋ）を比較し、全てのｋについてＴｍａｓｋ（ｋ）≧Dｓｕｐ（ｋ）の場合には歪みがマスキングされると判断し、一方、いずれかのｋについてＴｍａｓｋ（ｋ）＜Dｓｕｐ（ｋ）の場合には歪みがマスキングされないと判断する。
以上のようにして歪みのマスキング判定処理が行われる。なお、マスキングの判断において、マスキング量を超える一定量の歪みＫを許容し、Ｔｍａｓｋ（ｋ）＋Ｋ≧Dｓｕｐ（ｋ）の場合には歪みがマスキングされたと判断する方法をとることもできる。
（実施形態１の変形例１）
ところで、パラメータ決定部８１１によるパラメータ決定処理について、演算量を低減した変形例１を以下に示す。同変形例１は、図１２のフローチャートに沿って実行される。図１２のフローチャートでは、図９のフローチャートと同じ処理には同じ番号を付しており、図１２のステップ１２１３、１２１５、１２１７が図９のフローチャートと異なる。以下では、異なる点について説明する。
図９のフローチャートではステップ９１３においてマスキングの判断を行うのに対し、図１２のフローチャートではステップ１２１３においてαｉを所与の最大値Ａと比較する。ここで、αｉが最大値Ａを超える場合には、ステップ１２１５においてαｉ＝Ａとした後、ステップ１２１７でスペクトル５１３とＳｔ（ｋ）のトーン対雑音比が一致するβｉを探索する。
一方、ステップ１２１３にてαｉが最大値Ａを超えない場合およびステップ１２１７の実行後には、ステップ９１７へ進み、決定されたαｉ、βｉを出力する。なお、αｉの最大値Ａは、固定値としてもよいし、スペクトル５２３のトーン対雑音比に応じて決定してもよい。
（実施形態１の変形例２）
式５においてβｉを０に固定することにより、雑音の重畳を伴わず、スペクトルの振幅の変形のみによるスペクトル形状調整方法を取ることができる。この場合には、図１３に示すフローチャートに従ってαｉを求めることができる。
図１３のフローチャートでは、図９のフローチャートと同じ処理には同じ番号を付しており、図１３のステップ１３０７、１３０９、１３１１が図９のフローチャートと異なる。すなわち、ステップ１３０７においてスペクトル５１３とＳｔ（ｋ）のトーン対雑音比が一致するαｉを求め、次のステップ１３０９でαｉとＡを比較する。ここで、αｉがＡを超える場合にはステップ１３１１でαｉ＝Ａとすればよい。なお、ステップ１３０９の処理は、図１０のフローチャートに従うマスキング判定によって実行してもよい。
（実施形態１の変形例３）
式５においてαｉを適切な値Ｚに固定することにより、スペクトルの振幅の変形を伴わず、雑音の重畳のみによるスペクトル形状調整方法を取ることができる。この場合には、図１４に示すフローチャートに従ってβｉを求めることができる。
図１４のフローチャートでは、図９のフローチャートと同じ処理には同じ番号を付しており、図１４のステップ１４０５、１４０９、１４１１が図９のフローチャートと異なる。すなわち、ステップ１４０５においてαｉ＝Ｚとし、次のステップ９０７において高域スペクトル５１３、５２３のトーン対雑音比を比較する。ここで、高域スペクトル５２３のトーン対雑音比が高域スペクトル５１３のトーン対雑音比よりも高いときのみ、ステップ１４１１にてスペクトル５１３とＳｔ（ｋ）のトーン対雑音比が一致するβｉを探索することができる。一方、高域スペクトル５２３のトーン対雑音比が高域スペクトル５１３のトーン対雑音比以下の場合にはステップ１４０９で常にβｉ＝０とする。
（実施形態１の変形例４）
ところで、式５における雑音ｒｖは均一な分布またはガウス性の分布を持つ乱数とすることができる。ｒｖを乱数とした場合には、重畳された雑音は時間領域において平坦な包絡を持つ。また、別の方法として、上記乱数に周波数軸に沿ってＬＰＣフィルタリングを施したものをｒｖとして用いることもできる。周波数領域でＬＰＣフィルタリングを行うことにより、時間領域への逆変換を行った際の雑音波形の時間領域での包絡を調整することができる。周波数領域でのＬＰＣフィルタリングによって時間領域での波形の包絡が調整できることは、例えば文献「J.Herre et al., “Enhancing the Performance of Perceptual Audio Coders by UsingTemporal Noise Shaping (TNS)”, AES convention 101, paper number 4384, 1996」において説明されている。
音声復号化装置においてＬＰＣフィルタによる雑音波形の時間包絡調整を行う場合には、図８のＬＰＣ分析部８０５において入力信号の高域スペクトルをＬＰＣ分析し、分析によって得られたパラメータをスペクトル形状調整情報に含めることができる。なお、ＬＰＣ分析部８０５は本発明の効果を得るための必須の構成ではなく、省略することもできる。
なお、式５においては、スペクトル振幅の変形をスカラー関数で実現し、あるスペクトル係数に対する変形は周囲のスペクトル係数の値に影響されないものとしているが、変形結果が周囲のスペクトル係数に依存する処理方法を取ってもよい。例えば、非線形スカラー関数ｆ（ｘ，αｉ）によってスペクトル振幅｜Ｓｃ（ｋ）｜を変形する代わりに、ｆ（Ｓｃ（ｋ），αｉ）／｜Ｓｃ（ｋ）｜を各スペクトル係数に重畳されるゲインとみなし、このゲインを周波数軸に沿って平滑化した後で｜Ｓｃ（ｋ）｜に乗算することができる。
（実施形態１における音声復号化装置の構成および動作）
図１５は、本発明の実施形態１における音声復号化装置１５０１の主要な構成を示すブロック図である。図１５に示すように、音声復号化装置１５０１は、多重化されたビットストリームを、(1)音声信号の低域スペクトルを符号化した情報１５０５と(2)高域スペクトルのスペクトル形状調整方法を指示する補助情報１５０７と(3)スペクトル包絡情報１５０９とに分離するビットストリーム分離部１５０３と、音声信号の低域スペクトルを符号化した情報１５０５から低域スペクトルを復号化する低域復号化部１５１１と、図５のスペクトル複写部５１７と同一の方法でスペクトルの高域への複写を行うスペクトル複写部１５１３と、図５のサブバンド分割部５２１と同一の分割法により、複写されたスペクトルをサブバンドに分割するサブバンド分割部１５１５と、補助情報１５０７に基づいて高域スペクトルのスペクトル形状をサブバンドごとに調整するスペクトル形状調整部１５１７と、スペクトル包絡情報１５０９に基づいて、高域スペクトルの包絡を調整するスペクトル包絡調整部１５１９と、低域スペクトルと高域スペクトルとを結合し全周波数帯域にわたるスペクトルを得るスペクトル結合部１５２１と、スペクトルを時間信号に変換し、変換後の信号を復号信号として外部へ出力する周波数領域逆変換部１５２３とを備えている。
この音声復号化装置１５０１は、ハードウェア構成としては、前述した音声符号化装置５０１と同様に、例えば図２２に示す構成を備える。即ち、音声復号化装置１５０１は、図２２に示すように、オペレーティングシステムやアプリケーションプログラムなどを実行するＣＰＵ２２０１、ＲＯＭ及びＲＡＭで構成される主記憶部２２０２、ハードディスクなどで構成される補助記憶部２２０３、外部とデータ通信を行う通信制御部２２０４、液晶モニタなどで構成される表示部２２０５、並びに文字・数字入力及び実行指示等を行うための操作部２２０６を含んで構成される。前述した図１５の各ブロックの機能は、図２２に示すＣＰＵ２２０１の制御の下で主記憶部２２０２に所定のソフトウェアを読み込ませ実行することにより、実現される。
音声復号化装置１５０１は、入力ビットストリームに対して図１６のフローチャートに示す一連の処理を行って、復号化された信号を外部へ出力する。以下、図１６の一連の処理を説明する。
図１６のステップ１６０１では、ビットストリーム分離部１５０３が、多重化されたビットストリームを、(1)音声信号の低域スペクトルを符号化した情報１５０５と、(2)高域スペクトルのスペクトル形状調整方法を指示する補助情報１５０７と、(3)スペクトル包絡情報１５０９とに分離する。なお、本発明に係る「高域スペクトルの性質に関する補助情報」は、上記の補助情報１５０７およびスペクトル包絡情報１５０９に相当する。
次のステップ１６０３では、低域復号化部１５１１が、音声信号の低域スペクトルを符号化した情報１５０５から低域スペクトルを復号化し、スペクトル複写部１５１３およびスペクトル結合部１５２１に与える。
次のステップ１６０５では、スペクトル複写部１５１３が、前述した図５のスペクトル複写部５１７と同一の方法でスペクトルの高域への複写を行い、サブバンド分割部１５１５に与える。ここで、低域スペクトルの一部を高域へ複写する場合には、予め定められた複写範囲に従って、スペクトル複写部５１７と同一の部分スペクトルを複写することができる。また、入力信号に応じてスペクトル複写の方法を変える場合には、音声符号化装置５０１のスペクトル複写部５１７により図６のステップ６０７で複写の方法を決定し、決定された複写の方法を示す補助情報をビットストリームに重畳して伝送し、伝送された補助情報に従って音声復号化装置１５０１のスペクトル複写部１５１３がスペクトルの高域への複写を行うこともできる。
次のステップ１６０７では、サブバンド分割部１５１５が、前述した図５のサブバンド分割部５２１と同一の分割法により、複写されたスペクトルをサブバンドに分割してスペクトル形状調整部１５１７に与える。
次のステップ１６０９では、スペクトル形状調整部１５１７が、補助情報１５０７に基づいて、高域スペクトルのスペクトル形状を式５に従ってサブバンドごとに調整し、調整後の高域スペクトルのスペクトル形状をスペクトル包絡調整部１５１９に与える。
なお、式５における雑音ｒｖに対しては、前述の通りＬＰＣフィルタリングによって時間領域での包絡の調整を行うことができる。フィルタリングに用いるＬＰＣパラメータとしては、補助情報１５０７に含まれるＬＰＣパラメータ（即ち、符号化前の原信号の高域成分に対する分析から得られたＬＰＣパラメータ）を用いることができる。また、復号された低域スペクトルをＬＰＣ分析して得られるＬＰＣパラメータを用いることで、雑音波形の時間領域での包絡を復号信号の低域成分に近づけることもできる。
次のステップ１６１１では、スペクトル包絡調整部１５１９が、スペクトル包絡情報１５０９に基づいて、スペクトル形状調整部１５１７から与えられた高域スペクトルの包絡を調整し、スペクトル結合部１５２１に与える。
次のステップ１６１３では、スペクトル結合部１５２１が、低域復号化部１５１１から与えられた低域スペクトルと、スペクトル包絡調整部１５１９から与えられた高域スペクトルとを結合し、全周波数帯域にわたるスペクトルを得て、得られた全周波数帯域にわたるスペクトルを周波数領域逆変換部１５２３に与える。
次のステップ１６１５では、周波数領域逆変換部１５２３が、スペクトルを時間信号に変換し、変換後の信号を復号信号として外部へ出力する。
上述した実施形態１における音声符号化装置５０１と音声復号化装置１５０１とを用いることで、帯域拡張に伴うスペクトル微細構造の調整を高い品質で行うことができ、復号音声の主観的品質を向上させることができる。
（実施形態２）
以下の実施形態２では、実施形態１で述べた音声復号化装置１５０１とは異なる構成の音声復号化装置を説明する。実施形態２の音声復号化装置は、音声信号の低域スペクトルを符号化した情報と高域スペクトルのトーン対雑音比情報と高域スペクトルの包絡情報を含むビットストリームに対し、図１８のフローチャートに示す一連の処理を行って、復号された音声信号を外部へ出力する。
実施形態２の音声復号化装置は、実施形態１の音声復号化装置と類似の構成を持つが、実施形態１では、伝送されるビットストリームに、スペクトル形状の調整方法を指示する補助情報が含まれるのに対し、実施形態２では、伝送されるビットストリームに、高域スペクトルのトーン対雑音比を記述する補助情報が含まれる点で両者は異なる。
図１７は、本発明の実施形態２における音声復号化装置１７０１の主要な構成を示すブロック図である。図１７に示すように、音声復号化装置１７０１は、多重化されたビットストリームを、音声信号の低域スペクトルを符号化した情報１７０５と高域スペクトルのトーン対雑音比情報１７０７と高域スペクトルの包絡情報１７０９とに分離するビットストリーム分離部１７０３と、音声信号の低域スペクトルを符号化した情報１７０５に基づいて低域スペクトルを復号化する低域復号化部１７１３と、実施形態１における図５のスペクトル複写部５１７と同様の方法でスペクトルの高域への複写を行うスペクトル複写部１７１５と、複写された高域スペクトルをサブバンドに分割するサブバンド分割部１７１７と、後述する図１９のブロック図に従ってスペクトル形状調整方法を決定するスペクトル形状調整方法決定部１７１１と、サブバンド分割された高域スペクトルの形状を式５に従って調整するスペクトル形状調整部１７１９と、高域スペクトルの包絡情報１７０９に基づいて高域スペクトルの包絡を調整するスペクトル包絡調整部１７２１と、低域スペクトルと高域スペクトルとを結合し全周波数帯域にわたるスペクトルを得るスペクトル結合部１７２３と、スペクトルを時間信号に変換し変換後の信号を復号信号として外部に出力する周波数領域逆変換部１７２５とを備えている。
また、音声復号化装置１７０１は、ハードウェア構成としては、前述した音声復号化装置１５０１と同様に、図２２に示す構成を備える。前述した図１７の各ブロックの機能は、例えば図２２に示すＣＰＵ２２０１の制御の下で主記憶部２２０２に所定のソフトウェアを読み込ませ実行することにより、実現される。
音声復号化装置１７０１は、音声信号の低域スペクトルを符号化した情報と高域スペクトルのトーン対雑音比情報と高域スペクトルの包絡情報を含むビットストリームに対し、図１８のフローチャートに示す一連の処理を行って、復号された音声信号を外部へ出力する。以下、図１８の一連の処理を説明する。
図１８のステップ１８０１では、ビットストリーム分離部１７０３が、多重化されたビットストリームを、音声信号の低域スペクトルを符号化した情報１７０５と高域スペクトルのトーン対雑音比情報１７０７と高域スペクトルの包絡情報１７０９とに分離する。
次のステップ１８０３では、低域復号化部１７１３が、音声信号の低域スペクトルを符号化した情報１７０５に基づいて低域スペクトルを復号化し、スペクトル複写部１７１５およびスペクトル結合部１７２３に与える。
次のステップ１８０５では、スペクトル複写部１７１５が、実施形態１における図５のスペクトル複写部５１７と同様の方法（図６のステップ６０７と同様の方法）でスペクトルの高域への複写を行い、スペクトル形状調整方法決定部１７１１およびサブバンド分割部１７１７に与える。
次のステップ１８０７では、サブバンド分割部１７１７が、複写された高域スペクトルをサブバンドに分割し、スペクトル形状調整部１７１９に与える。
次のステップ１８０９では、スペクトル形状調整方法決定部１７１１が、図１９に示すブロック図に従って、スペクトル形状調整方法を決定する。図１９の処理内容は、実施形態１における図５のスペクトル形状調整方法決定部５２５による図６のステップ６１１の処理内容とほぼ同様であるが、図６のステップ６１１とは異なり、入力信号のトーン対雑音比情報１７０７がスペクトル形状調整方法決定部１７１１に対し与えられる。そのため、図１９の処理では、スペクトル正規化とトーン対雑音比算出は、複写後の高域スペクトルに対してのみ行われる。スペクトル形状調整方法決定部１７１１には、実施形態１の変形例１から変形例４と同様の変形を加えることができる。変形例２と同様の変形を加えることより、雑音の重畳を伴わず、スペクトルの振幅の変形のみによるスペクトル形状調整方法をとることができる。また、変形例３と同様の変形を加えることにより、スペクトルの振幅の変形を伴わず、雑音の重畳のみによるスペクトル形状調整方法を取ることができる。
次のステップ１８１１では、スペクトル形状調整部１７１９が、サブバンド分割された高域スペクトルの形状を式５に従って調整し、その調整結果をスペクトル包絡調整部１７２１に与える。
次のステップ１８１３では、スペクトル包絡調整部１７２１が、高域スペクトルの包絡情報１７０９に基づいて高域スペクトルの包絡を調整し、その調整結果をスペクトル結合部１７２３に与える。
次のステップ１８１５では、スペクトル結合部１７２３が、低域復号化部１７１３から与えられた低域スペクトルと、スペクトル包絡調整部１７２１から与えられた高域スペクトルとを結合し、全周波数帯域にわたるスペクトルを得て、得られた全周波数帯域にわたるスペクトルを周波数領域逆変換部１７２５に与える。
次のステップ１８１７では、周波数領域逆変換部１７２５が、スペクトルを時間信号に変換し、変換後の信号を復号信号として外部へ出力する。
以上に示した実施形態２においても、実施形態１と同様に、帯域拡張に伴うスペクトル微細構造の調整を高い品質で行うことができ、復号音声の主観的品質を向上させることができる。
（実施形態３）
図２０は、本発明の実施形態３における音声帯域拡張装置２００１の主要な構成を示すブロック図である。音声帯域拡張装置２００１は、入力信号に対し周波数領域への変換処理を行い低域スペクトルを得る周波数領域変換部２００３と、前述した図５のスペクトル複写部５１７と同様の方法で、周波数領域変換部２００３から与えられた低域スペクトルの高域への複写を行うスペクトル複写部２００５と、スペクトル複写部２００５から与えられた高域スペクトルを複数のサブバンドに分割するサブバンド分割部２０１１と、高域スペクトルの各サブバンドにおけるトーン対雑音比を低域スペクトルから推定するトーン対雑音比推定部２００７と、高域スペクトルのスペクトル包絡を低域スペクトルから推定するスペクトル包絡推定部２００９と、サブバンド分割部２０１１から与えられるサブバンド分割された高域スペクトルと、トーン対雑音比推定部２００７から与えられるトーン対雑音比とから、前述した図５のスペクトル形状調整方法決定部５２５と同様の方法で、スペクトル形状調整方法を決定するスペクトル形状調整方法決定部２０１５と、スペクトル形状調整方法決定部２０１５から与えられるスペクトル形状調整方法を用いて、前述した図１５のスペクトル形状調整部１５１７と同様の方法で高域スペクトルの形状調整を行うスペクトル形状調整部２０１３と、スペクトル包絡推定部２００９から与えられたスペクトル包絡情報を用いて高域スペクトルの包絡を調整するスペクトル包絡調整部２０１７と、スペクトル包絡調整部２０１７から与えられた高域スペクトルと周波数領域変換部２００３から与えられた低域スペクトルとを結合するスペクトル結合部２０１９と、結合後のスペクトルを時間信号に変換し、高域が復元された広帯域音声信号として変換後の信号を外部へ出力する周波数領域逆変換部２０２１とを備えている。
この音声帯域拡張装置２００１は、ハードウェア構成としては、前述した音声符号化装置５０１および音声復号化装置１５０１と同様に、例えば図２２に示す構成を備える。前述した図２０の各ブロックの機能は、図２２に示すＣＰＵ２２０１の制御の下で主記憶部２２０２に所定のソフトウェアを読み込ませ実行することにより、実現される。
音声帯域拡張装置２００１は、音声の低域成分のみを含む帯域制限された入力信号に対し図２１のフローチャートに示す一連の処理を行って高域成分が復元された広帯域音声信号を外部へ出力する。以下、図２１の一連の処理を説明する。
図２１のステップ２１０１では、周波数領域変換部２００３が、入力信号に対して周波数領域への変換を行い、低域スペクトルを得る。ここでの変換の方法としては、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、修正離散コサイン変換（ＭＤＣＴ）、コサイン変調フィルタバンクなどを用いることができる。入力音声が時間領域でなく周波数領域の信号として与えられる場合にはステップ２１０１および周波数領域変換部２００３は省略することができる。
次のステップ２１０３では、スペクトル複写部２００５が、前述した図５のスペクトル複写部５１７による図６のステップ６０７と同様の方法で、周波数領域変換部２００３から与えられた低域スペクトルの高域への複写を行い、サブバンド分割部２０１１に与える。
次のステップ２１０５では、サブバンド分割部２０１１が、スペクトル複写部２００５から与えられた高域スペクトルを複数のサブバンドに分割し、スペクトル形状調整方法決定部２０１５およびスペクトル形状調整部２０１３に与える。なお、図２０のサブバンド分割部２０１１または図２１のステップ２１０５は、必須ではなく、分割されていない高域スペクトル全体をスペクトル形状調整部２０１３に与えてもよい。
次のステップ２１０７では、トーン対雑音比推定部２００７が、高域スペクトルの各サブバンドにおけるトーン対雑音比を低域スペクトルから推定し、スペクトル形状調整方法決定部２０１５に与える。ここでの推定には、広帯域音声のスペクトルを用いて予め学習したベクトル量子化器、混合ガウスモデル（ＧＭＭ）、隠れマルコフモデル（ＨＭＭ）などを用いることができる。
次のステップ２１０９では、スペクトル包絡推定部２００９が、高域スペクトルのスペクトル包絡を低域スペクトルから推定し、スペクトル包絡調整部２０１７に与える。ここでの推定には、トーン対雑音比の推定と同様、広帯域音声のスペクトルを用いて予め学習したベクトル量子化器、混合ガウスモデル（ＧＭＭ）、隠れマルコフモデル（ＨＭＭ）などを用いることができる。
次のステップ２１１１では、スペクトル形状調整方法決定部２０１５が、サブバンド分割部２０１１から与えられるサブバンド分割された高域スペクトルと、トーン対雑音比推定部２００７から与えられるトーン対雑音比とから、前述した図５のスペクトル形状調整方法決定部５２５と同様の方法で、スペクトル形状調整方法を決定し、スペクトル形状調整部２０１３に与える。スペクトル形状調整方法決定部２０１５には、実施形態１の変形例１から変形例４と同様の変形を加えることができる。変形例２と同様の変形を加えることより、雑音の重畳を伴わず、スペクトルの振幅の変形のみによるスペクトル形状調整方法をとることができる。また、変形例３と同様の変形を加えることにより、スペクトルの振幅の変形を伴わず、雑音の重畳のみによるスペクトル形状調整方法を取ることができる。
次のステップ２１１３では、スペクトル形状調整部２０１３が、スペクトル形状調整方法決定部２０１５から与えられるスペクトル形状調整方法を用いて、前述した図１５のスペクトル形状調整部１５１７と同様の方法で、高域スペクトルの形状調整を行う。
次のステップ２１１５では、スペクトル包絡調整部２０１７が、スペクトル包絡推定部２００９から与えられたスペクトル包絡情報を用いて高域スペクトルの包絡を調整し、スペクトル結合部２０１９に与える。
次のステップ２１１７では、スペクトル結合部２０１９が、スペクトル包絡調整部２０１７から与えられた高域スペクトルと、周波数領域変換部２００３から与えられた低域スペクトルとを結合し、結合後のスペクトルを周波数領域逆変換部２０２１に与える。
次のステップ２１１９では、周波数領域逆変換部２０２１が、結合後のスペクトルを時間信号に変換し、高域が復元された広帯域音声信号として、変換後の信号を外部へ出力する。
（実施形態３の変形例）
以上に示した音声帯域拡張装置２００１においては、入力音声が時間領域の信号として与えられる場合を例示したが、前述の通り入力信号は周波数領域の信号であってもよい。さらに、この周波数領域の信号は、変換符号化に基づく音声符号化方法によって符号化された音声の復号処理の中途段階において得られた信号であってもよい。変換符号化に基づく音声符号化方法によって符号化された音声の復号処理を行う音声復号化装置では、復号処理の最後の段階において周波数領域から時間領域への信号の逆変換を行うが、逆変換前の周波数領域の信号を音声帯域拡張装置２００１に与えることにより、高域が復元された広帯域の復号音声を音声帯域拡張装置２００１の出力として得ることができる。
以上に示した実施形態３においても、実施形態１と同様に、帯域拡張に伴うスペクトル微細構造の調整を高い品質で行うことができ、復元音声の主観的品質を向上させることができる。
音声信号のスペクトルの例を示す図である。 低域から高域へスペクトルを複写しスペクトル包絡の調整を行った結果の例を示す図である。 サブバンドに分割して微細構造の調整を行ったスペクトルの例を示す図である。 スペクトル振幅の圧縮に伴う歪み発生を示す模式図である。 実施形態１における音声符号化装置の主要な構成を示すブロック図である。 実施形態１における音声符号化方法の主要なステップを示すフローチャートである。 スペクトルの低域から高域への複写方法のさまざまな例を示す模式図である。 スペクトル形状調整方法決定部５２５の主要な構成を示すブロック図である。 パラメータ決定部８１１による処理の主要なステップを示すフローチャートである。 図９のステップ９１３の判断処理の詳細を示すフローチャートである。 スペクトル振幅の変形に伴う歪みのマスキングを示す模式図である。 パラメータ決定部８１１による処理の別の態様を示すフローチャートである。 αｉを固定とした場合のパラメータ決定部８１１による処理の別の態様を示すフローチャートである。 βｉを固定とした場合のパラメータ決定部８１１による処理の別の態様を示すフローチャートである。 実施形態１における音声復号化装置の主要な構成を示すブロック図である。 実施形態１における音声復号化方法の主要なステップを示すフローチャートである。 実施形態２における音声復号化装置の主要な構成を示すブロック図である。 実施形態２における音声復号化方法の主要なステップを示すフローチャートである。 スペクトル形状調整方法決定部１７１１の主要な構成を示すブロック図である。 実施形態３における音声帯域拡張装置の主要な構成を示すブロック図である。 実施形態３における音声帯域拡張方法の主要なステップを示すブロック図である。 音声符号化装置、音声復号化装置、音声帯域拡張装置のハードウェア構成例を示す図である。
符号の説明
５０１…音声符号化装置、５０３…周波数領域変換部、５０５…低域スペクトル、５０７…高域スペクトル、５０９…低域符号化部、５１１…サブバンド分割部、５１３…高域スペクトル、５１５…低域復号化部、５１７…スペクトル複写部、５１９…高域スペクトル、５２１…サブバンド分割部、５２３…高域スペクトル、５２５…スペクトル形状調整方法決定部、５２７…スペクトル包絡計算部、５２９…ビットストリーム多重化部、８０１、８０３…スペクトル正規化部、８０５…ＬＰＣ分析部、８０７、８０９…トーン対雑音比算出部、８１１…パラメータ決定部、８１３…マスキング判定部、１５０１…音声復号化装置、１５０３…ビットストリーム分離部、１５０５…符号化した情報、１５０７…補助情報、１５０９…スペクトル包絡情報、１５１１…低域復号化部、１５１３…スペクトル複写部、１５１５…サブバンド分割部、１５１７…スペクトル形状調整部、１５１９…スペクトル包絡調整部、１５２１…スペクトル結合部、１５２３…周波数領域逆変換部、１７０１…音声復号化装置、１７０３…ビットストリーム分離部、１７０５…符号化した情報、１７０７…トーン対雑音比情報、１７０９…包絡情報、１７１１…スペクトル形状調整方法決定部、１７１３…低域復号化部、１７１５…スペクトル複写部、１７１７…サブバンド分割部、１７１９…スペクトル形状調整部、１７２１…スペクトル包絡調整部、１７２３…スペクトル結合部、１７２５…周波数領域逆変換部、２００１…音声帯域拡張装置、２００３…周波数領域変換部、２００５…スペクトル複写部、２００７…トーン対雑音比推定部、２００９…スペクトル包絡推定部、２０１１…サブバンド分割部、２０１３…スペクトル形状調整部、２０１５…スペクトル形状調整方法決定部、２０１７…スペクトル包絡調整部、２０１９…スペクトル結合部、２０２１…周波数領域逆変換部、２２０１…ＣＰＵ、２２０２…主記憶部、２２０３…補助記憶部、２２０４…通信制御部、２２０５…表示部、２２０６…操作部。

Claims (20)

  1. 音声信号の低域スペクトルを符号化した情報と高域スペクトルの性質に関する補助情報とを含むビットストリームから、前記低域スペクトルと前記高域スペクトルの両方に相当する周波数成分を含む音声信号を復号する音声復号化装置であって、
    前記ビットストリームを、音声信号の低域スペクトルを符号化した情報と、高域スペクトルの性質に関する補助情報とに分離する手段と、
    前記音声信号の低域スペクトルを符号化した情報から、低域スペクトルを復号する手段と、
    復号によって得られた低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得る手段と、
    前記高域スペクトルの性質に関する補助情報を利用して前記第１の高域スペクトルの形状を調整することによって第２の高域スペクトルを得るスペクトル形状調整手段と、
    前記低域スペクトルと前記第２の高域スペクトルとを利用して音声信号を復号する手段と、
    を備えた音声復号化装置。
  2. 前記スペクトル形状調整手段は、前記第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって前記第２の高域スペクトルを得る、
    ことを特徴とする請求項１記載の音声復号化装置。
  3. 前記スペクトル形状調整手段は、前記第１の高域スペクトルを複数のサブバンドに分割し、分割後のサブバンドの各々に属する部分スペクトルについて、該部分スペクトルの形状の調整を行うことを特徴とする請求項１または２に記載の音声復号化装置。
  4. 前記高域スペクトルの性質に関する補助情報と前記第１の高域スペクトルとに基づいて、前記スペクトル形状調整手段により用いられる前記形状の調整の仕方または重畳する雑音の量を決定するスペクトル形状調整方法決定手段、をさらに備えた請求項１〜３の何れか一項に記載の音声復号化装置。
  5. 前記スペクトル形状調整方法決定手段は、前記スペクトルの形状の調整に起因して出力信号に生じる歪みと形状調整後の高域スペクトルによるマスキング量とを利用して、前記形状の調整の仕方または重畳する雑音の量を決定することを特徴とする請求項４に記載の音声復号化装置。
  6. 前記高域スペクトルの性質に関する補助情報は、音声の高域周波数成分の時間領域での包絡に関する情報を含み、
    前記スペクトル形状調整手段は、重畳する雑音の時間領域での包絡を調整することを特徴とする請求項２または４に記載の音声復号化装置。
  7. 低域スペクトルの復号結果の高域への複写に基づいて高域スペクトルの復号を行う音声復号化装置、に適合するビットストリームを生成する音声符号化装置であって、
    音声信号を周波数領域に変換し、低域スペクトルを分離した後、残存する高域スペクトルの一部または全体を第１の高域スペクトルとして分離する手段と、
    前記低域スペクトルを符号化する手段と、
    前記低域スペクトルの一部または全体を高域に複写することによって第２の高域スペクトルを得る手段と、
    前記第１の高域スペクトルと前記第２の高域スペクトルの性質に基づいて、前記音声復号化装置における高域スペクトルの形状の調整の仕方を決定するスペクトル形状調整方法決定手段と、
    符号化された前記低域スペクトルと、前記決定された高域スペクトルの形状の調整の仕方の情報とを多重化したビットストリームを生成する手段と
    を備えた音声符号化装置。
  8. 前記スペクトル形状調整方法決定手段は、前記第１の高域スペクトルと前記第２の高域スペクトルの性質に基づいて、前記高域スペクトルの形状の調整の仕方に加え、前記音声復号化装置における高域スペクトルの形状の調整のために高域スペクトルに重畳する雑音の量を決定することを特徴とする請求項７に記載の音声符号化装置。
  9. 前記スペクトル形状調整方法決定手段は、前記第１の高域スペクトルを複数のサブバンドに分割し、分割後のサブバンドの各々に属する部分スペクトルについて、該部分スペクトルの形状の調整の仕方を決定することを特徴とする請求項７または８に記載の音声符号化装置。
  10. 前記スペクトル形状調整方法決定手段は、前記スペクトルの形状の調整に起因して出力信号に生じる歪みと、スペクトル形状の調整後の高域スペクトルによるマスキング量とを利用して、前記高域スペクトルの形状の調整の仕方または前記重畳する雑音の量を決定することを特徴とする請求項７〜９の何れか一項に記載の音声符号化装置。
  11. 音声の低域周波数成分のみを含む低域スペクトルから、前記低域スペクトルに含まれない高域周波数成分を含む音声信号を復元する音声帯域拡張装置であって、
    前記低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得る手段と、
    前記第１の高域スペクトルの形状を調整することで、第２の高域スペクトルを得るスペクトル形状調整手段と、
    前記低域スペクトルと前記第２の高域スペクトルとを利用して、高域周波数成分を含む音声信号を復元する手段と、
    を備えた音声帯域拡張装置。
  12. 前記スペクトル形状調整手段は、前記第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって前記第２の高域スペクトルを得る、
    ことを特徴とする請求項１１記載の音声帯域拡張装置。
  13. 前記スペクトル形状調整手段は、前記第１の高域スペクトルを複数のサブバンドに分割し、分割後のサブバンドの各々に属する部分スペクトルについて、該部分スペクトルの形状の調整を行うことを特徴とする請求項１１または１２に記載の音声帯域拡張装置。
  14. 前記スペクトル形状調整方法決定手段は、前記スペクトルの形状の調整に起因して出力信号に生じる歪みと、スペクトル形状の調整後の高域スペクトルによるマスキング量とを利用して、前記高域スペクトルの形状の調整の仕方または前記重畳する雑音の量を決定することを特徴とする請求項１１〜１３の何れか一項に記載の音声帯域拡張装置。
  15. 音声信号の低域スペクトルを符号化した情報と高域スペクトルの性質に関する補助情報とを含むビットストリームから、前記低域スペクトルと前記高域スペクトルの両方に相当する周波数成分を含む音声信号を復号する音声復号化装置、により実行される音声復号化方法であって、
    前記ビットストリームを、音声信号の低域スペクトルを符号化した情報と、高域スペクトルの性質に関する補助情報とに分離するステップと、
    前記音声信号の低域スペクトルを符号化した情報から、低域スペクトルを復号するステップと、
    復号によって得られた低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得るステップと、
    前記高域スペクトルの性質に関する補助情報を利用して前記第１の高域スペクトルの形状を調整することによって第２の高域スペクトルを得るスペクトル形状調整ステップと、
    前記低域スペクトルと前記第２の高域スペクトルとを利用して音声信号を復号するステップと、
    を備えた音声復号化方法。
  16. 前記スペクトル形状調整ステップでは、前記音声復号化装置は、前記第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって前記第２の高域スペクトルを得る、
    ことを特徴とする請求項１５記載の音声復号化方法。
  17. 低域スペクトルの復号結果の高域への複写に基づいて高域スペクトルの復号を行う音声復号化装置、に適合するビットストリームを生成する音声符号化装置により実行される音声符号化方法であって、
    音声信号を周波数領域に変換し、低域スペクトルを分離した後、残存する高域スペクトルの一部または全体を第１の高域スペクトルとして分離するステップと、
    前記低域スペクトルを符号化するステップと、
    前記低域スペクトルの一部または全体を高域に複写することによって第２の高域スペクトルを得るステップと、
    前記第１の高域スペクトルと前記第２の高域スペクトルの性質に基づいて、前記音声復号化装置における高域スペクトルの形状の調整の仕方を決定するスペクトル形状調整方法決定ステップと、
    符号化された前記低域スペクトルと、前記決定された高域スペクトルの形状の調整の仕方の情報とを多重化したビットストリームを生成するステップと
    を備えた音声符号化方法。
  18. 前記スペクトル形状調整方法決定ステップでは、前記音声符号化装置は、前記第１の高域スペクトルと前記第２の高域スペクトルの性質に基づいて、前記高域スペクトルの形状の調整の仕方に加え、前記音声復号化装置における高域スペクトルの形状の調整のために高域スペクトルに重畳する雑音の量を決定することを特徴とする請求項１７に記載の音声符号化方法。
  19. 音声の低域周波数成分のみを含む低域スペクトルから、前記低域スペクトルに含まれない高域周波数成分を含む音声信号を復元する音声帯域拡張装置、により実行される音声帯域拡張方法であって、
    前記低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得るステップと、
    前記第１の高域スペクトルの形状を調整することで、第２の高域スペクトルを得るスペクトル形状調整ステップと、
    前記低域スペクトルと前記第２の高域スペクトルとを利用して、高域周波数成分を含む音声信号を復元するステップと、
    を備えた音声帯域拡張方法。
  20. 前記スペクトル形状調整ステップでは、前記音声復号化装置は、前記第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって前記第２の高域スペクトルを得る、
    ことを特徴とする請求項１９記載の音声帯域拡張方法。
JP2008183113A 2008-07-14 2008-07-14 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法 Expired - Fee Related JP5203077B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008183113A JP5203077B2 (ja) 2008-07-14 2008-07-14 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008183113A JP5203077B2 (ja) 2008-07-14 2008-07-14 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法

Publications (2)

Publication Number Publication Date
JP2010020251A true JP2010020251A (ja) 2010-01-28
JP5203077B2 JP5203077B2 (ja) 2013-06-05

Family

ID=41705184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008183113A Expired - Fee Related JP5203077B2 (ja) 2008-07-14 2008-07-14 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法

Country Status (1)

Country Link
JP (1) JP5203077B2 (ja)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011001578A1 (ja) * 2009-06-29 2011-01-06 パナソニック株式会社 通信装置
WO2012111767A1 (ja) * 2011-02-18 2012-08-23 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、及び音声符号化プログラム
WO2013027629A1 (ja) * 2011-08-24 2013-02-28 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2013027631A1 (ja) * 2011-08-24 2013-02-28 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2013027630A1 (ja) * 2011-08-24 2013-02-28 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2013098885A1 (ja) * 2011-12-27 2013-07-04 三菱電機株式会社 音声信号復元装置および音声信号復元方法
JP2013222205A (ja) * 2012-04-16 2013-10-28 Samsung Electronics Co Ltd 音質向上装置及び方法
JP2014508322A (ja) * 2011-02-08 2014-04-03 エルジー エレクトロニクス インコーポレイティド 帯域拡張方法及び装置
WO2014115225A1 (ja) * 2013-01-22 2014-07-31 パナソニック株式会社 帯域幅拡張パラメータ生成装置、符号化装置、復号装置、帯域幅拡張パラメータ生成方法、符号化方法、および、復号方法
JP2015092254A (ja) * 2010-07-19 2015-05-14 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 帯域幅拡張のためのスペクトル平坦性制御
WO2015151451A1 (ja) * 2014-03-31 2015-10-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、復号方法、およびプログラム
US9406312B2 (en) 2010-04-13 2016-08-02 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US9583112B2 (en) 2010-04-13 2017-02-28 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
JP2017507363A (ja) * 2014-03-03 2017-03-16 サムスン エレクトロニクス カンパニー リミテッド 帯域幅拡張のための高周波復号方法及びその装置
US9659573B2 (en) 2010-04-13 2017-05-23 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US9691410B2 (en) 2009-10-07 2017-06-27 Sony Corporation Frequency band extending device and method, encoding device and method, decoding device and method, and program
US9767824B2 (en) 2010-10-15 2017-09-19 Sony Corporation Encoding device and method, decoding device and method, and program
US9875746B2 (en) 2013-09-19 2018-01-23 Sony Corporation Encoding device and method, decoding device and method, and program
JP2019528479A (ja) * 2016-08-23 2019-10-10 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 補償値を用いて音声信号を符号化する装置および方法
CN111312279A (zh) * 2013-09-12 2020-06-19 杜比国际公司 基于qmf的处理数据的时间对齐
US10692511B2 (en) 2013-12-27 2020-06-23 Sony Corporation Decoding apparatus and method, and program
CN112530446A (zh) * 2019-09-18 2021-03-19 腾讯科技（深圳）有限公司 频带扩展方法、装置、电子设备及计算机可读存储介质
JP2021515276A (ja) * 2018-04-25 2021-06-17 ドルビー・インターナショナル・アーベー 後処理遅延低減との高周波再構成技術の統合
US11107483B2 (en) 2015-03-09 2021-08-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US11527256B2 (en) 2018-04-25 2022-12-13 Dolby International Ab Integration of high frequency audio reconstruction techniques
US11688406B2 (en) 2014-03-24 2023-06-27 Samsung Electronics Co., Ltd. High-band encoding method and device, and high-band decoding method and device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5997592B2 (ja) 2012-04-27 2016-09-28 株式会社Ｎｔｔドコモ 音声復号装置
JP6035270B2 (ja) 2014-03-24 2016-11-30 株式会社Ｎｔｔドコモ 音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、および音声符号化プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216190A (ja) * 2001-11-14 2003-07-30 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JP2005510772A (ja) * 2001-11-29 2005-04-21 コーディング テクノロジーズ アクチボラゲット 高周波再構成を改善する方法
WO2005104094A1 (ja) * 2004-04-23 2005-11-03 Matsushita Electric Industrial Co., Ltd. 符号化装置
JP2006293400A (ja) * 2001-11-14 2006-10-26 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
WO2006132054A1 (ja) * 2005-06-08 2006-12-14 Matsushita Electric Industrial Co., Ltd. オーディオ信号の帯域を拡張するための装置及び方法
JP2007187905A (ja) * 2006-01-13 2007-07-26 Sony Corp 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216190A (ja) * 2001-11-14 2003-07-30 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JP2006293400A (ja) * 2001-11-14 2006-10-26 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JP2005510772A (ja) * 2001-11-29 2005-04-21 コーディング テクノロジーズ アクチボラゲット 高周波再構成を改善する方法
WO2005104094A1 (ja) * 2004-04-23 2005-11-03 Matsushita Electric Industrial Co., Ltd. 符号化装置
WO2006132054A1 (ja) * 2005-06-08 2006-12-14 Matsushita Electric Industrial Co., Ltd. オーディオ信号の帯域を拡張するための装置及び方法
JP2007187905A (ja) * 2006-01-13 2007-07-26 Sony Corp 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体

Cited By (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011001578A1 (ja) * 2009-06-29 2011-01-06 パナソニック株式会社 通信装置
US9691410B2 (en) 2009-10-07 2017-06-27 Sony Corporation Frequency band extending device and method, encoding device and method, decoding device and method, and program
US10224054B2 (en) 2010-04-13 2019-03-05 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US9583112B2 (en) 2010-04-13 2017-02-28 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US9679580B2 (en) 2010-04-13 2017-06-13 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US10546594B2 (en) 2010-04-13 2020-01-28 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US10381018B2 (en) 2010-04-13 2019-08-13 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US9659573B2 (en) 2010-04-13 2017-05-23 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US10297270B2 (en) 2010-04-13 2019-05-21 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US9406312B2 (en) 2010-04-13 2016-08-02 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US10339938B2 (en) 2010-07-19 2019-07-02 Huawei Technologies Co., Ltd. Spectrum flatness control for bandwidth extension
JP2015092254A (ja) * 2010-07-19 2015-05-14 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 帯域幅拡張のためのスペクトル平坦性制御
US9767824B2 (en) 2010-10-15 2017-09-19 Sony Corporation Encoding device and method, decoding device and method, and program
US10236015B2 (en) 2010-10-15 2019-03-19 Sony Corporation Encoding device and method, decoding device and method, and program
US9589568B2 (en) 2011-02-08 2017-03-07 Lg Electronics Inc. Method and device for bandwidth extension
JP2014508322A (ja) * 2011-02-08 2014-04-03 エルジー エレクトロニクス インコーポレイティド 帯域拡張方法及び装置
RU2630379C1 (ru) * 2011-02-18 2017-09-07 Нтт Докомо, Инк. Декодер речи, кодер речи, способ декодирования речи, способ кодирования речи, программа декодирования речи и программа кодирования речи
RU2651193C1 (ru) * 2011-02-18 2018-04-18 Нтт Докомо, Инк. Декодер речи, кодер речи, способ декодирования речи, способ кодирования речи, программа декодирования речи и программа кодирования речи
CN103370742B (zh) * 2011-02-18 2015-06-03 株式会社Ntt都科摩 语音解码装置、语音编码装置、语音解码方法以及语音编码方法
CN103370742A (zh) * 2011-02-18 2013-10-23 株式会社Ntt都科摩 语音解码装置、语音编码装置、语音解码方法、语音编码方法、语音解码程序以及语音编码程序
RU2707931C1 (ru) * 2011-02-18 2019-12-02 Нтт Докомо, Инк. Декодер речи, кодер речи, способ декодирования речи, способ кодирования речи, программа декодирования речи и программа кодирования речи
RU2718425C1 (ru) * 2011-02-18 2020-04-02 Нтт Докомо, Инк. Декодер речи, кодер речи, способ декодирования речи, способ кодирования речи, программа декодирования речи и программа кодирования речи
WO2012111767A1 (ja) * 2011-02-18 2012-08-23 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、及び音声符号化プログラム
RU2674922C1 (ru) * 2011-02-18 2018-12-13 Нтт Докомо, Инк. Декодер речи, кодер речи, способ декодирования речи, способ кодирования речи, программа декодирования речи и программа кодирования речи
US9390717B2 (en) 2011-08-24 2016-07-12 Sony Corporation Encoding device and method, decoding device and method, and program
US9842603B2 (en) 2011-08-24 2017-12-12 Sony Corporation Encoding device and encoding method, decoding device and decoding method, and program
WO2013027631A1 (ja) * 2011-08-24 2013-02-28 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2013027630A1 (ja) * 2011-08-24 2013-02-28 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2013027629A1 (ja) * 2011-08-24 2013-02-28 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP2013044921A (ja) * 2011-08-24 2013-03-04 Sony Corp 符号化装置および方法、並びにプログラム
US9361900B2 (en) 2011-08-24 2016-06-07 Sony Corporation Encoding device and method, decoding device and method, and program
JP2013044923A (ja) * 2011-08-24 2013-03-04 Sony Corp 符号化装置および方法、並びにプログラム
WO2013098885A1 (ja) * 2011-12-27 2013-07-04 三菱電機株式会社 音声信号復元装置および音声信号復元方法
US9390718B2 (en) 2011-12-27 2016-07-12 Mitsubishi Electric Corporation Audio signal restoration device and audio signal restoration method
CN103827967A (zh) * 2011-12-27 2014-05-28 三菱电机株式会社 语音信号复原装置以及语音信号复原方法
KR101897455B1 (ko) * 2012-04-16 2018-10-04 삼성전자주식회사 음질 향상 장치 및 방법
US9596542B2 (en) 2012-04-16 2017-03-14 Samsung Electronics Co., Ltd. Apparatus and method with enhancement of sound quality
JP2013222205A (ja) * 2012-04-16 2013-10-28 Samsung Electronics Co Ltd 音質向上装置及び方法
WO2014115225A1 (ja) * 2013-01-22 2014-07-31 パナソニック株式会社 帯域幅拡張パラメータ生成装置、符号化装置、復号装置、帯域幅拡張パラメータ生成方法、符号化方法、および、復号方法
US9424847B2 (en) 2013-01-22 2016-08-23 Panasonic Corporation Bandwidth extension parameter generation device, encoding apparatus, decoding apparatus, bandwidth extension parameter generation method, encoding method, and decoding method
JPWO2014115225A1 (ja) * 2013-01-22 2017-01-19 パナソニック株式会社 帯域幅拡張パラメータ生成装置、符号化装置、復号装置、帯域幅拡張パラメータ生成方法、符号化方法、および、復号方法
CN111312279A (zh) * 2013-09-12 2020-06-19 杜比国际公司 基于qmf的处理数据的时间对齐
CN111312279B (zh) * 2013-09-12 2024-02-06 杜比国际公司 基于qmf的处理数据的时间对齐
US9875746B2 (en) 2013-09-19 2018-01-23 Sony Corporation Encoding device and method, decoding device and method, and program
US10692511B2 (en) 2013-12-27 2020-06-23 Sony Corporation Decoding apparatus and method, and program
US11705140B2 (en) 2013-12-27 2023-07-18 Sony Corporation Decoding apparatus and method, and program
US10410645B2 (en) 2014-03-03 2019-09-10 Samsung Electronics Co., Ltd. Method and apparatus for high frequency decoding for bandwidth extension
US10803878B2 (en) 2014-03-03 2020-10-13 Samsung Electronics Co., Ltd. Method and apparatus for high frequency decoding for bandwidth extension
JP2017507363A (ja) * 2014-03-03 2017-03-16 サムスン エレクトロニクス カンパニー リミテッド 帯域幅拡張のための高周波復号方法及びその装置
US11676614B2 (en) 2014-03-03 2023-06-13 Samsung Electronics Co., Ltd. Method and apparatus for high frequency decoding for bandwidth extension
US11688406B2 (en) 2014-03-24 2023-06-27 Samsung Electronics Co., Ltd. High-band encoding method and device, and high-band decoding method and device
US11232803B2 (en) 2014-03-31 2022-01-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Encoding device, decoding device, encoding method, decoding method, and non-transitory computer-readable recording medium
RU2689181C2 (ru) * 2014-03-31 2019-05-24 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Кодер, декодер, способ кодирования, способ декодирования и программа
US10269361B2 (en) 2014-03-31 2019-04-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Encoding device, decoding device, encoding method, decoding method, and non-transitory computer-readable recording medium
WO2015151451A1 (ja) * 2014-03-31 2015-10-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、復号方法、およびプログラム
US11107483B2 (en) 2015-03-09 2021-08-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US11238874B2 (en) 2015-03-09 2022-02-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US11881225B2 (en) 2015-03-09 2024-01-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US11741973B2 (en) 2015-03-09 2023-08-29 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US11521628B2 (en) 2016-08-23 2022-12-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding an audio signal using compensation values between three spectral bands
JP2019528479A (ja) * 2016-08-23 2019-10-10 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 補償値を用いて音声信号を符号化する装置および方法
US11935549B2 (en) 2016-08-23 2024-03-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding an audio signal using an output interface for outputting a parameter calculated from a compensation value
JP2021515276A (ja) * 2018-04-25 2021-06-17 ドルビー・インターナショナル・アーベー 後処理遅延低減との高周波再構成技術の統合
US11823696B2 (en) 2018-04-25 2023-11-21 Dolby International Ab Integration of high frequency reconstruction techniques with reduced post-processing delay
US11908486B2 (en) 2018-04-25 2024-02-20 Dolby International Ab Integration of high frequency reconstruction techniques with reduced post-processing delay
US11810592B2 (en) 2018-04-25 2023-11-07 Dolby International Ab Integration of high frequency audio reconstruction techniques
US11810590B2 (en) 2018-04-25 2023-11-07 Dolby International Ab Integration of high frequency audio reconstruction techniques
US11810591B2 (en) 2018-04-25 2023-11-07 Dolby International Ab Integration of high frequency audio reconstruction techniques
US11810589B2 (en) 2018-04-25 2023-11-07 Dolby International Ab Integration of high frequency audio reconstruction techniques
US11562759B2 (en) 2018-04-25 2023-01-24 Dolby International Ab Integration of high frequency reconstruction techniques with reduced post-processing delay
US11823694B2 (en) 2018-04-25 2023-11-21 Dolby International Ab Integration of high frequency reconstruction techniques with reduced post-processing delay
US11823695B2 (en) 2018-04-25 2023-11-21 Dolby International Ab Integration of high frequency reconstruction techniques with reduced post-processing delay
US11830509B2 (en) 2018-04-25 2023-11-28 Dolby International Ab Integration of high frequency reconstruction techniques with reduced post-processing delay
US11862185B2 (en) 2018-04-25 2024-01-02 Dolby International Ab Integration of high frequency audio reconstruction techniques
US11527256B2 (en) 2018-04-25 2022-12-13 Dolby International Ab Integration of high frequency audio reconstruction techniques
JP2021157202A (ja) * 2018-04-25 2021-10-07 ドルビー・インターナショナル・アーベー 後処理遅延低減との高周波再構成技術の統合
CN112530446B (zh) * 2019-09-18 2023-10-20 腾讯科技（深圳）有限公司 频带扩展方法、装置、电子设备及计算机可读存储介质
CN112530446A (zh) * 2019-09-18 2021-03-19 腾讯科技（深圳）有限公司 频带扩展方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
JP5203077B2 (ja) 2013-06-05

Similar Documents

Publication Publication Date Title
JP5203077B2 (ja) 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法
JP7092809B2 (ja) 再構築帯域に対するエネルギ情報を用いてオーディオ信号を復号化または符号化する装置および方法
KR101747918B1 (ko) 고주파수 신호 복호화 방법 및 장치
KR100915733B1 (ko) 음성 신호들의 대역폭의 인공 확장을 위한 방법 및 장치
KR101979557B1 (ko) 복호 장치 및 방법, 및 컴퓨터 판독가능한 저장 장치
JP5224017B2 (ja) オーディオ符号化装置、オーディオ符号化方法およびオーディオ符号化プログラム
KR101916619B1 (ko) 복호 장치 및 방법 및 컴퓨터 판독가능 기록매체
US10014000B2 (en) Audio signal encoder and method for generating a data stream having components of an audio signal in a first frequency band, control information and spectral band replication parameters
JP4934427B2 (ja) 音声信号復号化装置及び音声信号符号化装置
JP4289815B2 (ja) サブバンド領域における改良されたスペクトル移動／折返し
JP4220461B2 (ja) 時間的に離散した音声信号のアップサンプリングした信号を発生する方法と装置
KR101801996B1 (ko) 신호 처리 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 및 컴퓨터로 판독가능한 기록 매체
WO2010024371A1 (ja) 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム
JP2017203995A (ja) オーディオ信号の符号化及び復号化方法並びにその装置
KR20080045047A (ko) 대역폭 확장 부호화 및 복호화 방법 및 장치
JP4313993B2 (ja) オーディオ復号化装置およびオーディオ復号化方法
KR20090029904A (ko) 모바일 기기에서 지각적 오디오 코딩 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130213

R150 Certificate of patent or registration of utility model

Ref document number: 5203077

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160222

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees