JP2004198485A - 音響符号化信号復号化装置及び音響符号化信号復号化プログラム - Google Patents
音響符号化信号復号化装置及び音響符号化信号復号化プログラム Download PDFInfo
- Publication number
- JP2004198485A JP2004198485A JP2002363734A JP2002363734A JP2004198485A JP 2004198485 A JP2004198485 A JP 2004198485A JP 2002363734 A JP2002363734 A JP 2002363734A JP 2002363734 A JP2002363734 A JP 2002363734A JP 2004198485 A JP2004198485 A JP 2004198485A
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- signal
- frequency
- sample
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】データ圧縮された音響符号化信号の復号化を行う際に、演算処理時間の増加やハードウエアの規模拡大を招くことなく、欠落した高周波領域の音響符号化信号を容易に補間できるようにすること。
【解決手段】補間帯域特定部１０は補助情報信号に基づき補間帯域を特定する。この特定結果と周波数サンプル信号とに基づき、補間サンプル生成部９は補間サンプル信号の生成を行い、波形概形推定部８は補間サンプル信号の波形概形を推定する。補間サンプル補正部１１は、この推定結果に基づき、生成された補間サンプル信号を補正する。補間サンプル加算部１２は、補正された補間サンプル信号を、周波数サンプル信号に加算することにより、帯域拡張後の周波数サンプル信号を出力する。
【選択図】 図２
【解決手段】補間帯域特定部１０は補助情報信号に基づき補間帯域を特定する。この特定結果と周波数サンプル信号とに基づき、補間サンプル生成部９は補間サンプル信号の生成を行い、波形概形推定部８は補間サンプル信号の波形概形を推定する。補間サンプル補正部１１は、この推定結果に基づき、生成された補間サンプル信号を補正する。補間サンプル加算部１２は、補正された補間サンプル信号を、周波数サンプル信号に加算することにより、帯域拡張後の周波数サンプル信号を出力する。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、音響符号化信号復号化装置及び音響符号化信号復号化プログラムに係り、より詳しくは、データ圧縮された音響符号化信号を復号化し再生する場合に、データ圧縮時に欠落した高周波領域の信号を補間して復号化する技術に関するものである。
【０００２】
【従来の技術】
音響信号を周波数領域に変換した後、周波数領域にてデータ圧縮を行う手法には、ビデオCD等で用いられるMPEG-1 AUDIO Layer2、インターネット等のデータ配信で利用されているMPEG-1 Layer3（略称MP3）、BSディジタル放送で採用されているMPEG-2 AUDIO NBC（略称AAC）、DVDの音声フォーマットであるDolby Dijital、あるいはMDの圧縮方式であるATRAC又はATRAC３など種々のものがある。これらの手法は、時間領域の音響信号を周波数領域の信号に変換し、特定の周波数帯に偏りを持つ音響信号の特徴と、人間の聴覚の特性を考慮した聴覚感度に応じた周波数帯毎の重みづけに従い、聴感的に重要でない周波数帯の情報を削減又は減少することによって情報圧縮を行っている。
【０００３】
図１０は、これらの手法を用いた従来の音響符号化信号復号化装置の要部構成を示すブロック図である。例えば、音楽CDを再生する場合、この音楽CDからのPCM信号は、図示を省略してある符号化器に入力され、ここでデータ圧縮されて符号化される。このデータ圧縮された音響符号化信号はデマルチプレクサ（Demux）１に入力される。デマルチプレクサ１は、この入力した音響符号化信号を分類し、複数の要素別分類信号を出力する。これら複数の要素別分類信号には、少なくとも、周波数サンプル信号と、データ圧縮された音響符号化信号のデータ配分についての補助情報信号とが必ず含まれている。
【０００４】
そして、デマルチプレクサ１からの上記周波数サンプル信号及び補助情報信号は、それぞれ周波数サンプルバッファ２及び補助情報バッファ３を介して逆量子化器４に入力される。逆量子化器４は、補助情報信号を参照しながら周波数サンプル信号を逆量子化し、これを逆周波数変換器５に出力する。逆周波数変換器５は、この逆量子化された周波数サンプル信号を逆周波数変換して得られるPCM信号を、図示を省略してある再生回路に出力する。
【０００５】
しかし、デマルチプレクサ１が入力する音響符号化信号は上述したようにデータ圧縮されたものであり、このようなデータ圧縮された音響符号化信号に基づき得られるPCM再生信号には、聴感特性上感度が弱いとされる高周波領域（約１０ｋHz以上の領域）において情報の精度を示す量子化幅が非常に粗くなったり、又は全く情報が配分されなくなるような現象が多く現れる。このような現象は、データ圧縮時の圧縮率が高い場合に、特に顕著に現れる。このように、高周波領域において情報が割り当てられない帯域が出現するのは、高周波領域の信号は中低域の信号に比べて音質に与える重要度が低いと考えられていることの反映である。図１１は、逆量子化器４から出力される周波数サンプル信号の波形変化を示す特性図であり、１６〜２２〔ｋHz〕の高周波領域は周波数サンプル信号が存在しない欠落領域となっていることが示されている。
【０００６】
上記のように高周波領域に欠落領域が存在する周波数サンプル信号すなわち帯域制限された周波数サンプル信号に基づき得られる再生音響信号は、一般的に空間上の広がり感を喪失したものとなる。また、欠落した信号分だけパワーが減少するため全体的に小さくなり、音質が低下した印象を聴く者に与える結果となることがある。そこで、近時は、上記の欠落した信号を推定し、この推定した信号で欠落領域を補間することによりデータ圧縮前の元の信号に近い再生音響信号を得る技術が開発されている（例えば、特許文献１）。
【０００７】
この技術は、復号化を終えたPCM再生信号をもう一度周波数領域の信号へ変換し、その周波数スペクトルの分布から削減された高域信号の包絡線を推定し、この推定によって得た信号を復号化後に加算するものである。そして、この加算する信号は次の手順により生成するようにしている。
【０００８】
すなわち、まず、復号化後の帯域制限されたPCM再生信号を周波数領域の信号に変換し、この信号の存在する帯域を複数のバンドに区切った後、バンド毎の相関関係を、最も高い周波数成分を含む１又は複数のバンドを基準として比較する。次いで、実際に存在する周波数帯の高域から相関度が高いと判定された１又は複数のバンドのバンド数を決定し、これらのバンドを、帯域制限され信号の存在しない状態になっている高周波領域のバンドの補間信号として利用する。そして、実際に存在する周波数帯の信号から求めておいた推定包絡線に合わせて補間信号を整形することにより、周波数帯域を拡張するための加算信号を生成する。
【０００９】
【特許文献１】
特開２００１−３５６７８８号公報
【００１０】
【発明が解決しようとする課題】
しかし、上記の特許文献１に開示されている技術は、データ圧縮された音響符号化信号の復号化を一旦終了し、その後に得られたPCM信号を再度周波数領域上の信号に変換しているため、演算負荷が大きなものとなっている。また、補間用の周波数成分を生成する際に相関度が高いとされるバンドを決定する場合に、最小二乗法等の煩雑で演算量の大きな計算を行わなければならず、更なる演算負荷の増大を招く結果となっている。そのため、復号化における演算処理時間が増加したり、あるいはハードウエアの規模を拡大したりしなければならず、結局、コストダウンを阻害する大きな要因となっていた。
【００１１】
本発明は上記事情に鑑みてなされたものであり、データ圧縮された音響符号化信号の復号化を行う際に、演算処理時間の増加やハードウエアの規模拡大を招くことなく、欠落した高周波領域の音響符号化信号を容易に補間することが可能な音響符号化信号復号化装置及び音響符号化信号復号化プログラムを提供することを目的としている。
【００１２】
【課題を解決するための手段】
上記課題を解決するための手段として、請求項１記載の発明は、データ削減のための高周波領域部分の重み付けに基づくデータ配分によりデータ圧縮された音響符号化信号を入力し、周波数サンプル信号と、このデータ圧縮された音響符号化信号の前記データ配分についての補助情報信号とを少なくとも出力するデマルチプレクサと、前記周波数サンプル信号を前記補助情報信号を参照して逆量子化を行う逆量子化手段と、前記逆量子化手段により逆量子化された周波数サンプル信号を入力し、この入力信号に対して、前記データ配分に基づくデータ圧縮時により欠落した音響符号化信号に対応する高周波領域部分の補間を行い、この補間後の帯域拡張された周波数サンプル信号を出力する周波数サンプル補間手段と、前記周波数サンプル補間手段により帯域拡張された周波数サンプル信号を入力し、これを逆周波数変換することにより得られるPCM信号を出力する逆周波数変換手段と、を備えた音響符号化信号復号化装置であって、前記周波数サンプル補間手段は、前記補助情報信号に基づき、前記補間を行うべき補間帯域を特定する補間帯域特定部と、前記補間帯域特定部の特定結果に基づき、前記逆量子化手段が出力する周波数サンプル信号の一部から補間サンプル信号を生成する補間サンプル生成部と、前記補間帯域特定部が特定した補間帯域に補間されるべき補間サンプル信号の波形の概形を推定する波形概形推定部と、前記波形概形推定部の推定結果に基づき、前記補間サンプル生成部が生成した補間サンプル信号に対する補正を行う補間サンプル補正部と、前記補間サンプル補正部で補正された補間サンプル信号を、前記逆量子化手段からの周波数サンプル信号に加算することにより、前記帯域拡張された周波数サンプル信号を出力する補間サンプル加算部と、を有するものである、ことを特徴とする。
【００１３】
請求項２記載の発明は、請求項１記載の発明において、前記補間サンプル生成部が前記補間サンプル信号を生成する際に用いる前記周波数サンプル信号の一部は、前記補間帯域特定部が特定した補間帯域内の最低周波数を高次の倍音としたとき、前記周波数サンプル信号の有する帯域中の低次の前記倍音に相当する、あるいは前記倍音の基音に相当する周波数を始点とした所定帯域幅の領域中のものである、ことを特徴とする。
【００１４】
請求項３記載の発明は、請求項１記載の発明において、前記補間サンプル生成部が前記補間サンプル信号を生成する際に用いる前記周波数サンプル信号の一部は、前記補間帯域特定部が特定した補間帯域の最低周波数に隣接する領域中のものである、ことを特徴とする。
【００１５】
請求項４記載の発明は、コンピュータを、データ削減のための高周波領域部分の重み付けに基づくデータ配分によりデータ圧縮された音響符号化信号を入力し、周波数サンプル信号と、このデータ圧縮された音響符号化信号の前記データ配分についての補助情報信号とを少なくとも出力するデマルチプレクサと、前記周波数サンプル信号を前記補助情報信号を参照して逆量子化を行う逆量子化手段と、前記逆量子化手段により逆量子化された周波数サンプル信号を入力し、この入力信号に対して、前記データ配分に基づくデータ圧縮時により欠落した音響符号化信号に対応する高周波領域部分の補間を行い、この補間後の帯域拡張された周波数サンプル信号を出力する周波数サンプル補間手段と、前記周波数サンプル補間手段により帯域拡張された周波数サンプル信号を入力し、これを逆周波数変換することにより得られるPCM信号を出力する逆周波数変換手段と、として機能させるための音響符号化信号復号化プログラムであって、更に、前記周波数サンプル補間手段が、前記補助情報信号に基づき、前記補間を行うべき補間帯域を特定し、この特定結果に基づき、前記逆量子化された周波数サンプル信号の一部から補間サンプル信号を生成し、前記特定した補間帯域に補間されるべき補間サンプル信号の波形の概形を推定し、この推定結果に基づき、前記生成した補間サンプル信号に対する補正を行い、この補正した補間サンプル信号を、前記逆量子化された周波数サンプル信号に加算することにより、前記帯域拡張された周波数サンプル信号を出力するように、機能させることを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態を図１乃至図９を参照しつつ説明する。但し、図１０に示したものと同一の構成要素には同一符号を付して重複した説明を省略する。
【００１７】
図１は、本発明の実施形態の要部構成を示すブロック図である。図１が図１０と異なる主な点は、逆量子化器４と逆周波数変換器５との間に周波数サンプル補間器６が設けられている点である。この周波数サンプル補間器６は、逆量子化器４からの周波数サンプル信号を入力し、この入力信号に対して、データ圧縮時に欠落した音響符号化信号に対応する高周波領域部分の補間を行い、この補間後の帯域拡張された周波数サンプル信号を逆周波数変換器５に出力するものである。
【００１８】
この周波数サンプル補間器６は、補助情報バッファ３を介してデマルチプレクサ１から送られてくる補助情報信号を入力するようになっており、この補助情報信号に基づき補間を行うべき補間帯域を特定し得る機能を有している。したがって、この図１の構成では、特許文献１に開示された構成のように、新規の周波数変換器や逆周波数変換器、あるいは周波数相関度測定器などの負荷の重い機器を新たに設ける必要はない。
【００１９】
また、この実施形態では、逆量子化器４からの出力信号が周波数サンプル補間器６をバイパスできるようにするための切換スイッチ７が設けられている。この切換スイッチ７は、ユーザが手動により切換操作を行うものであり、切換スイッチ７がバイパス側に切り換えられている状態では、図１の構成は図１０の構成と実質的には同じ機能のものとなる。つまり、ユーザは、切換スイッチ７を操作することにより、周波数サンプル補間器６の処理によって帯域拡張された音響信号での再生を楽しむことができるが、一方で、周波数サンプル補間器６での処理を行わない元のままの音響信号で再生することを選択することもできる。
【００２０】
一般に、MPEG等のデータ圧縮のための符号化方式を利用する装置については、これらの方式特有の種々の規定を遵守した構成とする必要があるが、上記のような切換スイッチ７を付加することにより、これらの規定を遵守した構成とすることができ、各種の規格に合致したものとして正式に認定され得るものとすることができる。
【００２１】
図２は、図１における周波数サンプル補間器６の詳細な構成を示すブロック図である。この図に示すように、周波数サンプル補間器６は、波形概形推定部８、補間サンプル生成部９、補間帯域特定部１０、補間サンプル補正部１１、及び補間サンプル加算部１２を有している。
【００２２】
補間帯域特定部１０は、上述した高周波領域におけるデータ欠落領域すなわち補間を行うべき帯域を特定するものである。特許文献１に開示されているような、復号化された後のPCM再生信号に対して周波数帯域を拡張する従来の手法の場合は、データ圧縮によって符号化時に削減された周波数帯域を周波数解析等で調べるか、あるいは符号化信号を前もって解析して最高帯域情報を取得しておく必要がある。しかし、図２の構成では、復号化装置内の構成要素である補間帯域特定部１０が、復号化処理の過程において補間すべき帯域を容易に特定できるようになっている。
【００２３】
つまり、補間帯域特定部１０は、デマルチプレクサ１から補助情報バッファ３を介して送られてくる補助情報信号に基づいて、高周波領域において情報が割り当てられず周波数サンプル信号が存在していない帯域を特定することができる。ここで、補間帯域特定部１０が補間帯域特定のために用いる補助情報とは、フレーム中のサイド情報領域に格納されているデータ配分に関する情報のことである。例えば、MPEG-1 AUDIO Layer2の場合は符号化ビットストリーム内に帯域毎の配分データ量を示すビットアロケーション情報が記述されており、また、MPEG-2AUDIO NBC（AAC）の場合は周波数成分が存在する最も高い帯域を示すスケールファクタバンド情報が記述されている。補間帯域特定部１０は、これらの情報を利用して補間帯域を特定することができる。なお、補間帯域での上限周波数の値は、サンプリング周波数をＦsとすると、サンプリング定理にしたがってＦs／２となる。
【００２４】
補間帯域特定部１０の特定結果は補間サンプル生成部９及び波形概形推定部８に出力される。補間サンプル生成部９は、この特定結果に基づき、デマルチプレクサ１から周波数サンプルバッファ２を介して入力する周波数サンプル信号の一部を用いて補間サンプル信号を生成する。この場合、より自然な信号補間を行うためには、周波数サンプル信号のどの部分を用いるかにつき、この周波数サンプル信号の性質を考慮して異なる取り扱いをすることが好ましい。
【００２５】
例えば、図３は単一楽器で演奏を行った場合における音響信号の周波数特性図であり、図４は多楽器で演奏を行った場合における音響信号の周波数特性図である。これらの音響信号の主な成分は、音素となる物体の固有振動から生じる基音と、この基音に基づき発生した倍音とから構成されている。なお、音楽演奏の再生の場合、一般には、図３のような特性はクラシック系音楽の場合に多く現れ、図４のような特性はロック・ポップス系の音楽に多く現れる。
【００２６】
図３と図４とを対比してみると、図３では、基音又はその倍音のパルスがほぼ等間隔で規則的に発生していることが分かる。この場合、どのパルスが基音で、どのパルスが倍音であるかを知ることはできないが、一般に、基音は低域において発生する。したがって、約１０ｋHzを超える周波数帯域のパルスは基音である可能性は低く、それ以下の帯域に存在する基音に基づき発生した倍音であると考えられる。一方、図４の特性は、多数のパルスが密集しており各パルスの間隔も不規則となった複雑な体系をなしている。これは、多楽器の演奏であるため、周囲からの反射、音源同士の干渉、振動の減衰、騒音等が影響しているものと考えられる。したがって、この図４の特性における高周波領域の信号は、聴感上は雑音成分に近い信号と見做すことができる。
【００２７】
そこで、図３の周波数特性が現れる可能性が大きい場合には、図５に示すような第１の手法で補間サンプル生成を行い、一方、図４の周波数特性が現れる可能性が大きい場合には、図６に示すような第２の手法で補間サンプル生成を行うことが考えられる。
【００２８】
まず、第１の手法につき説明する。図５において、補間帯域特定部１０が特定した補間帯域がＲ0であるとすると、この補間帯域Ｒ0は、最低周波数ｑ〔Hz〕（ｎ次の倍音が存在する位置）から最高周波数Ｆs／２〔Hz〕までの幅Ｗ1を有する領域である。そして、単一楽器等の基音、倍音等の関係が比較的明らかな音響信号の場合、周波数ｑ〔Hz〕と周波数ｑ／２〔Hz〕との間には基音と倍音、あるいは（ｎ／２）次倍音とｎ次倍音といった関係が成立していると考えられ、信号成分同士の相関が高いものであることが推定される。そこで、補間サンプル信号生成のための帯域としては、ｑ／２〔Hz〕を始点ｍとし、この始点ｍから幅Ｗ1の領域Ｒ1を選択し、この領域Ｒ1をコピーした信号を補間帯域Ｒ0に配置する。
【００２９】
圧縮音響信号の特徴として、一般的に、聴感上感度が良い中低域の量子化精度は高くなり、一方、高域になるほど粗い量子化が行われる傾向が強くなる。したがって、高域の周波数帯に割り当てられた情報は多分に量子化ノイズを含んでいることが予想され、補間サンプル信号として用いるには好ましくない可能性がある。そこで、このような補間される帯域よりも次数が低い倍音（上記のｑ／２）、あるいはこの倍音の基となる基音を用いて補間サンプル信号を生成することで、量子化ノイズの影響の少ない補間信号を生成することができる。このような補間サンプル信号の生成では、初めから補間サンプル信号として適切な信号成分を有することが分かっている低次の倍音又は基音を用いているので、生成した補間サンプル信号と、生成に用いた実際の周波数サンプル信号との間の相関関係を計測する必要はない。
【００３０】
次に、第２の手法につき説明する。図６において、補間帯域特定部１０が特定した補間帯域がＲ0であるとすると、この補間帯域Ｒ0は、最低周波数ｑ〔Hz〕（ｎ次の倍音が存在する位置）から最高周波数Ｆs／２〔Hz〕までの幅Ｗ1（Ｆs／２−ｑ）を有する領域である。そして、この最低周波数ｑに隣接した領域Ｒ1を選択し、この領域Ｒ1をコピーした信号を補間帯域Ｒ0に配置する。この領域Ｒ1は、その最高周波数をｑとするものであるが、最低周波数ｍ〔Hz〕を下式（１）により求めることができる。
ｍ＝Ｆs／２−２・（Ｆs／２−ｑ）＝２・ｑ−Ｆs／２ …… （１）
【００３１】
図３の場合は、倍音成分が規則的に配置されているので、図５のように、ノイズ低減のために補間サンプル信号生成の基となる領域Ｒ1を、ｑ／２〔Hz〕を始点ｍに持つ幅Ｗ1の帯域に設定しても、実際の周波数サンプル信号とその後に続く補間サンプル信号との間における相関度がそれほど大幅に低下することはない。しかし、図４の場合は、倍音成分の配置は不規則的になっているので、もし図５に示した手法で補間サンプルを生成するならば、この補間サンプル信号と実際の周波数サンプル信号との間の相関関係が大きく低下する虞がある。したがって、このような補間はノイズは低減されるけれども不自然なものとなる。それ故、第２の手法では、ノイズの低減よりもむしろ自然な再生が行われることを重視している。また、既述したように、多楽器演奏の場合は、もともと周囲からの反射、音源同士の干渉、振動の減衰、騒音等の影響により、中低域においてもある程度ノイズに近い成分が現れるので、それほどノイズ除去を重視する必要性は少ないものと言える。
【００３２】
ところで、図５及び図６に示した第１及び第２のいずれの手法においても、音響符号化信号が低レートで符号化されたものすなわち高圧縮されたものである場合は、補間帯域の幅Ｗ1がかなり大きくなって、ｑの値も相当程度低域側のものとなり、したがって、ｍの値は更に低域側のものとなる。例えば、図５の場合において、ｑの下限値は（１）式においてｍ＝０と置くことにより求めることができ、ｑ＝Ｆs／４となる。しかし、ｍの値があまりに低域側に寄っている領域Ｒ1から補間サンプル信号を生成したのでは不自然な再生となる虞が大きくなる。
【００３３】
そこで、第１及び第２の手法において、補間帯域の幅Ｗ1が大きくなった場合には、図７に示すような第３の手法を採用することが可能である。すなわち、当初、第１の手法により補間サンプル信号を生成しようとしたところ、補間帯域の幅Ｗ1が非常に大きなものになったとする。このような場合、補間サンプル生成部９は、図７に示すように、この補間帯域を幅Ｗ1／２ずつの２つの領域Ｒ01，Ｒ02に分割して扱う。そして、始点ｍ＝ｑ／２の位置から幅Ｗ1／２の領域Ｒ1を設定し、この領域Ｒ1をコピーした信号を補間帯域領域Ｒ01に配置する。更に、今度はこの領域Ｒ01をコピーした信号を領域Ｒ02に配置する。
【００３４】
このように、補間帯域の幅が大きいものである場合には、補間帯域を複数領域に分割し、周波数サンプル信号を分割領域に対して繰り返し用いることにより、相関度がそれほど低下しない補間サンプル信号を生成することができる。なお、図７の例では、補間帯域の分割数が２個の場合につき説明したが、３個以上の分割であってもよい（この場合、分割領域の幅はＷ1／２ではなくＷ1／３となる）。
【００３５】
なお、上述した第３の手法は、図５に示した第１の手法により補間サンプル信号を生成しようとしたときに補間帯域の幅Ｗ1が非常に大きなものになった場合を例に取り説明したが、勿論、図６に示した第２の手法により補間サンプル信号を生成しようとしたときに補間帯域の幅Ｗ1が非常に大きなものになった場合についても適用することができる。この場合の始点ｍの位置は前記の（１）式により求めることができる。
【００３６】
補間サンプル生成部９が、上記のように、補間帯域特定部１０の特定結果に基づき周波数サンプル信号の一部から補間サンプル信号を生成する一方で、波形概形推定部８は、この補間サンプル信号の概形を逆量子化器４からの周波数サンプル信号、及び補間帯域特定部１０の特定結果に基づき推定する。高周波領域の補間サンプル信号を特徴づける重要な要素としては、その信号成分自体の他に、音圧（すなわち、音の強度あるいはパワー）を挙げることができる。そこで、波形概形推定部８は、一般的な音響信号の周波数減衰度合いを補間サンプル信号に適用し、音圧の変化状態（すなわちパワー情報）を波形概形として捉え、この波形概形を推定するようにしている。
【００３７】
図８は、この波形概形の推定手法についての説明図である。この図において、波形概形推定部８は、まず、補間帯域内にＡ，Ｂ，Ｃの３つのサブバンドを設定する。サブバンドＡは補間帯域の始端位置すなわち最低周波数ｑを含むバンドであり、サブバンドＢはこのｑからＬ1だけ高域側に移動した位置におけるバンドであり、サブバンドＣは補間帯域の終端位置すなわち最高周波数Ｆs／２を含むバンドである。ここで、Ｌ1はサブバンド間の距離を示している。サブバンドの設定の仕方としては、この他に、符号化方式において定められている周波数区分をそのまま用いるようにしてもよい。但し、符号化方式によっては、各バンド内サンプル数がサブバンド毎に異なることもあるが、パワー情報を推定する場合、対象となる指標には「バンドパワー」ではなく「バンド内サンプル平均パワー」を用いるべきである。本実施形態では、説明を簡潔にするため単に「パワー」という用語を用いているが、これは「バンド内サンプル平均パワー」を意味している。
【００３８】
次いで、波形概形推定部８は、サブバンドＣのパワーをほぼゼロに近い値とし、補間帯域におけるサブバンドＡからサブバンドＣまでのパワー包絡線形状すなわち波形概形が高次曲線をなすように各サブバンドのパワーを算出していく。この場合、高次関数によって推定値を得るため、補間帯域におけるパワーの方が実際に存在する周波数サンプル領域におけるパワーを上回ってしまう状態となることがあり得る。このような状態を放置しておくと、補間帯域のノイズ成分が増大し聴感上の劣化を引き起こす虞がある。そこで、高周波領域でのパワーはなだらかに減衰することを前提として、各サブバンドがとり得る上限値に制限を加えるようにすることが好ましい。
【００３９】
波形概形推定部８は、例えば次のようにして補間帯域内の各サブバンドのパワーを算出する。すなわち、図８におけるｑの位置は、補間帯域と実在する周波数サンプル領域との間を画成する境界の位置となっているが、このｑを中心としてサブバンドＣと対称の位置にサブバンドＤを設定する。そして、サブバンドＤからＬ1だけ高域側に移動した位置すなわちサブバンドＤ，Ａ間の中央にサブバンドＥを設定する。サブバンドＤ，Ｅは実在領域中のバンドであるからそのパワーの値は既知である。また、補間帯域内のサブバンドＡのパワーは、Ａと隣り合う実在領域中に在り且つＡと等しい幅を持つサブバンドＦ（２点鎖線で図示）とほぼ同じかやや低めの値に設定する。サブバンドＣのパワーは、上記のように、ほぼゼロに近い値であることが分かっているから、結局、サブバンドＤ，Ｅ，Ａ，Ｃのパワーの値が既知となり、これらの値に基づき補間帯域の中間周波数帯に位置するサブバンドＢのパワーを算出することができる。つまり、サブバンドＡ〜ＥのパワーをPow-A〜Pow-Eで表すと、サブバンドＢのパワーPow-Bは下式（２）の簡単な高次式により求めることができる。このような処理を繰り返すことにより、波形概形推定部８は補間帯域内の全サブバンドのパワーを算出することができる。
Pow-B＝（６・Pow-A＋Pow-C＋Pow-D−４・Pow-E）／４ …… （２）
【００４０】
なお、波形概形をより簡単に算出する手法として、補間帯域において最低周波数を含むサブバンド（上記の例でいえばサブバンドＡ）と最高周波数を含むサブバンド（上記の例でいえばサブバンドＣ）との間のパワーを、直線補間や、予め係数を設定してある２次曲線によって導くことも考えられる。そして、更に各サブバンド内においても、同様に最低周波数と最高周波数との間のパワーを直線補間や２次曲線によって導き、簡単な手法を採用しつつも極力きめ細かな波形概形の推定を行うようにすることができる。
【００４１】
補間サンプル補正部１１は、波形概形推定部８が上記のようにして推定した波形概形に基づき、補間サンプル生成部９が生成した補間サンプル信号に対して補正を行い、波形の整形を行うようにする。この補正は次のようにして行う。すなわち、補間される場所に存在するサブバンドの推定パワーと、補間サンプル生成の基になった実際の周波数サンプルにおけるサブバンドのパワーとの比を取り、この比を補間サンプル生成部９が生成した補間サンプル信号のパワーに乗ずるようにする。
【００４２】
例えば、図８において、サブバンドＤを含む領域から補間サンプル生成部９が補間サンプル信号を生成し、この生成した補間サンプル信号をサブバンドＡを含む領域に対して補間しようとする場合、この比をPow-A／Pow-Dにより求め、これを生成した補間サンプル信号のパワーに乗ずればよい。このとき、波形の整形をより滑らかに行おうとする場合は、サブバンド内サンプルにおいても２次曲線等の推定波形概形を適用し、補正比率を微調整することによりサブバンド境界における階段状の変化量を抑えることができ、更なる自然な音声波形への改善が期待できる。
【００４３】
補間サンプル加算部１２は、補間サンプル補正部１１が上記のようにして補正を行った補間サンプル信号を入力し、これを逆量子化器４から直接入力した周波数サンプル信号に加算することにより、帯域拡張された周波数サンプル信号を逆周波数変換器５に出力する。そして、逆周波数変換器５は、この帯域拡張後の逆量子化された周波数サンプル信号を入力し、従来と同様に、これを逆周波数変換して得られるPCM信号を再生回路に出力する。
【００４４】
図９は、上記のように構成される本発明の実施形態の動作を説明するためのフローチャートである。すなわち、図１に示した復号化装置は、符号化器（図示せず）からデータ圧縮された音響符号化信号を入力する（ステップ１）。この音響符号化信号はデマルチプレクサ１により、少なくとも周波数サンプル信号及び補助情報信号とを含む要素別分類信号に分類される（ステップ２）。そして、周波数サンプル信号及び補助情報信号は、それぞれ周波数サンプルバッファ２及び補助情報バッファ３を介して逆量子化器４に送られる。逆量子化器４は、入力した周波数サンプル信号を補助情報信号を参照して逆量子化を行う（ステップ３）。
【００４５】
この逆量子化された周波数サンプル信号は、周波数サンプル補間器６により帯域補間すなわち高周波領域におけるデータ欠落部分の信号補間が行われたり、あるいは行われなかったりする（ステップ４）。補間が行われるか否かは切換スイッチ７の切換状態によって決定され、補間が行われない場合はそのまま逆周波数変換器５により逆周波数変換が行われる（ステップ５）。
【００４６】
補間が行われる場合、周波数サンプル補間器６では、まず、補間帯域特定部１０が補助情報信号に基づき補間を行うべき補間帯域を特定する（ステップ４１）。次いで、この特定結果と逆量子化器４からの周波数サンプル信号とに基づき、補間サンプル生成部９が補間サンプル信号を生成する（ステップ４２）と共に、波形概形推定部８がこの補間サンプル信号の波形の概形を推定する（ステップ４３）。更に、この推定結果に基づき、補間サンプル補正部１１が生成された補間サンプル信号の補正を行う（ステップ４４）。そして、補間サンプル加算部１２が、補正された補間サンプル信号を逆量子化器４からの周波数サンプル信号に加算することにより帯域拡張された周波数サンプル信号を出力する（ステップ４５）。
【００４７】
逆周波数変換器５は、帯域補間されない周波数サンプル信号、又は帯域補間された信号を入力して、これを逆周波数変換し（ステップ５）、PCM信号を再生回路（図示せず）に出力する（ステップ６）。このPCM信号は、周波数サンプル補間器６により帯域補間がなされており、原音に近い周波数成分を持っているため、従来装置よりも優れた音質での再生を可能にするものである。
【００４８】
なお、上述した音響符号化信号復号化装置の機能については、プログラムによりコンピュータで実現させることができる。このプログラムは、記録媒体の読み取りによりコンピュータに取り込まれるようにすることができ、あるいは、通信ネットワークを介した伝送によりコンピュータに取り込まれるようにすることもできる。
【００４９】
【発明の効果】
以上のように、本発明によれば、データ圧縮された音響符号化信号の復号化を行う際に、演算処理時間の増加やハードウエアの規模拡大を招くことなく、欠落した高周波領域の音響符号化信号を容易に補間することができる。
【図面の簡単な説明】
【図１】本発明の実施形態の要部構成を示すブロック図。
【図２】図１における周波数サンプル補間器６の詳細な構成を示すブロック図。
【図３】単一楽器で演奏を行った場合における音響信号の周波数特性図。
【図４】多楽器で演奏を行った場合における音響信号の周波数特性図。
【図５】図２における補間サンプル生成部９が補間サンプル信号を生成する場合の第１の手法についての説明図。
【図６】図２における補間サンプル生成部９が補間サンプル信号を生成する場合の第２の手法についての説明図。
【図７】図２における補間サンプル生成部９が補間サンプル信号を生成する場合の第３の手法についての説明図。
【図８】図２における波形概形推定部８が補間サンプル信号の波形概形を推定する場合の手法についての説明図。
【図９】本発明の実施形態の動作を説明するためのフローチャート。
【図１０】従来の音響符号化信号復号化装置の要部構成を示すブロック図。
【図１１】図１０における逆量子化器４から出力される周波数サンプル信号の波形変化を示す特性図。
【符号の説明】
１ デマルチプレクサ（Demux）
２ 周波数サンプルバッファ
３ 補助情報バッファ
４ 逆量子化器
５ 逆周波数変換器
６ 周波数サンプル補間器
７ 切換スイッチ
８ 波形概形推定部
９ 補間サンプル生成部
１０ 補間帯域特定部
１１ 補間サンプル補正部
１２ 補間サンプル加算部
【発明の属する技術分野】
本発明は、音響符号化信号復号化装置及び音響符号化信号復号化プログラムに係り、より詳しくは、データ圧縮された音響符号化信号を復号化し再生する場合に、データ圧縮時に欠落した高周波領域の信号を補間して復号化する技術に関するものである。
【０００２】
【従来の技術】
音響信号を周波数領域に変換した後、周波数領域にてデータ圧縮を行う手法には、ビデオCD等で用いられるMPEG-1 AUDIO Layer2、インターネット等のデータ配信で利用されているMPEG-1 Layer3（略称MP3）、BSディジタル放送で採用されているMPEG-2 AUDIO NBC（略称AAC）、DVDの音声フォーマットであるDolby Dijital、あるいはMDの圧縮方式であるATRAC又はATRAC３など種々のものがある。これらの手法は、時間領域の音響信号を周波数領域の信号に変換し、特定の周波数帯に偏りを持つ音響信号の特徴と、人間の聴覚の特性を考慮した聴覚感度に応じた周波数帯毎の重みづけに従い、聴感的に重要でない周波数帯の情報を削減又は減少することによって情報圧縮を行っている。
【０００３】
図１０は、これらの手法を用いた従来の音響符号化信号復号化装置の要部構成を示すブロック図である。例えば、音楽CDを再生する場合、この音楽CDからのPCM信号は、図示を省略してある符号化器に入力され、ここでデータ圧縮されて符号化される。このデータ圧縮された音響符号化信号はデマルチプレクサ（Demux）１に入力される。デマルチプレクサ１は、この入力した音響符号化信号を分類し、複数の要素別分類信号を出力する。これら複数の要素別分類信号には、少なくとも、周波数サンプル信号と、データ圧縮された音響符号化信号のデータ配分についての補助情報信号とが必ず含まれている。
【０００４】
そして、デマルチプレクサ１からの上記周波数サンプル信号及び補助情報信号は、それぞれ周波数サンプルバッファ２及び補助情報バッファ３を介して逆量子化器４に入力される。逆量子化器４は、補助情報信号を参照しながら周波数サンプル信号を逆量子化し、これを逆周波数変換器５に出力する。逆周波数変換器５は、この逆量子化された周波数サンプル信号を逆周波数変換して得られるPCM信号を、図示を省略してある再生回路に出力する。
【０００５】
しかし、デマルチプレクサ１が入力する音響符号化信号は上述したようにデータ圧縮されたものであり、このようなデータ圧縮された音響符号化信号に基づき得られるPCM再生信号には、聴感特性上感度が弱いとされる高周波領域（約１０ｋHz以上の領域）において情報の精度を示す量子化幅が非常に粗くなったり、又は全く情報が配分されなくなるような現象が多く現れる。このような現象は、データ圧縮時の圧縮率が高い場合に、特に顕著に現れる。このように、高周波領域において情報が割り当てられない帯域が出現するのは、高周波領域の信号は中低域の信号に比べて音質に与える重要度が低いと考えられていることの反映である。図１１は、逆量子化器４から出力される周波数サンプル信号の波形変化を示す特性図であり、１６〜２２〔ｋHz〕の高周波領域は周波数サンプル信号が存在しない欠落領域となっていることが示されている。
【０００６】
上記のように高周波領域に欠落領域が存在する周波数サンプル信号すなわち帯域制限された周波数サンプル信号に基づき得られる再生音響信号は、一般的に空間上の広がり感を喪失したものとなる。また、欠落した信号分だけパワーが減少するため全体的に小さくなり、音質が低下した印象を聴く者に与える結果となることがある。そこで、近時は、上記の欠落した信号を推定し、この推定した信号で欠落領域を補間することによりデータ圧縮前の元の信号に近い再生音響信号を得る技術が開発されている（例えば、特許文献１）。
【０００７】
この技術は、復号化を終えたPCM再生信号をもう一度周波数領域の信号へ変換し、その周波数スペクトルの分布から削減された高域信号の包絡線を推定し、この推定によって得た信号を復号化後に加算するものである。そして、この加算する信号は次の手順により生成するようにしている。
【０００８】
すなわち、まず、復号化後の帯域制限されたPCM再生信号を周波数領域の信号に変換し、この信号の存在する帯域を複数のバンドに区切った後、バンド毎の相関関係を、最も高い周波数成分を含む１又は複数のバンドを基準として比較する。次いで、実際に存在する周波数帯の高域から相関度が高いと判定された１又は複数のバンドのバンド数を決定し、これらのバンドを、帯域制限され信号の存在しない状態になっている高周波領域のバンドの補間信号として利用する。そして、実際に存在する周波数帯の信号から求めておいた推定包絡線に合わせて補間信号を整形することにより、周波数帯域を拡張するための加算信号を生成する。
【０００９】
【特許文献１】
特開２００１−３５６７８８号公報
【００１０】
【発明が解決しようとする課題】
しかし、上記の特許文献１に開示されている技術は、データ圧縮された音響符号化信号の復号化を一旦終了し、その後に得られたPCM信号を再度周波数領域上の信号に変換しているため、演算負荷が大きなものとなっている。また、補間用の周波数成分を生成する際に相関度が高いとされるバンドを決定する場合に、最小二乗法等の煩雑で演算量の大きな計算を行わなければならず、更なる演算負荷の増大を招く結果となっている。そのため、復号化における演算処理時間が増加したり、あるいはハードウエアの規模を拡大したりしなければならず、結局、コストダウンを阻害する大きな要因となっていた。
【００１１】
本発明は上記事情に鑑みてなされたものであり、データ圧縮された音響符号化信号の復号化を行う際に、演算処理時間の増加やハードウエアの規模拡大を招くことなく、欠落した高周波領域の音響符号化信号を容易に補間することが可能な音響符号化信号復号化装置及び音響符号化信号復号化プログラムを提供することを目的としている。
【００１２】
【課題を解決するための手段】
上記課題を解決するための手段として、請求項１記載の発明は、データ削減のための高周波領域部分の重み付けに基づくデータ配分によりデータ圧縮された音響符号化信号を入力し、周波数サンプル信号と、このデータ圧縮された音響符号化信号の前記データ配分についての補助情報信号とを少なくとも出力するデマルチプレクサと、前記周波数サンプル信号を前記補助情報信号を参照して逆量子化を行う逆量子化手段と、前記逆量子化手段により逆量子化された周波数サンプル信号を入力し、この入力信号に対して、前記データ配分に基づくデータ圧縮時により欠落した音響符号化信号に対応する高周波領域部分の補間を行い、この補間後の帯域拡張された周波数サンプル信号を出力する周波数サンプル補間手段と、前記周波数サンプル補間手段により帯域拡張された周波数サンプル信号を入力し、これを逆周波数変換することにより得られるPCM信号を出力する逆周波数変換手段と、を備えた音響符号化信号復号化装置であって、前記周波数サンプル補間手段は、前記補助情報信号に基づき、前記補間を行うべき補間帯域を特定する補間帯域特定部と、前記補間帯域特定部の特定結果に基づき、前記逆量子化手段が出力する周波数サンプル信号の一部から補間サンプル信号を生成する補間サンプル生成部と、前記補間帯域特定部が特定した補間帯域に補間されるべき補間サンプル信号の波形の概形を推定する波形概形推定部と、前記波形概形推定部の推定結果に基づき、前記補間サンプル生成部が生成した補間サンプル信号に対する補正を行う補間サンプル補正部と、前記補間サンプル補正部で補正された補間サンプル信号を、前記逆量子化手段からの周波数サンプル信号に加算することにより、前記帯域拡張された周波数サンプル信号を出力する補間サンプル加算部と、を有するものである、ことを特徴とする。
【００１３】
請求項２記載の発明は、請求項１記載の発明において、前記補間サンプル生成部が前記補間サンプル信号を生成する際に用いる前記周波数サンプル信号の一部は、前記補間帯域特定部が特定した補間帯域内の最低周波数を高次の倍音としたとき、前記周波数サンプル信号の有する帯域中の低次の前記倍音に相当する、あるいは前記倍音の基音に相当する周波数を始点とした所定帯域幅の領域中のものである、ことを特徴とする。
【００１４】
請求項３記載の発明は、請求項１記載の発明において、前記補間サンプル生成部が前記補間サンプル信号を生成する際に用いる前記周波数サンプル信号の一部は、前記補間帯域特定部が特定した補間帯域の最低周波数に隣接する領域中のものである、ことを特徴とする。
【００１５】
請求項４記載の発明は、コンピュータを、データ削減のための高周波領域部分の重み付けに基づくデータ配分によりデータ圧縮された音響符号化信号を入力し、周波数サンプル信号と、このデータ圧縮された音響符号化信号の前記データ配分についての補助情報信号とを少なくとも出力するデマルチプレクサと、前記周波数サンプル信号を前記補助情報信号を参照して逆量子化を行う逆量子化手段と、前記逆量子化手段により逆量子化された周波数サンプル信号を入力し、この入力信号に対して、前記データ配分に基づくデータ圧縮時により欠落した音響符号化信号に対応する高周波領域部分の補間を行い、この補間後の帯域拡張された周波数サンプル信号を出力する周波数サンプル補間手段と、前記周波数サンプル補間手段により帯域拡張された周波数サンプル信号を入力し、これを逆周波数変換することにより得られるPCM信号を出力する逆周波数変換手段と、として機能させるための音響符号化信号復号化プログラムであって、更に、前記周波数サンプル補間手段が、前記補助情報信号に基づき、前記補間を行うべき補間帯域を特定し、この特定結果に基づき、前記逆量子化された周波数サンプル信号の一部から補間サンプル信号を生成し、前記特定した補間帯域に補間されるべき補間サンプル信号の波形の概形を推定し、この推定結果に基づき、前記生成した補間サンプル信号に対する補正を行い、この補正した補間サンプル信号を、前記逆量子化された周波数サンプル信号に加算することにより、前記帯域拡張された周波数サンプル信号を出力するように、機能させることを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態を図１乃至図９を参照しつつ説明する。但し、図１０に示したものと同一の構成要素には同一符号を付して重複した説明を省略する。
【００１７】
図１は、本発明の実施形態の要部構成を示すブロック図である。図１が図１０と異なる主な点は、逆量子化器４と逆周波数変換器５との間に周波数サンプル補間器６が設けられている点である。この周波数サンプル補間器６は、逆量子化器４からの周波数サンプル信号を入力し、この入力信号に対して、データ圧縮時に欠落した音響符号化信号に対応する高周波領域部分の補間を行い、この補間後の帯域拡張された周波数サンプル信号を逆周波数変換器５に出力するものである。
【００１８】
この周波数サンプル補間器６は、補助情報バッファ３を介してデマルチプレクサ１から送られてくる補助情報信号を入力するようになっており、この補助情報信号に基づき補間を行うべき補間帯域を特定し得る機能を有している。したがって、この図１の構成では、特許文献１に開示された構成のように、新規の周波数変換器や逆周波数変換器、あるいは周波数相関度測定器などの負荷の重い機器を新たに設ける必要はない。
【００１９】
また、この実施形態では、逆量子化器４からの出力信号が周波数サンプル補間器６をバイパスできるようにするための切換スイッチ７が設けられている。この切換スイッチ７は、ユーザが手動により切換操作を行うものであり、切換スイッチ７がバイパス側に切り換えられている状態では、図１の構成は図１０の構成と実質的には同じ機能のものとなる。つまり、ユーザは、切換スイッチ７を操作することにより、周波数サンプル補間器６の処理によって帯域拡張された音響信号での再生を楽しむことができるが、一方で、周波数サンプル補間器６での処理を行わない元のままの音響信号で再生することを選択することもできる。
【００２０】
一般に、MPEG等のデータ圧縮のための符号化方式を利用する装置については、これらの方式特有の種々の規定を遵守した構成とする必要があるが、上記のような切換スイッチ７を付加することにより、これらの規定を遵守した構成とすることができ、各種の規格に合致したものとして正式に認定され得るものとすることができる。
【００２１】
図２は、図１における周波数サンプル補間器６の詳細な構成を示すブロック図である。この図に示すように、周波数サンプル補間器６は、波形概形推定部８、補間サンプル生成部９、補間帯域特定部１０、補間サンプル補正部１１、及び補間サンプル加算部１２を有している。
【００２２】
補間帯域特定部１０は、上述した高周波領域におけるデータ欠落領域すなわち補間を行うべき帯域を特定するものである。特許文献１に開示されているような、復号化された後のPCM再生信号に対して周波数帯域を拡張する従来の手法の場合は、データ圧縮によって符号化時に削減された周波数帯域を周波数解析等で調べるか、あるいは符号化信号を前もって解析して最高帯域情報を取得しておく必要がある。しかし、図２の構成では、復号化装置内の構成要素である補間帯域特定部１０が、復号化処理の過程において補間すべき帯域を容易に特定できるようになっている。
【００２３】
つまり、補間帯域特定部１０は、デマルチプレクサ１から補助情報バッファ３を介して送られてくる補助情報信号に基づいて、高周波領域において情報が割り当てられず周波数サンプル信号が存在していない帯域を特定することができる。ここで、補間帯域特定部１０が補間帯域特定のために用いる補助情報とは、フレーム中のサイド情報領域に格納されているデータ配分に関する情報のことである。例えば、MPEG-1 AUDIO Layer2の場合は符号化ビットストリーム内に帯域毎の配分データ量を示すビットアロケーション情報が記述されており、また、MPEG-2AUDIO NBC（AAC）の場合は周波数成分が存在する最も高い帯域を示すスケールファクタバンド情報が記述されている。補間帯域特定部１０は、これらの情報を利用して補間帯域を特定することができる。なお、補間帯域での上限周波数の値は、サンプリング周波数をＦsとすると、サンプリング定理にしたがってＦs／２となる。
【００２４】
補間帯域特定部１０の特定結果は補間サンプル生成部９及び波形概形推定部８に出力される。補間サンプル生成部９は、この特定結果に基づき、デマルチプレクサ１から周波数サンプルバッファ２を介して入力する周波数サンプル信号の一部を用いて補間サンプル信号を生成する。この場合、より自然な信号補間を行うためには、周波数サンプル信号のどの部分を用いるかにつき、この周波数サンプル信号の性質を考慮して異なる取り扱いをすることが好ましい。
【００２５】
例えば、図３は単一楽器で演奏を行った場合における音響信号の周波数特性図であり、図４は多楽器で演奏を行った場合における音響信号の周波数特性図である。これらの音響信号の主な成分は、音素となる物体の固有振動から生じる基音と、この基音に基づき発生した倍音とから構成されている。なお、音楽演奏の再生の場合、一般には、図３のような特性はクラシック系音楽の場合に多く現れ、図４のような特性はロック・ポップス系の音楽に多く現れる。
【００２６】
図３と図４とを対比してみると、図３では、基音又はその倍音のパルスがほぼ等間隔で規則的に発生していることが分かる。この場合、どのパルスが基音で、どのパルスが倍音であるかを知ることはできないが、一般に、基音は低域において発生する。したがって、約１０ｋHzを超える周波数帯域のパルスは基音である可能性は低く、それ以下の帯域に存在する基音に基づき発生した倍音であると考えられる。一方、図４の特性は、多数のパルスが密集しており各パルスの間隔も不規則となった複雑な体系をなしている。これは、多楽器の演奏であるため、周囲からの反射、音源同士の干渉、振動の減衰、騒音等が影響しているものと考えられる。したがって、この図４の特性における高周波領域の信号は、聴感上は雑音成分に近い信号と見做すことができる。
【００２７】
そこで、図３の周波数特性が現れる可能性が大きい場合には、図５に示すような第１の手法で補間サンプル生成を行い、一方、図４の周波数特性が現れる可能性が大きい場合には、図６に示すような第２の手法で補間サンプル生成を行うことが考えられる。
【００２８】
まず、第１の手法につき説明する。図５において、補間帯域特定部１０が特定した補間帯域がＲ0であるとすると、この補間帯域Ｒ0は、最低周波数ｑ〔Hz〕（ｎ次の倍音が存在する位置）から最高周波数Ｆs／２〔Hz〕までの幅Ｗ1を有する領域である。そして、単一楽器等の基音、倍音等の関係が比較的明らかな音響信号の場合、周波数ｑ〔Hz〕と周波数ｑ／２〔Hz〕との間には基音と倍音、あるいは（ｎ／２）次倍音とｎ次倍音といった関係が成立していると考えられ、信号成分同士の相関が高いものであることが推定される。そこで、補間サンプル信号生成のための帯域としては、ｑ／２〔Hz〕を始点ｍとし、この始点ｍから幅Ｗ1の領域Ｒ1を選択し、この領域Ｒ1をコピーした信号を補間帯域Ｒ0に配置する。
【００２９】
圧縮音響信号の特徴として、一般的に、聴感上感度が良い中低域の量子化精度は高くなり、一方、高域になるほど粗い量子化が行われる傾向が強くなる。したがって、高域の周波数帯に割り当てられた情報は多分に量子化ノイズを含んでいることが予想され、補間サンプル信号として用いるには好ましくない可能性がある。そこで、このような補間される帯域よりも次数が低い倍音（上記のｑ／２）、あるいはこの倍音の基となる基音を用いて補間サンプル信号を生成することで、量子化ノイズの影響の少ない補間信号を生成することができる。このような補間サンプル信号の生成では、初めから補間サンプル信号として適切な信号成分を有することが分かっている低次の倍音又は基音を用いているので、生成した補間サンプル信号と、生成に用いた実際の周波数サンプル信号との間の相関関係を計測する必要はない。
【００３０】
次に、第２の手法につき説明する。図６において、補間帯域特定部１０が特定した補間帯域がＲ0であるとすると、この補間帯域Ｒ0は、最低周波数ｑ〔Hz〕（ｎ次の倍音が存在する位置）から最高周波数Ｆs／２〔Hz〕までの幅Ｗ1（Ｆs／２−ｑ）を有する領域である。そして、この最低周波数ｑに隣接した領域Ｒ1を選択し、この領域Ｒ1をコピーした信号を補間帯域Ｒ0に配置する。この領域Ｒ1は、その最高周波数をｑとするものであるが、最低周波数ｍ〔Hz〕を下式（１）により求めることができる。
ｍ＝Ｆs／２−２・（Ｆs／２−ｑ）＝２・ｑ−Ｆs／２ …… （１）
【００３１】
図３の場合は、倍音成分が規則的に配置されているので、図５のように、ノイズ低減のために補間サンプル信号生成の基となる領域Ｒ1を、ｑ／２〔Hz〕を始点ｍに持つ幅Ｗ1の帯域に設定しても、実際の周波数サンプル信号とその後に続く補間サンプル信号との間における相関度がそれほど大幅に低下することはない。しかし、図４の場合は、倍音成分の配置は不規則的になっているので、もし図５に示した手法で補間サンプルを生成するならば、この補間サンプル信号と実際の周波数サンプル信号との間の相関関係が大きく低下する虞がある。したがって、このような補間はノイズは低減されるけれども不自然なものとなる。それ故、第２の手法では、ノイズの低減よりもむしろ自然な再生が行われることを重視している。また、既述したように、多楽器演奏の場合は、もともと周囲からの反射、音源同士の干渉、振動の減衰、騒音等の影響により、中低域においてもある程度ノイズに近い成分が現れるので、それほどノイズ除去を重視する必要性は少ないものと言える。
【００３２】
ところで、図５及び図６に示した第１及び第２のいずれの手法においても、音響符号化信号が低レートで符号化されたものすなわち高圧縮されたものである場合は、補間帯域の幅Ｗ1がかなり大きくなって、ｑの値も相当程度低域側のものとなり、したがって、ｍの値は更に低域側のものとなる。例えば、図５の場合において、ｑの下限値は（１）式においてｍ＝０と置くことにより求めることができ、ｑ＝Ｆs／４となる。しかし、ｍの値があまりに低域側に寄っている領域Ｒ1から補間サンプル信号を生成したのでは不自然な再生となる虞が大きくなる。
【００３３】
そこで、第１及び第２の手法において、補間帯域の幅Ｗ1が大きくなった場合には、図７に示すような第３の手法を採用することが可能である。すなわち、当初、第１の手法により補間サンプル信号を生成しようとしたところ、補間帯域の幅Ｗ1が非常に大きなものになったとする。このような場合、補間サンプル生成部９は、図７に示すように、この補間帯域を幅Ｗ1／２ずつの２つの領域Ｒ01，Ｒ02に分割して扱う。そして、始点ｍ＝ｑ／２の位置から幅Ｗ1／２の領域Ｒ1を設定し、この領域Ｒ1をコピーした信号を補間帯域領域Ｒ01に配置する。更に、今度はこの領域Ｒ01をコピーした信号を領域Ｒ02に配置する。
【００３４】
このように、補間帯域の幅が大きいものである場合には、補間帯域を複数領域に分割し、周波数サンプル信号を分割領域に対して繰り返し用いることにより、相関度がそれほど低下しない補間サンプル信号を生成することができる。なお、図７の例では、補間帯域の分割数が２個の場合につき説明したが、３個以上の分割であってもよい（この場合、分割領域の幅はＷ1／２ではなくＷ1／３となる）。
【００３５】
なお、上述した第３の手法は、図５に示した第１の手法により補間サンプル信号を生成しようとしたときに補間帯域の幅Ｗ1が非常に大きなものになった場合を例に取り説明したが、勿論、図６に示した第２の手法により補間サンプル信号を生成しようとしたときに補間帯域の幅Ｗ1が非常に大きなものになった場合についても適用することができる。この場合の始点ｍの位置は前記の（１）式により求めることができる。
【００３６】
補間サンプル生成部９が、上記のように、補間帯域特定部１０の特定結果に基づき周波数サンプル信号の一部から補間サンプル信号を生成する一方で、波形概形推定部８は、この補間サンプル信号の概形を逆量子化器４からの周波数サンプル信号、及び補間帯域特定部１０の特定結果に基づき推定する。高周波領域の補間サンプル信号を特徴づける重要な要素としては、その信号成分自体の他に、音圧（すなわち、音の強度あるいはパワー）を挙げることができる。そこで、波形概形推定部８は、一般的な音響信号の周波数減衰度合いを補間サンプル信号に適用し、音圧の変化状態（すなわちパワー情報）を波形概形として捉え、この波形概形を推定するようにしている。
【００３７】
図８は、この波形概形の推定手法についての説明図である。この図において、波形概形推定部８は、まず、補間帯域内にＡ，Ｂ，Ｃの３つのサブバンドを設定する。サブバンドＡは補間帯域の始端位置すなわち最低周波数ｑを含むバンドであり、サブバンドＢはこのｑからＬ1だけ高域側に移動した位置におけるバンドであり、サブバンドＣは補間帯域の終端位置すなわち最高周波数Ｆs／２を含むバンドである。ここで、Ｌ1はサブバンド間の距離を示している。サブバンドの設定の仕方としては、この他に、符号化方式において定められている周波数区分をそのまま用いるようにしてもよい。但し、符号化方式によっては、各バンド内サンプル数がサブバンド毎に異なることもあるが、パワー情報を推定する場合、対象となる指標には「バンドパワー」ではなく「バンド内サンプル平均パワー」を用いるべきである。本実施形態では、説明を簡潔にするため単に「パワー」という用語を用いているが、これは「バンド内サンプル平均パワー」を意味している。
【００３８】
次いで、波形概形推定部８は、サブバンドＣのパワーをほぼゼロに近い値とし、補間帯域におけるサブバンドＡからサブバンドＣまでのパワー包絡線形状すなわち波形概形が高次曲線をなすように各サブバンドのパワーを算出していく。この場合、高次関数によって推定値を得るため、補間帯域におけるパワーの方が実際に存在する周波数サンプル領域におけるパワーを上回ってしまう状態となることがあり得る。このような状態を放置しておくと、補間帯域のノイズ成分が増大し聴感上の劣化を引き起こす虞がある。そこで、高周波領域でのパワーはなだらかに減衰することを前提として、各サブバンドがとり得る上限値に制限を加えるようにすることが好ましい。
【００３９】
波形概形推定部８は、例えば次のようにして補間帯域内の各サブバンドのパワーを算出する。すなわち、図８におけるｑの位置は、補間帯域と実在する周波数サンプル領域との間を画成する境界の位置となっているが、このｑを中心としてサブバンドＣと対称の位置にサブバンドＤを設定する。そして、サブバンドＤからＬ1だけ高域側に移動した位置すなわちサブバンドＤ，Ａ間の中央にサブバンドＥを設定する。サブバンドＤ，Ｅは実在領域中のバンドであるからそのパワーの値は既知である。また、補間帯域内のサブバンドＡのパワーは、Ａと隣り合う実在領域中に在り且つＡと等しい幅を持つサブバンドＦ（２点鎖線で図示）とほぼ同じかやや低めの値に設定する。サブバンドＣのパワーは、上記のように、ほぼゼロに近い値であることが分かっているから、結局、サブバンドＤ，Ｅ，Ａ，Ｃのパワーの値が既知となり、これらの値に基づき補間帯域の中間周波数帯に位置するサブバンドＢのパワーを算出することができる。つまり、サブバンドＡ〜ＥのパワーをPow-A〜Pow-Eで表すと、サブバンドＢのパワーPow-Bは下式（２）の簡単な高次式により求めることができる。このような処理を繰り返すことにより、波形概形推定部８は補間帯域内の全サブバンドのパワーを算出することができる。
Pow-B＝（６・Pow-A＋Pow-C＋Pow-D−４・Pow-E）／４ …… （２）
【００４０】
なお、波形概形をより簡単に算出する手法として、補間帯域において最低周波数を含むサブバンド（上記の例でいえばサブバンドＡ）と最高周波数を含むサブバンド（上記の例でいえばサブバンドＣ）との間のパワーを、直線補間や、予め係数を設定してある２次曲線によって導くことも考えられる。そして、更に各サブバンド内においても、同様に最低周波数と最高周波数との間のパワーを直線補間や２次曲線によって導き、簡単な手法を採用しつつも極力きめ細かな波形概形の推定を行うようにすることができる。
【００４１】
補間サンプル補正部１１は、波形概形推定部８が上記のようにして推定した波形概形に基づき、補間サンプル生成部９が生成した補間サンプル信号に対して補正を行い、波形の整形を行うようにする。この補正は次のようにして行う。すなわち、補間される場所に存在するサブバンドの推定パワーと、補間サンプル生成の基になった実際の周波数サンプルにおけるサブバンドのパワーとの比を取り、この比を補間サンプル生成部９が生成した補間サンプル信号のパワーに乗ずるようにする。
【００４２】
例えば、図８において、サブバンドＤを含む領域から補間サンプル生成部９が補間サンプル信号を生成し、この生成した補間サンプル信号をサブバンドＡを含む領域に対して補間しようとする場合、この比をPow-A／Pow-Dにより求め、これを生成した補間サンプル信号のパワーに乗ずればよい。このとき、波形の整形をより滑らかに行おうとする場合は、サブバンド内サンプルにおいても２次曲線等の推定波形概形を適用し、補正比率を微調整することによりサブバンド境界における階段状の変化量を抑えることができ、更なる自然な音声波形への改善が期待できる。
【００４３】
補間サンプル加算部１２は、補間サンプル補正部１１が上記のようにして補正を行った補間サンプル信号を入力し、これを逆量子化器４から直接入力した周波数サンプル信号に加算することにより、帯域拡張された周波数サンプル信号を逆周波数変換器５に出力する。そして、逆周波数変換器５は、この帯域拡張後の逆量子化された周波数サンプル信号を入力し、従来と同様に、これを逆周波数変換して得られるPCM信号を再生回路に出力する。
【００４４】
図９は、上記のように構成される本発明の実施形態の動作を説明するためのフローチャートである。すなわち、図１に示した復号化装置は、符号化器（図示せず）からデータ圧縮された音響符号化信号を入力する（ステップ１）。この音響符号化信号はデマルチプレクサ１により、少なくとも周波数サンプル信号及び補助情報信号とを含む要素別分類信号に分類される（ステップ２）。そして、周波数サンプル信号及び補助情報信号は、それぞれ周波数サンプルバッファ２及び補助情報バッファ３を介して逆量子化器４に送られる。逆量子化器４は、入力した周波数サンプル信号を補助情報信号を参照して逆量子化を行う（ステップ３）。
【００４５】
この逆量子化された周波数サンプル信号は、周波数サンプル補間器６により帯域補間すなわち高周波領域におけるデータ欠落部分の信号補間が行われたり、あるいは行われなかったりする（ステップ４）。補間が行われるか否かは切換スイッチ７の切換状態によって決定され、補間が行われない場合はそのまま逆周波数変換器５により逆周波数変換が行われる（ステップ５）。
【００４６】
補間が行われる場合、周波数サンプル補間器６では、まず、補間帯域特定部１０が補助情報信号に基づき補間を行うべき補間帯域を特定する（ステップ４１）。次いで、この特定結果と逆量子化器４からの周波数サンプル信号とに基づき、補間サンプル生成部９が補間サンプル信号を生成する（ステップ４２）と共に、波形概形推定部８がこの補間サンプル信号の波形の概形を推定する（ステップ４３）。更に、この推定結果に基づき、補間サンプル補正部１１が生成された補間サンプル信号の補正を行う（ステップ４４）。そして、補間サンプル加算部１２が、補正された補間サンプル信号を逆量子化器４からの周波数サンプル信号に加算することにより帯域拡張された周波数サンプル信号を出力する（ステップ４５）。
【００４７】
逆周波数変換器５は、帯域補間されない周波数サンプル信号、又は帯域補間された信号を入力して、これを逆周波数変換し（ステップ５）、PCM信号を再生回路（図示せず）に出力する（ステップ６）。このPCM信号は、周波数サンプル補間器６により帯域補間がなされており、原音に近い周波数成分を持っているため、従来装置よりも優れた音質での再生を可能にするものである。
【００４８】
なお、上述した音響符号化信号復号化装置の機能については、プログラムによりコンピュータで実現させることができる。このプログラムは、記録媒体の読み取りによりコンピュータに取り込まれるようにすることができ、あるいは、通信ネットワークを介した伝送によりコンピュータに取り込まれるようにすることもできる。
【００４９】
【発明の効果】
以上のように、本発明によれば、データ圧縮された音響符号化信号の復号化を行う際に、演算処理時間の増加やハードウエアの規模拡大を招くことなく、欠落した高周波領域の音響符号化信号を容易に補間することができる。
【図面の簡単な説明】
【図１】本発明の実施形態の要部構成を示すブロック図。
【図２】図１における周波数サンプル補間器６の詳細な構成を示すブロック図。
【図３】単一楽器で演奏を行った場合における音響信号の周波数特性図。
【図４】多楽器で演奏を行った場合における音響信号の周波数特性図。
【図５】図２における補間サンプル生成部９が補間サンプル信号を生成する場合の第１の手法についての説明図。
【図６】図２における補間サンプル生成部９が補間サンプル信号を生成する場合の第２の手法についての説明図。
【図７】図２における補間サンプル生成部９が補間サンプル信号を生成する場合の第３の手法についての説明図。
【図８】図２における波形概形推定部８が補間サンプル信号の波形概形を推定する場合の手法についての説明図。
【図９】本発明の実施形態の動作を説明するためのフローチャート。
【図１０】従来の音響符号化信号復号化装置の要部構成を示すブロック図。
【図１１】図１０における逆量子化器４から出力される周波数サンプル信号の波形変化を示す特性図。
【符号の説明】
１ デマルチプレクサ（Demux）
２ 周波数サンプルバッファ
３ 補助情報バッファ
４ 逆量子化器
５ 逆周波数変換器
６ 周波数サンプル補間器
７ 切換スイッチ
８ 波形概形推定部
９ 補間サンプル生成部
１０ 補間帯域特定部
１１ 補間サンプル補正部
１２ 補間サンプル加算部
Claims (4)
- データ削減のための高周波領域部分の重み付けに基づくデータ配分によりデータ圧縮された音響符号化信号を入力し、周波数サンプル信号と、このデータ圧縮された音響符号化信号の前記データ配分についての補助情報信号とを少なくとも出力するデマルチプレクサと、
前記周波数サンプル信号を前記補助情報信号を参照して逆量子化を行う逆量子化手段と、
前記逆量子化手段により逆量子化された周波数サンプル信号を入力し、この入力信号に対して、前記データ配分に基づくデータ圧縮時により欠落した音響符号化信号に対応する高周波領域部分の補間を行い、この補間後の帯域拡張された周波数サンプル信号を出力する周波数サンプル補間手段と、
前記周波数サンプル補間手段により帯域拡張された周波数サンプル信号を入力し、これを逆周波数変換することにより得られるPCM信号を出力する逆周波数変換手段と、
を備えた音響符号化信号復号化装置であって、
前記周波数サンプル補間手段は、
前記補助情報信号に基づき、前記補間を行うべき補間帯域を特定する補間帯域特定部と、
前記補間帯域特定部の特定結果に基づき、前記逆量子化手段が出力する周波数サンプル信号の一部から補間サンプル信号を生成する補間サンプル生成部と、
前記補間帯域特定部が特定した補間帯域に補間されるべき補間サンプル信号の波形の概形を推定する波形概形推定部と、
前記波形概形推定部の推定結果に基づき、前記補間サンプル生成部が生成した補間サンプル信号に対する補正を行う補間サンプル補正部と、
前記補間サンプル補正部で補正された補間サンプル信号を、前記逆量子化手段からの周波数サンプル信号に加算することにより、前記帯域拡張された周波数サンプル信号を出力する補間サンプル加算部と、
を有するものである、
ことを特徴とする音響符号化信号復号化装置。 - 前記補間サンプル生成部が前記補間サンプル信号を生成する際に用いる前記周波数サンプル信号の一部は、前記補間帯域特定部が特定した補間帯域内の最低周波数を高次の倍音としたとき、前記周波数サンプル信号の有する帯域中の低次の前記倍音に相当する、あるいは前記倍音の基音に相当する周波数を始点とした所定帯域幅の領域中のものである、
ことを特徴とする請求項１記載の音響符号化信号復号化装置。 - 前記補間サンプル生成部が前記補間サンプル信号を生成する際に用いる前記周波数サンプル信号の一部は、前記補間帯域特定部が特定した補間帯域の最低周波数に隣接する領域中のものである、
ことを特徴とする請求項１記載の音響符号化信号復号化装置。 - コンピュータを、
データ削減のための高周波領域部分の重み付けに基づくデータ配分によりデータ圧縮された音響符号化信号を入力し、周波数サンプル信号と、このデータ圧縮された音響符号化信号の前記データ配分についての補助情報信号とを少なくとも出力するデマルチプレクサと、
前記周波数サンプル信号を前記補助情報信号を参照して逆量子化を行う逆量子化手段と、
前記逆量子化手段により逆量子化された周波数サンプル信号を入力し、この入力信号に対して、前記データ配分に基づくデータ圧縮時により欠落した音響符号化信号に対応する高周波領域部分の補間を行い、この補間後の帯域拡張された周波数サンプル信号を出力する周波数サンプル補間手段と、
前記周波数サンプル補間手段により帯域拡張された周波数サンプル信号を入力し、これを逆周波数変換することにより得られるPCM信号を出力する逆周波数変換手段と、
として機能させるための音響符号化信号復号化プログラムであって、
更に、前記周波数サンプル補間手段が、
前記補助情報信号に基づき、前記補間を行うべき補間帯域を特定し、
この特定結果に基づき、前記逆量子化された周波数サンプル信号の一部から補間サンプル信号を生成し、
前記特定した補間帯域に補間されるべき補間サンプル信号の波形の概形を推定し、
この推定結果に基づき、前記生成した補間サンプル信号に対する補正を行い、
この補正した補間サンプル信号を、前記逆量子化された周波数サンプル信号に加算することにより、前記帯域拡張された周波数サンプル信号を出力するように、
機能させることを特徴とする音響符号化信号復号化プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002363734A JP2004198485A (ja) | 2002-12-16 | 2002-12-16 | 音響符号化信号復号化装置及び音響符号化信号復号化プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002363734A JP2004198485A (ja) | 2002-12-16 | 2002-12-16 | 音響符号化信号復号化装置及び音響符号化信号復号化プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004198485A true JP2004198485A (ja) | 2004-07-15 |
Family
ID=32761799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002363734A Pending JP2004198485A (ja) | 2002-12-16 | 2002-12-16 | 音響符号化信号復号化装置及び音響符号化信号復号化プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004198485A (ja) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005112001A1 (ja) * | 2004-05-19 | 2005-11-24 | Matsushita Electric Industrial Co., Ltd. | 符号化装置、復号化装置、およびこれらの方法 |
| WO2007010817A1 (ja) * | 2005-07-20 | 2007-01-25 | Kyushu Institute Of Technology | 高域信号補間方法及び高域信号補間装置 |
| US7289963B2 (en) | 2006-03-17 | 2007-10-30 | Kabushiki Kaisha Toshiba | Sound-reproducing apparatus and high frequency interpolation-processing method |
| JP2008129542A (ja) * | 2006-11-24 | 2008-06-05 | Fujitsu Ltd | 復号化装置および復号化方法 |
| JP2008139844A (ja) * | 2006-11-09 | 2008-06-19 | Sony Corp | 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体 |
| WO2008084688A1 (ja) * | 2006-12-27 | 2008-07-17 | Panasonic Corporation | 符号化装置、復号装置及びこれらの方法 |
| WO2008096862A1 (ja) * | 2007-02-09 | 2008-08-14 | Yamaha Corporation | 音声処理装置 |
| JP2009501945A (ja) * | 2005-07-15 | 2009-01-22 | マイクロソフト コーポレーション | ディジタルメディアの効率的コーディング用のバンドを入手するための周波数セグメント化 |
| JP2010134481A (ja) * | 2010-02-24 | 2010-06-17 | Toshiba Corp | 音声再生装置および高域補間処理方法 |
| WO2010070770A1 (ja) * | 2008-12-19 | 2010-06-24 | 富士通株式会社 | 音声帯域拡張装置及び音声帯域拡張方法 |
| JP2011504250A (ja) * | 2007-11-21 | 2011-02-03 | エルジー エレクトロニクス インコーポレイティド | 信号処理方法及び装置 |
| JP2011507050A (ja) * | 2007-12-18 | 2011-03-03 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号処理方法及び装置 |
| US8295507B2 (en) | 2006-11-09 | 2012-10-23 | Sony Corporation | Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium |
| WO2013054484A1 (ja) * | 2011-10-12 | 2013-04-18 | 旭化成株式会社 | オーディオ信号出力装置およびオーディオ信号出力方法 |
| US8554569B2 (en) | 2001-12-14 | 2013-10-08 | Microsoft Corporation | Quality improvement techniques in an audio encoder |
| US8645127B2 (en) | 2004-01-23 | 2014-02-04 | Microsoft Corporation | Efficient coding of digital media spectral data using wide-sense perceptual similarity |
| US9026452B2 (en) | 2007-06-29 | 2015-05-05 | Microsoft Technology Licensing, Llc | Bitstream syntax for multi-process audio decoding |
| WO2019146285A1 (ja) * | 2018-01-23 | 2019-08-01 | ヤマハ株式会社 | 電子鍵盤楽器、音信号発生装置および音信号発生方法 |
-
2002
- 2002-12-16 JP JP2002363734A patent/JP2004198485A/ja active Pending
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8554569B2 (en) | 2001-12-14 | 2013-10-08 | Microsoft Corporation | Quality improvement techniques in an audio encoder |
| US9443525B2 (en) | 2001-12-14 | 2016-09-13 | Microsoft Technology Licensing, Llc | Quality improvement techniques in an audio encoder |
| US8805696B2 (en) | 2001-12-14 | 2014-08-12 | Microsoft Corporation | Quality improvement techniques in an audio encoder |
| US8645127B2 (en) | 2004-01-23 | 2014-02-04 | Microsoft Corporation | Efficient coding of digital media spectral data using wide-sense perceptual similarity |
| US8688440B2 (en) | 2004-05-19 | 2014-04-01 | Panasonic Corporation | Coding apparatus, decoding apparatus, coding method and decoding method |
| US8463602B2 (en) | 2004-05-19 | 2013-06-11 | Panasonic Corporation | Encoding device, decoding device, and method thereof |
| WO2005112001A1 (ja) * | 2004-05-19 | 2005-11-24 | Matsushita Electric Industrial Co., Ltd. | 符号化装置、復号化装置、およびこれらの方法 |
| JP5013863B2 (ja) * | 2004-05-19 | 2012-08-29 | パナソニック株式会社 | 符号化装置、復号化装置、通信端末装置、基地局装置、符号化方法及び復号化方法 |
| JP2011248378A (ja) * | 2004-05-19 | 2011-12-08 | Panasonic Corp | 符号化装置、復号化装置、およびこれらの方法 |
| JP2009501945A (ja) * | 2005-07-15 | 2009-01-22 | マイクロソフト コーポレーション | ディジタルメディアの効率的コーディング用のバンドを入手するための周波数セグメント化 |
| JP2007025480A (ja) * | 2005-07-20 | 2007-02-01 | Kyushu Institute Of Technology | 高域信号補間方法及び高域信号補間装置 |
| WO2007010817A1 (ja) * | 2005-07-20 | 2007-01-25 | Kyushu Institute Of Technology | 高域信号補間方法及び高域信号補間装置 |
| JP4701392B2 (ja) * | 2005-07-20 | 2011-06-15 | 国立大学法人九州工業大学 | 高域信号補間方法及び高域信号補間装置 |
| US7289963B2 (en) | 2006-03-17 | 2007-10-30 | Kabushiki Kaisha Toshiba | Sound-reproducing apparatus and high frequency interpolation-processing method |
| JP2008139844A (ja) * | 2006-11-09 | 2008-06-19 | Sony Corp | 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体 |
| US8295507B2 (en) | 2006-11-09 | 2012-10-23 | Sony Corporation | Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium |
| JP2008129542A (ja) * | 2006-11-24 | 2008-06-05 | Fujitsu Ltd | 復号化装置および復号化方法 |
| US8788275B2 (en) | 2006-11-24 | 2014-07-22 | Fujitsu Limited | Decoding method and apparatus for an audio signal through high frequency compensation |
| WO2008084688A1 (ja) * | 2006-12-27 | 2008-07-17 | Panasonic Corporation | 符号化装置、復号装置及びこれらの方法 |
| WO2008096862A1 (ja) * | 2007-02-09 | 2008-08-14 | Yamaha Corporation | 音声処理装置 |
| JP2008197247A (ja) * | 2007-02-09 | 2008-08-28 | Yamaha Corp | 音声処理装置 |
| US9349376B2 (en) | 2007-06-29 | 2016-05-24 | Microsoft Technology Licensing, Llc | Bitstream syntax for multi-process audio decoding |
| US9741354B2 (en) | 2007-06-29 | 2017-08-22 | Microsoft Technology Licensing, Llc | Bitstream syntax for multi-process audio decoding |
| US9026452B2 (en) | 2007-06-29 | 2015-05-05 | Microsoft Technology Licensing, Llc | Bitstream syntax for multi-process audio decoding |
| US8504377B2 (en) | 2007-11-21 | 2013-08-06 | Lg Electronics Inc. | Method and an apparatus for processing a signal using length-adjusted window |
| US8527282B2 (en) | 2007-11-21 | 2013-09-03 | Lg Electronics Inc. | Method and an apparatus for processing a signal |
| US8583445B2 (en) | 2007-11-21 | 2013-11-12 | Lg Electronics Inc. | Method and apparatus for processing a signal using a time-stretched band extension base signal |
| JP2011504250A (ja) * | 2007-11-21 | 2011-02-03 | エルジー エレクトロニクス インコーポレイティド | 信号処理方法及び装置 |
| US9275648B2 (en) | 2007-12-18 | 2016-03-01 | Lg Electronics Inc. | Method and apparatus for processing audio signal using spectral data of audio signal |
| JP2011507050A (ja) * | 2007-12-18 | 2011-03-03 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号処理方法及び装置 |
| US8781823B2 (en) | 2008-12-19 | 2014-07-15 | Fujitsu Limited | Voice band enhancement apparatus and voice band enhancement method that generate wide-band spectrum |
| WO2010070770A1 (ja) * | 2008-12-19 | 2010-06-24 | 富士通株式会社 | 音声帯域拡張装置及び音声帯域拡張方法 |
| JP2010134481A (ja) * | 2010-02-24 | 2010-06-17 | Toshiba Corp | 音声再生装置および高域補間処理方法 |
| JP2013085175A (ja) * | 2011-10-12 | 2013-05-09 | Asahi Kasei Corp | オーディオ信号出力装置およびオーディオ信号出力方法 |
| WO2013054484A1 (ja) * | 2011-10-12 | 2013-04-18 | 旭化成株式会社 | オーディオ信号出力装置およびオーディオ信号出力方法 |
| WO2019146285A1 (ja) * | 2018-01-23 | 2019-08-01 | ヤマハ株式会社 | 電子鍵盤楽器、音信号発生装置および音信号発生方法 |
| JPWO2019146285A1 (ja) * | 2018-01-23 | 2020-07-02 | ヤマハ株式会社 | 電子鍵盤楽器、音信号発生装置および音信号発生方法 |
| JP2021119409A (ja) * | 2018-01-23 | 2021-08-12 | ヤマハ株式会社 | 電子鍵盤楽器、音信号発生装置および音信号発生方法 |
| JP7070757B2 (ja) | 2018-01-23 | 2022-05-18 | ヤマハ株式会社 | 電子鍵盤楽器、音信号発生装置および音信号発生方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3871347B2 (ja) | スペクトル帯域複製を用いた原始コーディングの強化 | |
| JP3579047B2 (ja) | オーディオ復号装置と復号方法およびプログラム | |
| JP2004198485A (ja) | 音響符号化信号復号化装置及び音響符号化信号復号化プログラム | |
| JP4227772B2 (ja) | オーディオ復号装置と復号方法およびプログラム | |
| KR100462615B1 (ko) | 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치 | |
| JP2005533271A (ja) | オーディオ符号化 | |
| JP2010079275A (ja) | 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム | |
| EP1903558B1 (en) | Audio signal interpolation method and device | |
| JPH08237132A (ja) | 信号符号化方法及び装置、信号復号化方法及び装置、並びに情報記録媒体及び情報伝送方法 | |
| JP2009533910A (ja) | アンビエンス信号を生成するための装置および方法 | |
| JP4760278B2 (ja) | 補間装置、オーディオ再生装置、補間方法および補間プログラム | |
| US20090310799A1 (en) | Information processing apparatus and method, and program | |
| JP2001343997A (ja) | デジタル音響信号符号化装置、方法及び記録媒体 | |
| KR20070122414A (ko) | 디지털 신호 처리 장치, 디지털 신호 처리 방법, 디지털신호 처리 프로그램, 디지털 신호 재생 장치 및 디지털신호 재생 방법 | |
| JP4313993B2 (ja) | オーディオ復号化装置およびオーディオ復号化方法 | |
| JP2013073230A (ja) | オーディオ符号化装置 | |
| JP4649351B2 (ja) | デジタルデータ復号化装置 | |
| JP4627737B2 (ja) | デジタルデータ復号化装置 | |
| JP4004525B1 (ja) | 信号処理方法、信号処理装置及びコンピュータプログラム | |
| JP2003216199A (ja) | 復号装置、復号方法及びプログラム供給媒体 | |
| JPH11109994A (ja) | 楽音符号化装置及び楽音符号化方法並びに楽音符号化プログラムを記録した記録媒体 | |
| JP4556866B2 (ja) | 高能率符号化プログラム及び高能率符号化装置 | |
| JP4815986B2 (ja) | 補間装置、オーディオ再生装置、補間方法および補間プログラム | |
| JP5189760B2 (ja) | 信号処理方法、信号処理装置及びプログラム | |
| JP4715385B2 (ja) | 補間装置、オーディオ再生装置、補間方法および補間プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050330 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080104 |