JP2017223996A - 信号処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】符号化された音声信号を復号する場合に、より高音質な音声が得られるようにする。
【解決手段】非多重化回路６１は、入力されたビットストリームから、音声信号の低域符号化データと、音声信号の高域成分を得るためのSBR情報を抽出する。QMF分析フィルタ処理部６３は、低域符号化データが復号されて得られた低域信号を、複数のサブバンドのサブバンド信号に分割する。高域復号回路６４は、低域側のサブバンド信号を平坦化するとともに、平坦化後のサブバンド信号とSBR情報を用いて、音声信号の高域成分である高域信号を生成する。QMF合成フィルタ処理部６５は、低域のサブバンド信号と高域信号を合成して、音声信号を生成する。本発明は、デコーダに適用することができる。
【選択図】図８

Description

本発明は信号処理装置および方法、並びにプログラムに関し、特に、符号化された音声信号を復号する場合に、より高音質な音声が得られるようにした信号処理装置および方法、並びにプログラムに関する。

従来、音声信号の符号化手法として、HE-AAC（High Efficiency MPEG（Moving Picture Experts Group）4 AAC（Advanced Audio Coding））（国際標準規格ISO／IEC14496-3）等が知られている。このような符号化手法では、SBR（Spectral Band Replication）と呼ばれる高域特徴符号化技術が用いられている（例えば、特許文献１参照）。

SBRでは、音声信号の符号化時に、符号化された音声信号の低域成分（以下、低域信号と称する）とともに、音声信号の高域成分（以下、高域信号と称する）を生成するためのSBR情報が出力される。復号装置では、符号化された低域信号を復号するとともに、復号により得られた低域信号とSBR情報とを用いて高域信号を生成し、低域信号と高域信号からなる音声信号を得る。

具体的には、例えば、復号により図１に示す低域信号ＳＬ１が得られたとする。なお、図１において、横軸は周波数を示しており、縦軸は音声信号の各周波数のエネルギを示している。また、図中、縦方向の点線は、スケールファクターバンドの境界を表している。スケールファクターバンドとは、QMF（Quadrature Mirror Filter）分析フィルタの分解能である所定帯域幅のサブバンドを複数束ねた帯域である。

図１では、低域信号ＳＬ１の図中、右側にある連続する７つのスケールファクターバンドからなる帯域が高域とされ、SBR情報を復号することで高域側のスケールファクターバンドごとに、高域スケールファクターバンドエネルギＥ１１乃至Ｅ１７が得られる。

そして、低域信号ＳＬ１と高域スケールファクターバンドエネルギが用いられて、各スケールファクターバンドの高域信号が生成される。例えば、スケールファクターバンドBobjの高域信号が生成される場合、低域信号ＳＬ１のうちのスケールファクターバンドBorgの成分が、スケールファクターバンドBobjの帯域に周波数シフトされ、周波数シフトにより得られた信号がゲイン調整されて、高域信号とされる。このとき、周波数シフトにより得られた信号の平均エネルギが、スケールファクターバンドBobjの高域スケールファクターバンドエネルギＥ１３と同じ大きさとなるように、ゲイン調整が行なわれる。

このような処理により、図２に示す高域信号ＳＨ１が、スケールファクターバンドBobjの成分として生成される。なお、図２において、図１における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

このように、音声信号の復号側において、低域信号とSBR情報を用いて、符号化及び復号化された低域信号には含まれていない高域成分を生成し帯域を拡張することで、より高音質な音声を再生することができるようになる。

特表２００１−５２１６４８号公報

ところが、図２のスケールファクターバンドBorgのように、高域信号の生成に用いる低域信号ＳＬ１に穴があいている場合、得られた高域信号ＳＨ１の形状は、原信号の周波数形状とは大きく異なる形状となる可能性が高く、聴感上の劣化の原因となる。なお、低域信号に穴があいている状態とは、所定帯域のエネルギが、隣接する帯域のエネルギと比べて顕著に小さく、低域のパワースペクトル（各周波数のエネルギの波形）の一部が図中、下方向に突出している状態、つまり一部の帯域成分のエネルギがへこんでいる状態である。

図２の例では、高域信号の生成に用いる低域信号ＳＬ１にへこみがあるため、高域信号ＳＨ１にもへこみが生じてしまっている。このように、高域信号の生成に用いる低域信号にへこみがあると、高域成分を精度よく再現できなくなり、復号により得られた音声信号に聴感上の劣化が生じてしまうことがある。

また、SBRでは、ゲインリミッタやインターポレーションと呼ばれる処理が行なわれることがあり、これらの処理が原因で、高域成分にへこみが生じてしまう場合もある。

ここで、ゲインリミッタとは、複数のサブバンドからなるリミッタバンド内で、ゲインのピーク値を、リミッタバンド内でのゲインの平均値に抑える処理である。

例えば、低域信号の復号により図３に示す低域信号ＳＬ２が得られたとする。なお、図３において、横軸は周波数を示しており、縦軸は音声信号の各周波数のエネルギを示している。また、図中、縦方向の点線は、スケールファクターバンドの境界を表している。

図３では、低域信号ＳＬ２の図中、右側にある連続する７つのスケールファクターバンドからなる帯域が高域とされ、SBR情報を復号することにより、高域スケールファクターバンドエネルギＥ２１乃至Ｅ２７が得られる。

また、３つのスケールファクターバンドBobj1乃至Bobj3からなる帯域が、リミッタバンドとされている。さらに、低域信号ＳＬ２のスケールファクターバンドBorg1乃至Borg3のそれぞれの成分が用いられて、高域側のスケールファクターバンドBobj1乃至Bobj3の高域信号のそれぞれが生成されるとする。

したがって、基本的には、スケールファクターバンドBobj2の高域信号ＳＨ２の生成時には、低域信号ＳＬ２のスケールファクターバンドBorg2の平均エネルギと、高域スケールファクターバンドエネルギＥ２２とのエネルギ比Ｇ２によりゲイン調整がされる。つまり、低域信号ＳＬ２のスケールファクターバンドBorg2の成分が周波数シフトされ、その結果得られた信号にエネルギ比Ｇ２が乗算されてゲイン調整が行なわれ、高域信号ＳＨ２とされる。

ところが、ゲインリミッタでは、リミッタバンド内のスケールファクターバンドBobj1乃至Bobj3のエネルギ比Ｇ１乃至Ｇ３の平均値Ｇよりも、エネルギ比Ｇ２が大きいと、周波数シフト後の信号に乗算されるエネルギ比Ｇ２が、平均値Ｇとされてしまう。すなわち、スケールファクターバンドBobj2の高域信号のゲインが低く抑えられてしまう。

図３の例では、低域信号ＳＬ２のスケールファクターバンドBorg2のエネルギは、隣接するスケールファクターバンドBorg1やBorg3のエネルギと比べて小さくなっている。つまり、スケールファクターバンドBorg2の部分にへこみが生じている。

これに対して、低域成分の貼り付け先であるスケールファクターバンドBobj2の高域スケールファクターバンドエネルギＥ２２は、スケールファクターバンドBobj1やBobj3の高域スケールファクターバンドエネルギよりも大きい。

そのため、スケールファクターバンドBobj2のエネルギ比Ｇ２は、リミッタバンド内のエネルギ比の平均値Ｇよりも高くなってしまい、スケールファクターバンドBobj2の高域信号のゲインがゲインリミッタにより低く抑えられてしまう。

したがって、スケールファクターバンドBobj2では、高域信号ＳＨ２のエネルギが、高域スケールファクターバンドエネルギＥ２２よりも大幅に低くなり、生成された高域信号の周波数形状は、原信号の周波数形状とは大きく異なる形状となる。そうすると、復号により最終的に得られた音声には、聴感上、劣化が生じてしまう。

また、インターポレーションとは、周波数シフトとゲイン調整をスケールファクターバンドごとではなく、サブバンドごとに行なう高域信号生成手法である。

例えば、図４に示すように、低域信号ＳＬ３のサブバンドBorg1乃至Borg3のそれぞれが用いられて、高域側のサブバンドBobj1乃至Bobj3のそれぞれの高域信号が生成され、サブバンドBobj1乃至Bobj3からなる帯域がリミッタバンドとされるとする。

なお、図４において、横軸は周波数を示しており、縦軸は音声信号の各周波数のエネルギを示している。また、SBR情報の復号により、スケールファクターバンドごとに、高域スケールファクターバンドエネルギＥ３１乃至Ｅ３７が得られている。

図４の例では、低域信号ＳＬ３のサブバンドBorg2のエネルギは、隣接するサブバンドBorg1やBorg3のエネルギと比べて小さくなっており、サブバンドBorg2の部分にへこみが生じている。そのため、図３における場合と同様に、低域信号ＳＬ３のサブバンドBorg2のエネルギと高域スケールファクターバンドエネルギＥ３３とのエネルギ比は、リミッタバンド内のエネルギ比の平均値よりも高くなる。そうすると、サブバンドBobj2の高域信号ＳＨ３のゲインがゲインリミッタにより低く抑えられてしまう。

その結果、サブバンドBobj2では、高域信号ＳＨ３のエネルギが、高域スケールファクターバンドエネルギＥ３３よりも大幅に低くなり、生成された高域信号の周波数形状は、原信号の周波数形状とは大きく異なる形状となり得る。これにより、図３における場合と同様に、復号により得られた音声には、聴感上、劣化が生じてしまう。

以上のように、SBRでは、高域信号の生成に用いる低域信号のパワースペクトルの形状（周波数形状）によっては、音声信号の復号側において高音質な音声が得られない場合があった。

本発明は、このような状況に鑑みてなされたものであり、音声信号を復号する場合に、より高音質な音声が得られるようにするものである。

本技術の一側面の信号処理装置は、音声信号の低域成分と、前記音声信号の高域成分を得るための高域情報とを抽出する抽出部と、前記低域成分をQMF分析フィルタ処理して低域サブバンド信号を生成するQMF分析フィルタ処理部と、前記低域サブバンド信号のエネルギおよび平均エネルギに基づいて前記低域サブバンド信号を平坦化する平坦化処理部と、平坦化された前記低域サブバンド信号を高域に周波数シフトする周波数シフト部と、前記高域に周波数シフトされた信号と前記高域情報とに基づいて、前記高域に周波数シフトされた信号のゲインを調整して高域サブバンド信号を生成する高域生成部と、前記低域サブバンド信号と、前記高域サブバンド信号とをQMF合成フィルタにより合成して音声信号を生成するQMF合成フィルタ処理部とを備える。

本技術の一側面の信号処理方法またはプログラムは、音声信号の低域成分と、前記音声信号の高域成分を得るための高域情報とを抽出し、前記低域成分をQMF分析フィルタ処理して低域サブバンド信号を生成し、前記低域サブバンド信号のエネルギおよび平均エネルギに基づいて前記低域サブバンド信号を平坦化し、平坦化された前記低域サブバンド信号を高域に周波数シフトし、前記高域に周波数シフトされた信号と前記高域情報とに基づいて、前記高域に周波数シフトされた信号のゲインを調整して高域サブバンド信号を生成し、前記低域サブバンド信号と、前記高域サブバンド信号とをQMF合成フィルタにより合成して音声信号を生成するステップを含む。

本技術の一側面においては、音声信号の低域成分と、前記音声信号の高域成分を得るための高域情報とが抽出され、前記低域成分がQMF分析フィルタ処理されて低域サブバンド信号が生成され、前記低域サブバンド信号のエネルギおよび平均エネルギに基づいて前記低域サブバンド信号が平坦化され、平坦化された前記低域サブバンド信号が高域に周波数シフトされ、前記高域に周波数シフトされた信号と前記高域情報とに基づいて、前記高域に周波数シフトされた信号のゲインが調整されて高域サブバンド信号が生成され、前記低域サブバンド信号と、前記高域サブバンド信号とがQMF合成フィルタにより合成されて音声信号が生成される。

本発明の一側面によれば、音声信号を復号する場合に、より高音質な音声を得ることができる。

従来のSBRについて説明する図である。 従来のSBRについて説明する図である。 従来のゲインリミッタについて説明する図である。 従来のインターポレーションについて説明する図である。 本発明を適用したSBRについて説明する図である。 本発明を適用したエンコーダの一実施の形態の構成例を示す図である。 符号化処理を説明するフローチャートである。 本発明を適用したデコーダの一実施の形態の構成例を示す図である。 復号処理を説明するフローチャートである。 符号化処理を説明するフローチャートである。 復号処理を説明するフローチャートである。 符号化処理を説明するフローチャートである。 復号処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

〈本発明の概要〉
まず、図５を参照して、本発明を適用したSBRによる音声信号の帯域拡張について説明する。なお、図５において、横軸は周波数を示しており、縦軸は音声信号の各周波数のエネルギを示している。また、図中、縦方向の点線は、スケールファクターバンドの境界を表している。

例えば、音声信号の復号側において、符号化側から受信したデータから、音声信号の低域信号ＳＬ１１と、高域側の各スケールファクターバンドBobj1乃至Bobj7の高域スケールファクターバンドエネルギEobj1乃至Eobj7が得られたとする。そして、低域信号ＳＬ１１と、高域スケールファクターバンドエネルギEobj1乃至Eobj7とが用いられて、各スケールファクターバンドBobj1乃至Bobj7の高域信号が生成されるとする。

いま、低域信号ＳＬ１１のスケールファクターバンドBorg1の成分を用いて、高域側のスケールファクターバンドBobj3の高域信号を生成することを考える。

図５の例では、低域信号ＳＬ１１のパワースペクトルは、スケールファクターバンドBorg1部分において、図中、下側に大きくへこんでいる。つまり、他の帯域と比べてエネルギが小さくなっている。そのため、従来のSBRによりスケールファクターバンドBobj3の高域信号を生成すると、得られた高域信号にもへこみが生じてしまい、音声に聴感上の劣化が生じてしまうことになる。

そこで、本発明では、まず低域信号ＳＬ１１のスケールファクターバンドBorg1の成分に対して、平坦化処理（平滑化処理）が行なわれる。これにより、平坦化後のスケールファクターバンドBorg1の低域信号Ｈ１１が得られる。この低域信号Ｈ１１のパワースペクトルは、低域信号ＳＬ１１のパワースペクトルにおけるスケールファクターバンドBorg1に隣接する帯域の部分と滑らかに接続される。つまり、平坦化後の低域信号ＳＬ１１は、スケールファクターバンドBorg1にへこみが生じていないものとなる。

このようにして、低域信号ＳＬ１１の平坦化が行なわれると、平坦化により得られた低域信号Ｈ１１が、スケールファクターバンドBobj3の帯域に周波数シフトされ、周波数シフトにより得られた信号がゲイン調整されて、高域信号Ｈ１２とされる。

このとき、低域信号Ｈ１１の各サブバンドのエネルギの平均値が、スケールファクターバンドBorg1の平均エネルギEorg1として求められる。そして、平均エネルギEorg1と高域スケールファクターバンドエネルギEobj3との比に応じて、周波数シフト後の低域信号Ｈ１１のゲイン調整が行なわれる。具体的には、周波数シフトされた低域信号Ｈ１１の各サブバンドのエネルギの平均値が、高域スケールファクターバンドエネルギEobj3とほぼ同じ大きさとなるように、ゲイン調整が行なわれる。

図５では、へこみのない低域信号Ｈ１１が用いられて、高域信号Ｈ１２が生成されるため、高域信号Ｈ１２の各サブバンドのエネルギは、高域スケールファクターバンドエネルギEobj3とほぼ同じ大きさとなっている。したがって、原信号の高域信号とほぼ同じ高域信号が得られたことになる。

このように、平坦化された低域信号を用いて高域信号を生成すれば、より高精度に音声信号の高域成分を生成することができ、従来、低域信号のパワースペクトルのへこみにより生じていた音声信号の聴感上の劣化を改善することができる。すなわち、より高音質な音声を得ることができるようになる。

また、低域信号を平坦化すれば、パワースペクトルのへこみを除去することができるので、平坦化された低域信号を用いて高域信号を生成すれば、ゲインリミッタやインターポレーションが行なわれる場合でも、音声信号の聴感上の劣化を防止することができる。

なお、低域信号の平坦化は、高域信号の生成に用いられる低域側の全帯域成分に対して行なわれてもよいし、低域側の帯域成分のうち、へこみが生じている帯域成分のみに対して行なわれるようにしてもよい。また、へこみが生じている帯域成分のみに平坦化が行なわれる場合、平坦化の対象となる帯域は、サブバンドを単位とする帯域であれば、１つのサブバンドでもよいし、複数のサブバンドからなる任意の幅の帯域であってもよい。

さらに、以下、スケールファクターバンド等のいくつかのサブバンドからなる帯域について、その帯域を構成する各サブバンドのエネルギの平均値を、帯域の平均エネルギとも称することとする。

次に、本発明を適用したエンコーダとデコーダについて説明する。なお、以下においては、スケールファクターバンドを単位として、高域信号の生成を行なう場合を例に説明するが、高域信号の生成は、１または複数のサブバンドからなる帯域ごとに行なうことも勿論可能である。

〈第１の実施の形態〉
［エンコーダの構成］
図６は、本発明を適用したエンコーダの一実施の形態の構成例を示す図である。

エンコーダ１１は、ダウンサンプラ２１、低域符号化回路２２、QMF分析フィルタ処理部２３、高域符号化回路２４、および多重化回路２５から構成される。エンコーダ１１のダウンサンプラ２１とQMF分析フィルタ処理部２３には、音声信号である入力信号が供給される。

ダウンサンプラ２１は、供給された入力信号をダウンサンプリングすることにより、入力信号の低域成分である低域信号を抽出し、低域符号化回路２２に供給する。低域符号化回路２２は、ダウンサンプラ２１から供給された低域信号を所定の符号化方式により符号化し、その結果得られた低域符号化データを多重化回路２５に供給する。低域信号を符号化する方法として、例えば、ＡＡＣ方式がある。

QMF分析フィルタ処理部２３は、供給された入力信号に対して、QMF分析フィルタを用いたフィルタ処理を行い、入力信号を複数のサブバンドの信号に分割する。例えば、フィルタ処理により、入力信号の周波数帯域全体が６４分割され、それらの６４個の帯域（サブバンド）の成分が抽出される。QMF分析フィルタ処理部２３は、フィルタ処理により得られた各サブバンドの信号を高域符号化回路２４に供給する。

なお、以下、入力信号の各サブバンドの信号をサブバンド信号とも称することとする。特に、ダウンサンプラ２１により抽出される低域信号の帯域を低域として、低域側の各サブバンドのサブバンド信号を低域サブバンド信号と称する。また、入力信号の全体の帯域のうち、低域側の帯域よりも周波数の高い帯域を高域として、高域側のサブバンドのサブバンド信号を、高域サブバンド信号と称することとする。

さらに、以下においては、低域よりも周波数の高い帯域を高域として説明を続けるが、低域と高域の一部が重なるようにしてもよい。すなわち、低域と高域とに互いに共通する帯域が含まれるようにしてもよい。

高域符号化回路２４は、QMF分析フィルタ処理部２３から供給されたサブバンド信号に基づいてSBR情報を生成し、多重化回路２５に供給する。ここで、SBR情報は、原信号である入力信号の高域側の各スケールファクターバンドの高域スケールファクターバンドエネルギを得るための情報である。

多重化回路２５は、低域符号化回路２２からの低域符号化データと、高域符号化回路２４からのSBR情報とを多重化し、多重化により得られたビットストリームを出力する。

［符号化処理の説明］
ところで、エンコーダ１１に入力信号が入力され、入力信号の符号化が指示されると、エンコーダ１１は符号化処理を行なって入力信号の符号化を行う。以下、図７のフローチャートを参照して、エンコーダ１１による符号化処理について説明する。

ステップＳ１１において、ダウンサンプラ２１は、供給された入力信号をダウンサンプリングして低域信号を抽出し、低域符号化回路２２に供給する。

ステップＳ１２において、低域符号化回路２２は、ダウンサンプラ２１から供給された低域信号を、例えばAAC方式により符号化し、その結果得られた低域符号化データを多重化回路２５に供給する。

ステップＳ１３において、QMF分析フィルタ処理部２３は、供給された入力信号に対してQMF分析フィルタを用いたフィルタ処理を行い、その結果得られた各サブバンドのサブバンド信号を高域符号化回路２４に供給する。

ステップＳ１４において、高域符号化回路２４は、QMF分析フィルタ処理部２３から供給されたサブバンド信号に基づいて、高域側の各スケールファクターバンドの高域スケールファクターバンドエネルギEobjを求める。

すなわち、高域符号化回路２４は、高域側のいくつかの連続するサブバンドからなる帯域をスケールファクターバンドとし、スケールファクターバンド内の各サブバンドのサブバンド信号を用いて、各サブバンドのエネルギを算出する。そして、高域符号化回路２４は、スケールファクターバンド内の各サブバンドのエネルギの平均値を求め、求められたエネルギの平均値を、そのスケールファクターバンドの高域スケールファクターバンドエネルギEobjとする。これにより、例えば図５の高域スケールファクターバンドエネルギEobj1乃至Eobj7が算出される。

ステップＳ１５において、高域符号化回路２４は、複数のスケールファクターバンドの高域スケールファクターバンドエネルギEobjを所定の符号化方式により符号化して、SBR情報を生成する。例えば、高域スケールファクターバンドエネルギEobjは、スカラ量子化、差分符号化、可変長符号化などの方式により符号化される。高域符号化回路２４は、符号化により得られたSBR情報を多重化回路２５に供給する。

ステップＳ１６において、多重化回路２５は、低域符号化回路２２からの低域符号化データと、高域符号化回路２４からのSBR情報とを多重化して、多重化により得られたビットストリームを出力し、符号化処理は終了する。

このようにして、エンコーダ１１は、入力信号を符号化し、低域符号化データとSBR情報とが多重化されたビットストリームを出力する。したがって、このビットストリームの受信側においては、低域符号化データを復号して低域信号を得るとともに、低域信号とSBR情報とを用いて高域信号を生成し、低域信号と高域信号とからなるより広い帯域の音声信号を得ることができる。

［デコーダの構成］
次に、図６のエンコーダ１１から出力されたビットストリームを受信して復号するデコーダについて、説明する。例えば、デコーダは図８に示すように構成される。

すなわち、デコーダ５１は、非多重化回路６１、低域復号回路６２、QMF分析フィルタ処理部６３、高域復号回路６４、およびQMF合成フィルタ処理部６５から構成される。

非多重化回路６１は、エンコーダ１１から受信したビットストリームを非多重化し、低域符号化データとSBR情報とを抽出する。非多重化回路６１は、非多重化により得られた低域符号化データを低域復号回路６２に供給し、SBR情報を高域復号回路６４に供給する。

低域復号回路６２は、非多重化回路６１から供給された低域符号化データを、エンコーダ１１で用いた低域信号の符号化方式（例えば、ＡＡＣ方式）に対応する復号方式で復号し、その結果得られた低域信号をQMF分析フィルタ処理部６３に供給する。QMF分析フィルタ処理部６３は、低域復号回路６２から供給された低域信号に対して、QMF分析フィルタを用いたフィルタ処理を行い、低域信号から低域側の各サブバンドのサブバンド信号を抽出する。すなわち、低域信号の帯域分割が行なわれる。QMF分析フィルタ処理部６３は、フィルタ処理により得られた低域側の各サブバンドの低域サブバンド信号を、高域復号回路６４およびQMF合成フィルタ処理部６５に供給する。

高域復号回路６４は、非多重化回路６１から供給されたSBR情報と、QMF分析フィルタ処理部６３から供給された低域サブバンド信号とを用いて、高域側の各スケールファクターバンドの高域信号を生成し、QMF合成フィルタ処理部６５に供給する。

QMF合成フィルタ処理部６５は、QMF分析フィルタ処理部６３から供給された低域サブバンド信号と、高域復号回路６４から供給された高域信号とを、QMF合成フィルタを用いたフィルタ処理により合成し、出力信号を生成する。この出力信号は、低域と高域の各サブバンドの成分からなる音声信号であり、出力信号はQMF合成フィルタ処理部６５から、後段のスピーカ等の再生部に出力される。

［復号処理の説明］
図８に示したデコーダ５１に、エンコーダ１１からビットストリームが供給され、ビットストリームの復号が指示されると、デコーダ５１は、復号処理を行なって出力信号を生成する。以下、図９のフローチャートを参照して、デコーダ５１による復号処理について説明する。

ステップＳ４１において、非多重化回路６１は、エンコーダ１１から受信したビットストリームを非多重化する。そして、非多重化回路６１は、ビットストリームの非多重化により得られた低域符号化データを低域復号回路６２に供給するとともに、SBR情報を高域復号回路６４に供給する。

ステップＳ４２において、低域復号回路６２は、非多重化回路６１から供給された低域符号化データを復号し、その結果得られた低域信号をQMF分析フィルタ処理部６３に供給する。

ステップＳ４３において、QMF分析フィルタ処理部６３は、低域復号回路６２から供給された低域信号に対して、QMF分析フィルタを用いたフィルタ処理を行なう。そして、QMF分析フィルタ処理部６３は、フィルタ処理の結果得られた低域側の各サブバンドの低域サブバンド信号を、高域復号回路６４およびQMF合成フィルタ処理部６５に供給する。

ステップＳ４４において、高域復号回路６４は、非多重化回路６１から供給されたSBR情報を復号する。これにより、高域側の各スケールファクターバンドの高域スケールファクターバンドエネルギEobjが得られる。

ステップＳ４５において、高域復号回路６４は、QMF分析フィルタ処理部６３から供給された低域サブバンド信号に対して、平坦化処理を行なう。

例えば、高域復号回路６４は、ある高域側のスケールファクターバンドについて、そのスケールファクターバンドの高域信号を生成するのに用いられる低域側のスケールファクターバンドを、平坦化処理の対象スケールファクターバンドとする。なお、高域側の各スケールファクターバンドの高域信号の生成に用いられる低域側のスケールファクターバンドは、予め定められているものとする。

次に、高域復号回路６４は、低域側の処理対象のスケールファクターバンドを構成する各サブバンドの低域サブバンド信号に対して、平坦化フィルタを用いたフィルタ処理を行なう。具体的には、高域復号回路６４は、低域側の処理対象のスケールファクターバンドを構成する各サブバンドの低域サブバンド信号に基づいて、それらのサブバンドのエネルギを求め、求められた各サブバンドのエネルギの平均値を平均エネルギとして求める。高域復号回路６４は、処理対象のスケールファクターバンドを構成する各サブバンドの低域サブバンド信号に、それらのサブバンドのエネルギと平均エネルギの比を乗算することで、各サブバンドの低域サブバンド信号を平坦化する。

例えば、処理対象とされたスケールファクターバンドが、３つのサブバンドSB1乃至SB3から構成されるとし、それらのサブバンドのエネルギとして、エネルギE1乃至E3が得られたとする。この場合、サブバンドSB1乃至SB3のエネルギE1乃至E3の平均値が平均エネルギEAとして求められる。

そして、サブバンドSB1乃至SB3の低域サブバンド信号のそれぞれに、エネルギの比の値であるEA /E1、EA /E2、およびEA /E3が乗算される。このように、エネルギの比が乗算された低域サブバンド信号が、平坦化された低域サブバンド信号とされる。

なお、エネルギE1乃至E3の最大値とサブバンドのエネルギの比を、そのサブバンドの低域サブバンド信号に乗算することで、低域サブバンド信号を平坦化するようにしてもよい。各サブバンドの低域サブバンド信号の平坦化は、それらのサブバンドからなるスケールファクターバンドのパワースペクトルが平坦化されれば、どのように行なわれてもよい。

このようにして、これから生成しようとする高域側の各スケールファクターバンドについて、それらのスケールファクターバンドの生成に用いられる低域側のスケールファクターバンドを構成する各サブバンドの低域サブバンド信号が、平坦化される。

ステップＳ４６において、高域復号回路６４は、高域側のスケールファクターバンドの生成に用いる低域側の各スケールファクターバンドについて、それらのスケールファクターバンドの平均エネルギEorgを求める。

具体的には、高域復号回路６４は、低域側のスケールファクターバンドを構成する各サブバンドの平坦化後の低域サブバンド信号を用いて、各サブバンドのエネルギを求め、さらにそれらのサブバンドのエネルギの平均値を平均エネルギEorgとして求める。

ステップＳ４７において、高域復号回路６４は、高域側のスケールファクターバンドの生成に用いる低域側の各スケールファクターバンドの信号を、生成しようとする高域側のスケールファクターバンドの周波数帯域に周波数シフトする。すなわち、低域側のスケールファクターバンドを構成する、平坦化後の各サブバンドの低域サブバンド信号が周波数シフトされる。

ステップＳ４８において、高域復号回路６４は、高域スケールファクターバンドエネルギEobjと平均エネルギEorgの比に応じて、周波数シフト後の低域サブバンド信号をゲイン調整し、高域側のスケールファクターバンドの高域サブバンド信号を生成する。

例えば、これから生成しようとする高域側のスケールファクターバンドを、高域スケールファクターバンドと称し、その高域スケールファクターバンドの生成に用いられる低域側のスケールファクターバンドを低域スケールファクターバンドと呼ぶこととする。

高域復号回路６４は、低域スケールファクターバンドを構成する、周波数シフト後の各サブバンドの低域サブバンド信号のエネルギの平均値が、高域スケールファクターバンドの高域スケールファクターバンドエネルギとほぼ同じ大きさとなるように、周波数シフト後の低域サブバンド信号をゲイン調整する。

このようにして周波数シフト及びゲイン調整された低域サブバンド信号が、高域スケールファクターバンドの各サブバンドの高域サブバンド信号とされ、高域側のスケールファクターバンドの各サブバンドの高域サブバンド信号からなる信号が、高域側のスケールファクターバンドの信号（高域信号）とされる。高域復号回路６４は、生成された高域側の各スケールファクターバンドの高域信号を、QMF合成フィルタ処理部６５に供給する。

ステップＳ４９において、QMF合成フィルタ処理部６５は、QMF分析フィルタ処理部６３から供給された低域サブバンド信号と、高域復号回路６４から供給された高域信号とを、QMF合成フィルタを用いたフィルタ処理により合成し、出力信号を生成する。そして、QMF合成フィルタ処理部６５は、生成した出力信号を出力し、復号処理は終了する。

このようにして、デコーダ５１は低域サブバンド信号を平坦化し、平坦化後の低域サブバンド信号と、SBR情報とを用いて、高域側の各スケールファクターバンドの高域信号を生成する。このように、平坦化した低域サブバンド信号を用いて高域信号を生成することで、より高音質な音声を再生できる出力信号を、簡単に得ることができる。

なお、以上においては、低域側の全帯域が平坦化されると説明したが、デコーダ５１側において、低域のうち、へこみが生じている帯域に対してのみ平坦化が行なわれてもよい。そのような場合、例えばデコーダ５１において、低域信号が用いられて、へこみが生じている周波数帯域が検出される。

〈第２の実施の形態〉
［符号化処理の説明］
また、エンコーダ１１が、低域におけるへこみの生じた帯域の位置情報と、その帯域の平坦化に用いる情報とを生成し、それらの情報が含まれるSBR情報を出力するようにしてもよい。そのような場合、エンコーダ１１は、図１０に示す符号化処理を行なう。

以下、図１０のフローチャートを参照して、へこみの生じた帯域の位置情報等が含まれたSBR情報が出力される場合における、符号化処理について説明する。

なお、ステップＳ７１乃至ステップＳ７３の処理は、図７のステップＳ１１乃至ステップＳ１３の処理と同様であるので、その説明は省略する。ステップＳ７３の処理が行なわれると、高域符号化回路２４には、各サブバンドのサブバンド信号が供給される。

ステップＳ７４において、高域符号化回路２４は、QMF分析フィルタ処理部２３から供給された低域側のサブバンドの低域サブバンド信号に基づいて、低域の周波数帯域のうち、へこみのある帯域を検出する。

具体的には、例えば、高域符号化回路２４は、低域の各サブバンドのエネルギの平均値を求めることで、低域全体のエネルギの平均値である平均エネルギＥＬを求める。そして、高域符号化回路２４は、低域のサブバンドのうち、平均エネルギＥＬとサブバンドのエネルギとの差分が予め定めた閾値以上となるサブバンドを検出する。すなわち、平均エネルギＥＬから、サブバンドのエネルギを減算して得られた値が閾値以上であるサブバンドが検出される。

さらに、高域符号化回路２４は、上述した差分が閾値以上となるサブバンドからなる帯域であって、いくつかの連続するサブバンドからなる帯域を、へこみのある帯域（以下、平坦化帯域と称する）とする。なお、平坦化帯域は、１つのサブバンドからなる帯域である場合もある。

ステップＳ７５において、高域符号化回路２４は平坦化帯域ごとに、平坦化帯域の位置を示す平坦化位置情報と、その平坦化帯域の平坦化に用いる平坦化ゲイン情報を求め、各平坦化帯域の平坦化位置情報および平坦化ゲイン情報からなる情報を、平坦化情報とする。

具体的には、高域符号化回路２４は、平坦化帯域とされた帯域を示す情報を平坦化位置情報とする。また、高域符号化回路２４は、平坦化帯域を構成するサブバンドごとに平均エネルギＥＬと、そのサブバンドのエネルギとの差分△Ｅを算出し、平坦化帯域を構成する各サブバンドの差分△Ｅからなる情報を、平坦化ゲイン情報とする。

ステップＳ７６において、高域符号化回路２４は、QMF分析フィルタ処理部２３から供給されたサブバンド信号に基づいて、高域側の各スケールファクターバンドの高域スケールファクターバンドエネルギEobjを求める。なお、ステップＳ７６では、図７のステップＳ１４と同様の処理が行なわれる。

ステップＳ７７において、高域符号化回路２４は、高域側の各スケールファクターバンドの高域スケールファクターバンドエネルギEobjと、各平坦化帯域の平坦化情報とをスカラ量子化等の符号化方式により符号化し、SBR情報を生成する。高域符号化回路２４は、生成されたSBR情報を多重化回路２５に供給する。

その後、ステップＳ７８の処理が行なわれて、符号化処理は終了するが、ステップＳ７８の処理は図７のステップＳ１６の処理と同様であるので、その説明は省略する。

このようにして、エンコーダ１１は、低域から平坦化帯域を検出し、各平坦化帯域の平坦化に用いる平坦化情報が含まれるSBR情報を、低域符号化データとともに出力する。これにより、デコーダ５１側において、より簡単に平坦化帯域の平坦化を行なうことができるようになる。

［復号処理の説明］
また、図１０のフローチャートを参照して説明した符号化処理により出力されたビットストリームが、デコーダ５１に送信されてくると、そのビットストリームを受信したデコーダ５１は図１１に示す復号処理を行なう。以下、図１１のフローチャートを参照して、デコーダ５１による復号処理について説明する。

なお、ステップＳ１０１乃至ステップＳ１０４の処理は、図９のステップＳ４１乃至ステップＳ４４の処理と同様であるので、その説明は省略する。但し、ステップＳ１０４の処理では、SBR情報の復号により、高域スケールファクターバンドエネルギEobjと、各平坦化帯域の平坦化情報とが得られる。

ステップＳ１０５において、高域復号回路６４は平坦化情報を用いて、平坦化情報に含まれる平坦化位置情報により示される平坦化帯域を平坦化する。すなわち、高域復号回路６４は、平坦化位置情報により示される平坦化帯域を構成するサブバンドの低域サブバンド信号に、そのサブバンドの差分△Ｅを加算することにより、平坦化を行なう。ここで、平坦化帯域のサブバンドごとの差分△Ｅは、平坦化情報に平坦化ゲイン情報として含まれている情報である。

このようにして、低域側のサブバンドのうち、平坦化帯域を構成する各サブバンドの低域サブバンド信号が平坦化されると、その後、平坦化された低域サブバンド信号が用いられて、ステップＳ１０６乃至ステップＳ１０９の処理が行なわれ、復号処理は終了する。なお、これらのステップＳ１０６乃至ステップＳ１０９の処理は、図９のステップＳ４６乃至ステップＳ４９の処理と同様であるので、その説明は省略する。

このようにして、デコーダ５１は、SBR情報に含まれる平坦化情報を用いて、平坦化帯域の平坦化を行い、高域側の各スケールファクターバンドの高域信号を生成する。このように、平坦化情報を用いて平坦化帯域の平坦化を行なうことで、より簡単かつ迅速に高域信号を生成することができる。

〈第３の実施の形態〉
［符号化処理の説明］
また、第２の実施の形態では、平坦化情報をそのままSBR情報に含めてデコーダ５１に送信すると説明したが、平坦化情報がベクトル量子化されてSBR情報に含まれるようにしてもよい。

そのような場合、例えば、エンコーダ１１の高域符号化回路２４は、複数の平坦化位置情報ベクトルと、それらの平坦化位置情報ベクトルを特定する位置インデックスとが対応付けられている位置テーブルを記録している。ここで、平坦化位置情報ベクトルとは、１または複数の平坦化帯域の平坦化位置情報のそれぞれを要素とするベクトルであって、平坦化帯域の周波数が低い順にそれらの平坦化位置情報を並べて得られるベクトルである。

なお、位置テーブルには、同じ数の要素からなる互いに異なる平坦化位置情報ベクトルだけでなく、互いに異なる数の要素からなる複数の平坦化位置情報ベクトルが記録されている。

さらに、エンコーダ１１の高域符号化回路２４は、複数の平坦化ゲイン情報ベクトルと、それらの平坦化ゲイン情報ベクトルを特定するゲインインデックスとが対応付けられているゲインテーブルを記録している。なお、平坦化ゲイン情報ベクトルとは、１または複数の平坦化帯域の平坦化ゲイン情報のそれぞれを要素とするベクトルであって、平坦化帯域の周波数が低い順にそれらの平坦化ゲイン情報を並べて得られるベクトルである。

位置テーブルにおける場合と同様に、ゲインテーブルにも、同じ数の要素からなる互いに異なる複数の平坦化ゲイン情報ベクトルや、互いに異なる数の要素からなる複数の平坦化ゲイン情報ベクトルが記録されている。

このように、エンコーダ１１に位置テーブルとゲインテーブルが記録されている場合、エンコーダ１１は、図１２に示す符号化処理を行なう。以下、図１２のフローチャートを参照して、エンコーダ１１による符号化処理について説明する。

なお、ステップＳ１４１乃至ステップＳ１４５の処理のそれぞれは、図１０のステップＳ７１乃至ステップＳ７５のそれぞれと同様であるので、その説明は省略する。

ステップＳ１４５の処理が行なわれると、入力信号の低域の各平坦化帯域について、平坦化位置情報と、平坦化ゲイン情報が得られる。すると高域符号化回路２４は、周波数帯域の低い順に、各平坦化帯域の平坦化位置情報を並べて、平坦化位置情報ベクトルとするとともに、周波数帯域の低い順に、各平坦化帯域の平坦化ゲイン情報を並べて、平坦化ゲイン情報ベクトルとする。

ステップＳ１４６において、高域符号化回路２４は、得られた平坦化位置情報ベクトルおよび平坦化ゲイン情報ベクトルに対応する位置インデックスおよびゲインインデックスを取得する。

すなわち、高域符号化回路２４は、位置テーブルに記録されている平坦化位置情報ベクトルのなかから、ステップＳ１４５で得られた平坦化位置情報ベクトルとのユークリッド距離が最も短い平坦化位置情報ベクトルを特定する。そして、高域符号化回路２４は、特定された平坦化位置情報ベクトルに対応付けられている位置インデックスを、位置テーブルから取得する。

同様に、高域符号化回路２４は、ゲインテーブルに記録されている平坦化ゲイン情報ベクトルのなかから、ステップＳ１４５で得られた平坦化ゲイン情報ベクトルとのユークリッド距離が最も短い平坦化ゲイン情報ベクトルを特定する。そして、高域符号化回路２４は、特定された平坦化ゲイン情報ベクトルに対応付けられているゲインインデックスを、ゲインテーブルから取得する。

このようにして、位置インデックスとゲインインデックスが取得されると、続いてステップＳ１４７の処理が行なわれて、高域側の各スケールファクターバンドの高域スケールファクターバンドエネルギEobjが算出される。なお、ステップＳ１４７の処理は、図１０のステップＳ７６の処理と同様であるので、その説明は省略する。

ステップＳ１４８において、高域符号化回路２４は、各高域スケールファクターバンドエネルギEobjと、ステップＳ１４６で取得された位置インデックスおよびゲインインデックスとを、スカラ量子化等の符号化方式により符号化し、SBR情報を生成する。高域符号化回路２４は、生成されたSBR情報を多重化回路２５に供給する。

その後、ステップＳ１４９の処理が行なわれて、符号化処理は終了するが、ステップＳ１４９の処理は図１０のステップＳ７８の処理と同様であるので、その説明は省略する。

このようにして、エンコーダ１１は、低域から平坦化帯域を検出し、各平坦化帯域の平坦化に用いる平坦化情報を得るための位置インデックスおよびゲインインデックスが含まれるSBR情報を、低域符号化データとともに出力する。これにより、エンコーダ１１から出力されるビットストリームの情報量を削減することができる。

［復号処理の説明］
また、SBR情報に、位置インデックスおよびゲインインデックスが含まれている場合、デコーダ５１の高域復号回路６４には、位置テーブルとゲインテーブルが、予め記録されている。

このように、デコーダ５１が位置テーブルとゲインテーブルを記録している場合、デコーダ５１は、図１３に示す復号処理を行なう。以下、図１３のフローチャートを参照して、デコーダ５１による復号処理について説明する。

なお、ステップＳ１７１乃至ステップＳ１７４の処理は、図１１のステップＳ１０１乃至ステップＳ１０４の処理と同様であるので、その説明は省略する。但し、ステップＳ１７４の処理では、SBR情報の復号により、高域スケールファクターバンドエネルギEobjと、位置インデックスおよびゲインインデックスとが得られる。

ステップＳ１７５において、高域復号回路６４は、位置インデックスおよびゲインインデックスに基づいて、平坦化位置情報ベクトルと平坦化ゲイン情報ベクトルを取得する。

すなわち、高域復号回路６４は、記録している位置テーブルから、復号により得られた位置インデックスに対応付けられている平坦化位置情報ベクトルを取得し、ゲインテーブルから、復号により得られたゲインインデックスに対応付けられている平坦化ゲイン情報ベクトルを取得する。このようにして得られた平坦化位置情報ベクトルと平坦化ゲイン情報ベクトルから、各平坦化帯域の平坦化情報、つまり各平坦化帯域の平坦化位置情報と平坦化ゲイン情報が得られる。

各平坦化帯域の平坦化情報が得られると、その後、ステップＳ１７６乃至ステップＳ１８０の処理が行なわれて復号処理は終了するが、これらの処理は、図１１のステップＳ１０５乃至ステップＳ１０９の処理と同様であるので、その説明は省略する。

このようにして、デコーダ５１は、SBR情報に含まれる位置インデックスおよびゲインインデックスから、各平坦化帯域の平坦化情報を得て平坦化帯域の平坦化を行い、高域側の各スケールファクターバンドの高域信号を生成する。このように、位置インデックスおよびゲインインデックスから平坦化情報を得るようにすることで、受信するビットストリームの情報量を削減することができる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ エンコーダ， ２２ 低域符号化回路， ２４ 高域符号化回路， ２５ 多重化回路， ５１ デコーダ， ６１ 非多重化回路， ６３ QMF分析フィルタ処理部， ６４ 高域復号回路， ６５ QMF合成フィルタ処理部

Claims (3)

1. 音声信号の低域成分と、前記音声信号の高域成分を得るための高域情報とを抽出する抽出部と、
   前記低域成分をQMF分析フィルタ処理して低域サブバンド信号を生成するQMF分析フィルタ処理部と、
   前記低域サブバンド信号のエネルギおよび平均エネルギに基づいて前記低域サブバンド信号を平坦化する平坦化処理部と、
   平坦化された前記低域サブバンド信号を高域に周波数シフトする周波数シフト部と、
   前記高域に周波数シフトされた信号と前記高域情報とに基づいて、前記高域に周波数シフトされた信号のゲインを調整して高域サブバンド信号を生成する高域生成部と、
   前記低域サブバンド信号と、前記高域サブバンド信号とをQMF合成フィルタにより合成して音声信号を生成するQMF合成フィルタ処理部と
   を備える信号処理装置。
2. 音声信号の低域成分と、前記音声信号の高域成分を得るための高域情報とを抽出し、
   前記低域成分をQMF分析フィルタ処理して低域サブバンド信号を生成し、
   前記低域サブバンド信号のエネルギおよび平均エネルギに基づいて前記低域サブバンド信号を平坦化し、
   平坦化された前記低域サブバンド信号を高域に周波数シフトし、
   前記高域に周波数シフトされた信号と前記高域情報とに基づいて、前記高域に周波数シフトされた信号のゲインを調整して高域サブバンド信号を生成し、
   前記低域サブバンド信号と、前記高域サブバンド信号とをQMF合成フィルタにより合成して音声信号を生成する
   ステップを含む信号処理方法。
3. 音声信号の低域成分と、前記音声信号の高域成分を得るための高域情報とを抽出し、
   前記低域成分をQMF分析フィルタ処理して低域サブバンド信号を生成し、
   前記低域サブバンド信号のエネルギおよび平均エネルギに基づいて前記低域サブバンド信号を平坦化し、
   平坦化された前記低域サブバンド信号を高域に周波数シフトし、
   前記高域に周波数シフトされた信号と前記高域情報とに基づいて、前記高域に周波数シフトされた信号のゲインを調整して高域サブバンド信号を生成し、
   前記低域サブバンド信号と、前記高域サブバンド信号とをQMF合成フィルタにより合成して音声信号を生成する
   ステップを含む処理をコンピュータに実行させるプログラム。

Images