JP2008122597A - オーディオ信号処理装置及びオーディオ信号処理方法 - Google Patents

Abstract

【課題】最大帯域やビットレートによらない動的な補正を実施するオーディオ信号処理装置及びオーディオ信号処理方法を提供する。
【解決手段】逐次入力される符号化されたオーディオ信号を繰り返し復号する際に該オーディオ信号の周波数帯域を拡張する及び／又は該オーディオ信号を補正するオーディオ信号処理装置において、オーディオ信号の周波数ごとの強度を示すデータから、音質が劣化している周波数帯域（劣化帯域）を検出する劣化帯域検出部１１と、オーディオ信号から劣化帯域を補正するための補正信号を生成する補正信号生成部１２と、補正信号の劣化帯域を含む周波数帯域を通過させ、オーディオ信号の劣化帯域を含まない周波数帯域を通過させる帯域制御フィルタ部１３と、帯域制御フィルタ部１３を通過した補正信号とオーディオ信号とを加算する信号加算部１４とを備える。
【選択図】図１

Description

本発明は、符号化されたオーディオ信号を復号する際に劣化した周波数帯域を拡張・補正するオーディオ信号処理装置及びオーディオ信号処理方法に関する。

一般的に、オーディオ信号を圧縮する場合、図１４に示すように、周波数軸上のデータ（圧縮前信号）をサブバンドに分解し、各サブバンドを量子化して符号化する手法がとられる。この手法で圧縮したオーディオ信号を復号する際に、符号化時のビットレートに応じて音質の劣化が生じることがある。例えば、図１４の上側に示すように、ビットレートが高く潤沢に符号量がある場合は、すべての帯域のオーディオ信号が符号化され圧縮前後で音質の劣化がほとんど見られない。これに対し、図１４の下側に示すように、ビットレートが低く十分な符号量が得られない場合は、一部の帯域のオーディオ信号に符号が割り当てらないため、総ての帯域を符号化できず、一部の帯域のオーディオ信号が欠落する場合がある。よって、このような圧縮オーディオ信号を復号する際には、欠落部のオーディオ信号が劣化してしまう。尚、劣化する帯域は符号化器のアルゴリズムに依存するが、一般的には人間の聴覚心理上聞こえにくいとされる高周波帯域から順に劣化する傾向になる。

この劣化問題に対し、近年ではオーディオ信号を復号した後に劣化した高周波帯域を補正するという手法が実施されている。例えば、図１５（ａ）に示すように、復号したオーディオ信号の最大帯域より高い帯域に補正信号を適用する手法（特許文献１参照）や、図１５（ｂ）に示すように、ビットレートに応じて定まる特定の周波数以上の帯域に強制的に補正信号を適用する手法（特許文献２参照）がとられている。また、補正信号の生成手法としては、例えば、復号したオーディオ信号の高調波を利用した手法など、復号したオーディオ信号から生成する手法が一般的である。

特開２００２−３６６１７８号公報 特開２００４−３１７６２２号公報

前述したとおり、低ビットレートの場合に劣化する帯域は、符号化器のアルゴリズムに依存するため、必ずしも高域だけが劣化するとは限らない。符号化器のアルゴリズムによっては、図１６（ａ）及び図１６（ｂ）に示すように、最大帯域以上の欠落部の他に、最大帯域よりも低い途中の帯域で劣化した帯域（劣化部）が発生する可能性もある。このように、途中の帯域が劣化している場合には、特許文献１及び２の補正手法では対応することができない。例えば、最大帯域を利用した補正方法（特許文献１）では、図１７（ａ）に示すように、劣化した途中の帯域（劣化部）を補正することはできない。また、ビットレートに応じて補正帯域を制御する補正手法（特許文献２）では、図１７（ｂ）に示すように、補正帯域以下に劣化がある場合には対応できない。

本発明は、上記問題点を解決するために成されたものであり、その目的は、最大帯域やビットレートによらない動的な補正を実施するオーディオ信号処理装置及びオーディオ信号処理方法を提供することである。

本発明の第１の特徴は、逐次入力される符号化されたオーディオ信号を繰り返し復号する際に該オーディオ信号の周波数帯域を拡張する及び／又は該オーディオ信号を補正するオーディオ信号処理装置において、オーディオ信号の周波数ごとの強度を示すデータから、音質が劣化している周波数帯域（劣化帯域）を検出する劣化帯域検出部と、オーディオ信号から劣化帯域を補正するための補正信号を生成する補正信号生成部と、補正信号の劣化帯域を含む周波数帯域を通過させ、オーディオ信号の劣化帯域を含まない周波数帯域を通過させる帯域制御フィルタ部と、帯域制御フィルタ部を通過した補正信号とオーディオ信号とを加算する信号加算部とを備えることである。

本発明の第１の特徴によれば、オーディオ信号の周波数ごとの強度を示すデータから音質が劣化している周波数帯域を検出することにより、最大帯域以下の途中の帯域が劣化している場合やビットレートに応じて定まる特定の周波数以下の帯域から高域欠落が生じている場合であっても、最大帯域以下の途中の帯域を含む全周波数帯域の中から音質が劣化している周波数帯域を動的に検出することができる。よって、最大帯域やビットレートによらない動的な補正を実施することができる。

本発明の第１の特徴において、帯域制御フィルタ部は、補正信号の劣化帯域の最低周波数以上の周波数帯域を通過させる第１の補正信号フィルタ部と、オーディオ信号の劣化帯域の最低周波数よりも低い周波数帯域を通過させる第１のオーディオ信号フィルタ部とを有し、そして、信号加算部は、第１の補正信号フィルタ部を通過した補正信号と、第１のオーディオ信号フィルタ部を通過したオーディオ信号とを加算しても構わない。

或いは、帯域制御フィルタ部は、補正信号の劣化帯域だけを通過させる第２の補正信号フィルタ部を有し、そして、信号加算部は、第２の補正信号フィルタ部を通過した補正信号と、オーディオ信号とを加算しても構わない。

これらにより、最大帯域以下の途中の帯域が劣化している場合やビットレートに応じて定まる特定の周波数以下の帯域から高域欠落が生じている場合であっても、最大帯域以下の途中の帯域を含む全周波数帯域の中から音質が劣化している周波数帯域を検出することができる。よって、最大帯域やビットレートによらない動的な補正を実施することができる。これにより、より原音に近く劣化の少ない音が再生できる。また、ここで示した帯域拡張・補正手法は、ＭＰ３プレーヤーなど民生用の携帯オーディオ機器やムービー機器における再生機能や、ソフトウェアによる再生ツールなど幅広い用途に適用することができる。

本発明の第１の特徴において、オーディオ信号の周波数ごとの強度を示すデータは、復号したオーディオ信号のスペクトルパワーであっても構わない。この場合、劣化帯域検出部は、スペクトルパワーが第１の閾値以下である周波数帯域が第２の閾値以上続く場合、当該周波数帯域を劣化帯域として検出してもよい。

或いは、オーディオ信号の周波数ごとの強度を示すデータは、符号化されたオーディオ信号における、周波数帯域を分割する複数のサブバンドのそれぞれについて割り当てられたビット数であっても構わない。この場合、劣化帯域検出部は、ビット数が第３の閾値以下であるサブバンドが第４の閾値以上続く場合、当該サブバンドを劣化バンドとして検出してもよい。

また、補正信号生成部は、復号したオーディオ信号のスペクトルパワーを累乗することにより補正信号を生成することができる。

或いは、補正信号生成部は、劣化帯域の時間的に以前もしくは以後の周波数ごとの強度を示すデータから補正信号を推測してもよい。

本発明の第２の特徴は、逐次入力される符号化されたオーディオ信号を繰り返し復号する際に該オーディオ信号の周波数帯域を拡張する及び／又は該オーディオ信号を補正するオーディオ信号処理方法において、オーディオ信号の周波数ごとの強度を示すデータから、劣化帯域を検出する段階と、オーディオ信号から劣化帯域を補正するための補正信号を生成する段階と、帯域制御フィルタ部を用いて補正信号の劣化帯域を含む周波数帯域を通過させる段階と、帯域制御フィルタ部を用いてオーディオ信号の劣化帯域を含まない周波数帯域を通過させる段階と、帯域制御フィルタを通過した補正信号とオーディオ信号とを加算する段階とを備えることである。

本発明の第２の特徴において、帯域制御フィルタ部を用いて補正信号の劣化帯域を含む周波数帯域を通過させる段階には、第１の補正信号フィルタ部を用いて補正信号の劣化帯域の最低周波数以上の周波数帯域を通過させる行為が含まれ、そして、帯域制御フィルタ部を用いてオーディオ信号の劣化帯域を含まない周波数帯域を通過させる段階には、第１のオーディオ信号フィルタ部を用いてオーディオ信号の劣化帯域の最低周波数よりも低い周波数帯域を通過させる行為が含まれていても構わない。この場合、帯域制御フィルタを通過した補正信号とオーディオ信号とを加算する段階では、第１の補正信号フィルタ部を通過した補正信号と、第１のオーディオ信号フィルタ部を通過したオーディオ信号とを加算する。

或いは、帯域制御フィルタ部を用いて補正信号の劣化帯域を含む周波数帯域を通過させる段階には、第２の補正信号フィルタ部を用いて補正信号の劣化帯域だけを通過させる行為が含まれていてもよい。この場合、帯域制御フィルタを通過した補正信号とオーディオ信号とを加算する段階では、第２の補正信号フィルタ部を通過した補正信号と、オーディオ信号とを加算する。

本発明によれば、最大帯域やビットレートによらない動的な補正を実施するオーディオ信号処理装置及びオーディオ信号処理方法を提供することができる。

以下図面を参照して、本発明の実施の形態を説明する。図面の記載において同一部分には同一符号を付している。

図１を参照して、本発明の実施の形態に係わるオーディオ信号処理装置の構成を説明する。本発明の実施の形態に係わるオーディオ信号処理装置は、逐次入力される符号化されたオーディオ信号（圧縮オーディオ信号）ＳＧ_ｉｎを繰り返し復号する際に該圧縮オーディオ信号の周波数帯域を拡張する及び／又は該圧縮オーディオ信号を補正する装置であって、オーディオ信号の周波数ごとの強度を示すデータから、音質が劣化している周波数帯域（以後、「劣化帯域」という）を検出する劣化帯域検出部１１と、オーディオ信号から劣化帯域を補正するための補正信号を生成する補正信号生成部１２と、補正信号の劣化帯域を含む周波数帯域を通過させ、オーディオ信号の劣化帯域を含まない周波数帯域を通過させる帯域制御フィルタ部１３と、帯域制御フィルタ部１３を通過した補正信号とオーディオ信号とを加算する信号加算部１４とを備える。

図２を参照して、図１の帯域拡張・補正装置を用いてオーディオ信号の帯域を拡張・補正する方法を説明する。

（イ）先ずＳ１段階において、劣化帯域検出部１１は、オーディオ信号の周波数ごとの強度を示すデータから、オーディオ信号の途中の帯域を含む全周波数帯域において、周波数軸上の劣化帯域を検出する。ここで、「オーディオ信号の周波数ごとの強度を示すデータ」には、復号したオーディオ信号のスペクトルパワーと、符号化されたオーディオ信号における、周波数帯域を分割する複数のサブバンドのそれぞれについて割り当てられたビット数とが含まれる。即ち、圧縮オーディオ信号を復号した後であれば、オーディオ信号のスペクトルパワーであり、圧縮オーディオ信号を復号する前であれば、各サブバンドのビット数である。スペクトルパワーについては第１の実施例で詳細に説明し、各サブバンドのビット数については第２の実施例で詳細に説明する。

劣化帯域検出部１１は、第１の閾値Ａ以下のスペクトルパワーが第２の閾値Ｂ以上の帯域幅で続いている場合に、当該帯域で音質が劣化していると判断するか、もしくは、圧縮オーディオ信号ＳＧ_ｉｎの符号列から各サブバンドの割り当てビット数の情報を取得し、割り当てビット数が第３の閾値Ｃ以下でのバンドが第４の閾値Ｄ以上続いている場合に、音質が劣化していると判断しても構わない。前者については第１の実施例で詳細に説明し、後者については第２の実施例で詳細に説明する。

（ロ）Ｓ２段階において、補正信号生成部１２は、オーディオ信号に基づいて、劣化帯域を補正するための補正信号を生成する。例えば、劣化した帯域における、時系列的に過去のオーディオ信号から推測して生成するか、もしくは、劣化した帯域よりも低い帯域のスペクトルパワーの高調波から生成しても構わない。

（ハ）Ｓ３段階において、帯域制御フィルタ部１３は、補正信号の劣化帯域を含む周波数帯域を通過させる。補正信号の劣化帯域を含む周波数帯域を通過させることには、補正信号の劣化帯域の最低周波数以上の周波数帯域を通過させる場合と、補正信号の劣化帯域だけを通過させる場合とが含まれる。前者が第１の実施例に対応し、後者が第２の実施例に対応している。

（ニ）Ｓ４段階において、帯域制御フィルタ部１３は、オーディオ信号の劣化帯域を含まない周波数帯域を通過させる。オーディオ信号の劣化帯域を含まない周波数帯域を通過させることには、オーディオ信号の劣化帯域の最低周波数よりも低い周波数帯域を通過させる場合と、オーディオ信号の総ての周波数帯域を通過させる場合とが含まれる。前者が第１の実施例に対応し、後者が第２の実施例に対応している。

（ホ）最後にＳ５段階において、信号加算部１４は、帯域制御フィルタ部１３を通過した補正信号とオーディオ信号とを加算する。この結果、図１に示す補正処理後信号ＳＧ_ｏｕｔが生成される。このように、時系列的に連続して入力される圧縮オーディオ信号ＳＧ_ｉｎに対し、Ｓ１〜Ｓ５段階の処理を繰り返し行なうことにより、オーディオ信号処理装置は、逐次入力される符号化されたオーディオ信号（圧縮オーディオ信号）ＳＧ_ｉｎを繰り返し復号する際に該圧縮オーディオ信号の周波数帯域を拡張する及び／又は該圧縮オーディオ信号を補正することができる。

このように、本発明の実施の形態によれば、以下の作用効果が得られる。

劣化帯域検出部１１がオーディオ信号の周波数ごとの強度を示すデータから劣化帯域を検出し、帯域制御フィルタ部１３が、補正信号の劣化帯域を含む周波数帯域を通過させ、オーディオ信号の劣化帯域を含まない周波数帯域を通過させ、信号加算部１４が帯域制御フィルタ部１３を通過した補正信号とオーディオ信号とを加算する。これにより、最大帯域以下の途中の帯域が劣化している場合やビットレートに応じて定まる特定の周波数以下の帯域から高域欠落が生じている場合であっても、最大帯域以下の途中の帯域を含む全周波数帯域の中から音質が劣化している周波数帯域を検出することができる。よって、劣化帯域を含む周波数帯域に対する補正信号を生成して、劣化帯域を含む周波数帯域を動的に補正することができる。最大帯域やビットレートによらない動的な補正を実施することができる。

従来の装置は、補正信号を適用する帯域を判別する判別回路を備え、判別した帯域より高域に補正信号を適用していたが、本発明の実施の形態に係わる装置は、この判別回路の替わりに音質が劣化した帯域を検出する手段を備えることにより、検出した劣化帯域を含んだ周波数帯域を動的に補正することができる。

よって、圧縮オーディオ信号ＳＧ_ｉｎを復号して再生する際に、図１の帯域拡張・補正装置を用いてオーディオ信号の帯域を拡張・補正することにより、補正処理後信号ＳＧ_ｏｕｔは、違和感の少ないオーディオ信号となる。

（第１の実施例）
図３を参照して、本発明の第１の実施例に係わるオーディオ信号処理装置の構成を説明する。本発明の第１の実施例に係わるオーディオ信号処理装置は、逐次入力される圧縮オーディオ信号ＳＧ_ｉｎを繰り返し復号する際に該圧縮オーディオ信号の周波数帯域を拡張する及び／又は該圧縮オーディオ信号を補正する装置であって、圧縮オーディオ信号ＳＧ_ｉｎを復号する復号器２３と、復号したオーディオ信号の周波数ごとの強度を示すデータから、劣化帯域を検出する劣化帯域検出部１１と、復号したオーディオ信号から劣化帯域を補正するための補正信号を生成する補正信号生成部１２と、補正信号の劣化帯域を含む周波数帯域を通過させ、オーディオ信号の劣化帯域を含まない周波数帯域を通過させる帯域制御フィルタ部１３と、帯域制御フィルタ部１３を通過した補正信号とオーディオ信号とを加算する信号加算部１４とを備える。

帯域制御フィルタ部１３は、補正信号の劣化帯域の最低周波数以上の周波数帯域を通過させる第１の補正信号フィルタ部（ＨＰＦ：ハイパスフィルタ）２１と、オーディオ信号の劣化帯域の最低周波数よりも低い周波数帯域を通過させる第１のオーディオ信号フィルタ部（ＬＰＦ：ローパスフィルタ）２２とを有する。そして、信号加算部１４は、第１の補正信号フィルタ部２１を通過した補正信号と、第１のオーディオ信号フィルタ部２２を通過したオーディオ信号とを加算して補正処理後信号ＳＧ_ｏｕｔを生成する。

図４を参照して、図３の帯域拡張・補正装置を用いてオーディオ信号の帯域を拡張・補正する方法を説明する。

（イ）Ｓ１０段階において、劣化帯域検出部１１は、復号したオーディオ信号の周波数ごとの強度を示すデータ、すなわち復号したオーディオ信号のスペクトルパワーから劣化帯域を検出する。Ｓ１０段階の詳細は図５及び図６を参照して後述する。

（ロ）Ｓ２０段階において、補正信号生成部１２は、復号したオーディオ信号から劣化帯域を補正するための補正信号を生成する。例えば、復号されたオーディオ信号の高調波から補正信号を生成する。具体的には、復号されたオーディオ信号を二乗、三乗、・・など累乗することにより高調波成分を生成する。

（ハ）Ｓ３０段階において、第１の補正信号フィルタ部２１は、補正信号の劣化帯域の最低周波数以上の周波数帯域を通過させる。

（ニ）Ｓ４０段階において、第１のオーディオ信号フィルタ部２２は、オーディオ信号の劣化帯域の最低周波数よりも低い周波数帯域を通過させる。

（ホ）Ｓ５０段階において、信号加算部１４は、第１の補正信号フィルタ部２１を通過した補正信号と、第１のオーディオ信号フィルタ部２２を通過したオーディオ信号とを加算して補正処理後信号ＳＧ_ｏｕｔを生成する。

図５及び図６を参照して、図４のＳ１０段階の詳細な手順を説明する。

（Ａ）先ず、Ｓ１００段階において、初期値を設定する。「劣化帯域＝０」は、検査している周波数が劣化帯域でないことを示す。「状態＝劣化帯域」は、検査している周波数において音質が劣化していることを示し、逆に、検査している周波数において音質が劣化していなければ「状態＝通常帯域」となる。「劣化フラグ＝０」は劣化帯域を検出していないことを示し、劣化帯域を検出した場合、劣化フラグ＝１となる。

（Ｂ）Ｓ１０５段階において、劣化帯域の有無を検査する周波数ｆｉの範囲を設定する。例えば、劣化帯域の有無を検査する周波数ｆｉは、高周波側（２２ｋＨｚ）から開始して、徐々に周波数ｆｉを低くしていき、低周波側（０ｋＨｚ）で終了する。検査を開始する周波数ｆｉは２２ｋＨｚである。

（Ｃ）Ｓ１１０段階において、初期状態が劣化帯域であるため、Ｓ１３０段階へ進む。図６に示すように、ｆｉ＝２２ｋＨｚにおいて、スペクトルパワーspec[fi]は第１の閾値Th_specよりも小さいため、音質が劣化していると判断する。よって、spec[fi]＜Th_specとなるため（Ｓ１３０にてＹｅｓ）、Ｓ１３５段階に進み、検査中の周波数は劣化帯域にあると判断する。

（Ｄ）Ｓ１５５段階に進み、ｆｉ＝２２ｋＨｚであるため（Ｓ１５５にてＮｏ）、Ｓ１６０段階に進み、２２ｋＨｚから所定値（ｘ）を減算した周波数を新たな周波数ｆｉに設定して、Ｓ１１０段階に戻る。ｆｉ＝２２〜１８ｋＨｚの間、上記した、Ｓ１１０にてＹｅｓ−Ｓ１３０にてＹｅｓ−Ｓ１３５の流れを繰り返す。

（Ｅ）ｆｉ＝１８ｋＨｚになると、スペクトルパワーspec[fi]が増加して、第１の閾値Th_spec以上となる。よって、Ｓ１３０段階にて、spec[fi]＜Th_specとならなくなるため（Ｓ１３０にてＮｏ）、Ｓ１４０段階に進む。そして、劣化帯域の帯域幅（２２〜１８ｋＨｚ）が第２の閾値Th_widthよりも大きい場合（Ｓ１４０にてＹｅｓ）、スペクトルパワーspec[fi]が第１の閾値Th_specよりも小さい周波数帯域が第２の閾値Th_widthよりも長く続くため、当該周波数帯域を劣化帯域であると判断する。よって、Ｓ１４５段階に進み、劣化フラグを１とし、劣化帯域の終了周波数をｆｉ＝１８ｋＨｚとする。これにより、２２〜１８ｋＨｚを劣化帯域として検出することができる。Ｓ１５０段階に進み、劣化フラグを零に戻してＳ１５５段階に進む。

（Ｆ）周波数ｆｉが１８〜１４ｋＨｚの間では、スペクトルパワーspec[fi]は第１の閾値Th_specよりも大きいため、Ｓ１１０段階において通常帯域であると判断され（Ｓ１１０にてＮｏ）、Ｓ１１５段階にてＮｏへ進み、Ｓ１２５段階にて通常状態であると判断される。

（Ｇ）周波数ｆｉが１４ｋＨｚになると、Ｓ１１０段階にてＮｏ−Ｓ１１５段階へと進み、スペクトルパワーspec[fi]は第１の閾値Th_specよりも小さくなる。よって、Ｓ１２０に進み、検査している周波数が劣化帯域であると判断する。

（Ｈ）周波数ｆｉが１４〜１２ｋＨｚの間では、ｆｉ＝２２〜１８ｋＨｚの場合の流れと同様にして、Ｓ１１０にてＹｅｓ−Ｓ１３０にてＹｅｓ−Ｓ１３５の流れを繰り返す。周波数ｆｉが１２ｋＨｚになると、スペクトルパワーspec[fi]が第１の閾値Th_spec以上となるため（Ｓ１３０にてＮｏ）、Ｓ１４０段階に進む。１４〜１２ｋＨｚの帯域幅が第２の閾値Th_widthよりも大きい場合（Ｓ１４０にてＹｅｓ）、Ｓ１４５段階に進み、劣化フラグを１とし、劣化帯域の終了周波数をｆｉ＝１２ｋＨｚとする。これにより、１４〜１２ｋＨｚを劣化帯域として検出することができる。

（Ｉ）周波数ｆｉが１２〜０ｋＨｚの間では、１８〜１４ｋＨｚの場合の流れと同様にして、Ｓ１１０にてＮｏ−Ｓ１１５にてＮｏ−Ｓ１２５の流れを繰り返す。そして、周波数ｆｉ＝０ｋＨｚと成った時点（Ｓ１５５にてＹｅｓ）で、劣化検出の手順は終了する。

図６に示す例では、最大周波数が１８ｋＨｚであり、「劣化」開始周波数が１４ｋＨｚであり、「劣化」終了周波数が１２ｋＨｚであることの情報を取得する。なお、図６の例では、第１の閾値Th_specを８０ｄＢとし、第２の閾値Th_widthを２ｋＨｚとしたが、第１及び第２の閾値はこれらに限定されることなく、その他の値をとっても構わない。

図７を参照して、図４のＳ３０〜Ｓ５０段階における第１の補正信号フィルタ部２１、第１のオーディオ信号フィルタ部２２及び信号加算部１４の処理動作を説明する。

第１の補正信号フィルタ部２１及び第１のオーディオ信号フィルタ部２２は、補正信号及びオーディオ信号のフィルタ係数をそれぞれ設定する。図６の例では、１８ｋＨｚ以上の周波数帯域（帯域欠落部）と１４〜１２ｋＨｚの周波数帯域（途中の劣化部）が劣化帯域として検出された。よって、劣化帯域の最低周波数は「劣化」終了周波数＝１２ｋＨｚとなる。第１の実施例では、オーディオ信号に適用するＬＰＦ及び補正信号に適用するＨＰＦのカットオフ周波数を、それぞれ１２ｋＨｚに設定する。

これにより、補正信号の劣化帯域の最低周波数以上の周波数帯域を通過させる第１の補正信号フィルタ部２１は、補正信号の１２ｋＨｚ以上の周波数帯域を通過させることになる。一方、オーディオ信号の劣化帯域の最低周波数よりも低い周波数帯域を通過させる第１のオーディオ信号フィルタ部２２は、オーディオ信号の１２ｋＨｚよりも低い周波数帯域を通過させることになる。したがって、第１の補正信号フィルタ部２１を通過した補正信号及び第１のオーディオ信号フィルタ部２２を通過したオーディオ信号は、図７に示すようになり、信号加算部１４は、これらの信号を加算して図３の補正処理後信号ＳＧ_ｏｕｔを生成する。

なお、劣化する周波数帯域は時間毎に異なるため、劣化帯域の検出及びフィルタ係数の調整は、復号処理の度に実施する。

このように、本発明の第１の実施例によれば、以下の作用効果が得られる。

劣化帯域検出部１１が、復号したオーディオ信号のスペクトルパワーから劣化帯域を検出し、第１の補正信号フィルタ部２１が補正信号の劣化帯域の最低周波数（１２ｋＨｚ）以上の周波数帯域を通過させ、第１のオーディオ信号フィルタ部２２がオーディオ信号の劣化帯域の最低周波数（１２ｋＨｚ）よりも低い周波数帯域を通過させ、信号加算部１４が第１の補正信号フィルタ部２１を通過した補正信号と、第１のオーディオ信号フィルタ部２２を通過したオーディオ信号とを加算する。これにより、最大帯域以下の途中の帯域が劣化している場合やビットレートに応じて定まる特定の周波数以下の帯域から高域欠落が生じている場合であっても、最大帯域以下の途中の帯域を含む全周波数帯域の中から音質が劣化している周波数帯域を検出することができる。よって、最大帯域やビットレートによらない動的な補正を実施することができる。これにより、より原音に近く劣化の少ない音が再生できる。また、ここで示した帯域拡張・補正手法は、ＭＰ３プレーヤーなど民生用の携帯オーディオ機器やムービー機器における再生機能や、ソフトウェアによる再生ツールなど幅広い用途に適用することができる。

（第２の実施例）
第１の実施例では、復号した後のオーディオ信号のスペクトルパワーを用いて劣化帯域を検出し、オーディオ信号の高調波から補正信号を生成した。また、最大帯域以下の途中の帯域が劣化している場合、劣化帯域の最低周波数（１２ｋＨｚ）をカットオフ周波数に設定して、ＨＰＦとＬＰＦのフィルタ係数を設定した。しかし、本発明は、これらに限定されない。第２の実施例では、復号する前のオーディオ信号、つまり符号化されたオーディオ信号における、周波数帯域を分割する複数のサブバンドのそれぞれについて割り当てられたビット数を用いて劣化帯域（第２の実施例においては、「劣化バンド」という）を検出し、時系列的に前後のオーディオ信号から推測して補正信号を生成する場合について説明する。また、最大帯域以下の途中の帯域が劣化している場合、劣化バンドだけ通過させるバンドパスフィルタ（ＢＰＦ）を用いて、補正信号のフィルタ処理を実施する。

図８を参照して、本発明の第２の実施例に係わるオーディオ信号処理装置の構成を説明する。本発明の第２の実施例に係わるオーディオ信号処理装置は、逐次入力される圧縮オーディオ信号ＳＧ_ｉｎを繰り返し復号する際に該圧縮オーディオ信号の周波数帯域を拡張する及び／又は該圧縮オーディオ信号を補正する装置であって、符号化されたオーディオ信号の周波数ごとの強度を示すデータから、劣化バンドを検出する劣化帯域検出部１１と、圧縮オーディオ信号ＳＧ_ｉｎを復号する復号器２３と、復号したオーディオ信号から劣化バンドを補正するための補正信号を生成する補正信号生成部１２と、補正信号の劣化バンドを含む周波数帯域を通過させる帯域制御フィルタ部１３と、帯域制御フィルタ部１３を通過した補正信号とオーディオ信号とを加算する信号加算部１４とを備える。

補正信号生成部１２は、オーディオ信号の周波数ごとの強度を示すデータを累乗することにより第１の補正信号を生成する第１補正部２４と、劣化帯域の時間的に以前もしくは以後の周波数ごとの強度を示すデータから第２の補正信号を推測する第２補正部２５とを備える。第２補正部２５の詳細については、図１２を参照して後述する。第１補正部２４は、第１の実施例における補正信号生成部１２と同様な機能を備えるため、説明を省略する。

帯域制御フィルタ部１３は、補正信号の劣化バンドだけを通過させる第２の補正信号フィルタ部（ＨＰＦ２１、ＢＰＦ２６）を有する。そして、信号加算部１４は、第２の補正信号フィルタ部２１、２６を通過した第１及び第２の補正信号と、オーディオ信号とを加算して補正処理後信号ＳＧ_ｏｕｔを生成する。

図９を参照して、図８の帯域拡張・補正装置を用いてオーディオ信号の帯域を拡張・補正する方法を説明する。

（イ）Ｓ１５段階において、劣化帯域検出部１１は、符号化されたオーディオ信号の周波数ごとの強度を示すデータ、すなわち符号化されたオーディオ信号における、周波数帯域を分割する複数のサブバンドのそれぞれについて割り当てられたビット数から劣化バンドを検出する。Ｓ１５段階の詳細は図１０及び図１１を参照して後述する。

（ロ）Ｓ２５段階において、補正信号生成部１２は、復号したオーディオ信号から劣化バンドを補正するための補正信号を生成する。例えば、劣化バンドの時間的に以前もしくは以後のオーディオ信号の周波数ごとの強度を示すデータから補正信号を推測する。

（ハ）Ｓ３５段階において、第２の補正信号フィルタ部２１、２６は、補正信号の劣化バンドだけを通過させる。

（ニ）Ｓ４５段階において、オーディオ信号の総てのサブバンドを通過させる。

（ホ）Ｓ５５段階において、信号加算部１４は、第２の補正信号フィルタ部２１、２６を通過した第１及び第２の補正信号と、オーディオ信号とを加算して補正処理後信号ＳＧ_ｏｕｔを生成する。

図１０及び図１１を参照して、図９のＳ１５段階の詳細な手順を説明する。

（Ａ）先ず、Ｓ２００段階において、初期値を設定する。「劣化バンド＝０」は、検査しているサブバンドが劣化バンドでないことを示す。「状態＝劣化バンド」は、検査しているサブバンドにおいて音質が劣化していることを示し、逆に、検査しているサブバンドにおいて音質が劣化していなければ「状態＝通常バンド」となる。「劣化フラグ＝０」は劣化バンドを検出していないことを示し、劣化バンドを検出した場合、劣化フラグ＝１となる。

（Ｂ）Ｓ２０５段階において、劣化バンドの有無を検査するサブバンドｆｉの範囲を設定する。例えば、劣化バンドの有無を検査するサブバンドｆｉは、高周波側から開始して、徐々にサブバンドｆｉを低くしていき、低周波側（ｂｄ０）で終了する。検査を開始するサブバンドｆｉはｂｄ１０である。

（Ｃ）Ｓ２１０段階において、初期状態が劣化バンドであるため、Ｓ２３０段階へ進む。図１１に示すように、ｆｉ＝ｂｄ１０において、サブバンドｆｉに割り当てられたビット数bit[fi]は第３の閾値Th_bitよりも少ないため、音質が劣化していると判断する。よって、bit[fi]＜Th_bitとなるため（Ｓ２３０にてＹｅｓ）、Ｓ２３５段階に進み、検査中の周波数は劣化バンドにあると判断する。

（Ｄ）Ｓ２５５段階に進み、ｆｉ＝ｂｄ１０であるため（Ｓ２５５にてＮｏ）、Ｓ２６０段階に進み、ｂｄ１０から所定値（ｘ）を減算したサブバンドを新たなサブバンドｆｉに設定して、Ｓ２１０段階に戻る。ｆｉ＝ｂｄ１０〜ｂｄ７の間、上記した、Ｓ２１０にてＹｅｓ−Ｓ２３０にてＹｅｓ−Ｓ２３５の流れを繰り返す。

（Ｅ）ｆｉ＝ｂｄ７になると、割り当てビット数bit[fi]が増加して、第３の閾値Th_bit以上となる。よって、Ｓ２３０段階にて、bit[fi]＜Th_bitとならなくなるため（Ｓ２３０にてＮｏ）、Ｓ２４０段階に進む。そして、劣化バンドのバンド幅（ｂｄ１０〜ｂｄ７）が第４の閾値Th_widthよりも大きい場合（Ｓ２４０にてＹｅｓ）、割り当てビット数bit[fi]が第３の閾値Th_bitよりも小さいサブバンドが第４の閾値Th_widthよりも長く続くため、当該サブバンドを劣化バンドであると判断する。よって、Ｓ２４５段階に進み、劣化フラグを１とし、劣化バンドの終了バンドをｆｉ＝ｂｄ７とする。これにより、ｂｄ１０〜ｂｄ７を劣化バンドとして検出することができる。Ｓ２５０段階に進み、劣化フラグを零に戻してＳ２５５段階に進む。

（Ｆ）サブバンドｆｉがｂｄ７〜ｂｄ６の間では、割り当てビット数bit[fi]は第３の閾値Th_bitよりも大きいため、Ｓ２１０段階において通常バンドであると判断され（Ｓ２１０にてＮｏ）、Ｓ２１５段階にてＮｏへ進み、Ｓ２２５段階にて通常バンドであると判断される。

（Ｇ）サブバンドｆｉがｂｄ６になると、Ｓ２１０段階にてＮｏ−Ｓ２１５段階へと進み、割り当てビット数bit[fi]は第３の閾値Th_bitよりも小さくなる。よって、Ｓ２２０に進み、検査しているサブバンドが劣化バンドであると判断する。

（Ｈ）サブバンドｆｉがｂｄ６〜ｂｄ５の間では、ｆｉ＝ｂｄ１０〜ｂｄ７の場合の流れと同様にして、Ｓ２１０にてＹｅｓ−Ｓ２３０にてＹｅｓ−Ｓ２３５の流れを繰り返す。サブバンドｆｉがｂｄ５になると、割り当てビット数bit[fi]が第３の閾値Th_bit以上となるため（Ｓ２３０にてＮｏ）、Ｓ２４０段階に進む。ｂｄ６〜ｂｄ５のバンド幅が第４の閾値Th_widthよりも大きい場合（Ｓ２４０にてＹｅｓ）、Ｓ２４５段階に進み、劣化フラグを１とし、劣化バンドの終了バンドをｆｉ＝ｂｄ５とする。これにより、ｂｄ６〜ｂｄ５を劣化バンドとして検出することができる。

（Ｉ）サブバンドｆｉがｂｄ５〜ｂｄ０の間では、ｂｄ７〜ｂｄ６の場合の流れと同様にして、Ｓ２１０にてＮｏ−Ｓ２１５にてＮｏ−Ｓ２２５の流れを繰り返す。そして、サブバンドｆｉ＝ｂｄ０と成った時点（Ｓ２５５にてＹｅｓ）で、劣化検出の手順は終了する。

図１１に示す例では、最大バンドがｂｄ７であり、「劣化」開始バンドがｂｄ６であり、「劣化」終了バンドがｂｄ５であることの情報を取得する。なお、図１１の例では、第３の閾値Th_bitを２ビットとし、第４の閾値Th_widthを２バンドとしたが、第３及び第４の閾値はこれらに限定されることなく、その他の値をとっても構わない。

図１２を参照して、図８の第２補正部２５が第２の補正信号を生成する方法を説明する。第２補正部２５は、劣化帯域の時間的に以前もしくは以後の周波数ごとの強度を示すデータ（スペクトルパワーや割り当てビット数など）から劣化帯域の第２の補正信号を推測する。例えば、図１２に示すように、時刻ｔにおいて最大バンド以下の途中バンドであるｂｄ６〜ｂｄ５において、音質の劣化が発生した場合、時刻ｔよりも以前の時刻（ｔ-１）及び／又は以後の時刻（ｔ+１）におけるｂｄ６〜ｂｄ５の復号データ（スペクトルパワー）をもとに、時間ｔで劣化したｂｄ６〜ｂｄ５のスペクトルパワーを推測する。具体的には、過去・未来のスペクトルパワーの平均値を第２の補正信号としても構わない。過去の時間帯でも劣化が発生している場合は、第１補正部２４と同様の手段で第２の補正信号を生成すればよい。

図１３を参照して、図９のＳ３５〜Ｓ５５段階における第２の補正信号フィルタ部２１、２６及び信号加算部１４の処理動作を説明する。

第２の補正信号フィルタ部（ＨＰＦ２１及びＢＰＦ２６）は、第１及び第２の補正信号のフィルタ係数をそれぞれ設定する。図１３の例では、ｂｄ７（最大バンド）以上のサブバンド、及びｂｄ６（「劣化」開始バンド）〜ｂｄ５（「劣化」終了バンド）のサブバンドが劣化バンドとして検出された。よって、第１の補正信号に適用するＨＰＦ２１のカットオフバンドをｂｄ７に設定し、第２の補正信号に適用するＢＰＦ２６の境界バンドをｂｄ６及びｂｄ５に設定する。なお、第２の実施例では、オーディオ信号のフィルタ係数は、総てのサブバンドが通過するように設定する。

これにより、ＨＰＦ２１は、補正信号のｂｄ７以上のサブバンドを通過させ、ＢＰＦ２６は、補正信号のｂｄ６〜ｂｄ５のサブバンドを通過させることになる。したがって、信号加算部１４は、ＨＰＦ２１を通過した第１の補正信号、ＢＰＦ２６を通過した第２の補正信号及びオーディオ信号（入力信号そのまま）を加算し、その後、補正処理後信号ＳＧ_ｏｕｔを復号すると、図１３に示すようになる。

なお、第１の実施例と同様、劣化するサブバンドは時間毎に異なるため、劣化バンドの検出及びフィルタ係数の調整は、復号処理の度に実施する。

このように、本発明の第２の実施例によれば、以下の作用効果が得られる。

劣化帯域検出部１１が、符号化されたオーディオ信号の各サブバンドの割り当てビット数から劣化バンドを検出し、第２の補正信号フィルタ部２１、２６が補正信号の劣化バンド（ｂｄ７以上、及びｂｄ６〜ｂｄ５）のみを通過させ、信号加算部１４が第２の補正信号フィルタ部２１、２６を通過した補正信号とオーディオ信号（入力信号そのまま）とを加算する。これにより、最大帯域以下の途中の帯域が劣化している場合やビットレートに応じて定まる特定の周波数以下の帯域から高域欠落が生じている場合であっても、最大帯域以下の途中の帯域を含む全周波数帯域の中から音質が劣化している周波数帯域を検出することができる。よって、最大帯域やビットレートによらない動的な補正を実施することができる。これにより、より原音に近く劣化の少ない音が再生できる。また、ここで示した帯域拡張・補正手法は、ＭＰ３プレーヤーなど民生用の携帯オーディオ機器やムービー機器における再生機能や、ソフトウェアによる再生ツールなど幅広い用途に適用することができる。

上記のように、本発明は、実施の形態及び第１及び第２の実施例によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。即ち、本発明はここでは記載していない様々な実施の形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲に係る発明特定事項によってのみ限定されるものである。

本発明の実施の形態に係わるオーディオ信号処理装置の構成を示すブロック図である。 図１の帯域拡張・補正装置を用いてオーディオ信号の帯域を拡張・補正する方法を示すフローチャートである。 本発明の第１の実施例に係わるオーディオ信号処理装置の構成を示すブロック図である。 図３のオーディオ信号処理装置を用いてオーディオ信号の帯域を拡張及び／又は補正する方法を示すフローチャートである。 図４のＳ１０段階の詳細な手順を示すフローチャートである。 図４のＳ１０段階において劣化帯域検出部１１がスペクトルパワーから劣化帯域を検出する例を示すグラフである。 図４のＳ３０〜Ｓ５０段階における第１の補正信号フィルタ部２１、第１のオーディオ信号フィルタ部２２及び信号加算部１４の処理動作を説明するグラフである。 本発明の第２の実施例に係わるオーディオ信号処理装置の構成を示すブロック図である。 図８のオーディオ信号処理装置を用いてオーディオ信号の帯域を拡張及び／又は補正する方法を示すフローチャートである。 図９のＳ１５段階の詳細な手順を示すフローチャートである。 図９のＳ１５段階において劣化帯域検出部１１が割り当てビット数から劣化帯域を検出する例を示すグラフである。 図８の第２補正部２５が第２の補正信号を生成する方法を説明するグラフである。 図９のＳ３５〜Ｓ５５段階における第２の補正信号フィルタ部２１、２６及び信号加算部１４の処理動作を説明するグラフである。 オーディオ信号を圧縮する一般的な手法を説明するためのグラフである。 図１５（ａ）は劣化した最大帯域以上に対して補正を加える一般的な補正手法を説明するためのグラフである。図１５（ｂ）はビットレートに応じた特定の周波数以上に対して補正を加える一般的な補正手法を説明するためのグラフである。 最大帯域より低い途中の帯域において音質が劣化した例を説明するためのグラフである。 最大帯域より低い途中の帯域において音質が劣化した場合に図１５（ａ）及び図１５（ｂ）に示す補正手法を適用した例を説明するグラフである。

符号の説明

１１ 劣化帯域検出部
１２ 補正信号生成部
１３ 帯域制御フィルタ部
１４ 信号加算部
２１ 第１の補正信号フィルタ部（ＨＰＦ）
２２ 第１のオーディオ信号フィルタ部（ＬＰＦ）
２３ 復号器
２４ 第１補正部
２５ 第２補正部
２６ 第２の補正信号フィルタ部（ＢＰＦ）

Claims (10)

1. 逐次入力される符号化されたオーディオ信号を繰り返し復号する際に該オーディオ信号の周波数帯域を拡張する及び／又は該オーディオ信号を補正するオーディオ信号処理装置において、
   前記オーディオ信号の周波数ごとの強度を示すデータから、音質が劣化している周波数帯域を検出する劣化帯域検出部と、
   前記オーディオ信号から前記音質が劣化している周波数帯域を補正するための補正信号を生成する補正信号生成部と、
   前記補正信号の前記音質が劣化している周波数帯域を含む周波数帯域を通過させ、前記オーディオ信号の前記音質が劣化している周波数帯域を含まない周波数帯域を通過させる帯域制御フィルタ部と、
   前記帯域制御フィルタ部を通過した前記補正信号と前記オーディオ信号とを加算する信号加算部と
   を備えることを特徴とするオーディオ信号処理装置。
2. 前記帯域制御フィルタ部は、
   前記補正信号の前記音質が劣化している周波数帯域の最低周波数以上の周波数帯域を通過させる第１の補正信号フィルタ部と、
   前記オーディオ信号の前記音質が劣化している周波数帯域の最低周波数よりも低い周波数帯域を通過させる第１のオーディオ信号フィルタ部とを有し、
   前記信号加算部は、前記第１の補正信号フィルタ部を通過した前記補正信号と、前記第１のオーディオ信号フィルタ部を通過した前記オーディオ信号とを加算する
   ことを特徴とする請求項１に記載のオーディオ信号処理装置。
3. 前記帯域制御フィルタ部は、前記補正信号の前記音質が劣化している周波数帯域だけを通過させる第２の補正信号フィルタ部を有し、
   前記信号加算部は、前記第２の補正信号フィルタ部を通過した前記補正信号と、前記オーディオ信号とを加算する
   ことを特徴とする請求項１に記載のオーディオ信号処理装置。
4. 前記オーディオ信号の周波数ごとの強度を示すデータとは、復号したオーディオ信号のスペクトルパワーであり、
   前記劣化帯域検出部は、前記スペクトルパワーが第１の閾値以下である周波数帯域が第２の閾値以上続く場合、当該周波数帯域を前記音質が劣化している周波数帯域として検出することを特徴とする請求項２又は３記載のオーディオ信号処理装置。
5. 前記オーディオ信号の周波数ごとの強度を示すデータとは、符号化されたオーディオ信号における、周波数帯域を分割する複数のサブバンドのそれぞれについて割り当てられたビット数であり、
   前記劣化帯域検出部は、前記ビット数が第３の閾値以下であるサブバンドが第４の閾値以上続く場合、当該サブバンドを前記音質が劣化している周波数帯域として検出することを特徴とする請求項２又は３記載のオーディオ信号処理装置。
6. 前記補正信号生成部は、復号したオーディオ信号のスペクトルパワーを累乗することにより前記補正信号を生成することを特徴とする請求項１乃至３いずれか一項に記載のオーディオ信号処理装置。
7. 前記補正信号生成部は、前記音質が劣化している周波数帯域の時間的に以前もしくは以後の周波数ごとの強度を示すデータから前記補正信号を推測することを特徴とする請求項１乃至３いずれか一項に記載のオーディオ信号処理装置。
8. 逐次入力される符号化されたオーディオ信号を繰り返し復号する際に該オーディオ信号の周波数帯域を拡張する及び／又は該オーディオ信号を補正するオーディオ信号処理方法において、
   前記オーディオ信号の周波数ごとの強度を示すデータから、音質が劣化している周波数帯域を検出する段階と、
   前記オーディオ信号から前記音質が劣化している周波数帯域を補正するための補正信号を生成する段階と、
   帯域制御フィルタ部を用いて前記補正信号の前記音質が劣化している周波数帯域を含む周波数帯域を通過させる段階と、
   前記帯域制御フィルタ部を用いて前記オーディオ信号の前記音質が劣化している周波数帯域を含まない周波数帯域を通過させる段階と、
   前記帯域制御フィルタを通過した前記補正信号と前記オーディオ信号とを加算する段階と
   を備えることを特徴とするオーディオ信号処理方法。
9. 前記帯域制御フィルタ部を用いて前記補正信号の前記音質が劣化している周波数帯域を含む周波数帯域を通過させる段階には、第１の補正信号フィルタ部を用いて前記補正信号の前記音質が劣化している周波数帯域の最低周波数以上の周波数帯域を通過させる行為が含まれ、
   前記帯域制御フィルタ部を用いて前記オーディオ信号の前記音質が劣化している周波数帯域を含まない周波数帯域を通過させる段階には、第１のオーディオ信号フィルタ部を用いて前記オーディオ信号の前記音質が劣化している周波数帯域の最低周波数よりも低い周波数帯域を通過させる行為が含まれ、
   前記帯域制御フィルタを通過した前記補正信号と前記オーディオ信号とを加算する段階では、前記第１の補正信号フィルタ部を通過した前記補正信号と、前記第１のオーディオ信号フィルタ部を通過した前記オーディオ信号とを加算する
   ことを特徴とする請求項８に記載のオーディオ信号処理方法。
10. 前記帯域制御フィルタ部を用いて前記補正信号の前記音質が劣化している周波数帯域を含む周波数帯域を通過させる段階には、第２の補正信号フィルタ部を用いて前記補正信号の前記音質が劣化している周波数帯域だけを通過させる行為が含まれ、
    前記帯域制御フィルタを通過した前記補正信号と前記オーディオ信号とを加算する段階では、前記第２の補正信号フィルタ部を通過した前記補正信号と、前記オーディオ信号とを加算する
    ことを特徴とする請求項８に記載のオーディオ信号処理方法。