JP2009104015A - 帯域拡張再生装置 - Google Patents

Abstract

【課題】入力信号から正しい調波構造の高域成分を、処理負荷が比較的軽い時間領域のみの処理で生成し、入力信号の高域に付加し、広帯域周波数特性を再現し、より自然な特性の信号を生成する帯域拡張再生装置を提供する。
【解決手段】ＨＰＦ１１とＢＰＦ１３により入力信号から２つの異なる帯域の信号（帯域成分）を抽出し、ＭＰＹ１５により周波数シフト処理を行う。また、高域側へ周波数シフトした帯域成分と、入力信号の接合部分のレベルを調整するために、ＨＰＦ２１で入力信号が高域拡張成分と隣接する帯域成分を抽出する。そして、レベル補正係数算出部２３とＭＰＹ２５により、周波数シフトした成分と、入力信号レベルとの差が小さくなるように、ＨＰＦ１７とＨＰＦ２１の出力値に基づいて、ゲインをコントロールする。そして、ＡＤＤＥＲ２９により、シフトした成分を入力信号の高域へ付加する。
【選択図】図２

Description

この発明は、入力信号に対して、新たに高域成分を生成し、それを入力信号の高域に付加することにより、広帯域な周波数特性の信号を生成する装置に関する。

周知のように、デジタル信号に変換される前の音楽信号は、高域まで整数次倍音列成分が自然に減衰するようなスペクトル包絡線で続いている。また、音楽信号には、非整数次高調波成分やノイズも存在している。図１は、あるオーケストラ楽曲のオーディオ信号をコンパクトディスク（以下、ＣＤと称する。）に記録する前と記録した後のスペクトルである。図１（Ａ）に示すように、ＣＤに記録する前のオーディオ信号は、強い高調波成分が一定の周波数間隔で高域まで続くことがわかる。この周波数間隔は、楽器の基音で決定されるものである。

一方、デジタルオーディオの再生可能な周波数帯域は、標本化定理のためにサンプリング周波数の半分までしか無い。例えば、図１（Ｂ）に示すように、ＣＤの場合、サンプリング周波数は４４．１ｋＨｚなので、周波数特性は２２．０５ｋＨｚで帯域制限されている。

ＣＤの音の聴感の特徴は、アナログオーディオと比較して「キツい」・「冷たい」といった表現で語られることも少なくない。このようなアナログオーディオと異なる聴感は、「サンプリング定理からくる帯域制限も原因の１つではないか」ということもしばしば指摘され議論されている。また、「ハイパーソニック・エフェクト」と呼ばれる、２０ｋＨｚ以上の非可聴帯域音が脳の血流に対して良好な効果を与えるような現象も研究報告されている。こうした背景もあり、高域を帯域制限された信号の帯域を高域へ拡張することへのニーズは多い。

そこで、失われた高域を再現することで帯域を拡張し、聴感を改善しようとする提案や製品が既に多く登場している。その手法は「補間手法」と「高域付加手法」に大別できる。

「補間手法」は、入力信号を２倍以上にアップサンプリングした後、サンプル間を多項式補間や独自の手法により求めた新たなサンプルを追加して、周波数帯域を拡張するものである。

「高域付加手法」は、以下に挙げる特許文献公報のように、おおまかに３つのタイプに分類できる。
１．入力信号を直接二乗・三乗演算し、高調波を発生させ、その成分から高域のみを取り出し高域拡張成分として入力信号に付加し帯域拡張するもの（特許文献１参照。）。

２．入力信号をＢＰＦ(Band Pass Filter)によって帯域制限した成分を整流したものと、ディザ発生回路で生成したノイズを合わせて高域拡張成分として、入力信号に付加するもの（特許文献２参照。）。

３．入力信号を一旦周波数領域へ変換しスペクトルを求める。求めたスペクトルをいくつかのバンドに等分割し、基準とするバンドとの相関を求め、相関が高いバンドを高域拡張成分とし、入力信号に付加した後、時間領域に変換し出力信号とするもの（特許文献３参照。）。
特開２００１−３５６７８８号公報 特開平４−２４５０６２号公報 特開２００３−１５６９５号公報

しかしながら、「補間手法」により発生する高調波は、基本的に既存成分の折り返し成分であり、正しい倍音列調波構造の再現ではないという問題があった。

一方、「高域付加手法」には以下のような問題があった。すなわち、特許文献１に開示された技術は、信号が正弦波の合成による整数次高調波のみから構成される調波構造であれば、二乗・三乗演算によって、正しい倍音列間隔を維持した高域拡張成分を生成することが可能である。しかし、通常、音楽信号は、整数次高調波のみから構成されることはほとんど無く、非整数次高調波やノイズ成分を多く含む。特に低域においては、打楽器等による非整数次高調波成分は多く存在する。そのため、そのような信号を二乗演算した場合、正しい倍音列間隔の高調波以外に、余分な周波数成分が多く発生してしまう。また、一般的に音響系デジタルシステム内部では、最大絶対値振幅を１．０、最小絶対値振幅を０．０として取り扱うため、二乗演算をした場合、生成される成分の振幅は指数関数的に減少することになる（ｅｘ：０．１^２＝０．０１)。そのため、入力信号の二乗・三乗から生成した成分を、高域拡張成分として、入力信号に付加した場合、スペクトル包絡線にギャップを生じ、不自然な周波数特性になるという問題があった。

特許文献２に開示された技術では、デジタルシステムにおいて、全波整流、半波整流、クリッピング等の非線形処理で高調波を発生させた場合、その高調波は必ずナイキスト周波数（サンプリング周波数の半分）で折り返し歪みが発生する。そのため、この折り返し歪みは、不要なノイズとして元の信号の帯域に混入することになるという問題があった。

特許文献３に開示された技術では、時間領域から周波数領域へ変換するためにはＦＦＴ（高速フーリエ変換）演算が必要であり、フレーム処理のためのバッファが必要となる。また、精度良く周波数解析するためにはＦＦＴポイント数も増やす必要があり、それに伴いバッファ容量も増加する。さらに、周波数領域で処理したものを再度時間領域へ変換するためには逆ＦＦＴ演算も必要となる。結果として処理負荷は増大し、民生オーディオ機器に実装されているＤＳＰの能力では実装できないおそれがあるという問題があった。

そこで、本発明は、以上のような既存の帯域拡張手法の問題点を踏まえて、入力信号から正しい調波構造の高域成分を、処理負荷が比較的軽い時間領域のみの処理で生成し、入力信号の高域に付加し、広帯域周波数特性を再現し、より自然な特性の信号を生成する帯域拡張再生装置を提供することを目的とする。

この発明は、上記の課題を解決するための手段として、以下の構成を備えている。

（１）入力信号に対して、新たに高域拡張成分を生成し、その高域拡張成分を前記入力信号の高域に付加して、広帯域な周波数特性の信号を生成する帯域拡張再生装置において、
高域拡張成分の元になる一定周波数以上の高域成分を前記入力信号から抽出する高域成分抽出手段と、
前記入力信号から倍音列間隔の情報を取得し、この情報に基づいて前記高域成分抽出手段が抽出した高域成分を、前記入力信号に前記高域拡張成分を付加する高域へ周波数シフトして、このシフトした高域成分である高域拡張成分を生成するシフト手段と、
を含むことを特徴とする。

この構成においては、帯域拡張再生装置では、高域成分抽出手段が、高域拡張成分の元になる帯域成分として、新たに生成する高域拡張成分においても存在するはずである倍音列を含んでいる一定周波数以上の高域成分を入力信号から抽出し、シフト手段が、高域拡張成分を前記入力信号に付加した際に前記入力信号と調和した倍音列間隔となるように、前記入力信号からキャリア成分を抽出し、このキャリア成分を用いて前記高域成分を周波数シフトして高域拡張成分を生成する。したがって、高域拡張成分を前記入力信号に付加した際に前記入力信号と調和した倍音列間隔となるように、入力信号からキャリア成分を抽出するので、高域拡張成分をどれくらいシフトすれば良いかを把握でき、調波構造的に正しい倍音列間隔の高域拡張成分を生成できる。また、高域成分抽出手段により、高域拡張成分に不要なノイズ成分が発生するのを抑制できる。さらに、時間領域処理のみを行うので、周波数領域の処理を使った手法と比較して処理負荷を抑制できる。これにより、より自然な聴感特性の音を再生できる。

（２）前記シフト手段が生成した高域拡張成分のレベルが、前記入力信号のレベル変動に適応して、レベル差がなくなるように補正して出力するレベル補正手段と、
前記入力信号と、前記レベル補正手段が出力した高域拡張成分と、を加算する加算手段と、
前記加算手段へ供給する入力信号を遅延させて、前記入力信号と前記レベル補正手段の出力信号の前記加算手段への供給タイミングを調整する遅延手段と、
を含むことを特徴とする。

この構成においては、レベル補正手段が、シフト手段が出力した高域拡張成分のレベルが入力信号の高域端のレベル変動に適応してレベル差が少なくなるように補正する。また、遅延手段が、加算手段へ供給する入力信号を遅延させて、入力信号とレベル補正手段の出力信号の前記加算手段への供給タイミングを調整し、加算手段が、入力信号と、レベル補正手段がレベルを補正した高域拡張成分と、を加算する。したがって、入力信号と高域拡張成分とのレベル差や時間差の無い、調波構造的に正しい倍音列間隔の高域拡張成分を生成できる。また、時間領域処理のみを行うので、周波数領域の処理を使った手法と比較して処理負荷を抑制できる。これにより、より自然な聴感特性の音を再生できる。

（３）１段または複数段の拡張処理手段であって、
前記入力信号から倍音列間隔の情報を取得し、この情報に基づいて、前段に拡張処理手段が接続されていない場合には前記レベル補正手段が補正した高域拡張成分である低次拡張成分を、前段に拡張処理手段が接続されている場合にはその拡張処理手段が出力した高次拡張成分である低次拡張成分を、この低次拡張成分の最大周波数近傍の帯域へ周波数シフトして、このシフトした低次拡張成分である高次拡張成分を出力する第２シフト手段と、
前記低次拡張成分が前記高次拡張成分と隣接する帯域成分を、前記低次拡張成分から抽出する第２隣接成分抽出手段と、
前記第２シフト手段が出力した高次拡張成分と、前記第２隣接成分抽出手段が出力した帯域成分と、に基づいて、前記高次拡張成分のレベルを補正する係数を算出する第２係数算出手段と、
前記第２係数算出手段が算出した係数に基づいて、前記第２シフト手段が出力した高次拡張成分のレベルが、前記低次拡張成分のレベル変動に適応して、レベル差が少なくなるように補正して出力する第２レベル補正手段と、
を含む拡張処理手段を備え、
前記加算手段は、前記入力信号と、前記レベル補正手段が出力した高域拡張成分である低次拡張成分に加えて、さらに前記各第２レベル補正手段が出力した高次拡張成分を加算し、
前記遅延手段は、前記加算手段へ供給する入力信号に加えて、さらに前記低次拡張成分と、最終段を除く前記各拡張処理手段が出力した前記高次拡張成分と、を遅延させて、これらを前記加算手段へ供給するタイミングを調整する遅延手段と、
を備えたことを特徴とする。

この構成においては、帯域拡張再生装置は、複数段の拡張処理手段で、低次拡張成分を用いて、さらに高域へ信号を拡張する高次拡張成分を生成する。したがって、入力信号に対して、新たに複数の高域拡張成分を付加することができ、非常に広帯域の信号を生成することができる。

（４）前記入力信号が前記高域拡張成分と隣接する帯域成分を、前記入力信号から抽出する隣接成分抽出手段と、
前記シフト手段が出力した高域拡張成分と、前記隣接成分抽出手段が抽出した帯域成分と、に基づいて、前記高域拡張成分のレベルを補正する係数を算出する係数算出手段と、
を含み、
前記レベル補正手段は、前記係数算出手段が算出した係数に基づいて、前記シフト手段が出力した高域拡張成分のレベルが、前記入力信号のレベル変動に適応して、レベル差がなくなるように補正して出力することを特徴とする。

この構成においては、隣接成分抽出手段が、前記入力信号が高域拡張成分と隣接する帯域成分を抽出して、係数算出手段が、シフト手段が出力した高域拡張成分と、隣接成分抽出手段が出力した帯域成分と、に基づいて、高域拡張成分のレベルを補正する係数を算出し、レベル補正手段が、係数算出手段が算出した係数に基づいて、シフト手段が出力した高域拡張成分のレベルが、入力信号の高域端のレベル変動に適応してレベル差が少なくなるように補正する。したがって、既存成分である入力信号と滑らかにつながる高域拡張成分を生成できる。

（５）前記シフト手段は、
前記入力信号に前記高域拡張成分を付加する高域の周波数から前記一定周波数を減算した周波数を中心とする一定範囲の帯域成分をキャリア成分として前記入力信号から抽出するキャリア抽出手段と、
前記高域成分抽出手段が抽出する高域成分と、前記キャリア抽出手段が抽出したキャリア成分と、を乗算して、前記高域成分を前記入力信号に前記高域拡張成分を付加する高域へ周波数シフトさせた前記高域拡張成分を出力する拡張成分生成手段と、
を備えたことを特徴とする。

この構成においては、シフト手段では、キャリア抽出手段が、高域拡張成分を付加する高域へ高域成分を周波数シフトするために、入力信号に高域拡張成分を付加する高域の周波数から一定周波数を減算した周波数を中心とする一定範囲の帯域成分をキャリア成分として抽出し、拡張成分生成手段が、高域成分抽出手段が抽出する高域成分と、キャリア抽出手段が抽出したキャリア成分と、を乗算して、高域へ周波数シフトさせた高域拡張成分を出力する。高域成分抽出手段が抽出した高域成分は、１１ｋＨｚ〜１２ｋＨｚ程度の正弦波をキャリアとして周波数シフトしてやれば可能であるが、倍音列間隔が時間とともに変化する音楽信号においては、固定周波数の正弦波による周波数シフトでは正しい倍音列間隔にならない。本発明では、これを回避するために、入力信号から倍音列間隔の情報を取得できる帯域をキャリアとしてキャリア抽出手段で抽出し、高域拡張成分を生成する。したがって、既存成分の倍音列が正しく高域まで連続した高域拡張成分を生成できる。

（６）前記キャリア抽出手段は、前記一定範囲の帯域成分として、どの周波数を選択しても必ず楽器の基音の整数次高調波成分を最低１つ含む最小範囲を抽出することを特徴とする。

この構成においては、どの周波数を選択しても必ず楽器の基音の整数次高調波成分を最低１つ含む最小範囲を抽出することで、入力信号から倍音列間隔の情報を取得できる。したがって、この帯域成分をキャリアとして使うことで、高域成分抽出手段が抽出した高域成分を正しい倍音列間隔を保ったまま、この高域成分を入力信号の最大周波数付近へ周波数シフトすることができる。また、帯域を制限して低域の整数次倍音列以外の成分をカットすることで、周波数シフト後に不要な成分が発生することを抑えることができる。

（７）前記係数算出手段は、
前記隣接成分抽出手段が抽出した前記入力信号が高域拡張成分と隣接する帯域成分の瞬時値からエンベロープを求めて、それをレベル値として出力する第１エンベロープ検出手段と、
前記シフト手段が出力した高域拡張成分の瞬時値からエンベロープを求めて、それをレベル値として出力する第２エンベロープ検出手段と、
前記第１エンベロープ検出手段及び前記第２エンベロープ検出手段の出力値のレベル差を検出して、その差がなくなるように前記高域拡張成分のレベルを補正する係数を算出する演算手段と、
を備えたことを特徴とする。

この構成においては、係数算出手段では、第１エンベロープ検出手段が、隣接成分抽出手段が抽出した前記入力信号が高域拡張成分と隣接する帯域成分の瞬時値からエンベロープを求めて、それをレベル値として出力し、第２エンベロープ検出手段が、シフト手段が出力した高域拡張成分の瞬時値からエンベロープを求めて、それをレベル値として出力し、演算手段が、第１エンベロープ検出手段及び第２エンベロープ検出手段の出力値のレベル差を検出して、その差がなくなるように前記高域拡張成分のレベルを補正する係数を算出する。したがって、入力信号と滑らかにつながるスペクトル包絡線の高域拡張成分を生成することができる。

（８）入力信号から無相関信号を除去して相関が高い成分を出力する線スペクトル強調手段を、前記シフト手段の後段に備えたことを特徴とする。

この構成においては、帯域拡張再生装置は、シフト手段の後段に、入力信号から無相関信号を除去して相関が高い成分を出力する線スペクトル強調手段を備えている。したがって、不要な成分が抑えられた倍音列高調波をキャリアとして使うことができ、周波数シフト乗算出力に不要な成分が発生するのを抑えることができる。

この発明によれば、入力信号からキャリア成分を抽出するので、高域拡張成分をどれくらいシフトすれば良いかを把握でき、調波構造的に正しい倍音列間隔の高域拡張成分を生成できる。また、高域拡張成分を生成するのに整流やクリッピング等の非線形処理を使用しないので、余分なノイズの発生を防止することができ、生成した高域成分のレベルを適応的に元成分のレベルと合わせているため、スペクトル包絡線のずれを少なくすることができ、時間領域処理のみであるので、周波数領域の処理を使った手法と比較して処理負荷を軽くすることができる。したがって、入力信号から正しい調波構造の高域成分を、処理負荷が比較的軽い時間領域のみの処理で生成して入力信号の高域に付加することで、広帯域周波数特性を再現するので、より自然な聴感特性の音を提供することができる。

図２は、本発明の実施形態に係る帯域拡張再生装置の概略構成を示すブロック図であり、（Ａ）は帯域拡張再生装置の全体構成を示すブロック図、（Ｂ）はレベル補正係数算出部の構成を示すブロック図、（Ｃ）はエンベロープ検出部の構成を示すブロック図である。図３は、帯域拡張再生装置の各部の入出力信号を示す図である。図４は、（Ａ）が楽器の基音及びその整数次高調波を示すグラフであり、（Ｂ）は、エンベロープ検出の入出力信号を示すグラフである。

以下の説明では、帯域拡張再生装置の一例として、高域を帯域制限されたオーディオ信号を広帯域化する処理を行うオーディオ帯域拡張再生装置を例に挙げて説明する。

なお、図２（Ａ）において、オーディオ帯域拡張再生装置への入力信号は、その前段で２倍以上にアップサンプリングされ、その際発生する不要な折り返し成分はＬＰＦで除去済みであるとする。また、アップサンプリング前の入力信号のサンプリング周波数をｆｓ（具体値の例として４４．１ｋＨｚとする。）とし、オーディオ帯域拡張再生装置への入力信号は、高域を帯域制限された信号であり、図３（Ａ）に示すようにｆｓ／２以下とする。

図２（Ａ）に示すように、オーディオ帯域拡張再生装置（以下、再生装置と称する。）１は、高域成分抽出手段であるハイパスフィルタ（以下、ＨＰＦと称する。）１１、キャリア抽出手段であるバンドパスフィルタ（以下、ＢＰＦと称する）１３、拡張成分生成手段である乗算器（以下、ＭＰＹと称する）１５及びＨＰＦ１７、隣接成分抽出手段であるＨＰＦ２１、係数算出手段であるレベル補正係数算出部（以下、係数算出部と称する。）２３、レベル補正手段であるＭＰＹ２５、遅延手段である遅延部２７、並びに加算手段である加算部（以下、ＡＤＤＥＲと称する。）２９を備えている。

ＨＰＦ１１は、入力信号から、高域拡張成分の元になる高域成分を抽出する。本発明では、ｆｓ／２以上の帯域に倍音列を再現するために、ｆｓ／２以下の帯域で、倍音列成分がそれ以外の成分より優勢に存在している高域の信号を使用する。すなわち、図１（Ａ）に示したように、ｆｓ／２（２２．０５ｋＨｚ）以上に存在している倍音列は、もともと高域（例えばｆｓ／４（１１．０２５ｋＨｚ）以上の帯域）に残っていたものが継続しているケースが大半である。一方、例えばｆｓ／４以下に存在する倍音列は、既に減衰しているか、ｆｓ／２以上では存在しないものを含んでいる。そのため、本発明では、オーディオ信号の高域の部分から高域拡張成分の元になる帯域成分を抽出する。例えば、図３（Ｂ）に示すように、ｆｓ／４以上の帯域を使用する。

ＢＰＦ１３は、ＨＰＦ１１で抽出した成分をｆｓ／２近傍の高域へシフトするように、つまりＨＰＦ１１で抽出した成分の低域側がｆｓ／２付近になるように、キャリアとして用いるための成分を抽出する。１１ｋＨｚ〜１２ｋＨｚ程度の正弦波をキャリアとして用いれば、ＨＰＦ１１で抽出した成分の低域側がｆｓ／２付近になるように周波数シフトすることは可能である。しかし、倍音列間隔が時間とともに変化する音楽信号においては、固定周波数の正弦波による周波数シフトでは正しい倍音列間隔にならない。そこで、本発明では、この問題を回避するために、入力信号からキャリアとして使える帯域として、入力信号に高域拡張成分を付加する高域の周波数から、ＨＰＦ１１が抽出する高域成分の下端周波数（ｆｓ／４）を減算した周波数を中心とする一定範囲の帯域を、このバンドパスフィルタで抽出する。すなわち、倍音列間隔の情報を入力信号から取得するので、高域拡張成分をシフトする際にどれくらいシフトすれば良いかがわかり、調波構造的に正しい（調和した）倍音列間隔の高域拡張成分を生成できる。

図４（Ａ）に示すグラフは、横軸に基音周波数を、縦軸にその整数次高調波周波数をプロットしている。基音は２００Ｈｚ〜４．２ｋＨｚの範囲に設定している。これは、一般的にピアノの最高音が、アコースティック楽器の中で基音として最も高い周波数であり、その周波数が約４．２ｋＨｚだからである。

図４（Ａ）から、９．４５ｋＨｚ〜１２．６ｋＨｚの帯域は、どの周波数を選択しても必ず楽器の基音の整数次高調波成分（倍音成分）を最低１つ含む最小範囲であることがわかる。したがって、サンプリング周波数ｆｓが４４．１ｋＨｚの場合には、ＢＰＦでこの９．４５ｋＨｚ〜１２．６ｋＨｚの帯域を抽出して、キャリアとして使うことによって、ＨＰＦ１１の出力成分を正しい倍音列間隔を保ったまま、ＨＰＦ１１が抽出した高域成分を約９ｋＨｚ〜１２ｋＨｚ上の帯域（つまり、入力信号の最大値である２２ｋＨｚ付近）へ周波数シフトすることが可能となる。また、帯域を制限して低域の整数次倍音列以外の成分をカットすることで、周波数シフト後に不要な成分が発生することを抑える効果もある。

なお、図３（Ｃ）に示すように、９．４５ｋＨｚ〜１２．６ｋＨｚの中央の周波数がｆｓ／４（１１．０２５ｋＨｚ）である。また、ＢＰＦ１３が抽出する帯域が上記の範囲よりも狭いと、楽器の基音の整数次高調波成分を１つも含まない場合が発生し、上記の範囲よりも広いと、周波数シフトする際に必要の無い成分を多く含むことになるため、上記の範囲が最適値である。

ＭＰＹ１５は、ＨＰＦ１１の出力を入力信号、ＢＰＦ１３の出力をキャリアとして乗算することで、高域拡張成分を入力信号に付加した際に入力信号と調和した倍音列間隔となるように、入力信号の最大周波数近傍の帯域へＨＰＦ１１が抽出した成分を周波数シフトする。

なお、正弦波の乗算公式からもわかるように、乗算した成分は、高域側へシフトした成分と、低域側へシフトした成分の両方を含んでいる。（図３（Ｄ）参照）。

ＨＰＦ１７は、ＭＰＹ１５の出力成分のうち、低域側へシフトした成分は不要なので、高域側へシフトした成分のみを抽出して係数算出部２３及びＭＰＹ２５へ出力する。カットオフ周波数は、ｆｓ／２より若干低い周波数にする。これにより、図３（Ｅ）に示すように、帯域成分がｆｓ／２〜３ｆｓ／４の高域拡張成分が生成される。

ＨＰＦ２１は、入力信号が高域拡張成分と隣接する帯域を抽出する。これは、高域拡張成分と入力信号の接合部分のレベルを調整してきれいに接合するためである。すなわち、ＨＰＦ２１が、入力信号が高域拡張成分と隣接する高域成分を抽出して係数算出部２３に出力することで、係数算出部２３において、ＨＰＦ１７が出力した高域拡張成分のレベルを、ＨＰＦ２１が抽出した高域成分に基づいて補正することができる。ＨＰＦ２１には、カットオフ周波数として、例えば、ｆｓ／３程度の値を設定する。

係数算出部２３は、ＨＰＦ１７の出力とＨＰＦ２１の出力のレベル差を検出して、その差を無くすような係数を算出してＭＰＹ２５へ出力する。係数算出部２３は、図２（Ｂ）に示すような構成である。すなわち、係数算出部２３は、第１エンベロープ検出手段である第１エンベロープ検出部３１、第２エンベロープ検出手段である第２エンベロープ検出部３３、演算手段である加算部３５及び対数−リニア変換部３７、並びにローパスフィルタ（以下、ＬＰＦと称する。）３９を備えている。

また、第１エンベロープ検出部３１及び第２エンベロープ検出部３３は、図２（Ｃ）に示すような構成である。すなわち、第１エンベロープ検出部３１及び第２エンベロープ検出部３３は、絶対値算出部４１、対数変換部４３、定数記憶部４５、遅延素子４７、加算部４９、比較判定部５１、及びセレクタ５３を備えている。

絶対値算出部４１は、入力信号の絶対値を算出して、対数変換部４３に出力する。

対数変換部４３は、入力された値を対数変換した値（ａ）を、比較判定部５１及びセレクタ５３に出力する。対数変換部４３が行うのは、一般的な対数変換であり、入力をｕ、変換後の値をｙとすると次式で求められる。
ｙ＝２０ｌｏｇ（ｕ）
定数記憶部４５は、予め設定された定数（時定数）を記憶しており、この定数を加算部４９に出力する。

遅延素子４７は、セレクタ５３が出力した１サンプル前の値を保持しており、この値を加算部４９に出力する。

加算部４９は、遅延素子４７が出力した１サンプル前の値から定数記憶部４５が出力した定数を減算した値（ｂ）を、比較判定部５１及びセレクタ５３に出力する。

比較判定部５１は、対数変換部４３が出力した値（ａ）と、加算部４９が出力した値（ｂ）を比較する。そして、ａ＞ｂであればセレクタ５３に０を出力し、ａ≦ｂであればセレクタ５３に１を出力する。

セレクタ５３は、対数変換部４３が出力した値（ａ）、または加算部４９が出力した値（ｂ）を選択して出力する。すなわち、比較判定部５１が０を出力した場合には、対数変換部４３が出力した値（ａ）を出力する。また、比較判定部５１が１を出力した場合には、加算部４９が出力した値（ｂ）を出力する。

第１エンベロープ検出部３１及び第２エンベロープ検出部３３の入力と出力は、図４（Ｂ）に示すような波形となる。なお、定数記憶部４５に記憶させた定数（時定数）の値によって、エンベロープの傾きを変更することができる。本発明では、検出したエンベロープの値の変動が急であると聴取者に違和感（ふらつき感）を与え、検出したエンベロープの変動が遅すぎると正確なエンベロープ検出にならず、正しく入力に追従していけない。そのため、図４（Ｂ）に示したように、エンベロープの出力値は、ある時定数で緩やかに減衰し、その値よりも大きな値が入力されると、その大きな値を出力値に置き換えるように設定している。

なお、定数記憶部４５に記憶させた定数（時定数）の値は、実験等により設定すると良い。

係数算出部２３において、第１エンベロープ検出部３１は、ＨＰＦ２１が出力した、入力信号が高域拡張成分と隣接する帯域成分である入力信号の瞬時値からエンベロープを求め、それをレベル値として出力する。

第２エンベロープ検出部３３は、ＨＰＦ１７が出力した交流信号の高域成分である入力信号の瞬時値からエンベロープを求め、それをレベル値として出力する。

加算部３５は、第１エンベロープ検出部３１が出力した入力１のレベルエンベロープと、第２エンベロープ検出部３３が出力した入力のレベルエンベロープと、の差分を算出して、対数−リニア変換部３７に出力する。

対数−リニア変換部３７は、加算部３５が出力した差分値（対数値）をリニアな値に変換する。なお、ＭＰＹ２５で乗算を行うためには、レベル補正係数算出部２３が出力する係数はリニア値でなければならない。そのため、第１エンベロープ検出部３１，第２エンベロープ検出部３３で対数変換した値を、対数−リニア変換部３７で再変換する。対数−リニア変換部３７で行う変換は対数変換の逆なので、入力をｙ、変換後の値をｐとすると、次式により変換できる。
ｐ＝１０^ｙ／２０
ＬＰＦ３９は、対数−リニア変換部３７が出力した値を平滑化してＭＰＹ２５へ出力する。なお、図４（Ｂ）に示したように、エンベロープの値が増加する際の変動が急峻であるため、ＬＰＦ３９は、この変動を抑制するためのものである。

なお、レベル補正係数算出部２３の構成は、対数の差分を使用せずに構成することもできる。その場合には、対数変換部４３と対数−リニア変換部３７を除き、加算部３５を除算器に変更して構成すれば良い。

図２（Ａ）に示したように、ＭＰＹ２５は、係数算出部２３から出力される係数と、ＨＰＦ１７から出力される高域拡張成分を乗算して、その積であるレベル調整された高域拡張成分をＡＤＤＥＲ２９へ出力する。この処理によって、ＭＰＹ２５が出力した高域拡張成分のレベルは、入力信号の高域端のレベル変動に適応して、レベル差が少なくなるよう制御される。

ＡＤＤＥＲ２９は、入力信号とレベル補正された高域拡張成分を加算し出力する。

遅延部２７は、ＡＤＤＥＲ２９による入力信号と高域拡張成分の加算合成の前に、入力信号を遅延させて、高域拡張成分の生成処理にかかった時間遅延との整合をとる。

再生装置１では、以上のような構成により、高域を帯域制限された信号に対して、新たに高域成分を生成し、それを元の入力信号の高域に付加して、帯域制限前の広帯域周波数特性を再現する。図５は、帯域制限されたオーディオ信号を、再生装置により帯域拡張処理後のスペクトルを示す図である。図５において、０ｋＨｚ〜２２ｋＨｚのスペクトルが元のオーディオ信号（入力信号）であり、２０ｋＨｚ〜３３ｋＨｚのスペクトルが帯域拡張したオーディオ信号（高域拡張成分）である。図５に示したように、加算合成したオーディオ信号は、不要な折り返し成分など無く、また倍音列間隔も正しい調波構造を保ち高域へ拡張されていることがわかる。

次に、本発明の別の形態を説明する。オーディオ信号の帯域をさらに高域へ拡張したい場合には、同様の処理を最初に拡張した高域成分に対して行うように構成すれば良い。図６は、オーディオ信号をさらに高域へ拡張する構成を示すブロック図である。図７は、複数段の高域拡張成分生成部を備えた帯域拡張再生装置の構成を示すブロック図である。

図６（Ａ）に示す再生装置３は、図２（Ａ）に示した再生装置１の構成に、拡張処理部１０−２を付加したものであり、拡張処理部１０−２は、ＭＰＹ２５が出力したレベル調整された高域拡張成分から、入力信号をさらに高域へ拡張する高域拡張成分を生成する。

ここで、図６において、図２（Ａ）と同様の構成には同符号を付してその説明を省略する。

再生装置３は、再生装置１と同様に、ＨＰＦ１１、ＢＰＦ１３、ＭＰＹ１５、ＨＰＦ１７、ＨＰＦ２１、係数算出部２３、ＭＰＹ２５、遅延部２７、及びＡＤＤＥＲ２９を備えている。また、再生装置３は、第２高域成分抽出手段であるＨＰＦ１１−２、第２シフト手段であるＭＰＹ１５−２及びＨＰＦ１７−２、第２隣接成分抽出手段であるＨＰＦ２１−２、第２係数算出手段であるレベル補正係数算出部（以下、係数算出部と称する。）２３−２、並びに第２レベル補正手段であるＭＰＹ２５−２から成る拡張処理部１０−２を備えている。

なお、拡張処理部１０−２は、第２シフト手段の一部であるＢＰＦ１３が抽出した成分をＭＰＹ１５−２に入力する構成としたが、ＢＰＦ１３−２を新たに設けるようにしても良い。

ＢＰＦ１３は、ＭＰＹ２５が出力したレベル調整された高域拡張成分（低次拡張成分）をＨＰＦ１１で抽出した成分を３ｆｓ／４近傍の高域へシフトするための成分を抽出する。すなわち、前記のように、一例として９．４５ｋＨｚ〜１２．６ｋＨｚの帯域成分をキャリアとして抽出する。

ＭＰＹ１５−２は、ＭＰＹ２５の出力（低次拡張成分）を入力信号、ＢＰＦ１３−２の出力をキャリアとして乗算することで、低次拡張成分の最大周波数近傍の帯域へＭＰＹ２５が抽出した成分を周波数シフトする。

ＨＰＦ１７−２は、ＭＰＹ１５−２の出力成分のうち、高域側へシフトした成分のみを抽出して係数算出部２３−２及びＭＰＹ２５−２へ出力する。カットオフ周波数は、３ｆｓ／４より若干低い周波数にする。これにより、帯域成分が３ｆｓ／４〜ｆｓの高域拡張成分（高次拡張成分）が生成される。

ＨＰＦ２１−２は、高域拡張成分と低次拡張成分の接合部分のレベルを調整してきれいに接合するために、低次拡張成分が高域拡張成分と隣接する帯域（帯域成分）を抽出する。ＨＰＦ２１−２には、カットオフ周波数として、例えば、２ｆｓ／３程度の値を設定する。

係数算出部２３−２は、ＨＰＦ１７−２の出力（高次拡張成分）とＨＰＦ２１−２の出力（帯域成分）のレベル差を検出して、その差を無くすような係数を算出してＭＰＹ２５−２へ出力する。なお、係数算出部２３−２は、係数算出部２３と同様の構成である。

ＭＰＹ２５−２は、係数算出部２３−２から出力される係数と、ＨＰＦ１７−２から出力される高域拡張成分（高次拡張成分）を乗算して、その積であるレベル調整された高域拡張成分をＡＤＤＥＲ２９へ出力する。

ＡＤＤＥＲ２９は、遅延部２７が出力した入力信号と、遅延部２７−２が出力した高域拡張成分（低次拡張成分）と、ＭＰＹ２５−２が出力した高域拡張成分（高次拡張成分）を加算し出力する。

遅延部２７−２は、ＡＤＤＥＲ２９による入力信号と各拡張成分の加算合成の前に、入力信号を遅延させて、高域拡張成分の生成処理にかかった時間遅延との整合をとる。

これにより、入力信号に対して、入力信号から生成した高域拡張成分（低次拡張成分）と、ＭＰＹ２５が出力した高域拡張成分から生成した高域拡張成分（高次拡張成分）を付加して、さらに広帯域な周波数特性の信号を生成できる。

なお、ＭＰＹ２５が出力する成分は、ＨＰＦ１１により抽出された入力信号の高域成分がベースであり、不要な信号をほとんど含んでいないので、拡張処理部１０−２には、ＨＰＦ１１に相当するフィルタを設けていない。

次に、さらに広帯域な周波数特性の信号を生成する場合には、図６に示した再生装置３の拡張処理部１０−２の後段に、複数の拡張処理部を設けると良い。すなわち、図７に示すように、拡張処理部１０−２の後段に、前段の拡張処理部が出力した成分を入力信号とするｎ段の拡張処理部１０−３〜１０−ｎを設けることで、さらに広帯域な周波数特性の信号を生成することが可能となる。

図７に示した再生装置５において、拡張処理部１０−３〜１０−ｎは、拡張処理部１０−２と同様の構成である。また、最終段の拡張処理部１０−ｎを除く各拡張処理部１０−２〜１０−（ｎ−１）が出力した高域拡張成分は、遅延部２７−３〜２７−ｎにより、各高域拡張成分及び入力信号の出力タイミングが一致するように、それぞれ遅延処理がなされて、ＡＤＤＥＲ２９で加算合成される。

なお、再生装置５では、各拡張処理部にＢＰＦ１３−２〜１３−ｎを設けた構成としたが、ＢＰＦ１３の出力を各ＭＰＹ１５−２〜１５−ｎに入力するように構成することも可能である。

次に、本発明のさらに別の形態を説明する。図８は、適応線スペクトル強調部を備えた再生装置のブロック図、及び適応線スペクトル強調部の構成を示すブロック図である。図８（Ａ）に示す再生装置７は、ＨＰＦ１７と係数算出部２３の間に、線スペクトル強調手段である適応線スペクトル強調部（Adaptive Line Enhancer：以下、ＡＬＥと称する。）１９を設けたものであり、その他の構成は、図１に示した再生装置１と同様である。そのため、ここでは、ＡＬＥ１９についてのみ説明する。

ＡＬＥ１９は、一般的に使用されているものと同様のタイプで、図８（Ｂ）に示すように、ＦＩＲフィルタ６１Ａ及び加算器６１Ｂから成る適応フィルタ６１と、遅延器６３から構成される。適応フィルタ６１は、入力信号から無相関信号を除去し、相関が高い成分を出力するように動作するため、ＨＰＦ１７の出力の無相関成分を抑え、倍音列から構成される高調波成分を強調することができる。よって、不要な成分が抑えられた倍音列高調波をキャリアとして使うことができ、周波数シフト乗算出力に不要な成分が発生することを抑えられる。適応フィルタの構成は、特に規定しないが、リアルタイムの演算負荷を考慮すると現実的にはＬＭＳアルゴリズムやＮＬＭＳアルゴリズムが望ましい。フィルタのタップ数や係数更新のステップサイズは、許容できる処理容量と効果を考慮し、実験から適切に決定すれば良い。また遅延のサイズは、１〜１０数サンプル程度の範囲で、実験し効果的なものを決定すれば良い。再生する音楽ジャンルごとに、効果的な遅延数を求めて、ユーザが切り替えられるようにしても良い。

なお、ＡＬＥ１９は、図６に示した再生装置３や図７に示した再生装置５の各拡張処理部１０−１〜１０−ｎにも、同様に設けることで、同様の効果が得られる。

以上のように、本発明の帯域拡張再生装置では、入力信号から正しい調波構造の高域成分を、処理負荷が比較的軽い時間領域のみの処理で生成し、入力信号の高域に付加し、広帯域周波数特性を再現し、より自然な聴感特性の音を提供することができる。

なお、以上の説明では、サンプリング周波数ｆｓの具体的な値が４４．１ｋＨｚの場合を例に挙げて説明したが、本発明はこれに限るものではなく、当然他の値であっても良い。

また、以上の説明では、帯域拡張再生装置により、高域を帯域制限されたオーディオ信号を広帯域化する処理を行う場合について説明したが、本発明はこれに限定するものではなく、高域の帯域制限の有無にかかわらず、入力信号に対して新たに高域成分を生成し、それを入力信号の高域に付加することにより、広帯域な周波数特性の信号を生成する処理であれば、どのような処理にも適用可能である。例えば、ＭＰ３オーディオプレーヤに適用することで、エンコード時に失われた高域の倍音成分を復元することが可能になる。

あるオーケストラ楽曲のオーディオ信号をコンパクトディスクに記録する前と記録した後のスペクトルである。 本発明の実施形態に係る帯域拡張再生装置の概略構成を示すブロック図である。 帯域拡張再生装置の前段部分における各部の入出力信号を示す図である。 楽器の基音及びその整数次高調波を示すグラフ、及びエンベロープ検出の入出力信号を示すグラフである。 帯域制限されたオーディオ信号を、再生装置により帯域拡張処理後のスペクトルを示す図である。 オーディオ信号をさらに高域へ拡張する構成を示すブロック図である。 複数段の高域拡張成分生成部を備えた帯域拡張再生装置の構成を示すブロック図である。 適応線スペクトル強調部を備えた再生装置のブロック図、及び適応線スペクトル強調部の構成を示すブロック図である。

符号の説明

１，３，５，７…再生装置 １０−２〜１０−ｎ…拡張処理部 １１，１７，１７−２〜１７−ｎ，２１，２１−２〜２１−ｎ…ハイパスフィルタ（ＨＰＦ） １３，１３−２〜１３−ｎ…バンドパスフィルタ（ＢＰＦ） １５，１５−２〜１５−ｎ，２５，２５−２〜２５−ｎ…乗算器（ＭＰＹ） １９…適応線スペクトル強調部（ＡＬＥ） ２３，２３−２−２３−ｎ…レベル補正係数算出部 ２７，２７−２〜２７−ｎ…遅延部 ２９…加算部（ＡＤＤＥＲ） ３１…第１エンベロープ検出部 ３３…第２エンベロープ検出部 ３５…加算部 ３７…対数−リニア変換部 ３９…ローパスフィルタ（ＬＰＦ） ４１…絶対値算出部 ４３…対数変換部 ４５…定数記憶部 ４７…遅延素子 ４９…加算部 ５１…比較判定部 ５３…セレクタ ６１…適応フィルタ ６１Ａ…ＦＩＲフィルタ ６１Ｂ…加算器 ６３…遅延器

Claims (8)

1. 入力信号に対して、新たに高域拡張成分を生成し、その高域拡張成分を前記入力信号の高域に付加して、広帯域な周波数特性の信号を生成する帯域拡張再生装置において、
   高域拡張成分の元になる一定周波数以上の高域成分を前記入力信号から抽出する高域成分抽出手段と、
   前記入力信号から倍音列間隔の情報を取得し、この情報に基づいて前記高域成分抽出手段が抽出した高域成分を、前記入力信号に前記高域拡張成分を付加する高域へ周波数シフトして、このシフトした高域成分である高域拡張成分を生成するシフト手段と、
   を含む帯域拡張再生装置。
2. 前記シフト手段が生成した高域拡張成分のレベルが、前記入力信号のレベル変動に適応して、レベル差がなくなるように補正して出力するレベル補正手段と、
   前記入力信号と、前記レベル補正手段が出力した高域拡張成分と、を加算する加算手段と、
   前記加算手段へ供給する入力信号を遅延させて、前記入力信号と前記レベル補正手段の出力信号の前記加算手段への供給タイミングを調整する遅延手段と、
   を含む請求項１に記載の帯域拡張再生装置。
3. １段または複数段の拡張処理手段であって、
   前記入力信号から倍音列間隔の情報を取得し、この情報に基づいて、前段に拡張処理手段が接続されていない場合には前記レベル補正手段が補正した高域拡張成分である低次拡張成分を、前段に拡張処理手段が接続されている場合にはその拡張処理手段が出力した高次拡張成分である低次拡張成分を、この低次拡張成分の最大周波数近傍の帯域へ周波数シフトして、このシフトした低次拡張成分である高次拡張成分を出力する第２シフト手段と、
   前記低次拡張成分が前記高次拡張成分と隣接する帯域成分を、前記低次拡張成分から抽出する第２隣接成分抽出手段と、
   前記第２シフト手段が出力した高次拡張成分と、前記第２隣接成分抽出手段が出力した帯域成分と、に基づいて、前記高次拡張成分のレベルを補正する係数を算出する第２係数算出手段と、
   前記第２係数算出手段が算出した係数に基づいて、前記第２シフト手段が出力した高次拡張成分のレベルが、前記低次拡張成分のレベル変動に適応して、レベル差が少なくなるように補正して出力する第２レベル補正手段と、
   を含む拡張処理手段を備え、
   前記加算手段は、前記入力信号と、前記レベル補正手段が出力した高域拡張成分である低次拡張成分に加えて、さらに前記各第２レベル補正手段が出力した高次拡張成分を加算し、
   前記遅延手段は、前記加算手段へ供給する入力信号に加えて、さらに前記低次拡張成分と、最終段を除く前記各拡張処理手段が出力した前記高次拡張成分と、を遅延させて、これらを前記加算手段へ供給するタイミングを調整する遅延手段と、
   を備えた請求項２に記載の帯域拡張再生装置。
4. 前記入力信号が前記高域拡張成分と隣接する帯域成分を、前記入力信号から抽出する隣接成分抽出手段と、
   前記シフト手段が出力した高域拡張成分と、前記隣接成分抽出手段が抽出した帯域成分と、に基づいて、前記高域拡張成分のレベルを補正する係数を算出する係数算出手段と、
   を含み、
   前記レベル補正手段は、前記係数算出手段が算出した係数に基づいて、前記シフト手段が出力した高域拡張成分のレベルが、前記入力信号のレベル変動に適応して、レベル差がなくなるように補正して出力する請求項２または３に記載の帯域拡張再生装置。
5. 前記シフト手段は、
   前記入力信号に前記高域拡張成分を付加する高域の周波数から前記一定周波数を減算した周波数を中心とする一定範囲の帯域成分をキャリア成分として前記入力信号から抽出するキャリア抽出手段と、
   前記高域成分抽出手段が抽出する高域成分と、前記キャリア抽出手段が抽出するキャリア成分と、を乗算して、前記入力信号に前記高域拡張成分を付加する高域へ前記高域成分を周波数シフトさせた前記高域拡張成分を出力する拡張成分生成手段と、
   を備えた請求項１乃至４のいずれかに記載の帯域拡張再生装置。
6. 前記キャリア抽出手段は、前記一定範囲の帯域成分として、どの周波数を選択しても必ず楽器の基音の整数次高調波成分を最低１つ含む最小範囲を抽出する請求項５に記載の帯域拡張再生装置。
7. 前記係数算出手段は、
   前記隣接成分抽出手段が抽出した前記入力信号が高域拡張成分と隣接する帯域成分の瞬時値からエンベロープを求めて、それをレベル値として出力する第１エンベロープ検出手段と、
   前記シフト手段が出力した高域拡張成分の瞬時値からエンベロープを求めて、それをレベル値として出力する第２エンベロープ検出手段と、
   前記第１エンベロープ検出手段及び前記第２エンベロープ検出手段の出力値のレベル差を検出して、その差がなくなるように前記高域拡張成分のレベルを補正する係数を算出する演算手段と、
   を備えた請求項４乃至６のいずれかに記載の帯域拡張再生装置。
8. 入力信号から無相関信号を除去して相関が高い成分を出力する線スペクトル強調手段を、前記シフト手段の後段に備えた請求項１乃至７のいずれかに記載の帯域拡張再生装置。

Images