JP2014011486A - 電子機器、方法およびプログラム - Google Patents

Abstract

【課題】再生中の音量をユーザに容易に認識され難いように変化させることを可能とする。
【解決手段】実施形態に係る音響処理装置は、検出部により、オーディオ信号による再生音が無音と見做される状態が予め定められた時間以上連続する無音区間を検出する。制御部により、検出部で検出された、オーディオ信号による再生音が無音と見做される状態が予め定められた時間以上連続する無音区間内でオーディオ信号の出力レベルを変化させる。
【選択図】図３

Description

本発明の実施形態は、音響処理装置およびプログラムに関する。

近年、携帯用に設計され、充電式のバッテリにより駆動される音声再生装置が広く普及している。このような音声再生装置において、バッテリによる駆動時間を長時間化するために消費電力の削減を行う方法の一つとして、再生音量を自動制御することが考えられる。例えば、再生音量が所定以上に達した場合に、徐々に音量を下げるように制御する。

特開２０１１−１０７１９０号公報

しかしながら、再生音を聴取中に再生音量を徐々に変化させると、音量の変化がユーザに認識されてしまい、ユーザに違和感を与えてしまうという問題点があった。

本発明の課題は、再生中の音量を、ユーザに容易に認識され難いように変化させることが可能な音響処理装置およびプログラムを提供することにある。

実施形態に係る音響処理装置は、検出部により、オーディオ信号による再生音が無音と見做される状態が予め定められた規定時間以上連続する無音区間を検出する。制御部により、検出部で検出された無音区間内でオーディオ信号の出力レベルを変化させる。

図１は、実施形態に係る音響処理装置の機能を示す一例の機能ブロック図である。 図２は、実施形態に係る、エフェクト制御およびゲイン制御を行った場合の、出力信号パワーと閾値Ｐ_thとの関係の例を示す図である。 図３は、実施形態による補正制御の例を示す図である。 図４は、実施形態に係る第１の方法による無音区間の検出を概略的に示す図である。 図５は、無音であると人が認識できる、周波数帯域別のギャップを示す図である。 図６は、実施形態に係る第２の方法による無音区間の検出を概略的に示す図である。 図７は、実施形態に係る第３の方法による無音区間の検出を概略的に示す図である。 図８は、実施形態による補正部における処理の流れを説明するためのフローチャートである。 図９は、実施形態を適用可能な音響再生装置の一例の構成を示すブロック図である。

以下、実施形態に係る音響処理装置について説明する。実施形態では、オーディオ信号の無音と見做される区間を検出し、検出された区間が予め定められた長さ以上の場合に、当該区間においてオーディオ信号の出力レベルを変化させる。無音と見做される区間で例えば音量を変化させることで、ユーザが音量変化を認識して違和感を覚えることが避けられる。

図１は、実施形態に係る音響処理装置の機能を示す一例の機能ブロック図である。音響処理装置は、補正部１００と、エフェクト・ゲイン制御量データ格納部１２０と、ユーザインタフェース（ＵＩ）１２１と、エフェクト設定値生成部１２２と、ゲイン設定値生成部１２３と、エフェクト制御部１２４と、音量制御部１２５と、音響再生部１２６とを有する。また、補正部１００は、解析部１１０と、補正制御部１１１とを有し、解析部１１０の解析結果が解析用情報１３０として保持および蓄積される。

入力信号として、ディジタルオーディオ信号が入力される。入力ディジタルオーディオ信号は、補正部１００に供給されると共に、エフェクト制御部１２４に供給される。エフェクト制御部１２４は、エフェクト設定値生成部１２２から供給されたエフェクト設定値に応じたエフェクト処理をディジタルオーディオ信号に施し、当該ディジタルオーディオ信号に対してエフェクト処理に応じた音響効果を与える。エフェクト制御部１２４が施すエフェクト処理としては、所定の周波数帯域のゲインを調整するイコライザ処理、再生音に残響効果を与える残響処理などがある。

エフェクト制御部１２４から出力されたディジタルオーディオ信号は、音量制御部１２５に供給される。音量制御部１２５は、ゲイン設定値生成部１２３から供給されたゲイン設定値に応じて、供給されたディジタルオーディオ信号に対するゲインを制御する。ここでは、ゲインが０でディジタルオーディオ信号のレベルが０とされて無音状態となり、ゲインが１で供給されたディジタルオーディオ信号がそのままのレベルで出力されるものとする。

音量制御部１２５から出力されたディジタルオーディオ信号は、音響再生部１２６を介して出力される。

エフェクト・ゲイン制御量データ格納部１２０は、エフェクト制御部１２４で用いるためのエフェクト設定値や、音量制御部１２５で用いるためのゲイン設定値などが格納される。これらエフェクト設定値やゲイン設定値は、例えば予め複数種類が作成されてエフェクト・ゲイン制御量データ格納部１２０に格納される。ユーザインタフェース１２１に対するユーザ入力に従い設定されたエフェクト設定値およびゲイン設定値が、エフェクト・ゲイン制御量データ格納部１２０に格納される。後述するエフェクト設定値生成部１２２やゲイン設定値生成部１２３で生成されたエフェクト設定値およびゲイン設定値が、さらにエフェクト・ゲイン制御量データ格納部１２０に格納される。

解析用情報１３０は、例えばこの音響処理装置がバッテリ駆動時間をできるだけ長くするように動作する場合、例えば、バッテリ残量と、当該バッテリ残量に対して許容できると定められた消費電力量に対応する、音響再生部１２６の出力信号レベルの閾値とが対応付けられた情報を有する。さらに、解析用情報１３０として、当該出力信号レベルが当該閾値を超えた累積回数および累積時間をさらに有してもよい。

補正部１００において、解析部１１０は、図示されない電源部から、バッテリ残量を示す情報が供給されると共に、音響再生部１２６から出力信号のレベルを示す情報が供給される。解析部１１０は、これらの情報を解析し、出力信号レベルが上述した閾値を超えた回数および時間を求める。解析部１１０は、求められたこの回数および時間を示す情報を、解析用情報１３０に対して累積する。

解析部１１０に対して、さらに、入力信号として入力されたディジタルオーディオ信号が供給される。解析部１１０は、入力ディジタルオーディオ信号を解析して、当該ディジタルオーディオ信号の信号レベルを求める。解析部１１０は、入力ディジタルオーディオ信号の周波数帯域毎の解析を行う。より具体的には、解析部１１０は、入力ディジタルオーディオ信号に対して、時間／周波数変換を行う。この時間／周波数変換には、例えばＦＦＴ(Fast Fourier Transform)を用いることができる。これに限らず、ＭＤＣＴ(Modified Discrete Cosine Transform)を用いて時間／周波数変換を行なってもよい。

一例として、ＦＦＴは、窓長を２０４８サンプル（ＦＦＴビンとしては１０２４が算出される）とし、入力ディジタルオーディオ信号のサンプリング周波数が４８ｋＨｚであるものとする。この場合、時間／周波数変換によって変換された入力ディジタルオーディオ信号は、次式（１）により、周波数帯域毎の信号パワーとして算出される。
sig＿spec＿power［i］＝sig＿spec＿r［i］²−sig＿spec＿i［i］² …（１）

なお、式（１）において、各変数の意味は、下記の通りである。
i：周波数サンプルのインデクス（但し、0≦i＜1023）
sig＿spec＿r［i］：各周波数サンプルの実部
sig＿spec＿i［i］：各周波数サンプルの虚部
sig＿spec＿power［i］：各周波数サンプルのパワー

また、解析部１１０は、エフェクト・ゲイン制御量データ格納部１２０から、入力ディジタルオーディオ信号に対して付加される予定のエフェクト設定値およびゲイン設定値を読み出す。そして、解析部１１０は、次式（２）に示されるように、読み出したエフェクト設定値に従ったエフェクト制御により増加される信号パワーeffected＿gain［i］と、ゲイン設定値に従ったゲイン制御により増加される信号パワーadded＿gain［i］とを、式（１）で求めた周波数帯域毎の信号パワーsig＿spec＿power［i］に加算する。これにより、エフェクト設定値およびゲイン設定値によるエフェクト制御およびゲイン制御を入力されたディジタルオーディオ信号に対して施した際の、出力信号の信号パワーsig＿proc＿power［i］が推定される。
sig＿proc＿power［i］＝sig＿spec＿power［i］＋effected＿gain［i］＋added＿gain［i］ …（２）

解析部１１０は、次に、上述の式（２）で求めた出力信号の信号パワーsig＿proc＿power［i］に基づき、エフェクト制御部１２４および音量制御部１２５による処理後の、推定される信号パワーの最大値を探索する。さらに、解析部１１０は、探索された信号パワーの最大値に対応する周波数サンプルのインデクスを値sig＿max＿indexとして、次式（３）により、信号パワーの最大値sig＿max＿powerが得られた周波数sig＿max＿freq（Ｈｚ）を求める。
sig＿max＿freq＝sig＿max＿index×1024／24,000 …（３）

解析部１１０による各解析結果は、補正制御部１１１に供給される。補正制御部１１１は、供給された解析結果に基づき、入力ディジタルオーディオ信号による再生音が無音または無音と見做される状態が予め定められた時間以上連続する区間（無音区間と呼ぶ）を検出する。そして、補正制御部１１１は、無音区間において出力信号の信号パワーを抑制するようなエフェクト制御および音量制御を行うための各補正値を決定する。決定された各補正値は、エフェクト設定値生成部１２２およびゲイン設定値生成部１２３にそれぞれ供給される。

（補正制御部による処理）
次に、補正制御部１１１における各補正値の決定処理について、より詳細に説明する。図２は、入力ディジタルオーディオ信号に対してエフェクト制御およびゲイン制御を行った場合の出力信号の信号パワーと、閾値Ｐ_thとの関係の例を示す。図２（ａ）、図２（ｂ）および図２（ｃ）において、縦軸は信号パワーＰを示し、横軸は、周波数ｆを示す。なお、ここでは、信号パワーＰの各周波数ｆに対する特性が平坦であるものとして説明する。

図２（ａ）、図２（ｂ）および図２（ｃ）において、閾値Ｐ_thは、例えば消費電力量が予め定められた値以下になるように、出力信号パワーに対して設定された値である。入力ディジタルオーディオ信号３００の信号パワーは、閾値Ｐ_thよりも低いものとする。

入力ディジタルオーディオ信号３００に対してゲイン制御を行った場合の第１出力信号３０１と、当該入力ディジタルオーディオ信号に対してゲイン制御およびエフェクト制御を施した場合の第２出力信号３０２とを、閾値Ｐ_thと比較する。

図２（ａ）は、エフェクト制御部１２４におけるエフェクト制御と、音量制御部１２５におけるゲイン制御とに補正を行う必要がない場合（第１のケースと呼ぶ）の例を示す。この第１のケースでは、第１出力信号３０１の出力信号パワーと第２出力信号３０２と出力信号パワーとが、共に閾値Ｐ_thよりも低いため、エフェクト制御部１２４におけるエフェクト制御と、音量制御部１２５におけるゲイン制御とに補正を行う必要がない。

図２（ｂ）は、エフェクト制御に対する補正を行う必要がある場合（第２のケースと呼ぶ）の例を示す。この第２のケースでは、次式（４）に示されるように、ゲイン制御のみを行った第１出力信号３０１の出力信号パワーが閾値Ｐ_thよりも低い。
sig＿spec＿power［sig＿max＿index］＋added＿gain［i］＜Ｐ_th …（４）

一方、第２のケースでは、ゲイン制御とエフェクト制御とを行った第２出力信号３０２の出力信号パワーは、閾値Ｐ_thよりも高い。したがって、エフェクト制御部１２４によるエフェクト処理を抑制することで、次式（５）に示されるように、第２出力信号３０２の出力信号パワーを閾値Ｐ_th未満に抑える。
sig＿max＿power＜Ｐ_th …（５）

すなわち、補正制御部１１１は、この第２のケースにおいて、エフェクト制御部１２４によるエフェクト制御を抑制するような補正値を生成する。より具体的には、補正制御部１１１は、入力ディジタルオーディオ信号の信号パワーsig＿spec＿power［i］に音量制御部１２５が実行するゲイン制御により増加した信号パワーaaded＿gain［ｉ］を加算した信号パワーに対して、エフェクト制御部１２４が実行するエフェクト制御により増加される信号パワーeffected＿gain［i］を加算した場合の出力信号パワーの最大値sig＿max＿powerが、閾値Ｐ_th以下となるように、エフェクト制御に対する補正値を生成する。

図２（ｃ）は、エフェクト制御部１２４におけるエフェクト制御と、音量制御部１２５におけるゲイン制御との何れにも補正を行う必要がある場合（第３のケースと呼ぶ）の例を示す。この第３のケースでは、下記の式（６）、ならびに、式（７）に示されるように、ゲイン制御のみを行った第１出力信号３０１の出力信号パワーが閾値Ｐ_th以上であり、且つ、ゲイン制御およびエフェクト処理を行った第２出力信号３０２の出力信号パワーが閾値Ｐ_th以上である。
sig＿spec＿power［sig＿max＿index］＋added＿gain［i］≧Ｐ_th …（６）
sig＿spec＿power［sig＿max＿index］＋effected＿gain［i］＋added＿gain［i］≧Ｐ_th …（７）

すなわち、この第３のケースは、エフェクト制御部１２４によるエフェクト処理を除去したとしても、入力ディジタルオーディオ信号に対して音量制御部１２５によりゲイン制御に従い乗じられたゲインにより、出力信号パワーが閾値Ｐ_thを超えてしまう。したがって、この第３のケースには、補正制御部１１１は、エフェクト制御１２４が実行するエフェクト処理と、音量制御部１２５が実行するゲイン制御とをそれぞれ抑制することで、上述の式（５）に示されるように、第２出力信号３０２の出力信号パワーを閾値Ｐ_th以下に抑える。

一例として、補正制御部１１１は、エフェクト制御部１２４によるエフェクト処理の抑制と、音量制御部１２５によるゲインの抑制とをそれぞれ指示する補正値を生成する。すなわち、補正制御部１１１は、これらエフェクト処理の抑制とゲインの抑制とを行った結果の信号パワーが閾値Ｐ_th以下になるように、エフェクト制御部１２４に対する補正値と、音量制御部１２５に対する補正値とを生成する。

これに限らず、補正制御部１１１は、エフェクト制御部１２４に対してエフェクト処理を抑制する補正値を生成し、音量制御部１２５に対しては、ゲイン制御を行わないような補正値を生成してもよい。また、補正制御部１１１は、エフェクト制御部１２４に対しては、エフェクト処理を行わないように指示する補正値を生成し、ゲイン制御のみを行なってもよい。

上述した第２および第３のケースにおいて、式（５）を満たすために、エフェクト制御およびゲイン制御により抑制すべき信号パワーを示す超過量errorは、下記の式（８）によって求めることができる。
error＝sig＿max＿power−Ｐ_th …（８）

なお、式（８）で示される超過量error分の補正を、エフェクト制御およびゲイン制御の何れにより行うかは、例えば、音質重視および消費電力低減重視の何れを優先するかによって決めることができる。例えば、音質重視の場合には、超過量error分の全てを、ゲイン制御によって補正し、消費電力低減重視の場合には、超過量error分を、エフェクトを除去し、不足分をゲイン制御で補うように補正することが考えられる。

（補正度合いの遷移の例）
次に、超過量errorの補正を行う際の、補正度合いの遷移について説明する。補正は、聴覚上認識が困難と見做される程度の期間Ｔを以って行う。期間Ｔの単位は特に限定されない。例えば、システムクロックやディジタルオーディオ信号のサンプリング周波数を期間Ｔの単位とすることができる。また、期間Ｔの単位を、ディジタルオーディオ信号の処理単位であるフレームとしてもよい。抑制する信号パワーの量（補正量）により異なるが、一般的には、期間Ｔとしては、１０秒以上などの比較的長時間を要する。

実施形態では、この期間Ｔにおいて、入力ディジタルオーディオ信号による再生音が無音と見做される状態が所定時間以上連続する区間（無音区間と呼ぶ）を検出する。そして、この無音区間内において、超過量errorのうち所定分の出力信号パワーを抑制する補正を行う。この補正処理を少なくとも上述の期間Ｔ内において繰り返し行い、複数回の補正による補正量の合計が超過量errorになるようにする。

図３は、実施形態による補正制御の例を示す。図３において、縦軸が超過量errorに対する補正度合いａを示し、横軸が時間を示す。制御線３１０が実施形態の補正制御による補正度合いａの変化の例を示す。

一例として、解析部１１０は、入力ディジタルオーディオ信号を解析して、信号パワーの最大値sig＿max＿powerが閾値Ｐ_thを超える時間Ｔ₀を求める。時間Ｔ₀は、入力ディジタルオーディオ信号内の絶対時間でもよいし、相対的な時間でもよい。そして、求めた時間Ｔ₀から予め定められた時間Ｔが経過するまでに発生する無音区間の個数ｎを求める。超過量errorを無音区間の個数ｎで除した値を、１回分の補正量cur＿errorとする。

補正制御部１１１は、時間Ｔ₀後のｎ個の各無音区間の時点Ｔ₁、Ｔ₂、…、Ｔ_nにおいて、図３に例示されるように、補正量cur＿errorずつ、出力信号パワーが抑制されるように、補正値を生成する。すなわち、時間Ｔ₀〜時間Ｔ_n内の任意の時点ｔにおける補正量cur＿errorは、下記の式（９）により、補正が必要な量を示す補正度合いａ_m（ｍは整数；１≦ｍ≦ｎ）により与えられる。

すなわち、時間Ｔ₀から１番目の無音区間内の時点Ｔ₁までは、補正がなされておらず、補正度合いａ₁は、超過量errorと等しい。時点Ｔ₁において、補正量cur＿errorによる補正が行われ、補正度合いａ₂は、超過量errorから１回分の補正量cur＿errorを減じた値となる。出力信号パワーは、時点Ｔ₀における出力信号パワーに対して、補正量cur＿error分が抑制された値となる。

時点Ｔ₁時点Ｔ₀から２番目の無音区間内の時点Ｔ₂までは、式（９）によれば、補正度合いが補正度合いａ₂から変化せず、したがって、出力信号パワーも、時点Ｔ₁の値が維持される。そして、時点Ｔ₂において、補正量cur＿errorによる補正が行われ、補正度合いａ₃は、超過量errorから２回分の補正量cur＿errorを減じた値となる。出力信号パワーは、時点Ｔ₁における出力信号パワーに対して、さらに補正量cur＿error分が抑制された値となる。

以降、同様にして、無音区間毎に補正量cur＿errorによる補正が繰り返され、最終的に、超過量errorが抑制されて出力信号パワーが閾値Ｐ_th以下とされる。

人間の聴覚特性によれば、無音区間で出力信号パワーを変化させても、人間にそれと認識され難いとされている。実施形態では、この聴覚特性を利用して、各無音区間において段階的に出力信号パワーを抑制しているので、目標とする出力信号パワーへの制御としての音響効果および音量の補正過程を、人に感知され難い形で収束させることが可能となる。

図３において、制御線３１１は、従来技術による補正制御での補正度合いの変化の例を示す。従来では、このように、時点Ｔ₀から時間Ｔの間、補正度合いを連続的に変化させていた。この場合、無音区間以外の区間において音響効果や音量の補正過程が人に感知されてしまい、ユーザに違和感を感じさせてしまうことになる。

なお、上述では、超過量errorの補正を時間Ｔをかけて行うように説明したが、これはこの例に限定されない。すなわち、超過量errorの補正は、時間Ｔ以上かけて行えばよい。

（無音区間の第１の検出方法）
次に、上述した無音区間の検出を行う第１の方法について説明する。図４は、第１の方法による無音区間の検出を概略的に示す。図４において、縦軸は、音圧レベルを示し、横軸は、時間を示す。音圧レベルは、例えば音響再生部１２６から出力された信号が例えばスピーカで再生された際の値とし、出力信号パワーに対応するものとする。以下、音圧レベルを出力信号パワーと読み替えて説明する。

第１の方法では、図４に示されるように、出力信号パワーが０の期間を無音区間として検出する。この場合、入力ディジタルオーディオ信号の信号レベルが０の区間を検出してもよい。また、出力信号パワーが完全に０である場合に限られず、出力信号パワーが閾値以下の区間を検出してもよい。この出力信号パワーに対する閾値は、想定される音再生手段（スピーカなど）で再生した場合に、ユーザに聴取困難な出力信号パワーとすることが考えられる。さらには、例えば入力ディジタルオーディオ信号内の雑音成分を抑えるノイズサプレッションを施した音素間としてもよい。

ここで、人が無音と認識できる最短の時間（ギャップと呼ぶ）は、周波数に依存する。図５は、無音であると人が認識できる、周波数帯域別のギャップを示す。なお、図中の雑音の帯域は、中心周波数の半分である。このように、ギャップは、中心周波数が高いほど短く、低いほど長い。例えば、使用が想定されるスピーカなど音出力装置の実効周波数帯域の低域側の下限が１００Ｈｚであった場合、図５を参照し、略２３ｍｓ以上のギャップが存在すれば、人は、当該スピーカからの出力に無音の区間が存在すると認識できる。

（無音区間の第２の検出方法）
次に、上述した無音区間の検出を行う第２の方法について説明する。図６は、第２の方法による無音区間の検出を概略的に示す。図６において、縦軸は、音圧レベルを示し、横軸は、時間を示す。

この第２の方法では、音の経時マスキングを利用して無音区間を検出する。経時マスキングとは、突然大きな音が発生した場合に、その音の前後の音が聞こえなくなることをいう。なお、経時マスキングの原因となる音に対して時間的に前の音が聞こえなくなることを、逆向マスキングといい、当該音に対して時間的に後の音が聞こえなくなることを、順向マスキングという。第２の方法では、当該音に対して時間的に後の音が聞こえなくなることを利用するため、以降、経時マスキングは、順向マスキングを指すものとする。

例えば、図６に例示されるように、時間ｔ_m0に大きな音３２０が発生した場合に、時点ｔ_m0の直後から時点ｔ_m1までの期間に再生される音が、音３２０による経時マスキング３２１で聴取不能となる。すなわち、この時点ｔ_m0の直後から時点ｔ_m1までの期間は、音３２０のみが聴取され、他の再生音は聴取できないため、当該他の再生音が無音であると見做すことができる。また、音３２０は、時点ｔ_m0の直後において再生が完了しているため、この時点ｔ_m0の直後から時点ｔ_m1までの期間を無音であると見做すことができる。

第２の方法では、この経時マスキングの期間を無音区間と見做して、ゲイン制御部１２５において、入力ディジタルオーディオ信号の信号パワーを抑制するゲイン制御を行う。すなわち、経時マスキングの原因となる音３２０を発生させた直後（時点ｔ_m0）から、経時マスキングが終了する時点ｔ_m1までの入力ディジタルオーディオ信号による再生音は、実質的に聴取不能である。したがって、この経時マスキングの期間内でゲインやエフェクト制御を変化させても、人には認識され難い。

なお、経時マスキングにより他の音が聴取不能となる時点ｔ_m0〜ｔ_m1を無音区間として検出する際に、上述した、ギャップの周波数に対する依存性を利用し、想定する周波数に対応するギャップよりも長い経時マスキングが発生する場合に、無音区間として検出するようにできる。

なお、経時マスキングにより聴取不能とされる音の音圧レベルは、経時マスキングが発生した時間ｔ_m0から時間が経過するに従い、指数関数的に低くなる。この経時マスキングにより聴取不能とされる音の音圧レベルを閾値として、無音区間を検出することができる。また、上述したように、経時マスキングは、音３２０に対して後続する音がマスキングされる順向マスキングと、先行する音がマスキングされる逆向マスキングとが存在する。ここでは、順向マスキングのみを採用する。

（無音区間の第３の検出方法）
次に、上述した無音区間の検出を行う第３の方法について説明する。図７は、第３の方法による無音区間の検出を概略的に示す。第３の方法は、周波数帯域毎に無音区間を検出する例である。

一例として、図７（ａ）に例示されるように、周波数帯域毎にエフェクト制御を行う場合について考える。なお、図７（ａ）において、縦軸はエフェクトによるゲイン増加量を示し、横軸は周波数を示す。例えばエフェクト制御としてのイコライザ処理により、低域側の周波数帯域Ａと、高域側の周波数帯域Ｃのゲインを増加させ、中域の周波数帯域Ｂのゲインを変更しないエフェクト制御を考える。

図７（ｂ）〜図７（ｄ）は、入力ディジタルオーディオ信号の時系列的な変化の例を示す。なお、図７（ｂ）〜図７（ｄ）において、縦軸は信号パワー、横軸は周波数を示す。図７（ｂ）〜図７（ｄ）は、それぞれ時系列上に並ぶ時点ｔ_n-1、時点ｔ_nおよび時点ｔ_n+1における入力ディジタルオーディオ信号の例を示し、これら各時間における入力ディジタルオーディオ信号に対して図７（ａ）で示したエフェクト制御を施すものとする。

先ず、図７（ｂ）に示す時点ｔ_n-1では、周波数帯域ＡおよびＣにおける入力ディジタルオーディオ信号の信号パワーが０ではないため、エフェクト制御により、当該周波数帯域ＡおよびＣの信号レベルが図７（ａ）に示される周波数帯域ＡおよびＣのゲインに従い増大される。

次に、図７（ｃ）に示す時点ｔ_nでは、周波数帯域ＡおよびＣにおいて、入力ディジタルオーディオ信号の信号パワーが閾値以下（例えば０）とされている。したがって、時点ｔ_nが当該周波数帯域ＡおよびＣの無音区間を含んでいると検出される。この時点ｔ_nの状態が予め定められた時間以上継続する場合に、図７（ａ）に示すエフェクト制御を抑制する補正を行う。

次の、図７（ｄ）に示す時点ｔ_n+1において、周波数帯域ＡおよびＣにおける入力ディジタルオーディオ信号の信号パワーが０ではなくなる。この時点ｔ_n+1では、上述の時点ｔ_nで抑制されたエフェクト制御がなされており、図７（ｂ）の時点ｔ_n-1に対して出力信号パワーが低くなっている。

なお、上述した第１、第２および第３の方法は、それぞれ単独で実行させるのに限られず、２または３の方法を組み合わせて実行させることができる。

（実施形態による処理の流れ）
次に、図８のフローチャートを用いて、実施形態による補正部１００における処理の流れについて説明する。補正部１００において、解析部１１０は、ステップＳ１００で、入力信号である入力ディジタルオーディオ信号の解析を行う。例えば、入力ディジタルオーディオ信号は、図示されないバッファメモリに所定量（所定再生時間分）毎に記憶される。解析部１１０は、このバッファメモリに記憶された所定量の入力ディジタルオーディオ信号に対してＦＦＴを施して、時間／周波数変換を行う。これに限らず、例えば、周波数に関する情報が必要ない場合、解析部１１０は、入力ディジタルオーディオ信号のＲＭＳ(Root Means Square)を算出してもよい。

次のステップＳ１０１で、解析部１１０は、エフェクト・ゲイン制御量データ格納部１２０から、入力ディジタルオーディオ信号に対して付加される予定のエフェクト設定値およびゲイン設定値を取得する。解析部１１０は、次のステップＳ１０２で、ステップＳ１００での入力ディジタルオーディオ信号の解析結果と、ステップＳ１０１で取得したエフェクト設定値およびゲイン設定値とに基づき、式（１）〜式（３）を用いて説明したようにして、出力信号パワーを推定する。解析部１１０による解析結果は、補正制御部１１１に渡される。

次のステップＳ１０３で、補正制御部１１１は、解析部１１０で推定された出力信号パワーが閾値Ｐ_thを超えるか否かを判定する。若し、超えないと判定した場合、処理をステップＳ１００に戻し、解析部１１０による次の所定量の入力ディジタルオーディオ信号に対する解析が行われる。

推定された出力信号パワーが閾値Ｐ_thを超えない場合とは、図２（ａ）を用いて説明した第１のケースに相当する。この場合、超過量error＝０として、エフェクト設定値生成部１２２およびゲイン設定値生成部１２３では、直前に使用していたエフェクト設定値およびゲイン設定値をそのまま用いるようにする。また、ユーザがＵＩ１２１に対してエフェクト処理およびゲイン制御の指示を入力した直後の場合は、ユーザに指示されたエフェクト処理およびゲイン制御を行う。

ステップＳ１０３で、推定した出力信号パワーが閾値Ｐ_thを超えると判定した場合、補正制御部１１１は、さらに、図２（ｂ）を用いて説明した第２のケースと、図２（ｃ）を用いて説明した第３のケースとのうち何れであるかを判定する。

より具体的には、補正制御部１１１は、第２のケース、すなわち、ゲイン設定値によるゲイン制御のみでは出力信号パワーが閾値Ｐ_thを超えず、ゲイン制御に加えてエフェクト設定値によるエフェクト制御を加えた場合に閾値Ｐ_thを超えると判定した場合（ゲインＯＫ、エフェクトＮＧ）、処理をステップＳ１０４に移行させる。

一方、補正制御部１１１は、第３のケース、すなわち、ゲイン設定値によるゲイン制御のみで出力信号パワーが閾値Ｐ_thを超え、さらにエフェクト設定値によるエフェクト制御を加えた場合にも閾値Ｐ_thを超えると判定した場合（ゲインＮＧ、エフェクトＮＧ）、処理をステップＳ１１０に移行させる。

先ず、ステップＳ１０３で補正制御部１１１が第２のケースであると判定し、処理がステップＳ１０４に移行された場合について説明する。ステップＳ１０４では、解析部１１０が、ステップＳ１０３で閾値Ｐ_thを超えたと判定された時点Ｔ₀を開始点とした所定期間Ｔ内での無音区間を検出する。無音区間の検出方法は、上述した第１〜第３の検出方法のうち何れを用いてもよい。ここでは、第１の検出方法を用いて無音区間を検出するものとする。また、期間Ｔ内で、ｎ個の無音区間が検出されたものとする。

次のステップＳ１０５で、補正制御部１１１は、補正量cur＿errorを算出する。例えば、補正制御部１１１は、ステップＳ１０２で取得された出力信号パワーと閾値Ｐ_thとの差分を超過量errorとして求め、超過量errorをステップＳ１０４で検出された無音区間の個数ｎで除して、補正量cur＿errorを算出する。

処理は次のステップＳ１０６に移行され、補正制御部１１１は、ｉ番目（ｉ＝１，２，…，ｎ）の無音区間において、補正量cur＿error分の出力信号パワーを抑制するためのエフェクト制御を行う補正値を生成する。なお、ｉ＝１すなわち１番目の無音区間は、時点Ｔ₀に対して時間的に最も近い無音区間を指す。補正制御部１１１は、生成した補正値をエフェクト設定値生成部１２２に渡す。

エフェクト設定値生成部１２２は、渡された補正値に基づきエフェクト設定値を生成し、エフェクト制御部１２４に対して設定する。エフェクト制御部１２４は、設定されたエフェクト設定値に従い入力ディジタルオーディオ信号に対してエフェクト処理を施す。これにより、出力信号パワーは、直前の状態に対して補正値cur＿error分、抑制される。

次のステップＳ１０７で、補正制御部１１１は、ｎ個の無音区間に対する補正処理が終了したか否かを判定する。若し、終了していないと判定した場合、補正制御部１１１は、処理をステップＳ１０６に戻し、次の無音区間に対して補正処理を実行する。一方、終了したと判定した場合、処理をステップＳ１００に戻し、次の所定量の入力ディジタルオーディオ信号に対する解析処理を行う。

次に、ステップＳ１０３で補正制御部１１１が第３のケースであると判定し、処理がステップＳ１１０に移行された場合について説明する。ステップＳ１１０では、上述のステップＳ１０４と同様にして、解析部１１０が、ステップＳ１０３で閾値Ｐ_thを超えたと判定された時点Ｔ₀を開始点とした所定期間Ｔ内での無音区間を検出する。

次のステップＳ１１１で、補正制御部１１１は、優先順位に関する判定を行う。若し、音質を優先すると判定した場合には、処理をステップＳ１１２に移行させる。一方、補正制御部１１１は、消費電力低減を優先すると判定した場合には、処理をステップＳ１２０に移行させる。この優先順位の判定における、音質を優先するか、消費電力低減を優先するかについては、補正部１００に対して予め設定されているものとする。これに限らず、音質および消費電力低減のうち何れを優先するかを、ユーザインタフェース１２１から入力してもよい。

ステップＳ１１１で音質を優先すると判定した場合について説明する。この場合には、超過量error分の補正を、全てゲイン制御により行う。したがって、補正制御部１１１は、ステップＳ１１２において、ゲイン制御のための補正量cur＿errorを算出する。

例えば、補正制御部１１１は、上述した式（７）に基づき、下記の式（１０）を満たす最大の信号パワーadded＿max＿gain［i］を求め、現在の信号パワーadded＿gain［i］と、この信号パワーadded＿max＿gain［i］との差分を求める。そして、この差分をステップＳ１１０で検出された無音区間の個数ｎで除した値を、補正量cur＿errorとして算出する。
sig＿spec＿power［sig＿max＿index］＋effected＿gain［i］＋added＿max＿gain［i］≦Ｐ_th …（１０）

処理は次のステップＳ１１３に移行され、補正制御部１１１は、ｉ番目の無音区間において、補正量cur＿error分の出力信号パワーを抑制するためのゲイン制御を行う補正値を生成する。補正制御部１１１は、生成した補正値をゲイン設定値生成部１２３に渡す。

ゲイン設定値生成部１２３は、渡された補正値に基づきゲイン設定値を生成し、音量制御部１２５に対して設定する。音量制御部１２５は、設定されたゲイン設定値に従い入力ディジタルオーディオ信号に対してゲイン制御を施す。これにより、出力信号パワーは、直前の状態に対して補正値cur＿error分、抑制される。

次のステップＳ１１４で、補正制御部１１１は、ｎ個の無音区間に対する補正処理が終了したか否かを判定する。若し、終了していないと判定した場合、補正制御部１１１は、処理をステップＳ１１３に戻し、次の無音区間に対して補正処理を実行する。一方、終了したと判定した場合、処理をステップＳ１００に戻し、次の所定量の入力ディジタルオーディオ信号に対する解析処理を行う。

ステップＳ１１１で消費電力低減を優先すると判定した場合について説明する。この場合には、エフェクト制御部１２４で施されているエフェクト処理を除去し、不足分をゲイン制御にて補正する。

ステップＳ１２０において、補正制御部１１１は、エフェクト制御のための補正量cur＿error＿effと、ゲイン制御のための補正量cur＿error＿powを算出する。例えば、補正制御部１１１は、先ずエフェクトの除去のみを行った場合の出力信号パワーＰ_del＿effを、例えば下記の式（１１）に従い求める。
Ｐ_del＿eff＝sig＿spec＿power［sig＿max＿index］＋added＿gain［i］ …（１１）

補正制御部１１１は、この求めた出力信号パワーＰ_del＿effを閾値Ｐ_thと見做し（見做し閾値Ｐ_thと呼ぶ）、ステップＳ１０２で取得された出力信号パワーと、見做し閾値Ｐ_thとの差分を超過量error＿effとして求める。そして、超過量error＿effをステップＳ１１０で算出された無音区間の個数ｎで除して、エフェクト制御のための補正量cur＿error＿effを算出する。

ステップＳ１２０において、補正制御部１１１は、次に、ゲイン制御のための補正量cur＿error＿powを算出する。例えば、補正制御部１１１は、上述した式（６）に基づき、下記の式（１２）を満たす最大の信号パワーadded＿max＿gain［i］を求め、現在の信号パワーadded＿gain［i］と、この信号パワーadded＿max＿gain［i］との差分を求める。そして、この差分をステップＳ１１０で検出された無音区間の個数ｎで除した値を、補正量cur＿error＿powとして算出する。
sig＿spec＿power［sig＿max＿index］＋added＿max＿gain［i］≦Ｐ_th …（１２）

ステップＳ１２０で補正量cur＿error＿effおよび補正量cur＿error＿powが算出されると、処理がステップＳ１２１に移行される。ステップＳ１２１で、補正制御部１１１は、上述したステップＳ１０６と同様にして、ｉ番目（ｉ＝１，２，…，ｎ）の無音区間において、補正量cur＿error＿eff分の出力信号パワーを抑制するためのエフェクト制御を行う補正値を生成し、エフェクト設定値生成部１２２に渡す。

エフェクト設定値生成部１２２は、渡された補正値に基づきエフェクト設定値を生成し、エフェクト制御部１２４に対して設定する。エフェクト制御部１２４は、設定されたエフェクト設定値に従い入力ディジタルオーディオ信号に対してエフェクト処理を施す。

処理がステップＳ１２２に移行され、補正制御部１１１は、上述したステップＳ１１３と同様にして、ｉ番目の無音区間において、補正量cur＿error＿pow分の出力信号パワーを抑制するためのゲイン制御を行う補正値を生成する。補正制御部１１１は、生成した補正値をゲイン設定値生成部１２３に渡す。ゲイン設定値生成部１２３は、渡された補正値に基づきゲイン設定値を生成し、音量制御部１２５に対して設定する。音量制御部１２５は、設定されたゲイン設定値に従い入力ディジタルオーディオ信号に対してゲイン制御を施す。

なお、これらステップＳ１２１およびステップＳ１２２の処理は、並行的に実行してもよいし、逆の順序で実行してもよい。

次のステップＳ１２３で、補正制御部１１１は、ｎ個の無音区間に対する補正処理が終了したか否かを判定する。若し、終了していないと判定した場合、補正制御部１１１は、処理をステップＳ１２１に戻し、次の無音区間に対して補正処理を実行する。一方、終了したと判定した場合、処理をステップＳ１００に戻し、次の所定量の入力ディジタルオーディオ信号に対する解析処理を行う。

（実施形態を適用可能な音響再生装置）
図９は、実施形態を適用可能な音響再生装置１の一例の構成を示す。図９において、音響再生装置１は、バス１０に対してＣＰＵ(Central Processing Unit)２０と、ＲＯＭ(Read Only Memory)２１と、ＲＡＭ(Random Access Memory)２２と、通信Ｉ／Ｆ（インタフェース）２３とが接続される。さらに、音響再生装置１は、バス１０に対してＩ／Ｆ２４と、ＵＩ２５と、ストレージ２６と、信号処理部２７と、音響再生部２８とが接続される。また、音響再生部２８に対して、スピーカ３０と外部出力端子３１とが接続される。

ＣＰＵ２０は、ＲＯＭ２１に予め記憶されたプログラムに従い、ＲＡＭ２２をワークメモリとして用いて、音響再生装置１の全体の動作を制御する。上述した補正部１００の機能は、例えばこのＣＰＵ２０上で動作するプログラムにより実現される。この補正部１００の機能をＣＰＵ２０上で実現するプログラムを、音響処理プログラムと呼ぶ。

通信Ｉ／Ｆ２３は、ＣＰＵ２０の命令に従い、無線または有線による外部との通信を制御する。例えば、通信Ｉ／Ｆ２３は、通信プロトコルとしてＴＣＰ／ＩＰ(Transmission Control Protocol/Internet Protocol)を用いて、ＬＡＮ(Local Area Network)やインターネットを介しての通信を行うことができる。

Ｉ／Ｆ２４は、ＣＰＵ２０の命令に従い、無線または有線による機器間でのデータ通信を制御する。Ｉ／Ｆ２４としては、有線では、例えばＵＳＢ(Universal Serial Bus)やＩＥＥＥ１３９４(Institute of Electrical and Electronics Engineers 1394)を適用することができる。また、無線では、例えばＢｌｕｅｔｏｏｔｈ（登録商標）を適用することができる。

ＵＩ２５は、図１で示したＵＩ１２１に対応するもので、ユーザ入力を受け付ける入力部と、ユーザに対して情報を提示する表示部とを有する。ＵＩ２５は、例えばＬＣＤ(Liquid Crystal Display)や有機ＥＬ(Electro-Luminescence)ディスプレイによる表示部と、表示部の表示を透過し、押圧位置に対応する座標情報を出力する入力部とを一体的に構成した所謂タッチパネルを用いることができる。これに限らず、入力部と表示部とをそれぞれ別個に設けてもよい。

ストレージ２６は、例えば不揮発性の半導体メモリであって、例えばディジタルオーディオ信号が記憶される。ストレージ２６は、音響再生装置１に対して脱着可能とされていてもよいし、音響再生装置１に対して内蔵されていてもよい。ストレージ２６が内蔵タイプの場合、ディジタルオーディオ信号は、例えばＩ／Ｆ２４や通信Ｉ／Ｆ２３を介して外部から入力され、ストレージ２６に記憶される。

信号処理部２７は、図１のエフェクト制御部１２４および音量制御部１２５を含み、ＤＳＰ(Digital Signal Processor)などにより構成される。信号処理部２７の機能をＣＰＵ２０上で動作するプログラムにより実現してもよい。例えば、信号処理部２７は、ストレージ２６から読み出したディジタルオーディオ信号を入力ディジタルオーディオ信号として入力し、所定量を一旦バッファメモリに記憶する。そして、バッファメモリから読み出した入力ディジタルオーディオ信号に対してエフェクト設定値およびゲイン設定値に従いエフェクト処理およびゲイン制御を施して出力する。バッファメモリは、信号処理部２７が有していてもよいし、ＲＡＭ２２を用いてもよい。

なお、信号処理部２７は、さらに、図１のエフェクト設定値生成部１２２およびゲイン設定値生成部１２３を含んでもよい。これらエフェクト設定値生成部１２２およびゲイン設定値生成部１２３は、上述した音響処理プログラムに含めてもよい。

図１の音響再生部１２６に対応する音響再生部２８は、例えばディジタルアンプであって、入力されたディジタルオーディオ信号の振幅を増幅した後キャパシタで積分して、スピーカやヘッドフォンを駆動可能なアナログオーディオ信号として出力する。音響再生部２８は、出力されるアナログオーディオ信号のパワーに対応する出力信号パワーを示す情報を、ＣＰＵ２０に送る。

音響再生部２８から出力されたアナログオーディオ信号は、例えばスピーカ３０に供給され、音として再生される。また、このアナログオーディオ信号は、外部出力端子３１にも導出される。外部出力端子３１には、ヘッドフォンなどが接続される。

この音響再生装置１は、充電式のバッテリ４０により駆動される。バッテリ４０の残量を示す情報がＣＰＵ２０に供給される。

図１のエフェクト・ゲイン制御量データ格納部１２０として、ストレージ２６の所定領域を用いることができる。また、ＲＯＭ２１を書き込み可能として、所定の領域に、エフェクト・ゲイン制御量データ格納部１２０を書き込むようにしてもよい。解析用情報１３０についても同様に、ＲＯＭ２２やストレージ２６に記憶することができる。

音響処理プログラムは、ＲＯＭ２１に予め記憶されるのに限らず、別途、取得することが可能である。例えば、当該音響処理プログラムを、通信Ｉ／Ｆ２３による通信により、外部のネットワークを介して取得することができる。これに限らず、予め当該音響処理プログラムが記憶されたメモリカードをＩ／Ｆ２４に接続し、このメモリカードから取得してもよい。ＣＰＵ２０は、取得した音響処理プログラムを、ＲＯＭ２１に対して所定の手順でインストールする。

音響処理プログラムは、例えば、上述した補正部１００を構成する各部（解析部１１０および補正制御部１１１）を含むモジュール構成となっており、ＣＰＵ２０が例えばＲＯＭ２１から当該音響処理プログラムを読み出してＲＡＭ２２上に展開することで、ＲＡＭ２２上に解析部１１０および補正制御部１１１が生成される。

上述したように、実施形態による音響処理装置によれば、出力信号パワーが閾値Ｐ_thを超えた場合に、無音区間を検出し、検出された無音区間において出力信号パワーを抑制するようにしている。そのため、ユーザに容易に認識されにくい形で、出力信号パワーを変化させることができる。

また、上述では、実施形態が、出力信号パワーの抑制を消費電力に基づき行なっているが、これはこの例に限定されない。例えば、過大な出力信号パワーが継続して出力された場合に、出力信号パワーの抑制を行うことが考えられる。

すなわち、携帯用の音声再生装置は、ヘッドフォンやイヤフォンを用いることが前提とされており、過大な音量での聴取を長時間継続して行うと、聴覚に損傷を受けるおそれがある。このような聴覚の損傷を防ぐために、実施形態による出力信号パワーの抑制を適用することができる。この場合には、解析部１１０は、所定以上の出力信号パワーが継続した時間を解析し、解析された継続時間が所定時間を超えた場合に無音区間を検出し、エフェクト処理やゲイン制御を抑制することが考えられる。

また同様にして、スピーカ３０の寿命を延ばす効果も期待できる。この場合には、解析部１１０は、所定以上の出力信号パワーが出力された時間や、入力ディジタルオーディオ信号を解析し、突発的な大音量など、スピーカ３０の寿命を劣化させる可能性のある信号の頻度などを累積する。累積値が所定以上となった場合に、無音区間を検出し、エフェクト処理やゲイン制御を抑制することが考えられる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００ 補正部
１１０ 解析部
１１１ 補正制御部
１２０ エフェクト・ゲイン制御量データ格納部
１２１ ＵＩ
１２２ エフェクト設定値生成部
１２３ ゲイン設定値生成部
１２４ エフェクト制御部
１２５ 音量制御部
１２６ 音響再生部

本発明の実施形態は、電子機器、方法およびプログラムに関する。

本発明の課題は、再生中の音量を、ユーザに容易に認識され難いように変化させることが可能な電子機器、方法およびプログラムを提供することにある。

実施形態に係る電子機器は、検出部により、オーディオ信号による再生音が無音と見做される状態が予め定められた規定時間以上連続する無音区間を検出する。制御部により、検出部で検出された無音区間内でオーディオ信号の出力レベルを変化させる。無音区間には、オーディオ信号の信号レベルが第１閾値以下である区間と、オーディオ信号の信号レベルが第１閾値よりも大きい第２閾値以上となった時刻から第１期間が経過するまでの区間とが含まれうる。第１期間では、オーディオ信号の信号レベルが第１閾値以下の値と第１閾値よりも大きい値とのいずれにもなりうる。

Claims (8)

1. オーディオ信号による再生音が無音と見做される状態が予め定められた規定時間以上連続する無音区間を検出する検出部と、
   前記検出部で検出された前記無音区間内で前記オーディオ信号の出力レベルを変化させる制御部と
   を有する
   ことを特徴とする音響処理装置。
2. 前記オーディオ信号に対して音響効果を与えるエフェクト部をさらに有し、
   前記制御部は、
   前記音響効果を制御することで前記出力レベルを変化させる
   ことを特徴とする請求項１に記載の音響処理装置。
3. 前記オーディオ信号に対して周波数解析を行い周波数帯域毎の信号レベルを求める解析部をさらに有し、
   前記検出部は、
   前記エフェクト部が前記音響効果を与える周波数帯域の信号レベルが閾値以下の状態が前記規定時間以上連続する区間を前記無音区間として検出する
   ことを特徴とする請求項２に記載の音響処理装置。
4. 前記検出部は、
   前記オーディオ信号の信号レベルが閾値以下の状態が前記規定時間以上連続する区間を前記無音区間として検出し、
   前記制御部は、
   前記オーディオ信号に対するゲインを制御することで前記出力レベルを変化させる
   ことを特徴とする請求項１に記載の音響処理装置。
5. 前記検出部は、
   オーディオ信号の信号レベルに基づき、経時マスキングにより前記規定時間以上連続して再生音がマスクされる区間を前記無音区間として検出し、
   前記制御部は、
   前記オーディオ信号に対するゲインを制御することで前記出力レベルを変化させる
   ことを特徴とする請求項１に記載の音響処理装置。
6. 前記無音区間は、予め定められた周波数に応じた長さである
   ことを特徴とする請求項４に記載の音響処理装置。
7. 前記無音区間は、前記音響効果を与える周波数帯域に応じた長さである
   ことを特徴とする請求項３に記載の音響処理装置。
8. オーディオ信号による再生音が無音と見做される状態が予め定められた時間以上連続する無音区間を検出する検出ステップと、
   前記検出ステップにより検出された前記無音区間内で前記オーディオ信号の出力レベルを変化させる制御ステップと
   をコンピュータに実行させるためのプログラム。

Images