JP2016085334A - オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム - Google Patents

Abstract

【課題】低ビットレートの符号化条件下においても高音質で符号化することが可能となるオーディオ符号化装置を提供する。【解決手段】オーディオ符号化装置は、オーディオ信号を構成する周波数信号に基づく複数のローブを検出する検出部と、周波数信号のマスキング閾値を算出する算出部を備える。更に、当該オーディオ符号化装置は、マスキング閾値に基づいて周波数信号の符号化に割り当てる単位周波数領域あたりのビット量を配分する配分部と、ローブの帯域幅とパワーに基づいて、メインローブを選定する選定部を備える。更に、当該オーディオ符号化装置は、メインローブにおいて、パワーの最大値を含む第１領域のビット量を削減することにより符号化を制御する制御部を備える。【選択図】図１

Description

本発明は、例えば、オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラムに関する。

従来より、オーディオ信号（音声・音楽などの音源）を圧縮するオーディオ符号化技術が開発されている。例えば、オーディオ符号化技術として、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）方式や、ＨＥ−ＡＡＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ−Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）方式等が存在する。ＡＡＣ方式やＨＥ−ＡＡＣ方式は、ＩＳＯ／ＩＥＣのＭＰＥＧ−２／４ Ａｕｄｉｏ規格の一つであり、例えば、デジタル放送等の放送用途に広く用いられている。

放送用途においては、限られた伝送帯域幅の制約下でオーディオ信号を送信する必要がある。この為、オーディオ信号を低ビットレートで符号化を行う場合、全ての周波数帯域のオーディオ信号を符号化することが出来ない為、符号化を行う帯域を選択する必要がある。なお、一般的にはＡＡＣ方式では、６４ｋｂｐｓ程度以下であれば低ビットレート、１２８ｋｂｐｓ程度以上であれば高ビットレートとみなすことが出来る。例えば、所定のビットレート内に収まる様に、所定のパワー未満のオーディオ信号を欠落させて符号化する技術が開示されている。

特開２００７−１９３０４３

近年においては、マルチチャネルオーディオ信号が放送用途で適用され始めており、低ビットレートでの符号化の適用場面は増加するものと推定される。この為、低ビットレートの符号化条件下においても、高音質で（音質劣化が少なく）符号化可能なオーディオ符号化装置の提供が望まれている。

本発明は、低ビットレートの符号化条件下においても高音質で符号化することが可能となるオーディオ符号化装置を提供することを目的とする。

本発明が開示するオーディオ符号化装置は、オーディオ信号を構成する周波数信号に基づく複数のローブを検出する検出部と、周波数信号のマスキング閾値を算出する算出部を備える。更に、当該オーディオ符号化装置は、マスキング閾値に基づいて周波数信号の符号化に割り当てる単位周波数領域あたりのビット量を配分する配分部と、ローブの帯域幅とパワーに基づいて、メインローブを選定する選定部を備える。更に、当該オーディオ符号化装置は、メインローブにおいて、パワーの最大値を含む第１領域のビット量を削減することにより符号化を制御する制御部を備える。

なお、本発明の目的及び利点は、例えば、請求項におけるエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項の様に本発明を制限するものではないことを理解されたい。

本明細書に開示されるオーディオ符号化装置は、低ビットレートの符号化条件下においても高音質で符号化することが可能となる。

一つの実施形態によるオーディオ符号化装置の機能ブロック図である。 オーディオ符号化装置の符号化処理のフローチャートである。 摩擦音の子音のスペクトル図である。 摩擦音以外の子音のスペクトル図である。 母音のスペクトル図である。 メインローブの帯域の選定の第１の概念図である。 メインローブの帯域の選定の第２の概念図である。 摩擦音の子音のスペクトルにおける第１領域の概念図である。 摩擦音以外の子音のスペクトルの第１領域の概念図である。 第１領域のビット配分量と客観音質評価値の関係図である。 多重化されたオーディオ信号が格納されたデータ形式の一例を示す図である。 実施例１と比較例の客観評価値である。 一つの実施形態によるオーディオ符号化復号装置の機能ブロックを示す図である。 一つの実施形態によるオーディオ符号化装置またはオーディオ符号化復号装置として機能するコンピュータのハードウェア構成図である。

以下に、一つの実施形態によるオーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化コンピュータプログラム、ならびにオーディオ符号化復号装置の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。

（実施例１）
図１は、一つの実施形態によるオーディオ符号化装置１の機能ブロック図である。図２は、オーディオ符号化装置１の符号化処理のフローチャートである。実施例１においては、図２に示すオーディオ符号化装置１による符号化処理のフローを、図１に示すオーディオ符号化装置１の機能ブロック図の各機能の説明に対応付けて説明する。図１に示す様に、オーディオ符号化装置１は、時間周波数変換部２、算出部３、配分部４、検出部５、選定部６、制御部７、量子化部８、符号化部９、多重化部１０を有する。

オーディオ符号化装置１が有する上述の各部は、例えば、ワイヤードロジックによるハードウェア回路としてそれぞれ別個の回路として形成される。あるいはオーディオ符号化装置１が有する上述の各部は、その各部に対応する回路が集積された一つの集積回路としてオーディオ符号化装置１に実装されてもよい。なお、集積回路は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路であれば良い。更に、オーディオ符号化装置１が有する上述の各部は、オーディオ符号化装置１が有するコンピュータプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。

時間周波数変換部２は、例えば、ワイヤードロジックによるハードウェア回路である。また、時間周波数変換部２は、オーディオ符号化装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。時間周波数変換部２は、オーディオ符号化装置１に入力されたオーディオ信号の時間領域の各チャネルの信号（例えば、Ｎｃｈ（Ｎ＝２、３、３．１、５．１、または、７．１）のマルチチャネルオーディオ信号）をそれぞれフレーム単位で時間周波数変換することにより、各チャネルの周波数信号に変換する。なお、当該処理は、図２に示すフローチャートのステップＳ２０１に対応する。実施例１では、時間周波数変換部２は、例えば、高速フーリエ変換を用いて、各チャネルの信号を周波数信号に変換する。この場合、フレームｔにおけるチャネルｃｈの時間領域の信号Ｘｃｈ（ｔ）を周波数信号に変換する変換式は、例えば、次式の通りに表現される。
（数１）

上述の（数１）において、ｋは時間を表す変数であり、１フレームのオーディオ信号を時間方向にＳ個に等分したときのｋ番目の時間を表す。なお、フレーム長は、例えば、１０〜８０ｍｓｅｃの何れかに規定することが出来る。ｉは、周波数を表す変数であり、周波数帯域全体をＳ個に等分したときのｉ番目の周波数を表す。なおＳは、例えば、１０２４に設定される。ｓｐｅｃ_ｃｈ（ｔ）_ｉは、フレームｔにおけるチャネルｃｈのｉ番目の周波数信号である。なお、時間周波数変換部２は、離散コサイン変換（ＤＣＴ変換）、修正離散コサイン変換（ＭＤＣＴ変換）または、Ｑｕａｄｒａｔｕｒｅ Ｍｉｒｒｏｒ Ｆｉｌｔｅｒ（ＱＭＦ）フィルタバンクなど、他の任意の時間周波数変換処理を用いて、各チャネルの時間領域の信号を、それぞれ周波数信号に変換してもよい。時間周波数変換部２は、フレーム単位で各チャネルの周波数信号を算出する度に、各チャネルの周波数信号を算出部３、検出部５、量子化部８に出力する。

算出部３は、例えば、ワイヤードロジックによるハードウェア回路である。また、算出部３は、オーディオ符号化装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。算出部３は、フレームごとに、各チャネルの周波数信号を予め定められた帯域幅を有する複数の帯域に分割し、当該帯域毎のスペクトル電力及びマスキング閾値を算出する。なお、当該処理は、図２に示すフローチャートのステップＳ２０２に対応する。算出部３は、例えば、ＩＳＯ／ＩＥＣ １３８１８−７のＡｎｎｅｘ ＣのＣ.１ Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ Ｍｏｄｅｌに記載された方法を用いて、スペクトル電力及びマスキング閾値を算出することが出来る。なお、ＩＳＯ／ＩＥＣ １３８１８−７は、国際標準化機構（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ、ＩＳＯ)と国際電気標準会議（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ、ＩＥＣ)とが共同で策定した国際規格の一つである。

算出部３は、例えば、次式に従って、各帯域のスペクトル電力を算出する。
（数２）

なお、上述の（数２）において、ｓｐｅｃＰｏｗ_ｃｈ［ｂ］（ｔ）は、フレームｔにおける、チャネルｃｈの周波数帯域ｂのスペクトル電力を示すパワーであり、ｂｗ［ｂ］は周波数帯域ｂの帯域幅を表す。

算出部３は、周波数帯域毎に、リスナー（ユーザと称しても良い）が知覚することが出来る音の周波数信号の下限となる電力を表すマスキング閾値を算出する。また、算出部３は、例えば、周波数帯域ごとに予め設定された値をマスキング閾値として出力しても良い。あるいは、算出部３は、リスナーの聴覚特性に応じてマスキング閾値を算出してもよい。この場合、符号化対象のフレームの着目する周波数帯域についてのマスキング閾値は、符号化対象のフレームより前のフレームにおける同じ周波数帯域のスペクトル電力のパワー、及び、符号化対象のフレームの隣接する周波数帯域のスペクトル電力のパワーが大きいほど高くなる。算出部３は、例えば、ＩＳＯ／ＩＥＣ １３８１８−７のＡｎｎｅｘ ＣのＣ．１ Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ＭｏｄｅｌのＣ.１．４ Ｓｔｅｐｓ ｉｎ Ｔｈｒｅｓｈｏｌｄ Ｃａｌｃｕｌａｔｉｏｎの項目に記載された閾値（マスキング閾値に相当）の算出処理に従って、マスキング閾値を算出することが出来る。この場合、算出部３は、符号化対象のフレームの一つ前及び二つ前のフレームの周波数信号を利用して、マスキング閾値を算出する。この為、算出部３は、符号化対象のフレームの一つ前、及び、二つ前のフレームの周波数信号を記憶する為、図示しないメモリまたはキャッシュを有してもよい。算出部３は、各チャネルのマスキング閾値を配分部４に出力する。また、算出部３は、時間周波数変換部２から受け取った各チャネルの周波数信号を配分部４に出力する。

配分部４は、例えば、ワイヤードロジックによるハードウェア回路である。また、配分部４は、オーディオ符号化装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。配分部４は、各チャネルのマスキング閾値と周波数信号を配分部４から受け取る。配分部４は、例えば、各チャネルの周波数信号のパワーとマスキング閾値の比率（以下、ＳＭＲ；Ｓｉｇｎａｌ ｔｏ Ｍａｓｋｉｎｇ ｔｈｒｅｓｈｏｌｄ Ｒａｔｉｏと称する）に基づいて、周波数信号の符号化に割り当てる単位周波数領域あたりのビット量を配分する。なお、当該処理は、図２に示すフローチャートのステップＳ２０３に対応する。配分部４は、配分したビット量を制御部７に出力する。

配分部４は、例えば、“ＴＳ ２６.４０３ Ｖ１１．０．０ Ｇｅｎｅｒａｌ ａｕｄｉｏ ｃｏｄｅｃ ａｕｄｉｏ ｐｒｏｃｅｓｓｉｎｇ ｆｕｎｃｔｉｏｎｓ;Ｅｎｈａｎｃｅｄ ａａｃＰｌｕｓ ｇｅｎｅｒａｌ ａｕｄｉｏ ｃｏｄｅｃ; Ｅｎｃｏｄｅｒ ｓｐｅｃｉｆｉｃａｔｉｏｎ; Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ （ＡＡＣ） ｐａｒｔ; Ｒｅｌａｔｉｏｎ ｂｅｔｗｅｅｎ ｂｉｔ ｄｅｍａｎｄ ａｎｄ ｐｅｒｃｅｐｔｕａｌ ｅｎｔｒｏｐｙ”に記載された方法を用いてビット量を配分することが出来る。例えば、配分部４は、ｐｅ値（Ｐｅｒｃｅｐｔｕａｌ Ｅｎｔｒｏｐｙ）と称されるビット推定値に基づいて、単位周波数領域あたりのビット配分量を規定することができる。なお、ｐｅ値は、例えば、次式に基づいて算出することができる。
（数３）

また、配分部４は、上述の（数３）で算出されたｐｅ値を、例えば、次式に基づいてビット配分量（ｂｉｔｓ）に変換することが出来る。
（数４）
ｂｉｔｓ＝ｐｅ／１．１８

上述の（数３）と（数４）から理解できる通り、ＳＭＲが大きいほど、ビット量が多く配分されることになる。この為、ＳＭＲが大きい周波数領域はビット配分量が多くなるが、その反面でＳＭＲが小さい周波数領域はビット配分量が少なくなる。ビット配分量が少ない場合は、符号化に要するビット量が不足することにより音質の劣化が発生する場合がある。実施例１の１つの観点によれば、符号化に要するビット量の不足を抑制させることにより、低ビットレートの符号化条件下においても高音質で符号化させることが可能となる。

検出部５は、例えば、ワイヤードロジックによるハードウェア回路である。また、検出部５は、オーディオ符号化装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。検出部５は、各チャネルの周波数信号を時間周波数変換部２から受け取る。検出部５は、オーディオ信号を構成する各チャネルの周波数信号からなる複数のローブを検出する。なお、当該処理は、図２に示すフローチャートのステップＳ２０４に対応する。例えば、検出部５は、周波数信号のパワーの複数の変曲点（変曲点群と称しても良い）を任意の方法（例えば二階微分）で算出し、下に凸の変曲点Ａから、当該変曲点Ａに隣接する下の凸の変曲点Ｂまでの区間を１つのローブとして検出することが出来る（また、当該区間の長さをローブの幅と称しても良い。更に、当該幅を帯域幅、または周波数帯域幅と称しても良い）。なお、ローブの幅として、ローブの半値半幅を用いても良い。

図３は、摩擦音の子音のスペクトル図である。図４は、摩擦音以外の子音のスペクトル図である。図５は、母音のスペクトル図である。図３と図５に示される通り、検出部５により、複数の変曲点（変曲点群と称しても良い）が検出されており、互いに隣接する下に凸の変曲点の区間がローブとして検出される。なお、図４の摩擦音以外の子音のスペクトルにおいては、低周波数領域において最大となるパワーの値を、擬似的に下に凸の変曲点と規定することで少なくとも１つのローブを検出することができる。具体的には、検出部５は、擬似的に規定したパワーが最大となる低周波数領域の変曲点Ｃに隣接する下の凸の変曲点Ｄまでの区間を１つのローブとして検出することが出来る（また、当該区間の長さをローブの幅と称しても良い。更に、当該幅を帯域幅、または周波数帯域幅と称しても良い）。検出部５は、検出した各チャネルの複数のローブを選定部６に出力する。

図１の選定部６は、例えば、ワイヤードロジックによるハードウェア回路である。また、選定部６は、オーディオ符号化装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。選定部６は、各チャネルにおける複数のローブを検出部５から受け取る。選定部６は、複数のローブの幅と、ローブのパワーに基づいてメインローブを選定する。なお、当該処理は、図２に示すフローチャートのステップＳ２０５に対応する。具体的には、選定部６は、例えば、複数のローブにおいて幅が最も広いローブをメインローブ候補として選定し、メインローブ候補の幅（周波数帯域幅）が所定の第１閾値（Ｔｈ１）（例えば、第１閾値＝１０ｋＨｚ）以上であり、かつ、メインローブ候補のパワーが所定の第２閾値（Ｔｈ２）（例えば、第２閾値＝２０ｄＢ）以上となる場合、メインローブ候補をメインローブとして選定する。なお、選定部６は、例えば、各ローブの最大値と最小値の差分の絶対値をパワーとして用いることが出来る。また、選定部６は、ローブの最大値と最小値の比率をパワーとして用いても良い。なお、メインローブを第１ローブと称しても良い。

例えば、図３に示す摩擦音の子音のスペクトルにおいては、第４ローブが最も幅が広いローブの為、選定部６は、第４ローブをメインローブ候補として選定する。選定部６は、メインローブ候補となる第４ローブの幅が第１閾値以上であるか否かを判定する。なお、説明の便宜上、実施例１においては、メインローブ候補となる第４ローブの幅が第１閾値以上であるものとする。メインローブ候補となる第４ローブの幅が第１閾値以上の条件を満たしている場合、次に、選定部６は、メインローブ候補の第４ローブのパワーが第２閾値以上であるか否かを判定する。なお、説明の便宜上、実施例１においては、メインローブ候補となる第４ローブのパワーが第２閾値以上であるものとする。この様に、選定部６は、メインローブ候補となる第４ローブをメインローブとして選定することが出来る。換言すると、メインローブは、検出部５が検出する複数のローブの中で最も幅が広くかつ第１閾値以上の条件を満たし、更に、パワーが第２閾値以上となるローブである。なお、メインローブ以外（第１ローブないし第３ローブ、第５ローブ）のローブをサイドローブと称しても良い。また、サイドローブを第２ローブと称しても良い。

また、図４に示す摩擦音以外の子音のスペクトルにおいては、低周波領域において、パワーが最大となる周波数の値を擬似的に変曲点と規定することで少なくとも１つのローブを検出することができる。選択部６は、ローブが第１ローブの１つのみが検出されている場合、検出された第１ローブをメインローブ候補として選定し、メインローブ候補の幅（周波数帯域幅）が所定の第１閾値（Ｔｈ１）（例えば、第１閾値＝１０ｋＨｚ）以上であり、かつ、メインローブ候補のパワーが所定の第２閾値（Ｔｈ２）（例えば、第２閾値＝２０ｄＢ）以上となる場合、メインローブ候補となる第１ローブをメインローブとして選定することができる。なお、説明の便宜上、実施例１においては、メインローブ候補となる第１ローブの幅が第１閾値以上であるものであり、パワーが第２閾値以上であるものとする。また、検出部５が複数のローブを検出している場合でも、選定部６は、例えば、複数のローブにおいて幅が最も広いローブをメインローブ候補として選定し、メインローブ候補の幅（周波数帯域幅）が第１閾値（Ｔｈ１）以上であり、かつ、メインローブ候補のパワーが所定の第２閾値（Ｔｈ２）以上となる場合、メインローブ候補をメインローブとして選定することが出来る。

更に、図５に示す母音のスペクトルは、第１ローブが最も広いローブの為、第１ローブがメインローブ候補として選定される。選定部６は、メインローブ候補となる第１ローブの幅が第１閾値以上であるか否かを判定する。なお、説明の便宜上、実施例１においては、メインローブ候補となる第１ローブの幅が第１閾値未満であるものとする。メインローブ候補となる第１ローブの幅が第１閾値未満の為、メインローブ候補となる第１ローブは、メインローブとして選定されない。なお、換言すると、第１閾値と第２閾値は、図３と図４に示す、摩擦音と摩擦音以外の子音のメインローブのみを選定することが出来る条件を満たす閾値を実験的に規定すれば良い。選定部６は、チャネル毎に選定したメインローブを制御部７に出力する。なお、選定部６は、メインローブを選定出来なかった場合は、次のフレームや他のチャネルの選定処理を実行することが出来る。

なお、選定部６は、変曲点群において、ローブのパワーが最小となる第１変曲点の値を第３閾値（Ｔｈ３）として規定し、当該第３閾値から所定のパワー（例えば、３ｄＢ）を増加させた値を第４閾値（Ｔｈ４）として規定しても良い。更に、選定部６は、当該変曲点群において、メインローブのパワーが最大となる第２変曲点に対して、高域側と低域側にそれぞれ隣接し、かつ、第３閾値以上かつ第４閾値未満となる第３変曲点と第４変曲点をメインローブの始点と終点として選定しても良い。図６は、メインローブの帯域の選定の第１の概念図である。なお、図６は、図３と同様に、摩擦音の子音スペクトルを示している。図６に示す通り、第３閾値と第４閾値、ならびに、第１変曲点ないし第４変曲点が規定され、メインローブの始点と終点が規定される。なお、当該始点と終点の区間をローブの帯域（幅）として取扱うことが出来る。選定部６は、図６に開示する方法を用いることにより、メインローブにスパイク状のノイズまたは周波数信号が重畳している場合でも、当該スパイク状のノイズまたは周波数信号の影響を排除してメインローブを選定することが可能となる。

更に、図６において、選定部６は、メインローブのパワーが最大となる第２変曲点に対して、低域側に隣接する第３変曲点が存在せず、当該第３変曲点を選定することができない場合、図４に示される様な摩擦音以外の子音スペクトルからメインローブを選定していることが考えられる。図７は、メインローブの帯域の選定の第２の概念図である。なお、図７は、図４と同様に、摩擦音以外の子音スペクトルを示している。図７に示す通り、第３閾値と第４閾値、ならびに、第１変曲点ないし第２変曲点が規定され、メインローブの始点と終点が規定される。なお、当該始点と終点の区間をローブの帯域（幅）として取扱うことが出来る。具体的には、選定部６は、摩擦音以外の子音の場合、図７に示す様にローブのパワーが最小となる第１変曲点の値を第３閾値（Ｔｈ３）として規定し、当該第３閾値から所定のパワー（例えば、３ｄＢ）を増加させた値を第４閾値（Ｔｈ４）として規定しても良い。更に、選定部６は、当該変曲点において、低周波数領域においてメインローブのパワーが最大となる第２変曲点に対して、高域側のみに隣接し、かつ、第３閾値以上かつ第４閾値未満となる第４変曲点を終点として選定しても良い。なお、図７に示す様に、下に凸の変曲点が１つの場合は、第１変曲点と第４変曲点が等価となる。なお、この場合、メインローブの始点は、第２変曲点とすれば良い。選定部６は、図７に開示する方法を用いることにより、メインローブにスパイク状のノイズまたは周波数信号が重畳している場合でも、当該スパイク状のノイズまたは周波数信号の影響を排除してメインローブを選定することが可能となる。

制御部７は、例えば、ワイヤードロジックによるハードウェア回路である。また、制御部７は、オーディオ符号化装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。制御部７は、配分部４が配分したビット量を配分部４から受け取り、選定部６が選定したメインローブを選定部６から受け取る。制御部７は、メインローブを選定部６から受け取っている場合（図２のステップＳ２０６−Ｙｅｓに相当）、制御部７は、メインローブにおいて、周波数信号のパワーの最大値を含む第１領域に対して配分されたビット量を削減する。なお、当該処理は、図２に示すフローチャートのステップＳ２０８に対応する。制御部７は、第１領域から削減したビット量を第１領域以外に割り当てる制御を実施し、当該制御後の単位周波数領域あたりのビット量を量子化部８に出力する。なお、当該処理は、図２に示すフローチャートのステップＳ２０９に対応する。また、制御部７は、メインローブを選定部６から受け取っていない場合（図２のステップＳ２０６−Ｎｏに相当）は、配分部４が配分したビット量を、そのまま、制御後の単位周波数領域あたりのビット量として量子化部８に出力すれば良い。なお、当該処理は、図２に示すフローチャートのステップＳ２０７に対応する。

ここで、制御部７における第１領域の規定方法について説明する。図８は、摩擦音の子音のスペクトルにおける第１領域の概念図である。図９は、摩擦音以外の子音のスペクトルの第１領域の概念図である。図８、図９の双方において、制御部７は、メインローブのパワーが最大値となる第２変曲点の値から所定のパワー（例えば、３ｄＢ）を減少させた値を第５閾値（Ｔｈ５）として規定する。制御部７は、メインローブのパワーが当該第５閾値以上を満たす領域を第１領域と規定することが出来る。

なお、制御部７は、第１領域から削減したビット量を、第１領域以外の周波数領域に割り当てることで符号化時におけるビット量の不足を抑制することが出来る。詳細は後述するが、当該処理を実施しても第１領域の音質劣化を招くことはない。また、制御部７は、現フレームにおいて削減したビット量を保持し、配分部４が、制御部７が保持する現フレームにおいて削減したビット量を、次フレームの周波数信号の符号化に割り当てることで、次フレームの符号化時におけるビット量の不足を抑制することが出来る。なお、詳細は後述するが、現フレームで第１領域のビット量を所定量だけ削減したとしても音質の劣化は生じない為、音質の劣化を生じさせることなく、符号化処理全体のビット量の不足を抑制することが出来る。

更に、制御部７は、第１領域において、最大値となる第２変曲点を基点とする高域側のビット量を削減し、削減したビット量を、第１領域以外に割り当てることが出来る。この場合、制御部７の処理コストを低減することが出来る。なお、一般的に、低域側の周波数信号の方が知覚され易い為、実施例１においては、高域側のビット量を削減している。しかしながら、制御部７は、必要に応じて最大値となる第２変曲点を基点とする低域側のビット量を削減し、削減したビット量を、第１領域以外に割り当てても良い。

ここで、実施例１における技術的な意義の１つの観点について説明する。本発明者らは、低ビットレートでの符号化において、オーディオ信号の特性について仔細に検証を行い、鋭意検証の結果、以下の事項を明らかにした。例えば、図３のスペクトルに示す様な、摩擦音の子音は周波数帯域の高域側に大きいパワー、かつ、広いローブ（メインローブの第１領域に該当）を有する。また、図４のスペクトルに示す様な、摩擦音以外の子音においては、低域側に大きいパワー、かつ、広いローブ（メインローブの第１領域に該当）を有する。ここで、本発明者らは鋭意検証の結果、子音の様にメインローブにおいて、パワーが大きい帯域が連続する領域（第１領域に該当）においては、配分部４が配分するマスキング閾値に基づく一般的なビット配分量に対して、更にビット配分量を削減しても音質が劣化しないことが明らかになった。

図１０は、第１領域のビット配分量と客観音質評価値の関係図である。当該検証実験においては、ビットレートは６４ｋｂｐｓとし、音源は女性の発話音声を用いた。図１０においては、第１領域のビット配分量を段階的に削減した場合における客観音質評価値を示している。なお、復号方法は、一般的な復号方法を用いた。評価方法は、ＯＤＧ（Ｏｂｊｅｃｔｉｖｅ Ｄｉｆｆｅｒｅｎｃｅ Ｇｒａｄｅ；客観品質劣化度合）と称される客観音質評価値を用いた。なお、ＯＤＧは、「０」〜「−５」の間で表現され、値が大きい程（０に近い程）音質が良いことを示す。なお、一般的には、ＯＤＧにおいて、０．１以上の差が存在する場合、主観的にも音質の差を知覚することが出来る。図１０に示す通り、実施例１においては、第１領域のビット量をある程度削減しても音質が劣化しないことを新たに見出した。なお、必要以上にビット量を削減した場合、欠落による誤差の重畳により、子音箇所に「シュルシュル」という劣化音が重畳されていることが確認された。これは、帯域欠落の場合に多く発生する劣化であり、当該劣化の発生した帯域でビット不足により符号化ができず帯域欠落が発生している為に生じる音質劣化であると考えることが出来る。

図１０における、第１領域においては、配分部４が配分するマスキング閾値に基づく一般的なビット配分量に対して、更にビット配分量を削減しても音質が劣化しない実験事実を記載したが、当該実験事実に関する技術的な考察を付記的に記載する。なお、当該考察は、実施例の内容に関し、限定的に解釈するものに用いられるものでは当然ない。スペクトル電力のパワーが大きい帯域が連続している場合、その帯域における複数の周波数の信号を均等、あるいはそれに近い比率で有している為、ノイズ状の音となる特性を有する。ノイズ状の音では、一般的に他の周波数の音をマスキングし易いと考えられており、誤差が増えても主観的に知覚され難い。この為、該当帯域においてはビット配分量を減らして誤差を増やしても音質低下が発生しないものと考えることが出来る。なお、図８と図９に示す通り、第１領域においては、ＳＭＲは、略一定の値を保持する。これは、マスキング閾値は、入力音となるスペクトル電力のパワーが大きいことで近傍の帯域の音が聞こえなくなる限界値を表した値であることに起因する。この為、マスキング閾値は、入力音の周波数を頂点とした山型で模擬され、入力音の複数帯域のマスキング閾値の中で最も大きいマスキング閾値が用いられることになる。パワーが大きい帯域が続くと、隣接帯域のマスキングよりも該当帯域のマスキングの方が大きくなる為、ＳＭＲは略一定の値を保持することになる。

制御部７は、上述の通り、第１領域から削減したビット量を第１領域以外に割り当てることで符号化時におけるビット量の不足を抑制することが出来る。また、制御部７は、上述の通り、現フレームにおいて削減したビット量を保持し、配分部４が、制御部７が保持する現フレームにおいて削減したビット量を、次フレームの周波数信号の符号化に割り当てることで、次フレームの符号化時におけるビット量の不足を抑制することが出来る。ここで、第１領域において、削減することができるビット量は、例えば、固定値であり、実験的に規定することができる。例えば、図１０の実験結果を用いて規定すると、５ｋＨｚ〜１１ｋＨｚの周波数区間の６Ｈｚを第１領域とし、当該第１領域に対して配分部４が１５．８ｋｂｐｓのビット配分量を割り当てる場合、８ｋｂｐｓまでビット量を削減しても音質劣化は確認されない為、第１領域における単位周波数領域あたりのビット削減量は１．３ｋｂｐｓ／ｋＨｚと規定することが出来る。換言すると、制御部７は、第１領域におけるビット量の削減量を、客観音質評価値に基づいて規定することが出来る。さらに、客観音質評価値は主観音質評価値を模擬した評価値であるため、削減することができるビット量は主観音質評価値に基づいて規定することも出来る。主観音質評価値には、たとえば、ＭＯＳ（Ｍｅａｎ Ｏｐｉｎｉｏｎ Ｓｃｏｒｅ）評価やＭＵＳＨＲＡ（ＭＵｌｔｉｐｌｅ Ｓｔｉｍｕｌｉ ｗｉｔｈ Ｈｉｄｄｅｎ Ｒｅｆｅｒｅｎｃｅ ａｎｄ Ａｎｃｈｏｒ）法などを用いることが出来る。

ここで、実施例１における他の側面による技術的な意義について説明する。本発明者らは、低ビットレートでの符号化において、オーディオ信号の音質の低下を招く原因について更に仔細に検証を行い、鋭意検証の結果、以下の事項を明らかにした。例えば、図３のスペクトルに示す様な、摩擦音の子音は、上述の通り、口腔内で狭められた点（例えば、日本語のサ行では歯で狭められた点）を、呼気が通過した際に発生する乱気流であり、周波数帯域の高域側に大きいパワー、かつ、広いローブ（実施例１のメインローブに該当）を有する。摩擦音の子音を知覚する為に利用される帯域は、メインローブの端も含めたメインローブの帯域全体であり、その帯域の信号が符号化時の欠落により失われた場合、復号時に主観的ならび客観的な音質の劣化を知覚することが明らかになった。なお、主観評価においては、欠落による誤差の重畳により、「ギュルギュル」という劣化音が重畳されていることが確認された。この為、制御部７は、図３のスペクトルに示す様な、摩擦音の子音のスペクトルを制御する場合、第１領域以外のメインローブに削減したビット量を優先的に割り当てることで音質の劣化を抑制することが可能となる。

量子化部８は、例えば、ワイヤードロジックによるハードウェア回路である。また、量子化部８は、オーディオ符号化装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。量子化部８は各チャネルの周波数信号を時間周波数変換部２から受け取り、各チャネルの周波数信号に対応する制御後のビット配分量を制御部７から受け取る。量子化部８は、各チャネルの周波数信号ｓｐｅｃ_ｃｈ（ｔ）_ｉを、各チャネルの（制御後の）ビット配分量に基づくスケール値でスケーリングして量子化を行う。なお、当該処理は、図２に示すフローチャートのステップＳ２１０に対応する。量子化部８は、例えば、ＩＳＯ／ＩＥＣ １３８１８-７のＡｎｎｅｘ ＣのＣ.７のＱｕａｎｔｉｚａｔｉｏｎ項目に記載された方法を用いて量子化することが出来る。量子化部８は、例えば、次式に基づいて量子化を行うことが出来る。
（数５）

上述の（数５）において、ｑｕａｎｔ_ｃｈ（ｔ）_ｉは、フレームｔにおける、チャネルｃｈのｉ番目の周波数信号の量子化値であり、ｓｃａｌｅ_ｃｈ［ｂ］（ｔ）は、ｉ番目の周波数信号が含まれる周波数帯域について算出された量子化スケールである。量子化部８は、各チャネルの周波数信号を量子化した量子化値を符号化部９へ出力する。

図１の符号化部９は、例えば、ワイヤードロジックによるハードウェア回路である。また、符号化部９は、オーディオ符号化装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。符号化部９は、各チャネルのオーディオ信号の量子化値を量子化部８から受け取る。符号化部９は、量子化部８から受け取った各チャネルの周波数信号の量子化値をハフマン符号または算術符号等のエントロピー符号を用いて符号化する。次に、符号化部９は、チャネル毎に、エントロピー符号の合計ビット量ｔｏｔａｌＢｉｔ_ｃｈ（ｔ）を算出する。次に、符号化部９は、エントロピー符号の合計ビット量ｔｏｔａｌＢｉｔ_ｃｈ（ｔ）が、予め規定されたビットレート（例えば、６４ｋｂｐｓ）に基づいた割当ビット量ｐＢｉｔ_ｃｈ（ｔ）未満か否かを判定する。なお、当該処理は、図２に示すフローチャートのステップＳ２１１に対応する。符号化部９は、エントロピー符号の合計ビット数ｔｏｔａｌＢｉｔ_ｃｈ（ｔ）が、予め規定されたビットレートに基づいた割当ビット量ｐＢｉｔ_ｃｈ（ｔ）未満（図２のステップＳ２１１−Ｙｅｓに相当）であれば、符号化部９は、エントロピー符号を符号化オーディオ信号として多重化部１０へ出力する。なお、当該処理は、図２に示すフローチャートのステップＳ２１２に対応する。

符号化部９は、任意のチャネルの任意フレームにおいて、エントロピー符号の合計ビット数ｔｏｔａｌＢｉｔ_ｃｈ（ｔ）が、割当ビット量ｐＢｉｔ_ｃｈ（ｔ）以上の場合（図２のステップＳ２１１−Ｎｏに相当）、符号化部９は、任意の可変閾値となる第６閾値（Ｔｈ６）未満のパワーとなる全周波数領域の量子化値を欠落させて符号化すれば良い。なお、当該処理は、図２に示すフローチャートのステップＳ２１３に対応する。

更に、ステップＳ２１３において、符号化部９は、任意の第６閾値未満のパワーの周波数帯域の全ての量子化値を欠落させても所定のビットレートを満たさない場合、必要に応じて、ＳＭＲに基づいて、オーディオ信号を符号化しても良い。符号化部９は、符号化処理においてＳＭＲが低い順に欠落させることで、より聴覚的に重要な帯域を符号化することが出来る。具体的には、符号化部９は、ＳＭＲにおいて可変閾値となる第６閾値を下回った帯域を欠落させ、所定のビットレート内に収まるまで第６閾値を大きくして符号化を行う。符号化部９は、符号化した各チャネルのオーディオ信号（符号化オーディオ信号と称しても良い）を多重化部１０に出力する。

図１の多重化部１０は、例えば、ワイヤードロジックによるハードウェア回路である。また、多重化部１０は、オーディオ符号化装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。多重化部１０は、符号化オーディオ信号を符号化部９から受け取る。多重化部１０は、符号化オーディオ信号を所定の順序に従って配列することにより多重化する。なお、当該処理は、図２に示すフローチャートのステップＳ２１４に対応する。図１１は、多重化されたオーディオ信号が格納されたデータ形式の一例を示す図である。図１１に示す一例では、符号化されたオーディオ信号は、Ｍｐｅｇ−４ ＡＤＴＳ（Ａｕｄｉｏ Ｄａｔａ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）形式に従って多重化される。図１１示される様に、チャネル毎のエントロピー符号のデータ（ｃｈ−１データ、ｃｈ−２データ、ｃｈ−Ｎデータ）が格納される。またエントロピー符号のデータのブロックの前に、ＡＤＴＳ形式のヘッダ情報（ＡＤＴＳヘッダ）が格納される。多重化部１０は、多重化した符号化オーディオ信号を任意の外部装置（例えば、オーディオ復号装置）に出力する。なお、多重化された符号化オーディオ信号はネットワークを介して外部装置に出力されても良い。

本発明者らは、実施例１の効果を定量的に示す検証実験を実施した。図１２は、実施例１と比較例の客観評価値である。当該検証実験においては、ビットレートは６４ｋｂｐｓとし、音源は女性の発話音声を用いた。比較例としては、一般的な符号化処理を実施させた。なお、実施例１と比較例ともに、ビットレートが６４ｋｂｐｓに収まる様に一定の閾値以下のパワーの周波数の量子化値を一律に欠落させた。換言すると、図１２は、制御部７の効果を示す検証実験の結果を示している。なお、復号方法は、実施例１と比較例の双方において、同一の条件で一般的な復号方法を用いた。評価方法は、ＯＤＧ（Ｏｂｊｅｃｔｉｖｅ Ｄｉｆｆｅｒｅｎｃｅ Ｇｒａｄｅ；客観品質劣化度合）と称される客観音質評価値を用いた。なお、上述の通り、ＯＤＧは、「０」〜「−５」の間で表現され、値が大きい程（０に近い程）音質が良いことを示す。なお、一般的には、ＯＤＧにおいて、０．１以上の差が存在する場合、主観的にも音質の差を知覚することが出来る。図１２に示す通り、実施例１においては、比較例に比較して０．２５程度の客観音質評価値の改善が確認された。

実施例１に示すオーディオ符号化装置においては、低ビットレートの符号化条件下においても高音質で符号化することが可能となる。

（実施例２）
図１３は、一つの実施形態によるオーディオ符号化復号装置１４の機能ブロックを示す図である。図１３に示す様に、オーディオ符号化復号装置１４は、時間周波数変換部２、算出部３、配分部４、検出部５、選定部６、制御部７、量子化部８、符号化部９、多重化部１０、記憶部１１、分離復号部１２、周波数時間変換部１３を含んでいる。

オーディオ符号化復号装置１４が有する上述の各部は、例えば、ワイヤードロジックによるハードウェア回路としてそれぞれ別個の回路として形成される。あるいはオーディオ符号化復号装置１４が有する上述の各部は、その各部に対応する回路が集積された一つの集積回路としてオーディオ符号化復号装置１４に実装されてもよい。なお、集積回路は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路であれば良い。更に、オーディオ符号化復号装置１４が有するこれらの各部は、オーディオ符号化復号装置１４が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。図１３において、時間周波数変換部２、算出部３、配分部４、検出部５、選定部６、制御部７、量子化部８、符号化部９、多重化部１０は、実施例１に開示した機能と同様である為、詳細な説明は省略する。

記憶部１１は、例えば、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスクなどの記憶装置である。なお、記憶部１１は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよい。記憶部１１は、多重化部１０から多重化された符号化オーディオ信号を受け取る。記憶部１１は、例えば、ユーザがオーディオ符号化復号装置１４に対して、符号化オーディオ信号の再生の指示を実施したことを契機に、多重化された符号化オーディオ信号を分離復号部１２に出力する。

分離復号部１２は、例えば、ワイヤードロジックによるハードウェア回路である。また、分離復号部１２は、オーディオ符号化復号装置１４で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。分離復号部１２は、多重化された符号化オーディオ信号を記憶部１１からから受け取る。分離復号部１２は、多重化された符号化オーディオ信号を分離した後に復号する。なお、分離復号部１２は、分離方法として、例えば、ＩＳＯ／ＩＥＣ１４４９６−３に記載の方法を用いることが出来る。また、分離復号部１２は、復号方法として、例えば、ＩＳＯ／ＩＥＣ １３８１８−７に記載の方法を用いることが出来る。分離復号部１２は、復号されたオーディオ信号を周波数時間変換部１３に出力する。

周波数時間変換部１３は、例えば、ワイヤードロジックによるハードウェア回路である。また、周波数時間変換部１３は、オーディオ符号化復号装置１４で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。周波数時間変換部１３は、分離復号部１２から復号されたオーディオ信号を受け取る。周波数時間変換部１３は、オーディオ信号を、上述の（数１）に対応する逆高速フーリエ変換を用いて周波数信号から時間信号に変換した上で、任意の外部装置（例えば、スピーカ）に出力する。

この様に、実施例２に開示するオーディオ符号化復号装置においては、低ビットレートの符号化条件下においても高音質で符号化されたオーディオ信号を記憶した上で、正確に復号することが出来る。なお、この様なオーディオ符号化復号装置は、例えば、ビデオ信号と共にオーディオ信号を記憶する監視カメラ等に適用することも出来る。また、実施例２においては、例えば、分離復号部１２と周波数時間変換部１３を組み合わせたオーディオ復号装置を構成しても良い。

（実施例３）
図１４は、一つの実施形態によるオーディオ符号化装置１またはオーディオ符号化復号装置１４として機能するコンピュータのハードウェア構成図である。図１４に示す通り、音声オーディオ符号化装置１またはオーディオ符号化復号装置１４は、コンピュータ１００、およびコンピュータ１００に接続する入出力装置（周辺機器）を含んで構成される。

コンピュータ１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２と複数の周辺機器が接続されている。なお、プロセッサ１０１は、マルチプロセッサであってもよい。また、プロセッサ１０１は、例えば、ＣＰＵ、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）である。更に、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。なお、例えば、プロセッサ１０１は、図１または図１３に記載の、時間周波数変換部２、算出部３、配分部４、検出部５、選定部６、制御部７、量子化部８、符号化部９、多重化部１０、記憶部１１、分離復号部１２、周波数時間変換部１３等の機能ブロックの処理をまたは、実行することが出来る。

ＲＡＭ１０２は、コンピュータ１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。バス１０９に接続されている周辺機器としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０３、グラフィック処理装置１０４、入力インタフェース１０５、光学ドライブ装置１０６、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。

ＨＤＤ１０３は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ１０３は、例えば、コンピュータ１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することも出来る。

グラフィック処理装置１０４には、モニタ１１０が接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令にしたがって、各種画像をモニタ１１０の画面に表示させる。モニタ１１０としては、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）を用いた表示装置や液晶表示装置などがある。

入力インタフェース１０５には、キーボード１１１とマウス１１２とが接続されている。入力インタフェース１０５は、キーボード１１１やマウス１１２から送られてくる信号をプロセッサ１０１に送信する。なお、マウス１１２は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク１１３に記録されたデータの読み取りを行う。光ディスク１１３は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク１１３には、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。可搬型の記録媒体となる光ディスク１１３に格納されたプログラムは光学ドライブ装置１０６を介してオーディオ符号化装置１にインストールされる。インストールされた所定のプログラムは、オーディオ符号化装置１またはオーディオ符号化復号装置１４より実行可能となる。

機器接続インタフェース１０７は、コンピュータ１００に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース１０７には、メモリ装置１１４やメモリリーダライタ１１５を接続することが出来る。メモリ装置１１４は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ１１５は、メモリカード１１６へのデータの書き込み、またはメモリカード１１６からのデータの読み出しを行う装置である。メモリカード１１６は、カード型の記録媒体である。

ネットワークインタフェース１０８は、ネットワーク１１７に接続されている。ネットワークインタフェース１０８は、ネットワーク１１７を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。

コンピュータ１００は、たとえば、コンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、上述したオーディオ符号化処理機能等を実現する。コンピュータ１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことが出来る。上記プログラムは、１つのまたは複数の機能モジュールから構成することが出来る。例えば、図１または図１３に記載の、時間周波数変換部２、算出部３、配分部４、検出部５、選定部６、制御部７、量子化部８、符号化部９、多重化部１０、記憶部１１、分離復号部１２、周波数時間変換部１３等の処理を実現させた機能モジュールからプログラムを構成することが出来る。なお、コンピュータ１００に実行させるプログラムをＨＤＤ１０３に格納しておくことができる。プロセッサ１０１は、ＨＤＤ１０３内のプログラムの少なくとも一部をＲＡＭ１０２にロードし、プログラムを実行する。また、コンピュータ１００に実行させるプログラムを、光ディスク１１３、メモリ装置１１４、メモリカード１１６などの可搬型記録媒体に記録しておくことも出来る。可搬型記録媒体に格納されたプログラムは、例えば、プロセッサ１０１からの制御により、ＨＤＤ１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することも出来る。

以上に図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。

また、上述の実施例において、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記の各実施形態におけるオーディオ符号化装置は、コンピュータ、ビデオ信号の録画機または映像伝送装置など、オーディオ信号を伝送または記録するために利用される各種の機器に実装させることが可能である。

ここに挙げられた全ての例及び特定の用語は、当業者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
オーディオ信号を構成する周波数信号に基づく複数のローブを検出する検出部と、
前記周波数信号のマスキング閾値を算出する算出部と、
前記マスキング閾値に基づいて前記周波数信号の符号化に割り当てる単位周波数領域あたりのビット量を配分する配分部と、
前記ローブの帯域幅とパワーに基づいて、メインローブを選定する選定部と、
前記メインローブにおいて、前記パワーの最大値を含む第１領域の前記ビット量を削減することにより前記符号化を制御する制御部
を備えることを特徴とするオーディオ符号化装置。
（付記２）
前記選定部は、前記複数の前記ローブにおいて、前記帯域幅が最も広いローブをメインローブ候補として選定し、
前記メインローブ候補の前記帯域幅が第１閾値以上であり、かつ、前記メインローブ候補の前記パワーが第２閾値以上となる場合、前記メインローブとして選定することを特徴とする付記１記載のオーディオ符号化装置。
（付記３）
前記選定部は、前記複数の前記ローブの変曲点群において、前記パワーが最小となる第１変曲点の値を第３閾値として規定し、
前記第３閾値から所定の前記パワーを増加させた値を第４閾値として規定し、
前記変曲点群において、前記パワーが最大となる第２変曲点に対して、高域側と低域側にそれぞれ隣接し、かつ、前記第３閾値以上かつ前記第４閾値未満となる第３変曲点と第４変曲点を前記メインローブの始点と終点として選定することを特徴とする付記１または付記２記載のオーディオ符号化装置。
（付記４）
前記選定部は、前記複数の前記ローブの変曲点群において、前記パワーが最小となる第１変曲点の値を第３閾値として規定し、
前記第３閾値から所定の前記パワーを増加させた値を第４閾値として規定し、
前記パワーが最大となる値を第２変曲点として規定し、
前記第２変曲点を前記メインローブの始点として選定し、
前記第２変曲点に対して高域側に隣接し、かつ、前記第３閾値以上かつ前記第４閾値未満となる第４変曲点を前記メインローブの終点として選定することを特徴とする付記１または付記２記載のオーディオ符号化装置。
（付記５）
前記制御部は、前記メインローブにおいて、前記パワーが、前記第２変曲点に基づいて規定される第５閾値以上を満たす領域を前記第１領域として規定することを特徴とする付記３または付記４に記載のオーディオ符号化装置。
（付記６）
前記制御部は、前記第１領域における前記ビット量の削減量を、主観音質評価値または客観音質評価値に基づいて規定する付記１ないし付記５の何れか一つに記載のオーディオ符号化装置。
（付記７）
前記制御部は、前記削減した前記ビット量を、前記第１領域以外に割り当てることを特徴とする付記１ないし付記６の何れか一つに記載のオーディオ符号化装置。
（付記８）
前記制御部は、前記削減した前記ビット量を、前記第１領域以外の前記メインローブに割り当てることを特徴とする付記１ないし付記７の何れか一つに記載のオーディオ符号化装置。
（付記９）
前記制御部は、現フレームにおいて前記削減した前記ビット量を保持し、
前記配分部は、前記制御部が保持する前記現フレームにおいて前記削減した前記ビット量を、次フレームの前記周波数信号の符号化に割り当てることを特徴とする付記１ないし付記８の何れか一つに記載のオーディオ符号化装置。
（付記１０）
前記制御部は、前記第１領域において、前記最大値を基点とする高域側の前記ビット量を削減し、前記削減した前記ビット量を、前記第１領域以外に割り当てることを特徴とする付記１ないし付記９の何れか一つに記載のオーディオ符号化装置。
（付記１１）
オーディオ信号を構成する周波数信号に基づく複数のローブを検出し、
前記周波数信号のマスキング閾値を算出し、
前記マスキング閾値に基づいて前記周波数信号の符号化に割り当てる単位周波数領域あたりのビット量を配分し、
前記ローブの帯域幅とパワーに基づいて、メインローブを選定し、
前記メインローブにおいて、前記パワーの最大値を含む第１領域の前記ビット量を削減することにより前記符号化を制御すること
を含むことを特徴とするオーディオ符号化方法。
（付記１２）
前記選定することは、前記複数の前記ローブにおいて、前記帯域幅が最も広いローブをメインローブ候補として選定し、
前記メインローブ候補の前記帯域幅が第１閾値以上であり、かつ、前記メインローブ候補の前記パワーが第２閾値以上となる場合、前記メインローブとして選定することを特徴とする付記１１記載のオーディオ符号化方法。
（付記１３）
前記選定することは、前記複数の前記ローブの変曲点群において、前記パワーが最小となる第１変曲点の値を第３閾値として規定し、
前記第３閾値から所定の前記パワーを増加させた値を第４閾値として規定し、
前記変曲点群において、前記パワーが最大となる第２変曲点に対して、高域側と低域側にそれぞれ隣接し、かつ、前記第３閾値以上かつ前記第４閾値未満となる第３変曲点と第４変曲点を前記メインローブの始点と終点として選定することを特徴とする付記１１または付記１２記載のオーディオ符号化方法。
（付記１４）
前記選定することは、前記複数の前記ローブの変曲点群において、前記パワーが最小となる第１変曲点の値を第３閾値として規定し、
前記第３閾値から所定の前記パワーを増加させた値を第４閾値として規定し、
前記パワーが最大となる値を第２変曲点として規定し、
前記第２変曲点を前記メインローブの始点として選定し、
前記第２変曲点に対して高域側に隣接し、かつ、前記第３閾値以上かつ前記第４閾値未満となる第４変曲点を前記メインローブの終点として選定することを特徴とする付記１１または付記１２記載のオーディオ符号化方法。
（付記１５）
前記制御することは、前記メインローブにおいて、前記パワーが、前記第２変曲点に基づいて規定される第５閾値以上を満たす領域を前記第１領域として規定することを特徴とする付記１３または付記１４に記載のオーディオ符号化方法。
（付記１６）
前記制御することは、前記第１領域における前記ビット量の削減量を、主観音質評価値または客観音質評価値に基づいて規定する付記１１ないし付記１５の何れか一つに記載のオーディオ符号化方法。
（付記１７）
前記制御することは、前記削減した前記ビット量を、前記第１領域以外に割り当てることを特徴とする付記１１ないし付記１６の何れか一つに記載のオーディオ符号化方法。
（付記１８）
前記制御することは、前記削減した前記ビット量を、前記第１領域以外の前記メインローブに割り当てることを特徴とする付記１１ないし付記１７の何れか一つに記載のオーディオ符号化方法。
（付記１９）
前記制御することは、現フレームにおいて前記削減した前記ビット量を保持し、
前記配分することは、前記制御部が保持する前記現フレームにおいて前記削減した前記ビット量を、次フレームの前記周波数信号の符号化に割り当てることを特徴とする付記１１ないし付記１８の何れか一つに記載のオーディオ符号化方法。
（付記２０）
前記制御することは、前記第１領域において、前記最大値を基点とする高域側の前記ビット量を削減し、前記削減した前記ビット量を、前記第１領域以外に割り当てることを特徴とする付記１１ないし付記１９の何れか一つに記載のオーディオ符号化方法。
（付記２１）
コンピュータに
オーディオ信号を構成する周波数信号に基づく複数のローブを検出し、
前記周波数信号のマスキング閾値を算出し、
前記マスキング閾値に基づいて前記周波数信号の符号化に割り当てる単位周波数領域あたりのビット量を配分し、
前記ローブの帯域幅とパワーに基づいて、メインローブを選定し、
前記メインローブにおいて、前記パワーの最大値を含む第１領域の前記ビット量を削減することにより前記符号化を制御すること
を実行させることを特徴とするオーディオ符号化プログラム。
（付記２２）
オーディオ信号を構成する周波数信号に基づく複数のローブを検出する検出部と、
前記周波数信号のマスキング閾値を算出する算出部と、
前記マスキング閾値に基づいて前記周波数信号の符号化に割り当てる単位周波数領域あたりのビット量を配分する配分部と、
前記ローブの帯域幅とパワーに基づいて、メインローブを選定する選定部と、
前記メインローブにおいて、前記パワーの最大値を含む第１領域の前記ビット量を削減することにより前記符号化を制御する制御部と
前記符号化された前記オーディオ信号を復号する分離復号部と、
を備えることを特徴とするオーディオ符号化復号装置。

１ オーディオ符号化装置
２ 時間周波数変換部
３ 算出部
４ 配分部
５ 検出部
６ 選定部
７ 制御部
８ 量子化部
９ 符号化部
１０ 多重化部

Claims (12)

1. オーディオ信号を構成する周波数信号に基づく複数のローブを検出する検出部と、
   前記周波数信号のマスキング閾値を算出する算出部と、
   前記マスキング閾値に基づいて前記周波数信号の符号化に割り当てる単位周波数領域あたりのビット量を配分する配分部と、
   前記ローブの帯域幅とパワーに基づいて、メインローブを選定する選定部と、
   前記メインローブにおいて、前記パワーの最大値を含む第１領域の前記ビット量を削減することにより前記符号化を制御する制御部
   を備えることを特徴とするオーディオ符号化装置。
2. 前記選定部は、前記複数の前記ローブにおいて、前記帯域幅が最も広いローブをメインローブ候補として選定し、
   前記メインローブ候補の前記帯域幅が第１閾値以上であり、かつ、前記メインローブ候補の前記パワーが第２閾値以上となる場合、前記メインローブとして選定することを特徴とする請求項１記載のオーディオ符号化装置。
3. 前記選定部は、前記複数の前記ローブの変曲点群において、前記パワーが最小となる第１変曲点の値を第３閾値として規定し、
   前記第３閾値から所定の前記パワーを増加させた値を第４閾値として規定し、
   前記変曲点群において、前記パワーが最大となる第２変曲点に対して、高域側と低域側にそれぞれ隣接し、かつ、前記第３閾値以上かつ前記第４閾値未満となる第３変曲点と第４変曲点を前記メインローブの始点と終点として選定することを特徴とする請求項１または請求項２記載のオーディオ符号化装置。
4. 前記選定部は、前記複数の前記ローブの変曲点群において、前記パワーが最小となる第１変曲点の値を第３閾値として規定し、
   前記第３閾値から所定の前記パワーを増加させた値を第４閾値として規定し、
   前記パワーが最大となる値を第２変曲点として規定し、
   前記第２変曲点を前記メインローブの始点として選定し、
   前記第２変曲点に対して高域側に隣接し、かつ、前記第３閾値以上かつ前記第４閾値未満となる第４変曲点を前記メインローブの終点として選定することを特徴とする請求項１または請求項２記載のオーディオ符号化装置。
5. 前記制御部は、前記メインローブにおいて、前記パワーが、前記第２変曲点に基づいて規定される第５閾値以上を満たす領域を前記第１領域として規定することを特徴とする請求項３または請求項４に記載のオーディオ符号化装置。
6. 前記制御部は、前記第１領域における前記ビット量の削減量を、主観音質評価値または客観音質評価値に基づいて規定する請求項１ないし請求項５の何れか一項に記載のオーディオ符号化装置。
7. 前記制御部は、前記削減した前記ビット量を、前記第１領域以外に割り当てることを特徴とする請求項１ないし請求項６の何れか一項に記載のオーディオ符号化装置。
8. 前記制御部は、前記削減した前記ビット量を、前記第１領域以外の前記メインローブに割り当てることを特徴とする請求項１ないし請求項７の何れか一項に記載のオーディオ符号化装置。
9. 前記制御部は、現フレームにおいて前記削減した前記ビット量を保持し、
   前記配分部は、前記制御部が保持する前記現フレームにおいて前記削減した前記ビット量を、次フレームの前記周波数信号の符号化に割り当てることを特徴とする請求項１ないし請求項８の何れか一項に記載のオーディオ符号化装置。
10. 前記制御部は、前記第１領域において、前記最大値を基点とする高域側の前記ビット量を削減し、前記削減した前記ビット量を、前記第１領域以外に割り当てることを特徴とする請求項１ないし請求項９の何れか一項に記載のオーディオ符号化装置。
11. オーディオ信号を構成する周波数信号に基づく複数のローブを検出し、
    前記周波数信号のマスキング閾値を算出し、
    前記マスキング閾値に基づいて前記周波数信号の符号化に割り当てる単位周波数領域あたりのビット量を配分し、
    前記ローブの帯域幅とパワーに基づいて、メインローブを選定し、
    前記メインローブにおいて、前記パワーの最大値を含む第１領域の前記ビット量を削減することにより前記符号化を制御すること
    を含むことを特徴とするオーディオ符号化方法。
12. コンピュータに
    オーディオ信号を構成する周波数信号に基づく複数のローブを検出し、
    前記周波数信号のマスキング閾値を算出し、
    前記マスキング閾値に基づいて前記周波数信号の符号化に割り当てる単位周波数領域あたりのビット量を配分し、
    前記ローブの帯域幅とパワーに基づいて、メインローブを選定し、
    前記メインローブにおいて、前記パワーの最大値を含む第１領域の前記ビット量を削減することにより前記符号化を制御すること
    を実行させることを特徴とするオーディオ符号化プログラム。

Images