JP2016514856A - オーディオ信号大きさの制御方法及び装置 - Google Patents

Abstract

【課題】オーディオ信号大きさの制御方法が開示される。【解決手段】この制御方法は、入力されたオーディオ信号の大きさである第１のオーディオ信号の大きさを測定するステップと、既に設定された初期ピーク重み付け値を用いて、入力されたオーディオ信号をスケーリングし、スケーリングされたオーディオ信号の大きさである第２のオーディオ信号の大きさを測定するステップと、出力されるオーディオ信号の音のバラツキを維持するための既に設定されたマッピングテーブルに第１のオーディオ信号の大きさを適用して、第３のオーディオ信号の大きさを検出するステップ及び第１のオーディオ信号の大きさと、第２のオーディオ信号の大きさ及び第３のオーディオ信号の大きさを用いて、入力されたオーディオ信号の大きさを制御するステップを含む。

Description

本発明は、マルチメディアにおいて再生されるオーディオ信号の大きさを制御する方法及びその装置に関する。

人間は、日常生活を営みながら様々な環境におかれ、且つ、様々な音に露出される。人間が露出される音は、様々な原因により発生するが、図１に示すように、人間が聞いたときに不快感を発生する環境騒音、人間を楽しくするマルチメディア音及び音楽、並びに人間の間において対話及び情報をやり取りするときに発生する音などがある。

人間の周りの種々の音は、音の大きさ及び種類に応じて人間に苦痛を与えることもあれば、楽しさを与えることもあり、しかも、様々な情報を提供することもある。これは、人間の聴覚構造は、空気を介して伝達された音の音圧レベルを通して音を認知するため、音の大きさ及び強さは、音による聴覚的疲労度及び音の物理的特徴を定義する有用な数値となっているためである。

音を評価する方法のうち、音の大きさ（ラウドネス）は、ある音が人間の耳に伝達されたとき、人間の聴覚システムが認知する主観的な音の大きさであり、音の強さは、人間の聴覚システムに伝達された客観的な音の強さであり、音のパワーを意味し、一般に、周知のデシベル（ｄＢ）として測定される。一般に、人間の間の対話は６０〜７０ｄＢであり、交通量が多くて且つ騒音が激しい大通りは約８０ｄＢであり、一般に、約７０ｄＢの範囲で人間は楽さを感じる。

図１を参照すると、現代人がオーディオに接する方法及び機会は益々増えつつあり、携帯用マルチメディアオーディオ機器の発達に伴い、どこでも、且つ、どのような状況下でも自分が希望するマルチメディアコンテンツ及び音楽を楽しむことが可能になった。特に、オーディオ分野においては、１９９０年代の後半にＭＰ３（ＭＰＥＧ−１ Ｌａｙｅｒ III）の登場及びインターネットの大衆化が行われ、これに伴い、ＭＰ３に圧縮されたデジタル音源をインターネットを介して手軽にダウンロードし且つ聴き取ることが可能になった。

商業的なオーディオ音源市場は、マルチメディア機器の大衆化と相俟って急激に膨張された。また、オーディオ音源は、領域における競争が激しくなるにつれて、人間の関心を引くためにオーディオ音源の再生可能な最大の音響と最小の音響との間の差分比（ダイナミックレンジ）が急激に減少し、波形の最大値が増加してオーディオ音の大きさがかなり増加した。これは、「オーディオ音の大きさが大きいほど、人間が良い音楽として認識するであろう。」という考えから一層進んだ。

図２の（イ）は、１９７０年代の音楽（Ｐｏｐｓ）の波形を、（ロ）は、２０１１年の韓国歌謡（Ｋ−Ｐｏｐｓ）の波形を示す。図２を参照すると、昔に録音された音楽は、ダイナミックレンジが最近に発売された音源よりも広いことが分かり、最近、全世界的な大衆化を達成したＫ−ｐｏｐｓ音源の波形は最大値に達するか、あるいは、最大値を超えることを確認することができる。

これに伴い、マルチメディア機器においてオーディオ音の大きさを正確に測定し、且つ、音の大きさを調節する技術が必要であり、オーディオ音の大きさを制御するための技術が必要である。

本発明は、様々なマルチメディア環境において提供されるオーディオ信号の大きさを効率よく制御することのできる方法及びその装置を提供することを目的としている。

また、本発明は、録画及び予め製作された放送番組に対してオーディオ信号の大きさを規格に合うように制御することのできる装置及び方法を提供することを他の目的としている。

さらに、本発明は、ゲート重み付け値の補間によるゲート遅延が発生することを防ぎながらも、オーディオ信号の大きさを規格に合うように制御することのできる装置及び方法を提供することをさらに他の目的としている。

さらにまた、本発明は、リアルタイム／ライブで取得されたオーディオ信号のオーディオ信号の大きさを規格に合うように制御することのできる装置及び方法を提供することをさらに他の目的としている。

上述した目的を達成するための本発明の第１の実施形態によれば、録画及び予め製作された放送番組に対してオーディオ信号の大きさを規格に合うように制御することのできる装置及び方法を提供する。

また、上述した目的を達成するための本発明の第２の実施形態によれば、リアルタイム／ライブで取得された放送番組に対してオーディオ信号の大きさを規格に合うように制御することのできる装置及び方法を提供する。

さらに、上述した目的を達成するための本発明の第３の実施形態によれば、オーディオ信号の大きさの正規化による聴感的なオーディオ音質の劣化を極力抑えながらオーディオ信号の大きさを制御することのできる装置及び方法を提供する。

さらにまた、上述した目的を達成するための本発明の第４の実施形態によれば、オーディオ信号の大きさの正規化を考慮して、新たなオーディオ制御機能を提供する装置及び方法を提供する。

上述した目的を達成するための本発明の一実施形態によるオーディオ信号大きさの制御方法は、入力されたオーディオ信号の大きさである第１のオーディオ信号の大きさを測定するステップと、既に設定された初期ピーク重み付け値を用いて、前記入力されたオーディオ信号をスケーリングし、前記スケーリングされたオーディオ信号の大きさである第２のオーディオ信号の大きさを測定するステップと、前記第１のオーディオ信号の大きさと、前記第２のオーディオ信号の大きさ及び目標値オーディオ信号の大きさを用いて、前記入力されたオーディオ信号の大きさを制御するステップと、を含む。

また、前記制御するステップは、「前記第１のオーディオ信号の大きさと前記第２のオーディオ信号の大きさとの間の差分である第１の差分」を、「前記第１のオーディオ信号の大きさと前記目標値オーディオ信号の大きさとの間の差分である第２の差分」で除算して、「オーディオ信号の大きさ制御比」を算出するステップと、前記算出された「オーディオ信号の大きさ制御比」を用いて、第１の重み付け値を算出するステップと、前記算出された第１の重み付け値に前記既に設定された初期ピーク重み付け値を乗算して、新たなピーク重み付け値を算出するステップと、前記算出された新たなピーク重み付け値を用いて、前記入力されたオーディオ信号をスケーリングするステップと、を含んでいてもよい。

さらに、本発明の一実施形態によるオーディオ信号大きさの制御方法は、前記算出された新たなピーク重み付け値を用いてスケーリングしたオーディオ信号のオーディオ信号の大きさと前記目標値オーディオ信号の大きさとの間の第３の差分を既に設定された誤差範囲と比較するステップをさらに含んでいてもよい。

さらにまた、本発明の一実施形態によるオーディオ信号大きさの制御方法は、前記比較の結果、前記第３の差分が前記既に設定された誤差範囲よりも大きければ、前記算出された新たなピーク重み付け値を用いてスケーリングしたオーディオ信号のオーディオ信号の大きさを前記第２のオーディオ信号の大きさとして、前記入力されたオーディオ信号の大きさを制御するステップをさらに含んでいてもよい。

また、上述した目的を達成するための本発明の一実施形態によるオーディオ信号大きさの制御装置は、入力されたオーディオ信号の大きさである第１のオーディオ信号の大きさを測定し、前記入力されたオーディオ信号に既に設定された初期ピーク重み付け値を適用してスケーリングされたオーディオ信号の大きさである第２のオーディオ信号の大きさを測定するオーディオ信号大きさ測定部と、前記第１のオーディオ信号の大きさと、前記第２のオーディオ信号の大きさ及び目標値オーディオ信号の大きさを用いて、前記入力されたオーディオ信号の大きさを制御するオーディオ信号大きさ制御部と、を備える。

また、本発明の一実施形態によるオーディオ信号大きさの制御装置は、「前記第１のオーディオ信号の大きさと前記第２のオーディオ信号の大きさとの間の差分である第１の差分」を、「前記第１のオーディオ信号の大きさと前記目標値オーディオ信号の大きさとの間の差分である第２の差分」で除算して「オーディオ信号の大きさ制御比」を算出し、前記算出された「オーディオ信号の大きさ制御比」を用いて、第１の重み付け値を算出し、前記算出された第１の重み付け値に前記既に設定された初期ピーク重み付け値を乗算して新たなピーク重み付け値を算出する重み付け値算出部をさらに備え、前記オーディオ信号大きさ制御部は、前記算出された新たなピーク重み付け値を用いて、前記入力されたオーディオ信号をスケーリングして、前記入力されたオーディオ信号の大きさを制御してもよい。

さらに、前記オーディオ信号大きさ制御部は、前記算出された新たなピーク重み付け値を用いてスケーリングしたオーディオ信号のオーディオ信号の大きさと前記目標値オーディオ信号の大きさとの間の第３の差分を既に設定された誤差範囲と比較してもよい。

さらにまた、前記オーディオ信号大きさ制御部は、前記比較の結果、前記第３の差分が前記既に設定された誤差範囲よりも大きければ、前記算出された新たなピーク重み付け値を用いてスケーリングしたオーディオ信号のオーディオ信号の大きさを前記第２のオーディオ信号の大きさとして、前記入力されたオーディオ信号の大きさを制御してもよい。

さらに、上述した目的を達成するための本発明の一実施形態によるオーディオ信号大きさの制御方法は、既に定義されたゲートサイズを有する第１のゲートブロック及び第２のゲートブロックを入力されたオーディオ信号に適用して、前記第１のゲートブロックに対応する第１のオーディオ信号の大きさ及び前記第２のゲートブロックに対応する第２のオーディオ信号の大きさを測定するステップと、前記測定された第１のオーディオ信号の大きさを用いて、前記第１のゲートブロックに対応する第１のゲート重み付け値を算出し、前記測定された第２のオーディオ信号の大きさを用いて、前記第２のゲートブロックに対応する第２のゲート重み付け値を算出するステップと、前記第１のゲートブロック及び前記第２のゲートブロックにおいてゲートハンドオーバーが発生したフレームを検出するステップと、前記算出された第１及び第２の重み付け値を用いて、前記検出されたフレームからフレーム重み付け値を補間するステップと、前記補間されたフレーム重み付け値と、前記第１及び第２のゲート重み付け値を用いて、入力されたオーディオ信号に対するスケーリングを行って、オーディオ信号の大きさを制御するステップと、を含む。

また、前記第２のゲートブロックは、前記第１のゲートブロック内の既に定義されたサイズ分だけを重ね合わせながら移動させたゲートブロックであってもよい。

さらに、前記第１及び第２のゲートブロックは、少なくとも一枚のフレームを備え、前記フレームは、一回に受け取るデータのサイズを決定してもよい。

さらにまた、前記補間されるフレーム重み付け値の数は、可変的であってもよい。

さらにまた、上述した目的を達成するための本発明の一実施形態によるオーディオ信号大きさの制御装置は、既に定義されたゲートサイズを有する第１のゲートブロック及び第２のゲートブロックを入力されたオーディオ信号に適用して、前記第１のゲートブロックに対応する第１のオーディオ信号の大きさ及び前記第２のゲートブロックに対応する第２のオーディオ信号の大きさを測定するオーディオ信号大きさ測定部と、前記測定された第１のオーディオ信号の大きさを用いて、前記第１のゲートブロックに対応する第１のゲート重み付け値を算出し、前記測定された第２のオーディオ信号の大きさを用いて、前記第２のゲートブロックに対応する第２のゲート重み付け値を算出する重み付け値算出部と、前記第１のゲートブロック及び前記第２のゲートブロックにおいてゲートハンドオーバーが発生したフレームを検出する検出部と、前記算出された第１及び第２の重み付け値を用いて、前記検出されたフレームからフレーム重み付け値を補間し、前記補間されたフレーム重み付け値と、前記第１及び第２のゲート重み付け値を用いて、入力されたオーディオ信号に対するスケーリングを行って、オーディオ信号の大きさを制御するオーディオ信号大きさ制御部と、を備える。

また、前記第２のゲートブロックは、前記第１のゲートブロック内の既に定義されたサイズ分だけを重ね合わせながら移動させたゲートブロックであってもよい。

さらに、前記第１及び第２のゲートブロックは、少なくとも一枚のフレームを備え、前記フレームは、一回に受け取るデータのサイズを決定してもよい。

さらにまた、前記補間されるフレーム重み付け値の数は、可変的であってもよい。

さらにまた、上述した目的を達成するための本発明の一実施形態によるオーディオ信号大きさの制御方法は、入力されたオーディオ信号の制御に関する手動ラウドネス制御モード、半自動ラウドネス制御モード、自動ラウドネス制御モードのうちのいずれか一つのモードが選択されるステップと、前記選択された制御モードが半自動ラウドネス制御モードである場合、前記入力されたオーディオ信号の制御のために必要とされる制御情報を算出するステップと、前記算出された制御情報を表示するステップと、を含む。

また、前記制御情報は、瞬間オーディオ信号の大きさ情報、短期（３ｓ）オーディオ信号の大きさ情報、集積オーディオ信号の大きさ情報、再生オーディオ信号の大きさ情報、残留オーディオ信号の大きさ情報、推奨制御要因情報のうちの少なくとも一つを含んでいてもよい。

さらに、前記再生オーディオ信号の大きさ情報は、これまで出力されたオーディオ信号に関するオーディオ信号の大きさ情報であり、前記残留オーディオ信号の大きさ情報は、目標値オーディオ信号の大きさに比べての再生オーディオ信号の大きさの不足分または超過分のオーディオ信号の大きさ情報であり、前記推奨制御要因情報は、残留オーディオ信号の大きさ情報を用いて算出したオーディオ信号の大きさを制御するための重み付け値情報であってもよい。

さらにまた、上述した目的を達成するための本発明の一実施形態によるオーディオ信号大きさの制御装置は、入力されたオーディオ信号の制御に関する手動ラウドネス制御モード、半自動ラウドネス制御モード、自動ラウドネス制御モードのうちのいずれか一つのモードが選択される入力部と、前記選択された制御モードが半自動ラウドネス制御モードである場合、前記入力されたオーディオ信号の制御のために必要とされる制御情報を算出する制御部と、前記算出された制御情報を表示する表示部と、を備える。

また、前記制御情報は、瞬間オーディオ信号の大きさ情報、短期（３ｓ）オーディオ信号の大きさ情報、集積オーディオ信号の大きさ情報、再生オーディオ信号の大きさ情報、残留オーディオ信号の大きさ情報、推奨制御要因情報のうちの少なくとも一つを含んでいてもよい。

さらに、前記再生オーディオ信号の大きさ情報は、これまで出力されたオーディオ信号に関するオーディオ信号の大きさ情報であり、前記残留オーディオ信号の大きさ情報は、目標値オーディオ信号の大きさに比べての再生オーディオ信号の大きさの不足分または超過分のオーディオ信号の大きさ情報であり、前記推奨制御要因情報は、残留オーディオ信号の大きさ情報を用いて算出したオーディオ信号の大きさを制御するための重み付け値情報であってもよい。

さらにまた、上述した目的を達成するための本発明の一実施形態によるオーディオ信号大きさの制御方法は、入力されたオーディオ信号の大きさである第１のオーディオ信号の大きさを測定するステップと、既に設定された初期ピーク重み付け値を用いて、前記入力されたオーディオ信号をスケーリングし、前記スケーリングされたオーディオ信号の大きさである第２のオーディオ信号の大きさを測定するステップと、出力されるオーディオ信号の音のバラツキを維持するための既に設定されたマッピングテーブルに前記第１のオーディオ信号の大きさを適用して、第３のオーディオ信号の大きさを検出するステップと、前記第１のオーディオ信号の大きさと、前記第２のオーディオ信号の大きさ及び前記第３のオーディオ信号の大きさを用いて、前記入力されたオーディオ信号の大きさを制御するステップと、を含む。

また、前記入力されたオーディオ信号は、リアルタイムにて入力されるオーディオ信号であってもよい。

さらに、前記既に設定されたマッピングテーブルは、前記第１のオーディオ信号の大きさが既に設定された値よりも小さな領域においては、線形マッピングを用いてマッピングを行うテーブルであり、前記第１のオーディオ信号の大きさが既に設定された値よりも大きな領域においては、下記の数式を用いてマッピングを行うテーブルであり、
ここで、ｉＬＫＦＳは、前記第１のオーディオ信号の大きさであり、ｏＬＫＦＳは、前記第３のオーディオ信号の大きさであり、ｗは、変更可能な重み付け値であってもよい。

さらにまた、前記制御するステップは、「前記第１のオーディオ信号の大きさと前記第２のオーディオ信号の大きさとの間の差分である第１の差分」を、「前記第１のオーディオ信号の大きさと前記第３のオーディオ信号の大きさとの間の差分である第２の差分」で除算して「オーディオ信号の大きさ制御比」を算出するステップと、前記算出された「オーディオ信号の大きさ制御比」を用いて、第１の重み付け値を算出するステップと、前記算出された第１の重み付け値に前記既に設定された初期ピーク重み付け値を乗算して、新たなピーク重み付け値を算出するステップと、前記算出された新たなピーク重み付け値を用いて、前記入力されたオーディオ信号をスケーリングするステップと、を含んでいてもよい。

さらにまた、上述した目的を達成するための本発明の一実施形態によるオーディオ信号大きさの制御装置は、入力されたオーディオ信号の大きさである第１のオーディオ信号の大きさを測定し、既に設定された初期ピーク重み付け値を用いて、前記入力されたオーディオ信号をスケーリングし、前記スケーリングされたオーディオ信号の大きさである第２のオーディオ信号の大きさを測定し、出力されるオーディオ信号の音のバラツキを維持するための既に設定されたマッピングテーブルに前記第１のオーディオ信号の大きさを適用して、第３のオーディオ信号の大きさを検出するオーディオ信号大きさ測定部と、前記第１のオーディオ信号の大きさと、前記第２のオーディオ信号の大きさ及び前記第３のオーディオ信号の大きさを用いて、前記入力されたオーディオ信号の大きさを制御するオーディオ信号大きさ制御部と、を備える。

また、前記入力されたオーディオ信号は、リアルタイムにて入力されるオーディオ信号であってもよい。

さらに、前記既に設定されたマッピングテーブルは、前記第１のオーディオ信号の大きさが既に設定された値よりも小さな領域においては、線形マッピングを用いてマッピングを行うテーブルであり、前記第１のオーディオ信号の大きさが既に設定された値よりも大きな領域においては、下記の数式を用いてマッピングを行うテーブルであり、
ここで、ｉＬＫＦＳは、前記第１のオーディオ信号の大きさであり、ｏＬＫＦＳは、前記第３のオーディオ信号の大きさであり、ｗは、変更可能な重み付け値であってもよい。

さらにまた、本発明の一実施形態によるオーディオ信号大きさの制御装置は、「前記第１のオーディオ信号の大きさと前記第２のオーディオ信号の大きさとの間の差分である第１の差分」を、「前記第１のオーディオ信号の大きさと前記第３のオーディオ信号の大きさとの間の差分である第２の差分」で除算して「オーディオ信号の大きさ制御比」を算出し、前記算出された「オーディオ信号の大きさ制御比」を用いて、第１の重み付け値を算出し、前記算出された第１の重み付け値に前記既に設定された初期ピーク重み付け値を乗算して、新たなピーク重み付け値を算出する重み付け値算出部をさらに備え、前記オーディオ信号大きさ制御部は、前記算出された新たなピーク重み付け値を用いて、前記入力されたオーディオ信号をスケーリングして前記入力されたオーディオ信号の大きさを制御してもよい。

本発明の様々な実施形態によれば、ユーザーがマルチメディア機器のボリュームを固定し、様々なオーディオ音源を鑑賞する場合にオーディオ音源の間に発生するオーディオ音の大きさの差分による不便さと高い聴覚的疲労を効果的に低減することができる。

上述した本発明の様々な実施形態によれば、録画及び予め製作された放送番組に対してオーディオ信号の大きさを規格に合うように自動的に制御することができる。これにより、ユーザーがマルチメディア機器のボリュームを固定し、様々なオーディオ音源を鑑賞する場合にオーディオ音源の間に発生する大きさの差分による不便さと高い聴覚的疲労を効果的に低減することができる。

上述した本発明の様々な実施形態によれば、ゲートハンドオーバーが発生するフレームからゲート重み付け値を補間して、ゲート重み付け値の補間によるゲート遅延が発生することを防ぐことができる。

また、ゲート重み付け値が補間される数を可変的に制御することができる。

上述した本発明の様々な実施形態によれば、オーディオ信号の大きさの制御に必要な情報を提供することにより、ユーザーがより手軽にオーディオ信号の大きさを制御することができる。

上述した本発明の様々な実施形態によれば、リアルタイム／ライブで取得されたオーディオ信号のオーディオ信号の大きさを規格に合うように制御することができる。

日常生活を営みながら発生する様々な聴覚的疲労要因を説明するための図である。 オーディオ信号の波形に対する例を示す図である。 オーディオデータのクリッピングによる歪み現象を説明するための図である。 オーディオ及び騒音による聴覚損失を説明するための図である。 デジタル放送番組のオーディオ信号の大きさの正規化を説明するための図である。 オーディオ信号の大きさを測定する方法を示す図である。 プレフィルターの周波数応答特性に対する一例を示すグラフである。 ＲＬＢフィルターの周波数応答特性に対する一例を示すグラフである。 録画及び予め製作された放送番組に対する放送システムの構造に対する一例を説明するための図である。 オーディオ信号の大きさを制御する方法に対する第１の実施形態を示す図である。 オーディオ信号の大きさを制御する方法に対する第１の実施形態を具体的に説明するための図である。 オーディオ信号の大きさを調節するためのピーク値に基づくラウドネス制御比の演算に対する基本構造を示す図である。 リアルタイム放送システムの構造に対する一例を示す図である。 オーディオ信号の大きさを制御する方法に対する第２の実施形態を示す図である。 オーディオ信号の大きさを制御する方法に対する第２の実施形態を具体的に説明するための図である。 第１の実施形態及び第２の実施形態の最終端にライブＬＤ制御ステップが追加された方法を説明するための図である。 オーディオ信号の大きさの制御による音質の劣化を補償するための方法に対する第３の実施形態を示す図である。 端末においてオーディオ信号の大きさを制御する方法に対する第４の実施形態を示す図である。 本発明の第１の実施形態によるオーディオ信号大きさの制御装置のオーディオ信号大きさの制御方法を具体的に、示すフローチャートである。 ＩＴＵ−Ｒ １７７０−２において言及されたオーディオゲーティング方式が追加されたオーディオ信号の大きさの測定方法を説明するための図である。 本発明の第５の実施形態によるオーディオ信号大きさの制御方法を説明するためにゲートハンドオーバーを説明する図である。 本発明の第５の実施形態によるオーディオ信号大きさの制御方法を説明する図である。 本発明の第５の実施形態による補間の一例である線形補間を説明する図である。 本発明の第２の実施形態の半自動ラウドネス制御モードにおいて提供される情報の一例を示す図である。 本発明の第２の実施形態の半自動ラウドネス制御モードにおいて提供される情報のうち推奨制御要因を算出する方法を示す図である。 本発明の第２の実施形態の自動ラウドネス制御モードにおけるオーディオ信号大きさの制御方法を示す図である。 図２６によるマッピングオーディオ信号の大きさ（マッピングＬＫＦＳ）を算出するためのマッピング曲線を設計するための方法を示す図である。 入力オーディオ信号の波形と正規化したオーディオ信号の波形を比較した図である。 入力オーディオ信号の波形と正規化したオーディオ信号の波形を比較した図である。 入力オーディオ信号の波形と正規化したオーディオ信号の波形を比較した図である。

以下の内容は単に本発明の原理を例示する。そのため、当業者はたとえこの明細書に明確に説明または図示されていないが、本発明の原理を実現し、本発明の概念と範囲に含まれている様々な装置を発明することができる筈である。なお、この明細書に列挙されたあらゆる条件付き用語及び実施形態は、原則的に、本発明の概念を理解させるための目的にのみ明確に意図され、このように特別に列挙された実施形態及び状態に制限的ではないものと理解されるべきである。

また、本発明の原理、観点及び実施形態だけではなく、特定の実施形態を列挙するあらゆる詳細な説明は、このような事項の構造的及び機能的な均等物を含むように意図されるものと理解されるべきである。なお、このような均等物は現在公知の均等物だけではなく、将来に開発される均等物、すなわち、構造とは無関係に同じ機能を行うように発明されたあらゆる素子を備えるものと理解されるべきである。

よって、例えば、この明細書のブロック図は、本発明の原理を具体化させる例示的な回路の概念的な観点を示すものと理解されるべきである。これと同様に、全てのフローチャート、状態変換図、疑似コードなどはコンピューターにて読み取り可能な媒体に実質的に開示することができ、コンピューターまたはプロセッサーが明示されているか否かを問わず、コンピューターまたはプロセッサーにより行われる様々なプロセスを示すものと理解されるべきである。

プロセッサーまたはこれと同じ概念として表示された機能ブロックを備える図示の様々な素子の機能は、専用ハードウェアだけではなく、適切なソフトウェアと関連してソフトウェアを起動する能力を有するハードウェアの使用により提供可能である。プロセッサーにより提供されるとき、前記機能は単一専用プロセッサー、単一共有プロセッサーまたは複数の個別的プロセッサーにより提供可能であり、これらのうちの一部は共有可能である。

また、プロセッサー、制御またはこれと同じ概念として提示される用語の明確な使用は、ソフトウェアを起動する能力を有するハードウェアを排他的に引用して解釈されてはならず、制限なしにデジタル信号プロセッサー（ＤＳＰ）ハードウェア、ソフトウェアを格納するためのＲＯＭ、ＲＡＭ及び不揮発性メモリを暗示的に備えるものと理解されるべきである。周知慣用の他のハードウェアも備えられる。

この明細書の請求範囲において、詳細な説明に記載の機能を行うための手段として表現された構成要素は、例えば、前記機能を行う回路素子の組み合わせまたはフォームウェア／マイクロコードなどをはじめとするあらゆる形式のソフトウェアをはじめとする機能を行うあらゆる方法を含むものと意図され、前記機能を行うように前記ソフトウェアを起動するための適切な回路と結合される。このような請求範囲により定義される本発明は、種々に列挙された手段により提供される機能が結合され、請求項が求める方式と結合されるため、前記機能を提供し得るいかなる手段もこの明細書から把握されるものと均等ものであると理解されるべきである。

上述した目的、特徴及び長所は、添付図面に関する次の詳細な説明から一層明らかになり、これにより、本発明が属する技術分野において通常の知識を有する者が本発明の技術的思想を容易に実施することができる筈である。また、本発明を説明するに当たって、本発明に関する公知技術についての具体的な説明が本発明の要旨を曖昧にする虞があると認められる場合に、その詳細な説明を省略する。

以下、添付図面に基づき、本発明による好適な一実施形態について詳細に説明する。

図３は、オーディオデータクリッピングによる歪み現象を説明するための図である。

音源の波形がデジタルデータにおいて許容可能なデータ分解能の範囲を超える場合、音源の波形が削られ、このような現象がオーディオデータクリッピングである。

図３の（イ）は、クリッピングなし正弦波、（ロ）は、クリッピングなし波形周波数特性、（ハ）は、クリッピング付き正弦波、（ニ）は、クリッピング付き波形の周波数特性を示す。

図３を参照すると、オーディオデータクリッピング現象は、オーディオ信号を歪ませ、単なる正弦波形の周波数特性（図３の（ロ））とクリッピングされた正弦波形の周波数特性（図３の（ニ））を比較したとき、図３の（ニ）の点線で表示された領域のようにクリッピングなし正弦波形に存在しなかった信号歪み成分がオーディオデータクリッピングにより発生することを確認することができる。

一方、オーディオ音の大きさの増加による問題は、携帯用マルチメディア機器の大衆化により増幅されている。現在、マルチメディア機器によりオーディオ聴き取り時間がかなり増えた青少年がかなり高いオーディオ音の大きさを有する音源に持続的に長時間露出されている。

図４を参照すると、１９９０年代前半のＭＰ３に基づく携帯用マルチメディア機器の登場前と比較して、２０００年代の半ばの携帯用マルチメディア機器の方が大衆化したときに米国の青少年の聴覚損失がかなり増大されたことが分かる。

また、韓国でも、騒音性難聴患者が２０００年代の前半と後半を比較すれば、約５０％増加してマルチメディア機器、騒音環境などによる聴覚的疲労が臨界値を超えて聴覚機能の劣化に影響を及ぼしているということが分かる。

このため、人間が暮らしを営む間に安全にオーディオ及び音楽鑑賞を一生楽しむためにはオーディオによる聴覚的疲労を下げる作業が必要である。

このために、本発明の一実施形態は、マルチメディア機器においてオーディオ音の大きさを正確に測定し、音の大きさを調節する方法に関する。

図５は、デジタル放送番組のオーディオ信号の大きさの正規化を説明するための図である。

韓国では、放送法の改正を通して各放送局、コンテンツ間のオーディオ信号の大きさ（ラウドネス）の差分を低減するための努力が行われている。現在、放送から送出される番組は、放送社間、放送コンテンツ間にかなりの大きさ差を示す。

図５を参照すると、２種類の音楽コンテンツのオーディオ信号の大きさ（例えば、Ｃｈａｎｎｅｌ１ ：−２３．４ＬＫＦＳ， Ｃｈａｎｎｅｌ２ ： −８．５ＬＫＦＳ）がかなりの差分を示す。このような差分が放送の視聴者にかなりの不便さを引き起こしている。これを克服するために、ＴＴＡのＰＧ８０３ ＷＧ８０３４傘下で「デジタル放送番組音量レベル基準」という内容の標準化作業が行われている。

標準化の目標は、図５に示すように、かなりの大きさ差を有するチャンネル／放送番組を標準化した音量標準規格に基づいて調節して正規化したオーディオ信号の大きさ（例えば、Ｃｈａｎｎｅｌ１ ： −２４ＬＫＦＳ， Ｃｈａｎｎｅｌ２ ： −２４ＬＫＦＳ）を有するように出力する基準を設けるところにある。

前記標準化は放送法と連携される筈であるため、標準の重要性及び使用可能性がかなり高ければ、標準では国際オーディオ信号大きさ測定標準であるＩＴＵ−１７７０−１／２に基づいて韓国の状況に合うオーディオ信号基準及び規格を提示する筈であり、これを守るように役立つ技術及び現在のデジタル放送信号の大きさに対する分析などを行う筈である。

図６は、オーディオ信号の大きさを測定する方法を示す図である。

オーディオ信号の大きさ測定方法に対する研究は、２０００年代半ばから始まってＩＴＵにおいてオーディオ信号の大きさ測定に対する標準であるＩＴＵ−Ｒ ＢＳ．１７７０−１を２００６年に発表し、ゲーティング方式が追加されたＩＴＵ−Ｒ ＢＳ．１７７０−２が２０１１年度に発表された。

発表された標準では、オーディオ信号の大きさ測定に対する方法とトゥルーピーク測定方法のみを提示しており、オーディオ信号の大きさ制御に対する部分は行われていない。これまでもオーディオ信号の大きさを制御する方法に対する部分は標準化が行われていない。

ＩＴＵ−Ｒにおいて標準化したオーディオ信号の大きさ測定方法は、図６に示すようなＬＫＦＳ（ｌｏｕｄｎｅｓｓ， Ｋ ｗｅｉｇｈｔｅｄ， ｒｅｌａｔｉｖｅ ｔｏ ｎｏｍｉｎａｌ ｆｕｌｌ ｓｃａｌｅ）を用いて測定する。

アルゴリズムの最初のモジュール（Ｐｒｅ−ｆｉｌｔｅｒ）においては、人間の頭による音響的影響を考慮するために２次ＩＩＲフィルターとして構成される。

図７は、プレフィルター（ｐｒｅ−ｆｉｌｔｅｒ）の周波数応答特性に対する一例を示すグラフである。

フィルターの周波数特性は、図７に示すように、約１ｋＨｚを基準として１ｋＨｚ以下の領域を除去し、１ｋＨｚ以上の領域に対して通過させる。一般的に多用される４８ｋＨｚデータに対するフィルター係数は、球状の頭モデルに基づいてＩＴＵ−Ｒ ＢＳ．１７７０−１において提供されている。

図８は、ＲＬＢフィルターの周波数応答特性に対する一例を示すグラフである。

第二のモジュール（ＲＬＢ ｆｉｌｔｅｒ）においては、人間の聴覚的な特性に基づく重み付け値フィルターを適用する。このフィルターは、図８の（イ）に示すように、人間の聴覚が入力された音に対する周波数領域において互いに異なる敏感度を有する特性に基づいている。

例えば、図８の（イ）において最小レベルを基準として２５０Ｈｚにおける約２０ｄＢと１ｋＨｚにおける約１ｄＢが同じオーディオ音の大きさとして人間に認知されるということを示している。このため、人間の聴覚を考慮するためのフィルター応答は、図８の（ロ）に示すように、ＩＳＯ２２６に定義された同じオーディオ音の大きさ輪郭線を逆に適用した場合と同じフィルター応答を有するように帯域別重み付け値フィルターが設計された。

設計された重み付け値フィルターについて説明すると、低周波領域の重み付け値は減少させたのに対し、１ｋＨｚ以上の領域は低周波領域に比べて相対的な重み付け値が高く設計された。また、重み付け値フィルターを単純化させるために約１ｋＨｚ以上の領域は平らに設計された。ＲＬＢ重み付け値フィルターは、２次ＩＩＲフィルター構造を有し、ＩＴＵ−Ｒ文書に４８ｋＨｚデータに対するフィルター係数を提供している。

重み付け値フィルターを通過した結果は、図６の平均自乗エネルギーモジュールにおいて下記の数式のように変換される。

重み付け値が適用されたエネルギーを下記の数式のように各チャンネルのエネルギーにチャンネル別の重み付け値を適用して合算した後にログ数式に適用してデシベルに変換する。下記の数式により得られた音の大きさに対する単位としては、ＬＫＦＳ（ｌｏｕｄｎｅｓｓ， Ｋ ｗｅｉｇｈｔｅｄ， ｒｅｌａｔｉｖｅ ｔｏ ｎｏｍｉｎａｌ ｆｕｌｌ ｓｃａｌｅ）を用いる。

式中、Ｎはチャンネル数であり、Ｇは、チャンネルに対する重み付け値である。

このように設計されたＩＴＵに基づくオーディオ音の大きさの測定方法が正確に設計されたか否かを検証するためには、０ｄＢ、１ｋＨｚの正弦波形を入力した場合、音の大きさの測定値が−３．０１ ＬＫＦＳが出力されなければならない。

既存のオーディオ信号の大きさに対する研究は、大きく２種類に分けられる。第一は、ＩＴＵ−Ｒ１７７０−１のように人間が聴覚的に認知するオーディオ音量レベルに近い客観的なオーディオ信号の大きさ測定アルゴリズムの開発である。

第二に、既存にはオーディオ信号の大きさが非正規化して転送され、これにより、我々が聴き取るオーディオファイル及び音源の音量がそれぞれ別々であるため互いに異なるサイズを有するオーディオファイルが入力されたときに自動的にオーディオ信号の大きさを制御する研究が行われた。

各国においてオーディオ信号の大きさに対する問題を克服するためにＩＴＵ−１７７０−１／２に基づいてオーディオ信号の大きさを測定し、これを基準としてオーディオ信号の大きさ正規化基準値及び誤差範囲を提示している。現在、日本は積極的に行われているが、それ以外の国は未だ初期段階であるか、あるいは、商業広告などの一部分にのみ適用している。

すなわち、標準化及び規制法案に含まれている内容は、正規化基準と誤差範囲、適用範囲を定義しているが、このような規格を守るための方法を提示していない。すなわち、必ず達成しなければならない目標のみを提示し、方法については提示されていない。

一方、２０１１年３月に改正されたＩＴＵ−Ｒオーディオ信号の大きさ測定方法にはオーディオゲーティング方法が追加された。オーディオゲーティングとは、オーディオ音量が低い部分は除いてオーディオ音量を測定するための方法である。

オーディオ音量測定ゲーティングのためのブロックは１周期とし、隣り合うブロックとは７５％重なり合う。なお、ファイルの最後にブロック大きさを満たしていないサンプルに対しては測定しない。

まず、ブロック単位の平均自乗は、下記の数式のように演算される。

各ゲートブロックのオーディオ音量は、既存の数式に基づいて下記のように演算される。

各ブロックにゲーティングが適用される場合、ＩＴＵ−Ｒ１７７０−２においては−７０ＬＫＦＳ以上の信号に対してのみ考慮してゲーティングが適用された信号に対するＬＦＫＳを下記の数式のように測定する。

改正された方法においては、既存に用いられていたプレフィルター及びＲＬＢフィルターは同様に用いられれば、アルゴリズムの正確度の検証方法もまた同様である。

上述した内容を参照するとき、これまでの標準化及び規制法案に含まれている内容は、正規化基準、誤差範囲、適用範囲を定義しているが、このような規格を守るための方法について明確に開示していない。

これにより、後述する本発明の第１の実施形態によれば、録画及び予め製作された放送番組に対してオーディオ信号の大きさを規格に合うように制御することができる。

また、後述する本発明の第２の実施形態によれば、リアルタイム／ライブで取得された放送番組に対してオーディオ信号の大きさを規格に合うように制御することができる。

さらに、後述する本発明の第３の実施形態によれば、オーディオ信号の大きさの正規化による聴感的オーディオ音質の劣化を極力抑えながらオーディオ信号の大きさを制御することができる。

さらにまた、後述する本発明の第４の実施形態によれば、オーディオ信号の大きさの正規化を考慮して、端末（ＴＶ、スマートフォン）における新たなオーディオ制御機能を提供することができる。

図９は、録画及び予め製作された放送番組に対する放送システムの構造に対する一例を説明するための図である。

図９を参照すると、現場で取得されたオーディオデータは、インジェストサーバーに格納され、格納されたファイルは編集システムに転送される。編集システムにおいては、周知の映像／音響効果、オーディオノイズ除去、映像／オーディオ同期化など各パート別に編集が行われる。

パート別の編集が行われたデータは、総合編集システムにおいて最終的に加工が行われ、主調整室において編集済みの放送番組を送出する。このような構造を見るとき、オーディオ信号の大きさ規制による録画及び予め製作された放送番組に対するオーディオ信号の大きさ正規化作業は、編集システム及び総合編集システムにおいて行われてもよい。好ましくは、ファイルとして製作されるステップにおいては、編集システムにおいてオーディオデータをそれぞれ別々に制御するため、編集システムの後処理作業により行われ得る。

図１０は、オーディオ信号の大きさを制御する方法に対する第１の実施形態を示す図である。

既存に録画された放送番組ファイルの場合には、格納されたファイルを分析してオーディオ信号の大きさ正規化が行われなければならない。これにより、図１０を参照すると、デマルチプレクサーは、既存に録画された放送番組ファイルを分離（ｄｅｍｕｘ）してオーディオデータを選択することができる（ステップＳ１０１）。

また、正規化判断部は、オーディオデータが予め正規化したか否かを判断することができる（ステップＳ１０２）。ここで、正規化とは、上述した図５に示すように、オーディオ信号の大きさを標準化したオーディオ信号の大きさ標準規格に基づいて調節して正規化させることを意味する。

もし、オーディオデータに予め正規化が行われたならば（ステップＳ１０２：Ｙ）、正規化が行われたオーディオデータを格納装置に格納することができる（ステップＳ１０３）。

もし、オーディオデータに予め正規化が行われなかったならば（ステップＳ１０２：Ｎ）、オーディオデコーダーは、オーディオデータを復号化させることができる（ステップＳ１０４）。また、オーディオ信号の大きさ制御器は、復号化したオーディオデータを用いてオーディオ信号の大きさの正規化を行うことができる（ステップＳ１０５）。なお、オーディオエンコーダーは、正規化が行われたオーディオデータを符号化させることができる（ステップＳ１０６）。

一方、マルチプレクサーは、符号化したオーディオデータをデマルチプレクサーにおいて選択されていない他のデータと多重化させることができる（ステップＳ１０７）。これにより、格納部は、オーディオ信号の大きさが正規化したオーディオデータを格納することができる（ステップＳ１０３）。

格納部に格納されたデータは送出室に提供することができる（ステップＳ１０８）。

ここで、オーディオ信号の大きさ制御器の具体的な動作については、図１１から図１２を参照して具体的に説明する。

一方、図示の点線ブロック、例えば、ステップＳ１０１、ステップＳ１０４、ステップＳ１０６、ステップＳ１０７は、オーディオデータのフォーマットなどに応じて、且つ、場合によって省略可能である。例えば、オーディオデータの圧縮有無に応じて、ステップＳ１０４、ステップＳ１０６は省略可能である。

このような本発明の第１の実施形態によれば、録画及び予め製作された放送番組に対してオーディオ音量規格に合うように変換するためのオーディオ音量を制御可能にするために、まず、放送番組制作段階に対する分析を行い、これに基づいて、オーディオ音量規制により必須的なオーディオ音量測定及び制御を行うことができる。

図１１は、オーディオ信号の大きさを制御する方法に対する第１の実施形態を具体的に説明するための図である。図１２は、オーディオ信号の大きさを調節するためのピーク値に基づくラウドネス制御比演算に対する基本構造を示す図である。以下、図１１及び図１２を説明するに当たって、図１０において説明した部分についての具体的な説明を省略して説明する。

図１１を参照すると、制御情報が録画された放送番組を制御するために提供されてもよい。

まず、世界のいくつかの国が規定及び法案で定めた目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）値とオーディオ信号の大きさ誤差範囲が提供されてもよい。一般に、米国／日本は２４ＬＫＦＳ（目標値ＬＫＦＳ）＋／−２ｄＢ（誤差範囲）であり、ヨーロッパーは２３ＬＫＦＳ（目標値ＬＫＦＳ）＋／−１ｄＢ（誤差範囲）の範囲を有する。

オーディオゲーティングに関する部分は、ＩＴＵ−Ｒ１７７０−２において最初に言及された部分であり、重畳及び移動方式を適用してブロック別のＬＫＦＳを測定して低いブロックＬＫＦＳを有するものはサイレンスとして見なし、この分に対する平均値を使用しない方式である。

米国のＡＴＳＣの場合には、ＡＣ−３オーディオシステムを用いており、且つ、「ダイヤルノーム」パラメーターをメタデータパラメーターに格納するようになっている。ダイヤルノームにはアンカーエレメントに対する聴覚的オーディオ信号の大きさを入れるようになっており、すなわち、部分には基準点またはエレメントの聴覚的オーディオ信号の大きさを入れるようになっている。

アンカーエレメントは、現在放送番組の中心となるものに対する標準オーディオ信号の大きさを示すものであり、放送番組は、アンカーエレメントを基準として最終的な釣合せが行われる。なお、ダイヤルノームにはＬＫＦＳ値が格納されるが、変数空間が５ｂｉｔｓであり、−１〜−３１ＬＫＦＳ値が格納可能である。

一方、ＩＴＵ−Ｒに基づいてオーディオ信号の大きさを測定するためには、２種類のフィルターを適用しなければならない。このため、測定されたＬＫＦＳと目標値ＬＫＦＳとの間の差分値をＬＫＦＳ測定数式を用いて逆算してオーディオ信号の大きさ変換値を取り出しても二つのフィルターに対する影響があるため正確な値が得られない。

このような問題を克服するために、本発明の第１の実施形態によれば、ピーク値を用いた方式を設計して所望の目標値ＬＫＦＳに合うオーディオ信号の大きさ変換重み付け値要因を取得するアルゴリズムを提供することができる。

上述したように、入力されたオーディオのＬＫＦＳ（原値）及び目標値ＬＫＦＳだけで正確なラウドネス（ＬＤ）制御比を上述した理由により求めることができない。

このため、本発明の第１の実施形態によれば、二つのフィルターを考慮したＬＤ制御比を求めるためにピーキング方式を用いてピークに基づく制御比を演算することができる。ピーキング方式とは、ピークに基づく制御比を用いてオーディオ信号をラウドネス制御してピークされたＬＫＦＳを取得する方式を意味する。すなわち、オーディオ信号の大きさ制御器は、入力されたオーディオデータ（ステップＳ１０５−１）、ピーク重み付け値（例えば、０．９）（ステップＳ１０５−２）、目標値ＬＫＦＳ（ステップＳ１０５−３）及びＬＫＦＳ誤差範囲（１０５−４）を受信してオーディオ信号の大きさを制御するための制御比（ラウドネス制御比）を演算して（ステップＳ１０５−５）、ＬＤ制御比を算出（ステップＳ１０５−６）することができる。具体的に、入力されたオーディオデータに基づいて算出された入力されたオーディオデータのＬＫＦＳ、入力されたオーディオデータにピーク重み付け値を適用して算出されたピークＬＫＦＳ及び受信された目標値ＬＫＦＳを用いて、目標値ＬＫＦＳに近付けるための重み付け値要因（ＬＤ制御比）を演算することができる。

また、オーディオ信号の大きさ制御器は、算出された制御比（ＬＤ制御比）を用いて入力されたオーディオ信号の大きさを調節して正規化を行うことができる。

このような本発明の第１の実施形態によれば、録画及び予め製作された放送番組に対してオーディオ信号の大きさを規格に合うように制御することができる。

図１３は、リアルタイム放送システムの構造に対する一例を示す図である。

図１３を参照すると、ライブ放送システムは、録画放送システムとは多くの違いを示す。中継システムにはインジェストサーバーが組み込まれておらず、パート別の編集システムを別途に用いない。その代わりに、ライブ放送システムにおいては、中継システムがこのような機能をまとめて行う。

中継システムにおいては、映像／音響編集及び効果などの作業を行い、番組の全体の製作を司る副調整室（総合編集室）との相互指示を通じて生中継されるオーディオ音響に対する制御を行う。

このようにして調律された放送番組は、主調整室から送出される。また、衛星を介して受信される生中継データは、オーディオ音響に対する作業及び字幕埋め込みなどの追加作業を副調整室（総合編集室）において行って主調整室を介して送出される。このため、生中継放送のオーディオ音量を正確に制御するためにより多くの変数が存在する。

図１４は、オーディオ信号の大きさを制御する装置の方法に対する第２の実施形態を示す図である。

図１４を参照すると、ライブ環境においては、上述したように、マイクにより取得された信号と、衛星を介して受信された信号（以下、ライブ放送信号）を考慮することができる。デマルチプレクサーは、ライブ放送信号を分離してオーディオデータを選択することができる（ステップＳ２０１）。また、オーディオデコーダーは、選択されたオーディオデータを復号化させることができる（ステップＳ２０３）。

また、オーディオ信号の大きさ制御器は、復号化したオーディオデータを用いてオーディオ信号の大きさの正規化を行うことができる（ステップＳ２０６）。具体的に、オーディオ信号の大きさ制御器は、ライブオーディオデータのオーディオ信号の大きさを分析して、ライブオーディオ信号の大きさを制御して正規化を行うことができる。ここで、オーディオ信号の大きさ制御器は、ユーザーから手動で入力されたオーディオ信号の大きさ制御値を用いて正規化を行うことができる（ステップＳ２０５）。

さらに、オーディオエンコーダーは、正規化が行われたオーディオデータを符号化させることができる（ステップＳ２０７）。そして、マルチプレクサーは、符号化したオーディオデータをデマルチプレクサーにおいて選択されていない他のデータと多重化させることができる（ステップＳ２０８）。

一方、上述したデータ処理が行われると、データは送出室に提供される（ステップＳ２０９）。

ここで、オーディオ信号の大きさ制御器の具体的な動作については、図１５を参照して具体的に説明する。

一方、図示の点線ブロック、例えば、ステップＳ２０１、ステップＳ２０３、ステップＳ２０５、ステップＳ２０７、ステップＳ２０８は、オーディオデータのフォーマットなどに応じて、且つ、場合によって省略可能である。例えば、入力ファイルがオーディオ未加工データである場合には、オーディオ復号化が不要であり、出力としてオーディオ未加工ファイルを求める場合にオーディオ符号化モジュールが不要である。信号がストリーミングにより転送されるとき、オーディオ信号の大きさ制御システムはファイルを分離（デマックス）した後に、オーディオデータが圧縮ビットストリームである場合にオーディオ信号に復号化させ、未加工データである場合にはオーディオ復号化ブロックをバイパスする。オーディオ未加工信号は、ライブオーディオ信号を自動的にオーディオ信号の大きさ基準に従い調節し、調節された信号は、必要に応じて、オーディオ符号化及びファイルフォーマッティングが行われて送出装置を介して放送される。あるいは、出力における要求に応じて、オーディオ未加工ファイルが出力可能である。

図１５は、オーディオ信号の大きさを制御する方法に対する第２の実施形態を具体的に説明するための図である。以下、図１５を説明するに当たって、図１４において説明した部分についての具体的な説明を省略して説明する。

図１５を参照すると、既存のシステムとは異なり、提案されたシステムは、オーディオ信号の大きさの正規化に関し（ステップＳ２０６）、３種類のモードが採択可能な構造を有することが特徴である。第一は、手動ラウドネス制御モード、第二は、半自動ラウドネス制御モード、第三は、自動ラウドネス制御モードである。各モードはそれぞれ別々に動作可能であり、各モードにおいて動作していて途中に他のモードに切り換え可能であり、モードの切り換えによる両モード間の差分は、モード切り換え制御により補償可能である。

手動ラウドネス制御モードは、人間（例えば、オーディオ信号編集者）が入力されたオーディオ信号の大きさの制御のための重み付け値を手動で選択（例えば、オーディオ信号処理装置に配設された様々なボタンを用いて）し、選択された重み付け値を用いて入力されたオーディオ信号をスケーリングしてオーディオ信号の大きさを目標値オーディオ信号の大きさに整合されるように制御するモードであってもよい。半自動ラウドネス制御モードは、制御のための重み付け値を人間が手動で選択するという点は、手動ラウドネス制御モードと同様であるが、半自動ラウドネス制御モードにおいては、オーディオ信号の大きさの制御に必要な情報（例えば、オーディオ信号の大きさをスケーリングするための重み付け値、入力されたオーディオ信号の大きさ）を人間が利用可能なように、上述した情報を提供するという点で異なる。自動ラウドネス制御モードは、人間の手動制御なしに自動的にオーディオ信号の大きさを目標値オーディオ信号の大きさに整合されるように制御するモードであってもよい。ここで、各モード間を切り換えは、オーディオ信号処理装置に配設された半自動ラウドネス制御モード選択ボタン、手動ラウドネス制御モード選択ボタン、自動ラウドネス制御モード選択ボタンにより行われる。あるいは、オーディオ信号処理装置は、ラウドネス制御モードの切り換えのための一つのモード切り換えボタンを備えていてもよく、このモード切り換えボタンが選択されれば、各モードの間に順次に切り換えられる。

一方、モード切り換えによる両モード間の差分は、モード切り換え制御により補償可能である。例えば、半自動ラウドネス制御モードから自動ラウドネス制御モードに切り換えられる場合、ピーク重み付け値が変更可能であり、または、図２２及び図２３に説明された、ゲート重み付け値を補間する必要がある。この場合、モード切り換え制御は、このような変化を補償する動作を行うことができる。

また、図１５において、リアルタイム入力オーディオ信号に対しては、目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）に合わせるために必要な重み付け値は、上述したピーキング方式により演算可能である。

このような本発明の第２の実施形態によれば、リアルタイム／ライブで取得された放送番組に対してオーディオ信号の大きさを規格に合うように制御することができる。

図１６は、第１の実施形態及び第２の実施形態の最終端にライブＬＤ制御ステップが追加された方法を説明するための図である。図１６を参照すると、本発明の第１の実施形態及び第２の実施形態による方法の最終端にライブＬＤ制御ステップをさらに含んでいてもよい。

すなわち、上述したところによれば、ファイル／ローカル放送番組は、ローカルＬＤ制御（ステップＳ１０５）により格納部に格納されていて（ステップＳ１０３）、送出するのに使用可能である。また、上述したところによれば、ライブ放送番組は、ライブＬＤ制御（ステップＳ２０６）を用いてリアルタイム処理して送出することができる。

但し、放送局にとっては、規制に備えるために、最終端にライブＬＤ制御（ステップＳ２１０）をさらに行うことができる。すなわち、放送局にとっては、前端において誤って入力された放送番組が転送されるとしても、最終端において探し出すようにライブＬＤ制御（ステップＳ２１０）をさらに設けてもよい。この場合、ライブＬＤ制御（ステップＳ２１０）においては、手動ラウドネス制御モード、半自動ラウドネス制御モードまたは自動ラウドネス制御モードを利用することができる。但し、好ましくは、２４時間常に自動的に処理できるように自動ラウドネス制御モードが利用可能である。

図１７は、オーディオ信号の大きさの制御による音質の劣化を補償するための方法に対する第３の実施形態を示す図である。

オーディオ信号の大きさを制御する方法は、上述したように、入力されるデータの条件に応じて種々に行われる。但し、オーディオ信号の大きさを目標値ＬＫＦＳ及び誤差範囲に合わせると、オーディオ信号の構成が平らであるという感じが強くなることがある。

これは、オーディオ信号の大きさの正規化による逆効果である。オーディオ信号の大きさの正規化の目的を達成しながら、正規化による逆効果を解決しなければ、オーディオ正規化の波及力及びユーザーの満足度が向上できない。

これにより、本発明の第３の実施形態によれば、上述した逆効果を補償するための聴覚的劣化補償モジュールをさらに備えていてもよい。すなわち、図１７を参照すると、デマルチプレクサーは、既存に録画された放送番組データまたはライブ放送番組データを分離してオーディオデータを選択することができる（ステップＳ３０１）。

また、正規化判断部は、オーディオデータが予め正規化したか否かを判断することができる（ステップＳ３０２）。

もし、オーディオデータに予め正規化が行われたならば（ステップＳ３０２：Ｙ）、正規化が行われたオーディオデータに対する今後の手続きを行うことができる（ステップＳ３０３）。

もし、オーディオデータに予め正規化が行われなかったならば（ステップＳ３０２：Ｎ）、オーディオデコーダーはオーディオデータを復号化させることができる（ステップＳ３０４）。そして、Ｌｉｖｅ Ａｕｄｉ Ｍｉｘｉｎｇ ＆ ＥＱなどの編集者制御を行うことができる（ステップＳ３０５）。なお、オーディオ信号の大きさ制御器は、復号化したオーディオデータを用いて、オーディオ信号の大きさの正規化を行うことができる（ステップＳ３０６）。

さらに、聴覚的劣化補償モジュールは、オーディオ信号の大きさ制御器において行われた正規化による逆効果を補償することができる（ステップＳ３０７）。なお、オーディオエンコーダーは、聴覚的劣化補償が行われたオーディオデータを符号化させることができる（ステップＳ３０８）。

そして、マルチプレクサーは、符号化したオーディオデータをデマルチプレクサーにおいて選択されていない他のデータと多重化させることができる（ステップＳ３０９）。

一方、図示の点線ブロック、例えば、ステップＳ３０１、ステップＳ３０４、ステップＳ３０８、ステップＳ３０９は、オーディオデータのフォーマットなどに応じて、且つ、場合によって省略可能である。例えば、オーディオデータの圧縮有無に応じて、ステップＳ３０４及びステップＳ３０８は省略可能である。

このような本発明の第３の実施形態によれば、オーディオ信号の大きさの正規化による聴感的オーディオ音質の劣化を極力抑えながらオーディオ信号の大きさを制御することができる。

一方、上述した方法によるオーディオ信号の大きさ正規化は、デジタル放送消費者にかなりの聴き取り環境の変化を引き起こす。また、オーディオ信号の大きさが正規化することにより、デジタル放送端末に新たに求められるサービス／機能が生成可能である。すなわち、デジタル放送端末において放送オーディオ音量に関する機能を提供することができる。

図１８は、端末においてオーディオ信号の大きさを制御する方法に対する第４の実施形態を示す図である。以下、図１８を説明するに当たって、図１７において説明した部分（正規化したオーディオ信号の転送に関する処理部分（ステップＳ３０１〜Ｓ３０１０）についての具体的な説明を省略して説明する。

図１８を参照すると、端末は、正規化したオーディオ信号を受信し（ステップＳ４０１）、受信されたオーディオ信号を処理して（ステップＳ４０２）、出力することができる（ステップＳ４０３）。ここで、オーディオ信号処理（ステップＳ４０２）は、例えば、ユーザー注文型により制御可能である。すなわち、デジタル放送においては、放送に関する情報がユーザーに提供され、ユーザーが持続的に端末を用いる場合、ユーザーの使用情報も累積される。このような情報に基づいて、ユーザー情報の分析が行われてユーザーに注文型オーディオ音響サービスを提供することができる。また、ユーザー設定情報により放送情報に基づくユーザー音響サービスが直ちに適用可能である。

図１９は、本発明の第１の実施形態によるオーディオ信号大きさの制御装置のオーディオ信号大きさの制御方法を具体的に示すフローチャートである。図１９を参照すると、まず、オーディオ信号が入力される（ステップＳ５０１）。ここで、入力されたオーディオ信号は、例えば、図１０から図１２に示す分離、復号化などの動作（省略可能な動作）によるオーディオ信号であってもよい。このようなオーディオ信号は、様々な波形を有していてもよく、例えば、図５の前端に示す（すなわち、正規化する前の）波形を有するオーディオ信号であってもよい。

この場合、オーディオ信号大きさ測定部は、図６から図８において説明されたオーディオ信号の大きさ測定方法を用いて、入力オーディオ信号のＬＫＦＳ（原値ＬＫＦＳ）を測定することができる（ステップＳ５０３）。

また、オーディオ信号大きさ測定部は、初期ピークＬＫＦＳを測定（ステップＳ５０２）することができる。ここで、初期ピークＬＫＦＳは、既に設定された初期ピーク重み付け値を用いて、入力されたオーディオ信号をスケーリングし、スケーリングされたオーディオ信号に基づいてＬＫＦＳを測定することにより測定可能である。

ここで、既に設定された初期ピーク重み付け値と、オーディオ信号及び映像信号を含む放送信号に制御情報の形で提供可能である。または、オーディオ信号大きさの制御装置の設計当時に既に格納された値として提供可能である。または、ユーザーからの入力により提供可能である。

一方、重み付け値算出部は、最初には（ステップＳ５０５：Ｙ）、目標値ＬＫＦＳ（ステップＳ５０４）と、測定された初期ピークＬＫＦＳ（初期ピーク重み付け値）（ステップＳ５０２）及び測定された入力オーディオ信号のＬＫＦＳ（原値ＬＫＦＳ）（ステップＳ５０３）を用いて、オーディオ信号の大きさ制御比（ラウドネス制御比）を算出することができる（ステップＳ５０６）。具体的に、重み付け値算出部は、下記の数式９を用いてオーディオ信号の大きさ制御比（ラウドネス制御比）を算出することができる。

ここで、オーディオ信号の大きさ制御比（ラウドネス制御比）は、ｄｉｆｆ１／ｄｉｆｆ２であってもよい。

また、重み付け値算出部は、算出されたオーディオ信号の大きさ制御比（ラウドネス制御比）を下記の数式１０に適用して新たなピーク重み付け値を算出することができる（ステップＳ５０７）。

ここで、ｎｅｗ＿Ｐｅｅｋ＿ｗｅｉｇｈｔとは、新たなピーク重み付け値を意味し、ｐｒｅｖｉｏｕｓ＿Ｐｅｅｋ＿ｗｅｉｇｈｔとは、ｎｅｗ＿Ｐｅｅｋ＿ｗｅｉｇｈｔの算出前に用いたピーク重み付け値を意味し、ｎｅｗ＿ｗｅｉｇｈｔとは、数式１０において算出された重み付け値を意味する。例えば、上述した数式９及び１０によれば、最初には（ステップＳ５０５：Ｙ）、初期ピーク重み付け値に新たな重み付け値を乗算して、新たなピーク重み付け値を算出することができる。

一方、数式１０によれば、原値ＬＫＦＳとピークＬＫＦＳとの間の差分が原値ＬＫＦＳと目標値ＬＫＦＳとの間の差分よりも小さな場合には、以前のピーク重み付け値をデクリメントして新たなピーク重み付け値を算出し、原値ＬＫＦＳとピークＬＫＦＳとの間の差分が原値ＬＫＦＳと目標値ＬＫＦＳとの間の差分よりも大きな場合には、以前のピーク重み付け値をインクリメントして新たなピーク重み付け値を算出することができる。

このような数式１０においては、デクリメントのための重み付け値としては０．９、インクリメントのための重み付け値としては１．１を用いたが、このような重み付け値に限定されるものではなく、様々な重み付け値が使用可能である。例えば、より細かいオーディオ信号の大きさの調節のために、デクリメントのための重み付け値としては０．９９、インクリメントのための重み付け値としては１．０１が使用可能である。

一方、ここで、目標値ＬＫＦＳは、世界のいくつかの国が規定及び法案で定めた目標値ＬＫＦＳに応じて異なる。例えば、図５の後端に示す（すなわち、正規化した後）ように、目標値ＬＫＦＳは？２４ＬＫＦＳであってもよい。このような目標値ＬＫＦＳは、オーディオ信号及び映像信号を含む放送信号に制御情報の形式で提供可能である。または、オーディオ信号大きさの制御装置の設計当時に既に格納された値として提供可能である。または、ユーザーからの入力により提供可能である。

一方、オーディオ信号大きさ制御部は、上述した動作により算出された新たなピーク重み付け値を用いてオーディオ信号の大きさを制御することができる。具体的に、オーディオ信号大きさ制御部は、算出された新たなピーク重み付け値を用いて入力されたオーディオ信号（ステップＳ５０１）をスケーリングすることにより、オーディオ信号の大きさを制御することができる（ステップＳ５０８）。

また、オーディオ信号大きさ測定部は、新たなピーク重み付け値に応じてオーディオ信号の大きさが制御されたオーディオ信号（ステップＳ５０８）のＬＫＦＳ（新たなピークＬＫＦＳ）を測定することができる（ステップＳ５０９）。

一方、オーディオ信号大きさ制御部は、目標値ＬＫＦＳ（ステップＳ５０４）と測定された新たなピークＬＫＦＳ（ステップＳ５０９）を比較して、ＬＫＦＳ誤差を算出することができる（ステップＳ５１１）。

そして、オーディオ信号大きさ制御部は、ＬＫＦＳ誤差（Ｄ）と既に設定された誤差範囲（Ｔ）を比較することができる（ステップＳ５１２）。例えば、目標値ＬＫＦＳとオーディオ信号の大きさの誤差範囲が２４ＬＫＦＳ（目標値ＬＫＦＳ）＋／−２ｄＢ（誤差範囲）である場合、目標値ＬＫＦＳと新たなピークＬＫＦＳとの間の差分が誤差範囲よりも大きいか否かを判断することができる。このような既に設定された誤差範囲（ＬＫＦＳ誤差範囲）（ステップＳ５１０）は、オーディオ信号及び映像信号を含む放送信号に制御情報の形式で提供可能である。または、オーディオ信号大きさの制御装置の設計当時に既に格納された値として提供可能である。または、ユーザーからの入力により提供可能である。

もし、目標値ＬＫＦＳと新たなピークＬＫＦＳとの間の差分が誤差範囲よりも小さな場合（ステップＳ５１３：Ｙ）、オーディオ信号大きさ制御部は、新たなピーク重み付け値に応じて、オーディオ信号の大きさが制御されたオーディオ信号を出力することができる。

もし、目標値ＬＫＦＳと新たなピークＬＫＦＳとの間の差分が誤差範囲よりも大きな場合（ステップＳ５１３：Ｎ）、オーディオ信号大きさ制御部は、上述した制御動作を繰り返し行うように制御することができる。ここで、上述した制御動作を繰り返し行う場合、重み付け値算出部は最初ではないため（ステップＳ５０５：Ｎ）、目標値ＬＫＦＳ（ステップＳ５０４）と、測定された新たなピークＬＫＦＳ（ステップＳ５０９）及び測定された原値ＬＫＦＳ（ステップＳ５０３）を用いて、新たなオーディオ信号の大きさ制御比（ラウドネス制御比）を算出することができる（ステップＳ５０６）。この場合、重み付け値算出部は、上述した数式９を用いてラウドネス制御比を算出することができる。また、重み付け値算出部は、算出されたオーディオ信号の大きさ制御比（ラウドネス制御比）を上述した数式１０に適用して新たなピーク重み付け値を算出することができる（ステップＳ５０７）。すなわち、オーディオ信号の大きさが目標値ＬＫＦＳ及び誤差範囲を満たすまで、上述した動作を繰り返し行うことができる。

一方、本発明の第１の実施形態による入力オーディオ信号（ステップＳ５０１）は、予め製作された放送番組に対するオーディオ信号であるが、放送番組の開始から終了までに対するオーディオ信号であってもよい。これにより、本発明の第１の実施形態によれば、放送番組の開始から終了までに対するオーディオ信号のオーディオ信号の大きさ（原値ＬＫＦＳ）に基づいて、オーディオ信号の大きさを制御することができる。

一方、出力されたオーディオ信号（ステップＳ５１３）には、図１０から図１２に示す符号化動作、多重化動作（省略可能）などが行われてもよい。

このような本発明の第１の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を製作する製作者側、または、製作されたオーディオ信号を供給する供給者側に配設または実行可能である。または、本発明の第１の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を提供されて出力するユーザー側（例えば、ＭＰ３プレーヤーなどの携帯用マルチ機器）に配設または実行可能である。

上述した本発明の第１の実施形態によれば、録画及び予め製作された放送番組に対してオーディオ信号の大きさを規格に合うように自動的に制御することができる。

図２０は、ＩＴＵ−Ｒ１７７０−２において言及されたオーディオゲーティング方式が追加されたオーディオ信号の大きさ測定方法を説明するための図である。ここで、オーディオゲーティング方式は、図２０に示すように、ゲートブロック１に対するＬＫＦＳを測定し、重畳及び移動方式を適用して、ゲートブロック２に対するＬＫＦＳを測定し、重畳及び移動方式を繰り返し行ってゲートブロック別のＬＫＦＳを測定し、測定されたゲートブロックのＬＫＦＳが臨界ＬＫＦＳ（ＩＴＵ−Ｒ１７７０−２においては、−７０ＬＫＦＳ）以下であれば、一括処理して、ゲーティングが適用されたオーディオ信号に対するオーディオ信号の大きさの測定を行うことができる。

ここで、上述したゲートブロックに対し、ＩＴＵ−Ｒ１７７０−２においては、ゲートブロックは０．４ｓのゲートサイズを有し、７５％重畳される構造を有している。

一方、リアルタイム／ライブ環境においては、オーディオ信号がそれぞれのゲートブロック別に取得されるが、それぞれのゲートブロック別のＬＫＦＳが、上述した数式４及び５により測定され、それぞれのゲートブロック別にオーディオ信号の大きさを制御するための新たなピーク重み付け値が、上述した図１９の方法により算出される。但し、それぞれのゲートブロック別に算出された新たなピーク重み付け値を用いて、それぞれのゲートブロック別にオーディオ信号の大きさを制御すれば、隣り合うゲートブロック間の重み付け値の差分により、不連続的な音が発生する虞がある。

このような問題を解消するために、本発明の第５の実施形態によるオーディオ信号大きさの制御方法は、下記の処理を行うことができる。

図２１は、本発明の第５の実施形態によるオーディオ信号大きさの制御方法を説明するためにゲートハンドオーバーを説明する図である。図２１を参照すると、ゲートブロックの非重畳領域のゲートサイズは、例えば、４８００サンプルであってもよい。また、ＡＡＣ、ＡＣ−３などのコーデックを用いる場合、一回に受け取るデータサイズを決定する一枚のフレームのサイズは、１０２４サンプルであってもよい。この場合、一枚のフレームが二つのゲートブロックに跨るゲートハンドオーバーが発生する虞がある。

図２２は、本発明の第５の実施形態によるオーディオ信号大きさの制御方法を説明する図である。図２２を参照すると、本発明の第５の実施形態によるオーディオ信号大きさの制御方法は、ゲートハンドオーバーが発生するフレームからゲート重み付け値を補間してオーディオ信号の大きさを制御することができる。ここで、ゲート重み付け値は、それぞれのゲートブロックに対して上述した図１９の方法を用いて算出した新たなピーク重み付け値であってもよい。

このような本発明の第５の実施形態によれば、ゲート重み付け値の補間によるゲート遅延が発生しない。すなわち、ゲートハンドオーバーが発生するフレームにおいてデータが受信される時点では、ゲートハンドオーバーが発生するフレームが跨る二つのゲートブロックに対するゲート重み付け値を予め算出することができるため、予め算出された二つのゲートブロックに対するゲート重み付け値を用いて、ゲートハンドオーバーが発生するフレーム時点から遅延なしにゲート重み付け値を補間することができるためである。

一方、本発明の第５の実施形態によれば、ゲート重み付け値を補間するために、様々な補間方法を用いることができる。例えば、この線形補間を用いることができる。これについては、図２３を参照して具体的に説明する。

図２３は、本発明の第５の実施形態による補間の一例である線形補間を説明する図である。図２３を参照すると、下記の数式のような線形補間を用いることができる。

数式１１において、Ｗ_Ｇ１は、ゲートブロック１のゲート重み付け値であり、Ｗ_Ｇ２は、ゲートブロック２のゲート重み付け値であり、ｉは、補間するゲート重み付け値の数であり、ＩｎｔｅｒＦｒａｍｅは、補間開始フレームから種類フレームまでのフレーム枚数である。

例えば、ＩｎｔｅｒＦｒａｍｅの数を３にして前記数式１１に適用すれば、図２２に示すように、二枚のフレームに適用されるゲート重み付け値（赤色で示す重み付け値：Ｗ_１、Ｗ２）が算出可能である。すなわち、ＩｎｔｅｒＦｒａｍｅの数の選択的に調節して、ゲート重み付け値が補間される数を可変的に制御することができる。

一方、上述した本発明の第５の実施形態によるゲート重み付け値補間方法は、ゲート重み付け値を用いてオーディオ信号の大きさを制御する方法にいずれも適用可能である。例えば、既存に録画された放送番組に適用されてオーディオ信号の大きさを制御することができ、ライブ放送番組に適用されてオーディオ信号の大きさを制御することができる。

また、本発明の第５の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を製作する製作者側、または、製作されたオーディオ信号を供給する供給者側に配設または実行可能である。または、本発明の第５の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を提供されて出力するユーザー側（例えば、ＭＰ３プレーヤーなどの携帯用マルチ機器）に配設または実行可能である。

このような本発明の第５の実施形態によれば、ゲートハンドオーバーが発生するフレームからゲート重み付け値を補間して、ゲート重み付け値の補間によるゲート遅延が発生することを防ぐことができる。

また、ゲート重み付け値が補間される数を可変的に制御することができる。

図２４は、本発明の第２の実施形態の半自動ラウドネス制御モードにおいて提供される情報の一例を示す図である。ここで、半自動ラウドネス制御モードは、制御のための重み付け値を人間が手動で選択するという点は、手動ラウドネス制御モードと同様であるが、半自動ラウドネス制御モードにおいてはオーディオ信号の大きさの制御に必要な情報を人間が利用できるように、上述した情報を提供するという点で相違点がある。

このような半自動ラウドネス制御モードにおいて提供されるオーディオ信号の大きさの制御のための情報は、図２４に示すように、瞬間ＬＫＦＳ６０１、短期（３ｓ）ＬＫＦＳ６０２、集積ＬＫＦＳ６０３、再生ＬＫＦＳ６０４、残留ＬＫＦＳ６０５、推奨制御要因６０６のうちの少なくとも一つを備えていてもよい。

ここで、瞬間ＬＫＦＳ６０１は、ゲートブロックに入力されたオーディオ信号に対するＬＫＦＳ（例えば、図２０に示すように、０．４Ｓの間に入力されたオーディオ信号に対するＬＫＦＳ）、短期（３ｓ）ＬＫＦＳ６０２は、３Ｓの間に入力されたオーディオ信号に対するＬＫＦＳ、集積ＬＫＦＳ６０３は、これまで入力されたオーディオ信号に対するＬＫＦＳ、再生ＬＫＦＳ６０４は、これまで出力されたオーディオ信号に対するＬＫＦＳ、残留ＬＫＦＳ６０５は、目標値ＬＫＦＳに比べての再生ＬＫＦＳ６０４の不足分または超過分のＬＫＦＳ、推奨制御要因６０６は、残留ＬＫＦＳ６０５を用いて算出したオーディオ信号の大きさを制御するための重み付け値であってもよい。

このような瞬間ＬＫＦＳ６０１、短期（３ｓ）ＬＫＦＳ６０２、集積ＬＫＦＳ６０３は、上述した数式４及び５を用いて測定することができる。

一方、再生ＬＫＦＳ６０４は、出力されたオーディオ信号（すなわち、上述した図２２から図２３の動作に応じて、オーディオ信号の大きさが制御されてオーディオ再生装置に出力可能である。）、すなわち、オーディオ信号の大きさが制御されたオーディオ信号であるという点で、オーディオ信号の大きさが制御されていない入力オーディオ信号に対するＬＫＦＳである集積ＬＫＦＳ６０３とは異なる。

このような再生ＬＫＦＳ６０４は、下記の数式１２を用いて算出することができる。

ここで、ｘは、ＬＫＦＳ測定アルゴリズムに定義された二つのフィルターを通過した信号に対してこれまで出力されたオーディオ信号であり、Ｍは、ゲートブロックのサンプル数であり、Ｎは、これまでオーディオ信号が入力されたゲートブロックの数である。

すなわち、図２０を参照すると、リアルタイム／ライブ環境においては、毎回ゲートブロックごとにオーディオ信号が入力されるため、数式１２に示すように、これまで出力されたオーディオ信号の平均（ｐｌａｙｅｄ＿ｍｅａｎ）を持続的に演算しなければならない。これにより、平均（ｐｌａｙｅｄ＿ｍｅａｎ）が得られると、ＩＴＵ−Ｒ１７７０−２に言及された数式に適用して再生ＬＫＦＳ６０４を測定することができる。

一方、上述した数式１２のように計算する場合、オーディオ信号に対するデータが多くなると、Ｎ値がかなり大きくなるため、固定点プロセッサーの場合、ｐｒｅｖｉｏｕｓ＿ＭｅａｎとＮ−１との間の乗算の結果がプロセッサー範囲を超える場合がある。なお、浮動点プロセッサーにおいてもかなり大きな値になる。プロセッサーの処理及びメモリの格納容量に負担が生じる虞がある。

このような問題を補うために、本発明の一実施形態によれば、下記の数式１３に示すように、Ｎを乗算する方式ではなく、Ｎを除算する方式を用いて、これまで出力されたオーディオ信号に対する平均（ｐｒｅｓｅｎｔ＿ｍｅａｎ）を算出することができる。この場合、算出されたｐｒｅｓｅｎｔ＿ｍｅａｎを上述した数式１２のｐｌａｙｅｄ＿ｍｅａｎに適用することにより、再生ＬＫＦＳ６０４を測定することができる。この場合、プロセッサーの処理及びメモリの格納容量への負担が軽減される。

図２５は、本発明の第２の実施形態の半自動ラウドネス制御モードにおいて提供される情報のうちの推奨制御要因を算出する方法を示す図である。図２５を参照すると、下記の数式１４を用いて残留ＬＫＦＳ６０５を測定し、測定された残留ＬＫＦＳ６０５を用いて推奨制御要因６０６を算出することができる。

ここで、残留ＬＫＦＳ６０５は、再生ＬＫＦＳ６０４、目標値ＬＫＦＳ６０７、合計で出力されるオーディオ信号の時間（Ｔｏｔａｌ Ｐｌａｙ Ｔｉｍｅ（Ｔｓ））６０８、現在出力されたオーディオ信号の時間（Ｐｌａｙｅｄ Ｔｉｍｅ（Ｐｓ））６０９を用いて算出することができる。このような数式１４を参照すると、残留ＬＫＦＳ６０５とは、目標値ＬＫＦＳに比べての再生ＬＫＦＳ６０４の不足分または超過分のＬＫＦＳを意味する。

推奨制御要因６０６は、残留ＬＫＦＳ６０５を用いて算出したオーディオ信号の大きさを制御するための重み付け値であってもよい。すなわち、残留ＬＫＦＳ６０５とは、目標値ＬＫＦＳ６０７に比べての再生ＬＫＦＳ６０４の不足分または超過分のＬＫＦＳを意味するが、重み付け値算出部は、残留ＬＫＦＳ６０５を用いて、合計で出力されるオーディオ信号のオーディオ信号の大きさが目標値ＬＫＦＳ６０７になるための重み付け値を算出することができる。

一方、上述した瞬間ＬＫＦＳ６０１、短期（３ｓ）ＬＫＦＳ６０２、集積ＬＫＦＳ６０３、再生ＬＫＦＳ６０４、残留ＬＫＦＳ６０５、推奨制御要因６０６などの半自動ラウドネス制御モードにおいては、オーディオ信号の大きさ制御に必要な情報は、オーディオ信号大きさの制御装置に配設された表示画面を介して提供可能である。

このような本発明の実施形態によれば、オーディオ信号の大きさの制御に必要な情報を提供することにより、リアルタイム／ライブ環境においてユーザーがより手軽にオーディオ信号の大きさを制御することができる。

図２６は、本発明の第２の実施形態の自動ラウドネス制御モードにおけるオーディオ信号大きさの制御方法を示す図である。ここで、自動ラウドネス制御モードは、人間の手動制御なしに自動的にオーディオ信号の大きさを目標値オーディオ信号の大きさに整合されるように制御するモードであってもよい。このような自動ラウドネス制御モードにおいては、各ゲートブロック別に適用されるべきゲート重み付け値を自動的に算出しなければならない。

このために、本発明の一実施形態による自動ラウドネス制御モードにおいては、重み付け値算出部は、それぞれのゲートブロック別にリアルタイム取得された入力オーディオ信号の大きさ（原値ＬＫＦＳ）、それぞれのゲートブロック別にリアルタイムにて取得された入力オーディオ信号にピーク重み付け値を用いてスケーリングしたオーディオ信号の大きさ（ピークＬＫＦＳ）、入力されたオーディオ信号の大きさ（原値ＬＫＦＳ）をマッピング曲線に適用して算出されたマッピングＬＫＦＳを用いて、ゲート別にオーディオ信号をスケーリングするためのゲート重み付け値を自動的に算出し、オーディオ信号大きさ制御部は、算出されたゲート重み付け値を用いてオーディオ信号の大きさを制御することができる。

ここで、マッピング曲線は、オーディオ信号の開始から終了までに対して入力された全体のオーディオ信号のオーディオ信号の大きさを目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）（例えば、−２４ＬＫＦＳ）にしながら、出力されるオーディオ信号の全体的なサイズバラツキは維持するようにした曲線であってもよい。すなわち、入力された全体のオーディオ信号のオーディオ信号の大きさを目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）（例えば、−２４ＬＫＦＳ）にする正規化作業が行われると、それぞれのゲートブロック別にオーディオ信号の大きさが小さなブロックはサイズが大きくなり、サイズが大きなブロックはサイズが小さくなるが、人間の耳に伝達される音の大きさのバラツキが小さくなって問題になる虞がある。これにより、本発明の一実施形態によれば、出力されるオーディオ信号の全体的なサイズバラツキを維持するマッピング曲線を用いることにより、人間の耳に伝達される音の大きさのバラツキを維持することができる。

一方、重み付け値算出部は、上述した数式９の目標値ＬＫＦＳにマッピングＬＫＦＳを適用してオーディオ信号の大きさ制御比（ラウドネス制御比）であるｄｉｆｆ１／ｄｉｆｆ２を算出し、算出されたオーディオ信号の大きさ制御比（ラウドネス制御比）を数式１０に適用してゲート重み付け値（新たなピーク重み付け値）を算出することができる。

また、オーディオ信号大きさ制御部は、それぞれのゲートブロック別に算出されたオーディオ信号をスケーリングするためのゲート重み付け値を用いてオーディオ信号の大きさを制御することができる。このような動作に関する具体的な説明は、図１９において上述したため省略する。

図２７は、図２６によるマッピングオーディオ信号の大きさ（マッピングＬＫＦＳ）を算出するためのマッピング曲線を設計するための方法を示す図である。ここで、マッピング曲線は、それぞれのゲートブロック別に入力されたオーディオ信号の大きさ（原値ＬＫＦＳ）とマッピングオーディオ信号の大きさ（マッピングＬＫＦＳ）との間の関係を示す曲線である。図２７（ａ）を参照すると、マッピング曲線を設計するために、主要ＬＫＦＳ領域と非主要ＬＫＦＳ領域（低いＬＫＦＳ領域）を分離してマッピング曲線を設計することができる。

ここで、非主要ＬＫＦＳ領域（低いＬＫＦＳ領域）は、人間の耳に小さく伝達される入力オーディオ信号の大きさが既に設定された値よりも小さなＬＫＦＳ領域であってもよく、主要ＬＫＦＳ領域は、人間の耳に大きく伝達される入力オーディオ信号の大きさが既に設定された値よりも大きなＬＫＦＳ領域であってもよい。

すなわち、図２７（ｂ）を参照すると、主要ＬＫＦＳ領域は、可変重み付け値に基づいてマッピング曲線を設計し、非主要ＬＫＦＳ領域は、線形状にマッピング曲線を設計することができる。

ここで、主要ＬＫＦＳ領域に対するマッピング曲線は、下記の数式１５を用いて設計することができる。

ここで、ｉＬＫＦＳは、ゲート別に入力されるオーディオ信号の大きさ（原値ＬＫＦＳ）であり、ｏＬＫＦＳは、ゲート別にマッピングされたオーディオ信号の大きさ（マッピングＬＫＦＳ）であり、ｗは、重み付け値である。これにより、主要ＬＫＦＳ領域に対する可変マッピング曲線を生成することができる。このようなマッピング曲線は、マッピング曲線を制御して調節可能である。

このような本発明の一実施形態によれば、入力されたオーディオ信号をマッピング曲線を用いて正規化させて出力することにより、正規化して出力されるオーディオ信号が入力されたオーディオ信号の大きさのバラツキを維持することができ、これにより、人間の耳に伝達される音の大きさのバラツキを維持することができる。

図２８から図３０は、入力オーディオ信号の波形と正規化したオーディオ信号の波形を比較した図である。

図２８（ａ）は、ｐｏｐの入力オーディオ信号の波形、図２８（ｂ）は、ｐｏｐの正規化したオーディオ信号の波形を示す図である。図２８を参照すると、入力オーディオ信号の大きさは−２２．２３ＬＫＦＳであったが、上述した正規化動作が行われて正規化したオーディオ信号の大きさは−２２．７２ＬＫＦＳになって目標値オーディオ信号の大きさ及び誤差範囲内に正規化したことが分かる。

図２９（ａ）は、Ｋｐｏｐの入力オーディオ信号の波形、図２９（ｂ）は、Ｋｐｏｐの正規化したオーディオ信号の波形を示す図である。図２９を参照すると、入力オーディオ信号の大きさは−８．９ＬＫＦＳであったが、上述した正規化動作が行われて正規化したオーディオ信号の大きさは−２３．２８ＬＫＦＳになって目標値オーディオ信号の大きさ及び誤差範囲内に正規化したことが分かる。

図３０（ａ）は、クラシックの入力オーディオ信号の波形、図３０（ｂ）は、クラシックの正規化したオーディオ信号の波形を示す図である。図３０を参照すると、入力オーディオ信号の大きさは−２６ＬＫＦＳであったが、上述した正規化動作が行われて正規化したオーディオ信号の大きさは−２５．３４ＬＫＦＳになって目標値オーディオ信号の大きさ及び誤差範囲内に正規化したことが分かる。

一方、上述した本発明の様々な実施形態による方法は、コンピューターにおいて実行されるためのプログラムとして製作されてコンピューターにて読み取り可能な記録媒体に格納可能であり、コンピューターにて読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などが挙げられ、なお、キャリアウェーブ（例えば、インターネットを介して転送）の形式で実現されるものも含む。

コンピューターにて読み取り可能な記録媒体は、ネットワークを介して接続されたコンピューターシステムに分散されて、分散方式を用いてコンピューターにて読み取り可能なコードが格納されて実行可能である。なお、前記方法を実現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野におけるプログラマーにより容易に推論可能である。

また、以上、本発明の好適な実施形態について図示及び説明したが、本発明は上述した特定の実施形態に何ら限定されるものではなく、請求範囲において請求する本発明の要旨を逸脱することなく、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が行えるということはいうまでもなく、このような変形実施は本発明の技術的思想や見込みから個別的に理解されてはならない。

Claims (40)

1. 入力されるオーディオ信号の大きさを測定するステップと、
   前記測定された原オーディオ信号の大きさにピーク重み付け値を適用してピークオーディオ信号の大きさを求めるステップと、
   前記原オーディオ信号の大きさ及び前記ピークオーディオ信号の大きさを用いて、オーディオ信号の大きさを調整するための制御比を求めるステップと、
   前記求められた制御比に基づいて、入力されるオーディオ信号の大きさを調節するステップと、
   を含むオーディオ信号大きさの制御方法。
2. 前記制御比に基づいて調整されたオーディオ信号の大きさが目標とするオーディオ信号の大きさの誤差範囲内に存在するか否かを確認するステップをさらに含む請求項１に記載のオーディオ信号大きさの制御方法。
3. 前記制御比に基づいて調整されたオーディオ信号の大きさが前記誤差範囲から外れた場合、
   前記ピークオーディオ信号の大きさを前記制御比に基づいて調整されたオーディオ信号の大きさとして前記制御比を再計算するステップをさらに含む請求項２に記載のオーディオ信号大きさの制御方法。
4. 前記制御比に基づいて調整されたオーディオ信号の大きさが前記誤差範囲内に存在するまで前記制御比を再計算するステップが繰り返し行われる請求項３に記載のオーディオ信号大きさの制御方法。
5. 前記誤差範囲は、ユーザーにより設定可能である請求項２に記載のオーディオ信号大きさの制御方法。
6. 請求項１から請求項５のうちのいずれか一項に記載の方法をコンピューターに実行させるためのプログラムを記録した記録媒体。
7. 入力されるオーディオ信号の大きさを測定する大きさ測定部と、
   前記測定された原オーディオ信号の大きさにピーク重み付け値を適用してピークオーディオ信号の大きさを求める重み付け値適用部と、
   前記原オーディオ信号の大きさ及び前記ピークオーディオ信号の大きさを用いて、オーディオ信号の大きさを調整するための制御比を求める制御比計算部と、
   前記求められた制御比に基づいて、入力されるオーディオ信号の大きさを調節する制御部と、
   を備えるオーディオ信号大きさの制御装置。
8. 前記制御部は、
   前記制御比に基づいて調整されたオーディオ信号の大きさが目標とするオーディオ信号の大きさの誤差範囲内に存在するか否かを確認し、
   前記制御比に基づいて調整されたオーディオ信号の大きさが前記誤差範囲から外れた場合、前記ピークオーディオ信号の大きさを前記制御比に基づいて調整されたオーディオ信号の大きさとして前記制御比を再計算するように前記制御比計算部を制御する請求項７に記載のオーディオ信号大きさの制御装置。
9. 前記制御部は、
   前記制御比に基づいて調整されたオーディオ信号の大きさが前記誤差範囲内に存在するまで前記制御比を繰り返し再計算するように前記制御比計算部を制御する請求項８に記載のオーディオ信号大きさの制御装置。
10. 前記誤差範囲は、ユーザーにより設定可能である請求項８に記載のオーディオ信号大きさの制御装置。
11. オーディオ信号大きさの制御方法において、
    入力されたオーディオ信号の大きさである第１のオーディオ信号の大きさを測定するステップと、
    既に設定された初期ピーク重み付け値を用いて、前記入力されたオーディオ信号をスケーリングし、前記スケーリングされたオーディオ信号の大きさである第２のオーディオ信号の大きさを測定するステップと、
    前記第１のオーディオ信号の大きさと、前記第２のオーディオ信号の大きさ及び目標値オーディオ信号の大きさを用いて、前記入力されたオーディオ信号の大きさを制御するステップと、
    を含む制御方法。
12. 前記制御するステップは、
    「前記第１のオーディオ信号の大きさと前記第２のオーディオ信号の大きさとの間の差分である第１の差分」を、「前記第１のオーディオ信号の大きさと前記目標値オーディオ信号の大きさとの間の差分である第２の差分」で除算して、「オーディオ信号の大きさ制御比」を算出するステップと、
    前記算出された「オーディオ信号の大きさ制御比」を用いて、第１の重み付け値を算出するステップと、
    前記算出された第１の重み付け値に前記既に設定された初期ピーク重み付け値を乗算して、新たなピーク重み付け値を算出するステップと、
    前記算出された新たなピーク重み付け値を用いて、前記入力されたオーディオ信号をスケーリングするステップと、
    を含む請求項１１に記載の制御方法。
13. 前記算出された新たなピーク重み付け値を用いてスケーリングしたオーディオ信号のオーディオ信号の大きさと前記目標値オーディオ信号の大きさとの間の第３の差分を既に設定された誤差範囲と比較するステップをさらに含むことを特徴とする請求項１２に記載の制御方法。
14. 前記比較の結果、前記第３の差分が前記既に設定された誤差範囲よりも大きければ、前記算出された新たなピーク重み付け値を用いてスケーリングしたオーディオ信号のオーディオ信号の大きさを前記第２のオーディオ信号の大きさとして、前記入力されたオーディオ信号の大きさを制御するステップをさらに含むことを特徴とする請求項１３に記載の制御方法。
15. オーディオ信号大きさの制御装置において、
    入力されたオーディオ信号の大きさである第１のオーディオ信号の大きさを測定し、前記入力されたオーディオ信号に既に設定された初期ピーク重み付け値を適用してスケーリングされたオーディオ信号の大きさである第２のオーディオ信号の大きさを測定するオーディオ信号大きさ測定部と、
    前記第１のオーディオ信号の大きさと、前記第２のオーディオ信号の大きさ及び目標値オーディオ信号の大きさを用いて、前記入力されたオーディオ信号の大きさを制御するオーディオ信号大きさ制御部と、
    を備えるオーディオ信号大きさの制御装置。
16. 「前記第１のオーディオ信号の大きさと前記第２のオーディオ信号の大きさとの間の差分である第１の差分」を、「前記第１のオーディオ信号の大きさと前記目標値オーディオ信号の大きさとの間の差分である第２の差分」で除算して「オーディオ信号の大きさ制御比」を算出し、
    前記算出された「オーディオ信号の大きさ制御比」を用いて、第１の重み付け値を算出し、
    前記算出された第１の重み付け値に前記既に設定された初期ピーク重み付け値を乗算して新たなピーク重み付け値を算出する重み付け値算出部をさらに備え、
    前記オーディオ信号大きさ制御部は、
    前記算出された新たなピーク重み付け値を用いて、前記入力されたオーディオ信号をスケーリングして、前記入力されたオーディオ信号の大きさを制御することを特徴とする請求項１５に記載のオーディオ信号大きさの制御装置。
17. 前記オーディオ信号大きさ制御部は、
    前記算出された新たなピーク重み付け値を用いてスケーリングしたオーディオ信号のオーディオ信号の大きさと前記目標値オーディオ信号の大きさとの間の第３の差分を既に設定された誤差範囲と比較することを特徴とする請求項１６に記載のオーディオ信号大きさの制御装置。
18. 前記オーディオ信号大きさ制御部は、
    前記比較の結果、前記第３の差分が前記既に設定された誤差範囲よりも大きければ、前記算出された新たなピーク重み付け値を用いてスケーリングしたオーディオ信号のオーディオ信号の大きさを前記第２のオーディオ信号の大きさとして、前記入力されたオーディオ信号の大きさを制御することを特徴とする請求項１７に記載のオーディオ信号大きさの制御装置。
19. オーディオ信号大きさの制御方法において、
    既に定義されたゲートサイズを有する第１のゲートブロック及び第２のゲートブロックを入力されたオーディオ信号に適用して、前記第１のゲートブロックに対応する第１のオーディオ信号の大きさ及び前記第２のゲートブロックに対応する第２のオーディオ信号の大きさを測定するステップと、
    前記測定された第１のオーディオ信号の大きさを用いて、前記第１のゲートブロックに対応する第１のゲート重み付け値を算出し、前記測定された第２のオーディオ信号の大きさを用いて、前記第２のゲートブロックに対応する第２のゲート重み付け値を算出するステップと、
    前記第１のゲートブロック及び前記第２のゲートブロックにおいてゲートハンドオーバーが発生したフレームを検出するステップと、
    前記算出された第１及び第２の重み付け値を用いて、前記検出されたフレームからフレーム重み付け値を補間するステップと、
    前記補間されたフレーム重み付け値と、前記第１及び第２のゲート重み付け値を用いて、入力されたオーディオ信号に対するスケーリングを行って、オーディオ信号の大きさを制御するステップと、
    を含む制御方法。
20. 前記第２のゲートブロックは、前記第１のゲートブロック内の既に定義されたサイズ分だけを重ね合わせながら移動させたゲートブロックであることを特徴とする請求項１９に記載の制御方法。
21. 前記第１及び第２のゲートブロックは、
    少なくとも一枚のフレームを備え、前記フレームは、一回に受け取るデータのサイズを決定することを特徴とする請求項１９に記載の制御方法。
22. 前記補間されるフレーム重み付け値の数は、可変的であることを特徴とする請求項１９に記載の制御方法。
23. オーディオ信号大きさの制御装置において、
    既に定義されたゲートサイズを有する第１のゲートブロック及び第２のゲートブロックを入力されたオーディオ信号に適用して、前記第１のゲートブロックに対応する第１のオーディオ信号の大きさ及び前記第２のゲートブロックに対応する第２のオーディオ信号の大きさを測定するオーディオ信号大きさ測定部と、
    前記測定された第１のオーディオ信号の大きさを用いて、前記第１のゲートブロックに対応する第１のゲート重み付け値を算出し、前記測定された第２のオーディオ信号の大きさを用いて、前記第２のゲートブロックに対応する第２のゲート重み付け値を算出する重み付け値算出部と、
    前記第１のゲートブロック及び前記第２のゲートブロックにおいてゲートハンドオーバーが発生したフレームを検出する検出部と、
    前記算出された第１及び第２の重み付け値を用いて、前記検出されたフレームからフレーム重み付け値を補間し、前記補間されたフレーム重み付け値と、前記第１及び第２のゲート重み付け値を用いて、入力されたオーディオ信号に対するスケーリングを行って、オーディオ信号の大きさを制御するオーディオ信号大きさ制御部と、
    を備えるオーディオ信号大きさの制御装置。
24. 前記第２のゲートブロックは、前記第１のゲートブロック内の既に定義されたサイズ分だけを重ね合わせながら移動させたゲートブロックであることを特徴とする請求項２３に記載のオーディオ信号大きさの制御装置。
25. 前記第１及び第２のゲートブロックは、
    少なくとも一枚のフレームを備え、前記フレームは、一回に受け取るデータのサイズを決定することを特徴とする請求項２３に記載のオーディオ信号大きさの制御装置。
26. 前記補間されるフレーム重み付け値の数は、可変的であることを特徴とする請求項２３に記載のオーディオ信号大きさの制御装置。
27. オーディオ信号大きさの制御方法において、
    入力されたオーディオ信号の制御に関する手動ラウドネス制御モード、半自動ラウドネス制御モード、自動ラウドネス制御モードのうちのいずれか一つのモードが選択されるステップと、
    前記選択された制御モードが半自動ラウドネス制御モードである場合、前記入力されたオーディオ信号の制御のために必要とされる制御情報を算出するステップと、
    前記算出された制御情報を表示するステップと、
    を含む制御方法。
28. 前記制御情報は、
    瞬間オーディオ信号の大きさ情報、短期（３ｓ）オーディオ信号の大きさ情報、集積オーディオ信号の大きさ情報、再生オーディオ信号の大きさ情報、残留オーディオ信号の大きさ情報、推奨制御要因情報のうちの少なくとも一つを含むことを特徴とする請求項２７に記載の制御方法。
29. 前記再生オーディオ信号の大きさ情報は、
    これまで出力されたオーディオ信号に関するオーディオ信号の大きさ情報であり、
    前記残留オーディオ信号の大きさ情報は、
    目標値オーディオ信号の大きさに比べての再生オーディオ信号の大きさの不足分または超過分のオーディオ信号の大きさ情報であり、
    前記推奨制御要因情報は、
    残留オーディオ信号の大きさ情報を用いて算出したオーディオ信号の大きさを制御するための重み付け値情報であることを特徴とする請求項２８に記載の制御方法。
30. オーディオ信号大きさの制御装置において、
    入力されたオーディオ信号の制御に関する手動ラウドネス制御モード、半自動ラウドネス制御モード、自動ラウドネス制御モードのうちのいずれか一つのモードが選択される入力部と、
    前記選択された制御モードが半自動ラウドネス制御モードである場合、前記入力されたオーディオ信号の制御のために必要とされる制御情報を算出する制御部と、
    前記算出された制御情報を表示する表示部と、
    を備えるオーディオ信号大きさの制御装置。
31. 前記制御情報は、
    瞬間オーディオ信号の大きさ情報、短期（３ｓ）オーディオ信号の大きさ情報、集積オーディオ信号の大きさ情報、再生オーディオ信号の大きさ情報、残留オーディオ信号の大きさ情報、推奨制御要因情報のうちの少なくとも一つを含むことを特徴とする請求項３０に記載のオーディオ信号大きさの制御装置。
32. 前記再生オーディオ信号の大きさ情報は、
    これまで出力されたオーディオ信号に関するオーディオ信号の大きさ情報であり、
    前記残留オーディオ信号の大きさ情報は、
    目標値オーディオ信号の大きさに比べての再生オーディオ信号の大きさの不足分または超過分のオーディオ信号の大きさ情報であり、
    前記推奨制御要因情報は、
    残留オーディオ信号の大きさ情報を用いて算出したオーディオ信号の大きさを制御するための重み付け値情報であることを特徴とする請求項３０に記載のオーディオ信号大きさの制御装置。
33. オーディオ信号大きさの制御方法において、
    入力されたオーディオ信号の大きさである第１のオーディオ信号の大きさを測定するステップと、
    既に設定された初期ピーク重み付け値を用いて、前記入力されたオーディオ信号をスケーリングし、前記スケーリングされたオーディオ信号の大きさである第２のオーディオ信号の大きさを測定するステップと、
    出力されるオーディオ信号の音のバラツキを維持するための既に設定されたマッピングテーブルに前記第１のオーディオ信号の大きさを適用して、第３のオーディオ信号の大きさを検出するステップと、
    前記第１のオーディオ信号の大きさと、前記第２のオーディオ信号の大きさ及び前記第３のオーディオ信号の大きさを用いて、前記入力されたオーディオ信号の大きさを制御するステップと、
    を含む制御方法。
34. 前記入力されたオーディオ信号は、リアルタイムにて入力されるオーディオ信号であることを特徴とする請求項３３に記載の制御方法。
35. 前記既に設定されたマッピングテーブルは、
    前記第１のオーディオ信号の大きさが既に設定された値よりも小さな領域においては、線形マッピングを用いてマッピングを行うテーブルであり、
    前記第１のオーディオ信号の大きさが既に設定された値よりも大きな領域においては、下記の数式を用いてマッピングを行うテーブルであり、
    ここで、ｉＬＫＦＳは、前記第１のオーディオ信号の大きさであり、ｏＬＫＦＳは、前記第３のオーディオ信号の大きさであり、ｗは、変更可能な重み付け値であることを特徴とすることを特徴とする請求項３３に記載の制御方法。
36. 前記制御するステップは、
    「前記第１のオーディオ信号の大きさと前記第２のオーディオ信号の大きさとの間の差分である第１の差分」を、「前記第１のオーディオ信号の大きさと前記第３のオーディオ信号の大きさとの間の差分である第２の差分」で除算して「オーディオ信号の大きさ制御比」を算出するステップと、
    前記算出された「オーディオ信号の大きさ制御比」を用いて、第１の重み付け値を算出するステップと、
    前記算出された第１の重み付け値に前記既に設定された初期ピーク重み付け値を乗算して、新たなピーク重み付け値を算出するステップと、
    前記算出された新たなピーク重み付け値を用いて、前記入力されたオーディオ信号をスケーリングするステップと、
    を含む請求項３３に記載の制御方法。
37. オーディオ信号大きさの制御装置において、
    入力されたオーディオ信号の大きさである第１のオーディオ信号の大きさを測定し、既に設定された初期ピーク重み付け値を用いて、前記入力されたオーディオ信号をスケーリングし、前記スケーリングされたオーディオ信号の大きさである第２のオーディオ信号の大きさを測定し、出力されるオーディオ信号の音のバラツキを維持するための既に設定されたマッピングテーブルに前記第１のオーディオ信号の大きさを適用して、第３のオーディオ信号の大きさを検出するオーディオ信号大きさ測定部と、
    前記第１のオーディオ信号の大きさと、前記第２のオーディオ信号の大きさ及び前記第３のオーディオ信号の大きさを用いて、前記入力されたオーディオ信号の大きさを制御するオーディオ信号大きさ制御部と、
    を備えるオーディオ信号大きさの制御装置。
38. 前記入力されたオーディオ信号は、リアルタイムにて入力されるオーディオ信号であることを特徴とする請求項３７に記載のオーディオ信号大きさの制御装置。
39. 前記既に設定されたマッピングテーブルは、
    前記第１のオーディオ信号の大きさが既に設定された値よりも小さな領域においては、線形マッピングを用いてマッピングを行うテーブルであり、
    前記第１のオーディオ信号の大きさが既に設定された値よりも大きな領域においては、下記の数式を用いてマッピングを行うテーブルであり、
    ここで、ｉＬＫＦＳは、前記第１のオーディオ信号の大きさであり、ｏＬＫＦＳは、前記第３のオーディオ信号の大きさであり、ｗは、変更可能な重み付け値であることを特徴とすることを特徴とする請求項３７に記載のオーディオ信号大きさの制御装置。
40. 「前記第１のオーディオ信号の大きさと前記第２のオーディオ信号の大きさとの間の差分である第１の差分」を、「前記第１のオーディオ信号の大きさと前記第３のオーディオ信号の大きさとの間の差分である第２の差分」で除算して「オーディオ信号の大きさ制御比」を算出し、
    前記算出された「オーディオ信号の大きさ制御比」を用いて、第１の重み付け値を算出し、
    前記算出された第１の重み付け値に前記既に設定された初期ピーク重み付け値を乗算して、新たなピーク重み付け値を算出する重み付け値算出部をさらに備え、
    前記オーディオ信号大きさ制御部は、
    前記算出された新たなピーク重み付け値を用いて、前記入力されたオーディオ信号をスケーリングして前記入力されたオーディオ信号の大きさを制御することを特徴とする請求項３７に記載のオーディオ信号大きさの制御装置。