JP2006243398A - 音響信号の合成装置および検索装置 - Google Patents

Abstract

【課題】 ミックスダウン後の完成された音楽、ＣＤや放送で流通している音楽から、制作時に使用された音楽素材やミックス時の条件パラメータ等の制作環境をバックトラック可能な音響信号の合成装置および検索装置を提供する。
【解決手段】 合成対象とする、付加情報が埋め込まれた複数の素材音響信号に対して、高周波成分と低周波成分の分離を行う。高周波成分についてはそのまま加算合成するが、低周波成分に対しては（ａ）（ｂ）、単純に加算した後（ｃ）、元のＬＲ間比率になるように比率を変更して、合成後の低周波成分（ｄ）に、元の付加情報が埋め込まれた状態とする。この後、高周波成分と統合して付加情報が埋め込まれた合成音響信号を得る。
【選択図】 図１４

Description

本発明は、ＣＤ・ＤＶＤ等を用いた民生・業務用途における鑑賞用のパッケージ音楽分野、放送事業者等が商業目的で配信する放送・ネットワーク音楽配信分野向けの音楽制作工程における音楽素材管理およびプロジェクト管理分野に関する。

音楽制作においては複数の音楽素材を合成する作業（ミックスダウンまたはトラックダウンと呼ばれる）が基本になる。また、過去に制作された音楽作品をリミックス（一部のパート素材を差し替えてミックスをやり直すこと）する場合もあるが、この場合は、制作時のミックスダウン環境（全素材データと合成条件パラメータ）を用いて行うことになる。

さらに、ループ音楽という市販のエンドレス波形素材を貼り合わせて、楽譜作成、楽器演奏を行わずに、作曲と音楽制作を簡便に行えるＭＩＤＩに替わる新規な制作手法も普及している。

また、音楽制作プロセスにおいて発生したデータを全て保存する素材・プロジェクト管理システムも提案されている（例えば、特許文献１、２参照）。
特開２００２−２４５０５２号公報 特開２００１−２９６８６５号公報

しかしながら、上記音楽素材の合成作業を行った場合、完成された音楽からはどのような音楽素材を基に制作されているかを逆に追跡することは不可能である。また、上記のように、音楽作品をリミックスする場合には、制作時のミックスダウン環境が再現できないと、全素材のレコーディングからやり直しになる。近年はデジタル制作環境が整っているため、制作時の環境（プロジェクトファイルと呼ばれ、素材や制作指示情報などミックスダウン時に参照するファイル一式）をＣＤ／ＤＶＤ／ＤＡＴ等にバックアップすることが可能であるが、３分程度のシングル楽曲制作においても、この処理は半日程度要し、１０Ｇ程度の保存メディアが必要になり、保管作業にはそれなりの負荷がかかる。

さらに、上記ループ音楽を利用する場合には、各ループ波形素材データのファイルヘッダには著作権情報のほかにテンポやピッチ情報といった編集に必要なパラメータが記録されているが、音楽を合成する段階でこれらの情報は消失し、完成された音楽データからはどのループ素材を用いているか判断することはできず、同様に制作時の素材レイアウト環境を保存する必要がある。また、上記特許文献１、２に記載の発明においても、完成された楽曲から制作プロセスをバックトラックできないという問題がある。

そこで、本発明は、ミックスダウン後の完成された音楽、ＣＤや放送で流通している音楽から、制作時に使用された音楽素材やミックス時の条件パラメータ等の制作環境をバックトラック可能な音響信号の合成装置および検索装置を提供することを課題とする。

上記課題を解決するため、本発明では、聴取不能な状態で付加情報が埋め込まれた素材音響信号を複数合成して、元の付加情報が全て埋め込まれた合成音響信号を作成する装置であって、前記各素材音響信号から付加情報を抽出する付加情報抽出手段と、前記抽出された付加情報を合成して合成付加情報を作成する付加情報合成手段と、前記素材音響信号を指示された変更パラメータに従って変更する音響信号変更手段と、前記変更された素材音響信号を含めた複数の素材音響信号を合成して合成音響信号を作成する音響信号合成手段と、前記合成音響信号に対して、前記付加情報合成手段により作成された合成付加情報を埋め込み、埋め込み合成音響信号を作成する合成付加情報埋め込み手段を有する音響信号の合成装置を提供する。

また、本発明では、聴取不能な状態で低周波成分に付加情報が埋め込まれた素材音響信号を複数合成して、元の付加情報が全て埋め込まれた合成音響信号を作成する装置であって、前記各素材音響信号の低周波成分を抽出し、各素材音響信号の低周波成分を所定の時間単位で配置して合成する低周波成分合成手段と、前記各素材音響信号の高周波成分を抽出し、合成を行う高周波成分合成手段と、前記合成後の低周波成分および前記合成後の高周波成分を統合する統合手段を有する音響信号の合成装置を提供する。

本発明によれば、聴取不能な状態で低周波成分に付加情報が埋め込まれた素材音響信号の低周波成分を抽出して所定の時間単位で配置して合成すると共に、高周波成分についても合成し、合成した低周波成分、高周波成分を統合するようにしたので、完成された音楽に、音楽素材を特定する情報を埋め込むことが可能となり、ミックスダウン後の完成された音楽、ＣＤや放送で流通している音楽から、制作時に使用された音楽素材やミックス時の条件パラメータ等の制作環境をバックトラックすることが可能となる。

以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．素材音響信号への情報の埋め込み）
まず、素材音響信号への付加情報の埋め込みについて説明する。図１は、素材音響信号に付加情報を埋め込む装置の構成を示す機能ブロック図である。図１において、１０は音響フレーム読込手段、２０は周波数変換手段、３０は低周波成分変更手段、４０は周波数逆変換手段、５０は改変音響フレーム出力手段、６０は記憶手段、６１は音響信号記憶部、６２は付加情報記憶部、６３は改変音響信号記憶部、７０は付加情報読込手段である。

音響フレーム読込手段１０は、付加情報の埋め込み対象とする元のステレオ音響信号の各チャンネルから所定数のサンプルを１フレームとして読み込む機能を有している。周波数変換手段２０は、音響フレーム読込手段１０が読み込んだ音響信号のフレームをフーリエ変換等により周波数変換してフレームスペクトルを生成する機能を有している。低周波成分変更手段３０は、生成された複数のフレームスペクトルから所定の周波数以下に相当する各低周波強度データを抽出し、付加情報記憶部６２から抽出した付加情報に基づいて、チャンネル間で対応する低周波強度データのチャンネル間比率を変更する機能を有している。周波数逆変換手段４０は、変更された低周波強度データを含む複数のフレームスペクトルに対して周波数逆変換を行うことにより、複数の改変音響フレームを生成する機能を有している。改変音響フレーム出力手段５０は、生成された改変音響フレームを順次出力する機能を有している。記憶手段６０は、付加情報を埋め込む対象とするステレオ音響信号を記憶した音響信号記憶部６１と、ビット配列として構成され、ステレオ音響信号に埋め込まれる付加情報を記憶した付加情報記憶部６２と、付加情報埋め込み後の改変音響信号を記憶する改変音響信号記憶部６３を有しており、その他処理に必要な各種情報を記憶するものである。付加情報読込手段７０は、付加情報記憶部６２から付加情報を抽出する機能を有している。なお、付加情報とは、音響情報に付加して埋め込むべき情報であり、タイトルやアーティスト名等、その音響信号を特定するための音響信号ＩＤ等の属性情報、および属性情報以外の他の情報を含むものである。図１に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。

次に、図１に示した埋め込み装置の処理動作について図２のフローチャートに従って説明する。図２は、付加情報１バイトの処理に対応したものとなっている。まず、付加情報読込手段７０は、付加情報記憶部６２から付加情報を１バイト単位で読み込む（Ｓ１０１）。具体的には、レジスタに１バイト読み込むことになる。続いて、モードを区切りモードに設定する（Ｓ１０２）。モードは区切りモードと、ビットモードの２種類が存在する。区切りモードは１バイト単位の区切りにおける処理を行うモードを示し、ビットモードは１バイトの各ビットの値に基づいた処理を行うモードを示している。付加情報記憶部６２から１バイト読み込んだ場合には、その直後に必ず区切りモードに設定されることになる。

続いて、音響フレーム読込手段１０が、音響信号記憶部６１に記憶されたステレオ音響信号の左右の各チャンネルから、それぞれ所定数のサンプルを１音響フレームとして読み込む（Ｓ１０４）。音響フレーム読込手段１０が読み込む１音響フレームのサンプル数は、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすることが望ましい。したがって、音響フレーム読込手段１０は、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次音響フレームとして読み込んでいくことになる。

続いて、周波数変換手段２０は、読み込んだ各音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ１０５）。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができる。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。フーリエ変換を行う場合、左チャンネル信号ｘｌ（ｉ）、右チャンネル信号ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、以下の〔数式１〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。

〔数式１〕
Ａｌ（ｊ）＝Σ_i=0,…,N-1ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（ｊ）＝Σ_i=0,…,N-1ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（ｊ）＝Σ_i=0,…,N-1ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（ｊ）＝Σ_i=0,…,N-1ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）

〔数式１〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。この際、音響信号ｘｌ（ｉ）、ｘｒ（ｉ）には、それぞれＷ（ｉ）＝０．５−０．５・ｃｏｓ（２πｉ／Ｎ）で表現される窓関数（ハニング窓）を重みとして乗じる。このような窓関数は、フーリエ変換を行う際に、周波数成分に波形を分断することにより発生する高周波ノイズを低減するためと、フーリエ逆変換を行う際に解析区間（音響フレームに相当）の間で信号レベルが不連続にならないように連結させるために用いられるものであり、周知の技術である。

上記〔数式１〕に従った処理を実行することにより、各音響フレームの信号成分を周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、低周波成分変更手段３０が、生成された複数のフレームスペクトルから所定の周波数以下の低周波強度データを抽出する。人間の聴覚は、２００〜３００Ｈｚ程度までの低周波成分については、方向性を感知しにくくなっていることが知られている（コロナ社１９９０年１０月３０日発行「音響工学講座１．基礎音響工学、日本音響学会編」ｐ２４７図９・２６参照）。したがって、本実施形態では、所定の周波数として２００Ｈｚ程度を設定し、周波数が２００Ｈｚ以下の低周波強度データを抽出することにしている。周波数２００Ｈｚ付近は、上記ｊが２０に相当するので、上記〔数式１〕により算出された実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）のうち、ｊ≦２０のものを抽出する。

続いて、低周波成分変更手段３０は、抽出した実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を利用して、以下の〔数式２〕によりｊ＝１〜Ｍ（２００Ｈｚ以下を抽出する場合は、２０）までの低周波強度の合計値を算出する。

〔数式２〕
Ｅ＝Σ_j=1,…,M｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²＋Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝

上記〔数式２〕により算出されたＥは、フレームスペクトルにおける低周波成分の合算値を示すことになる。続いて、この合算値Ｅがレベル下限値以上であるかどうかの判定を行う。レベル下限値は、音響信号ｘｌ（ｉ）、ｘｒ（ｉ）の振幅最大値が１に正規化されており、Ｍ＝２０に設定されている場合、４程度に設定する。合算値Ｅがレベル下限以上であるかどうかを判断するのは、信号の強度が小さいと、信号を変化させても、その変化を抽出側で検出することができないためである。したがって、合算値Ｅがレベル下限値未満である場合は、付加情報のビット値に応じた記録をせず、先頭ビットから再度処理するため、読み込み位置を先頭ビットに戻し、モードを区切りモードに設定する（Ｓ１０６）。一方、合算値Ｅがレベル下限値以上である場合には、モードを判断することになる。

低周波成分変更手段３０は、モードが区切りモードである場合、低周波強度を左右のチャンネルで同一とする処理を行う（Ｓ１０８）。すなわち、低周波成分の音源を中央へ移動することになる。具体的には、以下の〔数式３〕に従った処理を実行することになる。

〔数式３〕
Ｅ（ｊ）＝［０．５・｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²＋Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝］^1/2
Ａｌ（ｊ）←Ａｌ（ｊ）・Ｅ（ｊ）／｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²｝^1/2
Ｂｌ（ｊ）←Ｂｌ（ｊ）・Ｅ（ｊ）／｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²｝^1/2
Ａｒ（ｊ）←Ａｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ｂｒ（ｊ）←Ｂｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2

上記〔数式３〕において、第２式から第５式における“←”は右辺の計算結果を左辺に代入することを示している。上記〔数式３〕に従った処理を実行することにより、フレームスペクトルの低周波数成分は、左右チャンネル均等のパターンに変更されることになる。この左右チャンネル均等のパターンは、付加情報の先頭位置（区切り）を示す情報となる。

一方、低周波成分変更手段３０は、モードがビットモードである場合、付加情報記憶部６２から抽出した付加情報のビット配列のビット値に応じて、低周波成分の左右チャンネル間の分布を左チャンネル大か、右チャンネル大かのいずれかに変更する処理を行う（Ｓ１０７）。すなわち、低周波成分の音源を左又は右へ移動することになる。具体的には、第１の値と第２の値をとり得るビット値に応じて以下の〔数式４〕、〔数式５〕のいずれかに従った処理を実行することにより、低周波成分の左右分布を変更する。例えば、第１の値を１、第２の値を０とした場合、ビット値が１のとき、以下の〔数式４〕に従った処理を実行する。

〔数式４〕
Ｅ（ｊ）＝｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²＋Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ａｒ（ｊ）←Ａｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ｂｒ（ｊ）←Ｂｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ａｌ（ｊ）＝０
Ｂｌ（ｊ）＝０

ビット値が０の場合、以下の〔数式５〕に従った処理を実行する。

〔数式５〕
Ｅ（ｊ）＝｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²＋Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ａｌ（ｊ）←Ａｌ（ｊ）・Ｅ（ｊ）／｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²｝^1/2
Ｂｌ（ｊ）←Ｂｌ（ｊ）・Ｅ（ｊ）／｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²｝^1/2
Ａｒ（ｊ）＝０
Ｂｒ（ｊ）＝０

上記〔数式４〕、〔数式５〕のいずれかに従った処理を実行することにより、付加情報のビット配列の各ビット値に応じて、低周波数成分が左チャンネル、右チャンネル、のどちらかのパターンに変更されることになる。結局、低周波成分変更手段３０は、区切りモードの場合に〔数式３〕に基づく処理をＳ１０８において行い、ビットモードの場合に〔数式４〕又は〔数式５〕に基づく処理をＳ１０７において行うことになる。

次に、周波数逆変換手段４０が、低周波強度データのチャンネル間比率が変更されたフレームスペクトルを周波数逆変換して改変音響フレームを得る処理を行う（Ｓ１０９）。この周波数逆変換は、当然のことながら、周波数変換手段２０がＳ１０５において実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段２０において、フーリエ逆変換を施しているため、周波数逆変換手段４０は、フーリエ逆変換を実行することになる。具体的には、上記〔数式３〕〜〔数式５〕のいずれかにより得られたスペクトルの左チャンネルの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を用いて、以下の〔数式６〕に従った処理を行い、ｘｌ´（ｉ）、ｘｒ´（ｉ）を算出する。

〔数式６〕
ｘｌ´（ｉ）＝１／Ｎ・｛Σ_j=0,…,N-1Ａｌ（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_j=0,…,N-1Ｂｌ（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋｛１−Ｗ（ｉ）｝・ｘｌ（ｉ）
ｘｒ´（ｉ）＝１／Ｎ・｛Σ_j=0,…,N-1Ａｒ（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_j=0,…,N-1Ｂｒ（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋｛１−Ｗ（ｉ）｝・ｘｒ（ｉ）

上記〔数式６〕における第１式の“＋｛１−Ｗ（ｉ）｝・ｘｌ（ｉ）”、第２式の“＋｛１−Ｗ（ｉ）｝・ｘｒ（ｉ）”の項は、上記〔数式１〕において周波数変換する際に、窓関数Ｗ（ｉ）を乗じることにより除去された信号成分を復元するためのものである。上記〔数式６〕により改変音響フレームの左チャンネルの各サンプルｘｌ´（ｉ）、右チャンネルの各サンプルｘｒ´（ｉ）、が得られることになる。改変音響フレーム出力手段５０は、得られた改変音響フレームを順次出力ファイルに出力する（Ｓ１１０）。こうして１つの音響フレームに対する処理を終えたら、モードをビットモードに設定した後（Ｓ１１１）、付加情報読込手段７０が付加情報のビット配列中の次のビットを読み込む（Ｓ１０３）。以上のような処理を音響信号の両チャンネルの全サンプルに渡って実行していく。すなわち、所定数のサンプルを音響フレームとして読み込み、音響信号から読み込むべき音響フレームがなくなったら（Ｓ１０４）、処理を終了する。なお、Ｓ１０１において読み込んだ１バイトのデータの各ビットに対応する処理を終えた場合、Ｓ１０３からＳ１０１に戻り、付加情報の次のバイトを読み込み処理をすることになる。付加情報の全バイトに対して、処理が終了した場合は、付加情報の先頭バイトに戻って処理を行う。この結果、全ての音響フレームに対して処理を行った全ての改変音響フレームが出力ファイルに記録されて、改変音響信号として得られる。得られた改変音響信号は、記憶手段６０内の改変音響信号記憶部６３に出力され、記憶される。

以上の処理による信号の変化の様子を図３を用いて説明する。図３において、左右方向は、時間軸であり、サンプル数に比例する。Ｌ、Ｒはそれぞれ改変音響信号の左チャンネル、右チャンネルを示している。また、図中多数存在する矩形は、改変音響フレームの低周波成分を示し、その横幅はサンプル数（本実施形態では、４０９６）、縦幅は強度を示している。図３（ａ）は、上記〔数式２〕により算出された合算値Ｅがレベル下限値未満となる音響フレームが存在しない場合、すなわち、付加情報を埋め込むには、良好な信号である場合を示している。図３（ｂ）は、上記〔数式２〕により算出された合算値Ｅがレベル下限値未満となる音響フレームが存在する場合、すなわち、付加情報を埋め込むには、良好でない信号である場合を示している。

例えば、付加情報として、１バイト目が「１１０１１１００」、２バイト目が「１１０００００１」の２バイトのビット配列を埋め込むとする。まず、各バイトの先頭には、区切りを示す情報として、左右均等な状態に設定されることになる。これは、Ｓ１０２により区切りモードに設定され、Ｓ１０８において、上記〔数式３〕に従った処理を実行した結果得られる。また、図３（ａ）の例では、合算値Ｅがレベル下限値未満となる音響フレームが存在しないため、１バイトが連続して上記〔数式４〕又は〔数式５〕により処理されることになる。これは、Ｓ１０３からＳ１１１を経由するループが８回連続して繰り返され、その間レベル下限値未満であるとしてＳ１０６およびＳ１０８を経由することがなかったことを示している。図に示すように、付加情報のビット値が１の場合は、Ｒ側に存在し、付加情報のビット値が０の場合は、Ｌ側に低周波成分が設定される。上記〔数式４〕、〔数式５〕からもわかるように、この場合は他方の低周波成分は０となる。

図３（ｂ）の例では、上記〔数式２〕に従った処理の結果、レベル下限値未満となる音響フレームが存在するので、この場合Ｓ１０６およびＳ１０８を経由して、上記〔数式３〕に従った処理を実行した結果左右均等な状態に設定される。この場合、Ｓ１０６において、読み込み位置が先頭ビットに戻されるため、再び同じビットを読むことになる。図３（ｂ）の例では、１バイト目の「１１０１１１００」を埋め込む場合に、最初は「１１」の２ビット処理した時点でレベル下限値未満の音響フレームが出現し、２度目は「１１０１１」の５ビット処理した時点でレベル下限値未満の音響フレームが出現し、３度目でようやく８ビット処理することができたことを示している。

しかし、図２に従った処理を行った場合には、図３（ｂ）に示したように、低周波成分の信号レベルが小さい音響フレームが出現するたびに、１バイト単位で先頭から繰り返して処理することになるため、効率が悪い。そこで、図２に代えて、図４に示すような処理を行うようにしても良い。

図４に示す処理で、図２に示す処理と大きく異なるのは、区切りモード、ビットモードの他に継続識別モードを備え、３つのモードとし、低周波成分の信号レベルが小さい音響フレームが出現した場合であっても、先頭に戻らず、継続して処理するようにした点である。そのため、継続識別モードにおいては、次のビットが先頭から始まる新規なものか、中断されたために継続されたものであるかを識別するための情報を記録することになる。なお、図４の処理では、付加情報の処理をバイト単位でなく、ワード単位で行っている。これは、図２のＳ１０６に示したように、強制的に読み込み位置を先頭に戻す処理がないため、バイト以外の単位で処理するのが容易であるためである。１ワードのビット数は自由に設定でき、１バイトに設定することもできる。

図４の処理については、図２の処理と共通する部分が多いため、異なる部分について説明していく。まず、付加情報読込手段７０は、付加情報記憶部６２から付加情報を１ワード単位で読み込む（Ｓ２０１）。その後、モードを区切りモードに設定し（Ｓ２０２）、音響フレーム読込手段１０が、音響信号記憶部６１に記憶されたステレオ音響信号の左右各チャンネルから、音響フレームを読み込み（Ｓ２０４）、周波数変換手段２０が、読み込んだ各音響フレームに対して、〔数式１〕に従って周波数変換を行ってフレームスペクトルを得て（Ｓ２０５）、低周波成分変更手段３０が、抽出した実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を利用して、〔数式２〕により合算値Ｅを算出し、合算値Ｅがレベル下限以上であるかどうかを判断するところまでは同一である。ただし、図４の処理においては、合算値Ｅがレベル下限値未満である場合は、モードを区切りモードに設定するだけである（Ｓ２０６）。一方、合算値Ｅがレベル下限値以上である場合には、モードを判断することになる。

低周波成分変更手段３０は、モードが区切りモードである場合、上記〔数式３〕に従って、低周波強度を左右のチャンネルで同一とする処理を行う（Ｓ２０８）。一方、低周波成分変更手段３０は、モードがビットモードである場合、上記〔数式４〕、〔数式５〕に従って、付加情報記憶部６２から抽出した付加情報のビット配列のビット値に応じて、低周波強度の左右チャンネル間の比率を変更する処理を行う（Ｓ２０７）。また、Ｓ２０７においては、図２のＳ１０７と異なり、継続識別モードである場合にも処理を行う。継続識別モードである場合、新規であるときは〔数式４〕に従って低周波成分の左右チャンネル間の分布を右チャンネル大に変更し、継続であるときは〔数式５〕に従って低周波成分の左右チャンネル間の分布を左チャンネル大に変更する。

次に、周波数逆変換手段４０が、低周波強度データのチャンネル間比率が変更されたフレームスペクトルを〔数式６〕に従って周波数逆変換して改変音響フレームを得る処理を行い（Ｓ２０９）、改変音響フレーム出力手段５０は、得られた改変音響フレームを順次出力ファイルに出力する（Ｓ２１０）。こうして１つの音響フレームに対する処理を終えたら、モードの判定を行い（Ｓ２１１）、モードが区切りモードである場合は、モードを継続識別モードに設定した後（Ｓ２１２）、音響フレーム読込手段１０が、音響フレームを読み込む（Ｓ２０４）。一方、モードがビットモード又は継続識別モードである場合は、モードをビットモードに設定した後（Ｓ２１３）、低周波成分変更手段３０が付加情報のビット配列中の次のビットを読み込む（Ｓ２０３）。そして、全音響フレームの処理を行い、音響信号から読み込むべき音響フレームがなくなったら（Ｓ２０４）、処理を終了する。

図４に従った処理による信号の変化の様子を図５を用いて説明する。図５においては、図３と同様、左右方向は時間軸であり、図中多数存在する矩形は、改変音響フレームの低周波成分を示し、その横幅はサンプル数、縦幅は強度を示している。図５（ａ）は、図３（ａ）と同様、上記〔数式２〕により算出された合算値Ｅが、レベル下限値以上となる音響フレームが存在しない場合を示しており、図５（ｂ）は、図３（ｂ）と同様、上記〔数式２〕により算出された合算値Ｅが、レベル下限値未満となる音響フレームが存在する場合を示している。

また、図２の処理との比較のため、埋め込む付加情報も、図３の場合と同様、１バイト目が「１１０１１１００」、２バイト目が「１１０００００１」の２バイトのビット配列とする。図３と同様、各バイトの先頭には、区切りを示す情報として、左右均等な状態に設定されることになる。これは、Ｓ２０２により区切りモードに設定され、Ｓ２０８において、上記〔数式３〕に従った処理を実行した結果得られる。続いて、付加情報の各ビットに対応した処理を行う前に、新規であるか継続であるかを示す情報を記録することになる。図２に示す処理によれば、レベル下限値未満となる音響フレームが存在した場合には、処理するビットを各バイトの先頭に戻して処理するため、全て新規となるが、図４に示す処理では、レベル下限値未満となる音響フレームが存在した場合であっても、その時点で処理したビットは有効とし、そこから継続して行うため、そのビットが新規であるか継続であるかの情報を記録しておく必要がある。そこで、区切りを示す情報を記録した後には、新規であるか継続であるかを示す情報を記録する。具体的には、区切りモードの状態で、モード判断を行うことにより（Ｓ２１１）、継続識別モードに設定され（Ｓ２１２）、付加情報のビットを読み込むことなく、音響フレームの抽出を行う（Ｓ２０４）。そして、周波数変換後（Ｓ２０５）、新規である場合には、〔数式４〕に従った処理により、低周波成分の左右チャンネル間の分布を右チャンネル大に変更する（Ｓ２０７）。

このようにして、新規か継続かを示す情報を記録した後は、継続識別モードの状態でモード判断を行うため（Ｓ２１１）、ビットモードに設定され（Ｓ２１３）、レジスタから先頭のビットを読み込み（Ｓ２０３）、音響フレームの抽出を行う（Ｓ２０４）。図５（ａ）の例では、レベル下限値未満となる音響フレームが存在しないため、１バイトが連続して上記〔数式４〕又は〔数式５〕により処理されることになる。これは、Ｓ２０３からＳ２１３を経由するループが８回連続して繰り返され、その間レベル下限値未満であるとしてＳ２０６およびＳ２０８、Ｓ２１２を経由することがなかったことを示している。

図５（ｂ）の例では、上記〔数式２〕に従った処理の結果、レベル下限値未満となる音響フレームが存在するので、この場合Ｓ２０６およびＳ２０８を経由して、上記〔数式３〕に従った処理を実行した結果左右均等な状態に設定される。この場合、Ｓ２０６において、区切りモードに設定されるため、Ｓ２１２を経由して、新規か継続かを示す情報を記録することになる。図５（ｂ）の例では、１バイト目の「１１０１１１００」を埋め込む場合に、最初は第１ビット目の「１」の１ビット処理した時点でレベル下限値未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第２ビット目の「１」から処理をしている。そして、第２ビット目から第５ビット目の「１０１１」を処理した時点でレベル下限値未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第６ビット目の「１」から処理をしている。

なお、図５の例では、図３との比較のため、付加情報がバイト単位で記録されている場合について説明したが、図４に示す処理は、新規か継続かを示す情報を記録するため、付加情報を任意のビット数単位で記録することが可能である。

上記の例では、区切り情報を固定長のバイト単位又は可変長のワード単位で区切りを示す情報を挿入するようにしたが、さらにビット単位で区切りを示す情報を挿入することも可能である。この場合、音響フレーム読込手段１０が音響フレームの抽出を行う際、前後の音響フレームに重複する重複音響フレームを抽出し、この重複音響フレームに対して、〔数式１〕に従って周波数変換を行い、さらに、〔数式３〕に従って左右チャンネルの低周波成分を均等にする処理を行う。重複音響フレームは、前後の音響フレームと半数づつサンプルが重複するように設定する。例えば、先行する音響フレームがサンプル番号１から４０９６まで、後続する音響フレームがサンプル番号４０９７から８１９２までである場合、この間に設定される重複音響フレームはサンプル番号２０４９から６１４４までとなる。同様にして、音響信号の全区間について、重複音響フレームを読み込み、左右チャンネルの低周波成分を均等にする処理を行うことになる。

上記のように、重複音響フレームを設定して、その左右チャンネルの低周波成分を均等にする処理を行った場合、これを改変音響信号に反映させるため、左右チャンネルの低周波成分を均等にする処理後の重複フレームスペクトルに対して周波数逆変換を行って改変重複音響フレームを得て、さらに音響フレームと連結する処理を行う必要がある。この場合、窓関数Ｗ（ｉ）を乗じることにより音響フレームから除去された信号成分を、重複音響フレームの信号と連結することにより補うことが可能となるため、上記〔数式６〕における第１式の“＋｛１−Ｗ（ｉ）｝・ｘｌ（ｉ）”、第２式の“＋｛１−Ｗ（ｉ）｝・ｘｒ（ｉ）” の項が不要となる。したがって、この場合、重複フレームスペクトルに対する周波数逆変換、およびフレームスペクトルに対する周波数逆変換（Ｓ１０９、Ｓ２０９）は上記〔数式６〕ではなく、以下の〔数式７〕に従って処理することになる。

〔数式７〕
ｘｌ´（ｉ）＝１／Ｎ・｛Σ_j=0,…,N-1Ａｌ（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_j=0,…,N-1Ｂｌ（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝
ｘｒ´（ｉ）＝１／Ｎ・｛Σ_j=0,…,N-1Ａｒ（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_j=0,…,N-1Ｂｒ（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝

上記〔数式７〕により改変音響フレーム、改変重複音響フレームの左チャンネルの各サンプルｘｌ´（ｉ）、右チャンネルの各サンプルｘｒ´（ｉ）、が得られることになる。改変音響フレーム出力手段５０は、Ｓ１１０、Ｓ２１０において、得られた改変音響フレームおよび改変重複音響フレームを順次連結して出力ファイルに出力する。上述のように、音響フレームおよび重複音響フレームは、音響フレーム読込手段１０により音響信号から読み込む際、音響フレームと重複音響フレームに同一のサンプルが重複して含まれるように処理されている。したがって、音響フレーム出力手段５０においては、重複して読み込まれたサンプルについて、各サンプルの値を合算した値として、出力ファイルに記録していく。

このようにして得られた改変音響信号のうち、付加情報が埋め込まれている部分については、低周波成分は、双方のチャンネルに均等に存在するか、あるいはどちらか一方のチャンネルに偏在するかの３通りの分布しかないことになる。しかし、高周波成分については、元の音響信号のままであるので、両チャンネルから制作者の設定に基づいた種々な分布になる。人間の聴覚は、高周波成分については、方向性を感知し易いが、低周波成分については、方向性を感知しにくくなっている。したがって、低周波成分が一方に偏っていても、聴いている人にとっては、通常の音響信号と変わりなく聴こえることになる。

（２．音響信号の合成装置：第１の実施形態）
次に、本発明第１の実施形態に係る音響信号の合成装置について説明する。図６は、本発明第１の実施形態に係る音響信号の合成装置の構成を示す機能ブロック図である。図６において、１００は素材音響信号記憶部、１１０は付加情報抽出手段、１２０は変更パラメータ設定手段、１３０は付加情報合成手段、１４０は音響信号変更手段、１５０は音響信号合成手段、１６０は合成付加情報埋め込み手段、１７０は埋め込み合成音響信号記憶部である。

素材音響信号記憶部１００は、合成対象とする音響信号である素材音響信号を記憶した記憶手段である。この素材音響信号には、上述した手法により既に付加情報が埋め込まれている。付加情報抽出手段１１０は、素材音響信号から、埋め込まれている付加情報を抽出する機能を有している。変更パラメータ設定手段１２０は、音量やチャンネル間のバランス等のパラメータを設定する機能を有している。付加情報合成手段１３０は、複数の素材音響信号から、それぞれ抽出した付加情報を合成して合成付加情報を作成する機能を有している。音響信号変更手段１４０は、変更パラメータ設定手段１２０により設定された変更パラメータに従って、素材音響信号を変更する機能を有している。音響信号合成手段１５０は、複数の素材音響信号を合成して合成音響信号を作成する機能を有している。合成付加情報埋め込み手段１６０は、付加情報合成手段１３０が作成した合成付加情報を、音響信号合成手段１５０が作成した合成音響信号に埋め込み、埋め込み合成音響信号を作成する機能を有している。埋め込み合成音響信号記憶部１７０は、合成付加情報埋め込み手段１６０により作成された埋め込み合成音響信号を記憶する記憶手段である。図６に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。

（２．１．付加情報抽出手段の詳細）
ここで、付加情報抽出手段１１０の詳細について説明する。図７は、付加情報抽出手段１１０の詳細を示す構成図である。図７において、１１１は音響フレーム獲得手段、１１２は周波数変換手段、１１３はチャンネル間比率符号化手段、１１４は付加情報認識手段である。

音響フレーム獲得手段１１１は、入力されたデジタルのステレオ音響信号の各チャンネルから所定数のサンプルを１フレームとして読み込む機能を有している。したがって、図１に示した音響フレーム読込手段１０と同様の処理を行うものであるが、隣接する音響フレームと重複させるサンプルの数が音響フレーム読込手段１０とは異なっている。周波数変換手段１１２は、図１に示した周波数変換手段２０と同様の機能を有している。チャンネル間比率符号化手段１１３は、生成された複数のフレームスペクトルから所定の周波数以下に相当する各低周波強度データを抽出し、左右各チャンネルごとに各低周波強度データの総和値を算出し、その総和値のチャンネル間比率に基づいて、所定の符号を出力する機能を有している。付加情報認識手段１１４は、チャンネル間比率符号化手段１１３により出力された符号の集合である３値配列を、所定の規則により変換して意味のある付加情報として認識する機能を有している。

（２．２．合成付加情報埋め込み手段の詳細）
合成付加情報埋め込み手段１６０の詳細について説明する。図８は、合成付加情報埋め込み手段１６０の詳細を示す構成図である。図８において、１６１は音響フレーム読込手段、１６２は合成付加情報読込手段、１６３は周波数変換手段、１６４は低周波成分変更手段、１６５は周波数逆変換手段、１６６は改変音響フレーム出力手段である。

音響フレーム読込手段１６１は、合成音響信号の各チャンネルから所定数のサンプルを１フレームとして読み込む機能を有している。したがって、処理対象が素材音響信号であるか合成音響信号であるかの違いはあるが、図１に示した音響フレーム読込手段１０と同様の処理を行うものである。合成付加情報読込手段１６２は、付加情報合成手段により作成された合成付加情報を読み込む機能を有している。したがって、読み込み対象が付加情報であるか合成付加情報であるかの違いはあるが、図１に示した付加情報読込手段７０と同様の処理を行うものである。周波数変換手段１６３は、図１に示した周波数変換手段２０と同様の機能を有している。低周波成分変更手段１６４は、図１に示した低周波成分変更手段３０と同様、生成された複数のフレームスペクトルから所定の周波数以下に相当する各低周波強度データを抽出し、読み込んだ合成付加情報に基づいて、チャンネル間で対応する低周波強度データのチャンネル間比率を変更する機能を有している。周波数逆変換手段１６５は、図１に示した周波数逆変換手段４０と同様、変更された低周波強度データを含む複数のフレームスペクトルに対して周波数逆変換を行うことにより、複数の改変音響フレームを生成する機能を有している。改変音響フレーム出力手段１６６は、図１に示した改変音響フレーム出力手段５０と同様、生成された改変音響フレームを順次出力する機能を有している。

（２．３．合成装置の処理動作）
次に、図６に示した音響信号の合成装置の処理動作について説明する。まず、付加情報抽出手段１１０が、合成対象とする複数の素材音響信号を、素材音響信号記憶部１００から読み込む。すると、付加情報抽出手段１１０が各素材音響信号から付加情報を抽出する。この付加情報抽出手段１１０における処理について、図９のフローチャートに従って説明する。

上述のように、付加情報抽出手段１１０は、図７に示したような構成となっている。まず、音響フレーム獲得手段１１１が、読み込んだステレオ音響信号の各チャンネルから、それぞれ所定数のサンプルを１音響フレームとして読み込む（Ｓ３１０）。音響フレーム獲得手段１１１が読み込む１音響フレームのサンプル数は、図１に示した音響フレーム読込手段１０で設定されたものと同一にする必要がある。したがって、本実施形態の場合、音響フレーム獲得手段１１１は、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次音響フレームとして読み込んでいくことになる。

続いて、周波数変換手段１１２、チャンネル間比率符号化手段１１３が、読み込んだ各音響フレームから、埋め込まれている情報を判定し、対応する符号を出力する（Ｓ３２０）。出力される情報の形式は、埋め込み側のビット値に対応する２値、および区切りとして入力された値の３値の形式となる。このＳ３２０における処理については後述する。

Ｓ３２０による処理の結果、ビット値に相当する符号が抽出された場合には、そのビット値をバッファに保存する（Ｓ３３０）。続いて、ビットカウンタをカウントアップする（Ｓ３４０）。そして、ビットカウンタが８ビット以上であるかどうかを判断する（Ｓ３５０）。その結果、ビットカウンタが８ビット以上である場合には、１バイト分のビット値がバッファに格納されていることになるので、バッファ内の１バイト分のデータを、付加情報認識手段１４０が出力する（Ｓ３６０）。一方、Ｓ３２０による処理の結果、区切り情報に対応する値が出力された場合には、ビットカウンタを０に初期化する（Ｓ３７０）。図９に示す処理を各音響フレームに対して実行することにより、付加情報が認識され、素材音響信号から抽出されることになる。Ｓ３１０において全ての音響フレームが抽出されたと判断された場合には、処理を終了する。

続いて、上記Ｓ３２０の符号判定処理の詳細を図１０のフローチャートに従って説明する。まず、周波数変換手段１１２が、読み込んだ各音響フレームに対して、周波数変換を行ってフレームスペクトルを得る（Ｓ３２１）。この処理は、図１に示した周波数変換手段２０における処理と同様である。したがって、本実施形態では、上記〔数式１〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。この際、音響信号ｘｌ（ｉ）、ｘｒ（ｉ）には、それぞれＷ（ｉ）＝０．５−０．５・ｃｏｓ（２πｉ／Ｎ）で表現される窓関数（ハニング窓）を重みとして乗じる処理も、周波数変換手段２０と同様に行われる。

上記周波数変換手段１１２における処理により、周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、チャンネル間比率符号化手段１１３は、生成された複数のフレームスペクトルから所定の周波数範囲の各低周波強度データを抽出する。抽出すべき周波数範囲は、埋め込み装置と対応させる必要がある。したがって、ここでは、周波数が２００Ｈｚ以下の低周波強度データを抽出することになり、埋め込み装置の場合と同様、上記〔数式１〕により算出された実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）のうち、ｊ≦２０のものを抽出する。

続いて、チャンネル間比率符号化手段１１３は、埋め込み装置の低周波成分変更手段３０と同様、抽出した実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を利用して、上記〔数式２〕によりｊ＝１〜Ｍ（例えば２０）までの低周波強度の合計値Ｅを算出する。さらに、低周波成分変更手段３０と同様、この合算値Ｅがレベル下限値以上であるかどうかの判定を行う（Ｓ３２２）。

合算値Ｅがレベル下限以上である場合、以下の〔数式８〕に従った処理を実行する。

〔数式８〕
Ｅｌ＝Ｃｌ・Σ_j=1,…,M｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²｝
Ｅｒ＝Ｃｒ・Σ_j=1,…,M｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝

上記〔数式８〕において、Ｃｌ、Ｃｒはキャリブレーションデータを用いた補正係数であり、抽出装置の利用環境に応じて設定されるが、本実施形態では、共にＣｌ＝Ｃｒ＝１と設定してある。さらに、チャンネル間比率符号化手段１１３は、上記算出されたＥｌ、Ｅｒの比較判定を以下の〔数式９〕に従って行い（Ｓ３２３）、比較結果に対応する符号を出力する。

〔数式９〕
Ｅｒ／Ｅｌ＞２の場合、右チャンネル大
Ｅｌ／Ｅｒ＞２の場合、左チャンネル大
Ｅｒ／Ｅｌ≦２かつＥｌ／Ｅｒ≦２の場合、左右均等

チャンネル間比率符号化手段１１３は、各音響フレーム単位で、上記判定結果に応じて３値の符号を出力する。すなわち、右チャンネル大と判定した場合には、第１のビット値（例えば“１”）を出力し（Ｓ３２４）、左チャンネル大と判定した場合には、第２のビット値（例えば“０”）を出力し（Ｓ３２５）、左右均等と判定した場合には、区切り情報を示す符号を出力する（Ｓ３２６）。

上記Ｓ３６０の処理において、付加情報認識手段１１４は、まず、チャンネル間比率符号化手段１１３により出力された３値の符号のうち、左右均等を示す符号を区切り位置として、その次の符号を先頭とし、右チャンネル大、左チャンネル大の符号をビット値に対応させて、ビット配列を作成する。続いて、このビット配列を、所定の規則により変換して意味のある付加情報として認識する。所定の規則としては、情報を埋め込む者が意図した情報が受け取った者に認識可能な状態とできるものであれば、さまざまな規則が適用できるが、本実施形態では、文字情報として認識するための規則としている。すなわち、付加情報認識手段１４０は、チャンネル間比率符号化手段１１３から出力される符号を１バイト（８ビット）単位で認識し、これを設定されたコード体系に従って文字情報を認識する。このようにして得られた文字情報は、付加情報として抽出されることになる。

図６に示した付加情報抽出手段１１０が、読み込んだ素材音響信号から付加情報を抽出したら、付加情報合成手段１３０は、各素材音響信号から抽出した付加情報を合成する。これは、各付加情報間に、付加情報全体の区切りを示す情報を挿入して、連続して記録することにより行う。

一方、変更パラメータ設定手段１２０からは、各素材音響信号に対する変更パラメータが設定される。変更パラメータとしては、音量、定位等に関する情報が設定されることになる。この変更パラメータは、従来のミキシングに用いられているものと同様である。

続いて、音響信号変更手段１４０は、変更パラメータ設定手段１２０により設定された変更パラメータに従って素材音響信号を変化させる。これも従来のミキシングにおける処理と同様である。

次に、音響信号合成手段１５０が、変更後の複数の素材音響信号を合成する。これも従来のミキシングにおける処理と同様である。

続いて、合成付加情報埋め込み手段１６０が、付加情報合成手段１２０が作成した合成付加情報を、音響信号合成手段１５０が作成した合成音響信号に埋め込む処理を行う。合成付加情報埋め込み手段１６０による合成付加情報の埋め込み処理は、図１に示した装置により付加情報を素材音響信号に埋め込む場合と同様に行う。したがって、図２または図４に示したフローチャートに従った処理を実行することになる。この結果、合成付加情報が埋め込まれた埋め込み合成音響信号が得られることになる。

図９のフローチャートは、素材音響信号への埋め込みの際、付加情報をバイト単位で記録したものに対応している。埋め込み側で付加情報をワード単位で記録している場合には、図１１のフローチャートに従った処理を行うことになる。まず、図９のＳ３１０と同様、音響フレーム獲得手段１１１が、ステレオの素材音響信号の各チャンネルから、それぞれ所定数のサンプルを１音響フレームとして読み込む（Ｓ４０１）。

続いて、図９のＳ３１０と同様、周波数変換手段１１２、チャンネル間比率符号化手段１１３が、読み込んだ各音響フレームから、埋め込まれている情報を判定し、対応する符号を出力する（Ｓ４０２）。このＳ４０２における処理の詳細は、図１０に示したようなものとなる。

Ｓ４０２による処理の結果、ビット値に相当する符号が抽出された場合には、モードの判定を行う（Ｓ４０３）。モードは、区切りモードとビット出力モードの２つが用意されている。ビット出力モードである場合は、そのビット値をバッファに保存する（Ｓ４０８）。続いて、ビットカウンタをカウントアップする（Ｓ４０９）。一方、Ｓ４０３による判定の結果、区切りモードである場合には、さらに抽出された符号が、新規を意味するものか継続を意味するものかを判定する（Ｓ４０４）。この結果、新規である場合には、その直前で１ワードが終了していることを意味するので、バッファに記録された１ワード分のデータを、付加情報認識手段１１４が出力する（Ｓ４０５）。そして、ビットカウンタを０に初期化する（Ｓ４０６）。さらに、モードをビット出力モードに設定する（Ｓ４０７）。Ｓ４０４において、継続と判定された場合には、バッファ内のビットに値を出力すべきであるので、ビット出力モードに設定する処理のみを行う。また、Ｓ４０２において、区切り情報に相当する符号が抽出された場合には、次の音響フレームから新規か継続かの情報を抽出するため、モードを区切りモードに設定する（Ｓ４１０）。図１１に示す処理を各音響フレームに対して実行することにより、付加情報が抽出されることになる。Ｓ４０１において全ての音響フレームが抽出されたと判断された場合には、処理を終了する。

なお、図６に示した装置では、付加情報が埋め込まれていない素材音響信号も合成することが可能である。すなわち、付加情報が埋め込まれている素材音響信号と、付加情報が埋め込まれていない素材音響信号を合成することが可能である。付加情報が埋め込まれていない素材音響信号を合成する場合は、その素材音響信号についての付加情報を、別途付加情報入力手段（図示省略）から入力する。この付加情報入力手段としては、例えば、文字入力可能なキーボード等が利用できる。そして、入力された付加情報は、付加情報抽出手段１１０により抽出された他の付加情報と、付加情報合成手段１２０において合成されることになる。また、素材音響信号については、音響信号変更手段１４０で処理された後、他の素材音響信号と、音響信号合成手段１５０において合成されることになる。

（３．音響信号の合成装置：第２の実施形態）
続いて、第２の実施形態について説明する。図１２は、本発明第２の実施形態に係る音響信号の合成装置の構成を示す機能ブロック図である。図１２において、１００は素材音響信号記憶部、１２０は変更パラメータ設定手段、１７０は埋め込み合成音響信号記憶部、２００は信号分離手段、２１０は低周波成分合成手段、２２０は高周波成分合成手段、２３０は信号統合手段である。

素材音響信号記憶部１００は、図６に示したものと同様、合成対象とする音響信号である素材音響信号を記憶した記憶手段であり、記憶されている素材音響信号も第１の実施形態におけるものと同様である。変更パラメータ設定手段１２０も、図６に示した第１の実施形態におけるものと同様である。埋め込み合成音響信号記憶部１７０も、図６に示した第１の実施形態におけるものと同様、付加情報の埋め込みが行われ合成音響信号を記憶する記憶手段である。信号分離手段２００は、素材音響信号記憶部１００から読み込んだ各素材音響信号の高周波成分と低周波成分を分離する機能を有している。低周波成分合成手段２１０は、信号分離手段２００により分離された各素材音響信号の低周波成分を合成する機能を有している。高周波成分合成手段２２０は、信号分離手段２００により分離された各素材音響信号の高周波成分を合成する機能を有している。信号統合手段２３０は、低周波成分合成手段２１０により合成された低周波成分と、高周波成分合成手段２２０により合成された高周波成分を統合して、埋め込み合成音響信号を作成する機能を有している。図１２に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。

（３．２．合成装置の処理動作）
次に、図１２に示した音響信号の合成装置の処理動作について図１３のフローチャートを用いて説明する。まず、信号分離手段２００が、合成対象とする複数の素材音響信号を、素材音響信号記憶部１００から読み込む。読み込みは、具体的には、第１の実施形態と同様、所定数のサンプルで構成される音響フレーム単位で行うことになる（Ｓ５０１）。続いて、信号分離手段２００は、読み込んだ各音響フレームに対して周波数変換を行う。これは、上記周波数変換手段２０と同様、上記〔数式１〕に従った処理により実現される。周波数変換によりフレームスペクトルが得られる。このうち、上記のように、２００Ｈｚ未満（ｊ≦２０）に相当する成分が、低周波成分合成手段２１０に渡され、２００Ｈｚ以上（ｊ≧２１）に相当する成分が、高周波成分合成手段２２０に渡される。

低周波成分合成手段２１０では、まず、低周波成分を各周波数成分ごとに加算合成する。具体的には、上記〔数式１〕に従った周波数変換処理により得られた各素材信号のＡｌ（ｊ）同士、Ｂｌ（ｊ）同士、Ａｒ（ｊ）同士、Ｂｒ（ｊ）同士を、各ｊごとに加算する（Ｓ５０２）。なお、この際、変更パラメータ設定手段１２０により変更パラメータが設定されている場合は、設定されている変更パラメータに従って各Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）を変更した後、加算処理を行う。続いて、合成された低周波成分の左右比率を、反映させるべく設定されている素材音響信号に合わせる。具体的には、設定されている音響信号について、上記Ｓ５０１における〔数式１〕に従った処理の結果得られる低周波成分Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）を用いて左右の強度比率を算出し、上記Ｓ５０２で算出された信号の左右比率が、設定されている音響信号の左右比率となるように合わせる処理を行う（Ｓ５０３）。

一方、高周波成分合成手段２２０では、高周波成分を各周波数成分ごとに加算合成する（Ｓ５０４）。なお、この場合も、変更パラメータ設定手段１２０により変更パラメータが設定されている場合は、設定されている変更パラメータに従って各Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）を変更した後、加算処理を行う。

続いて、信号統合手段２３０は、低周波成分合成手段２１０により合成された低周波成分と、高周波成分合成手段２２０により合成された高周波成分を周波数逆変換により統合する処理を行う（Ｓ５０５）。具体的には、上記Ｓ５０３、Ｓ５０４による処理後の各周波数成分各Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）に対して上記〔数式６〕または〔数式７〕に従った処理を行うことにより、ｘｌ´（ｉ）、ｘｒ´（ｉ）を算出する。

所定数の音響フレームに対する処理が終わったら、Ｓ５０３において低周波成分に反映させる素材音響信号を設定する（Ｓ５０６）。所定ビット数の付加情報を埋め込む場合、最低、そのビット数に対応した数の音響フレームがあれば良いが、抽出時には、付加情報の先頭から読み込めるとは限らないので、その分余裕をみておく必要がある。したがって、埋め込むべき付加情報の倍程度に渡って、埋め込んでおく必要がある。そこで、各素材音響信号について埋め込みに必要な音響フレーム数を事前に設定しておき、Ｓ５０６では、各音響信号について設定された音響フレーム数に達したら、反映させるべき音響信号を切り替える設定を行う。

上記Ｓ５０２、Ｓ５０３の処理は複雑であり、わかりづらいため、ここで、Ｓ５０２、Ｓ５０３の処理を図１４を用いて概念的に説明する。なお、図１４（ａ）〜（ｄ）において、左右方向の実線は時間軸であり、縦方向の破線が１音響フレーム分に相当する。また、波形の振幅は、上記〔数式８〕に基づいて得られるＥｌおよびＥｒに対応している。ここでは、２つの素材音響信号を合成する場合を想定し、各音響信号についてＳ５０１の処理により得られた低周波成分を波形で示した状態を図１４（ａ）（ｂ）に示す。図１４（ａ）（ｂ）に示す素材信号波形は左から順に１番目から３番目の音響フレームと、４番目から６番目の音響フレームについて同じパターンが繰り返されている。これは、同じビット列が繰り返し埋め込まれていることを示している。

図１４（ａ）（ｂ）に示したような波形に対して、Ｓ５０２においては、単純に加算される。この結果、図１４（ｃ）に示すような波形が得られることになる。そして、Ｓ５０３において、図１４（ｃ）に示したような波形に対して、左右比率の調整を行う。この際、設定されている素材音響信号に合わせることになるが、図１４の例では、１番目から３番目の音響フレームは図１４（ａ）の素材音響信号、４番目から６番目の音響フレームは図１４（ｂ）の素材音響信号に合わせていることがわかる。

（４．合成装置の具体的構成）
ここで、ハードウェアの観点から見た合成装置の具体的構成について説明する。図１６は、本発明に係る音響信号の合成装置の具体的構成を示す図である。図１６は、上記第１の実施形態、第２の実施形態に共通の構成となっている。図１６において、ＲＡＩＤディスクアレイ装置は、必要な情報を記憶するための記憶装置であり、素材音響信号記憶部および埋め込み合成音響信号記憶部１７０を実現するものである。ミキシングコンソールは、複数の音楽素材の合成（ミックスダウンまたはトラックダウン）を行うための装置であり、合成条件パラメータ等のミックスダウン環境を設定することができる。

制御用コンピュータは、第１の実施形態における付加情報抽出手段１１０、付加情報合成手段１３０、音響信号変更手段１４０、音響信号合成手段１５０、合成付加情報埋め込み手段１６０、および第２の実施形態における信号分離手段２００、低周波成分合成手段２１０、高周波成分合成手段２２０、信号統合手段２３０としての機能を実現するためのものであり、これらの機能は、専用のプログラムを制御用コンピュータが実行することにより実現される。なお、変更パラメータ設定手段１２０は、ミキシングコンソール内において条件パラメータを設定する部分、および、設定された条件パラメータを、制御用コンピュータ内において変更パラメータに変換する部分により実現される。

ミキシング信号処理プロセッサは、複数の素材音響信号を合成すると共にアナログ変換を行う専用プロセッサである。このミキシング信号処理プロセッサは、本発明において得られる埋め込み合成音響信号をアナログ変換して出力する機能を有している。なお、このような合成環境においては、音響信号の中でも音楽のみを記録した音楽信号が用いられる。

（５．検索装置の構成）
次に、本発明に係る音響信号の検索装置について説明する。本発明の検索装置は、上記のようにして得られた合成音響信号を用いて、元の素材音響信号を検索する場合に用いられる。例えば、合成音響信号として得られた楽曲について、元の素材としてどの楽曲データが用いられていたかを知りたい場合に用いられることになる。本発明の音響信号の検索装置の構成を図１５に示す。図１５において、３００は素材音響信号記憶手段、３１０は合成付加情報抽出手段、３２０は付加情報分離手段、３３０は音響信号検索手段である。図１５に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。

素材音響信号記憶手段３００は、素材音響信号をその素材音響信号を特定するためのＩＤと対応付けて記録したものであり、素材音響信号データベースとしても役割を果たすものである。合成付加情報抽出手段３１０は、合成音響信号から合成付加情報を抽出する機能を有するものであり、詳細には、図６に示した付加情報抽出手段１１０と同様、図７に示したような構成となっている。すなわち、音響フレーム獲得手段１１１、周波数変換手段１１２、チャンネル間比率符号化手段１１３、付加情報認識手段１１４により構成されている。付加情報分離手段３２０は、合成付加情報抽出手段３１０が合成音響信号から抽出した合成付加情報を元の個々の付加情報に分離する機能を有している。音響信号検索手段３３０は、分離された個々の付加情報を用いて、素材音響信号記憶手段３００に記憶された素材音響信号を検索する機能を有している。

（５．２．検索装置の処理動作）
続いて、図１５に示した検索装置の処理動作について説明する。まず、対象とする合成音響信号を読み込ませると、合成付加情報抽出手段３１０が、合成音響信号に埋め込まれている合成付加情報を抽出する。具体的には、上記図９または図１１のフローチャートに従った処理を実行することにより合成付加情報が得られる。

続いて、付加情報分離手段３２０が、抽出された合成付加情報を元の複数の付加情報に分離する。ここで、図６に示される第１の実施形態に基づく埋め込みが行なわれている場合、前述した通り、付加情報合成手段１３０が個々の素材音響信号の付加情報間に区切り符号を挿入するようにしているため、当該区切り符号を手がかりに容易に分離することができる。しかし、図１２に示される第２の実施形態に基づく埋め込みが行なわれている場合、設定したフレーム数単位に個々の素材音響信号に対応する付加情報が埋め込まれている可能性があるだけで、付加情報を構成するワードを構成する途中のビットから埋め込まれる可能性があり、それらが明瞭に識別できるように埋め込まれていない。そのため、個々の素材音響信号の付加情報の符号配列の先頭にユニークなヘッダワードを設定し、区切り符号無しでもヘッダワードだけで個々の付加情報を識別分離できるようにする工夫が付加情報の符号仕様を設計する上で必要である。このようにして、いずれの実施形態においても、抽出された合成付加情報から元の複数の付加情報に分離することができる。そして、分離した個々の付加情報を用いて、音響信号検索手段３３０が、素材音響信号記憶手段３００を検索し、該当する素材音響信号を抽出する。以上のようにして、合成音響信号を、音響信号の検索装置に入力するだけで、元の素材音響信号を得ることが可能になる。

なお、付加情報として素材音響信号ＩＤだけでなく変更パラメータも埋め込んでいた場合には、付加情報分離手段３２０は、付加情報の分離と同時に変更パラメータの抽出も行う。これにより、合成の際に、変更パラメータ設定手段により設定された音量・定位等の変更パラメータが得られることになる。

素材音響信号に付加情報を埋め込む装置の構成を示す機能ブロック図である。 図１に示した装置の処理概要を示すフローチャートである。 図２に従った処理による低周波成分の変化の様子を示すである。 図１に示した装置の他の手法による処理概要を示すフローチャートである。 図４に従った処理による低周波成分の変化の様子を示すである。 本発明第１の実施形態に係る音響信号の合成装置の構成を示す機能ブロック図である。 図６に示した付加情報抽出手段１１０の詳細を示す構成図である。 図６に示した合成付加情報埋め込み手段１６０の詳細を示す構成図である。 図６に示した装置の処理概要を示すフローチャートである。 図９のＳ３２０の符号出力処理の詳細を示すフローチャートである。 図６に示した装置の他の手法による処理概要を示すフローチャートである。 本発明第２の実施形態に係る音響信号の合成装置の構成を示す機能ブロック図である。 図１２に示した装置の処理概要を示すフローチャートである。 図１３のＳ５０２、Ｓ５０３の処理を概念的に示した図である。 本発明に係る音響信号の検索装置の構成を示す図である。 本発明に係る音響信号の合成装置の具体的構成を示す図である。

符号の説明

１０・・・音響フレーム読込手段
２０・・・周波数変換手段
３０・・・低周波成分変更手段
４０・・・周波数逆変換手段
５０・・・改変音響フレーム出力手段
６０・・・記憶手段
６１・・・音響信号記憶部
６２・・・付加情報記憶部
６３・・・改変音響信号記憶部
７０・・・付加情報読込手段
１００・・・素材音響信号記憶部
１１０・・・付加情報抽出手段
１１１・・・音響フレーム獲得手段
１１２・・・周波数変換手段
１１３・・・チャンネル間比率符号化手段
１１４・・・付加情報認識手段
１２０・・・変更パラメータ設定手段
１３０・・・付加情報合成手段
１４０・・・音響信号変更手段
１５０・・・音響信号合成手段
１６０・・・合成付加情報埋め込み手段
１６１・・・音響フレーム読込手段
１６２・・・合成付加情報読込手段
１６３・・・周波数変換手段
１６４・・・低周波成分変更手段
１６５・・・周波数逆変換手段
１６６・・・改変音響フレーム出力手段
１７０・・・埋め込み合成音響信号記憶部
２００・・・信号分離手段
２１０・・・低周波成分合成手段
２２０・・・高周波成分合成手段
２３０・・・信号統合手段
３００・・・素材音響信号記憶手段
３１０・・・合成付加情報抽出手段
３２０・・・付加情報分離手段
３３０・・・音響信号検索手段

Claims (7)

1. 聴取不能な状態で付加情報が埋め込まれた素材音響信号を複数合成して、元の付加情報が全て埋め込まれた合成音響信号を作成する装置であって、
   前記各素材音響信号から付加情報を抽出する付加情報抽出手段と、
   前記抽出された付加情報を合成して合成付加情報を作成する付加情報合成手段と、
   前記素材音響信号を指示された変更パラメータに従って変更する音響信号変更手段と、
   前記変更された素材音響信号を含めた複数の素材音響信号を合成して合成音響信号を作成する音響信号合成手段と、
   前記合成音響信号に対して、前記付加情報合成手段により作成された合成付加情報を埋め込み、埋め込み合成音響信号を作成する合成付加情報埋め込み手段と、
   を有することを特徴とする音響信号の合成装置。
2. 請求項１において、
   前記素材音響信号が２つのチャンネルで構成され、
   前記付加情報抽出手段は、
   前記素材音響信号より、所定数のサンプルで構成される音響フレームを、各チャンネルに対応して獲得する音響フレーム獲得手段と、
   前記獲得した各音響フレームに対して周波数変換を行い、前記各チャンネルに対応するフレームスペクトルを生成する周波数変換手段と、
   前記生成されたチャンネルごとのフレームスペクトルから所定の周波数以下の成分に相当する低周波強度データを抽出し、各チャンネルごとに各低周波強度データの総和値を算出し、当該総和値のチャンネル間比率が左チャンネル優位の場合、第１の値を出力し、総和値のチャンネル間比率が右チャンネル優位の場合、第２の値を出力し、前記比率がいずれが優位か判断できない場合、第３の値を出力するチャンネル間比率符号化手段と、
   前記出力された符号のうち、前記第１の値と第２の値の２値の符号により構成されるビット配列を、所定の規則により変換して付加情報を抽出する付加情報抽出手段を有するものであることを特徴とする音響信号の合成装置。
3. 請求項１において、
   前記合成音響信号が２つのチャンネルで構成され、
   前記合成付加情報埋め込み手段は、
   前記合成音響信号の各チャンネルより、それぞれ所定数のサンプルを音響フレームとして読み込む音響フレーム読込手段と、
   前記合成付加情報のビット配列を順次読み込む合成付加情報読み込み手段と、
   前記読み込んだ各音響フレームに対して周波数変換を行い、前記各チャンネルに対応するフレームスペクトルを生成する周波数変換手段と、
   前記生成されたフレームスペクトルから所定の周波数以下の成分に相当する低周波強度データを抽出し、前記読み込んだ合成付加情報のビット配列の各ビット値がとり得る値、および合成付加情報のビット配列の区切りを示す情報に基づいて、チャンネル間で対応する前記低周波強度データのチャンネル間比率を、左チャンネルを大、右チャンネルを大、左右均等の３パターンのいずれかに変更する低周波成分変更手段と、
   前記変更された低周波成分を含む前記複数のフレームスペクトルに対して周波数逆変換を行い、複数の改変音響フレームを生成する周波数逆変換手段と、
   前記生成された改変音響フレームを順次出力する改変音響フレーム出力手段と、
   を有することを特徴とする音響信号の合成装置。
4. 請求項１において、
   さらに、前記付加情報を、付加情報が埋め込まれていない素材音響信号と対応付けて直接入力する付加情報入力手段を有することを特徴とする音響信号の合成装置。
5. 請求項１において、
   前記付加情報合成手段は、前記変更パラメータを付加して、付加情報を合成するものであることを特徴とする音響信号の合成装置。
6. 聴取不能な状態で低周波成分に付加情報が埋め込まれた素材音響信号を複数合成して、元の付加情報が全て埋め込まれた合成音響信号を作成する装置であって、
   前記各素材音響信号の低周波成分を抽出し、各素材音響信号の低周波成分を所定の時間単位で配置して合成する低周波成分合成手段と、
   前記各素材音響信号の高周波成分を抽出し、合成を行う高周波成分合成手段と、
   前記合成後の低周波成分および前記合成後の高周波成分を統合する統合手段と、
   を有することを特徴とする音響信号の合成装置。
7. 聴取不能な状態で付加情報が埋め込まれた素材音響信号を基に作成した、複数の素材音響信号に対応した付加情報が埋め込まれた合成音響信号を利用して、素材音響信号を検索する装置であって、
   前記素材音響信号を記憶した素材音響信号記憶手段と、
   前記合成音響信号から、埋め込まれている合成付加情報を抽出する合成付加情報抽出手段と、
   前記合成付加情報を元の付加情報に分離する付加情報分離手段と、
   前記分離された付加情報に基づいて、前記素材音響信号記憶手段を検索する音響信号検索手段と、
   を有することを特徴とする音響信号の検索装置。
   
   

Images