JP2006323161A

JP2006323161A - 音響信号への制御コード埋込装置、および音響信号を用いた時系列駆動装置の制御システム

Info

Publication number: JP2006323161A
Application number: JP2005146579A
Authority: JP
Inventors: Toshio Motegi; 敏雄茂出木
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2005-05-19
Filing date: 2005-05-19
Publication date: 2006-11-30
Anticipated expiration: 2025-05-19
Also published as: JP4780375B2

Abstract

【課題】既存の音響信号再生装置および制御対象の時系列駆動装置に対して大きな改造を加えずに、標準で装備されている入出力インターフェースを利用して、音響信号の再生に従って機器の制御を行うことが可能な音響信号を用いた機器制御システムを提供する。
【解決手段】制御コードが埋め込まれた音響信号を、音響信号再生装置４により再生すると、Ｌスピーカ５から音が出力される。Ｌスピーカ５から出力された音をマイクロフォン２において取得すると、抽出装置コンピュータ１が、音響信号に埋め込まれた制御コードを抽出し、抽出した制御コードを映像・音楽プレーヤ３に送信する。映像・音楽プレーヤ３は制御コードに従って映像や音楽を再生する。
【選択図】図１

Description

本発明は、ＣＤ・ＤＶＤ等を用いた民生・業務用途における鑑賞用のパッケージ音楽分野、放送事業者等が商業目的で配信する放送・ネットワーク音楽配信分野において、音楽コンテンツに同期させて、音楽プレーヤ、照明器具、ビデオ映像、ロボット等の他の機器を制御する技術に関する。

音楽コンテンツ（音響信号）に同期させて別の音楽プレーヤを演奏させたり、照明器具やビデオ映像などの環境を変化させたり、花火や玩具やロボットなどの移動体を制御するという技術が提案されている（例えば、特許文献１〜３参照）。

特許文献１に記載の発明は、音響信号の振幅・周波数などの音響特徴に合わせて証明のオン・オフや照度・照明の色を制御するというものである。また、特許文献２に記載の発明は、音楽や映像などの時系列信号と並列に同期させた制御用信号を設計し、別のマルチメディアプレーヤを同期再生したり、照明機器等の種々の装置を制御するというものである。また、特許文献３に記載の発明は、音楽の時系列信号と並列に同期させたオーディオ娯楽信号を設計し、ぬいぐるみ、ロボットなど可動物体を無線でコントロールするというものである。
特表２００４−５０１４９７号公報特開２００５−６０３７号公報特表２００２−５１１７８３号公報

しかしながら、上記特許文献１に記載の手法では、音響信号の特徴に基づいて制御を行うため、自由度が少なく、意図するような制御は難しいという問題がある。また、上記特許文献２、特許文献３に記載の手法では、自由度が高く、意図するような制御を行うことが可能であるが、本来のコンテンツ自体である映像信号や音響信号を記録したチャンネル以外に制御チャンネルを準備し、制御対象の機器に何らかの手段で制御情報を伝送する必要がある。この際、制御情報を伝送するためのインターフェースを音響信号等の再生装置側および制御対象機器側の双方に設けなければならず、特に、非接触で制御する場合、電波・赤外線・超音波などの無線送受信手段を設けなければならず、装置の大改造につながり、汎用性がなく、高コストになるという問題がある。

そこで、本発明は、既存の音響信号再生装置および制御対象機器に対して大きな改造を加えずに、標準で装備されている入出力インターフェースを利用して、音響信号の再生に従って機器の制御を行うことが可能な音響信号を用いた機器制御システムを提供することを課題とする。

上記課題を解決するため、本発明では、あらかじめ聴取不能な状態で制御コードが埋め込まれた音響信号から、制御コードを抽出して、時系列駆動装置の制御を行うシステムであって、前記制御コードが埋め込まれた音響信号を再生するための音響信号再生手段と、前記音響信号再生手段により再生されている音響信号に対して、所定の信号区間を音響入力して、前記音響信号に埋め込まれている制御コードを抽出するコード抽出手段と、前記コード抽出手段により抽出された制御コードを前記時系列駆動装置に送出して、前記時系列駆動装置に所定の作用を施す時系列駆動装置制御手段を有する音響信号を用いた時系列駆動装置の制御システムを提供する。

本発明によれば、機器を制御するための制御コードを、聴取不能な状態で音響信号に埋め込んでおき、この音響信号を再生した状態において、音響信号から制御コードを抽出し、時系列駆動装置の制御を行うようにしたので、既存の音響信号再生装置および時系列駆動装置に対して大きな改造を加えずに、標準で装備されている入出力インターフェースを利用して、音響信号の再生に従って時系列駆動装置の制御を行うことが可能となるという効果を奏する。

以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．本発明による時系列駆動装置の制御の概念）
まず、本発明による、音響信号を用いた時系列駆動装置の制御の基本的概念について説明する。図１に本発明による時系列駆動装置の制御システムの基本構成を示す。図１において、１は抽出装置コンピュータ、２はマイクロフォン、３は映像・音楽プレーヤ、４は音響信号再生装置、５はＬスピーカである。ここで、時系列駆動装置とは、時系列に従って駆動される装置であって、音楽プレーヤ、照明器具、ビデオ映像プレーヤ、ロボット等様々な機器が該当する。図１の例では、映像・音楽プレーヤ３が時系列駆動装置に該当する。本発明では、あらかじめ制御コードを埋め込んだ音響信号を、音響信号再生装置４で再生し、再生される音楽をマイクロフォン２で取得し、取得した音響信号から抽出装置コンピュータ１が制御コードを抽出し、この制御コードに従って映像・音楽プレーヤ３を制御する。これにより、その場にいる人は、音響信号再生装置４から再生される音楽と、映像・音楽プレーヤ３から再生される映像・音楽等を同期して楽しむことが可能となる。なお、音響信号再生装置４、Ｌスピーカ５は、通常のオーディオシステムと何ら異なるものではなく、再生される音響信号に制御コードが埋め込まれているという特徴を有するものである。

（２．音響信号への制御コードの埋め込み）
まず、上記音響信号再生装置４において再生するための、制御コードを埋め込んだ音響信号を準備する必要がある。そのため、音響信号に制御コードを埋め込む処理を行う。音響信号は、図１に示したような状態で音響信号再生装置４から再生され、人が聴くことになるので、制御コードを埋め込んだことにより音響信号が人間の可聴領域まで変化してしまうことは好ましくない。すなわち、制御コードを人間が聴取不能なように音響信号に埋め込む必要がある。音響信号に聴取不能なように情報を埋め込む手法についてもさまざまな技術が提案されており、それらを採用することも可能であるが、本実施形態では、本出願人が、特願２００５−５８８２４号で提案している手法を用いることにする。

（２．１．情報の埋め込み手法）
ここからは、本出願人が特願２００５−５８８２４号において提案している情報の埋め込み（以下、「先願埋込手法」という）の基本的な内容について説明する。図２は、先願埋込手法に対応した音響信号に対する情報の埋め込み装置の構成を示す機能ブロック図である。図２において、１０は音響フレーム読込手段、２０は周波数変換手段、３０は低周波成分変更手段、４０は周波数逆変換手段、５０は改変音響フレーム出力手段、６０は記憶手段、６１は音響信号記憶部、６２は付加情報記憶部、６３は改変音響信号記憶部、７０は付加情報読込手段である。なお、図２に示す装置は、ステレオ音響信号、モノラル音響信号の両方に対応可能であるが、ここでは、ステレオ音響信号に対して処理を行う場合について説明していく。

音響フレーム読込手段１０は、付加情報の埋め込み対象とする元のステレオ音響信号の各チャンネルから所定数のサンプルを１フレームとして読み込む機能を有している。周波数変換手段２０は、音響フレーム読込手段１０が読み込んだ音響信号のフレームをフーリエ変換等により周波数変換してフレームスペクトルを生成する機能を有している。低周波成分変更手段３０は、生成されたフレームスペクトルから２つの所定周波数範囲に相当するスペクトル集合を２セット抽出し、付加情報記憶部６２から抽出した付加情報に基づいて、低周波強度データのスペクトル集合間比率を変更する機能を有している。周波数逆変換手段４０は、変更された低周波強度データを含む複数のフレームスペクトルに対して周波数逆変換を行うことにより、改変音響フレームを生成する機能を有している。改変音響フレーム出力手段５０は、生成された改変音響フレームを順次出力する機能を有している。記憶手段６０は、付加情報を埋め込む対象とするステレオ音響信号を記憶した音響信号記憶部６１と、ビット配列として構成され、ステレオ音響信号に埋め込まれる付加情報を記憶した付加情報記憶部６２と、付加情報埋め込み後の改変音響信号を記憶する改変音響信号記憶部６３を有しており、その他処理に必要な各種情報を記憶するものである。付加情報読込手段７０は、付加情報記憶部６２から付加情報を抽出する機能を有している。なお、付加情報とは、音響情報に付加して埋め込むべき情報であり、本願では時系列駆動装置を制御するための制御コードである。図１に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。

（２．２．埋め込み装置の処理動作）
次に、図２に示した音響信号に対する情報の埋め込み装置の処理動作について図３のフローチャートに従って説明する。ここでは、音響信号として、Ｌ（左）、Ｒ（右）の２チャンネルを有するステレオ音響信号に対して処理を行う場合について説明していく。図３は、付加情報１バイトの処理に対応したものとなっている。まず、付加情報読込手段７０は、付加情報記憶部６２から付加情報を１バイト単位で読み込む（Ｓ１０１）。具体的には、レジスタに１バイト読み込むことになる。続いて、モードを区切りモードに設定する（Ｓ１０２）。モードは区切りモードと、ビットモードの２種類が存在する。区切りモードは１バイト単位の区切りにおける処理を行うモードを示し、ビットモードは１バイトの各ビットの値に基づいた処理を行うモードを示している。付加情報記憶部６２から１バイト読み込んだ場合には、その直後に必ず区切りモードに設定されることになる。

続いて、音響フレーム読込手段１０が、音響信号記憶部６１に記憶されたステレオ音響信号の左右の各チャンネルから、それぞれ所定数のサンプルを１音響フレームとして読み込む（Ｓ１０４）。音響フレーム読込手段１０が読み込む１音響フレームのサンプル数は、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすることが望ましい。したがって、音響フレーム読込手段１０は、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次音響フレームとして読み込んでいくことになる。

続いて、周波数変換手段２０は、読み込んだ各音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ１０５）。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができる。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。フーリエ変換を行う場合、左チャンネル信号ｘｌ（ｉ）、右チャンネル信号ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、以下の〔数式１〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。

〔数式１〕
Ａｌ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）

〔数式１〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。この際、音響信号ｘｌ（ｉ）、ｘｒ（ｉ）には、それぞれＷ（ｉ）＝０．５−０．５・ｃｏｓ（２πｉ／Ｎ）で表現される窓関数（ハニング窓）を重みとして乗じる。このような窓関数は、フーリエ変換を行う際に、周波数成分に波形を分断することにより発生する高周波ノイズを低減するためと、フーリエ逆変換を行う際に解析区間（音響フレームに相当）の間で信号レベルが不連続にならないように連結させるために用いられるものであり、周知の技術である。

上記〔数式１〕に従った処理を実行することにより、各音響フレームの信号成分を周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、低周波成分変更手段３０が、生成されたフレームスペクトルから２つの所定周波数範囲のスペクトル集合を抽出する。人間の聴覚は、２００〜３００Ｈｚ程度までの低周波成分については、方向性を感知しにくくなっていることが知られている（コロナ社１９９０年１０月３０日発行「音響工学講座１．基礎音響工学、日本音響学会編」ｐ２４７図９・２６参照）。したがって、本実施形態では、低周波成分を２００Ｈｚ程度以下とし、さらに、低周波成分を１００Ｈｚ近辺で２つに分け、第１低周波数帯、第２低周波数帯として抽出することにしている。周波数１００Ｈｚ付近、２００Ｈｚ付近は、それぞれ上記ｊが１０、２０に相当するので、上記〔数式１〕により算出された実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）のうち、第１低周波数帯としてｊ≦１０、第２低周波数帯として１１≦ｊ≦２０のものを抽出することになる。

続いて、低周波成分変更手段３０は、抽出した実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）のうち、左チャンネルの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）を利用して、以下の〔数式２〕によりｊ＝１〜Ｍ１までの低周波強度の合算値Ｅ₁、（Ｍ１＋１）〜Ｍ２（例えば、Ｍ１＝１０、Ｍ２＝２０）までの低周波強度の合算値Ｅ₂を算出する。

〔数式２〕
Ｅ₁＝Σ_j=1,…,M1｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²｝
Ｅ₂＝Σ_{j=M1+1,…,M2}｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²｝

上記〔数式２〕により算出されたＥ₁、Ｅ₂は、フレームスペクトルにおける第１低周波数帯、第２低周波数帯のそれそれのスペクトル集合の成分強度の合算値を示すことになる。続いて、この合算値Ｅ₁、Ｅ₂がレベル下限値Ｌｅｖ以上であるかどうかの判定を行う。レベル下限値Ｌｅｖは、音響信号ｘｌ（ｉ）、ｘｒ（ｉ）の振幅最大値が１に正規化されており、Ｍ２＝２０に設定されている場合、２．０に設定する。合算値Ｅ₁、Ｅ₂がレベル下限値Ｌｅｖ以上であるかどうかを判断するのは、信号の強度が小さいと、信号を変化させても、その変化を抽出側で検出することができないためである。したがって、合算値Ｅ₁、Ｅ₂が共にレベル下限値Ｌｅｖ未満である場合は、付加情報のビット値に応じた記録をせず、先頭ビットから再度処理するため、読み込み位置を先頭ビットに戻し、モードを区切りモードに設定する（Ｓ１０６）。一方、合算値Ｅ₁、Ｅ₂がレベル下限値Ｌｅｖ以上である場合には、モードを判断することになる。

低周波成分変更手段３０は、モードが区切りモードである場合、第１低周波数帯と第２低周波数帯で均等（双方０も含む）とする処理を行う（Ｓ１０８）。具体的には、以下の〔数式３〕に従って、Ｌ側の双方を０に設定する処理を実行することになる。この場合、Ｒ側の第１低周波数帯と第２低周波数帯の成分は均等ではない。

〔数式３〕
第１低周波数帯（ｊ＝１〜１０）、第２低周波数帯（ｊ＝１１〜２０）共に
Ｅ（ｊ）＝｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²＋Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ａｌ（ｊ）＝０
Ｂｌ（ｊ）＝０
Ａｒ（ｊ）←Ａｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ｂｒ（ｊ）←Ｂｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2

上記〔数式３〕において、第４式および第５式における“←”は右辺の計算結果を左辺に代入することを示している。上記〔数式３〕に従った処理を実行することにより、左チャンネルのフレームスペクトルの低周波数成分は、第１低周波数帯、第２低周波数帯共に“０” で同一となる。この第１低周波数帯、第２低周波数帯が均等のパターンは、付加情報の先頭位置（区切り）を示す情報となる。なお、上記〔数式３〕においては、第１低周波数帯、第２低周波数帯ともにＡｌ（ｊ）＝Ｂｌ（ｊ）＝０としているが、抽出側で区切りであることが認識可能とすることを目的としているため、十分小さな値であれば、必ずしも０とする必要はない。

一方、低周波成分変更手段３０は、モードがビットモードである場合、付加情報記憶部６２から抽出した付加情報のビット配列のビット値に応じて、第１、第２低周波数帯間の分布を第１低周波数帯が優位か、第２低周波数帯が優位かのいずれかに変更する処理を行う（Ｓ１０７）。具体的には、第１の値と第２の値をとり得るビット値に応じて以下の〔数式４〕、〔数式５〕のいずれかに従った処理を実行することにより、第１、第２低周波数帯間の大小関係を変更する。例えば、第１の値を１、第２の値を０とした場合、ビット値が１のとき、以下の〔数式４〕に従った処理を実行する。なお、この場合、第２低周波数帯（ｊ＝１１〜２０）に対しては処理は行わない。

〔数式４〕
第１低周波数帯（ｊ＝１〜１０）に対して
Ａｌ（ｊ）＝０
Ｂｌ（ｊ）＝０
Ｅ（ｊ）＝｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²＋Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ａｒ（ｊ）←Ａｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ｂｒ（ｊ）←Ｂｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2

ビット値が０の場合、以下の〔数式５〕に従った処理を実行する。なお、この場合、第１低周波数帯（ｊ＝１〜１０）に対しては処理は行わない。

〔数式５〕
第２低周波数帯（ｊ＝１１〜２０）に対して
Ａｌ（ｊ）＝０
Ｂｌ（ｊ）＝０
Ｅ（ｊ）＝｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²＋Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ａｒ（ｊ）←Ａｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ｂｒ（ｊ）←Ｂｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2

上記〔数式４〕、〔数式５〕のいずれかに従った処理を実行することにより、付加情報のビット配列の各ビット値に応じて、第１低周波数帯が優位か、第２低周波数帯が優位かのどちらかのパターンに変更されることになる。結局、低周波成分変更手段３０は、区切りモードの場合に〔数式３〕に基づく処理をＳ１０８において行い、ビットモードの場合に〔数式４〕又は〔数式５〕に基づく処理をＳ１０７において行うことになる。

次に、周波数逆変換手段４０が、低周波強度データのスペクトル集合間比率が変更されたフレームスペクトルを周波数逆変換して改変音響フレームを得る処理を行う（Ｓ１０９）。この周波数逆変換は、当然のことながら、周波数変換手段２０がＳ１０５において実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段２０において、フーリエ逆変換を施しているため、周波数逆変換手段４０は、フーリエ逆変換を実行することになる。具体的には、上記〔数式３〕〜〔数式５〕のいずれかにより得られたスペクトルの左チャンネルの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を用いて、以下の〔数式６〕に従った処理を行い、ｘｌ´（ｉ）、ｘｒ´（ｉ）を算出する。

〔数式６〕
ｘｌ´（ｉ）＝１／Ｎ・｛Σ_j=0,…,N-1Ａｌ（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_j=0,…,N-1Ｂｌ（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋｛１−Ｗ（ｉ）｝・ｘｌ（ｉ）
ｘｒ´（ｉ）＝１／Ｎ・｛Σ_j=0,…,N-1Ａｒ（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_j=0,…,N-1Ｂｒ（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋｛１−Ｗ（ｉ）｝・ｘｒ（ｉ）

上記〔数式６〕における第１式の“＋｛１−Ｗ（ｉ）｝・ｘｌ（ｉ）”、第２式の“＋｛１−Ｗ（ｉ）｝・ｘｒ（ｉ）”の項は、上記〔数式１〕において周波数変換する際に、窓関数Ｗ（ｉ）を乗じることにより除去された信号成分を復元するためのものである。上記〔数式６〕により改変音響フレームの左チャンネルの各サンプルｘｌ´（ｉ）、右チャンネルの各サンプルｘｒ´（ｉ）、が得られることになる。改変音響フレーム出力手段５０は、得られた改変音響フレームを順次出力ファイルに出力する（Ｓ１１０）。こうして１つの音響フレームに対する処理を終えたら、モードをビットモードに設定した後（Ｓ１１１）、付加情報読込手段７０が付加情報のビット配列中の次のビットを読み込む（Ｓ１０３）。以上のような処理を音響信号の両チャンネルの全サンプルに渡って実行していく。すなわち、所定数のサンプルを音響フレームとして読み込み、音響信号から読み込むべき音響フレームがなくなったら（Ｓ１０４）、処理を終了する。なお、Ｓ１０１において読み込んだ１バイトのデータの各ビットに対応する処理を終えた場合、Ｓ１０３からＳ１０１に戻り、付加情報の次のバイトを読み込み処理をすることになる。付加情報の全バイトに対して、処理が終了した場合は、付加情報の先頭バイトに戻って処理を行う。この結果、全ての音響フレームに対して処理を行った全ての改変音響フレームが出力ファイルに記録されて、改変音響信号として得られる。得られた改変音響信号は、記憶手段６０内の改変音響信号記憶部６３に出力され、記憶される。

以上の処理による左チャンネル信号の変化の様子を図４を用いて説明する。図４において、左右方向は、時間軸であり、サンプル数に比例する。また、図中多数存在する矩形は、改変音響フレームの第１低周波数帯、第２低周波数帯成分を示し、その横幅はサンプル数（本実施形態では、４０９６）、縦幅は強度を示している。図４（ａ）は、上記〔数式２〕により算出された合算値Ｅ₁、Ｅ₂がレベル下限値Ｌｅｖ未満となる音響フレームが存在しない場合、すなわち、付加情報を埋め込むには、良好な信号である場合を示している。図４（ｂ）は、上記〔数式２〕により算出された合算値Ｅ₁、Ｅ₂がレベル下限値Ｌｅｖ未満となる音響フレームが存在する場合、すなわち、付加情報を埋め込むには、良好でない信号である場合を示している。

例えば、付加情報として、１バイト目が「１１０１１１００」、２バイト目が「１１０００００１」の２バイトのビット配列を埋め込むとする。まず、各バイトの先頭には、区切りを示す情報として、第１低周波数帯、第２低周波数帯が均等な状態に設定されることになる。これは、Ｓ１０２により区切りモードに設定され、Ｓ１０８において、上記〔数式３〕に従った処理を実行した結果得られる。また、図４（ａ）の例では、合算値Ｅ₁、Ｅ₂がレベル下限値Ｌｅｖ未満となる音響フレームが存在しないため、１バイトが連続して上記〔数式４〕又は〔数式５〕により処理されることになる。これは、Ｓ１０３からＳ１１１を経由するループが８回連続して繰り返され、その間レベル下限値未満であるとしてＳ１０６およびＳ１０８を経由することがなかったことを示している。図４に示すように、付加情報のビット値が１の場合は、第１低周波数帯側に低周波成分が存在し、付加情報のビット値が０の場合は、第２低周波数帯側に低周波成分が存在する。上記〔数式４〕、〔数式５〕からもわかるように、この場合は他方の低周波数帯の低周波成分は０となる。

図４（ｂ）の例では、上記〔数式２〕に従った処理の結果、レベル下限値Ｌｅｖ未満となる音響フレームが存在するので、この場合Ｓ１０６およびＳ１０８を経由して、上記〔数式３〕に従った処理を実行した結果第１低周波数帯、第２低周波数帯が均等な状態に設定される。この場合、Ｓ１０６において、読み込み位置が先頭ビットに戻されるため、再び同じビットを読むことになる。図４（ｂ）の例では、１バイト目の「１１０１１１００」を埋め込む場合に、最初は「１１」の２ビット処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現し、２度目は「１１０１１」の５ビット処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現し、３度目でようやく８ビット処理することができたことを示している。

しかし、図３に従った処理を行った場合には、図４（ｂ）に示したように、低周波成分の信号レベルが小さい音響フレームが出現するたびに、１バイト単位で先頭から繰り返して処理することになるため、効率が悪い。そこで、図３に代えて、図５に示すような処理を行うようにしても良い。

図５に示す処理で、図３に示す処理と大きく異なるのは、区切りモード、ビットモードの他に継続識別モードを備え、３つのモードとし、低周波成分の信号レベルが小さい音響フレームが出現した場合であっても、先頭に戻らず、継続して処理するようにした点である。そのため、継続識別モードにおいては、次のビットが先頭から始まる新規なものか、中断されたために継続されたものであるかを識別するための情報を記録することになる。なお、図５の処理では、付加情報の処理をバイト単位でなく、ワード単位で行っている。これは、図３のＳ１０６に示したように、強制的に読み込み位置を先頭に戻す処理がないため、バイト以外の単位で処理するのが容易であるためである。１ワードのビット数は自由に設定でき、１バイトに設定することもできる。

図５の処理については、図３の処理と共通する部分が多いため、異なる部分を中心に説明していく。まず、付加情報読込手段７０は、付加情報記憶部６２から付加情報を１ワード単位で読み込む（Ｓ２０１）。その後、モードを区切りモードに設定し（Ｓ２０２）、音響フレーム読込手段１０が、音響信号記憶部６１に記憶されたステレオ音響信号の左右各チャンネルから、音響フレームを読み込み（Ｓ２０４）、周波数変換手段２０が、読み込んだ各音響フレームに対して、〔数式１〕に従って周波数変換を行ってフレームスペクトルを得て（Ｓ２０５）、低周波成分変更手段３０が、抽出した実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を利用して、〔数式２〕により合算値Ｅ₁、Ｅ₂を算出し、合算値Ｅ₁、Ｅ₂がレベル下限値Ｌｅｖ以上であるかどうかを判断するところまでは同一である。ただし、図５の処理においては、合算値Ｅ₁、Ｅ₂がレベル下限値Ｌｅｖ未満である場合は、モードを区切りモードに設定するだけである（Ｓ２０６）。一方、合算値Ｅ₁、Ｅ₂がレベル下限値Ｌｅｖ以上である場合には、モードを判断することになる。

低周波成分変更手段３０は、モードが区切りモードである場合、上記〔数式３〕に従って、低周波強度を第１低周波数帯、第２低周波数帯で同一とする処理を行う（Ｓ２０８）。一方、低周波成分変更手段３０は、モードがビットモードである場合、上記〔数式４〕、〔数式５〕に従って、付加情報記憶部６２から抽出した付加情報のビット配列のビット値に応じて、低周波強度の第１低周波数帯、第２低周波数帯間の比率を変更する処理を行う（Ｓ２０７）。また、Ｓ２０７においては、図３のＳ１０７と異なり、継続識別モードである場合にも処理を行う。継続識別モードである場合、新規であるときは〔数式４〕に従って低周波成分の第１低周波数帯、第２低周波数帯間の分布を第１低周波数帯が大に変更し、継続であるときは〔数式５〕に従って低周波成分の第１低周波数帯、第２低周波数帯間の分布を第２低周波数帯が大に変更する。

次に、周波数逆変換手段４０が、低周波強度データのスペクトル集合間比率が変更されたフレームスペクトルを〔数式６〕に従って周波数逆変換して改変音響フレームを得る処理を行い（Ｓ２０９）、改変音響フレーム出力手段５０は、得られた改変音響フレームを順次出力ファイルに出力する（Ｓ２１０）。こうして１つの音響フレームに対する処理を終えたら、モードの判定を行い（Ｓ２１１）、モードが区切りモードである場合は、モードを継続識別モードに設定した後（Ｓ２１２）、音響フレーム読込手段１０が、音響フレームを読み込む（Ｓ２０４）。一方、モードがビットモード又は継続識別モードである場合は、モードをビットモードに設定した後（Ｓ２１３）、低周波成分変更手段３０が付加情報のビット配列中の次のビットを読み込む（Ｓ２０３）。そして、全音響フレームの処理を行い、音響信号から読み込むべき音響フレームがなくなったら（Ｓ２０４）、処理を終了する。

図５に従った処理による左チャンネル信号の変化の様子を図６を用いて説明する。図６においては、図４と同様、左右方向は時間軸であり、図中多数存在する矩形は、改変音響フレームの第１低周波数帯、第２低周波数帯成分を示し、その横幅はサンプル数、縦幅は強度を示している。図６（ａ）は、図４（ａ）と同様、上記〔数式２〕により算出された合算値Ｅ₁、Ｅ₂が、レベル下限値Ｌｅｖ以上となる音響フレームが存在しない場合を示しており、図６（ｂ）は、図４（ｂ）と同様、上記〔数式２〕により算出された合算値Ｅ₁、Ｅ₂が、レベル下限値Ｌｅｖ未満となる音響フレームが存在する場合を示している。

また、図３の処理との比較のため、埋め込む付加情報も、図４の場合と同様、１バイト目が「１１０１１１００」、２バイト目が「１１０００００１」の２バイトのビット配列とする。図４と同様、各バイトの先頭には、区切りを示す情報として、第１低周波数帯、第２低周波数帯が均等な状態に設定されることになる。これは、Ｓ２０２により区切りモードに設定され、Ｓ２０８において、上記〔数式３〕に従った処理を実行した結果得られる。続いて、付加情報の各ビットに対応した処理を行う前に、新規であるか継続であるかを示す情報を記録することになる。図３に示す処理によれば、レベル下限値Ｌｅｖ未満となる音響フレームが存在した場合には、処理するビットを各バイトの先頭に戻して処理するため、全て新規となるが、図５に示す処理では、レベル下限値Ｌｅｖ未満となる音響フレームが存在した場合であっても、その時点で処理したビットは有効とし、そこから継続して行うため、そのビットが新規であるか継続であるかの情報を記録しておく必要がある。そこで、区切りを示す情報を記録した後には、新規であるか継続であるかを示す情報を記録する。具体的には、区切りモードの状態で、モード判断を行うことにより（Ｓ２１１）、継続識別モードに設定され（Ｓ２１２）、付加情報のビットを読み込むことなく、音響フレームの抽出を行う（Ｓ２０４）。そして、周波数変換後（Ｓ２０５）、新規である場合には、〔数式４〕に従った処理により、低周波成分の第１低周波数帯、第２低周波数帯間の分布を第１低周波数帯が大に変更する（Ｓ２０７）。

このようにして、新規か継続かを示す情報を記録した後は、継続識別モードの状態でモード判断を行うため（Ｓ２１１）、ビットモードに設定され（Ｓ２１３）、レジスタから先頭のビットを読み込み（Ｓ２０３）、音響フレームの抽出を行う（Ｓ２０４）。図６（ａ）の例では、レベル下限値Ｌｅｖ未満となる音響フレームが存在しないため、１バイトが連続して上記〔数式４〕又は〔数式５〕により処理されることになる。これは、Ｓ２０３からＳ２１３を経由するループが８回連続して繰り返され、その間レベル下限値Ｌｅｖ未満であるとしてＳ２０６およびＳ２０８、Ｓ２１２を経由することがなかったことを示している。

図６（ｂ）の例では、上記〔数式２〕に従った処理の結果、レベル下限値Ｌｅｖ未満となる音響フレームが存在するので、この場合Ｓ２０６およびＳ２０８を経由して、上記〔数式３〕に従った処理を実行した結果第１低周波数帯、第２低周波数帯が均等な状態に設定される。この場合、Ｓ２０６において、区切りモードに設定されるため、Ｓ２１２を経由して、新規か継続かを示す情報を記録することになる。図５（ｂ）の例では、１バイト目の「１１０１１１００」を埋め込む場合に、最初は第１ビット目の「１」の１ビット処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第２ビット目の「１」から処理をしている。そして、第２ビット目から第５ビット目の「１０１１」を処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第６ビット目の「１」から処理をしている。

なお、図６の例では、図４との比較のため、付加情報がバイト単位で記録されている場合について説明したが、図５に示す処理は、新規か継続かを示す情報を記録するため、付加情報を任意のビット数単位で記録することが可能である。

上記の例では、固定長のバイト単位又は可変長のワード単位で区切りを示す情報を挿入するようにしたが、さらにビット単位で区切りを示す情報を挿入することも可能である。この場合、音響フレーム読込手段１０が音響フレームの抽出を行う際、前後の音響フレームに重複する重複音響フレームを抽出し、この重複音響フレームに対して、〔数式１〕に従って周波数変換を行い、さらに、〔数式３〕に従って第１低周波数帯、第２低周波数帯の低周波成分を均等にする処理を行う。重複音響フレームは、前後の音響フレームと半数づつサンプルが重複するように設定する。例えば、先行する音響フレームがサンプル番号１から４０９６まで、後続する音響フレームがサンプル番号４０９７から８１９２までである場合、この間に設定される重複音響フレームはサンプル番号２０４９から６１４４までとなる。同様にして、音響信号の全区間について、重複音響フレームを読み込み、第１低周波数帯、第２低周波数帯の低周波成分を均等にする処理を行うことになる。

上記のように、重複音響フレームを設定して、その第１低周波数帯、第２低周波数帯の低周波成分を均等にする処理を行った場合、これを改変音響信号に反映させるため、第１低周波数帯、第２低周波数帯の低周波成分を均等にする処理後の重複フレームスペクトルに対して周波数逆変換を行って改変重複音響フレームを得て、さらに音響フレームと連結する処理を行う必要がある。この場合、窓関数Ｗ（ｉ）を乗じることにより音響フレームから除去された信号成分を、重複音響フレームの信号と連結することにより補うことが可能となるため、上記〔数式６〕における第１式の“＋｛１−Ｗ（ｉ）｝・ｘｌ（ｉ）”、第２式の“＋｛１−Ｗ（ｉ）｝・ｘｒ（ｉ）” の項が不要となる。したがって、この場合、重複フレームスペクトルに対する周波数逆変換、およびフレームスペクトルに対する周波数逆変換（Ｓ１０９、Ｓ２０９）は上記〔数式６〕ではなく、以下の〔数式７〕に従って処理することになる。

〔数式７〕
ｘｌ´（ｉ）＝１／Ｎ・｛Σ_j=0,…,N-1Ａｌ（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_j=0,…,N-1Ｂｌ（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝
ｘｒ´（ｉ）＝１／Ｎ・｛Σ_j=0,…,N-1Ａｒ（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_j=0,…,N-1Ｂｒ（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝

上記〔数式７〕により改変音響フレーム、改変重複音響フレームの左チャンネルの各サンプルｘｌ´（ｉ）、右チャンネルの各サンプルｘｒ´（ｉ）、が得られることになる。改変音響フレーム出力手段５０は、Ｓ１１０、Ｓ２１０において、得られた改変音響フレームおよび改変重複音響フレームを順次連結して出力ファイルに出力する。上述のように、音響フレームおよび重複音響フレームは、音響フレーム読込手段１０により音響信号から読み込む際、音響フレームと重複音響フレームに同一のサンプルが重複して含まれるように処理されている。したがって、音響フレーム出力手段５０においては、重複して読み込まれたサンプルについて、各サンプルの値を合算した値として、出力ファイルに記録していく。

このようにして得られた改変音響信号の左チャンネルのうち、付加情報が埋め込まれている部分については、低周波成分は、第１低周波数帯、第２低周波数帯に均等に存在するか、あるいは第１低周波数帯、第２低周波数帯のどちらか一方に偏在するかの３通りの分布しかないことになる。しかし、高周波成分については、元の音響信号のままであるので、制作者の設定に基づいた種々な分布になる。また、上記の例で示したように、ステレオ音響信号を利用した場合には、左チャンネルにおいて変化させられた低周波成分は、上記〔数式３〕〜〔数式５〕の処理からも明らかなように、必ず右チャンネルの低周波成分に付加されている。したがって、右チャンネルが左チャンネルにおいて削除された成分を補っているため、両チャンネル全体として見ると、信号の劣化がない。人間の聴覚は、高周波成分については、方向性を感知し易いが、低周波成分については、方向性を感知しにくくなっている。したがって、低周波成分が一方に偏っていても、聴いている人にとっては、通常の音響信号と変わりなく聴こえることになる。

（２．３．制御コードの埋め込み手法）
続いて、上記先願埋込手法を利用して、制御コードを埋め込む処理について説明する。まず、コードリスト入力手段より、コードリストを入力する。コードリストとは、埋め込むべき制御コードと埋め込むべき演奏時刻位置を対応付けて記録したリストである。制御コードとしては、制御対象の時系列駆動装置の種類に応じて様々なものを用いることができる。演奏時刻位置としては、ｍｓｅｃ単位、１００ｍｓｅｃ単位等の時刻単位のタイムコードや、音響フレームの番号等何らかのかたちで先頭からの時刻が特定できるものを利用できる。図７（ａ）に、制御コードとしてタイムコードを記録したものを示す。図７（ａ）の例では、制御コードを１００ｍｓｅｃ単位タイムコードとし、演奏時刻位置をｍｓｅｃ単位タイムコードとしている。

続いて、コード埋め込み手段が、コードリストに示された音響信号の演奏時刻位置に、対応する制御コードを埋め込む処理を行う。コード埋め込み手段は、ダミーコード埋め込み手段、ダミーコードリスト更新手段、本番コード埋め込み手段により構成される。これらの各手段は、現実には、コンピュータに専用のプログラムを実行させることにより実現される。まず、ダミーコードリストを用意し、これを、ダミーコード埋め込み手段が、制御コードの代わりに音響信号に埋め込む処理を行う。ダミーコードとして、ここでは、０〜２５５のシリアル番号を用意する。ここで、ダミーコード配列の一例を図７（ｂ）に示す。このようなダミーコードを音響信号に埋め込む。埋め込みの手法は、様々な手法を用いることができるが、本実施形態では、上記先願埋込手法を用いている。各数字は８ビットで表現されているため、各番号を上記手法により埋め込むには、音響信号が埋め込みに適したものであっても、先頭区切り用のフレームを除いて最低８フレーム要することになる。ダミーコード埋め込み手段が、ダミーコードの埋め込みを行う際には、図３のフローチャートに従った処理を行うことになるが、この際、Ｓ１０４において音響フレームを抽出するごとにフレーム番号を０からカウントしていく。また、Ｓ１０２において、区切りモードに設定する際に、カウントしたフレーム番号をダミーコードの埋め込み先頭位置を示す情報として出力する。出力されたフレーム番号は、ダミーコードと対応づけてダミーコードリストに記録する。Ｓ１０２およびＳ１０４において、このような処理を追加することにより、ダミーコードを音響信号に埋め込む処理を行った結果、図８（ａ）に示すようなダミーコードリストが得られる。

続いて、ダミーコードリスト更新手段が、コードリスト入力手段より、入力されたコードリストを利用して、ダミーコードリストを更新し、本番コードリストを作成する処理を行う。まず、ダミーコードリスト更新手段は、ダミーコードリスト上のフレーム番号をｍｓｅｃ単位タイムコードに変換する。例えば、音響信号がサンプリング周波数４４．１ｋＨｚでサンプリングされたものであり、１音響フレームのサンプル数が４０９６サンプルである場合、フレーム番号１６の音響フレームの時刻は、１４８６msecに相当する。同様にして、他のフレーム番号についてもタイムコードを算出する。図８（ａ）に示したダミーコードリスト中のフレーム番号の（）内は、変換後のｍｓｅｃ単位タイムコードを示している。

次に、ダミーコードリスト更新手段は、コードリストに記録された演奏時刻位置（ｍｓｅｃ単位タイムコード）とダミーコードリストにより得られたｍｓｅｃ単位タイムコードの比較を行い、ダミーコードリスト上の最も近いｍｓｅｃ単位タイムコードに対応したフレーム番号に対応するダミーコードを、コードリスト上の制御コードで置き換える。また、制御コードで置き換えられなかったダミーコードについては、ＮＵＬＬ値に置き換えられる。この結果、図８（ｂ）に示すような本番コードリストが得られる。

続いて、本番コード埋め込み手段が、本番コードリストを利用して、本番コードリスト中に記録された制御コードを対応する演奏時刻位置に埋め込む処理を行う。具体的には、図３のフローチャートに示した手法に従って、音響信号に埋め込む。これにより、音響信号からの先頭時刻に対応したｍｓｅｃタイムコードが制御コードとして埋め込まれることになる。

（３．制御システム）
上記のようにして得られた音響信号を、図１に示した音響信号再生装置４で再生し、Ｌスピーカ５から流れる音を、マイクロフォン２で取得すると、取得された音響情報は、抽出装置コンピュータ１に取り込まれる。抽出装置コンピュータ１は、取得した音響信号からリアルタイムでタイムコードを抽出する。抽出装置コンピュータ１における、埋め込まれたタイムコードの抽出処理については、後述する手法を利用する。抽出処理の具体的内容については後述する。抽出装置コンピュータ１は、抽出したタイムコードを映像・音楽プレーヤ３に順次出力する。映像・音楽プレーヤ３では、受け取ったタイムコードに従って映像・音楽等を再生する。音響信号再生装置４で再生される音響信号には、その時刻に対応したタイムコードが記録されており、映像・音楽プレーヤ３では、そのタイムコードに従って再生を行うため、音響信号再生装置４から再生される音響信号と、映像・音楽プレーヤ３から再生される映像・音響信号とが同期して再生されることになる。すなわち、制御コードを別途用意せずとも、音響信号を再生するだけで、他の機器の制御が可能になる。

（３．１．情報の抽出手法）
上記、抽出装置コンピュータ１における音響信号からのタイムコードの抽出処理は、本出願人が特願２００５−５８８２４号において提案している情報の抽出（以下、「先願抽出手法」という）を用いることになる。次に、先願抽出手法における音響信号からの情報の抽出装置について具体的に説明していく。図９は、先願抽出手法に対応した、音響信号からの情報の抽出装置の一実施形態を示す構成図である。図９において、１００は音響信号入力手段、１１０は基準フレーム獲得手段、１２０は位相変更フレーム設定手段、１３０は周波数変換手段、１４０は符号判定パラメータ算出手段、１５０は符号出力手段、１６０は付加情報抽出手段、１７０は音響フレーム保持手段である。

音響信号入力手段１００は、流れている音声をデジタル音響信号として取得し、入力する機能を有している。現実には、マイクロフォンおよびＡ／Ｄ変換器により実現される。マイクロフォンとしては、低周波成分が検出可能なものであれば、モノラル無指向性のものであっても、ステレオ指向性のものであっても使用可能である。ステレオ指向性のものであっても一方のチャンネルだけ利用すれば良い。基準フレーム獲得手段１１０は、入力されたデジタルのモノラル音響信号（あるいはステレオ音響信号の１チャンネル）から所定数のサンプルで構成される音響フレームを基準フレームとして読み込む機能を有している。位相変更フレーム設定手段１２０は、基準フレームと所定サンプルずつ移動させることにより位相を変更した音響フレームを位相変更フレームとして設定する機能を有している。周波数変換手段１３０は、図２に示した周波数変換手段２０と同様の機能を有している。符号判定パラメータ算出手段１４０は、生成されたフレームスペクトルから所定の周波数以下に相当する各低周波強度データを抽出し、第１低周波数帯、第２低周波数帯ごとに各低周波強度データの合算値Ｅ₁、Ｅ₂を算出し、この合算値Ｅ₁、Ｅ₂を符号判定パラメータとし、この符号判定パラメータＥ₁、Ｅ₂の比率に基づいて、所定の状態であると判断する機能を有している。

符号出力手段１５０は、１つの基準フレームに対応する音響フレーム（基準フレームおよび位相変更フレーム）の中から最適な位相であると判断されるものを判断し、その音響フレームの状態に対応する符号を出力する機能を有している。付加情報抽出手段１６０は、符号出力手段１５０により出力された符号の集合である３値配列を、所定の規則により変換して意味のある付加情報として抽出する機能を有している。音響フレーム保持手段１７０は、連続する２個の基準フレームを保持可能なバッファメモリである。図９に示した各構成手段は、現実には情報処理機能を有する小型のコンピュータおよびその周辺機器等のハードウェア（本発明においては、抽出装置コンピュータ１）に専用のプログラムを搭載することにより実現される。

（３．２．抽出装置の処理動作）
次に、図９に示した抽出装置の処理動作について図１０のフローチャートに従って説明する。まず、本装置では、平均符号レベルＨＬ１、ＨＬ２、周波数帯バランステーブル、位相判定テーブルが初期化される。これらについて説明する。平均符号レベルＨＬ１、ＨＬ２は、ビット値に対応する２値が埋め込まれていたと判断される音響フレーム（以下、有効フレームと呼ぶことにする）についての、上記〔数式２〕で算出される低周波成分の合算値Ｅ₁、Ｅ₂の平均値、すなわち、過去の有効フレームにおける合算値Ｅ₁、Ｅ₂の平均値で与えられるものであり、初期値は、上記埋め込み装置においても用いられるレベル下限値Ｌｅｖに設定されている。周波数帯バランステーブルは、実際には、２種の補正係数Ｃ１（ｊ）、Ｃ２（ｊ）により構成されるものであり、初期値は、Ｍ２以下の各ｊについて、Ｃ１（ｊ）＝Ｃ２（ｊ）＝１に設定されている。位相判定テーブルＳ（ｐ）は、位相を判定するためのテーブルであり、ｐは０〜５の整数値をとる。初期値はＳ（ｐ）＝０に設定されている。

このように、初期値が設定されている状態で、利用者が流れている音楽について、その楽曲名等の属性情報を知りたいと思った場合、まず、抽出装置に対して、抽出装置としての起動の指示を行う。これは、例えば、抽出装置を携帯電話機等の携帯端末で実現している場合は、所定のボタンを操作することにより実行できる。抽出装置は、指示が入力されると、音響信号入力手段１００が、流れている音楽を録音し、デジタル化してデジタル音響信号として入力する。具体的には、無指向性マイクロフォン（または指向性マイクロフォンの一方のチャンネル）から入力される音声を、Ａ／Ｄ変換器によりデジタル化する処理を行うことになる。

続いて、基準フレーム獲得手段１１０が、音響信号入力手段１００から入力された音響信号から、所定数のサンプルで構成される音響フレームを基準フレームとして抽出する（Ｓ３０１）。具体的には、基準フレームを抽出して音響フレーム保持手段１７０に読み込むことになる。基準フレーム獲得手段１１０が基準フレームとして読み込む１音響フレームのサンプル数は、図２に示した音響フレーム読込手段１０で設定されたものと同一にする必要がある。したがって、本実施形態の場合、基準フレーム獲得手段１１０は、４０９６サンプルずつ、順次基準フレームとして読み込んでいくことになる。音響フレーム保持手段１７０には、上述のように２個の基準フレームが格納可能となっており、新しい基準フレームが読み込まれると、古い基準フレームを破棄するようになっている。したがって、音響フレーム保持手段１７０には、常に基準フレーム２個分（連続する８１９２サンプル）が格納されていることになる。

埋め込み装置で処理する音響フレームは、先頭から途切れることなく隣接して設定される基準フレームと、この基準フレームと位相を変更した位相変更フレームとに分けることができる。基準フレームについては、最初の基準フレームをサンプル番号１からサンプル番号４０９６までを設定したら、次の基準フレームは、サンプル番号４０９７からサンプル番号８１９２、さらに次の基準フレームは、サンプル番号８１９３からサンプル番号１２２８８、というように途切れることなく設定される。そして、各基準フレームについて、１／６フレーム（約６８３サンプル）ずつ移動した５個の位相変更フレームを設定する。例えば、最初の基準フレームについては、サンプル番号６８３、１３６６、２０４９、２７３２、３４１３から始まる４０９６のサンプルで構成される５個の位相変更フレームが設定されることになる。

続いて、周波数変換手段１３０、符号判定パラメータ算出手段１４０が、読み込んだ各音響フレームから、埋め込まれている情報を判定し、対応する符号を出力する（Ｓ３０２）。出力される情報の形式は、埋め込み側のビット値に対応する２値、および区切りとして入力された値の３値の形式となる。

ここで、ステップＳ３０２の符号判定処理の詳細を図１１のフローチャートに従って説明する。まず、周波数変換手段１３０が、読み込んだ各音響フレームに対して、周波数変換を行ってフレームスペクトルを得る（Ｓ４０１）。この処理は、図２に示した周波数変換手段２０における処理と同様である。ただし、抽出に用いるのは、左チャンネルだけであるので、上記〔数式１〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）を得る。この際、左チャンネル音響信号ｘｌ（ｉ）には、それぞれＷ（ｉ）＝０．５−０．５・ｃｏｓ（２πｉ／Ｎ）で表現される窓関数（ハニング窓）を重みとして乗じる処理も、周波数変換手段２０と同様に行われる。

上記周波数変換手段１３０における処理により、周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、符号判定パラメータ算出手段１４０は、平均符号レベルＨＬ１、ＨＬ２の算出を行う（Ｓ４０２）。具体的には、過去第１低周波数帯が大きいと判断された音響フレームについての合算値Ｅ₁の積算値であるｖ１を、過去第１低周波数帯が大きいと判断された音響フレームの数であるｎ１で除算することによりＨＬ１を算出し、過去第２低周波数帯が大きいと判断された音響フレームについての合算値Ｅ₂の積算値であるｖ２を、過去第１低周波数帯が大きいと判断された音響フレームの数であるｎ２で除算することによりＨＬ２を算出する。したがって、平均符号レベルＨＬ１、ＨＬ２は、過去対応する低周波数帯が大きいと判断された音響フレームの低周波強度データの合算値の平均値となる。

さらに、符号判定パラメータ算出手段１４０は、生成されたフレームスペクトルから所定の周波数範囲の各低周波強度データを抽出する。抽出すべき周波数範囲は、埋め込み装置と対応させる必要がある。したがって、ここでは、周波数が２００Ｈｚ以下の低周波強度データを抽出することになり、埋め込み装置の場合と同様、上記〔数式１〕により算出された左チャンネルの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）のうち、ｊ≦２０のものを抽出する。そして、符号判定パラメータ算出手段１４０は、周波数帯バランスの補正を行う（Ｓ４０３）。具体的には、抽出した実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）を利用して、以下の〔数式８〕により各周波数成分ごとの強度Ｅｌ（ｊ）を算出すると共に、上記〔数式２〕によりｊ＝１〜Ｍ１（例えばＭ１＝１０）までの第１低周波数帯の低周波強度の合算値Ｅ₁、ｊ＝Ｍ１＋１〜Ｍ２（例えばＭ２＝２０）までの第２低周波数帯の低周波強度の合算値Ｅ₂を符号判定パラメータとして算出する。第２低周波数帯については、以下の〔数式９〕を用いてＥ₂´を算出する。

〔数式８〕
Ｅｌ（ｊ）＝Ａｌ（ｊ）²＋Ｂｌ（ｊ）²

〔数式９〕
Ｅ₂´＝Σ_{j=M1+1,…,M2}Ｅｌ（ｊ）｛Ｃ１（ｊ）／Ｃ２（ｊ）｝

上記〔数式９〕において、Ｃ１（ｊ）、Ｃ２（ｊ）は、周波数帯バランスの補正係数であり、“｛Ｃ１（ｊ）／Ｃ２（ｊ）｝”を第２低周波数帯の各低周波強度Ｅｌ（ｊ）に乗じてｊ＝Ｍ１＋１〜Ｍ２までの合算値Ｅ₂´を算出することにより、周波数帯バランスを補正している。逆に、第１低周波数帯の各低周波強度Ｅｌ（ｊ）に“｛Ｃ２（ｊ）／Ｃ１（ｊ）｝”を乗じてＥ₁´を算出しても同様の効果が得られる。

続いて、符号判定パラメータ算出手段１４０は、候補符号テーブルの初期化を行う（Ｓ４０４）。候補符号テーブルは、１つの基準フレームおよび５個の位相変更フレームを特定する０〜５の位相番号および、この６個の音響フレームの状態から得られる３値の符号を記録するものである。

続いて、符号判定パラメータ算出手段１４０は、第２低周波数帯の低周波強度の合算値Ｅ₁、第２低周波数帯の低周波強度の合算値Ｅ₂´がそれぞれ所定値以上であるかどうかの判定を行う（Ｓ４０５）。具体的には、所定値としてそれぞれ平均符号レベルＨＬ１、ＨＬ２の１０分の１を設定する。合算値Ｅ₁が平均符号レベルＨＬ１の１０分の１未満であり、かつ、合算値Ｅ₂´が平均符号レベルＨＬ２の１０分の１未満である場合、符号判定パラメータ算出手段１４０は、区切り情報であると判定する（Ｓ４０９）。

一方、合算値Ｅ₁、Ｅ₂´のうちいずれか一方が所定値以上である場合、符号判定パラメータ算出手段１４０は、上記算出された符号判定パラメータＥ₁、Ｅ₂´の比較判定を以下の〔数式１０〕に従って行い（Ｓ４０６）、比較結果に対応する符号を出力する。

〔数式１０〕
Ｅ₂´／Ｅ₁＞２の場合、第２低周波数帯が大
Ｅ₁／Ｅ₂´＞２の場合、第１低周波数帯が大
Ｅ₂´／Ｅ₁≦２かつＥ₁／Ｅ₂´≦２の場合、両周波数帯が均等

符号判定パラメータ算出手段１４０は、各音響フレーム単位で、上記判定結果に応じて３値の符号を出力する。すなわち、第１低周波数帯が大と判定した場合には、第１のビット値（例えば“１”）を出力し（Ｓ４０７）、第２低周波数帯が大と判定した場合には、第２のビット値（例えば“０”）を出力し（Ｓ４０８）、両周波数帯が均等と判定した場合には、区切り情報を示す符号を出力する（Ｓ４０９）。なお、Ｓ４０６において、第１低周波数帯が大と判定した場合は、Ｅ₁がＨＬ１以上であるか、また、第２低周波数帯が大と判定した場合は、Ｅ₂´がＨＬ２以上であるかを判定し、これらの条件を満たしていない場合は、区切り情報を示す符号を出力する（Ｓ４０９）。

第１低周波数帯が大と判定して、第１のビット値を出力した場合（Ｓ３２７）、又は第２低周波数帯が大と判定して、第２のビット値を出力した場合（Ｓ３２８）は、さらに、以下の〔数式１１〕に従って位相判定テーブルＳ（ｐ）の更新を行う（Ｓ４１０）。

〔数式１１〕
第１低周波数帯が大の場合、Ｓ（ｐ）←Ｓ（ｐ）＋Ｅ₁／Ｅ₂´
第２低周波数帯が大の場合、Ｓ（ｐ）←Ｓ（ｐ）＋Ｅ₂´／Ｅ₁

続いて、符号判定パラメータ算出手段１４０は、候補符号テーブルに、最適位相となる候補を保存する（Ｓ４１１）。具体的には、位相判定テーブルに記録されているＳ（ｐ）の値が最大となる位相番号ｐの値、前記Ｓ４０７〜Ｓ４０９により判定された３値のいずれかの符号、その音響フレームについての上記〔数式８〕により算出した低周波数成分に対応する各Ｅｌ（ｊ）の値を最適位相の候補として候補符号テーブルに保存する。

続いて、全ての位相番号ｐに対応する処理を終えたかどうかを判定する（Ｓ４１２）。これは、ある基準フレームに対して全ての位相変更フレームの処理を行ったかどうかを判定している。本実施形態では、ｐが０〜５までの値をとるので、６回分処理していない場合は、処理していた音響フレームから所定サンプル数ずらして、位相の異なる音響フレームを設定し、Ｓ４０５に戻って処理を繰り返す。なお、ｐ＝０の場合が基準フレームであり、ｐ＝１〜５の場合が位相変更フレームである。全ての位相番号ｐに対応する処理を終えた場合は、候補保存テーブルに記録されている位相番号ｐに対応する位相が最適位相であると判定し、候補保存テーブルに記録されている符号を出力する（Ｓ４１３）。

再び図１０のフローチャートに戻って説明する。Ｓ３０２による処理の結果、ビット値に相当する符号が出力された場合には、平均符号レベルのパラメータの更新を行う（Ｓ３０３）。具体的には、平均符号レベルＨＬ１、ＨＬ２算出の際の分子となる積算値ｖ１、ｖ２にそれぞれ合算値Ｅ₁、Ｅ₂を加算して積算値ｖ１、ｖ２を更新し、分母となるフレーム数ｎ１、ｎ２にそれぞれ１を加算してフレーム数ｎ１、ｎ２を更新する。続いて、出力された符号に対応するビット値をバッファに保存する（Ｓ３０４）。続いて、ビットカウンタをカウントアップする（Ｓ３０５）。そして、ビットカウンタが８ビット以上であるかどうかを判断する（Ｓ３０６）。その結果、ビットカウンタが８ビット以上である場合には、１バイト分のビット値がバッファに格納されていることになるので、バッファ内の１バイト分のデータを、付加情報抽出手段１６０が出力する（Ｓ３０７）。一方、Ｓ３０２による処理の結果、区切り情報に対応する値が出力された場合には、周波数帯バランステーブルの更新を行う（Ｓ３０８）。具体的には、以下の〔数式１２〕により、周波数帯バランステーブルを構成するＣ１（ｊ）、Ｃ２（ｊ）を更新する。

〔数式１２〕
Ｃ１（ｊ）←Ｃ１（ｊ）＋Ｅｌ（ｊ）（１≦ｊ≦Ｍ１）
Ｃ２（ｊ−Ｍ１）←Ｃ２（ｊ−Ｍ１）＋Ｅｌ（ｊ）（Ｍ１＋１≦ｊ≦Ｍ２）

なお、上記〔数式１２〕におけるＥ₁（ｊ）、Ｅ₂（ｊ）は、上記Ｓ４１３において最適位相であると判定された音響フレームに対応して、候補保存テーブルに記録されていたものである。

そして、ビットカウンタを０に初期化する（Ｓ３０９）。図１０に示す処理を各音響フレームに対して実行することにより、付加情報が抽出されることになる。Ｓ３０１において全ての音響フレームが抽出されたと判断された場合には、処理を終了する。

上記Ｓ３０７の処理において、付加情報抽出手段１６０は、まず、符号判定パラメータ算出手段１４０により出力された３値の符号のうち、第１低周波数帯と第２低周波数帯が均等であることを示す符号を区切り位置として、その次の符号を先頭とし、第１低周波数帯が大、第２低周波数帯が大の符号をビット値に対応させて、ビット配列を作成する。続いて、このビット配列を、所定の規則により変換して意味のある付加情報として抽出する。所定の規則としては、情報を埋め込む者が意図した情報が受け取った者に認識可能な状態とできるものであれば、さまざまな規則が適用できるが、本実施形態では、再生機器を制御するための制御コードとしてタイムコードを認識するための規則としている。すなわち、付加情報抽出手段１６０は、符号判定パラメータ算出手段１４０が判定し、符号出力手段１５０から出力される符号を１バイト（８ビット）単位で認識し、これを設定されたコード体系に従ってタイムコードを認識する。このようにして得られたタイムコードは、制御対象の再生機器（図１の３）に出力される。

従って、埋め込み装置により音響信号に、タイムコードをバイトデータとして埋め込んでおけば、利用者は、流れている音楽に合せて、再生機器を同期させたいと思ったときに、抽出装置として機能する自身の携帯端末に所定の操作を行えば、制御対象の再生機器にタイムコードを出力し再生機器を音楽に同期させて再生させることができる。

以上の処理においては、抽出装置において正確に付加情報を抽出するために、位相を補正する処理、第１低周波数帯と第２低周波数帯の低周波成分の強度のバランスを補正する処理、無効フレームであることを判断するための下限閾値を補正する処理を行っている。次に、これら３つの補正処理について補足説明を行う。

（３．３．位相補正処理について）
上記のように、抽出時には、埋め込み時に埋め込んだ音響フレームに対応して、音響信号を読み込むことができるとは限らない。そこで、音響フレームの位相をずらして複数通り（本実施形態では６通り）で読み込み、その中で最適な位相を決定し、その位相で特定される音響フレームに対応する符号を出力することにしている。例えば、６通りで読み込む場合、先頭の音響フレームは、本来サンプル番号１〜４０９６のサンプルであるが、サンプル番号１、６８３、１３６６、２０４９、２７３２、３４１３から始まる４０９６のサンプルで構成される６個の各音響フレームに対して処理を行い、最適な音響フレームに対応する符号を出力することになる。この位相補正処理は、Ｓ４０４、Ｓ４１０、Ｓ４１１、Ｓ４１２、Ｓ４１３における処理を中心として行われることになる。

（３．４．低周波数帯バランス補正処理について）
アナログ系を介した場合、音響信号の第１低周波数帯と第２低周波数帯の信号が互いに影響しあって、両周波数帯のバランスが崩れ、抽出側で誤判断することが多くなる。そこで、過去の音響フレームについての対応する周波数帯別の積算値により、両周波数帯のバランスを補正する処理を行っている。この周波数帯バランス補正処理は、Ｓ４０３、Ｓ３０８における処理を中心として行われることになる。

（３．５．下限閾値補正処理について）
信号レベルが小さい場合には、周波数帯別の強度の大小が判定できず、抽出側で誤判断することが多くなる。そこで、低周波強度Ｅ₁およびＥ₂´が所定の閾値以下のフレームについては、無効なフレームであると判断するようにしているが、この際の閾値を過去の有効フレームについての低周波強度の積算値を利用して補正する処理を行っている。このように閾値を変動させることにより、信号レベルが変動しても無効なフレームであるか、有効なフレームであるかを正確に判断することが可能となる。この下限閾値補正処理は、Ｓ４０２、Ｓ３０３における処理を中心として行われることになる。

図１０のフローチャートは、埋め込み側において、付加情報をバイト単位で記録したものに対応している。埋め込み側で付加情報をワード単位で記録している場合には、図１２のフローチャートに従った処理を行うことになる。まず、図１０のＳ３０１と同様、基準フレーム獲得手段１１０が、音響信号入力手段１００から入力されたステレオ音響信号の各チャンネルから、それぞれ所定数のサンプルを１基準フレームとして読み込む（Ｓ５０１）。

続いて、図１０のＳ３０１と同様、周波数変換手段１３０、符号判定パラメータ算出手段１４０が、読み込んだ各基準フレームを利用して、基準フレームもしくは位相変更フレームから最適な位相の音響フレームを特定し、その音響フレームに埋め込まれている情報に対応する符号を出力する（Ｓ５０２）。このＳ５０２における処理の詳細は、Ｓ３０２と同様、図１１に示したようなものとなる。

Ｓ５０２による処理の結果、ビット値に相当する符号が抽出された場合には、Ｓ３０３と同様、平均符号レベルＨＬ１、ＨＬ２いずれかのパラメータの更新を行う（Ｓ５０３）。続いて、モードの判定を行う（Ｓ５０４）。モードは、区切りモードとビット出力モードの２つが用意されている。ビット出力モードである場合は、そのビット値をバッファに保存する（Ｓ５０９）。続いて、ビットカウンタをカウントアップする（Ｓ５１０）。一方、Ｓ５０４による判定の結果、区切りモードである場合には、さらに抽出された符号が、新規を意味するものか継続を意味するものかを判定する（Ｓ５０５）。この結果、新規である場合には、その直前で１ワードが終了していることを意味するので、バッファに記録された１ワード分のデータを、付加情報抽出手段１６０が出力する（Ｓ５０６）。そして、ビットカウンタを０に初期化する（Ｓ５０７）。さらに、モードをビット出力モードに設定する（Ｓ５０８）。Ｓ５０５において、継続と判定された場合には、バッファ内のビットに値を出力すべきであるので、ビット出力モードに設定する処理のみを行う。また、Ｓ５０２において、区切り情報に相当する符号が抽出された場合には、Ｓ３０８と同様、周波数帯バランステーブルの更新を行う（Ｓ５１１）。続いて、次の音響フレームから新規か継続かの情報を抽出するため、モードを区切りモードに設定する（Ｓ５１２）。図１２に示す処理を各基準フレームに対して実行することにより、付加情報が抽出されることになる。Ｓ５０１において全ての基準フレームが抽出されたと判断された場合には、処理を終了する。以上のような、先願抽出手法を抽出コンピュータ１において実行し、付加情報としてタイムコードを抽出することが可能になる。

（４．制御コードの異なる例）
上記実施形態では、１００ｍｓｅｃタイムコード（time code）を制御コードとして音響信号に埋め込み、抽出側では、抽出したタイムコードに従って、他のプレーヤと同期制御を行う場合について説明したが、制御コードとして異なるものを用いることにより、様々な制御を行うことが可能である。次に、楽曲コード（和音chord name）を制御コードとして音響信号に埋め込み、抽出側では、抽出したコードネームに従って、他の機器に伴奏を行わせる場合について説明する。

まず、埋め込み対象とする音響信号のコードネームを所定のルールで符号化した楽曲コードを、音響信号の先頭時刻からのタイムコードと対応付けたコードリストを用意する。例えば、コードネーム“Ｃ（Ｃメイジャー）”を楽曲コード０、“Ｃｍ（Ｃマイナー）”を楽曲コード１と符号化する。楽曲コードは先頭からの時間により定められているので、この時間をｍｓｅｃ単位に換算したタイムコードを算出し、これらを対応付けることにより、コードリストは得られる。このようなコードリストの一例を図１３（ａ）に示す。

続いて、図１３（ｂ）に示すようなダミーコード配列を利用して、ダミーコードを音響信号に対して埋め込み、各番号を埋め込んだ先頭フレームを抽出する処理を行うことにより、図１４（ａ）に示したようなダミーコードリストを得る。なお、図１３（ｂ）、図１４（ａ）は、図７（ｂ）、図８（ａ）と全く同じものである。この処理は、上記タイムコードを制御コードとする場合と同様の処理により行われる。続いて、得られた各フレーム番号の先頭からの時刻をｍｓｅｃ単位で算出する。そして、図１３（ａ）に示したコードリストに記録されたタイムコードと最も値の近い時刻を有するフレーム番号に、対応する楽曲コードを割り当てる処理を行う。そして、対応する楽曲コードがないフレーム番号に対してはＮＵＬＬ値を割り当てる。この結果、図１４（ｂ）に示すような本番コードリストが得られることになる。図１４（ｂ）において、本番コードが“−”となっている部分は、ＮＵＬＬ値であることを示している。

このようにして得られた楽曲コード配列を制御コードとして、図３のフローチャートに示した手法に従って、音響信号に埋め込む。これにより、音響信号に対応した楽曲コードが埋め込まれることになる。

楽曲コードを制御コードとして埋め込んだ音響信号は、楽曲コードに従って所定のコードネームに復号化し、コードネームに基づいて、あらかじめ指定した和音演奏パターン（ベタ打ち・分散和音・転回和音など音符配置や演奏テンポ）で演奏させるためのＭＩＤＩデータを発生させてＭＩＤＩシンセサイザを制御するために用いられる。ここで、このような場合の同期演奏システムの基本構成を図１５に示す。図１５に示す同期演奏システムは、図１に示した同期演奏システムとほぼ同じ構成であるが、抽出装置コンピュータ６が、抽出装置コンピュータ１における処理と若干異なる点と、映像・音楽プレーヤ３に代えて、ＭＩＤＩシンセサイザ７を有する点が異なっている。

上記のようにして得られた音響信号を、図１５に示した音響信号再生装置４で再生し、Ｌスピーカ５から流れる音を、マイクロフォン２で取得すると、取得された音響情報は、抽出装置コンピュータ６に取り込まれる。抽出装置コンピュータ６は、取得した音響信号からリアルタイムで楽曲コードを抽出する。抽出装置コンピュータ６は、抽出した楽曲コードを所定のコードネームに復号化し、コードネームに基づいて、あらかじめ指定した和音演奏パターンに展開したＭＩＤＩデータを発生させ、ＭＩＤＩシンセサイザ７に順次出力する。ＭＩＤＩシンセサイザ７では、受け取ったＭＩＤＩデータに対応する音響信号を再生する。音響信号再生装置４で再生される音響信号には、その時刻に対応した楽曲コードが記録されており、ＭＩＤＩシンセサイザ７では、その楽曲コードに対応するＭＩＤＩデータに従って再生を行うため、音響信号再生装置４から再生される音響信号に合わせて、ＭＩＤＩシンセサイザ７が伴奏するような状態となる。すなわち、制御コードを別途用意せずとも、音響信号を再生するだけで、他の機器の制御が可能になる。

なお、図８に示したように制御コードには、楽曲コード以外にＮＵＬＬ値も埋め込まれている。したがって、抽出装置コンピュータ６がＮＵＬＬ値が埋め込まれていたことを認識した場合には、ＮＵＬＬ値は考慮に入れず、ビット値が埋め込まれていたと認識される場合のみ、抽出したビット値を結合して楽曲コードを得ることになる。

（５．モノラル音響信号の場合）
上記実施形態においては、埋め込み装置、制御システムのいずれにおいても、左右のチャンネルを有するステレオ音響信号の左チャンネル信号に付加情報を埋め込む場合を例にとって説明したが、逆に右チャンネル信号に付加情報を埋め込むようにしても良い。その場合、〔数式３〕〜〔数式５〕において、Ａｌ（ｊ）とＡｒ（ｊ），およびＢｌ（ｊ）とＢｒ（ｊ）を入れ替えて処理すればよい。本発明は、左右の特性には無関係だからである。また、１つのチャンネルしかないモノラル音響信号に対して処理を行う場合は、上記実施形態において、左チャンネル信号に対して行った処理を行うことになる。その場合、〔数式１〕および〔数式３〕〜〔数式７〕において、Ａｒ（ｊ）とＢｒ（ｊ）を全て０として処理すれば良い。本発明は、１つのチャンネル信号に対して付加情報を埋め込み、また抽出を行うので、モノラル音響信号であってもステレオ音響信号であっても同様に行うことができる。ただし、ステレオ音響信号の場合のように、一方のチャンネル信号に付加情報を埋め込むことにより発生する信号の劣化を、もう一方のチャンネル信号で補正することができないため、再生品質の劣化は避けられなくなる。

図１６にステレオ音響信号とモノラル音響信号に対して、本発明により付加情報を埋め込む場合の概念図を示す。図１６（ａ）はステレオ音響信号の場合、図１６（ｂ）はモノラル音響信号の場合である。なお、図１６の例では、音響フレーム３つ分の低周波成分を波形で表現しており、埋め込むビット列は、付加情報中の“０”“１”の連続するビット列であり、間に区切りを挿入するものとしている。

ステレオ音響信号の場合、埋め込みは左チャンネル（Ｌ−ｃｈ）信号に対して行われる。図１６（ａ）に示すように、周波数変換後、信号分離し、さらに、ビット埋め込み処理を行う。具体的には、〔数式３〕〜〔数式５〕の処理の結果、ビット埋め込みがなされることになる。ここで、上述のように、“０”を埋め込む場合〔数式４〕、区切りモードである場合〔数式３〕、“１”を埋め込む場合〔数式５〕を用いる。したがって、ビット埋め込み処理後は、先頭（左端）の音響フレームは、第１低周波数帯の信号成分は０（図中、波形がないことで表現）、中央の音響フレームは、第１低周波数帯、第２低周波数帯の信号成分は共に０、最後尾（右端）の音響フレームは、第２低周波数帯の信号成分は０となる。この際、〔数式３〕〜〔数式５〕の内容から明らかなように、左チャンネル信号の削除された信号成分は、右チャンネル（Ｒ−ｃｈ）信号に加算される。したがって、図１６（ａ）の下段に示すように、右チャンネル信号の低周波成分は大きくなる。ビット埋め込み処理後は、高周波成分を含めて信号合成された後、周波数逆変換され、改変音響信号が得られることになる。

モノラル音響信号の場合、図１６（ｂ）に示すように、処理が行われるが、図１６（ａ）の上段と比較するとわかるように、ステレオ音響信号の左チャンネルと同様の処理が行われることになる。

（６．変形例）
以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態に限定されず、様々な形態で実施が可能である。例えば、上記実施形態では、制御対象の時系列駆動装置として、映像・音楽プレーヤ、ＭＩＤＩシンセサイザを用いたが、ゲーム機、玩具ロボット、電子楽器等を制御対象の時系列駆動装置とすることも可能である。また、制御対象の時系列駆動装置、抽出装置コンピュータ１、マイクロフォン２は物理的に分離している必要はなく、携帯電話機やＰＤＡ等に一体型で収められていても良い。

本発明に係る時系列駆動装置の制御システムの基本構成を示す図である。音響信号に制御コードを埋め込む装置の機能ブロック図である。図２に示した装置の処理概要を示すフローチャートである。図３に従った処理による低周波成分の変化の様子を示すである。図２の装置の他の手法による処理概要を示すフローチャートである。図５に従った処理による低周波成分の変化の様子を示すである。コードリスト、ダミーコード配列の一例を示す図である。ダミーコードリスト、本番コードリストの一例を示す図である。音響信号から制御コードを抽出する装置の機能ブロック図である。図９に示した装置の処理概要を示すフローチャートである。図１０のＳ３０２の符号判定処理の詳細を示すフローチャートである。図９の装置の他の手法による処理概要を示すフローチャートである。コードリスト、ダミーコード配列の他の例を示す図である。ダミーコードリスト、本番コードリストの他の例を示す図である。時系列駆動装置の制御システムの異なる構成を示す図である。付加情報の埋め込み処理の概念図である。

符号の説明

１、６・・・抽出装置コンピュータ
２・・・マイクロフォン
３・・・映像・音楽プレーヤ
４・・・音響信号再生装置
５・・・Ｌスピーカ
７・・・ＭＩＤＩシンセサイザ
１０・・・音響フレーム読込手段
２０・・・周波数変換手段
３０・・・低周波成分変更手段
４０・・・周波数逆変換手段
５０・・・改変音響フレーム出力手段
６０・・・記憶手段
６１・・・音響信号記憶部
６２・・・付加情報記憶部
６３・・・改変音響信号記憶部
７０・・・付加情報読込手段
１００・・・音響信号入力手段
１１０・・・基準フレーム獲得手段
１２０・・・位相変更フレーム設定手段
１３０・・・周波数変換手段
１４０・・・符号判定パラメータ算出手段
１５０・・・符号出力手段
１６０・・・付加情報抽出手段
１７０・・・音響フレーム保持手段

Claims

制御コードが埋め込まれた音響信号を再生した状態で、再生された音響信号から埋め込まれた制御コードを抽出し、抽出された制御コードにしたがって時系列駆動装置を制御する制御システムで用いられる音響信号に制御コードを埋め込む装置であって、
前記時系列駆動装置を制御するための制御コードを前記音響信号の演奏時刻位置に対応させたコードリストを入力するコードリスト入力手段と、
前記音響信号に対して、前記制御コードを前記コードリスト上の対応する演奏時刻位置に電子透かし手法により埋め込むコード埋め込み手段と、
を有することを特徴とする音響信号への制御コード埋込装置。
請求項１において、
前記コード埋め込み手段は、
前記音響信号に対してダミーコード配列を電子透かし手法により埋め込み、その際の各ダミーコードとそれを埋め込んだ演奏時刻との対応関係を記録したダミーコードリストを作成するダミーコード埋め込み手段と、
前記ダミーコードの各ダミーコードを対応する演奏時刻に近い演奏時刻を指示されている前記コードリスト上の制御コードに置換するダミーコードリスト更新手段と、
前記更新されたダミーコードリストの置換された制御コードを含む全コードを前記音響信号に対して電子透かし手法により埋め込む本番コード埋め込み手段と、
を有することを特徴とする音響信号への制御コード埋込装置。
あらかじめ聴取不能な状態で制御コードが埋め込まれた音響信号から、制御コードを抽出して、時系列駆動装置の制御を行うシステムであって、
前記制御コードが埋め込まれた音響信号を再生するための音響信号再生手段と、
前記音響信号再生手段により再生されている音響信号に対して、所定の信号区間を音響入力して、前記音響信号に埋め込まれている制御コードを抽出するコード抽出手段と、
前記コード抽出手段により抽出された制御コードを前記時系列駆動装置に送出して、前記時系列駆動装置に所定の作用を施す時系列駆動装置制御手段と、
を有することを特徴とする音響信号を用いた時系列駆動装置の制御システム。
請求項３において、
前記制御コードが埋め込まれた音響信号は、制御コードが埋め込まれる前の音響信号に対してダミーコード配列を電子透かし手法により埋め込み、その際の各ダミーコードとそれを埋め込んだ演奏時刻との対応関係を記録したダミーコードリストを作成するようにダミーコードを埋め込み、前記ダミーコードの各ダミーコードを対応する演奏時刻に近い演奏時刻を指示されているコードリスト上の制御コードに置換することにより更新し、前記更新されたダミーコードリストの置換された制御コードおよび置換されなかったダミーコードを含む全コードを前記音響信号に対して電子透かし手法により埋め込むことにより得られるものであることを特徴とする音響信号を用いた時系列駆動装置の制御システム。