JP2006195061A - 音響信号に対する情報の埋め込み装置、音響信号からの情報の抽出装置および音響信号再生装置 - Google Patents

Abstract

【課題】 ＣＤや放送で提供される複数チャンネルの音響信号に対して、原音質にほとんど影響を与えずに、大容量の属性情報を不可聴な電子透かしとして埋め込み、埋め込まれた属性情報を再生されている音響信号から抽出することが可能な音響信号に対する情報の埋め込み装置、音響信号からの情報の抽出装置および音響信号再生装置を提供する。
【解決手段】 ステレオ音響信号の各チャンネルの信号について、周波数変換を行い（Ｓ１）、低周波成分を抽出する（Ｓ２）。両チャンネルの低周波成分の合算が所定値以上である場合は（Ｓ３）、埋め込むべき属性情報の配列要素の値に応じて（Ｓ４）、低周波成分のチャンネル間の比率を変化させた後（Ｓ５）、高周波成分と統合して周波数逆変換を行い（Ｓ６）、得られた改変音響ブロックを合成して属性情報が埋め込まれた改変音響信号を得る。
【選択図】 図２

Description

本発明は、ＣＤ・ＤＶＤ等を用いた民生・業務用途における鑑賞用のパッケージ音楽分野、放送事業者等が商業目的で配信する放送・ネットワーク音楽配信分野における音楽著作権の保護（不正コピーの監視）および音楽属性情報の提供（楽曲タイトル検索サービス）分野に関する。

最近、流れている音楽のタイトル等を知ることができる楽曲属性情報の提供サービスとして、放送された音楽に対して日時と地域を放送局に照会したり、携帯電話で流れている音楽断片を録音してデータベースに登録されているメロディーと照合したりするサービスが実用化されている（例えば、特許文献１、２参照）。

特許文献１、２に記載の発明では、録音した音楽の断片と、データベースに登録されているメロディーと照合するため、データベースに登録される楽曲が増えると、処理負荷が増え、類似したメロディーを誤判定する可能性が増える。そこで、曲名やアーチスト情報などの楽曲属性情報を不可聴な電子透かしとして音響信号に埋め込む手法も提案されている（例えば、特許文献３〜６参照）。
特開２００２−２５９４２１号公報 特開２００３−１５７０８７号公報 特開平１１−１４５８４０号公報 特開平１１−２１９１７２号公報 特許第３３２１７６７号 特開２００３−９９０７７号公報

しかしながら、上記不可聴な電子透かしを埋め込む手法では、埋め込み可能な情報量が少なく、音質が少なからず劣化し、各種信号処理により透かし情報が消失し、またアナログコピーに対しては、透かし検出が困難であるという問題がある。

そこで、本発明は、ＣＤや放送で提供される複数チャンネルの音響信号に対して、原音質にほとんど影響を与えずに、大容量の属性情報を不可聴な電子透かしとして埋め込み、埋め込まれた属性情報を再生されている音響信号から抽出することが可能な音響信号に対する情報の埋め込み装置、音響信号からの情報の抽出装置および音響信号再生装置を提供することを課題とする。

上記課題を解決するため、本発明では、複数のチャンネルで構成され、各チャンネルが時系列のサンプル列で構成される音響信号に対して、属性情報を聴取不能な状態で埋め込む装置であって、前記音響信号の各チャンネルより、それぞれ所定数のサンプルを音響ブロックとして、所定数のサンプルを読み込む音響ブロック読込手段と、前記読み込んだ各音響ブロックに対して周波数変換を行い、前記各チャンネルに対応する複数のスペクトルブロックを生成する周波数変換手段と、前記生成された複数のスペクトルブロックから所定の周波数以下に相当する各スペクトル強度データを抽出し、前記埋め込むべき属性情報の情報配列の値に基づいて、チャンネル間で対応する前記スペクトル強度データの割合を変更するスペクトル変換手段と、前記変更されたスペクトル強度データを含む前記複数のスペクトルブロックに対して周波数逆変換を行い、複数の改変音響ブロックを生成する周波数逆変換手段と、前記生成された改変音響ブロックを順次出力する改変音響ブロック出力手段を有することを特徴とする音響信号に対する情報の埋め込み装置を提供する。

本発明によれば、複数のチャンネルで構成される音響信号に対して、各音響信号の低周波成分のチャンネル間の割合を、埋め込むべき属性情報の情報配列に基づいて変化させるようにしたので、複数チャンネルの音響信号に対して、原音質にほとんど影響を与えずに、大容量の属性情報を不可聴な電子透かしとして埋め込み、埋め込まれた属性情報を再生されている音響信号から抽出することが可能となるという効果を奏する。

以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．音響信号に対する情報の埋め込み装置）
図１は、本発明に係る音響信号に対する情報の埋め込み装置の構成を示す機能ブロック図である。図１において、１０は音響ブロック読込手段、２０は周波数変換手段、３０はスペクトル変換手段、４０は周波数逆変換手段、５０は改変音響ブロック出力手段、６０は記憶手段、６１は音響信号記憶部、６２は属性情報記憶部、６３は改変音響信号記憶部である。

音響ブロック読込手段１０は、属性情報の埋め込み対象とする元のステレオ音響信号の各チャンネルから所定数のサンプルを１ブロックとして読み込む機能を有している。周波数変換手段２０は、音響ブロック読込手段１０が読み込んだ音響信号のブロックをフーリエ変換等により周波数変換してスペクトルブロックを生成する機能を有している。スペクトル変換手段３０は、生成された複数のスペクトルブロックから所定の周波数以下に相当する各スペクトル強度データを抽出し、属性情報記憶部６２から抽出した属性情報に基づいて、チャンネル間で対応するスペクトル強度データの割合を変更する機能を有している。周波数逆変換手段４０は、変更されたスペクトル強度データを含む複数のスペクトルブロックに対して周波数逆変換を行うことにより、複数の改変音響ブロックを生成する機能を有している。改変音響ブロック出力手段５０は、生成された改変音響ブロックを連結して順次出力する機能を有している。記憶手段６０は、属性情報を埋め込む対象とするステレオ音響信号を記憶した音響信号記憶部６１と、情報配列として構成され、ステレオ音響信号に埋め込まれる属性情報を記憶した属性情報記憶部６２と、属性情報埋め込み後の改変音響信号を記憶する改変音響信号記憶部６３を有しており、その他処理に必要な各種情報を記憶するものである。図１に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。

次に、図１に示した音響信号に対する情報の埋め込み装置の処理動作について説明する。まず、音響ブロック読込手段１０は、音響信号記憶部６１に記憶されたステレオ音響信号の各チャンネルから、それぞれ所定数のサンプルを１音響ブロックとして読み込む。音響ブロック読込手段１０が読み込む１音響ブロックのサンプル数は、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすることが望ましい。したがって、音響ブロック読込手段１０は、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次音響ブロックとして読み込んでいくことになる。音響ブロックは、隣接する音響ブロックとサンプルが重複するように読み込んで行く。例えば、先頭の音響ブロックがサンプル番号１から４０９６までとしたら、２番目の音響ブロックはサンプル番号２０４９から６１４４までとし、３番目の音響ブロックはサンプル番号４０９７から８１９２までとする。この場合、隣接する音響ブロックにおいて、２０４８サンプルづつ重複して符号化することになる。このように音響ブロックを、区間を重複させて設定するのは、音響ブロックの変わり目で、ノイズが発生するのを防ぐためである。重複したサンプルについて、埋め込み後に信号レベルが不連続にならないようにするために、後述するようにフーリエ変換する際には、窓関数を乗じるようにしている。

続いて、周波数変換手段２０は、読み込んだ各音響ブロックに対して、周波数変換を行ってスペクトルブロックを得る。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができる。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。フーリエ変換を行う場合、左チャンネル信号ｘｌ（ｉ）、右チャンネル信号ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、以下の〔数式１〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。

〔数式１〕
Ａｌ（ｊ）＝Σ_i=0,…,N-1ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（ｊ）＝Σ_i=0,…,N-1ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（ｊ）＝Σ_i=0,…,N-1ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（ｊ）＝Σ_i=0,…,N-1ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）

〔数式１〕において、ｉは、各音響ブロック内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。この際、音響信号ｘｌ（ｉ）、ｘｒ（ｉ）には、それぞれＷ（ｉ）＝０．５−０．５・ｃｏｓ（２πｉ／Ｎ）で表現される窓関数（ハニング窓）を重みとして乗じる。このような窓関数は、フーリエ変換を行う際に、周波数成分に波形を分断することにより発生する高周波ノイズを低減するためと、フーリエ逆変換を行う際に解析区間の間で信号レベルが不連続にならないように連結させるために用いられるものであり、周知の技術である。

上記〔数式１〕に従った処理を実行することにより、周波数に対応した成分であるスペクトルで表現されたスペクトルブロックが得られる。続いて、スペクトル変換手段３０が、生成された複数のスペクトルブロックから所定の周波数以下のスペクトル強度データを抽出する。所定の周波数として、本実施形態では、２００Ｈｚ程度を設定している。したがって、周波数が２００Ｈｚ以下のスペクトル強度データを抽出することになる。周波数２００Ｈｚ付近は、上記ｊが２０に相当するので、上記〔数式１〕により算出された実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）のうち、ｊ≦２０のものを抽出する。

続いて、スペクトル変換手段３０は、抽出した実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を利用して、以下の〔数式２〕によりｊ＝１〜Ｍ（２００Ｈｚ以下を抽出する場合は、２０）までのスペクトル強度の合計値を算出する。

〔数式２〕
Ｅ＝Σ_j=1,…_,M｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²＋Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝

上記〔数式２〕により算出されたＥは、スペクトルブロックにおける低周波成分の合算値を示すことになる。続いて、この合算値Ｅがレベル下限値以上であるかどうかの判定を行う。レベル下限値は、音響信号ｘｌ（ｉ）、ｘｒ（ｉ）の振幅最大値が１に正規化されている場合、０．００４に設定する。したがって、例えば、量子化ビット数１６ビットでサンプリングした場合は、ｘｌ（ｉ）、ｘｒ（ｉ）は−３２７６８〜３２７６７の値をとり得るので、レベル下限値は４２９４９６７（＝３２７６８×３２７６８×０．００４）程度に設定されることになる。合算値Ｅがレベル下限以上であるかどうかを判断するのは、信号の強度が小さいと、信号を変化させても、その変化を抽出側で検出することができないためである。したがって、信号の強度がある程度以上である場合に、以下の変更処理を行うことになる。

合算値Ｅがレベル下限以上である場合、スペクトル変換手段３０は、属性情報記憶部６２から抽出した属性情報の情報配列の各配列要素の値に応じて、スペクトルの左右分布を変更する。属性情報記憶部６２に記憶された属性情報の情報配列は、デジタルデータであるため、当然のことながら、ビット配列として構成されている。このようなビット配列を埋め込み装置により音響信号に埋め込み、抽出装置により全く同じビット配列が抽出できれば本発明の目的は達成されることになる。しかし、抽出側においては、埋め込まれた箇所を正しく認識できないと、属性情報を正しく抽出することができない。そこで、ここでは、属性情報の情報配列間に、区切りを示す情報を挿入すると共に、元の情報配列がとり得る２値と、区切りを示す情報がとる値を加えた３値の配列である３値配列を作成する。具体的には、情報配列がとり得る第１の値（例えば０）、第２の値（例えば１）に加え、第３の値（例えば−１）を加えることにより３値配列とする。ただし、区切りを示すデータを、元の情報配列と明確に区別するために、ここでは、第１の値と第３の値を入れ換え、第１の値を−１、第２の値を＋１、第３の値を０としている。そして、この３値配列の各配列要素の値に応じて以下の〔数式３〕〜〔数式５〕のいずれかに従った処理を実行することにより、スペクトルの左右分布を変更する。配列要素の値が＋１の場合、以下の〔数式３〕に従った処理を実行する。

〔数式３〕
Ｅ（ｊ）＝｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²＋Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ａｒ（ｊ）＝Ａｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ｂｒ（ｊ）＝Ｂｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ａｌ（ｊ）＝０
Ｂｌ（ｊ）＝０

配列要素の値が−１の場合、以下の〔数式４〕に従った処理を実行する。

〔数式４〕
Ｅ（ｊ）＝｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²＋Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ａｌ（ｊ）＝Ａｌ（ｊ）・Ｅ（ｊ）／｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²｝^1/2
Ｂｌ（ｊ）＝Ｂｌ（ｊ）・Ｅ（ｊ）／｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²｝^1/2
Ａｒ（ｊ）＝０
Ｂｒ（ｊ）＝０

配列要素の値が０の場合、以下の〔数式５〕に従った処理を実行する。

〔数式５〕
Ｅ（ｊ）＝０．５・｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²＋Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ａｌ（ｊ）＝Ａｌ（ｊ）・Ｅ（ｊ）／｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²｝^1/2
Ｂｌ（ｊ）＝Ｂｌ（ｊ）・Ｅ（ｊ）／｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²｝^1/2
Ａｒ（ｊ）＝Ａｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2
Ｂｒ（ｊ）＝Ｂｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝^1/2

上記〔数式３〕〜〔数式５〕のいずれかに従った処理を実行することにより、３値配列の配列要素の値に応じて、低周波数成分が左チャンネル、右チャンネル、左右チャンネル均等のいずれかのパターンに変更されることになる。スペクトル変換手段３０は、上記の〔数式２〕〜〔数式５〕に基づく処理を、各チャンネルの音響信号から読み込んだ各音響ブロックに対して行う。３値配列の１配列要素は、１音響ブロックに対応している。また、上述のように、属性情報の情報配列間に、区切りを示す情報を挿入したものが３値配列であるため、３値配列の配列要素の数は、元の情報の２倍となる。したがって、ある情報配列を埋め込もうとした場合、少なくともその情報配列が有する配列要素の２倍以上の音響ブロックが必要となる。

次に、周波数逆変換手段４０が、スペクトル強度データの割合が変更されたスペクトルブロックを周波数逆変換して改変音響ブロックを得る処理を行う。この周波数逆変換は、当然のことながら、周波数変換手段２０において実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段２０において、フーリエ逆変換を施しているため、周波数逆変換手段４０は、フーリエ逆変換を実行することになる。具体的には、上記〔数式３〕〜〔数式５〕のいずれかにより得られたスペクトルの左チャンネルの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を用いて、以下の〔数式６〕に従った処理を行い、ｘｌ（ｉ）、ｘｒ（ｉ）を算出する。

〔数式６〕
ｘ´ｌ（ｉ）＝１／Ｎ・｛Σ_j=0,…,N-1Ａｌ（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_j=0,…,N-1Ｂｌ（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝
ｘ´ｒ（ｉ）＝１／Ｎ・｛Σ_j=0,…,N-1Ａｒ（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_j=0,…,N-1Ｂｒ（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝

上記〔数式６〕により改変音響ブロックの左チャンネルの各サンプルｘ´ｌ（ｉ）、右チャンネルの各サンプルｘ´ｒ（ｉ）、が得られることになる。改変音響ブロック出力手段５０は、得られた改変音響ブロックを隣接する改変音響ブロックと連結して出力ファイルに出力する。上述のように、音響ブロックは、音響ブロック読込手段１０により音響信号から読み込む際、隣接する音響ブロックに同一のサンプルが重複して含まれるように処理されている。したがって、音響ブロック出力手段５０においては、重複して読み込まれたサンプルについて、隣接する両音響ブロックの各サンプルの値を合算した値として、出力ファイルに記録していく。以上のような処理を音響信号の両チャンネルの全サンプルに渡って実行していくことにより、全ての改変音響ブロックが出力ファイルに記録されて、改変音響信号として得られる。得られた改変音響信号は、記憶手段６０内の改変音響信号記憶部６３に出力され、記憶される。

ここで、左右のチャンネルの信号の流れに着目した場合の上記埋め込み装置における処理のフローチャートを図２に示す。まず、各チャンネルから読み込まれた音響ブロックに対して周波数変換手段２０により周波数変換が行われた後（ステップＳ１）、スペクトル変換手段３０が低周波成分を抽出する（ステップＳ２）。ここまでは、各チャンネルについて独立して行われる。スペクトル変換手段３０は、さらに、〔数式２〕に従って算出した低周波成分の合算値が下限レベル以上であるかの確認を行い（ステップＳ３）、埋め込むべき属性情報の情報配列から変換された３値配列の配列要素の確認を行って（ステップＳ４）、その配列要素の値に従って、〔数式３〕から〔数式５〕に従って左チャンネルへ定位、センター定位、右チャンネルへ定位のいずれかの処理を行う（ステップＳ５）。続いて、各チャンネルの低周波成分と高周波成分を合成して周波数逆変換を行い（ステップＳ６）、得られた改変音響ブロックを連結して、左右それぞれのチャンネルの改変音響信号を得る（ステップＳ７）。

上記の例では、音響ブロック読込手段１０は、隣接する音響ブロックとサンプルが重複するように音響ブロックを読み込むようにしたが、全く重複させずに読み込むようにしても良い。例えば、先頭の音響ブロックがサンプル番号１から４０９６までとしたら、２番目の音響ブロックはサンプル番号４０９７から８１９２までとなる。この場合、改変音響ブロック出力手段５０は、得られた改変音響ブロックの連結処理を行う必要なく、順次出力ファイルに出力することになる。

（２．音響信号からの情報の抽出装置）
次に、本発明に係る音響信号からの情報の抽出装置について説明する。図３は、本発明に係る音響信号からの情報の抽出装置の一実施形態を示す構成図である。図３において、１００は音響信号入力手段、１１０は音響ブロック獲得手段、１２０は周波数変換手段、１３０はスペクトル比率符号化手段、１４０は属性情報抽出手段である。

音響信号入力手段１００は、流れている音声をデジタル音響信号として取得し、入力する機能を有している。現実には、マイクロフォンおよびＡ／Ｄ変換器により実現される。マイクロフォンとしては、左右の２チャンネルからの音声入力が可能な指向性マイクであることが必要である。音響ブロック獲得手段１１０は、入力されたデジタルのステレオ音響信号の各チャンネルから所定数のサンプルを１ブロックとして読み込む機能を有している。したがって、図１に示した音響ブロック読込手段１０と同様の処理を行うものであるが、隣接する音響ブロックと重複させるサンプルの数が音響ブロック読込手段１０とは異なっている。周波数変換手段１２０は、図１に示した周波数変換手段２０と同様の機能を有している。スペクトル比率符号化手段１３０は、生成された複数のスペクトルブロックから所定の周波数以下に相当する各スペクトル強度データを抽出し、各チャンネルごとに各スペクトル強度データの総和値を算出し、その総和値のチャンネル間比率に基づいて、所定の符号を出力する機能を有している。属性情報抽出手段１４０は、スペクトル比率符号化手段１３０により出力された符号の集合である３値配列を、所定の規則により変換して意味のある属性情報として抽出する機能を有している。図２に示した各構成手段は、現実には情報処理機能を有する小型のコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。特に、本発明の目的をより簡易に達成するためには、携帯型端末装置をハードウェアとして用いることが望ましい。

次に、図１に示した音響信号からの情報の抽出装置の処理動作について説明する。利用者が流れている音楽について、その楽曲名等の属性情報を知りたいと思った場合、まず、抽出装置に対して、抽出装置としての起動の指示を行う。これは、例えば、抽出装置を携帯電話機等の携帯端末で実現している場合は、所定のボタンを操作することにより実行できる。抽出装置は、指示が入力されると、音響信号入力手段１００が、流れている音楽を録音し、デジタル化してデジタル音響信号として入力する。具体的には、指向性マイクロフォンの左右から入力される音声を、それぞれＡ／Ｄ変換器によりデジタル化する処理を行うことになる。

続いて、音響ブロック獲得手段１１０が、音響信号入力手段１００から入力されたステレオ音響信号の各チャンネルから、それぞれ所定数のサンプルを１音響ブロックとして読み込む。音響ブロック獲得手段１１０が読み込む１音響ブロックのサンプル数は、図１に示した音響ブロック読込手段１０で設定されたものと同一にする必要がある。したがって、本実施形態の場合、音響ブロック獲得手段１１０は、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次音響ブロックとして読み込んでいくことになる。音響ブロック獲得手段１１０においても、音響ブロックは、隣接する音響ブロックとサンプルが重複するように読み込んで行くが、音響ブロック読込手段１０よりも重複させるサンプル数を多くする必要がある。具体的には、重複していない部分のサンプル数が、音響ブロック読込手段１０の１／２以下となるように設定することが好ましい。本実施形態では、音響ブロック読込手段１０では、１音響ブロックを構成する４０９６サンプルの半数の２０４８サンプルを重複させ、残りの２０４８サンプルを重複させないようにしたので、音響ブロック獲得手段１１０では、重複させないサンプルを音響ブロック読込手段１０の１／２の１０２４とし、３０７２サンプルを重複させる。例えば、先頭の音響ブロックがサンプル番号１から４０９６までとしたら、２番目の音響ブロックはサンプル番号１０２５から５１２０までとし、３番目の音響ブロックはサンプル番号２０４９から６１４４までとする。この場合、隣接する音響ブロックにおいて、３０７２サンプルづつ重複して符号化することになる。このように音響ブロックを、埋め込み時よりもより多く重複させて設定するのは、埋め込み時とのタイミングの位置ずれを考慮したためである。

続いて、周波数変換手段１２０は、読み込んだ各音響ブロックに対して、周波数変換を行ってスペクトルブロックを得る。この処理は、図１に示した周波数変換手段２０における処理と同様である。したがって、本実施形態では、上記〔数式１〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。この際、音響信号ｘｌ（ｉ）、ｘｒ（ｉ）には、それぞれＷ（ｉ）＝０．５−０．５・ｃｏｓ（２πｉ／Ｎ）で表現される窓関数（ハニング窓）を重みとして乗じる処理も、周波数変換手段２０と同様に行われる。

上記周波数変換手段１２０における処理により、周波数に対応した成分であるスペクトルで表現されたスペクトルブロックが得られる。続いて、スペクトル比率符号化手段１３０は、生成された複数のスペクトルブロックから所定の周波数範囲の各スペクトル強度データを抽出する。抽出すべき周波数範囲は、埋め込み装置と対応させる必要がある。したがって、ここでは、周波数が２００Ｈｚ以下のスペクトル強度データを抽出することになり、埋め込み装置の場合と同様、上記〔数式１〕により算出された実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）のうち、ｊ≦２０のものを抽出する。

続いて、スペクトル比率符号化手段１３０は、埋め込み装置のスペクトル変換手段３０と同様、抽出した実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を利用して、上記〔数式２〕によりｊ＝１〜Ｍ（例えば２０）までのスペクトル強度の合計値Ｅを算出する。さらに、スペクトル変換手段３０と同様、この合算値Ｅがレベル下限値以上であるかどうかの判定を行う。

合算値Ｅがレベル下限以上である場合、以下の〔数式７〕に従った処理を実行する。

〔数式７〕
Ｅｌ＝Ｃｌ・Σ_j=1,…,M｛Ａｌ（ｊ）²＋Ｂｌ（ｊ）²｝
Ｅｒ＝Ｃｒ・Σ_j=1,…,M｛Ａｒ（ｊ）²＋Ｂｒ（ｊ）²｝

上記〔数式７〕において、Ｃｌ、Ｃｒはキャリブレーションデータを用いた補正係数であり、抽出装置の利用環境に応じて設定されるが、本実施形態では、共にＣｌ＝Ｃｒ＝１と設定してある。さらに、スペクトル比率符号化手段１３０は、上記算出されたＥｌ、Ｅｒの比較判定を以下の〔数式８〕に従って行い、比較結果に対応する符号を出力する。

〔数式８〕
Ｅｒ／Ｅｌ＞４の場合、埋め込みデータ＝＋１
Ｅｌ／Ｅｒ＞４の場合、埋め込みデータ＝−１
その他の場合、埋め込みデータ＝０

スペクトル比率符号化手段１３０は、各チャンネルごとの各スペクトルブロックに対して、上記符号を出力する。

上記スペクトル比率符号化手段１３０により出力された符号は、上記埋め込み装置において説明した３値配列の各配列要素となっている。属性情報抽出手段１４０は、まず、スペクトル比率符号化手段１３０により出力された符号の集合である３値配列から、元の情報配列を復元する。具体的には、３値配列の配列要素のうち、値が０となっている配列要素を削除し、値が−１である配列要素の値を０に変更し、０、１の２値の値をとる配列要素に変換する。この配列要素の集合が元の情報配列となる。続いて、この情報配列を、所定の規則により変換して意味のある属性情報として抽出する。所定の規則としては、情報を埋め込む者が意図した情報が受け取った者に認識可能な状態とできるものであれば、さまざまな規則が適用できるが、本実施形態では、文字情報として認識するための規則としている。すなわち、属性情報抽出手段１４０は、スペクトル比率符号化手段１３０から出力される符号を８ビット（１バイト）又は１６ビット（２バイト）単位で認識し、これを設定されたコード体系に従って文字情報を認識する。このようにして得られた文字情報は、表示装置（図示省略）の画面に表示出力される。

従って、埋め込み装置により音響信号に、その楽曲の曲名やアーチスト等の属性情報を文字情報として埋め込んでおけば、利用者は、その音楽が流れているのを聞いて、その曲名やアーチストを知りたいと思ったときに、抽出装置として機能する自身の携帯端末に所定の操作を行えば、自身の携帯端末の画面に曲名やアーチスト等の属性情報が文字情報として表示されることになる。

上記の例では、音響ブロック獲得手段１１０は、隣接する音響ブロックとサンプルが重複するように音響ブロックを読み込むようにしたが、全く重複させずに読み込むようにしても良い。例えば、先頭の音響ブロックがサンプル番号１から４０９６までとしたら、２番目の音響ブロックはサンプル番号４０９７から８１９２までとなる。

（３．音響信号再生装置）
次に、本発明に係る音響信号再生装置について説明する。図４は、本発明に係る音響信号再生装置の一実施形態を示す構成図である。図３において、２００は音響ブロック読込手段、２１０は周波数変換手段、２２０はスペクトル比率符号化手段、２３０は属性情報表示手段、２４０は再生ブロック投入手段、２５０は再生ブロック蓄積手段、２６０はサウンドデバイスドライバ、２６１はサウンドデバイス、２６２はタイマーである。

音響ブロック読込手段２００は、図１に示した音響ブロック読込手段１０と同様、ステレオ音響信号の各チャンネルから所定数のサンプルを１ブロックとして読み込む機能を有している。音響ブロック読込手段２００により読み込まれた各音響ブロックは、周波数変換手段２１０、再生ブロック投入手段２４０の２系統において処理されることになる。周波数変換手段２１０は、図１に示した周波数変換手段２０、図３に示した周波数変換手段１２０と同様、読み込んだ音響信号のブロックをフーリエ変換等により周波数変換してスペクトルブロックを生成する機能を有している。スペクトル比率符号化手段２２０は、図３に示したスペクトル比率符号化手段１３０と同様、生成された複数のスペクトルブロックから所定の周波数以下に相当する各スペクトル強度データを抽出し、各チャンネルごとに各スペクトル強度データの総和値を算出し、その総和値のチャンネル間比率に基づいて、所定の符号を出力する機能を有している。属性情報表示手段２３０は、スペクトル比率符号化手段２２０により出力された符号の集合である３値配列を、所定の規則により変換して意味のある属性情報として抽出し、表示出力する機能を有している。

再生ブロック投入手段２４０は、音響ブロック読込手段２００により読み込まれた各音響ブロックを再生ブロック蓄積手段２５０に投入する機能を有している。ただし、再生ブロック投入手段２４０は、単純に音響ブロックを投入するだけでなく、後述するように、再生ブロック蓄積手段２５０に空きが無い場合は、音響ブロックの投入を制御する機能も有している。再生ブロック蓄積手段２５０は、音響ブロックを蓄積するバッファメモリを複数有しており、これらのバッファメモリに蓄積された音響ブロックを、ＦＩＦＯ（ファーストイン・ファーストアウト）方式、すなわち、先に入ってきた情報が、先に出ていく方式で処理する機能を有している。すなわち、再生ブロック蓄積手段２５０は、再生ブロック投入手段２４０から投入された音響ブロックを投入された順序で蓄積し、その順序でサウンドデバイスドライバ２６０に渡す機能を有することとなる。サウンドデバイスドライバ２６０は、サウンドデバイス２６１を駆動させて音響ブロックを音響再生する機能を有しており、サウンドデバイス２６１は、デジタルデータである音響ブロックをＤ／Ａ変換して音声として再生する機能を有している。すなわち、サウンドデバイスドライバ２６０およびサウンドデバイス２６１は音響ブロック再生手段として機能することになる。タイマー２６２は、サウンドデバイスによる音響信号の再生と、外部機器の音響信号の再生とのタイミングをとるために利用するタイマーであり、コンピュータにおいて時刻管理を行うタイマーと共用されている。

次に、図４に示した音響信号の再生装置の処理動作について説明する。図１に示した埋め込み装置により属性情報が埋め込まれた改変音響信号を記録した記録媒体を再生装置において再生すると、まず、音響ブロック読込手段２００が記録媒体から読み取られたステレオ音響信号の各チャンネルから、それぞれ所定数のサンプルを１音響ブロックとして読み込む。音響ブロック読込手段２００が読み込む１音響ブロックのサンプル数も、図１に示した音響ブロック読込手段１０で設定されたものと同一にする必要がある。したがって、本実施形態の場合、音響ブロック読込手段２００は、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次音響ブロックとして読み込んでいくことになる。音響ブロック読込手段２００においては、図１に示した音響ブロック読込手段１０と同様、音響ブロックを、隣接する音響ブロックとサンプルが重複するように読み込んで行く。この場合、重複させるサンプル数は、音響ブロック読込手段１０で重複させたサンプル数と同一とし、１音響ブロックを構成する４０９６サンプルの半数の２０４８サンプルとする。

続いて、周波数変換手段２１０は、読み込んだ各音響ブロックに対して、周波数変換を行ってスペクトルブロックを得る。この処理は、図１に示した周波数変換手段２０、図２に示した周波数変換手段１２０における処理と同様である。したがって、本実施形態では、上記〔数式１〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。この際、音響信号ｘｌ（ｉ）、ｘｒ（ｉ）には、それぞれＷ（ｉ）＝０．５−０．５・ｃｏｓ（２πｉ／Ｎ）で表現される窓関数（ハニング窓）を重みとして乗じる処理も、周波数変換手段２０、周波数変換手段１２０と同様に行われる。

上記周波数変換手段２１０における処理により、周波数に対応した成分であるスペクトルで表現されたスペクトルブロックが得られる。続いて、スペクトル比率符号化手段２２０は、図２に示したスペクトル比率符号化手段２２０と同様の処理により、生成された複数のスペクトルブロックから所定の周波数以下の各スペクトル強度データを抽出する。

続いて、スペクトル比率符号化手段２２０は、図３に示した抽出装置のスペクトル比率符号化手段１３０と同様、抽出した実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を利用して、上記〔数式２〕によりｊ＝１〜Ｍ（例えば２０）までのスペクトル強度の合計値Ｅを算出する。さらに、スペクトル比率符号化手段１３０と同様、この合算値Ｅがレベル下限値以上であるかどうかの判定を行う。合算値Ｅがレベル下限以上である場合、上記〔数式７〕に従った処理を実行する。

スペクトル比率符号化手段２２０は、スペクトル比率符号化手段１３０と同様、各チャンネルごとの各スペクトルブロックに対して、上記符号を出力する。

続いて、属性情報表示手段２３０が、属性情報表示手段１４０と同様の処理により、スペクトル比率符号化手段２２０により出力された符号の集合である３値配列を、所定の規則により変換して意味のある属性情報として抽出する。したがって、本実施形態では、スペクトル比率符号化手段２２０から出力される符号を８ビット又は１６ビット単位で認識し、これを設定されたコード体系に従って文字情報を認識し、画面に表示出力する。

一方、音響ブロック読込手段２００により読み込まれた音響ブロックは、再生ブロック投入手段２４０により再生ブロック蓄積手段２５０に蓄積されていく。本実施形態では、再生ブロック蓄積手段２５０に４ブロックまで蓄積可能となっているため、４ブロック蓄積されるまでは、サウンドデバイスドライバ２６０による処理は開始されない。図３に示すように、再生ブロック蓄積手段２５０に音響ブロックが４ブロック蓄積されると、サウンドデバイスドライバ２６０が、再生ブロック蓄積手段２５０に蓄積された音響ブロックのうち先頭の音響ブロックを音響再生する。具体的には、サウンドデバイス２６１が音響ブロックのデータをＤ／Ａ変換してスピーカに出力することになる。音響再生された音響ブロックは、再生ブロック蓄積手段２５０から削除される。

音響ブロックが削除されて、再生ブロック蓄積手段２５０内に余裕ができると、再生ブロック投入手段２４０から音響ブロックが再生ブロック蓄積手段２５０に投入される。これにより、再生ブロック蓄積手段２５０内は再び最大容量まで蓄積されることになる。読み込まれた音響ブロックは、現実には、ＣＰＵが再生ブロック投入手段２４０として機能することにより、再生ブロック蓄積手段２５０内に投入される。この再生ブロック投入手段２４０は、音響ブロックを再生ブロック蓄積手段２５０に単純に投入するだけでなく、再生ブロック蓄積手段２５０に空きが無い場合は、音響ブロック読込手段２００、周波数変換手段２１０、スペクトル比率符号化手段２２０、属性情報表示手段２３０、に対して処理を中断するメッセージを送り、再生ブロック蓄積手段２５０への音響ブロックの投入を制御している。

一方、サウンドデバイス２６１は、再生ブロック蓄積手段２５０に蓄積された音響ブロックのうち先頭の音響ブロックを順次音響再生していく。この際、サウンドデバイス２６１は、１つの音響ブロックの音響再生を終了する度に、音響ブロック読込手段２００、周波数変換手段２１０、スペクトル比率符号化手段２２０、属性情報表示手段２３０、再生ブロック投入手段２４０に対して各処理の実行を許可するメッセージを送る。

ここで、上記再生装置における音響再生側、すなわち再生ブロック投入手段２４０、再生ブロック蓄積手段２５０、サウンドデバイスドライバ２６０の処理の概要を整理して図５のフローチャートに示す。まず、再生ブロック投入手段２４０が、再生ブロック蓄積手段２５０内に空いているバッファメモリが存在するかどうかを探索する（ステップＳ１１）。空いているバッファメモリが存在しない場合は、音響ブロック読込手段２００に対して処理を中断するメッセージを送り、サウンドデバイス２６１からの再生終了メッセージの受信待ちとする（ステップＳ１２）。サウンドデバイスドライバ２６１からの再生終了メッセージがあった場合には、再生が終了した音響ブロックを格納していたバッファメモリから削除して再生終了バッファを空きバッファに設定する（ステップＳ１３）。サウンドデバイス２６１からの再生終了メッセージは、同時に音響ブロック読込手段２００、周波数変換手段２１０、スペクトル比率符号化手段２２０、属性情報表示手段２３０、再生ブロック投入手段２４０にも送信されるため、音響ブロック読込手段２００、再生ブロック投入手段２４０が処理を再開する（ステップＳ１４）。続いて、空いているバッファメモリに音響ブロックが格納される（ステップＳ１５）。一方、サウンドデバイス２６１では、常に、再生ブロック蓄積手段２５０内のバッファメモリを探索しており（ステップＳ１６）、音響ブロックが存在する場合には、音響ブロックを再生する（ステップＳ１７）。１つの音響ブロックの再生を待ち（ステップＳ１８）、再生が終了したら、再生終了メッセージを音響ブロック読込手段２００、再生ブロック投入手段２４０に送信する（ステップＳ１９）。

図５に示した音響信号再生装置は、音響信号については、それが属性情報が埋め込まれているか否かに関わらず、同様に音響再生処理を行う。したがって、属性情報が埋め込まれていない音響信号もそのまま音響再生されることになる。音響信号のうち、属性情報が埋め込まれている部分については、低周波成分は、双方のチャンネルに均等に存在するか、あるいはどちらか一方のチャンネルに偏在するかの３通りの分布しかないことになる。しかし、高周波成分については、元の音響信号のままであるので、両チャンネルから制作者の設定に基づいた種々な分布になる。人間の聴覚は、高周波成分については、方向性を感知し易いが、低周波成分については、方向性を感知しにくくなっている。したがって、低周波成分が一方に偏っていても、聴いている人にとっては、通常の音響信号と変わりなく聴こえることになる。

本発明に係る音響信号に対する情報の埋め込み装置の機能ブロック図である。 図１に示した装置の処理概要を示すフローチャートである。 本発明に係る音響信号からの情報の抽出装置の機能ブロック図である。 本発明に係る音響信号再生装置の機能ブロック図である。 図４に示した装置の処理概要を示すフローチャートである。

符号の説明

１０・・・音響ブロック読込手段
２０・・・周波数変換手段
３０・・・スペクトル変換手段
４０・・・周波数逆変換手段
５０・・・改変音響ブロック出力手段
６０・・・記憶手段
６１・・・音響信号記憶部
６２・・・属性情報記憶部
６３・・・改変音響信号記憶部
１００・・・音響信号入力手段
１１０・・・音響ブロック獲得手段
１２０・・・周波数変換手段
１３０・・・スペクトル比率符号化手段
１４０・・・属性情報抽出手段
２００・・・音響ブロック読込手段
２１０・・・周波数変換手段
２２０・・・スペクトル比率符号化手段
２３０・・・属性情報表示手段
２４０・・・再生ブロック投入手段
２５０・・・再生ブロック蓄積手段
２６０・・・サウンドデバイスドライバ
２６１・・・サウンドデバイス
２６２・・・タイマー

Claims (9)

1. 複数のチャンネルで構成され、各チャンネルが時系列のサンプル列で構成される音響信号に対して、属性情報を聴取不能な状態で埋め込む装置であって、
   前記音響信号の各チャンネルより、それぞれ所定数のサンプルを音響ブロックとして、所定数のサンプルを読み込む音響ブロック読込手段と、
   前記読み込んだ各音響ブロックに対して周波数変換を行い、前記各チャンネルに対応する複数のスペクトルブロックを生成する周波数変換手段と、
   前記生成された複数のスペクトルブロックから所定の周波数以下に相当する各スペクトル強度データを抽出し、前記埋め込むべき属性情報の情報配列の値に基づいて、チャンネル間で対応する前記スペクトル強度データの割合を変更するスペクトル変換手段と、
   前記変更されたスペクトル強度データを含む前記複数のスペクトルブロックに対して周波数逆変換を行い、複数の改変音響ブロックを生成する周波数逆変換手段と、
   前記生成された改変音響ブロックを順次出力する改変音響ブロック出力手段と、
   を有することを特徴とする音響信号に対する情報の埋め込み装置。
2. 請求項１において、
   前記音響ブロック読込手段は、隣接する音響ブロックと所定の割合のサンプル数だけ重複させて読み込み、読み込んだ音響ブロック全体に所定の窓関数を乗じて前記周波数変換手段に渡すものであり、
   前記改変音響ブロック出力手段は、前記生成された改変音響ブロックを隣接する改変音響ブロックと連結させて出力するものであることを特徴とする音響信号に対する情報の埋め込み装置。
3. 請求項１において、
   前記スペクトル変換手段は、所定の周波数以下に相当する各スペクトル強度データとして、２００Ｈｚ未満の低周波領域に相当する各スペクトル強度データを抽出するものであることを特徴とする音響信号に対する情報の埋め込み装置。
4. 請求項１において、
   前記複数のチャンネルで構成される音響信号が、左右２チャンネルで構成される音響信号であり、
   前記属性情報の情報配列が第１の値と第２の値をとり得るビット列であり、
   前記スペクトル変換手段は、前記情報配列の各ビット間に第３の値を配列要素とする３値情報配列に変換し、当該３値情報配列の配列要素の値が前記第１の値である場合に、前記左チャンネルのみに分布するものとし、前記３値情報配列の配列要素の値が前記第２の値である場合に、前記右チャンネルのみに分布するものとし、前記３値情報配列の配列要素の値が前記第３の値である場合に、左右チャンネル均等分布としてチャンネル間で対応する前記スペクトル強度データの割合を変更するものであることを特徴とする音響信号に対する情報の埋め込み装置。
5. 複数のチャンネルで構成される音響信号に対して、あらかじめ前記音響信号に聴取不能な状態で埋め込まれた属性情報を抽出する装置であって、
   前記音響信号の各チャンネルの所定の区間をデジタル化して、所定数のサンプルで構成される音響ブロックを、各チャンネルに対応して複数個獲得する音響ブロック獲得手段と、
   前記獲得した各音響ブロックに対して周波数変換を行い、前記各チャンネルに対応する複数のスペクトルブロックを生成する周波数変換手段と、
   前記生成された複数のスペクトルブロックから所定の周波数以下に相当する各スペクトル強度データを抽出し、各チャンネルごとに各スペクトル強度データの総和値を算出し、当該総和値のチャンネル間比率に基づいて、所定の符号を出力するスペクトル比率符号化手段と、
   前記出力された符号に対応する情報配列を、所定の規則により変換して属性情報を抽出する属性情報抽出手段と、
   を有することを特徴とする音響信号からの情報の抽出装置。
6. 請求項５において、
   音響ブロック獲得手段は、隣接する音響ブロックと所定の割合のサンプル数だけ重複させて読み込み、読み込んだ音響ブロック全体に所定の窓関数を乗じて前記周波数変換手段に渡すようにしていることを特徴とする音響信号からの情報の抽出装置。
7. 複数のチャンネルで構成される音響信号に対して、あらかじめ前記音響信号に聴取不能な状態で埋め込まれた属性情報を抽出しながら音響再生する装置であって、
   前記音響信号の各チャンネルより、それぞれ所定数のサンプルを音響ブロックとして読み込む音響ブロック読込手段と、
   前記読み込んだ各音響ブロックに対して周波数変換を行い、前記各チャンネルに対応する複数のスペクトルブロックを生成する周波数変換手段と、
   前記生成された複数のスペクトルブロックから所定の周波数以下に相当する各スペクトル強度データを抽出し、各チャンネルごとに各スペクトル強度データの総和値を算出し、当該総和値のチャンネル間比率に基づいて、所定の符号を出力するスペクトル比率符号化手段と
   前記出力された符号に対応する情報配列を、属性情報に変換して表示出力する属性情報表示手段と、
   前記音響ブロックを２つ以上蓄積する再生ブロック蓄積手段と、
   前記音響ブロック読込手段により読み込まれた音響ブロックを前記再生ブロック蓄積手段に投入する再生ブロック投入手段と、
   前記再生ブロック蓄積手段内に存在する音響ブロックのうち最初に投入された音響ブロックを音響再生し、再生終了後に当該音響ブロックを前記再生ブロック蓄積手段から削除させることで、新規に音響ブロックを投入できる余地を前記再生ブロック蓄積手段に設けるとともに、次に蓄積されている音響ブロックが存在する場合に、前記最初に投入された音響ブロックに連続して次の音響ブロックを音響再生する音響ブロック再生手段と、
   を備えていることを特徴とする音響信号再生装置。
8. 請求項７において、
   前記再生ブロック投入手段が音響ブロックを投入する際に、
   前記再生ブロック蓄積手段が新規に音響ブロックを受け入れる余裕がないためエラーになった場合、前記音響ブロック読込手段、前記周波数変換手段、前記スペクトル比率符号化手段、前記属性情報表示手段に対して、各動作を中断するメッセージを送り、前記各手段は、現在の状態で中断する制御を行っていることを特徴とする音響信号再生装置。
9. 請求項８において、
   前記音響ブロック再生手段が、１つの音響ブロックを再生終了する度に、前記音響ブロック読込手段、前記周波数変換手段、前記スペクトル比率符号化手段、前記属性情報表示手段に対して、各動作を実行許可するメッセージを送り、前記各手段が中断していた各動作を再開する制御を行っていることを特徴とする音響信号再生装置。
   
   
   

Images