JP2006201527A - 音響信号に対する情報の埋め込み装置、音響信号からの情報の抽出装置、音響信号再生装置および方法 - Google Patents

Abstract

【課題】 ＣＤや放送で提供される一般的なモノラルから多チャンネルの音響信号に対して、原音質にほとんど影響を与えずに、大容量の属性情報を不可聴な電子透かしとして埋め込み、埋め込まれた属性情報を再生されている音響信号から抽出することが可能な音響信号に対する情報の埋め込み装置、音響信号からの情報の抽出装置、音響信号再生装置および方法を提供する。
【解決手段】 音響信号について、周波数変換を行い（Ｓ１）、低周波成分を抽出する（Ｓ２）。低周波成分の合算が所定値以上である場合は（Ｓ３）、埋め込むべき属性情報の配列要素の値に応じて（Ｓ４）、低周波成分の位相を変化させた後（Ｓ５）、高周波成分と統合して周波数逆変換を行い（Ｓ６）、得られた改変音響ブロックを合成して属性情報が埋め込まれた改変音響信号を得る。
【選択図】 図３

Description

本発明は、ＣＤ・ＤＶＤ等を用いた民生・業務用途における鑑賞用のパッケージ音楽分野、放送事業者等が商業目的で配信する放送・ネットワーク音楽配信分野における音楽著作権の保護（不正コピーの監視）および音楽属性情報の提供（楽曲タイトル検索サービス）分野に関する。

最近、流れている音楽のタイトル等を知ることができる楽曲属性情報の提供サービスとして、放送された音楽に対して日時と地域を放送局に照会したり、携帯電話で流れている音楽断片を録音してデータベースに登録されているメロディーと照合したりするサービスが実用化されている（例えば、特許文献１、２参照）。

特許文献１、２に記載の発明では、録音した音楽の断片と、データベースに登録されているメロディーと照合するため、データベースに登録される楽曲が増えると、処理負荷が増え、類似したメロディーを誤判定する可能性が増える。そこで、曲名やアーチスト情報などの楽曲属性情報を不可聴な電子透かしとして音響信号に埋め込む手法も提案されている（例えば、特許文献３、４参照）。
特開２００２−２５９４２１号公報 特開２００３−１５７０８７号公報 特表２００４−５１５７９９号公報 特開２００４−６４５８２号公報

しかしながら、上記不可聴な電子透かしを埋め込む手法では、埋め込み可能な情報量が少なく、音質が少なからず劣化し、各種信号処理により透かし情報が消失し、またアナログコピーに対しては、透かし検出が困難であるという問題がある。

そこで、本発明は、ＣＤや放送で提供される一般的なモノラルから多チャンネルの音響信号に対して、原音質にほとんど影響を与えずに、大容量の属性情報を不可聴な電子透かしとして埋め込み、埋め込まれた属性情報を再生されている音響信号から抽出することが可能な音響信号に対する情報の埋め込み装置、音響信号からの情報の抽出装置、音響信号再生装置および方法を提供することを課題とする。

上記課題を解決するため、本発明では、時系列のサンプル列で構成される音響信号に対して、属性情報を聴取不能な状態で埋め込む装置であって、前記音響信号より、それぞれ所定数のサンプルを音響ブロックとして読み込む音響ブロック読込手段と、前記読み込んだ各音響ブロックに対して周波数変換を行い、複素数のスペクトルブロックを生成する周波数変換手段と、前記生成されたスペクトルブロックから所定の周波数以下に相当する実数部データおよび虚数部データを抽出し、前記埋め込むべき属性情報の情報配列の値に基づいて、抽出された実数部データおよび虚数部データの絶対値または正負符号を変更するスペクトル変換手段と、前記変更された実数部データおよび虚数部データを含む前記スペクトルブロックに対して周波数逆変換を行い、複数の改変音響ブロックを生成する周波数逆変換手段と、前記生成された改変音響ブロックを順次出力する改変音響ブロック出力手段を有する音響信号に対する情報の埋め込み装置を提供する。

本発明によれば、音響信号の低周波成分の位相を、埋め込むべき属性情報の情報配列に基づいて変化させるようにしたので、音響信号に対して、原音質にほとんど影響を与えずに、大容量の属性情報を不可聴な電子透かしとして埋め込み、埋め込まれた属性情報を再生されている音響信号から抽出することが可能となるという効果を奏する。本発明によれば、特に、各チャンネルに対して独立して、属性情報を埋め込むため、モノラル音響信号から多チャンネルの音響信号まで、チャンネル数を問わず、属性情報の埋め込みが可能となる。

以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．音響信号に対する情報の埋め込み装置および方法）
図１は、本発明に係る音響信号に対する情報の埋め込み装置の構成を示す機能ブロック図である。図１において、１０は音響ブロック読込手段、２０は周波数変換手段、３０はスペクトル変換手段、４０は周波数逆変換手段、５０は改変音響ブロック出力手段、６０は記憶手段、６１は音響信号記憶部、６２は属性情報記憶部、６３は改変音響信号記憶部である。

音響ブロック読込手段１０は、属性情報の埋め込み対象とする元の音響信号から所定数のサンプルを１ブロックとして読み込む機能を有している。周波数変換手段２０は、音響ブロック読込手段１０が読み込んだ音響信号のブロックをフーリエ変換等により周波数変換してスペクトルブロックを生成する機能を有している。スペクトル変換手段３０は、生成されたスペクトルブロックから所定の周波数以下に相当する実数部データおよび虚数部データを抽出し、属性情報記憶部６２から抽出した属性情報に基づいて、抽出された実数部データおよび虚数部データの絶対値または正負符号を変更する機能を有している。周波数逆変換手段４０は、変更された実数部データおよび虚数部データを含むスペクトルブロックに対して周波数逆変換を行うことにより、複数の改変音響ブロックを生成する機能を有している。改変音響ブロック出力手段５０は、生成された改変音響ブロックを連結して順次出力する機能を有している。記憶手段６０は、属性情報を埋め込む対象とする音響信号を記憶した音響信号記憶部６１と、情報配列として構成され、音響信号に埋め込まれる属性情報を記憶した属性情報記憶部６２と、属性情報埋め込み後の改変音響信号を記憶する改変音響信号記憶部６３を有しており、その他処理に必要な各種情報を記憶するものである。図１に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。

次に、本発明に係る音響信号に対する情報の埋め込み方法を、図１に示した音響信号に対する情報の埋め込み装置の処理動作とともに説明する。本発明は、複数のチャンネルで構成される音響信号に対しても、各チャンネルの信号に対して処理することができる。したがって、以下は最も単純な例として、１チャンネルのモノラル音響信号に対して、処理を行う場合を例にとって説明する。まず、音響ブロック読込手段１０は、音響信号記憶部６１に記憶されたモノラル音響信号から、それぞれ所定数のサンプルを１音響ブロックとして読み込む。音響ブロック読込手段１０が読み込む１音響ブロックのサンプル数は、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすることが望ましい。したがって、音響ブロック読込手段１０は、４０９６サンプルずつ、順次音響ブロックとして読み込んでいくことになる。音響ブロックは、隣接する音響ブロックとサンプルが重複するように読み込んで行く。例えば、先頭の音響ブロックがサンプル番号１から４０９６までとしたら、２番目の音響ブロックはサンプル番号２０４９から６１４４までとし、３番目の音響ブロックはサンプル番号４０９７から８１９２までとする。この場合、隣接する音響ブロックにおいて、２０４８サンプルづつ重複して符号化することになる。このように音響ブロックを、区間を重複させて設定するのは、音響ブロックの変わり目で、ノイズが発生するのを防ぐためである。重複したサンプルについて、埋め込み後に信号レベルが不連続にならないようにするために、後述するようにフーリエ変換する際には、窓関数を乗じるようにしている。

続いて、周波数変換手段２０は、読み込んだ各音響ブロックに対して、周波数変換を行ってスペクトルブロックを得る。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができる。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。フーリエ変換を行う場合、音響信号ｘ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、以下の〔数式１〕に従った処理を行い、変換データの実数部データＡ、虚数部データＢ（ｊ）を得る。

〔数式１〕
Ａ（ｊ）＝Σ_i=0,…,N-1ｘ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂ（ｊ）＝Σ_i=0,…,N-1ｘ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）

〔数式１〕において、ｉは、各音響ブロック内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。この際、音響信号ｘ（ｉ）には、それぞれＷ（ｉ）＝０．５−０．５・ｃｏｓ（２πｉ／Ｎ）で表現される窓関数（ハニング窓）を重みとして乗じる。このような窓関数は、フーリエ変換を行う際に、周波数成分に波形を分断することにより発生する高周波ノイズを低減するためと、フーリエ逆変換を行う際に解析区間の間で信号レベルが不連続にならないように連結させるために用いられるものであり、周知の技術である。

上記〔数式１〕に従った処理を実行することにより、周波数に対応した成分であるスペクトルで表現されたスペクトルブロックが得られる。したがって、１つのスペクトルブロックは、上記〔数式１〕に従った処理により得られたＮ組の実数部データＡと虚数部データＢ（ｊ）となる。続いて、スペクトル変換手段３０が、生成されたスペクトルブロックから所定の周波数以下の実数部データＡ（ｊ）、虚数部データＢ（ｊ）を抽出する。所定の周波数として、本実施形態では、２００Ｈｚ程度を設定している。したがって、周波数が２００Ｈｚ以下の実数部データＡ（ｊ）、虚数部データＢ（ｊ）を抽出することになる。周波数２００Ｈｚ付近は、上記ｊが２０に相当するので、上記〔数式１〕により算出された実数部データＡ（ｊ）、虚数部データＢ（ｊ）のうち、ｊ≦２０のものを抽出する。

続いて、スペクトル変換手段３０は、抽出した実数部データＡ（ｊ）、虚数部データＢ（ｊ）を利用して、以下の〔数式２〕によりｊ＝１〜Ｍ（２００Ｈｚ以下を抽出する場合は、Ｍ＝２０）までのスペクトル強度の合算値Ｅを算出する。

〔数式２〕
Ｅ＝Σ_j=1,…,M｛Ａ（ｊ）²＋Ｂ（ｊ）²｝

上記〔数式２〕により算出されたＥは、スペクトルブロックにおける低周波成分の合算値を示すことになる。続いて、この合算値Ｅがレベル下限値以上であるかどうかの判定を行う。レベル下限値は、音響信号ｘ（ｉ）の振幅最大値が１に正規化されている場合、０．００２に設定する。したがって、例えば、量子化ビット数１６ビットでサンプリングした場合は、ｘ（ｉ）は−３２７６８〜３２７６７の値をとり得るので、レベル下限値は２１４７４８４（＝３２７６８×３２７６８×０．００２）程度に設定されることになる。合算値Ｅがレベル下限以上であるかどうかを判断するのは、信号の強度が小さいと、信号を変化させても、その変化を抽出側で検出することができないためである。したがって、信号の強度がある程度以上である場合に、以下の変更処理を行うことになる。

合算値Ｅがレベル下限以上である場合、スペクトル変換手段３０は、属性情報記憶部６２から抽出した属性情報の情報配列の各配列要素の値に応じて、実数部データＡ（ｊ）、虚数部データＢ（ｊ）の絶対値または正負符号を変更する。属性情報記憶部６２に記憶された属性情報の情報配列は、デジタルデータであるため、当然のことながら、ビット配列として構成されている。このようなビット配列を埋め込み装置により音響信号に埋め込み、抽出装置により全く同じビット配列が抽出できれば本発明の目的は達成されることになる。しかし、抽出側においては、埋め込まれた箇所を正しく認識できないと、属性情報を正しく抽出することができない。そこで、ここでは、属性情報の情報配列間に、区切りを示す情報を挿入すると共に、元の情報配列がとり得る２値と、区切りを示す情報がとる値を加えた３値の配列である３値配列を作成する。具体的には、情報配列がとり得る第１の値（例えば０）、第２の値（例えば１）に加え、第３の値（例えば−１）を加えることにより３値配列とする。ただし、区切りを示すデータを、元の情報配列と明確に区別するために、ここでは、第１の値と第３の値を入れ換え、第１の値を−１、第２の値を＋１、第３の値を０としている。そして、この３値配列の各配列要素の値に応じて以下の〔数式３〕〜〔数式５〕のいずれかに従った処理を実行することにより、絶対値または正負符号を変更する。配列要素の値が＋１の場合、以下の〔数式３〕に従った処理を実行する。

〔数式３〕
Ａ（ｊ）・Ｂ（ｊ）＜０であれば、Ｂ（ｊ）←−Ｂ（ｊ）

すなわち、配列要素の値が＋１の場合に、上記〔数式３〕に従って、実数部データと虚数部データの積が負の値となった場合、その虚数部データの正負符号を反転することを示している。これは、Ａ（ｊ）とＢ（ｊ）の積がマイナスからプラスになるように位相を変更することに相当する。配列要素の値が＋１の場合、実数部データと虚数部データの積が０以上であれば、処理は行わない。また、配列要素の値が−１の場合は、以下の〔数式４〕に従った処理を実行する。

〔数式４〕
Ａ（ｊ）・Ｂ（ｊ）＞０であれば、Ｂ（ｊ）←−Ｂ（ｊ）

すなわち、配列要素の値が−１の場合に、上記〔数式４〕に従って、実数部データと虚数部データの積が正の値となった場合、その虚数部データの正負符号を反転することを示している。これは、Ａ（ｊ）とＢ（ｊ）の積がプラスからマイナスになるように位相を変更することに相当する。配列要素の値が−１の場合、実数部データと虚数部データの積が０以下であれば、処理は行わない。また、配列要素の値が０の場合は、以下の〔数式５〕に従った処理を実行する。

〔数式５〕
Ａ（ｊ）＞０であれば、Ａ（ｊ）＝｛Ａ（ｊ）²＋Ｂ（ｊ）²｝^1/2
Ａ（ｊ）＜０であれば、Ａ（ｊ）＝−｛Ａ（ｊ）²＋Ｂ（ｊ）²｝^1/2
Ｂ（ｊ）＝０

すなわち、配列要素の値が０の場合、上記〔数式５〕に従って、Ａ（ｊ）については、正負の符号はそのままで、その絶対値をスペクトル強度に相当する値に変更し、Ｂ（ｊ）については、その値を無条件に０とすることを示している。ただし、上記〔数式５〕に従って処理を行った場合、本装置により属性情報が埋め込まれた音響信号をアナログ系の信号処理を通して出力した場合、属性情報を抽出する側において、各ブロックに対応して埋め込まれた値が、０、−１、＋１のいずれであるかの判別が困難となることがある。したがって、アナログ系の信号処理を通して出力されることが多いと想定される場合は、〔数式５〕に代えて、Ａ（ｊ）＝Ｂ（ｊ）＝０とする処理を行う。この場合、信号成分が欠損するが、低周波領域は部分的に欠損しても、人間の聴覚系で補間されてしまうため、違和感を与えない。または、本例のように情報配列を３値配列に変更して処理するのではなく、２値の値をとる元の情報配列で処理する。

結局、上記〔数式３〕、〔数式４〕は正負符号を変更する処理であり、上記〔数式５〕は絶対値比率を変更する処理ということになる。ここで、絶対値比率とは、実数部データＡ（ｊ）と虚数部データＢ（ｊ）の絶対値の比率を変更することを意味している。しかし、上記のように、アナログ系の信号処理を通して出力されることが多いと想定される場合は、Ａ（ｊ）＝Ｂ（ｊ）＝０として絶対値そのものを変更する。絶対値比率の変更の場合も、実数部データＡ（ｊ）、虚数部データＢ（ｊ）のどちらかの絶対値は変更されているため、広い意味では、絶対値の変更ということになる。上記〔数式３〕〜〔数式５〕のいずれかに従った処理を実行することにより、３値配列の配列要素の値に応じて、低周波数成分の位相が変更されることになる。

スペクトル変換手段３０は、上記の〔数式２〕〜〔数式５〕に基づく処理を、音響信号から読み込んだ各音響ブロックに対して行う。３値配列の１配列要素は、１音響ブロックに対応している。また、上述のように、属性情報の情報配列間に、区切りを示す情報を挿入したものが３値配列であるため、３値配列の配列要素の数は、元の情報の２倍となる。したがって、ある情報配列を埋め込もうとした場合、少なくともその情報配列が有する配列要素の２倍以上の音響ブロックが必要となる。

ここで、３値配列の値に基づいた音響信号の変化の様子を図２に示す。図２（ａ）は、元の音響信号ｘ（ｉ）の低周波成分の波形図、図２（ｂ）は、３値配列の配列要素の値、図２（ｃ）は、改変音響信号ｘ´（ｉ）の低周波成分の波形図を示す。図２に示すように、元の音響信号の低周波成分は、３値配列の配列要素の値に応じて位相が変化させられることになる。

次に、周波数逆変換手段４０が、低周波数成分の位相が変更されたスペクトルブロックを周波数逆変換して改変音響ブロックを得る処理を行う。この周波数逆変換は、当然のことながら、周波数変換手段２０において実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段２０において、フーリエ変換を施しているため、周波数逆変換手段４０は、フーリエ逆変換を実行することになる。具体的には、上記〔数式３〕〜〔数式５〕のいずれかにより変更されたスペクトルの実数部データＡ（ｊ）、虚数部データＢ（ｊ）を用いて、以下の〔数式６〕に従った処理を行い、ｘ´（ｉ）を算出する。

〔数式６〕
ｘ´（ｉ）＝１／Ｎ・｛Σ_j=0,…,N-1Ａ（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_j=0,…,N-1Ｂ（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝

上記〔数式６〕により改変音響ブロックの各サンプルｘ´（ｉ）が得られることになる。改変音響ブロック出力手段５０は、得られた改変音響ブロックを隣接する改変音響ブロックと連結して出力ファイルに出力する。上述のように、音響ブロックは、音響ブロック読込手段１０により音響信号から読み込む際、隣接する音響ブロックに同一のサンプルが重複して含まれるように処理されている。したがって、音響ブロック出力手段５０においては、重複して読み込まれたサンプルについて、隣接する両音響ブロックの各サンプルの値を合算した値として、出力ファイルに記録していく。以上のような処理を音響信号の全サンプルに渡って実行していくことにより、全ての改変音響ブロックが出力ファイルに記録されて、改変音響信号として得られる。得られた改変音響信号は、記憶手段６０内の改変音響信号記憶部６３に出力され、記憶される。

ここで、音響信号の流れに着目した場合の上記埋め込み装置における処理のフローチャートを図３に示す。まず、読み込まれた音響ブロックに対して周波数変換手段２０により周波数変換が行われた後（ステップＳ１）、スペクトル変換手段３０が低周波成分を抽出する（ステップＳ２）。スペクトル変換手段３０は、さらに、〔数式２〕に従って算出した低周波成分の合算値が下限レベル以上であるかの確認を行い（ステップＳ３）、埋め込むべき属性情報の情報配列から変換された３値配列の配列要素の確認を行って（ステップＳ４）、その配列要素の値に従って、〔数式３〕から〔数式５〕に従って位相をプラスに変更、位相変更無し、位相をマイナスに変更のいずれかの処理を行う（ステップＳ５）。続いて、低周波成分と高周波成分を合成して周波数逆変換を行い（ステップＳ６）、得られた改変音響ブロックを連結して、改変音響信号を得る（ステップＳ７）。

上記の例では、音響ブロック読込手段１０は、隣接する音響ブロックとサンプルが重複するように音響ブロックを読み込むようにしたが、全く重複させずに読み込むようにしても良い。例えば、先頭の音響ブロックがサンプル番号１から４０９６までとしたら、２番目の音響ブロックはサンプル番号４０９７から８１９２までとなる。この場合、改変音響ブロック出力手段５０は、得られた改変音響ブロックの連結処理を行う必要なく、順次出力ファイルに出力することになる。

（２．音響信号からの情報の抽出装置および方法）
次に、本発明に係る音響信号からの情報の抽出装置について説明する。図４は、本発明に係る音響信号からの情報の抽出装置の一実施形態を示す構成図である。図４において、１００は音響信号入力手段、１１０は音響ブロック獲得手段、１２０は周波数変換手段、１３０はスペクトル位相符号化手段、１４０は属性情報抽出手段である。

音響信号入力手段１００は、流れている音声をデジタル音響信号として取得し、入力する機能を有している。現実には、マイクロフォンおよびＡ／Ｄ変換器により実現される。音響ブロック獲得手段１１０は、入力されたデジタル音響信号のから所定数のサンプルを１ブロックとして読み込む機能を有している。したがって、図１に示した音響ブロック読込手段１０と同様の処理を行うものであるが、隣接する音響ブロックと重複させるサンプルの数が音響ブロック読込手段１０とは異なっている。周波数変換手段１２０は、図１に示した周波数変換手段２０と同様の機能を有している。スペクトル位相符号化手段１３０は、生成された複数のスペクトルブロックから所定の周波数以下に相当する各実数部データおよび虚数部データを抽出し、抽出した各実数部データおよび虚数部データの積値の総和値を算出し、その総和値の絶対値と正負符号に基づいて、所定の符号を出力する機能を有している。属性情報抽出手段１４０は、スペクトル位相符号化手段１３０により出力された符号の集合である３値配列を、所定の規則により変換して意味のある属性情報として抽出する機能を有している。図４に示した各構成手段は、現実には情報処理機能を有する小型のコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。特に、本発明の目的をより簡易に達成するためには、携帯型端末装置をハードウェアとして用いることが望ましい。

次に、本発明に係る音響信号からの情報の抽出方法を、図４に示した音響信号からの情報の抽出装置の処理動作とともに説明する。利用者が流れている音楽について、その楽曲名等の属性情報を知りたいと思った場合、まず、抽出装置に対して、抽出装置としての起動の指示を行う。これは、例えば、抽出装置を携帯電話機等の携帯端末で実現している場合は、所定のボタンを操作することにより実行できる。抽出装置は、指示が入力されると、音響信号入力手段１００が、流れている音楽を録音し、デジタル化してデジタル音響信号として入力する。具体的には、マイクロフォンから入力される音声を、Ａ／Ｄ変換器によりデジタル化する処理を行うことになる。

続いて、音響ブロック獲得手段１１０が、音響信号入力手段１００から入力された音響信号から、所定数のサンプルを１音響ブロックとして読み込む。音響ブロック獲得手段１１０が読み込む１音響ブロックのサンプル数は、図１に示した音響ブロック読込手段１０で設定されたものと同一にする必要がある。したがって、本実施形態の場合、音響ブロック獲得手段１１０は、４０９６サンプルずつ、順次音響ブロックとして読み込んでいくことになる。音響ブロック獲得手段１１０においても、音響ブロックは、隣接する音響ブロックとサンプルが重複するように読み込んで行くが、音響ブロック読込手段１０よりも重複させるサンプル数を多くする必要がある。具体的には、重複していない部分のサンプル数が、音響ブロック読込手段１０の１／２以下となるように設定することが好ましい。本実施形態では、音響ブロック読込手段１０では、１音響ブロックを構成する４０９６サンプルの半数の２０４８サンプルを重複させ、残りの２０４８サンプルを重複させないようにしたので、音響ブロック獲得手段１１０では、重複させないサンプルを音響ブロック読込手段１０の１／２の１０２４とし、３０７２サンプルを重複させる。例えば、先頭の音響ブロックがサンプル番号１から４０９６までとしたら、２番目の音響ブロックはサンプル番号１０２５から５１２０までとし、３番目の音響ブロックはサンプル番号２０４９から６１４４までとする。この場合、隣接する音響ブロックにおいて、３０７２サンプルづつ重複して符号化することになる。このように音響ブロックを、埋め込み時よりもより多く重複させて設定するのは、埋め込み時とのタイミングの位置ずれを考慮したためである。

続いて、周波数変換手段１２０は、読み込んだ各音響ブロックに対して、周波数変換を行ってスペクトルブロックを得る。この処理は、図１に示した周波数変換手段２０における処理と同様である。したがって、本実施形態では、上記〔数式１〕に従った処理を行い、変換データの実数部データＡ（ｊ）、虚数部データＢ（ｊ）を得る。この際、音響信号ｘ（ｉ）には、Ｗ（ｉ）＝０．５−０．５・ｃｏｓ（２πｉ／Ｎ）で表現される窓関数（ハニング窓）を重みとして乗じる処理も、周波数変換手段２０と同様に行われる。

上記周波数変換手段１２０における処理により、周波数に対応した成分であるスペクトルで表現されたスペクトルブロックが得られる。続いて、スペクトル位相符号化手段１３０は、生成された複数のスペクトルブロックから所定の周波数範囲の各実数部データおよび虚数部データを抽出する。抽出すべき周波数範囲は、埋め込み装置と対応させる必要がある。したがって、ここでは、周波数が２００Ｈｚ以下の実数部データおよび虚数部データを抽出することになり、埋め込み装置の場合と同様、上記〔数式１〕により算出された実数部データＡ（ｊ）、虚数部データＢ（ｊ）のうち、ｊ≦２０のものを抽出する。

続いて、スペクトル位相符号化手段１３０は、埋め込み装置のスペクトル変換手段３０と同様、抽出した実数部データＡ（ｊ）、虚数部データＢ（ｊ）を利用して、上記〔数式２〕によりｊ＝１〜Ｍ（例えば２０）までのスペクトル強度の合計値Ｅを算出する。さらに、スペクトル変換手段３０と同様、この合算値Ｅがレベル下限値以上であるかどうかの判定を行う。

合算値Ｅがレベル下限以上である場合、以下の〔数式７〕に従った処理を実行する。

〔数式７〕
Ｓ＝Σ_j=1,…,M｛Ａ（ｊ）・Ｂ（ｊ）｝

さらに、スペクトル位相符号化手段１３０は、上記算出されたＳの比較判定を以下の〔数式８〕に従って行い、比較結果に対応する符号を出力する。

〔数式８〕
｜Ｓ｜＜Ｓ値下限値（レベル下限値とは異なる値）の場合、埋め込みデータ＝０
Ｓ＞０の場合、埋め込みデータ＝＋１
Ｓ＜０の場合、埋め込みデータ＝−１
（ステレオ信号の場合、左右チャンネルのＳ値の和で評価する）

上記〔数式８〕においては、まず、上記〔数式７〕に従って算出したＳの絶対値が上記Ｓ値下限値未満であるかどうかを判断し、Ｓ値下限値未満の場合（ただし、合算値Ｅはレベル下限以上）、〔数式５〕に従って、埋め込み時にスペクトルブロックの虚数部データを０に設定していると判断する。Ｓの絶対値がＳ値下限値以上である場合は、Ｓの値が正か負かによって、埋め込みデータを判断する。一方、合算値Ｅがレベル下限未満の場合、埋め込みデータが存在しないと判断するが、通常は符号０と同等に扱う。特に、上述の例外事項として、〔数式５〕に代えて、Ａ（ｊ）＝Ｂ（ｊ）＝０とする処理を行った場合、Ｓの絶対値がＳ値下限値未満の場合、合算値Ｅもレベル下限値未満にもなるため、符号０が埋め込まれた場合と埋め込みデータが存在しない場合との識別ができない。このようにして、スペクトル位相符号化手段１３０は、各スペクトルブロックに対して、−１、０、＋１のいずれかの符号を出力する。

上記スペクトル位相符号化手段１３０により出力された符号は、上記埋め込み装置において説明した３値配列の各配列要素となっている。属性情報抽出手段１４０は、まず、スペクトル位相符号化手段１３０により出力された符号の集合である３値配列から、元の情報配列を復元する。具体的には、３値配列の配列要素のうち、値が０となっている配列要素を削除し、値が−１である配列要素の値を０に変更し、０、１の２値の値をとる配列要素に変換する。この配列要素の集合が元の情報配列となる。続いて、この情報配列を、所定の規則により変換して意味のある属性情報として抽出する。所定の規則としては、情報を埋め込む者が意図した情報が受け取った者に認識可能な状態とできるものであれば、さまざまな規則が適用できるが、本実施形態では、文字情報として認識するための規則としている。すなわち、属性情報抽出手段１４０は、スペクトル位相符号化手段１３０から出力される符号を８ビット（１バイト）又は１６ビット（２バイト）単位で認識し、これを設定されたコード体系に従って文字情報を認識する。このようにして得られた文字情報は、表示装置（図示省略）の画面に表示出力される。

従って、埋め込み装置により音響信号に、その楽曲の曲名やアーチスト等の属性情報を文字情報として埋め込んでおけば、利用者は、その音楽が流れているのを聞いて、その曲名やアーチストを知りたいと思ったときに、抽出装置として機能する自身の携帯端末に所定の操作を行えば、自身の携帯端末の画面に曲名やアーチスト等の属性情報が文字情報として表示されることになる。

音響信号のうち、属性情報が埋め込まれている部分については、低周波成分の位相は変更されている。仮に高周波成分の位相を変化させたとすると、音響信号をアナログ系を通した場合には、位相変化の情報が消失し易いが、低周波成分については、アナログ系を通した場合であっても、位相変化の情報が保持される。したがって、属性情報を容易に抽出することが可能となる。

上記の例では、音響ブロック獲得手段１１０は、隣接する音響ブロックとサンプルが重複するように音響ブロックを読み込むようにしたが、全く重複させずに読み込むようにしても良い。例えば、先頭の音響ブロックがサンプル番号１から４０９６までとしたら、２番目の音響ブロックはサンプル番号４０９７から８１９２までとなる。

（３．音響信号再生装置）
次に、本発明に係る音響信号再生装置について説明する。図５は、本発明に係る音響信号再生装置の一実施形態を示す構成図である。図５において、２００は音響ブロック読込手段、２１０は周波数変換手段、２２０はスペクトル位相符号化手段、２３０は属性情報表示手段、２４０は再生ブロック投入手段、２５０は再生ブロック蓄積手段、２６０はサウンドデバイスドライバ、２６１はサウンドデバイス、２６２はタイマーである。

音響ブロック読込手段２００は、図１に示した音響ブロック読込手段１０と同様、音響信号から所定数のサンプルを１ブロックとして読み込む機能を有している。音響ブロック読込手段２００により読み込まれた各音響ブロックは、周波数変換手段２１０、再生ブロック投入手段２４０の２系統において処理されることになる。周波数変換手段２１０は、図１に示した周波数変換手段２０、図４に示した周波数変換手段１２０と同様、読み込んだ音響信号のブロックをフーリエ変換等により周波数変換してスペクトルブロックを生成する機能を有している。スペクトル位相符号化手段２２０は、図４に示したスペクトル位相符号化手段１３０と同様、生成された複数のスペクトルブロックから所定の周波数以下に相当する各実数部データおよび虚数部データを抽出し、抽出した各実数部データおよび虚数部データの積値の総和値を算出し、その総和値の絶対値と正負符号に基づいて、所定の符号を出力する機能を有している。属性情報表示手段２３０は、スペクトル位相符号化手段２２０により出力された符号の集合である３値配列を、所定の規則により変換して意味のある属性情報として抽出し、表示出力する機能を有している。

再生ブロック投入手段２４０は、音響ブロック読込手段２００により読み込まれた各音響ブロックを再生ブロック蓄積手段２５０に投入する機能を有している。ただし、再生ブロック投入手段２４０は、単純に音響ブロックを投入するだけでなく、後述するように、再生ブロック蓄積手段２５０に空きが無い場合は、音響ブロックの投入を制御する機能も有している。再生ブロック蓄積手段２５０は、音響ブロックを蓄積するバッファメモリを複数有しており、これらのバッファメモリに蓄積された音響ブロックを、ＦＩＦＯ（ファーストイン・ファーストアウト）方式、すなわち、先に入ってきた情報が、先に出ていく方式で処理する機能を有している。すなわち、再生ブロック蓄積手段２５０は、再生ブロック投入手段２４０から投入された音響ブロックを投入された順序で蓄積し、その順序でサウンドデバイスドライバ２６０に渡す機能を有することとなる。サウンドデバイスドライバ２６０は、サウンドデバイス２６１を駆動させて音響ブロックを音響再生する機能を有しており、サウンドデバイス２６１は、デジタルデータである音響ブロックをＤ／Ａ変換して音声として再生する機能を有している。すなわち、サウンドデバイスドライバ２６０およびサウンドデバイス２６１は音響ブロック再生手段として機能することになる。タイマー２６２は、サウンドデバイスによる音響信号の再生と、外部機器の音響信号の再生とのタイミングをとるために利用するタイマーであり、コンピュータにおいて時刻管理を行うタイマーと共用されている。

次に、図５に示した音響信号の再生装置の処理動作について説明する。図１に示した埋め込み装置により属性情報が埋め込まれた改変音響信号を記録した記録媒体を再生装置において再生すると、まず、音響ブロック読込手段２００が記録媒体から読み取られた音響信号から、所定数のサンプルを１音響ブロックとして読み込む。音響ブロック読込手段２００が読み込む１音響ブロックのサンプル数も、図１に示した音響ブロック読込手段１０で設定されたものと同一にする必要がある。したがって、本実施形態の場合、音響ブロック読込手段２００は、４０９６サンプルずつ、順次音響ブロックとして読み込んでいくことになる。音響ブロック読込手段２００においては、図１に示した音響ブロック読込手段１０と同様、音響ブロックを、隣接する音響ブロックとサンプルが重複するように読み込んで行く。この場合、重複させるサンプル数は、音響ブロック読込手段１０で重複させたサンプル数と同一とし、１音響ブロックを構成する４０９６サンプルの半数の２０４８サンプルとする。

続いて、周波数変換手段２１０は、読み込んだ各音響ブロックに対して、周波数変換を行ってスペクトルブロックを得る。この処理は、図１に示した周波数変換手段２０、図４に示した周波数変換手段１２０における処理と同様である。したがって、本実施形態では、上記〔数式１〕に従った処理を行い、変換データの実数部データＡ（ｊ）、虚数部データＢ（ｊ）を得る。この際、音響信号ｘ（ｉ）には、それぞれＷ（ｉ）＝０．５−０．５・ｃｏｓ（２πｉ／Ｎ）で表現される窓関数（ハニング窓）を重みとして乗じる処理も、周波数変換手段２０、周波数変換手段１２０と同様に行われる。

上記周波数変換手段２１０における処理により、周波数に対応した成分であるスペクトルで表現されたスペクトルブロックが得られる。続いて、スペクトル位相符号化手段２２０は、図４に示したスペクトル位相符号化手段１３０と同様の処理により、生成された複数のスペクトルブロックから所定の周波数以下の各実数部データＡ（ｊ）、虚数部データＢ（ｊ）を抽出する。

続いて、スペクトル位相符号化手段２２０は、図４に示した抽出装置のスペクトル位相符号化手段１３０と同様、抽出した実数部データＡ（ｊ）、虚数部データＢ（ｊ）を利用して、上記〔数式２〕によりｊ＝１〜Ｍ（例えば２０）までのスペクトル強度の合計値Ｅを算出する。さらに、スペクトル位相符号化手段１３０と同様、この合算値Ｅがレベル下限値以上であるかどうかの判定を行う。合算値Ｅがレベル下限以上である場合、上記〔数式７〕に従った処理を実行する。

スペクトル位相符号化手段２２０は、スペクトル位相符号化手段１３０と同様、各スペクトルブロックに対して、上記符号を出力する。

続いて、属性情報表示手段２３０が、属性情報表示手段１４０と同様の処理により、スペクトル位相符号化手段２２０により出力された符号の集合である３値配列を、所定の規則により変換して意味のある属性情報として抽出する。したがって、本実施形態では、スペクトル位相符号化手段２２０から出力される符号を８ビット又は１６ビット単位で認識し、これを設定されたコード体系に従って文字情報を認識し、画面に表示出力する。

一方、音響ブロック読込手段２００により読み込まれた音響ブロックは、再生ブロック投入手段２４０により再生ブロック蓄積手段２５０に蓄積されていく。本実施形態では、再生ブロック蓄積手段２５０に４ブロックまで蓄積可能となっているため、４ブロック蓄積されるまでは、サウンドデバイスドライバ２６０による処理は開始されない。図５に示すように、再生ブロック蓄積手段２５０に音響ブロックが４ブロック蓄積されると、サウンドデバイスドライバ２６０が、再生ブロック蓄積手段２５０に蓄積された音響ブロックのうち先頭の音響ブロックを音響再生する。具体的には、サウンドデバイス２６１が音響ブロックのデータをＤ／Ａ変換してスピーカに出力することになる。音響再生された音響ブロックは、再生ブロック蓄積手段２５０から削除される。

音響ブロックが削除されて、再生ブロック蓄積手段２５０内に余裕ができると、再生ブロック投入手段２４０から音響ブロックが再生ブロック蓄積手段２５０に投入される。これにより、再生ブロック蓄積手段２５０内は再び最大容量まで蓄積されることになる。読み込まれた音響ブロックは、現実には、ＣＰＵが再生ブロック投入手段２４０として機能することにより、再生ブロック蓄積手段２５０内に投入される。この再生ブロック投入手段２４０は、音響ブロックを再生ブロック蓄積手段２５０に単純に投入するだけでなく、再生ブロック蓄積手段２５０に空きが無い場合は、音響ブロック読込手段２００、周波数変換手段２１０、スペクトル位相符号化手段２２０、属性情報表示手段２３０、に対して処理を中断するメッセージを送り、再生ブロック蓄積手段２５０への音響ブロックの投入を制御している。

一方、サウンドデバイス２６１は、再生ブロック蓄積手段２５０に蓄積された音響ブロックのうち先頭の音響ブロックを順次音響再生していく。この際、サウンドデバイス２６１は、１つの音響ブロックの音響再生を終了する度に、音響ブロック読込手段２００、周波数変換手段２１０、スペクトル位相符号化手段２２０、属性情報表示手段２３０、再生ブロック投入手段２４０に対して各処理の実行を許可するメッセージを送る。

ここで、上記再生装置における音響再生側、すなわち再生ブロック投入手段２４０、再生ブロック蓄積手段２５０、サウンドデバイスドライバ２６０の処理の概要を整理して図６のフローチャートに示す。まず、再生ブロック投入手段２４０が、再生ブロック蓄積手段２５０内に空いているバッファメモリが存在するかどうかを探索する（ステップＳ１１）。空いているバッファメモリが存在しない場合は、音響ブロック読込手段２００に対して処理を中断するメッセージを送り、サウンドデバイス２６１からの再生終了メッセージの受信待ちとする（ステップＳ１２）。サウンドデバイスドライバ２６１からの再生終了メッセージがあった場合には、再生が終了した音響ブロックを格納していたバッファメモリから削除して再生終了バッファを空きバッファに設定する（ステップＳ１３）。サウンドデバイス２６１からの再生終了メッセージは、同時に音響ブロック読込手段２００、周波数変換手段２１０、スペクトル位相符号化手段２２０、属性情報表示手段２３０、再生ブロック投入手段２４０にも送信されるため、音響ブロック読込手段２００、再生ブロック投入手段２４０が処理を再開する（ステップＳ１４）。続いて、空いているバッファメモリに音響ブロックが格納される（ステップＳ１５）。一方、サウンドデバイス２６１では、常に、再生ブロック蓄積手段２５０内のバッファメモリを探索しており（ステップＳ１６）、音響ブロックが存在する場合には、音響ブロックを再生する（ステップＳ１７）。１つの音響ブロックの再生を待ち（ステップＳ１８）、再生が終了したら、再生終了メッセージを音響ブロック読込手段２００、再生ブロック投入手段２４０に送信する（ステップＳ１９）。

図５に示した音響信号再生装置は、音響信号については、それが属性情報が埋め込まれているか否かに関わらず、同様に音響再生処理を行う。したがって、属性情報が埋め込まれていない音響信号もそのまま音響再生されることになる。

本発明に係る音響信号に対する情報の埋め込み装置の機能ブロック図である。 ３値配列の値に基づいた音響信号の変化の様子を示す図である。 図１に示した装置の処理概要を示すフローチャートである。 本発明に係る音響信号からの情報の抽出装置の機能ブロック図である。 本発明に係る音響信号再生装置の機能ブロック図である。 図５に示した装置の処理概要を示すフローチャートである。

符号の説明

１０・・・音響ブロック読込手段
２０・・・周波数変換手段
３０・・・スペクトル変換手段
４０・・・周波数逆変換手段
５０・・・改変音響ブロック出力手段
６０・・・記憶手段
６１・・・音響信号記憶部
６２・・・属性情報記憶部
６３・・・改変音響信号記憶部
１００・・・音響信号入力手段
１１０・・・音響ブロック獲得手段
１２０・・・周波数変換手段
１３０・・・スペクトル位相符号化手段
１４０・・・属性情報抽出手段
２００・・・音響ブロック読込手段
２１０・・・周波数変換手段
２２０・・・スペクトル位相符号化手段
２３０・・・属性情報表示手段
２４０・・・再生ブロック投入手段
２５０・・・再生ブロック蓄積手段
２６０・・・サウンドデバイスドライバ
２６１・・・サウンドデバイス
２６２・・・タイマー

Claims (10)

1. 時系列のサンプル列で構成される音響信号に対して、属性情報を聴取不能な状態で埋め込む装置であって、
   前記音響信号より、それぞれ所定数のサンプルを音響ブロックとして読み込む音響ブロック読込手段と、
   前記読み込んだ各音響ブロックに対して周波数変換を行い、複素数のスペクトルブロックを生成する周波数変換手段と、
   前記生成されたスペクトルブロックから所定の周波数以下に相当する実数部データおよび虚数部データを抽出し、前記埋め込むべき属性情報の情報配列の値に基づいて、抽出された実数部データおよび虚数部データの絶対値または正負符号を変更するスペクトル変換手段と、
   前記変更された実数部データおよび虚数部データを含む前記スペクトルブロックに対して周波数逆変換を行い、複数の改変音響ブロックを生成する周波数逆変換手段と、
   前記生成された改変音響ブロックを順次出力する改変音響ブロック出力手段と、
   を有することを特徴とする音響信号に対する情報の埋め込み装置。
2. 請求項１において、
   前記音響ブロック読込手段は、隣接する音響ブロックと所定の割合のサンプル数だけ重複させて読み込み、読み込んだ音響ブロック全体に所定の窓関数を乗じて前記周波数変換手段に渡すものであり、
   前記改変音響ブロック出力手段は、前記生成された改変音響ブロックを隣接する改変音響ブロックと連結させて出力するものであることを特徴とする音響信号に対する情報の埋め込み装置。
3. 請求項１において、
   前記スペクトル変換手段は、所定の周波数以下に相当する実数部データおよび虚数部データとして、２００Ｈｚ未満の低周波領域に相当する実数部データおよび虚数部データを抽出するものであることを特徴とする音響信号に対する情報の埋め込み装置。
4. 時系列のサンプル列で構成される音響信号に対して、属性情報を聴取不能な状態で埋め込む方法であって、
   前記音響信号より、それぞれ所定数のサンプルを音響ブロックとして読み込む音響ブロック読込段階と、
   前記読み込んだ各音響ブロックに対して周波数変換を行い、複素数のスペクトルブロックを生成する周波数変換段階と、
   前記生成されたスペクトルブロックから所定の周波数以下に相当する実数部データおよび虚数部データを抽出し、前記埋め込むべき属性情報の情報配列の値に基づいて、抽出された実数部データおよび虚数部データの絶対値または正負符号を変更するスペクトル変換段階と、
   前記変更された実数部データおよび虚数部データを含む前記スペクトルブロックに対して周波数逆変換を行い、複数の改変音響ブロックを生成する周波数逆変換段階と、
   前記生成された改変音響ブロックを順次出力する改変音響ブロック出力段階と、
   を有することを特徴とする音響信号に対する情報の埋め込み方法。
5. 時系列のサンプル列で構成される音響信号から、あらかじめ聴取不能な状態で埋め込まれた属性情報を抽出する装置であって、
   前記音響信号の所定の区間をデジタル化して、所定数のサンプルで構成される音響ブロックを複数個獲得する音響ブロック獲得手段と、
   前記獲得した各音響ブロックに対して周波数変換を行い、複素数のスペクトルブロックを生成する周波数変換手段と、
   前記生成されたスペクトルブロックから所定の周波数以下に相当する各実数部データおよび虚数部データを抽出し、当該抽出された実数部データおよび虚数部データの積値を算出し、算出された積値の総和値の絶対値と正負符号に基づいて、所定の符号を出力するスペクトル位相符号化手段と、
   前記出力された符号に対応する情報配列を、所定の規則により変換して属性情報を抽出する属性情報抽出手段と、
   を有することを特徴とする音響信号からの情報の抽出装置。
6. 請求項５において、
   前記音響ブロック獲得手段は、隣接する音響ブロックと所定の割合のサンプル数だけ重複させて読み込み、読み込んだ音響ブロック全体に所定の窓関数を乗じて前記周波数変換手段に渡すようにしていることを特徴とする音響信号からの情報の抽出装置。
7. 時系列のサンプル列で構成される音響信号から、あらかじめ聴取不能な状態で埋め込まれた属性情報を抽出する方法であって、
   前記音響信号の所定の区間をデジタル化して、所定数のサンプルで構成される音響ブロックを複数個獲得する音響ブロック獲得段階と、
   前記獲得した各音響ブロックに対して周波数変換を行い、複素数のスペクトルブロックを生成する周波数変換段階と、
   前記生成されたスペクトルブロックから所定の周波数以下に相当する各実数部データおよび虚数部データを抽出し、当該抽出された実数部データおよび虚数部データの積値を算出し、算出された積値の総和値の絶対値と正負符号に基づいて、所定の符号を出力するスペクトル位相符号化段階と、
   前記出力された符号に対応する情報配列を、所定の規則により変換して属性情報を抽出する属性情報抽出段階と、
   を有することを特徴とする音響信号からの情報の抽出方法。
8. 時系列のサンプル列で構成される音響信号から、あらかじめ聴取不能な状態で埋め込まれた属性情報を抽出しながら音響再生する装置であって、
   前記音響信号より所定数のサンプルを音響ブロックとして読み込む音響ブロック読込手段と、
   前記読み込んだ各音響ブロックに対して周波数変換を行い、複素数のスペクトルブロックを生成する周波数変換手段と、
   前記生成されたスペクトルブロックから所定の周波数以下に相当する各実数部データおよび虚数部データを抽出し、当該抽出された実数部データおよび虚数部データの積値を算出し、算出された積値の総和値の絶対値と正負符号に基づいて、所定の符号を出力するスペクトル位相符号化手段と、
   前記出力された符号に対応する情報配列を、属性情報に変換して表示出力する属性情報表示手段と、
   前記音響ブロックを２つ以上蓄積する再生ブロック蓄積手段と、
   前記音響ブロック読込手段により読み込まれた音響ブロックを前記再生ブロック蓄積手段に投入する再生ブロック投入手段と、
   前記再生ブロック蓄積手段内に存在する音響ブロックのうち最初に投入された音響ブロックを音響再生し、再生終了後に当該音響ブロックを前記再生ブロック蓄積手段から削除させることで、新規に音響ブロックを投入できる余地を前記再生ブロック蓄積手段に設けるとともに、次に蓄積されている音響ブロックが存在する場合に、前記最初に投入された音響ブロックに連続して次の音響ブロックを音響再生する音響ブロック再生手段と、
   を備えていることを特徴とする音響信号再生装置。
9. 請求項８において、
   前記再生ブロック投入手段が音響ブロックを投入する際に、
   前記再生ブロック蓄積手段が新規に音響ブロックを受け入れる余裕がないためエラーになった場合、前記音響ブロック読込手段、前記周波数変換手段、前記スペクトル位相符号化手段、前記属性情報表示手段に対して、各動作を中断するメッセージを送り、前記各手段は、現在の状態で中断する制御を行っていることを特徴とする音響信号再生装置。
10. 請求項８において、
    前記音響ブロック再生手段が、１つの音響ブロックを再生終了する度に、前記音響ブロック読込手段、前記周波数変換手段、前記スペクトル位相符号化手段、前記属性情報表示手段に対して、各動作を実行許可するメッセージを送り、前記各手段が中断していた各動作を再開する制御を行っていることを特徴とする音響信号再生装置。
    
    
    

Images