JP2001119555A - 時系列化された一次元のデータにおける電子透かし - Google Patents

時系列化された一次元のデータにおける電子透かし

Info

Publication number
JP2001119555A
JP2001119555A JP29679499A JP29679499A JP2001119555A JP 2001119555 A JP2001119555 A JP 2001119555A JP 29679499 A JP29679499 A JP 29679499A JP 29679499 A JP29679499 A JP 29679499A JP 2001119555 A JP2001119555 A JP 2001119555A
Authority
JP
Japan
Prior art keywords
data
dimensional
watermark
embedding
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP29679499A
Other languages
English (en)
Inventor
Kineo Matsui
甲子雄 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kowa Co Ltd
Original Assignee
Kowa Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kowa Co Ltd filed Critical Kowa Co Ltd
Priority to JP29679499A priority Critical patent/JP2001119555A/ja
Publication of JP2001119555A publication Critical patent/JP2001119555A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 音楽のように時系列化されたデータに、デー
タの品質を損なうことなく電子透かしを埋め込む。 【解決手段】 二次元の画像データを所定のアルゴリズ
ムで一次元データに変換し、これを時系列化された一次
元データに重畳する。このとき、特定のビットプレーン
に 【数2】 として埋め込む。これを復号処理して画像を復元する
と、人間のすぐれた画像認識の能力により、署名情報を
容易に認知することができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、電子透かし技術
に関し、特に、ディジタルデータの形態で記録された音
楽ソフトなど原データに対して透かし情報を埋め込む技
術に関する。
【0002】
【従来の技術】従来から、デジタル化された音楽などの
著作物に、著作権情報を埋め込む電子透かしの技術が種
々提案されている。デジタル化されたデータは複製の際
の劣化がほとんどなく、すなわち、忠実な再現性を有し
ているという特徴があるため、無許可の複製に対する保
護対策が必要とされるからである。電子透かしは、人間
が知覚できない形式で、著作権情報などの透かし情報
を、データの中に電子的に埋め込み、必要に応じてこれ
を取り出すことで、著作権の存在を第三者に対して明確
にしようとする技術である。電子透かしには、通常、著
作者を特定できる情報が含まれるので、電子透かしが埋
め込まれたデータを署名済みのデータと呼ぶことがあ
る。
【0003】例えば、時系列上の波形値である音響デー
タでは、所定のサンプリング定理に基づいて音声を標本
化し、量子化して線形パルス符号化(Pulse Co
deModulation:以下PCMという)により
デジタル化している。通常、CDなどに記録される音楽
ソフトは、サンプリングレート44.1kHz、16b
it量子化のPCMによってデジタル化されている。従
って、人間の可聴周波数帯域を総てカバーできるため、
非常に高い音質を保ったままデジタル化されている。そ
こで、こうした音楽ソフトに対する著作権情報の埋め込
み技術が種々提案されている。
【0004】代表的なものを以下に列記すると、 聴覚上のマスキング現象を利用した電子透かしの埋め
込み方法(Digital watermarks for audio signals,Pro
c. of the International Conference Multimedia Comp
uting and Systems, pp.473-480(1996) )、 量子化雑音に見せかけて透かしを埋め込み伝送する方
法(音声通信への文字情報の埋め込み、第18回情報理
論とその応用シンポジウム、pp.389−392(1
995))、 高能率な圧縮符号化に関する国際標準規格による音声
符号や音楽ソフトなどの高品質や音楽データに適した電
子透かし法(適応差分PCM符号化における音声符号へ
のテキスト情報の埋め込み、情報処理学会論文誌、Vo
l.38、No.10、pp.2053−2061(1
997)、などの提案がある。これらの技術を利用する
ことで、音楽ソフトにおける音質の劣化をほとんど招く
ことなく、電子透かしデータを埋め込むことが可能であ
る。
【0005】
【発明が解決しようとする課題】しかし、従来の音楽ソ
フトの電子透かし技術は何れも、署名済みのデータであ
る音楽ソフトから電子透かしデータを取り出す際に復号
したビット列のパターンを統計的に判断する必要があ
り、処理にかなりの手間を要するという問題があった。
また、音楽のディジタルデータから、統計処理を経て透
かし情報を取り出す場合には、伝送中などにおける誤り
の発生を考慮しなければならないという問題があった。
統計処理である以上、確からしさについての判定が必要
となり、そのたには、復号ビット列の誤り訂正が行なわ
れているかどうか、あるいは誤りの発生率はどの程度か
といった検討が不可欠となってしまう。
【0006】この発明は、従来技術における上述の課題
を解決するためになされたものであり、音楽ソフト、文
字列、実験データなどの数値列などの一次元の原データ
に、検証性に優れた電子透かしを埋め込むこと、および
その復元を簡易に行なうことを目的とする。
【0007】
【課題を解決するための手段およびその作用・効果】上
述の課題の少なくとも一部を解決するために、本発明は
以下の構成を備える。即ち、本発明の透かし情報を原デ
ータに埋め込む方法は、時系列化された一次元の原デー
タに電子透かしを埋め込む方法であって、二次元の構造
を備えた透かしデータを一次元のデータ列に変換する次
元変換の工程と、該次元変換により得られたデータを、
前記原データに、所定の規則に基づいて複合するデータ
複合の工程とを備えることを要旨とする。
【0008】また、この方法に対応した装置は、時系列
化された一次元の原データに透かしデータを埋め込む埋
込装置であって、二次元の構造を備えた透かしデータを
一次元のデータ列に変換する次元変換手段と、該次元変
換により得られたデータを、前記原データに、所定の規
則に基づいて複合するデータ複合手段とを備えることを
要旨とする。
【0009】かかる埋込方法または埋込装置では、時系
列化された一次元の原データ、例えばデジタル化された
音楽のデータなどに、二次元データである画像を複合す
ることができる。この複合された画像データは、電子透
かしデータとして、一次元の原データに埋め込まれるこ
とになる。二次元データである画像は、その一部が欠損
したりしていても、人間の視覚の有する優れたパターン
認識特性を利用して、容易に認識することができるとい
う特徴がある。従って、画像のデータが埋め込まれた音
声などの一次元の原データに対して再標本化や編集操作
が施されたり、音声データに雑音が混入した場合でも、
透かしを確認することが容易となる。なお、所定の規則
とは、例えば予め定めた長さで一次元データを区分し、
これを二次元的に配列する操作などを考えることができ
る。もとより、長さは常に一定である必要はなく、所定
の規則で増減するようなものでも良い。また、データの
配列順序も一定である必要はなく、1列おきに配列の方
向を変えたりすることも差し支えない。
【0010】こうした透かしデータ埋込において、原デ
ータとしては、音響データを所定サンプリング間隔で量
子化したデータを用いることができる。また、次元変換
の工程は、二次元的に有意な透かしデータを走査して一
次元的なデータを得る工程とすることができる。
【0011】更に、データ複合の工程は、公知の種々の
手法を用いることができるが、例えば一次元の原データ
の指定ビットに対して透かしデータに応じた操作を行な
うものとすることができる。指定ビットに対して行なわ
れる透かしデータに応じた操作は、原データの全体に対
して反復して行なってもよい。この場合には、原データ
の一部をトリミングしても、透かしデータを取り出すこ
とができる。更に、指定ビットとしては、原データの下
位側のビットを指定することができる。この場合には、
原データへの影響を小さくすることができる。もとよ
り、指定ビットは、原データの上位側であっても差し支
えない。上位側のビットを用いれば、透かしデータの認
識率を向上させることができ、再標本化などによる透か
しデータの消失が回避される。
【0012】この指定ビットに対して行なわれる透かし
データに応じた操作は、原データの全体に対して反復し
て行なうことがより好ましい。この様な方法により透か
しが埋め込まれたデータは、多数の透かしデータが繰り
返し埋め込まれているため、これらを累積、積分処理す
ることで、高能率符号化による透かし信号の消失を補填
することができる。
【0013】上記の手法により埋め込まれた透かしデー
タを復元する方法の発明は、時系列化された一次元の原
データに埋め込まれた透かしデータを復元する方法であ
って、前記時系列化された一次元データを、所定の規則
に基づいて二次元に配列する再配列の工程と、該得られ
た二次元の配列から、予め定めたアルゴリズムに従って
二次元の透かしデータを復号化するデータ復号の工程
と、データ復号により得られたデータを画像として表示
する画像表示の工程とを備えることを要旨とする。
【0014】また、この復元方法に対応した復元装置の
発明は、時系列化された一次元の原データに埋め込まれ
た透かしデータを復元する復元装置であって、前記時系
列化された一次元データを、所定の規則に基づいて二次
元に配列する再配列手段と、該得られた二次元の配列か
ら、予め定めたアルゴリズムに従って二次元の透かしデ
ータを復号化するデータ復号手段と、該復号手段により
得られたデータを画像として表示する画像表示手段とを
備えたことを要旨とする。
【0015】かかる復元方法および復元装置によれば、
時系列化された一次元データを所定の規則に基づいて二
次元配列し、この配列から二次元の透かしデータを、予
め定めたアルゴリズムに従って復号する。その上で、こ
うして復号された二次元データを画像として表示する。
二次元データである画像は、その一部が欠損したりして
いても、人間の視覚の有する優れたパターン認識特性を
利用して、容易に認識することができるという特徴があ
る。従って、画像のデータが埋め込まれた音声などの一
次元の原データに対して再標本化や編集操作が施された
り、音声データに雑音が混入した場合でも、上記手法で
復号すれば、復元された画像から、容易に透かしを確認
することができる。
【0016】上述したデータの復号の手法としては、公
知の種々の手法を用いることができるが、例えば二次元
の配列における各データの指定ビットの値に基づいて復
号すべきビットの値を決定するものなどを考えることが
できる。また、時系列化された一次元データを二次元に
配列する再配列の工程とデータ復号の工程は、時系列化
された一次元的のデータの任意の部分系列に対して反復
して行なうものとすることができる。この場合には、復
号化された結果を積分処理すれば、データの欠損やノイ
ズの影響を容易に除去することができる。
【0017】なお、上記の埋め込み方法や埋め込み装置
は、汎用もしくは専用のコンピュータに、ICカードや
フレキシブルディスクあるいはCD−ROMなどの記憶
媒体を読み取られ、この記憶媒体に記憶されたプログラ
ムを実行するという形態で実現することができる。
【0018】即ち、本発明の記憶媒体は、透かしデータ
を原データに埋め込むプログラムをコンピュータにより
読み取り可能に記憶した記憶媒体であって、前記原デー
タとして、時系列化された一次元のデータを入力する機
能と、予め定められた二次元の構造を有する透かしデー
タを一次元のデータ列に変換する次元変換の機能と、該
次元変換の機能により得られたデータを原データに、所
定規則に基づいて複合するデータ複合の機能とをコンピ
ュータにより実現可能に記憶したことを要旨とする。
【0019】更に、本発明の記憶媒体は、時系列化され
た一次元の原データに埋め込まれた透かしデータを復元
するプログラムをコンピュータにより読み取り可能に記
憶した記憶媒体であって、前記時系列化された一次元デ
ータを、所定の規則に基づいて二次元に配列する機能
と、該得られた二次元の配列から、所定規則に基づいて
二次元の透かしデータを復号化する機能と、該復号によ
り得られたデータを画像として表示する機能とをコンピ
ュータにより実現可能に記憶したことを要旨とする。
【0020】この記憶媒体によれば、上述した優れた作
用・効果を奏する本発明の埋め込み方法をコンピュータ
により簡単に実現することができる。
【0021】
【発明の他の態様】この発明は、以下のような他の態様
も含んでいる。第1の態様は、コンピュータに上記の発
明の各工程または各部の機能を実現させるコンピュータ
プログラムを通信経路を介して供給するプログラム供給
装置としての態様である。こうした態様では、プログラ
ムをネットワーク上のサーバなどに置き、通信経路を介
して、必要なプログラムをコンピュータにダウンロード
し、これを実行することで、上記の方法や装置を実現す
ることができる。
【0022】
【発明の実施の形態】A.装置の全体構成:以下、本発
明の実施の形態を実施例に基づいて説明する。図1は、
本発明の一実施例としての電子透かし処理装置の構成を
示すブロック図である。この電子透かし処理装置は、C
PU22と、ROMおよびRAMを含むメインメモリ2
4と、一次元データを二次元化するために利用される二
次元メモリ26と、キーボード30と、マウス32と、
二次元画像を表示する表示装置34と、ハードディスク
36と、モデム38と、画像を読み取るスキャナ39
と、これらの各要素を接続するバス40とを備えるコン
ピュータである。なお、図1では各種のインターフェイ
ス回路は省略されている。モデム38は、図示しない通
信回線を介してコンピュータネットワークに接続されて
いる。コンピュータネットワークの図示しないサーバ
は、通信回線を介してコンピュータプログラムを、実施
例の電子透かし処理装置に供給するプログラム供給装置
としての機能を有する。
【0023】メインメモリ24には、電子透かし埋込部
42の機能を実現するためのコンピュータプログラムが
格納されている。電子透かし埋込部42の機能について
は後述する。
【0024】この電子透かし埋込部42の機能を実現す
るコンピュータプログラムは、フレキシブルディスクや
CD−ROM等、コンピュータが読み取り可能な記録媒
体に記録された形態で提供される。コンピュータは、そ
の記録媒体からコンピュータプログラムを、その記録媒
体のデータを読み書きできるドライブ装置を介して読み
取ってメインメモリ24またはハードディスク36に転
送する。あるいは、通信経路からモデム38を介してコ
ンピュータにコンピュータプログラムを読み取るものと
してもよい。実行時には、このプログラムは、メインメ
モリ24に展開され、これを所定のアドレスから順に実
行することにより、電子透かしの埋込処理や復元処理が
実現されることになる。
【0025】この明細書において、コンピュータとは、
ハードウェア装置とオペレーションシステムとを含む概
念であり、オペレーションシステムの制御の下で動作す
るハードウェア装置を意味している。また、オペレーシ
ョンシステムが不要でアプリケーションプログラム単独
でハードウェア装置を動作させるような場合には、その
ハードウェア装置自体がコンピュータに相当する。ハー
ドウェア装置は、CPU等のマイクロプロセッサと、記
録媒体に記録されたコンピュータプログラムを読み取る
ための手段とを少なくとも備えている。コンピュータプ
ログラムは、このようなコンピュータに、上述の各手段
の機能を実現させるプログラムコードを含んでいる。な
お、上述の機能の一部は、アプリケーションプログラム
でなく、オペレーションシステムによって実現されてい
ても良い。
【0026】また、記録媒体としては、フレキシブルデ
ィスクやCD−ROM、光磁気ディスク、ICカード、
ROMカートリッジ、パンチカード、バーコードなどの
符号が印刷された印刷物、コンピュータの内部記憶装置
(RAMやROMなどのメモリ)および外部記憶装置等
の、コンピュータが読取り可能な種々の媒体を利用する
ことができる。
【0027】B.透かし情報の埋め込み処理:図2は、
一次元のデータである音楽ソフトOAに二次元のデータ
である画像の透かし情報を埋め込む電子透かし埋め込み
処理の概要説明図である。本実施例の著作権を明示する
二次元の透かし情報WMは、大きさM×N画素の二値画
像である。従って、この画像の座標(m,n)の画素値
は、次式(1)により表すことができる。
【0028】
【数1】
【0029】ここで、kビットに量子化された音声標本
値をs(t)とし、その第iビット目、すなわち2i
重みを持つビット値をsi(t)とする。但し、0≦i
≦k−1である。
【0030】これら2つの値を次式(2)のように制御
して、音声データsi’(t)を合成する。なお、標本
時刻tは、議論を簡単とするために座標(m,n)に対
して式(3)の関係を満たす正数とした。
【0031】
【数2】
【0032】
【数3】
【0033】すなわち、以上の透かし情報の埋め込み処
理により、図2に示すように、一次元のデータである音
楽データは、標本化時刻tによりサンプリングされたM
×Nの二次元配列(以下、フレームという)のデータに
変換される。また、このフレームは、kビットの量子化
データであるから、最上位ビットから最下位ビットまで
k個のフレームができあがる。これらのフレームの第i
番目のフレームFIに対する透かし情報の埋め込みは、
互いに同一次元の情報であるから式(2)により簡単に
行うことができ、この操作が完了したフレームFOを原
データである音楽データの第i番目のフレームと置き換
え、k個のフレームを再度一次元のデータに変換するこ
とで、署名済みデータを簡便に得ることができる。
【0034】図2の概要説明図は著作権画像である透か
し情報を1回埋め込むために必要なサンプル数M・Nの
音楽データの区間のみを示しているが、この様な操作を
音楽データ全体に繰り返すことで、上述のごとく透かし
データを書き込む第i番目のフレームは、時系列順にS
(0),S(1),S(2)・・・と多数得ることがで
きる。
【0035】次に、この透かし情報の埋め込み処理によ
る原データへの影響について説明する。署名済みデータ
s’(t)と原データs(t)とには、ある条件のもと
で、差分値δi(t)が発生する。差分値が発生する条
件とは、次式(4)に示すように、b(m,n)=1で
あって、かつ、si(t)=1である、という条件であ
る。このとき、第iビット目のデータが書き換えられ、
誤差が発生する。
【0036】
【数4】
【0037】ここで、j番目のフレームS(j)に透か
し情報を埋め込む処理を施すとき、データの書き換えが
行われる上記条件であるb(m,n)=1、かつ、si
(t)=1である標本数をG(j)とするならば、この
埋め込み操作によって影響を受ける標本の含有率P
(j)は次式(5)により表現される。
【0038】
【数5】
【0039】従って、j番目のフレームS(j)が埋め
込み操作によって受ける量子化誤差の平均二乗値Δ
(j)は、式(6)のようになり、原データの品質保持
の観点から各標本値s(t)に対する埋め込みビット位
置iは下位であるほど望ましいことが分かる。
【0040】
【数6】
【0041】C.透かし情報の復号処理:以上のように
して得られる署名済みデータから透かし情報を取り出す
ための復号処理は、次のようにして行われる。署名済み
データs’(t)から2iの重みを持つビット値s’i
(t)を復号した値b’(m,n)は、次式(7)によ
り表される。
【0042】
【数7】
【0043】この方法に従って得られたb’(m,n)
をM×Nの二次元メモリ26に格納し、1フレーム分の
出力を得たとき、それを二値画像として表示すれば、M
×Nの画像情報であった透かし情報を視覚により確認す
ることができることになる。もとより、b’(m,n)
=s’i(t)は、式(2)に示すように、二値画像で
ある透かし情報の「白」部分は忠実に、「黒」部分は原
データsi(t)によるノイズを受けることを示してい
る。しかし、人間の視覚は、輪郭情報や構造を示す状態
であれば十分に形状を認識できる優れたパターン認識機
能を有しており、M×N画素の全体として透かし情報を
認識することができる。
【0044】この人間の視覚が有する優れたパターン認
識力は、例えば図3ないし図5を用いて説明する。図3
は、256×256画素の二値画像であり、大きさの異
なる7種類の文字パターンから構成される透かし情報の
一例である。この二値画像を誤り率0.2の伝送系を通
過させた場合の画像を、図4に示した。画像は、伝送系
における誤りの発生によりかなりのノイズを含んだもの
になるが、図4からも明確に図3の透かし情報を認識す
ることができる。また、図3に示す透かし情報のデータ
伝送時にバースト誤りが発生した場合には、図5に示す
ような縞状のデータ消失が確認されるが、図5に示す画
像からも全体としては十分に図3に示す透かし情報を確
認することができる。これらは、人間の視覚が有するす
ぐれた認識機能によっている。
【0045】また、前述のように本実施例の透かし情報
の埋め込みは、時系列上の標本値である原データについ
て反復的に行うことにより多数のフレームについて行う
ことができる。従って、署名済みデータに対するデータ
圧縮等によってデータが大きく変動する場合であって
も、上記復号方法によって得られた各フレームの透かし
情報を累積、積分処理することにより容易に視覚による
検出が可能となる。この例を以下に示す。図6に示すよ
うに連続したフレームの系列s(j),j=0,1,2
・・・から、ある部分系列を取り出し、{s(j)|j
=p、p+1,・・・,q}とする。但し、0≦p<q
である。S(j)の任意の座標(m,n)の画素値b’
j(m,n)は、「0」または「1」を表す二値データ
であり、これをjについてpからqまで総和を取り、そ
の値をB’(m,n)とする。値B’(m,n)は次式
(8)のように表わされる。
【0046】
【数8】
【0047】このB’(m,n)を図6に示すように
(m,n)座標とする合成画像B’で表すならば、一般
にフレームS(j)において透かし情報に該当する領域
ではb’(m,n)=0となり、その背景部分のビット
値は「0」または「1」の何れかの値をとる。従って、
B’(m,n)は、透かし情報に対応する領域と背景部
に対応する領域ではp〜q間のフレーム数に比例した差
が生じてくることになる。この処理から合成画像B’
(m,n)は、編集や圧縮、あるいはビット誤り、透か
し情報の削除攻撃などにより署名データから部分的に消
失した透かし情報をフレーム間で補完しあい、全体とし
て透かし情報の検出を容易にする効果が得られることが
分かる。このとき、B’(m,n)は0≦B’(m,
n)≦q−p+1の条件を満たしているから、B’を多
値画像として表示する際には使用機器の画素表現範囲の
上限に留意し、必要ならばその上限に適合する正規化処
理を施して二次元表示すればよい。
【0048】実施例1:次に、概要説明した態様による
具体的な実施例について、図7のフローチャートを参照
しつつ電子透かしの埋め込み手法について説明する。図
7は、CPU22が実行する電子透かし埋め込み処理ル
ーチンを示すフローチャートである。本実施例における
一次元の音楽のデータは、表1に示す「クラシック」,
「ジャズ」,「ダンス」の三種の音楽データを、それぞ
れ10秒間、44.1kHzで標本化し、各標本値を1
6bitで量子化したものである。サンプル数は、いず
れも440,832個であった。実施例で用いた音楽
は、ステレオ音であり、その片側成分のみに透かし情報
の埋め込みを施している。また、透かし情報である二次
元画像は、図3に示した256×256画素の二値画像
である。
【0049】
【表1】
【0050】電子透かし情報を埋め込む場合には、ま
ず、図3に示した透かし情報の読み込みを行なう(ステ
ップS100)。この処理は、既述したように、スキャ
ナ39を駆動して写真などから直接画像データを読み取
るものであってもよいし、予め用意した画像ファイルを
読み込むものであっても良い。画像ファイルは、例えば
CD−ROMなどにより提供されるものでもよいし、モ
デム38を介して通信により読み込むものであっても良
い。
【0051】こうして読み込んだ画像データは、二次元
的な画像データの形態なので、次に一次元データに変換
するために走査する(ステップS110)。この次元変
換は、上述した通りのものである。こうして一次元デー
タに変換された画像データを、もともと一次元データで
ある音楽データの所定標本の所定ビットiに複合化する
処理を行なう(ステップS120)。この処理は、フレ
ームが完了するまで、つまり音楽データの全体について
反復して行なわれる(ステップS130)。本実施例で
は二次元データである透かし情報を走査して一次元デー
タに変換し、音楽データに複合しているので、透かし情
報の埋め込み処理を簡略化することができる。複合後の
データ、すなわち署名済みデータは一次元のデータとな
る。
【0052】この様にして透かし情報の埋め込みが完了
した署名済みデータの音質を評価する。評価の方法とし
ては、最も基本的な信号対量子化雑音比(Signal
to quantization Noise Ra
tio:以下SNRという)を更に改良し、主観評価と
の対応関係を向上したSNRseg(Segmenta
l SNR)を用いた。SNR[dB]の評価式は、入
力音声S0(m)とその量子化誤差Er(m)を用いて
次式(9)のように定義される。
【0053】
【数9】
【0054】
【数10】
【0055】ここで、Nfは測定区間のフレーム数を表
し、SNRfはfフレームにおけるSNRである。本実
施例では、1フレームの長さを32msとした。また、
誤差のない音声フレーム、すなわちSNRf=∞の音声
フレームを除外して測定した。
【0056】表1に示した音楽データに対し、(M,
N)=(256,256)の透かし情報を埋め込むため
に透かし情報のフレーム長は65536サンプルとな
り、この透かし情報を複合した再生音声と原データであ
る音楽データの再生音声の音質を比較検討した。図8
は、図7のフローチャートに従って各ビットプレーンi
に対して図3に示す透かし情報を埋め込んだ音声のSN
Rsegを測定した結果である。図示するように、原デ
ータによって程度の差があるものの、一般に下位ビット
プレーンほど透かし情報の埋め込みによる影響は少ない
ことが明らかであり、上位ビットプレーンへの透かし情
報の埋め込みによって、より大きな影響が現れる。埋め
込むビットプレーンと音声の音質への影響とは直線的で
あって、下位ビットプレーンに埋め込んだ場合の音質へ
の影響は小さいことが了解される。
【0057】次に、透かし情報の埋め込みが行われた署
名済みデータの復元について説明する。図9は、復元処
理ルーチンを示すフローチャートである。このルーチン
が起動されると、まず署名済みデータである音楽データ
を入力し(ステップS200)、これを上述した式
(7)の復号処理を行ないつつ、得られたビットデータ
を順次M×Nの二次元メモリに格納する(ステップS2
10)。そして、1フレーム分の出力を得たとき(ステ
ップS220)、それを二値画像として表示装置34に
表示する(ステップS230)。この結果、M×Nの大
きさの画像を、透かし情報として視覚により確認するこ
とができる。図10は、上記実施例のi=0、すなわち
最下位ビットプレーンに対して透かし情報を埋め込み、
単一の透かしフレームから署名情報を抽出した結果であ
る。この図10に示すように復号化した透かし情報は、
目視により簡単に認識することができる。また、上位ビ
ットに対する埋め込みでも、同様の画像が得られた。透
かし情報が埋め込まれた位置(ビットブレーン)が異な
ると、音質に与える影響も異なるが、復号における明瞭
度はビットプレーンにより影響を受けないからである。
【0058】実施例2:次に、実施例1による透かし情
報の埋め込みが行われた署名済みデータに対し、ブロッ
ク抽出および再標本化による影響を調べた実施例につい
て説明する。図11は、実施例1による透かし情報の埋
め込みが行われた署名済みデータの冒頭部分を削除した
データについて、実施例1による透かし情報の復元処理
を施した結果を表示している。署名済みデータの冒頭部
分が削除されたため、M×Nの二次元メモリに格納され
るデータは、当初の透かし情報とは異なる位置に配置さ
れ、かつ、その初めのデータが消失している。しかしな
がら、図11の画像全体からは明らかに図3に示す透か
し情報を認識することができる。
【0059】図12は、実施例1による透かし情報の埋
め込みが行われた署名済みデータを22kHzで再標本
化した音声データに対し、実施例1による透かし情報の
復元処理を施した結果を表示している。この結果から、
透かし情報が間引かれていることが分かるが、図3に示
した透かし情報の存在、つまり記述している文字情報を
十分に認識できることが分かる。
【0060】実施例3:更に、音楽データの高能率圧縮
技術として近年脚光を浴びているMPEG−1Audi
o layer3(以下、MP3という)による影響に
ついて、実施例3として説明する。
【0061】本実施例では表1に示した「クラシック」
の音楽データの下位から7ビット目に、図3に示した透
かし情報を実施例1と同様の手法で埋め込んだ。その署
名済みデータの容量を、MP3の手法により約10分の
1まで圧縮した。こうして作成されたデータを、実施例
1と同様の透かし情報の復元手法により復元した。この
復元された画像を図13に示した。すなわち、図13
は、MP3のデータから得られたM×Nの単一透かしフ
レームから復号した画像を示している。図13から、M
P3により圧縮した場合には、単一フレームのデータで
は、原画像に対応した透かし情報(図3参照)が良好に
認識できないことが分かる。
【0062】そこで、このMP3のデータについて図9
に示す復号処理を反復的に行い、こうして得られた多数
の透かしフレームについて図6を用いて説明した累積、
積分処理を施した。その結果を図14に示す。図14か
ら、埋め込まれた透かし情報(図3参照)が十分に認識
できる状態であることが分かる。すなわち、高能率圧縮
などのデータが大きく変動する処理に対しても、透かし
情報の復元に際して累積、積分処理を施すことで、人間
の優れたパターン認識力と相俟って透かしデータを十分
に認識することが可能である。
【0063】実施例4:次に、MP3による透かし情報
への影響として、透かし情報を埋め込むビット位置と透
かし情報の認識率との関係を検討した結果を説明する。
この実施例は、表1に示した3種の音楽データに対して
前述した実施例3と同一条件で透かし情報を埋め込むビ
ット位置を変更したものであり、その結果を表2に示し
ている。但し、透かしの復号に用いたフレーム数は、平
均値で約6.7フレームであった。
【0064】
【表2】
【0065】表2において、「×」は署名情報が認識で
きなかったことを、「○」は認識できたことを、それぞ
れ示している。即ち、透かし情報の埋め込みビット位置
が高次ビットであるほど透かし情報の認識は、容易とな
る。また、認識可能である埋め込みビット位置の下限
は、原データである音楽の種類、つまり温顔の特徴によ
って異なることが分かる。これは、音声データに応じて
MP3の聴感的マスキングの特性が変化するためである
と考えられる。従って、埋め込み対象である音楽データ
の特質(種類)に応じて埋め込みビット位置を適応化す
ることも有効である。
【0066】実施例5:また、MP3による透かし情報
への影響として、透かし情報の復号に用いるフレーム数
と透かし情報の認識率の関係を検討した結果を説明す
る。この実施例では、埋め込みビット位置を固定した状
態で、これまでと同じ条件のMP3圧縮を施し、透かし
情報の復元に用いるフレーム数を変化させた。その結果
を表3に示した。なお、それぞれの透かし情報の埋め込
みは、表2の結果から判明した透かし情報の認識が可能
な下限ビット位置に対して実施している。表3から、復
号に用いるフレームが多いほど透かし情報の認識が容易
であることが理解され、前述したフレームの累積、積分
処理が透かし情報の復元に極めて有効であることが分か
る。
【0067】
【表3】
【0068】実施例6:更に、透かし情報の埋め込み処
理が波形の形状に与える影響についての実施例を説明す
る。図15(a)は、「クラシック」の音楽データにお
けるバイオリンの演奏音に相当する音声波形の一部を切
り出したものである。また、図15(b)は署名情報が
複合された後の波形を示している。更に、図15(c)
はそれらの差分波形である。この差分波形は、図示する
ように、値0レベルのフラットな信号となっており、透
かし情報の埋め込みによる波形の変化はほとんどないこ
とが分かる。即ち、本実施例によれば、聴感的に高品質
を保ったまま、透かし情報の埋め込みが行われるのであ
る。
【0069】以上説明したように、本実施例の電子透か
しの埋め込み方法により埋め込んだ電子透かしは、一次
元の原データに対して二次元の画像情報を透かし情報と
して埋め込むことができる。従って、伝送ノイズ、伝送
バースト誤り、再標本化や編集操作更には高能率圧縮に
対しても十分に実用的な耐性を示す。
【0070】以上本発明の実施例について説明したが、
本発明は上記の実施例や実施形態に限られるものではな
く、その要旨を逸脱しない範囲において種々の態様にお
いて実施することが可能である。
【図面の簡単な説明】
【図1】本発明の第1実施例としての電子透かし処理装
置の構成を示すブロック図である。
【図2】実施例である電子透かし埋め込み処理の概要を
説明する概要説明図である。
【図3】実施例に使用される透かし情報の説明図であ
る。
【図4】その透かし情報の伝送に誤りが発生した例を説
明する説明図である。
【図5】その透かし情報の伝送にバースト誤りが発生し
た例を説明する説明図である。
【図6】実施例である透かし情報の累積、積分処理によ
る復号化の概要を説明する説明図である。
【図7】実施例1の透かし情報の埋め込み処理の手順を
示すフローチャートである。
【図8】実施例1のSNRsegを測定した結果を表す
説明図である。
【図9】実施例1の透かし情報の復号処理の手順を示す
フローチャートである。
【図10】実施例1の最下位ビットプレーンに対して埋
め込まれた透かし情報を抽出した結果の説明図である。
【図11】署名済みデータの冒頭部分を削除したデータ
について復元処理を施した結果の説明図である。
【図12】署名済みデータを22kHzに再標本化した
音声データについて復元処理を施した結果の説明図であ
る。
【図13】署名済みデータを約10分の1までMP3の
手法により圧縮したデータについて復元処理を施した結
果の説明図である。
【図14】その復元処理を複数のフレームについて積分
処理した結果の説明図である。
【図15】透かし情報の埋め込み処理が波形の形状に与
える影響についての説明図である。
【符号の説明】
22…CPU 24…メインメモリ 26…二次元メモリ 30…キーボード 32…マウス 34…表示装置 36…ハードディスク 38…モデム 39…スキャナ 40…バス 42…電子透かし埋込部

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 時系列化された一次元の原データに電子
    透かしを埋め込む方法であって、 二次元の構造を備えた透かしデータを一次元のデータ列
    に変換する次元変換の工程と、 該次元変換により得られたデータを、前記原データに、
    所定の規則に基づいて複合するデータ複合の工程とを備
    える電子透かしの埋め込み方法。
  2. 【請求項2】 原データは、音響データを所定サンプリ
    ング間隔で量子化したデータである請求項1記載の電子
    透かしの埋め込み方法。
  3. 【請求項3】 次元変換の工程は、二次元的に有意な透
    かしデータを走査して一次元的なデータを得る工程であ
    る請求項1または請求項2記載の電子透かしの埋め込み
    方法。
  4. 【請求項4】 データ複合の工程は、前記一次元的の原
    データの指定ビットに対して透かしデータに応じた操作
    を行なうことを特徴とする請求項1ないし請求項3何れ
    か記載の電子透かしの埋め込み方法。
  5. 【請求項5】 指定ビットに対して行なわれる前記透か
    しデータに応じた操作は、原データの全体に対して反復
    して行なわれる請求項4記載の電子透かしの埋め込み方
    法。
  6. 【請求項6】 指定ビットは、原データの下位側である
    請求項4または請求項5記載の電子透かしの埋め込み方
    法。
  7. 【請求項7】 指定ビットは、原データの上位側である
    請求項4または請求項5記載の電子透かしの埋め込み方
    法。
  8. 【請求項8】 時系列化された一次元の原データに埋め
    込まれた透かしデータを復元する方法であって、 前記時系列化された一次元データを、所定の規則に基づ
    いて二次元に配列する再配列の工程と、 該得られた二次元の配列から、所定規則に基づいて二次
    元の透かしデータを復号化するデータ復号の工程と、 データ復号により得られたデータを画像として表示する
    画像表示の工程と、 を備える復元方法。
  9. 【請求項9】 前記データ復号の工程は、二次元の配列
    における各データの指定ビットの値に基づいて復号すべ
    きビットの値を決定する請求項8記載の復元方法。
  10. 【請求項10】 二次元に配列する再配列の工程とデー
    タ復号の工程は、前記時系列化された一次元的のデータ
    の任意の部分系列に対して反復して行なう工程であり、 該復号化された結果を積分処理する工程を備える請求項
    8または請求項9記載の復元方法。
  11. 【請求項11】 時系列化された一次元の原データに透
    かしデータを埋め込む埋込装置であって、 二次元の構造を備えた透かしデータを一次元のデータ列
    に変換する次元変換手段と、 該次元変換により得られたデータを、前記原データに、
    所定の規則に基づいて複合するデータ複合手段とを備え
    る電子透かしの埋め込み装置。
  12. 【請求項12】 時系列化された一次元の原データに埋
    め込まれた透かしデータを復元する復元装置であって、 前記時系列化された一次元データを、所定の規則に基づ
    いて二次元に配列する再配列手段と、 該得られた二次元の配列から、所定規則に基づいて二次
    元の透かしデータを復号化するデータ復号手段と、 該復号手段により得られたデータを画像として表示する
    画像表示手段とを備える復元装置。
  13. 【請求項13】 透かしデータを原データに埋め込むプ
    ログラムをコンピュータにより読み取り可能に記憶した
    記憶媒体であって、 前記原データとして、時系列化された一次元のデータを
    入力する機能と、 予め定められた二次元の構造を有する透かしデータを一
    次元のデータ列に変換する次元変換の機能と、 該次元変換の機能により得られたデータを原データに、
    所定規則に基づいて複合するデータ複合の機能とをコン
    ピュータにより実現可能に記憶した記憶媒体。
  14. 【請求項14】 時系列化された一次元の原データに埋
    め込まれた透かしデータを復元するプログラムをコンピ
    ュータにより読み取り可能に記憶した記憶媒体であっ
    て、 前記時系列化された一次元データを、所定の規則に基づ
    いて二次元に配列する機能と、 該得られた二次元の配列から、所定規則に基づいて二次
    元の透かしデータを復号化する機能と、 該復号により得られたデータを画像として表示する機能
    とをコンピュータにより実現可能に記憶した記憶媒体。
JP29679499A 1999-10-19 1999-10-19 時系列化された一次元のデータにおける電子透かし Pending JP2001119555A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29679499A JP2001119555A (ja) 1999-10-19 1999-10-19 時系列化された一次元のデータにおける電子透かし

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29679499A JP2001119555A (ja) 1999-10-19 1999-10-19 時系列化された一次元のデータにおける電子透かし

Publications (1)

Publication Number Publication Date
JP2001119555A true JP2001119555A (ja) 2001-04-27

Family

ID=17838230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29679499A Pending JP2001119555A (ja) 1999-10-19 1999-10-19 時系列化された一次元のデータにおける電子透かし

Country Status (1)

Country Link
JP (1) JP2001119555A (ja)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2414371A (en) * 2004-05-22 2005-11-23 Peter David Hurley Transmission of 2D data as 1D data
JP2008539669A (ja) * 2005-04-26 2008-11-13 ベランス・コーポレイション マルチメディアコンテンツ用の電子透かしのセキュリティ強化
US8005258B2 (en) 2005-04-26 2011-08-23 Verance Corporation Methods and apparatus for enhancing the robustness of watermark extraction from digital host content
US8103049B2 (en) 2005-04-26 2012-01-24 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
US8259938B2 (en) 2008-06-24 2012-09-04 Verance Corporation Efficient and secure forensic marking in compressed
US8340348B2 (en) 2005-04-26 2012-12-25 Verance Corporation Methods and apparatus for thwarting watermark detection circumvention
US8451086B2 (en) 2000-02-16 2013-05-28 Verance Corporation Remote control signaling using audio watermarks
US8533481B2 (en) 2011-11-03 2013-09-10 Verance Corporation Extraction of embedded watermarks from a host content based on extrapolation techniques
US8549307B2 (en) 2005-07-01 2013-10-01 Verance Corporation Forensic marking using a common customization function
US8615104B2 (en) 2011-11-03 2013-12-24 Verance Corporation Watermark extraction based on tentative watermarks
US8682026B2 (en) 2011-11-03 2014-03-25 Verance Corporation Efficient extraction of embedded watermarks in the presence of host content distortions
US8726304B2 (en) 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
US8745404B2 (en) 1998-05-28 2014-06-03 Verance Corporation Pre-processed information embedding system
US8781967B2 (en) 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
US8806517B2 (en) 2002-10-15 2014-08-12 Verance Corporation Media monitoring, management and information system
US8838978B2 (en) 2010-09-16 2014-09-16 Verance Corporation Content access management using extracted watermark information
US8869222B2 (en) 2012-09-13 2014-10-21 Verance Corporation Second screen content
US8923548B2 (en) 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
JP2015022114A (ja) * 2013-07-18 2015-02-02 Necエンジニアリング株式会社 オーディオ信号電子透かし付加装置及び表示装置、それらの方法、及びそれらのプログラム
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US9262794B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US9547753B2 (en) 2011-12-13 2017-01-17 Verance Corporation Coordinated watermarking
US9571606B2 (en) 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
US9596521B2 (en) 2014-03-13 2017-03-14 Verance Corporation Interactive content acquisition using embedded codes

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8745404B2 (en) 1998-05-28 2014-06-03 Verance Corporation Pre-processed information embedding system
US9117270B2 (en) 1998-05-28 2015-08-25 Verance Corporation Pre-processed information embedding system
US8791789B2 (en) 2000-02-16 2014-07-29 Verance Corporation Remote control signaling using audio watermarks
US9189955B2 (en) 2000-02-16 2015-11-17 Verance Corporation Remote control signaling using audio watermarks
US8451086B2 (en) 2000-02-16 2013-05-28 Verance Corporation Remote control signaling using audio watermarks
US9648282B2 (en) 2002-10-15 2017-05-09 Verance Corporation Media monitoring, management and information system
US8806517B2 (en) 2002-10-15 2014-08-12 Verance Corporation Media monitoring, management and information system
GB2414371A (en) * 2004-05-22 2005-11-23 Peter David Hurley Transmission of 2D data as 1D data
US8280103B2 (en) 2005-04-26 2012-10-02 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
US8340348B2 (en) 2005-04-26 2012-12-25 Verance Corporation Methods and apparatus for thwarting watermark detection circumvention
US8005258B2 (en) 2005-04-26 2011-08-23 Verance Corporation Methods and apparatus for enhancing the robustness of watermark extraction from digital host content
US8538066B2 (en) 2005-04-26 2013-09-17 Verance Corporation Asymmetric watermark embedding/extraction
JP2011229156A (ja) * 2005-04-26 2011-11-10 Verance Corp マルチメディアコンテンツ用の電子透かしのセキュリティ強化
US8103049B2 (en) 2005-04-26 2012-01-24 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
US9153006B2 (en) 2005-04-26 2015-10-06 Verance Corporation Circumvention of watermark analysis in a host content
JP2008539669A (ja) * 2005-04-26 2008-11-13 ベランス・コーポレイション マルチメディアコンテンツ用の電子透かしのセキュリティ強化
US8811655B2 (en) 2005-04-26 2014-08-19 Verance Corporation Circumvention of watermark analysis in a host content
US8549307B2 (en) 2005-07-01 2013-10-01 Verance Corporation Forensic marking using a common customization function
US9009482B2 (en) 2005-07-01 2015-04-14 Verance Corporation Forensic marking using a common customization function
US8781967B2 (en) 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
US8259938B2 (en) 2008-06-24 2012-09-04 Verance Corporation Efficient and secure forensic marking in compressed
US8346567B2 (en) 2008-06-24 2013-01-01 Verance Corporation Efficient and secure forensic marking in compressed domain
US8681978B2 (en) 2008-06-24 2014-03-25 Verance Corporation Efficient and secure forensic marking in compressed domain
US8838977B2 (en) 2010-09-16 2014-09-16 Verance Corporation Watermark extraction and content screening in a networked environment
US8838978B2 (en) 2010-09-16 2014-09-16 Verance Corporation Content access management using extracted watermark information
US9607131B2 (en) 2010-09-16 2017-03-28 Verance Corporation Secure and efficient content screening in a networked environment
US8615104B2 (en) 2011-11-03 2013-12-24 Verance Corporation Watermark extraction based on tentative watermarks
US8682026B2 (en) 2011-11-03 2014-03-25 Verance Corporation Efficient extraction of embedded watermarks in the presence of host content distortions
US8923548B2 (en) 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
US8533481B2 (en) 2011-11-03 2013-09-10 Verance Corporation Extraction of embedded watermarks from a host content based on extrapolation techniques
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US9547753B2 (en) 2011-12-13 2017-01-17 Verance Corporation Coordinated watermarking
US9571606B2 (en) 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US8869222B2 (en) 2012-09-13 2014-10-21 Verance Corporation Second screen content
US8726304B2 (en) 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
US9262794B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
JP2015022114A (ja) * 2013-07-18 2015-02-02 Necエンジニアリング株式会社 オーディオ信号電子透かし付加装置及び表示装置、それらの方法、及びそれらのプログラム
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
US9596521B2 (en) 2014-03-13 2017-03-14 Verance Corporation Interactive content acquisition using embedded codes

Similar Documents

Publication Publication Date Title
JP2001119555A (ja) 時系列化された一次元のデータにおける電子透かし
US7548633B2 (en) Data processing apparatus and method, data processing program, and storage medium
US20060227968A1 (en) Speech watermark system
JP4186531B2 (ja) データ埋め込み方法、データ抽出方法、データ埋め込み抽出方法、及びシステム
JP3986150B2 (ja) 一次元データへの電子透かし
JP4199293B2 (ja) 整数ウエーブレット拡散スペクトラムに基づく可逆データ隠蔽のためのシステム及び方法
US20060153424A1 (en) Image processing apparatus and method, program code and storage medium
JP2000350014A (ja) 透かしを挿入するための分割を決定する方法、及び、その挿入、復号化方法
JP2005531024A (ja) 圧縮されたマルチメディアコンテンツからのハッシュを生成する方法
JP3683766B2 (ja) 画像処理装置およびその方法
KR20210056252A (ko) 이미지 데이터의 스테가노그래피 처리 및 압축을 위한 방법 및 장치
US20080159403A1 (en) System for Use of Complexity of Audio, Image and Video as Perceived by a Human Observer
KR100878518B1 (ko) 워터마크 삽입방법, 전송방법, 복원방법 및 그 장치
JP2007508753A5 (ja)
JP2000236432A (ja) デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した記録媒体
Abdulaziz et al. Robust data hiding for images
Bhat K et al. Design of a blind quantization‐based audio watermarking scheme using singular value decomposition
JP2007506128A (ja) マルチメディア信号に透かしを入れる装置及び方法
JPH11316599A (ja) 電子透かし埋め込み装置、オーディオ符号化装置および記録媒体
JP4310145B2 (ja) オーディオデータの透かし情報埋め込み方法、埋め込みプログラム及び検出方法
JP2001016438A (ja) 電子透かし方法及びその装置
JP2000106624A (ja) データ処理装置、方法及びコンピュータ読み取り可能な記憶媒体
Wei et al. Controlling bitrate steganography on AAC audio
Taskovski et al. Digital watermarking in wavelet domain
JP3777993B2 (ja) 画像データ処理方法および画像データ処理装置ならびに画像データ処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080624