JP4226687B2 - 電子透かし埋め込み装置及びオーディオ符号化装置 - Google Patents
電子透かし埋め込み装置及びオーディオ符号化装置 Download PDFInfo
- Publication number
- JP4226687B2 JP4226687B2 JP13760798A JP13760798A JP4226687B2 JP 4226687 B2 JP4226687 B2 JP 4226687B2 JP 13760798 A JP13760798 A JP 13760798A JP 13760798 A JP13760798 A JP 13760798A JP 4226687 B2 JP4226687 B2 JP 4226687B2
- Authority
- JP
- Japan
- Prior art keywords
- digital watermark
- audio data
- data
- subband
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
- G11B20/00884—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm
- G11B20/00891—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm embedded in audio data
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Storage Device Security (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は電子透かし埋め込み装置及びオーディオ符号化装置に関し、特に、例えばオーディオデータを圧縮して伝送あるいは記録媒体に記憶するためのオーディオ符号化装置に用いて好適なものである。
【０００２】
【従来の技術】
近年のコンピュータネットワークの発達と、安価で高性能なコンピュータの普及とにより、ネットワーク上でのディジタルデータのやり取りが盛んになってきている。しかし、ディジタルデータは、完全なコピーを容易かつ大量に作成できるという性質を持つため、オリジナルと同質のコピーを不正に作成して再配布できるという可能性を示す。これにより、ディジタルデータの著作者等が有する著作権が侵害されていると考えられる。
【０００３】
そのため、このような著作権侵害を防止するための手法として、電子的な透かし（以下、電子透かしと言う）を用いた手法が提案されている。この電子透かしとは、オーディオ信号や画像信号などのディジタルデータ中に埋め込まれた所定の識別子である。すなわち、電子透かしは、例えば、オリジナルのディジタルデータ中に著作権所有者などの情報を埋め込むことによって、著作権所有者の権利を守ることを目的に使用される。
【０００４】
従来のオーディオデータに対する電子透かしの挿入方法としては、例えば、L.F.Turner“Digital Data Security System”という米国特許にあるように、時間領域において一定の周波数でサンプルされたディジタルオーディオデータの中から無作為に選択されたオーディオデータに対して、重要でないビット（つまり、オーディオサンプルのワードのうちの最下位部に位置する単数あるいは複数のビット）を所定の識別子（電子的な透かし情報）と置換することによって、識別子をディジタルオーディオデータ中に挿入することが提案されている。
【０００５】
【発明が解決しようとする課題】
ディジタルオーディオデータは、膨大なデータ量を削減するために符号化処理を施される場合が多い。そして、現在主に使われている符号化処理としては、ＭＤＣＴ（Modified Discrete Cosine Transform）などのように、時間領域の信号を周波数領域の信号に変換する処理を用いたものが多い。この符号化処理では、データ量の削減を目的とするため、周波数領域中でオーディオデータに対して不可逆的な処理である量子化処理が施される。
【０００６】
量子化処理とは、Ｎビットから成るオーディオデータの上位ｎビット（Ｎ，ｎは整数）を取り出し、下位ｍビット（ｍ＝Ｎ−ｎ）を切り捨てるような処理である。したがって、上述したL.F.Turnerの埋め込み手法では、時間領域でオーディオデータの下位部に電子透かしとして挿入された識別子が、符号化処理の際に失われてしまうという問題点があった。
【０００７】
本発明は、このような問題を解決するために成されたものであり、ディジタルオーディオデータの符号化処理に適した電子透かしの挿入手法を実現できるようにすることを目的とする。
【０００８】
【課題を解決するための手段】
本発明の電子透かし埋め込み装置は、時間領域の信号から周波数領域の信号に変換され量子化処理を施されたオーディオデータに対して、電子透かし情報を、上記量子化されたオーディオデータを別のデータ値と可逆的に置換する処理の際に挿入するようにしたことを特徴とする。
【０００９】
本発明のオーディオ符号化装置は、オーディオデータを時間／周波数変換処理を用いて周波数領域へ変換する時間／周波数変換手段と、上記周波数領域へ変換されたオーディオデータに対して量子化処理を行う量子化手段とを有するオーディオ符号化装置であって、上記量子化されたオーディオデータに対して電子透かし情報を挿入する電子透かし埋め込み手段と、上記量子化されたオーディオデータを別のデータ値と可逆的に置換する可逆的置換手段とを備え、上記可逆的置換手段は上記電子透かし埋め込み手段を兼ね備え、上記量子化されたオーディオデータを別のデータ値と可逆的に置換する際に上記電子透かし情報を挿入することを特徴とする。
【００１４】
本発明は上記技術手段より成るので、埋め込まれた電子透かし情報が量子化処理によって削られることがなくなる。
また、本発明の他の特徴によれば、オーディオデータ中で人の聴覚特性に関して重要である周波数成分のデータに対して埋め込まれた電子透かし情報を書き換えると、それを復号した場合に得られる出力音声に音質の変化や劣化となって現れやすくなる。
【００１５】
【発明の実施の形態】
以下、本発明の詳細を一実施形態に基づいて説明する。
図１は、本発明の電子透かし埋め込み装置を実施した一実施形態であるオーディオ符号化装置の全体構成を示すブロック図である。
【００１６】
オーディオデータの符号化方式については、様々な方法が知られている。大きな圧縮効率を目的とする場合には、時間／周波数変換を用いてオーディオデータを周波数領域の信号に変換し、周波数領域で符号化を行う方法が使われることが多い。時間／周波数変換としては、サブバンドフィルタやＭＤＣＴを用いた方式が挙げられる。なお、これらの符号化方式の概要については、MACEL DEKKAR社（New York）1991年出版の、FURUI&SONDHI編の“Adbance in Speech Signal Processing ”の１０９ページから１４０ページに記載されている。
【００１７】
以下では、特に時間／周波数変換として上記のＭＤＣＴを用いた符号化方式に基づいて説明を行う。ただし、これは一例に過ぎず、本発明は他の時間／周波数変換を用いた方式にも適応することが可能である。なお、ＭＤＣＴ符号化方式の一例としては、ＭＰＥＧ−２ ＡＡＣとして知られるISO/IEC13818-7を挙げることができる。なお、このＭＰＥＧ−２ ＡＡＣの概要については、M.Bosi他による“ISO/IEC MPEG-2 Advanced Audio Coding”(Journal of the audio engineering society, Vol45 No.10,pp789-814,1997 October ）に記載されている。
【００１８】
図１において、入力端子１を介して入力されたディジタルオーディオ信号は、ＭＤＣＴ回路１１および適応的ビット割り当て回路１４に供給される。ＭＤＣＴ回路１１では、入力されたディジタルオーディオ信号が時間領域から周波数領域へと変換され、その結果が量子化回路１２へと出力される。
【００１９】
一方、適応的ビット割り当て回路１４では、人の聴覚的な特性に基づいて、入力されたディジタルオーディオ信号の周波数成分毎の知覚的な重要度を計算し、重要度に応じたビット配分を算出する。ここでは、人の聴覚特性に関して重要である周波数成分には多くのビットを配分し、重要でない周波数成分には少ないビットを配分するようにする。ここで算出されたビット配分情報は、量子化回路１２、可逆的置換処理回路１３および多重化回路１５へと出力される。
【００２０】
量子化回路１２では、ＭＤＣＴ回路１１で周波数領域に変換されたオーディオデータに対して、適応的ビット割り当て回路１４で算出されたビット配分情報に基づいて量子化処理を行う。量子化処理とは、一例を挙げれば、Ｎビットで成るオーディオデータの上位ｎ（Ｎ，ｎは整数）ビットを取り出して、下位ｍ（＝Ｎ−ｎ）ビットを切り捨てるような処理である。量子化処理は、一般に、複数の周波数成分をまとめていくつかの領域（サブバンド）に分割して行われる。したがって、ビット配分情報もこのサブバンド毎に計算される。
【００２１】
可逆的置換処理回路１３では、量子化回路１２で量子化されたオーディオデータの一部を別のデータ値と可逆的に置換する処理を行う。ＭＤＣＴにより周波数領域に変換されたオーディオデータには、サブバンド内にパルス的な極大値を持つものが存在することがある。このようなデータを周辺のデータと同じような値に可逆的に置換して、サブバンド内のデータの性質を平均化することにより、圧縮の効率を高めることができる。
【００２２】
なお、この周波数領域内のオーディオデータの可逆的な置換処理については、高見沢他による“極大値置換可逆符号化方式とそのオーディオ符号化への応用”（電子情報通信学会論文誌 Vol.J80-A No.9 pp1388-1395,1997年）に詳細な説明がある。
【００２３】
この可逆的置換処理回路１３は、量子化回路１２で量子化されたオーディオデータに対して電子透かし情報１６を挿入するための電子透かし埋め込み手段を兼ね備えている。つまり、上記量子化されたオーディオデータの一部を別のデータ値と可逆的に置換する処理の際に、上記電子透かし情報１６をオーディオデータに挿入する。言い換えると、本実施形態の可逆的置換処理回路１３は、必要に応じて電子透かし情報１６を利用して可逆的置換処理を行う。
【００２４】
この可逆的な置換処理では、置換した後の周波数成分のデータが多重化回路１５に送られるとともに、置換した周波数成分の位置情報と、置換した値の情報とが付加情報として多重化回路１５に送られる。多重化回路１５では、周波数領域で量子化され可逆的な置換処理を施されたオーディオデータと、上記置換位置情報と、置換値情報と、ビット配分情報とが多重化され、出力端子２を介して符号化されたデータとして出力される。
【００２５】
図２は、上記図１に示した可逆的置換処理回路１３の一実施形態を示す構成ブロック図である。
図２において、電子透かし情報１６が第１の入力端子２１を介して第１のスイッチ回路３３の端子Ａ側に入力される。また、量子化されたオーディオデータが第２の入力端子２２を介して極大値検索回路３１、置換回路３４および第２のスイッチ回路３５の端子Ｂ側に入力される。さらに、サブバンド毎のビット配分情報が第３の入力端子２３を介してサブバンド選択回路３２に入力される。
【００２６】
サブバンド選択回路３２では、ビット配分情報の値が大きいサブバンド、すなわち、知覚的に重要度の大きいサブバンドを選択して、その結果を極大値検索回路３１に出力する。選択すべきサブバンドが１つの場合は、各サブバンドの中から、ビット配分が最大のサブバンドを選択する。また、選択すべきサブバンドが複数（例えば４個）の場合は、各サブバンドの中から、ビット配分が最も大きい方から順に複数のサブバンドを選択する。
【００２７】
極大値検索回路３１では、サブバンド選択回路３２で選択されたサブバンド、すなわち、知覚的に重要度が大きいと判断されたサブバンド内にある量子化されたオーディオデータの中から極大値を検索し、検出した極大値を第１のスイッチ回路３３の端子Ｂ側へと出力する。また、検出した極大値の位置情報は、第１の出力端子２４を介して外部（図１の多重化回路１５）に出力される。
【００２８】
上記第１のスイッチ回路３３は、第１の入力端子２１を介して入力された電子透かし情報１６と、極大値検索回路３１で検索された選択サブバンド内の極大値とのどちらか一方を選択して出力する。オーディオデータ中に電子透かしを挿入する場合には電子透かし情報１６を選択し、逆に、電子透かしを挿入しない場合には極大値を選択する。
【００２９】
電子透かしは、例えば極大値検索処理の複数回に１回の割合で挿入する等、所定の規則に従って挿入する。透かし情報の挿入の量としては、１秒当たり１００バイト程度以上は可能である。第１のスイッチ回路３３は、この規則に従って端子Ａ側あるいは端子Ｂ側に選択状態を切り替える。なお、上記サブバンド選択回路３２で複数のサブバンドが選択された場合は、それぞれのサブバンドに対して電子透かしが挿入される。電子透かしは、所定の規則に従わずランダムに挿入するようにしても良い。
【００３０】
この第１のスイッチ回路３３で選択された置換値情報（電子透かし情報１６もしくは極大値）は、置換回路３４へ出力されるとともに、第２の出力端子２５を介して外部（図１の多重化回路１５）へ出力される。置換回路３４は、図２の例では減算回路で構成されており、上記第２の入力端子２２を介して入力された量子化されたオーディオデータの値から、上記第１のスイッチ回路３３で選択された置換値情報の値を減算する。減算した結果は、第２のスイッチ回路３５の端子Ａ側へと出力される。
【００３１】
このような構成により、電子透かしを挿入しない場合には、第１のスイッチ回路３３で選択された極大値を使って減算が行われる。この場合、置換回路３４の２つの入力端には同じ極大値のデータが入力されているので、減算結果は“０”となり、符号化効率を上げることができる。一方、電子透かしを挿入する場合には、第１のスイッチ回路３３で選択された電子透かし情報１６の値を使って減算が行われる。このため、符号化されたデータ内に電子透かしが埋め込まれたことになる。
【００３２】
なお、量子化処理によってオーディオデータが“０”データに切り捨てられた周波数成分に関しては、当該周波数領域が“０”データであることを示す情報が伝えられ、上記“０”データに対して可逆的な置換処理を行なわないまま電子透かし情報１６が挿入される。
【００３３】
このように、置換処理に減算を使用しているので、図示しない復号側で可逆的にデータ値を逆置換して、元に戻すことが可能である。
なお、ここでは減算回路を用いているが、可逆的にデータ値を逆置換して元に戻すことが可能であれば、他の演算処理を行うようにしても良い。
【００３４】
以上のことから明らかなように、本実施形態の置換回路３４は、電子透かしの埋め込み回路を兼ね備えている。よって、本実施形態では、従来のオーディオ符号化装置でも用いられることのある置換回路３４を利用して電子透かしの埋め込みを行うことができ、装置規模の増大を抑えることができる。
【００３５】
第２のスイッチ回路３５は、端子Ａ側に入力される置換回路３４の出力と、端子Ｂ側に入力される量子化されたオーディオデータとのどちらか一方を選択し、第３の出力端子２６を介して外部（図１の多重化回路１５）へと出力する。極大値が検出された位置では端子Ａ側が選択される。これに対して、極大値以外の位置では端子Ｂ側が選択され、可逆的な置換処理が行われていないデータ、すなわち、量子化されたオーディオデータそのものが外部に出力される。
【００３６】
以上詳しく説明したように、本実施形態においては、周波数領域の信号に変換して量子化処理を施したオーディオデータに対して電子透かし情報を挿入するようにしているので、埋め込まれた電子透かし情報が量子化処理によって削られてしまう不都合がなくなり、ディジタルオーディオデータの符号化処理に適した電子透かしの埋め込み手法を提供することができる。
【００３７】
また、本実施形態では、電子透かしを埋め込む位置を、オーディオデータの各周波数成分のうち人の聴覚特性に関して重要である周波数成分の位置としたので、著作権等の正当な権利を持たない第三者が、オーディオデータを不正に利用するためにこの電子透かし情報を書き換えた場合に、復号した音声に音質変化や音質劣化となって現れやすくすることができ、データの改ざんを有効に抑制することができる。
【００３８】
すなわち、従来のオーディオ符号化装置では、サブバンドの選択はビット配分情報に基づいて行われることはなく、通常は高周波成分のサブバンドが選択される。しかし、この部分に電子透かし情報を埋め込んだ場合に、第三者によって当該電子透かしが書き換えられても余り大きな影響はなく、データの改ざんが行われやすい環境を提供してしまう。これに対してビット配分情報に基づいてサブバンドを選択するようにした本実施形態では、上述のような不都合を防止することができる。
【００３９】
また、本実施形態では、知覚的に重要度の高い周波数成分として選択されたサブバンド内の更に極大値のデータに対して電子透かし情報を挿入しているので、より重要度の高いデータ位置に電子透かしを埋め込むことができ、電子透かし情報を書き換えて復号した音声の音質変化や音質劣化をより顕著にすることができるようになる。なお、圧縮効率をそれほど考慮しない場合は、電子透かしを埋め込む位置は極大値の位置に限らず、極小値の位置やその他任意の位置であっても良い。
【００４０】
なお、上述した実施形態は、図示しないＲＯＭ等の記録媒体に記憶されたソフトウェアのプログラムに従って図示しないＣＰＵ（あるいはＭＰＵ）が動作することによって、上記実施形態の機能が実現される。この場合、上記ソフトウェアのプログラム自体、およびそのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、ＲＯＭの他に、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００４１】
【発明の効果】
本発明は上述したように、時間領域の信号から周波数領域の信号に変換され量子化処理を施されたオーディオデータに対して、電子透かし情報を、上記量子化されたオーディオデータを別のデータ値と可逆的に置換する処理の際に挿入するようにしたので、埋め込まれた電子透かし情報が量子化処理によって削られないようにすることができ、ディジタルオーディオデータの符号化処理に適した電子透かしの埋め込み手法を提供することができる。
【００４２】
また、本発明の他の特徴によれば、オーディオデータの周波数成分毎の聴覚的な重要度を求め、人の聴覚特性に関して重要である周波数成分のデータに対して電子透かし情報を挿入するようにしたので、この電子透かし情報を書き換えると復号した場合に音質の変化、劣化となって現れやすくすることができ、不正な書き換えを有効に防止することができる。
【図面の簡単な説明】
【図１】本発明の電子透かし埋め込み装置を実施した一実施形態であるオーディオ符号化装置の全体構成を示すブロック図である。
【図２】図１に示した可逆的置換処理回路の構成例を示すブロック図である。
【符号の説明】
１ ディジタルオーディオ信号の入力端子
２ 符号化されたデータの出力端子
１１ ＭＤＣＴ回路
１２ 量子化回路
１３ 可逆的置換処理回路
１４ 適応的ビット割り当て回路
１５ 多重化回路
１６ 電子透かし情報
２１ 第１の入力端子（電子透かし情報の入力端子）
２２ 第２の入力端子（量子化されたオーディオデータの入力端子）
２３ 第３の入力端子（ビット配分情報の入力端子）
２４ 第１の出力端子（置換位置情報の出力端子）
２５ 第２の出力端子（置換値情報の出力端子）
２６ 第３の出力端子（置換処理されたオーディオデータの出力端子）
３１ 極大値検索回路
３２ サブバンド選択回路
３３ 第１のスイッチ回路
３４ 置換回路
３５ 第２のスイッチ回路
【発明の属する技術分野】
本発明は電子透かし埋め込み装置及びオーディオ符号化装置に関し、特に、例えばオーディオデータを圧縮して伝送あるいは記録媒体に記憶するためのオーディオ符号化装置に用いて好適なものである。
【０００２】
【従来の技術】
近年のコンピュータネットワークの発達と、安価で高性能なコンピュータの普及とにより、ネットワーク上でのディジタルデータのやり取りが盛んになってきている。しかし、ディジタルデータは、完全なコピーを容易かつ大量に作成できるという性質を持つため、オリジナルと同質のコピーを不正に作成して再配布できるという可能性を示す。これにより、ディジタルデータの著作者等が有する著作権が侵害されていると考えられる。
【０００３】
そのため、このような著作権侵害を防止するための手法として、電子的な透かし（以下、電子透かしと言う）を用いた手法が提案されている。この電子透かしとは、オーディオ信号や画像信号などのディジタルデータ中に埋め込まれた所定の識別子である。すなわち、電子透かしは、例えば、オリジナルのディジタルデータ中に著作権所有者などの情報を埋め込むことによって、著作権所有者の権利を守ることを目的に使用される。
【０００４】
従来のオーディオデータに対する電子透かしの挿入方法としては、例えば、L.F.Turner“Digital Data Security System”という米国特許にあるように、時間領域において一定の周波数でサンプルされたディジタルオーディオデータの中から無作為に選択されたオーディオデータに対して、重要でないビット（つまり、オーディオサンプルのワードのうちの最下位部に位置する単数あるいは複数のビット）を所定の識別子（電子的な透かし情報）と置換することによって、識別子をディジタルオーディオデータ中に挿入することが提案されている。
【０００５】
【発明が解決しようとする課題】
ディジタルオーディオデータは、膨大なデータ量を削減するために符号化処理を施される場合が多い。そして、現在主に使われている符号化処理としては、ＭＤＣＴ（Modified Discrete Cosine Transform）などのように、時間領域の信号を周波数領域の信号に変換する処理を用いたものが多い。この符号化処理では、データ量の削減を目的とするため、周波数領域中でオーディオデータに対して不可逆的な処理である量子化処理が施される。
【０００６】
量子化処理とは、Ｎビットから成るオーディオデータの上位ｎビット（Ｎ，ｎは整数）を取り出し、下位ｍビット（ｍ＝Ｎ−ｎ）を切り捨てるような処理である。したがって、上述したL.F.Turnerの埋め込み手法では、時間領域でオーディオデータの下位部に電子透かしとして挿入された識別子が、符号化処理の際に失われてしまうという問題点があった。
【０００７】
本発明は、このような問題を解決するために成されたものであり、ディジタルオーディオデータの符号化処理に適した電子透かしの挿入手法を実現できるようにすることを目的とする。
【０００８】
【課題を解決するための手段】
本発明の電子透かし埋め込み装置は、時間領域の信号から周波数領域の信号に変換され量子化処理を施されたオーディオデータに対して、電子透かし情報を、上記量子化されたオーディオデータを別のデータ値と可逆的に置換する処理の際に挿入するようにしたことを特徴とする。
【０００９】
本発明のオーディオ符号化装置は、オーディオデータを時間／周波数変換処理を用いて周波数領域へ変換する時間／周波数変換手段と、上記周波数領域へ変換されたオーディオデータに対して量子化処理を行う量子化手段とを有するオーディオ符号化装置であって、上記量子化されたオーディオデータに対して電子透かし情報を挿入する電子透かし埋め込み手段と、上記量子化されたオーディオデータを別のデータ値と可逆的に置換する可逆的置換手段とを備え、上記可逆的置換手段は上記電子透かし埋め込み手段を兼ね備え、上記量子化されたオーディオデータを別のデータ値と可逆的に置換する際に上記電子透かし情報を挿入することを特徴とする。
【００１４】
本発明は上記技術手段より成るので、埋め込まれた電子透かし情報が量子化処理によって削られることがなくなる。
また、本発明の他の特徴によれば、オーディオデータ中で人の聴覚特性に関して重要である周波数成分のデータに対して埋め込まれた電子透かし情報を書き換えると、それを復号した場合に得られる出力音声に音質の変化や劣化となって現れやすくなる。
【００１５】
【発明の実施の形態】
以下、本発明の詳細を一実施形態に基づいて説明する。
図１は、本発明の電子透かし埋め込み装置を実施した一実施形態であるオーディオ符号化装置の全体構成を示すブロック図である。
【００１６】
オーディオデータの符号化方式については、様々な方法が知られている。大きな圧縮効率を目的とする場合には、時間／周波数変換を用いてオーディオデータを周波数領域の信号に変換し、周波数領域で符号化を行う方法が使われることが多い。時間／周波数変換としては、サブバンドフィルタやＭＤＣＴを用いた方式が挙げられる。なお、これらの符号化方式の概要については、MACEL DEKKAR社（New York）1991年出版の、FURUI&SONDHI編の“Adbance in Speech Signal Processing ”の１０９ページから１４０ページに記載されている。
【００１７】
以下では、特に時間／周波数変換として上記のＭＤＣＴを用いた符号化方式に基づいて説明を行う。ただし、これは一例に過ぎず、本発明は他の時間／周波数変換を用いた方式にも適応することが可能である。なお、ＭＤＣＴ符号化方式の一例としては、ＭＰＥＧ−２ ＡＡＣとして知られるISO/IEC13818-7を挙げることができる。なお、このＭＰＥＧ−２ ＡＡＣの概要については、M.Bosi他による“ISO/IEC MPEG-2 Advanced Audio Coding”(Journal of the audio engineering society, Vol45 No.10,pp789-814,1997 October ）に記載されている。
【００１８】
図１において、入力端子１を介して入力されたディジタルオーディオ信号は、ＭＤＣＴ回路１１および適応的ビット割り当て回路１４に供給される。ＭＤＣＴ回路１１では、入力されたディジタルオーディオ信号が時間領域から周波数領域へと変換され、その結果が量子化回路１２へと出力される。
【００１９】
一方、適応的ビット割り当て回路１４では、人の聴覚的な特性に基づいて、入力されたディジタルオーディオ信号の周波数成分毎の知覚的な重要度を計算し、重要度に応じたビット配分を算出する。ここでは、人の聴覚特性に関して重要である周波数成分には多くのビットを配分し、重要でない周波数成分には少ないビットを配分するようにする。ここで算出されたビット配分情報は、量子化回路１２、可逆的置換処理回路１３および多重化回路１５へと出力される。
【００２０】
量子化回路１２では、ＭＤＣＴ回路１１で周波数領域に変換されたオーディオデータに対して、適応的ビット割り当て回路１４で算出されたビット配分情報に基づいて量子化処理を行う。量子化処理とは、一例を挙げれば、Ｎビットで成るオーディオデータの上位ｎ（Ｎ，ｎは整数）ビットを取り出して、下位ｍ（＝Ｎ−ｎ）ビットを切り捨てるような処理である。量子化処理は、一般に、複数の周波数成分をまとめていくつかの領域（サブバンド）に分割して行われる。したがって、ビット配分情報もこのサブバンド毎に計算される。
【００２１】
可逆的置換処理回路１３では、量子化回路１２で量子化されたオーディオデータの一部を別のデータ値と可逆的に置換する処理を行う。ＭＤＣＴにより周波数領域に変換されたオーディオデータには、サブバンド内にパルス的な極大値を持つものが存在することがある。このようなデータを周辺のデータと同じような値に可逆的に置換して、サブバンド内のデータの性質を平均化することにより、圧縮の効率を高めることができる。
【００２２】
なお、この周波数領域内のオーディオデータの可逆的な置換処理については、高見沢他による“極大値置換可逆符号化方式とそのオーディオ符号化への応用”（電子情報通信学会論文誌 Vol.J80-A No.9 pp1388-1395,1997年）に詳細な説明がある。
【００２３】
この可逆的置換処理回路１３は、量子化回路１２で量子化されたオーディオデータに対して電子透かし情報１６を挿入するための電子透かし埋め込み手段を兼ね備えている。つまり、上記量子化されたオーディオデータの一部を別のデータ値と可逆的に置換する処理の際に、上記電子透かし情報１６をオーディオデータに挿入する。言い換えると、本実施形態の可逆的置換処理回路１３は、必要に応じて電子透かし情報１６を利用して可逆的置換処理を行う。
【００２４】
この可逆的な置換処理では、置換した後の周波数成分のデータが多重化回路１５に送られるとともに、置換した周波数成分の位置情報と、置換した値の情報とが付加情報として多重化回路１５に送られる。多重化回路１５では、周波数領域で量子化され可逆的な置換処理を施されたオーディオデータと、上記置換位置情報と、置換値情報と、ビット配分情報とが多重化され、出力端子２を介して符号化されたデータとして出力される。
【００２５】
図２は、上記図１に示した可逆的置換処理回路１３の一実施形態を示す構成ブロック図である。
図２において、電子透かし情報１６が第１の入力端子２１を介して第１のスイッチ回路３３の端子Ａ側に入力される。また、量子化されたオーディオデータが第２の入力端子２２を介して極大値検索回路３１、置換回路３４および第２のスイッチ回路３５の端子Ｂ側に入力される。さらに、サブバンド毎のビット配分情報が第３の入力端子２３を介してサブバンド選択回路３２に入力される。
【００２６】
サブバンド選択回路３２では、ビット配分情報の値が大きいサブバンド、すなわち、知覚的に重要度の大きいサブバンドを選択して、その結果を極大値検索回路３１に出力する。選択すべきサブバンドが１つの場合は、各サブバンドの中から、ビット配分が最大のサブバンドを選択する。また、選択すべきサブバンドが複数（例えば４個）の場合は、各サブバンドの中から、ビット配分が最も大きい方から順に複数のサブバンドを選択する。
【００２７】
極大値検索回路３１では、サブバンド選択回路３２で選択されたサブバンド、すなわち、知覚的に重要度が大きいと判断されたサブバンド内にある量子化されたオーディオデータの中から極大値を検索し、検出した極大値を第１のスイッチ回路３３の端子Ｂ側へと出力する。また、検出した極大値の位置情報は、第１の出力端子２４を介して外部（図１の多重化回路１５）に出力される。
【００２８】
上記第１のスイッチ回路３３は、第１の入力端子２１を介して入力された電子透かし情報１６と、極大値検索回路３１で検索された選択サブバンド内の極大値とのどちらか一方を選択して出力する。オーディオデータ中に電子透かしを挿入する場合には電子透かし情報１６を選択し、逆に、電子透かしを挿入しない場合には極大値を選択する。
【００２９】
電子透かしは、例えば極大値検索処理の複数回に１回の割合で挿入する等、所定の規則に従って挿入する。透かし情報の挿入の量としては、１秒当たり１００バイト程度以上は可能である。第１のスイッチ回路３３は、この規則に従って端子Ａ側あるいは端子Ｂ側に選択状態を切り替える。なお、上記サブバンド選択回路３２で複数のサブバンドが選択された場合は、それぞれのサブバンドに対して電子透かしが挿入される。電子透かしは、所定の規則に従わずランダムに挿入するようにしても良い。
【００３０】
この第１のスイッチ回路３３で選択された置換値情報（電子透かし情報１６もしくは極大値）は、置換回路３４へ出力されるとともに、第２の出力端子２５を介して外部（図１の多重化回路１５）へ出力される。置換回路３４は、図２の例では減算回路で構成されており、上記第２の入力端子２２を介して入力された量子化されたオーディオデータの値から、上記第１のスイッチ回路３３で選択された置換値情報の値を減算する。減算した結果は、第２のスイッチ回路３５の端子Ａ側へと出力される。
【００３１】
このような構成により、電子透かしを挿入しない場合には、第１のスイッチ回路３３で選択された極大値を使って減算が行われる。この場合、置換回路３４の２つの入力端には同じ極大値のデータが入力されているので、減算結果は“０”となり、符号化効率を上げることができる。一方、電子透かしを挿入する場合には、第１のスイッチ回路３３で選択された電子透かし情報１６の値を使って減算が行われる。このため、符号化されたデータ内に電子透かしが埋め込まれたことになる。
【００３２】
なお、量子化処理によってオーディオデータが“０”データに切り捨てられた周波数成分に関しては、当該周波数領域が“０”データであることを示す情報が伝えられ、上記“０”データに対して可逆的な置換処理を行なわないまま電子透かし情報１６が挿入される。
【００３３】
このように、置換処理に減算を使用しているので、図示しない復号側で可逆的にデータ値を逆置換して、元に戻すことが可能である。
なお、ここでは減算回路を用いているが、可逆的にデータ値を逆置換して元に戻すことが可能であれば、他の演算処理を行うようにしても良い。
【００３４】
以上のことから明らかなように、本実施形態の置換回路３４は、電子透かしの埋め込み回路を兼ね備えている。よって、本実施形態では、従来のオーディオ符号化装置でも用いられることのある置換回路３４を利用して電子透かしの埋め込みを行うことができ、装置規模の増大を抑えることができる。
【００３５】
第２のスイッチ回路３５は、端子Ａ側に入力される置換回路３４の出力と、端子Ｂ側に入力される量子化されたオーディオデータとのどちらか一方を選択し、第３の出力端子２６を介して外部（図１の多重化回路１５）へと出力する。極大値が検出された位置では端子Ａ側が選択される。これに対して、極大値以外の位置では端子Ｂ側が選択され、可逆的な置換処理が行われていないデータ、すなわち、量子化されたオーディオデータそのものが外部に出力される。
【００３６】
以上詳しく説明したように、本実施形態においては、周波数領域の信号に変換して量子化処理を施したオーディオデータに対して電子透かし情報を挿入するようにしているので、埋め込まれた電子透かし情報が量子化処理によって削られてしまう不都合がなくなり、ディジタルオーディオデータの符号化処理に適した電子透かしの埋め込み手法を提供することができる。
【００３７】
また、本実施形態では、電子透かしを埋め込む位置を、オーディオデータの各周波数成分のうち人の聴覚特性に関して重要である周波数成分の位置としたので、著作権等の正当な権利を持たない第三者が、オーディオデータを不正に利用するためにこの電子透かし情報を書き換えた場合に、復号した音声に音質変化や音質劣化となって現れやすくすることができ、データの改ざんを有効に抑制することができる。
【００３８】
すなわち、従来のオーディオ符号化装置では、サブバンドの選択はビット配分情報に基づいて行われることはなく、通常は高周波成分のサブバンドが選択される。しかし、この部分に電子透かし情報を埋め込んだ場合に、第三者によって当該電子透かしが書き換えられても余り大きな影響はなく、データの改ざんが行われやすい環境を提供してしまう。これに対してビット配分情報に基づいてサブバンドを選択するようにした本実施形態では、上述のような不都合を防止することができる。
【００３９】
また、本実施形態では、知覚的に重要度の高い周波数成分として選択されたサブバンド内の更に極大値のデータに対して電子透かし情報を挿入しているので、より重要度の高いデータ位置に電子透かしを埋め込むことができ、電子透かし情報を書き換えて復号した音声の音質変化や音質劣化をより顕著にすることができるようになる。なお、圧縮効率をそれほど考慮しない場合は、電子透かしを埋め込む位置は極大値の位置に限らず、極小値の位置やその他任意の位置であっても良い。
【００４０】
なお、上述した実施形態は、図示しないＲＯＭ等の記録媒体に記憶されたソフトウェアのプログラムに従って図示しないＣＰＵ（あるいはＭＰＵ）が動作することによって、上記実施形態の機能が実現される。この場合、上記ソフトウェアのプログラム自体、およびそのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、ＲＯＭの他に、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００４１】
【発明の効果】
本発明は上述したように、時間領域の信号から周波数領域の信号に変換され量子化処理を施されたオーディオデータに対して、電子透かし情報を、上記量子化されたオーディオデータを別のデータ値と可逆的に置換する処理の際に挿入するようにしたので、埋め込まれた電子透かし情報が量子化処理によって削られないようにすることができ、ディジタルオーディオデータの符号化処理に適した電子透かしの埋め込み手法を提供することができる。
【００４２】
また、本発明の他の特徴によれば、オーディオデータの周波数成分毎の聴覚的な重要度を求め、人の聴覚特性に関して重要である周波数成分のデータに対して電子透かし情報を挿入するようにしたので、この電子透かし情報を書き換えると復号した場合に音質の変化、劣化となって現れやすくすることができ、不正な書き換えを有効に防止することができる。
【図面の簡単な説明】
【図１】本発明の電子透かし埋め込み装置を実施した一実施形態であるオーディオ符号化装置の全体構成を示すブロック図である。
【図２】図１に示した可逆的置換処理回路の構成例を示すブロック図である。
【符号の説明】
１ ディジタルオーディオ信号の入力端子
２ 符号化されたデータの出力端子
１１ ＭＤＣＴ回路
１２ 量子化回路
１３ 可逆的置換処理回路
１４ 適応的ビット割り当て回路
１５ 多重化回路
１６ 電子透かし情報
２１ 第１の入力端子（電子透かし情報の入力端子）
２２ 第２の入力端子（量子化されたオーディオデータの入力端子）
２３ 第３の入力端子（ビット配分情報の入力端子）
２４ 第１の出力端子（置換位置情報の出力端子）
２５ 第２の出力端子（置換値情報の出力端子）
２６ 第３の出力端子（置換処理されたオーディオデータの出力端子）
３１ 極大値検索回路
３２ サブバンド選択回路
３３ 第１のスイッチ回路
３４ 置換回路
３５ 第２のスイッチ回路
Claims (10)
- 時間領域の信号から周波数領域の信号に変換され量子化処理を施されたオーディオデータに対して、電子透かし情報を、上記量子化されたオーディオデータを別のデータ値と可逆的に置換する処理の際に挿入するようにしたことを特徴とする電子透かし埋め込み装置。
- 上記電子透かし情報は、上記量子化されたオーディオデータを別のデータ値と可逆的に置換した際に別途伝送する付加情報であることを特徴とする請求項１に記載の電子透かし埋め込み装置。
- 上記周波数領域の信号に変換されたオーディオデータの周波数成分毎の聴覚的な重要度を求める手段を備え、人の聴覚特性に関して重要である周波数成分のデータに対して上記電子透かし情報を挿入するようにしたことを特徴とする請求項１又は２に記載の電子透かし埋め込み装置。
- 上記オーディオデータの周波数成分毎の聴覚的な重要度を求める手段は、上記オーディオデータの周波数成分を分割した各サブバンドに対するビット配分情報に基づいて、多くのビットが配分されたサブバンドを選択するサブバンド選択手段を含み、
上記選択したサブバンド内のデータに対して上記電子透かし情報を挿入するようにしたことを特徴とする請求項３に記載の電子透かし埋め込み装置。 - 上記オーディオデータの周波数成分毎の聴覚的な重要度を求める手段は、上記サブバンド選択手段により選択されたサブバンド内で極大値となるデータを検出する極大値検出手段を更に含み、
上記極大値のデータに対して上記電子透かし情報を挿入するようにしたことを特徴とする請求項４に記載の電子透かし埋め込み装置。 - オーディオデータを時間／周波数変換処理を用いて周波数領域へ変換する時間／周波数変換手段と、
上記周波数領域へ変換されたオーディオデータに対して量子化処理を行う量子化手段とを有するオーディオ符号化装置であって、
上記量子化されたオーディオデータに対して電子透かし情報を挿入する電子透かし埋め込み手段と、
上記量子化されたオーディオデータを別のデータ値と可逆的に置換する可逆的置換手段とを備え、
上記可逆的置換手段は上記電子透かし埋め込み手段を兼ね備え、上記量子化されたオーディオデータを別のデータ値と可逆的に置換する際に上記電子透かし情報を挿入することを特徴とするオーディオ符号化装置。 - 上記周波数領域の信号に変換されたオーディオデータの周波数成分毎の聴覚的な重要度を求める手段を備え、
上記電子透かし埋め込み手段は、人の聴覚特性に関して重要である周波数成分のデータに対して上記電子透かし情報を挿入することを特徴とする請求項６に記載のオーディオ符号化装置。 - 上記オーディオデータの周波数成分毎の聴覚的な重要度を求める手段は、上記オーディオデータの周波数成分を分割した各サブバンドに対するビット配分情報に基づいて、多くのビットが配分されたサブバンドを選択するサブバンド選択手段を含み、
上記電子透かし埋め込み手段は、上記選択されたサブバンド内のデータに対して上記電子透かし情報を挿入することを特徴とする請求項７に記載のオーディオ符号化装置。 - 上記オーディオデータの周波数成分毎の聴覚的な重要度を求める手段は、上記サブバンド選択手段により選択されたサブバンド内で極大値となるデータを検出する極大値検出手段を更に含み、
上記電子透かし埋め込み手段は、上記極大値のデータに対して上記電子透かし情報を挿入するようにしたことを特徴とする請求項８に記載のオーディオ符号化装置。 - 上記電子透かし情報を、上記量子化されたオーディオデータを可逆的に置換したデータの付加情報として別途伝送することを特徴とする請求項６〜９の何れか１項に記載のオーディオ符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13760798A JP4226687B2 (ja) | 1998-05-01 | 1998-05-01 | 電子透かし埋め込み装置及びオーディオ符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13760798A JP4226687B2 (ja) | 1998-05-01 | 1998-05-01 | 電子透かし埋め込み装置及びオーディオ符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11316599A JPH11316599A (ja) | 1999-11-16 |
| JP4226687B2 true JP4226687B2 (ja) | 2009-02-18 |
Family
ID=15202650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13760798A Expired - Fee Related JP4226687B2 (ja) | 1998-05-01 | 1998-05-01 | 電子透かし埋め込み装置及びオーディオ符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4226687B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3507743B2 (ja) | 1999-12-22 | 2004-03-15 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 圧縮オーディオデータへの電子透かし方法およびそのシステム |
| AU2001264351A1 (en) * | 2000-06-08 | 2002-01-02 | Markany Inc. | Watermark embedding and extracting method for protecting digital audio contents copyright and preventing duplication and apparatus using thereof |
| KR20010111885A (ko) * | 2000-06-14 | 2001-12-20 | 박인정 | 스펙트로그램을 이용한 음향의 영상 워터마킹 방법 |
| KR100375822B1 (ko) * | 2000-12-18 | 2003-03-15 | 한국전자통신연구원 | 디지털 오디오의 워터마크 삽입/추출 장치 및 방법 |
| DE10129239C1 (de) | 2001-06-18 | 2002-10-31 | Fraunhofer Ges Forschung | Vorrichtung und Verfahren zum Einbetten eines Wasserzeichens in ein Audiosignal |
| KR20040034698A (ko) * | 2001-09-05 | 2004-04-28 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | Ｄｓｄ 신호에 대한 견고한 워터마크 |
| DE10321983A1 (de) * | 2003-05-15 | 2004-12-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Einbetten einer binären Nutzinformation in ein Trägersignal |
| JP4830172B2 (ja) * | 2006-07-07 | 2011-12-07 | Ｋｄｄｉ株式会社 | オーディオデータへの秘匿データ挿入方法、秘匿データ抽出方法、秘匿データ編集方法、ｍｐｅｇオーディオ符号化データへの秘匿データ挿入装置、秘匿データ抽出装置、ｍｐｅｇオーディオ復元装置、および挿入データ編集装置。 |
-
1998
- 1998-05-01 JP JP13760798A patent/JP4226687B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11316599A (ja) | 1999-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3977216B2 (ja) | 情報処理装置及び方法及び情報処理プログラム及び記憶媒体 | |
| US8117027B2 (en) | Method and apparatus for introducing information into a data stream and method and apparatus for encoding an audio signal | |
| US6493457B1 (en) | Electronic watermarking in the compressed domain utilizing perceptual coding | |
| EP0889471B1 (en) | Custom character-coding compression for encoding and watermarking media content | |
| RU2375764C2 (ru) | Кодирование сигнала | |
| EP1382202B1 (en) | Audio coding with partial encryption | |
| KR100595202B1 (ko) | 디지털 오디오 워터마크 삽입/검출 장치 및 방법 | |
| Lacy et al. | Intellectual property protection systems and digital watermarking | |
| US20040059918A1 (en) | Method and system of digital watermarking for compressed audio | |
| US20020012446A1 (en) | Electronic watermark insertion device, detection device, and method | |
| US20030031317A1 (en) | Increasing the size of a data-set and watermarking | |
| JP2000228632A (ja) | 符号化回路および信号処理装置 | |
| US20020002412A1 (en) | Digital audio system | |
| JP4226687B2 (ja) | 電子透かし埋め込み装置及びオーディオ符号化装置 | |
| US20070071277A1 (en) | Apparatus and method for embedding a watermark using sub-band filtering | |
| Tewari et al. | A digital audio watermarking scheme using selective mid band DCT coefficients and energy threshold | |
| Masmoudi et al. | A semi-fragile digital audio watermarking scheme for MP3-encoded signals using Huffman data | |
| KR100355033B1 (ko) | 선형예측 분석을 이용한 워터마크 삽입/추출 장치 및 그방법 | |
| US7702404B2 (en) | Digital audio processing | |
| US20030161469A1 (en) | Method and apparatus for embedding data in compressed audio data stream | |
| Horvatic et al. | Robust audio watermarking: based on secure spread spectrum and auditory perception model | |
| WO2009007876A2 (en) | Warermarking and encryption of entropy-coded data using additive huffman table | |
| Kirbiz et al. | Decode-time forensic watermarking of AAC bitstreams | |
| KR100828163B1 (ko) | 오디오 동기 암호화 방법, 복호화 방법 및 그 장치 | |
| KR20010043954A (ko) | 전자 워터 마크 정보에 근거하는 콘텐츠 처리 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050415 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081028 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081127 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |