JP3754847B2 - Data processing method, data processing apparatus and storage medium thereof - Google Patents

Data processing method, data processing apparatus and storage medium thereof Download PDF

Info

Publication number
JP3754847B2
JP3754847B2 JP24672399A JP24672399A JP3754847B2 JP 3754847 B2 JP3754847 B2 JP 3754847B2 JP 24672399 A JP24672399 A JP 24672399A JP 24672399 A JP24672399 A JP 24672399A JP 3754847 B2 JP3754847 B2 JP 3754847B2
Authority
JP
Japan
Prior art keywords
information
data
stream
data processing
watermark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24672399A
Other languages
Japanese (ja)
Other versions
JP2001078007A5 (en
JP2001078007A (en
Inventor
聡 若尾
恵市 岩村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP24672399A priority Critical patent/JP3754847B2/en
Priority to EP00307281A priority patent/EP1079627A1/en
Publication of JP2001078007A publication Critical patent/JP2001078007A/en
Publication of JP2001078007A5 publication Critical patent/JP2001078007A5/ja
Application granted granted Critical
Publication of JP3754847B2 publication Critical patent/JP3754847B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明はデータ処理方法、データ処理装置、データ処理システムおよびその記憶媒体とコンピュータプログラムに関し、特に複数のオブジェクトストリームから情報を再生するデータ処理方法、データ処理装置およびその記憶媒体に関するものである。
【0002】
【従来の技術】
近年、動画像や音声などのデータを符号化し、それぞれの符号化データをオブジェクトとして扱い、これら所謂マルチメディアデータを組み合わせて単一のビットストリームとして伝送する手法として、ISOにてMPEG−4(Moving Picture Experts Group Phase 4)が標準化されつつある。このMPEG−4の受信側(再生側)においては、例えば音声と動画シーンとを関連付けて再生する。このようなMPEG−4システムにおいては、データがオブジェクトとして扱われるという特性のために、受信したビットストリームをオブジェクト毎に1つ1つバラバラにして容易に再編成することができる。ここで、各オブジェクトに著作権が存在する場合、その著作権保護を行うために、データの全体又はその一部に対して使用制限を行う必要がある。
【0003】
上述したようなMPEG−4のデータストリームにおいては、これまでの一般的なマルチメディアストリームとは異なり、いくつものビデオシーンやビデオオブジェクトを単一のストリーム上で独立して送受信する機能を有している。また音声についても同様に、いくつものオブジェクトを単一のストリーム上で独立して送受信する機能をも有する。
【0004】
これらのオブジェクトを合成し、あるシーンを合成するための情報としてVRMLを修正したBIFS(Binary Format For Scenes)が存在する。このBIFSは、シーンが2値で記述されているもので、このBIFSに従ってシーンが合成される。
【0005】
このような、シーンの合成に必要な個々のオブジェクトは夫々、個別に最適な符号化が行われて送信されることになるので、復号(受信)側でも、各オブジェクトは個別に復号される。こうして復号された各オブジェクトは、BIFSの記述に従って個々のデータの持つ時間軸を再生機内部の時間軸に同期させてシーンを合成して出力することになる。
【0006】
このように、MPGE−4再生機では、複数のオブジェクトを合成するので、いずれかのオブジェクトに著作権が存在する場合には、そのオブジェクトの使用制限を行う必要が生じる。
【0007】
一般的に、著作権保護のためには、送信側において送信データに暗号処理を行うか、又は電子透かしを挿入するといった処理を実行し、受信側、即ち、再生機において、その著作権に対して正当な対価を支払った場合にのみ、その暗号化されたデータを復号するために必要となる情報等を入手して受信したデータを復号し、動画像、音声等のデータを再生することが行われている。
【0008】
また、電子透かしを用いたMPEG−4における著作権保護の方法として以下の方式が考えられる。この方法では、それぞれ所定の情報を有する複数のオブジェクトストリームを含むデータストリームから各オブジェクトストリームを分離し、動画データを復号するためのビデオデコーダを起動する。次に、このビデオデコーダにより動画データが復号されるとともに、電子透かしとして埋め込まれている著作権情報が抽出されて、知的財産を保護するための管理ストリーム中のデータとの間で認証作業を行う。この認証作業の結果、“再生許可”の場合にはそのビデオデコーダに対して動作開始/継続の命令が発行される。これにより、復号された動画像データがシーン合成回路に供給されて動画像データの視聴が可能になる。
【0009】
一方、その認証作業の結果が“再生不許可”の場合には、そのビデオデコーダに対して動作停止、又はビデオデコーダへのデータの転送停止命令が発行されるので、復号された動画像データがシーン合成回路に供給されなくなり、その動画像の視聴ができなくなる。
【0010】
【発明が解決しようとする課題】
しかしながら、上記従来の方式では、オブジェクトストリームのデータに電子透かしとして埋め込まれた著作権情報は、一旦、そのストリームのデータが復号されてしまった後に抽出されるという問題がある。これは一旦復号されることにより、画像や音声などのデータが再生機のメモリに、暗号等により保護されない状態で存在することを意味している。従って、もし悪意を持った第三者が、このメモリに記憶されているデータをコピーできる環境にあると、この復号されたデータが不法にコピーされて望ましくない。しかしながら、MPEG−4システムにおいては、このような状況に対処するための具体的な方法については何等提案されていなかった。
【0012】
本発明は上記従来例に鑑みてなされたもので、著作権を有するオブジェクトデータを、第三者による不正な再生から守ることができるデータ処理方法及び装置およびその記憶媒体を提供することにある。
【0013】
【課題を解決するための手段】
上記目的を達成するために本発明のデータ処理装置は以下のような構成を備える。即ち、
オブジェクトストリームを含むデータストリームから前記オブジェクトストリームを分離して再生するデータ処理装置であって、
夫々所定の情報を有する暗号化された少なくとも1つのオブジェクトストリームを含むデータストリームを入力する入力手段と、
前記入力手段により入力された前記データストリームから前記オブジェクトストリームを分離する分離手段と、
前記データストリームに含まれる著作権管理情報を抽出する著作権管理情報抽出手段と、
前記オブジェクトストリームに含まれる透かし情報を抽出する透かし情報抽出手段と、
前記データ処理装置或いは前記データ処理装置に接続可能な記憶媒体に組み込まれたID情報を収得する収得手段と、
前記著作権管理情報と前記透かし情報及び前記ID情報とを用いて鍵情報を生成する鍵情報生成手段と、
前記分離手段で分離された前記オブジェクトストリームを、前記鍵情報に基づいてデスクランブルするデスクランブル手段と、
前記デスクランブル手段でデスクランブルされた前記オブジェクトストリームから前記所定の情報を復号化する復号化手段とを有することを特徴とする。
【0014】
上記目的を達成するために本発明のデータ処理方法は以下のような工程を備える。即ち、
夫々所定の情報を有するオブジェクトストリームを含むデータストリームから前記オブジェクトストリームを分離して再生するデータ処理方法であって、
前記データストリームに含まれる著作権管理情報を抽出し、
前記オブジェクトストリームに含まれる透かし情報を抽出し、
前記データストリームを受信して再生するユーザ又は装置に固有のID情報と前記著作権管理情報と前記透かし情報とを用いて鍵情報を生成し、
前記オブジェクトストリームを、前記鍵情報に基づいてデスクランブルするように制御することを特徴とする。
【0015】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【0016】
本実施の形態では、まず図1に示す一般的なMPEG−4再生機の概略構成を説明し、次に本実施の形態に係る再生機のデスクランブル処理の一例を説明する。更に、本実施の形態に係る再生機の動作の一例を示すフローチャートを参照して説明し、そして最後に送信側装置を含むシステム全体の一例を説明する。
【0017】
図1は、本実施の形態に係るMPEG−4再生機の概略基本構成を示すブロック図である。
【0018】
図1において、伝送路101は各種ネットワーク、コンピュータバス等のデータの伝送路であり、本実施の形態では、MPEG−4ストリームが入力されるネットワークを示している。また、本実施の形態における伝送路101は、通信路の意味の他に、CD−ROM、DVD−ROM、DVD−RAMといった記憶媒体の再生装置とのインターフェースも意味している。
【0019】
本実施の形態の装置において、伝送路101、即ち、ネットワークから配信されたMPEG−4ストリームや、或は記憶媒体装置から伝送されたMPEG−4ストリームは、デマルチプレクサ102に入力される。ここでMPEG−4ストリームは、シーン記述データ、動画オブジェクトデータ、音声オブジェクトデータ、オブジェクト記述データ等に分離された後、それぞれ対応するメモリ部103〜106に入力されて保存される。即ち、メモリ部103にはシーン記述データが、メモリ104には音声オブジェクトデータが、メモリ部105には動画オブジェクトデータが、メモリ部106にはオブジェクト記述データがそれぞれ記憶される。
【0020】
ここで、音声オブジェクトデータは例えば、周知のCELP(Code Excited Linear Prediction)符号化や、変換領域重み付けインターリーブ・ベクトル量子化(TWINVQ)符号化等の高効率符号化が施されたデータであり、動画像オブジェクトデータは、例えば、周知のMPEG−2やIII H−263方式にて高効率符号化が施されたデータである。
【0021】
メモリ部104〜106の各オブジェクトデータのそれぞれは、対応する復号部107〜110へ入力される。これらシーン記述復号部107、音声復号部108、動画像復号部109、オブジェクト記述復号部110のそれぞれにおいて、上述のような高効率符号化された、シーン記述データ、音声オブジェクトデータ、動画像オブジェクトデータ、オブジェクト記述データのそれぞれが復号される。
【0022】
尚、本実施の形態においては、音声オブジェクト、動画像オブジェクト、オブジェクト記述データについて夫々複数の互いに異なる種類のオブジェクトがMPEG−4ストリームに内に存在しても復号可能な装置を仮定しているため、メモリ部104〜106や復号部108〜110は音声用、動画像用、オブジェクト記述データ用に夫々複数用意されているものとする。
【0023】
そして、復号部108〜110において夫々復号された音声オブジェクト、動画像オブジェクト、オブジェクト記述データは、シーン記述復号部107で復号されたシーン記述データに基づいて、シーン合成部112にて合成/グラフィック処理が行われる。このようにして得られた最終的なデータ列は、ディスプレイやプリンタ装置といった出力機器113に供給されて可視化されて出力されることになる。
【0024】
ここで、本実施の形態における受信データストリームには、音声或は動画像などのシーンを構成する個々のオブジェクトデータに対して、著作権などの保護のために再生を実行させたり、再生を停止させたりする制御が必要となる場合には、IPMP情報を用いて制御を行う。このIPMP情報は、受信データストリームの構成要素であるIPMPストリームにて伝送される。
【0025】
IPMP制御部111は、デマルチプレクサ102からのIPMPストリームに含まれるIPMP情報120に基づき、必要に応じて制御ポイントにおいてストリームを遮断したり、復号部108〜110にアクセスして、復号動作の停止を命令する。
【0026】
このためIPMP情報120等によりオブジェクトデータの視聴の権利が無いと判断された場合には、そのオブジェクトデータが復号されなくなるため、その再生が行われなくなる。このような制御を行うことで著作権を有するデータが、第三者により不法に視聴されるなどの事態の発生を防止することができる。
【0027】
図2は、本実施の形態に係る再生機におけるデスクランブル処理の一例を説明するための図で、前述の図1と共通する部分は同じ番号で示し、それらの説明を省略する。
【0028】
ここではIPMP制御部111から出力される著作権管理情報221と、記憶媒体I/F206からの再生機情報222とを用いて、認証情報処理部205において認証情報223が生成されてデスクランブル制御部204に送られる。デスクランブル制御部204は、この認証情報223と、透かし抽出部202で抽出された透かし情報224とを用いて鍵情報225を生成してデスクランブル部207に出力する。こうして暗号化されたデータのデスクランブルが行われる。以下、詳しく説明する。
【0029】
尚、ここで著作権管理情報221とは、IPMP情報120に記述されている情報であり、再生機情報222とは、その再生機の記憶媒体に予め組み込まれている、又はこの再生機に接続可能な外部記憶媒体に組み込まれている情報であり、透かし情報224とは、オブジェクトデータに電子透かしとして埋め込まれている情報である。
【0030】
シーン記述データ、音声オブジェクトデータ、動画像オブジェクトデータ、CGオブジェクトデータ、オブジェクト記述データ、IPMP情報等を含むMPEG−4ストリームは、デマルチプレクサ102にて各オブジェクトデータに分離された後、音声オブジェクトデータ、動画像オブジェクトデータ、CGオブジェクトデータ等は透かし抽出部202に、IPMP情報120はIPMP制御部111に、オブジェクト記述データは復号部107〜110へ夫々送られる。透かし抽出部202は、音声、動画及びオブジェクト記述データのそれぞれに対して設けられており、それぞれメモリと抽出部とを備えている。そして、このデマルチプレクサ102で分離された各オブジェクトデータのそれぞれは、透かし抽出部202の夫々対応するメモリに格納される。尚、ここでは、著作権を有するオブジェクトデータは予め暗号化が施されている。
【0031】
この暗号化はオブジェクトデータの送信側にて行われ、この暗号化には暗号鍵が必要となる。ここでは正当なユーザの再生機でデスクランブルする時に限り、デスクランブル制御部204で生成される鍵情報225が、この暗号鍵と同一のデータとなるように制御される。即ち、送信側の装置は、透かし情報、IPMP情報120、再生機情報222を生成する。そして透かし情報をオブジェクトデータに埋め込み、またIPMP情報120をIPMPストリームに組込んで送信する。また再生機情報222は、何らかの方法で再生機の記憶媒体に予め組み込むか、又は再生機に接続可能な外部記憶媒体に組み込んでおく。
【0032】
本実施の形態に係る再生機では、著作権管理情報221と再生機情報222と透かし情報とを用いて鍵情報225が生成されるが、送信側の装置において暗号鍵(つまり鍵情報)の生成を行う時にどの情報を使用するか、及びそれらの情報の組み合わせ方は多数存在する。従って、使用する情報の選択、それらの組み合わせは、そのデータの著作権者、或はサービス提供者により決定される。そのため、この選択、組み合わせの情報を再生機に伝える仕組みが必要になる。ここでは、その選択、組み合わせに関する情報は、IPMP情報120によって再生機に伝えられるものとする。
【0033】
このようにして本実施の形態の再生機では、まずIPMP情報120を解析する。IPMP制御部111のメモリに記憶されたIPMP情報120は、IPMP制御部111の制御部により解析される。このIPMP情報120は、ヘッダ部と情報部で構成されており、情報部は更にフラグ部と実データ部とで構成されている。また、この実データ部には、著作権管理情報221が記述されている。MPEG−4システムでは、IPMP情報120のヘッダ部の構成は規定しているが、実データ部の構成は規定していない。そのため、上記のような構成とすることはMPEG−4システムの規格に沿ったものである。
【0034】
このIPMP情報120のヘッダ部には、透かし抽出部202のメモリに格納されているオブジェクトデータが暗号化されているか否かを示す情報が存在する。具体的には、IPMP情報120のヘッダ部のIPMP_Typeが“1”の場合には、そのオブジェクトデータが暗号化されていることを示す。また、このIPMP情報120の情報部のフラグ部には、透かしフラグ、認証情報フラグ、再生機情報フラグ、著作権管理情報フラグが存在し、それぞれオブジェクトデータに透かし情報が埋め込まれているか、認証情報223が鍵情報225を生成する際に必要となるか、再生機情報222が認証情報223を生成する際に必要となるか、著作権管理情報221が認証情報223を生成する際に必要となるか、等を示している。ここで著作権管理情報221が「必要」となっている場合には、IPMP情報120の実データ部に著作権管理情報221が記述されていることになる。
【0035】
本実施の形態では、著作権管理情報221と再生機情報222とを用いて認証情報223が生成され、そしてこの認証情報223と透かし情報とを用いて鍵情報225が生成されて、この鍵情報225を用いて、暗号化されたデータのデスクランブルが行われる場合について説明する。従って、この実施の形態では、上記各フラグにおいて、透かし埋め込み及び認証情報223は「必要」、再生機情報222は「必要」、著作権管理情報221は「必要」であることを示すようにセットされている。
【0036】
このIPMP情報120に含まれる著作権管理情報221は、IPMP制御部111の制御部で取り出されて認証情報処理部205へ送られる。また暗号化され、透かし情報が埋め込まれたオブジェクトデータは、透かし抽出部202において透かし情報が抽出される。そして、この抽出された透かし情報がデスクランブル制御部204に送られた後、その透かし情報が抽出されたオブジェクトデータがデスクランブル部207へ送られる。
【0037】
また、再生機の記憶媒体や再生機に接続されている外部記憶媒体に含まれている再生機情報222は記憶媒体I/F206にて取り出され、認証情報処理部205へ送られる。この再生機情報222とは、再生機ID、ユーザIDといった夫々の再生機、又はユーザに固有な情報であり、送信側の装置からオフラインで送られるか、或は予め再生機の記憶媒体、外部記憶媒体に組み込まれるものとする。この再生機情報222と著作権管理情報221とが認証情報処理部205において処理されて認証情報223が生成されてデスクランブル制御部204に送られる。デスクランブル制御部204では、透かし抽出部202で抽出された透かし情報224と、認証情報処理部205からの認証情報223を基にして鍵情報225を生成してデスクランブル部207に送る。ここで正当なユーザの再生機である場合には、この鍵情報225は送信側で暗号化の際に使用された暗号鍵と同一のデータとなるので、デスクランブル部207において、透かし抽出部202から送られてきた暗号化されたオブジェクトデータに対してデスクランブル処理を行うことにより、正常にデスクランブルが行われる。
【0038】
一方で、正当でないユーザの再生機の場合には、デスクランブル制御部204で生成された鍵情報225が、送信側の装置で暗号化の際に使用された暗号鍵と同一ではないので、正常にデスクランブルが行われないことになる。
【0039】
こうしてデスクランブル部207にてデスクランブルされたデータは、復号部107〜110にて復号されて、動画像、静止画、CG等のデータが出力される。
【0040】
このように本実施の形態によれば、データの再生が許可されていないユーザの再生機では、オブジェクトデータは暗号化されたままの状態でメモリ等に存在するので、第三者によるデータのコピー等の脅威から、著作権を有するデータを保護することができる。
【0041】
更に、電子透かしをオブジェクトデータに埋め込んで伝送することにより、透かしとして埋め込むデータ量分だけ伝送効率が良くなる。更には、鍵情報の基になる重要な情報が埋め込まれることで、セキュリティーの面でも良い効果が得られる。
【0042】
上記では、著作権管理情報221と再生機情報222とを用いて認証情報223が生成され、そして認証情報223と透かし情報224とを用いて鍵情報225が生成され、その鍵情報225を用いて、暗号化されたデータのデスクランブルを行う場合について説明したが、これら透かし情報224、再生機情報222、著作権管理情報221のうち少なくても1つを用いて鍵情報225が生成されて、この鍵情報225がデスクランブルに用いられるようにしてもよい。この場合には、IPMP情報120のヘッダ部、情報部の内容を再生機が解析して、透かし情報、再生機情報、著作権管理情報の中から必要な情報を取得し、それを処理することで最終的には鍵情報225が生成されてデスクランブル処理が行われることになる。
【0043】
ここで、MPEGストリームへある情報の埋め込みと暗号化を同時に行い、再生機側でデスクランブル前に、この埋め込まれた情報を抽出する方法に関しては、「圧縮動画像に関するスクランブル・電子透かしの一手法」(第21回情報理論とその応用シンポジュウム)に詳しい。
【0044】
一般にMPEG方式において、画像は16×16画素のマクロブロックに分割された後にフレーム予測が行われ、更に8×8画素のブロック毎にDCT(離散コサイン変換)が行われてDCT係数が算出される。これらDCT係数は変換後にジグザグスキャンされ、ゼロの係数を表すランと、係数を表すレベルの組で可変長の符号語として表される。このようなMPEG方式では、レベルは異なるが、同じ符号語長及びラン値を持つ符号語は必ず複数存在することに着目する。最初に、暗号化/埋め込み対象の符号語Ciと同じ符号語長、ラン値を持つ符号語を、レベルの値が偶数であれば偶数番目に、奇数であれば奇数番目になるように配置する。次に暗号鍵から乱数列Siを発生させ、暗号化/埋め込み対象の符号語Ciを、上記での2(Si mod N)+Wi番目に配置されている符号語Ci’と置き換えることで暗号化と埋め込みを行う。ここでNはCiと同じ符号語長及びラン値を持つ符号語の数であり、Wiは“1”又は“0”をとる値である(対象の符号語に情報を埋め込む時は“1”を、埋め込まない時は“0”を選択する)。
【0045】
こうして埋め込まれた情報を抽出する際は、上記配置においてCi’が奇数番目に配置されていれば“1”が、偶数番目に配置されていれば“0”が埋め込まれていることに基づいて行われる。
【0046】
ここでデスクランブルとは、Ci’が奇数番目に配置されている時には、1+2(Si mod N)分、上記とは逆方向に配置されている符号語がCiとなる。Ci’が偶数番目に配置されている時には、2(Si mod N)分、上記とは逆に配置されている符号語がCiとなる。
【0047】
このような方式を採用することにより、暗号化されたMPEGストリームに埋め込まれた情報をデスクランブル前に抽出することが可能となる。ただし、上記の方式が唯一のものではなく、他の方式を用いても暗号化されたMPEGストリームに埋め込まれた情報をデスクランブル前に抽出することは可能である。
【0048】
以下では本発明の実施の形態に係る再生機における動作、特にデスクランブル制御と鍵情報生成処理の一例について図3のフローチャートを参照して説明する。
【0049】
図3は、本実施の形態の再生機において、再生機情報222と著作権管理情報221とから認証情報223を生成し、その認証情報223と透かし情報224とから鍵情報225を生成し、この鍵情報225を用いて暗号化データのデスクランブルを行うデスクランブル処理と鍵情報生成処理を説明するためのフローチャートである。以下、一連の処理を、鍵情報225の生成と、暗号化/透かしデータのデスクランブルの2つ処理の流れに分けて説明する。
【0050】
まずステップS301で、再生機は、シーン記述情報、動画オブジェクトデータ、音声オブジェクトデータ、オブジェクト記述データ、IPMP情報等を含むMPEG−4ストリームを受信すると、デマルチプレクサ102にて各オブジェクトデータに分離する。次にステップS302では、デマルチプレクサ102により分離した各オブジェクトデータを、それぞれ対応するメモリ部に格納する。ここで、IPMP情報120については、鍵情報生成処理ルーチンが処理を行い、暗号化/透かしが埋め込まれた動画オブジェクトデータ、音声オブジェクトデータについては、デスクランブル処理ルーチンが処理を行う。以下のステップS303、S305、S306、S307、S308の処理は、鍵情報生成処理ルーチンが行い、ステップS304及びS309の処理はデスクランブル処理ルーチンが行う。
【0051】
まず最初に、鍵情報生成処理ルーチンの処理について説明する。
【0052】
ステップS303では、IPMP情報120に記述されている情報を解析して次にどのような動作を行うかを決定する。本実施の形態では、再生機情報222と著作権管理情報221とから認証情報223が生成され、そしてこの認証情報223と透かし情報224とから鍵情報225が生成される。そして、この鍵情報225を用いて暗号化データのデスクランブルが行われるので、IPMP情報120において、オブジェクトデータは「暗号化、透かし埋め込み」、認証情報223は「必要」、再生機情報222は「必要」、著作権管理情報221は「必要」をそれぞれ示していることになる。
【0053】
そこで鍵情報生成処理ルーチンでは、まずステップS305で再生機情報222を抽出し、ステップS306で著作権管理情報221を抽出し、ステップS307で、この再生機情報222と著作権管理情報221とから認証情報223を生成し、ステップS308で、この認証情報223と透かし情報224とから鍵情報225を生成するという順に各処理を行う。またステップS303では、IPMP情報120の透かし埋め込みフラグが「透かし理め込み」を示しているので、鍵情報生成処理ルーチンでは、後述するデスクランブル処理ルーチン(S304)に対して、オブジェクトデータから透かし情報224を抽出し、その抽出した透かし情報224を鍵情報生成処理ルーチン(S308)へ入力するような命令を発行する。
【0054】
以下、各ステップを説明すると、まずステップS305では、再生機の記憶媒体に予め組み込まれている、もしくは再生機に接続可能な外部記憶媒体に組み込まれている再生機情報222を抽出する。次にステップS306では、IPMP情報120の情報部に記述されている著作権管理情報221を抽出する。次にステップS307に進み、上記ステップS305で抽出した再生機情報222と、ステップS306で抽出した著作権管理情報221とから認証情報223を生成する。
【0055】
次にステップS308に進み、鍵情報生成処理ルーチンにおいて、上記ステップS307で生成した認証情報223と、デスクランブル処理ルーチンが抽出した透かし情報224とから鍵情報225を生成し、その鍵情報225をデスクランブル処理ルーチン(S309)に出力する。
【0056】
次にデスクランブル処理ルーチンについて説明する。
【0057】
まずステップS304では、IPMP情報120の透かし埋め込みフラグが「埋め込み」を示しているので、鍵情報生成処理ルーチン(S303)からの命令に従って動画オブジェクトデータ、音声オブジェクトデータ等のオブジェクトデータに埋め込まれている透かし情報224を抽出する。そして、この抽出した透かし情報224を鍵情報生成処理ルーチン(S308)へ入力する。
【0058】
ステップS309では、ステップS308において生成された鍵情報225により暗号化データのデスクランブルが行われる。ここでは、正当なユーザの再生機の場合には、鍵情報処理ルーチンにて正しい鍵情報225(送信側でオブジェクトデータを暗号化する際に使用した暗号鍵)が生成されるので、正しくデスクランブルできるが、正当でないユーザの再生機の場合には、正しくない鍵情報225が生成されて使用されるので、正しくデスクランブルできない。
【0059】
このようなサイクルを繰り返すことにより、暗号化されたオブジェクトデータのデスクランブルが行われ、もしも再生機がオブジェクトデータの正当なユーザでない場合、データが正しくデスクランブルされることがないので、オブジェクトデータを再生することができない。
【0060】
[データ処理システムの説明]
図4は、以上説明した本実施の形態に係る再生機と、この再生機に符号化データを送信する符号化装置を含むデータ処理システム全体の構成例を示す図である。
【0061】
コンテンツDB402には、MPEG−4ストリームのコンテンツとして伝送される動画像、音声、CG等の各データが保存されていて、その伝送要求に応じて、各データが符号化部403へ送られる。符号化部403では、コンテンツDB402から送られてきた各データに応じた高効率符号化を行う。これは、音声データであれば、CELP符号化や変換領域重み付けインターリーブ・ベクトル量子化符号化を意味し、動画像データであればH−263やDCT変換に基づいた圧縮符号化を示している。シーン記述情報は符号化された後に直ちに多重化部411へ送られる。これはシーン記述情報が各オブジェクトを再生する際に必要となるデータであり、動画像、音声といった著作権を有する可能性のあるコンテンツデータではないので暗号化する必要がないためである。符号化部403で符号化された各データは暗号化/透かし埋め込み部404へ送られて暗号化され、かつ透かしの挿入が行われる。この「圧縮動画像に関するスクランブル・電子透かしの一手法」で説明したような、符号化、暗号化、透かし埋め込みが同時に行われるような方式では、符号化部403と暗号化/透かし埋め込み部404は1つの部分で構成される。
【0062】
暗号化/透かし埋め込み部404では、符号化された音声、動画及びオブジェクト記述データのそれぞれに対して、鍵情報生成部405からの鍵情報420に基づいた暗号化と、透かし情報生成部406からの透かし情報421のデータへの埋め込みが行われる。この暗号化は著作権を有するデータに対して行われるものであり、暗号化の必要性がない、つまり著作権を有しないデータは、この暗号化/透かし埋め込み部404をスキップして多重化部411へ送られる。また、透かしを埋め込む必要がない場合も同様に、この暗号化/透かし埋め込み部404をスキップする。
【0063】
鍵情報生成部405では、制御部408の制御に従って鍵情報420を生成する。この鍵情報420は、暗号化/透かし埋め込み部404において、データの暗号化の際に使用されるデータ、つまり暗号鍵である。
【0064】
透かし情報生成部406は、制御部408の制御の下に透かし情報を生成する。この透かし情報421は、暗号化/透かし埋め込み部404にてデータに埋め込まれるデータである。
【0065】
著作権を有するコンテンツデータが正当なユーザの再生機のみでデスクランブル、復号、再生できるようにするためには、暗号化で使用される鍵情報420、埋め込まれる透かし情報421、IPMP情報120及び再生機情報222が正しく組み合わさり、正確なタイミングで再生機に送られる必要がある。そこで制御部408では、ユーザ管理部407からの制御情報に基づいて、鍵情報生成部405、透かし情報生成部406、IPMP情報生成部409を制御することにより、鍵情報420の生成、透かし情報421の生成、IPMP情報120の生成処理を管理して、再生機410がコンテンツの正当なユーザである場合にのみ正常なデスクランブルが行えるようにしている。
【0066】
再生機情報222は、例えば再生機ID、受信者IDといったそれぞれの再生機又はユーザに固有な情報であり、制御部408が生成して再生機410内の記憶媒体又は外部記憶媒体に予め組み込むか、或はオフラインで送られる。
【0067】
ユーザ管理部407では、符号化されて送出されるコンテンツデータがどのようなものであるか、契約者は誰であるのかといった情報を有している。具体的には、そのコンテンツデータが著作権を有するデータであるか、有しないデータであるかといった情報を有している。そして著作権を有するデータである場合には、正当なユーザ(契約者)の氏名、契約期間、契約形態、ユーザIDまたは再生機IDなどが含まれている。更には、正当なユーザの再生機410において鍵情報225を生成するためには、透かし情報、再生機情報、著作権管理情報のうち、いずれを必要とするかという情報を備えてもよい。そしてこれらの情報を基にして制御情報を制御部408に送る。
【0068】
IPMP情報生成部409では、制御部408からの制御情報を基にして、透かし情報、著作権管理情報、再生機情報のうちのいずれが使用され、どのように組み合わされているかについての情報である各フラグ情報や、著作権管理情報の実データを生成し、これらの情報を基にしてIPMP情報120を生成して多重化部411へ送る。
【0069】
例えば、図2に基づいて説明した「著作権管理情報と再生機情報とを用いて認証情報が生成され、そして認証情報と透かし情報とを用いて鍵情報が生成されて、暗号化されたデータのデスクランブルが行われる」場合には、IPMP情報120のヘッダ部のIPMP_Type=1、情報部のフラグ部では、透かし情報は「埋め込み」、認証情報は「必要」、再生機情報は「必要」、著作権管理情報は「必要」をそれぞれ示す情報が設定される。
【0070】
多重化部411では、これら符号化された動画像、音声、CG等の各データ、シーン記述情報、IPMP情報120の各データを多重化してMPEG−4ストリームを生成する。その後、このMPEG−4ストリームが再生機410に向けて送出される。
【0071】
このような送信側装置401と再生機410でMPEG−4のデータ処理システムを構成することで、著作権を有するオブジェクトデータが正当な再生機410のみで再生可能になり、また正当でない再生機では暗号化されたままのデータしか扱えないため、著作権データの保護が可能になる。
【0072】
なお本発明は、複数の機器(例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
【0073】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0074】
さらに記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0075】
以上説明したように本実施の形態によれば、複数の暗号化されたオブジェクトストリームの少なくとも1つについて、暗号化ストリームのデスクランブルを行う際に鍵情報に基づいてデスクランブルを行う。ここで、この鍵情報は、透かし情報、著作権管理情報、再生機情報のうちからの少なくとも1つを用いて生成される。この透かし情報は、このオブジェクトストリームに電子透かしとして埋め込まれ、著作権管理情報は知的財産を保護、管理するためのストリームに含まれ、再生機情報は各オブジェクトストリームを分離、デスクランブル、再生を行うデータ処理装置の記憶媒体に予め組み込まれている、またはデータ処理装置に接続可能な外部記憶媒体に組み込まれるようにすることで、著作権を有するデータが暗号化されていない状態で正当でないユーザの再生機上のメモリ等に存在する虞がなくなる。このようにして、著作権を有するデータを、第三者による不正コピー等の脅威から守ることが可能になった。
【0076】
また、透かし情報を電子透かしとして埋め込む場合には、透かし情報をオブジェクトデータに埋め込んで伝送することにより、透かしとして埋め込むデータ量分だけ伝送効率が良くなる。
【0077】
更には、鍵情報の基になる重要な情報が埋め込まれることで、セキュリティーの面でも良い効果が得られる。
【0079】
【発明の効果】
以上説明したように本発明によれば、著作権を有するオブジェクトデータを、第三者による不正な再生から守ることができるという効果がある。
【図面の簡単な説明】
【図1】本実施の形態に係るMPEG−4再生機の概略基本構成を示すブロック図である。
【図2】本発明の実施の形態に係るデータ処理装置の動作を説明するための機能ブロック図である。
【図3】本実施の形態のデータ処理装置の動作を説明するためのフローチャートである。
【図4】本実施の形態のデータ処理装置および送信側装置を含むデータ処理システムの機能ブロック図である。
[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a data processing method, a data processing device, a data processing system, a storage medium thereof, and a computer program, and more particularly to a data processing method, a data processing device, and a storage medium for reproducing information from a plurality of object streams.
[0002]
[Prior art]
In recent years, MPEG-4 (Moving) has been developed as a technique for encoding data such as moving images and audio, treating each encoded data as an object, and combining these so-called multimedia data and transmitting it as a single bit stream. Picture Experts Group Phase 4) is being standardized. On the MPEG-4 reception side (reproduction side), for example, audio and a moving image scene are associated and reproduced. In such an MPEG-4 system, due to the characteristic that data is handled as an object, the received bit stream can be easily reorganized separately for each object. Here, when a copyright exists for each object, it is necessary to restrict the use of the entire data or a part thereof in order to protect the copyright.
[0003]
The MPEG-4 data stream as described above has a function of independently transmitting and receiving a number of video scenes and video objects on a single stream, unlike conventional general multimedia streams. Yes. Similarly, audio has a function of transmitting and receiving several objects independently on a single stream.
[0004]
There is BIFS (Binary Format For Scenes) in which VRML is corrected as information for synthesizing these objects and synthesizing a certain scene. In this BIFS, the scene is described in binary, and the scene is synthesized according to this BIFS.
[0005]
Since each individual object necessary for scene synthesis is transmitted after being optimally encoded individually, each object is also decoded individually on the decoding (receiving) side. Each object decoded in this way is synthesized and output in synchronism with the time axis of the individual data in accordance with the description of BIFS.
[0006]
In this way, since the MPGE-4 player combines a plurality of objects, if any object has a copyright, it is necessary to restrict the use of the object.
[0007]
In general, in order to protect copyright, the transmitting side performs encryption processing on the transmission data or inserts a digital watermark, and the receiving side, that is, the playback device, applies the copyright to the copyright. Only when a reasonable price is paid, information necessary for decrypting the encrypted data is obtained, the received data is decrypted, and data such as moving images and sounds can be reproduced. Has been done.
[0008]
In addition, the following methods are conceivable as copyright protection methods in MPEG-4 using digital watermarks. In this method, each object stream is separated from a data stream including a plurality of object streams each having predetermined information, and a video decoder for decoding moving image data is activated. Next, the video data is decoded by the video decoder, and the copyright information embedded as a digital watermark is extracted, and an authentication operation is performed with the data in the management stream for protecting the intellectual property. Do. As a result of this authentication work, in the case of “reproduction permission”, an operation start / continuation command is issued to the video decoder. As a result, the decoded moving image data is supplied to the scene synthesizing circuit so that the moving image data can be viewed.
[0009]
On the other hand, when the result of the authentication work is “reproduction not permitted”, an operation stop command or a data transfer stop command to the video decoder is issued to the video decoder. The video is not supplied to the scene synthesis circuit, and the moving image cannot be viewed.
[0010]
[Problems to be solved by the invention]
However, the conventional method has a problem that the copyright information embedded in the data of the object stream as a digital watermark is extracted after the data of the stream is once decrypted. This means that once decrypted, data such as images and sounds are present in the memory of the playback device without being protected by encryption or the like. Therefore, if a malicious third party is in an environment where the data stored in the memory can be copied, the decrypted data is illegally copied, which is not desirable. However, in the MPEG-4 system, no specific method has been proposed for dealing with such a situation.
[0012]
  The present invention has been made in view of the above conventional example,Protecting copyrighted object data from unauthorized playback by a third partyAn object of the present invention is to provide a data processing method and apparatus and a storage medium capable of the same.
[0013]
[Means for Solving the Problems]
  In order to achieve the above object, the data processing apparatus of the present invention comprises the following arrangement. That is,
  A data processing apparatus for separating and reproducing an object stream from a data stream including the object stream,
  Input means for inputting a data stream including at least one encrypted object stream each having predetermined information;
  Separating means for separating the object stream from the data stream input by the input means;
  Included in the data streamCopyright managementExtract informationCopyright managementInformation extraction means;
  Watermark information extracting means for extracting watermark information contained in the object stream;
  Acquisition means for acquiring ID information embedded in the data processing device or a storage medium connectable to the data processing device;
  SaidCopyright managementinformationAnd the watermark information and the ID informationKey information generating means for generating key information using
  Descrambling means for descrambling the object stream separated by the separation means based on the key information;
  And decoding means for decoding the predetermined information from the object stream descrambled by the descrambling means.
[0014]
  In order to achieve the above object, the data processing method of the present invention comprises the following steps. That is,
  A data processing method for separating and reproducing an object stream from a data stream including an object stream each having predetermined information,
  Included in the data streamCopyright managementExtract information,
  Extracting watermark information contained in the object stream;
  ID information unique to the user or device receiving and playing the data stream and theCopyright managementinformationAnd the watermark informationGenerate key information using
  The object stream is controlled to be descrambled based on the key information.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Preferred embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
[0016]
In the present embodiment, first, a schematic configuration of the general MPEG-4 player shown in FIG. 1 will be described, and then an example of the descrambling process of the player according to the present embodiment will be described. Furthermore, an explanation will be given with reference to a flowchart showing an example of the operation of the regenerator according to the present embodiment, and finally an example of the entire system including the transmission side apparatus will be explained.
[0017]
FIG. 1 is a block diagram showing a schematic basic configuration of an MPEG-4 player according to the present embodiment.
[0018]
In FIG. 1, a transmission path 101 is a data transmission path such as various networks and a computer bus, and in this embodiment, a network to which an MPEG-4 stream is input is shown. Further, the transmission path 101 in the present embodiment means an interface with a playback device of a storage medium such as a CD-ROM, a DVD-ROM, and a DVD-RAM in addition to the meaning of a communication path.
[0019]
In the apparatus of the present embodiment, the MPEG-4 stream distributed from the transmission path 101, that is, the network, or the MPEG-4 stream transmitted from the storage medium apparatus is input to the demultiplexer 102. Here, the MPEG-4 stream is separated into scene description data, moving image object data, audio object data, object description data, and the like, and then input and stored in the corresponding memory units 103 to 106, respectively. That is, the memory unit 103 stores scene description data, the memory 104 stores audio object data, the memory unit 105 stores moving image object data, and the memory unit 106 stores object description data.
[0020]
Here, the audio object data is, for example, data that has been subjected to high-efficiency encoding such as well-known CELP (Code Excited Linear Prediction) encoding or transform domain weighted interleaved vector quantization (TWINVQ) encoding. The image object data is, for example, data that has been subjected to high-efficiency encoding by the well-known MPEG-2 or III H-263 system.
[0021]
Each object data of the memory units 104 to 106 is input to the corresponding decoding units 107 to 110. In each of the scene description decoding unit 107, the audio decoding unit 108, the moving image decoding unit 109, and the object description decoding unit 110, the scene description data, the audio object data, and the moving image object data that have been encoded with high efficiency as described above. Each of the object description data is decrypted.
[0022]
In the present embodiment, it is assumed that the audio object, the moving image object, and the object description data can be decoded even when a plurality of different types of objects exist in the MPEG-4 stream. Assume that a plurality of memory units 104 to 106 and decoding units 108 to 110 are prepared for audio, moving images, and object description data, respectively.
[0023]
Then, the audio object, the moving image object, and the object description data decoded by the decoding units 108 to 110 are combined / graphically processed by the scene combining unit 112 based on the scene description data decoded by the scene description decoding unit 107. Is done. The final data string obtained in this way is supplied to an output device 113 such as a display or a printer device, and is visualized and output.
[0024]
Here, in the received data stream according to the present embodiment, reproduction is executed for the protection of copyrights or the like for individual object data constituting a scene such as audio or moving image, or the reproduction is stopped. If control is necessary, control is performed using IPMP information. This IPMP information is transmitted in an IPMP stream that is a component of the received data stream.
[0025]
Based on the IPMP information 120 included in the IPMP stream from the demultiplexer 102, the IPMP control unit 111 blocks the stream at the control point as necessary, or accesses the decoding units 108 to 110 to stop the decoding operation. Command.
[0026]
For this reason, when it is determined by the IPMP information 120 or the like that there is no right to view the object data, the object data is not decrypted, and therefore the reproduction is not performed. By performing such control, it is possible to prevent the occurrence of a situation in which copyrighted data is illegally viewed by a third party.
[0027]
FIG. 2 is a diagram for explaining an example of the descrambling process in the playback device according to the present embodiment. The parts common to those in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted.
[0028]
Here, the authentication information 223 is generated in the authentication information processing unit 205 using the copyright management information 221 output from the IPMP control unit 111 and the player information 222 from the storage medium I / F 206, and the descrambling control unit. 204. The descrambling control unit 204 generates key information 225 using the authentication information 223 and the watermark information 224 extracted by the watermark extraction unit 202 and outputs the key information 225 to the descrambling unit 207. In this way, the encrypted data is descrambled. This will be described in detail below.
[0029]
Here, the copyright management information 221 is information described in the IPMP information 120, and the player information 222 is pre-installed in a storage medium of the player or connected to the player. The watermark information 224 is information embedded in a possible external storage medium. The watermark information 224 is information embedded in the object data as a digital watermark.
[0030]
An MPEG-4 stream including scene description data, audio object data, moving image object data, CG object data, object description data, IPMP information, and the like is separated into each object data by the demultiplexer 102, and then audio object data, Moving image object data, CG object data, and the like are sent to the watermark extraction unit 202, IPMP information 120 to the IPMP control unit 111, and object description data to the decoding units 107 to 110, respectively. The watermark extraction unit 202 is provided for each of audio, moving image, and object description data, and includes a memory and an extraction unit. Each object data separated by the demultiplexer 102 is stored in a corresponding memory of the watermark extraction unit 202. Here, the object data having the copyright is pre-encrypted.
[0031]
This encryption is performed on the object data transmission side, and an encryption key is required for this encryption. Here, the key information 225 generated by the descrambling control unit 204 is controlled so as to be the same data as the encryption key only when descrambling with a valid user's playback device. That is, the transmission side apparatus generates watermark information, IPMP information 120, and player information 222. The watermark information is embedded in the object data, and the IPMP information 120 is embedded in the IPMP stream for transmission. Further, the player information 222 is incorporated in advance in a storage medium of the player by some method or is incorporated in an external storage medium connectable to the player.
[0032]
In the player according to the present embodiment, the key information 225 is generated using the copyright management information 221, the player information 222, and the watermark information, but an encryption key (that is, key information) is generated in the transmission side device. There are many ways to use which information to use and how to combine them. Therefore, the selection of information to be used and the combination thereof are determined by the copyright holder of the data or the service provider. Therefore, it is necessary to provide a mechanism for transmitting information on this selection and combination to the player. Here, it is assumed that information regarding the selection and combination is transmitted to the playback device by the IPMP information 120.
[0033]
In this way, the playback device of the present embodiment first analyzes the IPMP information 120. The IPMP information 120 stored in the memory of the IPMP control unit 111 is analyzed by the control unit of the IPMP control unit 111. The IPMP information 120 includes a header portion and an information portion, and the information portion further includes a flag portion and an actual data portion. Also, copyright management information 221 is described in the actual data portion. In the MPEG-4 system, the configuration of the header portion of the IPMP information 120 is specified, but the configuration of the actual data portion is not specified. Therefore, the configuration as described above conforms to the MPEG-4 system standard.
[0034]
In the header portion of the IPMP information 120, there is information indicating whether or not the object data stored in the memory of the watermark extraction unit 202 is encrypted. Specifically, when IPMP_Type in the header part of the IPMP information 120 is “1”, this indicates that the object data is encrypted. The flag portion of the information portion of the IPMP information 120 includes a watermark flag, an authentication information flag, a player information flag, and a copyright management information flag. Whether the watermark information is embedded in the object data, authentication information 223 is required when generating the key information 225, the player information 222 is required when generating the authentication information 223, or the copyright management information 221 is required when generating the authentication information 223. Or the like. Here, when the copyright management information 221 is “necessary”, the copyright management information 221 is described in the actual data portion of the IPMP information 120.
[0035]
In the present embodiment, authentication information 223 is generated using copyright management information 221 and player information 222, and key information 225 is generated using authentication information 223 and watermark information. A case where encrypted data is descrambled using H.225 will be described. Therefore, in this embodiment, in each of the above flags, the watermark embedding and authentication information 223 is set as “necessary”, the player information 222 is “necessary”, and the copyright management information 221 is set as “necessary”. Has been.
[0036]
The copyright management information 221 included in the IPMP information 120 is extracted by the control unit of the IPMP control unit 111 and sent to the authentication information processing unit 205. Also, the watermark information is extracted by the watermark extraction unit 202 from the encrypted object data in which the watermark information is embedded. Then, after the extracted watermark information is sent to the descrambling control unit 204, the object data from which the watermark information is extracted is sent to the descrambling unit 207.
[0037]
Further, the player information 222 included in the storage medium of the player and the external storage medium connected to the player is taken out by the storage medium I / F 206 and sent to the authentication information processing unit 205. The player information 222 is information unique to each player or user such as a player ID and a user ID, and is sent off-line from the transmission side device, or previously stored in a storage medium of the player, external It shall be incorporated in a storage medium. The player information 222 and the copyright management information 221 are processed in the authentication information processing unit 205 to generate authentication information 223, which is sent to the descrambling control unit 204. The descrambling control unit 204 generates key information 225 based on the watermark information 224 extracted by the watermark extraction unit 202 and the authentication information 223 from the authentication information processing unit 205, and sends the key information 225 to the descrambling unit 207. If the player is a legitimate user player, the key information 225 is the same data as the encryption key used for encryption on the transmission side. The descrambling process is normally performed by performing the descrambling process on the encrypted object data sent from the server.
[0038]
On the other hand, in the case of a playback device of an unauthorized user, the key information 225 generated by the descrambling control unit 204 is not the same as the encryption key used at the time of encryption in the transmission side device. Will not be descrambled.
[0039]
The data descrambled by the descrambling unit 207 is decoded by the decoding units 107 to 110, and data such as a moving image, a still image, and CG is output.
[0040]
As described above, according to the present embodiment, in the playback device of the user who is not permitted to play back the data, the object data exists in the memory or the like in an encrypted state. It is possible to protect copyrighted data from such threats.
[0041]
Furthermore, by transmitting an electronic watermark embedded in object data, transmission efficiency is improved by the amount of data embedded as a watermark. Furthermore, since important information that is the basis of key information is embedded, a good effect in terms of security can be obtained.
[0042]
In the above, the authentication information 223 is generated using the copyright management information 221 and the player information 222, the key information 225 is generated using the authentication information 223 and the watermark information 224, and the key information 225 is used. In the above description, the encrypted data is descrambled. However, the key information 225 is generated using at least one of the watermark information 224, the player information 222, and the copyright management information 221. This key information 225 may be used for descrambling. In this case, the player analyzes the contents of the header part and the information part of the IPMP information 120, acquires necessary information from the watermark information, the player information, and the copyright management information, and processes it. Finally, the key information 225 is generated and the descrambling process is performed.
[0043]
Here, regarding a method of simultaneously embedding and encrypting information in an MPEG stream and extracting the embedded information before descrambling on the playback device side, “a scrambled / digital watermarking method for compressed video” ”(21st Information Theory and its Applied Symposium).
[0044]
In general, in the MPEG system, an image is divided into 16 × 16 pixel macroblocks, and then frame prediction is performed. Further, DCT (discrete cosine transform) is performed for each 8 × 8 pixel block to calculate DCT coefficients. . These DCT coefficients are zigzag scanned after conversion, and are expressed as variable-length codewords with a set of runs representing zero coefficients and levels representing the coefficients. In such an MPEG system, attention is paid to the fact that there are always a plurality of codewords having the same codeword length and run value, although the levels are different. First, codewords having the same codeword length and run value as the codeword Ci to be encrypted / embedded are arranged so that they are even-numbered if the level value is even and odd-numbered if odd. . Next, a random number sequence Si is generated from the encryption key, and the encryption / embedding code word Ci is replaced with the 2 (Si mod N) + Wi-th code word Ci ′ arranged in the above-described encryption. Perform embedding. Here, N is the number of codewords having the same codeword length and run value as Ci, and Wi is a value that takes “1” or “0” (“1” when information is embedded in the target codeword). “0” is selected when not embedded).
[0045]
In extracting the embedded information in this way, “1” is embedded if Ci ′ is arranged in an odd number in the above arrangement, and “0” is embedded if it is arranged in an even number. Done.
[0046]
Here, descrambling means that when Ci 'is arranged in an odd number, the code word arranged in the direction opposite to the above by 1 + 2 (Si mod N) is Ci. When Ci 'is evenly arranged, the code word arranged opposite to the above by 2 (Si mod N) is Ci.
[0047]
By adopting such a method, information embedded in the encrypted MPEG stream can be extracted before descrambling. However, the above method is not the only one, and it is possible to extract the information embedded in the encrypted MPEG stream before descrambling using another method.
[0048]
In the following, an operation in the playback device according to the embodiment of the present invention, particularly an example of descrambling control and key information generation processing will be described with reference to the flowchart of FIG.
[0049]
FIG. 3 shows that the player information 222 is generated from the player information 222 and the copyright management information 221, and the key information 225 is generated from the authentication information 223 and the watermark information 224. 10 is a flowchart for explaining a descrambling process and a key information generating process for descrambling encrypted data using key information 225; Hereinafter, a series of processing will be described by dividing it into two processing flows: generation of key information 225 and descrambling of encryption / watermark data.
[0050]
First, in step S301, when the playback device receives an MPEG-4 stream including scene description information, moving image object data, audio object data, object description data, IPMP information, etc., the demultiplexer 102 separates it into each object data. In step S302, each object data separated by the demultiplexer 102 is stored in a corresponding memory unit. Here, the IPMP information 120 is processed by the key information generation processing routine, and the video object data and audio object data in which the encryption / watermark is embedded is processed by the descrambling processing routine. The following steps S303, S305, S306, S307, and S308 are performed by a key information generation process routine, and the processes of steps S304 and S309 are performed by a descrambling process routine.
[0051]
First, the process of the key information generation process routine will be described.
[0052]
In step S303, the information described in the IPMP information 120 is analyzed to determine what operation is to be performed next. In this embodiment, authentication information 223 is generated from the player information 222 and copyright management information 221, and key information 225 is generated from the authentication information 223 and watermark information 224. Since the encrypted data is descrambled using the key information 225, the object data in the IPMP information 120 is “encryption and watermark embedding”, the authentication information 223 is “necessary”, and the player information 222 is “ Necessary ”and copyright management information 221 indicate“ necessary ”, respectively.
[0053]
Therefore, in the key information generation processing routine, first, the player information 222 is extracted in step S305, the copyright management information 221 is extracted in step S306, and authentication is performed from the player information 222 and the copyright management information 221 in step S307. Information 223 is generated, and in step S308, each process is performed in the order of generating key information 225 from the authentication information 223 and the watermark information 224. In step S303, since the watermark embedding flag of the IPMP information 120 indicates “watermark embedded”, in the key information generation processing routine, the watermark information from the object data is compared with the descrambling processing routine (S304) described later. An instruction is issued to extract 224 and input the extracted watermark information 224 to the key information generation processing routine (S308).
[0054]
Hereinafter, each step will be described. First, in step S305, the player information 222 that is incorporated in advance in the storage medium of the player or that is incorporated in the external storage medium that can be connected to the player is extracted. In step S306, copyright management information 221 described in the information part of the IPMP information 120 is extracted. In step S307, authentication information 223 is generated from the playback device information 222 extracted in step S305 and the copyright management information 221 extracted in step S306.
[0055]
In step S308, the key information generation process routine generates key information 225 from the authentication information 223 generated in step S307 and the watermark information 224 extracted by the descrambling process routine, and the key information 225 is decrypted. The data is output to the scramble processing routine (S309).
[0056]
Next, the descrambling process routine will be described.
[0057]
First, in step S304, since the watermark embedding flag of the IPMP information 120 indicates “embedding”, it is embedded in object data such as moving image object data and audio object data in accordance with a command from the key information generation processing routine (S303). Watermark information 224 is extracted. Then, the extracted watermark information 224 is input to the key information generation processing routine (S308).
[0058]
In step S309, descrambling of the encrypted data is performed using the key information 225 generated in step S308. Here, in the case of a legitimate user player, the correct key information 225 (the encryption key used when encrypting the object data on the transmission side) is generated in the key information processing routine, so that the correct descrambling is performed. However, in the case of a playback device of an unauthorized user, the incorrect key information 225 is generated and used, and therefore cannot be correctly descrambled.
[0059]
By repeating such a cycle, the encrypted object data is descrambled.If the player is not a valid user of the object data, the data is not correctly descrambled. Can't play.
[0060]
[Description of data processing system]
FIG. 4 is a diagram showing a configuration example of the entire data processing system including the regenerator according to the present embodiment described above and an encoding device that transmits encoded data to the regenerator.
[0061]
The content DB 402 stores data such as moving images, audio, and CG transmitted as MPEG-4 stream content, and each data is sent to the encoding unit 403 in response to the transmission request. The encoding unit 403 performs high-efficiency encoding according to each data sent from the content DB 402. This means CELP coding or transform domain weighted interleave vector quantization coding for audio data, and compression coding based on H-263 or DCT transformation for moving image data. The scene description information is sent to the multiplexing unit 411 immediately after being encoded. This is because the scene description information is data necessary for reproducing each object, and is not content data that may have a copyright such as a moving image or sound, and therefore it is not necessary to encrypt the data. Each data encoded by the encoding unit 403 is sent to the encryption / watermark embedding unit 404 to be encrypted, and watermark insertion is performed. In the method in which encoding, encryption, and watermark embedding are performed at the same time as described in “One Method of Scramble / Digital Watermark for Compressed Video”, the encoding unit 403 and the encryption / watermark embedding unit 404 are It consists of one part.
[0062]
The encryption / watermark embedding unit 404 performs encryption based on the key information 420 from the key information generation unit 405 for each of the encoded audio, moving image, and object description data, and the watermark information generation unit 406 The watermark information 421 is embedded in the data. This encryption is performed on the copyrighted data, and there is no need for encryption. That is, for the data having no copyright, the encryption / watermark embedding unit 404 is skipped and the multiplexing unit 411. Similarly, when it is not necessary to embed a watermark, the encryption / watermark embedding unit 404 is skipped.
[0063]
The key information generation unit 405 generates key information 420 under the control of the control unit 408. The key information 420 is data used when the encryption / watermark embedding unit 404 encrypts data, that is, an encryption key.
[0064]
The watermark information generation unit 406 generates watermark information under the control of the control unit 408. The watermark information 421 is data that is embedded in data by the encryption / watermark embedding unit 404.
[0065]
In order to make it possible to descramble, decrypt, and reproduce content data having copyrights only by a valid user's player, key information 420 used in encryption, embedded watermark information 421, IPMP information 120, and reproduction The machine information 222 needs to be correctly combined and sent to the playback device at an accurate timing. Therefore, the control unit 408 controls the key information generation unit 405, the watermark information generation unit 406, and the IPMP information generation unit 409 based on the control information from the user management unit 407, thereby generating the key information 420 and the watermark information 421. And the generation process of the IPMP information 120 are managed so that normal descrambling can be performed only when the playback device 410 is a valid user of the content.
[0066]
The player information 222 is information unique to each player or user such as a player ID and a receiver ID, for example, and is generated by the control unit 408 and incorporated in advance in a storage medium in the player 410 or an external storage medium. Or sent offline.
[0067]
The user management unit 407 has information such as what kind of content data is encoded and transmitted, and who is the contractor. Specifically, the content data includes information indicating whether the content data is copyrighted data or not. If the data is copyrighted, it includes the name of the legitimate user (contractor), the contract period, the contract form, the user ID, or the player ID. Furthermore, in order to generate the key information 225 in the playback device 410 of a legitimate user, information regarding which of watermark information, playback device information, and copyright management information is required may be provided. Based on these pieces of information, control information is sent to the control unit 408.
[0068]
The IPMP information generation unit 409 is information about which of watermark information, copyright management information, and playback device information is used and combined based on the control information from the control unit 408. Actual data of each flag information and copyright management information is generated, and IPMP information 120 is generated based on these information and sent to the multiplexing unit 411.
[0069]
For example, as described with reference to FIG. 2, “authentication information is generated using copyright management information and player information, and key information is generated using authentication information and watermark information, and encrypted data is generated. Is descrambled ”, IPMP_Type = 1 in the header part of the IPMP information 120, and in the flag part of the information part, the watermark information is“ embedded ”, the authentication information is“ necessary ”, and the player information is“ necessary ”. In the copyright management information, information indicating “necessary” is set.
[0070]
The multiplexing unit 411 multiplexes the encoded data such as moving images, audio, and CG, scene description information, and IPMP information 120 to generate an MPEG-4 stream. Thereafter, this MPEG-4 stream is sent to the playback device 410.
[0071]
By constructing an MPEG-4 data processing system with such a transmission side device 401 and a playback device 410, copyrighted object data can be played back only with a valid playback device 410, and with an unauthorized playback device. Since only encrypted data can be handled, copyright data can be protected.
[0072]
Note that the present invention can be applied to a system (for example, a copier, a facsimile machine, etc.) composed of a single device even if it is applied to a system composed of a plurality of devices (for example, a host computer, interface device, reader, printer, etc.). May be.
[0073]
Also, an object of the present invention is to supply a storage medium (or storage medium) that records a program code of software that realizes the functions of the above-described embodiments to a system or apparatus, and to perform a computer (or CPU or CPU) of the system or apparatus. (MPU) can also be achieved by reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. A case where part or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing is also included.
[0074]
Furthermore, after the program code read from the storage medium is written in the memory of the function expansion card inserted into the computer or the function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. This includes a case where the CPU or the like provided in the card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
[0075]
As described above, according to the present embodiment, at least one of a plurality of encrypted object streams is descrambled based on the key information when descrambling the encrypted stream. Here, the key information is generated using at least one of watermark information, copyright management information, and player information. This watermark information is embedded in this object stream as a digital watermark, copyright management information is included in the stream for protecting and managing intellectual property, and player information separates, descrambles, and reproduces each object stream. Incorporated in an external storage medium that is pre-installed in a data processing apparatus storage medium or connectable to the data processing apparatus so that the copyrighted data is not encrypted and is not a legitimate user There is no risk of being present in the memory on the player. In this way, it is possible to protect copyrighted data from threats such as unauthorized copying by a third party.
[0076]
When watermark information is embedded as an electronic watermark, the transmission efficiency is improved by the amount of data embedded as a watermark by embedding the watermark information in the object data and transmitting it.
[0077]
Furthermore, since important information that is the basis of key information is embedded, a good effect in terms of security can be obtained.
[0079]
【The invention's effect】
  As described above, according to the present invention, copyrighted object data can be protected from unauthorized reproduction by a third party.There is an effect.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic basic configuration of an MPEG-4 player according to the present embodiment.
FIG. 2 is a functional block diagram for explaining the operation of the data processing apparatus according to the embodiment of the present invention.
FIG. 3 is a flowchart for explaining the operation of the data processing apparatus according to the present embodiment;
FIG. 4 is a functional block diagram of a data processing system including a data processing apparatus and a transmission side apparatus according to the present embodiment.

Claims (11)

夫々所定の情報を有するオブジェクトストリームを含むデータストリームから前記オブジェクトストリームを分離して再生するデータ処理方法であって、
前記データストリームに含まれる著作権管理情報を抽出し、
前記オブジェクトストリームに含まれる透かし情報を抽出し、
前記データストリームを受信して再生するユーザ又は装置に固有のID情報と前記著作権管理情報と前記透かし情報とを用いて鍵情報を生成し、
前記オブジェクトストリームを、前記鍵情報に基づいてデスクランブルするように制御することを特徴とするデータ処理方法。
A data processing method for separating and reproducing an object stream from a data stream including an object stream each having predetermined information,
Extracting copyright management information contained in the data stream;
Extracting watermark information contained in the object stream;
Generating key information using ID information unique to a user or device that receives and reproduces the data stream, the copyright management information, and the watermark information ;
A data processing method comprising controlling the object stream to be descrambled based on the key information.
前記著作権管理情報と前記ID情報とに基づいて認証情報を生成し、前記認証情報と前記透かし情報とを基に前記鍵情報が生成されることを特徴とする請求項に記載のデータ処理方法。The data processing of claim 1, wherein the copyright based management information in said ID information to generate authentication information, wherein the key information based on the said authentication information the watermark information is generated Method. 前記著作権管理情報は、著作権を保護、管理するためのストリームに含まれることを特徴とする請求項1又は2に記載のデータ処理方法。3. The data processing method according to claim 1, wherein the copyright management information is included in a stream for protecting and managing the copyright . 前記ID情報は、前記オブジェクトストリームを分離、デスクランブル、再生を行うデータ処理装置に設定されていることを特徴とする請求項1乃至のいずれか1項に記載のデータ処理方法。The data processing method according to any one of claims 1 to 3 , wherein the ID information is set in a data processing apparatus that separates, descrambles, and reproduces the object stream. 前記ID情報は、前記データ処理装置に接続可能な記憶媒体に組み込まれていることを特徴とする請求項に記載のデータ処理方法。5. The data processing method according to claim 4 , wherein the ID information is incorporated in a storage medium connectable to the data processing apparatus. 前記オブジェクトストリームの情報は高能率符号化されていることを特徴とする請求項1乃至のいずれか1項に記載のデータ処理方法。The data processing method according to any one of claims 1 to 5, characterized in that information of the object stream is high-efficiency encoding. 前記データストリームは、音声オブジェクトストリーム、静止画像オブジェクトストリーム、動画像ストリーム、コンピュータグラフィックストリームのうち少なくとも1つのストリームと、オブジェクトを合成するためのシーン記述情報ストリームとを少なくとも含むことを特徴とする請求項1乃至のいずれか1項に記載のデータ処理方法。The data stream includes at least one of an audio object stream, a still image object stream, a moving image stream, and a computer graphics stream, and a scene description information stream for synthesizing objects. The data processing method according to any one of 1 to 6 . オブジェクトストリームを含むデータストリームから前記オブジェクトストリームを分離して再生するデータ処理装置であって、
夫々所定の情報を有する暗号化された少なくとも1つのオブジェクトストリームを含むデータストリームを入力する入力手段と、
前記入力手段により入力された前記データストリームから前記オブジェクトストリームを分離する分離手段と、
前記データストリームに含まれる著作権管理情報を抽出する著作権管理情報抽出手段と、
前記オブジェクトストリームに含まれる透かし情報を抽出する透かし情報抽出手段と、
前記データ処理装置或いは前記データ処理装置に接続可能な記憶媒体に組み込まれたID情報を収得する収得手段と、
前記著作権管理情報と前記透かし情報及び前記ID情報とを用いて鍵情報を生成する鍵情報生成手段と、
前記分離手段で分離された前記オブジェクトストリームを、前記鍵情報に基づいてデスクランブルするデスクランブル手段と、
前記デスクランブル手段でデスクランブルされた前記オブジェクトストリームから前記所定の情報を復号化する復号化手段とを有することを特徴とするデータ処理装置。
A data processing apparatus for separating and reproducing an object stream from a data stream including the object stream,
Input means for inputting a data stream including at least one encrypted object stream each having predetermined information;
Separating means for separating the object stream from the data stream input by the input means;
Copyright management information extracting means for extracting copyright management information contained in the data stream;
Watermark information extracting means for extracting watermark information contained in the object stream;
Acquisition means for acquiring ID information embedded in the data processing device or a storage medium connectable to the data processing device;
Key information generating means for generating key information using the copyright management information , the watermark information and the ID information ;
Descrambling means for descrambling the object stream separated by the separation means based on the key information;
A data processing apparatus comprising: decoding means for decoding the predetermined information from the object stream descrambled by the descrambling means.
更に、前記著作権管理情報と前記ID情報とに基づいて認証情報を生成する認証情報処理手段を有し、前記鍵情報生成手段は、前記認証情報と前記透かし情報とを基に前記鍵情報生成することを特徴とする請求項に記載のデータ処理装置。And an authentication information processing unit configured to generate authentication information based on the copyright management information and the ID information, wherein the key information generation unit generates the key information based on the authentication information and the watermark information. The data processing apparatus according to claim 8 , wherein: 前記著作権管理情報は、著作権を保護、管理するためのストリームに含まれることを特徴とする請求項8又は9に記載のデータ処理装置。10. The data processing apparatus according to claim 8, wherein the copyright management information is included in a stream for protecting and managing the copyright . 請求項1乃至7のいずれか1項に記載のデータ処理方法を実行するコンピュータプログラムを格納し、コンピュータが読取り可能なコンピュータ可読記憶媒体。A computer-readable storage medium storing a computer program for executing the data processing method according to claim 1 and capable of being read by a computer.
JP24672399A 1999-08-27 1999-08-31 Data processing method, data processing apparatus and storage medium thereof Expired - Fee Related JP3754847B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP24672399A JP3754847B2 (en) 1999-08-31 1999-08-31 Data processing method, data processing apparatus and storage medium thereof
EP00307281A EP1079627A1 (en) 1999-08-27 2000-08-23 Copyright protection in MPEG-4 using digital watermarking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24672399A JP3754847B2 (en) 1999-08-31 1999-08-31 Data processing method, data processing apparatus and storage medium thereof

Publications (3)

Publication Number Publication Date
JP2001078007A JP2001078007A (en) 2001-03-23
JP2001078007A5 JP2001078007A5 (en) 2004-11-18
JP3754847B2 true JP3754847B2 (en) 2006-03-15

Family

ID=17152701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24672399A Expired - Fee Related JP3754847B2 (en) 1999-08-27 1999-08-31 Data processing method, data processing apparatus and storage medium thereof

Country Status (1)

Country Link
JP (1) JP3754847B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4311899B2 (en) 2001-03-02 2009-08-12 パナソニック株式会社 Method and apparatus for content distribution and protection
KR20040036677A (en) 2001-09-03 2004-04-30 마츠시타 덴끼 산교 가부시키가이샤 Apparatus of a flexible and common ipmp system for mpeg-2 content distribution and protection
EP1442594A2 (en) 2001-10-29 2004-08-04 Matsushita Electric Industrial Co., Ltd. Apparatus of a baseline dvb-cpcm
EP1474897B1 (en) * 2002-02-05 2011-12-21 Panasonic Corporation Method of distributed ipmp device messaging and carriage of rights in mpeg ipmp content
JP4611606B2 (en) 2002-02-13 2011-01-12 富士通株式会社 Data operation method
JP2004265470A (en) * 2003-02-19 2004-09-24 Konica Minolta Holdings Inc Reproducing device and reproduction program
JP2006085305A (en) * 2004-09-14 2006-03-30 Ricoh Co Ltd Multimedia data playback device and multimedia data playback method
JP4716357B2 (en) 2005-03-29 2011-07-06 Kddi株式会社 Compressed data scramble delivery device, playback device and delivery / playback device

Also Published As

Publication number Publication date
JP2001078007A (en) 2001-03-23

Similar Documents

Publication Publication Date Title
US6061451A (en) Apparatus and method for receiving and decrypting encrypted data and protecting decrypted data from illegal use
US7203955B2 (en) High definition media storage structure and playback mechanism
CN102144237B (en) Efficient watermarking approaches of compressed media
US7743426B2 (en) Information data and management data processing apparatus and method
EP1543650B1 (en) Content distribution for multiple digital rights management
US6523113B1 (en) Method and apparatus for copy protection
US6931531B1 (en) Image object recording, compression, and encryption method and system
US7676039B2 (en) Apparatus for controlling storage and playback of digital broadcasting contents
JP5379129B2 (en) Selective encryption for trick play with improved security
EP1615434A1 (en) Electronic watermark-containing moving picture transmission system, electronic watermark-containing moving picture transmission method, information processing device, communication control device, electronic watermark-containing moving picture processing program, and storage medium containing electr
JP4812117B2 (en) Content encryption apparatus and program thereof, and content decryption apparatus and program thereof
EP1079627A1 (en) Copyright protection in MPEG-4 using digital watermarking
US20020188570A1 (en) Partial protection of content
JP2001359070A (en) Data processing unit, data processing method and computer-readable storage medium
JP2002523809A (en) Secure information distribution system using scrambled information segments
KR19990006449A (en) Methods, devices and computer program products for protecting copyright data in computer systems
KR20010024179A (en) Method and system for preventing unauthorized playback of broadcasted digital data streams
JP3793009B2 (en) Content playback device
WO2006126554A1 (en) Reproducing device, recording device, recording medium, data processing method, data processing program, data recording method, data recording program, and integrated circuit
US6944296B1 (en) Video bit scrambling
JP3785642B2 (en) Encoding apparatus and decoding apparatus using encryption key included in digital watermark, and methods thereof
JP3754847B2 (en) Data processing method, data processing apparatus and storage medium thereof
JP4630073B2 (en) Content encryption apparatus and program thereof
JP4335372B2 (en) Data processing method, data processing apparatus, and data storage medium
JP4902274B2 (en) Encrypted content creation device and program thereof, and content decryption device and program thereof

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050708

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051219

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081222

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees