JP3565483B2

JP3565483B2 - Data display system, data display device and method thereof

Info

Publication number: JP3565483B2
Application number: JP35402198A
Authority: JP
Inventors: 田英正牟; 田精太飯
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1998-12-14
Filing date: 1998-12-14
Publication date: 2004-09-15
Anticipated expiration: 2018-12-14
Also published as: CN1183440C; TW448397B; KR20000047641A; JP2000184177A; CN1258884A

Description

【０００１】
【産業上の利用分野】
本発明は、電子透かしが施された画像データから一度、電子透かしを取り除いて、電子透かしが施されていない状態の画像データを利用者に見せることができ、しかも、利用者の不正利用から画像データを保護することができるデータ表示システム、データ表示装置およびその方法に関する。
【０００２】
【従来の技術】
デジタル化された画像データ等（デジタルコンテンツまたはコンテンツ）の不正複写、転用および再配布等を防止する手段として、デジタルコンテンツへ直接、付加情報を埋め込むマーキング技術がある。
【０００３】
例えば、”Ｃｏｌｏｒｃｏｒｒｅｃｔｄｉｇｉｔａｌｗａｔｅｒｍａｒｋｉｎｇｏｆｉｍａｇｅｓ”（文献１：ＵＳＰ５，５３０，７５９）、および、”Ｍｅｔｈｏｄａｎｄａｐｐａｒａｔｕｓｆｏｒｒｅｄｕｃｉｎｇｑｕａｎｔｉｚａｔｉｏｎａｒｔｉｆａｃｔｓｉｎａｈｉｅｒａｒｃｈｉｃａｌｉｍａｇｅｓｔｏｒａｇｅａｎｄｒｅｔｒｉｅｖａｌｓｙｓｔｅｍ”（文献２：ＵＳＰ５，５６８，５７０）は、可視付加情報をコンテンツに埋め込むマーキング技術を開示する。
【０００４】
また、”ＳｃｒａｍｂｌｉｎｇＤｉｇｉｔａｌＩｍａｇｅＤａｔａｆｏｒＣｏｐｙｒｉｇｈｔＰｒｏｔｅｃｔｉｏｎ”（文献３：ＳＣＩＳ９６−９Ａ）は、デジタルコンテンツを不正使用から保護するためのスクランブル技術を開示し、さらに、”ＮＩＫＫＥＩＥＬＥＣＴＲＯＮＩＣＳ，Ｎｏ．６９４，７−１４（ｐｐ．１７−１８），１９９７”（文献４）は、このスクランブル技術と、非可視付加情報をコンテンツに生め込む電子透かし技術とを組み合わせた画像配送システムを開示する。
【０００５】
ネットワークを介して、あるいは、ＣＤ−ＲＯＭ等の記録媒体を介して利用者に供給されるデジタル画像コンテンツに、付加情報が埋め込まれていることを明示するためには、可視付加情報を用いるマーキング技術が、非可視付加情報を用いるマーキング技術よりも適している。
しかしながら、当然、可視付加情報が付された画像コンテンツは、その一部が付加情報により隠されてしまったり、画質が低下したりするので、利用者は、付加情報が除去されない限り、本来の画像コンテンツを見ることはできない。
【０００６】
ここで、例えば、可視付加情報を画像コンテンツに埋め込んで付加情報が埋め込まれていることを明示しつつ配信し、供給者に画像コンテンツの対価を支払った正当な利用者にのみ、付加情報を除いたコンテンツの使用を許可したいような場合がある。
このような場合、利用者が一度、可視付加情報を除去したコンテンツを見て、納得してから対価を支払うようにすることが望ましい。
しかしながら、付加情報を除去したコンテンツが利用者の手に渡ってしまうと、利用者の不正利用を防ぐ手だてがなくなってしまう。
【０００７】
また、可視付加情報なしに、非可視付加情報のみが付加された画像コンテンツは、利用者からは、一見、何らの付加情報も付加されていないように見える。
従って、非可視付加情報のみが付加された画像が広く流通してしまうと、一般利用者が、これをあたかも正当に使用が許諾されている画像コンテンツであるかのように扱うであろうことが予想される。
こうなった場合、画像コンテンツの保護の実行が図れなくなる可能性があるので、例え、非可視付加情報が付されていても、可視付加情報が除去された画像コンテンツが、正当な使用権限を有さない利用者の手に渡ることを防ぐことが望ましい。
【０００８】
【発明が解決しようとする課題】
本発明は、上述した従来技術の問題点に鑑みてなされたものであり、ネットワークあるいはＣＤ−ＲＯＭ等の記録媒体で利用者に供給され、可視付加情報を用いたマーキング処理がなされた画像コンテンツを、可視付加情報を除去して利用者に表示することができるデータ表示システム、データ表示装置およびその方法を提供することを目的とする。
【０００９】
また、本発明は、可視付加情報を除去した画像コンテンツの利用者による不正使用を防ぐことができるデータ表示装置およびその方法を提供することを目的とする。
また、本発明は、可視付加情報なしに非可視付加情報のみが付加された画像データが完全な形で、正当な使用権限を有さない利用者の手に渡りにくいようにしたデータ表示システム、データ表示装置およびその方法を提供することを目的とする。
【００１０】
また、本発明は、可視付加情報を用いたマーキング処理がなされた画像コンテンツから可視付加情報を除去して利用者に示すことにより、利用者が本来の画像コンテンツを確認し、納得して、その対価を供給者に支払うことができるようにしたデータ表示システム、データ表示装置およびその方法を提供することを目的とする。
【００１１】
【課題を達成するための手段】
［データ表示システム］
上記目的を達成するために、本発明にかかるデータ表示システムは、クライアント装置に対してデータを供給するサーバ装置と、サーバ装置から供給されたデータを表示するクライアント装置とを含むデータ表示システムであって、前記サーバ装置は、マーキング処理する前のデータ（オリジナルデータ）に対して、少なくとも感じ取れるマーク（可感マーク）を用いてマーキング処理を行い、可感マーキングデータを生成する可感マーキングデータ生成手段と、可感マーキングデータおよび前記オリジナルデータまたはこれらのいずれかを、前記クライアント装置に供給するデータ供給手段とを有し、前記クライアント装置は、供給された前記可感マーキングデータから、前記可感マークを除去する可感マーク除去手段と、前記可聴マークが除去された前記可感マーキングデータに対して、感じ取れないマーク（非可感マーク）を用いてマーキング処理を行い、非可感マーキングデータを生成する非可感マーキングデータ生成手段と、供給された前記オリジナルデータ、または、生成された前記非可感マーキングデータから、交互に表示した場合に、平均の表示値が、前記オリジナルデータまたは前記非可感マーキングデータに対応する値となる複数の断片データを生成する断片データ生成手段と、生成された前記複数の断片データを、平均の表示値が前記オリジナルデータまたは前記非可感マーキングデータに対応する値になるように、交互に表示するデータ表示手段とを有する。
【００１２】
［データ表示装置］
また、本発明にかかるデータ表示装置は、マーキング処理する前のデータ（オリジナルデータ）、または、前記オリジナルデータを、少なくとも感じ取れるマーク（可感マーク）を用いてマーキング処理することにより得られる可感マーキングデータを表示するデータ表示装置であって、供給された前記可感マーキングデータから前記可感マークを除去する可感マーク除去手段と、前記オリジナルデータ、または、前記可聴マークが除去された前記可聴マーキングデータに対して、感じ取れないマーク（非可感マーク）を用いてマーキング処理を行い、非可感マーキングデータを生成する非可感マーキングデータ生成手段と、前記オリジナルデータまたは生成された前記非可感マーキングデータから、交互に表示した場合に、平均の表示値が、前記オリジナルデータまたは前記非可感マーキングデータに対応する値になる複数の断片データを生成する断片データ生成手段と、生成された前記複数の断片データを、平均の表示値が前記オリジナルデータまたは前記非可感マーキングデータに対応する値になるように交互に表示するデータ表示手段とを有する。
【００１３】
好適には、前記可感データ除去手段と前記非可聴マーキングデータ生成手段とは、前記可感マーキングデータからの前記可感マークの除去と、前記非可感マークを用いたマーキング処理とを、一体不可分に行う。
【００１４】
好適には、前記オリジナルデータは画像データであり、前記可感マークは、視覚的に感じ取れる可視マークであり、前記非可視マークは、視覚的に感じ取れない非可視マークであって、前記可感マーク除去手段は、供給された前記可感マーキングデータから前記可視マークを除去し、前記非可感マーキングデータ生成手段は、前記可視マークが除去された前記可感マーキングデータに対して、前記非可視データを用いてマーキング処理を行って前記非可感マーキングデータを生成し、前記断片データ生成手段は、前記非可感マーキングデータから、交互に表示した場合に、平均の表示値が、前記オリジナルデータまたは前記非可感マーキングデータに対応する値になる複数の断片データを生成し、前記データ表示手段は、生成された前記複数の断片データを、平均の表示値が前記非可感マーキングデータに対応する値になるように交互に表示する。
【００１５】
好適には、前記断片データ生成手段は、前記複数の断片データを交互に表示した場合に、各断片画像データの画素それぞれに表示時間を乗算した値を、全表示時間で除算した値が、非可感マーキングデータと同じになるように、前記複数の断片データを生成する。
【００１６】
好適には、前記データ表示手段は少なくとも、前記複数の断片画像データそれぞれの同一座標の画素の輝度に、それぞれの表示時間を乗算した値の総和が、オリジナルの画像データの同一座標の輝度に比例するように、前記複数の断片データを交互に表示する。
【００１７】
［データ表示装置の作用］
本発明にかかるデータ表示装置は、例えば、音声データ、静止画像データおよび動画像データ等の、マーキング処理されていない状態のリジナルデータ、あるいは、オリジナルデータに、聴覚・視覚等、人間の感覚で感じ取れるマーク（可感マーク）を用いてマーキング処理することにより得られる可感マーキングデータを、可感マークを除去した状態で表示する。
以下、画像データに可視または非可視マークでマーキング処理する場合を具体例として、本発明にかかるデータ表示装置の作用を説明する。
【００１８】
［可視マーク除去手段・非可視マーキングデータ生成手段］
可感マーク除去手段は、画像データの権利者等を示し、人間が視覚的に認識することができる可感マーク（可視マーク）が埋め込まれた状態で供給された画像データ（可視マーキングデータ）から、可視マークを除去する。
【００１９】
非可視マーキングデータ生成手段は、画像データの不正使用を防止するために、可視マーク除去手段が可視マークを除去する処理と、一体不可分かつ同時並行的に、人間が視覚的に認識できない非可視マークを用いてマーキング処理を行い、視覚的にはオリジナルの画像データと同じに見え、オリジナル画像データの見本として使うことができる非可視マーキングデータを生成する。
【００２０】
［断片データ生成手段］
断片データ生成手段は、上述のように生成され、著作権情報が入っているものの、見た目がオリジナル画像データと同じであり、一定の商品価値を有する非可視マーキングデータから、その一部が変更されているために、商品として利用できないが、交互に表示した場合に、オリジナルデータ（非可視マーキングデータ）と同じに見える複数の断片画像データを生成する。
【００２１】
つまり、断片データ生成手段は、複数の断片データを交互に表示した場合に、各断片画像データの画素それぞれに表示時間を乗算した値を、全表示時間で除算した値が、オリジナルデータ（非可感マーキングデータ）と同じになるように、複数の断片データを生成する。
【００２２】
［データ表示手段］
データ表示手段は、生成された複数の断片データを、所定の時間ずつ表示して、視覚的にオリジナルデータと同じに見えるように表示する。
つまり、データ表示手段は、断片画像データの画素それぞれに表示時間を乗算した値を、全表示時間で除算した値が、オリジナルデータ（非可感マーキングデータ）と同じになるように複数の断片画像データを表示する。
あるいは、データ表示手段は、少なくとも、複数の断片画像データそれぞれの同一座標の画素の輝度に、それぞれの表示時間を乗算した値の総和が、オリジナルの画像データの同一座標の輝度に比例するように、複数の断片データを交互に表示することにより、この目的を達成する。
【００２３】
［データ表示方法］
また、本発明にかかるデータ表示方法は、マーキング処理する前のデータ（オリジナルデータ）に対して、少なくとも感じ取れるマーク（可感マーク）を用いてマーキング処理を行い、可感マーキングデータを生成し、可感マーキングデータおよび前記オリジナルデータまたはこれらのいずれかを供給し、供給された前記可感マーキングデータから前記可感マークを除去し、供給された前記オリジナルデータ、または、前記可感マークが除去された前記可感マーキングデータに対して、感じ取れないマーク（非可感マーク）を用いてマーキング処理を行い、非可感マーキングデータを生成し、前記オリジナルデータまたは生成された前記非可感マーキングデータから、交互に表示した場合に、平均の表示値が、前記オリジナルデータまたは前記非可感マーキングデータに対応する値となる複数の断片データを生成し、生成された前記複数の断片データを、平均の表示値が前記オリジナルデータまたは前記非可感マーキングデータに対応する値になるように、交互に表示する。
【００２４】
［記録媒体］
また、本発明にかかる記録媒体は、マーキング処理する前のデータ（オリジナルデータ）、または、前記オリジナルデータを、少なくとも感じ取れるマーク（可感マーク）を用いてマーキング処理することにより得られる可感マーキングデータを表示するデータ表示装置において、供給された前記可感マーキングデータから前記可感マークを除去する可感マーク除去ステップと、前記オリジナルデータ、または、前記可聴マークが除去された前記可聴マーキングデータに対して、感じ取れないマーク（非可感マーク）を用いてマーキング処理を行い、非可感マーキングデータを生成する非可感マーキングデータ生成ステップと、前記オリジナルデータまたは生成された前記非可感マーキングデータから、交互に表示した場合に、平均の表示値が、前記オリジナルデータまたは前記非可感マーキングデータに対応する値になる複数の断片データを生成する断片データ生成ステップと、生成された前記複数の断片データを、平均の表示値が前記オリジナルデータまたは前記非可感マーキングデータに対応する値になるように交互に表示するデータ表示ステップとをコンピュータに実行させるプログラムを記録する。
【００２５】
【発明の実施の形態】
以下、本発明の実施形態を説明する。
【００２６】
［画像データ配信システム１の構成］
図１は、本発明にかかるデータ表示方法が適用される画像データ配信システム１の構成を示す図である。
図１に示すように、画像データ配信システム１は、サーバ装置１０、通信ネットワーク１２および１台以上のクライアント装置１４から構成される。
クライアント装置１４は、通信装置１４０、ＣＰＵ１５０、入力装置１５２、表示装置１５４、メモリ１５６および外部記憶装置１５８から構成される。
つまり、クライアント装置１４は、通常のコンピュータに通信装置１４０を付加した構成を採る。
【００２７】
［データ表示ソフトウェア２の構成］
図２は、本発明にかかるデータ表示方法を実現する画像データ表示ソフトウェア２の構成を示す図である。
図２に示すように、画像データ表示ソフトウェア２は、画像記憶部２００、マーキング処理部２０２、画像記憶部２０４、断片画像生成部２０６、および、第１〜第ｎの断片画像記憶部（＃１〜＃ｎ）２０８−１〜２０８−ｎ、断片画像選択部２１０および画像表示部２１２から構成される。
【００２８】
画像データ表示ソフトウェア２は、例えば、画像データ配信システム１（図１）の記憶装置１５８に、光磁気デスク（ＭＯ）あるいはＣＤ−ＲＯＭ等の記録媒体１６０に記録された形で供給され、実行時に記憶装置１５８からメモリ１５６にロードされ、ＣＰＵ１５０により実行される。
【００２９】
［マーキング処理の概要］
画像データ配信システム１および画像データ表示ソフトウェア２の各構成部分の説明に先立ち、まず、画像データ配信システム１のサーバ装置１０（図１）および画像データ表示ソフトウェア２（図２）のマーキング処理部２０２において行われる電子透かし埋め込み処理（以下、「本発明に応用される電子透かし埋め込み処理」を、記載の簡略化のために、単に「マーキング処理」とも記す）を説明する。
【００３０】
このマーキング処理は、ＩＢＭ（インターナショナル・ビジネス・マシーンズ・コーポレーション）の平成９年９月１８日付け特許出願（特願平９−２５３７６１号）に記載されており、可視付加情報（以下、同様に、「付加情報」を「マーク」とも記す）を埋め込んだ画像データから、可視マークを除去する処理と、新たな非可視マークを埋め込む処理とを一体不可分に行うことを特徴としている。
【００３１】
なお、以下、画像データに可視または非可視のマークを埋め込む場合を具体例に説明するが、このマーキング処理は、音声データに対して可聴データまたは非可聴データを埋め込む処理等、マーキング処理に用いるマークを変更することにより、画像データ以外のデータのマーキング処理に応用可能であることはいうまでもない。
【００３２】
図３〜図５を参照して、マーキング処理の概要を説明する。
図３〜図５は、本発明にかかるデータ表示方法に用いられるマーキング処理の概要を示す第１〜３の図である。
図３の左側に示すように、マーキング処理の第１段階において、利用者に所有者等の情報を視覚的に明示する可視付加情報（以下、記載の簡略化のために、可視付加情報を、単に可視マークとも記す）が、オリジナル画像データに埋め込まれる。
なお、この際、可視マークが埋め込まれている部分以外に、所有者情報等を利用者から視覚的に見えない形で示す非可視マークが埋め込まれることもある。
【００３３】
以上のように可視マークが埋め込まれた画像データが、例えば、印刷され、あるいは、表示される際に、マーキング処理の第２段階として、図３の右側に示すように、可視マークが除去され、ユーザー情報等の非可視マーク（電子指紋情報：ｆｉｎｇｅｒｐｒｉｎｔ）が埋め込まれる。
【００３４】
図４の下側に示すように、マーキング処理の第２段階において、可視マークを除去した後、非可視マークを埋め込むのではなく、可視マークの除去と非可視マークの埋め込みとを並行して行なうようにすると、画像データには可視マークと非可視マークとが混在することになる。
従って、仮に、利用者が、第２段階の処理中にメモリの内容を保存（スナップショット）してたとしても、可視マーク・非可視マークのいずれもが埋め込まれていないオリジナル画像データを入手することは不可能である。
【００３５】
また、第２段階の処理中に、可視マークが埋め込こまれていた領域に非可視マークを埋め込むようにすると、図５に示すように、第２段階の処理の前後の画像データの差分を取って比較しても、新たに埋め込んだ非可視マークを推定することは困難になる。
さらに、可視マークの除去と並行した非可視マークの埋め込みと、可視マークが埋め込まれていた領域への非可視マーク埋め込みとを行うようにすると、可視マークの除去と非可視マークの埋込みとは、必然的に一体不可分となる。
【００３６】
さらに、マーキング処理の第１段階において、可視マークを埋め込む際に、他の領域に非可視マークを埋め込むようにすると、第２段階において可視マークを除去する際に、さらに、ユーザー名等、電子指紋情報が埋め込まれることとなり、結果として、２種類の非可視マークが埋め込まれることになる。
このようにすると、第１の段階において埋め込まれた非可視マークは、例え共謀比較操作を行ったとしても除去できなくなる。
【００３７】
このマーキング処理によると、可視マークの存在により、画像データの所有者・使用制限等を明示することができ、しかも、画像データの不正な商業的利用等を防止することができる。
また、例え、可視付加マークが除去された画像データが不正使用により流通した場合であっても、画像データに埋め込まれた非可視付加マークにより、権利の所在、および、その画像データの不正使用による流通の事実等を明確にすることができる。
【００３８】
［サーバ１０とマーキング処理部２０２との関係］
図６は、図１に示したサーバ装置１０と図２に示したマーキング処理部２０２との処理を示す図である。
なお、図６においては、図示および説明の簡略化のために、サーバ装置１０とマーキング処理部２０２との間にある通信ネットワーク１２および通信装置１４０（図１）等は省略されている。
図７は、図１および図６に示したサーバ装置１０（鍵生成部１００）が生成する鍵を示す図である。
【００３９】
［鍵生成］
図６に示すように、サーバ装置１０は、鍵生成処理部１００および可視マーク埋め込み処理部１０２を含む。
サーバ装置１０において、鍵生成部１００は、外部から入力される可視マークのドットパターン、および、可視マークを埋め込む操作入力に基づいて、画像コンテンツに対する可視マークの埋め込み、可視マークの除去、および、非可視マーク埋込みの各処理に用いられる鍵を生成し、可視マーク埋め込み処理部１０２に対して出力する。
【００４０】
また、鍵生成部１００は、クライアント装置１４（マーキング処理部２０２）からの要求に応じて、通信ネットワーク１２および通信装置１４０（図６において図示せず）を介してクライアント装置１４（マーキング処理部２０２）に対して生成した鍵を伝送する。
なお、図７に示すように、鍵生成部１００が生成する鍵は、可視マークを消去する処理を選択するキーワード、可視マークの埋め込み開始位置、可視マークのサイズ、および、可視マークのドットパターンの情報を含む。
【００４１】
なお、鍵生成および可視マークの埋め込みは、サーバ装置１０以外で行われ、鍵生成および可視マークの埋め込み処理がすでになされたデータがサーバ装置１０に置かれる場合がある。
また、鍵情報は、可視マークが埋め込まれた画像データの末尾に付加される場合がある。
また、スタティックな画像データを扱う場合には、この限りではない。
【００４２】
［可視マークの埋め込み］
図８は、図６に示した可視マーク埋め込み処理部１０２が画像コンテンツに対して可視マークを埋め込む処理を示す図である。
可視マーク埋め込み処理部１０２は、鍵に含まれるドットパターンｄ（ｉ，ｊ）の値（ＯＮまたはＯＦＦ）に応じて、ドットパターンｄ（ｉ，ｊ）と対応するオリジナル画像コンテンツＩ（ｘ，ｙ）内のｍ×ｍ画素構成の画素ブロックの画像構成要素（ピクセル値／ＤＣＴ係数値）それぞれに、鍵生成部１００から入力される鍵に含まれるランダム系列に従って異なった回数の可逆操作を組合せて行うことにより可視マークの埋め込み処理を行い（上記ｍ×ｍ画素構成の画素ブロックを操作対象ブロックとも記す）、マーキング処理部２０２に対して配信し、あるいは、ファイルとして保存する。
【００４３】
上述のように、このマーキング方法によれば、可視マーク埋め込み処理部１０２において、オリジナル画像コンテンツに、可視マークと非可視マークとを埋め込むことも可能だが、以下、説明の簡略化のために、可視マーク埋め込み処理部１０２が可視マークのみを１回、オリジナル画像コンテンツに埋め込む場合を具体例として説明する。
【００４４】
なお、図８の拡大図に示すように、オリジナル画像コンテンツＩ（ｘ，ｙ）の座標（ｘ，ｙ；座標の単位は画素）と、ドットパターンｄ（ｉ，ｊ）の座標（ｉ，ｊ）との対応付けは、例えば、可視データ埋め込み開始位置を（ａ，ｂ）として、（ｘ＋ａ，ｙ＋ｂ）＝（ｍｉ，ｍｊ）のようになされる。
また、画像コンテンツがＪＰＥＧ方式により圧縮符号化されたものである場合には、操作対象ブロックのサイズｍの値は、８の倍数になるように選ばれる。
また、可視マーク埋め込み処理部１０２による操作対象ブロックへの可逆変換操作として、例えば、以下に示すスキャン順序交換処理〜排他的論理和演算処理を挙げることができる。
【００４５】
［スキャン順序交換処理］
可視マーク埋め込み処理部１０２は、ｍ×ｍ画素構成の操作対象ブロック内の各ピクセル値あるいはＤＣＴ係数のスキャン順序をブロック内で交換処理する。つまり、可視マーク埋め込み処理部１０２は、操作対象ブロック内のピクセル値／ＤＣＴ係数のスキャン順を、予め定められた順番で並べ変えることにより、可視マークを埋め込む。
【００４６】
図９は、図６に示した可視マーク埋め込み処理部１０２が、ｍ×ｍ画素構成の操作対象ブロックのスキャン順序を交換する処理を例示する図である。
スキャンの順序を交換する方法としては、ランダムに１対１でスキャン位置をスクランブルする方法、あるいは、図９に例示するように、操作対象ブロックを、ある軸に沿って回転、折り返し、あるいは、並行移動してから通常の順番でスキャンを行う方法等がある。
【００４７】
［数値交換処理］
オリジナル画像コンテンツがカラー画像である場合、画像を構成する画像コンポーネント（ＲＧＢ，ＹＵＹ等）の間では、通常、ピクセル値／ＤＣＴ係数値が異なっている。このことを利用して、可視マーク埋め込み処理部１０２は、画像コンポーネント間で対応するピクセル値／ＤＣＴ係数値を交換することにより、ピクセル値／ＤＣＴ係数値を変換する。
【００４８】
［線形変換処理］
可視マーク埋め込み処理部１０２は、操作対象ブロック内の各ピクセル値／ＤＣＴ係数値を、逆関数の存在する関数で１対１に写像することにより変換する。ピクセル値／ＤＣＴ係数値の変換方法としては、正則なｍ×ｍの行列を操作対象ブロックに掛け算する方法、つまり、ｍ×ｍ画素構成の操作対象ブロックＢに、ｍ行ｍ列の正則行列Ａを掛け合わせて線形変換し、変換ブロックＡＢを得る方法を挙げることができる。
【００４９】
なお、この場合、正則行列Ａとして、行列式ｄｅｔ（Ａ）が１となるものを選ぶとよい。このような正則行列Ａの逆行列Ａ^−１の要素は全て整数となるで、変換ブロックＡＢから操作対象ブロックＢを得るために、逆行列Ａ^−１を変換ブロックＡＢに掛け算しても、小数点を処理する丸め誤差は生じない。
【００５０】
［数値付加処理］
可視マーク埋め込み処理部１０２は、操作対象ブロック内の複数のピクセル値／ＤＣＴ係数Ｂ（ｘ，ｙ）を選択し、鍵中のキーワードにより生成されるランダム系列に従って算出される変分値ΔＢ（ｘ，ｙ）加算し、Ｂ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）＋ΔＢ（ｘ、ｙ）とすることにより変換する。
【００５１】
［排他的論理和演算処理］
鍵中のキーワードより生成されるランダム系列により、あるマスクを生成し、そのマスクと操作対象ブロック内のピクセル値／ＤＣＴ係数値との排他的論理和演算を行うことにより、ピクセル値／ＤＣＴ係数値を変更する。
【００５２】
図１０は、可視マーク埋め込み処理部１０２がオリジナル画像コンテンツに可視マークを埋め込む処理（Ｓ１０）を示すフローチャートである。
図１０に示すように、ステップ１００（Ｓ１００）において、可視マーク埋め込み処理部１０２は、オリジナル画像コンテンツとして入力されたＪＰＥＧ方式により圧縮符号化されたＪＰＥＧデータを復号する。
【００５３】
ステップ１２０（Ｓ１２０）において、可視マーク埋め込み処理部１０２は、Ｓ１００の処理において復号された画像コンテンツ、可視マークのドットパターン、および、鍵生成部１００から入力された鍵のキーワードから生成されるランダム系列（疑似乱数系列１）に応じて定められる方法基づいて、ＪＰＥＧデータのＤＣＴ係数に含まれるＤＣ／ＡＣ係数の操作（ＤＣ／ＡＣＣｏｅｆｆｉｃｉｅｎｔＭｏｄｉｆｉｃａｔｉｏｎ）等を行い、可視マークを埋め込む。
【００５４】
ステップ１２２（Ｓ１２２）において、可視マーク埋め込み処理部１０２は、Ｓ１２０における変換処理が、埋め込み手法により指定された回数、行われたか否かを判断し、指定された回数、行った場合には、変換処理した操作対象ブロックを出力し、これ以外の場合にはＳ１２０の処理に戻る。
【００５５】
［可視マーク除去・非可視マーク埋め込み］
画像データ表示ソフトウェア２（図２）において、マーキング処理部２０２は、可視マーク埋め込み処理部１０２が可視マークを埋め込んだ画像コンテンツの操作対象ブロックに対し、鍵生成部１００（図６）が生成し、可視マーク埋め込み処理部１０２が可視マーク埋め込みに用いたものと同一の鍵を用い、マーク埋め込み時と逆の処理を行って、可視マークを除去する。さらに、マーキング処理部２０２は、非可視マークを画像コンテンツに埋め込み、画像記憶部２０４（図２）に対して出力する。
【００５６】
なお、マーキング処理部２０２は、上述のように、可視マーク埋め込み処理部１０２から送られてきた画像コンテンツにおいて、可視マークが埋め込まれていた領域に対してのみ、非可視マークを埋め込む。
また、可視マークの除去と非可視マークの埋め込みとを逐次的に行なうと、メモリのスナップショットにより、可視マークも非可視マークも埋め込まれていない状態でデジタルコンテンツのデータを得ることも可能であるため、マーキング処理部２０２は、上述のように、可視マークの除去と非可視マークとを同時並行的に行なう。
【００５７】
マーキング処理部２０２が、可視マークを除去し、非可視マークを埋め込む処理を、さらに具体的に説明する。
まず、マーキング処理部２０２は、可視マーク埋め込み処理部１０２が、ｋ回の可逆操作により可視マークを埋め込んだ操作対象ブロックＢ（ｋ）の一部に対し、ｋ−ｑ回（ｑ＜ｋ）の逆変換処理を行い、操作対象ブロックＢ（Ｋ）から可視マークを部分的に除去する（薄める）。
【００５８】
次に、マーキング処理部２０２は、可視マークが薄められた操作対象ブロックＢ（ｑ）に対し、非可視マークの埋め込みを行なう。マーキング処理部２０２は、非可視マークの埋め込みを、埋め込む非可視マークのパターンＰに、可視マーク埋め込み処理部１０２における可逆操作をｑ回行なったパターンＰ（ｍ）を、可視マークが薄められている状態の操作対象ブロックＢ（ｍ）に重ね書き上書きすることにより行なう。
【００５９】
つまり、マーキング処理部２０２は、操作対象ブロックＢに対してｋ−ｍ回の逆変換処理が行われた後、可視マークが完全に除去される前に、あと、ｍ回の逆変換処理を行うと、非可視マークのパターンＰとなるパターンＰ（ｍ）を埋め込んで、操作対象ブロックＢ’を操作対象ブロックＢとパターンＰ（ｍ）とを加算した値［Ｂ’（ｍ）＝Ｂ（ｍ）＋Ｐ（ｍ）］とする。
【００６０】
さらに、マーキング処理部２０２は、残りｍ回の逆変換処理を操作対象ブロックＢ’（ｍ）に対して行い、オリジナル画像コンテンツの操作対象ブロックＢに非可視マークのパターンＰを埋め込んだ操作対象ブロックＢ’を得る。
なお、マーキング処理部２０２は、以上説明した可視マークの除去処理と非可視マークの埋め込み処理とを、操作対象ブロックごとに、鍵に含まれるランダム系列に従った異なるタイミング、つまり、操作対象ブロックごとに、値が異なるｍで行う。
【００６１】
図１１は、図２に示したマーキング処理部２０２が、画像コンテンツに埋め込まれていた可視マークを除去し、非可視マークを埋め込む処理（Ｓ２０）を示すフローチャートである。
図１１に示すように、ステップ２００（Ｓ２００）において、マーキング処理部２０２は、可視マークが埋め込まれているＪＰＥＧデータをハフマン復号で復号する。
ステップ２２０（Ｓ２２０）において、マーキング処理部２０２は、可視マーク埋め込み処理部１０２が画像コンテンツの処理対象ブロックに埋め込んだ可視マークのｋ個の内、最初のｋ−ｍ個、または、最後のｍ個を除去する。
【００６２】
ステップ２２２（Ｓ２２２）において、マーキング処理部２０２は、処理対象ブロックに、ｍ回の可逆変換が施された可視マークのパターンＰ（ｍ）を埋込む。
ステップ２２４（Ｓ２２４）において、マーキング処理部２０２は、全ての可視マークを除去したか否かを判断し、全ての可視マークを除去した場合には処理を終了して、非可視マークを埋め込んだ処理対象ブロックを出力し、これ以外の場合にはＳ２２０の処理に戻る。
【００６３】
なお、マーキング処理部２０２は、ステップ２３０（Ｓ２３０）において、鍵生成部１００から送られてきた鍵のキーワードから擬似乱数系列２を生成し、生成した擬似乱数系列２に基づいて、可視マーク除去のタイミング（上記数値ｑ）を選択する。
また、同様に、マーキング処理部２０２は、ステップ２３２（Ｓ２３２）において、鍵のキーワードから得られる擬似乱数系列３に基づいて非可視マークのパターンＰを選択し、さらに、ステップ２３６（Ｓ２３６）において、非可視マークのパターンＰをｑ回、可逆変換してパターンＰ（ｑ）を生成して、Ｓ２２２の処理で用いる。
また、マーキング処理部２０２は、ステップ２３４（Ｓ２３４）において、鍵のキーワードから得られる疑似乱数系列１に基づいて、可視マークを消去するための逆変換方法を選択し、Ｓ２２０の処理で用いる。
【００６４】
［サーバ１０］
以下、再び図１を参照し、さらに図１２および図１３を参照して、画像データ配信システム１の各構成部分を説明する。
図１２は、可視マークおよび非可視マークのいずれもが埋め込まれていないオリジナル画像データを例示する図である。
図１３は、オリジナル画像データに可視マークを埋め込んだ可視マーキングデータを例示する図である。
【００６５】
サーバ１０は、図１２に例示するマーキング処理されていないオリジナル画像データに対して、以上説明したようにマーキング処理を行い、可視マーク（例えば、図１３に示す「ＩＢＭ」の文字）を埋め込んで記憶し、あるいは、すでにマーキングされた画像データを記憶する。
さらに、サーバ１０は、他の通信ノード（クライアント装置１４あるいは図示しない他の端末装置等）からの第１の要求に応じて、要求した通信ノードに対してクライアント装置１４を介して可視マークが埋め込まれた可視マーキング画像データを送信する。
【００６６】
また、サーバ１０は、利用者から対価が支払われた場合、この利用者の通信ノードに対して、可視マークを除去してファイルに保存するための鍵情報をクライアント装置１４を介して送信する。
【００６７】
［通信ネットワーク１２］
通信ネットワーク１２は、例えば、ＩＳＤＮ通信回線、データ専用回線、電話回線あるいはＬＡＮ等のデータ伝送が可能な通信回線であって、サーバ１０とクライアント装置１４との間で可視マーキング画像データおよび鍵情報を伝送する。
【００６８】
［通信装置１４０］
通信装置１４０は、例えば、ＩＳＤＮ通信回線用のＴＡ、データ専用回線終端装置、電話回線用モデムあるいはＬＡＮアダプタであって、ＣＰＵ１５０の制御に従って動作し、ＣＰＵ１５０から入力されるデータを通信ネットワーク１２を介してサーバ１０に対して送信し、また、サーバ１０から通信ネットワーク１２を介して伝送されてきたデータを受信し、ＣＰＵ１５０に対して出力する。
【００６９】
［ＣＰＵ１５０］
ＣＰＵ１５０は、ＣＰＵおよびその周辺回路等（図示せず）から構成され、記録媒体１６０等を介してクライアント装置１４に供給されるＯＳおよびデータ表示ソフトウェア２をメモリ１５６にロードして実行し、クライアント装置１４の各構成部分の制御、および、本発明にかかるデータ表示等の処理を行う。
また、ＣＰＵ１５０は、入力装置１５２を介した利用者の操作に従って、生成した画像データを表示装置１５４に表示し、あるいは、外部記憶装置１５８を介して記録媒体１６０に記憶する。
【００７０】
［入力装置１５２］
入力装置１５２は、キーボードおよびマウス等を含み、利用者の操作を受け入れて、ＣＰＵ１５０に対して出力する。
【００７１】
［表示装置１５４］
表示装置１５４は、ＣＰＵ１５０から入力される画像データ（可視マーキング画像データ、非可視マーキング画像データおよびその他のＧＵＩ画像データ等）を、ＣＲＴ表示装置あるいはＬＣＤ表示装置に表示する。
【００７２】
［外部記憶装置１５８］
外部記憶装置１５８は、ＭＯ装置、ＣＤ装置（ＣＤＰ）あるいはハードディスク装置（ＨＤＤ）であって、ＣＰＵ１５０の制御に従って動作し、記録媒体１６０を介して供給されるソフトウェアおよびその他のデータを再生してＣＰＵ１５０に対して出力する。
また、外部記憶装置１５８は、ＣＰＵ１５０から入力される画像データ等を記録媒体１６０に対して記憶する。
【００７３】
［画像記憶部２００］
以下、図２を再びさらに参照して、データ表示ソフトウェア２の各構成部分を説明する。
画像記憶部２００は、入力装置１５２を介した利用者の操作に従って、サーバ１０に対して可視マーキング画像データ（あるいはオリジナル画像データ）の送信を要求し、この要求に応じてサーバ１０から通信ネットワーク１２を介して伝送されてきた可視マーキング画像データ（図１３、あるいはオリジナル画像データ）を記憶して、表示装置１５４（図１）に表示し、あるいは、マーキング処理部２０２に対して出力する。
あるいは、画像記憶部２００は、記録媒体１６０に記憶されてクライアント装置１４に供給される可視マーキング画像データを外部記憶装置１５８から読み出して記憶し、マーキング処理部２０２に対して出力する。
【００７４】
［マーキング処理部２０２］
マーキング処理部２０２は、上記説明のように、画像記憶部２００から入力された可視マーキング画像（オリジナル画像データ）に対して、上述したマーキング処理の第２段階の処理を行い、可視マークを除去して非可視マークを埋め込み、利用者の目からは図１２に示したオリジナル画像データと変わらなく見える非可視マーキングデータを生成し、画像記憶部２０４に対して出力する。
【００７５】
［画像記憶部２０４］
画像記憶部２０４は、マーキング処理部２０２から入力された非可視マーキング画像データを記憶し、断片画像生成部２０６に対して出力する。
【００７６】
［断片画像生成部２０６］
図１４〜図１６は、それぞれ、ｎ＝３とした場合に断片画像生成部２０６が生成する断片画像データ＃１〜＃３を例示する図である。
断片画像生成部２０６は、画像記憶部２０４から入力される非可視マーキング画像データのｎ種類の領域内の値を変更し、一枚一枚は図１４〜図１６に例示するように見えるが、人間の視覚の特性上、ｎ枚を十分に短い時間間隔Ｔ_ｉ（例えば、１／３０〜１／６０秒）で順番に、繰り返して表示装置１５４の画面に表示した場合に、非可視マーキング画像データ（オリジナル画像データ）と全く同じ画像に見える断片画像データ＃１〜＃ｎを生成し、断片画像記憶部２０８−１〜２０８−ｎに対して出力する。
断片画像データにおいては白輝度を３／４、黒輝度を０とし、オリジナル画像データ（非可視マーキング画像データ）において白輝度を１／２、黒輝度を１／４とすると、図１４〜図１６の全てにおいて、白輝度は１／２［＝（３／４＋３／４＋０）／３］、黒輝度は１／４［＝（３／４＋０＋０）／３］となる。
【００７７】
つまり、断片画像生成部２０６は、非可視マーキング画像データから、一枚一枚をメモリ１５６をスナップショットして取り出しても、図１４〜図１６に示したように画像の一部に改変が加えられているために全く商品価値を有さないが、例えば、ｎ枚（ｎは整数）を、下式１に示すように合成するとオリジナル画像データと見分けがつかず、オリジナル画像データ（図１２）の見本として用いることができる断片画像データ＃ｉ（１≦ｉ≦ｎ）を生成し、生成した断片画像データ＃ｉそれぞれを、断片画像記憶部２０８−１〜２０８−ｎに対して表示する。
【００７８】
【数１】

【００７９】
つまり、式１に示すようにｎ枚の断片画像データ合成することは、各断片画像データの画素それぞれに、その表示時間を乗算した値を、全表示時間で除算した値が、オリジナル画像データ（非可視マーキング画像データ）と同じになるように、各断片画像データを合成することに相当する。
【００８０】
図１７をさらに参照して、断片画像生成部２０６おける断片画像データ＃１〜＃ｎの生成方法を説明する。
図１７は、図２に示した断片画像生成部２０６が断片画像データ＃１〜＃ｎを生成する断片画像生成処理（Ｓ３０）を示すフローチャートである。
【００８１】
図１７に示すように、ステップ３００（Ｓ３００）において、断片画像生成部２０６は、断片画素数ｎおよび断片画素データ＃１〜＃ｎを表示する時間間隔Ｔ_ｉを、例えば乱数を用いて、処理ごとに異なった値になるように一定の範囲内、例えば、２〜５枚および１／５０〜１／６０秒の範囲で決定し、断片画像選択部２１０および画像表示部２１２等に設定する。
【００８２】
ステップ３０２（Ｓ３０２）において、断片画像生成部２０６は、Ｙ座標を示す変数Ｙに初期値（例えば１；単位は画素、画像領域の上端から下端に向けて増加する）を代入する。
【００８３】
ステップ３０４（Ｓ３０４）において、断片画像生成部２０６は、Ｘ座標を示す変数Ｘに初期値（例えば１；単位は画素、画像領域の左端から右端に向けて増加する）を代入する。
【００８４】
ステップ３０６（Ｓ３０６）において、断片画像生成部２０６は、座標（Ｘ，Ｙ）の位置にある画素の非可視マーキング画像データを読み込む。
【００８５】
ステップ３０８（Ｓ３０８）において、断片画像生成部２０６は、断片画素データの番号を示す変数Ｉに初期値（例えば１）を代入する。
【００８６】
ステップ３１０（Ｓ３１０）において、断片画像生成部２０６は、Ｓ１０６の処理において読み出した座標（Ｘ，Ｙ）の非可視マーキング画像データのＲ，Ｇ，Ｂデータそれぞれの値を読み出し、断片画像データ＃ｉの座標（Ｘ，Ｙ）の画素データを算出する。
具体的には、断片画像生成部２０６は、断片画素データ＃ｉの座標（Ｘ，Ｙ）の画素値Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉを、例えば、ｉ＜ｎの場合には、Ｒ_ｉ＝Ｒ_ｏ＋ｄ_１，Ｇ_ｉ＝Ｇ_ｏ＋ｄ_２，Ｂ_ｉ＝Ｂ_ｏ＋ｄ_３（ただし、ｄ_１，ｄ_２，ｄ_３は−３〜＋３の範囲内の乱数）とし、ｉ＝ｎの場合には、上記式１を満たす値とする。
【００８７】
ステップ３１２（Ｓ３１２）において、断片画像生成部２０６は、断片画像記憶部２０８−ｉにおいて、断片画像データ＃ｉの座標（Ｘ，Ｙ）の画素データが記憶されるアドレスに、Ｓ１１０の処理により得られた断片画像データ＃ｉの座標（Ｘ，Ｙ）の画素データを記憶する。
【００８８】
ステップ３１４（Ｓ３１４）において、断片画像生成部２０６は、変数ｉをインクリメントする（ｉ＝ｉ＋１）。
【００８９】
ステップ３１６（Ｓ３１６）において、断片画像生成部２０６は、変数ｉが断片画像データの枚数ｎより大きいか否かを判断し、変数Ｉがｎより大きい場合にはＳ３１８の処理に進み、これ以外の場合にはＳ３１０の処理に戻る。
Ｓ３１０〜Ｓ３１６の処理のループにより、全断片画像データを通して、同一座標の画素値Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉが、上記式１を満たすようになる。
【００９０】
ステップ３１８（Ｓ３１８）において、断片画像生成部２０６は、変数Ｘをインクリメントする（Ｘ＝Ｘ＋１）。
【００９１】
ステップ３２０（Ｓ３２０）において、断片画像生成部２０６は、変数Ｘが画像幅より大きいか否かを判断し、変数Ｘが画像幅（断片画像データの右端）より大きい場合にはＳ３２２の処理に進み、これ以外の場合にはＳ３０６の処理に戻る。
Ｓ３０６〜Ｓ３２０の処理のループにより、左端から右端までＸ軸方向に、断片画像データが生成される。
【００９２】
ステップ３２２（Ｓ３２２）において、断片画像生成部２０６は変数Ｙをインクリメントする（Ｙ＝Ｙ＋１）。
【００９３】
ステップ３２４（Ｓ３２４）において、断片画像生成部２０６は、変数Ｙが画像高さより大きいか否かを判断し、変数Ｙが画像高さ（断片画像データの下端）よりも大きい場合にＳ１０４の処理に戻り、これ以外の場合には処理を終了する。このＳ３０４〜Ｓ３２４の処理のループにより、上端から下端までＹ軸方向に、断片画像データが生成される。
【００９４】
［断片画像記憶部２０８−１〜２０８−ｎ］
再び図２を参照する。
断片画像記憶部２０８−１〜２０８−ｎは、それぞれ断片画像生成部２０６から入力される断片画像データ＃１〜＃ｎを記憶し、断片画像選択部２１０の入力端子＃１〜＃ｎに対して出力する。
【００９５】
［断片画像選択部２１０］
断片画像選択部２１０は、断片画像記憶部２０８−１〜２０８−ｎから入力される断片画像データ＃１〜＃ｎを、この順番に、時間間隔Ｔ_ｉで繰り返し選択し、画像表示部２１２に対して出力する。
【００９６】
［画像表示部２１２］
画像表示部２１２は、断片画像選択部２１０から入力される断片画像データそれぞれを、時間間隔Ｔ_ｉで表示装置１５４に対して出力し、オリジナル画像データと視覚上見分けが付かない見本画像データとして利用者に示す。
【００９７】
図１８をさらに参照し、画像表示部２１２の画像表示処理をさらに説明する。図１８は、図２に示した画像表示部２１２による画像表示処理（Ｓ４０）を示すフローチャートである。
図１８に示すように、ステップ４００（Ｓ４００）において、画像表示部２１２は、断片画像データの数を示す変数ｉに初期値（例えば１）を代入する。
【００９８】
ステップ４０２（Ｓ４０２）において、画像表示部２１２は、断片画像記憶部２０８−ｉに記憶された断片画像データ＃ｉの全ての画素値Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉを読み出して表示装置１５４に対して出力し、表示する。
【００９９】
ステップ４０４（Ｓ４０４）において、画像表示部２１２は、利用者により表示を中断するための操作が行われたか否かを判断し、表示を中断する場合には、断片画像データの表示を中止して処理を終了し、これ以外の場合にはＳ４０６の処理に進む。
【０１００】
ステップ４０６（Ｓ４０６）において、画像表示部２１２は、Ｓ２０２の処理からの経過時間（断片画像データ＃ｉの表示開始からの経過時間）Ｔを測定する。
【０１０１】
ステップ４０８（Ｓ４０８）において、画像表示部２１２は、経過時間Ｔが断片画像データＴ_ｉより大きい場合にはＳ４１０の処理に進み、これ以外の場合にはＳ４０４の処理に戻る。
【０１０２】
ステップ４１０（Ｓ４１０）において、画像表示部２１２は、変数ｉをインクリメントする（ｉ＝ｉ＋１）。
【０１０３】
ステップ４１２（Ｓ４１２）において、え４１２は、変数ｉが断片画像データの枚数ｎより大きいか否かを判断し、変数ｉが枚数ｎよりも大きい場合にはＳ４００の処理に戻り、これ以外の場合にはＳ４０２の処理に戻る。
変数Ｔを用いた処理ループにより、各断片画像データの表示時間が制御され、また、変数ｉを用いた処理ループにより、断片画像データ全てが表示されるように処理が制御される。
【０１０４】
これらの２種類の処理ループにより、各断片画像データそれぞれの同一座標の画素の輝度に、それぞれの画素の表示時間を乗算した値の総和が、オリジナル画像データ（非可視マーキング画像データ）の同一座標の輝度に比例するように、断片画像データが合成される。
【０１０５】
［画像データ配信システム１の動作］
以下、さらに図１９を参照して、サーバ１０からクライアント装置１４に対して画像データを配信する画像データ配信システム１の動作を説明する。
図１９は、図１に示したサーバ１０とクライアント装置１４との間で送受信される信号を示す通信シーケンス図である。
なお、上述の通り、画像データは、クライアント装置１４に対して、記録媒体１６０によっても供給されるが、この場合には、図１９と同様な通信シーケンスを、ＣＰＵ１５０と外部記憶装置１５８との間で行えばよい。
【０１０６】
［オリジナル画像データ伝送］
利用者が、オリジナル画像データを得るための対価を画像データの所有権者に支払うと、所有権者は、利用者に対してその旨を示すパスワードを支給する。
利用者が、クライアント装置１４（図１）の入力装置１５２を操作し、オリジナル画像データを照会する操作を行うと、クライアント装置１４のデータ表示ソフトウェア２は、図１９に示すように、画像データ照会信号をサーバ１０に対して送信する（ＳＱ１００）。
【０１０７】
サーバ１０は、画像データ照会信号を受信すると、クライアント装置１４（データ表示ソフトウェア２）に対して供給可能な画像データの一覧を示す画像データリストを送信する（ＳＱ１０２）。
【０１０８】
クライアント装置１４（データ表示ソフトウェア２）が、サーバ１０から画像データリストを受信して表示装置１５４に表示すると、ユーザは、対価を支払った画像データを指定し、さらに、パスワードを入力し、画像データの送信を要求するための操作を行う。
この操作に応じて、クライアント装置１４（データ表示ソフトウェア２）は、サーバ１０に対して画像データ送信要求を送信する（ＳＱ１０４）。
【０１０９】
画像データの指定およびパスワードを含む画像データ送信要求を受信すると、サーバ１０は、画像データの指定とパスワードとをチェックし、これらが矛盾なく正当であることを確認し、オリジナル画像データを含む画像データパケット＃１〜＃ｍを、クライアント装置１４に対して送信する（ＳＱ１０６−１〜ＳＱ１０６−ｍ）。
【０１１０】
クライアント装置１４（画像記憶部２００）は、サーバ１０からオリジナル画像データを受信して記憶し、表示装置１５４に表示して利用者に示し、さらに、利用者の操作に応じて、外部記憶装置１５８内の記録媒体１６０に記憶する。
【０１１１】
［可視マーキング画像データ伝送］
次に、サーバ１０とクライアント装置１４との間で可視マーキング画像データを伝送する際の動作を説明する。
【０１１２】
利用者が、画像データを照会する操作を行うと、クライアント装置１４のデータ表示ソフトウェア２は、図１９に示すように、画像データ照会信号をサーバ１０に対して送信する（ＳＱ１００）。
サーバ１０は、画像データ照会信号を受信すると、クライアント装置１４（データ表示ソフトウェア２）に対して供給可能な画像データの一覧を示す画像データリストを送信する（ＳＱ１０２）。
【０１１３】
クライアント装置１４（データ表示ソフトウェア２）が、サーバ１０から画像データリストを受信して表示装置１５４に表示すると、ユーザは、画像データを指定し、さらに、見本を要求するための操作を行う。
この操作に応じて、クライアント装置１４（データ表示ソフトウェア２）は、サーバ１０に対して画像データ送信要求を送信する（ＳＱ１０４）。
【０１１４】
見本を要求する旨の画像データ送信要求を受信すると、サーバ１０は、図１２に例示したオリジナル画像データに対してマーキング処理を行い、図１３に例示したような可視マーキング画像データを含む画像データパケット＃１〜＃ｍを、クライアント装置１４に対して送信する（ＳＱ１０６−１〜ＳＱ１０６−ｍ）。
【０１１５】
画像記憶部２００は、サーバ１０から送られてきた可視マーキング画像データ（図１３）を記憶して、表示装置１５４（図１）に表示し、また、マーキング処理部２０２に対して出力する。
マーキング処理部２０２は、画像記憶部２００から入力された可視マーキング画像から可視マークを除去し、さらに、非可視マークを埋め込んで、利用者の目からは図１２に示したオリジナル画像データと変わらなく見える非可視マーキングデータを生成し、画像記憶部２０４に対して出力する。
【０１１６】
断片画像生成部２０６は、画像記憶部２０４から非可視マーキング画像データを読み出して図１７に示した処理を行い、図１４〜図１６に例示したｎ種類の断片画像データ＃１〜＃ｎを生成し、断片画像記憶部２０８−１〜２０８−ｎに対して出力する。
【０１１７】
断片画像選択部２１０は、断片画像記憶部２０８−１〜２０８−ｎから、断片画像データ＃１〜＃ｎを、時間間隔Ｔ_ｉで繰り返し選択して読み出し、画像表示部２１２に対して出力する。
画像表示部２１２は、断片画像選択部２１０から入力される断片画像データそれぞれに対して、図１８に示した処理を行い、時間間隔Ｔ_ｉで表示装置１５４に対して出力し、オリジナル画像データと視覚上見分けが付かない見本画像データとして利用者に示す。
【０１１８】
【発明の効果】
以上説明したように、本発明にかかるデータ表示システム、データ表示装置およびその方法によれば、ネットワークあるいはＣＤ−ＲＯＭ等の記録媒体で利用者に供給され、可視付加情報を用いたマーキング処理がなされた画像コンテンツを、可視付加情報を除去して利用者に表示することができる。
【０１１９】
また、本発明にかかるデータ表示システム、データ表示装置およびその方法によれば、可視付加情報を除去した画像コンテンツの利用者による不正使用を防ぐことができる。
また、本発明にかかるデータ表示システム、データ表示装置およびその方法によれば、可視付加情報なしに非可視付加情報のみが付加された画像データが完全な形で、正当な使用権限を有さない利用者の手に渡りにくいようにすることができる。
【０１２０】
また、本発明にかかるデータ表示システム、データ表示装置およびその方法によれば、可視付加情報を用いたマーキング処理がなされた画像コンテンツから可視付加情報を除去して利用者に示すことにより、利用者が本来の画像コンテンツを確認し、納得して、その対価を供給者に支払うことができるようにすることができる。
【図面の簡単な説明】
【図１】本発明にかかるデータ表示方法が適用される画像データ配信システムの構成を示す図である。
【図２】本発明にかかるデータ表示方法を実現する画像データ表示ソフトウェアの構成を示す図である。
【図３】本発明にかかるデータ表示方法に用いられるマーキング処理の概要を示す第１の図である。
【図４】本発明にかかるデータ表示方法に用いられるマーキング処理の概要を示す第２の図である。
【図５】本発明にかかるデータ表示方法に用いられるマーキング処理の概要を示す第３の図である。
【図６】図１に示したサーバ装置と図２に示したマーキング処理部との処理を示す図である。
【図７】図１および図６に示したサーバ装置（鍵生成部）が生成する鍵を示す図である。
【図８】図６に示した可視マーク埋め込み処理部が画像コンテンツに対して可視マークを埋め込む処理を示す図である。
【図９】図６に示した可視マーク埋め込み処理部が、ｍ×ｍ画素構成の操作対象ブロックのスキャン順序を交換する処理を例示する図である。
【図１０】可視マーク埋め込み処理部がオリジナル画像コンテンツに可視マークを埋め込む処理（Ｓ１０）を示すフローチャートである。
【図１１】図２に示したマーキング処理部が、画像コンテンツに埋め込まれていた可視マークを除去し、非可視マークを埋め込む処理（Ｓ２０）を示すフローチャートである。
【図１２】可視マークおよび非可視マークのいずれも埋め込まれていないオリジナル画像データを例示する図である。
【図１３】オリジナル画像データに可視マークを埋め込んだ可視マーキングデータを例示する図である。
【図１４】ｎ＝３とした場合に断片画像生成部が生成する断片画像データを例示する第１の図である。
【図１５】ｎ＝３とした場合に断片画像生成部が生成する断片画像データを例示する第２の図である。
【図１６】ｎ＝３とした場合に断片画像生成部が生成する断片画像データを例示する第３の図である。
【図１７】図２に示した断片画像生成部が断片画像データ＃１〜＃ｎを生成する断片画像生成処理（Ｓ３０）を示すフローチャートである。
【図１８】図２に示した画像表示部による画像表示処理（Ｓ４０）を示すフローチャートである。
【図１９】図１に示したサーバとクライアント装置との間で送受信される信号を示す通信シーケンス図である。
【符号の説明】
１・・・画像データ配信システム
１０・・・サーバ
１００・・・鍵生成部
１０２・・・可視マーク埋め込み部
１２・・・通信ネットワーク
１４・・・クライアント装置
１４０・・・通信装置
１５０・・・ＣＰＵ
１５２・・・入力装置
１５４・・・表示装置
１５６・・・メモリ
１５８・・・外部記憶装置
１６０・・・記録媒体
２・・・データ表示ソフトウェア
２００・・・画像記憶部
２０２・・・マーキング処理部
２０４・・・画像記憶部
２０６・・・断片画像生成部
２０８−１〜２０８−ｎ・・・断片画像記憶部
２１０・・・断片画像選択部
２１２・・・画像表示部[0001]
[Industrial applications]
According to the present invention, a digital watermark is once removed from digitally watermarked image data, so that image data without a digital watermark can be shown to a user. The present invention relates to a data display system, a data display device, and a data display method capable of protecting data.
[0002]
[Prior art]
As a means for preventing unauthorized copying, diversion, and redistribution of digitized image data or the like (digital content or content), there is a marking technique for embedding additional information directly in digital content.
[0003]
For example, "Color correct digital watermarking of images," (Reference 1: USP 5,530,759), and "Method and apparel for the following quantification articulation altogether. 570) discloses a marking technique for embedding visible additional information in content.
[0004]
Further, "Scrambled Digital Image Data for Copyright Protection" (Reference 3: SCIS96-9A) discloses a scramble technique for protecting digital contents from unauthorized use, and further discloses "NIKKEI ELECTRONICS, No. 14, No. 69, No. 69, No. 69, and No. 69, No. 69. (Pp. 17-18), 1997 "(Document 4) discloses an image delivery system that combines this scramble technique and a digital watermark technique for producing invisible additional information into content.
[0005]
A marking technique using visible additional information to clearly indicate that additional information is embedded in digital image content supplied to a user via a network or via a recording medium such as a CD-ROM. However, it is more suitable than a marking technique using invisible additional information.
However, as a matter of course, the image content to which the visible additional information is added is partially hidden by the additional information or the image quality is degraded. You cannot see the content.
[0006]
Here, for example, the visible additional information is embedded in the image content and distributed while clearly indicating that the additional information is embedded, and the additional information is removed only to a legitimate user who paid the supplier for the image content. In some cases, you may want to allow the use of content that has been used.
In such a case, it is desirable that the user once looks at the content from which the visible additional information has been removed, and pays the price after being satisfied with the content.
However, if the content from which the additional information has been removed reaches the user's hand, there is no way to prevent the user from illegally using the content.
[0007]
At first glance, the image content to which only the non-visible additional information is added without the visible additional information appears to the user to have no additional information added.
Therefore, if an image to which only the invisible additional information is added is widely distributed, a general user may treat the image as if it were image content that is properly licensed. is expected.
In such a case, there is a possibility that the protection of the image content cannot be performed. Therefore, even if the invisible additional information is added, the image content from which the visible additional information is removed has a valid use right. It is desirable to prevent it from getting into the hands of users who do not.
[0008]
[Problems to be solved by the invention]
SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems of the related art, and provides an image content that has been supplied to a user through a network or a recording medium such as a CD-ROM and that has been subjected to marking processing using visible additional information. It is an object of the present invention to provide a data display system, a data display device, and a method thereof capable of removing visible additional information and displaying the data to a user.
[0009]
It is another object of the present invention to provide a data display device and a method thereof capable of preventing unauthorized use by a user of image content from which visible additional information has been removed.
Further, the present invention provides a data display system in which image data to which only non-visible additional information is added without visible additional information is not easily passed on to a user who does not have a valid use right in perfect form. It is an object of the present invention to provide a data display device and a method thereof.
[0010]
In addition, the present invention removes the visible additional information from the image content that has been subjected to the marking processing using the visible additional information and presents it to the user, so that the user can confirm the original image content, understand it, It is an object of the present invention to provide a data display system, a data display device, and a method thereof, in which consideration can be paid to a supplier.
[0011]
[Means for achieving the object]
[Data Display System]
In order to achieve the above object, a data display system according to the present invention is a data display system that includes a server device that supplies data to a client device and a client device that displays data supplied from the server device. The server device performs a marking process on data before the marking process (original data) using at least a perceivable mark (a sensible mark) to generate sensible marking data. And data supply means for supplying the sensible marking data and / or the original data to the client device. The client device reads the sensible mark from the supplied sensible marking data. Sensible mark removing means for removing the audible mark Performing a marking process on the removed sensible marking data using a mark that cannot be perceived (a non-visible mark) to generate non-visible marking data; Original data, or, from the generated insensitive marking data, when displayed alternately, the average display value, a plurality of fragment data becomes a value corresponding to the original data or the insensitive marking data A fragment data generating unit to generate, and a data display unit to alternately display the plurality of generated fragment data so that an average display value becomes a value corresponding to the original data or the insensitive marking data. Having.
[0012]
[Data display device]
In addition, the data display device according to the present invention can provide a sensible marking obtained by performing a marking process on the data before the marking process (original data) or the original data using at least a perceptible mark (a sensible mark). A data display device for displaying data, wherein the sensible mark removing means for removing the sensible mark from the supplied sensible marking data, and the audible marking from which the original data or the audible mark has been removed. Performing marking processing on the data using an invisible mark (insensitive mark) to generate insensitive marking data; and an insensitive marking data generating unit that generates the insensitive marking data. When the marking data is displayed alternately, the average display value is Fragment data generating means for generating a plurality of fragment data having a value corresponding to the original data or the insensitive marking data; and generating an average display value of the plurality of fragment data for the original data or the non-sensitive data. Data display means for alternately displaying a value corresponding to the sensible marking data.
[0013]
Preferably, the sensible data removing unit and the non-audible marking data generating unit integrally remove the sensible mark from the sensible marking data and a marking process using the non-insensitive mark. Do it inseparably.
[0014]
Preferably, the original data is image data, the sensible mark is a visible mark that can be visually perceived, and the invisible mark is a non-visible mark that cannot be visually perceived, and The removing unit removes the visible mark from the supplied sensible marking data, and the invisible marking data generating unit performs the invisible data on the sensible marking data from which the visible mark has been removed. The marking data is generated by performing the marking process using the invisible marking data, and the fragment data generating means, from the invisible marking data, when alternately displayed, the average display value is the original data or Generating a plurality of fragment data having a value corresponding to the insensitive marking data, wherein the data display means generates the plurality of fragment data; The fragment data, display values of the average is displayed alternately such that the value corresponding to the non-sensible marking data.
[0015]
Preferably, when the plurality of fragment data are displayed alternately, a value obtained by dividing a value obtained by multiplying each pixel of each fragment image data by a display time by a total display time is non-existent. The plurality of fragment data is generated so as to be the same as the sensible marking data.
[0016]
Preferably, the data display means is configured such that a sum of values obtained by multiplying at least the luminance of pixels at the same coordinates of each of the plurality of fragment image data by the respective display times is proportional to the luminance of the same coordinates of the original image data. In such a manner, the plurality of fragment data are displayed alternately.
[0017]
[Operation of data display device]
The data display device according to the present invention can be perceived by a human sense, such as hearing or visual sense, in original data, such as audio data, still image data, and moving image data, in an unmarked state, or in original data. The sensible marking data obtained by performing the marking process using the mark (the sensible mark) is displayed with the sensible mark removed.
Hereinafter, the operation of the data display device according to the present invention will be described with a specific example in which a marking process is performed on image data with a visible or invisible mark.
[0018]
[Visible mark removing means / invisible marking data generating means]
The sensible mark removing means indicates a right holder of the image data and the like. , Remove visible marks.
[0019]
The invisible marking data generating unit is inseparable and simultaneous with the process of removing the visible mark by the visible mark removing unit in order to prevent unauthorized use of the image data. To generate invisible marking data that looks visually the same as the original image data and can be used as a sample of the original image data.
[0020]
[Fragment data generation means]
The fragment data generating means is generated as described above, and includes copyright information, but has the same appearance as the original image data, and is partially changed from invisible marking data having a certain commercial value. Therefore, a plurality of pieces of fragment image data that look the same as the original data (invisible marking data) when they are displayed alternately, although they cannot be used as products, are generated.
[0021]
In other words, when a plurality of fragment data are displayed alternately, the fragment data generating means divides the value obtained by multiplying each pixel of each fragment image data by the display time by the total display time to obtain the original data (non-permissible). A plurality of fragment data are generated so as to be the same as the perceived marking data).
[0022]
[Data display means]
The data display means displays the plurality of pieces of generated fragment data at predetermined time intervals, and displays them so that they look visually the same as the original data.
In other words, the data display means sets a plurality of fragment image data such that a value obtained by multiplying each pixel of the fragment image data by the display time by the total display time becomes the same as the original data (insensitive marking data). Display data.
Alternatively, the data display means may be configured such that a sum of values obtained by multiplying at least the luminance of the pixel at the same coordinate of each of the plurality of fragment image data by the respective display times is proportional to the luminance of the same coordinate of the original image data. This object is achieved by alternately displaying a plurality of fragment data.
[0023]
[Data display method]
Further, in the data display method according to the present invention, the marking process is performed on the data (original data) before the marking process by using at least a perceptible mark (sensible mark) to generate sensible marking data. Sensible marking data and / or the original data is supplied, the sensible mark is removed from the supplied sensible marking data, and the supplied original data or the sensible mark is removed. For the sensible marking data, a marking process is performed by using a mark that cannot be sensed (insensitive mark) to generate insensitive marking data, and from the original data or the generated insensitive marking data, When displayed alternately, the average display value is the same as the original data or the previous data. Generating a plurality of fragment data having a value corresponding to the insensitive marking data, and generating an average display value of the plurality of fragment data corresponding to the original data or the insensitive marking data And so on.
[0024]
[recoding media]
Further, the recording medium according to the present invention is a recording medium before the marking process (original data), or sensible marking data obtained by performing a marking process on the original data using at least a perceptible mark (a sensible mark). In the data display device that displays, the sensible mark removal step of removing the sensible mark from the supplied sensible marking data, and the original data, or the audible marking data from which the audible mark has been removed A marking process using a mark that cannot be sensed (insensitive mark) to generate insensitive marking data; and a step of generating the insensitive marking data from the original data or the generated insensitive marking data. , When displayed alternately, the average display value A fragment data generating step of generating a plurality of fragment data having a value corresponding to the original data or the insensitive marking data; and generating an average display value of the plurality of fragment data, using the original data or the average data. And a data display step of causing the computer to alternately display data so as to have a value corresponding to the insensitive marking data.
[0025]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described.
[0026]
[Configuration of Image Data Distribution System 1]
FIG. 1 is a diagram showing a configuration of an image data distribution system 1 to which a data display method according to the present invention is applied.
As shown in FIG. 1, the image data distribution system 1 includes a server device 10, a communication network 12, and one or more client devices 14.
The client device 14 includes a communication device 140, a CPU 150, an input device 152, a display device 154, a memory 156, and an external storage device 158.
That is, the client device 14 has a configuration in which the communication device 140 is added to a normal computer.
[0027]
[Configuration of Data Display Software 2]
FIG. 2 is a diagram showing a configuration of the image data display software 2 for realizing the data display method according to the present invention.
As shown in FIG. 2, the image data display software 2 includes an image storage unit 200, a marking processing unit 202, an image storage unit 204, a fragment image generation unit 206, and first to n-th fragment image storage units (# 1 To #n) 208-1 to 208-n, a fragment image selection unit 210, and an image display unit 212.
[0028]
The image data display software 2 is supplied to the storage device 158 of the image data distribution system 1 (FIG. 1) in a form recorded on a recording medium 160 such as a magneto-optical disk (MO) or a CD-ROM. The data is loaded from the storage device 158 to the memory 156 and executed by the CPU 150.
[0029]
[Overview of marking process]
Before describing the components of the image data distribution system 1 and the image data display software 2, first, the server device 10 (FIG. 1) of the image data distribution system 1 and the marking processing unit 202 of the image data display software 2 (FIG. 2). (Hereinafter, the “digital watermark embedding process applied to the present invention” will be simply referred to as “marking process” for simplification of the description.)
[0030]
This marking process is described in a patent application (Japanese Patent Application No. 9-253761) filed on September 18, 1997 by IBM (International Business Machines Corporation), and additional visible information (hereinafter similarly referred to as It is characterized in that the process of removing a visible mark and the process of embedding a new invisible mark from image data in which “additional information” is also described as “mark” are inseparably performed.
[0031]
Hereinafter, a case where a visible or invisible mark is embedded in image data will be described as a specific example. However, this marking process is a process used to embed audible data or non-audible data in audio data. It is needless to say that the present invention can be applied to a marking process for data other than image data by changing.
[0032]
The outline of the marking process will be described with reference to FIGS.
3 to 5 are first to third views showing an outline of a marking process used in the data display method according to the present invention.
As shown on the left side of FIG. 3, in the first stage of the marking process, visible additional information (hereinafter, for simplicity of description, Is simply embedded in the original image data.
At this time, in addition to the portion where the visible mark is embedded, an invisible mark indicating owner information or the like in a form invisible to the user may be embedded.
[0033]
When the image data in which the visible mark is embedded as described above is printed or displayed, for example, as shown in the right side of FIG. An invisible mark (fingerprint information) such as user information is embedded.
[0034]
As shown in the lower part of FIG. 4, in the second stage of the marking process, after the visible mark is removed, the removal of the visible mark and the embedding of the invisible mark are performed in parallel instead of embedding the invisible mark. By doing so, the visible mark and the invisible mark are mixed in the image data.
Therefore, even if the user saves the contents of the memory (snapshot) during the processing of the second stage, the user obtains the original image data in which neither the visible mark nor the invisible mark is embedded. It is impossible.
[0035]
Further, when the invisible mark is embedded in the area where the visible mark is embedded during the processing of the second stage, the difference between the image data before and after the processing of the second stage is obtained as shown in FIG. Even if the comparison is made, it becomes difficult to estimate the newly embedded invisible mark.
Furthermore, if the invisible mark is embedded in parallel with the removal of the visible mark and the invisible mark is embedded in the area where the visible mark is embedded, the removal of the visible mark and the embedding of the invisible mark are performed as follows. Inevitably becomes inseparable.
[0036]
Furthermore, when the visible mark is embedded in the first stage of the marking process, the invisible mark is embedded in another area. When the visible mark is removed in the second stage, the electronic fingerprint such as the user name is further added. Information is embedded, and as a result, two types of invisible marks are embedded.
In this way, the invisible mark embedded in the first stage cannot be removed even if a collusion comparison operation is performed.
[0037]
According to this marking process, the presence of the visible mark makes it possible to clearly indicate the owner and use restrictions of the image data, and to prevent unauthorized commercial use of the image data.
Further, even if the image data from which the visible additional mark has been removed is circulated due to unauthorized use, the invisible additional mark embedded in the image data causes the right and the unauthorized use of the image data. The fact of distribution can be clarified.
[0038]
[Relationship between server 10 and marking processing unit 202]
FIG. 6 is a diagram showing processing of the server device 10 shown in FIG. 1 and the marking processing unit 202 shown in FIG.
6, the communication network 12 and the communication device 140 (FIG. 1) between the server device 10 and the marking processing unit 202 are omitted for the sake of simplicity of illustration and description.
FIG. 7 is a diagram illustrating keys generated by the server device 10 (key generation unit 100) illustrated in FIGS. 1 and 6.
[0039]
[Key generation]
As shown in FIG. 6, the server device 10 includes a key generation processing unit 100 and a visible mark embedding processing unit 102.
In the server device 10, the key generation unit 100 embeds the visible mark in the image content, removes the visible mark, and removes the visible mark based on the dot pattern of the visible mark input from the outside and the operation input for embedding the visible mark. A key used for each process of embedding the visible mark is generated and output to the visible mark embedding processing unit 102.
[0040]
In addition, in response to a request from the client device 14 (the marking processing unit 202), the key generation unit 100 transmits the client device 14 (the marking processing unit 202) via the communication network 12 and the communication device 140 (not shown in FIG. 6). ) Is transmitted.
As shown in FIG. 7, the key generated by the key generation unit 100 includes a keyword for selecting a process of erasing a visible mark, an embedding start position of the visible mark, a size of the visible mark, and a dot pattern of the visible mark. Contains information.
[0041]
The key generation and the embedding of the visible mark are performed by a device other than the server device 10, and the data on which the key generation and the embedding process of the visible mark have already been performed may be placed in the server device 10.
The key information may be added to the end of the image data in which the visible mark is embedded.
This is not always the case when static image data is handled.
[0042]
[Embed visible mark]
FIG. 8 is a diagram illustrating a process in which the visible mark embedding processing unit 102 illustrated in FIG. 6 embeds a visible mark in image content.
The visible mark embedding processing unit 102 sets the original image content I (x, y) corresponding to the dot pattern d (i, j) according to the value (ON or OFF) of the dot pattern d (i, j) included in the key. Each of the image components (pixel value / DCT coefficient value) of the pixel block having the m × m pixel configuration in ()) is combined with a different number of reversible operations according to the random sequence included in the key input from the key generation unit 100. By doing so, a visible mark embedding process is performed (the above-described pixel block having the m × m pixel configuration is also referred to as an operation target block), and the distributed block is distributed to the marking processing unit 202 or stored as a file.
[0043]
As described above, according to this marking method, the visible mark embedding processing unit 102 can embed the visible mark and the invisible mark in the original image content. A case where the mark embedding processing unit 102 embeds only the visible mark once in the original image content will be described as a specific example.
[0044]
As shown in the enlarged view of FIG. 8, the coordinates (x, y; the unit of the coordinates is pixels) of the original image content I (x, y) and the coordinates (i, j) of the dot pattern d (i, j). ), For example, assuming that the visible data embedding start position is (a, b), as (x + a, y + b) = (mi, mj).
If the image content has been compression-encoded by the JPEG method, the value of the size m of the operation target block is selected to be a multiple of eight.
Examples of the reversible conversion operation to the operation target block by the visible mark embedding processing unit 102 include a scan order exchange process to an exclusive OR operation process described below.
[0045]
[Scan order exchange processing]
The visible mark embedding processing unit 102 exchanges the scan order of each pixel value or DCT coefficient in the operation target block having the m × m pixel configuration in the block. That is, the visible mark embedding processing unit 102 embeds the visible mark by rearranging the scan order of the pixel value / DCT coefficient in the operation target block in a predetermined order.
[0046]
FIG. 9 is a diagram illustrating a process in which the visible mark embedding processing unit 102 illustrated in FIG. 6 exchanges the scan order of the operation target block having the m × m pixel configuration.
As a method of changing the scan order, a method of randomly scrambling the scan position in a one-to-one manner, or, as illustrated in FIG. 9, rotating, folding, or paralleling the operation target block along a certain axis. There is a method of performing scanning in a normal order after moving.
[0047]
[Numeric exchange process]
When the original image content is a color image, pixel values / DCT coefficient values are usually different between image components (RGB, YUY, etc.) constituting the image. Utilizing this, the visible mark embedding processing unit 102 converts the pixel value / DCT coefficient value by exchanging the corresponding pixel value / DCT coefficient value between the image components.
[0048]
[Linear conversion processing]
The visible mark embedding processing unit 102 converts each pixel value / DCT coefficient value in the operation target block by mapping one-to-one with a function having an inverse function. As a method of converting the pixel value / DCT coefficient value, a method of multiplying the operation target block by a regular m × m matrix, that is, the operation target block B having an m × m pixel configuration is provided with a regular matrix A having m rows and m columns. And perform a linear transformation to obtain a transformation block AB.
[0049]
In this case, it is preferable to select a regular matrix A in which the determinant det (A) is 1. Inverse matrix A of such a regular matrix A ^-1 Are all integers. In order to obtain the operation target block B from the transformation block AB, the inverse matrix A ^-1 Is multiplied by the conversion block AB, there is no rounding error for processing the decimal point.
[0050]
[Numerical value addition processing]
The visible mark embedding processor 102 selects a plurality of pixel values / DCT coefficients B (x, y) in the operation target block, and calculates a variation value ΔB (x) calculated according to a random sequence generated by a keyword in the key. , Y), and conversion is performed by setting B (x, y) = B (x, y) + ΔB (x, y).
[0051]
[Exclusive OR operation]
A mask is generated by a random sequence generated from a keyword in a key, and an exclusive OR operation of the mask and a pixel value / DCT coefficient value in the operation target block is performed, thereby obtaining a pixel value / DCT coefficient value. To change.
[0052]
FIG. 10 is a flowchart showing the process (S10) of embedding the visible mark in the original image content by the visible mark embedding processing unit 102.
As shown in FIG. 10, in step 100 (S100), the visible mark embedding processing unit 102 decodes JPEG data compression-encoded by the JPEG method input as original image content.
[0053]
In step 120 (S120), the visible mark embedding processing unit 102 generates a random sequence generated from the image content decrypted in the processing of S100, the dot pattern of the visible mark, and the key keyword input from the key generation unit 100. Based on a method determined according to (pseudo-random number sequence 1), a visible mark is embedded by performing operations (DC / AC Coefficient Modification) of DC / AC coefficients included in DCT coefficients of JPEG data.
[0054]
In step 122 (S122), the visible mark embedding processing unit 102 determines whether or not the conversion process in S120 has been performed the number of times specified by the embedding method. The processed operation target block is output, and otherwise, the process returns to S120.
[0055]
[Visible mark removal / invisible mark embedding]
In the image data display software 2 (FIG. 2), the marking processing unit 202 generates the operation target block of the image content in which the visible mark embedding processing unit 102 embeds the visible mark by the key generation unit 100 (FIG. 6). Using the same key as that used by the visible mark embedding processing unit 102 for embedding the visible mark, the visible mark is removed by performing a process reverse to that when the mark is embedded. Further, the marking processing unit 202 embeds the invisible mark in the image content, and outputs it to the image storage unit 204 (FIG. 2).
[0056]
Note that, as described above, the marking processing unit 202 embeds the invisible mark only in the area where the visible mark is embedded in the image content sent from the visible mark embedding processing unit 102.
In addition, if the removal of the visible mark and the embedding of the invisible mark are sequentially performed, it is possible to obtain digital content data in a state where neither the visible mark nor the invisible mark is embedded by a memory snapshot. Therefore, as described above, the marking processing unit 202 performs the removal of the visible mark and the invisible mark simultaneously and in parallel.
[0057]
The process in which the marking processing unit 202 removes the visible mark and embeds the invisible mark will be described more specifically.
First, the marking processing unit 202 performs kq (q <k) times on a part of the operation target block B (k) in which the visible mark embedding processing unit 102 embeds the visible mark through k reversible operations. Inverse conversion processing is performed to partially remove (thin) visible marks from the operation target block B (K).
[0058]
Next, the marking processing unit 202 embeds an invisible mark in the operation target block B (q) in which the visible mark has been diluted. The marking processing unit 202 embeds the invisible mark, and dilutes the pattern P (m) obtained by performing the reversible operation q times in the visible mark embedding processing unit 102 on the invisible mark pattern P to be embedded. This is performed by overwriting and overwriting the operation target block B (m) in the state.
[0059]
That is, the marking processing unit 202 performs m inverse conversion processes after performing the inverse conversion process km times on the operation target block B and before the visible mark is completely removed. And a value PB (m) = B (m) obtained by adding the operation target block B ′ to the operation target block B ′ and the pattern P (m) by embedding a pattern P (m) that becomes the pattern P of the invisible mark. ) + P (m)].
[0060]
Further, the marking processing unit 202 performs the remaining m inverse conversion processes on the operation target block B ′ (m), and the operation target block in which the invisible mark pattern P is embedded in the operation target block B of the original image content. Obtain B '.
The marking processing unit 202 performs the above-described process of removing the visible mark and embedding the invisible mark at different timings according to the random sequence included in the key for each operation target block, that is, for each operation target block. , With different values of m.
[0061]
FIG. 11 is a flowchart showing a process (S20) in which the marking processing unit 202 shown in FIG. 2 removes a visible mark embedded in the image content and embeds an invisible mark.
As shown in FIG. 11, in step 200 (S200), the marking processing unit 202 decodes the JPEG data in which the visible mark is embedded by Huffman decoding.
In step 220 (S220), the marking processing unit 202 determines whether the visible mark embedding processing unit 102 embeds the first km or the last m of the k visible marks embedded in the processing target block of the image content. Is removed.
[0062]
In step 222 (S222), the marking processing unit 202 embeds a visible mark pattern P (m) that has been subjected to m reversible conversions in the processing target block.
In step 224 (S224), the marking processing unit 202 determines whether or not all the visible marks have been removed. If all of the visible marks have been removed, the processing ends, and the processing in which the invisible mark is embedded is performed. The target block is output. Otherwise, the process returns to S220.
[0063]
In step 230 (S230), the marking processing unit 202 generates a pseudo-random number sequence 2 from the key keyword transmitted from the key generation unit 100, and based on the generated pseudo-random number sequence 2, removes the visible mark. The timing (the above numerical value q) is selected.
Similarly, in step 232 (S232), the marking processing unit 202 selects the invisible mark pattern P based on the pseudorandom number sequence 3 obtained from the key keyword, and further, in step 236 (S236) The pattern P of the invisible mark is reversibly transformed q times to generate a pattern P (q), which is used in the process of S222.
In step 234 (S234), the marking processing unit 202 selects an inverse conversion method for erasing the visible mark based on the pseudo-random number sequence 1 obtained from the key keyword, and uses the method in step S220.
[0064]
[Server 10]
Hereinafter, each component of the image data distribution system 1 will be described with reference to FIG. 1 again and further to FIG. 12 and FIG.
FIG. 12 is a diagram exemplifying original image data in which neither a visible mark nor an invisible mark is embedded.
FIG. 13 is a diagram illustrating visible marking data in which a visible mark is embedded in original image data.
[0065]
The server 10 performs the marking process as described above on the original image data that has not been subjected to the marking process illustrated in FIG. 12, and embeds and stores a visible mark (for example, the character “IBM” shown in FIG. 13). Alternatively, the image data already marked is stored.
Further, in response to a first request from another communication node (such as the client device 14 or another terminal device (not shown)), the server 10 embeds a visible mark in the requested communication node via the client device 14. The visible marking image data is transmitted.
[0066]
In addition, when the user has paid for the service, the server 10 transmits key information for removing the visible mark and saving the file to the communication node of the user via the client device 14.
[0067]
[Communication network 12]
The communication network 12 is, for example, a communication line capable of data transmission such as an ISDN communication line, a dedicated data line, a telephone line, or a LAN, and transmits visible marking image data and key information between the server 10 and the client device 14. Transmit.
[0068]
[Communication device 140]
The communication device 140 is, for example, a TA for an ISDN communication line, a dedicated data line terminating device, a telephone line modem or a LAN adapter, and operates under the control of the CPU 150 to transmit data input from the CPU 150 via the communication network 12. To the server 10, and also receives data transmitted from the server 10 via the communication network 12 and outputs the data to the CPU 150.
[0069]
[CPU 150]
The CPU 150 includes a CPU and its peripheral circuits (not shown), loads the OS and the data display software 2 supplied to the client device 14 via the recording medium 160 or the like into the memory 156 and executes the OS. 14 to control the components and perform processing such as data display according to the present invention.
In addition, the CPU 150 displays the generated image data on the display device 154 or stores the generated image data on the recording medium 160 via the external storage device 158 in accordance with the operation of the user via the input device 152.
[0070]
[Input device 152]
The input device 152 includes a keyboard, a mouse, and the like, accepts a user operation, and outputs the operation to the CPU 150.
[0071]
[Display device 154]
The display device 154 displays image data (visible marking image data, invisible marking image data, other GUI image data, and the like) input from the CPU 150 on a CRT display device or an LCD display device.
[0072]
[External storage device 158]
The external storage device 158 is an MO device, a CD device (CDP) or a hard disk device (HDD), operates under the control of the CPU 150, reproduces software and other data supplied via the recording medium 160, and reproduces the data. Output to
Further, the external storage device 158 stores image data and the like input from the CPU 150 in the recording medium 160.
[0073]
[Image storage unit 200]
Hereinafter, with reference to FIG. 2 again, each component of the data display software 2 will be described.
The image storage unit 200 requests the server 10 to transmit visible marking image data (or original image data) in accordance with a user operation via the input device 152, and in response to this request, the server 10 The visible marking image data (or the original image data shown in FIG. 13) transmitted through the storage device is stored and displayed on the display device 154 (FIG. 1) or output to the marking processing unit 202.
Alternatively, the image storage unit 200 reads and stores the visible marking image data stored in the recording medium 160 and supplied to the client device 14 from the external storage device 158, and outputs the data to the marking processing unit 202.
[0074]
[Marking processing unit 202]
As described above, the marking processing unit 202 performs the above-described second stage processing of the marking process on the visible marking image (original image data) input from the image storage unit 200 to remove the visible mark. An invisible mark is embedded to generate invisible marking data that looks the same as the original image data shown in FIG. 12 from the user's eyes, and outputs it to the image storage unit 204.
[0075]
[Image storage unit 204]
The image storage unit 204 stores the invisible marking image data input from the marking processing unit 202 and outputs the data to the fragment image generation unit 206.
[0076]
[Fragment image generation unit 206]
FIGS. 14 to 16 are diagrams illustrating fragment image data # 1 to # 3 generated by the fragment image generation unit 206 when n = 3, respectively.
The fragment image generation unit 206 changes the values in the n types of regions of the invisible marking image data input from the image storage unit 204, and each one looks as illustrated in FIG. 14 to FIG. Due to the characteristics of human visual perception, n images are taken in a sufficiently short time interval T _i (For example, 1/30 to 1/60 seconds), when repeatedly displayed on the screen of the display device 154, fragment image data # 1 that looks exactly the same as the invisible marking image data (original image data) To #n are generated and output to the fragment image storage units 208-1 to 208-n.
If the white luminance is ／ and the black luminance is 0 in the fragment image data, and the white luminance is 、 and the black luminance is １／ in the original image data (invisible marking image data), FIGS. , The white luminance is 1/2 [= (3/4 + 3/4 + 0) / 3] and the black luminance is 1/4 [= (3/4 + 0 + 0) / 3].
[0077]
In other words, even if the fragment image generation unit 206 takes out one by one from the invisible marking image data by snapshotting the memory 156, the fragment image generation unit 206 modifies a part of the image as shown in FIGS. However, for example, if n sheets (n is an integer) are combined as shown in the following equation 1, they cannot be distinguished from the original image data, and the original image data (FIG. 12) The fragment image data #i (1 ≦ i ≦ n) that can be used as a sample of the fragment image data #i is generated, and each of the generated fragment image data #i is displayed on the fragment image storage units 208-1 to 208-n.
[0078]
(Equation 1)

[0079]
That is, combining n pieces of fragment image data as shown in Equation 1 means that the value obtained by multiplying each pixel of each piece of fragment image data by the display time and dividing by the total display time is the original image data ( This corresponds to synthesizing each piece of image data so as to be the same as invisible marking image data).
[0080]
The generation method of fragment image data # 1 to #n in fragment image generation section 206 will be described with reference to FIG.
FIG. 17 is a flowchart showing a fragment image generation process (S30) in which the fragment image generation unit 206 shown in FIG. 2 generates fragment image data # 1 to #n.
[0081]
As shown in FIG. 17, in step 300 (S300), the fragment image generation unit 206 determines the number n of fragment pixels and the time interval T for displaying fragment pixel data # 1 to #n. _i Is determined within a certain range, for example, using random numbers, so as to have different values for each processing, for example, in the range of 2 to 5 sheets and 1/50 to 1/60 seconds, and the fragment image selection unit 210 and It is set on the image display unit 212 and the like.
[0082]
In step 302 (S302), the fragment image generation unit 206 assigns an initial value (for example, 1; the unit is a pixel, which increases from the upper end to the lower end of the image area) to a variable Y indicating the Y coordinate.
[0083]
In step 304 (S304), the fragment image generation unit 206 assigns an initial value (for example, 1; the unit is a pixel, which increases from the left end to the right end of the image area) to a variable X indicating the X coordinate.
[0084]
In step 306 (S306), the fragment image generation unit 206 reads the invisible marking image data of the pixel at the position of the coordinates (X, Y).
[0085]
In step 308 (S308), the fragment image generation unit 206 substitutes an initial value (for example, 1) for a variable I indicating the number of fragment pixel data.
[0086]
In step 310 (S310), the fragment image generation unit 206 reads the respective values of the R, G, and B data of the invisible marking image data at the coordinates (X, Y) read in the process of S106, and outputs fragment image data #i. Is calculated at the coordinates (X, Y).
Specifically, the fragment image generation unit 206 determines the pixel value R of the coordinates (X, Y) of the fragment pixel data #i. _i , G _i , B _i For example, when i <n, R _i = R _o + D ₁ , G _i = G _o + D ₂ , B _i = B _o + D ₃ (However, d ₁ , D ₂ , D ₃ Is a random number within the range of −3 to +3), and when i = n, a value that satisfies Expression 1 is set.
[0087]
In step 312 (S312), the fragment image generation unit 206 obtains the address at which the pixel data of the coordinates (X, Y) of the fragment image data #i is stored in the fragment image storage unit 208-i by the processing of S110. The pixel data at the coordinates (X, Y) of the obtained fragment image data #i is stored.
[0088]
In step 314 (S314), the fragment image generation unit 206 increments the variable i (i = i + 1).
[0089]
In step 316 (S316), the fragment image generation unit 206 determines whether or not the variable i is larger than the number n of fragment image data. If the variable I is larger than n, the process proceeds to S318, and other processes are performed. In this case, the process returns to S310.
Through the processing loop of S310 to S316, the pixel values R of the same coordinates are passed through all the fragment image data. _i , G _i , B _i Satisfies the above equation (1).
[0090]
In step 318 (S318), the fragment image generation unit 206 increments the variable X (X = X + 1).
[0091]
In step 320 (S320), the fragment image generation unit 206 determines whether or not the variable X is larger than the image width. If the variable X is larger than the image width (the right end of the fragment image data), the process proceeds to S322. Otherwise, the process returns to S306.
By the processing loop of S306 to S320, fragment image data is generated in the X-axis direction from the left end to the right end.
[0092]
In step 322 (S322), the fragment image generation unit 206 increments the variable Y (Y = Y + 1).
[0093]
In step 324 (S324), the fragment image generation unit 206 determines whether or not the variable Y is larger than the image height. If the variable Y is larger than the image height (the lower end of the fragment image data), Return, otherwise, end the process. By the loop of the processing from S304 to S324, fragment image data is generated in the Y-axis direction from the upper end to the lower end.
[0094]
[Fragment image storage units 208-1 to 208-n]
FIG. 2 is referred to again.
The fragment image storage units 208-1 to 208-n store the fragment image data # 1 to #n input from the fragment image generation unit 206, respectively, and input the fragment image data to the input terminals # 1 to #n of the fragment image selection unit 210. Output.
[0095]
[Fragment image selection unit 210]
The fragment image selection unit 210 converts the fragment image data # 1 to #n input from the fragment image storage units 208-1 to 208-n in this order for the time interval T _i And repeatedly output to the image display unit 212.
[0096]
[Image Display Unit 212]
The image display unit 212 converts each of the fragment image data input from the fragment image selection unit 210 into a time interval T _i And outputs it to the display device 154 and presents it to the user as sample image data that cannot be visually distinguished from the original image data.
[0097]
The image display processing of the image display unit 212 will be further described with reference to FIG. FIG. 18 is a flowchart showing the image display processing (S40) by the image display unit 212 shown in FIG.
As shown in FIG. 18, in step 400 (S400), the image display unit 212 substitutes an initial value (for example, 1) for a variable i indicating the number of fragment image data.
[0098]
In step 402 (S402), the image display unit 212 displays all the pixel values R of the fragment image data #i stored in the fragment image storage unit 208-i. _i , G _i , B _i Is read out, output to the display device 154, and displayed.
[0099]
In step 404 (S404), the image display unit 212 determines whether or not an operation for interrupting the display has been performed by the user, and when the display is interrupted, stops displaying the fragment image data. The process ends, and otherwise, the process proceeds to S406.
[0100]
In step 406 (S406), the image display unit 212 measures the elapsed time T (the elapsed time from the start of displaying the fragment image data #i) T after the processing of S202.
[0101]
In step 408 (S408), the image display unit 212 displays the elapsed time T as the fragment image data T _i If it is larger, the process proceeds to S410; otherwise, the process returns to S404.
[0102]
In step 410 (S410), the image display unit 212 increments the variable i (i = i + 1).
[0103]
In step 412 (S412), the controller 412 determines whether the variable i is larger than the number n of fragment image data. If the variable i is larger than the number n, the process returns to S400. Returns to the process of S402.
The display time of each fragment image data is controlled by the processing loop using the variable T, and the processing is controlled by the processing loop using the variable i so that all the fragment image data is displayed.
[0104]
With these two types of processing loops, the sum of the values obtained by multiplying the luminance of the pixel at the same coordinates of each piece of fragment image data by the display time of each pixel is the same as the coordinates of the original image data (invisible marking image data). The fragment image data is synthesized so as to be proportional to the luminance of.
[0105]
[Operation of Image Data Distribution System 1]
Hereinafter, the operation of the image data distribution system 1 that distributes image data from the server 10 to the client device 14 will be described with reference to FIG.
FIG. 19 is a communication sequence diagram showing signals transmitted and received between the server 10 and the client device 14 shown in FIG.
As described above, the image data is also supplied to the client device 14 by the recording medium 160. In this case, a communication sequence similar to that in FIG. 19 is performed between the CPU 150 and the external storage device 158. It should be done in.
[0106]
[Original image data transmission]
When the user pays the price for obtaining the original image data to the owner of the image data, the owner provides the user with a password indicating that.
When the user operates the input device 152 of the client device 14 (FIG. 1) to perform an operation for inquiring the original image data, the data display software 2 of the client device 14 displays the image data inquired as shown in FIG. A signal is transmitted to server 10 (SQ100).
[0107]
Upon receiving the image data inquiry signal, the server 10 transmits an image data list indicating a list of image data that can be supplied to the client device 14 (data display software 2) (SQ102).
[0108]
When the client device 14 (data display software 2) receives the image data list from the server 10 and displays the image data list on the display device 154, the user specifies the image data for which payment has been made, further inputs a password, and inputs the image data. Perform an operation to request transmission of the message.
In response to this operation, the client device 14 (data display software 2) transmits an image data transmission request to the server 10 (SQ104).
[0109]
When receiving the image data transmission request including the designation of the image data and the password, the server 10 checks the designation of the image data and the password, confirms that these are valid without contradiction, and checks the image data including the original image data. The packets # 1 to #m are transmitted to the client device 14 (SQ106-1 to SQ106-m).
[0110]
The client device 14 (image storage unit 200) receives and stores the original image data from the server 10, displays it on the display device 154 to show the user, and further, according to the operation of the user, the external storage device 158. Stored in the recording medium 160 in the inside.
[0111]
[Visible marking image data transmission]
Next, an operation of transmitting visible marking image data between the server 10 and the client device 14 will be described.
[0112]
When the user performs an operation to inquire image data, the data display software 2 of the client device 14 transmits an image data inquiry signal to the server 10 as shown in FIG. 19 (SQ100).
Upon receiving the image data inquiry signal, the server 10 transmits an image data list indicating a list of image data that can be supplied to the client device 14 (data display software 2) (SQ102).
[0113]
When the client device 14 (data display software 2) receives the image data list from the server 10 and displays it on the display device 154, the user specifies image data and performs an operation for requesting a sample.
In response to this operation, the client device 14 (data display software 2) transmits an image data transmission request to the server 10 (SQ104).
[0114]
Upon receiving the image data transmission request for requesting the sample, the server 10 performs a marking process on the original image data illustrated in FIG. 12, and the image data packet including the visible marking image data illustrated in FIG. # 1 to #m are transmitted to the client device 14 (SQ106-1 to SQ106-m).
[0115]
The image storage unit 200 stores the visible marking image data (FIG. 13) sent from the server 10, displays it on the display device 154 (FIG. 1), and outputs it to the marking processing unit 202.
The marking processing unit 202 removes the visible mark from the visible marking image input from the image storage unit 200, and further embeds an invisible mark, so that from the user's eyes, it is the same as the original image data shown in FIG. The visible invisible marking data is generated and output to the image storage unit 204.
[0116]
The fragment image generation unit 206 reads out the invisible marking image data from the image storage unit 204 and performs the processing illustrated in FIG. 17 to generate n types of fragment image data # 1 to #n illustrated in FIGS. Then, the data is output to the fragment image storage units 208-1 to 208-n.
[0117]
The fragment image selection unit 210 stores the fragment image data # 1 to #n from the fragment image storage units 208-1 to 208-n in the time interval T _i To select and read repeatedly, and output to the image display unit 212.
The image display unit 212 performs the processing shown in FIG. 18 on each of the fragment image data input from the fragment image selection unit 210, _i And outputs it to the display device 154 and presents it to the user as sample image data that cannot be visually distinguished from the original image data.
[0118]
【The invention's effect】
As described above, according to the data display system, the data display device, and the method thereof according to the present invention, the marking process is performed on the network or a recording medium such as a CD-ROM, and the marking process is performed using the visible additional information. The displayed image content can be displayed to the user with the visible additional information removed.
[0119]
Further, according to the data display system, the data display device, and the method thereof according to the present invention, it is possible to prevent the image content from which the visible additional information has been removed from being illegally used by the user.
Further, according to the data display system, the data display device and the method according to the present invention, the image data to which only the non-visible additional information is added without the visible additional information does not have a valid use right in a perfect form. It is possible to make it hard for the user to reach.
[0120]
Further, according to the data display system, the data display device, and the method thereof according to the present invention, the visible additional information is removed from the image content that has been subjected to the marking processing using the visible additional information, and the image content is displayed to the user. Can confirm and accept the original image content and pay the price to the supplier.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an image data distribution system to which a data display method according to the present invention is applied.
FIG. 2 is a diagram showing a configuration of image data display software for realizing a data display method according to the present invention.
FIG. 3 is a first diagram showing an outline of a marking process used in the data display method according to the present invention.
FIG. 4 is a second diagram showing an outline of a marking process used in the data display method according to the present invention.
FIG. 5 is a third diagram showing an outline of a marking process used in the data display method according to the present invention.
FIG. 6 is a diagram illustrating a process performed by the server device illustrated in FIG. 1 and a marking processing unit illustrated in FIG. 2;
FIG. 7 is a diagram illustrating keys generated by the server device (key generation unit) illustrated in FIGS. 1 and 6;
FIG. 8 is a diagram illustrating a process of embedding a visible mark in image content by a visible mark embedding processing unit illustrated in FIG. 6;
9 is a diagram illustrating a process in which the visible mark embedding processing unit shown in FIG. 6 exchanges the scan order of the operation target block having the m × m pixel configuration.
FIG. 10 is a flowchart showing a process (S10) of embedding a visible mark in an original image content by a visible mark embedding processing unit.
FIG. 11 is a flowchart showing a process (S20) in which the marking processing unit shown in FIG. 2 removes a visible mark embedded in image content and embeds an invisible mark.
FIG. 12 is a diagram exemplifying original image data in which neither a visible mark nor an invisible mark is embedded.
FIG. 13 is a diagram illustrating visible marking data in which a visible mark is embedded in original image data.
FIG. 14 is a first diagram illustrating fragment image data generated by the fragment image generating unit when n = 3.
FIG. 15 is a second diagram illustrating fragment image data generated by the fragment image generating unit when n = 3.
FIG. 16 is a third diagram illustrating fragment image data generated by the fragment image generating unit when n = 3.
17 is a flowchart showing a fragment image generation process (S30) in which the fragment image generation unit shown in FIG. 2 generates fragment image data # 1 to #n.
FIG. 18 is a flowchart showing an image display process (S40) by the image display unit shown in FIG.
FIG. 19 is a communication sequence diagram showing signals transmitted and received between the server and the client device shown in FIG.
[Explanation of symbols]
1 ... Image data distribution system
10 ... Server
100: key generation unit
102: visible mark embedding part
12 ・・・ Communication network
14 Client device
140 communication device
150 ... CPU
152 ... input device
154... Display device
156 ・・・ Memory
158... External storage device
160 recording medium
2 ... Data display software
200 image storage unit
202 ・・・ Marking processing unit
204 ・・・ Image storage unit
206: Fragment image generation unit
208-1 to 208-n: Fragment image storage unit
210: fragment image selection unit
212 image display unit

Claims

Means for generating a plurality of fragment image data from original image data in which information is embedded by a digital watermark,
A data display system having display means for displaying the plurality of fragment image data alternately, and displaying each pixel of the image data so that the pixel looks visually the same as a pixel at the same coordinates of the original data.
The fragment image data is obtained by dividing a value obtained by multiplying each pixel value of each fragment image data by a display time of each fragment image data by a total fragment image data display time when a plurality of fragment image data are alternately displayed. A data display system, wherein a sum of each pixel is generated so as to be the same as a pixel value of the same coordinates in the original image data.

Generating a plurality of fragment image data from original image data in which information is embedded by digital watermarking;
A data display method comprising a step of displaying the plurality of fragment image data alternately, and displaying each pixel of the image data so as to visually look the same as a pixel at the same coordinate of the original data,
The fragment image data is obtained by dividing a value obtained by multiplying each pixel value of each fragment image data by a display time of each fragment image data by a total fragment image data display time when a plurality of fragment image data are alternately displayed. A data display method, wherein the sum of each pixel is generated so as to be the same as the pixel value of the same coordinates in the original image data.

A computer-readable recording medium including a program for displaying image data on a display device, the program comprising:
Generating a plurality of fragment image data from the original image data in which the information is embedded by the digital watermark, wherein the fragment image data includes a pixel of each fragment image data when the plurality of fragment image data are alternately displayed. A value is obtained by multiplying the value obtained by multiplying the display time of each fragment image data by each value by the display time of all fragment image data so that the sum of each pixel is the same as the pixel value of the same coordinates in the original image data. Steps and
A recording medium for causing a computer to execute a step of displaying the plurality of fragment image data alternately and displaying each pixel of the image data so that each pixel looks visually the same as a pixel at the same coordinates of the original data.