JP2001331724A - データ処理装置およびデータ処理方法、並びに記録媒体 - Google Patents

データ処理装置およびデータ処理方法、並びに記録媒体

Info

Publication number
JP2001331724A
JP2001331724A JP2000148552A JP2000148552A JP2001331724A JP 2001331724 A JP2001331724 A JP 2001331724A JP 2000148552 A JP2000148552 A JP 2000148552A JP 2000148552 A JP2000148552 A JP 2000148552A JP 2001331724 A JP2001331724 A JP 2001331724A
Authority
JP
Japan
Prior art keywords
data
image
sub
package
embedded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000148552A
Other languages
English (en)
Other versions
JP2001331724A5 (ja
JP4626784B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2000148552A priority Critical patent/JP4626784B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to TW090111740A priority patent/TW522296B/zh
Priority to MYPI20012324A priority patent/MY138076A/en
Priority to EP01304342A priority patent/EP1156404A3/en
Priority to US09/860,177 priority patent/US7406712B2/en
Priority to KR1020010027367A priority patent/KR100922932B1/ko
Priority to CNB011228091A priority patent/CN1194317C/zh
Publication of JP2001331724A publication Critical patent/JP2001331724A/ja
Publication of JP2001331724A5 publication Critical patent/JP2001331724A5/ja
Priority to US12/104,046 priority patent/US7900256B2/en
Application granted granted Critical
Publication of JP4626784B2 publication Critical patent/JP4626784B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/085—Payment architectures involving remote charge determination or related payment systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast

Abstract

(57)【要約】 【課題】 ユーザが所望の情報を得るにあたって、必然
的に、広告を表示する。 【解決手段】 ユーザには、広告情報に、サブデータを
埋め込み、その結果得られるサブデータ埋め込み広告情
報を、メインデータに埋め込んで得られる符号化データ
が提供される。ユーザ側では、符号化データ（図７４
（Ａ））が、メインデータと、そのメインデータに埋め
込まれていたサブデータ埋め込み広告情報に復号され
（図７４（Ｂ））、さらに、そのサブデータ埋め込み広
告情報が、広告情報と、その広告情報に埋め込まれてい
たサブデータに復号される（図７４（Ｃ））。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、データ処理装置お
よびデータ処理方法、並びに記録媒体に関し、特に、例
えば、所望の情報を、所望のメディアで得ることができ
るようにするとともに、例えば、広告等を、ユーザに必
ず見せることができるようにするデータ処理装置および
データ処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】例えば、インターネットにおいて構築さ
れているＷＷＷ(World Wide Web)システムによれば、ユ
ーザは、ＷＷＷブラウザによって、ＷＷＷサーバから提
供されるＷｅｂページを閲覧することができる。
【０００３】
【発明が解決しようとする課題】ところで、Ｗｅｂペー
ジは、例えば、ＨＴＭＬ(Hyper Text Markup Language)
等で記述されており、ＨＴＭＬによれば、各種の情報に
リンクをはることができる。従って、ユーザは、あるＷ
ｅｂページを閲覧し、そのＷｅｂページからはられてい
るリンクを辿っていくことで、所望の情報を得ることが
できる。
【０００４】しかしながら、Ｗｅｂページからはられて
いるリンク先の情報のメディアは、そのＷｅｂページの
作成者によって決定される。従って、ユーザは、所望の
情報を、所望のメディアで得ることができるとは限らな
い。即ち、例えば、ユーザが、あるアーティストの曲に
関する情報を得ようとするときには、その曲名をテキス
トで知りたいユーザや、曲を聴いてみたいユーザ、その
曲が収められているアルバム（ＣＤ(Compact Disc)等）
のジャケットの画像を見たいユーザ等のように、様々な
ユーザが存在するが、ユーザが所望するメディアで情報
の提供が行われているとは限らなかった。
【０００５】一方、Ｗｅｂページ上には、例えば、詳細
な広告情報が記述されたＷｅｂページにリンクがはられ
たバナー広告がおかれている場合がある。しかしなが
ら、バナー広告からリンクがはられている広告情報は、
ユーザが、そのバナー広告をクリックしなければ、ＷＷ
Ｗブラウザ上に表示されないため、広告情報を、ユーザ
に必然的に見せることは困難であった。
【０００６】本発明は、このような状況に鑑みてなされ
たものであり、ユーザが、所望の情報を、所望のメディ
アで得ることができるようにするとともに、広告等の所
定の情報を、ユーザに必然的に見せること等ができるよ
うにするものである。
【０００７】
【課題を解決するための手段】本発明の第１のデータ処
理装置は、複数のメディアのデータのうちのいずれか１
つのメディアのデータをメインデータとするとともに、
複数のメディアのデータのうちの２以上のメディアのデ
ータであり、かつ任意のデータへのリンクが可能なデー
タをサブデータとする場合において、メインデータとサ
ブデータとを組みにしたデータであるパッケージデータ
を、端末からの要求に応じて取得する取得手段と、パッ
ケージデータを、端末に提供する提供手段とを備えるこ
とを特徴とする。
【０００８】本発明の第１のデータ処理方法は、複数の
メディアのデータのうちのいずれか１つのメディアのデ
ータをメインデータとするとともに、複数のメディアの
データのうちの２以上のメディアのデータであり、かつ
任意のデータへのリンクが可能なデータをサブデータと
する場合において、メインデータとサブデータとを組み
にしたデータであるパッケージデータを、端末からの要
求に応じて取得する取得ステップと、パッケージデータ
を、端末に提供する提供ステップとを備えることを特徴
とする。
【０００９】本発明の第１の記録媒体は、複数のメディ
アのデータのうちのいずれか１つのメディアのデータを
メインデータとするとともに、複数のメディアのデータ
のうちの２以上のメディアのデータであり、かつ任意の
データへのリンクが可能なデータをサブデータとする場
合において、メインデータとサブデータとを組みにした
データであるパッケージデータを、端末からの要求に応
じて取得する取得ステップと、パッケージデータを、端
末に提供する提供ステップとを備えるプログラムが記録
されていることを特徴とする。
【００１０】本発明の第２のデータ処理装置は、複数の
メディアのデータのうちのいずれか１つのメディアのデ
ータをメインデータとするとともに、複数のメディアの
データのうちの２以上のメディアのデータであり、かつ
任意のデータへのリンクが可能なデータをサブデータと
する場合において、第１のイベントが生じた場合に、メ
インデータとサブデータとを組みにしたデータであるパ
ッケージデータを、サーバに要求する第１の要求手段
と、サーバから提供されるパッケージデータを構成する
メインデータを、出力装置に出力させるメインデータ出
力制御手段と、出力装置において出力されたメインデー
タに対して、第２のイベントが与えられた場合に、その
メインデータと組になっているサブデータを、出力装置
に出力させるサブデータ出力制御手段と、出力装置にお
いて出力されたサブデータに対して、第３のイベントが
与えられた場合に、その第３のイベントが与えられたサ
ブデータからリンクがはられているパッケージデータ
を、サーバに要求する第２の要求手段とを備えることを
特徴とする。
【００１１】本発明の第２のデータ処理方法は、複数の
メディアのデータのうちのいずれか１つのメディアのデ
ータをメインデータとするとともに、複数のメディアの
データのうちの２以上のメディアのデータであり、かつ
任意のデータへのリンクが可能なデータをサブデータと
する場合において、第１のイベントが生じた場合に、メ
インデータとサブデータとを組みにしたデータであるパ
ッケージデータを、サーバに要求する第１の要求ステッ
プと、サーバから提供されるパッケージデータを構成す
るメインデータを、出力装置に出力させるメインデータ
出力制御ステップと、出力において出力されたメインデ
ータに対して、第２のイベントが与えられた場合に、そ
のメインデータと組になっているサブデータを、出力装
置に出力させるサブデータ出力制御ステップと、出力装
置において出力されたサブデータに対して、第３のイベ
ントが与えられた場合に、その第３のイベントが与えら
れたサブデータからリンクがはられているパッケージデ
ータを、サーバに要求する第２の要求ステップとを備え
ることを特徴とする。
【００１２】本発明の第２の記録媒体は、複数のメディ
アのデータのうちのいずれか１つのメディアのデータを
メインデータとするとともに、複数のメディアのデータ
のうちの２以上のメディアのデータであり、かつ任意の
データへのリンクが可能なデータをサブデータとする場
合において、第１のイベントが生じた場合に、メインデ
ータとサブデータとを組みにしたデータであるパッケー
ジデータを、サーバに要求する第１の要求ステップと、
サーバから提供されるパッケージデータを構成するメイ
ンデータを、出力装置に出力させるメインデータ出力制
御ステップと、出力装置において出力されたメインデー
タに対して、第２のイベントが与えられた場合に、その
メインデータと組になっているサブデータを、出力装置
に出力させるサブデータ出力制御ステップと、出力装置
において出力されたサブデータに対して、第３のイベン
トが与えられた場合に、その第３のイベントが与えられ
たサブデータからリンクがはられているパッケージデー
タを、サーバに要求する第２の要求ステップとを備える
プログラムが記録されていることを特徴とする。
【００１３】本発明の第３のデータ処理装置は、復号す
る過程において所定の情報が得られるように符号化され
た符号化データを、端末からの要求に応じて取得する取
得手段と、符号化データを、端末に提供する提供手段と
を備えることを特徴とする。
【００１４】本発明の第３のデータ処理方法は、復号す
る過程において所定の情報が得られるように符号化され
た符号化データを、端末からの要求に応じて取得する取
得ステップと、符号化データを、端末に提供する提供ス
テップとを備えることを特徴とする。
【００１５】本発明の第３の記録媒体は、復号する過程
において所定の情報が得られるように符号化された符号
化データを、端末からの要求に応じて取得する取得ステ
ップと、符号化データを、端末に提供する提供ステップ
とを備えるプログラムが記録されていることを特徴とす
る。
【００１６】本発明の第４のデータ処理装置は、復号す
る過程において所定の情報が得られるように符号化され
た符号化データを、サーバから取得する取得手段と、符
号化データを復号する復号手段と、符号化データの復号
結果と、その復号過程において得られる所定の情報を、
出力装置に出力させる出力制御手段とを備えることを特
徴とする。
【００１７】本発明の第４のデータ処理方法は、復号す
る過程において所定の情報が得られるように符号化され
た符号化データを、サーバから取得する取得ステップ
と、符号化データを復号する復号ステップと、符号化デ
ータの復号結果と、その復号過程において得られる所定
の情報を、出力装置に出力させる出力制御ステップとを
備えることを特徴とする。
【００１８】本発明の第４の記録媒体は、復号する過程
において所定の情報が得られるように符号化された符号
化データを、サーバから取得する取得ステップと、符号
化データを復号する復号ステップと、符号化データの復
号結果と、その復号過程において得られる所定の情報
を、出力装置に出力させる出力制御ステップとを備える
プログラムが記録されていることを特徴とする。
【００１９】本発明の第１のデータ処理装置およびデー
タ処理方法、並びに記録媒体においては、複数のメディ
アのデータのうちのいずれか１つのメディアのデータを
メインデータとするとともに、複数のメディアのデータ
のうちの２以上のメディアのデータであり、かつ任意の
データへのリンクが可能なデータをサブデータとする場
合において、メインデータとサブデータとを組みにした
データであるパッケージデータが、端末からの要求に応
じて取得され、そのパッケージデータが、端末に提供さ
れる。
【００２０】本発明の第２のデータ処理装置およびデー
タ処理方法、並びに記録媒体においては、複数のメディ
アのデータのうちのいずれか１つのメディアのデータを
メインデータとするとともに、複数のメディアのデータ
のうちの２以上のメディアのデータであり、かつ任意の
データへのリンクが可能なデータをサブデータとする
と、第１のイベントが生じた場合に、メインデータとサ
ブデータとを組みにしたデータであるパッケージデータ
が、サーバに要求され、サーバから提供されるパッケー
ジデータを構成するメインデータが、出力装置に出力さ
れる。さらに、出力装置において出力されたメインデー
タに対して、第２のイベントが与えられた場合に、その
メインデータと組になっているサブデータが、出力装置
に出力され、出力装置において出力されたサブデータに
対して、第３のイベントが与えられた場合に、その第３
のイベントが与えられたサブデータからリンクがはられ
ているパッケージデータが、サーバに要求される。
【００２１】本発明の第３のデータ処理装置およびデー
タ処理方法、並びに記録媒体においては、復号する過程
において所定の情報が得られるように符号化された符号
化データ、端末からの要求に応じて取得され、その符号
化データが、端末に提供される。
【００２２】本発明の第４のデータ処理装置およびデー
タ処理方法、並びに記録媒体においては、復号する過程
において所定の情報が得られるように符号化された符号
化データが、サーバから取得され、その符号化データが
復号される。そして、符号化データの復号結果と、その
復号過程において得られる所定の情報が、出力装置に出
力される。
【００２３】
【発明の実施の形態】図１は、本発明を適用したネット
ワークシステムの一実施の形態の構成例を示している。
【００２４】パッケージサーバ１は、例えば、ユーザ端
末３1や３2，３3，・・・，３4の要求に応じて、後述す
るようなパッケージデータを、インターネット等のネッ
トワーク２を介して送信する。
【００２５】ユーザ端末３1乃至３N（以下、特に区別す
る必要がない限り、ユーザ端末３と記載する）は、必要
に応じて、ネットワーク２を介し、パッケージサーバ１
にパッケージデータを要求し、その要求に応じて、パッ
ケージサーバ１からネットワーク２を介して送信されて
くるパッケージデータを受信して出力する（画像やテキ
スト等として表示し、あるいは音声として出力する）。
また、ユーザ端末３は、必要に応じて、ネットワーク２
を介し、ＷＷＷサーバ４にＷｅｂページ等を要求し、そ
の要求に応じて、ＷＷＷサーバ４からネットワーク２を
介して送信されてくるＷｅｂページを受信して表示す
る。
【００２６】ＷＷＷサーバ４は、ユーザ端末３の要求に
応じて、Ｗｅｂページを、ネットワーク２を介して送信
する。
【００２７】次に、図２は、パッケージサーバ１、ユー
ザ端末３、およびＷＷＷサーバ４のハードウェア構成例
を示している。
【００２８】パッケージサーバ１、ユーザ端末３、ＷＷ
Ｗサーバ４は、例えばいずれもコンピュータをベースに
構成されている。
【００２９】コンピュータは、CPU(Central Processing
Unit)１２を内蔵している。CPU１２には、バス１１を
介して、入出力インタフェース２０が接続されており、
CPU１２は、入出力インタフェース２０を介して、ユー
ザによって、キーボードや、マウス、マイク等で構成さ
れる入力部１７が操作等されることにより指令が入力さ
れると、それにしたがって、ROM(Read Only Memory)１
３に格納されている、後述する専用ブラウザ等を実現す
るプログラムを実行する。あるいは、また、CPU１２
は、ハードディスク１５に格納されているプログラム、
衛星若しくはネットワークから転送され、通信部１８で
受信されてハードディスク１５にインストールされたプ
ログラム、またはドライブ１９に装着されたリムーバブ
ル記録媒体２１から読み出されてハードディスク１５に
インストールされたプログラムを、RAM(Random Access
Memory)１４にロードして実行する。これにより、CPU１
２は、後述するフローチャートにしたがった処理、ある
いは後述するブロック図の構成により行われる処理を行
う。そして、CPU１２は、その処理結果を、必要に応じ
て、例えば、入出力インタフェース２０を介して、LCD
(Liquid CryStal Display)やスピーカ等で構成される出
力部１６から出力、あるいは、通信部１８から送信、さ
らには、ハードディスク１５に記録等させる。
【００３０】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしも、後述するフローチャートとし
て記載された順序に沿って時系列に処理する必要はな
く、並列的あるいは個別に実行される処理（例えば、並
列処理あるいはオブジェクトによる処理）も含むもので
ある。
【００３１】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。
【００３２】さらに、プログラムは、コンピュータに内
蔵されている記録媒体としてのハードディスク１５やＲ
ＯＭ１３に予め記録しておくことができる他、フロッピ
ー（登録商標）ディスク、CD-ROM(Compact Disc Read O
nly Memory)，MO(Magneto optical)ディスク，DVD(Digi
tal Versatile Disc)、磁気ディスク、半導体メモリな
どのリムーバブル記録媒体２１に、一時的あるいは永続
的に格納（記録）しておくことができる。このようなリ
ムーバブル記録媒体２１は、いわゆるパッケージソフト
ウエアとして提供することができる。
【００３３】なお、プログラムは、上述したようなリム
ーバブル記録媒体２１からコンピュータにインストール
する他、ダウンロードサイトから、ディジタル衛星放送
用の人工衛星を介して、コンピュータに無線で転送した
り、LAN(Local Area Network)、インターネットといっ
たネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部１８で受信し、内蔵するハードデ
ィスク１５にインストールすることができる。
【００３４】次に、図３は、図１のパッケージサーバ１
の機能的構成例を示している。
【００３５】データベース３１は、パッケージサーバ１
がユーザ端末３に提供するパッケージデータ等を記憶し
ている。検索部３２は、返信データ生成部３６からの要
求に応じて、データベース３１からパッケージデータを
検索し、返信データ生成部３６に供給する。さらに、検
索部３２は、返信データ生成部３６から、返信データと
してのパッケージデータを受信し、その返信データを、
符号化／暗号化部３４に供給する。符号化／暗号化部３
４は、検索部３２からの返信データに対して、ネットワ
ーク２を介して送信を行うためのプロトコル変換（符号
化）や、セキュリティ確保のための必要な暗号化等の処
理を施し、通信Ｉ／Ｆ(Interface)３７に供給する。復
号部３５は、通信Ｉ／Ｆ３７から供給される、ユーザ端
末３からのデータに対して、セキュリティ確保のための
暗号の解読や、プロトコル変換等の処理を施し、返信デ
ータ生成部３６に供給する。
【００３６】返信データ生成部３６は、復号部３５から
供給される、ユーザ端末３からのデータに基づいて、ユ
ーザから要求のあったパッケージデータを認識し、その
パッケージデータを検索するように、検索部３２を制御
する。さらに、返信データ生成部３６は、検索部３２か
ら供給されるパッケージデータから、ユーザ端末３に返
信するための返信データを生成し、検索部３２に供給す
る。また、返信データ生成部３６は、ユーザ端末３から
の要求等に基づいて、課金処理部３８を制御する。
【００３７】通信Ｉ／Ｆ３７は、符号化／暗号化部３４
からの返信データを、ネットワーク２を介して、ユーザ
端末３に送信するとともに、ネットワーク２を介してユ
ーザ端末３から送信されてくるデータを受信して、復号
部３５に供給する。課金処理部３８は、返信データ生成
部３６の制御にしたがい、課金処理を行う。
【００３８】次に、図４乃至図６を参照して、パッケー
ジサーバ１（図３）のデータベース３１に記憶されてい
るデータについて説明する。
【００３９】データベース３１は、ルックアップテーブ
ル（図４（Ａ））と、データ記憶部（図４（Ａ））とか
ら構成されている。
【００４０】ルックアップテーブルは、図４（Ａ）に示
すように、データ記憶部の各エントリに記憶されている
パッケージデータを識別するためのコンテンツ識別子
と、そのパッケージデータが記憶されているエントリ
（のアドレス）を指し示すポインタとから構成されてい
る。なお、図４（Ａ）の実施の形態では、コンテンツ識
別子として、ＵＲＬ(Uniform Resource Locator)が用い
られている。
【００４１】データ記憶部は、図４（Ｂ）に示すよう
に、パッケージデータを記憶する１以上のエントリで構
成されている。
【００４２】パッケージデータは、その先頭から、例え
ば、ヘッダ、アイコンデータ、テキストデータ、リンク
データが順次配置されて構成されている。
【００４３】ヘッダには、そのパッケージデータについ
ての所定の情報（例えば、パッケージデータのデータ長
等）が配置される。
【００４４】アイコンデータは、ユーザ端末３において
アイコンとして表示される画像データで、パッケージデ
ータは、必ず、１つのアイコンデータを有している。
【００４５】テキストデータは、アイコンデータと組に
なり、そのアイコンに対して、所定のイベントが与えら
れたときに表示されるメニューの項目となるテキスト
で、パッケージデータは、必要な数のテキストデータを
有している。ここで、図４（Ｂ）の実施の形態では、パ
ッケージデータは、Ｍ個のテキストデータを有してい
る。
【００４６】リンクデータは、テキストデータにリンク
させるパッケージデータを識別するための識別情報で、
例えば、そのリンクされているパッケージデータのコン
テンツ識別子で構成される。従って、パッケージデータ
は、基本的には、テキストデータと同一の数だけのリン
クデータを有している。
【００４７】即ち、パッケージデータは、図５に示すよ
うに、アイコンデータと、パッケージデータへのリンク
を表すリンクデータが対応付けられた必要な数のテキス
トデータ＃１乃至＃Ｍとの組で構成される。そして、パ
ッケージデータは、その各テキストデータから、他の
（自分自身であっても良い）パッケージデータにリンク
をはることができ、従って、パッケージデータによれ
ば、それを、いわば基本単位として、複数のパッケージ
データからなるリンク構造を構成することができる。
【００４８】具体的には、例えば、図５に示したよう
に、パッケージデータのアイコンデータを○印で、テキ
ストデータを□印で、それぞれ表すとすると、パッケー
ジデータによれば、図６に示すように、パッケージデー
タを構成するテキストデータから、他のパッケージデー
タにリンクをはることができる。そして、そのようなリ
ンク付けを繰り返し行うことにより、理論的には、無限
のパッケージデータがリンクされているリンク構造を実
現することができる。
【００４９】なお、パッケージデータのリンク構造は、
図６（Ａ）に示すように、木構造とすることは勿論、図
６（Ｂ）に点線の矢印で示すように、ループが形成され
るような構造等とすることも可能である。
【００５０】ここで、図５に示したアイコンデータおよ
びテキストデータの組であるパッケージデータの構造
は、アイコンデータを中心として、テキストデータが副
次的に付随しているようにも見える。そこで、以下、適
宜、パッケージデータの中心点となるデータ（例えば、
図５のアイコンデータ）を、メインデータというととも
に、そのメインデータと組となってパッケージデータを
構成する副次的なデータ（例えば、図５のテキストデー
タ）を、サブデータという。
【００５１】次に、図７のフローチャートを参照して、
図３のパッケージサーバ１の処理について説明する。
【００５２】なお、本実施の形態では、ユーザ端末３
が、パッケージサーバ１から、パッケージデータの提供
を受けるために、例えば、パッケージサーバ１に、あら
かじめ登録されていることを必要とし、登録がされたユ
ーザ端末３には、ユーザを識別するためのユーザＩＤ(I
dentification)が発行されているものとする。
【００５３】但し、上述のような登録なしで、パッケー
ジデータの提供を行うことも可能である。
【００５４】パッケージサーバ１には、ネットワーク２
を介して、ユーザ端末３から、所定のパッケージデータ
を要求するリクエスト信号が送信されてくるようになっ
ており、通信Ｉ／Ｆ３７は、ステップＳ１において、ユ
ーザ端末３からのリクエスト信号を受信したかどうかを
判定する。なお、リクエスト信号には、例えば、それに
よって要求するパッケージデータのコンテンツ識別子
（図４（Ａ））と、ユーザ端末３のユーザＩＤが含まれ
ているものとする。
【００５５】ステップＳ１において、ユーザ端末３から
のリクエスト信号を受信していないと判定された場合、
ステップＳ１に戻り、リクエスト信号を受信するまで、
ステップＳ１の処理を繰り返す。
【００５６】そして、ステップＳ１において、ユーザ端
末３からのリクエスト信号を受信したと判定された場
合、通信Ｉ／Ｆ３７は、その受信したリクエスト信号
を、復号部３５に供給し、復号部３５は、そのリクエス
ト信号に対して、暗号の解読やプロトコル変換等の処理
を施し、返信データ生成部３６に供給する。返信データ
生成部３６は、ステップＳ２において、復号部３５から
のリクエスト信号に含まれるコンテンツ識別子のパッケ
ージデータを検索するように、検索部３２を制御する。
【００５７】なお、返信データ生成部３６には、リクエ
スト信号に含まれるユーザＩＤが登録されているもので
あるかどうかを確認させ、登録されていないものである
場合には、例えば、以降の処理を行わないようにするこ
とができる。
【００５８】検索部３２は、返信データ生成部３６の制
御にしたがい、リクエスト信号に含まれるコンテンツ識
別子を、データベース３１のルックアップテーブル（図
４（Ａ））から検索し、さらに、そのコンテンツ識別子
に対応付けられているポインタが示しているエントリの
パッケージデータを、データベース３１から読み出し、
返信データ生成部３６に供給する。
【００５９】返信データ生成部３６は、ステップＳ３に
おいて、検索部３２からのパッケージデータに、ユーザ
端末３からのリクエスト信号に含まれていたユーザＩＤ
や、パッケージサーバ１を識別するためのサーバＩＤ等
を配置することにより、返信データを生成し、検索部３
２を介して、符号化／暗号化部３４に供給する。
【００６０】符号化／暗号化部３４は、検索部３４を介
して供給される返信データに対して、プロトコル変換や
必要な暗号化等の処理を施し、通信Ｉ／Ｆ３７に供給す
る。通信Ｉ／Ｆ３７は、ステップＳ４において、符号化
／暗号化部３４からの返信データを、ネットワーク２を
介して、リクエスト信号を送信してきたユーザ端末３に
送信し、ステップＳ１に戻り、以下、同様の処理を繰り
返す。
【００６１】次に、図８は、図１のユーザ端末３の構成
例を示している。
【００６２】制御部４１は、イベント検出セレクタ部４
３において、例えば、処理の終了を指示するイベント等
が検出された場合に、その処理の終了のための制御等を
行う。なお、制御部４１は、ユーザ端末３を構成する各
ブロックの制御を行うが、その制御を表す矢印等は、図
が煩雑になるのを避けるために省略してある。
【００６３】指示部４２は、例えば、マウス等のポイン
ティングデバイスで構成され、カーソルを移動等すると
きに操作される。なお、指示部４２は、その他、例え
ば、キーボード等で構成したり、あるいは、マイクおよ
び音声認識装置で構成することも可能である。
【００６４】イベント検出セレクタ４３は、指示部４２
が操作等されることにより与えられるイベントを検出
し、そのイベントに応じて、そのイベントに対応するイ
ベント信号を、制御部４１や、データ検索部４４、選択
指示検出部４５、リクエスト信号生成部４６、コンテン
ツ識別子蓄積部４７等に供給する。
【００６５】ここで、イベントとしては、例えば、指示
部４２としてのマウスのクリックや、ダブルクリック、
ドラッグ等がある。なお、本実施の形態では、指示部４
２としてのマウスは、例えば、左右の２つのボタンを有
するものとし、イベント検出セレクタ４３は、左ボタン
が操作されることによるクリック（左クリック）と、右
ボタンが操作されることによるクリック（右クリック）
とを、異なるイベントとして検出するものとする。
【００６６】データ検索部４４は、イベント検出セレク
タ部４３から供給されるイベント信号等に基づいて、記
憶部５２に記憶されたパッケージデータを構成するサブ
データ等を検索し、選択指示検出部４５および表示部５
１に供給する。
【００６７】選択指示検出部４５は、イベント検出セレ
クタ部４３から供給されるイベント信号に基づいて、表
示部５１に表示されたサブデータとしてのテキストデー
タの中から、ユーザによる指示部４２の操作によって選
択されたものを、データ検索部４４からのサブデータを
参照することで検出し、その検出されたテキストデータ
に対応するリンクデータを、リクエスト信号生成部４６
に供給する。
【００６８】リクエスト信号生成部４６は、選択指示検
出部４５から供給されるリンクデータとしてのコンテン
ツ識別子を含むリクエスト信号を生成し、符号化／暗号
化部４８に供給する。また、リクエスト信号生成部４６
は、イベント検出セレクタ部４３からのイベント信号に
基づいて、コンテンツ識別子蓄積部４７に蓄積されたコ
ンテンツ識別子を含むリクエスト信号を生成し、符号化
／暗号化部４８に供給する。
【００６９】コンテンツ識別子蓄積部４７は、イベント
検出セレクタ部４３からのイベント信号に基づいて、指
示部４２としてのマウスのドラッグが開始されたときの
カーソルが位置している、Ｗｅｂページのコンテンツを
識別するコンテンツ識別子としてのＵＲＬやファイル名
を認識して記憶する。なお、コンテンツ識別子蓄積部４
７は、ここでは、常に、最新のコンテンツ識別子（最後
にドラッグされたコンテンツのコンテンツ識別子）を記
憶する。
【００７０】符号化／暗号化部４８は、リクエスト信号
生成部４６からのリクエスト信号に対して、パッケージ
サーバ１（図３）の符号化／暗号化部３４と同様の処理
を施し、通信Ｉ／Ｆ４９に供給する。
【００７１】通信Ｉ／Ｆ４９は、符号化／暗号化部４８
からのリクエスト信号を、ネットワーク２を介して、パ
ッケージサーバ１に送信するとともに、ネットワーク２
を介してパッケージサーバ１から送信されてくる返信デ
ータを受信して、復号部５０に供給する。
【００７２】復号部５０は、通信Ｉ／Ｆ４９からの返信
データに対して、パッケージサーバ１（図３）の復号部
３５と同様の処理を施し、表示部５１および記憶部５２
に供給する。
【００７３】表示部５１は、データ検索部４４から供給
されるサブデータや、復号部５１から供給される返信デ
ータとしてのパッケージデータのメインデータ等を表示
する。
【００７４】記憶部５２は、復号部５０から供給される
返信データとしてのパッケージデータを記憶する。
【００７５】なお、ユーザ端末３は、ＷＷＷブラウザと
して機能するためのブロックも有するが、図８において
は（後述する図１８および図６７においても同様）、図
が煩雑になるのを避けるため、その図示は省略してあ
る。
【００７６】次に、図９のフローチャートおよび図１０
乃至図１４を参照して、図８のユーザ端末３の処理につ
いて説明する。
【００７７】ユーザ端末３が、パッケージサーバ１から
のパッケージデータの提供を受けるためのアプリケーシ
ョンプログラム（専用ブラウザ６２）を起動するように
操作されると、表示部５１において、例えば、図１０に
示すように、パッケージデータの提供を受けるための専
用ブラウザ６２のウインドウと、必要に応じて、ＷＷＷ
ブラウザ６０のウインドウとがオープンされる。
【００７８】ＷＷＷブラウザ６０では、ユーザにより指
定されたＵＲＬ、またはあらかじめ設定されたＵＲＬの
Ｗｅｂページが、ネットワーク２を介して、ＷＷＷサー
バ４に要求され、その結果、ＷＷＷサーバ４から送信さ
れてくるＷｅｂページが表示される。
【００７９】ここで、専用ブラウザ６２は、リンク表示
部６２Ａとアイコン登録部６２Ｂとから構成される。即
ち、本実施の形態では、専用ブラウザ６２のウインドウ
の下部が、アイコン登録部６２Ｂとされており、残りの
上部が、リンク表示部６２Ａとされている。
【００８０】表示部５１には、ＷＷＷブラウザ６０およ
び専用ブラウザ６２（のウインドウ）の他、指示部４２
により操作可能なカーソル６１も表示され、ステップＳ
１１では、イベント検出セレクタ部４３が、指示部４２
としてのマウスが操作されることにより、ＷＷＷブラウ
ザ６０に表示されたＷｅｂページのいずれかのコンテン
ツがドラッグされ、さらに、専用ブラウザのアイコン登
録部６２Ｂ上でドロップされるというイベントが生じた
かどうか、即ち、ドラッグアンドドロップが行われたか
どうかを判定する。
【００８１】ステップＳ１１において、ドラッグアンド
ドロップが行われたと判定された場合、ステップＳ１２
に進み、イベント検出セレクタ部４３は、その旨のイベ
ント信号を、リクエスト信号生成部４６に供給し、リク
エスト信号生成部４６は、イベント検出セレクタ部４３
からのイベント信号に基づき、コンテンツ識別子蓄積部
４７を参照することで、ドラッグが開始されたときのカ
ーソルが位置していた、Ｗｅｂページのコンテンツのコ
ンテンツ識別子を検出する。
【００８２】そして、ステップＳ１３に進み、リクエス
ト信号生成部４６は、ステップＳ１２で検出したコンテ
ンツ識別子と、ユーザ端末３（のユーザ）に割り当てら
れたユーザＩＤとを含む、そのコンテンツ識別子に対応
するパッケージデータを要求するリクエスト信号を生成
し、符号化／暗号化部４８を介して、通信Ｉ／Ｆ４９に
供給する。通信Ｉ／Ｆ４９は、ステップＳ１４におい
て、符号化／暗号化部４８を介して供給されるリクエス
ト信号を、ネットワーク２を介して、パッケージサーバ
１に送信する。
【００８３】その後、ステップＳ１５に進み、イベント
検出セレクタ部４３は、後述するようにして、専用ブラ
ウザ６２のリンク表示部６２Ａまたはアイコン登録部６
２Ｂに表示されたアイコン上に、カーソル６１が移動さ
れ、指示部４２としてのマウスが、例えば、右クリック
されるというイベントが生じたかどうかを判定し、右ク
リックされていないと判定した場合、ステップＳ２１に
進む。
【００８４】ステップＳ２１では、通信部Ｉ／Ｆ４９
が、ステップＳ１４または後述するステップＳ２０にお
いて送信されたリクエスト信号に対応してパッケージサ
ーバ１が送信してくるパッケージデータとしての返信デ
ータを受信したかどうかを判定する。
【００８５】ステップＳ２１において、返信データを受
信したと判定された場合、通信Ｉ／Ｆ４９は、その返信
データとしてのパッケージデータを、復号部５０を介し
て、表示部５１および記憶部５２に供給し、ステップＳ
２２に進む。
【００８６】ステップＳ２２では、記憶部５２は、復号
部５０を介して供給されるパッケージデータを記憶し、
ステップＳ２３に進む。ステップＳ２３では、表示部５
１は、復号部５０を介して供給されるパッケージデータ
を構成するアイコンデータに対応するアイコンを、専用
ブラウザ６２のリンク表示部６２Ａまたはアイコン登録
部６２Ｂに表示し、ステップＳ２４に進む。
【００８７】ここで、パッケージサーバ１（のデータベ
ース３１）は、Ｗｅｂページを構成するコンテンツを象
徴するアイコン（例えば、コンテンツが、gif形式の画
像データ等であれば、その画像を縮小したアイコン）に
対応するアイコンデータを有するパッケージデータを、
そのコンテンツと同一のコンテンツ識別子に対応付けて
記憶しており、従って、例えば、図１１に示すように、
ＷＷＷブラウザ６０に表示されたＷｅｂページの画像コ
ンテンツが、専用ブラウザ６２のアイコン登録部６２Ｂ
にドラッグアンドドロップされた場合には、ステップＳ
１１乃至Ｓ１５，Ｓ２１乃至Ｓ２３の順で処理が行わ
れ、その結果、アイコン登録部６２Ｂには、その画像コ
ンテンツを象徴するアイコン６３が表示される。
【００８８】ステップＳ２４では、イベント検出セレク
タ部４３は、指示部４２としてのマウスが、専用ブラウ
ザをクローズするように操作されたかどうかを判定し、
そのような操作が行われていないと判定した場合、ステ
ップＳ１１に戻り、以下、同様の処理を繰り返す。
【００８９】一方、ステップＳ１５において、専用ブラ
ウザ６２のリンク表示部６２Ａまたはアイコン登録部６
２Ｂに表示されたアイコン上に、カーソル６１が移動さ
れ、指示部４２としてのマウスが右クリックされるとい
うイベントが生じたと判定された場合、ステップＳ１６
に進み、イベント検出セレクタ部３４は、右クリックさ
れた旨のイベント信号を、データ検索部４４に供給する
ことにより、その右クリックされたときにカーソル６１
が位置していたアイコンに対応するアイコンデータと組
になっているテキストデータを、記憶部５２から検索さ
せる。
【００９０】データ検索部４４は、記憶部５２からテキ
ストデータを検索すると、ステップＳ１７において、そ
のテキストデータを項目とするプルダウンメニューを作
成し、表示部５１に表示させる。
【００９１】ここで、例えば、図１１において、アイコ
ン登録部６２Ｂに表示されたアイコン６３が、例えば、
アーティストの顔写真である場合には、そのアイコン６
３に対応するアイコンデータは、そのアーティストが歌
っている曲の曲名を表すテキストデータと組になってパ
ッケージデータを構成しており、従って、そのようなア
イコンに対して右クリックがされた場合には、図１２
（Ａ）に示すように、テキストデータとしての曲名を項
目とするプルダウンメニュー６４が表示される。
【００９２】表示部５１においてプルダウンメニューが
表示された後は、ステップＳ１７からＳ１８に進む。そ
して、イベント検出セレクタ部４３は、ユーザが指示部
４２を操作することにより、プルダウンメニューのいず
れかの項目を選択した場合には、ステップＳ１８におい
て、その選択があったことを検出し、対応するイベント
信号を、データ検索部４４および選択指示検出部４５に
供給する。データ検索部４４は、このイベント信号を受
信すると、ユーザが指示部４２を操作することにより選
択したプルダウンメニューの項目のテキストデータに対
応するリンクデータを、記憶部５２から検索し、選択指
示検出部４５に供給する。選択指示検出部４５は、デー
タ検索部４４からのリンクデータとしてのコンテンツ識
別子を、リクエスト信号生成部４６に供給し、これによ
り、リクエスト信号生成部４６は、ステップＳ１９にお
いて、選択指示検出部４５からのコンテンツ識別子を含
むリクエスト信号を生成する。
【００９３】さらに、リクエスト信号生成部４６は、ス
テップＳ１９で生成したリクエスト信号を、符号化／暗
号化部４８を介して、通信Ｉ／Ｆ４９に供給する。通信
Ｉ／Ｆ４９は、ステップＳ２０において、符号化／暗号
化部４８を介して供給されるリクエスト信号を、ネット
ワーク２を介して、パッケージサーバ１に送信する。そ
の後、ステップＳ２１に進み、以下、同様の処理が繰り
返される。そして、ステップＳ２４において、指示部４
２としてのマウスが、専用ブラウザ６２をクローズする
ように操作されたと判定されると、制御部４１は、ＷＷ
Ｗブラウザ６０および専用ブラウザ６２をクローズし、
処理を終了する。
【００９４】従って、例えば、図１２（Ａ）に示したよ
うに、曲名のプルダウンメニューが表示されている場合
において、図１２（Ｂ）に示すように、カーソル６１
が、そのうちの曲名「△△△」に移動されて左クリック
等されることにより選択されると、その曲名「△△△」
を表すテキストデータに対応するリンクデータとしての
コンテンツ識別子が、パッケージサーバ１に送信され
る。
【００９５】そして、例えば、いま、曲名を表すテキス
トデータに対応するリンクデータとしてのコンテンツ識
別子に対応付けられているパッケージデータが、その曲
が収められているアルバムのジャケット写真を縮小した
アイコンデータを有するものであるとすると、パッケー
ジサーバ１からは、そのようなパッケージデータが、返
信データとして、ユーザ端末３に送信されてくる。
【００９６】このパッケージデータは、上述したよう
に、ステップＳ２２で記憶部５２で記憶され、さらに、
そのパッケージデータのアイコンデータに対応するアイ
コンは、表示部５１に表示される。
【００９７】即ち、これにより、図１３（Ａ）に示すよ
うに、専用ブラウザ６２には、ユーザにより選択された
曲名の曲が収められているアルバムのジャケット写真を
縮小したアイコン６５が表示される。
【００９８】ここで、本実施の形態では、ＷＷＷブラウ
ザ６０上のコンテンツを、アイコン登録部６２Ｂ上にド
ラッグアンドドロップした場合には、そのコンテンツに
対応するアイコンが、アイコン登録部６２Ｂに表示され
る。一方、パッケージデータのテキストデータ（サブデ
ータ）からリンクがはられているパッケージデータが有
するアイコンデータに対応するアイコンは、リンク表示
部６２Ａに表示される。このため、アイコン登録部６２
Ｂに表示されたアイコン６３を右クリックすることによ
り表示されるプルダウンメニュー６４（図１２）から選
択された曲名としてのテキストデータからリンクされて
いるパッケージデータが有するアイコンデータに対応す
るジャケット写真のアイコン６５は、図１３（Ａ）に示
したように、専用ブラウザ６２のリンク表示部６２Ａに
表示される。
【００９９】また、アイコン登録部６２Ｂに表示された
アイコンは、そのアイコン登録部６２上に登録され、専
用ブラウザ６２がクローズされても、そのアイコンに対
応するアイコンデータを有するパッケージデータは、記
憶部５２に記憶されたままにされる。これに対して、リ
ンク表示部６２Ａに表示されたアイコンを有するパッケ
ージデータは、例えば、専用ブラウザ６２がクローズさ
れるときに、記憶部５２から消去される。従って、その
後、再び、専用ブラウザ６２がオープンされると、アイ
コン登録部６２Ｂに登録されたアイコンは表示される
が、リンク表示部６２Ａに表示されていたアイコンは表
示されない。
【０１００】リンク表示部６２Ａに表示された、ジャケ
ット写真のアイコン６５上にカーソル６１を移動し、操
作部４２としてのマウスを左クリックすると、上述した
場合と同様にして、図１３（Ｂ）に示すように、そのア
イコン６５に対応するアイコンデータと組になっている
テキストデータによる項目からなるプルダウンメニュー
６６が表示される。
【０１０１】プルダウンメニュー６６は、アイコン６５
に象徴されるアルバムの内容の視聴、購入、歌詞の表示
（歌詞表示）の各項目からなり、図１３（Ｃ）に示すよ
うに、例えば、ユーザが、そのうちの購入の項目上にカ
ーソル６１を移動して、指示部４２を左クリックするこ
とにより、アイコン６５で象徴されるアルバムに収めら
れている曲のデータを購入することを選択すると、上述
した場合と同様にして、ユーザ端末３からリクエスト信
号が送信され、さらに、そのリクエスト信号に応じて、
購入の項目のテキストデータからリンクされているパッ
ケージデータが、パッケージサーバ１からユーザ端末３
に送信される。そして、リンク表示部６２Ａにおいて
は、図１３（Ｄ）に示すように、そのパッケージデータ
が有するアイコンデータに対応するアイコン６７が、例
えば、リンク表示部６２Ａの最後に表示されたアイコン
６５の右隣に表示される。
【０１０２】ここで、図１３（Ｃ）に示したプルダウン
メニューの購入の項目のテキストデータからは、曲のデ
ータを購入する際の決済を象徴するアイコン６７のアイ
コンデータを有するパッケージデータにリンクがはられ
ており、図１３（Ｄ）では、そのようなアイコン６７
が、リンク表示部６２Ａに表示されている。
【０１０３】さらに、リンク表示部６２Ａに表示され
た、決済を象徴するアイコン６７上にカーソル６１を移
動し、操作部４２としてのマウスをクリックすると、上
述した場合と同様にして、図１４（Ａ）に示すように、
そのアイコン６７に対応するアイコンデータと組になっ
ているテキストデータによる項目からなるプルダウンメ
ニュー６８が表示される。
【０１０４】プルダウンメニュー６８は、アイコン６７
に象徴される決済の方法としてのクレジットカードによ
る支払い、電子マネーによる支払い、コンビニエンスス
トアでの支払い（コンビニ決済）の各項目からなり、ユ
ーザが、そのうちのいずれかの項目上にカーソル６１を
移動して、指示部４２を左クリックすることにより、曲
のデータの決済方法を選択すると、専用ブラウザ６２
は、その選択された決済方法に対応する処理を行う。
【０１０５】即ち、例えば、クレジットカードによる支
払いが選択された場合には、ユーザ端末３の専用ブラウ
ザ６２は、クレジットカードの番号等を入力するための
ダイアログボックスを表示し、その入力を待って、ユー
ザがデータの購入を選択した曲を表す曲識別情報ととも
に、購入情報として、パッケージサーバ１に送信する。
【０１０６】購入情報のうち、クレジットカードの番号
は、パッケージサーバ１（図３）の課金処理部３８で課
金処理され、後日、曲のデータの代金の引き落としが行
われる。
【０１０７】さらに、パッケージサーバ１は、ユーザ端
末３からの購入情報のうちの曲識別情報によって特定さ
れる曲のデータを、図示せぬデータベースや、ネットワ
ーク２上の図示せぬサーバから取得し、ユーザ端末３に
送信する。
【０１０８】ユーザ端末３は、以上のようにしてパッケ
ージサーバ１から送信されてくる曲のデータのダウンロ
ードを行い、例えば、図示せぬ携帯型のメモリ等に記憶
させる。
【０１０９】以上のように、専用ブラウザ６２では、情
報等を象徴するアイコンが表示され、さらに、そのアイ
コンに付随してプルダウンメニューが表示される。そし
て、そのプルダウンメニューの項目を選択すると、その
項目に対応するテキストデータからリンクされているパ
ッケージデータが有するアイコンが表示されることが繰
り返されるので、ユーザは、同一操作により、所望の情
報に辿り着くこと等が可能となる。
【０１１０】なお、パッケージサーバ１においては、曲
のデータの送信を開始する直前に、データのダウンロー
ド中であることを象徴するアイコン６９のアイコンデー
タ（パッケージデータではない）を、ユーザ端末３に送
信するようにすることができ、この場合、ユーザ端末３
の専用ブラウザ６２では、図１４（Ｂ）に示すように、
アイコン６９を、例えば、リンク表示部６２Ａの最後に
表示されたアイコン６７の右隣に表示するようにするこ
とができる。また、パッケージサーバ１においては、ア
イコン６９のアイコンデータを有するパッケージデータ
に、プルダウンメニュー６８の各項目に対応するテキス
トデータからリンクをはっておき、そのうちのいずれか
の項目が左クリックされたときに、アイコン６９のアイ
コンデータを有するパッケージデータを、ユーザ端末３
に送信するようにすることも可能である。
【０１１１】さらに、上述の場合には、リンク表示部６
２Ａにおいて、新たなアイコンを、最後に表示されたア
イコンの右隣に表示するようにしたが、新たなアイコン
は、既にリンク表示部６２Ａに表示されているアイコン
に上書きする形で表示することも可能である。
【０１１２】また、アイコン登録部６２Ｂは、複数の領
域に分けることができ、この場合、各領域には、同一の
カテゴリの情報に関するアイコンを登録することが可能
である。即ち、アイコン登録部６２では、例えば、音楽
や、映画、ニュースといった各カテゴリのアイコンを、
そのカテゴリごとに異なる領域に登録して表示すること
が可能である。
【０１１３】さらに、上述の場合には、専用ブラウザ６
２（のウインドウ）を、リンク表示部６２Ａとアイコン
登録部６２Ｂの２つの領域に分けるようにしたが、専用
ブラウザ６２は、そのように領域を分けずに、１つの領
域で構成することも可能である。
【０１１４】また、上述の場合には、専用ブラウザ６２
がクローズされたときに、記憶部５２において、アイコ
ン登録部６２Ｂに表示されたアイコンを有するパッケー
ジデータのみを記憶しておき、リンク表示部６２Ａに表
示されたアイコンを有するパッケージデータは消去する
ようにしたが、すべてのパッケージデータを、記憶部５
２に記憶させておくことも可能である。この場合、再
度、専用ブラウザ６２がオープンされると、専用ブラウ
ザ６２には、アイコン登録部６２Ｂに登録されたアイコ
ンと、そのアイコンを、いわば開始点として、ユーザが
辿っていったパッケージデータが有するアイコンのシー
ケンスが表示されるから、例えば、ＵＲＬのような、あ
るＷｅｂページを特定するための情報ではなく、ユーザ
が辿っていったリンクの、いわゆるブックマークが、ア
イコンという視覚に訴えるメディアで実現されることに
なる。なお、アイコン登録部６２Ｂには、ＷＷＷブラウ
ザ６０上に表示されたＷｅｂページを構成するコンテン
ツを象徴するアイコンが登録されるが、この点に注目す
れば、Ｗｅｂページ単位ではなく、コンテンツ単位のブ
ックマークが実現されていることになる。
【０１１５】さらに、上述の場合には、専用ブラウザ６
２に表示されたアイコン上に、カーソル６１を移動し、
右クリックをしたときに、そのアイコンに対応するアイ
コンデータと組になっているテキストデータでなるプル
ダウンメニューを表示するようにしたが、プルダウンを
表示する際のイベントは、右クリックに限定されるもの
ではなく、その他、例えば、カーソル６１が、アイコン
上に位置するときに、プルダウンメニューを表示するよ
うにすることも可能である。プルダウンメニューの項目
の選択等の他のアクションを起動するときのイベントに
ついても、同様に、上述したイベントに限定されるもの
ではない。
【０１１６】また、上述の場合には、パッケージサーバ
１において、最終的に、曲のデータのダウンロードが行
われるときに、その曲のデータに対する対価として、課
金を行うようにしたが、パッケージデータの提供に対し
ても、必要に応じて、課金を行うようにすることが可能
である。
【０１１７】さらに、上述の場合には、曲のデータのダ
ウンロードを行うようにしたが、曲のデータ等の音声デ
ータ（オーディオデータ）の他、例えば、映画等の画像
データ（ビデオデータ）や、プログラム等のダウンロー
ドを行うようにすることも可能である。ここで、上述の
場合には、曲のデータのダウンロードを、パッケージサ
ーバ１から行うようにしたが、曲のデータのダウンロー
ドは、ネットワーク２上のその他のサーバから行うよう
にすることも可能である。
【０１１８】また、ユーザ端末３においては、パッケー
ジサーバ１からダウンロードして、記憶部５２に記憶さ
せたパッケージデータは更新することが可能である。即
ち、例えば、パッケージサーバ１（図３）において、デ
ータベース３１に記憶されたパッケージデータのアイコ
ンデータやテキストデータが更新される場合には、その
更新後のパッケージデータによって、ユーザ端末３の記
憶部５２のパッケージデータを更新することが可能であ
る。
【０１１９】記憶部５２のパッケージデータの更新方法
としては、いわゆるプッシュ技術を利用することができ
る。即ち、例えば、リクエスト信号生成部４６におい
て、定期的または非定期に、記憶部５２に記憶されたパ
ッケージデータに対応するコンテンツ識別子を含むリク
エスト信号を生成して、パッケージサーバ１に送信し、
そのリクエスト信号に対応して、パッケージサーバ１か
ら送信されてくるパッケージデータによって、記憶部５
２に記憶されたパッケージデータを更新することができ
る。
【０１２０】その他、例えば、ユーザ端末３に、固有の
端末ＩＤを割り当て、パッケージサーバ１において、ユ
ーザ端末３がダウンロードしたパッケージデータのコン
テンツ識別子を、そのユーザ端末３の端末ＩＤと対応付
けて記憶しておくようにする一方、ユーザ端末３におい
て、例えば、インターネットであるネットワーク２に接
続したときに、ユーザ端末３に割り当てられるＩＰ(Int
ernet Protocol)アドレスを端末ＩＤと対応付けて、パ
ッケージサーバ１に送信することによっても、記憶部５
２に記憶されたパッケージデータの更新を実現すること
ができる。
【０１２１】即ち、この場合、パッケージサーバ１で
は、ユーザ端末３からＩＰアドレスと端末ＩＤとを受信
したときに、その端末ＩＤと対応付けられているコンテ
ンツ識別子のパッケージデータのうちの更新されている
ものを検出し、その更新されているパッケージデータ
を、端末ＩＤとともに送信されてきたＩＰアドレスを宛
先として送信することにより、ユーザ端末３では、記憶
部５２に記憶されたパッケージデータのうち、更新され
たものを受信することができる。
【０１２２】以上のように、ユーザ端末３の記憶部５２
に記憶されたパッケージデータを更新する場合には、専
用ブラウザ６２に表示されるアイコンや、そのアイコン
に付随して表示されるプルダウンメニューの項目が、適
宜、あるいは時々刻々と変化し、ユーザに興味を持たせ
ることが可能となる。
【０１２３】ところで、上述の場合には、パッケージデ
ータを構成するメインデータがアイコンデータであり、
そのメインデータと組になっているサブデータがテキス
トデータであるから、ユーザは、そのテキストデータで
なるプルダウンメニューを見ることによって、テキスト
により情報の認識をすることができる。
【０１２４】即ち、例えば、図１２に示したように、ア
ーティストの顔写真のアイコン６３を右クリックするこ
とで表示されるプルダウンメニュー６４には、そのアー
ティストが歌っている曲の曲名がテキストで表示される
から、ユーザは、曲名をテキストで知ることができる。
しかしながら、テキストによる曲名を知りたいユーザだ
けではなく、実際に曲を聴いてみたいユーザや、アーテ
ィストの曲が収められているアルバムのジャケットの画
像を見たいユーザ等がいる。
【０１２５】そこで、パッケージサーバ１のデータベー
ス３１には、テキストや、画像データ、音声データ等の
複数のメディアのデータのうちのいずれかをメインデー
タとするとともに、複数のメディアのデータのうちの２
以上のメディアのデータをサブデータとして構成したパ
ッケージデータを記憶させ、パッケージサーバ１からユ
ーザ端末３に対して、そのようなパッケージデータを提
供するようにすることが可能である。
【０１２６】この場合、データベース３１のデータ記憶
部における各エントリには、図１５に示すようなパッケ
ージデータが記憶される。
【０１２７】即ち、この場合、パッケージデータは、そ
の先頭から、例えば、ヘッダ、メインデータとしての画
像データ、テキストデータ、または音声データのうちの
いずれか、サブデータとしてのテキストデータおよびテ
キスト用リンクデータ、画像データおよび画像用リンク
データ、並びに音声データおよび音声用画像データが順
次配置されて構成されている。
【０１２８】ヘッダ、テキストデータ、テキスト用リン
クデータは、図４（Ｂ）に示したパッケージデータのヘ
ッダ、テキストデータ、リンクデータとそれぞれ同様の
ものである。
【０１２９】メインデータとしては、ここでは、例え
ば、画像データ、テキストデータ、音声データのうちの
いずれかを用いることができる。なお、メインデータと
して画像データまたはテキストデータが用いられる場合
には、そのメインデータとしての画像データまたは音声
データは表示可能であるが、メインデータとして音声デ
ータが用いられる場合には、そのメインデータとしての
音声データは表示することができないため、その音声デ
ータを象徴するようなアイコンが表示される。このた
め、メインデータとして音声データが用いられる場合に
は、そのメインデータには、音声データの他、その音声
データを象徴するようなアイコンのアイコンデータも含
まれる。但し、メインデータとしての画像データやテキ
ストデータについても、それらを象徴するようなアイコ
ンのアイコンデータを含めることが可能である。
【０１３０】サブデータとしての画像データと画像用リ
ンクデータ、または音声データと音声用リンクデータ
は、メディアがテキストではなく、画像または音声であ
るという点を除けば、図４（Ｂ）に示したパッケージデ
ータのテキストデータとリンクデータと同様のものなの
で、その説明は省略する。
【０１３１】従って、この場合、パッケージデータは、
図１６に示すように、メインデータとなる画像データ、
音声データ、またはテキストデータのうちの１つと、パ
ッケージデータへのリンクを表すリンクデータが対応付
けられた必要な数のテキストデータ＃１乃至＃Ｍ1、画
像データ＃１乃至＃Ｍ2、および音声データ＃１乃至＃
Ｍ3との組で構成される。そして、この場合も、パッケ
ージデータは、サブデータである各テキストデータ、画
像データ、音声データから、他の（自分自身であっても
良い）パッケージデータにリンクをはることができるか
ら、パッケージデータを基本単位として、複数のパッケ
ージデータからなるリンク構造を構成することができ
る。
【０１３２】具体的には、例えば、図１６に示したよう
に、パッケージデータのメインデータを◎印で、サブデ
ータとしてのテキストデータを□印で、画像データを○
印で、音声データを△印で、それぞれ表すとすると、上
述のようなマルチメディアのデータで構成されるパッケ
ージデータであっても、図１７に示すように、パッケー
ジデータを構成するサブデータとしての各メディアのデ
ータから、他のパッケージデータにリンクをはることが
できる。そして、そのようなリンク付けを繰り返し行う
ことにより、やはり、理論的には、無限のパッケージデ
ータがリンクされているリンク構造を実現することがで
きる。
【０１３３】なお、図１７では、図が煩雑になるのを避
けるため、各メインデータ（◎印）が、サブデータとし
ての１つずつのテキストデータ（□印）、画像データ
（○印）、音声データ（△印）と組になっているパッケ
ージデータを示してある。
【０１３４】また、このように、マルチメディアのデー
タで構成されるパッケージデータ（以下、適宜、マルチ
メディアパッケージデータという）であっても、図６に
おける場合と同様に、そのリンク構造は、木構造とする
ことも、また、ループが形成されるような構造等とする
ことも可能である。
【０１３５】次に、図１８は、パッケージサーバ１が、
マルチメディアパッケージデータを提供する場合のユー
ザ端末３の構成例を示している。なお、図中、図８にお
ける場合と対応する部分については、同一の符号を付し
てある。
【０１３６】即ち、図１８のユーザ端末３は、マルチメ
ディアパッケージデータを構成する音声データを出力す
るスピーカ５３が設けられている他は、基本的に、図８
における場合と同様に構成されているので、その説明は
省略する。
【０１３７】次に、図１９のフローチャート、並びに図
２０乃至図２２を参照して、図１８のユーザ端末３（専
用ブラウザ６２）の処理について説明する。
【０１３８】ユーザ端末３では、ステップＳ３１乃至Ｓ
４３において、基本的には、図９のステップＳ１１乃至
Ｓ２３における場合とそれぞれ同様の処理が行われる。
【０１３９】但し、ステップＳ４１において、パッケー
ジサーバ１から返信データとしてのマルチメディアパッ
ケージデータを受信したと判定された場合には、ステッ
プＳ４２に進み、そのマルチメディアパッケージデータ
が、記憶部５２に記憶され、さらに、ステップＳ４３に
進み、そのマルチメディアパッケージデータのメインデ
ータとなっている画像データ、音声データ、若しくはテ
キストデータを象徴するアイコンが、表示部５１にオー
プンされた専用ブラウザ６２に表示されるか、または、
その画像データ、音声データ、若しくはテキストデータ
が、表示部５１で表示され、あるいはスピーカ５３から
出力される。
【０１４０】また、ステップＳ３５において、専用ブラ
ウザ６２に表示されたメインデータを象徴するアイコン
に対して、右クリックのイベントが与えられたと判定さ
れた場合には、ステップＳ３６に進み、データ検索部４
４において、そのメインデータと組になっているサブデ
ータが、記憶部５２から検索され、ステップＳ３７に進
む。ステップＳ３７では、データ検索部４４で検索され
たサブデータとなっているテキストデータ、画像デー
タ、または音声データが、必要に応じて、表示部５１で
表示され、あるいはスピーカ５３から出力される。な
お、このとき、専用ブラウザ６２では、その他の必要な
表示が行われる。即ち、例えば、サブデータとしてのテ
キストデータが、プルダウンメニューの項目を構成する
ものである場合には、そのプルダウンメニューの表示が
行われる。また、例えば、サブデータとしての音声デー
タについては、その再生等の制御や音声データの選択等
のためのボタンの表示が行われる。
【０１４１】そして、その後に行われるステップＳ３８
では、ユーザが指示部４２を操作することにより、サブ
データのいずれかを選択した場合には、イベント検出セ
レクタ部４３において、そのサブデータの選択が検出さ
れ、対応するイベント信号が、データ検索部４４および
選択指示検出部４５に供給される。データ検索部４４
は、このイベント信号を受信すると、ユーザが指示部４
２を操作することにより選択したサブデータに対応する
リンクデータを、記憶部５２から検索し、選択指示検出
部４５に供給する。選択指示検出部４５は、データ検索
部４４からのリンクデータとしてのコンテンツ識別子
を、リクエスト信号生成部４６に供給し、これにより、
リクエスト信号生成部４６は、ステップＳ３９におい
て、選択指示検出部４５からのコンテンツ識別子を含む
リクエスト信号を生成する。
【０１４２】このリクエスト信号は、ステップＳ４０に
おいて、パッケージサーバ１に送信され、パッケージサ
ーバ１は、そのリクエスト信号に含まれるコンテンツ識
別子で特定されるマルチメディアパッケージデータを、
返信データとして、ユーザ端末３に送信する。そして、
ステップＳ４１において、この返信データとしてのマル
チメディアパッケージデータが、ユーザ端末３の通信Ｉ
／Ｆ４９で受信されたと判定されると、以下、上述した
ように、ステップＳ４２において、そのマルチメディア
パッケージデータが記憶部５２に記憶され、さらに、ス
テップＳ４３において、そのマルチメディアパッケージ
データのメインデータとなっている画像データ、音声デ
ータ、若しくはテキストデータを象徴するアイコンが、
表示部５１にオープンされた専用ブラウザ６２に表示さ
れるか、または、その画像データ、音声データ、若しく
はテキストデータが、表示部５１で表示され、あるいは
スピーカ５３から出力される。
【０１４３】従って、例えば、図２０に示すように、Ｗ
ＷＷブラウザ６０に表示されたＷｅｂページの画像コン
テンツが、専用ブラウザ６２のアイコン登録部６２Ｂに
ドラッグアンドドロップされた場合には、その画像コン
テンツのコンテンツ識別子で特定されるマルチメディア
パッケージデータが、パッケージサーバ１からダウンロ
ードされ、そのマルチメディアパッケージデータのメイ
ンデータが、専用ブラウザ６２のアイコン登録部６２Ｂ
に表示される。
【０１４４】ここで、図２０では、ドラッグアンドドロ
ップされた画像コンテンツのコンテンツ識別子で特定さ
れるマルチメディアパッケージデータのメインデータが
画像データとされており、アイコン登録部６２Ｂでは、
その画像データに対応する画像７１が表示されている。
なお、メインデータが音声データやテキストデータであ
る場合には、その音声データに対応する音声をスピーカ
５３から出力し、あるいはそのテキストデータに対応す
るテキストを表示部５１で表示する他、その音声データ
やテキストデータを象徴するアイコンを、アイコン登録
部６２Ｂに表示することが可能である。また、メインデ
ータが画像データの場合であっても、同様に、アイコン
登録部６２Ｂには、その画像データを象徴するアイコン
を表示するようにすることが可能である。
【０１４５】専用ブラウザ６２のアイコン登録部６２Ｂ
に、画像７１が表示された後に、その画像７１上にカー
ソル６１を移動して、右クリックを行うと、図２１に示
すように、サブデータが出力（表示部５１における表示
と、スピーカ５３からの出力の両方を含む）され、さら
に、必要な表示が行われる。
【０１４６】即ち、図２１では、サブデータとしてのテ
キストデータを項目とするプルダウンメニュー７２が、
表示部５１に表示されている。また、図２１では、サブ
データとしての画像７３が、表示部５１に表示されてい
る。さらに、図２１では、サブデータとしての音声が、
スピーカ５３から出力され、その音声の再生制御や選択
を行うための操作パネル７４が、表示部５１に表示され
ている。
【０１４７】なお、図２１において、メインデータとし
ての画像７１は、アーティストの顔写真の画像であり、
サブデータとしてのプルダウンメニュー７２は、そのア
ーティストが歌っている曲名を表すテキストで構成され
ている。また、サブデータとしての画像７３は、プルダ
ウンメニュー７２の項目となっている曲名の曲が収めら
れているアルバムのジャケット写真の画像で構成されて
いる。さらに、サブデータとしての音声データは、プル
ダウンメニュー７２の項目となっている曲名の曲の先頭
部分の音声データをつなぎ合わせたものとなっており、
従って、スピーカ５３からは、プルダウンメニュー７２
の項目となっている曲名の曲の先頭部分が順次出力され
る。また、図２１において、操作パネル７４は、スピー
カ５３から出力される曲の巻き戻しを指示する巻き戻し
ボタン７４Ａ、早送りを指示する早送りボタン７４Ｂ、
再生を指示する再生ボタン７４Ｃ、停止を指示する停止
ボタン７４Ｄ、選択を指示する選択ボタン７４Ｅから構
成されている。
【０１４８】従って、ユーザは、テキストによって曲名
を知ることもできるし、実際に曲を聴いてみることもで
きる。さらには、曲が収められているアルバムのジャケ
ットの画像を見ることもできる。
【０１４９】スピーカ５３からサブデータとしての曲の
先頭部分が順次再生されている場合において、ユーザ
が、カーソル６１を、選択ボタン７４Ｅ上に移動して、
例えば、左クリックを行うと、そのときスピーカ５３か
ら再生されていた曲の音声データが選択されたことが検
出され、その音声データに対応する音声用リンクデータ
としてのコンテンツ識別子が、リクエスト信号に含めら
れて、パッケージサーバ１に送信される。
【０１５０】この場合、例えば、そのコンテンツ識別子
により特定されるマルチメディアパッケージデータのメ
インデータが、ユーザにより選択された曲全体の音声デ
ータであるとすると、そのような音声データをメインデ
ータとするマルチメディアパッケージデータが、パッケ
ージサーバ１からユーザ端末３に送信され、ユーザ端末
３では、図２２に示すように、そのマルチメディアパッ
ケージデータのメインデータとなっている音声データを
象徴するアイコン７５が、専用ブラウザ６２のリンク表
示部６２Ａに表示され、さらに、その音声データに対応
する曲が、スピーカ５３から出力される。
【０１５１】専用ブラウザ６２のリンク表示部６２Ａ
に、アイコン７５が表示された後に、そのアイコン７５
上にカーソル６１を移動して、右クリックを行うと、図
２２に示すように、サブデータが出力され、さらに、必
要な表示が行われる。
【０１５２】即ち、図２２では、サブデータとしてのテ
キストデータを項目とするプルダウンメニュー７６が、
表示部５１に表示されている。また、図２２では、サブ
データとしての画像７７が、表示部５１に表示されてい
る。さらに、図２２では、サブデータとしての音声の再
生制御や選択を行うための操作パネル７８が、表示部５
１に表示されている。
【０１５３】なお、図２２において、サブデータとして
のプルダウンメニュー７６は、そのサブデータと組にな
っているメインデータとしての音声データに対応する曲
に対する各解説者の解説内容を表すテキストで構成され
ている。また、サブデータとしての画像７７は、プルダ
ウンメニュー７６の項目となっている解説を行った角解
説者の写真の画像で構成されている。
【０１５４】さらに、図２２において、サブデータとし
ての音声データは、プルダウンメニュー７６の項目とな
っている各解説の音声データをつなぎ合わせたものとな
っている。但し、マルチメディアパッケージデータがダ
ウンロードされた直後においては、スピーカ５３から
は、そのマルチメディアパッケージデータのメインデー
タである音声データに対応する曲が出力されており、そ
のサブデータである音声データに対応する解説は出力さ
れていない。
【０１５５】このサブデータである音声データに対応す
る解説は、例えば、操作パネル７８が操作されることに
より、スピーカ５３から出力される。即ち、操作パネル
７８は、図２１の操作パネル７４が有する巻き戻しボタ
ン７４Ａ、早送りボタン７４Ｂ、再生ボタン７４Ｃ、停
止ボタン７４Ｄ、または選択ボタン７４Ｅそれぞれと同
一構成の巻き戻しボタン７８Ａ、早送りボタン７８Ｂ、
再生ボタン７８Ｃ、停止ボタン７８Ｄ、または選択ボタ
ン７８Ｅを有しており、例えば、再生ボタン７８Ｃがク
リックされると、メインデータとしての音声データに対
応する曲の再生が停止され、サブデータとしての音声デ
ータに対応する解説の再生が開始される。
【０１５６】ここで、サブデータとしての音声データに
対応する解説の再生が開始された場合であっても、メイ
ンデータとしての音声データに対応する曲の再生を停止
せずに、例えば、その音量を、解説の音量よりも十分小
さくして、曲の再生を続行することが可能である。
【０１５７】以上から、ユーザは、テキストによって曲
の解説内容を読むこともできるし、その解説内容を音声
で聴くこともできる。さらには、解説を行っている解説
者の画像を見ることもできる。
【０１５８】なお、上述の場合には、例えば、図２１で
説明したように、メインデータとしての画像７１が、ア
ーティストの顔写真の画像であるときに、そのアーティ
ストが歌っている曲名を表すテキストデータ、その曲が
収められているアルバムのジャケット写真の画像デー
タ、およびその曲の音声データを、サブデータとするよ
うにしたが、サブデータとしてのテキストデータ、画像
データ、および音声データは、そのような同一内容のデ
ータである必要はなく、異なる内容のデータであっても
良い。即ち、例えば、サブデータとしてのテキストデー
タは、アーティストが歌っている曲の歌詞とし、画像デ
ータは、アーティストのビデオクリップとし、音声デー
タは、アーティストが歌っている曲に対する解説者によ
る解説とすることができる。
【０１５９】次に、上述の場合においては、パッケージ
サーバ１からユーザに提供されるマルチメディアパッケ
ージデータについては、そのリンク構造も、また、各マ
ルチメディアパッケージデータの内容も、パッケージサ
ーバ１側で定められており、従って、すべてのユーザに
対して、同一の内容で、かつ同一のリンク構造のマルチ
メディアパッケージデータが提供される。
【０１６０】即ち、パッケージサーバ１において、例え
ば、図２３（Ａ）に示すように、マルチメディアパッケ
ージデータａ，ｂ，ｃ，ｄ，ｅの順でリンクがはられて
いる場合には、すべてのユーザは、そのようにリンクを
辿っていなければ、マルチメディアパッケージデータｅ
の提供を受けることができない。また、パッケージサー
バ１において、例えば、図２３（Ｂ）に示すように、メ
インデータと組になっているサブデータとしてのテキス
トデータや、画像データ、音声データが多数ある場合に
は、すべてのユーザに対して、そのような多数のサブデ
ータが提供される。
【０１６１】ここで、図２３において（後述する図２４
においても同様）、◎印、□印、○印、△印は、図１６
における場合と同様に、マルチメディアパッケージデー
タのメインデータ、サブデータとしてのテキストデー
タ、画像データ、音声データを、それぞれ表す。
【０１６２】しかしながら、例えば、マルチメディアパ
ッケージデータａからリンクを辿る場合には、ほぼ確実
に、マルチメディアパッケージデータｅに辿り着くユー
ザにとっては、マルチメディアパッケージデータａ，
ｂ，ｃ，ｄ，ｅの順で、リンクを辿っていくのは面倒で
ある。また、例えば、サブデータとして、テキストデー
タと画像データは必要とするが、音声データを不要とす
るユーザにとっては、サブデータとしての音声データが
出力されるのは煩わしい。
【０１６３】そこで、パッケージサーバ１においては、
マルチメディアパッケージデータのリンク構造や、各マ
ルチメディアパッケージデータの内容を、ユーザごとに
カスタマイズして、マルチメディアパッケージデータの
提供を行うようにすることができる。
【０１６４】即ち、パッケージサーバ１においては、例
えば、図２４（Ａ）に示すように、マルチメディアパッ
ケージデータａからｅに直接リンクがはられるように、
リンク構造を変更したり、また、図２４（Ｂ）に示すよ
うに、テキストデータと画像データのみを含み、音声デ
ータを含まないように、サブデータの内容を変更して、
マルチメディアパッケージデータを提供するようにする
ことができる。
【０１６５】ここで、サブデータについては、その他、
例えば、サブデータとしてのテキストデータによるプル
ダウンメニューの項目の変更（削除および追加を含
む）、さらには、プルダウンメニューの項目の順番の変
更等のカスタマイズが可能である。なお、サブデータに
は、リンクデータが付随するから、サブデータとしての
プルダウンメニューの項目（テキストデータ）の追加や
削除は、マルチメディアパッケージデータへのリンクの
追加や削除でもある。
【０１６６】図２５は、マルチメディアパッケージデー
タのリンク構造や、各マルチメディアパッケージデータ
の内容のカスタマイズ可能なパッケージサーバ１の構成
例を示している。なお、図中、図３における場合と対応
する部分については、同一の符号を付してあり、以下で
は、その説明は、適宜省略する。即ち、図２５のパッケ
ージサーバ１は、ユーザ情報記憶部３９が新たに設けら
れている他は、基本的に、図３における場合と同様に構
成されている。
【０１６７】ユーザ情報記憶部３９では、ユーザに関す
るユーザ情報が収集されて記憶される。
【０１６８】ユーザ情報記憶部３９に記憶されるユーザ
情報は、図２６に示すように、ユーザ嗜好情報（図２６
（Ａ））と、変更情報（図２６（Ｂ））とから構成され
る。
【０１６９】ユーザ嗜好情報は、図２６（Ａ）に示すよ
うに、ユーザを識別するためのユーザＩＤと、そのユー
ザからのマルチメディアパッケージデータの要求頻度を
表す要求頻度情報とから構成される。そして、要求頻度
情報は、マルチメディアパッケージデータのカテゴリご
とに分類されている。即ち、例えば、音楽関係のマルチ
メディアパッケージデータについては、図２６（Ａ）に
示すように、曲のジャンル（例えば、ポップス、ロッ
ク、演歌等）、アーティストの活動地域（例えば、日
本、アメリカ合衆国、ヨーロッパ諸国等）、アーティス
トの性別（男、女）等ごとに、ユーザからのマルチメデ
ィアパッケージデータの要求頻度がカウントされ、その
カウント値が、要求頻度情報として登録される。
【０１７０】変更情報は、図２６（Ｂ）に示すように、
ユーザＩＤと、そのユーザＩＤに対応する要求頻度情報
に基づいて作成されたパッケージ内容変更情報およびリ
ンクデータ変更情報とから構成される。
【０１７１】パッケージ内容変更情報には、要求頻度情
報に基づいてカスタマイズ（変更）されたサブデータの
変更内容が登録される。また、リンクデータ変更情報に
は、要求頻度情報に基づいてカスタマイズされたマルチ
メディアパッケージデータのリンク構造の変更内容が登
録される。
【０１７２】図２５のパッケージサーバ１では、ユーザ
端末３からリクエスト信号が送信されてくると、返信デ
ータ生成部３６が、そのリクエスト信号に含まれるユー
ザＩＤに対応する要求頻度情報であって、そのリクエス
ト信号によって要求されたマルチメディアパッケージデ
ータのカテゴリに対応するものを更新する。さらに、返
信データ生成部３６は、その更新後の要求頻度情報に基
づいて、パッケージ内容変更情報や、リンク変更情報を
更新する。
【０１７３】そして、返信データ生成部３６は、更新後
のパッケージ内容変更情報およびリンク変更情報を考慮
して、検索部３２にマルチメディアパッケージデータを
検索させ、あるいは、検索部３２に検索させたマルチメ
ディアパッケージデータの内容を変更して、返信データ
を構成する。
【０１７４】従って、この場合、パッケージサーバ１に
おいては、ユーザが過去に要求したマルチメディアパッ
ケージデータから、そのユーザの嗜好や癖等が収集さ
れ、その収集されたユーザの嗜好や癖等に基づいて、マ
ルチメディアパッケージデータのリンク構造や内容がカ
スタマイズされて、ユーザに提供される。
【０１７５】その結果、ユーザは、自身にとって、利便
性の高い形で、マルチメディアパッケージデータの提供
を受けることができる。
【０１７６】さらに、この場合、ユーザは、マルチメデ
ィアパッケージデータの提供を受けるにつれて、より自
身の嗜好等にあった内容やリンク構造のマルチメディア
パッケージデータの提供を受けることが可能となり、自
身にとっての利便性が増すことになる。これは、パッケ
ージサーバ１によるサービス提供者からすれば、ユーザ
がサービスを利用することを維持し続け、さらには、サ
ービスを利用するユーザ数を増加させることができるこ
とになる。
【０１７７】なお、上述の場合には、パッケージサーバ
１において、ユーザの嗜好等を収集し、その収集結果に
基づいて、ユーザに提供するマルチメディアパッケージ
データのリンク構造や内容を、いわば自動的にカスタマ
イズするようにしたが、このようなカスタマイズは、ユ
ーザ自身が、パッケージサーバ１に、パッケージ内容変
更情報やリンクデータ変更情報を登録して行うようにす
ることも可能である。但し、ユーザ自身によるカスタマ
イズが行われ、リンク先が変更された場合には、その変
更後のリンク先のマルチメディアパッケージデータ以降
にリンクされているマルチメディアパッケージデータ
は、ユーザに提供しないようにすることが可能である。
この場合、ユーザによる、いわば勝手なカスタマイズを
抑制することができる。
【０１７８】さらに、マルチメディアパッケージデータ
のリンク先は、マルチメディアパッケージデータではな
い、例えば、Ｗｅｂページ等に変更することが可能であ
る。また、この場合、そのＷｅｂページから、マルチメ
ディアパッケージデータにリンクをはることを禁止する
ようにすることもできるし、許可するようにすることも
できる。
【０１７９】さらに、図２６に示したユーザ嗜好情報と
変更情報とは、ユーザ端末３において作成するようにす
ることが可能である。この場合、ユーザ端末３におい
て、変更情報を、リクエスト信号に含めて、パッケージ
サーバ１に送信し、パッケージサーバ１において、その
リクエスト信号に含まれる変更情報に基づいて、リンク
構造や内容を変更したマルチメディアパッケージデータ
を作成して、ユーザ端末３に送信するようにすることが
できる。この場合も、上述した場合と同様に、ユーザ
は、自身にとって、利便性の高い形で、マルチメディア
パッケージデータの提供を受けることができる。
【０１８０】次に、例えば、上述のように、パッケージ
サーバ１からユーザ端末３に、パッケージデータを提供
する場合に、ユーザ端末３におけるパッケージデータの
出力に伴って、広告情報を、ユーザに必然的に見せるこ
と等ができれば便利である。
【０１８１】このように、パッケージデータの出力に伴
って、広告情報を、ユーザに必然的に見せる方法として
は、例えば、パッケージデータと広告情報とを対応付け
て、ユーザ端末３に提供し、ユーザ端末３の専用ブラウ
ザ６２において、パッケージデータを出力するととも
に、広告情報を出力するようにする方法があるが、この
方法では、例えば、ユーザ端末３において、広告情報
が、記憶部５２から消去された場合には、パッケージデ
ータを出力するときに、広告情報を出力することができ
なくなる。さらに、広告情報が、記録部５２から消去さ
れなくても、パッケージデータのファイルが、専用ブラ
ウザ６２以外のアプリケーションで開かれた場合には、
やはり、広告情報は出力されない。
【０１８２】また、例えば、従来の電子すかしの技術を
利用し、パッケージデータを構成する画像データや音声
データ等の下位数ビットに、本来のパッケージデータに
替えて、広告情報を配置しておき、ユーザ端末３の専用
ブラウザ６２において、パッケージデータを出力すると
ともに、広告情報を出力するようにする方法があるが、
この方法でも、例えば、ユーザ端末３において、広告情
報が下位ビットに配置されたパッケージデータのファイ
ルが、専用ブラウザ６２以外のアプリケーションで開か
れた場合には、広告情報は出力されない。
【０１８３】そこで、ユーザ端末３におけるパッケージ
データの出力に伴って、広告情報を、ユーザに必然的に
見せる方法としては、例えば、本件出願人が先に提案し
た埋め込み符号化／復号を利用することができる。
【０１８４】ここで、埋め込み符号化／復号について
は、例えば、本件出願人が先に出願した、例えば、特願
平１０−２０００９３号や、特願平１０−２２２９５１
号、特願平１０−３３３７００号、特願平１１−１２９
９１９号、特願平１１−１６０５２９号、特願平１１−
１６０５３０号、特願平１１−２８４１９８号（特願平
１０−２８５３１０号を基礎とする国内優先権主張出
願）、特願平１１−２８４１９９号（特願平１０−２８
５３０９号を基礎とする国内優先権主張出願）、特願平
１１−２８４２００号（特願平１０−２８５３０８号を
基礎とする国内優先権主張出願）等に、その詳細が記載
されているが、以下に、そのうちの幾つかの手法につい
て説明する。
【０１８５】図２７は、埋め込み符号化／復号を行う埋
め込み符号化／復号システムの一実施の形態の構成例を
示している。
【０１８６】この埋め込み符号化／復号システムは、符
号化装置１１０および復号装置１２０で構成されてお
り、符号化装置１１０は、符号化対象としての、例え
ば、画像を符号化して符号化データを出力し、復号装置
１２０は、その符号化データを、元の画像に復号するよ
うになされている。
【０１８７】即ち、画像データベース１０１は、符号化
すべき画像（例えば、ディジタル画像）を記憶してい
る。そして、画像データベース１０１からは、そこに記
憶されている画像が読み出され、埋め込み符号化器１０
３に供給される。
【０１８８】また、付加情報データベース１０２は、符
号化対象の画像に埋め込むべき情報としての付加情報
（ディジタルデータ）を記憶している。そして、付加情
報データベース１０２からも、そこに記憶されている付
加情報が読み出され、埋め込み符号化器１０３に供給さ
れる。
【０１８９】埋め込み符号化器１０３では、画像データ
ベース１０１からの画像、および付加情報データベース
１０２からの付加情報が受信される。さらに、埋め込み
符号化器１０３は、画像データベース１０１からの画像
が有するエネルギの偏りを利用して復号を行うことがで
きるように、その画像を、付加情報データベース１０２
からの付加情報にしたがって符号化して出力する。即
ち、埋め込み符号化器１０３は、画像が有するエネルギ
の偏りを利用して復号を行うことができるように、画像
に付加情報を埋め込むことで、その画像を符号化し、符
号化データを出力する。埋め込み符号化器１０３が出力
する符号化データは、例えば、半導体メモリ、光磁気デ
ィスク、磁気ディスク、光ディスク、磁気テープ、相変
化ディスクなどでなる記録媒体１０４に記録され、ある
いは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Ca
ble Television）網、インターネット、公衆回線などで
なる伝送媒体１０５を介して伝送され、復号装置１２０
に提供される。
【０１９０】復号装置１２０は、埋め込み復号器１０６
で構成され、そこでは、記録媒体１０４または伝送媒体
１０５を介して提供される符号化データが受信される。
さらに、埋め込み復号器１０６は、その符号化データ
を、画像が有するエネルギの偏りを利用して、元の画像
および付加情報に復号する。復号された画像は、例え
ば、図示せぬモニタに供給されて表示される。
【０１９１】なお、付加情報としては、例えば、元の画
像に関連するテキストデータや、音声データ、その画像
を縮小した縮小画像等は勿論、元の画像に無関係なデー
タも用いることができる。
【０１９２】次に、図２７の埋め込み符号化器３におけ
る符号化（埋め込み符号化）、および埋め込み復号器６
における復号（埋め込み復号）の原理について説明す
る。
【０１９３】一般に、情報と呼ばれるものは、エネルギ
（エントロピー）の偏り（普遍性）を有し、この偏り
が、情報（価値ある情報）として認識される。即ち、例
えば、ある風景を撮影して得られる画像が、そのような
風景の画像であると人によって認識されるのは、画像
（画像を構成する各画素の画素値など）が、その風景に
対応したエネルギの偏りを有するからであり、エネルギ
の偏りがない画像は、雑音等にすぎず、情報としての利
用価値はない。
【０１９４】従って、価値ある情報に対して、何らかの
操作を施し、その情報が有する本来のエネルギの偏り
を、いわば破壊した場合でも、その破壊されたエネルギ
の偏りを元に戻すことで、何らかの操作が施された情報
も、元の情報に戻すことができる。即ち、情報を符号化
して得られる符号化データは、その情報が有する本来の
エネルギの偏りを利用して、元の価値ある情報に復号す
ることができる。
【０１９５】ここで、情報が有するエネルギ（の偏り）
を表すものとしては、例えば、相関性、連続性、相似性
などがある。
【０１９６】情報の相関性とは、その情報の構成要素
（例えば、画像であれば、その画像を構成する画素やラ
インなど）どうしの相関（例えば、自己相関や、ある構
成要素と他の構成要素との距離など）を意味する。例え
ば、画像の相関性を表すものとしては、画像のライン間
の相関があり、この相関を表す相関値としては、例え
ば、２つのラインにおける、対応する各画素値の差分の
２乗和等を用いることができる（この場合、相関値が小
さいことは、ライン間の相関が大きいことを表し、相関
値が大きいことは、ライン間の相関が小さいことを表
す）。
【０１９７】即ち、例えば、いま、図２８に示すような
Ｈライン１１０２を有する画像１１０１があった場合
に、その上から１行目のライン（第１ライン）１１０３
と、他のラインとの相関は、一般に、図２９（Ａ）に示
すように、第１ライン１１０３との距離が近いライン
（図２８における画像１１０１の上側のライン）ほど、
第Ｍライン１１０４についての相関１２０１として示す
ように大きくなり、第１ライン１１０３との距離が遠い
ライン（図２８における画像の下側のライン）ほど、第
Ｎライン１１０５についての相関１２０２として示すよ
うに小さくなる。従って、第１ライン１１０３から近い
ほど、第１ライン１１０３との相関が大きくなり、遠い
ほど相関が小さくなるという相関の偏りがある。
【０１９８】そこで、いま、図２８の画像１１０１にお
いて、第１ライン１１０３から比較的近い第Ｍライン１
１０４と、第１ライン１１０３から比較的遠い第Ｎライ
ン１１０５との画素値を入れ替える操作を行い（１＜Ｍ
＜Ｎ≦Ｈ）、その入れ替え後の画像１１０１について、
第１ライン１１０３と、他のラインとの相関を計算値す
ると、それは、例えば、図２９（Ｂ）に示すようにな
る。
【０１９９】即ち、入れ替え後の画像１１０１では、第
１ライン１１０３から近い第Ｍライン（入れ替え前の第
Ｎライン１１０５）との相関１２０３が小さくなり、第
１ライン１１０３から遠い第Ｎライン（入れ替え前の第
Ｍライン１１０４）との相関１２０４が大きくなる。
【０２００】従って、図２９（Ｂ）では、第１ライン１
１０３から近いほど相関が大きくなり、遠いほど相関が
小さくなるという相関性の偏りが破壊されている。しか
しながら、画像については、一般に、第１ライン１１０
３から近いほど相関が大きくなり、遠いほど相関が小さ
くなるという相関性の偏りを利用することにより、破壊
された相関性の偏りを復元することができる。即ち、図
２９（Ｂ）において、第１ライン１１０３から近い第Ｍ
ラインとの相関１２０３が小さく、第１ライン１１０３
から遠い第Ｎラインとの相関１２０４が大きいのは、画
像１１０１が有する本来の相関性の偏りからすれば、明
らかに不自然であり（おかしく）、第Ｍラインと第Ｎラ
インとは入れ替えるべきである。そして、図２９（Ｂ）
における第Ｍラインと第Ｎラインとを入れ替えること
で、図２９（Ａ）に示すような本来の相関性の偏りを有
する画像、即ち、元の画像１１０１を復号することがで
きる。
【０２０１】ここで、図２８および図２９で説明した場
合においては、ラインの入れ替えが、画像の符号化を行
うこととなる。また、その符号化に際し、埋め込み符号
化器１０３では、例えば、何ライン目を移動するかや、
どのラインどうしを入れ替えるかなどが、付加情報にし
たがって決定されることになる。一方、埋め込み復号器
１０６では、符号化後の画像、即ち、ラインの入れ替え
られた画像を、その相関を利用して、ラインを元の位置
に入れ替えることにより、元の画像に戻すことが、画像
を復号することとなる。さらに、その復号に際し、埋め
込み復号器１０６において、例えば、何ライン目を移動
したかや、どのラインどうしを入れ替えたかなどを検出
することが、画像に埋め込まれた付加情報を復号するこ
とになる。
【０２０２】次に、図３０は、画像の相関性を利用して
元に戻すことができるように、画像に付加情報を埋め込
む埋め込み符号化を行う場合の図２７の埋め込み符号化
器１０３の構成例を示している。
【０２０３】画像データベース１０１から供給される画
像は、フレームメモリ１３１に供給されるようになされ
ており、フレームメモリ１３１は、画像データベース１
０１からの画像を、例えば、フレーム単位で一時記憶す
るようになされている。
【０２０４】ＣＰＵ（Central Processing Unit）１３
２は、プログラムメモリ１３３に記憶されたプログラム
を実行することで、後述する埋め込み符号化処理を行う
ようになされている。即ち、ＣＰＵ１３２は、付加情報
データベース２から供給される付加情報を、例えば、所
定ビット数単位で受信し、その所定ビットごとの付加情
報を、フレームメモリ１３１に記憶された画像に埋め込
むようになされている。具体的には、ＣＰＵ１３２は、
フレームメモリ１３１に記憶された画像を構成する一部
の画素を選択し、その選択した画素に対して、付加情報
に対応した処理であって、画像の相関性を利用して元に
戻すことができるものを施すことにより、画素に、付加
情報を埋め込むようになされている。
【０２０５】プログラムメモリ１３３は、例えば、ＲＯ
Ｍ（Read Only Memory）やＲＡＭ（Random Access Memo
ry）などで構成され、ＣＰＵ１３２に、埋め込み符号化
処理を行わせるためのコンピュータプログラムを記憶し
ている。
【０２０６】出力Ｉ／Ｆ（Interface）１３４は、フレ
ームメモリ１３１から、付加情報の埋め込まれた画像を
読み出し、符号化データとして出力するようになされて
いる。
【０２０７】なお、フレームメモリ１３１は、複数のフ
レームを記憶することのできるように、複数バンクで構
成されており、バンク切り替えを行うことで、フレーム
メモリ１３１では、画像データベース１０１から供給さ
れる画像の記憶、ＣＰＵ１３２による埋め込み符号化処
理の対象となっている画像の記憶、および埋め込み符号
化処理後の画像（符号化データ）の出力を、同時に行う
ことができるようになされている。これにより、画像デ
ータベース１０１から供給される画像が、動画であって
も、符号化データのリアルタイム出力を行うことができ
るようになされている。
【０２０８】次に、図３１のフローチャートを参照し
て、埋め込み符号化器１０３において行われる埋め込み
符号化処理について説明する。
【０２０９】画像データベース１０１では、そこに記憶
されている画像が読み出され、例えば、１フレーム単位
で、フレームメモリ１３１に供給されて記憶される。
【０２１０】一方、ＣＰＵ１３２は、付加情報データベ
ース１０２から、付加情報を、例えば１ビットずつ受信
しており、１ビットの付加情報を受信すると、ステップ
Ｓ１０１において、その１ビットの付加情報を埋め込む
処理の対象とする画素（処理対象画素）を、フレームメ
モリ１３１に記憶された画像から選択する。
【０２１１】ここで、本実施の形態では、例えば、図３
２に示すように、フレームメモリ１３１に記憶された画
像から、五の目格子状に、画素が選択されるようになさ
れている。即ち、ＣＰＵ１３２では、ステップＳ１０１
の処理が行われるごとに、図３２において、斜線を付し
ていない画素が、例えば、ラインスキャン順に、順次、
処理対象画素として選択されるようになされている。な
お、図３２におけるｐ（ｘ，ｙ）は、左からｘ番目の、
上からｙ番目の画素を表している（後述する図３６にお
いても同様）。
【０２１２】その後、ＣＰＵ１３２は、ステップＳ１０
２において、付加情報データベース１０２から受信した
付加情報が１または０のうちのいずれであるかを判定す
る。ステップＳ１０２において、付加情報が、１または
０のうちの、例えば０であると判定された場合、ステッ
プＳ１０１に戻る。即ち、ＣＰＵ１３２は、付加情報が
０である場合には、処理対象画素に、何らの処理も施さ
ずに（所定の定数としての０を加算し）、ステップＳ１
０１に戻り、次の１ビットの付加情報が、付加情報デー
タベース１０２から送信されてくるのを待って、次に処
理対象画素とすべき画素を選択し、以下、同様の処理を
繰り返す。
【０２１３】また、ステップＳ１０２において、付加情
報が、１または０のうちの、例えば１であると判定され
た場合、ステップＳ１０３に進み、ＣＰＵ１３２は、処
理対象画素に対して、所定の処理を施す。即ち、ＣＰＵ
１３２は、所定の定数としての、例えば、２の、画像を
構成する画素に割り当てられているビット数−１乗を、
処理対象画素の画素値に加算する。
【０２１４】従って、画像を構成する画素の画素値とし
て、例えば、８ビットが割り当てられている場合には、
ステップＳ１０３では、２7が、処理対象画素の画素値
に加算されることになる。
【０２１５】なお、この加算は、画素値が、例えば、Ｙ
ＵＶなどで表現されている場合には、輝度成分Ｙ、また
は色成分Ｕ，Ｖのいずれに対して行っても良い。また、
加算は、画素値が、例えば、ＲＧＢで表現されている場
合には、Ｒ，Ｇ，Ｂのいずれに対して行っても良い。
【０２１６】ステップＳ１０３において、処理対象画素
の画素値に、２7が加算された後は、ステップＳ１０４
に進み、その加算結果がオーバフローしているかどうか
が判定される。ステップＳ１０４において、加算結果が
オーバフローしていないと判定された場合、ステップＳ
１０５をスキップして、ステップＳ１０６に進み、ＣＰ
Ｕ１３２は、その加算結果を、処理対象画素の画素値と
して、フレームメモリ１３１に書き込み（上書きし）、
ステップＳ１に戻る。
【０２１７】また、ステップＳ１０４において、加算結
果がオーバフローしていると判定された場合、即ち、加
算結果が、２8以上となった場合、ステップＳ１０５に
進み、その加算値の補正が行われる。即ち、ステップＳ
１０５では、オーバフローした加算値が、例えば、その
オーバフローした分（オーバフローした加算値から２ 8
を減算した値）に補正される。そして、ステップＳ１０
６に進み、ＣＰＵ１３２は、その補正後の加算結果を、
処理対象画素の画素値として、フレームメモリ１３１に
書き込み、次の１ビットの付加情報が、付加情報データ
ベース１０２から送信されてくるのを待って、ステップ
Ｓ１０１に戻る。
【０２１８】なお、フレームメモリ１３１に記憶され
た、ある１フレームの画像について処理が行われた後
は、出力Ｉ／Ｆ１３４は、その１フレームの画像（付加
情報が埋め込まれた画像）を、符号化データとして読み
出し、また、ＣＰＵ１３２は、フレームメモリ１３１に
記憶された、次の１フレームの画像を対象に、処理を続
行する。
【０２１９】以上のように、フレームメモリ１３１に記
憶された画像を構成する一部の画素を選択し、その選択
した画素に対して、付加情報に対応した処理であって、
画像の相関性を利用して元に戻すことができるものを施
すことにより、画素に、付加情報を埋め込むことで、画
像の画質の劣化を極力なくし、かつデータ量を増加せず
に、画像に付加情報を埋め込むことができる。
【０２２０】即ち、付加情報が埋め込まれた画素は、画
像の相関性、即ち、ここでは、付加情報が埋め込まれな
かった画素との間の相関を利用することにより、オーバ
ヘッドなしで、元の画素と付加情報に復号（戻す）こと
ができる。従って、その結果得られる復号画像（再生画
像）には、基本的に、付加情報を埋め込むことによる画
質の劣化は生じない。
【０２２１】次に、図３３は、図３０の埋め込み符号化
器１０３が出力する符号化データを、画像の相関性を利
用して元の画像と付加情報に復号する図２７の埋め込み
復号器１０６の構成例を示している。
【０２２２】符号化データ、即ち、付加情報が埋め込ま
れた画像（以下、適宜、埋め込み画像という）は、フレ
ームメモリ１４１に供給されるようになされており、フ
レームメモリ１４１は、埋め込み画像を、例えば、フレ
ーム単位で一時記憶するようになされている。なお、フ
レームメモリ１４１も、図３０のフレームメモリ１３１
と同様に構成され、バンク切り替えを行うことにより、
埋め込み画像が、動画であっても、そのリアルタイム処
理が可能となっている。
【０２２３】出力Ｉ／Ｆ１４２は、フレームメモリ１４
１から、ＣＰＵ１４３による、後述する埋め込み復号処
理の結果得られる画像（復号画像）を読み出して出力す
るようになされている。
【０２２４】ＣＰＵ１４３は、プログラムメモリ１４４
に記憶されたプログラムを実行することで、埋め込み復
号処理を行うようになされている。即ち、ＣＰＵ１４３
は、フレームメモリ１４１に記憶された埋め込み画像
を、画像の相関性を利用して元の画像と付加情報に復号
するようになされている。具体的には、ＣＰＵ１４３
は、埋め込み画像を構成する一部の画素を、処理対象画
素として選択し、図３４に示すように、その処理対象画
素に対して、図３０のＣＰＵ１３２が施した処理と逆の
処理を施すことで、その画素値を変更する。さらに、図
３４に示すように、ＣＰＵ１４３は、画素値の変更前の
処理対象画素と、その周辺画素（図３４の実施の形態で
は、左右に隣接する画素）との相関値Ｒ1（第１の相
関）を演算するとともに、画素値の変更された処理対象
画素と、その画素の周辺画素との相関値Ｒ2（第２の相
関）を演算し、その相関値Ｒ1とＲ2とを比較する。そし
て、ＣＰＵ１４３は、その比較結果に基づいて、画素値
の変更前または変更後の処理対象画素のうちのいずれか
一方を、復号結果とするとともに、その処理対象画素に
埋め込まれた付加情報（ここでは、１ビットの１または
０のうちのいずれか一方）を復号する。
【０２２５】プログラムメモリ１４３は、例えば、図３
０のプログラムメモリ１３３と同様に構成され、ＣＰＵ
１４３に、埋め込み復号化処理を行わせるためのコンピ
ュータプログラムを記憶している。
【０２２６】次に、図３５のフローチャートを参照し
て、埋め込み復号器１０６において行われる埋め込み復
号処理について説明する。
【０２２７】フレームメモリ１４１では、そこに供給さ
れる埋め込み画像が、例えば、１フレーム単位で順次記
憶される。
【０２２８】一方、ＣＰＵ１４３は、ステップＳ１１１
において、フレームメモリ１４１に記憶されたあるフレ
ームの埋め込み画像から、復号を行う処理の対象とする
画素（処理対象画素）を選択する。
【０２２９】ここで、ＣＰＵ１４３では、図３２に示し
たように、図３０のＣＰＵ１３２と同様に、フレームメ
モリ１４１に記憶された埋め込み画像から、五の目格子
状に、画素が選択されるようになされている。即ち、Ｃ
ＰＵ１４３では、ステップＳ１１１の処理が行われるご
とに、図３２において、斜線を付していない画素が、例
えば、ラインスキャン順に、順次、処理対象画素として
選択されるようになされている。
【０２３０】その後、ステップＳ１１２に進み、ＣＰＵ
１４３は、処理対象画素に対し、図３０のＣＰＵ１３２
が行った処理と逆の処理を施す。即ち、ＣＰＵ１３２
は、所定の定数としての、例えば、２の、画像を構成す
る画素に割り当てられているビット数−１乗を、処理対
象画素の画素値から減算する。
【０２３１】従って、上述したように、画像を構成する
画素の画素値として、例えば、８ビットが割り当てられ
ている場合においては、ステップＳ１１２では、２
7が、処理対象画素の画素値から減算されることにな
る。
【０２３２】なお、この減算は、画素値が、例えば、Ｙ
ＵＶなどで表現されている場合には、輝度成分Ｙ、また
は色成分Ｕ，Ｖのいずれに対して行っても良い。また、
減算は、画素値が、例えば、ＲＧＢで表現されている場
合には、Ｒ，Ｇ，Ｂのいずれに対して行っても良い。但
し、ステップＳ１１２における減算は、図３１のステッ
プＳ１０３における加算が行われたものと同一のものに
対して行う必要がある。即ち、画素値が、例えば、ＹＵ
Ｖなどで表現されており、図３１のステップＳ１０３に
おける加算が、ＹＵＶのうちの、例えば、Ｙ成分に対し
て行われた場合には、ステップＳ１１２における減算
は、やはり、Ｙ成分に対して行う必要がある。
【０２３３】ステップＳ１１２において、処理対象画素
の画素値から、２7が減算された後は、ステップＳ１１
３に進み、その減算結果がアンダフローしているかどう
かが判定される。ステップＳ１１３において、減算結果
がアンダフローしていないと判定された場合、ステップ
Ｓ１１４をスキップして、ステップＳ１１５に進む。
【０２３４】また、ステップＳ１１３において、減算結
果がアンダフローしていると判定された場合、即ち、加
算結果が、０未満となった場合、ステップＳ１１４に進
み、その減算値の補正が行われる。即ち、ステップＳ１
１４では、アンダフローした減算値が、例えば、その減
算値に２8を加算した値に補正され、ステップＳ１１５
に進む。
【０２３５】ステップＳ１１５では、処理対象画素の画
素値（ステップＳ１１２で２7を減算していないもの）
（以下、適宜、第１の画素値という）Ｐ1と、その画素
値から２7を減算した減算値（以下では、ステップＳ１
１４で補正されたものも含むものとする）（以下、適
宜、第２の画素値という）Ｐ2のそれぞれについて、処
理対象画素の周辺画素としての、例えば、その左右に隣
接する画素との間の相関値が演算される。
【０２３６】即ち、ステップＳ１１５では、例えば、処
理対象画素の第１の画素値Ｐ1と、その左右の画素それ
ぞれの画素値との差分の絶対値が演算され、その２つの
絶対値の加算値が、処理対象画素の第１の画素値Ｐ1に
ついての相関値Ｒ1として求められる。さらに、ステッ
プＳ１１５では、処理対象画素の第２の画素値Ｐ2につ
いても、その左右の画素それぞれの画素値との差分の絶
対値どうしの加算値が演算され、それが、処理対象画素
の第２の画素値Ｐ2の相関値Ｒ2として求められる。
【０２３７】なお、ステップＳ１１５において、処理対
象画素との間の相関を求めるのに用いる画素は、その左
右に隣接する画素に限定されるものではなく、上下に隣
接する画素であっても良いし、時間的に隣接する画素で
あっても良い。また、必ずしも、空間的または時間的に
隣接する画素である必要もない。但し、処理対象画素と
の相関を求めるにあたっては、図３２において、斜線を
付した画素、即ち、付加情報が埋め込まれていない画素
を用いるのが望ましい。これは、処理対象画素につい
て、付加情報が埋め込まれた画素との相関を求めても、
元の画像についての相関を得ることができず、従って、
画像の相関性を利用することができないため、付加情報
が埋め込まれた画素から、元の画素値および付加情報
を、正確に復号するのが困難となるからである。また、
画像の相関性を利用して、処理対象画素を復号する以
上、処理対象画素との相関値を求めるのに用いる画素
は、その処理対象画素との空間的または時間的距離が近
いものであるのが望ましい。
【０２３８】第１の画素値Ｐ1についての相関値Ｒ1、お
よび第２の画素値Ｐ2についての相関値Ｒ2の算出後は、
ステップＳ１１６に進み、ＣＰＵ１４３において、その
相関値Ｒ1とＲ2とが比較される。
【０２３９】ステップＳ１１６において、相関値Ｒ1
が、相関値Ｒ2より大きい（以上である）と判定された
場合、ステップＳ１１７に進み、ＣＰＵ１４３におい
て、付加情報の復号結果として、０が出力され、ステッ
プＳ１１１に戻る。そして、この場合、フレームメモリ
１４１の記憶値は書き換えられず、従って、処理対象画
素の画素値の復号結果は、その画素値Ｐ1のままとされ
る。
【０２４０】即ち、第１の画素値Ｐ1についての相関値
Ｒ1の方が、第２の画素値Ｐ2についての相関値Ｒ2より
大きいということは、処理対象画素の画素値としては、
画素値Ｐ2よりも、画素値Ｐ1の方が確からしいこととな
るので、処理対象画素の画素値の復号結果は、その確か
らしい画素値Ｐ1とされる。さらに、画素値Ｐ1は、ステ
ップＳ１１２で２7が減算されていないものであるか
ら、図３１のステップＳ１０３で２7が加算されていな
いと考えられる。そして、図３１の埋め込み符号化処理
では、付加情報が０の場合には、２7を加算しないこと
としているから、第１の画素値Ｐ1についての相関値Ｒ1
の方が大きく、画素値Ｐ1が、処理対象画素の画素値と
して確からしい場合には、そこに埋め込まれた付加情報
は０ということになる。
【０２４１】一方、ステップＳ１１６において、相関値
Ｒ2が、相関値Ｒ1より大きい（以上である）と判定され
た場合、ステップＳ１１８に進み、ＣＰＵ１４３におい
て、フレームメモリ１４１に記憶された処理対象画素の
画素値が、その画素値から２ 7を減算した減算値、即
ち、第２の画素値Ｐ2に書き換えられる。従って、この
場合、処理対象画素の画素値の復号結果は、その画素値
Ｐ2とされる。そして、ステップＳ１１９に進み、ＣＰ
Ｕ１４３において、付加情報の復号結果として、１が出
力され、ステップＳ１１１に戻る。
【０２４２】即ち、第２の画素値Ｐ2についての相関値
Ｒ2の方が、第１の画素値Ｐ1についての相関値Ｒ1より
大きいということは、処理対象画素の画素値としては、
画素値Ｐ1よりも、画素値Ｐ2の方が確からしいこととな
るので、処理対象画素の画素値の復号結果は、その確か
らしい画素値Ｐ2とされる。さらに、画素値Ｐ2は、ステ
ップＳ１１２で、画素値Ｐ1から２7が減算されたもので
あるから、図３１のステップＳ１０３で、元の画素値に
２7が加算されたものであると考えられる。そして、図
３１の埋め込み符号化処理では、付加情報が１の場合に
は、２7を加算することとしているから、第２の画素値
Ｐ2についての相関値Ｒ2の方が大きく、画素値Ｐ2が、
処理対象画素の画素値として確からしい場合には、そこ
に埋め込まれた付加情報は１ということになる。
【０２４３】ここで、上述のようにして求められる相関
値Ｒ1とＲ2との差分が小さい場合には、画素値Ｐ1とＰ2
のうちのいずれが、処理対象画素の画素値として確から
しいかは、一概にはいえない。そこで、このような場合
には、処理対象画素の左右に隣接する画素だけでなく、
他の画素をも用いて、画素値Ｐ1，Ｐ2それぞれについて
の相関値を求め、その相関値を比較することで、画素値
Ｐ1，Ｐ2のうちのいずれが、処理対象画素の画素値とし
て確からしいかを決定することができる。
【０２４４】以上のように、付加情報が埋め込まれた画
像である符号化データを、画像の相関性を利用して、元
の画像と付加情報に復号するようにしたので、その復号
のためのオーバヘッドがなくても、符号化データを、元
の画像と付加情報に復号することができる。従って、そ
の復号画像（再生画像）には、基本的に、付加情報を埋
め込むことによる画質の劣化は生じない。
【０２４５】なお、本実施の形態では、処理対象画素
と、他の画素との相関値として、それらの画素値の差分
の絶対値を用いるようにしたが、相関値は、これに限定
されるものではない。
【０２４６】また、本実施の形態では、図３２に示した
ように、画像から、五の目格子状に、画素を選択し、そ
の画素に、付加情報を埋め込むようにしたが、付加情報
を埋め込む画素の選択パターンは、これに限定されるも
のではない。但し、付加情報を埋め込んだ画素の復号に
あたっては、上述したように、付加情報が埋め込まれて
いない画素を用いて相関を求めるのが望ましく、また、
画素どうしの相関は、基本的に、それらの間の空間的ま
たは時間的距離が離れるほど小さくなっていく。従っ
て、正確な復号を行う観点からは、付加情報を埋め込む
画素は、空間的または時間的に、いわゆる疎らになるよ
うに選択するのが望ましい。一方、多くの付加情報を埋
め込む観点、即ち、圧縮率の観点からは、付加情報を埋
め込む画素は、ある程度多くする必要がある。従って、
付加情報を埋め込む画素は、復号の正確さと、圧縮率と
をバランスさせて選択するのが望ましい。
【０２４７】さらに、本実施の形態では、処理対象画素
として選択された１画素に、１ビットの付加情報を埋め
込むようにしたが、１画素に、２ビット以上の付加情報
を埋め込むようにすることも可能である。例えば、１画
素に、２ビットの付加情報を埋め込む場合には、その２
ビットの付加情報にしたがって、例えば、０，２6，
２7，２6＋２7のうちのいずれかを、画素値に加算する
ようにすれば良い。
【０２４８】また、本実施の形態では、画素値に、０ま
たは２7のうちのいずれかを加算することで（画素値
に、２7を加算しないか、または加算することで）、付
加情報を埋め込むようにしたが、画素値に加算する値
は、２7に限定されるものではない。但し、画素値の下
位ビットにしか影響を与えないような値を加算する場合
には、その加算値と、元の画素値とが、あまり異なった
ものとならず、従って、図３５のステップＳ１１５で求
められる相関値Ｒ1とＲ2も、あまり異なったものとなら
なくなる。これは、画素値および付加情報の復号結果の
精度を劣化させることとなるから、付加情報にしたがっ
て、画素値に加算する値は、元の画素値の上位ビットに
影響を与えるような値とするのが望ましい。
【０２４９】さらに、本実施の形態では、画素値に、所
定値を加算することで、付加情報の埋め込みを行うよう
にしたが、付加情報の埋め込みは、加算以外の操作（例
えば、ビット反転など）を、画素値に施すことによって
行うことも可能である。但し、上述したように、画素値
および付加情報の復号結果の精度の劣化を防止する観点
から、画素値に施す操作は、元の画素値についての相関
と、操作を施した画素値についての相関とが大きく異な
るようなものであることが望ましい。
【０２５０】また、本実施の形態では、処理対象画素と
して選択された１画素に、１ビットの付加情報を埋め込
むようにしたが、複数画素に、１ビットの付加情報を埋
め込むようにすることも可能である。即ち、例えば、図
３６において○印で示す位置関係にある４画素に、１ビ
ットの付加情報を埋め込むようにすることなどが可能で
ある。
【０２５１】具体的には、例えば、図３６において、４
つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），
ｐ（５，８）に注目した場合、符号化時には、１ビット
の付加情報にしたがい、画素ｐ（１，４），ｐ（５，
４），ｐ（１，８），ｐ（５，８）それぞれの画素値に
対して、同一の操作を施すことで、１ビットの付加情報
を埋め込む。一方、復号時には、４つの画素ｐ（１，
４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それ
ぞれについて、上述したような第１および第２の画素値
Ｐ1，Ｐ2の相関値Ｒ1，Ｒ2を求め、その相関値Ｒ1，Ｒ2
の大小関係を比較する。そして、その比較結果の多数決
によって、４つの画素ｐ（１，４），ｐ（５，４），ｐ
（１，８），ｐ（５，８）それぞれの画素値と、付加情
報の復号結果を決定すれば良い。あるいは、また、４つ
の画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ
（５，８）それぞれについての第１の画素値Ｐ1の相関
値Ｒ1の総和と、第２の画素値Ｐ2の相関値Ｒ2の総和と
を求め、その２つの総和の大小関係に基づいて、４つの
画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ
（５，８）それぞれの画素値と、付加情報の復号結果を
決定しても良い。
【０２５２】ここで、図３２に示したように、処理対象
画素として、画像から、五の目格子状に、画素を選択
し、その選択された各画素に、１ビットの付加情報を埋
め込むようにした場合には、画像の画素数の約半分のビ
ット数の付加情報を埋め込むことができるが、上述した
ように、４画素に、１ビットの付加情報を埋め込む場合
には、画像に埋め込むことのできる付加情報は、その画
像の画素数の約半分の１／４のビット数となる。
【０２５３】次に、情報の連続性についてであるが、例
えば、画像のある１ラインについて注目した場合に、そ
の注目ラインにおいて、図３７（Ａ）に示すような、画
素値の変化パターンが連続している波形１３０１が観察
されたとすると、その注目ラインと離れた他のラインで
は、注目ラインとは異なる画素値の変化パターンが観察
される。従って、注目ラインと、その注目ラインと離れ
た他のラインとにおいては、画素値の変化パターンが異
なり、連続性においても偏りがある。即ち、画像のある
部分の画素値の変化パターンに注目すると、その注目部
分に隣接する部分には、同様の画素値の変化パターンが
存在し、注目部分から離れるにつれて、異なる画素値の
変化パターンが存在するという連続性の偏りがある。
【０２５４】そこで、いま、図３７（Ａ）に示した、画
像のあるラインにおける、画素値の変化パターンが連続
している波形１３０１の一部を、例えば、図３７（Ｂ）
に示すように、離れたラインにおける波形１３０２と入
れ替える。
【０２５５】この場合、画像の連続性の偏りが破壊され
る。しかしながら、近接する部分の画素値の変化パター
ンは連続しており、離れるほど、画素値の変化パターン
が異なるという連続性の偏りを利用することにより、破
壊された連続性の偏りを復元することができる。即ち、
図３７（Ｂ）において、波形の一部１３０２の画素値の
変化パターンが、他の部分の画素値の変化パターンに比
較して大きく異なっているのは、波形が有する本来の連
続性の偏りからすれば、明らかに不自然であり、他の部
分の画素値の変化パターンと異なっている部分１３０２
は、他の部分の画素値の変化パターンと同様の波形に入
れ替えるべきである。そして、そのような入れ替えを行
うことで、連続性の偏りが復元され、これにより、図３
７（Ｂ）に示した波形から、図３７（Ａ）に示した元の
波形を復号することができる。
【０２５６】ここで、図３７で説明した場合において
は、波形の一部を、その周辺の画素値の変化パターンと
は大きく異なる画素値の変化パターンの波形に入れ替え
ることが、画像の符号化を行うこととなる。また、その
符号化に際し、埋め込み符号化器１０３では、例えば、
波形のどの部分の画素値の変化パターンを入れ替えるの
かや、画素値の変化パターンをどの程度大きく変化させ
るのかなどが、付加情報にしたがって決定されることに
なる。一方、埋め込み復号器１０６では、符号化後の信
号、即ち、大きく異なる画素値の変化パターンを一部に
有する波形を、周辺の画素値の変化パターンは連続して
おり、離れるほど、画素値の変化パターンが異なるとい
う連続性の偏りを利用して、元の波形に戻すことが、そ
の元の波形を復号することとなる。さらに、その復号に
際し、埋め込み復号器１０６において、例えば、波形の
どの部分の画素値の変化パターンが大きく変化していた
のかや、画素値の変化パターンがどの程度大きく変化し
ていたのかなどを検出することが、埋め込まれた付加情
報を復号することになる。
【０２５７】次に、画像の連続性を利用して、埋め込ま
れる付加情報が復号されるように、画像に付加情報を埋
め込む埋め込み符号化処理について説明する。なお、こ
の場合の埋め込み符号化器１０３の構成は、図３０にお
ける場合と同様の構成であるので、説明を省略する。
【０２５８】図３８は、画像の連続性を利用した埋め込
み符号化処理を示すフローチャートである。
【０２５９】まず最初に、ステップＳ１２１において、
ＣＰＵ１３２は、画像データベース１０１から１フレー
ム分の画像データがフレームメモリ１３１に転送される
ように制御すると共に、画像データの連続領域を検出
し、更に、連続領域の位置を示す連続領域データを、図
示せぬワーク用のメモリ（ワークメモリ）に記憶する。
【０２６０】すなわち、ＣＰＵ１３２は、図３９（Ａ）
に示すような、２２４（＝ ７×３２）×１６００画素
からなる画像データの連続領域を検出する場合には、例
えば、画像データを、３２×１画素毎の画像ブロックに
分割し、その画像ブロック毎にＤＣＴ処理を施して、画
像ブロック毎にＤＣＴ係数を算出する。
【０２６１】ＣＰＵ１３２は、画像ブロックをラスタス
キャン順にスキャンして、順次、注目画像ブロックと
し、注目画像ブロックに対応するＤＣＴ係数と左隣の隣
接画像ブロックの対応するＤＣＴ係数との差分を順に算
出して注目画像ブロックの連続性評価値としてワークメ
モリに記憶させる。ＣＰＵ１３２は、算出された連続性
評価値（差分値）が所定しきい値以下である画像ブロッ
クを連続領域と認識し、その画像ブロックの位置をワー
クメモリに記憶する。ここで、算出された連続領域内の
一部の画像ブロックがノイズ等の影響により連続領域で
はないと判断される可能性もあるので、ＣＰＵ１３２
は、連続領域の検出の後、連続領域の拡大、縮小処理等
により、連続領域内の一部の非連続の画像ブロックを、
連続領域の画像ブロックに変換する補正処理を行う。
【０２６２】その後、ステップＳ１２２において、ＣＰ
Ｕ１３２は、付加情報データベース２から、付加情報
を、例えば６ビット（３ビット＋３ビット）ずつ受信
し、ステップＳ１２３に進む。
【０２６３】ステップＳ１２３において、ＣＰＵ１３２
は、上述の付加情報６ビットを埋め込むための処理対象
画像である、例えば、図３９（Ａ）の第１ライン、及び
第８０１ラインを選択抽出する。このとき、ステップＳ
１２１においてワークメモリに記憶された連続領域デー
タを参照して、ＣＰＵ１３２は、第１ライン、第８０１
ラインの連続領域のみを選択抽出する。図３９の実施の
形態においては、第１ライン、第８０１ラインの全領域
が連続領域であるとして、選択抽出されている。
【０２６４】そして、ステップＳ１２４に進み、ＣＰＵ
１３２は、処理対象画像である、例えば、第１ラインの
画像と、第８０１のラインの画像を入れ替えることによ
り、画像データに付加情報を埋め込む。
【０２６５】即ち、図３９（Ｂ）は、付加情報が埋め込
まれる前の第１ラインの画像データの画素値を示してい
る。また、図３９（Ｃ）は、付加情報が埋め込まれる前
の第８０１ラインの画像データの画素値を示している。
図３９（Ｂ）および図３９（Ｃ）に示すように、第１ラ
インの領域と第８０１ラインの領域では画素値の変化パ
ターン（周波数特性）が異なっている。
【０２６６】例えば、いま、上位３ビットが２で、下位
３ビットが６の６ビットの付加情報が画像データに埋め
込まれるとすると、ＣＰＵ１３２は、上位３ビットの２
を埋め込むため、図３９（Ｂ）の左から２ブロック目を
選択するとともに、下位３ビットの６を埋め込むため、
図３９（Ｃ）の左からの６ブロック目を選択する。更
に、ＣＰＵ１３２は、選択された２ブロック目と６ブロ
ック目の画像データを入れ替えることにより、図３９
（Ｄ）、図３９（Ｅ）に示すような画像データに符号化
する。
【０２６７】その後、ステップＳ１２５において、ＣＰ
Ｕ１３２は、符号化された第１ラインと第８０１ライン
の画像データを、フレームメモリ１３１に書き込み（上
書き）、ステップＳ１２６に進む。
【０２６８】ステップＳ１２６において、ＣＰＵ１３２
は、１フレームの画像データの符号化が終了したか否か
を判別する。ＣＰＵ１３２が、符号化が終了していない
と判別すると、ステップＳ１２２に戻り、再び付加情報
が受信される。そして、ステップＳ１２３に進み、ＣＰ
Ｕ１３２は、次のライン、すなわち第２ラインと第８０
２ラインを選択し、以下、同様の処理を繰り返す。
【０２６９】一方、ステップＳ１２６において、ＣＰＵ
１３２が符号化を終了したと判別すると、フレームメモ
リ１３１に記憶された符号化データが、出力Ｉ／Ｆ１３
４を介して出力され、処理を終了する。
【０２７０】次に、画像の連続性を利用して付加情報が
埋め込まれた符号化データを復号する埋め込み復号処理
について説明する。なお、この場合の埋め込み復号器１
０６の構成は、図３３における場合と同様の構成である
ので、説明を省略する。
【０２７１】図４０は、画像の連続性を利用して、図３
８の埋め込み符号化処理により得られる、符号化データ
を復号する埋め込み復号処理を示すフローチャートであ
る。
【０２７２】まず最初に、ステップＳ１３１において、
ＣＰＵ１４３は、１フレーム単位の符号化データをフレ
ームメモリ１４１に順次記憶する。更に、ＣＰＵ１４３
は、図３８で説明したのと同様の手法により、符号化デ
ータの中から連続領域を抽出し、その画像ブロックの位
置を、連続領域データとして、図示せぬワークメモリに
記憶する。ここで、本実施の形態では、図３９で説明し
たことから、１ラインに３ビットの付加情報が埋め込ま
れるので、１ラインのうち１つの画像ブロックが変更さ
れることにより、画像データは符号化される。よって、
連続領域を抽出する際の拡大、縮小処理により連続領域
内の非連続の１画像ブロックは、連続領域に変換され
る。
【０２７３】ステップＳ１３２において、ＣＰＵ１４３
は、６ビットの付加情報を復号するための処理対象画像
である図３９（Ａ）の１画像ブロック（例えば、図３９
（Ａ）の左上の画像ブロック）を選択抽出する。このと
き、ステップＳ１３１においてワークメモリに記憶され
た連続領域データを参照して、ＣＰＵ１４３は、連続領
域内の画像ブロックのみを選択抽出する。上述したこと
から、ここでは、第１ライン、第８０１ラインの全領域
は連続領域であるとして、選択抽出される。
【０２７４】ステップＳ１３３において、ＣＰＵ１４３
は、ステップＳ１３２において抽出された画像ブロック
をＤＣＴ処理し、ＤＣＴ係数を算出する。
【０２７５】次に、ステップＳ１３４において、ＣＰＵ
１４３は、前の注目画像ブロックのＤＣＴ係数と、現注
目画像ブロックのＤＣＴ係数の差分値を演算し、ワーク
メモリに、その差分値と、現注目画像ブロックのＤＣＴ
係数を記憶させる。なお、前の注目画像ブロックのＤＣ
Ｔ係数がワークメモリに記憶されていないとき、差分値
は０とされる。
【０２７６】ステップＳ１３５において、ＣＰＵ１４３
は、１ラインの処理が終了したか否かを判別し、終了し
ていないとき、ステップＳ１３２に戻る。一方、ステッ
プＳ１３５において、ＣＰＵ１４３が、１ラインの処理
が終了したと判別すると、ステップＳ１３６に処理を進
める。
【０２７７】ステップＳ１３６において、ＣＰＵ１４３
は、ワークメモリに記憶された１ライン分の各画像ブロ
ックのうち、上述の差分値の大きい２つの画像ブロック
を検出し、その画像ブロックの位置をワークメモリ４４
に記憶する。
【０２７８】ステップＳ１３７において、ＣＰＵ１４３
は、ワークメモリに記憶された１ライン分の画像ブロッ
クのうち、差分値が所定値以上の画像ブロック２つを用
いて付加情報を出力する。即ち、ＣＰＵ１４３は、その
ような２つの画像ブロックが隣同士であるとき、左側の
画像ブロック位置をワークメモリに記憶すると共に、付
加情報として出力する。例えば、図３９（Ｄ）に示した
場合では、差分値の大きい画像ブロックは、左から２番
目と３番目の画像ブロックであり、左側の画像ブロック
は２番目であるので、付加情報は２となる。
【０２７９】ここで、左から０番目や７番目の画像ブロ
ックに付加情報が埋め込まれているとき、差分値が所定
値以上の画像ブロックは１つとなる可能性が高い。そこ
で、ＣＰＵ１４３は、１番目の画像ブロックのみの差分
値が大のときは、付加情報はを０とし、７番目の画像ブ
ロックのみの差分値が大のときは、付加情報を７とする
ような、画像データの境界では特別な処理を行う。
【０２８０】ステップＳ１３８において、ＣＰＵ１４３
は、現在の処理対象が画像の上段の１乃至８００ライン
であるか、下段の８０１乃至１６００ラインであるかを
判別する。ＣＰＵ１４３が、現在の処理対象が画像の上
段であると判別すると、ステップＳ１３９に進み、画像
処理領域を上段から下段に変更する。具体的には、ＣＰ
Ｕ１４３は、現在処理されているラインが、例えば第１
ラインであれば、それに８００を加算し、第８０１ライ
ンを処理の対象とする。上段から下段に切り換えられた
後、ステップＳ１３２に戻る。
【０２８１】一方、ステップＳ１３８において、ＣＰＵ
１４３が、現在の処理対象が画像の下段であると判別す
ると、ステップＳ１４０に進み、ＣＰＵ１４３は、ステ
ップＳ１３７において最終的に記憶された２つの位置の
画像ブロックを入れ替え、フレームメモリ１４１に書き
込みむ。
【０２８２】ステップＳ１４１において、ＣＰＵ１４３
は、画像データの復号が１フレーム分終了したか否かを
判別する。ＣＰＵ１４３が、復号が終了していないと判
別すると、ステップＳ１３９に進み、上述したように、
画像処理領域が下段から上段に変更され、以下、同様の
処理が行われる。また、ＣＰＵ１４３が、復号が終了し
たと判別すると、処理を終了する。
【０２８３】ここで、元の画像に復号され、フレームメ
モリ４１に記憶される画像データは、第１ラインと第８
０１ラインのように２ライン毎に、出力Ｉ／Ｆ１４２を
介して順に出力しても良いし、全ての復号処理が終了し
たのち、出力Ｉ／Ｆ１４２から出力しても構わない。
【０２８４】次に、情報の相似性についてであるが、例
えば、風景を撮影した画像等の一部は、画像のフラクタ
ル性（自己相似性）を利用して生成することができるこ
とが知られている。即ち、例えば、図４１（Ａ）に示す
ような、海１４０１と森１４０２を撮影した画像におい
ては、海１４０１全体の画素値の変化パターンと、その
海１４０１の一部の画素値の変化パターンとの相似性は
高いが、それらの変化パターンと、海１４０１から離れ
た森１４０２の画素値の変化パターンとの相似性は低い
という相似性の偏りがある。ここで、画像の相似性は、
上述のように画素値の変化パターンを比較して考えるの
ではなく、エッジ形状を比較して考えても良い。
【０２８５】そこで、いま、図４１（Ａ）に示した海１
４０１の一部１４０３と、森１４０２の一部１４０４と
を入れ替える。
【０２８６】この場合、画像の相似性の偏りが破壊さ
れ、図４１（Ｂ）に示すような画像が得られる。しかし
ながら、近接する部分の画素値の変化パターンは相似性
が高く、離れるほど、画素値の変化パターンの相似性が
低くなるという相似性の偏りを利用することにより、破
壊された相似性の偏りを復元することができる。即ち、
図４１（Ｂ）において、海１４０１の画像の一部が、海
１４０１と相似性の低い森１４０２の画像の一部１４０
４になっていること、および森１４０２の画像の一部
が、森１４０２と相似性の低い海１４０１の画像の一部
１４０３となっていることは、画像が有する本来の相似
性の偏りからすれば、明らかに不自然である。具体的に
は、図４１（Ｂ）において、海１４０１の画像の中の、
森１４０２の画像の一部１４０４についての相似性は、
海１４０１の他の部分についての相似性に比較して極端
に低くなっており、また、森１４０２の画像の中の、海
１４０１の画像の一部１４０３についての相似性も、森
１４０２の他の部分についての相似性に比較して極端に
低くなっている。
【０２８７】従って、画像が本来有する相似性の偏りか
らすれば、海１４０１の画像の一部となっている、森１
４０２の画像の一部１４０４と、森１４０２の画像の一
部となっている、海１４０１の画像の一部１４０３とは
入れ替えるべきである。そして、そのような入れ替えを
行うことで、画像の相似性の偏りが復元され、これによ
り、図４１（Ｂ）に示した画像から、図４１（Ａ）に示
した元の画像を復号することができる。
【０２８８】ここで、図４１で説明した場合において
は、海１４０１の画像の一部１４０３と、森１４０２の
画像の一部１４０４とを入れ替えることが、画像の符号
化を行うこととなる。また、その符号化に際し、埋め込
み符号化器１０３では、例えば、海１４０１の画像のど
の部分（画面上の位置）と、森１４０２の画像のどの部
分とを入れ替えるのかなどが、付加情報にしたがって決
定されることになる。一方、埋め込み復号器１０６で
は、符号化後の信号、即ち、海１４０１の一部が、森１
４０２の一部１４０４となっているとともに、森１４０
２の一部が、海１４０１の一部１４０３となっている画
像を、周辺の画素値の変化パターンの相似性は高く、離
れるほど、画素値の変化パターンの相似性が低くなって
いくという相似性の偏りを利用して、元の画像に戻すこ
とが、その元の画像を復号することとなる。さらに、そ
の復号に際し、埋め込み復号器１０６において、例え
ば、海の画像のどの部分と、森の画像のどの部分とが入
れ替えられていたのかなどを検出することが、埋め込ま
れた付加情報を復号することになる。
【０２８９】次に、図４２を参照して、相似性につい
て、さらに説明する。
【０２９０】いま、例えば、図４２（Ａ）に示すような
フラクタル画像を符号化対象として符号化を行うとした
場合、埋め込み符号化器１０３では、付加情報に対応し
て、フラクタル画像の一部が、そのフラクタル画像とは
相似でない画像に入れ替えられることで、フラクタル画
像の符号化が行われる。即ち、埋め込み符号化器１０３
では、図４２（Ａ）に示した、樹木の葉の形状をしたフ
ラクタル画像の一部が、例えば、図４２（Ｂ）に示すよ
うに、三角形に入れ替えられる。なお、図４２では、図
４２（Ｂ）においてＤ１およびＤ２で示す部分が三角形
になっている。また、埋め込み符号化器１０３では、例
えば、三角形に入れ替えられるフラクタル画像の位置
や、フラクタル画像と入れ替える三角形の大きさ、数な
どが、付加情報にしたがって決定される。
【０２９１】この場合、埋め込み復号器１０６では、例
えば、次のようにして、フラクタル画像と付加情報とが
復号される。即ち、例えば、図４２（Ｂ）において、点
線の四角形で囲んである部分については、三角形との入
れ替えを行わないこととしておき、埋め込み復号器１０
６では、その点線の四角形で囲んである部分を、教師画
像として、その教師画像と相似でない部分（ここでは、
三角形）が検索される。さらに、埋め込み復号器１０６
は、教師画像と相似でない部分である三角形を、教師画
像に含まれる、フラクタル画像の基準図形から生成され
る画像（フラクタル画像）に入れ替え、元のフラクタル
画像（図４２（Ａ））を復号する。そして、検索された
三角形の位置や、大きさ、数などに基づいて、埋め込ま
れた付加情報を復号する。
【０２９２】なお、上述の場合においては、埋め込み復
号器１０６で、教師画像に含まれる、フラクタル画像の
基準図形を検出する必要があるが、これは、例えば、次
のようにして行われる。即ち、図４２（Ｂ）の画像のう
ちの、教師画像と、それ以外の部分との相似性、および
教師画像の自己相似性に基づいて、図４２（Ｂ）の画像
を対象に、フラクタル画像の基準図形が検索され、教師
画像以外の部分を、最も効率良く表すことができる図形
が、基準図形として検出される。
【０２９３】また、ここでは、埋め込み復号器１０６に
おいて、元のフラクタル画像の生成規則が認識されてお
り、その生成規則に基づいて、三角形と入れ替える画像
が、基準図形を用いて生成される。即ち、埋め込み復号
器１０６では、三角形と入れ替える画像を生成するため
の、基準図形の大きさや、位置、回転量などが、生成規
則に基づいて特定され、その特定された基準図形の大き
さや、位置、回転量などにしたがって、基準図形が操作
され、三角形と入れ替える画像（フラクタル画像）が生
成される。
【０２９４】次に、画像の相似性を利用して、埋め込ま
れる付加情報が復号されるように、画像に付加情報を埋
め込む埋め込み符号化処理について詳細に説明する。な
お、この場合も、埋め込み符号化器１０３の構成は、図
３０における場合と同様の構成であるので、説明を省略
する。
【０２９５】図４３は、相似性を利用する埋め込み符号
化処理を示すフローチャートである。
【０２９６】ステップＳ１５１において、ＣＰＵ１３２
は、画像データベース１０１から１フレーム分の画像デ
ータがフレームメモリ１３１に転送されるように制御す
ると共に、画像データの相似領域を検出し、更に、相似
領域の位置を示す相似領域データを、ワークメモリに記
憶させる。
【０２９７】すなわち、ＣＰＵ１３２は、例えば、図４
４（Ａ）に示すような、５６×１６００画素からなる画
像データの相似領域を画像データより検出する場合に
は、画像データを、８×８画素毎の画像ブロックに分割
し、注目画像ブロックと周辺画像ブロックとの相似性を
検出する。
【０２９８】即ち、ＣＰＵ１３２は、注目画像ブロック
をラスタスキャン順にスキャンし、注目画像ブロックと
左右の周辺画像ブロックとの相似性を算出する。具体的
には、ＣＰＵ１３２は、注目画像ブロックの大きさ、位
置、回転量を所定量だけ変更しながら、左及び右隣の画
像ブロックとのマッチングを行い、マッチング度を正規
化する。さらに、ＣＰＵ１３２は、正規化後のマッチン
グ度を平均し、注目画像ブロックの周辺との相似性評価
値として、ワークメモリに記憶させる。ここで、左端と
右端の画像ブロックが注目画像ブロックのときは、一方
のマッチング度を、そのまま注目画像ブロックのマッチ
ング度とすることとする。ＣＰＵ１３２は、算出された
相似性評価値（マッチング度）が所定しきい値以上であ
る画像ブロックを相似領域として認識し、その画像ブロ
ックの位置を、ワークメモリに記憶させる。ここで、算
出された相似領域内の一部の画像ブロックがノイズ等の
影響により相似領域ではないと判断される可能性もある
ので、ＣＰＵ１３２は、相似領域の検出の後、相似領域
の拡大、縮小処理により相似領域内の一部の非相似の画
像ブロックを、相似領域の画像ブロックに変換する補正
処理を行う。
【０２９９】次に、ステップＳ１５２において、ＣＰＵ
１３２は、付加情報データベース１０２から、付加情報
を、例えば、６ビット（３ビット＋３ビット）ずつ受信
する。
【０３００】ステップＳ１５３において、ＣＰＵ１３２
は、上述の付加情報６ビットを埋め込むための処理対象
画像である、例えば、図４４（Ａ）の１番目のライン、
及び１０１番目のラインを選択抽出する。このとき、ス
テップＳ１５１においてワークメモリに記憶された相似
領域データを参照して、ＣＰＵ１３２は、１番目のライ
ン、１０１番めのラインの相似領域のみを選択抽出す
る。図４４（Ａ）の実施の形態においては、１番目のラ
イン、１０１番目のラインの全領域が相似領域であると
して選択抽出される。
【０３０１】ステップＳ１５４において、ＣＰＵ１３２
は、処理対象画像である、１番目のラインの画像と、１
０１番目のラインの画像を入れ替えることにより、画像
データに付加情報を埋め込む。
【０３０２】即ち、図４４（Ａ）は、付加情報が埋め込
まれる前の１番目のラインと１０１番目のラインの画像
データの画素値を示している。図４４（Ａ）では、１番
目のラインの領域と１０１番目のラインの領域では画素
値の変化パターン、すなわち、画像ブロック内の図形の
相似性が異なっている。
【０３０３】例えば、いま、６ビットの付加情報の上位
３ビットが２で、下位３ビットが６であるとすると、Ｃ
ＰＵ１３２は、上位３ビットの２を埋め込むため、図４
４（Ａ）の１番目のラインの２ブロック目を選択し、下
位３ビットの６を埋め込むため、図４４（Ａ）の１０１
番目のラインの６ブロック目を選択する。更に、ＣＰＵ
１３２は、選択された２ブロック目と６ブロック目の画
像データを入れ替えることにより、図４４（Ｂ）に示す
ような画像データに符号化する。
【０３０４】ステップＳ１５５において、ＣＰＵ１３２
は、符号化された１番目のラインと１０１番目のライン
の画像データを、フレームメモリ１３１に書き込み（上
書きし）、ステップＳ１５６に進む。
【０３０５】ステップＳ１５６において、ＣＰＵ１３２
は、１フレームの画像データの符号化が終了したか否か
を判別する。ＣＰＵ１３２が、符号化が終了していない
と判別すると、ステップＳ１５２に戻り、再び付加情報
が受信される。そして、ステップＳ１５３に進み、ＣＰ
Ｕ１３２は、次のライン、すなわち、２番目のライン及
び１０２番目のラインというように順に処理対象画像を
選択する。
【０３０６】一方、ステップＳ１５６において、ＣＰＵ
１３２が、符号化が終了したと判別すると、フレームメ
モリ１３１に記憶される符号化データが、出力Ｉ／Ｆ１
３４を介して出力され、処理を終了する。
【０３０７】次に、画像の相似性を利用して付加情報が
埋め込まれた符号化データを復号する埋め込み復号処理
について説明する。なお、この場合も、埋め込み復号器
１０６の構成は、図３３における場合と同様の構成であ
るので、説明を省略する。
【０３０８】図４５は、相似性を利用した埋め込み復号
処理を示すフローチャートである。
【０３０９】ステップＳ１６１において、ＣＰＵ１４３
は、１フレーム単位の符号化データを、フレームメモリ
１４１に順次記憶する。更に、ＣＰＵ１４３は、図４３
における場合と同様の手法により、符号化データの中か
ら相似領域を抽出し、その画像ブロックの位置を、相似
領域データとして、ワークメモリに記憶させる。ここ
で、本実施の形態では、上述のように、８画素毎を１ラ
インとした１ラインに３ビットのデータが埋め込まれる
ので、８画素毎の１ラインのうち１つの画像ブロックが
変更されることにより画像データは符号化される。よっ
て、相似領域を抽出する際の拡大、縮小処理により相似
領域内の非相似の１画像ブロックは相似領域に変換され
る。
【０３１０】ステップＳ１６２において、ＣＰＵ１４３
は、６ビットの付加情報を復号するための処理対象画像
である、例えば、図４４（Ａ）の１画像ブロック（例え
ば、図４４（Ａ）の左上の画像ブロック）を選択抽出す
る。このとき、ステップＳ１６１においてワークメモリ
に記憶された相似領域データを参照して、ＣＰＵ１４３
は、相似領域内の画像ブロックのみを選択抽出する。こ
こでは、例えば、１番目のライン、１０１番目のライン
の全領域が相似領域であるとして、選択抽出されるもの
とする。
【０３１１】ステップＳ１６３において、ＣＰＵ１４３
は、ステップＳ１６２において抽出された画像ブロック
を注目画像ブロックとして、左右の周辺画像ブロックと
の相似性を算出する。相似性の算出方法は、図４３にお
ける場合と同様の手法が用いられる。即ち、ＣＰＵ１４
３は、注目画像ブロックの大きさ、位置、回転量を所定
量だけ変更しながら、左及び右隣の画像ブロックとのマ
ッチングを行い、マッチング度を正規化し、さらに、平
均する。そして、その平均値が、ステップＳ１６４にお
いて、注目画像ブロックの周辺との相似性評価値とし
て、ワークメモリに記憶される。ここで、左端と右端の
画像ブロックが注目画像ブロックのときは、一方のマッ
チング度がそのまま注目画像ブロックのマッチング度と
される。
【０３１２】なお、ここでは、注目画像ブロックと左右
の画像ブロックのマッチング度の平均を記憶するように
したが、いずれか小さい方を記憶するようにしても構わ
ない。
【０３１３】ステップＳ１６５において、ＣＰＵ１４３
は、１番目のラインの処理が終了したか否かを判別し、
終了していないときは、ステップＳ１６２に戻り、再び
処理を繰り返す。一方、ステップＳ１６５において、Ｃ
ＰＵ１４３が、１番目のラインの処理が終了したと判別
すると、ステップＳ１６６に処理を進める。
【０３１４】ステップＳ１６６において、ＣＰＵ１４３
は、ワークメモリに記憶された１番目のライン分の各画
像ブロックのマッチング度のうち、最小のマッチング度
を有する画像ブロックの位置を、ワークメモリに記憶さ
せる。
【０３１５】ステップＳ１６７において、ＣＰＵ１４３
は、ステップＳ１６６において記憶された画像ブロック
の位置により付加情報を出力する。即ち、例えば、図４
４（Ｂ）に示した場合では、マッチング度の小さい画像
ブロックは２番目の画像ブロックとなり、その結果、付
加情報は２となる。
【０３１６】ステップＳ１６８において、ＣＰＵ１４３
は、現在の処理対象が画像の上段１乃至１００番目のラ
インであるか、または下段の１０１乃至２００番目のラ
インであるかを判別する。ＣＰＵ１４３が、現在の処理
対象が画像の上段であると判別すると、ステップＳ１６
９に進み、画像処理領域を上段から下段に変更する。具
体的には、ＣＰＵ１４３は、現在処理されているライン
が、例えば１番目のラインである場合には、それに１０
０を加算し、１０１番目のラインを処理の対象とする。
上段から下段に切り換えられた後、ステップＳ１６２に
戻り、以下、同様の処理を繰り返す。
【０３１７】一方、ステップＳ１６８において、ＣＰＵ
１４３が、現在の処理対象が画像の下段であると判別す
ると、ステップＳ１７０に進み、ステップＳ１６７にお
いて最終的に記憶された２つの位置の画像ブロックが入
れ替えられると共に、入れ替え後の画像ブロックが、フ
レームメモリ１４１に書き込まれる。
【０３１８】ステップＳ１７１において、ＣＰＵ１４３
は、画像データの復号が１フレーム分終了したか否かを
判別する。そして、ＣＰＵ１４３が、復号が終了してい
ないと判別すると、ステップＳ１６９に進み、以下、同
様の処理を繰り返す。また、ステップＳ１７１におい
て、ＣＰＵ１４３が、処理画像が終了したと判別する
と、復号処理を終了する。
【０３１９】ここで、元の原画像に復号され、フレーム
メモリ１４１に記憶される画像データは、１番目のライ
ンと１０１番目のラインのように、２ライン毎に、出力
Ｉ／Ｆ１４２を介して順に出力しても良いし、全ての復
号処理が終了したのち、出力Ｉ／Ｆ１４２から出力して
も構わない。
【０３２０】以上のように、埋め込み符号化器１０３に
おいて、符号化対象の画像が有するエネルギの偏りを利
用して復号を行うことができるように、その画像を、付
加情報にしたがって符号化して、符号化データを出力す
る場合には、埋め込み復号器１０６では、その符号化デ
ータを、画像が有するエネルギの偏りを利用することに
より、復号のためのオーバヘッドなしで、元の画像およ
び付加情報に復号することができる。
【０３２１】また、符号化対象の画像には、付加情報が
埋め込まれることで、その埋め込みの結果得られる画像
は、元の画像と異なる画像とされ、人が価値ある情報と
して認識することのできる画像ではなくなることから、
符号化対象の画像については、オーバヘッドなしの暗号
化を実現することができる。
【０３２２】さらに、完全可逆の電子透かしを実現する
ことができる。即ち、従来の電子透かしでは、例えば、
画質にあまり影響のない画素値の下位ビットが、電子透
かしに対応する値に、単に変更されていたが、この場
合、その下位ビットを、元の値に戻すことは困難であ
る。従って、復号画像の画質は、電子透かしとしての下
位ビットの変更により、少なからず劣化する。これに対
して、符号化データを、元の画像が有するエネルギの偏
りを利用して復号する場合には、劣化のない元の画像お
よび付加情報を得ることができ、従って、付加情報を電
子透かしとして用いることで、電子透かしに起因して復
号画像の画質が劣化することはない。
【０３２３】また、埋め込まれた付加情報は、符号化デ
ータから画像を復号することで取り出すことができるの
で、画像の符号化結果とともに、オーバヘッドなしでサ
イドインフォメーションを提供することができる。言い
換えれば、付加情報を取り出すためのオーバヘッドなし
で、その付加情報を画像に埋め込むことができるので、
その埋め込みの結果得られる符号化データは、付加情報
の分だけ圧縮（埋め込み圧縮）されているということが
できる。従って、例えば、ある画像の半分を符号化対象
とするとともに、残りの半分を付加情報とすれば、符号
化対象である半分の画像に、残りの半分の画像を埋め込
むことができるから、この場合、画像は、単純には、１
／２に圧縮されることになる。
【０３２４】さらに、符号化データは、元の画像が有す
るエネルギの偏りという、いわば統計量を利用して復号
されるため、誤りに対する耐性の強いものとなる。即
ち、ロバスト性の高い符号化であるロバスト符号化（統
計的符号化）を実現することができる。
【０３２５】また、符号化データは、元の画像が有する
エネルギの偏りを利用して復号されるため、そのエネル
ギの偏りに特徴があるほど、即ち、例えば、画像につい
ては、そのアクティビティが高いほど、あるいは、冗長
性が低いほど、多くの付加情報を埋め込むことができ
る。ここで、上述したように、付加情報の埋め込みの結
果得られる符号化データは、付加情報の分だけ圧縮され
ているということができるが、この圧縮という観点から
すれば、符号化対象の情報が有するエネルギの偏りを利
用して復号を行うことができるように、その情報を、付
加情報にしたがって符号化する方式（埋め込み符号化方
式）によれば、画像のアクティビティが高いほど、ある
いは、画像の冗長性が低いほど、圧縮率が高くなる。こ
の点、埋め込み符号化方式は、従来の符号化方式と大き
く異なる（従来の符号化方式である、例えばＭＰＥＧ
（Moving Picture Experts Group）方式などでは、基本
的に、画像のアクティビティが高いほど、あるいは、画
像の冗長性が低いほど、圧縮率は低くなる）。
【０３２６】さらに、例えば、上述したように、画像を
符号化対象とする一方、付加情報として、画像とは異な
るメディアの、例えば、音声を用いるようにすること
で、音声をキーとして、画像の提供を行うようなことが
可能となる。即ち、符号化装置１１０側において、例え
ば、契約者が発話した音声「開けゴマ」など付加情報と
して画像に埋め込んでおき、復号装置１２０側では、ユ
ーザに、音声「開けゴマ」を発話してもらい、その音声
と、画像に埋め込まれた音声とを用いて話者認識を行う
ようにする。このようにすることで、例えば、話者認識
の結果、ユーザが契約者である場合にのみ、自動的に、
画像を提示するようなことが可能となる。なお、この場
合、付加情報としての音声は、いわゆる特徴パラメータ
ではなく、音声波形そのものを用いることが可能であ
る。
【０３２７】また、例えば、音声を符号化対象とする一
方、付加情報として、音声とは異なるメディアの、例え
ば、画像を用いるようにすることで、画像をキーとし
て、音声の提供を行うようなこと（例えば、顔認識後の
音声応答）が可能となる。即ち、符号化装置１１０側に
おいて、例えば、ユーザへの応答としての音声に、その
ユーザの顔の画像を埋め込み、復号装置１２０側では、
ユーザの顔を撮影し、その結果得られる画像とマッチン
グする顔画像が埋め込まれている音声を出力するように
することで、ユーザごとに異なる音声応答を行う音声応
答システムを実現することが可能となる。
【０３２８】さらに、音声に、音声を埋め込んだり、画
像に、画像を埋め込んだりするような、あるメディアの
情報に、それと同一メディアの情報を埋め込むようなこ
とも可能である。あるいは、また、画像に、契約者の音
声と顔画像を埋め込んでおけば、ユーザの音声と顔画像
とが、画像に埋め込まれているものと一致するときの
み、その画像を提示するようにする、いわば二重鍵シス
テムなどの実現も可能となる。
【０３２９】また、例えば、テレビジョン放送信号を構
成する、いわば同期した画像と音声のうちのいずれか一
方に、他方を埋め込むようなことも可能であり、この場
合、異なるメディアの情報どうしを統合した、いわば統
合符号化を実現することができる。
【０３３０】さらに、埋め込み符号化方式では、上述し
たように、情報には、そのエネルギの偏りに特徴がある
ほど、多くの付加情報を埋め込むことができる。従っ
て、例えば、ある２つの情報について、エネルギの偏り
に特徴がある方を適応的に選択し、その選択した方に、
他方を埋め込むようにすることで、全体のデータ量を制
御することが可能となる。即ち、２つの情報どうしの間
で、一方の情報によって、他方の情報量を、いわば吸収
するようなことが可能となる。そして、このように全体
のデータ量を制御することができる結果、伝送路の伝送
帯域や使用状況、その他の伝送環境にあったデータ量に
よる情報伝送（環境対応ネットワーク伝送）が可能とな
る。
【０３３１】また、例えば、画像に、その画像を縮小し
た画像を埋め込むことで（あるいは、音声に、その音声
を間引いたものを埋め込むことで）、データ量を増加す
ることなく、いわゆる階層符号化（下位階層の情報を少
なくすることにより、上位階層の情報を生成する符号
化）を実現することができる。
【０３３２】さらに、例えば、画像に、その画像を検索
するためのキーとなる画像を埋め込んでおくことで、そ
のキーとなる画像に基づいて、画像の検索を行うデータ
ベースを実現することが可能となる。
【０３３３】次に、図４６は、画像の相関性を利用して
元に戻すことができるように、画像に付加情報を埋め込
む埋め込み符号化を行う場合の図３０の埋め込み符号化
器１０３の他のハードウェアの構成例を示している。な
お、図４６の埋め込み符号化器１０３は、出力Ｉ／Ｆ１
３３が設けられていない他は、図３０における場合と同
様に構成されている。
【０３３４】画像データベース１０１から供給される画
像は、フレームメモリ１３１に供給されるようになされ
ており、フレームメモリ１３１は、画像データベース１
からの画像を、例えば、フレーム単位で一時記憶するよ
うになされている。
【０３３５】ＣＰＵ（Central Processing Unit）１３
２は、プログラムメモリ１３４に記憶されたプログラム
を実行することで、後述する埋め込み符号化処理を行う
ようになされている。即ち、ＣＰＵ１３２は、プログラ
ムメモリ１３４に記憶されたプログラムにしたがって、
付加情報データベース１０２から供給される付加情報を
受信し、その付加情報を、フレームメモリ１３１に記憶
された画像に埋め込むようになされている。具体的に
は、ＣＰＵ１３２は、フレームメモリ１３１に記憶され
た画像を構成する画素の位置を、例えば、１列（垂直方
向に並ぶ画素列）単位で、付加情報に基づいて入れ替え
る（スワップする）ことで、各列に、付加情報を埋め込
むようになされている。この付加情報が埋め込まれた画
像は、符号化データとして出力されるようになされてい
る。
【０３３６】プログラムメモリ１３４は、例えば、ＲＯ
Ｍ（Read Only Memory）やＲＡＭ（Random Access Memo
ry）などで構成され、ＣＰＵ１３２に、埋め込み符号化
処理を行わせるためのコンピュータプログラムを記憶し
ている。
【０３３７】次に、図４７は、図４６の埋め込み符号化
器１０３の機能的な構成例を示している。なお、この図
４７に示した機能的な構成は、ＣＰＵ１３２がプログラ
ムメモリ１３４に記憶されたコンピュータプログラムを
実行することで実現されるようになされている。
【０３３８】フレームメモリ１３１は、図４６で説明し
たように、画像データベース１０１から供給される画像
を一時記憶するようになされている。
【０３３９】スワップ情報生成部１３６は、付加情報デ
ータベース１０２から付加情報を読み出し、その付加情
報に基づいて、フレームメモリ１３１に記憶された１フ
レームの画像の各列の位置を、どのように入れ替えるか
を表すスワップ情報を生成するようになされている。即
ち、フレームメモリ１３１に記憶された１フレームの画
像が、Ｍ行Ｎ列の画素で構成される場合において、その
画像の第ｎ列（左からｎ番目の列）を、第ｎ’列に入れ
替えるときには、スワップ情報生成部１３６において、
ｎとｎ’とが対応付けられたスワップ情報が生成される
（ｎ，ｎ’は、１以上Ｎ以下の整数）。
【０３４０】ここで、１フレームの画像の列数がＮ列で
ある場合、その入れ替え方は、そのすべての列を入れ替
えの対象とすると、Ｎ！（！は、階乗を表す）通りだけ
ある。従って、この場合、１フレームには、最大で、ｌ
ｏｇ2（Ｎ！）ビットの付加情報の埋め込みが可能とな
る。
【０３４１】スワップ情報生成部１３６で生成されたス
ワップ情報は、スワッピング部１３７に供給されるよう
になされている。スワッピング部１３７は、スワップ情
報生成部１３６から供給されるスワップ情報にしたがっ
て、フレームメモリ１３１に記憶された１フレームの画
像の各列の位置を入れ替えるようになされている。
【０３４２】次に、図４８のフローチャートを参照し
て、図４７の埋め込み符号化器１０３において行われる
埋め込み符号化処理について説明する。
【０３４３】画像データベース１０１からは、そこに記
憶されている画像が読み出され、フレームメモリ１３１
に、順次供給されて記憶される。
【０３４４】一方、スワップ情報生成部１３６では、ス
テップＳ１８１において、１フレームの画像に埋め込み
可能なデータ量の付加情報が、付加情報データベース２
から読み出される。即ち、例えば、上述したように、１
フレームの画像の列数がＮ列であり、そのすべての列を
入れ替えの対象とする場合には、１フレームには、最大
で、ｌｏｇ2（Ｎ！）ビットの付加情報の埋め込みが可
能であるから、そのようなビット数（以下）の付加情報
が、付加情報データベース１０２から読み出される。
【０３４５】そして、スワップ情報生成部１３６は、ス
テップＳ１８２に進み、ステップＳ１８１で読み出した
付加情報に基づいて、スワップ情報を生成する。即ち、
スワップ情報生成部１３６は、付加情報に基づき、フレ
ームメモリ１３１に記憶された処理対象のフレームの第
１列乃至第Ｎ列のうちの、例えば、第１列を除く第２列
乃至第Ｎ列それぞれを、第何列に入れ替えるかを表すス
ワップ情報を生成する。このスワップ情報は、スワッピ
ング部１３７に供給される。
【０３４６】スワッピング部１３７は、スワップ情報生
成部１３６からスワップ情報を受信すると、ステップＳ
１８３に進み、そのスワップ情報にしたがって、フレー
ムメモリ１３１に記憶された処理対象のフレームの各列
の位置を入れ替える。そして、列の位置の入れ替えが行
われたフレームは、フレームメモリ１３１から読み出さ
れ、符号化データとして出力される。
【０３４７】なお、フレームの各列の位置の入れ替え
は、フレームメモリ１３１における画像データ（を構成
する画素）の記憶位置を変更することで行うことができ
るが、その他、例えば、フレームメモリ１３１からフレ
ームを読み出すときのアドレスを制御することによっ
て、結果として、列の位置の入れ替えが行われたフレー
ムが、フレームメモリ１３１から読み出されるようにし
ても良い。
【０３４８】また、本実施の形態では、上述したよう
に、スワップ情報には、第２列乃至第Ｎ列それぞれを、
第何列に入れ替えるかを表す情報が含まれているが、第
１列を、第何列に入れ替えるかを表す情報は含まれてい
ない。従って、スワッピング部３７では、第２列乃至第
Ｎ列それぞれの入れ替えは行われるが、第１列の入れ替
えは行われない。
【０３４９】処理対象のフレームの第２列乃至第Ｎ列す
べての入れ替えが終了すると、ステップＳ１８４に進
み、フレームメモリ１３１に、まだ処理の対象とされて
いないフレームが記憶されているかどうかが判定され、
記憶されていると判定された場合、ステップＳ１８１に
戻り、まだ処理されていないフレームを対象に、同様の
処理が繰り返される。
【０３５０】また、ステップＳ１８４において、フレー
ムメモリ１３１に、まだ処理の対象とされていないフレ
ームが記憶されていないと判定された場合、埋め込み符
号化処理を終了する。
【０３５１】以上のような埋め込み符号化処理によれ
ば、ある１フレームの画像は、次のような符号化データ
に符号化される。
【０３５２】即ち、いま、付加情報が、例えば、図４９
に示すように、Ｎ列（図４９（Ａ））の処理対象フレー
ムの第２列を第６列に（図４９（Ｂ））、第３列を第９
列に（図４９（Ｃ））、第４列を第７列に（図４９
（Ｄ））、第５列を第３列に（図４９（Ｅ））、第６列
を第８列に（図４９（Ｆ））、第７列を第４列に（図４
９（Ｇ））、第８列を第５列に（図４９（Ｈ））、第９
列を第２列に（図４９（Ｉ））、・・・、第Ｎ列を第Ｎ
列に、それぞれ入れ替えるものに対応するとすると、そ
のような入れ替えを表すスワップ情報が、スワップ情報
生成部１３６において生成される。そして、スワッピン
グ部１３７では、例えば、図４９（Ｊ）に示すようなフ
レームが、上述のようなスワップ情報にしたがい、第２
列が第６列に、第３列が第９列に、第４列が第７列に、
第５列が第３列に、第６列が第８列に、第７列が第４列
に、第８列を第５列に、第９列が第２列に、・・・、第
Ｎ列が第Ｎ列に、それぞれ入れ替えられる。その結果、
図４９（Ｊ）の画像は、図４９（Ｋ）に示すような画像
に符号化される。
【０３５３】ここで、図４９における第１列乃至第９列
に注目して、埋め込み符号化処理について、さらに説明
する。
【０３５４】本実施の形態では、第１列は入れ替えの対
象になっていない（禁止されている）ので、まず、第２
列については、第１列乃至第９列のうちの第１列を除く
第２列乃至第９列の合計８列の中から入れ替え先が決定
される。この場合、第２列の入れ替え先は８通り存在す
るので、付加情報として、例えば、０乃至７の８通りの
値のうちのいずれかを埋め込むことが可能である。い
ま、第２列乃至第８列への入れ替えに、それぞれ０乃至
７の付加情報を割り当てると、図４９（Ｂ）に示したよ
うに、第２列が第６列に入れ替えられる場合は、第６列
への入れ替えに割り当てられた４が、付加情報として埋
め込まれることになる。
【０３５５】第２列が第６列に入れ替えられると、残り
の入れ替え先は第２列乃至第５列および第７列乃至第９
列の合計７列となり、第３列については、この７列の中
から入れ替え先が決定される。従って、この場合、付加
情報として、例えば、０乃至６の７通りの値のうちのい
ずれかを埋め込むことが可能である。いま、上述した場
合と同様に、第２列乃至第５列、第７列乃至第９列への
入れ替えに、それぞれ０乃至６の付加情報を割り当てる
と、図４９（Ｃ）に示したように、第３列が第９列に入
れ替えられる場合は、第９列への入れ替えに割り当てら
れた６が、付加情報として埋め込まれることになる。
【０３５６】以下、同様にして、画像に付加情報が埋め
込まれるが、このような埋め込み手法による場合には、
付加情報の埋め込みが進行するほど、埋め込み可能な付
加情報のビット数が減少していくことになる。
【０３５７】以上のように、フレームメモリ１３１に記
憶された画像を構成する１以上の画素の集合としての、
各列の画素の位置を、付加情報に対応して入れ替えるこ
とにより、各列に、付加情報を埋め込む場合には、その
逆の入れ替えを行うことで、元の画像を復号することが
でき、さらに、どのような入れ替えを行ったかというこ
とが付加情報となる。従って、画像の画質の劣化を極力
なくし、かつデータ量を増加せずに、画像に付加情報を
埋め込むことができる。
【０３５８】即ち、付加情報が埋め込まれた画像であ
る、列の位置の入れ替えが行われた画像の各列は、その
画像の相関性、即ち、ここでは、元の画像と同様の正し
い位置にある列との間の相関を利用することにより、オ
ーバヘッドなしで、元の位置に入れ替えることができ、
さらに、その入れ替え方により、付加情報を復号ことが
できる。従って、その結果得られる復号画像（再生画
像）には、基本的に、付加情報を埋め込むことによる画
質の劣化は生じない。
【０３５９】なお、符号化データに、正しい位置にある
列が存在しない場合には、上述のように画像の相関性を
利用して、画像と付加情報を復号するのは困難である。
そこで、ここでは、図４８の埋め込み符号化処理におい
て、各フレームの第１列は、入れ替えを行わないで、そ
のまま、符号化データとして出力するようにしている。
【０３６０】但し、第１列を含むすべての列を入れ替え
の対象として、埋め込み符号化を行うことも可能であ
り、この場合、入れ替え後の列の少なくとも１以上の元
の位置を、オーバヘッドとして、符号化データに含める
ことで、画像と付加情報の復号が容易に可能となる。
【０３６１】また、付加情報は、上述のように、列を、
順次入れ替えることにより、画像に埋め込んでいく他、
すべての列を一度に入れ替えることにより、画像に埋め
込むことも可能である。この場合、すべての列を一度に
入れ替えるときの場合の数は、その列数の階乗通りだけ
あるが、その階乗通りの中から、どのような入れ替えパ
ターンを選択するかが、付加情報によって決定される。
また、その復号は、付加情報が埋め込まれた画像につい
て、すべての列の階乗通りの入れ替えが行われ、その階
乗通りの入れ替えパターンの中から、相関に基づいて、
１つの入れ替えパターンが決定されることにより行われ
る。
【０３６２】さらに、ここでは、画像の列を、付加情報
そのものにしたがって入れ替えるようにしたが、列の入
れ替えは、その他、例えば、付加情報の特徴量（例え
ば、付加情報のヒストグラムや、分散、ダイナミックレ
ンジ等）に応じて行うようにすることも可能である。
【０３６３】次に、図５０は、図４７の埋め込み符号化
器１０３が出力する符号化データを、画像の相関性を利
用して元の画像と付加情報に復号する図２７の埋め込み
復号器１０６のハードウェアの構成例を示している。な
お、図５０の埋め込み復号器１０６は、出力Ｉ／Ｆ１４
２が設けられていない他は、図３３における場合と同様
に構成されている。
【０３６４】符号化データ、即ち、付加情報が埋め込ま
れた画像（以下、適宜、埋め込み画像ともいう）は、フ
レームメモリ１４１に供給されるようになされており、
フレームメモリ１４１は、埋め込み画像を、例えば、フ
レーム単位で一時記憶するようになされている。
【０３６５】ＣＰＵ１４３は、プログラムメモリ１４４
に記憶されたプログラムを実行することで、埋め込み復
号処理を行うようになされている。即ち、ＣＰＵ１４３
は、フレームメモリ１４１に記憶された埋め込み画像
を、画像の相関性を利用して元の画像と付加情報に復号
するようになされている。具体的には、ＣＰＵ１４３
は、埋め込み画像を構成する列のうち、既に復号した最
新の列と、他の列との相関を計算する。そして、既に復
号した列との相関を最大にする列を、その既に復号した
列の右隣の位置に入れ替えることを、埋め込み画像を構
成するすべての列について行うことで、元の画像を復号
し、さらに、埋め込み画像を元の画像に復号する際の、
埋め込み画像の各列の位置の入れ替え方に基づいて、付
加情報を復号する。
【０３６６】プログラムメモリ１４４は、ＣＰＵ１４３
に、埋め込み復号処理を行わせるためのコンピュータプ
ログラムを記憶している。
【０３６７】次に、図５１は、図５０の埋め込み復号器
１０６の機能的な構成例を示している。なお、この図５
１に示した機能的な構成は、ＣＰＵ１４３がプログラム
メモリ１４４に記憶されたコンピュータプログラムを実
行することで実現されるようになされている。
【０３６８】フレームメモリ１４１は、図５０で説明し
たように、埋め込み画像を一時記憶するようになされて
いる。
【０３６９】スワッピング部１４６は、フレームメモリ
１４１に記憶された処理対象のフレームの、既に元の位
置に入れ替えられた最新の列と、他の列（まだ、元の位
置に戻されていない列）との相関を計算し、その相関に
基づいて、処理対象のフレームの中の、まだ元の位置に
戻されていない列の位置を入れ替えることで元に戻す
（列の位置を復号する）ようになされている。さらに、
スワッピング部１４６は、フレームの各列をどのように
入れ替えたかを表すスワップ情報を、スワップ情報変換
部１４７に供給するようにもなされている。
【０３７０】スワップ情報変換部１４７は、スワッピン
グ部１４６からのスワップ情報、即ち、処理対象のフレ
ームの各列の、入れ替え前の位置と、入れ替え後の位置
との対応関係に基づいて、埋め込み画像に埋め込まれた
付加情報を復号するようになされている。
【０３７１】次に、図５２のフローチャートを参照し
て、図５１の埋め込み復号器１０６において行われる埋
め込み復号処理について説明する。
【０３７２】フレームメモリ１４１では、そこに供給さ
れる埋め込み画像（符号化データ）が、例えば、１フレ
ーム単位で順次記憶される。
【０３７３】一方、スワッピング部１４６では、ステッ
プＳ１９１において、フレームの列数をカウントするた
めの変数ｎに、初期値としての、例えば、１がセットさ
れ、ステップＳ１９２に進み、変数ｎが、フレームの列
数であるＮから１を減算したＮ−１以下であるかどうか
が判定される。
【０３７４】ステップＳ１９２において、変数ｎがＮ−
１以下であると判定された場合、ステップＳ１９３に進
み、スワッピング部１４６は、フレームメモリ１４１に
記憶された処理対象のフレームから、第ｎ列の画素（画
素列）を読み出し、その第ｎ列の各画素（の画素値）を
要素として並べたベクトル（以下、適宜、列ベクトルと
いう）ｖnを生成する。ここで、フレームがＭ行の画素
で構成される場合には、列ベクトルｖn（後述する列ベ
クトルｖkも同様）は、Ｍ次元のベクトルとなる。
【０３７５】その後、ステップＳ１９４において、第ｎ
列より右側にある列をカウントするための変数ｋに、初
期値としてのｎ＋１がセットされ、ステップＳ１９５に
進み、スワッピング部１４６は、第ｋ列の画素を読み出
し、その第ｋ列の画素を要素とする列ベクトルｖkを生
成して、ステップＳ１９６に進む。
【０３７６】ステップＳ１９６では、スワッピング部１
４６において、列ベクトルｖnおよびｖkを用いて、第ｎ
列と第ｋ列との相関が求められる。
【０３７７】即ち、スワッピング部１４６では、列ベク
トルｖnとｖkとの距離ｄ（ｎ，ｋ）が、次式にしたがっ
て計算される。
【０３７８】 ｄ（ｎ，ｋ）＝｜ｖn−ｖk｜ ＝（Σ（Ａ（ｍ，ｎ）−Ａ（ｍ，ｋ））2）1/2 ・・・（１） 但し、上式において、Σは、ｍを、１からＭに変化させ
てのサメーションを表す。また、また、Ａ（ｉ，ｊ）
は、処理対象になっているフレームの第ｉ行第ｊ列の画
素（画素値）を表す。
【０３７９】そして、スワッピング部１４６では、列ベ
クトルｖnとｖkとの距離ｄ（ｎ，ｋ）の逆数１／ｄ
（ｎ，ｋ）が、第ｎ列と第ｋ列との相関（を表す相関
値）として求められる。
【０３８０】第ｎ列と第ｋ列との相関の算出後は、ステ
ップＳ１９７に進み、変数ｋが、フレームの列数である
Ｎから１を減算したＮ−１以下であるかどうかが判定さ
れる。ステップＳ１９７において、変数ｋがＮ−１以下
であると判定された場合、ステップＳ１９８に進み、変
数ｋが１だけインクリメントされ、ステップＳ１９５に
戻り、以下、ステップＳ１９７において、変数ｋがＮ−
１以下でないと判定されるまで、ステップＳ１９５乃至
Ｓ１９８の処理を繰り返す。即ち、これにより、第ｎ列
と、それより右側にある埋め込み画像の列それぞれとの
相関が求められる。
【０３８１】その後、ステップＳ１９７において、変数
ｋがＮ−１以下でないと判定されると、ステップＳ１９
８に進み、スワッピング部１４６において、第ｎ列との
相関を最大にするｋが求められる。そして、第ｎ列との
相関を最大にするｋを、例えばＫと表すと、スワッピン
グ部１４６は、ステップＳ２００において、フレームメ
モリ１４１に記憶された処理対象のフレームの第ｎ＋１
列と第Ｋ列とをスワッピング、即ち、第Ｋ列を、第ｎ列
の右隣の第ｎ＋１列に入れ替える。
【０３８２】その後、ステップＳ２０１において、変数
ｎが１だけインクリメントされ、ステップＳ１９２に戻
り、以下、ステップＳ１９２において、変数ｎがＮ−１
以下でないと判定されるまで、ステップＳ１９２乃至Ｓ
２０１の処理を繰り返す。
【０３８３】ここで、本実施の形態では、埋め込み画像
の第１列は、元の画像の第１列のままであるから、変数
ｎが、初期値である１のときは、第１列との相関が最も
高い埋め込み画像の列が、第１列の右隣の第２列に入れ
替えられる。第１列との相関が最も高い列は、画像の相
関性から、基本的に、元の画像の第２列であるから、こ
の場合、埋め込み符号化処理において、埋め込み画像の
どこかの列に入れ替えられた元の画像の第２列は、元の
位置に戻される（復号される）ことになる。
【０３８４】そして、変数ｎが２となると、上述したよ
うにして元の位置に入れ替えられた第２列との相関が最
も高い埋め込み画像の列が、その第２列の右隣の第３列
に入れ替えられる。第２列との相関が最も高い列は、や
はり、画像の相関性から、基本的に、元の画像の第３列
であるから、この場合、埋め込み符号化処理において、
埋め込み画像のどこかの列に入れ替えられた元の画像の
第３列は、元の位置に戻されることになる。
【０３８５】以下、同様にして、フレームメモリ１４１
に記憶された埋め込み画像は、元の画像に復号されてい
く。
【０３８６】そして、ステップＳ１９２において、変数
ｎがＮ−１以下でないと判定された場合、即ち、埋め込
み画像を構成する第２列乃至第Ｎ列すべてが、画像の相
関性を利用して元の位置に戻され、これにより、フレー
ムメモリ１４１に記憶された埋め込み画像が、元の画像
が復号された場合、ステップＳ２０２に進み、その復号
された画像が、フレームメモリ１４１から読み出され
る。さらに、ステップＳ２０２では、スワッピング部１
４６が、埋め込み画像を元の画像に復号した際の、埋め
込み画像の第２列乃至第Ｎ列それぞれの入れ替え方を表
すスワップ情報が、スワップ情報変換部１４７に出力さ
れる。そして、スワップ情報変換部１４７では、スワッ
ピング部１４６からのスワップ情報に基づいて、埋め込
み画像に埋め込まれていた付加情報が復号されて出力さ
れる。
【０３８７】その後、ステップＳ２０３に進み、フレー
ムメモリ１４１に、まだ処理の対象とされていない埋め
込み画像のフレームが記憶されているかどうかが判定さ
れ、記憶されていると判定された場合、ステップＳ１９
１に戻り、まだ処理の対象とされていない埋め込み画像
のフレームを対象に、同様の処理が繰り返される。
【０３８８】また、ステップＳ２０３において、フレー
ムメモリ１４１に、まだ処理の対象とされていないフレ
ームが記憶されていないと判定された場合、埋め込み復
号処理を終了する。
【０３８９】以上のように、付加情報が埋め込まれた画
像である符号化データを、画像の相関性を利用して、元
の画像と付加情報に復号するようにしたので、その復号
のためのオーバヘッドがなくても、符号化データを、元
の画像と付加情報に復号することができる。従って、そ
の復号画像には、基本的に、付加情報を埋め込むことに
よる画質の劣化は生じない。
【０３９０】なお、図５２の埋め込み復号処理において
は、既に復号された最新の列（ｎ＝１の場合において
は、埋め込み符号化時に入れ替えられていない第１列）
と、まだ復号されていない列との相関を求め、その相関
に基づいて、既に復号された最新の列の右隣の位置に入
れ替えられるべき列を検出するようにしたが、その他、
例えば、既に復号された複数の列と、まだ復号されてい
ない列との相関を演算することにより、既に復号された
最新の列の右隣に入れ替えられるべき列を検出するよう
にすることも可能である。
【０３９１】ここで、図５３乃至図５５に、以上のよう
な埋め込み符号化処理および復号化処理のシミュレーシ
ョン結果を示す。
【０３９２】図５３は、埋め込み符号化処理の対象とし
た画像（原画像）で、長手方向を縦にして見た場合に、
横×縦が５１２画素×８３２画素で構成されている。
【０３９３】図５４は、図５３の画像に対して、埋め込
み符号化処理を施した処理結果を示している。図５４の
画像（埋め込み画像）には、ｌｏｇ2（５１２！）ビッ
トの付加情報が埋め込まれている。なお、同図からも明
らかなように、埋め込み符号化は、上述したように、画
像の暗号化という機能（効果）を有する。
【０３９４】図５５は、図５４の埋め込み符号化処理の
結果を、埋め込み復号処理により復号した復号画像を示
している。図５３と図５５とを比較することにより、画
質の劣化なく、元の画像に復号されていることが分か
る。なお、埋め込み復号処理により、埋め込み画像が元
の画像に正確に復号されれば、その復号の際の、埋め込
み画像の各列の入れ替え方に基づいて、付加情報も、正
確に復号される。
【０３９５】次に、上述の場合においては、埋め込み符
号化器１０３には、例えば、図５６に示すような、Ｎ列
でなる画像を符号化対象とし、第１列は固定して、第２
乃至第Ｎ列を、付加情報にしたがって入れ替えることに
より埋め込み符号化を行わせるようにしたが、埋め込み
符号化器１０３には、その他、例えば、図５７に示すよ
うな、Ｈラインでなる画像を符号化対象とし、第１ライ
ンは固定して、第２乃至第Ｈラインを、付加情報にした
がって入れ替えることにより埋め込み符号化を行わせる
ことが可能である。
【０３９６】また、埋め込み復号器１０６には、埋め込
み符号化結果を、画像の相関性を利用して、元の画像と
付加情報に復号させるようにしたが、埋め込み復号器１
０６には、画像の相関性、連続性、または相似性のうち
の複数を利用して、埋め込み符号化結果の復号を行わせ
ることが可能である。
【０３９７】即ち、図５２における場合には、図５６の
画像の各列について、その列を構成する画素の画素値を
要素とする列ベクトルｖnを用い、その列ベクトルどう
しの距離の逆数を、相関として定義し、この相関のみを
利用して、符号化データの復号を行うようにしたが、こ
の場合、埋め込み復号器１０６では、まず、符号化デー
タから、第１列（第１列は、上述したように固定）の列
ベクトルと最も距離の近い列ベクトルが検出され、その
列ベクトルに対応する列が、第２列とされる。さらに、
埋め込み復号器１０６では、符号化データから、第２列
の列ベクトルと最も距離の近い列ベクトルが検出され、
その列ベクトルに対応する列が、第３列とされる。以
下、同様にして、符号化データから、第Ｎ列までが検出
され、これにより、元の画像が復号されるとともに、第
２乃至第Ｎ列が、どのように入れ替えられていたかが、
埋め込まれた付加情報として復号される。
【０３９８】一方、図５６の画像の第ｎ列（ｎ＝１，
２，・・・，Ｎ）の列ベクトルｖ1，ｖ2，・・・、ｖN
が列ベクトル空間内に描く軌跡が、例えば、図５８に、
細い点線で示すようであったとする。
【０３９９】この場合、上述したように、第１列から、
最も距離の近い列ベクトルを順次検出していくと、図５
８に太い点線で示す軌跡が描かれる。即ち、ｖ1，ｖ2，
ｖ13，ｖ3，ｖ14，ｖ15，ｖ4，ｖ5，ｖ6，・・・といっ
た順番で、列ベクトルが検出されていく。従って、図５
８の実施の形態においては、相関（ここでは、列ベクト
ルどうしの距離）だけでは、列ベクトルは、正しい順序
で検出されず、その結果、画像および付加情報も正しく
復号することができないことになる。
【０４００】そこで、第１列の列ベクトルｖ1と最も距
離の近い列ベクトルを検出し、その列ベクトルに対応す
る列を、第２列とした後は、例えば、図５９に示すよう
に、第２列の列ベクトルｖ2と、第１列の列ベクトルｖ1
との差分ベクトル△ｖ12を求める。そして、列ベクトル
ｖ2に、その差分ベクトル△ｖ12を加算したベクトルに
よって表される点Ｐ12に最も近い列ベクトルを検出し、
その列ベクトルに対応する列を第３列とする。
【０４０１】さらに、第４列については、第３列の列ベ
クトルｖ3と、第２列の列ベクトルｖ2との差分ベクトル
を求めて、その差分ベクトルを、列ベクトルｖ3に加算
したベクトルによって表される点に最も近い列ベクトル
を検出し、その列ベクトルに対応する列を第４列とす
る。以下、同様にして、第Ｎ列までを求めていくように
する。
【０４０２】以上のように、第ｎ列と第ｎ＋１列との間
の相関性だけでなく、第ｎ列の列ベクトルｖnと、第ｎ
＋１列の列ベクトルｖn+1との間の、例えば連続性、即
ち、ここでは、差分ベクトルｖn+1−ｖnの変化が連続し
ているということをも利用することで、図５８におい
て、細い点線で示した軌跡が描かれるような正しい順番
で、列ベクトルが検出され、その結果、画像および付加
情報を正しく復号することができる。
【０４０３】次に、図４９の実施の形態においては、符
号化対象の画像の画素（但し、第１列の画素を除く）
を、列単位で、付加情報に基づいて入れ替えることで、
付加情報の、画像への埋め込み、即ち、埋め込み符号化
を行うようにしたが、埋め込み符号化は、例えば、符号
化対象の画像の画素を、行単位で入れ替えたり、また、
時間方向に並ぶ所定数のフレームの同一位置にある画素
列の位置を入れ替えたりすることで行うことも可能であ
る。
【０４０４】さらに、埋め込み符号化は、例えば、符号
化対象の画像の画素を、列単位で入れ替え、さらに、そ
の入れ替え後の画像の画素を、行単位で入れ替えること
により行うことも可能である。
【０４０５】即ち、例えば、図６０に示すような、横×
縦がＮ×Ｍ画素でなる画像の列を、付加情報に基づいて
入れ替え、例えば、図６１（Ａ）に示すような埋め込み
画像とする。ここで、図６１（Ａ）においては、図６０
の画像の第１列が第５列に、第２列が第Ｎ列に、第３列
が第１列に、第４列が第２列に、第５列が第４列に、第
６列が第３列に、・・・、第Ｎ列が第６列に、それぞれ
入れ替えられている。
【０４０６】そして、図６１（Ａ）の画像の行を、付加
情報に基づいて入れ替え、例えば、図６１（Ｂ）に示す
ような埋め込み画像とする。ここで、図６１（Ｂ）にお
いては、図６１（Ａ）の画像の第１行が第３行に、第２
行が第５行に、第３行が第２行に、第４行が第Ｍ行に、
第５行が第１行に、・・・、第Ｍ行が第４行に、それぞ
れ入れ替えられている。
【０４０７】図６１（Ｂ）に示した埋め込み画像は、例
えば、その第１列の左側に、入れ替えを行っていない列
があるとすれば、その列を第１列として、図５２で説明
した埋め込み復号処理を行うことにより、図６０に示し
た元の画像に復号することができる。即ち、列方向と行
方向の両方向の入れ替えを行った埋め込み画像について
は、式（１）におけるΣにおいて加算される項の順番が
変化するだけで、加算される項自体は変化しない。従っ
て、式（１）によって求められる距離ｄ（ｎ，ｋ）は、
埋め込み符号化された画像が同一であれば、列だけ入れ
替えた場合と、列と行の両方を入れ替えた場合とで変化
しないため、列と行の両方を入れ替えた埋め込み画像
も、列だけ入れ替えた埋め込み画像と同様に、図５２の
埋め込み復号処理によって、元の画像と付加情報に復号
することができる。
【０４０８】以上から、列と行の両方を入れ替える場合
には、行と列のうち、いずれの入れ替えを先または後に
行うかは、埋め込み復号処理に影響を与えない。従っ
て、埋め込み符号化処理においては、行と列の入れ替え
のうちのいずれを先または後に行っても良いし、埋め込
み復号処理においても、行と列の入れ替えのうちのいず
れを先または後に行っても良い。また、行と列の入れ替
えを、交互に行うようなことも可能である。
【０４０９】なお、埋め込み符号化処理において、列だ
けの入れ替えを行う場合には、埋め込み画像を元の画像
に復号した際の、埋め込み画像の列の入れ替え方が、付
加情報の復号結果となるが、行と列の両方の入れ替えを
行う場合には、埋め込み画像の第ｍ行ｎ列の位置（ｍ，
ｎ）にある画素が、復号画像のどの位置（ｍ’，ｎ’）
に入れ替えられたかが、付加情報の復号結果となる。
【０４１０】次に、図４８の埋め込み符号化処理では、
符号化対象の画像の第１列だけを固定にし、埋め込み復
号器１０６では、この第１列を、いわば復号の基準とし
て、埋め込み画像の他の列の入れ替えを行うようにした
が、復号の基準は、第１列でなくても、あらかじめ、埋
め込み符号化器１０３と埋め込み復号器１０６に設定さ
れていれば、最後の第Ｎ列であっても良いし、その他の
任意の列でも良い。さらに、復号の基準は、１列の画素
である必要はなく、極端には、１画素であっても良い。
【０４１１】ところで、例えば、第１列を、いわば復号
の基準とし、画像の相関を利用して、埋め込み画像の他
の列の入れ替えを行う場合には、１の列の入れ替えを誤
ると、その後の列（本実施の形態では、入れ替えを誤っ
た列の右側にある列）の入れ替えも誤る可能性が高くな
る。この場合、元の画像を復号することができないか
ら、正しい付加情報を復号することもできなくなる。
【０４１２】そこで、埋め込み符号化処理においては、
複数の列を、復号の基準として残しておく（入れ替えの
対象としない）（入れ替えを禁止する）ようにすること
が可能である。
【０４１３】即ち、例えば、画像の列方向に並ぶ画素の
集合を１の入れ替え単位として入れ替えを行う場合にお
いては、例えば、図６２に斜線を付して示すように、１
列おきの列を、復号の基準とし、残りの列（図６２にお
いて、白抜きで示す部分）を、入れ替えの対象とするこ
とが可能である。
【０４１４】なお、図６２に示した場合において、画像
の列数が２Ｎ列であれば、その画像に埋め込むことので
きる付加情報のデータ量は、最大で、ｌｏｇ2（Ｎ！）
ビットとなる。
【０４１５】次に、埋め込み符号化は、列や行単位より
細かい単位で、１以上の画素の集合を入れ替えることで
行うことが可能である。
【０４１６】即ち、例えば、図６３に示すように、画像
の各列を、５画素などの１以上の連続して並ぶ画素の集
合に分け、その集合を１の入れ替え単位として入れ替え
を行うことが可能である。さらに、この場合、図６３に
示すように、入れ替え単位を市松模様状に２つに分類
し、一方（例えば、図６３において白抜きの部分）を入
れ替え対象とし、他方（例えば、図６３において斜線を
付してある部分）を復号の基準とすることが可能であ
る。なお、このようにした場合において、画像の行数
が、入れ替え単位がＭ個だけ並ぶ画素数で構成され、列
数が２Ｎ列であれば、その画像に埋め込むことのできる
付加情報のデータ量は、最大で、ｌｏｇ2（（Ｍ×Ｎ）
！）ビットとなる。
【０４１７】また、例えば、図６４に示すように、画像
の各列の画素を、６画素などの所定の画素数おきに抽出
し、その抽出した画素の集合（図６４において、○を付
してある画素の集合や、×を付してある画素の集合、△
を付してある画素の集合など）を、１の入れ替え単位と
して入れ替えを行うことが可能である。さらに、この場
合、図６４に示すように、画像を構成する各画素を市松
模様状に２つに分類し、一方（例えば、図６４において
白抜きの部分）を入れ替え対象とし、他方（例えば、図
６４において斜線を付してある部分）を復号の基準とす
ることが可能である。なお、このようにした場合におい
て、画像の各列から２Ｍ画素おき（図６４の実施の形態
では、６画素おき）に抽出した画素の集合を１の入れ替
え単位とし、画像の列数がＮ列であれば、その画像に埋
め込むことのできる付加情報のデータ量は、最大で、ｌ
ｏｇ2（（Ｍ×Ｎ）！）ビットとなる。即ち、例えば、
図６４において○印で示す入れ替え単位は、同図におい
て、１４２０や、１４２１、１４２２で示すように、各
列に存在し、従って、各列における○印で示す入れ替え
単位のみに注目すれば、Ｎ！通りの入れ替えが可能であ
る。よって、画像の各列から２Ｍ画素おきに抽出した画
素の集合を１の入れ替え単位とする場合には、各列に
は、Ｍ個の入れ替え単位が存在するから、図６４に示し
た画像全体では、最大で、（Ｍ×Ｎ）！通りの入れ替え
が可能であり、その結果、画像に埋め込むことのできる
付加情報のデータ量は、ｌｏｇ2（（Ｍ×Ｎ）！）ビッ
トとなる。
【０４１８】ここで、図６２乃至図６４に示した場合に
おいては、入れ替え対象の画素（図６２乃至図６４にお
いて白抜きの部分）の集合が、複数の復号の基準（図６
２乃至図６４において斜線を付してある部分）に隣接し
ている。このような場合においては、例えば、その複数
の復号の基準それぞれと、入れ替え対象の画素の集合と
の距離の自乗和の逆数などを相関として利用することが
できる。
【０４１９】以上のように、埋め込み符号化時および埋
め込み復号時における入れ替え単位は、特に限定される
ものではない。
【０４２０】また、復号の基準とする画素の集合も特に
限定されるものではない。
【０４２１】なお、復号の正確さの観点からすれば、入
れ替え対象の画素が、より多数の、復号の基準とされて
いる画素に隣接しているのが好ましく、従って、図６４
に示した場合が最も好ましい。さらに、復号の正確さの
観点からすれば、復号の基準とする画素が多い方が好ま
しい。
【０４２２】但し、復号の基準とする画素は入れ替えの
対象とされないから、その数が多い場合には、画像に埋
め込むことのできる付加情報のデータ量が少なくなる。
さらに、復号の基準とする画素が多い場合や、入れ替え
対象の画素が、より多数の、復号の基準とされている画
素に隣接している場合には、暗号化の効果が弱まる。
【０４２３】従って、復号の基準とする画素の数やその
配置パターンは、復号の正確さと、埋め込む付加情報の
データ量および暗号化の効果とを考慮し、埋め込み符号
化および埋め込み復号の用途に応じて設定するのが望ま
しい。
【０４２４】また、ある列が、それに近い列に入れ替え
られたり、あるいは、近い位置にある列どうしが、同様
の位置関係のまま入れ替えられたりする場合には、やは
り、暗号化の効果が弱まるので、そのような入れ替えが
行われないように、埋め込み符号化処理において、各列
は、元の位置より、所定距離以上離れた位置の列に入れ
替えるといった制限や、近い位置にある列どうしは、所
定距離以上離れた位置の列に入れ替えるといった制限を
付すことが可能である。
【０４２５】さらに、埋め込み符号化の対象とする画像
が、例えば、ＲＧＢコンポーネント信号で構成されるカ
ラー画像である場合には、ＲＧＢのすべてを同一位置に
入れ替えても良いし、ＲＧＢの各コンポーネントを、独
立に入れ替えても良い。ＲＧＢのすべてを同一位置に入
れ替える場合には、ＲＧＢの各コンポーネントを、独立
に入れ替える場合に比較して、埋め込むことのできる付
加情報のデータ量は少なくなるが、埋め込み復号時にお
ける復号精度を向上させることができる。一方、ＲＧＢ
の各コンポーネントを、独立に入れ替える場合には、Ｒ
ＧＢのすべてを同一位置に入れ替える場合に比較して、
埋め込み復号時における復号精度は劣化するが、埋め込
むことのできる付加情報のデータ量を多くすることがで
きる。
【０４２６】また、付加情報として用いる情報は、特に
限定されるものではなく、例えば、画像や、音声、テキ
スト、コンピュータプログラム、制御信号、その他のデ
ータを付加情報として用いることが可能である。なお、
画像データベース１０１の画像の一部を付加情報とし、
残りを、フレームメモリ１３１への供給対象とすれば、
その残りの部分に、付加情報とされた画像の一部分が埋
め込まれるから、画像の圧縮が実現されることになる。
【０４２７】さらに、本実施の形態では、付加情報を、
画像に埋め込むようにしたが、付加情報は、その他、例
えば、音声に埋め込むことも可能である。即ち、例え
ば、時系列の音声データを、適当なフレームに区切り、
各フレームの音声データを、付加情報にしたがって入れ
替えることで、付加情報を、音声に埋め込むことが可能
である。
【０４２８】また、上述の場合には、ＣＰＵ１３２また
は１４２に、コンピュータプログラムを実行させること
で、埋め込み符号化処理または埋め込み復号処理をそれ
ぞれ行うようにしたが、これらの処理は、それ専用のハ
ードウェアによって行うことも可能である。
【０４２９】以上のような埋め込み符号化／復号を利用
して、ユーザ端末３におけるパッケージデータの出力に
伴って、広告情報を、ユーザに必然的に見せる場合に
は、パッケージデータを、次のように埋め込み符号化し
て、その符号化データを、ユーザ端末３に提供するよう
にすれば良い。
【０４３０】即ち、まず、例えば、マルチメディアパッ
ケージデータのメインデータに、そのメインデータと組
になっているサブデータとしてのテキストデータ、画像
データ、および音声データを埋め込む。
【０４３１】具体的には、例えば、メインデータが画像
データであるとすると、図６５（Ａ）に示すような、メ
インデータとしての画像データのラインを、サブデータ
に基づいて入れ替え、図６５（Ｂ）に示すような埋め込
み画像を得る。
【０４３２】さらに、その埋め込み画像に、広告情報を
埋め込み、最終的な埋め込み画像を得る。
【０４３３】具体的には、例えば、メインデータに、サ
ブデータを埋め込むことにより得られる埋め込み画像の
列を、広告情報に基づいて入れ替え、図６５（Ｃ）に示
すような、最終的な埋め込み画像を得る。
【０４３４】なお、図６５においては、最初に、メイン
データとしての画像をラインを、サブデータに基づいて
入れ替えることにより、埋め込み画像を得て、その後
に、その埋め込み画像の列を、広告情報に基づいて入れ
替えることにより、最終的な埋め込み画像を得るように
したが、上述したように、埋め込み符号化／復号化にお
いては、ライン（行）と列のうちのいずれの入れ替えを
先または後に行うかは、埋め込み符号化／復号に影響を
与えないから、図６６に示すように、最初に、メインデ
ータとしての画像の列を、広告情報に基づいて入れ替え
ることにより（図６６（Ａ））、埋め込み画像を得て、
その後に、その埋め込み画像のラインを、サブデータに
基づいて入れ替えることにより（図６６（Ｂ））、最終
的な埋め込み画像（図６６（Ｃ））を得るようにするこ
とも可能である。
【０４３５】また、サブデータに基づいて、画像の列を
入れ替えるとともに、広告情報に基づいて、画像のライ
ンを入れ替えるようにしても良い。
【０４３６】さらに、マルチメディアパッケージデータ
への広告情報の埋め込み方法は、上述したようなライン
や列の入れ替えに限定されるものではない。
【０４３７】以上のような埋め込み画像等である符号化
データが、パッケージサーバ１からユーザ端末３に提供
される場合には、ユーザ端末３において、マルチメディ
アパッケージデータの出力に伴って、広告情報を、ユー
ザに必然的に見せること等が可能となる。
【０４３８】なお、マルチメディアパッケージデータの
メインデータがテキストデータである場合には、メイン
データが画像データまたは音声データである場合に比較
して、一般に、メインデータに対し、少量の情報しか埋
め込むことができないため、本実施の形態では、メイン
データが、画像データか、または音声データである場合
にのみ、広告情報を埋め込むこととする。但し、メイン
データが、テキストデータである場合であっても、広告
情報を埋め込むようにすることが可能である。
【０４３９】図６７は、パッケージサーバ１が、マルチ
メディアパッケージデータを埋め込み符号化した符号化
データを提供する場合のユーザ端末３の構成例を示して
いる。なお、図中、図１８における場合と対応する部分
については、同一の符号を付してあり、以下では、その
説明は適宜省略する。即ち、図６７のユーザ端末３は、
第１復号部５４および第２復号部５５が新たに設けられ
ている他は、基本的に、図１８における場合と同様に構
成されている。
【０４４０】なお、ここでは、例えば、図６５または図
６６で説明したように、サブデータと広告情報それぞれ
を、いわば独立に、メインデータに埋め込んだ符号化デ
ータとなっているマルチメディアパッケージデータが、
パッケージサーバ１から提供されるものとする。
【０４４１】第１復号部５４は、データ検索部４４が記
憶部５２から検索して出力するマルチメディアパッケー
ジデータとしての埋め込み符号化された符号化データに
対して、埋め込み復号処理を施し、その復号結果を、第
２復号部５５に出力するとともに、表示部５１またはス
ピーカ５３に供給する。第２復号部５５は、第１復号部
５４の出力に対して、埋め込み復号処理を施し、その復
号結果を、選択指示検出部４５に出力するとともに、表
示部５１またはスピーカ５３に供給する。
【０４４２】次に、図６８および図６９のフローチャー
トを参照して、図６７のユーザ端末３の処理について説
明する。
【０４４３】ユーザ端末３では、図６８に示すように、
ステップＳ２１１乃至Ｓ２２３において、図１９のステ
ップＳ３１乃至Ｓ４３における場合とそれぞれ、基本的
に同様の処理が行われる。
【０４４４】但し、ここでは、パッケージサーバ１から
提供されるマルチメディアパッケージデータは、基本的
に、埋め込み符号化された符号化データとなっているた
め、ステップＳ２２２では、そのような符号化データ
が、記憶部５２に記憶される。さらに、符号化データの
状態では、ステップＳ２２３においてメインデータを出
力し、また、ステップＳ２１７においてサブデータを出
力することができないことから、そのメインデータおよ
びサブデータを得るために、図６７のユーザ端末３で
は、図６９のフローチャートにしたがったマルチメディ
アパッケージデータ復号処理が、メインデータやサブデ
ータの出力時に、図６８のフローチャートにしたがった
処理と並列に行われる。
【０４４５】即ち、データ検索部４４は、ステップＳ２
３１において、パッケージサーバ１からダウンロードさ
れ、記憶部５２に記憶されたマルチメディアパッケージ
データ（符号化データ）を、必要に応じて検索し、ステ
ップＳ２３２に進み、その検索結果としてのマルチメデ
ィアパッケージデータのメインデータが、画像データま
たは音声データのうちのいずれかであるかどうかを判定
する。ステップＳ２３２において、メインデータが、画
像データおよび音声データのうちのいずれでもないと判
定された場合、即ち、メインデータがテキストデータで
ある場合、ステップＳ２３１に戻る。
【０４４６】即ち、メインデータがテキストデータであ
る場合には、ここでは、上述したように、そのメインデ
ータを有するマルチメディアパッケージデータは埋め込
み符号化されていないから、メインデータおよびサブデ
ータを即座に出力できるので、特に処理を行わずに、ス
テップＳ２３１に戻る。
【０４４７】なお、例えば、マルチメディアパッケージ
データのうちのヘッダには、情報の埋め込みが行われな
いこととし、また、ヘッダには、マルチメディアパッケ
ージデータのメディアの種類が記述されているものとす
る。従って、ステップＳ２３２における判定処理は、マ
ルチメディアパッケージデータのヘッダを参照すること
で行うことができる。
【０４４８】また、ステップＳ２３２において、メイン
データが、画像データまたは音声データのうちのいずれ
かであると判定された場合、即ち、マルチメディアパッ
ケージデータが埋め込み符号化されている場合、データ
検索部４４は、その埋め込み符号化されているマルチメ
ディアパッケージデータである符号化データを、第１復
号部５４に供給し、ステップＳ２３３に進む。
【０４４９】ステップＳ２３３では、第１復号部５４
は、データ検索部４４からの符号化データに対して、埋
め込み復号処理を施し、これにより、符号化データに埋
め込まれていた広告情報を復号するとともに、サブデー
タが埋め込まれた状態のメインデータ（以下、適宜、サ
ブデータ埋め込みメインデータという）を得る。
【０４５０】ステップＳ２３３で復号された広告情報
は、ステップＳ２４４において、第１復号部５４から表
示部５１またはスピーカ５３に供給されて出力される。
即ち、広告情報が表示可能なものである場合には、第１
復号部５４から表示部５１に供給されて表示され、音と
して出力可能なものである場合には、第１復号部５４か
らスピーカ５３に供給されて出力される。
【０４５１】また、ステップＳ２３３で得られたサブデ
ータ埋め込みメインデータは、第１復号部５４から第２
復号部５５に供給される。第２復号部５５は、ステップ
Ｓ２３５において、サブデータ埋め込みメインデータに
対して、埋め込み復号処理を施し、これにより、メイン
データと、そのメインデータに埋め込まれていたサブデ
ータを復号して、ステップＳ２３１に戻る。
【０４５２】以上のようにして復号されたメインデータ
は、図６８のステップＳ２２３において出力され、ま
た、サブデータは、ステップＳ２１７において出力され
る。
【０４５３】従って、ユーザ端末３において、例えば、
画像データであるメインデータに、サブデータと広告情
報が埋め込まれた符号化データがダウンロードされた場
合には、図７０（Ａ）に示すような符号化データに対し
て、埋め込み復号処理が施されることにより、図７０
（Ｂ）に示すように、メインデータに埋め込まれていた
広告情報が復号されて出力されるとともに、サブデータ
埋め込みメインデータが得られる。そして、そのサブデ
ータ埋め込みメインデータに対して、埋め込み符号化処
理が施されることにより、図７０（Ｃ）に示すように、
メインデータと、そのメインデータに埋め込まれていた
サブデータとが復号される。
【０４５４】その結果、ユーザが、メインデータである
画像データを右クリックして、そのメインデータと組に
なっているサブデータを表示等させようとする場合に
は、必ず広告情報が出力されるので、ユーザが、サブデ
ータを見る（あるいは、聴く）場合には、必然的に、広
告情報も見る（あるいは聴く）ことになる。
【０４５５】さらに、符号化データのファイルを、専用
ブラウザ６２以外のアプリケーションで開いた場合であ
っても、例えば、ラインと列とが入れ替えられた画像が
表示等されるだけであるから、ユーザは、広告情報を出
力させることなしで、サブデータを得ることはできな
い。即ち、ユーザが、サブデータを得るにあたっては、
必ず、広告情報が出力される。
【０４５６】次に、図６７のユーザ端末３には、図７１
のフローチャートにしたがったマルチメディアパッケー
ジデータ復号処理を行わせることもできる。
【０４５７】即ち、この場合、ステップＳ２４１乃至２
４４、またはステップＳ２４６において、図６９のステ
ップＳ２３１乃至Ｓ２３５における場合と同様の処理が
行われる。
【０４５８】そして、ステップＳ２４４において、ステ
ップＳ２４３で復号された広告情報が、表示部５１また
はスピーカ５３に供給されて出力された後に行われるス
テップＳ２４５では、ステップＳ２４４で出力された広
告情報に対して、例えば、ユーザがクリック等の所定の
アクションを行ったかどうかが判定され、クリックが行
われていないと判定された場合、ステップＳ２４５に戻
る。
【０４５９】また、ステップＳ２４５において、ステッ
プＳ２４４で出力された広告情報に対して、クリックが
行われたと判定された場合は、ステップＳ２４６に進
み、メインデータと、そのメインデータに埋め込まれて
いたサブデータが復号される。
【０４６０】従って、この場合、広告情報の出力を、い
わば、ユーザが確認したことを表すクリックが行われな
いと、サブデータは出力されない。その結果、図６９に
おける場合に比較して、広告情報に対して、ユーザの意
識を、より向けさせることができる。
【０４６１】なお、上述の場合においては、メインデー
タに完全に復号したものを出力するようにしたが、メイ
ンデータが画像データである場合には、最初に、第１復
号部５４で得られるサブデータ埋め込みメインデータを
出力し、その後、第２復号部５５で得られるメインデー
タを、サブデータ埋め込みメインデータに替えて出力す
るようにしても良い。
【０４６２】次に、広告情報を、ユーザに必然的に見せ
るための、マルチメディアパッケージデータの埋め込み
符号化は、例えば、図７２に示すように行うことも可能
である。
【０４６３】即ち、この場合、まず最初に、広告情報
に、サブデータを埋め込み（図７２（Ａ））、サブデー
タ埋め込み広告情報を得る。そして、このサブデータ埋
め込み広告情報を、メインデータに埋め込み（図７２
（Ｂ））、図７２（Ｃ）に示すような、最終的に、ユー
ザに提供する符号化データを得る。
【０４６４】このような符号化データが、パッケージサ
ーバ１から提供される場合には、図６７のユーザ端末３
では、図７３のフローチャートにしたがったマルチメデ
ィアパッケージデータ復号処理が行われる。
【０４６５】即ち、この場合、ステップＳ２５１または
Ｓ２５２において、図６９のステップＳ２３１またはＳ
２３２における場合と、それぞれ同様の処理が行われ
る。
【０４６６】そして、ステップＳ２５３では、第１復号
部５４は、データ検索部４４からの符号化データに対し
て、埋め込み復号処理を施し、これにより、メインデー
タと、そのメインデータに埋め込まれていたサブデータ
埋め込み広告情報とを復号する。
【０４６７】ステップＳ２５３で得られたサブデータ埋
め込み広告情報は、第１復号部５４から第２復号部５５
に供給される。第２復号部５５は、ステップＳ２３４に
おいて、サブデータ埋め込み広告情報に対して、埋め込
み復号処理を施し、これにより、広告情報と、その広告
情報に埋め込まれていたサブデータを復号して、ステッ
プＳ２５５に進む。
【０４６８】ステップＳ２５５では、ステップＳ２５４
において復号された広告情報が、第２復号部５５から表
示部５１またはスピーカ５３に供給されて出力され、ス
テップＳ２５１に戻る。
【０４６９】そして、以上のようにして復号されたメイ
ンデータは、図６８のステップＳ２２３において出力さ
れ、また、サブデータは、図６８のステップＳ２１７に
おいて出力される。
【０４７０】従って、ユーザ端末３において、例えば、
画像データであるメインデータに、図７２で説明したよ
うにして、サブデータと広告情報が埋め込まれた符号化
データがダウンロードされた場合には、図７４（Ａ）に
示すような符号化データに対して、埋め込み復号処理が
施されることにより、図７４（Ｂ）に示すように、メイ
ンデータと、サブデータ埋め込み広告情報とが復号され
る。そして、そのサブデータ埋め込み広告情報に対し
て、埋め込み符号化処理が施されることにより、図７４
（Ｃ）に示すように、広告情報と、その広告情報に埋め
込まれていたサブデータとが復号される。
【０４７１】その結果、ユーザが、メインデータである
画像データを右クリックして、そのメインデータと組に
なっているサブデータを表示等させようとする場合に
は、必ず広告情報が出力されるので、ユーザが、サブデ
ータを見る（あるいは、聴く）場合には、必然的に、広
告情報も見る（あるいは聴く）ことになる。
【０４７２】さらに、符号化データのファイルを、専用
ブラウザ６２以外のアプリケーションで開いた場合であ
っても、符号化データが表示等されるだけであるから、
ユーザは、広告情報を出力させることなしで、サブデー
タを得ることはできない。即ち、ユーザが、サブデータ
を得るにあたっては、必ず、広告情報が出力される。
【０４７３】なお、図６５または図６６で説明したよう
に、サブデータと広告情報それぞれを、いわば独立に、
メインデータに埋め込んだ符号化データについては、そ
の符号化データから、サブデータと広告情報を、それぞ
れ独立に復号することが可能であるから、いわゆる悪意
のあるユーザ等によって、広告情報を復号することなし
に、サブデータが復号されることがあり得るが、図７２
で説明したように、広告情報に、サブデータを埋め込
み、その結果得られるサブデータ埋め込み広告情報を、
メインデータに埋め込む場合には、サブデータと広告情
報とは、必ず同時に復号されることになるから、広告情
報を復号することなしに、サブデータが復号されること
を、完全に防止することができる。
【０４７４】また、上述のように、パッケージサーバ１
において、広告情報を埋め込んだ符号化データを提供す
る場合には、ユーザが、その広告情報を必然的に見聞き
することになるから、パッケージサーバ１の課金処理部
３８では、広告情報を埋め込んだ符号化データのダウン
ロード回数をカウントし、そのダウンロード回数に応じ
て、広告情報の提供に対する広告主への課金を行うよう
にすることができる。
【０４７５】さらに、上述の場合には、パッケージサー
バ１（のデータベース３１）に、広告情報が既に埋め込
まれた符号化データを記憶させておくようにしたが、パ
ッケージサーバ１において、広告情報の埋め込みは、ユ
ーザ端末３に対して、要求のあったマルチメディアパッ
ケージデータを送信するときに行うようにすることが可
能である。
【０４７６】即ち、図７５は、そのようなパッケージサ
ーバ１の構成例を示している。なお、図中、図２５にお
ける場合と対応する部分については、同一の符号を付し
てあり、以下では、その説明は、適宜省略する。即ち、
図７５のパッケージサーバ１は、埋め込み符号化器３６
Ａおよび広告データベース４０が新たに設けられている
他は、図２５における場合と基本的に同様に構成されて
いる。
【０４７７】埋め込み符号化器３６Ａは、返信データ生
成部３６に内蔵されており、返信データ生成部３６が検
索部３２からマルチメディアパッケージデータを受信す
ると、広告データベース４０に記憶されている広告情報
を読み出し、その広告情報を、検索部３２からのマルチ
メディアパッケージデータに埋め込む埋め込み符号化処
理を行う。そして、埋め込み符号化器３６Ａは、その埋
め込み符号化処理の結果得られる符号化データを、返信
データとして検索部３２に出力する。
【０４７８】この場合、広告情報の広告主から、あらか
じめ代金を徴収しておき、その代金に応じて、マルチメ
ディアパッケージデータに広告情報を埋め込む頻度を変
えるようなサービスの提供が可能となる。
【０４７９】なお、上述の場合には、マルチメディアパ
ッケージデータに、広告情報を埋め込むようにしたが、
マルチメディアパッケージデータには、広告情報の他、
例えば、著作権情報等の、ユーザ端末３において必ず出
力させたい所定の情報を埋め込むようにすることが可能
である。
【０４８０】また、広告情報は、マルチメディアパッケ
ージデータの他、例えば、図４乃至図６で説明したよう
な、アイコンデータをメインデータとするとともに、テ
キストデータをサブデータとするパッケージデータに埋
め込むことが可能である。
【０４８１】さらに、広告情報は、メインデータとサブ
データとの組になっているパッケージデータ以外の任意
のデータに埋め込むようにすることが可能である。
【０４８２】また、ユーザ端末３に提供する符号化デー
タは、上述のような、広告情報をパッケージデータに埋
め込んだものに限定されるものではなく、復号する過程
において広告情報が得られるように、パッケージデータ
を符号化したものであれば良い。
【０４８３】さらに、本実施の形態では、マルチメディ
アパッケージデータを構成するメディアのデータとし
て、テキストデータ、画像データ、および音声データを
採用したが、その他、例えば、プログラム等をも採用す
ることも可能であり、また、テキストデータ、画像デー
タ、音声データ、その他のメディアのデータのうちの任
意の２つだけや４つ以上を採用することも可能である。
【０４８４】
【発明の効果】本発明の第１のデータ処理装置およびデ
ータ処理方法、並びに記録媒体によれば、複数のメディ
アのデータのうちのいずれか１つのメディアのデータを
メインデータとするとともに、複数のメディアのデータ
のうちの２以上のメディアのデータであり、かつ任意の
データへのリンクが可能なデータをサブデータとする場
合において、メインデータとサブデータとを組みにした
データであるパッケージデータが、端末からの要求に応
じて取得され、そのパッケージデータが、端末に提供さ
れる。従って、ユーザは、所望のメディアによるデータ
の提供を受けることが可能となる。
【０４８５】本発明の第２のデータ処理装置およびデー
タ処理方法、並びに記録媒体によれば、複数のメディア
のデータのうちのいずれか１つのメディアのデータをメ
インデータとするとともに、複数のメディアのデータの
うちの２以上のメディアのデータであり、かつ任意のデ
ータへのリンクが可能なデータをサブデータとすると、
第１のイベントが生じた場合に、メインデータとサブデ
ータとを組みにしたデータであるパッケージデータが、
サーバに要求され、サーバから提供されるパッケージデ
ータを構成するメインデータが、出力装置に出力され
る。さらに、出力装置において出力されたメインデータ
に対して、第２のイベントが与えられた場合に、そのメ
インデータと組になっているサブデータが、出力装置に
出力され、出力装置において出力されたサブデータに対
して、第３のイベントが与えられた場合に、その第３の
イベントが与えられたサブデータからリンクがはられて
いるパッケージデータが、サーバに要求される。従っ
て、ユーザは、所望のメディアによるデータの提供を、
単純なインタフェースによって受けることが可能とな
る。
【０４８６】本発明の第３のデータ処理装置およびデー
タ処理方法、並びに記録媒体によれば、復号する過程に
おいて所定の情報が得られるように符号化された符号化
データ、端末からの要求に応じて取得され、その符号化
データが、端末に提供される。従って、ユーザに対し
て、必然的に、所定の情報を見せること等が可能とな
る。
【０４８７】本発明の第４のデータ処理装置およびデー
タ処理方法、並びに記録媒体によれば、復号する過程に
おいて所定の情報が得られるように符号化された符号化
データが、サーバから取得され、その符号化データが復
号される。そして、符号化データの復号結果と、その復
号過程において得られる所定の情報が、出力装置に出力
される。従って、ユーザに対して、必然的に、所定の情
報を見せること等が可能となる。
【図面の簡単な説明】
【図１】本発明を適用したネットワークシステムの一実
施の形態の構成例を示す図である。
【図２】パッケージサーバ１、ユーザ端末３，ＷＷＷサ
ーバ４のハードウェア構成例を示すブロック図である。
【図３】パッケージサーバ１の第１の機能的構成例を示
すブロック図である。
【図４】データベース３１の記憶内容を示す図である。
【図５】パッケージデータを示す図である。
【図６】パッケージデータどうしのリンク構造を示す図
である。
【図７】パッケージサーバ１の処理を説明するフローチ
ャートである。
【図８】ユーザ端末３の第１の機能的構成例を示すブロ
ック図である。
【図９】ユーザ端末３の処理を説明するフローチャート
である。
【図１０】ユーザ端末３における表示例を示す図であ
る。
【図１１】ユーザ端末３における表示例を示す図であ
る。
【図１２】ユーザ端末３における表示例を示す図であ
る。
【図１３】ユーザ端末３における表示例を示す図であ
る。
【図１４】ユーザ端末３における表示例を示す図であ
る。
【図１５】データベース３１の記憶内容を示す図であ
る。
【図１６】マルチメディアパッケージデータを示す図で
ある。
【図１７】マルチメディアパッケージデータどうしのリ
ンク構造を示す図である。
【図１８】ユーザ端末３の第２の機能的構成例を示すブ
ロック図である。
【図１９】ユーザ端末３の処理を説明するフローチャー
トである。
【図２０】ユーザ端末３における表示例を示す図であ
る。
【図２１】ユーザ端末３における表示例を示す図であ
る。
【図２２】ユーザ端末３における表示例を示す図であ
る。
【図２３】データベース３１に記憶されているマルチメ
ディアパッケージデータを示す図である。
【図２４】ユーザ端末３に提供されるマルチメディアパ
ッケージデータのカスタマイズを説明する図である。
【図２５】パッケージサーバ１の第２の機能的構成例を
示すブロック図である。
【図２６】ユーザ情報を構成するユーザ嗜好情報と変更
情報を示す図である。
【図２７】埋め込み符号化／復号システムの一実施の形
態の構成例を示すブロック図である。
【図２８】符号化対象の画像を示す図である。
【図２９】相関性を利用した符号化／復号を説明するた
めの図である。
【図３０】埋め込み符号化器１０３の構成例を示すブロ
ック図である。
【図３１】埋め込み符号化処理を説明するフローチャー
トである。
【図３２】ステップＳ１０１の処理を説明する図であ
る。
【図３３】埋め込み復号器１０６の構成例を示すブロッ
ク図である。
【図３４】ＣＰＵ１４３の処理を説明する図である。
【図３５】埋め込み復号処理を説明するフローチャート
である。
【図３６】４画素に、１ビットの情報を埋め込む場合の
処理を説明する図である。
【図３７】連続性を利用した符号化／復号を説明する図
である。
【図３８】埋め込み符号化処理を説明するフローチャー
トである。
【図３９】埋め込み符号化処理および埋め込み復号処理
を説明する図である。
【図４０】埋め込み復号処理を説明するフローチャート
である。
【図４１】相似性を利用した符号化／復号を説明するた
めの図である。
【図４２】相似性を利用した符号化／復号を説明するた
めの図である。
【図４３】埋め込み符号化処理を説明するフローチャー
トである。
【図４４】埋め込み符号化処理および埋め込み復号処理
を説明する図である。
【図４５】埋め込み復号処理を説明するフローチャート
である。
【図４６】埋め込み符号化器１０３のハードウェアの構
成例を示すブロック図である。
【図４７】埋め込み符号化器１０３の機能的構成例を示
すブロック図である。
【図４８】埋め込み符号化処理を説明するためのフロー
チャートである。
【図４９】埋め込み符号化処理の結果を説明するための
図である。
【図５０】埋め込み復号器１０６のハードウェアの構成
例を示すブロック図である。
【図５１】埋め込み復号器１０６の機能的構成例を示す
ブロック図である。
【図５２】埋め込み復号処理を説明するためのフローチ
ャートである。
【図５３】埋め込み符号化のシミュレーションに用いた
原画像を示すディスプレイ上に表示された中間階調の写
真である。
【図５４】埋め込み符号化のシミュレーション結果を示
すディスプレイ上に表示された中間階調の写真である。
【図５５】埋め込み復号のシミュレーション結果を示す
ディスプレイ上に表示された中間階調の写真である。
【図５６】符号化対象となる画像を示す図である。
【図５７】符号化対象となる画像を示す図である。
【図５８】列ベクトル空間を示す図である。
【図５９】列ベクトル空間を示す図である。
【図６０】行と列の両方向の入れ替えを説明するための
図である。
【図６１】行と列の両方向の入れ替えを説明するための
図である。
【図６２】復号の基準とする画素を示す図である。
【図６３】復号の基準とする画素を示す図である。
【図６４】復号の基準とする画素を示す図である。
【図６５】広告情報を、マルチメディアパッケージデー
タに埋め込んだ符号化データの生成方法を説明する図で
ある。
【図６６】広告情報を、マルチメディアパッケージデー
タに埋め込んだ符号化データの生成方法を説明する図で
ある。
【図６７】ユーザ端末３の第３の機能的構成例を示すブ
ロック図である。
【図６８】ユーザ端末３の処理を説明するフローチャー
トである。
【図６９】ユーザ端末３によるマルチメディアパッケー
ジデータ復号処理を説明するフローチャートである。
【図７０】ユーザ端末３における符号化データの復号過
程を示す図である。
【図７１】ユーザ端末３によるマルチメディアパッケー
ジデータ復号処理を説明するフローチャートである。
【図７２】広告情報を、マルチメディアパッケージデー
タに埋め込んだ符号化データの生成方法を説明する図で
ある。
【図７３】ユーザ端末３によるマルチメディアパッケー
ジデータ復号処理を説明するフローチャートである。
【図７４】ユーザ端末３における符号化データの復号過
程を示す図である。
【図７５】パッケージサーバ１の第３の機能的構成例を
示すブロック図である。
【符号の説明】
１ パッケージサーバ， ２ ネットワーク， ３1乃
至３N ユーザ端末，１１ バス， １２ CPU， １３
ROM， １４ RAM， １５ ハードディスク， １６
出力部， １７ 入力部， １８ 通信部， １９
ドライブ，２０ 入出力インタフェース， ２１ リム
ーバブル記録媒体， ３１ データベース， ３２ 検
索部， ３４ 符号化／暗号化部， ３５ 復号部，
３６返信データ生成部， ３６Ａ 埋め込み符号化器，
３７ 通信Ｉ／Ｆ， ３８ 課金処理部， ３９ ユ
ーザ情報記憶部， ４０ 広告データベース， ４１
制御部， ４２ 指示部， ４３ イベント検出セレク
タ部， ４４ データ検索部， ４５ 選択指示検出
部， ４６ リクエスト信号生成部， ４７コンテンツ
識別子蓄積部， ４８ 符号化／暗号化部， ４９ 通
信Ｉ／Ｆ，５０ 復号部， ５１ 表示部， ５２ 記
憶部， ５３ スピーカ， ５４第１復号部， ５５
第２復号部， ６２ 専用ブラウザ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 17/30 １１０ Ｇ０６Ｆ 17/30 １１０Ｆ １７０ １７０Ｇ ４１９ ４１９Ｂ Ｈ０４Ｎ 7/173 ６４０ Ｈ０４Ｎ 7/173 ６４０Ｚ Ｆターム(参考） 5B049 BB11 BB49 CC05 CC10 DD01 EE05 FF01 FF07 GG02 GG10 5B075 KK07 ND06 ND14 ND16 ND36 PQ02 PQ05 5C064 BA07 BB10 BC17 BC18 BC22 BC23 BC25 BD02 BD08 BD09 BD14

Claims (38)

    【特許請求の範囲】
  1. 【請求項１】 端末に対してデータを提供するデータ処
    理装置であって、 複数のメディアのデータのうちのいずれか１つのメディ
    アのデータをメインデータとするとともに、複数のメデ
    ィアのデータのうちの２以上のメディアのデータであ
    り、かつ任意のデータへのリンクが可能なデータをサブ
    データとする場合において、 前記メインデータとサブデータとを組みにしたデータで
    あるパッケージデータを、前記端末からの要求に応じて
    取得する取得手段と、 前記パッケージデータを、前記端末に提供する提供手段
    とを備えることを特徴とするデータ処理装置。
  2. 【請求項２】 前記パッケージデータを記憶している記
    憶手段をさらに備え、 前記取得手段は、前記記憶手段から前記パッケージデー
    タを取得することを特徴とする請求項１に記載のデータ
    処理装置。
  3. 【請求項３】 ユーザに関するユーザ情報を収集する収
    集手段と、 前記ユーザ情報に基づいて、前記ユーザに提供する前記
    パッケージデータを構成するサブデータ、またはそのサ
    ブデータから前記パッケージデータにはられているリン
    クを変更する変更手段とをさらに備え、 前記提供手段は、前記変更手段による変更後の前記パッ
    ケージデータを提供することを特徴とする請求項１に記
    載のデータ処理装置。
  4. 【請求項４】 前記パッケージデータの提供に対する課
    金を行う課金手段をさらに備えることを特徴とする請求
    項１に記載のデータ処理装置。
  5. 【請求項５】 端末に対してデータを提供するデータ処
    理方法であって、 複数のメディアのデータのうちのいずれか１つのメディ
    アのデータをメインデータとするとともに、複数のメデ
    ィアのデータのうちの２以上のメディアのデータであ
    り、かつ任意のデータへのリンクが可能なデータをサブ
    データとする場合において、 前記メインデータとサブデータとを組みにしたデータで
    あるパッケージデータを、前記端末からの要求に応じて
    取得する取得ステップと、 前記パッケージデータを、前記端末に提供する提供ステ
    ップとを備えることを特徴とするデータ処理方法。
  6. 【請求項６】 端末に対してデータを提供するデータ処
    理を、コンピュータに行わせるプログラムが記録されて
    いる記録媒体であって、 複数のメディアのデータのうちのいずれか１つのメディ
    アのデータをメインデータとするとともに、複数のメデ
    ィアのデータのうちの２以上のメディアのデータであ
    り、かつ任意のデータへのリンクが可能なデータをサブ
    データとする場合において、 前記メインデータとサブデータとを組みにしたデータで
    あるパッケージデータを、前記端末からの要求に応じて
    取得する取得ステップと、 前記パッケージデータを、前記端末に提供する提供ステ
    ップとを備えるプログラムが記録されていることを特徴
    とする記録媒体。
  7. 【請求項７】 サーバからデータの提供を受けるデータ
    処理装置であって、 複数のメディアのデータのうちのいずれか１つのメディ
    アのデータをメインデータとするとともに、複数のメデ
    ィアのデータのうちの２以上のメディアのデータであ
    り、かつ任意のデータへのリンクが可能なデータをサブ
    データとする場合において、 第１のイベントが生じた場合に、前記メインデータとサ
    ブデータとを組みにしたデータであるパッケージデータ
    を、前記サーバに要求する第１の要求手段と、 前記サーバから提供されるパッケージデータを構成する
    前記メインデータを、出力装置に出力させるメインデー
    タ出力制御手段と、 前記出力装置において出力されたメインデータに対し
    て、第２のイベントが与えられた場合に、そのメインデ
    ータと組になっている前記サブデータを、前記出力装置
    に出力させるサブデータ出力制御手段と、 前記出力装置において出力されたサブデータに対して、
    第３のイベントが与えられた場合に、その第３のイベン
    トが与えられたサブデータからリンクがはられている前
    記パッケージデータを、前記サーバに要求する第２の要
    求手段とを備えることを特徴とするデータ処理装置。
  8. 【請求項８】 前記第１乃至第３のイベントは、前記出
    力装置に表示されるカーソルを操作する操作手段により
    与えられるものであることを特徴とする請求項７に記載
    のデータ処理装置。
  9. 【請求項９】 前記出力装置において出力されるメイン
    データまたはサブデータを更新する更新手段をさらに備
    えることを特徴とする請求項７に記載のデータ処理装
    置。
  10. 【請求項１０】 サーバからデータの提供を受けるデー
    タ処理方法であって、 複数のメディアのデータのうちのいずれか１つのメディ
    アのデータをメインデータとするとともに、複数のメデ
    ィアのデータのうちの２以上のメディアのデータであ
    り、かつ任意のデータへのリンクが可能なデータをサブ
    データとする場合において、 第１のイベントが生じた場合に、前記メインデータとサ
    ブデータとを組みにしたデータであるパッケージデータ
    を、前記サーバに要求する第１の要求ステップと、 前記サーバから提供されるパッケージデータを構成する
    前記メインデータを、出力装置に出力させるメインデー
    タ出力制御ステップと、 前記出力において出力されたメインデータに対して、第
    ２のイベントが与えられた場合に、そのメインデータと
    組になっている前記サブデータを、前記出力装置に出力
    させるサブデータ出力制御ステップと、 前記出力装置において出力されたサブデータに対して、
    第３のイベントが与えられた場合に、その第３のイベン
    トが与えられたサブデータからリンクがはられている前
    記パッケージデータを、前記サーバに要求する第２の要
    求ステップとを備えることを特徴とするデータ処理方
    法。
  11. 【請求項１１】 サーバからデータの提供を受けるデー
    タ処理を、コンピュータに行わせるプログラムが記録さ
    れている記録媒体であって、 複数のメディアのデータのうちのいずれか１つのメディ
    アのデータをメインデータとするとともに、複数のメデ
    ィアのデータのうちの２以上のメディアのデータであ
    り、かつ任意のデータへのリンクが可能なデータをサブ
    データとする場合において、 第１のイベントが生じた場合に、前記メインデータとサ
    ブデータとを組みにしたデータであるパッケージデータ
    を、前記サーバに要求する第１の要求ステップと、 前記サーバから提供されるパッケージデータを構成する
    前記メインデータを、出力装置に出力させるメインデー
    タ出力制御ステップと、 前記出力装置において出力されたメインデータに対し
    て、第２のイベントが与えられた場合に、そのメインデ
    ータと組になっている前記サブデータを、前記出力装置
    に出力させるサブデータ出力制御ステップと、 前記出力装置において出力されたサブデータを構成する
    ２以上のメディアのデータに対して、第３のイベントが
    与えられた場合に、その第３のイベントが与えられたデ
    ータからリンクがはられている前記パッケージデータ
    を、前記サーバに要求する第２の要求ステップとを備え
    るプログラムが記録されていることを特徴とする記録媒
    体。
  12. 【請求項１２】 端末に対してデータを提供するデータ
    処理装置であって、 復号する過程において所定の情報が得られるように符号
    化された符号化データを、前記端末からの要求に応じて
    取得する取得手段と、 前記符号化データを、前記端末に提供する提供手段とを
    備えることを特徴とするデータ処理装置。
  13. 【請求項１３】 前記符号化データを記憶している記憶
    手段をさらに備え、 前記取得手段は、前記記憶手段から前記符号化データを
    取得することを特徴とする請求項１２に記載のデータ処
    理装置。
  14. 【請求項１４】 データを、その復号過程において前記
    所定の情報が得られるように符号化する符号化手段をさ
    らに備えることを特徴とする請求項１２に記載のデータ
    処理装置。
  15. 【請求項１５】 前記符号化データは、データに、前記
    所定の情報を埋め込んだものであることを特徴とする請
    求項１２に記載のデータ処理装置。
  16. 【請求項１６】 前記符号化データは、所定のメインデ
    ータと、任意のデータへのリンクが可能なサブデータと
    を組にしたパッケージデータを、その復号過程において
    前記所定の情報が得られるように符号化したものである
    ことを特徴とする請求項１２に記載のデータ処理装置。
  17. 【請求項１７】 前記符号化データは、前記パッケージ
    データに、前記所定の情報を埋め込んだものであること
    を特徴とする請求項１６に記載のデータ処理装置。
  18. 【請求項１８】 前記符号化データは、前記メインデー
    タに、そのメインデータと組になっているサブデータ
    と、前記所定の情報とを埋め込んだものであることを特
    徴とする請求項１７に記載のデータ処理装置。
  19. 【請求項１９】 前記符号化データは、前記所定の情報
    に、前記サブデータを埋め込み、その埋め込み結果を、
    前記サブデータと組になっているメインデータに埋め込
    んだものであることを特徴とする請求項１７に記載のデ
    ータ処理装置。
  20. 【請求項２０】 前記メインデータは、複数のメディア
    のデータのうちのいずれか１つのメディアのデータであ
    り、 前記サブデータは、複数のメディアのデータのうちの２
    以上のメディアのデータであることを特徴とする請求項
    １６に記載のデータ処理装置。
  21. 【請求項２１】 前記所定の情報は、広告のための広告
    情報であることを特徴とする請求項１２に記載のデータ
    処理装置。
  22. 【請求項２２】 前記符号化データの提供に応じて、課
    金を行う課金手段をさらに備えることを特徴とする請求
    項１２に記載のデータ処理装置。
  23. 【請求項２３】 端末に対してデータを提供するデータ
    処理方法であって、 復号する過程において所定の情報が得られるように符号
    化された符号化データを、前記端末からの要求に応じて
    取得する取得ステップと、 前記符号化データを、前記端末に提供する提供ステップ
    とを備えることを特徴とするデータ処理方法。
  24. 【請求項２４】 端末に対してデータを提供するデータ
    処理を、コンピュータに行わせるプログラムが記録され
    ている記録媒体であって、 復号する過程において所定の情報が得られるように符号
    化された符号化データを、前記端末からの要求に応じて
    取得する取得ステップと、 前記符号化データを、前記端末に提供する提供ステップ
    とを備えるプログラムが記録されていることを特徴とす
    る記録媒体。
  25. 【請求項２５】 サーバからデータの提供を受けるデー
    タ処理装置であって、 復号する過程において所定の情報が得られるように符号
    化された符号化データを、前記サーバから取得する取得
    手段と、 前記符号化データを復号する復号手段と、 前記符号化データの復号結果と、その復号過程において
    得られる前記所定の情報を、出力装置に出力させる出力
    制御手段とを備えることを特徴とするデータ処理装置。
  26. 【請求項２６】 前記符号化データは、データに、前記
    所定の情報を埋め込んだものであることを特徴とする請
    求項２５に記載のデータ処理装置。
  27. 【請求項２７】 前記符号化データは、所定のメインデ
    ータと、任意のデータへのリンクが可能なサブデータと
    を組にしたパッケージデータを、その復号過程において
    前記所定の情報が得られるように符号化したものである
    ことを特徴とする請求項２５に記載のデータ処理装置。
  28. 【請求項２８】 前記符号化データは、前記パッケージ
    データに、前記所定の情報を埋め込んだものであること
    を特徴とする請求項２７に記載のデータ処理装置。
  29. 【請求項２９】 前記符号化データは、前記メインデー
    タに、そのメインデータと組になっているサブデータ
    と、前記所定の情報とを埋め込んだものであり、 前記
    復号手段は、前記符号化データを、前記メインデータに
    前記サブデータを埋め込んだ中間データと、前記所定の
    情報とに復号し、その後、前記中間データを、前記メイ
    ンデータとサブデータとに復号することを特徴とする請
    求項２８に記載のデータ処理装置。
  30. 【請求項３０】 前記復号手段は、所定のイベントが与
    えられた場合に、前記中間データを、前記メインデータ
    とサブデータとに復号することを特徴とする請求項２９
    に記載のデータ処理装置。
  31. 【請求項３１】 前記符号化データは、前記所定の情報
    に、前記サブデータを埋め込み、その埋め込み結果を、
    前記サブデータと組になっているメインデータに埋め込
    んだものであり、 前記復号手段は、前記符号化データを、前記メインデー
    タと、前記所定の情報に前記サブデータを埋め込んだ中
    間データとに復号し、その後、前記中間データを、前記
    サブデータと所定の情報とに復号することを特徴とする
    請求項２８に記載のデータ処理装置。
  32. 【請求項３２】 前記メインデータは、複数のメディア
    のデータのうちのいずれか１つのメディアのデータであ
    り、 前記サブデータは、複数のメディアのデータのうちの２
    以上のメディアのデータであることを特徴とする請求項
    ２７に記載のデータ処理装置。
  33. 【請求項３３】 前記所定の情報は、広告のための広告
    情報であることを特徴とする請求項２５に記載のデータ
    処理装置。
  34. 【請求項３４】 第１のイベントが生じた場合に、前記
    パッケージデータを符号化した前記符号化データを、前
    記サーバに要求する第１の要求手段をさらに備え、 前記出力制御手段は、前記サーバから提供される符号化
    データを復号した前記パッケージデータを構成する前記
    メインデータを、前記出力装置に出力させることを特徴
    とする請求項２５に記載のデータ処理装置。
  35. 【請求項３５】 前記出力制御手段は、前記出力装置に
    おいて出力された前記メインデータに対して、第２のイ
    ベントが与えられたときに、そのメインデータと組にな
    っている前記サブデータを、前記出力装置に出力させる
    ことを特徴とする請求項３４に記載のデータ処理装置。
  36. 【請求項３６】 前記出力装置において出力されたサブ
    データの構成要素に対して、第３のイベントが与えられ
    た場合に、その第３のイベントが与えられた構成要素か
    らリンクがはられている前記パッケージデータを、前記
    サーバに要求する第２の要求手段をさらに備えることを
    特徴とする請求項３５に記載のデータ処理装置。
  37. 【請求項３７】 サーバからデータの提供を受けるデー
    タ処理方法であって、 復号する過程において所定の情報が得られるように符号
    化された符号化データを、前記サーバから取得する取得
    ステップと、 前記符号化データを復号する復号ステップと、 前記符号化データの復号結果と、その復号過程において
    得られる前記所定の情報を、出力装置に出力させる出力
    制御ステップとを備えることを特徴とするデータ処理方
    法。
  38. 【請求項３８】 サーバからデータの提供を受けるデー
    タ処理を、コンピュータに行わせるプログラムが記録さ
    れている記録媒体であって、 復号する過程において所定の情報が得られるように符号
    化された符号化データを、前記サーバから取得する取得
    ステップと、 前記符号化データを復号する復号ステップと、 前記符号化データの復号結果と、その復号過程において
    得られる前記所定の情報を、出力装置に出力させる出力
    制御ステップとを備えるプログラムが記録されているこ
    とを特徴とする記録媒体。
JP2000148552A 2000-05-19 2000-05-19 通信装置および通信方法、並びに記録媒体 Expired - Fee Related JP4626784B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2000148552A JP4626784B2 (ja) 2000-05-19 2000-05-19 通信装置および通信方法、並びに記録媒体
MYPI20012324A MY138076A (en) 2000-05-19 2001-05-16 Communication apparatus, communication method, and recording medium used therewith
EP01304342A EP1156404A3 (en) 2000-05-19 2001-05-16 Communication apparatus and method
US09/860,177 US7406712B2 (en) 2000-05-19 2001-05-16 Communication apparatus, communication method, and recording medium used therewith
TW090111740A TW522296B (en) 2000-05-19 2001-05-16 Communication apparatus, communication method, and recording medium used therewith
KR1020010027367A KR100922932B1 (ko) 2000-05-19 2001-05-18 통신 장치, 통신 방법, 및 이에 사용되는 저장 매체
CNB011228091A CN1194317C (zh) 2000-05-19 2001-05-19 通信装置和通信方法
US12/104,046 US7900256B2 (en) 2000-05-19 2008-04-16 Communication apparatus, communication method, and recording medium used therewith

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000148552A JP4626784B2 (ja) 2000-05-19 2000-05-19 通信装置および通信方法、並びに記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007067198A Division JP4626824B2 (ja) 2007-03-15 2007-03-15 通信装置および通信方法、並びに記録媒体

Publications (3)

Publication Number Publication Date
JP2001331724A true JP2001331724A (ja) 2001-11-30
JP2001331724A5 JP2001331724A5 (ja) 2007-05-10
JP4626784B2 JP4626784B2 (ja) 2011-02-09

Family

ID=18654562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000148552A Expired - Fee Related JP4626784B2 (ja) 2000-05-19 2000-05-19 通信装置および通信方法、並びに記録媒体

Country Status (7)

Country Link
US (2) US7406712B2 (ja)
EP (1) EP1156404A3 (ja)
JP (1) JP4626784B2 (ja)
KR (1) KR100922932B1 (ja)
CN (1) CN1194317C (ja)
MY (1) MY138076A (ja)
TW (1) TW522296B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010287165A (ja) * 2009-06-15 2010-12-24 Dentsu Inc 情報合成装置、情報合成方法、及び情報合成用プログラム
WO2017013936A1 (ja) * 2015-07-21 2017-01-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094949B1 (en) 1994-10-21 2012-01-10 Digimarc Corporation Music methods and systems
US6721440B2 (en) 1995-05-08 2004-04-13 Digimarc Corporation Low visibility watermarks using an out-of-phase color
US7224819B2 (en) 1995-05-08 2007-05-29 Digimarc Corporation Integrating digital watermarks in multimedia content
US6763123B2 (en) 1995-05-08 2004-07-13 Digimarc Corporation Detection of out-of-phase low visibility watermarks
US6590996B1 (en) 2000-02-14 2003-07-08 Digimarc Corporation Color adaptive watermarking
US6718046B2 (en) 1995-05-08 2004-04-06 Digimarc Corporation Low visibility watermark using time decay fluorescence
US6829368B2 (en) * 2000-01-26 2004-12-07 Digimarc Corporation Establishing and interacting with on-line media collections using identifiers in media signals
US8379908B2 (en) 1995-07-27 2013-02-19 Digimarc Corporation Embedding and reading codes on objects
US7953824B2 (en) 1998-08-06 2011-05-31 Digimarc Corporation Image sensors worn or attached on humans for imagery identification
US7373513B2 (en) * 1998-09-25 2008-05-13 Digimarc Corporation Transmarking of multimedia signals
US7532740B2 (en) 1998-09-25 2009-05-12 Digimarc Corporation Method and apparatus for embedding auxiliary information within original data
US7302574B2 (en) * 1999-05-19 2007-11-27 Digimarc Corporation Content identifiers triggering corresponding responses through collaborative processing
US8095796B2 (en) * 1999-05-19 2012-01-10 Digimarc Corporation Content identifiers
US6891959B2 (en) * 2000-04-19 2005-05-10 Digimarc Corporation Hiding information out-of-phase in color channels
US6804377B2 (en) 2000-04-19 2004-10-12 Digimarc Corporation Detecting information hidden out-of-phase in color channels
US7738673B2 (en) * 2000-04-19 2010-06-15 Digimarc Corporation Low visible digital watermarks
US8027509B2 (en) 2000-04-19 2011-09-27 Digimarc Corporation Digital watermarking in data representing color channels
JP2002135246A (ja) * 2000-07-18 2002-05-10 Ns Solutions Corp エンコード装置、デコード装置、データ処理装置、ネットワークシステム、データ処理方法、記録媒体、及びプログラム
AU2002214613A1 (en) * 2000-11-08 2002-05-21 Digimarc Corporation Content authentication and recovery using digital watermarks
WO2002051063A1 (en) 2000-12-21 2002-06-27 Digimarc Corporation Methods, apparatus and programs for generating and utilizing content signatures
US6965683B2 (en) 2000-12-21 2005-11-15 Digimarc Corporation Routing networks for use with watermark systems
US7046819B2 (en) * 2001-04-25 2006-05-16 Digimarc Corporation Encoded reference signal for digital watermarks
US20020169963A1 (en) * 2001-05-10 2002-11-14 Seder Phillip Andrew Digital watermarking apparatus, systems and methods
US20020169721A1 (en) * 2001-05-10 2002-11-14 Cooley William Ray Digital watermarking apparatus, systems and methods
US8094869B2 (en) * 2001-07-02 2012-01-10 Digimarc Corporation Fragile and emerging digital watermarks
US7213757B2 (en) 2001-08-31 2007-05-08 Digimarc Corporation Emerging security features for identification documents
US7537170B2 (en) * 2001-08-31 2009-05-26 Digimarc Corporation Machine-readable security features for printed objects
US7515730B2 (en) * 2001-12-13 2009-04-07 Digimarc Corporation Progressive image quality control using watermarking
US7187780B2 (en) * 2001-12-13 2007-03-06 Digimarc Corporation Image processing methods using reversible watermarking
US8059815B2 (en) * 2001-12-13 2011-11-15 Digimarc Corporation Transforming data files into logical storage units for auxiliary data through reversible watermarks
US7006662B2 (en) 2001-12-13 2006-02-28 Digimarc Corporation Reversible watermarking using expansion, rate control and iterative embedding
US7561714B2 (en) * 2001-12-13 2009-07-14 Digimarc Corporation Reversible watermarking
ATE509326T1 (de) * 2001-12-18 2011-05-15 L 1 Secure Credentialing Inc Mehrfachbildsicherheitsmerkmale zur identifikation von dokumenten und verfahren zu ihrer herstellung
US7313375B2 (en) * 2002-05-02 2007-12-25 Lucent Technologies Inc. Follow-me broadcast reception method and system
US7824029B2 (en) 2002-05-10 2010-11-02 L-1 Secure Credentialing, Inc. Identification card printer-assembler for over the counter card issuing
US20040091111A1 (en) * 2002-07-16 2004-05-13 Levy Kenneth L. Digital watermarking and fingerprinting applications
FR2860111A1 (fr) * 2003-09-23 2005-03-25 Orange France Systeme d'acces a un reseau adapte pour la mise en oeuvre d'un procede a signature simplifiee, et serveur pour sa realisation
JP5008822B2 (ja) * 2003-10-27 2012-08-22 パナソニック株式会社 コンテンツ再生制御方法およびコンテンツ再生制御端末
US8127137B2 (en) 2004-03-18 2012-02-28 Digimarc Corporation Watermark payload encryption for media including multiple watermarks
DE102007038763A1 (de) * 2007-08-16 2009-02-19 Siemens Ag Verfahren und Vorrichtung zur Sicherung eines Programms gegen eine Kontrollflussmanipulation und gegen einen fehlerhaften Programmablauf
US8199969B2 (en) 2008-12-17 2012-06-12 Digimarc Corporation Out of phase digital watermarking in two chrominance directions
US9117268B2 (en) * 2008-12-17 2015-08-25 Digimarc Corporation Out of phase digital watermarking in two chrominance directions
JP5269579B2 (ja) * 2008-12-25 2013-08-21 ソニー株式会社 コンテンツ利用管理装置、コンテンツ利用管理方法、およびプログラム
TWI483134B (zh) * 2009-03-17 2015-05-01 Taiwan Familymart Co Ltd 訊息託播系統
EP2234400A1 (en) * 2009-03-23 2010-09-29 Sony Corporation Method and device for providing a multimedia content stream embedding processing information for the content
KR101631270B1 (ko) * 2009-06-19 2016-06-16 삼성전자주식회사 의사 난수 필터를 이용한 영상 필터링 방법 및 장치
JP5661313B2 (ja) * 2010-03-30 2015-01-28 キヤノン株式会社 記憶装置
CN102340397A (zh) * 2010-07-29 2012-02-01 富泰华工业（深圳）有限公司 用于文件加解密的系统、加密、解密装置及加解密方法
CN102740137B (zh) * 2012-07-18 2014-09-03 西安科技大学 基于水印的数字电视计时收费及版权保护方法
USD758417S1 (en) * 2013-06-10 2016-06-07 Apple Inc. Display screen or portion thereof with animated graphical user interface
CN104683294B (zh) * 2013-11-27 2019-01-18 阿里巴巴集团控股有限公司 一种数据处理方法和系统
CN104636448B (zh) * 2015-01-23 2018-01-23 广东欧珀移动通信有限公司 一种音乐推荐方法及装置
USD791829S1 (en) * 2015-12-23 2017-07-11 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD791828S1 (en) * 2015-12-23 2017-07-11 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP6724547B2 (ja) * 2016-05-25 2020-07-15 株式会社リコー 情報処理装置、情報処理方法及び情報処理プログラム
CN111243128A (zh) * 2018-11-13 2020-06-05 中国电信股份有限公司 实现超声波智能锁的方法、服务器和系统
USD912694S1 (en) 2019-06-01 2021-03-09 Apple Inc. Electronic device with graphical user interface

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998056188A2 (en) * 1997-06-02 1998-12-10 Sony Electronics Inc. Displaying internet content and television programming
JP2000059743A (ja) * 1998-08-06 2000-02-25 Sony Corp 画像処理装置および画像処理方法、並びに提供媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659350A (en) * 1992-12-09 1997-08-19 Discovery Communications, Inc. Operations center for a television program packaging and delivery system
JPH10133955A (ja) * 1996-10-29 1998-05-22 Matsushita Electric Ind Co Ltd 可搬型メディア駆動装置とその方法、及び可搬型メディアとネットワークの連携装置とその方法
WO2000011871A1 (en) 1998-08-23 2000-03-02 Open Entertainment, Inc. Transaction system for transporting media files from content provider sources to home entertainment devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998056188A2 (en) * 1997-06-02 1998-12-10 Sony Electronics Inc. Displaying internet content and television programming
JP2000059743A (ja) * 1998-08-06 2000-02-25 Sony Corp 画像処理装置および画像処理方法、並びに提供媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010287165A (ja) * 2009-06-15 2010-12-24 Dentsu Inc 情報合成装置、情報合成方法、及び情報合成用プログラム
WO2017013936A1 (ja) * 2015-07-21 2017-01-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JPWO2017013936A1 (ja) * 2015-07-21 2018-05-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10916044B2 (en) 2015-07-21 2021-02-09 Sony Corporation Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
US20080263667A1 (en) 2008-10-23
MY138076A (en) 2009-04-30
US20020040433A1 (en) 2002-04-04
US7900256B2 (en) 2011-03-01
JP4626784B2 (ja) 2011-02-09
EP1156404A3 (en) 2008-12-24
EP1156404A2 (en) 2001-11-21
KR100922932B1 (ko) 2009-10-22
CN1325073A (zh) 2001-12-05
US7406712B2 (en) 2008-07-29
KR20010105286A (ko) 2001-11-28
CN1194317C (zh) 2005-03-23
TW522296B (en) 2003-03-01

Similar Documents

Publication Publication Date Title
JP4626784B2 (ja) 通信装置および通信方法、並びに記録媒体
US11902633B2 (en) Dynamic overlay video advertisement insertion
US7711564B2 (en) Connected audio and other media objects
US8121843B2 (en) Fingerprint methods and systems for media signals
US7590259B2 (en) Deriving attributes from images, audio or video to obtain metadata
KR100827215B1 (ko) 접속된 오디오 및 다른 미디어 객체들
US10713340B2 (en) Connected audio and other media objects
JP5175908B2 (ja) 情報処理装置及びプログラム
US20030097301A1 (en) Method for exchange information based on computer network
CN103124968B (zh) 用于后仰式娱乐的内容转换
JPH11250145A (ja) コンテンツ情報流通システム
CN109474843A (zh) 语音操控终端的方法、客户端、服务器
CN114339360B (zh) 一种视频处理的方法、相关装置及设备
KR20110047768A (ko) 멀티미디어 컨텐츠 재생 장치 및 방법
WO2006065959A2 (en) A method for selecting a preview of a media work
US20110167069A1 (en) System and method for creating and providing media objects in a navigable environment
JP4626824B2 (ja) 通信装置および通信方法、並びに記録媒体
US20060059534A1 (en) Method for capturing a media segment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101014

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101027

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees