CN1194317C - 通信装置和通信方法 - Google Patents

通信装置和通信方法 Download PDF

Info

Publication number
CN1194317C
CN1194317C CNB011228091A CN01122809A CN1194317C CN 1194317 C CN1194317 C CN 1194317C CN B011228091 A CNB011228091 A CN B011228091A CN 01122809 A CN01122809 A CN 01122809A CN 1194317 C CN1194317 C CN 1194317C
Authority
CN
China
Prior art keywords
data
subdata
unit
bag
communicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB011228091A
Other languages
English (en)
Other versions
CN1325073A (zh
Inventor
近藤哲二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1325073A publication Critical patent/CN1325073A/zh
Application granted granted Critical
Publication of CN1194317C publication Critical patent/CN1194317C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/085—Payment architectures involving remote charge determination or related payment systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Information Transfer Between Computers (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

通过将子数据嵌入广告信息和将嵌入了子数据的广告信息嵌入主数据得到的编码数据提供向用户。在用户侧，对编码数据解码以再现主数据和嵌入子数据的广告信息，对嵌入子数据的广告信息解码以再现广告信息和嵌入其中的子数据。

Description

通信装置和通信方法
                            技术领域
本发明涉及通信装置、通信方法及其利用的记录媒体，具体地说涉及这样一种通信装置、通信方法及该通信装置和方法利用的记录媒体，其中利用所需的媒体类型可以获得所需的信息且可靠地向用户示出广告等。
                            背景技术
根据互联网上的万维网(WWW)系统，用户利用WWW浏览器去观看由WWW服务器提供的网页。
该网页用诸如超文本标记语言(HTML)的网页说明语言描述。通过利用HTML，各种类型的信息可以和其它类型的信息链接。因此，当观看某个网页时，用户沿追随在网页上的链接，获得所需的信息。
在链接在网页上的目的地信息的媒体类型由网页的创作者确定，因此，用户不能总是按所需的媒体类型获得所需的信息。换句话说，例如，当用户获得关于一个特定的艺术家的一首音乐的信息时，有各种用户诸如，一个用户想在文本形式中知道该首音乐的名子，一个用户想听该音乐，一个用户想看包含该音乐的相册封面的图像(例如压缩磁盘)，在这种情况下，不是总能按用户所需的媒体类型提供需要的信息。
此外，有一种情况，其中网页有链接于描述广告信息的网页的标题广告。在这种情况下，被链接的标题广告信息不能在WWW浏览器上显示，除非用户单击该标题广告。这就不能保证广告信息向用户示出。
                           发明内容
因此，考虑到前述的事实提出本发明，本发明的一个目的是提供一种通信装置、通信方法及该通信装置和方法利用的记录媒体，其中利用所需的媒体类型可以获得所需的信息且保证预定的信息诸如广告向用户示出。
为此，根据本发明的一个方面，提供了一种通信装置，当通过外部装置请求时，用于发送数据。该通信装置包括一个存储单元，一个检索(retrieval)单元，一个加密单元和一个通信单元。存储单元存储多段的包数据，每个包数据由主数据和子数据组成。主数据是多段的媒体数据的一个段，子数据包括多段的媒体数据和多段相对应的链接数据。检索单元响应于来自外部装置的请求从存储单元中检索所需的包数据。加密单元输出通过对检索的包数据加密产生的加密的包数据。通信单元发送加密的包数据给外部装置。
因此，因为本发明的通信装置响应于来自外部装置的请求，可以发送所需的媒体类型的数据，能够进行有效的多媒体数据库服务。
根据本发明的另一个方面，提供了一种通信装置，用于从外部装置接收数据。该通信装置包括一个请求单元，一个输出单元，一个用户指令检测单元和一个输出控制单元。该请求单元响应用户指令向外部装置请求由主数据和子数据组成的包数据。主数据是多个媒体数据中的一个，子数据由多段的媒体数据和多段相对应的链接数据。响应请求单元的请求，输出单元输出从外部装置接收的包数据中的主数据。用户指令检测单元检测涉及输出主数据和子数据的用户的指令。当用户的指令被用户指令检测单元检测时，输出控制单元输出相应于输出主数据的子数据。当用户指令检测单元检测涉及部分子数据的用户的指令时，请求单元基于相应于部分子数据的链接数据向外部装置请求新的包数据。
本发明的通信装置经一个非常简单的接口可以提供有效的多媒体数据库服务，因为它可以从外部装置获得所需的媒体类型的数据。
根据本发明的另一个方面，提供了一种通信装置，用于发送数据到外部装置。该通信装置包括一个存储单元，一个检索单元和一个通信单元。该存储单元存储通过执行编码产生的多段的编码数据，以便当对该编码数据解码时，再现预定的信息。该检索单元响应来自外部装置的请求从存储单元检索所需的编码数据。该通信单元发送检索的编码数据给外部装置。
根据本发明的通信装置，通过提供具有编码数据的外部装置，其中解码时预定的信息可以再现，当外部装置获得最终解码的结果时，可以控制外部装置保证示出预定的信息。因此，可以容易地控制由外部装置显示的信息。
根据本发明的另一个方面，提供了一种通信装置，用于从外部装置接收数据。该通信装置包括一个请求单元，一个解码单元和一个输出单元。该请求单元向外部装置请求通过执行编码产生的编码数据，以便当对该编码数据解码时，再现预定的信息。该解码单元检索和解码请求的编码数据。输出单元既输出预定的信息又输出通过最终对编码的数据解码而产生的解码数据。
因为本发明的通信装置提供有编码数据，其中在解码时，可以再现预定的信息，当用于获得最终解码的结果时，可以进行控制以保证示出预定的信息，因此，可以容易地控制由通信装置显示的信息。
根据本发明的另一个方面，提供了一种用于当外部装置请求时发送数据的通信方法，所述通信方法包括步骤：响应来自所述外部装置的请求从存储器检索所需的包数据，包数据包括主数据和子数据，所述主数据是多段的媒体数据的其中一个段，所述子数据包括多段的媒体数据和多段相对应的链接数据；将检索的包数据加密；和将加密的包数据发送到所述外部装置。
根据本发明的另一个方面，提供了一种用于从外部装置接收数据的通信方法，所述通信方法包括步骤：响应用户的指令向所述外部装置请求包括主数据和子数据的包数据，所述主数据是多段的媒体数据的其中一个段，所述子数据包括多段的媒体数据和多段相对应的链接数据；响应请求步骤的请求输出从所述外部装置收到的包数据中的主数据；检测涉及输出主数据和子数据的用户指令；和当检测到用户指令时输出与输出主数据相对应的子数据；其中当检测到关于部分子数据的用户指令时，根据与部分子数据相对应的链接数据向所述外部装置请求新的包数据。
根据本发明的另一个方面，提供了一种用于向外部装置发送数据的通信方法，所述通信方法包括步骤：当所述外部装置请求时从存储器检索所需的编码数据，其中该编码数据是通过执行编码所产生的，因此当对该编码数据解码时再现预定信息；和将检索的编码数据发送到所述外部装置。
根据本发明的另一个方面，提供了一种用于从外部装置接收数据的通信方法，所述通信方法包括步骤：当所述外部装置请求时从存储器检索所需的编码数据，其中该编码数据是通过执行编码所产生的，以便当对该编码数据解码时再现预定信息；接收并解码所请求的编码数据；和输出通过对所述编码数据进行最终解码而生成的解码数据，其中该解码数据包括所述预定信息。
                            附图说明
图1是一个方框图，示出一个本发明适用的网络系统的实施例；
图2是一个方框图，示出一个图1所示的包服务器1、用户终端3和WWW服务器4的每个的硬件结构；
图3是一个方框图，示出一个图1所示的包服务器1的功能性结构；
图4A和4B是查寻表说明和一个包含在图3所示的数据库31中的数据存储部分；
图5是包数据的说明；
图6A和6B是通过预定形成的链接结构的说明；
图7是一个流程图，说明由图1所示的包服务器1执行的操作；
图8是一个方框图，示出用户终端3的第一个功能性结构；
图9是一个流程图，举例说明由用户终端3执行的操作；
图10是由用户终端3显示的屏幕说明；
图11是由用户终端3显示的屏幕说明；
图12A和12B是由用户终端3显示的屏幕说明；
图13A、13B、13C和13D是由用户终端3显示的屏幕说明；
图14A和14B是由用户终端3显示的屏幕说明；
图15是在图3所示的数据库31中的数据存储部分的说明；
图16是多媒体包数据的说明；
图17是一个链接结构的说明；
图18是一个方框图，示出用户终端3的第二个功能性结构；
图19是一个流程图，说明由用户终端3执行的操作；
图20是由用户终端3显示的屏幕实例的说明；
图21是由用户终端3显示的屏幕实例的说明；
图22是由用户终端3显示的屏幕实例的说明；
图23A和23B是存储在图3所示的数据库31中的多媒体包数据的说明；
图24A和24B提供向用户终端3的多媒体包数据的定制的说明；
图25是一个方框图，示出图1所示的包服务器1的第二个功能性结构；
图26A和26B是用户优选信息和组成用户信息的改变信息的说明；
图27是一个方框图，示出一个嵌入编码/解码系统的实施例；
图28是一个被编码的图像的说明；
图29由曲线图(A)和(B)组成，说明利用相关性(interrelation)的编码/解码；
图30是一个方框图，示出一个图27所示的嵌入编码单元103的结构；
图31是一个流程图，举例说明一个嵌入编码操作；
图32是在图31中所示的步骤101的操作说明；
图33是一个方框图，示出在图27中所示的嵌入解码单元106的结构；
图34是在图33中所示出的由CPU143执行的操作说明；
图35是一个流程图，说明一个嵌入解码操作；
图36说明了一种情况，其中对4个像素嵌入1位(bit)信息；
图37由曲线图(A)和(B)组成，说明利用连续性编码/解码；
图38是一个流程图，说明一个嵌入解码操作；
图39说明一个嵌入编码操作和一个嵌入解码操作；
图40是一个流程图，说明一个嵌入解码操作；
图41A和41B是说明利用相似性的编码/解码；
图42A和42B是说明利用相似性的编码/解码；
图43是一个流程图，举例说明一个嵌入编码操作；
图44由一个嵌入编码操作和一个嵌入解码操作的图(A)和(B)组成；
图45是一个流程图，说明一个嵌入解码操作；
图46是一个方框图，示出嵌入编码单元103的硬件结构；
图47是一个方框图，示出嵌入编码单元103的功能性结构；
图48是一个流程图，说明一个嵌入编码操作；
图49A、49B、49C、49D、49E、49F、49G、49H、49I、49J和49K说明嵌入编码操作的结果；
图50是一个方框图，示出嵌入解码单元106的硬件结构；
图51是一个方框图，示出嵌入解码单元106的功能性结构；
图52是一个流程图，说明一个嵌入解码操作；
图53是一个在显示器上显示的中间色调(gradation)的照片，示出用于模拟嵌入编码的初始图像；
图54是一个在显示器上显示的中间色调的照片，示出模拟嵌入编码的结果；
图55是一个在显示器上显示的中间层的照片，示出模拟嵌入解码的结果；
图56是说明一个要编码的图像；
图57是说明一个要编码的图像；
图58是一个示出一列矢量空间的图表；
图59是一个示出一列矢量空间的图表；
图60是说明行和列的转换；
图61A和61B是说明行和列的转换；
图62是像素的说明，基于像素该执行解码；
图63是像素的说明，基于像素该执行解码；
图64是像素的说明，基于像素该执行解码；
图65是说明用于产生编码数据的方法，其中广告信息嵌入在多媒体包数据中；
图66是说明用于产生编码数据的方法，其中广告信息嵌入在多媒体包数据中；
图67是一个方框图，示出用户终端3的第三个结构；
图68是一个流程图，说明由在图67中所示的用户终端3执行的操作；
图69是一个流程图，说明由用户终端3对多媒体包数据解码的操作；
图70是说明用于对由用户终端3编码的数据解码的步骤；
图71是一个流程图，说明由用户终端3对多媒体包数据解码的操作；
图72是说明用于产生编码数据的方法，其中广告信息嵌入在多媒体包数据中；
图73是一个流程图，说明由用户终端3对多媒体包数据解码的操作；
图74是说明用于对由用户终端3编码的数据解码的步骤；和
图75是一个方框图，示出包服务器1的第三个功能性结构。
                          具体实施方式
图1示出一个本发明适用的网络系统的实施例。
响应来自用户终端31、32……3N(用户终端31至3N的一个除非需要特别和另一个区别，今后将称作“用户终端3”)的请求，包服务器1经网络2诸如互联网发送包数据(稍后解释)。
当需要时，用户终端3利用网络2向包服务器1请求包数据，接收和输出作为响应从包服务器1发送的包数据(该包数据以诸如图像或文本方式显示，或作为声音输出)。用户终端3经网络2向WWW服务器4请求网页等，接收和显示作为响应经网络2从WWW服务器4发送的网页。
响应于来自用户终端3的请求，WWW服务器4经网络2发送一个网页。
接着，图2示出包服务器1、用户终端3和WWW服务器4的每个硬件结构。
包服务器1、用户终端3和WWW服务器4每个都有基于计算机的结构。
每个装置具有作为计算机的内置中央操作单元(CPU)12，输入/输出接口(I/F)20经总线11连接于该CPU12。当通过该装置的用户操作有键盘、麦克风等装置的输入单元17，一个指令经输入/输出I/F20输入给CPU时，响应于该指令，CPU12执行一个存储在只读存储器(ROM)13中的程序，它实现一个专用的浏览器(稍后解释)。此外，在将其加载到随机存取存储器(RAM)14之后，CPU12执行下面的程序的一个：存储在硬盘驱动器15中的程序；在从网络或卫星转送和由通信单元18接收之后，安装在硬盘驱动器15中的程序；和在从可取下记录媒体21中读出之后，安装在硬盘驱动器15中的程序。这允许CPU12根据流程图(稍后解释)或在方框图中执行的操作(稍后解释)来执行操作。在CPU12控制下，通过利用输入/输出I/F20，每个操作的结果从包括液晶显示器和扬声器的输出单元16输出，由通信单元18发送，或在硬盘驱动器15中记录。
在本说明书中，操作步骤说明每个程序用于控制计算机去执行每个操作，不总是需要按照每个流程图(稍后解释)的形式描述的次序按时间顺序来描述，也包括并行或单独执行操作(即，并行操作或基于目的的操作)。
每个程序可以由一个计算机来操作或可以由多段的计算机分配地操作。此外，每个程序可以属于一种在远端计算机中转送和执行的类型。
此外，每个程序可以记录在按照记录媒体的类型内置在计算机中的硬盘驱动器15中或ROM13中。每个程序可以临时或永久性地存储(记录)在可取下记录媒体21诸如软盘、只读存储器光盘、数字多用盘、磁盘或半导体存储器上。这个可取下记录媒体21可以提供作为所谓的“软件包”。
每个程序可以从上述的可取下记录媒体21中安装在计算机中，此外，可通过无线电方式经用于数字卫星广播的卫星从下载点将每个程序转送给计算机，或通过有线方式转送每个程序给计算机，在通过通信单元18接收之后，该计算机可以安装该转送的程序在硬盘驱动器15中。
图3示出了在图1中所示的包服务器1的功能性结构。
数据库31存储该包服务器1提供向用户终端3的包数据等。响应来自响应数据产生单元36的请求，从数据库31检索包数据，由检索单元32提供给响应数据产生单元36。该检索单元32接收作为来自响应数据产生单元36的响应数据的包数据，提供该响应数据给编码/加密单元34。该编码/加密单元34通过执行用于经网络2转送的协议转换(编码)操作提供的响应数据，需要加密用于确保安全等，将处理过的数据提供给通信I/F37。解码单元35处理来自用户终端3的数据，该数据是通过执行用于确保安全的加密、协议转换等从通信I/F37提供的，提供该处理过的数据给响应数据产生单元36。
基于来自用户终端3由解码单元35提供的数据，响应数据产生单元36鉴别由用户请求的包数据，控制检索单元32以检索包数据。响应数据产生单元36利用从检索单元32提供的包数据产生响应数据，提供产生的响应数据给检索单元32。响应数据产生单元36按照来自用户终端3的请求等控制计费处理单元38。
通信I/F37向用户终端3发送从编码/加密单元34提供的响应数据，接收和提供给解码单元35，经网络2从用户终端3发送数据。在响应数据产生单元36的控制下，计费处理单元38执行计费。
参考图4A和4B至6，下面说明存储在包服务器1(图3)的数据库31中的数据。
数据库31包含图4A中示出的查寻表和图4B中示出的数据存储部分。
如图4A所示，查寻表由用于识别存储在查寻表的数据存储部分入口(entry)的包数据内容标识符和用于指定(地址)存储包数据的入口的指针组成。在图4A所示的实例中，统一的资源定位符(URL)用作内容标识符。
如图4B所示，数据存储部分由一个或多段的存储包数据条目(entry)组成。
例如，每个包数据以这种顺序由首标、图标数据、文本数据和链接数据组成。
首标有关于包数据的预定的信息，诸如包数据的长度。
图标数据是在用户终端3上作为图标显示的图像数据，包数据需要有单独的图标。
当将一个预定事件指定到相应于图标数据的图标时，文本数据图标数据与综合以形成一对，并作为被用作显示的菜单的项目的文本。包数据包含需要数量的文本数据，在图4B所示的实例中，包数据有M个数据。
链接数据是用于识别被链接到文本数据的包数据的识别信息，例如，链接数据是链接到文本数据的包数据的内容标识符，因此，包数据基本上包含等于文本数据数量的链接数据。
换句话说，如图5所示，包数据包含一组图标数据和必需数量的文本数据#1至#M，代表链接到其它包数据的链接数据与之相关。在包数据中，每个文本数据可以链接到其它的包数据(或链接到文本数据自身)，因此，通过利用数据自身作为基础单元，可以形成由多个包数据组成的链接结构。
具体地说，当在包数据中的图标数据由一个圆圈表示及文本数据由矩形表示时，作为一个基础单元的包数据如图5所示。如图6A和6B所示，通过利用包数据，在包数据中的每个文本数据可以链接到其它的包数据。通过重复执行对于包数据的链接，理论上可以实现无穷的包数据相互链接的链接结构。
包数据的链接结构不仅可以形成为在图6A中所示的树形结构，也可以形成为在图6B中所示的由点线箭头表示的环形结构。
此外，由一组图标数据和文本数据形成的包数据的结构可以看作为这样一种结构，其中文本数据辅助地伴随图标数据作为包数据的主要部分。因此，成为包数据的主要部分的数据(即图5中的图标数据)今后也称作“主数据”，辅助数据(即图5中文本数据#1至#M)和主数据配对以形成今后也称作“子数据”的包数据。
接着，参考图7所示的流程图，下面描述图3所示的包服务器1的操作。
在这个实施例中，为了利用户终端3可以提供包数据，用户终端3必须预先例如在包服务器1注册，用于识别用户的用户识别符(ID)必须颁发给注册的用户终端3。
但是，不用执行上述注册也可以提供包数据。
用于请求预定包数据的请求信号经网络2从用户终端3发送给包服务器1，在步骤S1中，包服务器1的通信I/F37(图3)确定是否已从用户终端3接收了请求信号。请求信号包括例如由请求信号请求的包数据的内容标识符(图4A)和用户终端3的用户ID。
在步骤S1中，如果通信I/37F确定未从用户终端3接收请求信号，通信I/F37重复执行确定直到接收该请求信号。
在步骤S1中，如果通信I/F37确定已从用户终端3接收请求信号，通信I/F37提供请求信号给解码单元35。解码单元35通过执行解密、协议转换等处理该请求信号，提供经处理的请求信号给响应数据产生单元36。在步骤S2中，响应数据产生单元36控制检索单元32以检索相应于包含在来自解码单元35的请求信号中的内容标识符的包数据。
响应数据产生单元36鉴别是否包含在请求信号中的用户ID对应于其中一个注册的用户ID。当包含在请求信号中的用户ID不对应时，可以例如控制响应数据产生单元36不执行后序步骤。
在响应数据产生单元36的控制下，检索单元32从数据库31的查寻表(图4A)中检索包含在请求信号中的内容标识符。检索单元32从数据库31中，在由相关于内容标识符的指针表示的入口处读出包数据。读出的包数据提供给响应数据产生单元36。
在步骤S3中，响应数据产生单元36通过从检索单元32向包数据增加包含在来自用户终端3的请求信号中的用户ID、用于识别包服务器1的服务器ID等产生响应数据。经检索单元32产生的响应数据提供给编码/加密单元34。
编码/加密单元34通过执行协议转换、必须的加密等处理提供的响应数据，向通信I/F37提供经处理的响应数据。在步骤S4中，通信I/F37经网络2向发送请求信号的用户终端3发送提供的响应数据。此后，通信I/F37回到步骤S1，重复执行相同的步骤。
图8示出了图1所示的用户终端3的功能性方框图。
当事件检测/选择器单元43检测例如表示处理终止的事件等时，控制单元41执行用于终止处理的控制。虽然控制单元41控制构成用户终端3的每个功能块，如箭头所表示的在图中省略控制，以避免复杂。
指向装置诸如鼠标用作指令单元42。操作指令单元42用于移动光标，此外，例如键盘等或麦克风和语音鉴别装置可用作指令单元42。
事件检测/选择器单元43检测通过操作指令单元42产生的事件，提供一个相应于该事件的事件信号给控制单元41、数据检索单元44、选择的指令检测单元45、请求信号发生器46、内容标识符存储单元47等。
事件的类型包括例如单击、双击和利用鼠标作为指令单元42执行拖动。在这个实施例中，鼠标作为指令单元42例如有两个按钮，一个左按钮和一个右按钮。通过操作左按钮执行单击(左单击)，通过处理右按钮执行单击(右单击)，事件检测/选择器单元43检测作为不同的事件。
基于从事件检测/选择器单元43提供的事件信号，数据检索单元44检索存储在存储单元52中的构成包数据的子数据，提供检索的子数据给选择的指令检测单元45和显示单元51。
通过参考来自数据检索单元44的子数据，基于从事件检测/选择器单元43提供的事件信号，选择的指令检测单元45检测文本数据。该文本数据是由用户操作指令单元42从显示在显示单元51上的文本数据(作为子数据)中选择的。选择的指令检测单元45提供相应于检测的文本数据的链接数据给请求信号产生器46。
请求信号产生器46产生包含内容标识符的请求信号作为从选择的指令检测单元45提供的链接数据，提供产生的请求信号给编码/加密单元48。此外，基于从事件检测/选择器单元43提供的事件信号，请求信号产生器46产生包含存储在内容标识符存储单元47中的内容标识符的请求信号，提供产生的请求信号给编码/加密单元48。
基于来自事件检测/选择器单元43提供的事件信号，当用鼠标作为指令单元42开始拖动时，内容标识符存储单元47鉴别和存储文件名和URL，该文件名和URL作为内容标识符用于识别光标所在的Web页内容。内容标识符存储单元47总是存储上次的内容标识符(上次执行的拖动内容的内容标识符)。
通过执行与在包服务器1中通过编码/加密单元34(图3)执行的那些相同的处理，编码/加密单元48处理从请求信号产生器46提供的请求信号。处理的信号提供给通信I/F49。
通信I/F49经网络2发送提供的请求信号给包服务器1，接收和向解码单元50提供经网络2从包服务器1发送的响应数据。
通过执行与在包服务器1的解码单元35(图3)中执行的那些相同的处理，解码单元50处理来自通信I/F49的响应数据。
显示单元8显示从数据检索单元44提供的子数据、作为从解码单元50提供的响应数据的包数据中的主数据等。
存储单元52存储作为从解码单元50提供的响应数据的包数据。
虽然用户终端3也包括一个用于作为WWW浏览器功能的功能块，为了避免说明的复杂(这适用于图18和67)，该块未在图8中示出。
接着，参考在图9和图10到图14A和14B中示出的流程图，下面描述用户终端3的操作。
当用户终端3操作时，使得一个用于接收从包服务器1供应包数据的应用程序(专用浏览器62)被启动，如图10所示，显示单元51显示用于接收供应包数据的专用浏览器62的窗口，也可以显示WWW浏览器60的窗口。
WWW浏览器60利用网络2向WWW服务器4请求相应于由用户或目前的ULR指定的URL的Web页，因此，显示从WWW服务器4发送的Web页。
专用浏览器62由一个链接显示部分62A和图标注册部分62B组成。在这个实施例中，专用浏览器62的下面部分用作图标注册部分62B，专用浏览器62的上面部分用作链接显示部分62A。
显示单元51不仅显示WWW浏览器60和专用浏览器62(窗口)，此外也显示由指令单元42可操作的图标61。在步骤S11中，通过处理鼠标作为指令单元42该操作确定是否有事件发生，其中，显示在WWW浏览器60上的一个内容被拖动，显示在专用浏览器62的图标注册部分62B被放下。换句话说，该操作确定是否拖放已经执行。
在步骤S11中，如果该操作确定拖放已经执行，处理进入到步骤S12。在步骤S12中，事件检测/选择器单元43提供请求信号发生器46一个表示确定的事件信号。请求信号发生器46基于来自事件检测/选择器单元43的事件信号查阅内容标识符存储单元47，因此检测当拖动开始时光标61所在的内容的内容标识符。
此后，处理进入步骤S13。在步骤S13中，请求信号发生器46产生一个请求信号，它包括在步骤S12检测的内容标识符和分配给(用户的)用户终端3的用户ID，请求相应于包括的内容标识符的包数据，经编码/加密单元48将产生的请求信号提供给通信I/F49。在步骤S14中，通信I/F49经编码/加密单元48向包服务器1发送提供的请求信号。
接着，处理进入步骤S15。在步骤S15中，事件检测/选择器单元43确定是否事件发生，稍后解释。其中在光标61移到在链接显示部分62A或专用浏览器62的图标注册部分62B上显示的图标上，作为指令单元42的鼠标已通过执行右单击而操作之后，则事件已经发生。如果事件检测/选择器单元43确定右单击未执行，操作进入到步骤S21。
在步骤S21中，操作确定是否通信I/F49已接收作为包数据的响应数据，该响应数据是包服务器1响应于在步骤S14或S20(稍后说明)发送的请求信号而发送的。
在步骤S21中，如果操作确定通信I/F49已接收响应数据，通信I/F49经解码单元50提供作为包数据的响应数据给显示单元51和存储单元52。此后，处理进入到步骤S22。
在步骤S22中，存储单元52存储经解码单元50提供的包数据，处理进入到步骤S23。在步骤S23中，显示单元51在链接显示部分62A或专用浏览器62的图标注册部分62B上显示相应于构成经解码单元50提供的包数据的图标数据的图标，处理进入到步骤S24。
包服务器1(具体说是数据库31)存储具有相应于代表形成Web页内容的图标(例如，如果内容是GIF格式图像数据，因此图标通过缩小由图像数据表示的图像而形成)的图标数据的包数据，以便包数据和具有相同内容的那些内容标识符相关。因此，如图11所示，当显示在WWW浏览器60上的Web页的图像内容被拖放到图标注册部分62B时，以此顺序执行步骤S11到S15和步骤S21到S23。因此，在图标注册部分62B中，显示表示的图像内容的图标63。
在步骤S24中，事件检测/选择器单元43确定是否已操作作为指令单元42的鼠标去关闭专用浏览器62。如果事件检测/选择器单元43确定未进行操作，事件检测/选择器单元43回到步骤S11，接着执行相同的步骤。
在步骤S15中，事件检测/选择器单元43确定事件发生，其中当光标移到在链接显示部分62A或图标注册部分62B上显示的图标上时，作为指令单元42利用的鼠标执行右单击，事件检测/选择器单元43进入步骤S16。在步骤S16中，通过提供数据检索单元44一个表示右单击的事件信号，事件检测/选择器单元43控制数据检索单元44从存储单元52中检索文本数据。该文本数据是和相应于图标的图标数据配对的，当执行右单击时，光标位于该图标上。
从存储单元52检索文本数据之后，在步骤S17中，数据检索单元44在显示单元51上建立和显示一个包含文本数据作为项目的弹出菜单(包括下拉菜单和上拉菜单)。该弹出菜单利用下拉菜单作为实例在下文中说明。
作为实例，当在图11中的图标注册部分62B中的图标63是一个艺术家的照片时，相于图标63的图标数据是和代表该首音乐的名子的文本数据配对的，以便形成包数据。因此，在这种情况下通过执行右单击图标63，包含作为文本数据的音乐名的下拉菜单64如在图12A中那样显示。
在显示单元51显示下拉菜单64之后，处理从步骤S17进入到步骤S18。当由用户在步骤S18利用指令单元42选择一个项目时，事件检测/选择器单元43检测该选择，提供给数据检索单元44和选择的指令检测单元45一个相应于检测的事件信号。当接收这个事件信号时，数据检索单元44从存储单元52检索相应于下拉菜单的项目的文本数据的链接数据，该链接数据是由用户操作指令单元42选择的。检索的链接数据提供给选择的指令检测单元45。选择的指令检测单元45从数据检索单元44提供给请求信号发生器46一个作为链接的内容标识符，因此在步骤S19中，请求信号发生器46产生一个包含从选择的指令检测单元45中提供的内容标识符的请求信号。
请求信号发生器46经编码/加密单元48提供在步骤S19产生的请求信号给通信I/F49。在步骤S20，通信I/F49利用网络2将从编码/加密单元48提供的请求信号发送给包服务器1。此后，处理进入到步骤S21，顺序执行相同的步骤。在步骤S24，如果事件检测/选择器单元43确定作为指令单元42的鼠标已操作关闭专用浏览器62，控制单元41关闭WWW浏览器60和专用浏览器62，处理终止。
因此，在音乐名的下拉菜单如在图12A中那样显示时，当图标61移到一个音乐名“ΔΔΔ”时，例如用户通过在其上单击左键选择音乐名，将作为相应于表示音乐名“ΔΔΔ”的文本数据的链接数据的内容标识符发送给包服务器1。
另外，假定在相关于作为相应于表示音乐名的文本数据的链接数据的内容标识符的包数据中，包括表示包含该音乐的唱片套封面缩小的图像图标数据，包数据被作为响应数据从包服务器1发送向用户终端3。
如上所述，在步骤S22包数据存储在存储单元52中，在显示单元51上显示相应于包数据的图标数据的图标。
如在图13A中所示，专用浏览器62以包含由用户选择的该首音乐的唱片套封面图像缩小的格式显示图标65。
在这个实施例中，当在WWW浏览器60上的内容被拖放在图标注册部分62B时，相应于该内容的图标显示在图标注册部分62B上。此外，在链接显示部分62A显示一个相应于包数据的图标数据的图标，包数据的文本数据(子数据)链接于该图标。因此，如图13A所示，专用浏览器62的链接显示部分62A显示相应于包数据的图标数据的封面图像图标65，该包数据链接作为音乐名的文本数据，该音乐名是从显示在图标注册部分62B中，由在图标63单击右键从下拉菜单64(图12B)中选择的。
显示在图标注册部分62B的图标是在图标注册部分62B中注册的，如果专用浏览器62关闭，包括相应于的图标的图标数据的包数据依然存储在存储单元52中。相反地，例如，当专用浏览器62关闭时，在存储单元52中清除该具有一个显示在链接显示部分62A的图标的包数据。因此，此后当专用浏览器62再打开时，在图标注册部分62B中显示注册的图标，但是不显示在链接显示部分62A中显示的图标。
当光标61移动到显示在链接显示部分62A中的封面图像图标65时，用户左单击作为指令单元42的鼠标，链接部分62A显示包含作为文本数据的项目的下拉菜单66，该文本数据是和相应于图标65的图标数据是成对的，如图13B所示。
下拉菜单66由表示通过图标65表示的视和听内容的项目、购买内容和显示的歌词组成，如图13B所示。如图13C所示，用户通过移动光标61到购物项目上选择购买在唱片套中由图标65表示的音乐数据，且左单击指令单元42。然后，等同于上面的情况，从用户终端3发送一个请求信号。响应于该请求信号将购买项目的文本数据链接的包数据从包服务器1发送向用户终端3。在链接显示部分62A中，显示相应于包数据的图标数据的图标67，例如，如图13D所示，在上次显示在链接显示部分62中的图标65的右侧。
在购买音乐数据的情况下，显示在图13C的下拉菜单66的购物项目的文本数据链接到包含表示结算的图标67的图标数据的包数据。在图13D中，上述图标67显示在链接显示部分62A中。
另外，当用户移动光标61到显示在链接显示区部分62A的结算图标67时，且单击作为指令单元42的鼠标，等同于上面的情况，如在图14A所示，链接显示部分62A显示一个下拉菜单68，它由相应于与相应于图标67的图标数据成对的文本数据的项目组成。
下拉菜单68具体由表示信用卡支付、电子货币支付和在自选商店的支付(自选商店支付)的项目组成，它们是由图标67表示的结算方法。当用户通过移动光标61到相对应的项目且左击指令单元42而选择其中一种方法时，专用浏览器62执行相应于选择的结算方法的处理。
作为实例，当选择信用卡支付时，用户终端3的专用浏览器62显示一个用于输入信用卡号等的对话框。当输入信用卡号等时，专用浏览器62按表示由用户可选择购买的音乐数据的音乐标识信息，发送作为购买信息的输入信息给包服务器1。
在购买信息中，信用卡号是用于在包服务器1中的费用处理单元38(图3)去执行计费。随后，支付用于该音乐数据的价格。
包服务器1从数据库(未示出)和网络2的服务器(未示出)获得由来自用户终端3的购买信息中音乐标识信息指定的音乐数据，向用户终端3发送获得的数据。
用户终端3下载如上所述从包服务器1发送的音乐数据，例如在便携式存储器等中存储下载的数据。
如上所述，专用浏览器62显示表示信息等的每个图标，显示相应于该图标的下拉菜单。当选择一个下拉菜单的项目时，重复地显示其上链接相应于该项目的文本数据的包数据的图标，因此用户可以通过相同的操作取得所需的信息。
就在发送音乐数据之前，包服务器1可以发送表示数据被下载的图标69的图标数据(没有包数据)向用户终端3。在这种情况下，用户终端3的专用浏览器62显示图标69，例如在上一次显示在链接显示区62A的图标67的右侧。在包服务器1中，通过链接相应于下拉菜单68的项目的文本数据到包含图标69的图标数据的包数据，当用户左击任何一个项目时，包含图标69的图标数据的包数据可发送向用户终端3。
上述情况下，在链接显示区62A中，新的图标显示在上一次显示的图标上。但是，新的图标可以以重写已经显示的图标方式来显示。
图标注册部分62B可以划分为多个区域，涉及同一种类信息的图标可以在每个区中注册。换句话说，在图标注册部分62B中，属于诸如音乐、电影和新闻的图标可以以相应于该种类在不同的区注册图标的方式显示。
在上述情况下，专用浏览器62(的窗口)划分为两个区域，链接显示部分62A和图标注册部分62B。但是，专用浏览器62不必都如所述划分，可以由一个单一的区形成。
在上述情况下，当专用浏览器62关闭时，在存储单元52中仅存储包含在图标注册部分62B显示的每个图标的包数据，清除包含在链接显示部分62A显示的每个图标的包数据。但是，所有的包数据可以存储在存储单元52中。在这种情况下，当专用浏览器62再次打开时，专用浏览器62显示一个在图标注册部分62B中注册的图标和由用户利用显示的图标作为开始点追踪的一串包数据图标。因此，没有用于指定网页诸如URL的信息，但是由用户追踪的所谓的链接的“书签”可以以图标的可视媒体形式实现。在图标注册部分62B中，注册一个表示形成网页的内容的图标。在这个方面，实现书签不以网页为单位，而以内容为单位。
在上述情况下，当用户移动光标61到一个在专用浏览器62中显示的图标时，右击鼠标，显示下拉菜单。该下拉菜单是由与相应于该图标的图标数据成对的文本数据组成的。但是，用于显示下拉菜单的事件不限于右击，例如，当光标61位于一个图标时，可以显示下拉菜单。此外，用于激活其它的动作的事件诸如下拉菜单项目的选择不限于所述的事件。
在上述的情况下，当最终下载音乐数据时，包服务器1执行计费，以便支付该音乐的价钱。此外，对于包数据的供应如果需要可执行计费。
在上述的情况下，执行音乐数据的下载。但是除了声音数据(音频数据)诸如音乐数据之外，可以下载图像数据(视频数据)诸如电影数据、节目等。虽然在上述情况下，从包服务器1执行音乐数据的下载，也可以从网络2上的其它的服务器执行。
通过利用从包服务器1下载的包数据，用户终端3可以更新存储在存储单元52的包数据。例如，当在包服务器1(图3)中，存储在数据库31中的包数据的图标数据或文本数据通过利用获得的包数据更新，在更新后，存储在用户终端3的存储单元52中的包数据可以被更新。
所谓的“推进技术”可以用作在存储单元52中的包数据的更新方法，具体是，请求信号产生器46周期或非周期性地给包服务器1产生和发送一个包含相应于存储在存储单元52中的包数据的内容标识符的请求信号，因此，存储在存储单元52中的包数据可以通过利用响应来自包服务器1的请求信号而发送的包数据来更新。
另外，一个单一的终端ID分配向用户终端3，包服务器1存储由用户终端3下载的包数据的内容标识符，以便内容标识符和用户终端3的终端ID相关，同时用户终端3给包服务器1发送一个互联网协议(IP)地址，该地址是当用户终端3连接到网络2时所分配的，以便IP地址和终端ID相关，因此存储在存储单元52中的包数据可以更新。
在这种情况下，当从用户终端3接收IP地址和终端ID时，包服务器1从与终端ID相关的内容标识符包数据中检测更新的包数据，和向由按终端ID发送的IP地址表示的目的地发送更新的包数据，因此用户终端3可以接收在存储单元52中存储的包数据中更新的包数据。
如上所述，当存储在用户终端3的存储单元52中的包数据被更新时，作为需要时或每时每刻显示在专用浏览器62上的图标和相应于该图标变化显示的下拉菜单的项目，这能够利用户对该图标和项目感性趣。
在上述情况下，包数据中的主数据是图标数据，与主数据成对的子数据是文本数据。因此，通过浏览包含文本数据的下拉菜单，用户可以鉴别基于该文本的信息。
作为举例，如图12A和12B所示，通过在表示艺术家的脸的照片的图标63上右击，下拉菜单在文本中显示由该艺术家唱的音乐的名子，这可以利用户知道在文本中的音乐名。然而，除了希望知道在文本中的音乐名的用户之外，也有很多类型的用户诸如那些想实际听音乐，和那些想看包含艺术家的音乐的唱片套的封面图像。
因此，在包服务器1的数据库31中，在媒体数据中诸如文本、图像数据和声音数据中，一种类型的数据用作主数据，其中存储至少两种数据用作子数据的包数据，因此，包数据可以被从包服务器1提供向用户终端3。
在这种情况下，在数据库31(图3)的数据存储部分中的每个入口中，包数据如在图15中所示存储。
在这种情况下，包数据是由顺序设置的首标、主数据和子数据构成。主数据是图像数据、文本数据和声音数据中的一个，子数据是由一对文本数据和用于文本的链接数据、一对图像数据和用于图像的链接数据和一对声音数据和用于声音的链接数据组成。
首标、文本数据和用于文本的链接数据是分别和在包数据中的首标、文本数据和链接数据(如图4中所示)相同的。
这里，在图像数据、文本数据和声音数据之中，一种类型的数据可用作主数据。当图像数据或文本数据用作主数据时，可以显示以图像数据或文本数据形式的主数据。但是，声音数据用作主数据时，以声音数据形式的主数据不能显示。相反，代表该声音的图标可以显示。因此，当声音数据用作主数据时，主数据不仅包括声音数据，但包括相应于代表该声音数据的图标的图标数据。此外，可能图像数据和文本数据用作主数据时包括相应于代表图像数据和文本数据的图标的图标数据。
用于图像的图像数据和链接数据作为子数据，或用于声音的声音数据和链接数据作为子数据类似于图4B所示的文本数据和链接数据，除了媒体不是文本而是图像或声音之外。因此，将它的说明省略。
在这种情况下，包数据是由一组主数据和必需数量的文本数据#1到#M1、图像数据#1到#M2和声音数据#1到#M3组成，如图16所示。其中主数据是图像数据、声音数据和文本数据中的一个，必需数量的文本数据、图像数据和声音数据是和代表链接到包数据的链接数据相关的。此外在这种情况下，在包数据中，用作子数据的每个文本数据、图像数据和声音数据可以链接到其它的包数据(或者甚至可以链接到其自身)，因此，通过利用包数据作为一个基本单位，可以形成包括多段的包数据的链接结构。
具体地说，如图16所示，当包数据中的主数据由双圆圈表示时，子数据中的文本数据由长方形表示，子数据中的图像数据由圆圈表示，子数据中的声音数据由三角形表示，甚至在由上述多媒体的数据组成的包数据中，形成该包数据的每个媒体的数据(在子数据中)可以链接到其它的包数据，如图17所示。通过重复地执行这个链接，理论上可以实现无穷的包数据相互链接的链接结构。
为了避免复杂化附图，图17示出包数据，其中每个由一组主数据(双圆圈)和由单文本数据(长方形)、单图像数据(圆圈)和单声音数据(三角形)组成的子数据组成。
类似于在图6A和6B中所示情况，甚至上面的由多媒体数据组成的包数据可以以树结构或环形结构来形成。
接着，图18示出了在包服务器1提供多媒体包数据的情况下的用户终端3的结构。在图18中，方框图等于那些在图8中由相同的标号标注的方框图。
因于图18中的用户终端3基本上与图3中的结构是相同的，除了提供用于输出形成多媒体包数据的声音扬声器53以外，为此省略其说明。虽然数据检索单元44和扬声器53是直接相互连接的，扬声器53也可具有再现装置的功能。因此，通过将作为由数据检索单元44检索的数字数据的音频数据从数字形式转换为模拟形式，再放大该转换的数据，扬声器53有再现模拟音频信号的功能。
接着，参考图19和图20至22所示的流程图，下面描述由图18中用户终端3的(专用浏览器62的)执行的处理。
基本上用户终端3在步骤S31到S43执行的处理和图9中所示的步骤S11到S23相同。
但是，在步骤S41，如果该操作已确定用户终端3作为响应数据从包服务器1接收了多媒体包数据，处理进入到步骤S42，多媒体包数据存储在存储单元52中。处理进一步进入到步骤S43，专用浏览器62由显示单元51打开，显示代表图像数据、声音数据和文本数据的图标，这些数据构成多媒体包数据中的主数据。另外，图像数据、声音数据和文本数据由显示单元51显示或从扬声器53输出。
在步骤S35中，处理已确定右击的事件是指定一个代表显示在专用浏览器62上的主数据的图标，处理进入步骤S36。在步骤S36中，数据检索单元44从存储单元52检索子数据，该子数据是和主数据成对的，处理进入步骤S37。在步骤S37中，由数据检索单元44检索的形成子数据的文本数据、图像数据或声音数据显示在显示单元51上或如果需要从扬声器53输出。这时，专用浏览器62显示其它必需的事物。例如，当文本数据作为子数据形成下拉菜单的项目时，显示下拉菜单。此外，例如，对于作为子数据的声音数据，显示用于操作诸如控制再现和选择声音数据的按钮。
在步骤S38中，当通过用户处理指令单元42选择一个子数据时，事件检测/选择器单元43检测选择的子数据，提供给数据检索单元44和选择的指令检测单元45一个相应于该选择的事件信号。当数据检索单元44接收该事件信号时，相应于该选择的子数据的链接数据被从存储单元52检索，且通过数据检索单元44提供给选择指令检测单元45。选择指令检测单元45提供给请求信号发生器46一个来自数据检索单元44作为链接数据的内容标识符，因此在步骤S36请求信号发生器46产生一个包括从选择指令检测单元45提供的内容标识符的请求信号。
在步骤S40，请求信号发送给包服务器1。包服务器1作为响应数据向用户终端3发送由包括在请求信号中的内容标识符指定的多媒体包数据。在步骤S40，如果处理已确定用户终端3的通信I/F49已接收作为响应数据的多媒体包数据，在步骤S42中接收的多媒体包数据存储在存储单元52中。在步骤S43，代表包数据中的主数据的图标，例如图像数据、声音数据或文本数据显示在专用浏览器62上，或图像数据、声音数据，或文本数据显示在显示部分51上或作为声音从扬声器53输出。
因此，例如，当显示在WWW浏览器60上的图像内容被拖放到专用浏览器62的图标注册部分62B时，如图20所示，由图像内容的内容标识符指定的多媒体包数据从包服务器1下载，多媒体包数据中的主数据显示在专用浏览器62的图标注册部分62B中。
在图20中，由拖放的图像内容的内容标识符指定的多媒体包数据是图像数据，相应于该图像数据的图像71显示在图标注册部分62B中。当主数据是声音数据或文本数据时，相应于该声音数据的声音从扬声器53输出，或相应于该文本数据的文本在显示单元51(图18)上显示。此外，一个代表声音数据或文本数据的图标可以在图标注册部分62B中显示。甚至当主数据是图像数据时，代表图像数据的图标可以在图标注册部分62B中显示。
在专用浏览器62的图标注册部分62B显示图像71之后，通过移动光标61到图像71上，执行右击，如图21所示输出子数据(既包括由显示单元51显示又包括从扬声器53输出)，显示必需的事物。
在图21中，在显示单元51上显示其中的项目是作为子数据的文本数据的下拉菜单72。相应于子数据的图像73被在显示单元51上显示。此外，作为子数据的声音被从扬声器53输出，控制板74显示在显示单元51上，用于执行声音的再现控制和选择。
在图21中，作为主数据的图像71是一个艺术家脸的照片图像，作为子数据的下拉菜单72由代表该艺术家唱的音乐的文本组成。作为子数据的图像73是包含音乐它的名子被用作下拉菜单72的项目的唱片套的封面的照片的图像。作为子数据的声音数据是由合成音乐的开头的声音数据而获得的，它的名子被用作下拉菜单72的项目。因此，扬声器53顺序输出该音乐的开头，它的名子被用作下拉菜单72的项目。控制板74包含一个倒带按钮74A，用于指令将从扬声器53输出的音乐倒带，一个快进按钮74B，用于指令向前快进，一个播放按钮74C，用于指令播放音乐，一个停止按钮74D，用于指令停止控制和一个选择按钮74E，用于指令选择音乐。
因此，显示的文本实际上能够利用户知道音乐名和听音乐。另外，用户可以浏览包含该音乐的唱片套的封面的图像。
当作为子数据的音乐的标题从扬声器53顺序再现时，通过移动光标61到选择按钮74E上，例如左击，执行选择音乐的声音数据，该音乐正在再现的时间被检测，相应于声音数据的作为用于声音的链接数据的内容标识符以内容标识符是包含在请求信号中的形式发送给包服务器1。
在这种情况下，当由内容标识符指定的多媒体包数据中的主数据是诸如由用户选择的音乐的全部声音数据时，其中这样的声音数据被用作主数据的多媒体包数据被从包服务器1发送向用户终端3。在用户终端3中，代表用作多媒体包数据中的主数据的声音数据的图标75显示在专用浏览器62的链接显示部分62A中，如图22所示相应于该声音数据的音乐从扬声器53输出。
在图标75显示在专用浏览器62的链接显示部分62A之后，通过移动光标61到图标75且执行右击，如图22所示输出子数据和显示需要的事物。
在图22中，包含作为子数据的文本数据的下拉菜单76显示在显示单元51。此外，作为子数据的图像77显示在显示单元51，用于执行声音再现控制和声音选择的控制板78显示在显示单元51。
在图22中，相应于子数据的下拉菜单76具有代表每个对针相应于作为与子数据成对的主数据的声音数据的音乐的讲解员的详细的评论的文本形式。相应于子数据的图像77是讲解员的照片的图像，它的说明是下拉菜单76的项目。
在图22中，作为子数据的声音数据是通过合成作为下拉菜单76的项目描述的声音数据而获得的。但是，就在多媒体包数据下载之后，扬声器53输出相应于声音数据的音乐，该声音数据是多媒体包数据中的主数据。不输出相应于作为子数据的声音数据的描述。
相应于作为子数据的声音数据的描述通过例如操作控制板78从扬声器53输出。控制板78包含一个倒带按钮78A，一个快进按钮78B，一个播放按钮78C，一个停止按钮78D和一个选择按钮78E，这些按钮分别与控制板74的倒带按钮74A，快进按钮74B，播放按钮74C，停止按钮74D和一个选择按钮74E在结构上相同。例如，当用户单击播放按钮78C时，相应于作为主数据的音乐的再现被停止，相应于作为子数据的声音数据的说明的再现被启动。
然而，如果相应于作为子数据的声音数据的说明的再现被启动，无需停止相应于作为主数据的声音数据的音乐的再现，够能通过充分减小音乐的音量，连续再现音乐。
如上所述，用户可以阅读以文本形式的音乐的详细说明，也可以听以声音形式的音乐的详细说明。另外，用户可以观看讲解员的图像。
在上述情况下，如利用图21说明的那样，当图像71是一个艺术家的脸的照片时，代表艺术家的歌的文本数据、相应于包含该歌的唱片套封面照片的图像的图像数据、相应于该歌的声音数据都是子数据。但是，用作子数据的文本数据、图像数据和声音数据不必是有单一内容的数据，但是可以是有不同内容的数据。例如，关于子数据，文本数据可以相应于艺术家的歌词，图像数据可以相应于艺术家的图像剪辑，声音数据可以相应于讲解员的关于该艺术家的歌的说明。
在上述情况下，关于从包服务器1提供向用户的多媒体包数据，它的链接结构和多媒体包数据的每个的内容是在包服务器侧确定的。因此，有单一内容和单一链接结构的多媒体包数据提供给所有的用户。
换句话说，如图23A所示，当在包服务器1中的多媒体包数据a、b、c、d和e顺序链接时，所有的用户不能被提供多媒体包数据e，除非它们能追踪特定的顺序链路。如图23B所示，当在包服务器1中存在多段文本数据、图像数据和声音数据时，它们是与主数据成对的子数据，多段子数据提供给所有的用户。
类似于图16，在图23A和23B中(此外在图24A和24B中，稍后说明)，每个双圆圈代表在多媒体包数据中的主数据，每个长方形、每个圆圈和每个三角形分别代表文本数据、图像数据和声音数据，它们在多媒体包数据中是子数据。
作为实例，当用户沿关于多媒体包数据a的链路追踪，对于一个用户它可以到达多媒体包数据e，在多媒体包数据a、b、c、d和e上以这个顺序沿链路追踪确实需要花费时间。例如，对于既需要文本数据又需要图像数据，但是不需要声音数据的用户来说，输出作为子数据的声音数据是没有必要的。
因此，包服务器1可以通过定制多媒体包数据的链接结构和多媒体包的每个内容为每个用户提供多媒体数据。
具体地说，在包服务器1中，链接结构可以改变，以便多媒体包数据a被链接于多媒体包数据e，如图24A所示。此外，如图24B所示，按改变的子数据格式，以便包括文本数据和图像数据，而排除声音数据在外，可以提供多媒体包数据。
子数据可以定制，例如每个下拉菜单项目的改变(包括删除和添加)和以项目顺序改变，其中下拉菜单是由作为子数据的文本数据组成。由于子数据伴随链接数据，下拉菜单项目(作为子数据的文本数据)的添加或删除是多媒体包数据的添加或删除。
图25示出了一个包服务器1的实例，其中多媒体包数据的链接结构和多媒体包数据的每个的内容可以定制。在图25中，通过利用相同的标号标注相应于在图3中的那些的方框，根据需要省略了方框图的说明。换句话说，在图25中的包服务器1除了提供了一个用户信息存储单元39之外，在结构上基本上是和图3示出的一样的。
关于用户的用户信息在用户信息存储单元39中汇集和存储。
存储在用户信息存储单元39中的用户信息由图26A中示出的用户优选信息和由图26B中示出的变化信息组成。
如图26A所示，用户优选信息包括用于识别用户的用户ID和代表请求的频率的请求频率信息。请求频率信息分类相应于多媒体包数据，例如，如图26A所示，关于涉及音乐的多媒体包数据，关于多媒体包数据的请求频率对每个音乐类型计数(即，流行音乐，摇滚音乐、enka(传统风格日本流行歌曲等)，每个艺术家的活动区域(即，日本、美国、欧洲等)和每个艺术家的性别(男性，女性)。将计算的值作为请求频率信息注册。
如图26B所示，变化信息由用户ID、基于相应于用户ID的请求频率信息而产生的包内容变化信息和链接数据变化信息组成。
基于请求频率信息定制(变化的)的子数据的变化部分被作为包内容变化信息注册，基于请求频率信息定制的多媒体包数据的链接结构的变化部分被作为链接数据变化信息注册。
在图25的包服务器1中，当从用户终端3发送出一个请求信号时，响应数据产生单元36更新相应于包括在请求信号中的用户ID的请求频率信息，且相应于由请求信号请求的多媒体包数据的种类。基于该更新的请求频率信息，响应数据产生单元36更新包内容变化信息和链接数据变化信息。
通过考虑更新的包内容变化信息和更新的链接数据变化信息，响应数据产生单元36控制检索器单元32去检索多媒体包数据，或改变检索的多媒体包数据的内容，由此形成响应数据。
因此，在这种情况下，在包服务器1中，从由用户过去请求的多媒体包数据中，汇集用户信息诸如用户的优选和习惯，基于该汇集的用户信息，定制链接结构和多媒体包数据的内容和向用户提供。
因此，用户可以以非常方便的方式向用户提供多媒体包数据。
在这种情况下，作为提供有多媒体包数据的用户，可以向该用户提供其内容和链接结构更适合该用户的多媒体包数据，以便使该用户更方便。对于服务提供侧这表明用户连续利用服务，可以增加用户的数量。
在上述情况下，在包服务器1中，汇集信息诸如用户的优选，基于该汇集的信息，自动定制向用户提供的多媒体包数据的链接结构和内容。这个定制可以实现，以便用户在包服务器1中注册包内容变化信息和链接数据变化信息。此外，通过用户终端3设置用户信息存储单元39(图25)，用户通过利用用户终端3可以实现定制。
但是，当由用户实现定制以便链接目的地变化时，不能向用户提供链接到变化的目的地的多媒体包数据，这防止用户任意改变定制。
另外，关于多媒体包数据的链接目的地可以改变到非多媒体包数据例如网页等。在这种情况下，这可以阻止或允许网页链接到多媒体包数据。
在图26A和26B中示出的用户优选信息和变化信息可以在用户终端3中产生。在这种情况下，用户终端3以其包括在请求信号中的形式发送变化信息。在包服务器1中，基于包括在请求信号中的变化信息产生具有链接结构和内容的多媒体包数据，且向用户终端3发送。此外在这种情况下，可以以对用户非常方便的方式向用户提供多媒体包数据。
接着，当包数据被如上所述从包服务器1提供向用户终端3时，便于确保向用户显示广告信息。
为了确保按照包数据的输出向用户显示广告信息，有一种方法，其中向用户终端3提供彼此相关的包数据和广告信息，用户终端3的专用浏览器62输出包数据和广告信息。在这个方法中，在用户终端3的存储单元52(图8)中擦除广告信息之后，当输出包数据时，广告信息不能被输出。如果没有在用户终端3的存储单元52(图8)中擦除广告信息，当包数据的文件由应用程序而不是专用浏览器62打开时，广告信息也不能被输出。
另外，有一种方法，其中例如通过利用传统的数字水印(watermaking)技术以很少位的组成包数据的图像数据和声音数据安置广告信息，代替包数据的起始部分，用户终端3的专用浏览器62输出包数据和广告信息。甚至在这个方法中，当包数据的文件有很少位用于广告信息由应用程序打开而不是由专用浏览器62打开时，该广告信息不能输出。
因此，关于用于确保使按照用户终端3的包数据输出向用户显示广告信息的方法中，例如，可以利用已在转让给本申请的受让人的美国专利申请中提出嵌入编码/解码。
这个技术已在美国专利申请，序列号为09/352241、09/366872、09/413134、09/413983、09/448543、09/587838和09/636138中公开。这些申请转让给本申请的受让人，因此可引用参考。
下面描述在这些申请中的技术。
图27示出了一个用于执行嵌入编码/解码的嵌入编码/解码系统的实施例。
嵌入编码/解码系统包括一个编码装置110和一个解码装置120。编码装置110输出通过编码的编码数据，例如，一个编码的图像；解码装置120对编码的数据解码以产生原始的图像。
图像数据库101存储编码的图像(即数字图像)，从图像数据库101中读出一个图像，提供给嵌入编码单元103。
附加信息数据库102存储作为需嵌入在被编码的图像中的附加信息(数字数据)，从该附加信息数据库102中，读出附加信息且提供给嵌入编码单元103。
嵌入编码单元103接收从图像数据库101提供的图像和从附加信息数据库102提供的附加信息。嵌入编码单元103基于接收的附加信息输出通过对接收的图像编码的编码数据，以便接收的图像的能量分布(energe distribution)可用于执行解码。换句话说，嵌入编码单元103通过在图像中嵌入附加信息来对该图像编码，以便图像的能量分布可用于执行对编码的数据的解码和输出。编码的数据被记录于记录媒体104，诸如磁光盘、磁盘、光盘、磁带或相变型(phase-change)盘，或者经过诸如地波、卫星链接、互联网或公用线的转送媒体被发送给解码装置120。
解码装置120包括一个嵌入编码单元106，接收经记录媒体104或发送媒体105提供的编码数据。嵌入编码单元106利用图像的能量分布去执行解码，用于产生原始的图像和附加信息。重现的图像提供到和显示在监视器上(未示出)。
除了涉及通过还原原始图像获得的原始图像的文本数据、声音数据和图像之外，与原始图像不相关的数据可以用作附加信息。
接着，下面描述通过嵌入编码单元103(图27)进行的编码原理(嵌入编码)和通过嵌入解码单元106(图27)进行的解码原理(嵌入解码)。
通常，所谓的“信息”有一个能量分布，该分布被鉴别为信息(有价值的信息)。例如，通过拍摄风景获得的图像由人们鉴别为风景图像，因为该图像(组成该图像的像素的像素级(pixel level)等)具有一个相应于该风景的能量分布。没有能量分布的图像只有噪音等，不会有作为信息利用的值。
因此甚至当对于有价值的信息执行一些处理时，信息的能量的原始分布被打破。通过恢复该打破的能量分布，处理的信息可以恢复为原始信息。换句话说，通过利用信息的能量的原始分布，通过编码信息获得的编码信息可以恢复为原始有价值的信息。
这里，代表信息的能量(分布)的事物包括例如相关性、连续性和相似性。
信息的相关性指的是在组成该信息之间的基元(element)(即，当该信息是一个图像时，该图像的组成部分诸如像素和行)间的相关性(即，自相关，在一个分量和另一个分量之间的距离等)。例如，代表图像的相关性的是在图像的行间的相关性，代表相关性的相关值例如可以是相应于该两行的像素级差的平方的总和。在这种情况下，小的相关值代表在行之间非常大的相关性，而很大的相关值代表在行之间非常小的相关性。
作为实例，如图28所示，当有一个图像1101包括水平(H)行1102时，在第一行1103和另一行间的相关性如下：通常，如图29的曲线图(A)所示，离第一个行1103有较小距离的行(在图28中的图1101中上方的位置)有较大相关性，如由在第一行1103和第M行1104间的相关性1201表示的那样；离第一个行1103有较大距离的行(在图28中的图像1101中下方的位置)有较小相关性，如由在第一行1103和第N行1105间的相关1202表示的那样。因此，有一个相关性的分布，其中离第一个行1103的距离越小，与第一个行1103的相关性越大；离第一个行1103的距离越大，与第一个行1103的相关性越小。
因此，当处理图28中的图像1101时，使得相对接近于第一行1103的第M行1104的像素级和相对远离第一行1103的第N行1105的像素级被转换(1＜M＜N≤H)，以及在处理的图像中计算第一行与其它行的相关性，计算的结果如图29的曲线图(B)所示。
在处理的图像中，在相互接近的第一个行1103和第M个行(转换前的第N行1105)间的相关性是小的，在相互远离的第一个行1103和第N行(转换前的第M行1104)间的相关性是大的。
因此，在图29的曲线图(B)中，相关性的分布丢失了，其中在离第一行1103有较小距离的行有较大的相关性，在离第一行1103有较大距离的行有较小的相关性。但是，通过利用相关性分布，其中在离第一行1103有较小距离的行有较大的相关性，在离第一行1103有较大距离的行有较小的相关性。丢失的相关性分布可以恢复。换句话说，参考图29的曲线图(B)，根据图像1101的相关性原始分布，明显地出现不自然(奇异)的情况，在接近的第一行1103和第M行间的相关性1203是小的，在远离的第一行1103和第N个行间的相关性1204是大的。因此，第M行和第N行应该转换。通过在图29的曲线图(B)中转换第M行和第N行，具有相关性原始分布的图像在图29的曲线图(A)中示出，即原始图像1101可以被恢复。
在图28和29示出的情况下，行的转换实现图像编码。在编码时，基于附加信息，嵌入编码单元103确定哪一行应该移动，哪一行应该转换。嵌入解码单元106通过利用编码图像的相关性(即，有转换行的图像)对图像解码以便转换行到其原始位置，使得原始图像被恢复。在解码时，嵌入解码单元106检测例如已经移动的哪一行，已经转换的哪一行是嵌入在图像中的附加信息的解码。
图30示出一个图27所示的嵌入编码单元103的结构，当其执行嵌入编码时，其中附加信息嵌入图像中以便利用图像相关性可以恢复图像。
图像从图像数据库101提供给帧存储器131，帧存储器131例如以帧为单位临时存储该图像。
CPU132通过执行存储在程序存储器133中的程序，可以执行嵌入编码处理(稍后说明)。换句话说，CPU132可以接收以预定位数为单位的从附加信息数据库102提供的附加信息，可以以预定位数为单位在存储在帧存储器131中的图像中嵌入附加信息。具体地说，CPU132从组成存储在帧存储器132中的图像的像素中选择一些像素，处理该选择的像素以便相应于附加信息，使得利用图像中的相关性处理的像素可以被恢复，因此附加的信息嵌入在选择的像素中。
程序存储器133由例如一个ROM或一个RAM组成，存储一个用于控制CPU132执行嵌入编码的计算机程序。
输出I/F134输出从帧存储器131中读出的嵌入附加信息的图像作为编码数据。
帧存储器131由多段的用于存储多段的帧的存储体组成。通过转换存储体，帧存储器131可以同时执行从图像数据库101中提供的图像的存储，由CPU132利用嵌入编码进行处理的图像的存储，输出通过执行嵌入编码获得的图像(编码的数据)。即使从图像数据库101提供的图像是移动画面(picture)时，这使实时输出编码的数据成为可能。
接着，参考图31所示的流程图，下面说明通过嵌入编码单元103执行的嵌入编码处理。
提供从图像数据库101读出的图像和以帧为单位存储在帧存储器131中。
CPU132从附加信息数据库102中逐位地接收附加信息。当在步骤S101接收1位附加信息时，CPU132从存储在帧存储器131的图像中选择像素(要处理的像素)，其中嵌入该1位的附加信息。
在这个实施例中，如图32所示，从存储在帧存储器131中的图像中以预定的方式选择像素。具体地说，无论何时执行步骤S101时，CPU132从而可以以例如行扫描(光栅扫描)的顺序顺序地选择在图32中没有阴影线的像素作为要处理的像素。在图32中，p(x，y)表示所在从左起第X列和从上起第Y行的像素(这适用于图36中，稍后说明)。
此后，在步骤S102中，CPU312确定是否从附加信息数据库102接收的附加信息是“1”还是“0”。如果CPU312确定接收的附加信息例如是“0”，CPU132回到步骤S101。换句话说，当接收的附加信息是“0”时，CPU132回到步骤S101，而无需处理要处理的像素(在增加“0”作为预定常数之后)。在步骤S101中，CPU132等待从附加信息数据库102发送的下一位附加信息。当接收下一位附加信息时，CPU132选择下一要处理的像素，重复相同的处理。
在步骤S102，如果CPU132确定附加信息例如是“1”，CPU132进入到步骤S103，执行预定的对要处理的像素的处理。具体地说，CPU132对于对要处理的像素的像素级附加例如为2的幂的预定常数(指定到组成图像1的像素的位数)。
因此，例如当8位设计为组成该图像的每个像素的像素级时，在步骤S103中，27被附加到要处理的每个像素的像素级。
当像素级表示为例如YUV时，可以对亮度分量Y或彩色分量U和V执行该附加。当像素级表示为例如RGB时，可以对R、G和B的任何一个执行该附加。
在步骤S103将27附加到要处理的每个像素的像素级后，CPU132进入到步骤S104，确定是否附加的结果溢出。在步骤S104，如果CPU132确定附加的结果没有溢出，CPU132跳过步骤S105，进入步骤S106。在步骤S106，CPU132在帧存储器131中写入(改写)作为要处理的每个像素的像素级的附加结果，此后，CPU132回到步骤S101。
在步骤S104，如果CPU132确定附加的结果溢出，即，当附加的结果是28或更大时，CPU132进入到步骤S105，附加的结果被校正。换句话说，在步骤S105，溢出结果例如溢出量(从溢出结果中减去28所获得的值)被校正。进入到步骤S106，CPUS136在帧存储器131中写入校正的结果作为要处理的每个像素的像素级，当接收从附加信息数据库102发送的下一位附加信息时，回到步骤S101。
在存储在帧存储器131中的一帧图像被处理之后，帧存储器131读取处理的一帧图像(嵌入附加信息的图像)作为编码数据，CPU132继续处理下一帧存储在帧存储器131中的图像。
如上所述，通过处理从组成存储在帧存储器131中图像的像素中选择的一些像素，以便相应于附加信息，使得利用图像相关性可以恢复原始图像，将附加信息嵌入图像中。这使得能够抑制图像质量恶化和在图像中嵌入附加信息而不会增加数据量。
换句话说，通过利用图像相关性，具有嵌入附加信息的像素可被解码以产生(可恢复)原始像素和附加信息，而无需任何内务操作(overhead)，即，像素相关没有嵌入附加信息。因此，在作为结果的解码图像(再现的图像)中，由于嵌入附加信息，图像质量的恶化基本上不会出现。
接着，图33示出嵌入解码单元106(图27)的结构，它利用图像相关性对从嵌入编码单元103输出的编码的数据解码，以产生原始图像和附加信息。
向帧存储器141提供编码的数据，即，具有嵌入附加信息的图像(今后称作“嵌入编码图像”)。帧存储器141例如以帧为单位临时存储提供的嵌入编码图像。帧存储器141在结构上与在图30中示出的帧存储器131相同。通过转换存储体，即使嵌入编码图像是移动画面时，帧存储器141也可实时处理嵌入编码图像。
输出I/F142可以读取和输出作为由CPU143执行嵌入解码处理(稍后说明)结果获得的图像(再现的图像)。
通过执行存储在程序存储器144中的程序，CPU143执行嵌入解码处理。换句话说，通过利用图像相关性，CPU143可以对存储在帧存储器141中嵌入编码图像解码，以产生原始的图像和附加信息。具体地说，CPU143选择一个作为要处理的像素的构成嵌入码图像的像素，如图34所示，通过相反于如图30所示由CPU132执行的处理来处理要处理的像素，改变要处理的像素的像素级。参考图34，CPU143计算：作为一个改变前的值的在要处理的像素间的相关值R1(第一相关)；周围像素(在图34中示出的实例左右邻近的像素)；在要处理的其像素级已经改变的像素间的相关值R2(第二相关)，；与之相关的周围像素；比较相关值R1和R2。基于比较的结果，CPU143利用一个要处理的像素，它是一个改变前的值作为解码结果，要处理的像素它的像素级已经改变。CPU143还对嵌入在要处理的像素中的附加信息解码(在图34所示的实例中按一位计的值“1”和值“0”中的一个)。
程序存储器143在结构上与图30所示的程序存储器133相同，存储用于控制CPU143的计算机程序，去执行嵌入解码处理。
参考图35示出的流程图，下面说明由嵌入解码单元106实现的误差检测电路。
帧存储器141例如以帧为单位顺序存储提供的图像。
在步骤S111中，CPU143从一帧嵌入码图像中选择用于要解码处理的像素(被处理的像素)。
这里，如图32所示类似于图30中所示的CPU132，CPU143从存储在帧存储器141中嵌入编码图像中以栅格(grid)方式选择像素。换句话说，无论何时执行步骤S111时，CPU143顺序选择作为要处理像素的像素，如图32所示该像素在行扫描的顺序上没有阴影。
此后，CPU143进入步骤S112，相反于由CPU132执行的处理来处理要处理的像素。具体地说，CPU143从要处理的像素的像素值减去2的幂(分配给构成图像1的像素的位数-1)，它是一个预定的常数。
因此，如上所述，例如当分配给构成图像的像素的像素级8位时，在步骤S112，从每个要处理的像素的像素级中减去27。
当像素级例如由YUV表示时，这个减法可以在任何一个亮度分量Y上和彩色分量U和V上执行。此外，当像素级例如由RGB表示时，这个减法可以在R、G和B中的一个上执行。但是，在步骤S112的减法必须按在图31的步骤S103通过附加处理的相同的值执行。例如，当像素级例如由YUV表示时，在图31的步骤S103附加在YUV中的Y分量上执行，在步骤S112的减法必须在Y分量上执行。
在从每个要处理的像素的像素级中减去27之后，CPU143进入步骤S113，确定是否减的结果溢出。在步骤S113，如果CPU143确定减的结果没有溢出，CPU143跳过步骤S114，进入步骤S115。
反之，在步骤S113，如果CPU143确定减的结果溢出，即，当减的结果小于“0”时，CPU143进入到步骤S114，校正减的结果。换句话说，在步骤S114，CPU143将减的下溢的结果校正为通过附加28到下溢的结果而获得的值，进入到步骤S115。
在步骤S115，相关于要处理的像素的每个像素级P1(在步骤S112从中未减去27的值)(今后也称作第一像素级)，通过从像素级P1减去27而获得的减法值P2(下面的说明中包括在步骤S114校正的值)(今后也称作第二像素级)，计算关于左和右邻近像素(作为来自要处理的像素的周围像素)的相关值。
换句话说，在步骤S115中，计算要处理的像素的第一像素级P1对相对于要处理的像素的左和右像素的像素级差的绝对值，求出两个绝对值的和作为关于第一像素级P1的相关值R1。此外，在步骤S115中，计算要处理的像素的第一像素级P2对相对于要处理的像素的左和右像素的像素级差的绝对值，求出两个绝对值的和作为关于第二像素级P2的相关值R2。
在步骤S115中，对于相关于要处理像素的像素不限于要处理的左和右邻近像素，而是可以是要处理的像素上和下邻近的像素，和要处理的时间邻近像素。为求出要处理的像素的相关性，最好利用图32有阴影的像素，即，没有嵌入附加信息的像素。这是因为，由于如果在要处理的像素和具有嵌入附加信息的每个像素之间不相关，就不能获得关于原始图像的相关性，图像相关的不可能性使得难于从具有嵌入附加信息的像素中精确恢复原始像素级和附加信息。由于将图像相关性用于对要处理像素的像素解码，最好，用于求出相对于要处理像素的相关值的像素相对要处理像素具有小的空间和时间距离。
在计算关于第一个像素级P1的相关值R1和计算关于第二个像素级P2的相关值R2之后，CPU143进入步骤S116，且比较相关值R1和R2。
在步骤S116中，如果CPU143确定相关值R1大于(不小于)相关值R2，CPU143进入步骤S117。在步骤S117中，CPU143输出“0”作为对附加信息解码的结果，回到步骤S111。在这种情况下，存储在帧存储器141中的值不改写，因此，对要处理的像素的像素级解码的结果保持不变作为像素级P1。
换句话说，关于第一个像素级P1的相关值R1大于关于第二个像素级P2的相关值R2是指像素级P1比像素级P2更可能作为要处理的像素的像素级。因此，更可能的像素级用作对要处理的像素的像素级解码的结果。由于像素级P1是一个在步骤S112未减去27的值，可能在步骤S103不会附加27。在图31的嵌入编码处理中，当附加信息是“0”时，27不增加。因此，当像素级P1更可能作为要处理的像素级时，由于关于第一个像素级P1的相关值R1更大，确定嵌入附加信息是“0”。
在步骤S116中，如果CPU143确定相关值R2大于(不小于)相关值R1，CPU143进入步骤S118。在步骤S118中，CPU143改写存储在帧存储器141中要处理的像素的像素级为从存储的像素级中减去27而获得的值，即，第二个像素级P2。因此，在这种情况下，解码要处理的像素的像素级的结果是第二个像素级P2。CPU143进入步骤S119，输出“1”作为对附加信息解码的结果。此后，CPU143回到步骤S111。
换句话说，关于第二个像素级P2的相关值R2大于关于第一个像素级P1的相关值R1是指像素级P2比像素级P1更可能作为要处理的像素的像素级。因此，将更可能像素级P2用作对要处理的像素的像素级解码的结果。另外，由于像素级P2个是一个从像素级P1减去27的值，可能在步骤S103向原始像素级附加27。在图31的嵌入编码处理中，当附加信息是“1”时，附加27。因此，当像素级P2更可能作为要处理的像素级时，由于关于第二个像素级P2的相关值R2更大，确定嵌入附加信息是“1”。
这里，当如上所述获得的相关值R1和R2间的差值小时，可能简单确定是像素级P1还是像素级P2更可能作为要处理的像素的像素级。在这种情况下，不仅邻近于要处理的像素的左和右像素，此外其它的像素被用于求出涉及像素级P2和P2的相关值，比较该相关值，因此可以确定是像素级P1还是像素级P2更可能作为要处理的像素的像素级。
如上所述，将相应于具有嵌入附加信息的图像的编码数据解码以再现原始图像和附加信息，因此可以对编码的数据解码以再现原始图像和附加信息，而无需为了解码作任何大的改变。因此，在解码图像(再现图像)中，基本上不会出现由于嵌入附加信息使图像质量恶化。
在这个实施例中，从要处理的像素的像素级与其它的像素的像素级的差的绝对值用作从要处理的像素与其它的像素的相关值。但是，相关值不限于该绝对值。
在这个实施例中，如图32所示，从图像中以栅格形式选择像素，附加信息嵌入在选择的像素中。但是，用于嵌入附加信息的选择模式(pattern)不限于栅格形式。为了对具有嵌入附加信息的像素解码，最好通过利用没有嵌入附加信息的像素求出相关性。基本上，在像素间的相关性与像素间的空间或时间距离成比例减少。因此，为了实现精确解码，最好选择其中嵌入附加信息的像素，以便在像素中有空间或时间距离。另外，为了嵌入很多附加信息，即，从压缩系数(factor)的观点来看，需要增加嵌入附加信息的像素的数量。因此，最好选择嵌入附加信息的像素，以便可以权衡解码的精确度和压缩系数。
虽然在这个实施例中，1位的附加信息被嵌入在选作要处理像素的一个像素中，具有两个或多位的附加信息可以嵌入在一个像素中。例如，当2位附加信息被嵌入在一个像素中时，例如，0、26、27、26+27可以附加到按照2位附加信息的像素级中。
虽然在这个实施例中，通过附加0或27(通过不附加或附加27)中的一个将附加信息嵌入到像素级，附加到像素级的值不限于27。当附加一只影响像素级的低位的值时，附加的结果和原始的像素级不会相互区别。因此，在图35的步骤S115求出的相关值R1和R2不会相互区别。由于这引起对像素级和附加信息解码的结果精确度的恶化，最好按照附加信息增加到像素级的值是影响原始像素级上位(bit)的值。
虽然在这个实施例中，附加信息的嵌入是通过附加预定值到像素级来实现的，附加信息的嵌入可以通过执行除了附加在像素级以外的处理来实现，诸如位反转(bit inversion)。如上所述，从防止对像素级和附加信息解码的结果精确度恶化的观点来说，最好关于像素级的处理是这样的，关于原始像素级的相关性和关于处理的像素级的相关性不会彼此非常不同。
在这个实施例中，1位附加信息被嵌入在选作要处理像素的一个像素中，但是，1位附加信息可以被嵌入在多个的像素级中。例如，在由图36所示的圆圈表示的四个像素中，可以嵌入1位附加信息。
具体地说，在图36中，当注意到四个像素P(1，4)、P(5，4)、P(1，8)和P(5，8)编码时，通过按照1位附加信息同样地处理P(1，4)、P(5，4)、P(1，8)和P(5，8)的像素级，嵌入附加信息。解码时，关于四个像素P(1，4)、P(5，4)、P(1，8)和P(5，8)中的每一个，计算如上所述的第一和第二像素级P2和P2的相关值，比较相关值R1和R2的大小。通过按照比较结果的大多数执行确定对四个像素P(1，4)、P(5，4)、P(1，8)和P(5，8)的像素级解码的结果，和可确定附加信息。另外，通过计算关于四个像素P(1，4)、P(5，4)、P(1，8)和P(5，8)的第一个像素级P1的相关值R1和第二个像素级P2的相关值R2的总和，基于在两个总和间的大小关系，可以确定对四个像素P(1，4)、P(5，4)、P(1，8)和P(5，8)的每个的像素级和附加信息解码的结果。
这里，如在图32所示，当从图像中以栅格形式选择像素作为要处理的像素时，1位附加信息被嵌入在每个选择的像素中，可以嵌入具有接近于构成图像的像素一半数量的很多位的附加信息。当1位附加信息被嵌入在四个像素中时，如上所述，可嵌入在图像中的附加信息有很多位，其接近于构成图像的像素的一半数量的1/4。
接着，描述信息的连续性。例如，当注意图像中的一行时，如果观察如图37的曲线图(A)所示的具有连续像素级变化模式的波形1301，观察到离注意的行一个距离的另一行有不同于注意的行的像素级变化模式，因此，注意的行和与之离开一个距离的行具有不同的像素级变化模式，使得有连续的分布。换句话说，注意到图像的一部分的像素级变化模式，与之邻近的部分有类似的像素级变化模式，有连续的分布在于其中存在的更不同的像素级变化模式正比于与注意的部分的距离。
因此，在图37的曲线图(A)中示出的注意的行部分被转换到例如与注意的行离开一个距离的行的波形1302，如在图37的曲线图(B)所示。
在这种情况下，丢失图像的连续性分布。但是，由于邻近部分具有连续的像素级变化模式，通过利用连续的分布，其中存在的更多像素级变化模式正比于与注意的部分的距离，丢失的连续的分布可以恢复。换句话说，按照波形的原始连续性分布，很明显不自然在于波形部分1302的像素级的变化模式非常不同于其它波形部分的像素级的变化模式。具有不同的像素级变化模式的波形部分1302必须转换到具有类似于其它波形部分像素级变化模式的波形。通过执行这个转换，恢复连续性的分布，这使能够从图37的曲线图(B)中示出的波形恢复在图37的曲线图(A)中示出的原始波形。
在利用图37描述的情况下，部分波形转换到具有的像素级变化模式非常不同于周围像素级的波形是图像的编码。在这个编码中，嵌入编码单元103根据附加信息确定像素级变化模式应该变化多大等，例如在哪一部分波形中应该转换像素级的变化模式。通过利用连续分布，其中周围像素具有连续像素级变化模式，像素级变化模式的不同正比于与注意的像素的距离，嵌入解码单元106恢复编码后获得的信号，即，相对于原始波形一波形部分地有很大不同的像素级变化模式，因此执行用于产生原始波形的解码。另外，在解码中，嵌入解码单元106检测像素级变化模式已经变化多大等，例如其中像素级变化模式部分波形已经变化很大，因此执行用于产生嵌入附加信息的解码。
接着，下面描述利用图像连续性在图像中嵌入附加信息的嵌入编码操作，以便通过解码可以产生嵌入的附加信息。嵌入编码单元103的结构与图30所示的结构完全相同，因此省略其描述。
图38示出了一个流程图，示出利用图像连续性的嵌入编码操作。
首先，在步骤S121，CPU132控制嵌入编码单元103，以便将关于一帧的图像数据从图像数据库101转送给帧存储器131。CPU132检测图像数据的连续区域，在工作存储器(未示出)存储代表连续区域位置的连续区域数据。
当CPU132检测由224(等于7×32)×1600个像素组成的图像数据的连续区域时，CPU132划分图像数据为图像块，每个有32×1个像素，通过在每个图像块上执行DCT处理，计算用于每个图像块的离散正弦变换(DCT)系数。
CPU132按光栅扫描的顺序扫描图像块，顺序利用扫描的图像块作为基准图像块。CPU132顺序计算在相应于一个基准图像块的DCT系数和相应于邻近于该基准图像块的左图像块的DCT系数之间的每一个差。计算的差值作为估计基准图像块连续性的值存储。估计基准图像块连续性的计算值不大于预定阈值的每个图像块由CPU132鉴别为连续区域，图像块的位置存储在工作存储器中。这里，有一种可能，即由于噪声等影响，CPU132将在计算的连续区域中的某些图像块确定为不是连续区域。因此，在检测连续区域之后，CPU132执行用于连续区域放大和缩小的处理，因此执行校正处理用以将作为连续块部分的非连续图像块转换为在连续区域中图像块。
此后，在步骤S122，CPU132从附加信息数据库102接收例如每个6位(3位+3位)的附加信息，且进入步骤S123。
在步骤S123中，CPU123选择性地提取例如图39的图(A)中所示用作要处理的图像部分的第1行和第801行。此时，通过参考存储在工作存储器中的连续区域数据，CPU132选择性地仅提取第1行和第801行的连续区域。在图39的图(A)中所示的实例中，第1行和第801行的全部区域是选择性地提取的。
CPU132进入到步骤S124，通过转换在第1行的图像部分和在第801行的图像部分，在图像数据中嵌入附加信息。
图39的图(B)示出在附加信息被嵌入之前在第1行的图像数据的像素级。图39的图(C)示出在附加信息被嵌入之前在第801行的图像数据的像素级。如在图39的图(B)和(C)所示，第1行区域和第801行区域有不同的像素级变化模式(频率特性)。
作为实例，假定上部有3位代表“2”和下部有3位代表“6”的附加信息被嵌入图像数据，为了嵌入由上部的3位代表的“2”，CPU132从图39的图(B)中左边选择第2块；为了嵌入由下部的3位代表的“3”，CPU132从图39的图(C)中左边选择第6块。通过转换在选择的第2块和在第6块中的图像数据，CPU132执行编码以产生在图39的图(D)中所示的图像数据和该图像数据。
此后，在步骤S125，CPU132在帧存储器131中写入(改写)相应于第1行和第801行的编码的数据，进入到步骤S126。
在步骤S126，CPU132确定是否对关于一帧的图像数据的编码完成。如果CPU132确定编码尚未完成，CPU132回到步骤S122，再接收附加信息。在步骤S123，CPU132选择下一行，即，第2行和第802行，重复相同的步骤。
在步骤S126，如果CPU132确定编码已完成，存储在帧存储器131中的编码数据经输出I/F134输出，处理结束。
接着，下面描述利用图像连续性对具有嵌入附加信息的编码数据解码的嵌入解码处理。嵌入编码单元106的结构与图33所示的结构完全相同，因此省略其描述。
图40示一个流程图，示出一个利用图像连续性对通过图38所示的嵌入编码处理而获得的编码数据解码的嵌入解码处理。
在步骤S131，CPU143在帧存储器141中以帧为单位顺序存储编码的数据，CPU143利用与利用图38描述的相同的技术从编码数据中提取连续区域作为图像块，在工作存储器(未示出)中存储图像块的位置。这里，如利用图39所述，3位附加信息被嵌入在一行中，因此，通过改变在一行中的图像块，图像数据被编码。因此，在连续区域中，通过当连续的区域被提取时执行的放大和执行的缩小处理，相应于一个图像块的非连续部分被转换为连续部分。
在步骤S132中，CPU143选择性地提取一个图像块(即，图39的图(A)所示的左上图像块)作为要处理图像用于对6位附加信息解码。此时，在步骤S131中，参考存储在工作存储器中的连续区域数据，CPU143选择性地只提取在连续区域中的图像块。如上所述，第一行和第801行的全部区域被选择性地提取作为连续区域。
在步骤S133中，CPU143通过执行在步骤S132提取的图像块DCT处理产生DCT系数。
在步骤S134，CPU143计算前一个基准图像块的DCT系数和当前基准图像块的DCT系数之间的差值，将该差值和当前基准图像块的DCT系数存储在工作存储器中。当前一个基准图像块的DCT系数没有存储在工作存储器中时，该差值为零。
在步骤S135，CPU143确定是否已经完成对一行的处理。如果该处理还未完成，CPU143回到步骤S132。如果CPU143在步骤S135确定该处理已经完成，CPU143进行到步骤S136。
在步骤S136，在相应于工作存储器中存储的一行的图像块中，CPU143检测都具有上述大的差值的两个图像块。CPU143将所检测图像块的位置存储在工作存储器中。
在步骤S137，在相应于工作存储器中存储的一行的图像块中，两个图像块用于由CPU143输出附加信息，这两个图像块都具有不小于一预定值的差值。当两个图像块彼此相邻时，左边图像块的位置存储在工作存储器中并由CPU143作为附加信息输出。例如，在图39的图(D)所示的情况下，从左边起的第二和第三图像块具有大的差值，第二图像块相应于左边图像块。因此，″2″用作附加信息。
这里，当附加信息嵌入到从左边起的第0个图像块或第7个图像块时，很有可能具有差值不小于预定值的图像块数目为一。相应地，当只有第个图像块具有大的差值时，″0″用作附加信息，当只有第7个图像块具有大的差值时，″7″用作附加信息，因此对图像数据之间的边界执行特殊的处理。
在步骤S138，CPU143确定目前要处理的是从第1行到第800行的图像上半区域(图39的图(A))还是从第801行到第1600行的图像下半区域(图39的图(A))。如果CPU143已经确定目前要处理上半图像部分，则CPU143进行到步骤S139，并将图像处理区域从上半区域转换到下半区域。具体地说，当目前处理的行例如是第1行时，″800″加到行数，并处理因此得到的第801行。在从上半区域转换到下半区域之后，CPU143回到步骤S132。
在步骤S138，如果CPU143已经确定目前要处理下半区域，则CPU143进行到步骤S140。在步骤S140，CPU143转换在步骤S137上次存储的两个图像块的位置，并将转换后的位置存储在帧存储器141中。
在步骤S141，CPU143确定是否已经完成一帧的图像数据解码。如果CPU143确定该图像-数据解码没有完成，则CPU143进行到步骤S139。在步骤S139，图像处理区域从下半区域转换到上半区域，执行相同步骤。如果CPU143确定该图像-数据解码已经完成，则该处理结束。
存储在帧存储器141的图像数据可以经输出I/F142按顺序每两行输出，诸如第一行和第801行，解码该图像数据以再现原始的图像，并且在完成所有行的解码之后从输出I/F142中输出。
接下来，得知关于图像的相似性，例如利用图像的可分形性(fractality)(自相似性)生成拍摄一景物的图像的一部分。举个实例，在如图41A所示拍摄的海洋1401和森林1402的图像中，整个海洋1401的像素级改变模式存在相似性分布，海洋1401部分的像素级改变模式具有高相似性，这些像素级改变模式与离海洋1401有一定距离的森林1402的像素级的像素级改变模式具有低相似性。这里，图像的相似性可以认为不是通过如上所述比较像素级改变模式，而是通过比较边缘形状。
相应地，在图41A中转换海洋1401的一部分1403和森林1402的一部分1404。
这种情况下，丢失图像的相似性分布，所以获得图41B所示的图像。但是，通过利用相似性分布，可以恢复丢失的相似性分布，其中相邻部分的像素级改变模式具有高相似性，而彼此距离较大的部分在像素级改变模式中具有低相似性。根据图像的原始分布，明显不自然，在于在图41B中，海洋1401的一部分是与海洋1401具有低相似性的森林1402的一部分1404，以及明显不自然，在于森林1402的一部分是与森林1402具有低相似性的海洋1401的一部分1403。具体地说，在图41B中，海洋1401的图像与森林1402图像的一部分1404的相似性极度低于海洋1401其它部分的相似性，森林1402的图像与海洋1401图像的一部分1403的相似性极度低于森林1402其它部分的相似性。
因此，根据图像原始分布的相似性，必须转换包含在森林1401图像中的的森林1402图像的这部分1404和包含在森林1402图像中的海洋1401图像的这部分1403。通过执行该转换，可以检索图像的相似性分布。这使得有可能将图41B所示的图像恢复到图41A所示的原始图像。
在图41A和41B描述的情况下，转换海洋1401图像的这部分1403和森林1402图像的这部分1404是编码一图像。在此编码中，嵌入编码单元103根据附加信息确定应该转换海洋1401图像的哪个部分和森林1402图像的哪个部分。通过利用相似性分布，其中相邻部分的像素级改变模式具有高相似性，而彼此距离较大的部分在像素级改变模式中具有低相似性，嵌入解码单元106对一编码信号解码，即，从其中海洋1401的部分是森林1402的部分1404和森林1402的部分是海洋1401的部分1403的图像中恢复原始图像，因此再现原始的图像。另外，在解码中，解码嵌入的附加信息，使嵌入解码单元106确定海洋1401图像的哪个部分和森林1402图像的哪个部分已转换。
参见图42A和42B，下面进一步描述该相似性。
举个实例，当对图42A所示的碎片图像编码时，嵌入编码单元103响应附加信息将一部分碎片图像转换为不与碎片图像相似的图像，从而对该碎片图像编码。具体地说，嵌入编码单元103将具有叶片形状的碎片图像部分转换为例如图42B所示的三角形。图42B中，D1和D2表示的部分是三角形。根据附加信息，嵌入编码单元103确定例如转换成三角形的每个碎片图像的位置、碎片图像转换的每个三角形的大小、转换三角形的数目，等。
这种情况下，嵌入解码单元106以下述方式对碎片图像和附加信息解码。例如，图42B中，不必将虚线方框围绕的部分转换成三角形，嵌入解码单元106将虚线方框部分当作训练图像处理，并检索与训练图像不相似的每个部分(这种情况下的三角形)。此外，通过将与训练图像不相似部分的三角形转换成从碎片图像的基准画面生成的包含在训练图像中的图像，将嵌入解码单元106再现原始的碎片图像(图42A)。根据检索的每个三角形的位置和大小、三角形的数目等，嵌入解码单元106对嵌入的附加信息解码。
在上述情况下，需要嵌入解码单元106检测包含在训练图像中的碎片图像的基准画面。例如如下执行检测：根据训练图像与图42B所示图像的其它部分的相似性，和训练图像的自相似性，从图42B所示的图像检索碎片图像的基准画面，按照基准画面检测最有效代表除了训练图像以外的部分的画面。
嵌入解码单元106识别用于生成原始碎片图像的规则。根据生成的规则，嵌入解码单元106利用基准画面以生成由三角形转换的图像。换句话说，基于生成规则，嵌入解码单元106指定基准画面的尺寸、位置和旋转，以生成与三角形转换的图像，并根据基准画面指定的大小、位置和旋转，通过处理该基准画面产生由三角形转换的图像(碎片图像)。
接下来，下面描述利用图像相似性将附加信息嵌入到图像的嵌入编码处理，因此可以恢复嵌入的附加信息。此外，这种情况下，嵌入编码单元103的结构与图30所示的结构完全相同，因此省略其描述。
图43是表示利用相似性的嵌入编码处理的流程图。
在步骤S151，在CPU132的控制下，从图像数据库101向帧存储器131转送一帧的图像数据，检测图像数据相似的区域，将表示相似区域位置的相似区域数据存储在工作存储器中。
具体地说，当CPU132从该图像数据检测到56×1600个像素构成的图像数据的相似区域时，CPU132将图像数据划分成每个具有8×8像素的图像块，并检测基准图像块和周围图像块之间的相似性。
换句话说，CPU132以光栅扫描的顺序扫描基准图像块，并计算每个基准图像块与左右周围图像块的相似性。具体地说，CPU132执行与左右相邻图像块的匹配，同时按预定量改变基准图像块的大小、位置和旋转，并归一化匹配程度。CPU132取归一化匹配程度的平均值，在工作存储器中存储关于基准图像块周围的相似性估计值平均程度。这里，当右端和左端图像块用作基准图像块时，一个图像块匹配程度改变并用作另一个图像块的匹配程度。CPU132将具有计算出的不小于预定门限值的相似性估计值(匹配程度)的每个图像块鉴别为相似区域，并在工作存储器中存储相似区域的位置。此时，存在识别的相似区域中某图像块被认为是非相似区域的可能性。相应地，在检测到相似区域之后，通过执行相似区域的放大和缩小处理，CPU132执行用于将相似区域中的非相似区域部分转换成的图像块作为相似区域的校正处理。
在步骤S152，CPU132从附加信息数据库102以例如6位为单位(3位+3位)接收附加信息。
在步骤S153，CPU13选择性地提取例如图44图(A)中所示的第1行和第101行，它们是嵌入上述6位附加信息的图像块。此时，通过参见在步骤S151存储到工作存储器中的相似区域数据，CPU132选择性地只提取第1行和第101行的相似区域。在图44的图(A)所示的实例中，选择性地提取第1行和第101行的所有区域作为相似区域。
在步骤S154，CPU132通过转换第1行的图像块和第101行的图像块将附加信息嵌入到图像数据。
换句话说，图44的图(A)表示嵌入附加信息之前第1行和第101行中图像数据的像素级。如图44的图(A)所示，第1行和第101行中的区域具有不同的像素级改变模式，即图像块中不同类型的画面相似性。
举个实例，假设6位附加信息中，上三个位表示″2″，下三个位表示″6″，CPU132选择图44的图(A)中第1行的第2块，以便嵌入上三位的″2″，并选择第101行中第6块，以便嵌入下三位表示″6″。此外，通过转换在选定的第二块中的图像数据和选定的第六块中的图像数据，CPU132执行编码以生成图44的图(B)所示的图像数据。
在步骤S155，CPU132将第1和第101行的编码数据写(重写)入帧存储器131，并进行到步骤S156。
在步骤S156，CPU132确定是否已经完成一帧图像数据的编码。如果CPU132确定还没有完成编码，CPU132回到步骤S152，再接收附加信息。在步骤S157，CPU132顺序选择第2行和第102行的下一图像部分。
在步骤S156，如果CPU132确定已经完成编码，经输出I/F134输出帧存储器131存储的编码数据，该处理结束。
接下来，下面描述利用图像相似性对已嵌入附加信息解码的编码数据的嵌入解码处理。此外，这种情况下，嵌入解码单元106的结构与图33所示的结构完全相同，因此省略其描述。
图45是说明利用图像相似性的嵌入解码处理。
在步骤S161，CPU143以多帧为单位将编码数据按顺序存储在帧存储器141中。CPU143利用与图43所述相同的技术从编码的数据中提取图像块作为相似区域，并在工作存储器中存储作为相似区域数据的图像块的位置。在此实施例中，3位数据嵌入到相应于八个像素的一行，如上所述。因此，对图像数据编码，因此在相应于八个像素的一行中，改变一图像块。因此，通过对相似区域提取执行扩大并缩小处理，相似区域的一非相似图像块转换成相似区域。
在步骤S162，CPU143选择性地提取用于对6位附加信息解码的要处理的图像块，例如图44的图(A)的一个图像块(例如，左上端的图像块)。此时，在步骤S161，通过参见存储在工作存储器中的相似区域数据，CPU143选择性地只提取相似区域的图像块。这里，例如，第1行和第101行的整个区域被认为是相似区域并被选择性地提取。
在步骤S163，CPU143将在步骤S162提取的图像块当作基准图像块处理，并计算基准图像块与左右周围图像块的相似性。换句话说，CPU143执行与左右周围的像素的匹配，同时按预定量改变基准图像块的幅值、位置和旋转，并归一化匹配程度和取匹配程度的平均值。在步骤S164，工作存储器存储该平均值，作为评估基准图像块与周围图像块相似性的值。这里，当右端和左端图像块用作基准图像块时，一个图像块匹配程度不变并用作基准图像块的匹配程度。
虽然存储了基准图像块与左右图像块匹配程度的平均值，可以存储更小的程度。
在步骤S165，CPU143确定是否已经完成对该第一行的处理。如果该处理还未执行，CPU143回到步骤S162，并重复该处理。在步骤S165，如果CPU143确定已经完成该处理，则CPU143进行到步骤S166。
在步骤S166，CPU143在工作存储器中存储第1行图像块匹配程度之中具有最小匹配程度的图像块的位置，第1行图像块的匹配程度存储在工作存储器中。
在步骤S167，CPU143根据在步骤S166存储的图像决的位置输出附加信息。例如，在图44的图(B)中，具有最小匹配程度的图像块是第2图像块。结果，″2″用作附加信息。
在步骤S168，CPU143确定要处理从第1行到第100行的上图像区域和从第101行到第200行的下图像区域中的哪一些区域。如果CPU143已经确定目前正处理上半图像部分，则CPU143进行到步骤S169，并将图像处理区域从上半区域改变到下半区域。具体地说，当例如正处理第1行时，CPU143使行数加100并将第101行用于处理。在上半区域转换到下半区域之后，CPU143回到步骤S162，并反复执行相同步骤。
在步骤S168，如果CPU143已经确定目前正处理下半图像区域，则CPU143进行到步骤S170。在步骤S170，转换在步骤S167上次存储的相应于两个位置的两个图像块，转换的图像块存储在帧存储器141中。
在步骤S171，CPU143确定是否已经执行一帧图像数据的解码。如果CPU143确定该图像-数据解码没有执行，则CPU143进行到步骤S169，并重复同一处理。在步骤S171，如果CPU143确定已经完成解码，则解码处理结束。
解码以再现原始图像并且存储在帧存储器141的图像数据可以经输出I/F142每组两行输出，诸如第1行和第101行，或者可以在所有的解码处理完成之后从输出I/F142输出。
在上述为了嵌入编码单元103利用要编码图像的能量分布执行解码，根据附加信息对图像编码并输出编码数据的情况下，嵌入解码单元106利用图像分布将编码数据解码为原始图像和附加信息，而不需要为解码任何内务操作。
此外，通过将附加信息嵌入到要编码的图像，执行嵌入得到图像是不同于原始图像的图像，此外是人们不能作为有价值信息鉴别的图像。因此，不需要任何任何内务操作实现对要编码的图像的加密。
此外，实现了完全可逆的电子水印。在传统的电子水印中，在较低位与电子水印对应之前，只简单改变不怎么影响图像质量的像素级的较低位。在这种情况下，不可能将低位恢复到原始值。相应地，由于作为电子水印的较低位的改变，解码图像的图像质量不小的程度地恶化。反过来，当利用原始图像的能量分布对编码数据解码时，原始图像没有恶化，可以得到附加信息。因此，通过将附加信息用作电子水印，消除了解码图像的图像质量中引起的电子水印恶化。
通过对编码数据解码生成图像可以提取嵌入的广告信息。因此，不需任何内务操作可以提供所述信息以及编码图像的结果。换句话说，提取附加信息不需任何内务操作，可以嵌入附加信息，因此可以认为通过嵌入得到的编码数据被压缩(嵌入压缩)了附加信息量。相应地，当一半图像用作需编码的部分时，另一半用作附加信息，另一半可以嵌入到图像的这一半中，因此图像只压缩了一半。
因为利用原始图像的能量分布，即统计数值对编码数据解码，得到了对误差的强耐久性。换句话说，实现了作为具有高强固性编码的强固编码(统计编码)。
利用原始图像的能量分布对编码数据解码。因此，关于例如一图像，图像的有效性越高或图像的冗余度越低，能嵌入的附加信息量越多。如上所述，可以认为通过嵌入附加信息得到的编码数据压缩了附加信息量。从根据一方法(嵌入编码方法)压缩的角度来说，为了利用要编码信息的能量分布执行解码，编码该信息，图像的有效性越高，图像的冗余度越低，图像的压缩系数越高。在这方面，该嵌入编码方法非常不同于传统的编码方法。在传统方法中，例如，在MPEG方法中，图像的有效性越高或图像的冗余度越低，图像的压缩系数越低。
此外，除了上述的编码图像，利用不同于图像的例如声音的格式，可以通过将声音用作密钥提供图像。例如，在编码装置110中，合同人讲的″秘诀″作为附加信息嵌入到图像中。在解码装置120中，请求用户讲″秘诀″，该语音和嵌入到图像的语音用于识别讲话者。在此方法中，例如，根据识别讲话者的结果只有当用户是合同人时，可以自动显示该图像。这种情况下，不是所谓的″特性参数″而是声波自身可用作作为附加信息的语音。
除了编码声音，利用不同于声音的格式作为附加信息，可以将图像用作密钥提供声音，诸如鉴别脸部之后的语音响应。具体地说，在编码装置110中，用户面孔的图像嵌入到语音中作为对用户的响应，在解码装置120，拍摄用户的面孔，输出具有嵌入面孔图像的语音，该面孔图像与拍摄的图像匹配，因此实现为每个用户执行不同语音响应的语音响应系统。
此外，在具有一格式的信息中可以嵌入具有同一格式的其它信息，诸如在语音中嵌入语音和在图像中嵌入图像。否则，通过将合同人的语音和面孔图像嵌入到图像中，实现一双密钥系统等，其中只有当用户的语音和面孔图像与嵌入在图像中的一致时，可以显示图像。
此外，在构成电视广播信号的同步画面和声音中，一个可以嵌入在另一个中。这种情况下，实现所谓的″集成编码″，其中集成了具有不同格式的各类信息。
在嵌入编码方法中，因为信息的能量分布具有更多的特征，如上所述可以嵌入更多的信息。因此，例如，当存在两段信息时，通过自适应地选择具有特征能量分布的一段，并且将另一段嵌入在选定段中，可以控制总数据量。换句话说，在两段信息之间，一段信息可以吸收另一段的信息量。作为控制总数据量的结果，可以执行适于发送频带和发送链路的工作情况和其它发送环境的信息发送(适于环境的网络发送)。
举个实例，通过在图像中嵌入其缩小的图像(或者通过在声音中嵌入声音量缩小的结果)，实现分层编码，其中缩小较低层的信息以生成上层的信息。
例如，通过在第一图像中嵌入第二图像作为检索第一图像的密钥，实现根据作为密钥的第二图像检索第一图像的数据库。
接下来，图46表示嵌入编码单元103的另一硬件配置，当嵌入编码单元103执行嵌入编码将附加信息嵌入到图像中，因此利用图像的相关性可以/检索原始图像。图46所示的嵌入编码单元103在结构上除了不提供输出I/F133以外，与图30所示的结构完全相同。
从图像数据库101向帧存储器131提供图像。帧存储器131临时以帧为单位存储图像。
CPU132通过执行存储在程序存储器134中的程序执行嵌入编码处理(稍后描述)。换句话说，根据存储在程序存储器134中的程序，CPU132接收从附加信息数据库102提供的附加信息，并将附加信息嵌入在存储在帧存储器131中的图像中。具体地说，CPU132根据附加信息例如以列(纵向排列的各列像素)为单位转换(对换)构成存储在帧存储器131中图像的像素位置，从而将附加信息嵌入在每列像素中。具有嵌入附加信息的图像输出作为编码数据。
程序存储器134例如由ROM或RAM组成，并存储用于控制CPU132执行嵌入编码的计算机程序。
图47表示图46所示嵌入编码单元103的功能结构。可以形成图47所示的功能结构，因此CPU132执行存储在程序存储器134中的计算机程序。
如图46所示，帧存储器131临时存储从图像数据库101提供的图像。
对换信息产生单元136可以阅读来自附加信息数据库102的附加信息，并可以根据附加信息产生对换信息，该对换信息表示应该如何转换帧存储器131中存储的1帧图像的各列的位置。换句话说，在M行像素×N列像素形成1帧图像的情况下，当图像中第n列像素转换到第n′列时，对换信息生成单元136生成其中n和n′彼此相关的对换信息，n和n′是不小于1和不大于N的整数。
这里，当1帧图像具有N列，并要转换所有的N列时，转换方式(way)的数目是N！，其中N！表示阶乘。因此，在这种情况下，一帧中，可以嵌入最多log2(N！)位的附加信息。
对换信息生成单元136生成的对换信息提供给对换单元137。根据对换信息生成单元136提供的对换信息，对换单元137转换存储在帧存储器131中的1帧图像的各列的位置。
接下来，参照图48所示的流程图，下面描述由图47所示嵌入编码单元103执行的嵌入编码处理。
图像从图像数据库101中读出并顺序提供和存储在帧存储器131中。
在步骤S181，对换信息生成单元136从附加信息数据库2读出具有可嵌入1帧图像中的数据量的附加信息。换句话说，例如如上所述，当1帧图像具有N列并且要转换所有的N列时，可以在一帧中嵌入最多log2(N！)位的附加信息。相应地，从附加信息数据库102中读出不大于log2(N！)个位的附加信息。
进行到步骤S182，对换信息生成单元136根据步骤S181读出的附加信息生成对换信息。根据该附加信息，对换信息生成单元136生成对换信息，该对换信息表示在应当转换存储在帧存储器131中的要处理帧的第1列到第N列中的哪一列，例如除第1列之外的第2到第N列。生成的对换信息提供给对换单元137。
当从对换信息生成单元136收到对换信息时，对换单元137进行到步骤S183，并对换存储在帧存储器131中的要处理帧的各列的位置。从帧存储器131中读出具有对换列位置的帧，并输出作为编码数据。
通过改变存储在帧存储器131中(像素构成的)图像数据的位置，可以执行该帧中各列位置的对换。但是，例如通过从帧存储器131读出帧时控制地址，可以从帧存储器131中读出具有已形成对换列位置的帧。
在此实施例里，虽然对换信息包括表示应当对换第2到第N列的哪一列，但它不包括表示哪一列应当与第1列对换的信息。相应地，对换单元137执行第2到第N列的对换，但不执行第1列的对换。
在完成要处理帧的所有第2到第N列的对换之后，该处理进行到步骤S184，并确定帧存储器131是否存储还未处理的帧。如果帧存储器131中存储了还未处理的帧，处理回到步骤S181，按类似方式处理尚未处理的帧。
在步骤S184，如果该处理确定帧存储器131中没有存储尚未处理的帧，则嵌入编码处理结束。
根据上述嵌入编码处理，对1帧图编码像以生成下列编码数据。
假设该附加信息相应于(如图49A所示的具有N列要处理的帧中)对换第2列与第6列(图49B)，对换第3列与第9列(图49C)，对换第4列与第7列(图49D)，对换第5列与第3列(图49E)，对换第6列与第8列(图49F)，对换第7列与第4列(图49G)，对换第8列与第5列(图49H)，对换第9列与第2列(图491)，和对换第N列与第N列的每一个，由对换信息生成单元136产生表示上述类型对换的对换信息。在对换单元137，根据上述对换信息，处理图49J所示的帧以使第2列与第6列对换，第3列与第9列对换，第4列与第7列对换，第5列与第3列对换，第6列与第8列对换，第7列与第4列对换，第8列与第5列对换，第9列与第2列对换，第N列与第N列对换。结果，对图49J中的图像编码以生成图49K所示的图像。
注意图49A到49K的第1到第9列，下面进一步描述嵌入编码处理。
在此实施例中，不执行(禁止)第1列的对换。相应地，关于第2列，从第1到第9列中，除第1列之外的从第2列到第9列的8列用于对换。因为此情况有八列可以对换第2列，从″0″到″7″八个值的其中一个可以嵌入作为附加信息。假设″0″到″7″设计为第2到第8列的附加信息，如图49B所示，当第2列与第6列对换时，指定与第6列对换的″4″嵌入作为附加信息。
在第2列与第6列对换之后，剩下从第2到第5列和第7到第9列的七列，作为一列对换的列。第3列与这七列中的一列对换。相应地，这种情况下，例如，″0″到″6″七个值中的一个可以作为附加信息被嵌入。类似于上述的情况，假设″0″到″6″设计为附加信息，以对换第2到第5列和第7到第9列，当如图49C所示，当第3列与第9列对换时，指定用于对换第9列的″6″作为附加信息被嵌入。
随后，附加信息类似地嵌入在图像中。在上述嵌入技术中，随着嵌入附加信息的进行，减少了能被嵌入的位数。
如上所述，通过响应附加信息对换每列中的像素位置，这些像素是一组构成存储在帧存储器131中图像的至少一个像素，当附加信息嵌入在每列像素中时，执行逆对换，可以恢复原始图像，并且所用的对换方式可用作附加信息。因此，可以嵌入附加信息，最大限度地消除图像中图像质量恶化，而不增加数据量。
利用图像中的相关性，即与原始图像中位置相同的列的相关性，已嵌入附加信息，即已经对换列的位置的图像的列，可以不需任何内务操作地与原始位置的列对换。此外，该对换方式用于解码该附加信息。相应地，在形成的解码图像(再现图像)中，基本上不出现由于嵌入附加信息导致的图像质量恶化。
但是，当在编码数据中不存在适当位置的列时，如上所述，不可能利用图像的相关性再现图像与附加信息。相应地，这里，在图48所示的嵌入编码处理中，每帧的第1列不变化并且不进行对换作为编码数据输出。
然而，可以通过对换包括第1列在内的所有列执行嵌入编码。这种情况下，通过包含至少一个原始位置的对换列作为编码数据中的内务操作(overhead)，可以容易地再现图像与附加信息。
除了连续对换像素列将附加信息嵌入到图像之外，可以通过同时对换所有的像素列执行附加信息的嵌入。这种情况下，所有列同时对换的模式数目是列数的阶乘。在这些模式中，由附加信息确定所选的模式。执行嵌入附加信息的解码，因此在具有嵌入附加信息的图像中，所有像素列对换的次数等于列数的阶乘，在相应于列数阶乘的对换模式中，根据相关性确定一个对换模式。
在此例中，根据附加信息本身对换图像的每一列。但是，可以根据例如附加信息的特征值例如附加信息的直方图、分散和动态范围执行列的对换。
接下来，图50表示嵌入解码单元106的硬件配置，该嵌入解码单元106利用图像的相关性再现原始图像和附加信息，以对图47所示嵌入编码单元103输出的编码数据解码。图50所示的嵌入解码单元106除了不提供输出I/F142以外，在结构上与图33所示的结构完全相同。
编码数据，即已嵌入附加信息的图像(以下称为″嵌入编码图像″)提供给帧存储器141。帧存储器141临时以多帧为单位存储嵌入编码图像。
CPU143通过执行存储在程序存储器141中的程序执行嵌入解码处理。换句话说，CPU143利用图像的相关性再现原始图像和附加信息以对帧存储器141中存储的嵌入编码图像解码。具体地说，在构成嵌入编码图像的像素列中，由CPU143计算已解码上次一列和另一列之间的相关性。CPU143对构成嵌入编码图像的所有像素列执行处理，其中使与已解码列的相关性最大化的列与该已解码列右紧邻的列对换，因此再现原始图像。此外，根据应用于嵌入编码图像列的对换模式，当对嵌入编码的图像解码以再现原始图像时，CPU143再现附加信息。
程序存储器144存储用于控制CPU143的计算机程序，以执行嵌入解码处理。
图51表示图50所示嵌入解码单元106的功能结构。实现此功能结构，以使CPU143执行存储在程序存储器144中的计算机程序。
如图50所述，帧存储器141临时存储嵌入编码图像。
在存储在帧存储器141的要处理的帧中，对换单元146计算已经对换到原始位置的最后一列和另一列(尚未对换到原始位置的列)之间的每个相关性，并根据计算出的相关性，将通过执行对换尚未对换到原始位置的处理帧的列可返回到原始位置。对换单元146为对换信息交换单元147提供表示如何对换帧中各列的对换信息。
根据来自对换单元146的对换信息，即对换之前每列(要处理的帧中)的位置和对换之后每列的位置之间的对应，对换信息转换单元147可以对嵌入编码图像的嵌入附加信息解码。
参照图52所示的流程图，下面描述由图51所示嵌入解码单元106执行的嵌入解码处理。
帧存储器141例如以多帧为单位顺序存储提供的嵌入编码图像(编码数据)。
在步骤S191，对换单元146设置例如初始值1作为计数帧中列数的变量11，并且进行到步骤S192。在步骤S192，对换单元146确定变量n是否不大于N-1，其中N减去1作为帧中的列数。
在步骤S192，如果对换146已经确定变量n不大于N-1，对换单元146进行到步骤S193。在步骤S193，对换单元146从存储在帧存储器141中的要处理的帧中读出像素的第n列，并生成其中作为基元安排像素(像素级)的矢量vn(以下也称为″列矢量vn″)。这里，当该帧具有M列像素，列矢量vn(也有稍后描述的列矢量vk)是M阶矢量。
之后，在步骤S194，对换单元146设置n+1的初始值作为变量k用于对从第n列向右的列数进行计数，并且进行到步骤S195。在步骤S195，对换单元146读出第k列像素和生成第k列像素作为基元的列矢量vk。对换单元146进行到步骤S196。
在步骤S196，对换单元146利用列矢量vn并vk以求出第n列和第k列之间的相关性。
换句话说，对换单元146根据下列表示式计算列矢量vn和列矢量vk之间的距离d(n，k)：
d(n，k)＝|vn-vk|
         ＝(∑A(m，n)-A(m，k))2)1/2
其中∑表示当m从1变到M时得到的和值，A(i，j)表示处于要处理帧的第i行和第j列的像素(像素级)。
对换单元146求出列矢量vn和列矢量vk之间距离d(n，k)的倒数作为第n列和第k列之间的相关性(代表相关性的相关值)。
在计算出第n列和第k列之间的相关性之后，对换单元146进行到步骤S197，并确定变量k是否不大于N-1，其中N减去1是该帧的列数。在步骤S197，如果对换单元146已经确定变量k不大于N-1，对换单元146进行到步骤S198，并且将变量k加1。
之后，对换单元146回到步骤S197，并反复执行步骤S195到S198直到已经确定变量k大于N-1。换句话说，这可以求出嵌入编码图像中第n列和该列右边的每一列之间的相关性。之后，在步骤S197，如果对换单元146已经确定变量k大于N-1，对换单元146进行到步骤S198，并求出使与第n列相关性最大化的k。当用例如K表示使与第n列相关性最大化的k时，对换单元146在步骤S200执行存储在帧存储器141中的要处理的帧中第(n+1)列和第k列的对换，即对换第K列与在第n列右边相邻的第(n+1)列。
随后，在步骤S201，变量n加1，对换单元146回到步骤S192，并反复执行步骤S192到S201直到已经确定变量k大于N-1。
在此实施例中，嵌入编码图像的第1列不变地作为原始图像的第1列。因此，当变量n是初始值1时，与第1列具有最高相关性的嵌入编码图像中的一列与第1列右边的第2列对换。因为根据图像的相关性，与第1列具有最高相关性的列基本上是原始图像的第2列，在这种情况下嵌入解码处理中已经与嵌入编码图像中一列对换的原始图像的第2列返回到原始位置。
当变量n是2时，与返回到原始位置的第2列具有最高相关性的嵌入编码图像中的一列与第2列右边的第3列对换。因为根据图像的相关性，与第2列具有最高相关性的列基本上是原始图像的第3列，在这种情况下嵌入解码处理中已经与嵌入编码图像中一列对换的原始图像的第3列返回到原始位置。
随后，对存储在帧存储器141中的嵌入编码图像类似地解码以生成原始图像。
在步骤S192，如果对换单元146已经确定变量n大于N-1，即当构成嵌入编码图像的第2到第N列像素通过利用图像的相关性返回到原始位置时，因此对存储在帧存储器141中的嵌入编码图像解码以再现原始图像，对换单元146进行到步骤S202，从帧存储器141中读出解码的图像。在步骤S202，当对换单元146对嵌入编码图像解码以再现原始图像时，对换单元146向对换信息转换单元147输出表示在嵌入编码图像中的第2到第N列每列对换方式的对换信息。根据来自对换单元146的对换信息，由对换信息交换单元147解码和输出嵌入编码图像中的嵌入附加信息。
之后，在步骤S203，该处理确定帧存储器141是否存储尚未处理的嵌入编码图像的帧。如果帧存储器141存储该帧，该处理回到步骤S191，并通过再次执行相同步骤处理该帧。
在步骤S203，如果帧存储器没有存储尚未处理的帧，嵌入解码处理结束。
如上所述，对其中嵌入附加信息的编码数据解码以利用图像的相关性再现原始图像和附加信息，因此可以不需任何内务操作地对编码数据解码以再现原始图像和附加信息。因此，由于附加信息的嵌入基本上不发生图像质量的恶化。
在图52所示的嵌入解码处理中，找出已解码的最后一列(当n＝1，在嵌入编码处理对换的第一列)和尚未解码的一列的相关性，根据该相关性，检测应该与已经解码的最后一列右边相邻一列对换的一列。但是，通过计算已解码的多段的列与尚未解码一列的相关性，可以检测应该与已经解码的最后一列右边相邻一列对换的一列。
在图53到55中，表示上述嵌入编码处理和误差检测电路的模拟结果。
图53是嵌入编码处理要处理的图像(原始图像)，当图像的纵向垂直时，由512个水平像素×832个垂直像素形成该图像。
图54表示对图53所示的图像执行嵌入编码处理的结果。在图54所示的图像(嵌入编码图像)中，嵌入log2(512！)的附加信息。图54中很明显，如上所述，嵌入编码处理具有图像加密的功能。
图55表示对图53的图像执行嵌入编码处理和执行图54的嵌入解码处理得到的解码图像。图53和55之间的比较表示再现原始图像而不恶化图像质量。如果嵌入解码处理解码嵌入编码图像以再现原始图像，根据对换嵌入编码图像中列的方式也正确再现附加信息。
在上述情况下，嵌入编码单元103将图56所示的N列形成的图像用作要编码的图像，并设计为通过固定第一列并根据附加信息对换第2到第N列执行嵌入编码处理。但是，嵌入编码单元103可以利用由图57所示的H行形成的图像，并可以设计为通过固定第一列并根据附加信息对换第2到第H行执行嵌入编码处理。
虽然嵌入解码单元106设计为利用图像的相关性对嵌入编码结果解码以再现原始图像和附加信息，嵌入解码单元106可以设计为利用图像的某种相关性、连续性和相似性来对嵌入编码结果解码。
在图52的实例中，对于图56图像的每一列，利用具有构成该列像素级像素的每个列矢量vn，列矢量之间距离的倒数定义为相关性，因此只有该相关性用于对编码数据解码。此时，嵌入解码单元106首先检测(如上所述固定的)第一列的列矢量具有最小距离的列矢量，并将相应于所检测列矢量的一列当作第二列。嵌入解码单元106从编码数据中检测到第二列的列矢量具有最小距离的列矢量，并将相应于所检测列的一列当作第三列。随后，从该编码数据中，执行相似的检测直到第N列，因此再现原始图像，并且对换第2到第N列的方式再现为附加信息。
假设一在图56所示的图像中n列(n＝1、2、…、N)的列矢量v1、v2、…、vN画出的路径，例如图58中用细虚线表示。
这种情况下，通过顺序检测到第一列具有最小距离的每个列矢量得到图58中用粗虚线表示的路径。换句话说，以v1、v2、v13、v3、v14、v4、v5、v6等的顺序检测列矢量。因此，在图58所示的实例中，只利用相关性(这里，列矢量之间的距离)不能检测列矢量。结果，不能正确再现该图像和附加信息。
相应地，检测到第一列列矢量v1具有最小距离的列矢量和将相应于所检测列矢量的一列当作第二列之后，如图59所示求出第二列列矢量v2和第一列列矢量v1之间差值矢量Δv12。接下来，检测最靠近点P12的列矢量，其由列矢量v2加上差值矢量Δv12得到的矢量表示，相应于所检测列矢量的一列当作第三列。
关于第4列，求出第3列的列矢量和第2列的列矢量v2之间的差值矢量，检测最靠近列矢量v3加上差值矢量得到的矢量所表示点的列矢量，相应于所检测列矢量的一列当作第4列。随后，执行相似的处理直到第N列。
如上所述，不仅利用第N列和第(n+1)列之间的相关性，此外例如利用第n列的列矢量vn和第(n+1)列的列矢量vn+1之间的连续性，换句话说，vn+1-vn差值矢量改变的连续性，以图58中细虚线画出的路径表示的正确顺序检测列矢量，使得可以正确再现图像和附加信息。
在图49A到49K描述的实例中，以多列为单位对换要编码图像的像素(除了第1列像素以外)，因此执行将附加信息嵌入到图像，即嵌入编码处理。但是，例如可以通过以多行为单位对换要编码图像的像素和对换在时域排列的预定数目帧的相同位置的像素列，执行该嵌入编码处理
另外，例如可以通过以多列为单位对换要解码图像的像素和以多行为单位对换具有已对换像素的图像的像素，执行嵌入解码处理。
举个实例，通过根据附加信息对换图60所示的各列的N个水平像素×M个垂直像素，例如形成图61A所示的嵌入编码图像。图61A中，图60图像的第1列与第5列对换，第2列与第N列对换，第3列与第1列对换，第4列与第2列对换，第5列与第4列对换，第6列与第3列对换、…、和第N列与第6列对换。
另外，通过对换图61A中图像的各行，形成图61B表示的嵌入编码图像。图61B中，图61A图像的第1行与第3行对换，第2行与第5行对换，第3行与第2行对换，第4行与第M行对换，第5行与第1行对换、…、和第M行与第4行对换。
如果，在嵌入编码图像中，在第1列的左边有一列不对换，将该列用作第1列并执行图52所述的嵌入解码处理，对该嵌入编码图像解码以再现图60所示的原始图像。换句话说，关于通过在列方向和行方向执行对换得到的嵌入编码图像，只改变上面表示式中在∑中相加的项的顺序，不改变自身相加的项。因此，在只对换列情况下和列和行都对换的情况下，如果两种情况下得到的嵌入编码图像完全相同则不改变上面表示式得到的距离d(n，k)。因此，通过对换列和行得到的嵌入编码图像可以由图52的嵌入解码处理进行解码以再现原始图像和附加信息，类似于只对换列得到的嵌入编码图像。
相应地，当对换列和行时，应首先或稍后对换哪类项(行和列)不影响该嵌入解码处理。因此，在嵌入编码处理中，可以先或后对换任一种类型(行和列)的项，在嵌入解码处理中，就先或后对换任一种类型的项。此外，可以交替地对换行和列。
在嵌入编码处理中，当只对换列时，在对嵌入编码图像解码以再现原始图像的情况下对换嵌入编码图像的模式形成解码该附加信息的结果。但是，当对换列和行时，关于对换在第m行和第n列位置(m，n)的像素在解码图像的哪个位置(m′，n′)的信息是解码该附加信息的结果。
在图48所示的嵌入编码处理中，只固定要编码图像的第一列，嵌入解码单元106通过将固定的第一列作为解码的基准执行其它列的对换。但是，解码的基准不一定是第一列，可以是最后第N列或任意一列，如果在嵌入编码单元103和嵌入解码单元106设置该列。解码的基准不一定是一列像素，而可以是一个像素。
举个实例，当第一列用作解码的基准，图像的相关性用于执行嵌入编码图像中其它列像素的对换时，如果对换一列失败，后续列对换失败的可能性很高(此实施例中，该列右边的列对换失败。)这种情况下，不能再现原始图像，因此不能再现正确的附加信息。
相应地，在嵌入编码处理中，可能剩下多列(尚未对换)(被禁止用于对换)。
例如，当执行对换时，其中以列方向排列的每组像素用作对换单元，图62中阴影的每两列可用作解码基准，其它列(图62用空白表示)可用作要对换的列。
在图62所示的情况下，当图像具有2N列时，可以嵌入图像中的附加信息数据量是最大值log2(N！)位。
可以比多列或多行单位更小的单位对换几组至少一个像素来执行嵌入编码。
例如，如图63所示，可以执行对换，其中每列图像被分成几组连续排列的一个或多段的像素(诸如五个像素)，每组用作一个对换单元(unit)。这种情况下，如图63所示，对换单元划分为检验模式的两组，一组(例如，图63所示的空白)可用于对换，另一组(例如，图63表示的阴影部分)可用作解码基准。当执行此技术时，如果行数是多段的像素，其中存在M个对换单元，列数是2N个，则可以嵌入在图像的附加信息的数据量是log2((M×N)！)位的最大值。
例如，如图64所示，可以执行对换，其中从图像的每一列提取预定数目的像素，诸如六个像素，每个提取的这组像素(图64中，由圆圈表示的这些组像素，由十字形表示的这些组像素，由三角形表示的这些组像素等)用作一个对换单元。此外这种情况下，通过将在检验模式构成图像的像素划分成图64所示的两组，一组(例如，图64的空白所示)可用于对换，另一组(例如，图64所示的阴影部分)可用于解码基准。当执行此技术时，从图像每列，每2M个像素(图64所示的实例中每六个像素)提取每一组像素并用作对换单元，如果该图像具有N列，可以嵌入在图像的附加信息数据量是log2((M×N)！)位的最大值。例如，每列存在由图64每个圆圈表示的对换单元，如附图标号1420、1421和1422表示。相应地，只注意每列圆圈表示的对换单元，可以执行的对换是N！个模式。因此，当从每列每2M个像素提取的每组像素用作一个对换单元时，存在M个对换单元。因此，在图64所示的整个图像中，最多可能是(M×N)！个对换模式。结果，可以嵌入图像的附加信息数据量是log2((M×N)！)个位。
在图62到64所示的实例中，要对换的像素组(图62到64所示的空白处)与解码的多段的基准(图62到64所示的阴影部分)相邻。在这种情况下，例如每个解码基准和要对换的每组像素之间每个距离的平方和的倒数可被用作相关性。
如上所述，用于嵌入编码和嵌入解码的对换单元不是特别受限的。
此外，用作解码基准的这组像素也不是特别受限的。
从解码准确的角度来说，最好要对换的像素与更多用作解码基准的像素相邻。相应地，图64所示的实例是最佳的。从解码准确的角度来说，最好用作解码基准的像素数目要更多。
但是，因为作为解码基准的像素不对换，当像素数目较大时，可以嵌入的附加信息数据量就较少。另外，当作为解码基准的像素数目较大时，和当要对换的像素与更多作为解码基准的像素相邻时，加密的效果被削弱。
相应地，考虑到解码准确性，最好根据嵌入编码和嵌入解码的利用设置要嵌入的附加信息数据量、加密的效果、用作解码基准的像素数目和安排像素的模式。
当一列与其紧邻的一列对换时，或当彼此相邻的列对换时，其位置关系不变化，加密的效果也被削弱。相应地，为了防止这种对换模式出现，可以设置限制，诸如限制每一列与到初始位置具有预定距离或更远的一列对换和限制彼此相邻的列与彼此具有预定距离或更远的列对换。
当要嵌入编码的图像例如是与R、G和B分量信号相对应的彩色图像时，所有的R、G和B分量可以对换到同一位置，或者每个R、G和B分量可以单独对换。当所有的R、G和B分量对换到同一位置时，可以嵌入的附加信息数据量少于分别对换每个R、G和B分量的情况，但是可以增加嵌入解码的解码准确度。当每个R、G和B分量被分别对换时，与将所有的R、G和B分量对换到同一位置的情况相比较，嵌入解码的解码准确度恶化，但是可以增加嵌入的附加信息数据量。
用作附加信息的信息不特别受限。例如，图像、声音、文本、计算机程序、控制信号并和其它类型的数据可被用作附加信息。通过将存储在图像数据库101中的部分图像用作附加信息，和将其它部分用作提供给帧存储器131的部分，用作附加信息的图像部分嵌入到该其它部分，因此实现图像压缩。
虽然在此实施例中，附加信息嵌入到图像中，附加信息也可以嵌入另一类媒体，例如，声音。换句话说，例如，通过将按时序的声音数据分成适当的帧，和根据附加信息对换每帧中的声音数据，附加信息可以嵌入到声音。
虽然在上述情况下，CPU132或142通过执行计算机程序执行嵌入编码处理或嵌入解码处理，通过其专用硬件也可以执行该处理。
当上述的嵌入编码/解码用于保证广告信息按照包数据的输出由用户终端3向用户表示时，以下述方式嵌入编码包数据，该编码数据可以提供向用户终端3。
例如，首先，文本数据、图像数据和声音数据嵌入到多媒体包数据中的主数据，每个文本数据、图像数据和声音数据是与多媒体包数据中的主数据配对的子数据。
具体地说，假设主数据是图像数据，根据子数据对换作为主数据的图像数据的行(图65的图(A)中表示)，因此得到图65的图(B)表示的嵌入编码的图像。
通过进一步将广告信息嵌入到嵌入编码的图像中，得到最终嵌入编码的图像。
具体地说，根据广告信息，通过对换将子数据嵌入主数据得到的嵌入编码图像的列，得到图65的图(C)中表示的最终嵌入编码的图像。
在图65所示的实例中，通过首先对换作为主数据的图像的行，得到嵌入编码的图像，随后根据广告信息对换嵌入编码的图像的列，得到最终嵌入编码的图像。然而，如上所述，在嵌入编码/解码中，通过或先或后对换行和列中的项的类型而不影响该嵌入编码/解码。因此，如图66所示，通过根据附加信息对换作为主数据的图像的列(图66的图(A)得到嵌入编码的图像之后、根据子数据对换该嵌入编码图像的行(图66的图(B))，可以得到最终的嵌入编码图像(图66的图(C))。
可以执行根据图像列的子数据的对换，和根据图像行的广告信息的对换。
将广告信息嵌入到多媒体包数据的方法并不限制为上述的行和列对换。
当包服务器1向用户终端3提供作为上述嵌入编码图像的编码数据时，根据多媒体包数据的输出，用户终端3可以保证向该用户表示附加信息。
当多媒体包数据中的主数据是文本数据时，通常，与主数据是图像数据或声音数据的情况相比较，只有少量的信息可以嵌入到主数据。相应地，在此实施例中，只有当主数据是图像数据或声音数据时，嵌入该广告信息。然而，当主数据是文本数据时，可以嵌入广告信息。
图67表示了当包服务器1提供通过嵌入编码多媒体包数据得到的编码数据时的用户终端3的结构。图67中，相应于图18所示的方框用相同的附图标号表示，下文按照需要省略它们的描述。除了新提供第一解码单元54和第二解码单元55以外，用户终端3基本上与图18所示的结构完全相同。
在此例中，如用图65或图66所述，假设从包服务器1提供编码数据形式的多媒体包数据，在该编码数据中，子数据和广告信息分别嵌入到主数据中。
第一解码单元54对编码数据执行嵌入解码处理，该编码数据是通过执行嵌入编码得到的多媒体包数据。该嵌入解码结果输出到第二解码单元55并由第一解码单元54提供到显示单元51或扬声器53。第二解码单元55对第一解码单元54的输出执行嵌入解码处理。该嵌入解码结果输出到选择指令检测单元45并由第二解码单元55提供到显示单元51或扬声器53。
下面，参照图68和69所示的流程图，下面描述图67所示的用户终端3的处理。
如图68所示，用户终端3分别执行基本上与步骤S31到S43相同的步骤S211到223。
但是，在此处理中，从包服务器1提供的多媒体包数据基本上是以通过执行嵌入编码得到的编码数据形式。相应地，在步骤S222，编码数据存储在存储单元52中。因为编码数据形式使得不可能在步骤S223输出主数据和不可能在步骤S217输出子数据，当输出主数据和子数据时，图67所示的用户终端3平行于根据图68所示流程图的处理，根据图69所示的流程图执行对多媒体包数据的解码，以便得到主数据和子数据。
在步骤S231，数据检索单元44按照需要检索从包服务器1下载并存储在存储单元52的多媒体包数据(编码数据)，并进行到步骤S232。在步骤S232，数据检索单元44确定多媒体包数据中的主数据是图像数据还是声音数据。在步骤S232，如果数据检索单元44确定主数据不是图像数据和声音数据，即当主数据是文本数据时，数据检索单元44回到步骤S231。
当在此实施例中主数据是文本数据时，如上所述该具有主数据的多媒体包数据不是嵌入编码的。相应地，因为可以立即输出主数据和子数据，数据检索单元44回到步骤S231，不执行特殊的处理。
例如，假设信息没有嵌入到多媒体包数据的首标，和假设该首标描述了多媒体包数据格式的类型。相对应的，可以通过参考多媒体包数据的首标执行步骤S232的确定。
在步骤S232，如果数据检索单元44确定主数据是图像数据或声音数据，即当多媒体包数据是嵌入编码时，作为嵌入编码的多媒体包数据的编码数据提供给第一解码单元54，该处理进行到步骤S233。
在步骤S233，第一解码单元54对来自数据检索单元44的编码数据执行嵌入编码处理。因此，再现嵌入到编码数据中的附加信息，得到嵌入了子数据的主数据(以下也称为″嵌入子数据的主数据″。
在步骤S234，在步骤S233再现的广告信息从第一解码单元54提供并由显示单元51或扬声器53输出。具体地说，当广告信息是可显示的信息时，该广告信息从第一解码单元54提供并显示在显示单元51上。当该广告信息可以声音的形式输出时，该广告信息从第一解码单元54提供并从扬声器53输出。
从第一解码单元54向第二解码单元55提供在步骤S233得到的嵌入子数据的主数据。在步骤S235，第二解码单元55对嵌入子数据的主数据执行嵌入解码处理，因此再现该主数据和在其中嵌入的子数据。该处理进行到步骤S231。
图68中在步骤S223输出上述再现的主数据，图68中在步骤S217输出子数据。
相应地，当编码数据下载到用户终端3时，例如在编码数据中，子数据和广告信息嵌入到作为图像数据的主数据，编码数据(图70的部分(A))嵌入编码，因此如图70的部分(B)所示再现和输出嵌入主数据的广告信息，并得到嵌入子数据的主数据。嵌入子数据的主数据被嵌入解码以再现主数据和嵌入在其中的子数据，如图70的部分(C)所示。
结果，当用户右击作为主数据的图像数据以便可以显示与主数据配对的子数据，总是输出广告信息。因此，当用户观看(或收听)子数据时，可以保证用户也能观看(或收听)广告信息。
如果编码数据的文件由不是专用浏览器62的应用程序打开，则简单显示例如对换行和列的图像，因此用户如果不观看输出的广告信息就不能得到子数据。换句话说，无论何时用户得到子数据，都输出广告信息。
可以控制图67中的用户终端3以根据图71所示的流程图执行多媒体包数据解码处理。
在此处理中，用户终端3执行基本上与图69中的步骤S231到S235相同的步骤S241到S244。
在步骤S243再现的广告信息被提供和在步骤S244从显示单元51或扬声器53输出之后执行步骤S245，该处理确定用户是否采取预定的动作，诸如点击在步骤S244输出的广告信息。如果该处理确定用户没有点击，则该处理回到步骤S245。
在步骤S245，如果该处理确定用户已经点击在步骤S244输出的广告信息，则该处理进行到步骤S246，并再现嵌入在其中的主数据和子数据。
相应地，不输出子数据除非用户点击表示该用户已经鉴别输出的广告信息。结果，与图69所示的处理相比较，用户对广告信息的意识可以更强烈。
在上面的情况下，输出完整再现的主数据。但是，当主数据是图像数据时，可以首先输出第一解码单元54得到的嵌入子数据的主数据，可以随后输出第二解码单元55得到的主数据，来代替嵌入子数据的主数据。
如图72所示，可以执行多媒体包数据的嵌入编码，用于保证向用户显示广告信息。
这种情况下，首先，通过将子数据嵌入到广告信息，得到嵌入子数据广告信息，如图72的部分(A)所示。通过将嵌入子数据的广告信息嵌入到主数据(图72的部分(B))，得到提供向用户的编码数据(图72的部分(C))。
当从包服务器1提供编码数据时，图67所示的用户终端3根据图73所示的流程图执行多媒体包数据解码处理。
在此处理中，用户终端3执行类似于图69的步骤S231和S232的步骤S251和S252。
在步骤S253，第一解码单元54对来自数据检索单元44的编码数据执行嵌入解码处理，因此再现主数据和嵌入在其中的嵌入子数据的广告信息。
从第一解码单元54向第二解码单元55提供在步骤S253得到的嵌入子数据的广告信息。在步骤S254，第二解码单元55对嵌入子数据的广告信息执行嵌入解码处理，因此再现该广告信息和在其中嵌入的子数据。该处理进行到步骤S255。
在步骤S255，在步骤S254再现的广告信息从第二解码单元55提供并由显示单元51或扬声器53输出。该处理回到步骤S251。
图68中在步骤S223输出上述再现的主数据，图68中在步骤S217输出子数据。
相应地，当编码数据下载到用户终端3时，如图72所示在编码数据中，例如子数据和广告信息嵌入到作为图像数据的主数据中，编码数据(图74的部分(A))被嵌入解码，因此再现主数据和嵌入子数据的广告信息，如图74的部分(B)所示。嵌入子数据的广告信息被嵌入解码，因此再现嵌入在其中的广告信息和子数据，如图74的部分(C)所示。
结果，当用户右击作为主数据的图像数据，因此可显示与主数据配对的子数据，总是输出该广告信息。因此，当用户观看(或收听)子数据时，还保证用户观看(或收听)广告信息。
如果编码数据的文件由不同于专用浏览器62的应用程序打开，则简单显示编码数据，因此用户如果不观看输出的广告信息就不能得到子数据。换句话说，不论何时用户得到子数据，都输出广告信息。
如图65或55所示，从编码数据中可以分别再现子数据和广告信息，其中子数据和广告信息分别嵌入主数据中。因此，存在有不良企图的用户可以再现子数据而不再现广告信息的可能性。然而，如图72所述，当子数据嵌入到广告信息和嵌入子数据的广告信息嵌入到主数据时，必须同时再现子数据和广告信息，因此可以完全防止复制子数据而不再现广告信息。
当包服务器1提供嵌入广告信息的编码数据时，则确保用户观看或收听广告信息。因此，计费处理单元38可以对编码数据被下载的次数计数，并可以根据计数的次数向提供广告信息的广告商收费。
虽然在上述情况下，包服务器1(的数据库31)存储已经嵌入广告信息的编码数据，当应用户终端3的请求发送多媒体包数据时，包服务器1可以嵌入广告信息。
图75表示上述包服务器1的结构。图75中，相应于图25所示的方框用相同的附图标号表示，下文按照需要省略它们的描述。除了新提供嵌入编码单元36A和广告数据库40以外，图75表示的包服务器1基本上与图25所示的相同。
嵌入编码单元36A置入到一响应数据生成单元36。当接收来自检索单元32的多媒体包数据时，响应数据生成单元36阅读存储在广告数据库40中的广告信息并执行嵌入编码处理，用于将阅读的广告信息嵌入到来自检索单元32的多媒体包数据中。作为结果的编码数据作为响应数据从嵌入编码单元36A输出到检索单元32。
在这种情况下，可以提供一种预先向广告信息的广告商收费的业务，根据收费金额改变广告信息嵌入到多媒体包数据的频率。
虽然在上述情况下，广告信息嵌入到多媒体包数据，不仅广告信息此外必须由用户终端3输出的预定信息，诸如版权信息可以嵌入到多媒体包数据中。
广告信息可以不仅嵌入多媒体包数据此外嵌入到图4到6描述的包数据中，其中图标数据用作主数据，文本数据用作子数据。
该广告信息可以嵌入到除了具有一对主数据和子数据的包数据之外的任意数据。
提供到用户终端3的编码数据不限制为上述具有嵌入广告信息的包数据，而可以是一种通过编码包数据得到类型的数据，因此在解码处理中可以得到该广告信息。
在此实施例中，文本数据、图像数据和声音数据用作构成多媒体包数据的媒体数据。另外，例如，可以利用程序等，并且可以利用文本数据、图像数据、声音数据和其它类型的媒体数据、任意的仅两种、四种或更多。

Claims (78)

1.一种用于当外部装置请求时发送数据的通信装置，所述通信装置包括：
一存储单元，用于存储多段的包数据，每个包数据包括主数据和子数据，所述主数据是多段的媒体数据其中一个段，所述子数据包括多段的媒体数据和多段相对应的链接数据；
一检索单元，用于响应来自所述外部装置的请求从所述存储单元检索所需包数据；
一加密单元，用于输出通过对检索的包数据加密生成的加密包数据；和
一通信单元，用于将加密的包数据发送到所述外部装置。
2.根据权利要求1的通信装置，其中所述存储单元存储多段的包数据，每个包数据包括主数据和子数据，主数据是视频数据、音频数据和文本数据中的一个媒体类型数据，子数据包括多个视频数据、多个音频数据、多个文本数据和相应的统一资源定位符地址。
3.根据权利要求2的通信装置，其中存储在所述存储单元的所述子数据进一步包括与所述多个音频数据的每一个相对应的图标数据。
4.根据权利要求1的通信装置，其中所述检索单元响应从所述外部装置收到的统一资源定位符地址从所述存储单元检索所需的包数据。
5.根据权利要求1的通信装置，进一步包括一计费处理单元，根据包数据的发送，该计费处理单元生成和向外部结算中心发送包括个人信息的费用信息，该个人信息包括分配给所述外部装置的用户的信用卡号和与包数据相对应的金额信息。
6.根据权利要求1的通信装置，进一步包括：
一用户信息存储单元，用于存储关于所述外部装置的用户的用户信息；和
一变换器单元，用于根据存储的用户信息，改变存储在所述存储单元的包数据中的一个子数据和子数据中链接到所述包数据的链接数据。
7.根据权利要求6的通信装置，其中：
所述用户信息存储单元为每个用户存储该用户购买的包数据的段数；和
所述用户信息存储单元为每个用户存储子数据的改变部分和链接数据的改变部分。
8.根据权利要求1的通信装置，其中通过将子数据嵌入主数据形成存储在所述存储单元的包数据。
9.根据权利要求8的通信装置，其中存储在所述存储单元中的包数据是这样形成的，即通过丢失主数据的能量分布来将子数据嵌入主数据。
10.根据权利要求9的通信装置，进一步包括一嵌入编码单元，该嵌入编码单元读取存储在所述存储单元的包数据和根据包数据中的子数据通过丢失主数据的能量分布将子数据嵌入到主数据。
11.根据权利要求10的通信装置，其中主数据是图像数据，所述嵌入编码单元根据子数据通过对换预定单元中的主数据而将子数据嵌入到主数据，因此丢失了作为主数据的图像数据中的相关性分布。
12.根据权利要求10的通信装置，其中主数据是图像数据，所述嵌入编码单元根据子数据通过对换预定单位中的主数据而将子数据嵌入到主数据，因此丢失了作为主数据的图像数据中的连续性分布。
13.根据权利要求10的通信装置，其中主数据是图像数据，所述嵌入编码单元根据子数据通过对换预定单元中的主数据而将子数据嵌入到主数据，因此丢失了作为主数据的图像数据中的相似性分布。
14.一种用于从外部装置接收数据的通信装置，所述通信装置包括：
一请求单元，用于响应用户的指令向所述外部装置请求包括主数据和子数据的包数据，所述主数据是多段的媒体数据的其中一个，所述子数据包括多段的媒体数据和多段相对应的链接数据；
一输出单元，用于响应所述请求单元的请求输出从所述外部装置收到的包数据中的主数据；
一用户指令检测单元，用于检测涉及输出主数据和子数据的用户指令；和
一输出控制单元，当所述用户指令检测单元检测到用户指令时，用于输出相应输出主数据的子数据；
其中当所述用户指令检测单元检测到涉及部分子数据的用户指令时，所述请求单元根据相应这部分子数据的链接数据向所述外部装置请求新的包数据。
15.根据权利要求14的通信装置，其中所述包数据包括：主数据和子数据，主数据是视频数据、音频数据和文本数据中的一个媒体类型数据；子数据包括多个视频数据、多个音频数据、多个文本数据和相对应的统一资源定位符地址。
16.根据权利要求15的通信装置，其中所述子数据进一步包括与所述多个音频数据的每一个相对应的图标数据。
17.根据权利要求15的通信装置，其中：
所述输出单元以图标图像的形式输出视频数据作为从所述外部装置收到的所述包数据中的主数据；和
所述用户指令检测单元根据用户利用鼠标的指定检测与所述输出单元输出的所述图标图像有关的用户指令；和
所述输出控制单元根据用户指令的检测以弹出式菜单的形式显示与主数据相对应的子数据中的多个媒体数据。
18.根据权利要求16的通信装置，其中：
所述输出单元以图标图像的形式输出视频数据作为从所述外部装置收到的所述包数据中的主数据；和
所述用户指令检测单元根据用户用鼠标的指定检测与所述输出单元输出的所述图标图像有关的用户指令；和
所述输出控制单元根据用户指令的检测以弹出式菜单的形式显示与主数据相对应的子数据中的多个媒体数据；
以可视数据的形式显示图标图像的安排；
显示可以按照音频数据选择性地再现多个音频数据的操作单元；和
弹出式菜单具有多个项，这些项是由作为所述文本数据的多个文本数据形成的。
19.根据权利要求14的通信装置，其中所述请求单元向所述外部装置发送与用户指令指定的部分子数据相对应的统一资源定位符地址。
20.根据权利要求19的通信装置，进一步包括一用于存储所述包数据的存储单元，
其中所述请求单元周期性地请求来自所述外部装置的存储在所述存储单元的所述包数据，和更新请求的包数据。
21.根据权利要求20的通信装置，进一步包括：
一用户信息存储单元，用于存储关于利用所述外部装置的用户的用户信息；和
一变换器单元，用于根据存储在所述用户信息存储单元的所述用户信息，改变存储在所述存储单元中的包数据中的一个子数据和链接到包数据的子数据中的链接数据。
22.根据权利要求21的通信装置，其中：
所述用户信息存储单元为每个用户存储该用户购买的包数据的段数；和
所述用户信息存储单元为每个用户存储子数据的改变部分和链接数据的改变部分。
23.根据权利要求20的通信装置，其中通过将子数据嵌入主数据形成存储在所述存储单元的包数据。
24.根据权利要求23的通信装置，其中的包数据是这样形成的，即通过丢失主数据的能量分布来将子数据嵌入主数据。
25.根据权利要求24的通信装置，其中主数据是图像数据，所述包数据是这样形成的，即根据子数据通过对换预定单元中的主数据而将子数据嵌入到主数据，因此丢失了作为主数据的图像数据中的相关性分布。
26.根据权利要求24的通信装置，其中主数据是图像数据，所述包数据是这样形成的，即根据子数据通过对换预定单元中的主数据而将子数据嵌入到主数据，因此丢失了作为主数据的图像数据中的连续性分布。
27.根据权利要求24的通信装置，其中主数据是图像数据，所述包数据是这样形成的，即根据子数据通过对换预定单元中的主数据而将子数据嵌入到主数据，因此丢失了作为主数据的图像数据中的相似性分布。
28.一种向外部装置发送数据的通信装置，包括：
一存储单元，用于存储通过执行编码生成的多段的编码数据，因此当解码这些编码数据时再现预定的信息；
一检索单元，用于响应来自所述外部装置的请求从所述存储单元检索所需的编码数据；和
一通信单元，用于将检索的编码数据发送到所述外部装置。
29.根据权利要求28的通信装置，其中通过对包数据进行编码而形成存储在所述存储单元中的编码数据，包数据具有主数据和子数据，所述主数据是多段的媒体数据的其中一个段，所述子数据包括多段的媒体数据和多段相对应的链接数据。
30.根据权利要求29的通信装置，其中所述子数据嵌入所述主数据。
31.根据权利要求30的通信装置，其中所述存储单元将编码数据作为包数据存储，该编码数据是通过将所述子数据嵌入所述主数据、并且进一步将广告信息嵌入该嵌入了子数据的主数据中得到的。
32.根据权利要求30的通信装置，其中所述存储单元将编码数据作为包数据存储，该编码数据是通过将广告信息嵌入所述主数据、并且进一步将所述子数据嵌入该嵌入了广告信息的主数据中得到的。
33.根据权利要求30的通信装置，其中存储在所述存储单元中的包数据是这样形成的，即通过丢失主数据的能量分布来将子数据嵌入主数据。
34.根据权利要求33的通信装置，进一步包括一嵌入编码单元，该嵌入编码单元读取存储在所述存储单元的包数据和根据包数据中的子数据通过丢失主数据的能量分布将子数据嵌入到主数据。
35.根据权利要求34的通信装置，其中主数据是图像数据，所述嵌入编码单元根据子数据通过对换预定单元中的主数据而将子数据嵌入到主数据，因此丢失了作为主数据的图像数据中的相关性分布。
36.根据权利要求31的通信装置，进一步包括一嵌入编码单元，该嵌入编码单元读取存储在所述存储单元的包数据和根据包数据中的子数据通过丢失主数据的能量分布将子数据嵌入到主数据。
37.根据权利要求36的通信装置，其中主数据是图像数据，所述嵌入编码单元根据子数据通过对换预定单元中的主数据将子数据嵌入到主数据，因此丢失了作为主数据的图像数据中的相关性分布。
38.根据权利要求37的通信装置，其中主数据是图像数据，所述嵌入编码单元根据子数据通过对换预定单元中的主数据而将子数据嵌入到主数据，因此丢失了作为主数据的图像数据中的相关性分布，和进一步根据广告信息通过对换不同于所述预定单元的单元中的作为主数据的图像数据嵌入广告信息。
39.根据权利要求32的通信装置，其中存储在所述存储单元中的包数据是这样形成的，即通过丢失主数据的能量分布来将子数据嵌入主数据。
40.根据权利要求39的通信装置，进一步包括一嵌入编码单元，该嵌入编码单元读取存储在所述存储单元的包数据和根据包数据中的子数据通过丢失主数据的能量分布将子数据嵌入到主数据。
41.根据权利要求40的通信装置，其中主数据是图像数据；所述嵌入编码单元根据广告信息通过对换预定单元中的主数据而将广告信息嵌入到主数据，因此丢失了作为主数据的图像数据中的相关性分布，和进一步根据子数据通过对换不同于所述预定单元的单元中的图像数据嵌入子数据。
42.根据权利要求34的通信装置，其中主数据是图像数据，所述嵌入编码单元根据子数据通过对换预定单元中的主数据而将子数据嵌入到主数据，因此丢失了作主数据的图像数据中的连续性分布。
43.根据权利要求34的通信装置，其中主数据是图像数据，所述嵌入编码单元根据子数据通过对换预定单元中的主数据而将子数据嵌入到主数据，因此丢失了作为主数据的图像数据中的相似性分布。
44.根据权利要求29的通信装置，其中，每个包数据包括主数据和子数据，主数据是视频数据、音频数据和文本数据中的一个媒体类型的数据，子数据包括多个视频数据、多个音频数据、多个文本数据和相对应的统一资源定位符地址。
45.根据权利要求44的通信装置，其中存储在所述存储单元的所述子数据进一步包括与所述多个音频数据的每一个相对应的图标数据。
46根据权利要求29的通信装置，其中所述检索单元响应从所述外部装置收到的统一资源定位符地址从所述存储单元检索所需的包数据。
47.根据权利要求29的通信装置，进一步包括一计费处理单元，根据包数据的发送，该计费处理单元生成和向外部结算中心发送包括个人信息的费用信息，该个人信息包括分配给所述外部装置的用户的信用卡号和与包数据相对应的金额信息。
48.根据权利要求29的通信装置，进一步包括：
一用户信息存储单元，用于存储关于所述外部装置的用户的用户信息；和
一变换器单元，用于根据存储的用户信息，改变存储在所述存储单元的包数据中的一个子数据和子数据中链接到所述包数据的链接数据。
49.根据权利要求48的通信装置，其中：
所述用户信息存储单元为每个用户存储该用户购买的包数据的段数；和
所述用户信息存储单元为每个用户存储子数据的改变部分和链接数据的改变部分。
50.一种用于从外部装置接收数据的通信装置，包括：
一请求单元，用于向所述外部装置请求通过执行编码生成的编码数据，以便当对这些编码数据进行解码时再现预定信息；
一解码单元，用于接收所请求的编码数据，并对该编码数据进行解码；和
一输出单元，用于输出通过对所述编码数据进行最终解码而生成的解码数据，其中该解码数据包括所述预定信息。
51.根据权利要求50的通信装置，其中根据来自所述请求单元的该请求接收的编码数据是通过对包数据编码形成的，包数据具有主数据和子数据，所述主数据是多段的媒体数据的其中一个段，所述子数据包括多段的媒体数据和多段相对应的链接数据。
52.根据权利要求51的通信装置，进一步包括：
一用户指令检测单元，用于检测涉及输出主数据和子数据的用户指令；和
一输出控制单元，当所述用户指令检测单元检测到用户指令时，用于输出相应输出主数据的子数据；
其中当所述用户指令检测单元检测到涉及部分子数据的用户指令时，所述请求单元根据相应这部分子数据的链接数据向所述外部装置请求新的包数据。
53.根据权利要求52的通信装置，其中编码数据是这样形成的，即通过将子数据嵌入主数据对所述包数据编码。
54.根据权利要求53的通信装置，其中所述解码单元对编码数据解码以再现预定信息和子数据嵌入主数据的中间数据，随后对该中间数据解码再现主数据和子数据。
55.根据权利要求54的通信装置，其中所述解码单元按照用户指令对中间数据解码以再现主数据和子数据。
56.根据权利要求53的通信装置，其中所述解码单元对编码数据解码以再现子数据嵌入预定信息的中间数据和主数据，并对该中间数据解码以再现子数据和预定信息。
57.根据权利要求54的通信装置，其中预定信息是广告信息。
58.根据权利要求56的通信装置，其中预定信息是广告信息。
59.根据权利要求54的通信装置，其中主数据是图像数据，所述解码单元根据每个周围像素和基准块之间的相关性，通过对换由至少一个作为编码数据的图像数据像素形成的基准块来对编码数据解码以再现中间数据，和根据对换位置执行解码以再现嵌入到编码数据中的预定信息。
60.根据权利要求59的通信装置，其中所述解码单元根据基准块和每个周围像素之间的相关性，通过对换由至少一个作为编码数据的图像数据像素形成的基准块来解码中间数据以再现主数据，和根据对换位置执行解码以再现嵌入到主数据的子数据。
61.根据权利要求56的通信装置，其中主数据是图像数据，所述解码单元根据基准块和每个周围像素之间的相关性，通过对换由至少一个作为编码数据的图像数据像素形成的基准块来对编码数据解码以再现中间数据，和根据对换位置执行解码以再现嵌入到编码数据中的主数据。
62.根据权利要求61的通信装置，其中所述解码单元根据基准块和每个周围像素之间的相关性，通过对换由至少一个作为编码数据的图像数据像素形成的基准块来解码中间数据以再现预定信息，和根据对换位置执行解码以再现嵌入到预定信息的子数据。
63.根据权利要求54的通信装置，其中所述解码单元根据由至少一个作为编码数据的图像数据像素形成的基准块之间的连续性对编码数据解码以再现中间数据，和再现嵌入到编码数据中的预定信息。
64.根据权利要求54的通信装置，其中所述解码单元根据由至少一个作为编码数据的图像数据像素形成的基准块之间的相似性对编码数据解码以再现中间数据，和再现嵌入到编码数据中的预定信息。
65.根据权利要求56的通信装置，其中所述解码单元根据由至少一个作为编码数据的图像数据像素形成的基准块之间的连续性对编码数据解码以再现中间数据，和再现嵌入到编码数据中的主数据。
66.根据权利要求56的通信装置，其中所述解码单元根据由至少一个作为编码数据的图像数据像素形成的基准块之间的相似性对编码数据解码以再现中间数据，和再现嵌入在编码数据中的主数据。
67.根据权利要求52的通信装置，其中包数据由多段的包数据组成，每段包数据包括主数据和子数据，主数据是视频数据、音频数据和文本数据中的一个媒体类型的数据；子数据包括多个视频数据、多个音频数据、多个文本数据和相对应的统一资源定位符地址。
68.根据权利要求67的通信装置，其中所述子数据进一步包括与所述多个音频数据的每一个相对应的图标数据。
69.根据权利要求67的通信装置，其中：
所述输出单元以图标图像的形式输出从所述外部装置收到的作为所述包数据中的主数据中的视频数据；和
所述用户指令检测单元根据用户用鼠标的指定检测与所述输出单元输出的所述图标图像有关的用户指令；和
所述输出控制单元根据用户指令的检测以弹出式菜单的形式显示与主数据相对应的子数据。
70.根据权利要求69的通信装置，其中：
所述输出单元以图标图像的形式输出从所述外部装置收到的作为所述包数据中的主数据中的视频数据；和
所述用户指令检测单元根据用户用鼠标的指定检测与所述输出单元输出的所述图标图像有关的用户指令；和
所述输出控制单元根据用户指令的检测以弹出式菜单的形式显示与主数据相对应的子数据；
以可视数据的形式显示图标图像的安排；
按照音频数据显示可以选择性地再现多个音频数据的操作单元；和
弹出式菜单具有多个项，这些项是由作为所述文本数据的多个文本数据形成的。
71.根据权利要求52的通信装置，其中所述请求单元向所述外部装置发送与用户指令指定的部分子数据相对应的统一资源定位符地址。
72.根据权利要求71的通信装置，进一步包括一用于存储所述包数据的存储单元，
其中所述请求单元周期性地请求来自所述外部装置的存储在所述存储单元的所述包数据和更新请求的包数据。
73.根据权利要求72的通信装置，进一步包括：
一用户信息存储单元，用于存储关于利用所述外部装置的用户的用户信息；和
一变换器单元，用于根据存储在所述用户信息存储单元的所述用户信息改变存储在所述存储单元中包数据中的一个子数据和子数据中链接到所述包数据的链接数据。
74.根据权利要求73的通信装置，其中：
所述用户信息存储单元为每个用户存储该用户购买的包数据的段数；和
所述用户信息存储单元为每个用户存储子数据的改变部分和链接数据的改变部分。
75.一种用于当外部装置请求时发送数据的通信方法，所述通信方法包括步骤：
响应来自所述外部装置的请求从存储器检索所需的包数据，包数据包括主数据和子数据，所述主数据是多段的媒体数据的其中一个段，所述于数据包括多段的媒体数据和多段相对应的链接数据；
将检索的包数据加密；和
将加密的包数据发送到所述外部装置。
76.一种用于从外部装置接收数据的通信方法，所述通信方法包括步骤：
响应用户的指令向所述外部装置请求包括主数据和子数据的包数据，所述主数据是多段的媒体数据的其中一个段，所述子数据包括多段的媒体数据和多段相对应的链接数据；
响应请求步骤的请求输出从所述外部装置收到的包数据中的主数据；
检测涉及输出主数据和子数据的用户指令；和
当检测到用户指令时输出与输出主数据相对应的子数据；
其中当检测到关于部分子数据的用户指令时，根据与部分子数据相对应的链接数据向所述外部装置请求新的包数据。
77.一种用于向外部装置发送数据的通信方法，所述通信方法包括步骤：
当所述外部装置请求时从存储器检索所需的编码数据，其中该编码数据是通过执行编码所产生的，因此当对该编码数据解码时再现预定信息；和
将检索的编码数据发送到所述外部装置。
78.一种用于从外部装置接收数据的通信方法，所述通信方法包括步骤：
当所述外部装置请求时从存储器检索所需的编码数据，其中该编码数据是通过执行编码所产生的，以便当对该编码数据解码时再现预定信息；
接收并解码所请求的编码数据；和
输出通过对所述编码数据进行最终解码而生成的解码数据，其中该解码数据包括所述预定信息。
CNB011228091A 2000-05-19 2001-05-19 通信装置和通信方法 Expired - Fee Related CN1194317C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000148552A JP4626784B2 (ja) 2000-05-19 2000-05-19 通信装置および通信方法、並びに記録媒体
JP148552/2000 2000-05-19

Publications (2)

Publication Number Publication Date
CN1325073A CN1325073A (zh) 2001-12-05
CN1194317C true CN1194317C (zh) 2005-03-23

Family

ID=18654562

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB011228091A Expired - Fee Related CN1194317C (zh) 2000-05-19 2001-05-19 通信装置和通信方法

Country Status (7)

Country Link
US (2) US7406712B2 (zh)
EP (1) EP1156404A3 (zh)
JP (1) JP4626784B2 (zh)
KR (1) KR100922932B1 (zh)
CN (1) CN1194317C (zh)
MY (1) MY138076A (zh)
TW (1) TW522296B (zh)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094949B1 (en) 1994-10-21 2012-01-10 Digimarc Corporation Music methods and systems
US6718046B2 (en) 1995-05-08 2004-04-06 Digimarc Corporation Low visibility watermark using time decay fluorescence
US7224819B2 (en) 1995-05-08 2007-05-29 Digimarc Corporation Integrating digital watermarks in multimedia content
US6721440B2 (en) 1995-05-08 2004-04-13 Digimarc Corporation Low visibility watermarks using an out-of-phase color
US6590996B1 (en) 2000-02-14 2003-07-08 Digimarc Corporation Color adaptive watermarking
US6763123B2 (en) 1995-05-08 2004-07-13 Digimarc Corporation Detection of out-of-phase low visibility watermarks
US8379908B2 (en) 1995-07-27 2013-02-19 Digimarc Corporation Embedding and reading codes on objects
US6829368B2 (en) * 2000-01-26 2004-12-07 Digimarc Corporation Establishing and interacting with on-line media collections using identifiers in media signals
US7953824B2 (en) 1998-08-06 2011-05-31 Digimarc Corporation Image sensors worn or attached on humans for imagery identification
US7532740B2 (en) * 1998-09-25 2009-05-12 Digimarc Corporation Method and apparatus for embedding auxiliary information within original data
US7373513B2 (en) * 1998-09-25 2008-05-13 Digimarc Corporation Transmarking of multimedia signals
US7302574B2 (en) * 1999-05-19 2007-11-27 Digimarc Corporation Content identifiers triggering corresponding responses through collaborative processing
US8095796B2 (en) * 1999-05-19 2012-01-10 Digimarc Corporation Content identifiers
US7738673B2 (en) * 2000-04-19 2010-06-15 Digimarc Corporation Low visible digital watermarks
US8027509B2 (en) 2000-04-19 2011-09-27 Digimarc Corporation Digital watermarking in data representing color channels
US6891959B2 (en) * 2000-04-19 2005-05-10 Digimarc Corporation Hiding information out-of-phase in color channels
US6804377B2 (en) 2000-04-19 2004-10-12 Digimarc Corporation Detecting information hidden out-of-phase in color channels
JP2002135246A (ja) * 2000-07-18 2002-05-10 Ns Solutions Corp エンコード装置、デコード装置、データ処理装置、ネットワークシステム、データ処理方法、記録媒体、及びプログラム
AU2002214613A1 (en) * 2000-11-08 2002-05-21 Digimarc Corporation Content authentication and recovery using digital watermarks
US6965683B2 (en) 2000-12-21 2005-11-15 Digimarc Corporation Routing networks for use with watermark systems
AU2002232817A1 (en) 2000-12-21 2002-07-01 Digimarc Corporation Methods, apparatus and programs for generating and utilizing content signatures
US7046819B2 (en) * 2001-04-25 2006-05-16 Digimarc Corporation Encoded reference signal for digital watermarks
US20020169721A1 (en) * 2001-05-10 2002-11-14 Cooley William Ray Digital watermarking apparatus, systems and methods
US20020169963A1 (en) * 2001-05-10 2002-11-14 Seder Phillip Andrew Digital watermarking apparatus, systems and methods
US8094869B2 (en) * 2001-07-02 2012-01-10 Digimarc Corporation Fragile and emerging digital watermarks
US7213757B2 (en) 2001-08-31 2007-05-08 Digimarc Corporation Emerging security features for identification documents
US7537170B2 (en) * 2001-08-31 2009-05-26 Digimarc Corporation Machine-readable security features for printed objects
US7515730B2 (en) * 2001-12-13 2009-04-07 Digimarc Corporation Progressive image quality control using watermarking
US7006662B2 (en) * 2001-12-13 2006-02-28 Digimarc Corporation Reversible watermarking using expansion, rate control and iterative embedding
US7187780B2 (en) * 2001-12-13 2007-03-06 Digimarc Corporation Image processing methods using reversible watermarking
US8059815B2 (en) * 2001-12-13 2011-11-15 Digimarc Corporation Transforming data files into logical storage units for auxiliary data through reversible watermarks
US7561714B2 (en) * 2001-12-13 2009-07-14 Digimarc Corporation Reversible watermarking
ATE509326T1 (de) 2001-12-18 2011-05-15 L 1 Secure Credentialing Inc Mehrfachbildsicherheitsmerkmale zur identifikation von dokumenten und verfahren zu ihrer herstellung
US7313375B2 (en) * 2002-05-02 2007-12-25 Lucent Technologies Inc. Follow-me broadcast reception method and system
US7824029B2 (en) 2002-05-10 2010-11-02 L-1 Secure Credentialing, Inc. Identification card printer-assembler for over the counter card issuing
US20040091111A1 (en) * 2002-07-16 2004-05-13 Levy Kenneth L. Digital watermarking and fingerprinting applications
FR2860111A1 (fr) * 2003-09-23 2005-03-25 Orange France Systeme d'acces a un reseau adapte pour la mise en oeuvre d'un procede a signature simplifiee, et serveur pour sa realisation
JP5008822B2 (ja) * 2003-10-27 2012-08-22 パナソニック株式会社 コンテンツ再生制御方法およびコンテンツ再生制御端末
US8127137B2 (en) 2004-03-18 2012-02-28 Digimarc Corporation Watermark payload encryption for media including multiple watermarks
DE102007038763A1 (de) * 2007-08-16 2009-02-19 Siemens Ag Verfahren und Vorrichtung zur Sicherung eines Programms gegen eine Kontrollflussmanipulation und gegen einen fehlerhaften Programmablauf
US9117268B2 (en) * 2008-12-17 2015-08-25 Digimarc Corporation Out of phase digital watermarking in two chrominance directions
US8199969B2 (en) 2008-12-17 2012-06-12 Digimarc Corporation Out of phase digital watermarking in two chrominance directions
JP5269579B2 (ja) * 2008-12-25 2013-08-21 ソニー株式会社 コンテンツ利用管理装置、コンテンツ利用管理方法、およびプログラム
TWI483134B (zh) * 2009-03-17 2015-05-01 Taiwan Familymart Co Ltd 訊息託播系統
EP2234400A1 (en) * 2009-03-23 2010-09-29 Sony Corporation Method and device for providing a multimedia content stream embedding processing information for the content
JP2010287165A (ja) * 2009-06-15 2010-12-24 Dentsu Inc 情報合成装置、情報合成方法、及び情報合成用プログラム
KR101631270B1 (ko) * 2009-06-19 2016-06-16 삼성전자주식회사 의사 난수 필터를 이용한 영상 필터링 방법 및 장치
JP5661313B2 (ja) * 2010-03-30 2015-01-28 キヤノン株式会社 記憶装置
CN102340397A (zh) * 2010-07-29 2012-02-01 富泰华工业（深圳）有限公司 用于文件加解密的系统、加密、解密装置及加解密方法
CN102740137B (zh) * 2012-07-18 2014-09-03 西安科技大学 基于水印的数字电视计时收费及版权保护方法
USD758417S1 (en) * 2013-06-10 2016-06-07 Apple Inc. Display screen or portion thereof with animated graphical user interface
CN104683294B (zh) * 2013-11-27 2019-01-18 阿里巴巴集团控股有限公司 一种数据处理方法和系统
CN107729578B (zh) * 2015-01-23 2021-03-12 Oppo广东移动通信有限公司 一种音乐推荐方法及装置
WO2017013936A1 (ja) * 2015-07-21 2017-01-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
USD791828S1 (en) * 2015-12-23 2017-07-11 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD791829S1 (en) * 2015-12-23 2017-07-11 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP6724547B2 (ja) * 2016-05-25 2020-07-15 株式会社リコー 情報処理装置、情報処理方法及び情報処理プログラム
CN111243128A (zh) * 2018-11-13 2020-06-05 中国电信股份有限公司 实现超声波智能锁的方法、服务器和系统
USD912694S1 (en) 2019-06-01 2021-03-09 Apple Inc. Electronic device with graphical user interface

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659350A (en) * 1992-12-09 1997-08-19 Discovery Communications, Inc. Operations center for a television program packaging and delivery system
JPH10133955A (ja) * 1996-10-29 1998-05-22 Matsushita Electric Ind Co Ltd 可搬型メディア駆動装置とその方法、及び可搬型メディアとネットワークの連携装置とその方法
EP0986901B1 (en) * 1997-06-02 2002-09-18 Sony Electronics Inc. Displaying internet content and television programming
JP4822304B2 (ja) * 1998-08-06 2011-11-24 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
WO2000011871A1 (en) * 1998-08-23 2000-03-02 Open Entertainment, Inc. Transaction system for transporting media files from content provider sources to home entertainment devices

Also Published As

Publication number Publication date
JP4626784B2 (ja) 2011-02-09
CN1325073A (zh) 2001-12-05
KR100922932B1 (ko) 2009-10-22
EP1156404A2 (en) 2001-11-21
US7406712B2 (en) 2008-07-29
TW522296B (en) 2003-03-01
US7900256B2 (en) 2011-03-01
KR20010105286A (ko) 2001-11-28
JP2001331724A (ja) 2001-11-30
EP1156404A3 (en) 2008-12-24
MY138076A (en) 2009-04-30
US20020040433A1 (en) 2002-04-04
US20080263667A1 (en) 2008-10-23

Similar Documents

Publication Publication Date Title
CN1194317C (zh) 通信装置和通信方法
CN100348023C (zh) 数据处理设备
CN1170240C (zh) 结构化文档检索显示方法和装置
CN1991728A (zh) 信息处理设备、方法和程序
CN1345440A (zh) 信息处理设备和处理方法以及信息贮存介质
CN1260958C (zh) 数据处理设备、数据处理方法和数据处理系统
CN1166143C (zh) 用于媒体数据传输的方法和装置
CN1286024C (zh) 记录装置、记录方法和通信装置
CN1898720A (zh) 音响信号检测系统、音响信号检测服务器、影像信号搜索装置、影像信号搜索方法、影像信号搜索程序与记录介质、信号搜索装置、信号搜索方法、及信号搜索程序与记录介质
CN1308437A (zh) 用于媒体数据传输的方法和装置
CN1596433A (zh) 信息处理装置、信息处理方法和信息处理系统
CN1433546A (zh) 数据适合化装置、数据适合化方法、存储媒体及程序
CN101068325A (zh) 信息处理设备、信息处理方法、记录介质和计算机程序
CN1924777A (zh) 信息处理设备和方法以及程序
CN1288565A (zh) 数据处理装置及数据记录媒体
CN1860787A (zh) 用于编码信息的方法和装置
CN1300398A (zh) 信息处理设备和方法,以及程序存储介质
CN1653463A (zh) 用于处理使用权利表达的方法和装置
CN1359081A (zh) 结构编辑装置、目标内容结构的管理及显示方法和记录媒体
CN1739289A (zh) 信息处理设备和信息处理方法,记录介质及程序
CN1365478A (zh) 捐赠处理系统
CN1967695A (zh) 信息处理装置、再现装置、通信方法、再现方法及计算机程序
CN1156780C (zh) 电子邮件准备装置、终端装置、信息发送系统和程序记录媒体
CN1488099A (zh) 信息处理设备和方法
CN1340186A (zh) 信息处理设备和处理方法以及信息存储介质

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20050323

Termination date: 20150519

EXPY Termination of patent right or utility model