CN1143548C - 编码设备、解码设备及方法，数据处理系统 - Google Patents

编码设备、解码设备及方法，数据处理系统 Download PDF

Info

Publication number
CN1143548C
CN1143548C CNB991263332A CN99126333A CN1143548C CN 1143548 C CN1143548 C CN 1143548C CN B991263332 A CNB991263332 A CN B991263332A CN 99126333 A CN99126333 A CN 99126333A CN 1143548 C CN1143548 C CN 1143548C
Authority
CN
China
Prior art keywords
data
row
coding
decoding
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB991263332A
Other languages
English (en)
Other versions
CN1255808A (zh
Inventor
近藤哲二郎
教
渡边义教
司
田中健司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1255808A publication Critical patent/CN1255808A/zh
Application granted granted Critical
Publication of CN1143548C publication Critical patent/CN1143548C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G06T1/0035—Output size adaptive watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H04N1/32224—Replacing pixels of an image with other pixels from the same image, e.g. texture block coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32347—Reversible embedding, i.e. lossless, invertible, erasable, removable or distorsion-free embedding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91335—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明涉及将第二数据嵌入第一数据而不使第一数据恶化的编码设备和将编码数据解码成原始的第一数据和第二数据而不使那些数据恶化的解码设备。该编码设备包括：用于存储第一数据的至少部分数据的存储装置；和用于把与第二数据有关的数据嵌入第一数据的编码装置，该编码装置包括重排装置，用于根据所述第二数据，通过破坏第一数据的原始能量偏差来重排存储在所述存储装置中的第一数据的至少部分数据。解码设备计算每种重排图案的相邻数据之间的相关性，并根据在该相关性基础上确定的重排图案对原始的第一数据和第二数据解码。

Description

编码设备、解码设备及方法，数据 处理系统
技术领域
本发明涉及编码设备和方法、解码设备和方法、数据处理系统。特别是本发明涉及允许将信息嵌入数据中而不恶化解码数据和不增加数据量的编码设备和方法、解码设备和方法、数据处理系统。
背景技术
嵌入信息而不增加数据量的技术的实例是使数字音频数据的LSB或最低两比特转换成将要嵌入的信息。在该技术中，利用数字音频数据最低的一比特或几比特对其声音质量没有太大影响的事实，并用将要嵌入的信息简单替换数字音频数据的最低的一比特或几比特。因此，在重放时，信息嵌入的数字音频数据按其原样输出，就是说，未将最低的一比特或几比特返回原始状态。就是说，由于很难把最低的一比特或几比特嵌入信息返回到原始状态并且最低的一比特或几比特对声音质量没有太大影响，所以以信息被嵌入在其中的状态输出数字音频数据。
然而，在上面的技术中，输出了与原始信号不同的信号。因此，当该信号是音频数据时对声音质量造成影响或当该信号是视频数据时对图像质量造成影响。
发明内容
本发明的目的是解决上述问题。
为实现上面的目的，本发明提供一种用于根据第二数据对第一数据编码的编码设备，包括：用于存储第一数据的至少一部分数据的存储器；和用于把与第二数据有关的数据嵌入第一数据的编码装置，该编码装置包括重排装置，用于根据所述第二数据，通过破坏第一数据的原始能量偏差来重排存储在所述存储装置中的第一数据的至少部分数据。
本发明还提供一种根据第二数据对第一数据编码的编码方法，包括：存储第一数据的至少部分数据的存储步骤；重排步骤，用于根据所述第二数据，通过破坏第一数据的原始能量偏差来重排存储在所述存储装置中的第一数据的至少部分数据；和把与第二数据有关的数据嵌入第一数据的编码步骤。
为实现上面的目的，本发明提供一种用于根据第二数据对已通过编码第一数据产生的编码数据解码的解码设备，包括：用于计算编码数据的第一部分数据和第二部分数据之间相关性的相关性计算部分；和用于根据相关性计算部分计算的相关性通过移动编码数据的第一部分数据和第二部分数据把编码数据解码成原始的、第一数据，并用于根据该移动恢复嵌入编码数据中的第二数据的解码部分。
本发明还提供一种用于对根据第二数据对第一数据编码产生的编码数据解码的解码方法，包括：计算编码数据的第一部分数据与第二部分数据之间关系的关系计算步骤；和根据计算的关系，通过移动编码数据的第一部分数据和第二部分数据将编码数据解码成原始的第一数据，并用于根据该移动对编码数据中嵌入的第二数据解码的解码步骤。
本发明还提供一种用于根据第二数据将第一数据编码成编码数据和对该编码数据解码的数据处理系统，包括：用于存储第一数据的至少部分数据的存储装置；通过根据第二数据重排存储装置中存储的第一数据的至少部分数据把与第二数据有关的数据嵌入第一数据的编码装置；用于计算编码数据的第一部分数据与第二部分数据之间关系的关系计算装置；用于根据关系计算装置计算的关系，通过移动编码数据的第一部分数据和第二部分数据将编码数据解码成原始的第一数据，并用于根据该移动对编码数据中嵌入的第二数据解码的解码装置。
附图说明
图1是表明应用本发明的图像传输系统实施例的方框图；
图2示出在本发明中作为编码目标的图像；
图3A是表明在本发明的实施例中利用相关性或解码结果对图像编码前的状态的概念图；
图3B是表明在本发明的实施例中通过利用相关性对图像编码获得的结果的概念图；
图4A示出在本发明的实施例中利用连续性或解码结果对图像编码前的状态；
图4B示出在本发明的实施例中通过利用连续性对图像编码获得的结果；
图5A示出在本发明的实施例中利用相似性或解码结果对图像编码前的状态；
图5B示出在本发明的实施例中通过利用相似性对图像编码获得的结果；
图6是表明图1所示嵌入编码器3的硬件结构实例的方框图；
图7是表明图6的嵌入编码器3的功能结构实例的方框图；
图8是表明由图7的嵌入编码器3执行的操作的流程图；
图9A示出由图8的嵌入编码处理嵌入附加信息前的图像；
图9B示出图8中所示的步骤S3的交换方式；
图9C示出图8中所示的步骤S3的交换完成后的图像；
图10是图1所示解码器6的硬件结构实例的方框图；
图11是表明图10的解码器6的功能结构实例的方框图；
图12是表明由图11的解码器6执行的操作的流程图；
图13是图8的嵌入编码处理模拟中使用的原始图像的照片；
图14是作为图8的嵌入编码处理的模拟结果的图像照片；
图15是作为图12的解码处理的模拟结果的图像照片；
图16示出根据图12的流程作为交换目标的列矢量；
图17是列矢量空间中列矢量的第一说明示意图；
图18是列矢量空间中列矢量的第二说明示意图；
图19示出在列和行两个方向交换前的图像数据；
图20A说明在列方向的交换；
图20B说明在行方向的交换；
图21是表明作为解码基准的像素组的第一图表；
图22是表明作为解码基准的像素组的第二图表；
图23是表明作为解码基准的像素组的第三图表；
图24A示出安装有执行与本发明有关的处理的程序的计算机；
图24B示出存储有执行与本发明有关的处理的程序的存储介质实例；
图24C是表明如何将执行与本发明有关的处理的程序通过卫星或网络分配给计算机的概念图；和
图25是表明安装有执行与本发明有关的处理的程序的计算机实例的方框图。
具体实施方式
下面参考附图说明根据本发明的编码装置和方法、解码装置和方法、数字处理系统、存储介质及信号。
图1示出应用本发明的图像传输系统实施例的实例结构。术语“系统”表示多种装置的逻辑集合，构成的装置是否包含在同一壳体内与该术语的定义有关。
该图像传输系统由编码装置10和解码装置20组成。编码装置10对如图像之类的编码目标编码并输出编码的数据。解码装置20把编码数据解码成原始图像。
图像数据库1存储待编码的图像，例如数字图像。从图像数据库1读出存储的图像并提供给嵌入编码器3。
附加信息数据库2存储如数字数据之类的附加信息作为将要嵌入作为编码目标的图像中的信息。从附加信息数据库2读出存储的附加信息并且也提供给嵌入编码器3。
嵌入编码器3从图像数据库1接收图像和从附加信息数据库2接收附加信息。嵌入编码器3根据从附加信息数据库2提供的附加信息，以将利用图像的能量偏差进行解码这样一种方式对从图像数据库1提供的图像编码，并输出得到的图像。就是说，嵌入编码器3通过以利用图像的能量偏差进行解码这样一种方式把附加信息嵌入图像来对图像编码，并输出编码的数据。从嵌入编码器3输出的编码数据记录在如半导体存储器、磁光盘、磁盘、光盘、磁带、或相变盘之类的记录介质4上。作为替换，经如地面波、卫星信道、CATV(有线电视)网、因特网、或公共线路之类的传输介质5以信号的形式传输编码的数据，并提供给解码装置20。
解码装置20是一解码器6，接收经记录介质4或传输介质5提供的编码数据。解码器6利用图像的能量偏差把编码数据解码成原始图像和附加信息。把解码的图像提供给例如监视器(未示出)，并在其上显示。解码的附加信息是文本数据、音频数据、简化图像、或与图像有关的类似内容。
接下来，描述图1所示的嵌入编码器3中的嵌入编码和同样在图1所示的解码器6中解码的原理。
通常，所谓的信息具有熵或能量的偏差，并且该偏差被认为是有价值的信息。例如，通过对特定景象照相获得的图像被人们识别为该景象的图像的原因是该图像，例如构成该图像的相应像素的像素值具有与该景象对应的能量偏差。没有能量偏差的图像仅是噪声或类似的内容并且是无用信息。
因此，比如说，通过对该信息进行特定操作，即使有价值信息的原始能量偏差被破坏，也可通过从破坏的偏差恢复原始能量偏差来恢复有价值信息。就是说，可利用信息的原始能量偏差把通过对信息编码获得的编码数据解码成原始信息。
例如，用相关性、连续性、相似性等表示信息能量的偏差。
信息的相关性是指组成元素(在图像的情况下是组成图像的像素、行等)之间的相关性，例如自相关，或一个特定组成元素与信息的另一个元素之间的距离。相关性的实例是图像的两行之间的相关性，它是由对应的像素值之差的平方和表示的相关值。
例如，现在假设由如图2所示的H行102形成图像101。通常，如图3A所示，从图像顶部起的第一行的行(第一行)103与其它行中的每一行之间的相关值在该行更靠近第一行103(即在图2的图像中位置更高)时较大，如用第M行的相关值201所示，而在该行离第一行103更远(即在图2的图像中位置更低)时较小，如用第N行的相关值202所示。就是说，存在着相关值的偏差，与第一行103的相关值对于更靠近第一行103的行较大，而对于远离第一行103的行较小。
在图2的图像101中，执行一种操作，将相对靠近第一行103的第M行104的像素值与相对远离第一行103的第N行105的像素值互换。第一行103与行互换图像101中其它行之间的相关值例如如图3B所示。
在行互换的图像101中，与靠近第一行103的第M行104的相关值变小，如用第M行的相关值203所示，而与远离第一行103的第N行105的相关值变大，如用第N行的相关值204所示。
因此，在图3B中，对更靠近第一行103的行的相关值较大而对更远离第一行103的行的相关值较小的相关的偏差被破坏。然而，利用对更靠近第一行103的行的相关值较大而对更远离第一行103的行的相关值较小的相关的偏差将图像的被破坏相关偏差恢复成原始状态。在图3B中，靠近第一行103的第M行104的相关值小，而远离第一行103的第N行105的相关值大的事实是明显反常的(A)，因此，通过把第M行104与第N行105彼此互换恢复原始的相关偏差。通过把图3B中的第M行104与第N行105彼此互换恢复具有图3A所示的相关偏差的图像，即原始图像101。
在上面参考图2、3A和3B描述的情况下，通过行互换对图像编码。在编码中，例如，嵌入编码器3根据附加信息确定应移动哪些行或应相互互换哪些行。另一方面，解码器6利用编码图像的相关性，通过将互换行移动到其原始位置从编码图像、即行互换的图像中恢复原始图像。另外，与此同时，在解码中，解码器6通过检测例如移动了哪些行或相互互换了哪些行来恢复嵌入图像中的附加信息。
至于信息的连续性，假设对于图像的一个特定行，观察如图4A所示的波形301，其中像素值的变化图案是连续的。在与上面的行相隔的另一行中，观察到像素值的变化图案的连续性与上面行的变化图案的不同；也存在连续性的偏差。就是说，在注意特定像素值变化图案时，发现连续性偏差在相邻部分中存在相似的像素值变化图案，并且像素值变化图案随着位置的远离变得更加不同。
例如，用与波形301相隔的并具有如图4B所示像素值的不同变化图案的波形301替换图4A所示的像素值的变化图案是连续的波形301的部分。
在图4B所示的情况下，上述连续性偏差被破坏。然而，可利用相互相邻部分具有连续像素值变化图案并当他们彼此相隔更远时像素值变化图案变得更不同的连续性的偏差来修补被破坏的连续性偏差。具体地说，在图4B中，波形部分的像素值变化图案302与其它部分的像素值变化图案明显不同，通过用具有与其它部分的像素值变化图案相似的像素值变化图案的波形替换像素值变化图案302可恢复原始图像的连续偏差。通过进行该替换可从图4B所示的波形恢复图4A所示的波形，即原始波形。
在上面参考图4A和4B描述的情况下，该图像编码用与相邻像素值变化图案有很大区别的像素值变化图案替换该部分波形。在编码中，例如，嵌入编码器3根据附加信息确定应在像素值变化图案中主要改变哪部分波形和像素值变化图案应改变多大。解码器6利用相邻像素值变化图案是连续的且当它们彼此相隔更远时像素值变化图案变得更加不同的连续性偏差从编码信号、即从与像素值变化图案具有很大差别的部分的波形中恢复原始波形。另外，与此同时，在解码中，解码器6通过检测例如像素值变化图案中的哪部分波形改变大和像素值变化图案改变有多大来恢复嵌入附加信息。
对于信息的相似性，已知是利用图像的部分，即自相似性产生通过例如拍摄景象获得的图像部分。例如，图5A所示的海面401和森林402的拍摄图像所具有的相似性偏差在于：一部分海面401的像素值变化图案与另一部分海面401的像素值变化图案之间的相似性高，但同一部分的像素值变化图案与远离海面401的森林402中一部分的像素值变化图案之间相似性低。如图像部分的边缘形状图案之类的形状本身的相似性而不是像素值变化图案的相似性的情况也是一样的。
例如，如图5B所示，用森林402的一部分404替换图5A所示的海面401的一部分403。
在图5B中，上述相似性的偏差被破坏。然而，可利用相邻像素值变化图案的相似性高而当像素值变化图案彼此相距较远时相似性变低的相似性偏差修补被破坏的相似性偏差。具体地说，在图5B中，使海面401的部分图像成为森林402的一部分图像405，海面401中的一部分与森林402图像的替换部分405之间的相似性比海面401图像内的部分之间的相似性明显要低。通过用与部分405周围的海面401的图像具有相似性特征的图像，即海面401图像的部分406替换用来构成森林402图像的部分405来恢复原始图像的相似性偏差。通过进行该替换从图5B所示的图像中恢复图5A所示的图像，即原始图像。
在上面参考图5A和5B描述的情况下，该图像编码是用森林402图像的部分404替换海面402图像的部分403。在编码中，例如，嵌入编码器3根据附加信息确定应该用森林402图像的部分404替换海面401图像的哪部分(例如画面上的位置)。解码器6利用相邻像素值变化图案的相似性高而在像素值变化图案彼此相距较远时相似性变低的编码信号的相似性偏差从编码的信号、即具有森林402图像的部分405的海面401的图像中恢复图5A所示的原始图像。另外，与此同时，在解码中，解码器6通过例如检测用森林402图像的部分替换了海面401图像的什么部分来恢复嵌入的附加信息。
如上所述，嵌入编码器3根据附加信息对编码目标图像编码，以便利用图像的能量偏差进行解码。解码器6利用图像的能量偏差把编码的数据解码成原始图像和附加信息，而不需要任何用于解码的额外开销。
由于附加信息嵌入编码的目标图像，所得到的编码图像的表现与原始状态不同并且不能被识别为有价值的信息。就是说，实现对编码目标图像的加密而没有任何额外开销。
另外，实现了完全可逆的数字水印。例如，在常规数字水印中，仅将图像质量没有太大影响的像素值的最低几位改变成与数字水印对应的值。然而，很难使最低几位返回原始值。因此，改变作为数字水印的最低几位给解码图像的图像质量造成恶化。在本发明的嵌入编码中，在利用原始图像的能量偏差对编码的数据解码的情况下，获得了无恶化的原始图像和附加信息。因此，即使附加信息作为数字水印信息，也不会恶化解码图像的图像质量。
由于通过把编码的数据解码成图像来取出嵌入的附加信息，无任何额外开销地提供附带信息。换句话说，由于将附加信息嵌入图像而无需通常取出附加信息所需的任何额外开销，把作为嵌入结果获得的编码数据压缩与附加信息对应的量。例如，如果使一半图像成为编码目标而使另一半成为附加信息，并且如果后半部分图像嵌入这一半图像作为编码目标，该图像仅压缩为原始图像的1/2。
由于利用原始图像的能量偏差、可以说是统计量对编码数据解码，其抗误差性高，就是说，实现了编码健全性高的健全编码。
由于利用原始图像的能量偏差对编码数据解码，当能量偏差更具特色时，即在图像的情况下，当图像的活动性较高，或其冗余度较低时存在着嵌入更多附加信息的可能性。如上所述，将作为嵌入附加信息的结果获得的编码数据压缩与附加信息对应的量。就是说，当图像的活动性较高或图像的冗余度较低时压缩比比较大。例如，在作为常规编码方案的MPEG(运动图像专家组)方案中，当图像活动性较高或图像冗余度较低时，压缩比基本上比较小。在这方面，本发明的嵌入编码方案与常规的编码方案有很大区别。
通过使图像成为编码目标并采用与图像不同媒体的信息，例如话音作为附加信息可向图像提供用作密钥的话音。具体地说，在编码装置10一侧，可将用户讲的话音例如“芝麻开门”作为附加信息嵌入图像。在解码装置20一侧，使使用者讲出话音“芝麻开门”，并通过把使用者的话音与图像中嵌入的话音比较来识别发音者。这种发音者识别仅当识别使用者是该用户时允许图像自动出现。可将话音波形本身，以及所谓的话音特性参数用作作为附加信息的话音。
通过使话音成为编码目标并采用与话音不同媒体的信息，例如图像作为附加信息可向话音提供用作密钥(例如面部识别后的话音响应)的图像。具体地说，在编码装置10一侧，将使用者的面部图像嵌入例如话音中作为对使用者的响应。在解码装置20一侧，拍摄使用者的面部并输出其中嵌入了与拍摄的图像匹配的面部图像的话音。这样，实现了使话音针对相应使用者有不同响应的话音响应系统。
还可以将一种特定介质的信息嵌入同一媒体的另一个信息中，例如将一种话音嵌入另一种话音或将一种图像嵌入另一种图像。另外，通过嵌入用户的话音和面部图像，可实现所谓的双密钥系统，其中仅当使用者的话音和面部图像与图像中嵌入的那些话音和面部图像一致时出现图像。
例如，还可以把构成电视广播信号并且可以说相互同步的图像和话音中的一种嵌入到另一种中。这种情况下，可实现所谓的真综合信号，其中不同介质的信息部分相互综合。
如上所述，在本发明的嵌入编码方案中，当信息的能量偏差更具特色时，可把更多的附加信息嵌入到信息中。因此，通过例如适当地选择更具特色的能量偏差的两部分信息之一并将另一部分嵌入所选择的信息部分中来控制整个数据量。就是说，能够使两部分信息之一吸收另一部分的信息量。控制整个数据量，以便能够使用符合传输带宽和传输线的使用状态以及传输环境的其它因素(即环境自适应网络传输)的数据量传输信息。
例如，通过把简化的图像嵌入原始图像或通过把抽取的话音嵌入原始话音，不增加数据量就可实现产生比低层信息更少信息量的高层信息的编码(所谓的分层编码)。
例如，通过把作为检索每个原始图像密钥的图像嵌入每个原始图像，实现了根据密钥图像检索图像的数据库。
图6示出图1所示的嵌入编码器3的硬件结构实例，该嵌入编码器进行将附加信息嵌入图像的嵌入编码，以便利用图像的相关性恢复原始图像。
把从图像数据库1提供的图像提供给帧存储器31。帧存储器31在例如逐帧的基础上临时存储从图像数据库1提供的图像。
CPU(中央处理单元)32执行程序存储器33中存储的程序并进行控制，以便进行嵌入编码操作(后面描述)。就是说，CPU32接收从附加信息数据库2提供的附加信息并根据程序控制整个嵌入编码器3，以便将附加信息嵌入帧存储器31中存储的图像中。具体地说，CPU32进行控制，以便通过例如在逐列(列：像素的垂直阵列)的基础上根据附加信息重排构成帧存储器31中存储的图像的像素的位置在每一列中嵌入附加信息。CPU32进行控制以便将其中嵌入附加信息的图像作为编码数据输出。
例如，作为ROM(只读存储器)或RAM(随机存取存储器)，程序存储器33存储用于使CPU32执行嵌入编码操作的计算机程序。
为了能存储多个帧，帧存储器31由多个存储体组成。通过在存储体间进行切换，帧存储器31对从图像数据库1提供的图像同时进行存储，存储一幅图像作为CPU32的嵌入编码操作的目标，并输出嵌入编码操作产生的图像，即编码数据。即使图像数据库1提供的图像是运动图像，也在实时的基础上输出编码数据。
图7示出图6的嵌入编码器3的功能结构的实例。由CPU32执行程序存储器33中存储的计算机程序来实现图7所示的功能结构。
如上面参考图6所述的，帧存储器31临时存储从图像数据库1提供的图像。
交换信息产生部分36从附加信息数据库2读出附加信息，并根据该附加信息产生表示应如何重排帧存储器31中存储的一帧图像相应列的位置的交换信息。当帧存储器31中存储的一帧图像由M行/N列像素组成并且图像的第n列(从左起)移到第n′列时，交换信息产生部分36产生将n与n′相关的交换信息，其中n和n′是1到N的整数。
在一帧图像由N列组成的情况下，如果对所有列进行重排，则有N！(“！”表示阶乘)种重排列的方式。因此，在一个帧中嵌入log2(N！)比特的附加信息。
把交换信息产生部分36产生的交换信息提供给交换部分37。交换部分37根据交换信息产生部分36提供的交换信息重排帧存储器31中存储的一帧图像的相应列的位置。
下面参考图8的流程图描述图7的嵌入编码器3中执行的嵌入编码处理。
从图像数据库1读出存储的图像，依次提供给帧存储器31，并存储在其中。
在步骤S1，交换信息产生部分36从附加信息数据库2读出可嵌入一帧图像的数据量的附加信息。例如，如上所述，当一帧图像由N列组成并对所有列进行重排时，可将最大log2(N！)比特的附加信息嵌入一帧。从附加信息数据库2中读出log2(N！)比特或更少的附加信息。
然后，处理进行到步骤S2，交换信息产生部分36根据在步骤S1读出的附加信息产生交换信息。具体地说，交换信息产生部分36根据附加信息产生交换信息，该交换信息表示例如帧存储器31中存储的处理目标帧的第一至第N列中的第二至第N列(排除第一列)应移到哪些列。该交换信息提供给交换部分37。
交换部分37从交换信息产生部分36接收到交换信息时，处理进行到步骤S3，交换部分37根据交换信息重排帧存储器31中存储的处理目标帧的相应列的位置。从帧存储器31读出列位置重排帧并作为编码数据输出。可在已重排帧存储器31中存储的图像的相应列的存储位置后读出列位置重排帧。作为替换，CPU32可进行控制以便通过改变读出顺序将输出数据表现在“数据重排状态”中。
在该实施例中，如上所述，虽然交换信息包括表示第二至第N列应移到哪些列的信息，它不包括表示第一列应移到哪一列的信息。因此，在交换部分37移动第二至第N列时，它不移动第一列。
当已对处理目标帧的第二至第N列的全部进行重排后，处理进行到步骤S4，判断帧存储器31是否存储仍未成为处理目标的帧。如果判断帧存储器31存储了这样的帧，处理返回步骤S1并对仍未处理的该帧进行与上面相同的操作。
如果在步骤S4判断帧存储器31未存储仍未成为处理目标的帧，嵌入编码处理结束。
根据上面的嵌入编码处理，以下面的方式将一帧图像编码成编码数据。
例如，如果附加信息对应于将处理目标帧的第二列移到第六列(由参考标号411)表示，第三列移到第九列412，第四列移到第七列413，第五列移到第三列414，第六列移到第八列415，第七列移互第四列416，第九列移到第二列417，第八列移到第五列418，......，第N列移到第N列的重排，交换信息产生部分36产生表示该重排的交换信息。交换部分37根据上述交换信息以例如图9B所示的方式重排图9A所示的帧，就是说，以这样一种方式重排：把第二列移到第六列(用参考标号411表示)，第三列移到第九列412，第四列移到第七列413，第五列移到第三列414，第六列移到第八列415，第七列移到第四列416，第九列移到第二列417，第八列移到第五列418，......，第N列移到第N列。结果是，把图9A所示的图像编码成图9C所示的图像。
下面参考图9B简要描述重排与嵌入信息之间的关系。
如参考标号411所示，从可供使用的8列区域中确定第二列的移动目的地。由于有8种选择，嵌入编码器3可嵌入例如0、1、2、3、4、5、6和7中任何一个附加信息。在图9B的实例中，由于第二列移到第六列，就是说第五区嵌入附加信息“4”。
然后，如参考标号412所示，从可供使用的7列区域中确定第三列的移动目的地。由于有7种选择，嵌入编码器3可嵌入例如0、1、2、3、4、5和6中任何一个附加信息。在图9B的实例中，由于第三列移到第九列，就是说第七区嵌入附加信息“6”。
从下一步骤向前，通过相同操作把附加信息嵌入图像。在该嵌入技术中，将要嵌入的附加信息的位数随嵌入操作的进行而减少。
代替上面其中依次进行移动每一列到与其相隔与附加信息值相同数量的像素距离的列的操作的重排方案，当附加信息是图像数据时，根据如直方图、DR、方差之类的图像数据的特征量移动每一列。
另外，虽然在上面的实例中嵌入编码器3依次嵌入附加信息段，可通过附加信息确定作为种类数与所有列数的阶乘相等的排列顺序图案之一的排列顺序图案本身。当以排列顺序图案的形式嵌入附加信息时，逐一检验所有列数阶乘的排列顺序图案，并根据列之间的相关性确定一个排列顺序图案，从而将嵌入图像解码成原始图像。
交换部分37根据附加信息移动每一列像素的位置作为构成帧存储器31中存储的图像的一个或多个像素的集合。通过由交换部分37重排把附加信息嵌入每一列。通过执行与交换部分37执行的重排相反的重排来恢复原始图像，并使表示进行何种重排的信息为附加信息。因此，嵌入编码器3可将附加信息嵌入图像而不劣化其图像质量并且不增加数据量。
可利用图像的相关性，即如同在原始图像情况中与位于正确位置的列相关性，将作为附加信息嵌入图像的列位置重排图像的每一列移到原始位置而没有任何额外开销。另外，通过该重排恢复附加信息。因此，解码的图像不会因附加信息的嵌入而造成图像质量的恶化。
当不存在位于编码数据中正确位置的列时，以上述方式花时间利用图像的相关性恢复图像和附加信息。在图8的嵌入编码处理中，不移动每帧的第一列并作为部分编码数据照原样输出。
可通过使包括第一列的所有列成为重排目标进行嵌入编码。如果编码数据包括至少重排列之一的原始位置的信息作为额外开销，可容易地恢复图像和附加信息。
图10示出图1所示的解码器6的典型硬件结构，该解码器利用图像的相关性把从图7的嵌入编码器3输出的编码数据解码成原始图像和附加信息。
把编码数据，即附加信息嵌入图像(也称为嵌入图像)提供给帧存储器41。帧存储器41在例如逐帧的基础上临时存储嵌入的图像。通过切换帧存储器41的存储体，以与图6所示的帧存储器31相同方式构成的帧存储器41可在实时的基础上处理嵌入图像，即使它是运动图像。
CPU42执行程序存储器43中存储的程序，并对解码器6进行控制以便进行解码操作。就是说，CPU42控制解码器6，以便利用图像的相关性把帧存储器41中存储的嵌入图像解码成原始图像和附加信息。具体地说，CPU42计算最新的解码列与构成嵌入式图像的列中其它列之间的相关值。CPU42对构成嵌入图像的每一列进行把与最新的解码列具有最大相关值的列移到紧邻最新解码列右边的位置的操作。CPU42以这种方式恢复原始图像并且还根据在嵌入图像解码中重排嵌入图像相应列的位置的方式把附加信息恢复成原始图像。
以与图6成示的程序存储器33相同方式构成的例如程序存储器43存储用于使CPU42执行解码操作的计算机程序。
图11示出图10的解码器6的典型功能结构。图11所示的功能结构由CPU42执行程序存储器43中存储的计算机程序实现。
如上面参考图10所描述的，帧存储器41临时存储嵌入图像。
交换部分46计算已移到原始位置的列中最新的一列与帧存储器41中存储的处理目标帧中其它列(即仍未返回到其原始位置的列)之间的相关值。根据那些相关值，交换部分46在仍未返回其原始位置的处理目标帧中重排列的位置并由此将那些列返回其原始位置(即恢复那些列的位置)。另外，交换部分46把表示已如何重排该帧的列的交换信息提供给交换信息部分转换部分47。
交换信息转换部分47根据从交换部分46提供的交换信息，即重排前与重排后处理目标帧的相应列的位置之间的对应关系恢复嵌入图像中嵌入的附加信息。
下面参考图12的流程图描述图11的解码器6中执行的解码处理。
帧存储器41在例如逐帧的基础依次存储提供至此的嵌入图像(即编码数据)。
在步骤S11，在交换部分46中，把对帧的列数计数的变量n的初始值设定为例如“1”。此后，处理进行到步骤S12，交换部分46判断变量n是否小于或等于N-1(即帧的列数N减1)。
如果在步骤S12判断变量n小于或等于N-1，处理进行到步骤S13，交换部分46读出帧存储器41中存储的处理目标帧的第n列的像素(或像素序列)并产生一个矢量(即列矢量)vn，在该矢量中排列第n列的相应像素的像素值作为元素。在该实施例中，由于如上所述每一帧由M行像素组成，列矢量vn是M维矢量。对矢量vk(后面说明)应用相同处理。
在步骤S14，把对位于第n列右侧的列计数的变量k的初始值设定为n+1。处理进行到步骤S15。交换部分46读出第k列的像素(或像素序列)并产生一个具有第k列的像素值作为元素的列矢量vk。处理进行到步骤S16。
在步骤S16，在交换部分46中，利用列矢量vn与vk计算第n列与第k列之间的相关值。
具有地说，根据下面的等式计算列矢量vn与vk之间的距离d(n，k)：
d(n，k)＝|vn-vk|
       ＝[∑{A(m，n)-A(m，k)}2]1/2     ...(1)其中∑表示从1至M变化的m的总和，A(i，j)表示作为处理目标的第i行、第j行列的像素值。
在交换部分46中，计算列矢量vn与vk之间的距离d(n，k)的倒数1/d(n，k)作为第n列和第k列之间的相关值。
计算了第n列和第k列之间的相关值之后，处理进行到步骤S17，判断变量k是否小于或等于N-1，即帧的列数N减1。如果在步骤S17判断变量k小于或等于N-1，处理进行到步骤S18，变量k加1。然后，处理返回到步骤S15。此后，重复执行步骤S15至S18，直到其在步骤S17判断变量k不小于或等于N-1。结果是，计算了第n列与第n列右侧的嵌入图像的列之间的相关值。
如果在步骤S17判断变量k不小于或等于N-1，处理进行到步骤S19，交换部分46确定使与第n列的相关值最大的k。设k表示使与第n列的相关值最大的k。在步骤S20，交换部分46交换第(n+1)列与帧存储器41中存储的处理目标帧的第K列，即将第K列与紧接第n列右侧的第(n+1)列互换。
在步骤S21将变量n加1，处理返回步骤S12。此后，重复执行步骤S12至S21，直到其在步骤S12判断变量n不小于或等于N-1。
在该实施例中，嵌入图像的第一列与原始图像的第一列保持相同。因此，当变量n等于初始值“1”时，把与第一列具有最大相关值的嵌入图像的该列与紧接第一列右侧的第二列互换。从图像的相关性中与第一列具有最大相关值的列应是原始图像的第二列。因此，被移动变为嵌入编码操作中嵌入图像的特定列的原始图像的第二列现在返回到原始位置，这表示解码。
当变量n加到2时，以上述方式将与返回到原始位置的第二列具有最大相关值的嵌入图像的列与紧接第二列右侧的第三列互换。从图像的相关性看来，与第二列具有最大相关值的列应是原始图像的第三列。因此，被移动变为嵌入编码操作中嵌入图像的特定列的原始图像的第三列现在返回到原始位置。
以同样方式，继续将帧存储器41中存储的嵌入图像解码成原始图像。
如果在步骤S12判断变量n不小于或等于N-1，即当已利用图像的相关将构成嵌入图像的第二至第N列全部返回到其原始位置并且已将帧存储器41中存储的嵌入图像解码成原始图像时，处理进行到步骤S22，从帧存储器41读出解码的图像。在步骤S22，将在交换部分46把嵌入图像解码成原始图像时表示如何重排嵌入图像的第二至第N列的交换信息输出到交换信息转换部分47。交换信息转换部分47根据来自交换部分46的交换信息恢复嵌入图像中嵌入的附加信息。
然后，处理进行到步骤S23，判断帧存储器41是否存储仍未成为处理目标的嵌入图像帧。如果判断存储了这样的帧，处理返回步骤S11，对仍未成为处理目标的嵌入图像帧重复与上面相同的操作。
如果在步骤S23判断帧存储器41未存储仍未成为处理目标的帧，解码处理结束。
如上所述，解码器6利用图像的相关对作为其中被嵌入附加信息的图像的编码数据和附加信息解码。解码器6可将编码数据解码成原始图像和附加信息而没有任何用于解码的额外开销。因互，附加信息的嵌入不会对由解码器6产生的解码图像中的图像质量造成恶化。
在图12的解码处理中，解码器6计算最新解码的列(例如当n＝1时嵌入编码中未移动的第一列)与仍未被解码的列之间的相关值，并根据计算的相关值检测应移到紧邻最新解码列的右侧位置的列。例如，通过计算已解码的多个列与未解码的列之间的相关值，解码器6可检测应移到紧邻最新解码的列右侧位置的列。
图13至15示出上面的嵌入编码处理和解码处理的模拟结果。
图13示出受到嵌入编码操作和当使纵向为垂直方向时由512(水平)×832(垂直)个像素组成的原始图像。
图14示出对图13的图像进行嵌入编码操作的处理结果。在图14的编码图像中嵌入log2(512！)比特的附加信息。如从图14所看到的，如上所述，嵌入编码具有图像加密功能。
图15示出利用解码操作通过对嵌入编码操作的结果(见图14)解码产生的解码图像。图13和15之间的比较示出了恢复原始图像而图像质量没有任何恶化。如果解码处理将嵌入图像正确地解码成原始图像，也可根据解码中重排嵌入图像的列的方式正确地恢复附加信息。
在上面的实例中，嵌入编码器3通过固定第一列和根据附加信息重排第二至第N列来对由如图16所示的N列组成的编码目标图像进行嵌入编码。解码器6利用图像的相关将嵌入编码的结果解码成原始图像和附加信息。除图像的相关外，解码器6可利用连续性(下面描述)对嵌入编码的结果解码。
就是说，在图12的情况下，将各自具有图16图像的对应列的组成像素的像素值作为元素的列矢量vn之间的距离的倒数定义为相关，并仅利用所定义的相关性对编码数据解码。在解码器6中，首先，使与固定的第一列矢量具有最小距离的列矢量对应的列成为第二列。然后，在解码器6中，使与第二列的列矢量具有最小距离的列矢量对应的列成为第三列。从下一步骤向前重复相同的操作，从而恢复原始图像并根据如何重排第二至第N列来恢复嵌入的附加信息。
现在假设图16的图像的N列的列矢量v1、v2、......、vN的轨迹在列矢量空间中是否例如由图17中的细虚线表示的轨迹。
如果在交换部分46中以上述方式从主题列是第一列的状态开始的顺序检测具有最小距离的列矢量，描绘出由图17中的粗虚线表示的轨迹。就是说，以v1、v2、v3、v13、v14、v15、v4、v5、v6，......的顺序检测列矢量。因此，在交换部分46中，当仅使用相关性(这种情况下是列矢量之间的距离)时不以正确顺序检测列矢量，结果是，既不能正确地恢复图像也不能正确地恢复附加信息。
为解决这一问题，例如，在交换部分46中，在使与第一列的列矢量v1具有最小距离的列矢量对应的列成为第二列后，如图18所示，计算第二列的列矢量v2与第一列的列矢量v1之间的差矢量Δv12。然后，在交换部分46，使与由通过把差矢量Δv12加到列矢量v2获得的矢量表示的点P12最接近的列矢量对应的列成为第三列。
另外，在交换部分46中，计算第三列的列矢量v3与第二列的列矢量v2之间的差矢量，并使与由通过把差矢量加到列矢量v3获得的矢量表示的点最接近的列矢量对应的列成为第四列。从下一步骤向前，以相同方式确定剩余列到第N列。
如上所述，在交换部分46中，不仅利用第n列与第(n+1)列之间的相关性而且利用第n列的列矢量vn与第(n+1)列的列矢量vn+1之间的连续性，即在这种情况下，差矢量vn+1-vn的变化是连续的这一事实，以如图17中细虚线所示的方式描绘轨迹的这种正确顺序检测列矢量，并正确地恢复图像和附加信息。
在图9的实施例中，根据附加信息在逐列的基础上重排除第一列像素外的编码目标图像的像素，从而执行将附加信息嵌入图像，即嵌入编码。可用其它方式进行嵌入编码。例如，可在逐行基础上重排编码目标图像的像素，或可以移动位于相同位置的按时序排列的预定数量帧的一系列像素的位置。
嵌入编码的另一个例子是在逐列的基础上重排编码目标图像的像素并在逐行基础上进一步重排得到的图像的像素。
例如，由嵌入编码器3根据附加信息重排如图19所示的由M(垂直)×N(水平)个像素组成的图像的列，以产生图20A所示的嵌入图像。在图20A中，图19的图像的第一列移到第五列，第二列移到第N列，第三列移到第一列，第四列移到第二列，第五列移到第四列，第六列移到第三列，...，第N列移到第六列。
例如，由嵌入编码器3根据附加信息重排图20A的图像的行，以产生如图20B所示的嵌入图像。在图20B中，图20A的图像的第一行移到第三行，第二行移到第五行，第三行移到第二行，第四行移到第M行，第五行移到第一行，...，第M行移到第四行。
如果存在未移动的列，例如与第一列左侧紧邻的列，由解码器6利用该列作为新的第一列，通过执行上面参考图12描述的解码处理将图20B的嵌入图像解码成图19的原始图像。就是说，在通过列和行两个方向重排产生的嵌入图像中，不改变在等式(1)的求和∑中加在一起的项目本身，虽然改变它们的顺序。因此，只要已经过嵌入编码的图像相同，由等式(1)计算的距离(n，k)与仅已重排列的情况和列和行二者都已重排的情况保持相同。由图12的解码处理以与通过仅重排列产生的嵌入图像相同的方式将通过重排列和行二者产生的嵌入图像解码成原始图像和附加信息。
从上面的讨论可以理解，当嵌入编码器3将列和行都重排时，对列和行的重排首先不影响解码操作。因此，嵌入编码器3可首先重排列或行，解码器6可首先重排列或行。甚至编码器3和解码器6各自都可以交替地采用列和行作为首先重排的项目。
在嵌入解码器3在嵌入编码操作中仅重排列的情况下，当解码器6将嵌入图像解码成原始图像时，重排嵌入图像列的方式变为附加信息的解码结果。在嵌入编码器3把行和列都重排时，在例如嵌入图像的第m行、第n列位置(m，n)的像素被移到解码图像的位置(m’，n’)变为附加信息的解码结果。
在图8的嵌入编码处理中，仅固定编码目标图像的第一列，解码器6利用比如说第一列作为解码基准重排嵌入图像的其它列。解码基准不限于第一列，可以是最后、第N列或任何其它列，只要在嵌入编码器3和解码器6中对其进行了设定。另外，解码基准不必总是一列像素，在极端情况下可以是一个像素。
在嵌入编码器3采用例如第一列作为解码基准并利用图像的相关重排嵌入图像的其它列的情况下，如果错误地移动一列，将错误列移到下一列的可能性较高(在该实施例中，是紧邻错误地移动的列右侧的列)。这种情况下，解码器6不能恢复原始图像，因此不能恢复正确的附加信息。
在嵌入编码处理中，可保留多列作为解码基准，就是说从重排目标中排除那些列。
例如，在嵌入编码器3利用在列方向排列的图像的一组像素作为重排单元进行重排的情况下，嵌入编码器3可使每隔一列(图21中的阴影线)成为解码基准并使剩余列(即图21中空白表示的列)成为重排目标。
在图21的情况下，如果图像有2N个列，可由嵌入编码器3嵌入的附加信息的数据量总计为log2(N！)比特。
嵌入编码器3可使用比一列或一行小的重排单元，即一个或多个像素的集合。
例如，如图22所示，嵌入编码器3可通过将图像的每一列分成一个或多个(例如五个)连续的像素组并使用这样一组作为重排单元来进行重排。如图22所示，嵌入编码器3可在方格图案中将重排单元分成两类，并可使一类(例如图22中空白表示的部分)成为重排目标并使另一类(图22中的阴影)成为解码基准。这种情况下，如果图像的行数，即列方向的像素数达到容纳M个重排单元的程度并且图像具有2N列，可由嵌入编码器3嵌入的附加信息的数据量总计为log2{(M×N)！}比特。
例如，如图23所示，嵌入编码器3可从图像每一列中彼此相距的像素提取规定数量的像素(例如，六个像素)并采用一组提取的像素(例如图23中用“°”表示的像素，用“×”表示的像素，或用“△”表示的像素)作为重排单元进行重排。如图23所示，嵌入编码器3可在方格图案中将构成图像的像素分成两类，并可使一类(例如图23中空白表示的部分)成为重排目标并使另一类(图23中的阴影)成为解码基准。这种情况下，如果使用通过提取图像每一列中彼此相距2M像素(图23中为六个像素)的像素获得的一组像素作为重排单元并且图像具有N列，可嵌入图像的附加信息的数据量总计为log2((M×N)！}比特。由于嵌入编码器3可利用“°”表示的组作为重排单元，在例如由参考数字421和422所示的逐列的基础上进行嵌入，数据量总计为log2{(M×N)|}比特。
在图21至23的实例中，作为重排目标的每一组像素(即图21至23中空白表示的像素)与多个解码基准(即图21至23中的阴影部分)相邻。这种情况下，例如，解码器6利用作为重排目标的一组像素与多个解码基准之间的距离平方和的倒数作为相关进行解码。
如上所述，对嵌入编码和解码中采用的重排单元没有特别的限定。
另外，对作为解码基准的像素组也没有特别的限定。
从解码正确性的观点来看，作为重排目标的像素最好与尽可能多的作为解码基准的像素相邻。因此，图23的实例是最希望的。从解码正确性的观点来看，最好有尽可能多的像素作为解码基准。
然而，由于作为解码基准的像素不成为重排目标，可由嵌入编码器3嵌入图像的附加信息的数据量随着作为解码基准的像素数量的增加而降低。当存在许多作为解码基准的像素或作为重排目标的一个像素与许多作为解码基准的像素相邻时，本发明的嵌入编码操作的加密效果不明显。
考虑到解码的正确性、嵌入的附加信息的数据量和加密效果，希望根据嵌入编码和解码的目的设定作为解码基准的像素数量和其排列图案。
如果把一个特定列移到附近的一列或移动彼此接近的多列同时保持其位置关系，也会减弱加密效果；必须避免这种重排。在嵌入编码器3的嵌入编码操作中，可加入每列应移到与该列相距大于规定距离的一列，和彼此接近的那些列应移到与那些列相距大于规定距离的列的限定。
在作为嵌入编码目标的图像是由例如RGB分量信号组成的彩色图像的情况下，嵌入编码器3可将RGB分量的对应列移到相同位置或彼此独立地重排RGB分量的列。在嵌入编码器3把RGB分量的对应列移到相同位置的情况下，可嵌入的附加信息的数据量较小，但解码中的解码精度比嵌入编码器3彼此独立地移动RGB分量的列的情况下要高。相反，在嵌入编码器3彼此独立地移动RGB分量的列的情况下，解码中的解码精度较低，但可嵌入的附加信息的数据量比嵌入编码器3把RGB分量的对应列移到相同位置的情况下要大。
对附加信息类型没有特别限定。例如，图像、话音、文本、计算机程序、控制信号、和其它类数据都可作为附加信息。在使图像数据库1中存储的图像的部分成为附加信息和使剩余部分成为提供给帧存储器31的编码目标的情况下，作为附加信息的图像的前一部分嵌入后一部分，这表明实现了图像压缩。
虽然本发明的实施例涉及的是图像，也可用重排规定时间的话音的数据序列的方式实施本发明。
在实施例中，虽然是在CPU32或42的控制下通过执行计算机程序来进行嵌入编码操作或解码操作，也可用专用硬件进行。
在实施例中，虽然在CPU32或42的控制下执行的计算机程序存储在程序存储器33或43中，可经如半导体存储器、磁带、磁盘、光盘、磁光盘、或相变盘之类的记录介质，或如因特网、地面波、卫星信道、公共网、或CATV(有线电视)网之类的传输媒介以信号形式提供计算机程序。
参考图24A至24C，描述在其上记录计算机程序的记录介质和经传输媒体提供给计算机的信号，传输媒体用来建立将上面的计算机程序安装到计算机中并体现为可由计算机执行的状态。
如图24A所示，作为装配在计算机601中的记录介质的硬盘602或半导体存储器603中预先记录有程序。
作为替换，如图24B所示，程序临时或永久地记录在如软盘611、CD-ROM(光盘只读存储器)612、MO(磁光盘)613、DVD(数字多能盘)614、磁盘615、或半导体存储器616之类的记录介质上。
除从上面的任何一种记录介质将程序安装在计算机中的方法外，如图24C所示，可通过用于数字卫星广播的人造卫星622把程序从下载地点621无线传送到计算机601，或经如LAN(局域网)或因特网之类的网络631通过有线将程序从下载地点621传送到计算机601，并安装在计算机601中，以使其存储在例如装配在计算机601中的硬盘102中。
由执行本发明各种处理中的每一个的程序描述的步骤不必总是按流程图中描述的顺序以时序方式执行，本发明包括并行或单独执行步骤的处理(即并行处理和目标处理)。
图25示出图24A和24C所示计算机601的典型结构。
如图25所示，计算机601装配一个CPU(中央处理单元)642。输入/输出接口645经总线641连接到CPU642。经输入/输出接口645接收由用户操作如键盘或鼠标之类的输入部分647产生的命令时，CPU642根据该命令执行与图24A所示的半导体存储器603对应的ROM(只读存储器)643中存储的程序。按该程序执行图8或12所示的流程。作为替换，CPU642把硬盘602中存储的程序、经卫星622或网络631传送由通信部分648接收的并安装在硬盘602中的程序、或从软盘611、CD-ROM612、MO盘613、DVD614、磁盘615、或装配在驱动器649中并安装在硬盘602中的半导体存储器616读出的程序加载到RAM(随机存取存储器)644中，并执行该程序。例如，在需要时CPU641经输入/输出接口645向如LCD(液晶显示器)之类的显示部分646输出处理结果。

Claims (29)

1.一种用于根据第二数据对第一数据编码的编码设备，包括：
用于存储第一数据的至少部分数据的存储装置；和
用于把与第二数据有关的数据嵌入第一数据的编码装置，该编码装置包括重排装置，用于根据所述第二数据，通过破坏第一数据的原始能量偏差来重排存储在所述存储装置中的第一数据的至少部分数据。
2.根据权利要求1所述的编码设备，其中所述能量偏差包括相关性、相似性和连续性之一。
3.根据权利要求1所述的编码设备，进一步包括允许第一数据和第二数据输入的输入装置。
4.根据权利要求1所述的编码设备，其中：
第一数据是由多个像素数据组成的图像数据；
存储装置存储该图像数据；和
编码装置根据第二数据，通过破坏第一数据的原始能量偏差来重排构成存储装置中存储的图像数据的一个或多个像素数据的集合的位置把与第二数据有关的数据嵌入图像数据。
5.根据权利要求4所述的编码设备，其中编码装置根据第二数据重排图像数据帧中的一个或多个像素数据的集合的位置。
6.根据权利要求4所述的编码设备，其中编码装置根据第二数据重排构成图像数据的像素数据集合的位置，像素数据的每个集合构成一列或一行。
7.根据权利要求1所述的编码设备，其中禁止由编码装置对第一数据的一部分进行数据重排。
8.根据权利要求4所述的编码设备，其中编码装置根据与第二数据的值对应的像素数量重排构成图像数据的一个或多个像素数据的集合的位置。
9.一种根据第二数据对第一数据编码的编码方法，包括：
存储第一数据的至少部分数据的存储步骤；
重排步骤，用于根据所述第二数据，通过破坏第一数据的原始能量偏差来重排所存储的第一数据的至少部分数据；和
把与第二数据有关的数据嵌入第一数据的编码步骤。
10.根据权利要求9所述的编码方法，其中所述能量偏差包括相关性、相似性和连续性之一。
11.根据权利要求9所述的编码方法，进一步包括允许第一数据和第二数据输入的步骤。
12.根据权利要求9所述的编码方法，其中：
第一数据是由多个像素数据组成的图像数据；
存储步骤存储该图像数据；和
编码步骤通过根据第二数据重排构成存储的图像数据的一个或多个像素数据的集合的位置把与第二数据有关的数据嵌入图像数据。
13.根据权利要求12所述的编码方法，其中编码步骤根据第二数据重排图像数据帧中的一个或多个像素数据的集合的位置。
14.根据权利要求12所述的编码方法，其中编码步骤根据第二数据重排构成图像数据的像素数据集合的位置，像素数据的每个集合构成一列或一行。
15.根据权利要求9所述的编码方法，其中禁止对第一数据的一部分进行数据重排。
16.根据权利要求12所述的编码方法，其中编码步骤根据与第二数据的值对应的像素数量重排构成图像数据的一个或多个像素数据的集合的位置。
17.一种用于对根据第二数据对第一数据编码产生的编码数据解码的解码设备，包括：
用于计算编码数据的第一部分数据与第二部分数据之间关系的关系计算装置，和
用于根据关系计算装置计算的关系，通过移动编码数据的第一部分数据和第二部分数据将编码数据解码成原始的第一数据，并用于根据该移动对编码数据中嵌入的第二数据解码的解码装置。
18.根据权利要求17所述的解码设备，其中关系计算装置计算编码数据的第一部分数据与第二部分数据之间在连续性方面的关系。
19.根据权利要求16所述的解码设备，其中解码装置移动编码数据的第一部分数据和第二部分数据，以便当第一部分数据与第二部分数据之间的关系最强时使它们变得彼此相邻。
20.根据权利要求17所述的解码设备，其中第一数据是由多个像素数据组成的图像数据，并且其中解码装置在逐列的基础上或逐行的基础上移动编码数据的第一部分数据和第二部分数据。
21.根据权利要求17所述的解码设备，其中禁止对编码数据的一部分进行移动。
22.根据权利要求17所述的解码设备，其中解码装置确定编码数据的第一部分数据和第二部分数据移动的移动图案，并采用与移动图案对应的值作为第二数据。
23.一种用于对根据第二数据对第一数据编码产生的编码数据解码的解码方法，包括：
计算编码数据的第一部分数据与第二部分数据之间关系的关系计算步骤；和
根据计算的关系，通过移动编码数据的第一部分数据和第二部分数据将编码数据解码成原始的第一数据，并用于根据该移动对编码数据中嵌入的第二数据解码的解码步骤。
24.根据权利要求23所述的解码方法，其中关系计算步骤计算编码数据的第一部分数据与第二部分数据之间在连续性方面的关系。
25.根据权利要求23所述的解码方法，其中解码步骤移动编码数据的第一部分数据和第二部分数据，以便当第一部分数据与第二部分数据之间的关系最强时使它们变得彼此相邻。
26.根据权利要求23所述的解码方法，其中第一数据是由多个像素数据组成的图像数据，并且其中解码步骤在逐列的基础上或逐行的基础上移动编码数据的第一部分数据和第二部分数据。
27.根据权利要求23所述的解码方法，其中禁止对编码数据的一部分进行移动。
28.根据权利要求23所述的解码方法，其中解码步骤确定编码数据的第一部分数据和第二部分数据移动的移动图案，并采用与移动图案对应的值作为第二数据。
29.一种用于根据第二数据将第一数据编码成编码数据和对该编码数据解码的数据处理系统，包括：
用于存储第一数据的至少部分数据的存储装置；
通过根据第二数据重排存储装置中存储的第一数据的至少部分数据把与第二数据有关的数据嵌入第一数据的编码装置；
用于计算编码数据的第一部分数据与第二部分数据之间关系的关系计算装置；
用于根据关系计算装置计算的关系，通过移动编码数据的第一部分数据和第二部分数据将编码数据解码成原始的第一数据，并用于根据该移动对编码数据中嵌入的第二数据解码的解码装置。
CNB991263332A 1998-10-07 1999-10-07 编码设备、解码设备及方法，数据处理系统 Expired - Fee Related CN1143548C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP28530898 1998-10-07
JP285308/1998 1998-10-07

Publications (2)

Publication Number Publication Date
CN1255808A CN1255808A (zh) 2000-06-07
CN1143548C true CN1143548C (zh) 2004-03-24

Family

ID=17689855

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB991263332A Expired - Fee Related CN1143548C (zh) 1998-10-07 1999-10-07 编码设备、解码设备及方法，数据处理系统

Country Status (3)

Country Link
EP (1) EP0993199B1 (zh)
KR (1) KR100777144B1 (zh)
CN (1) CN1143548C (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1187978C (zh) * 1998-10-07 2005-02-02 索尼公司 编码设备和方法、解码设备和方法以及数据处理设备
JP5590390B2 (ja) * 2010-07-15 2014-09-17 ソニー株式会社 画像処理装置および方法
CN104581120A (zh) * 2015-01-23 2015-04-29 深圳超多维光电子有限公司 图像信息保存方法、保存装置、立体图像生成方法和装置
KR101926221B1 (ko) 2015-10-06 2018-12-06 (주)엘지하우시스 자동차 인테리어 시트, 이를 이용한 자동차 내장재의 제조방법 및 이 제조방법에 의해 제조된 자동차 내장재

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0626793B1 (fr) * 1986-04-18 2001-11-28 Nagra Plus S.A. Système de télévision à péage
KR970008408B1 (ko) * 1994-03-02 1997-05-23 엘지전자 주식회사 디지탈 영상의 복사 방지 장치
JP2776209B2 (ja) * 1993-07-22 1998-07-16 日本ビクター株式会社 光ディスク及び情報記録再生装置
KR970008408A (ko) * 1995-07-31 1997-02-24 배순훈 광로 조절 장치의 다층 배선 평탄화 방법
US5815572A (en) * 1995-08-31 1998-09-29 Lucent Technologies Inc. Video scrambling
KR970060937A (ko) * 1996-01-08 1997-08-12 구자홍 엠펙ⅰ(mpegⅰ)의 부호/복호화 장치 및 방법
US6229924B1 (en) * 1996-05-16 2001-05-08 Digimarc Corporation Method and apparatus for watermarking video images
US6188776B1 (en) * 1996-05-21 2001-02-13 Interval Research Corporation Principle component analysis of images for the automatic location of control points
US5825892A (en) * 1996-10-28 1998-10-20 International Business Machines Corporation Protecting images with an image watermark

Also Published As

Publication number Publication date
EP0993199A3 (en) 2001-04-11
KR20000028877A (ko) 2000-05-25
CN1255808A (zh) 2000-06-07
KR100777144B1 (ko) 2007-11-19
EP0993199B1 (en) 2013-03-27
EP0993199A2 (en) 2000-04-12

Similar Documents

Publication Publication Date Title
CN1164120C (zh) 图像编码装置和图像解码装置
CN1089982C (zh) 用于图象编码及记录/再现的装置及方法
CN1155253C (zh) 图象处理设备和图象处理方法
CN1135708C (zh) 图像信号处理系统及方法，解码器及解码方法
CN1159917C (zh) 在数字视频系统中生成特技模式的方法和设备
CN1168303C (zh) 数字视频复制保护系统
CN1199304A (zh) 附加信息嵌入和将其再生的装置、方法及记录媒体
CN101036391A (zh) 画面编码装置和画面解码装置
CN1784011A (zh) 图像编码装置及图像编码方法
CN1774923A (zh) 电子水印嵌入运动图像传输系统、电子水印嵌入运动图像传输方法、信息处理装置、通信控制装置、电子水印嵌入运动图像处理程序以及存储了电子水印嵌入运动图像处理程序的存储介质
CN1086070A (zh) 编码和解码图象信号的方法和系统及相关的图象信号记录介质
CN1231100A (zh) 图像编码器、图像解码器、和图像处理器及其方法
CN1496100A (zh) 电子水印嵌入装置、电子水印检测装置、及其方法和记录媒体
CN1881452A (zh) 记录设备、记录方法、程序、记录介质、及数据记录介质
CN1358029A (zh) 修改素材
CN1713710A (zh) 图像处理装置和图像处理方法
CN1358028A (zh) 图像编码/解码方法,图像编码装置和图像解码装置
CN1116480A (zh) 活动图像编码方法、活动图像解码方法、活动图像记录媒体和活动图像编码装置
CN1684519A (zh) 运动图像编码装置及方法、运动图像译码装置及方法
CN1143548C (zh) 编码设备、解码设备及方法，数据处理系统
CN1154235C (zh) 使用对应象素块等级信息的变换系数的图象编码和译码
CN1238645A (zh) 图象处理装置、图象处理方法、图象数据结构和数据存储介质
CN1263290C (zh) 图像处理装置和方法
CN1182527C (zh) 再生方法及再生装置
CN1175669C (zh) 具有预录电视节目交互播放的数字电视接收机/解码器装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20040324

Termination date: 20131007