CN103098453B

CN103098453B - 使用色域外颜色坐标的数据传输

Info

Publication number: CN103098453B
Application number: CN201180043904.7A
Authority: CN
Inventors: N·W·迈斯莫尔; L·约翰逊
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2010-09-13
Filing date: 2011-09-07
Publication date: 2016-12-21
Anticipated expiration: 2031-09-07
Also published as: JP5607831B2; JP2013538528A; CN103098453A; WO2012036947A3; US9190014B2; KR20130044352A; EP2617184B1; WO2012036947A2; EP2617184A4; EP2617184A2; US20130162666A1; KR101471830B1

Abstract

用于将附加信息连同图像数据一起发送的方法涉及替换像素值以将色域内点带到色域外点。附加信息可以构造描述图像数据和/或可用于控制图像数据的显示和/或处理的元数据；水印信息；或其它信息。在一些实施例中，在附加信息的提取之后图像数据被恢复到它的原始形式。

Description

使用色域外颜色坐标的数据传输

技术领域

本发明涉及信息的传输。本发明具有在发送与静态或视频图像有关的元数据中的示例应用。

背景技术

元数据可以用来引导图像数据的显示。元数据可以例如传送大范围的信息，诸如在图像中示出的光源的位置和类型；不应该改变的受保护颜色；关于在解码和/或显示图像的高质量版本中可能有用的图像的统计信息；关于图像数据已被如何编码的信息；等等。

可以经由任何合适的数据通信信道在源和显示器之间发送元数据，但是可能不希望必须对于图像数据和相关的元数据设置单独的通信信道。发明人已经认识到需要以便于元数据连同图像数据一起传送的格式提供元数据或其它信息的方式。特别需要使得为了与元数据或其它信息一起传送而封装的图像数据能够由标准图像数据传输结构携带的格式。

发明内容

本发明具有许多方面。一个方面提供用于发送图像数据中的信息的方法。图像数据可以例如包括静态或视频图像。另一个方面提供用于编码图像数据中的信息的装置和方法。另一个方面提供用于提取已被编码在图像数据中的信息的装置和方法。

一个方面提供一种用于在图像数据中编码附加信息的方法，该图像数据包括定义多个像素的色域内的多个色域内点的像素值，所述方法包括：选择所述像素中的一个或多个；以及将选择的像素的每一个的一个或多个像素值映射到一个或多个对应的映射值，其中所述一个或多个映射值中的至少一个定义色域外点并且所述一个或多个映射值中的至少一个对应于附加信息的一个或多个位。在一些实施例中，色域外点对应于附加信息的一个或多个位。在一些实施例中，所述一个或多个映射的值中的至少一个对应于所述一个或多个像素值中的至少一个。

一个方面一种用于解码在图像数据中编码的附加信息的方法，该图像数据包括定义色域内的多个色域内点和对于多个像素的一个或多个色域外点的像素值，所述方法包括：识别图像数据中的色域外像素的一个或多个像素值，所述一个或多个像素值定义色域外点；识别与一个或多个识别的像素值对应的附加信息的一个或多个位；以及输出一个或多个位。在一些实施例中，所述方法包括将所述一个或多个识别的像素值中的至少一个映射到定义色域内点的对应的映射值。

一个方面提供用于在图像数据中编码附加信息的装置，该图像数据包括定义多个像素的色域内的多个色域内点的像素值，所述装置包括：像素选择单元，被配置为选择所述像素中的一个或多个；和像素修改单元，被配置为将选择的像素的每一个的一个或多个像素值映射到一个或多个对应的映射值；其中所述一个或多个映射值中的至少一个定义色域外点并且所述一个或多个映射值中的至少一个对应于附加信息的一个或多个位。

一个方面提供用于解码在图像数据中编码的附加信息的装置，该图像数据包括定义色域内的多个色域内点和多个像素的一个或多个色域外点的像素值，所述装置包括：修改像素检测单元，被配置为检测图像数据中的色域外像素；和数据提取器，被配置为提取与由修改像素检测单元检测的色域外像素的像素值对应的附加信息的一个或多个位。在一些实施例中，所述装置包括像素值恢复单元，被配置为将定义色域外点的色域外像素的像素值映射到定义色域内点的对应的恢复值。

下面描述本发明的进一步的方面和本发明的特定实施例的特征。

附图说明

附图示出了本发明的非限制性的示例实施例。

图1是示出了示例颜色空间的图。

图2是示出了根据示例实施例的方法的流程图。

图3和4示出了色域内点到对应的色域外点的示例映射。

图5示出了其中色域内区域中的点映射到多个色域外区域中的一个的示例实施例。

图6是示出了根据示例实施例的编码装置的框图。

图7是示出了根据另一个示例实施例的解码装置的框图。

图8是示出了共享指定用于传送修改的图像数据中的附加信息的协议的各方面的控制信息的编码和解码装置的框图。

具体实施方式

贯穿以下描述，阐述细节以便提供对本发明的更彻底的理解。但是，本发明可以在没有这些具体细节的情况下实践。在其它情况下，没有示出或详细描述公知的元件以避免不必要地模糊本发明。因此，说明书和附图应当被认为是说明性的，而不是限制的意义上的。

本发明提供用于发送颜色图像数据中的信息的方法和装置。图像数据可以指定例如静态图像或视频图像。

颜色图像数据指定颜色空间中的像素值。一些示例颜色空间是LUV、Yuv和Ycrcb。在很多情况下，像素值包括多个颜色坐标。颜色坐标可以包括指示亮度的一个或多个坐标和指示颜色（色度）的一个或多个坐标。例如，在LUV颜色空间中，坐标L指示亮度，而坐标U和V是色度值。

颜色坐标值通常具有一些有效范围。例如，格式可以允许特定的颜色坐标具有范围0到255或1024或4096中的值（排除任何预留值）。有效颜色坐标的所有可能的组合的颜色空间可以涵盖对于特定图像数据格式来说在色域外的各个点（即，颜色坐标集合）。也就是说，图像数据格式可以指定颜色点应当位于特定色域之内。但是，可以存在指定位于色域外的点的有效颜色坐标值的组合。

本发明至少部分地通过在图像数据中包括色域外颜色点来编码信息。色域外点映射到色域内点以使得可以在显示器处适当地再现图像。

图1示出了颜色空间中的平面10。在所示的实施例中，平面是恒定亮度平面。平面10中的点由一对颜色坐标U和V的值指定。坐标U具有有效范围12A，坐标V具有有效范围12B。因此坐标U和V可以指定平面10的区域14内的点。在所示的实施例中，区域14是矩形的。

此外图1所示的是色域边界15的一部分。图像数据中的所有像素值可以位于色域边界15之内。但是，坐标U和V可以指定色域边界15外的点。这样的点是色域外点。点17是色域外点的示例。色域边界15内的（包括位于色域边界15上的）点是色域内点。点18是色域内点的示例。

由于色域外点天然地不存在于图像数据中，因此色域外点的存在可以用来编码信息。图2示出了根据示例实施例的方法20。方法20在块22中获得图像数据21。图像数据21包括与图像的像素对应的色域内颜色点的集合。在块24中，方法20通过用色域外颜色点替换一些色域内颜色点来在图像数据21中编码一些附加信息23以提供修改的图像数据21A。在块26中，将修改的图像数据21A（包括编码的信息）发送到目的地。在块27中，在目的地处接收修改的图像数据21A。在块28中，识别色域外颜色点。在块29中，提取附加信息。在块30中，恢复图像数据21。在所有实施例中，块30不是强制的。

色域外颜色点可以用于以多种方式编码信息。下列所述是一些示例。第一示例示出在图3中。在图3的实施例中，通过用两个可替换色域外点34A和34B中的一个替换色域内点33来编码附加信息。用色域外点34A替换点33可以例如表示逻辑‘0’，而用色域外点34B替换点33可以表示逻辑‘1'，或反之亦然。色域外点可以根据各种预定关系与附加信息的值相关联。

此方案可以通过改变可以替换点33的不同的色域外点的数目来改变。例如，如果点33可以选择性地被替换为点34A、34B、34C和34D中的任何一个，则替换的每个点33可以传送四个可能的值中的一个。

在这种方案中，可以按照各种方式中的任何一个选择要被替换的点33。在一些实施例中，基于点33的一个或多个像素值选择点33。例如，在一些实施例中，基于匹配一个或多个预定像素值（例如，定义诸如例如黑色或白色之类的特定颜色的像素值）的一个或多个像素值选择点33。在这样的实施例中，通过用具有预定像素值的点（例如，特定颜色的点）替换色域外点来再创建图像数据21。在一些情况下，将特定颜色选择为预期在图像数据中相对频繁地出现的颜色（因而，提供用于在图像数据的帧中传送更多的附加信息的可能性）。这导致相对大量的机会来发送附加信息的各部分。

在一些实施例中，可以基于图像数据确定特定颜色。在示例实施例中，选择在图像数据的帧中要被替换的点是与帧中的预定位置处的像素（例如，帧中的第一像素）具有相同颜色的帧中的那些点。在另一个示例实施例中，选择在帧中的像素行中要被替换的点是与行中的预定位置处的像素（例如，像素行中的第一像素）具有相同颜色的那些点。在一些实施例中，选择特定颜色所基于的像素可以不用于传送附加信息（例如，通过编码图像数据中的附加信息可以不改变它）。

在一些实施例中，多个不同的色域内点每个与多个色域外点相关联，并且通过用对应的色域外点中的选择的一个替换色域内点来传送附加信息。在这样的实施例中，可以通过用与被替换的色域外点对应的色域内点替换色域外点来再创建图像数据21。

在可替换实施例中，将点33选择为与具有与另一个像素（诸如紧接之前的像素）的颜色相同的颜色的像素相关联的点。利用此实施例，可以通过用与另一个像素相同颜色的点替换色域外点来再创建图像数据21。

在另一个实施例中，仅仅一个色域外点与每个色域内点33相关联。在这样的实施例中，在修改的图像数据21A中不被对应的色域外点替换的色域内点33的存在可以指示逻辑‘1’，并且在修改的图像数据21A中替换色域内点33的色域外点的存在可以表示逻辑‘0’，或反之亦然。在此实施例中，可以通过用对应的色域内点替换每个色域外点来再创建图像数据21。

在另一个实施例中，要被替换的点33是这样的点：一个或多个颜色坐标的高阶位被设置为零，并且如果一个或多个颜色坐标的高阶位等于一，则将在色域外。例如，当颜色坐标是8位颜色坐标时，点33可以包括颜色坐标具有小于阈值的值的任何点。阈值可以例如是128或64（因而保证至少一个高阶位在坐标中被设置为零）。对应的色域外点可以通过将一个或多个坐标的高阶位设置为一并且保持一个或多个坐标的低阶位不变来实现。在此实施例中，可以通过将色域外点的坐标的高阶位设置为零来再创建图像数据21。

在一些情况下，存在颜色在传输中将被重新映射的可能性（例如，作为颜色空间转换的结果）。这可能使得其中编码附加信息的色域外点在提取附加信息之前偏移。在此情况下，提取附加信息可以包括确定色域外点是否出现在颜色空间的多个不重叠的区域中的一个中。只要任何重新映射不是极端到以致将色域外颜色从与附加信息的一些值对应的区域内的点重新映射到该区域外的点，就仍然可以提取附加信息，而不管这样的颜色重新映射。

有利地，可以选择色域外点以便容易地识别为色域外点。在通过将色域内点映射到多个不同的对应色域外点中的一个来传送不同的值的实施例中，有利地选择不同的色域外点以便容易地彼此区分。

例如，在一些实施例中，根据坐标值可以与之比较的阈值来定义色域外点所位于的区域。例如，图4示出了定义两个不重叠的色域外区域45A和45B的实施例。区域45A中的色域外点与逻辑值0相关联。区域45B中的色域外点与逻辑值1相关联。由于区域45A仅仅包括第一坐标（用U指示）的值大于阈值46A并且第二坐标（用V指示）的值在阈值46B和46C之间的点，因此区域45A中的点可以容易地被识别。类似地，区域45B中的点可以被识别为第一坐标U的值大于阈值46A并且第二坐标V的值大于阈值46C的点。

与用于解码使用区域45A和45B中的色域外像素编码的附加信息的逻辑对应的伪码可以如下操作：

1.获得当前像素的坐标值；

2.如果（坐标1值<阈值46A）或（坐标2值<阈值46B）；

3.则将当前像素设置=下一个像素并且返回到第1行；

4.否则如果（坐标2值<阈值46C）；

5.则输出0作为附加信息的下一位；

6.否则如果（坐标2值>阈值46C）；

7.则输出1作为附加信息的下一位；

8.用对应的色域内点的坐标值替换当前像素坐标值。

9.返回到第1行。

可以将阈值设置在位对准的框的边界处以便于在硬件或软件中比较坐标值与阈值。

在一些实施例中，将附加信息直接写入到一个或多个像素值的低阶位中。例如，在一个示例实施例中，灰色行上的像素（即，具有设置为零的色度值的像素）适合用于传送元数据或其它附加信息。可以将附加信息写入到色度值（例如，U和V）的低阶位中并且可以设置色度值的高阶位以使得结果的色度值在色域外。例如，当色度值每个是8位值时，可以将色度值的三个最高阶位设置为‘1’以使得结果的颜色点在色域外，并且可以将附加信息的5位写到色度值的每一个的低阶位。

在这样的实施例中，可以不改变亮度值。在已经通过设置色度值以对应于灰色行而读取附加信息之后，可以将像素值恢复到它们的原始状态。在一些这样的实施例中，由色度值的低阶位表示的值的映射可以1:1映射到元数据值。

在另一个实施例中，如图5所示，色域内区域47内的点映射到多个不重叠的色域外区域48中的一个中的对应点。通过此映射编码的附加信息的值由点所映射到哪一个区域48的选择来指示。例如，如果存在8个不同的色域外区域48，则一个区域的选择可以表示三位的值。任何一个区域48内的点回到区域47内的对应点的映射可以是预定的1:1映射，以使得可以通过应用预定的1:1映射将图像数据恢复到它的原始形式。不同的1:1映射应用于区域48的每一个。

在由图5所示的实施例的变化中，一个区域48中的色域外点映射到相同的色域内点。在此实施例中，将附加信息编码为色域内点映射到的区域48内的特定点（例如，附加信息由像素值的最低有效位传送）。可以通过确定色域外像素对应于哪一个区域48并且将色域外像素映射到与区域48对应的色域内点来将图像数据恢复到它的原始形式。此实施例可以应用于任何一个或多个通道（例如，一个或多个色度值、亮度值、亮度值和色度值、亮度值和两个色度值等）。

另一个示例实施例利用一系列两个或更多个像素具有相同的像素值的情况。在此示例实施例中，定位一个或多个相邻像素具有彼此相同的一个或多个像素值的像素。例如，像素可以是色度值全部相同或色度和亮度值全部相同的一组相邻像素中的一个。

像素的值映射到对应的色域外点。随后可以通过应用预定的映射从对应的色域外点的值映射回到原始的像素值来恢复像素值。

可选地，从多个可用的对应色域外点中的一个中选择对应的色域外点。多个可用的色域外点中的特定一个的选择可以指示多少相邻像素共享相同的像素值。可以用其它方式指示共享相同的像素值的相邻像素的数目。例如，可以预定共享相同的像素值的相邻像素的数目，以使得已知任何色域外点指示共享相同的像素值的预定长度或维度的像素块的开始。对于另一个示例，共享相同的像素值的一系列相邻像素中的像素的数目可以由该系列中的像素的修改的像素值来指示。

然后可以用附加信息覆写由色域外像素识别的一个或多个相邻像素的像素值。附加信息可以包括在对应于色域内点的像素值中。附加信息可以随后通过以下方式恢复：检测色域外像素；如果任何附加信息编码在色域外像素的任何像素值中，则提取该附加信息；以及读取一个或多个相邻像素的像素值作为附加信息。

可以通过根据预定的映射将色域外点映射到对应的色域内点并且将一个或多个相邻像素的像素值映射到相同的对应的色域内点来将图像数据恢复到它的原始形式。例如，预定的映射可以基于一个或多个相邻像素的像素值（例如，在一系列像素之间共享的原始的像素值可以由该系列中的像素的修改的像素值来指示）。

在一些实施例中，可以使用共同具有一个或多个像素值的像素的其它空间布置。在一些这样的实施例中，在图像数据中编码附加信息包括安置具有彼此相同的一个或多个像素值的像素的预定空间布置并且用定义色域外点的参考像素值替换安置的空间布置中的参考像素的至少一个像素值。色域外参考像素的像素值可以指示安置的布置中的其它像素相对于参考像素的预定空间布置（例如，像素值可以用来指示从参考像素延伸的矩形像素块的维度）。然后可以用附加信息覆写安置的空间布置中的其它像素的像素值。附加信息可以随后通过以下方式来恢复：检测色域外参考像素；如果附加信息被编码在色域外参考像素的任何像素值中，则提取该附加信息；基于预定的空间布置和参考像素的位置安置与参考像素对应的空间布置中的其它像素；以及读取空间布置中的其它像素的像素值作为附加信息。

图6示出了根据示例实施例的编码装置50。编码装置50访问图像数据21和要被编码在图像数据21中的附加信息51。附加信息51可以例如包括与图像数据21有关的元数据但是不局限于元数据。

在所示的实施例中，图像数据21被存储在诸如存储器、盘驱动器等之类的数据存储装置53中。可替换地或另外，可以在输入端54A处接收图像数据21并且可以在输入端54B处接收附加信息51。解码器56解码图像数据21。像素值（例如，每个像素的L、U和V坐标的值）在解码器56的输出端57处可用。

像素选择单元58识别作为用于用色域外点替换的候选者的像素。像素选择单元58可以应用如上所述的各种准则以确定特定像素是否是用于替换的候选者。在所示的实施例中，像素选择单元58包括第一比较单元58A，被配置为比较当前像素的一个或多个像素值与前一像素的对应像素值。可以例如应用第一比较单元58A以确定当前像素是否对应于与前一像素的颜色点相同的颜色点，并且如果那样的话，则使得当前像素适于修改。

像素选择单元58还包括第二比较单元58B。第二比较单元58B被配置为比较当前像素的一个或多个像素值与对应的存储的像素值59。可以例如应用第二比较单元58B以确定当前像素是否对应于已被预定为对应于适于修改的像素的颜色点。

连接像素修改单元60以从像素选择单元58接收附加信息51和指示当前像素是否适合于修改的信号。如果由像素选择单元58指示存在要被发送的附加信息51并且当前像素适合于修改，则像素修改单元60写入当前像素的一个或多个像素值的新的值。至少部分地基于附加信息51确定新的值。

在所示的示例实施例中，像素修改单元60包括2^N个寄存器集合62（示出了寄存器集合62A和62B――对应于N=1的情况）。每个寄存器集合包含与不同的色域外点对应的像素值。像素修改单元用来自于寄存器集合62中的对应于要被发送的下一条附加信息51的一个寄存器集合的像素值覆写当前像素的像素值。例如，如果附加信息51的下一位是‘0’，则像素修改单元60可以用寄存器集合62A的像素值覆写当前像素的像素值中的一个或多个。如果附加信息51的下一位是‘1’，则像素修改单元60可以用寄存器集合62B的像素值覆写当前像素的像素值。对于N>1的情况，像素修改单元60可以用与附加信息51的下一N位的值相关联的寄存器集合的像素值覆写当前像素的像素值。

编码器64编码由像素修改单元60修改的图像数据。编码器64可以例如包括JPEG编码器、MPEG编码器或用于一些其它静态或视频图像格式的编码器。修改的图像数据21A可以被存储、通过流化、文件传输等而发送、写入到诸如DVD之类的介质上或用其它方式使用。

有利地，在一些实施例中，利用这里描述的附加信息51编码的图像数据与现有图像数据编码、解码和传输协议兼容。

图7示出了用于从图像数据提取附加信息51的示例装置70。装置70包括解码器72。修改像素检测器74检测具有修改的值的像素。修改像素检测器74可以例如比较当前像素的一个或多个像素值与一个或多个准则。例如，像素值可以与指示像素值对应于色域外点的一个或多个阈值相比较。

数据提取器76确定色域外像素所属的点或区域，并且基于确定的点或区域和附加信息的值之间的对应性确定已被添加到图像数据的附加信息51的值。数据提取器76将确定的附加信息51的值写入缓冲器78中。在一些实施例中，组合数据提取器76和修改像素检测器74。

像素值恢复单元80将色域外像素值恢复到它们的原始值。像素值恢复单元80可以例如被配置为将来自于寄存器集合82的预定像素值写入到当前像素中或复制来自于预先处理的像素（例如相邻像素）的像素值。

恢复的图像数据21B呈现在输出端84处。在所示的实施例中，恢复的图像数据由视频处理器86处理以用于显示。连接视频处理器86以接收附加信息51并且以至少部分地由附加信息51控制的方式处理恢复的图像数据以显示在显示器88上。可以提供编码器87以编码恢复的图像数据21B以发送到另一个显示器、图像存储器、另一个目的地等。

期望而不是强制地，在附加信息51已被提取之后图像数据恢复到它的原始状态。在一些可替换实施例中，通过例如用与一个或多个相邻像素的像素值相同的像素值或用从两个或更多个附近像素的对应值内插的像素值替换色域外像素的像素值，来将图像数据恢复到原始状态的足够接近的近似值。可以不考虑图像数据是否被精确地恢复到它的原始状态来进行此动作。

在一些实施例中，选择来携带附加信息51的像素可以是具有如下像素值的像素：所述像素值导致像素对响应于图像数据显示的图像的整体外观的影响减小。例如，选择来携带附加信息51的像素可以具有低于阈值的亮度值。这样的像素的色度值的变化可以不显著或者可以对显示的图像的外观仅仅具有足够小以不会引起反感的影响。在一些实施例中，选择来携带附加信息51的像素的上亮度阈值可以基于峰场景亮度。

在一些实施例中，以包括指定光强度或亮度的值（亮度值）和指定颜色的值（色度值）的格式呈现像素值。示例是像素可以具有LUV或YUV颜色空间中的值。在一些这样的实施例中，附加信息51仅仅被编码在色度值中（同时亮度值未改变）。

附加信息可以完全包括任何信息。在一些实施例中，附加信息具有与图像数据的特定关系。例如，附加信息可以包括：由下游图像处理装置在处理、再现或显示由图像数据表示的图像中使用的元数据；适合用于驱动局部调光或双调制类型的显示器中的背光和/或与图像数据组合以输出图像数据中的图像的较高动态范围版本的图像数据的低空间分辨率版本或图像数据的亮度通道的低空间分辨率版本；描述由图像数据表示的图像的信息；等。

如上所述，存在本发明的大范围可能的实施例。一些实施例可以根据用于携带附加信息的特定协议而彼此不同。协议可以彼此不同，例如在诸如下列方面：

-哪些色域内点适合被色域外点替换；

-提供多少不同的色域外点或区域；

-附加信息如何被编码到色域外点中；

-在附加信息被提取之后如何恢复图像数据；

-等等。

一些实施例应用预定的协议。由被配置为实现预定协议的编码器根据预定协议修改图像数据以携带附加信息，并且随后由被配置为实现预定协议的解码器从修改的图像数据中提取附加信息。在其它实施例中，用于修改图像数据以携带附加信息的协议是可配置的。在可配置的实施例中，可以或者利用图像数据或者经由可替换的数据传输路径在编码器和解码器之间发送关于正在使用的当前协议的控制信息。例如，可以通过边带消息流传送控制信息。这样的流的一个示例是使用AVC（例如，ITU-T H.264）编解码器编码的图像数据中的SEI消息。这样的边带消息可以发送关于附加信息嵌入到图像数据中的模式和/或色域外点和色域内点之间的映射的信息。

通常，从图像数据的编码器或分配器向图像数据的解码器发送控制信息，并且控制信息指示解码器应当使用什么协议来提取附加信息和恢复图像数据。示例实施例如图8所示。编码器90根据协议处理图像数据91以产生已经使用色域外点在其中编码了附加信息92的修改的图像数据95。编码器90将修改的图像数据95传递到解码器98。编码器90还通过数据路径97将控制信息93传递到解码器98。数据路径97可以例如包括边带、在数据结构或流中连同修改的图像数据95一起封装的信息、单独的数据传输路径等。解码器98本身配置为根据控制信息93从修改的图像数据95提取附加信息然后处理修改的图像数据95以输出附加信息的副本99和恢复的图像数据100。

在可替换实施例中，解码器可以向图像数据的编码器或分配器发送指定用于在要被传送到解码器的图像数据中编码附加信息的协议的一个或多个方面的信息。

在示例实施例中，解码器接收指定图像数据已被修改以携带附加信息的协议的控制信息。解码器本身根据控制信息配置为提取附加信息并且恢复图像数据。解码器然后处理图像数据以产生恢复的图像数据和附加信息。

本发明的某些实施方式包括运行使得处理器执行本发明的方法的软件指令的计算机处理器。例如，一个或多个处理器可以被配置为通过执行处理器可存取的程序存储器中的软件指令来实现图2所示的方法。可以可选地应用编程的处理器来实现图6和7的装置的一些或全部组件（例如，图6和7的装置的组件可以被实现在单个编程的处理器中）。本发明还可以按照程序产品的形式提供。程序产品可以包括携带计算机可读信号的集合的任何介质，该计算机可读信号包括在由数据处理器运行时使得数据处理器运行本发明的方法的指令。根据本发明的程序产品可以是多种形式中的任何一个。程序产品可以包括例如物理介质，诸如包括软盘、硬盘驱动器的磁数据存储媒体、包括CD ROM、DVD的光数据存储介质、包括ROM、闪速RAM的电子数据存储介质，等等。程序产品上的计算机可读信号可以可选地被压缩或加密。

当上面提及组件（例如，软件模块、处理器、部件、设备、电路等等）时，除非另有说明，对该组件的提及（包括对“装置”的提及）应当被理解为包括执行所述组件的功能（即，功能上等效）的任何组件的等价物，包括在结构上不等效于公开的结构但是执行本发明的示出的示范性实施例中的功能的组件。

本领域技术人员将理解，这里描述的实施例的某些特征可以与这里描述的其它实施例的特征组合使用，并且这里描述的实施例可以被实行或实现而没有这里归于它们的全部特征。这样的对本领域技术人员明显的对描述的实施例的变化，包括不同的实施例的特征的混合和匹配的变化，都在本发明的范围内。

本领域技术人员将显然可知，根据上述公开，在此发明的实践中可以进行许多改变、修改、增加和置换，而不脱离其精神或范围。这里描述的实施例仅仅是示例。通过组合公开的实施例的特征可以无限制地获得其它示例实施例。因此，预期以下所附权利要求书和以下介绍的权利要求书被解释为包括在它们的真正精神和范围内的所有这样改变、修改、置换、增加、组合和子组合。

因此，本发明可以以这里描述的形式中的任何一个实施，包括但不限于以下列举示例实施例（EEE），其描述本发明的一些部分的结构、特征和功能：

EEE1.一种用于在图像数据中编码附加信息的方法，该图像数据包括定义多个像素的色域内的多个色域内点的像素值，所述方法包括：

选择所述像素中的一个或多个；以及

将选择的像素的每一个的一个或多个像素值映射到一个或多个对应的映射值；

其中所述一个或多个映射值中的至少一个定义色域外点并且所述一个或多个映射值中的至少一个对应于附加信息的一个或多个位。

EEE2.一种根据EEE1所述的方法，其中所述色域外点对应于附加信息的一个或多个位。

EEE3.一种根据EEE1所述的方法，其中一个或多个映射值中的至少一个对应于一个或多个像素值中的至少一个。

EEE4.一种根据EEE3所述的方法，其中定义色域外点的一个或多个映射值中的至少一个对应于一个或多个像素值中的至少一个。

EEE5.一种根据EEE4所述的方法，其中将至少一个像素值映射到至少一个定义色域外点的映射值包括：将至少一个像素值的多个低阶位复制到至少一个映射值。

EEE6.一种根据EEE1所述的方法，其中选择像素中的一个或多个包括：基于像素的像素值选择像素中的一个或多个。

EEE7.一种根据EEE6所述的方法，其中基于像素的像素值选择像素中的一个或多个包括：基于匹配一个或多个预定像素值的像素的一个或多个像素值来选择像素中的一个或多个。

EEE8.一种根据EEE6所述的方法，其中基于像素的像素值选择像素中的一个或多个包括：基于匹配未选择的像素的一个或多个像素值的像素的一个或多个像素值来选择像素中的一个或多个。

EEE9.一种根据EEE8所述的方法，其中未选择的像素与一个或多个选择的像素中的至少一个相邻。

EEE9.一种根据EEE8所述的方法，其中未选择的像素是图像数据的帧中的第一像素。

EEE9.一种根据EEE8所述的方法，其中未选择的像素是图像数据的行中的第一像素。

EEE12.一种根据EEE1所述的方法，其中附加信息包括与图像数据相关联的元数据。

EEE13.一种根据EEE3所述的方法，包括将定义色域外点的一个或多个映射值的每一个映射到定义色域内点的对应的恢复值。

EEE14.一种根据EEE13所述的方法，包括以至少部分地由附加信息控制的方式处理图像数据。

EEE15.一种用于解码在图像数据中编码的附加信息的方法，该图像数据包括定义色域内的多个色域内点和对于多个像素的一个或多个色域外点的像素值，所述方法包括：

识别图像数据中的色域外像素的一个或多个像素值，所述一个或多个像素值定义色域外点；

识别与一个或多个识别的像素值对应的附加信息的一个或多个位；以及

输出一个或多个位。

EEE16.一种根据EEE15所述的方法，包括将所述一个或多个识别的像素值中的至少一个映射到定义色域内点的对应的映射值。

EEE17.一种根据EEE15所述的方法，其中识别附加信息的一个或多个位包括：确定色域外点是否出现在颜色空间的多个不重叠的区域中的一个中，多个不重叠的区域的每一个与所述一个或多个位的值相关联。

EEE18.一种根据EEE15所述的方法，其中识别附加信息的一个或多个位包括：根据预定关系将色域外点与一个或多个位的值相关联。

EEE19.一种根据EEE15所述的方法，其中识别附加信息的一个或多个位包括：读取一个或多个识别的像素值的一个或多个低阶位。

EEE20.一种根据EEE15所述的方法，其中识别附加信息的一个或多个位包括：读取与色域外像素具有预定空间关系的像素的像素值的一个或多个位。

EEE20.一种根据EEE20所述的方法，其中识别附加信息的一个或多个位包括：读取与色域外像素相邻的像素的像素值的一个或多个位。

EEE22.一种根据EEE16所述的方法，其中色域内点对应于色域外点。

EEE23.一种根据EEE16所述的方法，其中色域内点由与色域外像素具有预定空间关系的像素的像素值定义。

EEE24.一种根据权利要求23所述的方法，其中色域内点由与色域外像素相邻的像素的像素值定义。

EEE25.一种根据EEE16所述的方法，其中色域内点由图像数据的帧中的预定位置处的像素的像素值定义。

EEE25.一种根据EEE16所述的方法，其中色域内点由图像数据的行中的预定位置处的像素的像素值定义。

EEE27.一种根据EEE16所述的方法，其中映射一个或多个识别的像素值中的至少一个包括：将至少一个识别的像素值的一个或多个高阶位设置为零并且保持低阶位。

EEE28.一种用于在图像数据中编码附加信息的方法，该图像数据包括定义多个像素的色域内的多个色域内点的像素值，所述方法包括：

选择所述像素中的一个或多个；以及

映射选择的像素中的每一个的一个或多个像素值以对应于多个色域外点中的一个；

其中像素值被映射到的色域外点对应于附加信息的一个或多个位。

EEE29.一种根据EEE28所述的方法，其中附加信息包括与图像数据相关联的元数据。

EEE30.一种用于从图像数据解码附加信息的方法，所述方法包括：

识别图像数据中的色域外像素；

识别与色域外像素的每一个对应的一个或多个位；以及

输出一个或多个位。

EEE31.一种根据EEE29所述的方法，包括将色域外像素的每一个映射到对应的色域内像素。

EEE32.一种根据EEE31所述的方法，包括以至少部分地由附加信息控制的方式处理图像数据。

EEE33.用于在图像数据中编码附加信息的装置，该图像数据包括定义多个像素的色域内的多个色域内点的像素值，所述装置包括：

像素选择单元，被配置为选择所述像素中的一个或多个；和

像素修改单元，被配置为将选择的像素的每一个的一个或多个像素值映射到一个或多个对应的映射值；

EEE34.用于解码在图像数据中编码的附加信息的装置，该图像数据包括定义色域内的多个色域内点和多个像素的一个或多个色域外点的像素值，所述装置包括：

修改像素检测单元，被配置为检测图像数据中的色域外像素；和

数据提取器，被配置为提取与由修改像素检测单元检测的色域外像素的像素值对应的附加信息的一个或多个位。

EEE35.根据EEE34所述的装置，包括像素值恢复单元，被配置为将定义色域外点的色域外像素的像素值映射到定义色域内点的对应的恢复值。

EEE36.根据EEE35所述的装置，其中所述装置被配置为接收控制信息并且根据控制信息配置数据提取器和像素值恢复单元中的至少一个。

EEE37.根据EEE34所述的装置，其中所述装置被配置为接收控制信息并且根据控制信息配置数据提取器。

EEE38.包括任何新的、有用的和创造性的步骤、动作、这里描述的步骤和/或动作的组合或步骤和/或动作的子组合的方法。

EEE38.包括任何新的、有用的和创造性的特征、部件、这里描述的特征和/或部件的组合或特征和/或部件的子组合的装置。

这里与附图一起提供一个或多个示例的详细描述。参考这样的示例提供详细描述，但是不局限于此任何特定示例。本发明的范围仅仅由权利要求书限定并且本发明涵盖许多替换、修改和等效物。在此说明书中已经阐述了许多细节以便提供对本发明彻底的理解。这些细节是作为示例的目的提供的，并且本发明可以在没有这些细节中的一些或全部的情况下根据权利要求书而实践。它们不意欲是穷举的或将本发明限制到公开的精确的形式，因为考虑上述教导，许多替换、修改、等效和变化是可能的。为了清楚，在与本示例有关的技术领域中已知的技术材料没有被详细描述以避免不必要地模糊说明书。

为了说明，说明书使用特定的命名以便提供对本发明的更彻底的理解。但是，应当清楚，为了实践本发明不需要特定的细节。事实上，说明书不应该被理解为将本发明的任何特征或方面限制到任何实施例；而是一个示例的特征和方面可以容易地与其它示例互换。值得注意地，不是这里描述的每个益处都需要由本发明的每个示例实现；而是任何特定的示例可以提供如上所述的优点中的一个或多个。在权利要求书中，元件和/或操作不暗示任何特定的操作顺序，除非在权利要求书中明确地说明。预期以下权利要求书和它们的等效物定义本发明的范围。

因此，根据以下权利要求书定义的实质来解释本发明的范围。

对相关申请的交叉引用

本申请要求于2010年9月13日提交的美国临时专利申请No.61/382,449的优先权，其内容通过引用而被全部合并于此。

Claims

1.一种用于在图像数据中编码附加信息的方法，该图像数据包括定义多个像素的色域内的多个色域内点的像素值，所述方法包括：

选择所述像素中的一个或多个；以及

将选择的像素的每一个的一个或多个像素值映射到一个或多个对应的映射值，以使得所述映射值能够恢复为它们被从其映射的像素值；

2.根据权利要求1所述的方法，其中所述色域外点对应于附加信息的所述一个或多个位。

3.根据权利要求1所述的方法，其中所述一个或多个映射值中的至少一个对应于所述一个或多个像素值中的至少一个。

4.根据权利要求3所述的方法，其中所述定义色域外点的一个或多个映射值中的至少一个对应于所述一个或多个像素值中的至少一个。

5.根据权利要求4所述的方法，其中将至少一个像素值映射到定义色域外点的至少一个映射值包括：将所述至少一个像素值的多个低阶位复制到所述至少一个映射值。

6.根据权利要求1所述的方法，其中选择所述像素中的一个或多个包括：基于像素的像素值选择所述像素中的一个或多个。

7.根据权利要求6所述的方法，其中基于像素的像素值选择所述像素中的一个或多个包括：基于与一个或多个预定像素值匹配的像素的一个或多个像素值选择所述像素中的一个或多个。

8.根据权利要求6所述的方法，其中基于像素的像素值选择所述像素中的一个或多个包括：基于与未选择的像素的一个或多个像素值匹配的像素的一个或多个像素值选择所述像素中的一个或多个。

9.根据权利要求8所述的方法，其中所述未选择的像素与所述一个或多个选择的像素中的至少一个相邻。

10.根据权利要求8所述的方法，其中所述未选择的像素是图像数据的帧中的第一像素。

11.根据权利要求8所述的方法，其中所述未选择的像素是图像数据的行中的第一像素。

12.根据权利要求1所述的方法，其中所述附加信息包括与图像数据相关联的元数据。

13.根据权利要求3所述的方法，包括将定义色域外点的一个或多个映射值中的每一个映射到定义色域内点的对应的恢复值。

14.根据权利要求13所述的方法，包括以至少部分地由所述附加信息控制的方式处理图像数据。

15.一种用于解码在图像数据中编码的附加信息的方法，该图像数据包括定义色域内的多个色域内点和多个像素的一个或多个色域外点的像素值，所述方法包括：

输出所述一个或多个位。

16.根据权利要求15所述的方法，包括将一个或多个识别的像素值中的至少一个映射到定义色域内点的对应的映射值。