CN108064395B

CN108064395B - 在视频图像中嵌入二维码的系统和方法

Info

Publication number: CN108064395B
Application number: CN201680038701.1A
Authority: CN
Inventors: G.R.阿塞; G.J.加拉特古伊; D.L.劳; S.X.王
Original assignee: Graphiclead LLC
Current assignee: Graphiclead LLC
Priority date: 2015-05-01
Filing date: 2016-04-28
Publication date: 2021-09-24
Anticipated expiration: 2036-04-28
Also published as: CN108064395A; US10614540B2; WO2016178896A1; US20190043151A1

Abstract

公开了一种根据给定的QR码值改变图像中的各个像素的亮度从而将图像嵌入到二维矩阵码中的方法和设备。修改后的亮度值通过一最优化过程来确定，该最优化过程使原始图像的视觉失真度最小，同时使解码和检测的错误率在一定概率模型下低于设定极限。

Description

在视频图像中嵌入二维码的系统和方法

相关申请

本申请涉及并要求申请号为62/155,730，申请日为2015年5月1日，标题为“在视频图像中嵌入二维码的系统和方法”的美国临时申请以及申请号为62/165,619，申请日为2015年5月22日，标题为“用于生成具有视觉图像信息的一组QR码的方法”的美国临时申请的优先权，上述申请的全文在此引作全面参考。

背景技术

二维码使用在各种情况下用来向具有能够解码二维码的设备的用户提供信息。二维码可以包括各种类型的信息，例如标识如家具等物体的特性和/或其所有权的信息，运输中的产品的递送地址信息，或用于通过计算机网络访问信息的统一资源定位符（URL）。

一般而言，二维码在目标物（例如显示设备，标志，照片，视频或文档）上置于与目标物上其他文本或图形内容（如辞文，美术图案，照片，视频或图片）分开的位置上。图形内容和二维码的单独放置导致目标对象上空间的浪费，而这些空间可能更好地用于提供甚至更多图形或文本内容和/或可用于更显著的品牌标志。

因此，以不减少文本或图形内容的美学属性并且还能够实现对二维码有效解码的方式组合二维码和文本或图形内容将带来一定的好处。

发明内容

本示例的技术领域是可读矩阵码与图形表示或多个图形表示的融合。

本示例涉及的方法或装置可以根据所提供的QR码矩阵的值修改图形表示中的各个元素的强度值从而将QR码矩阵或多个QR码矩阵嵌入到图形表示或多个图形表示中。如果提供多个图像，则本示例在时间上交织被修改的元素以进一步利用人类视觉系统的时间和空间掩模效应。修改的强度值通过优化程序来确定，该优化程序使原始图形表示的空间和时间视觉失真度最小，同时使解码错误率在一定概率模型下保持在指定极限以下。

在本实例所提出的方法利用了一种机制，借助多个优先级矩阵和经由蓝色噪声掩模通过半色调调整产生的像素分布掩模来选择原始图形表示集合中的可修改像素。

例如，公开了一种在计算机处理器中产生具有可视图像信息的一组QR码的方法。该方法包括接收待编码数据并存储在计算装置的第一存储器中，以及三维矩阵形式的一组图像并存储在计算装置的第二存储器中。根据存储在第一存储器中的数据生成包括一组二维码（例如QR码）的三维阵列，使得每个QR码被表示为具有M行和N列的矩阵，并且其中每个元素是两个唯一值（即二进制值）之一。该示例性方法生成包括具有M行和N列的K个矩阵的集合的第二个三维阵列，其中每个元素被定义为存储在第二存储器中的该组图像的函数。将该K个M×N矩阵中的每一个划分为具有m行，n列和深度指数等于k个元素的三维子块。每个图像子块中一个子集的元素值根据具有相同元素行，列和时间索引的QR码子块中对应QR码元素的值进行修改，其中时间索引基于k 。在子块内部，处理器定义每个QR码子块中的元素子集，将每个QR码子块中定义的元素子集替换为对应图像子块中具有相同行，列和深度索引坐标的元素。

公开了在计算装置中产生一组具有视觉图像信息的QR码的另一示例方法。该方法包括接收存储在计算装置的第一存储器中的数据以与一组图像一起编码。图像以三维阵列形式存储在计算装置的第二存储器中。根据存储在第一存储器中的数据生成具有一组QR码的三维阵列，使得每个QR码被表示为具有M行和N列的矩阵。生成包括一组具有M行和N列的K个矩阵的第二个三维阵列。 K个矩阵集合中的每个元素定义为存储在第二存储器中的一组图像的函数。将该K个M×N矩阵中的每一个划分为具有m行，n列和深度指数等于k个元素的三维子块。将存储在第二存储器中的每个图像的图像元素转换为根据视觉代价函数f（r，c，t）度量每个元素的视觉外观的标量值，其中r和c代表目标元素附近的矩阵行和列坐标， t代表在图像组内的目标图像。基于具有相同元素行，列和深度索引的子块中的对应QR码的元素值，修改每个图像子块中一个子集的元素值。在子块之内，为每个QR码矩阵定义一个元素子集，并用具有相同行，列和深度索引坐标的相应三维图像阵列中的元素替换它们。

还公开了一种包括存储器和处理器的系统。处理器在运行存储在存储器中的程序代码时执行将图像数据与二维（2D）码数据结合的功能。例如，处理器在计算装置中产生具有视觉图像信息的一组QR码。处理器还接收存储在计算装置的第一存储器中的数据以与一组图像一起编码。图像以三维阵列形式存储在计算装置的第二存储器中。根据存储在第一存储器中的数据生成具有一组QR码的三维阵列，使得每个QR码被表示为具有M行和N列的矩阵。生成包括一组具有M行和N列的K个矩阵的第二个三维阵列。K个矩阵集合中的每个元素定义为存储在第二存储器中的一组图像的函数。将该K个M×N矩阵中的每一个划分为具有m行，n列和深度指数等于k个元素的三维子块。将存储在第二存储器中的每个图像的图像元素转换为根据视觉代价函数f（r，c，t）度量每个元素的视觉外观的标量值，其中r和c代表目标元素附近的矩阵行和列坐标， t代表在图像组内的目标图像。基于具有相同元素行，列和深度索引的子块中的对应QR码的元素值，修改每个图像子块中一个子集的元素值。在子块之内，为每个QR码矩阵定义一个元素子集，并用具有相同行，列和深度索引坐标的相应三维图像阵列中的元素替换它们。

还公开了一种具有可视图像信息的QR码的复制品。该QR码复制品包括一个带有QR码视觉外观的基底，其特征在于一个插入连续色调强度值的二进制有序网格，其中一个子集的值经过修改以最小化二进制QR码的视觉外观。

附图说明

附图以示例方式非限定性地描述本发明构思的一个或多个实施方式。在附图中，相似的附图标记表示相同或相似的元件。

图1描述了基于一组图形表示及其相应的矩阵码，半色调掩码和优先级矩阵实现嵌入的示例。

图2描述了针对来自视频的一组图形图像表示及其相应矩阵码，半色调掩码和优先级矩阵实现嵌入过程的示例。

图3描述了中心和周边被修改像素的密集度由每个图形表示的每个子块的两个参数p1和p2确定，并且唯一地确定了被修改像素的数量和位置。

图4显示了实现颜色优化处理的模块的可能实施例的操作流程。

图5显示了实现以上示例的系统环境的示例。

图6是在个人计算机或其他工作站或终端设备上的简化功能框图。

图7是可被配置为主机或服务器的计算机上的简化功能框图，以实现图4中系统的用户系统功能。

本领域技术人员将认识到，为了简单和清楚，图中的元件不一定按比例绘制。例如，附图中的一些元素的尺寸可能相对于其他元素被放大，以帮助提高对本实例的的理解。

具体实施方式

本示例的方法或设备实现了利用人类视觉系统的时间和空间掩模效应将QR矩阵码或一组QR矩阵码嵌入到图形表示或多个图形表示中的技术。这些图形表示可以包括颜色，灰度或二进制矩阵或矩阵序列。嵌入过程基于在两个阶段之间交替的迭代过程。第一步是选择原始图形表示或多个图形表示中亮度将被修改的像素，第二步是在原始图形表示的较小子集中优化所选像素的亮度值。

本示例所公开的方法或设备接收作为输入的多个图形表示（即视频）或单个图形表示（即图像或标志），QR矩阵码或被编码成矩阵码或一组矩阵码的信息，一个半色调掩模或一组半色调掩模，以及表示为D = [D1，D2，...，Dk] 的一组参数，用于指定每个矩阵中的单元的中心区域的大小。除了这些参数集之外，该方法还接收另一组参数Pmax =[Pmax1，...，Pmaxk] 作为输入，该参数指定该组矩阵码中的每个矩阵码的解码信息的最大错误概率。

被修改元素的强度值的优化是在每个原始图形表示或者多个图形表示的较小的子块的上进行的。子块的大小可以为每个图形表示单独指定。原始图形表示或多个图形表示，QR矩阵或QR矩阵组，半色调掩模或半色调掩码组以及附加优先级掩码均被细分为具有指定大小的多维小块。

图1描述了基于一组图形表示及其相应的矩阵码，半色调掩码和优先级矩阵实现嵌入的例子。该流程图包括图像细分，强度优化阶段，图像合成，颜色优化和二维码嵌入输出等步骤。

图1中的彩色/灰度图形示例100包括图像细分和亮度优化阶段。说明QR码嵌入过程的不同阶段。例如，在110处，对过程100的输入是原始彩色/灰度图形图像111，以及QR码113，半色调掩模115和优先级掩码（由M_p掩模117表示）。原始图形图像111和QR码113在120处被划分为局部窗口。在130处，局部窗口可以被独立并且并行地优化。在130处的优化过程产生针对不同优化参数优化的窗口，例如p1,1； p1,2到p1，n。优化后的结果在140处被组合，之后在150处可以对组合图像进行颜色优化。在颜色优化之后，在160处生成2D码嵌入图像。来自260的嵌入图像可以被输出到打印机或显示器，或者可以被存储在存储器中（如其他示例中所示）。

图2还给出了针对来自视频的一组图形图像表示及其相应矩阵码，半色调掩码和优先级矩阵实现嵌入过程的示例。

图2中的彩色/灰度图形示例200包括对于从例如视频流提取的多个图形图像集合进行图像细分和亮度优化阶段。在210处，显示了一组图形图像表示211,221，... 2K1构成的三维块。在212处，执行窗口提取处理，其输入是图形图像表示，二维码如QR码，半色调掩码及区域优先级掩码。在这个示例中，说明了QR码嵌入过程的不同阶段。局部窗口在220处被独立且并行地优化。在220处的优化过程产生针对不同优化参数优化的窗口，例如p1,1,1； p1,2,1到p1，n，k。使用该最佳参数，可以在230处进行颜色优化，以及在颜色优化之后，在240处组合颜色优化的窗口，并且在250处产生2D码嵌入的图像。嵌入的图像可以被输出到打印机或显示器，或者可以被存储在存储器中（如其他示例中所示）。

待修改像素的选择(图3)

对应于矩阵码的每个单元的图形表示或多个图形表示中的待修改像素被分成两类：中心像素和周边像素。

在该组图形表示的一个三维块中的中心像素的选择通过在QR矩阵码的三维块的每个片段中选择每个单元的相应中心像素周围的一组像素来实现。图形表示集合中每个图形表示的该组像素可以变化，以便利用人类视觉系统的时间和空间掩模性质来使被修改像素的可见性最小化。所选择的像素数量可以以任意方式由输入参数集合D = [D1，D2，...，Dk] 决定。其包括但不限于直径为D像素的圆形区域或在每个边中具有D像素的正方形区域，其中并非所有像素都需要被修改。

周边待修改像素的选择基于使用掩模矩阵（如半色调掩模）来生成代码与图像之间平滑混合的感觉。图形表示集合中的每个图形表示可以使用不同的掩模矩阵。使用一组半色调掩模可以减少嵌入码的空间和时间视觉影响，并使QR码组成单元的视觉感知度最小化。

如图3所示，对于每个图形表示的每个子块，通过两个参数p1和p2来确定中心和周边待修改像素的密集度，并且唯一地确定待修改像素的数量和位置。待修改像素的确切位置通过半色调掩模得到，例如对蓝色或绿色噪声半色调掩模采用密集度p1和p2对中心和周边像素分别进行二值化得到。

图形表示的强度修改

对于给定的一组中心和周边的待修改像素，其强度的变化要使嵌入的图形表示与原始图形表示之间的空间和时间视觉相似性最大化。待修改像素的强度和密集度对于图形表示集合的每个三维子块独立地优化，最佳值通过最小化空间和时间视觉图像失真度，同时保持解码错误的概率低于预定义的阈值来确定。位置

处的嵌入图像

中的一个元素的像素强度值设定为相应的QR码元素值

以及原始图形表示

的强度的函数，其中t表示时间或深度（或片断）索引。输出亮度由下式给出：

其中

是一组n-2个强度参数，f是一个函数，它根据这些参数确定修改后的像素的强度值。参数

一般对应于各个像素或各个像素组的强度级别，例如被修改像素对应于值为1或0的QR码矩阵组中的像素。

在一个简单的例子中，我们考虑4个参数

和一个如下定义的可能的函数：

在一般情况下，对该组图形表示的每个三维子块优化一组独立的亮度参数

。对于彩色图像，嵌入图形表示的颜色通过在一定强度值限定下最小化适当颜色空间中的颜色距离来获得，所述强度值应该等于修改的强度

。

颜色优化

图4描述了实现颜色优化处理的模块的一个实施例的操作流程功能框图。处理400通过颜色优化模块405实现。处理400中的初始输入是原始彩色图形图像表示中的原始像素的颜色坐标，例如C = [v1，v2，...，vn]，其中v1 ，v2 ... vn是原始彩色图形图像表示的特定颜色空间中的各个颜色参数值。特定的强度等级对应于图像所设定的颜色空间中的颜色的子集，如RGB，CMYK，CMY或任何常见颜色空间。为了获得给定强度目标

在原始颜色空间中的最佳颜色坐标

，原始向量

在410处被变换成近似感知均匀的颜色空间，例如但不限于HSL，Luv或Lab。用（C1，C2，C3）一般性地表示该空间中的每个分量，强度

和颜色分量之间的关系表示如下：

其中

是从均匀颜色空间到原始颜色空间的反向变换，而g是在原始颜色空间中根据颜色坐标计算强度的函数（在递归步骤420和430）。然后采用下式获得感知均匀空间中的最优颜色值：

一旦在颜色模块405中确定了最佳值

，原始颜色空间中的新坐标可通过使用均匀空间与原始空间之间的正向变换来计算

。

在颜色优化中使用的目标强度

444对应于从亮度优化过程获得的修改的亮度

。

采样错误概率模型

为了确保嵌入码的可解码性，使用错误概率模型来对亮度参数的优化过程施加约束。这里描述了错误概率模型的一个示例，但在本例中也可以使用任何其它可充分预测错误概率的模型。

其中一个可采用的概率模型有两个组成部分。一个分量对应于采样QR模块中心区域的情况，另一个分量对应于中心外的采样。第一个分量定义为错误地恢复QR码单元中心的值的概率，表示为检测错误概率

。第二个分量是在中心区域之外对图像中的任何像素进行错误分类的概率，表示为二值化错误概率

。全局错误概率最终基于采样错误概率

（即错误地确定QR模块中心的概率）计算为：

。

对嵌入码的强度值的优化，要使得错误概率

低于所输入的预定义的阈值集合Pmax = [Pmax1，...，Pmaxk]。

二值化错误概率

的模型与在解码器处执行的二值化相机所获取强度图像的过程相匹配。一个这种模型的示例考虑到解码器使用局部阈值技术来二值化图像，其中阈值计算为局部窗口中的图像强度的平均值：

其中N是窗口W中元素的数量。也可以定义其他的阈值方法以考虑不同的解码应用或程序。

在对一系列图形表示进行嵌入的情况下，由相机

获得的强度图像可以由多个图形表示的时域叠加构成。

一般而言，对于基于阈值的任何二值化方法，错误概率的模型可以通过考虑在QR码中将特定元素分类为其正确值的相反的概率来计算：

。

这个概率是嵌入参数

的函数，由于相机的积分过程记录几个图形表示的强度之和从而直接影响

的值。

类似地，检测错误概率

定义为错误地检测每个单元的中心像素处的QR码值的概率（假设这可以被无误地采样），并建模为：

其中

是每个单元中心的QR矩阵码的值，

是每个单元中心的相机记录的强度值。

彩色和灰度图像的局部强度水平和待修改像素的密集度的优化

嵌入参数

的优化追求两个矛盾的目标，即错误概率最小化和嵌入视觉质量的最大化。为了量化嵌入质量，定义了顾及到人类视觉系统的空间和时间响应的考虑嵌入图像和原始图像之间的距离的代价函数。该函数表示为

，并且是嵌入参数

，图形表示集合，半色调掩模和作为输入提供的一组QR码矩阵的函数。

可以根据观看距离，打印或屏幕分辨率以及最适合手边应用的质量标准来定义不同的线性和非线性函数J。

这种函数的一个例子是SSIMplus索引或其他基于滤波器组的方法。修改后图像与该参数的相关性决定了与优化参数的相关性。所选择的视觉失真度量在修改矩阵和原始矩阵之间计算。

参数优化

最优嵌入参数

是以下优化问题的解：

其中

是QR检测器的错误概率模型，而

是解码错误的最大允许概率。该优化过程独立地应用于图形表示集合中的每个三维子块，然后在时间和空间上对参数进行内插，以为该组图形表示的每个元素生成一组值。图1给出了应用于图形表示集合的不同三维子块的这个优化过程的框图。

优化方案的质量和可靠性取决于中心尺寸集合D = [D1，D2，...，Dk]及另外一组输入参数Pmax = [Pmax1，...，Pmaxk] 。

图5显示了可以实现以上公开的示例的系统环境的示例。系统环境500可以包括用户系统529，网络525，多个外围设备561-569，网络服务器527，网络数据存储器528，多个输入设备551-553，数据网络545，例如因特网，数据网络服务器547和数据网络数据存储器548。用户系统529包括处理器（其在图9和图10中更详细地描述）和用于存储数据的存储器和有关上述生成嵌入图像示例的计算机程序指令。

在参照图5描述的示例中，图形图像表示522可以从一个或多个输入设备551-555，例如数字相机551，摄像机553，计算机系统555，扫描设备（未示出），或能够提供数字图形图像表示的任何其他设备中获得（如图2的步骤210）。

用户系统529可以从一个或多个来源接收二维码524（如图2中的步骤220）。例如，二维码524可以存储在数据存储器528中，数据存储器528可以由用户系统529经由网络525和网络服务器527访问。或者，二维码524可以存储在用户系统529的存储器中（在该示例中未示出）。在另一个替代方案中，用户可以输入希望编码为二维码的信息。基于输入信息生成二维码的计算机应用程序可以在用户系统529上执行以提供用于生成嵌入图像的二维码。类似地，如虚线所示，用户系统529可以接收信息，并且将信息转发（由虚线1表示）到服务器527。服务器527可以执行二维码生成计算机应用程序，生成（由虚线2表示）二维码524。二维码524被返回（由虚线3表示）到用户系统529以生成嵌入图像。在又一替代方案中，二维码可经由数据网络545和网络服务器547从数据网络数据存储器548取得。例如，二维码可以存储在数据网络数据存储器548中，或者可以提供用户输入的信息给网络服务器547，执行二维码生成计算机应用程序将信息编码为二维码，并且经由网络545和525将所生成的二维码返回给用户系统529。

在生成嵌入图像（经由图2的步骤230-250）之后，用户系统529可以通过有线或无线连接将嵌入图像转发到一个或多个外围设备561-569。例如，如果要在广告传单中使用嵌入的图像，则嵌入的图像可以被发送到打印机563，或者如果要并入海报或其它大的印刷品（例如广告牌广告，横幅等），可以发送到合适的打印机/绘图仪567。或者，可以通过智能电话561，计算机565或投影仪569和显示表面568提供嵌入图像的视觉显示。当然，所生成的嵌入图像可以经过不同的迭代优化，以显示在所有的外围设备561-569上。该视觉显示可以显示在有源显示器上，如液晶显示器（LCD）面板，LCD投影仪，数字光处理（DLP）投影仪，有机发光二极管（OLED）显示器，阴极射线管（CRT）监视器或等离子显示器。

当然也可以设想其它的例子，例如可以向服务器527或网络服务器547提供图像522（其可以是视频图像或视频流）和二维码524，并且根据上面描述的例子产生嵌入图像。

如上面的讨论所示，与所描述的图像嵌入相关的功能可以在经由分组数据网络器件连接进行数据通信的计算机上实现，作为如图5所示的用户设备和/或服务器。尽管可以使用专用设备，但是也可以使用一个或多个运行“客户端”程序和/或运行“服务器” 程序的通用的用户数据处理硬件平台来实现这样的设备。用户设备可以对应于用户系统529，而服务器计算机可以配置为实现上面讨论的嵌入图像生成功能。

如在数据处理和通信领域中已知的，通用计算设备，计算机或计算机系统通常包括中央处理器或其他处理设备，内部数据连接，各种类型的内存或存储介质（RAM，ROM，EEPROM，高速缓冲存储器，磁盘驱动器等）以用于代码和数据存储，以及用于通信目的的一个或多个网络接口。软件功能涉及编程，包括可执行代码以及相关的存储数据，例如，用于嵌入图像生成服务/功能的文件。软件代码可由用作数据网络服务器547或网络服务器527和/或用作嵌入式图像生成用户系统529的通用计算机执行。在操作中，代码存储在通用计算机平台。然而，在其他时间，软件可以存储在其他位置和/或通过传输以加载到适当的通用计算机系统中。通过计算机平台的处理器执行这样的代码使该平台能够实际上实现在此讨论和示出的生成嵌入图像的方法。虽然本领域技术人员可能熟悉这种计算机系统的结构，编程和一般操作，但考察一些高阶示例可能是有帮助的。

图6和图7提供了通用计算机硬件平台的功能框图。图6描述了具有用户界面元素的计算机，可用于实现客户端计算机或其他类型的工作站或终端设备，如果适当编程，图6中的计算机也可以作为主机或服务器。图7显示了通常可以用作服务器的网络或主计算机平台。

参考图6，可以用作用户系统529的用户设备类型计算机系统1151包括形成中央处理单元（CPU）1152的处理器电路。实现CPU 1152的电路可以基于任何处理器或微处理器体系结构，如现在在移动设备和其它便携式电子设备中通常采用的使用ARM体系结构的精简指令集计算机（RISC），或者在计算机中更常用的微处理器体系结构，如指令系统结构（ISA）或复杂指令集计算结构（CISC）。CPU 1152可以使用任何其它合适的架构。任何这样的架构可以使用一个或多个处理核心。CPU 1152可以包含单个处理器/微处理器，或者可以包含许多微处理器将计算机系统1152配置为多处理器系统。

计算机系统1151还包括主内存1153，用于存储至少一部分由CPU1152执行的指令和处理的数据。主内存1153可以包括若干不同类型的存储设备中的一个或多个，如只读存储器（ROM），随机存取存储器（RAM），高速缓存以及可能的图像存储器（例如，以增强图像/视频处理）。尽管未单独示出，内存1153可以包括如PROM（可编程只读存储器），EPROM（可擦除可编程只读存储器），FLASH-EPROM等的其他类型的已知存储器/存储设备或由其构成。

系统1151还包括一个或多个大容量存储设备1154（即内存）。尽管可以使用任何已知类型的磁盘驱动器或者甚至磁带驱动器来实现存储设备1154，但趋势是利用半导体存储器技术，特别是用于便携式或手持式系统的形态。如上所述，主存储器1153存储至少一部分由CPU1152执行的指令和处理的数据。大容量存储设备1154为较大量的程序指令和数据提供较长期的非易失性存储。对于个人计算机或其他类似的设备，大容量存储设备1154可以存储操作系统和应用软件以及内容数据，例如用于上传到主内存以及由CPU 1152执行或处理内容数据。内容数据的示例包括信息和文档以及各种多媒体内容文件（例如图像，音频，视频，文本及其组合），指令和数据也可以从CPU 1152和/或内存1153转移存储在设备1154中。

处理器/ CPU 1152连接访问存储在主内存1153和大容量存储设备1154中的各种指令和数据。尽管可以使用其他互连布置，但是该示例使用互连总线1155。互连总线1155还提供与计算机系统1151的其他元件的内部通信。

系统1151还包括用于通信的一个或多个输入/输出接口，例如经由网络1158进行数据通信的多个接口1159。网络1158可以是或者与图5的网络525通信。尽管窄带调制解调器也是可用的，但每个通信接口1159更多地通过有线，光纤或无线链路提供宽带数据通信能力。例子包括无线（例如WiFi）和电缆连接以太网卡（有线或光纤），移动宽带“通讯卡”和蓝牙接入设备。红外和可见光类型无线通信也在考虑之内。在系统1151之外，接口通过相应类型的链接到网络1158提供通信。在该例子中，在系统1151之内，接口经由互连总线1155向系统的其他元件传送和接收数据。

作为用户终端设备应用，计算机系统1151还包括适当的输入/输出设备和接口元件。该示例提供视觉和听觉输入和输出，以及其他类型的输入。尽管未示出，但该系统还可以支持其他类型的输出，例如，通过打印机。如果计算机系统1151为便携式计算机设备（例如，膝上型电脑，笔记本电脑或超极本），平板电脑，智能手机或者其他手持设备，则输入和输出硬件设备视为设备或系统1151的元件。但在其他实现方式中，输入和输出硬件设备中的一些或全部可以是经由有线或无线链路和适当的接口硬件连接到其他系统元件的分离设备。

作为视觉输出，计算机系统1151包括图像或视频显示器1161和相关联的解码器和显示器驱动器电路1162。显示器1161可以是投影仪等，但是通常是平板显示器，如液晶显示器LCD）。解码器通过标准格式解码视频或其他图像内容，而驱动器提供信号以驱动显示器1161输出视觉信息。 CPU 1152经由显示驱动器1162控制显示器1161上的图像呈现，以将来自设备1151的视觉输出呈现给用户，如应用程序显示和其它各种内容显示（如静止图像，视频，信息，文档等等）。

在该例子中，计算机系统1151还包括作为可见光图像传感器的相机1163。各种类型的相机均可使用。相机1163在实例中提供静止图像和/或视频流给编码器1164。编码器1164将相机连接到互连总线1155。例如，编码器1164将来自相机1163的图像/视频信号转换成适合于存储和/或其他处理的标准数字格式，并且经由总线1155将该数字图像/视频内容提供给系统1151的其他元件。允许CPU 1152控制相机1163的操作的连接为简单起见在此省略。

在该示例中，计算机系统1151包括配置为检测音频输入活动的麦克风1165以及配置为向用户提供听觉信息输出的诸如一个或多个扬声器1166的音频输出组件。尽管可以使用其他接口，但是如1167所示，该示例使用音频编码器/解码器（CODEC）来将音频与互连总线1155的数字媒体相互连接。CODEC 1167将来自麦克风1165的模拟音频信号转换成数字格式，并经由总线1155将数字音频提供给系统1151的其它元件。CODEC 1167还经由总线1155接收数字化音频，并将数字化音频转换为模拟信号输出以驱动扬声器1166。尽管未示出，但可采用一个或多个放大器来放大来自麦克风1165的模拟信号或者来自CODEC 1167用来驱动扬声器1166的模拟信号。

取决于计算机系统1151的大小和预期的使用/应用类型，系统1151还包括一个或多个各种类型的用户输入元件，综合示为1168。每个这样的元件1168具有相连的接口1169以经由总线1155将响应数据提供给其他系统元件。合适的用户输入元件1168的示例包括键盘或小键盘，光标控制元件（例如，鼠标，触摸板，轨迹球，光标方向键等）。

另一个用户界面选项提供了一个触摸屏显示功能。总体上，触摸屏显示器是向用户显示信息并且可以检测显示器区域上的触摸的发生及其位置的设备。触摸可以是手指，触笔或其他物体对显示设备的实际触摸;尽管至少一些触摸屏也可以感知对象何时靠近屏幕。将触摸屏显示器作为用户界面的一部分使用户能够直接与显示器上显示的信息进行交互。显示器可以基本上与以上图中所示元件1161相同。然而，对于触摸感测，用户输入1168和接口1169将包括触摸/位置传感器和相关联的感测信号处理电路。触摸/位置传感器是相对透明的，使得用户可以观看显示器1161上呈现的信息。感测信号处理电路从触摸/位置传感器元件接收感测信号，并检测由显示器和传感器组成的屏幕上每次触摸的发生及其位置。感测电路经由总线1155将触摸位置信息提供给CPU 1152，而CPU 1152可以将该信息与显示器1161当前显示的信息相关联，以确定经由触摸屏的用户输入的性质。

移动设备类型的用户终端可以包括与膝上型或台式计算机类似的元件，但是通常将采用更小也需要更少功率的组件，以便于实现便携形式。一些便携式设备包括相似但较小的输入和输出元件。例如，平板电脑和智能手机利用触敏显示屏，而不是单独的键盘和光标控制元件。

每个计算机系统1151运行各种应用程序并存储数据，实现经由用户接口的一个或多个交互，通过各种元件和/或通过网络1158实现嵌入图像生成服务或者处理二维码和图像以生成嵌入图像。例如，用户计算机系统/设备1151运行计算机应用程序，如网络浏览器和/或单独的嵌入式图像生成和/或颜色优化应用程序。

现在考虑服务器或主计算机，图7是可实现网络（或数据网络）服务器547，网络服务器527，用户系统529等功能的通用计算机系统1251的功能框图。网络服务器547可以基于经由数据网络545接收到的请求管理或访问数据存储器548，并且类似地，网络服务器527可以基于经由网络525接收的请求来管理或访问数据存储器548。

示例1251为服务器计算机的一种实现方式，例如，可以配置为服务器群中的一个服务端。或者，计算机系统可以包括能够经由网络1158进行基于网络的通信，媒体内容发布等的大型机或其他类型的主计算机系统。虽然显示为与服务于用户计算机系统1151的网络相同的网络，计算机系统1251可以连接到不同的网络。

本例中的计算机系统1251包括中央处理单元（CPU）1252，主内存1253，大容量存储器1255和互连总线1254。这些元件可以类似于计算机系统1151的元件，或者可以使用更高容量的硬件。形成CPU 1252的电路可以包含单个微处理器，或者可以包含多个用于将计算机系统1252配置为多处理器系统的微处理器，或者可以使用更高速的处理架构。本例中的主内存1253包括ROM，RAM和高速缓冲存储器；尽管其他存储设备可能被添加或替代。虽然半导体存储器可以用在大容量存储设备1255中，但是磁盘类设备（磁带或磁盘）和光盘设备通常在主计算机或服务器应用中以提供更高的存储容量。在操作中，主内存1253存储至少一部分由CPU 1252执行的指令和数据，虽然指令和数据也可经由互连总线在内存和存储器与CPU之间以类似于上面图6中系统1151类似的方式传输。

系统1251还包括用于通信的一个或多个输入/输出接口，如示例中示出的经由网络1158进行数据通信的接口1259。每个接口1259可以是高速调制解调器，以太网（光学，电缆或无线）卡或任何其他适当的数据通信设备。为了将嵌入式图像生成服务提供给大量用户的客户端设备，接口1259最好提供与网络1158较高速的链接。物理通信链接可以是光学的，有线的或无线的（例如，通过卫星或蜂窝网络）。

尽管未示出，但是系统1251还可以包括适当的输入/输出端口，用于与作为本地用户界面的本地显示器和键盘等互连，实现配置，编程或故障排除的目的。或者，服务器操作人员可以从远程终端设备经由互联网或其它链接通过网络1158与系统1251交互以对系统进行控制和编程。

计算机系统1251运行各种应用程序并将数据存储在数据存储器，如数据存储器528或548中，用于嵌入图像生成服务。一个或多个这样的应用程序能够生成QR码或其他类型的二维码，解码QR码或其他类型的二维码，传送网页和/或生成电子邮件信息等以传递一个或多个编码为QR码或其他二维码的信息，QR码或其他编入信息的二维码，及图形图像和嵌入图像，后者为QR码或其他二维码与信息和图形图像的组合。本领域的技术人员将认识到，计算机系统1251可以运行其它程序和/或管理其它基于网络或基于电子邮件的消息服务。

示例（图7）示出了计算机系统1251的单个实例。当然，服务器或主机功能可以以分布式方式在多个类似平台上实现，以分配处理负荷。可以提供额外的联网系统（未示出）以分配处理和有关的通信，例如，用于平衡负荷或故障切换。

如1151，1251之类的计算机系统的硬件，操作系统和编程语言在基本上是常规的，并且本领域的技术人员已经非常熟悉，从而了解对这样的计算机系统进行合适的配置和/或编程以实现本嵌入图像生成技术，特别是参照上面对图6的1151和图7的1251的描述。

因此，上面概述的生成嵌入图像的方法的各个方面可以体现在编程中，例如，以由用户计算机系统，服务器计算机或其它可编程设备可执行的软件，固件或微码的形式。该技术的程序方面可以认为是可执行代码和/或有关数据形式的“产品”或“制造品”，存储在机器可读介质中。 “存储”介质包括计算机，处理器等的有形存储器或其相关模块（如各种半导体存储器，磁带驱动器，磁盘驱动器等）中的任何一个或全部，其可以在任何时间为软件程序提供非临时性存储。所有或部分软件可以通过互联网或各种其它电信网络进行通信。例如，这样的通信可以使软件能够从一个计算机或处理器加载到另一个中，例如从二维码生成和/或图形图像嵌入服务提供者的管理服务器或主机到用户系统的计算机平台，既嵌入图像生成服务的客户端设备。因此，可以承载软件的另一种类型的媒体包括光波，电波和电磁波，如在本地设备之间的物理接口上使用的，及通过有线和光纤地面线路网络以及各种空中链路的光波，电波和电磁波。承载这种波的物理介质，例如有线或无线链路，光链路等也可以被认为是承载软件的介质。本文中，除非限制于“非暂时性”，“有形”或“存储”介质中的一个或多个，否则诸如计算机或机器“可读介质”的术语是指参与向处理器提供指令以供执行的任何介质。

因此，机器可读介质可以采取许多形式，包括但不限于有形存储介质，载波介质或物理传输介质。非易失性存储介质包括例如光盘或磁盘，如任何计算机中的任何存储设备，诸如附图中可用于实现生成嵌入图像过程的存储设备。易失性存储介质包括动态存储器，诸如这类计算机平台的主内存。有形的传输介质包括同轴电缆；铜线和光纤，包括在计算机系统内构成总线的导线。载波传输介质可以采取电或电磁信号的形式，或者诸如在射频（RF）和基于光的数据通信中产生的声波或光波的形式。因此，计算机可读介质的常见形式包括例如：软盘，软盘，硬盘，磁带，任何其他磁介质，CD-ROM，DVD或DVD-ROM，任何其他光介质，穿孔卡纸磁带，具有孔图案的任何其他物理存储介质，RAM，PROM和EPROM，FLASH-EPROM，任何其它存储芯片或盒式磁带，传输数据或指令的载波，传输这种载波的电缆或链路，或者计算机可以读取程序代码和/或数据的任何其他介质。许多形式的计算机可读介质可以用于将一个或多个指令中的一个或多个序列传送到处理器以供执行。

程序指令可以包括以任何希望的语言编程的软件或固件实现。编程指令，以计算机系统或设备的处理器可访问的可读介质形式，将计算机系统或设备定制为执行程序中指定操作的专用机器。

应该理解的是，这里使用的术语和表达具有与这些术语和表达相对于它们各自的查询和研究领域相对应的普通含义，除非这里另外阐述了其特定的含义。诸如第一和第二等之类的关系术语仅用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示这些实体或动作之间的任何实际的这种关系或顺序。术语“包括”，“包含”或其任何其它变型旨在覆盖非排他性的包含，因此包括一个元素列表的过程，方法，物品或装置不仅包括那些元素，而且可以包括没有明确列出或隶属于这样的过程，方法，物品或装置的其他元素。在没有进一步限制的情况下，前面带有“一”或“一个”的元素不排除在包括该元素的过程，方法，物品或装置中存在另外的相同元素。

除非另有说明，在本说明书（包括在随后的权利要求书中）中阐述的任何和所有的测量值，数值，等级，位置，量级，尺寸和其他规格是近似的，而不是确切的。它们旨在具有与它们所涉及的功能以及它们所属领域中的习惯相一致的合理范围。

尽管上文已经描述了被认为是最佳模式和/或其他示例的内容，但是应当理解，可以在其中进行各种修改，并且本文公开的主题可以以各种形式和示例来实现，并且它们可以应用于许多应用中，这里仅描述了其中的一部分。所附权利要求旨在要求包括在本发明构思范围内的任何和所有修改和变化。

在前面的说明中，已经描述了本示例的具体实施例。然而，本领域普通技术人员会理解，在不脱离如下权利要求书中阐述的本发明的范围的情况下，可以进行各种修改和改变。因此，说明书和附图应该被认为是说明性的而非限制性的，并且所有这样的修改被包括在本实例的范围内。任何益处，优点，问题的解决方案以及可能导致任何益处，优点或解决方案的元素都不应被解释为权利要求中关键的，必需的或基本的特征或元素。该示例仅由所附权利要求限定，包括在本申请未决期间做出的任何修改以及所发布的那些权利要求的所有等同权利要求。

Claims

1.一种在计算装置中产生一系列含有图像信息的QR码的方法，该方法包括以下步骤：

接收待编码数据并存储在该计算装置的第一存储器中，并接收一系列图像以三维矩阵形式存储在该计算装置的第二存储器中；

从存储在第一存储器中的数据中生成一个包括一组QR码的三维矩阵，使得每个QR码被表示为具有M行N列和一时间索引的矩阵，其中每个矩阵中的每个元素是两个唯一值之一；

生成包括K个M行N列矩阵的第二个三维矩阵，其中第二个三维矩阵中的每个元素具有行M，列N，矩阵K的坐标，并且每个元素定义为存储在第二存储器中一系列图像的函数；

将该K个M×N矩阵中的每一个划分为m行，n列和深度等于k个元素的三维子块；

基于具有相同元素行，列和时间索引的子块中的对应QR码的元素值，修改每个图像子块中一个子集的元素值，其中深度索引基于k；及

在每个子块之内，定义一个QR码子块中元素的子集，并用具有相同行，列和时间索引坐标的相应图像子块中的元素替换它们。

2.如权利要求1所述的方法，其中存储在第二存储器中的三维矩阵是一个M×N矩阵中的每个元素具有单个标量值的灰度图像。

3.如权利要求1所述的方法，其中存储在第二存储器中的三维矩阵是一个M×N×K矩阵中的每个元素由红色，绿色和蓝色标量值构成的彩色图像。

4.如权利要求1所述的方法，其中存储在第二存储器中的三维矩阵包括该组图像表示中的每个图像表示的阿尔法透明度层。

5.如权利要求1所述的方法，其中在m行n列和k深度的子块内部的元素子集是d行d列的k个正方形矩阵的集合，其中d <m且d <n。

6.如权利要求1所述的方法，其中在三维图像矩阵中被调整的元素子集以伪随机方式分布在m行n列和深度k的子块内。

7.如权利要求1所述的方法，其中在三维图像矩阵中被调整的元素子集分布在m行n列和深度k的子块内，并且其位置由存储在第三存储器中的预定顺序决定。

8.如权利要求1所述的方法，其中对存储在第二存储器中图像的元素值的修改是通过使一代价函数最小化来实现的。

9.一种在计算装置中产生一系列含有图像信息的QR码的方法，该方法包括以下步骤：

从存储在第一存储器中的数据中生成一个包括一组QR码的三维矩阵，使得每个QR码被表示为具有M行N列和一时间索引的矩阵，其中每个矩阵中的每个元素是两个唯一值；

将存储在第二存储器中的每个图像的图像元素转换为根据视觉代价函数f（r，c，t）度量每个元素的视觉外观的标量值，其中r和c代表目标元素附近的矩阵行和列坐标，t代表在图像组内的目标图像；

基于具有相同元素行，列和深度索引的子块中的对应QR码的元素值，修改每个图像子块中一个子集的元素值；及

在子块之内，为每个QR码矩阵定义一个元素子集，并用具有相同行，列和深度索引坐标的相应三维图像阵列中的元素替换它们。

10.如权利要求9所述的方法，其中对存储在第二存储器中的图像的元素值的修改是通过最小化视觉代价函数f（r，c，t）来实现的。

11.如权利要求10所述的方法，其中对存储在第二存储器中的图像的元素值的修改是通过对解码错误的概率施加限制来实现的。

12.如权利要求11所述的方法，其中对解码错误的概率的限制是从包括K个M行N列的优先级矩阵组的三维矩阵中导出的。

13.如权利要求12所述的方法，其中该组优先级矩阵由用户提供。

14.如权利要求12所述的方法，其中该组优先级矩阵是从存储在第二存储器中的图像推导出的。

15.如权利要求12所述的方法，其中解码错误的概率如下计算:

将QR码矩阵集合，图像矩阵集合和优先级矩阵集合在以子块为中心的具有P <M行和Q<N列和R <= K深度个元素的重叠窗口中划分；及

应用涉及重叠窗口和n个参数

的代表错误概率的函数，其中函数的应用唯一地确定三维图像矩阵中的被修改元素的位置和值。

16.如权利要求15所述的方法，其中参数

对应于子块中被修改元素的密集度。

17.如权利要求15所述的方法，其中参数

对应于决定如何转换被修改元素的强度的强度参数。

18.如权利要求15所述的方法，其中解码错误的概率为以下两个分量的线性组合：

定义为在解码器处错误地采样子块中心的检测错误概率；及

定义为在解码器处错误地检测QR码矩阵的任何元素的二值化错误概率。

19.如权利要求15所述的方法，其中代价函数f（r，c，t）是重叠窗口和n个参数

的集合的函数。

20.如权利要求9所述的方法，其中代价函数通过被修改图像组与原始图像组的视频之间的视觉感知度获得。

21.如权利要求9所述的方法，其中代价函数包括一个在感知均匀的颜色空间中的距离度量，以便确定原始图像矩阵集合与经过修改的图像矩阵集合之间在子区域上的色差。

22.如权利要求19所述的方法，其中两个额外的多元函数：g(

) and h(

)实现不等式g(

)<0和等式h(

)=0的约束。

23.一种系统，包括：

一个存储器；

一个处理器，在运行存储在存储器中的程序代码时执行将图像数据与二维（2D）码数据结合的功能，所述功能包括：

接收待编码数据并存储在计算装置的第一存储器中，并接收一系列图像以三维矩阵形式存储在计算装置的第二存储器中；

在子块之内，为每个QR码矩阵定义一个元素子集，并用具有相同行，列和深度索引坐标的相应三维图像阵列中的元素替换它们以生成嵌入的时域图像。

24.如权利要求23所述的系统，还包括：

一个显示装置；

其中所述处理器在运行存储在存储器中的程序代码时还执行包括以下功能的功能：

在显示设备上显示嵌入的时域图像。