CN103038781B - 隐藏图像信号发送 - Google Patents

Abstract

对图像进行编码以定义一个或多个空间区域，所述一个或多个空间区域可以由具有适当装备的移动装置（例如，智能电话）感测到，但是对于人类而言无法察觉。当这样的移动装置感测到这些区域之一时，该移动装置采取行动作为响应（例如，再现相关联的音调、播放链接的视频、等等）。一种编码形式采用对图像的处于较高空间频率的颜色含量进行修改的操作。在一个实施例中，所述编码操作包括：通过在第一色度通道中添加信号能量来变更图像的变换域表示形式，其中所添加的信号能量主要落入变换域空间中的分段弧区域内。在另一配置方案中，智能电话显示器既呈现从一场景拍摄的图像数据，又呈现所述图像数据的变换表示形式。

Description

隐藏图像信号发送

相关申请数据

本技术包括对以下文献中详述的受让人的先前所做工作的改进、并且在不同的实施例中利用所述先前所做的工作：美国专利6,122,403、6,408,082和6,590,996，以及已公开的申请20060115110、20070189533、20080112596、20080300011、20090116683、20100046842、20100048242、20100150434、20100317399、20100261465、20110098029、20100165158、20110098056和20100228632。假定读者熟悉所述先前所做的工作，并且能够将这些教导结合到利用这里详述的技术的实现方案中。

技术领域

本技术主要涉及智能电话与图像（例如在印刷物上发现的图像）的交互。

背景技术

智能电话正在越来越多地与“视觉搜索”应用程序一起被利用。一种视觉搜索应用程序对印刷图像（例如，杂志中或产品包装上的印刷图像）中隐写编码（即，隐藏）的数字水印数据进行解码，并且使智能电话能够链接到相关联的信息和服务、或者采取其他行动。示例性的数字水印技术和视觉搜索应用程序被详述在上面引用的专利文献中。

透视变形有时候会干扰数字水印数据的恰当解码。也就是说，如果智能电话以相对大的离轴角度（例如，大于15或30度）对带有水印的物体成像，那么隐藏的水印数据可能会因该透视观察角度而充分变形使得解码算法无法识别它。

相关的顾虑是用户困惑。如果用户使用智能电话对杂志页面成像、并且没有迅速检测出水印，这是因为该页面没有包含智能电话应当响应的水印吗？或者这是因为杂志页面以不适当的透视角度度被呈现吗？

因此，合乎需要的是，无需精确定位智能电话就能向用户提醒水印数据的存在。

同样合乎需要的是，帮助用户拍摄具有相对小的透视变形（例如，小于15或30度）的图像。

根据本技术的一个方面，尽管透视角度超过30、45、或60度或更大，仍能可靠地检测到隐藏数据的存在。

根据本技术的另一方面，智能电话（例如，在显示屏幕上）提供反馈，该反馈帮助用户定位智能电话，使得拍摄的图像具有相对小的透视变形。

根据参考附图给出的以下详细说明，本技术的前述和许多其他特征及优点将更加明了。

附图说明

图1示出包含利用各种键编码的多个热点区域的图像。这些键可以被视为YB半球形空间色度键（YB-Dome spatial chromakey）。图中描绘的是空间上重叠的“模拟”色度编码区域。这些区域基本上对人眼来说是“不可见的”，但是可被数字水印检测器看到。

图1A示出与图1相似的另一图像，智能电话可以与该图像进行交互，从而产生不同的音乐声。

图2是可以与图1A的图像结合使用的方法的流程图。

图3是示出可在智能电话中通过检测图1的图像中的一个或多个热点区域而触发的一些不同行为的图。图中描绘的是音频模式和HotMap（GLO）模式。

图4示出用户与根据本技术编码的图像进行的交互可以采用运动。

图5示出在空间频域中将图像分解成亮度和双色度通道，以及将键（key）嵌入Y-B通道。特别详述的是YB半球形信号空间的分配，包括这样的信号如何接管某些频带——无需与现有艺术品分享。

图6是示出人类视觉系统对图5的三个通道的敏感度随图像空间频率而变的图。

图7示出可以在单个色度通道内编码多个不同的键。

图8示出可以利用智能电话的视场的子区域来检测图像中的键。

图9A和9B示出如何通过图像的透视变形或其他变形来使键扭曲，从而允许这样的变形得以确定。

图10A和10B示出傅立叶空间中的分段弧（segmented arc）内的可用于表示键的不同频谱信号能量。

图11A-11C示出键可以具有谐波关系、并且可以结合二进制编码被使用。

图12示出傅立叶空间中的另一种键表示形式。

图13示出空间频率域中的其他标记信号。

图14示出包含图13的标记信号的印刷物的混合域视图。

具体实施方式

如图1中所示，根据本技术的一个方面对图像10进行编码从而定义一个或多个区域（CK1、CK2等），所述一个或多个区域可以由具有适当装备的移动装置（例如，智能电话/蜂窝电话）检测、但是对于人类而言无法察觉。当这样的移动装置感测到这些区域之一时，该移动装置作为响应而采取行动。

图像10的内容可以是任意的。为了说明的清晰起见，未示出细节（除了隐藏区域以外）。

所述区域可以具有任何形状；仅示出了一些。如图所示，所述区域可以以分层的方式重叠。每个区域具有与该区域相关联的键（例如，CK1、CK2等）。因为优选实施例采用基于色度的嵌入配置方案，所以这些键可以被称为色度键（chroma key）。然而，可以可替换地使用其他嵌入配置方案。

（附图标题中的“YB”是指黄色－蓝色。“半球形”是指傅立叶空间中的如下面进一步详述的那样表现各键的弧形区域。）

图1A示出示例性图解，其采用隐藏在硫磺岛战役纪念雕塑照片中的7个区域，但是为了说明的目的将其显示为可见。当智能电话感测到最左边的区域时，智能电话再现“C”音调的乐符。相邻区域会使智能电话再现“E”音调的乐符。类似地，下一个相邻区域会使智能电话再现“G”音调的乐符。

最顶部区域会类似地使智能电话再现“C”音调的乐符。然而，在其下方的是使智能电话再现E^b乐符的区域。再下方是上面提到的“G”区域。

如果用户将适当编程的智能电话从左向右水平地扫掠穿过图像，使得智能电话的摄像机“看到”顺次的多个区域构成的水平行，那么会发出C大调和弦进阶的声音。相反，如果用户将智能电话向下竖直地扫掠穿过图像中的指示区域，那么会发出C小调和弦进阶的声音。

更特别地，在该实例中，利用四个不同的键对各区域进行编码。同一个键（CK1）被同时用于最左边区域和最顶部区域，因为它们都对应于相同的乐音。对于其他三个区域，使用不同的键CK2、CK3和CK4。

在所示的实例中，图像10还用已知的方式被加有数字水印（DWM）从而隐写地传递辅助数据的多比特有效载荷（例如，32或128比特）——尽管并不总是需要这样。这多个比特可以标识在确定什么样的响应应该与哪个键相关联的过程中由识别智能电话查阅的数据结构。

多比特辅助数据对数据结构的标识可以通过各种方式。一种方式是指向本地或远程表格、或者指向数据库记录的指针（例如，地址）。在该实例中，所述数据结构表明如果检测到CK1，那么智能电话应该再现“C”乐音（即，262Hz）。完整的表格可以指示智能电话按照如下所示的方式对不同的键做出响应：

CK1	再现262Hz音调
		CK2	再现330Hz音调
CK3	再现392Hz音调
		CK4	再现311Hz音调

表格I

该表格仅是示例性的，并且说明性的响应比经常发生的响应更基本——仅仅是为了方便说明。

音调可以从最初检测到对应的键区域开始发出固定的持续时间（例如，1秒钟），或者音调可以持续与该区域处于智能电话摄像机的视场内的时间一样长的时间。在后一种情况下，可以通过定位摄像机使得摄像机可以看到一些或全部所描绘的区域，来再现多个音符构成的和弦。当摄像机远离图像移动时用更多的音符增强该和弦，并且当摄像机靠近图像移动时该和弦变成更少的音符。

使用辅助数据表明什么样的响应应该与不同的键相关联，允许对用户体验进行简单的动态改编，即使是利用“固定”的图像。例如，通过简单地改变说明性辅助数据（水印）所指向的表格数据，图像可以触发完全不同的一组响应——这些全都无需修改图像。

图2示出了详述刚刚描述的方法的流程图。

图3和4进一步示出刚刚讨论的特征，由此智能电话摄像机检测图像中的不同隐藏区域，并且可以随着智能电话的移动而产生不同的输出。

图3中的“GLO”是图形潜伏叠盖（Graphic Latent Overlay）的首字母缩写词。该技术被详述在包括已公开的专利说明书20080300011和20090116683在内的文献中，并且指的是这样的配置方案：在移动电话拍摄的图像中检测到第一特征（一般是隐写编码的特征）会触发第二图形特征在移动电话屏幕上被显示——叠盖在检测出第一特征的图像上。在一些情况下，叠盖的特征被呈现在屏幕上的位置取决于第一特征在移动电话视场中的位置。叠盖的特征也可以被扭曲以便与第一特征的表观扭曲相对应。

相关的技术被详述在专利公开20110098029和20110098056中，在所述专利公开中这样的叠盖特征被称为“小玩意”（并且可以基于所拍摄图像的可见特征和/或隐写特征）。

因此，作为当感测到键区域时播放乐音这一方案的替代，智能电话可以通过将图形显示叠盖在所拍摄的图像上来做出响应。

当然，播放乐音和叠盖图形显示只是键区域的检测可以触发的无数行为中的一些。当感测到一个或多个隐藏区域（其可以被视为“热点”）时，可以类似地触发任何想象得到的动作或脚本（script）。

作为特定的实例，考虑曲棍球队成员的照片。利用不同的隐藏键（CK1-CK20）标记每个球员的脸的椭圆区域。当用户将智能电话摄像机指向特定球员的脸时，对应的键得以检测。水印也从图像中得以检测（并且可以跨越整个图像）。水印有效载荷指向类似上述表格I的表格，该表格具有与键CK1-CK20中的每一者对应的条目。该表格继而可以存储去往Flash视频演示的链接，所述Flash视频演示驻留在NHL万维网服务器上或者驻留在云中、并且示出该相应球员的赛季精彩片段。当用户移动智能电话摄像机以观看该球队照片中的不同的脸时，会在用户的智能电话上再现来自上一赛季的不同视频。

（水印有效载荷也可以服务于其他目的。例如，有效载荷可以包括指示智能电话在所拍摄图像内检测到多个键的情况下不提供响应的一个或多个标志比特。可替换地，标志比特可以指示智能电话提示用户将摄像机定位成更靠近图像中的一个特定特征（脸）。现有技术中所有利用水印发送信号的手段也可以结合本方案被采用。）

尽管通常在空间（或像素）域中感知图像，但是许多其他表示形式也是有用的，如本领域技术人员所熟悉的那样。通常，这些其他表示形式被称为“变换域”。一种流行的变换域是傅立叶空间（当与图像一起使用时，一般被称为空间频率域）。通过将例如离散傅立叶变换（DFT）或离散余弦变换（DCT）应用于图像（或者作为一个整体，或者更通常地被划分成正方形区域，例如8x8像素或32x32像素），将图像分解成一组系数——每个系数表示对应空间频率分量的幅度。所得的这组信息可以被描绘在复数半平面坐标系中，如图5中所示。

图5的左边部分示出样本图像（例如，之前呈现的硫磺岛战役纪念雕塑图像）的代表性空间频率域表示形式。利用传递辅助数据的现有技术数字水印对该图像进行编码。（适合的水印被详述在专利6,590,996中。）水印信号能量散布在其余的图像能量当中，并且在图5中不能单独地被识别出来。

可以将图像划分成组分图像平面，例如亮度通道和双色度通道（R-G（红绿）和Y-B（黄蓝），每个双色度通道具有其自己的傅立叶空间表示形式）。傅立叶空间中的这三个通道被显示在图5的右侧。

在所示的实施例中，将键编码到图像区域中是通过在色度通道之一（例如，Y-B）中加入能量来实现的。这可以得到实现而不会产生令人不快的可视效果，因为人类视觉系统（HVS）对颜色的敏感度比对亮度的敏感度低。

这在图6中示出，图6绘出随着以周每度为单位表示的空间频率而变的针对亮度、红绿色度、和黄蓝色度的HVS敏感度。（该图以在12英寸的观看距离处采集的数据为基础。）可以看出，HVS敏感度在高于10周每度（cpd）的色度空间频率处急剧下降，并且在20周每度处引人注目地降低。高于25或30周每度的敏感度基本上是零。

相反，摄像机中使用的图像传感器一般可以区分处于这样的空间频率的色度特征。

因此，为了把键编码到图像区域中（例如把CK1编码到图1或图1A中），可以将能量加入到黄蓝色度通道，合乎需要地在高于10、20、25或30cpd的频率处加入到黄蓝色度通道，其中在高于10、20、25或30cpd的频率处，加入能量的效果对人类观察者而言通常无法察觉，但是可以根据光学传感器数据容易地检测到。

在优选实施例中，加入的能量不需要唯一地高于所指示的频率。但是合乎需要的是，大部分加入的能量（例如，多于50%、75%、95%、或98%的部分）处于该范围中。

在该实施例和其他实施例中，所加入能量的幅度也可以按比例缩放，以便实现期望水平的可见性（或不可见性）。在其他实施例中，如果所加入能量的幅度足够低以致于在视觉上不会令人不快，那么可以采用主要低于10cpd的频率的信号能量。

在傅立叶空间中进行适当编码的一个实例在图5的右下方通过黑带示出。该加入的信号能量在这些频谱频率（包括相位）的已有图像能量中占优势，但是其效果通常对于人类观察者而言基本上无法察觉。其效果是在色度空间中切出一区域、并分配该区域来表示隐藏的键。通过这样进行编码，具有适当装备的智能电话检测器可以迅速发现图像中存在隐藏区域、且确定其范围，并对这样的发现做出响应。

在许多情况下，合乎需要的是能够区分不同的键（例如图1中的CK1、CK2等）。这可以通过利用所选择的（例如，Y-B）色度通道（包括相位）中的不同傅立叶域信号能量区表示不同的键来实现。这样的方案在图7的右上方示出。

特别地，该空间域绘图示出从150a至150j的10个键。在图1中，可以通过把与拱心石形状的傅立叶区150a相对应的信号能量添加至区域CK1来对该图像区域进行编码。同样，可以通过在由拱心石区域150b-150e表示的空间频率处加入能量来对图像区域CK2-CK5进行编码。可以通过添加与标为150f-150j的空间频率区域相对应的能量来表示五个额外的键。（应认识到的是，所讨论的绘图包含十个不同的键。图像的特定区域并不是必须在傅立叶空间中具有该描绘出的信号构成。更可能的是，只存在一个或一些拱心石特征。）

同样，上述的图并未示出相位，而相位是这些隐藏信号的有用维度。相位分量会有助于提高对这些键的检测的确定性（即，提高信噪比）。

在一个特定实施例中，不同的键可以具有相反的相位极性（类似于+1/-1）。一个键CK-a可以由在整个区域上具有特定相位分布的拱心石区域150a表示，而另一个键CK-b可以由处于同一拱心石区域150a中、但是相位分布相对于键CK-a有180度相位差的能量表示。这导致键空间的加倍（例如，十个区域150a-150j可以表示20个可区分的键）。

又一多键配置方案在图7的右下方示出。这里采用了傅立叶空间中的N个相互正交的信号。为了举例说明的目的，简单的实例是：一个信号是图像频率为f的正弦波。另一实例可以包含相同频率的余弦信号。第三个实例可以包含频率为2f的正弦信号。等等。（傅立叶空间中的正交信号的设计处于本领域技术人员的能力范围内，尽管这些信号难以用简单的图来表示。一种观点是，如果两个键的相位分布的乘积为零，那么这两个键是正交的。）

通常，图像中的所有键以相同的量值进行编码，通常按照在再现的图像中使键被再现为对于人类而言无法察觉的水平来进行编码。使所有键具有均一的量值在检测方面会是有用的，因为检测到一个键就提供了可用于帮助鉴别其他键的存在的量值信息。

在一些实施例中，某些键可以具有不同的量值（例如，某些键可以部分地处于“开启”状态）。这可以用于进一步扩展编码空间。例如，键CK-c可以具有键CK-d的量值的一半的量值，但是这两个键在频谱频率含量和相位分布方面是相同的。作为单个键的二进制值（例如，+相位和-相位）的替代，可以使用四进制和其他多值符号。

如果检测器知道不同量值之间的关系（例如，一些键是100%“开启”的；一些键是50%“开启”的，并且又一些键是25%“开启”的），那么该知识同样可以用作区分各键时的基础。（这些可以被视为“模拟键”。）

在采用多个键的系统中，每个键可以触发不同的动作（例如，图1A实例中的不同乐音）。当多个键在一图像区域（例如，图1中的CK5与CK1重叠的地方）中重叠时可以触发另外的动作。因此，在10键系统中，可以存在分别与十个键相对应的十个响应。九个另外的响应可以对应于键1与键2-10之一重叠的区域。八个另外的响应可以对应于键2与键3-10重叠的区域。七个另外的响应可以对应于键3与键4-10共存的区域。等等。因此，在只考虑多达两个键层的系统中，可以定义55个不同的状态。（如果三个或更多键发生重叠，可能的状态自然会出现几何增长。）

如果键具有不同的量值，那么由键触发的响应可以相应地变化。在图1A的音调实例中，例如，如果键CK3的量值是其他键的量值的一半，那么其对应的音调可以按照其他键所触发的音调音量的一半来再现。

智能电话检测器可以对其预期会遇到的不同的键应用傅立叶域模板，从而寻找隐藏信号的存在。这可以包含执行与各个键模板中的每一者相乘的操作、从而判断结果输出信号是否超过阈值的相关检测器。

模板可以包含比所要寻求的键的精确边界更大的傅立叶空间，从而允许在图像变形（随之发生傅立叶空间中的键的变形）的情况下检测到键。

通常，智能电话摄像机具有矩形视场（例如，2048x1536像素）。在一些情况下，合乎需要的是，智能电话摄像机只对该视场的子区域中的键做出响应。这样的配置方案在图8中示出，其中完整摄像机视场是图像帧190，而只有在子区域192内发现的键才会触发响应。子区域的形状可以是任意的；所示出的矩形（宽度大约为250像素、高度大约为900像素）仅仅是示例性的。

在另一配置方案中，区域192是圆形的或椭圆形的。此外，控制来自区域192的采样图像数据的使用的软件可以应用中央凹滤波器（foveal filter）：利用位于区域中心的所有像素进行最敏锐的检测，但是对区域192周围附近的像素进行更稀疏的采样，使得敏感度或敏锐度逐渐减小。（作为丢弃更远的像素使其免于考虑这一方案的替代，可以对远离中心的像素群求平均值，从而产生中央凹效果：密集的像素信息处于区域中央，并且较低分辨率的像素信息处于更远的距离。）

（这样的中央凹滤波可以是许多不同类型的图像处理的开端，所述不同类型的图像处理包括特征和对象识别、机器视觉、水印解码、指纹计算、基于图像的语境确定、以及在前面引用的专利公开中详述的其他类型的处理。）

使用本技术的配备有摄像机的检测器可以辨别键区域的空间范围，例如将区域边界识别到十个或更少成像像素的精度（例如，5至10个“水印像素（waxel）”——水印信号元素）。检测器因此可以对隐藏的键“成像”，例如产生隐藏的键在图像内的位置的虚拟地图。

如果预先知道键的几何形状（例如，如果键是圆形、或正方形、或等边三角形），那么这些键在所拍摄图像中的形状可以用于表征该图像的任何离轴观察情况。该信息继而可以用于帮助检测图像中编码的任何水印信号。

例如，装置处理器可以与已知的键形状的变形相一致地对图像数据进行再采样。如果已知键包括长度相同的两个平行边缘，而出现在所拍摄图像中的第一边缘比第二边缘短50%，那么处理器可以按照沿着第二边缘的情况的空间频率的两倍的空间频率对沿着第一边缘的图像点进行再采样——对于沿着中间平行线的情况使用内插的采样率。然后可以将水印解码处理应用于再采样的图像，其中该方面的透视扭曲已经从所述再采样的图像中被有效地去除。

处理透视图的更复杂的方法不需要知道几何键形状。而是，该方法依赖于对键的傅立叶域表示形式的认识。

为了举例说明，原始图像可以包括具有图9A中所示的傅立叶域形状的键。如果从离轴观察角度拍摄图像，那么键形状可能会膨胀，例如产生图9B中所示的傅立叶域表示形式。从图9A到图9B的变换会揭示出摄像机所观察到的图像的表观变换（例如，仿射和透视扭曲）。

（例如，智能电话中的）经编程的处理器可以执行对傅立叶空间中的弧状特征的强力搜索，然后根据所发现的弧的形状探查图像的对应扭曲参数。另一种方法采用基于傅立叶－梅林的处理，以便利用类似于专利6,408,082和6,590,996中详述的技术的技术来在傅立叶域图像数据内定位变形的弧区域。

所详述的键在傅立叶空间中通常是明显的，从而允许通过这样的方法来迅速确定扭曲参数——至少在总体意义上。一旦由此辨别出粗略意义上的图像观察角度（例如，辨别到5或10度内），那么就可以相应地对图像数据进行再采样，例如，就好像从沿轴线的摄像机观察角度拍摄那样。然后通常在数字水印信号中发现的校准信号（例如，依据刚刚引用的专利）可以用于解析再采样的图像中剩余的小变形，从而允许准确地读取较大的有效载荷水印数据。

本领域技术人员应认识到的是，所引用的水印技术中的校准信号充当搜索空间加速器。本文中详述的键技术可以被看作是补充校准信号，并且可以调谐检测器来搜索离轴摄像机角度。用于此目的的键可以采取傅立叶Y-B量值空间中的珍珠状特征所构成的成对的交错排列的串的形式（即，例如图12中所示的傅立叶域中的两个同心的峰值串）。检测器可以随后应用一系列模板并采用傅立叶－梅林分析，所述一系列模板与在以阶跃增加的离轴角度（例如，以5度为步长，从0到45度）观察图像的情况下出现在傅立叶域中的这些键特征（或其他已知的键特征）相对应。

该操作适合于由基于云的处理器迅速执行，例如在250ms或更少的时间内。智能电话可以将来自摄像机视场中心的32x32像素区域（或者在像素域中，或者在变换到傅立叶空间之后——可能带有不会破坏水印信号的压缩）发送给云处理器。云处理器继而将上述模板应用于所接收的数据以定位键信号，并将观察角度的估计值返回给智能电话。智能电话随后根据该估计的观察角度来对图像进行再采样，并应用上述水印解码处理来提取水印有效载荷。

（智能电话和云之间的其他操作分工方式同样是可能的，例如由云来完成包括提取水印有效载荷在内的所有处理。）

在一些实施例中，键可以被设计成具有“脆弱”特性，以便帮助进行图像/文档认证。例如，隐藏的键可以由处于或接近供成像传感器检测的高频极限的频谱频率构成。也可以对这些信号的量值进行裁制，使得在原始图像中几乎不能检测到键。如果扫描并重新印刷原始图像，那么该小幅度和/或高频率数据将很可能会退化，使得不再能够检测到所述小幅度和/或高频率数据。可以利用这样的技术来设计CCD、CMOS和其他图像传感器，以便在组合式系统中实现期望的特性。

该技术的一个应用是小键盘，例如类似于传统上用来打开保险箱、设置警报器等的那种小键盘。例如，智能电话可以从印刷介质或另一屏幕拍摄图像帧，并参考从图像或其他辅助数据中解码的水印来叠盖示出触摸板的图形。用户可以触摸屏幕上显示的不同按钮。触摸敏感屏提供输出坐标数据，根据所述输出坐标数据可以确定所拍摄图像中的与这些触摸相对应的像素区域。在所拍摄图像中的这些区域检测到的隐藏键被记录，并且这些键的序列定义了“组合”或用户输入的其他代码（例如CK4、CK2、CK5、CK9）。如果输入的代码匹配存储的序列，则可以采取行动。或者可以根据键击来采取其他行动（例如对恒温器进行重新编程，如已公开的申请20100261465中详述的那样）。

在变型实施例中，根据拍摄的图像辨别隐藏键的轮廓，并且使隐藏键的轮廓以图形叠盖物的形式可见。同样，这些图形叠盖物可以按照期望的序列触摸。通过参考这些键并结合水印，可以采取响应动作。

在另一变型中，图形叠盖物可以随着另外的键被触摸而变化。

尽管详述的配置方案采用数字水印来传递借以确定与感测到的键区域相对应的动作的辅助信息，但是这并不是必须的。可以利用其他通信手段，例如RFID芯片、条形码、信头数据（header data）等。可替换地，可以计算图像的指纹，并将其与数据库中的参考信息匹配以识别图像，该识别结果也可以用于识别借以确定键和适当的响应之间的关联的元数据。（图像/视频指纹识别的实例被详述在专利公开7,020,304（Digimarc）、7,486,827（Seiko-Epson）、20070253594（Vobile）、20080317278（Thomson）和20020044659（NEC）中。）

在又一配置方案中，辅助数据不是必需的。而是，可以根据并未指向辅助数据或由辅助数据以其他方式表明的已知基准（例如存储在智能电话或其他地方的数据表）来对不同的键赋予含义。当检测到键时，查阅该基准来确定应该执行什么行为。

尽管详述的配置方案通常采用傅立叶变换（例如，FFT），但是可以可替换地采用任何数量的其他图像变换。其实例包括DCT、小波、Haar、Hough等。

应认识到的是，音调签名（例如图1A中所示的和弦进阶）可以用于对图像的真实性或其他属性进行迅速检查。

尽管参考隐藏或不可见的键，但是这只是程度问题，所述程度可以被调谐以满足特定应用的需求。例如在一些应用中，一些可见性是可接受的。

如本文中使用的那样，“主要地”是指多于一半（50%）。“占优势地”是指多于75%。“基本上”是指多于95%。“几乎唯一地”是指多于98%，并且“唯一地”是指100%。

分段弧区域的实例是图5和6中用实心黑显示的区域。这些区域不包括复平面的原点——因此如果关于坐标轴产生镜像，那么会在中心产生间隙。换句话说，分段弧区域通常部分地通过这样的弧段表征：该弧段充当距原点的距离非零的边界的一部分，所述非零距离对应于最小图像频率。实际地说，分段弧区域同样由外边界限制，所述外边界是距原点的有限半径——表示最大图像频率。同样，分段弧区域通常不包含水平（u）轴或垂直（v）轴的任何部分。在特定实现方案中，可以存在一个分段弧区域，或者可以存在一些分段弧区域。（在许多情况下，这些区域可以绕一坐标轴（例如v轴）产生镜像。）

加入/减去的信号能量通常被置于分段弧区域内。然而，该信号能量不需要完全占据该区域。图10A的变换域平面100中示出了一个实例。弧区域102由内边界104和外边界106限定。该区域102不包括原点108。该区域102也不包括水平轴110或垂直轴112。处于该分段弧区域102内的是频谱能量得到增加的一个或多个空间频率区域114。每个这样的区域通常包含多于一个频率（例如，脉冲函数），尽管在变型实施例中可以使用单个频率。在变换平面中，每个区域通常在至少一个方向上、且一般在两个方向上具有尺度。

尽管图10A中所示的变换域信号能量区具有某种对称性（例如，绕着轴116），但这并不是必需的。例如图10B示出了另一配置方案。非对称配置方案在各种情况下是合乎需要的。

在一些情况下，在对图像进行编码时使用的各种空间频率区可以具有谐波关系。图11A和11B示出了一种这样的配置方案。图11A示出第一区域130。图11B示出第二区域132。区域132包含区域130的频率的两倍的频率。可以类似地使用另外的谐波。

同样，不同区域的使用可以用于二进制信号编码。区域130可以表示最低有效位，例如对应于十进制中的“1”。区域132可以表示次最低有效位，例如对应于十进制中的“2”。如图11C中所示的两个区域中的信号能量的相加因此对应于十进制中的“3”，等等。

在变型实施例中，通过从另一色度通道中减去信号能量，来以互补的方式匹配添加至一个色度通道的信号能量。这种嵌入形式被进一步详述在已公开的专利申请20100150434中。该方法允许使用较低频率的色度信号而不会产生看得见的退化，并且当根据引用的教导进行处理时该方法会在检测器中产生提高的信噪比。（在根据该技术的视频中，互补减法操作可以应用于同一个帧或视频序列中的下一个帧。）

尽管可以利用单个键来标记整个图像，但更通常的是，图像的子部分以这样的方式被标记。通常小于20%的图像区域利用任何特定的键来标记。更通常的是（例如，如图1和1A中所示），连续的键区域包括小于10%、5%、3%或1.5%的整个图像帧。

在实际应用中，诸如Adobe Illustrator等之类的艺术品创作工具无疑将被用来把键添加到图像中。隐藏的键可以以可见的方式表示在用户屏幕上，例如通过虚轮廓线、独特的交叉影线等，以便将其形状指示给用户。这些隐藏键可以利用例如已经由Adobe普及的工具、以已知的方式被拖曳和调整大小。创作软件可以进一步包括在屏幕上再现图像的印刷预览特征，所再现的图像包括处于隐藏形式的键——模拟印刷工作流程中固有的任何颜色空间变换和其他变形。（可以取决于印刷处理的类型或保真度来提供不同的印刷预览选项，例如高分辨率/完全饱和、低分辨率/低饱和、等等。）软件可以包括并排呈现两个视图（编辑和印刷预览）的查看模式。

可以为艺术家所使用的智能电话提供对应的测试应用软件，该测试应用软件从图像中感测添加的键，并把定量数据提供回给艺术家。当对艺术品做出改变时，该软件应用程序可以提供即时的反馈。诊断窗口可以显示在智能电话屏幕或创作终端（智能电话可以无线地、或通过USB等方式连接到该编辑终端）上。这些诊断窗口可以指示出键信号强度、键区域的表观尺寸、键检测的置信度水平等。

混合域显示

根据本技术的另一方面，智能电话呈现的显示既包括摄像机所拍摄的自然图像，又包括基于摄像机所拍摄的图像的变换域信息（例如，在空间频率域或傅立叶域中）。

前面的讨论详述了这样的说明性参考信号，其可以被编码到图像中以帮助隐写水印检测器确定是否存在水印。这些参考信号在空间频率域中被编码——在充分高的频率处、和/或利用使参考信号对于随意的人类观察者而言无法察觉的色度。

根据本技术的另外的方面，向观察者揭示某种这样的基于变换域的信息。

图13示出添加到印刷的主图像中的参考信号210的示例性空间频率域视图，其中实数分量由水平轴表示，并且虚数分量由垂直轴表示（所谓的“u、v”平面）。所示出的参考信号包含由空间域脉冲构成的五边形星群（pentagonal constellation）212，所述空间域脉冲的频率（即，距原点的距离）对于人类而言太高以致于无法察觉到，但是能够在智能电话摄像机中的图像传感器所产生的数据中检测到。（主图像的对应空间频率域视图在图13中未被示出，但是通常包含遍及u、v平面分散的信号——主要沿着水平轴和垂直轴集中。）

在图13的视图中，标记212集中在圆215上。（在所使用的特定颜色域中）人类视觉的极限通过较小的圆217示出。由圆217外侧的空间频率分量构成的特征（例如，标记212）的频率太高以致于对于人类观察者而言无法辨别。（如果标记212的空间频率较低，那么标记212与类似于精细的人字形编织结构（herringbone weave）的像素图案相对应。然而，在较高频率处，眼睛无法辨别编织图案。而是，该编织结构消散成表观平面（apparentflatness）。）

尽管示出了四个五边形标记星群212，但是当然也可以使用更少或更多数量的五边形标记星群。类似地，标记的形状不需要是五边形。

当智能电话摄像机检测到参考图案210时，智能电话可以由此辨别出摄像机和印刷物之间的相对距离、以及摄像机相对于该印刷物的任何旋转和倾斜。例如，如果摄像机被移动得更靠近该印刷物，那么放大的图像组分会被感测为具有较低组分的空间频率。因此，五边形标记朝更靠近原点的方向移动。如果（相对于参考信号最初被编码到主图像中的取向）旋转摄像机，那么五边形标记会类似地发生旋转。如果使摄像机倾斜使得印刷图像的一部分比印刷图像的其它部分更靠近传感器，那么五边形图案会发生歪斜。（它们的中心214不再落在以u、v的原点为中心的圆215上；而是，它们的中心214会落在椭圆上。）

图14示出示例性的智能电话显示画面220。在该图中，智能电话正在对谷类食品盒的一部分成像，所述谷类食品盒上的图片222占据屏幕的大部分。叠加在屏幕上的是检测到的参考信号的半平面绘图，其包括顶部的两个五边形参考标记。所示出的显示画面还包括用圆形虚线绘出轮廓的两个固定的目标区域224。通过朝向或远离谷物食品盒移动智能电话、并根据需要倾斜/旋转智能电话，用户可以使五边形标记212移动到两个目标区域224中。在该位置，对来自谷物食品盒的水印信号的读取被最优化（即，定位智能电话摄像机以拍摄该盒子的俯视图）。智能电话将立刻读取水印（很可能在把标记对准到目标区域中之前），并且智能电话将响应于检测到的数据而采取相应的动作。

合乎需要地，按照随着检测到的参考信号的强度而变化的可见度（强度）来呈现变换域叠盖物。如果未检测到参考信号（例如，根据图案检测器输出的检测度量），那么不呈现叠盖物。对于更强的信号，利用更大的对比度（与背景图像122相比较）来呈现叠盖的标记信号。在一些实施例中，利用取决于检测到的参考信号的强度而发生色度或发光度变化的色彩来呈现标记。

在一个特定实现方案中，对所拍摄图像的空间频率表示形式进行阈值处理，使得低于阈值的任何空间频率分量不被显示。这能防止显示画面由于所拍摄的谷物食品盒图片222的傅立叶域表示形式而发生退化。而是，只有叠盖的信号对应于标记信号。

类似地，可以对空间频率数据进行高通频谱滤波，使得只有高于阈值空间频率（例如，图13中的圆217所指示的空间频率）的图像组分才被显示。

圆形目标区域224不是必不可少的。可以呈现其他视觉引导，或者可以完全省略其他视觉引导。在后一种情况下，可以指示用户定位智能电话，使得标记224是均匀的（即，水平地横跨）。如果对变换出的数据进行频谱滤波（如前面的段落中描述的那样），那么可以指示用户朝向或远离对象定位智能电话，直到标记刚好出现。（在实际的实践中，标记212的五个点看起来有点像小仙子的外形——一个头、两只手和两只脚，尤其当以颜色再现时。用户因此可以得到指示去“寻找小仙子”。可以通过对每个标记的五个组成要素赋予不同的颜色而使标记的外观特别显眼，并且可以随着时间来改变标记的颜色，从而产生迷人的闪光效果。）

在图14中描绘的特定实施例中，在矩形框226中显示空间频率信息。除了充当空间频率信息的框架之外，该框还用于限定图片222内的像素的矩形子区域，其中在所述矩形子区域上执行变换域分析。也就是说，作为将整个图像帧转换到傅立叶域这一方案的替代，只有位于框226内的那些像素才进行这样的转换。这降低了智能电话处理器的负担。（可以将框226视为中央凹区域——处理器在帮助用户最佳地定位智能电话时处理器将其注意力集中到的像素子区域。）区域226内的像素亮度可以稍微提高或降低——从而进一步将该区域突出显示给用户。

结束语

尽管本说明书在前面提到了与本受让人的先前的专利申请的关系，但是这值得重复。这些公开材料应该前后一致地被解读并且被结合在一起作为一个整体解释。本申请人期望并且特此明确地教导每个公开文献中的特征与其他公开文献中的特征组合。因此，例如，本说明书中所述的方案和细节可以在已公开的申请20110098029、20110098056和20100228632中所述的系统和方法的各变型实现方案中使用，而这些专利申请的方案和细节也可以在本说明书中所述的系统和方法的实现方案中使用。对于其它提到的文献而言，也类似是如此。因此，应理解的是，本申请中公开的方法、元素和概念可以与那些引用的文献中详述的方法、元素和概念组合。尽管在本说明书中已经特别详述了一些组合，但是许多组合由于大量置换和组合的存在以及描述简洁的需要而尚未被详述。然而，根据这些教导，所有这样的组合的实现方案对于本领域技术人员而言是直接明了的。

本说明书中公开的不同实施例内的元素和教导也可以互换和组合。

尽管已经参考说明性实例描述和举例说明了我们的创造性工作的原理，但应该认识到的是本技术并不局限于此。

例如，尽管反复提及智能电话，但应理解的是，可以使用任何装置。前面引用的文献详述了可以在这样的系统中采用的各种装置和多样的硬件配置中的一些。

特别预期到的智能电话包括Apple iPhone4和遵循Google的Android规范的智能电话（例如，由HTC公司制造的Verizon Droid Eris手机，以及Motorola Droid2手机）。术语“智能电话”（或“手机”）应该被解释为包含所有这样的装置，甚至是严格地讲既不是蜂窝式电话、也不是电话机的那些装置。

（包括iPhone的触摸界面在内的iPhone的细节在Apple的已公开的专利申请20080174570中有提供。）

在本公开内容中提到的智能电话和其他计算机的设计是本领域技术人员所熟悉的。一般地说，各自包括一个或更多处理器、一个或更多内存（例如，RAM）、存储器（例如，磁盘或闪存存储器）、用户界面（其可以包括例如键区、TFT LCD或OLED显示屏、触摸或其他手势传感器、摄像机或其他光学传感器、罗盘传感器、3D磁力计、3轴加速计、一个或更多麦克风、等等，以及用于提供图形用户界面的软件指令）、这些元件之间的互连装置（例如，总线）、以及用于与其他装置通信的接口（其可以是无线的（诸如GSM、CDMA、W-CDMA、CDMA2000、TDMA、EV-DO、HSDPA、WiFi、WiMax、或蓝牙），和/或有线的（诸如通过以太局域网、T-l因特网连接、等等））。

本说明书中详述的处理和系统组件可以被实现为用于计算装置的指令，包括用于各种可编程处理器的通用处理器指令，所述可编程处理器包括微处理器（例如，Atom和A4）、图形处理单元（GPU，诸如nVidia Tegra APX2600）、数字信号处理器（例如，TexasInstruments的TMS320系列器件）、等等。这些指令可以被实现为软件、固件、等等。这些指令也可以被实现到各种形式的处理器电路中，包括可编程逻辑器件、场可编程对象阵列、和专用电路——包括数字的、模拟的、和混合模拟/数字电路。指令的执行可以在处理器之间分配、和/或跨越一个装置内的多个处理器或者跨越装置网络并行地进行。内容信号数据的处理也可以在不同的处理器和存储器装置之间分配。也可以使用“云”计算资源。对“处理器”、“组件”等的提及应该被理解为是指功能而不是需要特定的实现形式。

用于实现详述的功能性的软件指令可以根据这里提供的描述由本领域技术人员容易地编写，例如用C、C++、Visual Basic、Java、Python、Tcl、Perl、Scheme、Ruby等编写。根据本技术的某些实现方案的手机和其它装置可以包括用于执行不同的功能和动作的软件模块。

已知的浏览器软件、通信软件和媒体处理软件可以适合于许多这里详述的用途。

内容所有者借以把某些属性和体验赋予给内容（例如，通过水印触发的对某些动作的调用）的服务通常使用用户装置上的软件——或者处于操作系统（OS）中、或者作为应用软件。可替换地，该服务可以部分地利用远程资源来实现。

软件和硬件配置数据/指令通常被存储为可跨越网络访问的有形介质（诸如磁盘或光盘、存储卡、ROM、等等）所传递的一个或更多数据结构中的指令。一些实施例可以被实现为嵌入式系统——操作系统软件和应用软件对于用户而言无法区分的专用计算机系统（例如，基本的手机中的情况通常就是这种情况）。本说明书中详述的功能性可以以操作系统软件、应用软件和/或嵌入式系统软件来实现。

不同的功能性可以在不同的装置上实现。例如，在智能电话与远程服务提供商处的服务器通信的系统中，不同的任务可以专门由一个装置或另一装置执行，或者执行可以在各装置之间分配。从内容中提取水印数据只是可以以这样的方式分配的处理的一个实例。因此，应该理解的是，把一操作描述为由特定装置（例如，智能电话）执行这样的描述不是限制性的而是示例性的；该操作的执行由另一装置（例如，远程服务器）完成、或者在各装置之间分享也是可明确预期到的。

（以同样的方式，把数据描述为存储在特定装置上这样的描述也是示例性的；数据可以存储在任何地方：存储在本地装置中、存储在远程装置中、存储在云中、分布式的、等等。）

尽管本公开内容已经详述了动作的特定排序和元素的特定组合，但应认识到的是，其它可预期到的方法可以对各动作进行重新排序（可能省略一些动作并添加另外一些动作），并且其它可预期到的组合可以省略一些元素并增加另外一些元素，等等。

尽管是作为完整系统公开的，但是所详述的方案的子组合也是可分别预期到的。

尽管在静态图像的背景环境中描述了本技术，但是本技术也同样可用于视频，例如包含许多连续的帧或场。（静态图像可以采取任何已知的形式，例如，采取印刷物的形式或者被呈现在电子显示屏上。）

为了提供全面的公开而不过渡加长本说明书，本申请人通过引用将上面提到的专利申请和其他文献结合在本文中。（这些材料的全部内容被结合在本文中，即使在上文中仅是关于这些材料的特定教导而引用这些材料的。）这些参考文献公开的技术和教导可以结合到这里详述的方案中，并且这里详述的技术和教导也可以结合到这些参考文献公开的技术和教导中。读者被假定熟悉这些现有技术。

应认识到的是，本说明书已经详述了许多新颖配置方案。由于实际限制，许多这样的配置方案还没有在本申请的原始提交时被要求保护，但是申请人意图在要求优先权的后续申请中要求保护这样的其它主题。下面的段落回顾了一些创造性配置方案的不完全样本：

一个配置方案是利用具有由存储器中存储的软件配置的处理器的装置来对有色图像做标记的方法。该方法包括：在空间域或像素域中的图像内识别至少一个二维图像子区域。然后，通过变更子区域的变换域表示形式来将一个或多个色度键编码到所述子区域中，其中该变更操作包括：添加主要落入变换域空间中的分段弧区域内的图像信号能量。

在另一配置方案中，所述变更后的图像与不同的辅助信息一起被传送或存储。在该另一配置方案中，编码的色度键与辅助信息一起用于在包括图像传感器的移动装置感测到子区域时协作地定义对该图像子区域的响应。

另一配置方案是采用包括处理器部和摄像机部的便携式用户装置的方法。该方法包括：对由摄像机部拍摄的图像进行变换，以产生变换域中的对应数据。然后对该变换域信息进行分析，以检测变换域的分段弧区域中的信号能量（“键”）的存在。

在又一配置方案中，该方法额外地包括：接收多比特辅助数据、并通过使用这样的多比特辅助数据来确定与检测到的键相对应的响应。

又一配置方案包括：使用（例如，智能电话摄像机中的）传感器从一场景拍摄图像数据；计算所述场景的至少一部分的变换域表示形式；以及在屏幕上呈现基于所述变换域表示形式的显示画面。（这样的显示可以包括像素——其位置以所拍摄的图像数据的空间频率属性为基础。类似地，这样的显示可以包括像素——其亮度或颜色以变换出的图像数据的空间频率系数的幅度为基础。）

又一配置方案包括：使用（例如，智能电话摄像机中的）传感器从一对象拍摄图像数据；基于所拍摄的图像数据的至少一部分来计算变换域表示形式；在屏幕上呈现以所述变换域表示形式为基础的显示；以及通过参考所呈现的变换域表示形式，来引导用户相对于所述对象移动传感器。

又一配置方案包括：使用包括2D图像传感器的装置从一场景拍摄图像数据，其中所述传感器在跨越所述传感器的范围内具有均匀密度的感测元件（例如，如传统的CMOS或CCD传感器中那样）；将中央凹滤波功能应用于图像数据，其中在中央凹区域的外侧保持对图像数据的更稀疏的采样（与中央凹区域内保持的对图像数据的更密集采样相比较）；以及进一步处理经过中央凹滤波的图像数据。

实施或采用前述方法的装置、子组合、和计算机可读介质也是明确可预期到的。

考虑到本技术的原理可以应用于的许多实施例，应认识到的是，所详述的实施例仅是说明性的，而不应被认为是对我们的创造性工作的范围进行限制。而是，我们要求保护落入所附权利要求及其等价物的范围和精神内的所有这样的实施例。（这些权利要求仅包含本公开中的我们认为具有创造性的内容的子集。我们不会放弃未要求保护的主题，因为我们保留将来提交追加的权利要求的权利。）

Claims (18)

1.一种方法，包括：

接收图像数据；

根据所接收的图像数据在便携式装置的屏幕上呈现图像；

对所接收的图像数据的至少一部分进行变换以获得与其相对应的傅立叶域数据；以及

在所述屏幕上将所述傅立叶域数据的视觉表示形式与所呈现的图像一起呈现，

其中所述傅立叶域数据的所述视觉表示形式表示无法察觉的图像细节，所述图像细节的频率过高以致于人类无法察觉到所述图像细节。

2.如权利要求1所述的方法，包括：使用所述装置的摄像机部从一对象拍摄所述图像数据。

3.如权利要求2所述的方法，还包括：在便携式装置的屏幕上呈现定位辅助物，所述定位辅助物包含目标区域，用户能够通过相对于所述对象移动所述摄像机部来使所述视觉表示形式被置于所述目标区域中。

4.如权利要求1所述的方法，包括：仅对所述傅立叶域数据的高于阈值空间频率的组分呈现所述视觉表示形式。

5.如权利要求1所述的方法，其中所述视觉表示形式包括由傅立叶域脉冲构成的五边形星群。

6.如权利要求1所述的方法，其中利用随着所述无法察觉的图像细节的强度而变化的可见度，来呈现所述傅立叶域数据的所述视觉表示形式。

7.如权利要求6所述的方法，其中所述可见度随着所述无法察觉的图像细节的强度而非线性地变化，其中如果所述无法察觉的图像细节的强度小于阈值，则不呈现所述傅立叶域数据的视觉表示形式。

8.如权利要求1所述的方法，其中利用随着所述无法察觉的图像细节的强度而变化的颜色，来呈现所述傅立叶域数据的所述视觉表示形式。

9.如权利要求1所述的方法，包括：仅对所接收的图像数据的子部分进行变换。

10.如权利要求1所述的方法，其中呈现在所述便携式装置屏幕上的傅立叶表示形式包括u、v平面的一部分的绘图。

11.一种包括摄像机、屏幕和处理电路的便携式装置，所述处理电路被配置成使所述装置执行包括以下内容的操作：

从一对象拍摄图像数据；

根据所拍摄的图像数据在所述屏幕上呈现图像；

对所拍摄的图像数据进行变换以获得与其相对应的傅立叶域数据；以及

在所述屏幕上将所述傅立叶域数据的视觉表示形式与所呈现的图像一起呈现，

其中所述傅立叶域数据的所述视觉表示形式表示无法察觉的图像细节，所述图像细节的频率过高以致于人类无法察觉到所述图像细节。

12.如权利要求11所述的装置，其中所述处理电路包括通过存储器中的指令配置的处理器。

13.一种方法，包括：

使用便携式装置的摄像机中的传感器从一对象拍摄图像数据；

基于所拍摄的图像数据的至少一部分来计算变换域表示形式；

在便携式装置屏幕上呈现包含所述变换域表示形式的显示；以及

通过参考所呈现的变换域表示形式，来引导用户相对于所述对象移动所述便携式装置。

14.如权利要求13所述的方法，其中所述变换域包括空间频率域。

15.如权利要求13所述的方法，其中所述引导操作包括：在所述便携式装置屏幕上呈现显示画面，所述显示画面既包括(a)所述变换域表示形式，又包括(b)视觉引导物，当所述摄像机具有所述对象的特定视图时，所述变换域表示形式与所述视觉引导物对准。

16.如权利要求15所述的方法，其中所述特定视图包括所述对象的俯视图。

17.一种方法，包括：

使用包括2D图像传感器的便携式装置从一场景拍摄图像数据，所述2D图像传感器在跨越所述2D图像传感器的范围内具有均匀密度的感测元件；

将中央凹滤波功能应用于所述图像数据，从而产生位于中央凹区域外侧的一组较低分辨率的图像数据、以及位于所述中央凹区域内的一组较高分辨率的图像数据；以及

进一步处理经过中央凹滤波的图像数据，所述进一步处理包括：计算所述经过中央凹滤波的图像数据的变换域表示形式，并在所述装置的屏幕上呈现包含所述变换域表示形式的显示。

18.一种由计算装置执行的方法，包括：

接收空间域而不是空间频率域中的图像数据；

对所接收的图像数据进行变换以获得与其相对应的傅立叶域数据；以及

产生用于在显示器屏幕上呈现的数据，所产生的数据与所述傅立叶域数据的视觉表示形式以及所述图像数据的视觉表示形式相对应。