CN104335227B - 用于基于位置的导航和增强现实应用的锚点 - Google Patents

Abstract

一种用于编码信息的方法包括指定数字值以及提供包括在公共的顶点(74、84、96、98、104)处接触的并且具有选择的不同的各自的颜色的多个多边形(72、82、92、94、102)的符号(28、70、80、90、100)以便对指定的数字值进行编码。

Description

用于基于位置的导航和增强现实应用的锚点

相关申请的交叉引用

本申请要求于2012年6月6日提交的美国临时专利申请61/656,029的权益，其通过引用并入本文。

发明领域

本发明大体上涉及用于机器可读的符号的编码和解码的方法、系统和软件，并且具体涉及在提供基于位置的信息中使用这些符号。

背景

本领域中已知多种方法和标准，用于以可以被计算机使用图像传感器或其它的类型的光学传感器读取的形式编码信息。最熟知的这种类型的标准是条型码，包括传统的一维阵列条纹和二维条型码(例如QR码)。

其它的类型的基于图像的计算机可读的编码方案和符号已经在专利文献中提出。这些方案中的某些方案使用颜色信息，而不是常规的条型码提供的单色的符号。代表性的实例在美国专利7,936,901、5,869,828和7,020,327中进行了描述。

发明内容

本文描述的本发明的实施方案提供改进的类型的计算机可读的符号，以及用于使用这些符号的方法。

因此，根据本发明的一个实施方案提供了用于对信息进行编码的方法，其包括指定数字值，以及提供包括在共用的顶点处接触的并且具有选择的不同的各自的颜色的多个多边形的符号以便对被指定的数字值进行编码。

在一些实施方案中，符号包括具有多个顶点的棋盘形布置，多个顶点根据在顶点中的每个顶点处接触的多边形的颜色编码多个各自的数字值，并且符号编码通过组合被多个顶点编码的多个各自的数字值生成的被扩展的数字值。

通常提供符号包括把数字码分配到每个颜色，并且组合数字码以给出指定的数字值。在公开的实施方案中，数字码是表示多边形的颜色中的红色分量、绿色分量和蓝色分量的三位数字码。三位数字码可以是包括表示红色分量、绿色分量和蓝色分量中的每个的各自的二进制值的三位码，其中多边形的颜色选自包括红色、绿色、蓝色、蓝绿色、洋红色和黄色的颜色组，并且所述红色、绿色、蓝色、蓝绿色、洋红色和黄色分别地具有三位码(1,0,0)、(0,1,0)、(0,0,1)、(0,1,1)、(1,0,1)和(1,1,0)。

符号可以被提供而没有任何专用的记录标记。

在所公开的实施方案中，方法包括捕获符号的图像，并且通过探测在围绕公共的顶点的多个的角度之处布置的探针位置处的图像中的颜色来解码符号。通常探针位置全部被布置在距公共的顶点距离相同之处。

还根据本发明的实施方案提供了有形的介质，其具有根据上文描述的方法而设置在其上的符号。符号可以被印刷在介质上。

根据本发明的实施方案还提供了信息系统，其包括多个符号，每个符号包括在公共的顶点处接触的并且具有选择的不同的各自的颜色的多个多边形使得各个符号编码各自的数字值。服务器被配置为接收来自客户端装置的、指示由客户端装置在捕获和分析包含符号中的一个符号的图像时解码的数字值的消息，并且被配置为响应于该消息将对应于数字值的信息的条目提供至客户端装置。

在公开的实施方案中，多个的符号被分布在环境内的不同的各自的位置处，并且服务器被配置为响应于数字值确定客户端装置的位置并且被配置为响应于位置来提供条目。通常，条目包括被配置为由客户端装置覆盖在包含符号中的一个符号的图像的显示器上的图形元素。

根据本发明的实施方案还提供了计算机软件产品，其包括程序指令被存储在其中的有形的非瞬态的计算机可读的介质，当所述指令被计算装置读取时使装置捕获包括在公共的顶点处接触并且具有选择的不同的各自的颜色的多个多边形的符号的图像以便对被指定的数字值进行编码，并且使装置处理图像以便解码数字值。

在公开的实施方案中，指令使计算装置通过探测在围绕公共的顶点的多个角度之处布置的探针位置处的图像中的颜色来解码符号。

根据本发明的实施方案还提供了计算装置，其包括图像传感器，图像传感器被配置为捕获包含包括在公共的顶点处接触的并且具有被选择的不同的各自的颜色的多个多边形的符号的图像以便对被指定的数字值进行编码。处理器被配置为处理图像以便解码数字值。

在一些实施方案中，装置包括显示器，其被耦合以显示被图像传感器捕获的图像，其中处理器被配置为响应于数字值在显示器上叠加图形元素。附加地或可选择地，装置包括通信接口，其中处理器被配置为将包含数字值的消息通过网络经过通信接口发送至服务器，并且被配置为响应于该消息从服务器接收图形元素。

根据本发明的实施方案还提供了用于对信息进行编码的方法，其包括指定数字值，以及产生将被指定的数字值用具有不同的各自的颜色的一组颜色元素编码的符号，所述不同的各自的颜色在符号的图像中分别地被识别为红色颜色元素、绿色颜色元素、蓝色颜色元素、蓝绿色颜色元素、洋红色颜色元素和黄色颜色元素。通过以下方式产生符号，将蓝绿色颜料、洋红色颜料和黄色颜料施用于基板以便产生颜色元素，使得当颜色元素在sRGB颜色空间中进行测量时展示以下的红色强度特征、绿色强度特征和蓝色强度特征：

对于红色颜色元素，红色强度比蓝色强度和绿色强度大两倍；

对于绿色颜色元素，绿色强度比红色强度和蓝色强度大两倍；

对于蓝色颜色元素，蓝色强度比红色强度和绿色强度大两倍；

对于蓝绿色颜色元素，蓝色强度和绿色强度二者都比红色强度大两倍；

对于洋红色颜色元素，红色强度和蓝色强度二者都比绿色强度大两倍；以及

对于黄色颜色元素，红色强度和绿色强度二者都比蓝色强度大两倍。

另外地或可选择地，通过以下方式产生符号：把蓝绿色颜料、洋红色颜料和黄色颜料施用于基板以便产生颜色元素，使得颜色元素在sRGB颜色空间中进行测量时展示满足以下关系的红色强度特征、绿色强度特征和蓝色强度特征：

对于每个颜色c＝红色、绿色、蓝色，其中H¹ _c和L¹ _c分别是预期包含颜色c的颜色元素当中的颜色c的最高的观测值和最低的观测值，而H⁰ _c和L⁰ _c是在预期不包含颜色c的颜色元素当中的颜色c的最高的观测值和最低的观测值。

根据本发明的实施方案还提供了有形的介质，其具有根据任一个上述的方法设置在其上的符号。

根据与附图共同地进行的对其的实施方案的以下的详细描述将更完全地理解本发明，在附图中：

附图简述

图1是根据本发明的实施方案的、用于导航和增强现实显示的系统的示意性的绘图视图；

图2是根据本发明的实施方案的、图1的系统中的移动计算机计算装置的示意性的表示；

图3是根据本发明的实施方案的、示意性地示出了用于导航和增强现实显示的方法的流程图；

图4-7是根据本发明的实施方案的、多颜色计算机可读的符号的示意性的表示；并且

图8是根据本发明的实施方案的、示意性地图示了用于解码多颜色符号的方法的流程图。

实施方案的详细描述

综述

使用启用GPS的移动计算装置(例如智能电话、平板电脑和专用的导航装置)的户外导航已经获得广泛的接受。然而，在封闭的环境(包括室内设施和密集建筑物的城市区域二者)中，GPS导航不良好地起作用，并且用户要求是不同的。不仅用户想要用于找到步行的期望的目的地的精确的方向，而且用户的需要通常比户外的基于GPS的导航的更复杂和动态的。例如，用户可能希望定位特定的产品或活动，并且导航本身在三维(3D)环境中，经常地在不同的楼层或高度上，具有用于从一个楼层或高度运动至另一个楼层或高度的各种选项。导航选择因此将紧密地取决于用户的目的和偏好，以及物理移动性限制和能力。

同时，提供用于在室内复合体内的导航和路径查找的最优指令通常要求复合体的结构的和功能性的构造的详细的和深厚的知识。集成这种类型的知识通常要求拥有这样的知识的复合体的操作者的参与。操作者具有强烈的动机以满足用户导航需要以便提供更好的并且更高效率的用户体验，以及特别地以将用户引向适应他们的需要的产品和活动同时促进操作者的关注和在复合体内的承租人的关注。提供这种类型的集中的导航指令增加了用户将购买复合体中的产品和服务以及将在将来返回的可能性。

然而，现有的把导航指令传递至在封闭的环境中的用户的方法不能良好地适合于这种任务。常规地，通过地图以及通过通用的方向标志和设施的列表来提供导航指令，而推广内容出现在广告标志和显示器上。代替增强用户体验，这些通信装置可能把用户引导至认知过载和混乱的状态，其中大部分的信息内容在它们上被损失。

对该问题的一个解决方案是使用户能够选择点，他们希望接收关于这些点的信息，通过提供在这些点处的可以使用图像传感器(例如内置于大多数的移动计算装置中的照相机)进行读取的符号。然而，现有的类型的符号(例如QR码)，除非被印刷为非常大的，否则可能对于用户来说难以找到并且通常要求移动计算装置被保持为靠近于符号以捕获图像并且对其进行解码。

本文描述的本发明的实施方案提供克服现有的基于图像的编码方案的限制的新颖的计算机可读的符号以及用于使用这样的符号的方法。每个符号包括在公共的顶点处接触的并且具有被选择的不同的各自的颜色的多个多边形以便对被指定的数字值进行编码。为了编码更大的数字值，多边形可以被排列在具有多个的顶点的棋盘形布置中，其中每个顶点根据在该顶点处接触的多边形的颜色对各自的数字值进行编码。符号可以然后编码通过组合被多个顶点编码的各自的数字值生成的扩展的数字值。在所公开的实施方案中，在符号中使用的颜色以使移动计算装置能够可靠地且明白地对它们进行解码而与其中它们存在的照明条件无关的新颖的方式进行选择。

通常符号被印刷在有形的介质上，例如纸、塑料或任何其它的可印刷的基板，其然后可以被悬挂或以其它方式固定在期望的位置中，例如在墙壁或广告柱上。可选择地，这样的符号可以呈现在电子显示器上。有颜色的符号容易被用户看到并且识别。同时，使用内置于移动计算装置中的各种照相机以及如在下文描述的对捕获到的图像中的符号的大小不灵敏的算法，可以在大范围的距离内可靠地捕获符号的图像并对其进行解码。

所公开的符号因此是有用的，特别是在支持在封闭的环境中的导航以及实行在移动计算装置的屏幕上的基于位置的增强现实信息的显示方面是有用的。这样的符号当被耦合于合适的用于提供基于位置的信息的系统时，可以用于增强在这样的环境中的用户体验以及克服在上文解释的现有的解决方案的缺点。虽然本文描述的某些实施方案集中于这些类型的应用，然而，根据本发明的原理产生的符号可以类似地用于把被编码的信息提供至图像捕获和计算装置，也为了其它的目的。

系统描述

图1是根据本发明的实施方案的用于导航和增强现实显示的系统20的示意性的绘图视图。系统20的操作在本文被图示为在封闭的环境22中，例如在本实例中的密集地构建的城市环境或购物中心。该环境被以仅仅说明然而并且不限制的方式呈现，因为本发明的原理可以实质上在任何用户可到达的环境(无论室内还是室外)中实施。

寻求关于环境22的信息的用户24用灯光照射被张贴在墙壁上的符号28并且指导在他的智能手机26(或其它的便携式计算装置)中的照相机捕获包含该符号的图像。在这种类型的应用背影中使用的符号在本文中也被称为“锚点”。符号28包括具有不同的颜色的多边形(在本实施例中矩形)的棋盘形布置的图案。这样的图案参照下文的附图详细地描述。虽然为了简单性的目的，仅单一的用户和单一的锚点在图1中示出，但是环境22的操作者或在环境22中的其它的有权者将通常把多个锚点张贴在分布在环境内的各种不同的位置处，以使用户能够在所有的这些位置处访问位置基于位置的信息。为了被在环境内的用户的可靠的导航，通常期望的是，在任何给定的位置处存在对于用户清楚可见的至少一个锚点。

智能手机26中的处理器处理捕获到的图像以解码被符号28编码的数字值并且然后把指定该数字值的消息发送至服务器34。如下文说明的，消息还可以包括关于智能手机的一般的位置(来源于蜂窝信号强度或智能手机系统可用的任何其它的类型的位置信息)以及用户配置文件和搜索要求的数据。在该通信中，在如在下文描述的合适的应用的控制下，智能手机26用作客户端装置。在描绘的实施方案中，智能手机26经过无线接入点30与服务器34进行通信，无线接入点30被连接于网络32，如本领域中已知的。可选择地或另外地，智能手机26和服务器34可以经过蜂窝网络连接或经过任何其它的合适的类型的本领域中已知的通信链路进行通信。服务器34通常包括具有处理器、存储器和通信接口的通用计算机，通用计算机被合适的软件驱动以与客户端装置(例如智能手机26)进行通信并从而提供以合适的形式的基于位置的信息。

在可选择的实施方案中，智能手机或其它的移动计算装置可以通过预缓存有关的锚点数据并且在之后当特定的锚点被探测到时提取该数据而进行离线工作。这样的选项对于例如可能具有非常有限的(如果有的话)数据网络接入的旅游者可以是有用的。

图2是根据本发明的实施方案的智能手机26的示意性的表示。智能手机包括照相机45，照相机45被耦合到处理器46及存储器48和通信接口49，如本领域中已知的。智能手机26的用户界面通常通过触摸式显示器40被实施，虽然智能手机可以(可选择地或另外地)包括其它的类型的用户界面组成部分，例如定点装置和/或小键盘。处理器46在合适的软件的控制下执行本文描述的功能。例如，该软件可以以电子形式经过网络下载至智能手机26。另外地或可选择地，软件可以被存储在有形的非瞬态的介质上，例如存储在电子的、光学的或磁性的存储器中。

智能手机26仅是可以在本发明的实施方案中使用的移动计算装置的一个代表性的实例，并且具有合适的照相机、处理器、显示器和通信接口的其它的类型的装置可以等效地被用于执行本文描述的功能。这样的装置的实例可以包括平板电脑和其它的便携式计算机，以及安装在头部的装置，例如眼镜和专用的导航装置。

智能手机26捕获并且处理包含如上文提出的符号28的场景的图像(图1)，并且把包含被符号编码的数字值的消息且通常与如上文提出的其它的信息一起发送至服务器34。作为响应，服务器34把关于符号的位置的信息返回至智能手机。智能手机通常把该信息呈现在显示器40上，通常叠加在包含符号28的场景的图像上。因此，在图2中示出的实例中，假定用户24表达对购买地毯的兴趣，则处理器46把箭头42叠加在显示器40上，并且还可以加入指示到期望的目的地的方向的文本图注44或其它的图形信息。

这种类型的显示器(其中计算机生成的图形元素以使得模拟环境的实际的物理元素的方式叠加在真实的环境的图像上)普遍地被称为增强现实显示。箭头42和图注44仅仅是可以被在显示器40上显示的各种类型的增强现实元素的一个简单的实例。对应于被张贴在环境中的符号28的位置的各种元素和它们的位置被系统20的操作者选择和程序控制以提供视觉线索和推广内容(可能包括动画元素并且可能通过音频进行补充，可以根据在环境22中的不同的用户的个人偏好和目的进行变化)的丰富的选择。

图3是根据本发明的实施方案示意性地图示了用于导航和增强现实显示的方法的流程图。该方法针对系统20(图1)和智能手机26的元素描述，为了方便性和清楚性的目的；但是该方法的该原理可以被应用(必要的变通)在使用任何期望的类型的移动计算装置的实质上任何合适的应用环境中。

作为准备的步骤，在配置文件定义步骤50，智能手机26接收并且存储关于用户24的配置文件信息。用户可以响应于来自在智能手机上运行的客户端软件应用程序的查询主动地输入配置文件信息(包括个人细节和偏好)。可选择地或另外地，配置文件信息可以基于用户行为和其它的信息的来源被自动地组装。该应用程序本身可以被提供至用户24以用于当用户第一次进入环境22时下载到智能手机26。另外地或可选择地，该应用程序可以被预安装在智能手机上。

在环境22内，在用户初始化步骤52中，用户24打开客户端应用程序并且通常选择目标。目标可以是特定的目的地，例如饭店或商店的名称，或其可以是设施或活动的类型，例如购买地毯或找到最邻近的厕所。在图像捕获步骤54，用户24然后视觉搜索锚点(符号28)，并且当对其定位时，点击智能手机26以捕获包含锚点的场景的图像。

在处理步骤56，在客户端应用程序的控制下，智能手机26中的处理器46处理捕获到的图像以提取被符号28编码的数字值(也被称为锚点ID)。通常，在环境22中的每个锚点是不同的并且编码唯一的ID。处理器然后把指示了来自用户配置文件的锚点ID、客户端目标和有关的信息的查询发送至服务器34。可选择地或另外地，有关的用户配置文件信息可以被预存储在服务器34中。

服务器34使用被存储的关于环境22的信息处理查询。该信息通常包括环境的详细的地图，其指示设施和服务的位置以及所有的锚点的位置。服务器把该信息与如被用户查询提供的用户的位置、目标和偏好进行组合，并且产生响应。通常，这种响应包括一个或多个图形元素，以及也可能包括文本元素的和/或音频元素，用于将用户24引导至将满足他的目标的位置。响应还可以包括为用户配置文件和位置定制的推广信息。

在响应发送步骤58，服务器34把这种响应发送至智能手机26。在显示步骤60，在客户端应用程序的控制下，处理器46将响应的图形元素和文本元素呈现至显示器40。通常，在显示器上的被叠加在或以其它方式限制于在图像中的锚点的实际的位置的位置处，至少该图形元素表现为在显示器上显示的图像中的增强现实分量。(可选择地或另外地，智能手机26可以把锚点中的一些或全部锚点预缓存在其的紧邻的邻近处以减少在记号产生和显示器中的延迟。)

对于只要讨论中的锚点在智能手机26捕获到的图像中是可见的，处理器46就继续把信息呈现在显示器40上。当用户运动经过环境22时，在显示器40上的信息的位置可以与在捕获到的图像中的实际的锚点的位置一起改变。如果用户前进至在其处初始的锚点不再是可见的位置，那么他可以捕获包含另一个锚点的图像，并且在显示器40上的信息将据此被更新，直到用户到达期望的目的地。

符号设计

图4和5是根据本发明的实施方案的多颜色计算机可读的符号70和80的示意性的表示。符号70和80二者都包括在公共的顶点处接触的多个多边形。在符号70的情况下，多边形是在顶点74处接触的矩形72，而在符号80中，多边形是在顶点84处接触的三角形82。可选择地，其它类型的(具有五条、六条或更多条边的，不一定是全部相同的)多边形，可以被布置为在公共的顶点处接触。实质上任何类型的多边形和镶嵌图案可以被使用。期望的(虽然不是必要的)是，为了解码的容易性和可靠性，所有的在给定的顶点处接触的多边形具有不同的颜色。使用N_C颜色和N_P多边形公共的顶点，顶点可以采取种不同的形式并且因此可以被用于编码个不同的数字值。

图6和7是根据本发明的另外的实施方案的多颜色计算机可读的符号90和100的示意性的表示。在这些实施方案中，在每个符号中具有多个顶点的多个多边形镶嵌物的棋盘形布置被用于增加可以被编码的数字值的范围以及识别的可靠性。(术语“棋盘形布置”在本发明的描述中以及在权利要求中使用以指代具有几何形状的区域的镶嵌以便填充该区域而没有在形状之间的重叠或缝隙。)例如，符号90包括界定六个公共的顶点96、98的六边形的镶嵌物92、94，每个公共的顶点具有三个接合的镶嵌物。符号100包括被布置在3x3栅格中的矩形的镶嵌物102以便界定四个公共的顶点104。

符号90和100中的多个的顶点96、104中的每个顶点编码各自的数字值，并且这些值被组合以产生被扩展的数字值，例如通过串接顶点的单独的值。在符号100中的顶点，在镶嵌102之间的六个颜色不同的排列的情况下，可以因此被用于编码126,360个不同的值。此外，一旦围绕顶点104中的三个顶点的颜色的位置和分布是已知的，那么围绕第四顶点的颜色中的三个颜色的位置和分布被唯一地确定。如果第四顶点符合预期的位置和颜色分布，那么处理图像的移动计算装置将排斥符号并且以这种方式将避免符号值的错误和不正确的读取。

棋盘形布置的多顶点符号(例如符号90和100)应当针对大多数的应用和环境编码足够的数量的不同的数字值，例如在图1中图示的导航应用的类型。包含更大的数量的镶嵌物的符号可以被用于编码更大的值。非对称的棋盘形布置还可以被使用。辅助的信息(例如被GPS或蜂窝信号强度和手机号码提供的粗略的位置)可以被用于区分被铺设在不同的位置处的具有相同值的符号。

上文描述的符号示出的基于颜色的顶点居中心的编码的类型的一个关键的优点(特别是相对于本领域中已知的基于图像的编码方案，例如QR码)在于解码主要是尺度不变的。换句话说，移动计算装置捕获的图像中的符号的相对大小，以及因此装置和符号之间的距离，几乎不对或完全不对在大的大小范围上的解码有影响。

为了读取被候选顶点编码的数字值，例如，处理器46可以选择候选顶点位置并且然后计算在围绕在距顶点的某个位移处的顶点的每个多边形中的采样点的颜色。这些采样点，在本文中被称为探针或探针位置，通常位于沿着在多边形的颜色边缘之间的角平分线。探针的数量和它们之间的角度因此被围绕每个顶点的多边形的类型和数量决定，如在前述的附图中示出的。候选顶点位置(围绕候选顶点位置获得采样点)可以通过定位在顶点处接触的颜色边缘并且取得在颜色边缘的交叉部处的位置被找到，或它们可以通过任何其它的合适的准则被选择或甚至被随机地选择。只要多边形镶嵌物不小于某个位移向量，在这样的位移的多边形的颜色探测就将获得相同的颜色，与比例尺无关。

这种类型的顶点居中心的编码还对于旋转是鲁棒性的：只要旋转小于最小的顶点角度的一半(例如对于矩形的棋盘形布置小于45°)，那么就不需要沿着角平分线调整颜色探测方向。在大多数的智能手机和其它的移动计算装置中可用的惯性传感器(例如加速度计)提供的信息可以被用于区别颜色探测角度并且对其进行校正，而不考虑照相机本身的旋转。顶点本身作为记录标记起作用，使得不需要添加另外的记录标记到锚点。

颜色方案

实质上可以被图像传感器区分的颜色的任何集合可以被用于根据本发明的实施方案对围绕符号中的顶点的多边形镶嵌物进行上色。然而，发明人已经发现，颜色方案的某个类别在支持使用普遍地可用的图像传感器的可靠的高效率的颜色识别中是有利的。这种类型的颜色方案可以在产生用于上文描述的基于顶点的编码方法的符号中应用。这样的颜色方案不仅在该具体的编码方法中然而也在基于颜色的编码的其它的技术中是有用的。

在本发明的一个实施方案中，颜色的数量被设置为N_C＝6，使用原色“红色”(R)、“绿色”(G)和“蓝色”(B)和它们的各自的补充“洋红色”(M)、“蓝绿色”(C)和“黄色”(Y)的集合。该颜色集合具有一些优点：

·接合一些这样的颜色的原色以及甚至更多的这样的界面是在自然的环境中相对地稀有的。该特征对通过人类和计算机识别锚点并且辅助鲁棒性解码是有益的。

·RGB是被照相机生成的数字图像的原生的颜色空间。互补的颜色可以被容易地计算为M＝G+B，C＝R+B，Y＝R+G。

·N_C＝6对于矩形的、六边形的和三角形的棋盘形布置是足够的，如上文图示的。

本实施方案使用颜色的三维二进制表示：

1.R＝(1,0,0)

2.G＝(0,1,0)

3.B＝(0,0,1)

4.C＝(0,1,1)

5.M＝(1,0,1)

6.Y＝(1,1,0)

三个维度中的每个维度表示原色通道(PCC)。

在本实施方案中，围绕任何给定的公共的顶点的颜色全部被要求不同于彼此并且被要求在PCC中的每个PCC的二进制表示中变化，即围绕其所有的围绕的颜色具有相同的R、G或B位值的顶点不被允许。例如颜色R、G、B的三个镶嵌物的顶点依从该准则，因为没有二进制PCC对于所有的镶嵌物是恒定的。在另一个方面，颜色C、G、B的三个镶嵌不依从该准则，因为红色二进制PCC对于所有的它们是零。在六个颜色的集群中，这种约束仅适用于六边形的棋盘形布置，因为围绕顶点的不同的颜色的三角形的镶嵌物或矩形的镶嵌物的任何排列将满足该约束。

符号的矩形的棋盘形布置是有利的，因为其几何地匹配在成像符号中使用的传感器元件的棋盘形布置并且还趋于匹配用于在普遍的封闭的环境中张贴锚点的可用的空间。矩形的镶嵌物可以容易地被水平地扩展以补偿水平的投影缩减，当锚点的图像被成角度捕获时可能发生水平的投影缩减，如将经常是这种情况，而不是正面的。

图8是示意性地示出了根据本发明的实施方案用于解码上文的设计的多颜色符号(例如符号100)的方法的流程图。在颜色探测步骤110，对于每个图像坐标向量r＝(x,y)，表示符号的图像的给定的顶点位置，处理器46提取N_P颜色探测值V_p(p＝1,...,N_p)。这些值对应于在探针坐标v_p＝r+d_p的图像颜色强度I(v_p)。位移向量d_p全部具有相同的长度|d_p|＝d，但是对应于锚点几何构型的不同的取向。特别地，对于矩形的棋盘形布置，d₁＝(D,D)、d₂＝(-D,D)、d₃＝(-D,-D)并且d₄＝(D,-D)，其中是自然数。

通常，在相邻的位移向量之间的角度是2π/N_p。如上文提到的，位移向量的这种角度分布暗示关于高至π/N_p的图像旋转的鲁棒性。对于三角形的棋盘形布置，d_p＝四舍五入[d(sinφ_p,cosφ_p)]，其中φ_p＝(2p-l)π/N_p，对于p＝1,...,6。对于六边形的棋盘形布置，六个向量被分离为偶数和奇数p的两个集合，对应于如被图6中的顶点96和顶点98表示的顶点的两个可能的类型。

长度参数D决定最小的可探测的锚点图像维度。非常小的值(例如D＝1或2个像素)对应于非常局部的探针集合，其在原理上可以拾取被小的数量的像素(具有D²的数量级)捕获的锚点。在D的更大值的情况下，锚点识别变为更具鲁棒性，但是通常对于任何D≥3良好地起作用。甚至较大的符号仍然可以使用较小的D值进行鲁棒性识别，因为顶点被独立于锚点大小局部地定义。因此，使用D的一个选择足以探测小的锚点和大的锚点二者。

下一个阶段是把每个探针分类为N_C颜色中的一个N_C颜色。图8示出了为了该目的的可靠的方法，其实施在原生的RGB空间中的局部的白平衡的类型并且施加自动地排斥是潜在地不可靠的的候选顶点的要求的集合。具体地，在PCC估计步骤112，处理器46首先找到对于在探针中的每个探针的三个纯的(RGB)颜色通道(PCC)中的每个纯的(RGB)颜色通道(PCC)的最大强度值I_c ^最大＝max_p({I_c(v_p)})和最小强度值I_c ^最小＝min_p({I_c(v_p)})。具有必须高于某些绝对暗阈值Δ_c ^最小(即I_c ^最大>Δ_c ^最小)的任何给定的PCC的最大值的探针的第一个要求是在暗阈值估计步骤114进行估计。具有必须显著地小于该颜色的相应的最大值(即I_c ^最小/I_c ^最大<ρ_c ^最小)的给定的PCC的最小值的探针的第二要求是在比率阈值估计步骤116中进行估计。在失败步骤122，如果颜色探测值不能够满足这些要求，那么处理器46排斥候选顶点。

最后，基于在每个PCC中的极值之间的范围R_c＝I_c ^最大-I_c ^最小，处理器46基于相对阈值τ_c ^最小和τ_c ^最大把PCC二进制值V_p,c分配到每个探针，使得0<τ_c ^最小，τ_c ^最大<1，其中τ_c ^最小+τ_c ^最大≤1，在PCC指派步骤118。具体地：

V_p,c＝0 如果I_c(v_p)<I_c ^最小+τ_c ^最小R_c，

V_p,c＝1 如果I_c(v_p)>I_c ^最大+τ_c ^最大R_c，

并且V_p,c未以其它方式定义的。如果任何V_p,c在该阶段不被定义，那么对于顶点的测试失败，并且过程再次地在步骤122终结。

如果候选顶点成功地经过步骤114-118，那么处理器46以在二进制PCC表示中的三个一组(V_p,r,V_p,g,V_p,b)的形式把特定的颜色分配到每个探针。然而除了上文定义的六颜色方案之外，二进制三个一组(V_p,r,V_p,g,V_p,b)可以具有两个另外的不允许的配置：K＝(0,0,0)和W＝(1,1,1)。在颜色检查步骤120处理器46检查二进制PCC三个一组中没有一个是K或W并且没有围绕候选顶点的具有相同的颜色值的两个探针。通过探针之间的成对比较来检查后一个条件。

在顶点识别步骤124，如果这些最终的条件被满足，那么处理器46把对应于满足颜色顶点条件的像素的集群的中心的点识别为顶点。处理器通过组合单独的多边形颜色值来分配顶点ID，例如通过把每个探针的三位二进制PCC值转换为三数位二进制数并且然后把N_p探针连接为单一的二进制数。用于整个的多顶点锚点的ID可以被找到，例如，通过连接顶点的单独的ID。

顶点的鲁棒性探测可以被颜色的选择强烈地影响。因为锚点可以占据捕获到的图像的仅小的部分，所以它们的照明通常可以非常不同于总体的图像照明，这影响被照相机施加的曝光和增益。实际上，发明人已经发现，对于给定的锚点镶嵌物的PCC值的读取可以通常相对于将是对于该镶嵌物最优的被施加的曝光和增益以三的因数进行变化。例如，如果图像的大部分在完全的太阳光中但是锚点在阴影中出现，那么其PCC值与其中锚点也在完全的太阳光中的图像相比是非常低的。相反地，如果图像的大部分在阴影中但是锚点偶然被更强地照明，那么的PCC值将是非常高的。

待被考虑的另外的约束是真实的物体(包括颜色颜料)的反射性的颜色在颜色分离的方面具有物理的限制。因此，捕获到的“纯的颜色”的RGB图像将必需地也在“错误的”通道中具有不可忽略的贡献。例如，使用油墨浓度CMYK＝(100％,0,100％,0)在依从熟知的卷筒纸胶印出版规范(SWOP)的被校准的印刷机上生产“纯的绿色”的初级的尝试可以产生在捕获到的图像中的被RGB＝(0,166,80)给出的颜色值，其中红色的“错误的”通道具有80的不可忽略的值。为了避免这种类型的情况，其可以导致损失或误识别符号顶点，本发明的实施方案提供用于上文描述的用于颜色探测的参数的与待被用于实际上产生锚点的装置的颜色再现性能的共优化的方案。

为了支持这种类型的方案，引入了用于给颜色集合打分的方法。方法根据在捕获到的图像中的颜色集合锚点镶嵌物的实际的RGB值给颜色集合打分，或可选择地使用sRGB颜色空间以预测这些值。(sRGB颜色空间被IEC规范61966-2-1:1999定义并且普遍地在校准颜色图像传感器和照相机时使用。)用于锚点符号的颜色集合然后以优化该分数的方式进行选择。

为了计算分数，对于给定的RGBCMY颜色的集合，H¹ _c和L¹ _c被分别地取得为的是成为在颜色集合的二进制表示中是1的颜色c的最高的观测值和最低的观测值。相似地，H⁰ _c和L⁰ _c是在颜色集合的二进制表示中是0的颜色c的最高的观测值和最低的观测值。换句话说，H¹ _c和L¹ _c分别是在预期包含颜色c的颜色元素当中的颜色c的最高的观测值和最低的观测值，而H⁰ _c和L⁰ _c是在预期不包含颜色c的颜色元素当中的颜色c的最高的观测值和最低的观测值。对于c＝红色，例如，红色颜色元素、黄色颜色元素和洋红色颜色元素被预期含有这种颜色，而绿色颜色元素、蓝色颜色元素和蓝绿色颜色元素被预期不含有这种颜色。

例如，在被校准的SWOP印刷机上选择初级的颜色产生方案：

·R通过CMYK油墨密度(0,100％,100％,0)产生

·G通过CMYK油墨密度(100％,0,100％,0)产生

·B通过CMYK油墨密度(100％,100％,0,0)产生

·C通过CMYK油墨密度(100％,0,0,0)产生

·M通过CMYK油墨密度(0,100％,0,0)产生

·Y通过CMYK油墨密度(0,0,100％,0)产生

对于根据sRGB规范被校准的照相机，观察到的颜色值将然后是：

·捕获到的R-(237,28,36)

·捕获到的G-(0,166,80)

·捕获到的B-(46,48,146)

·捕获到的C-(0,173,239)

·捕获到的M-(236,0,140)

·捕获到的Y-(255,242,0)

这些测量值导致对于每个颜色的以下的高值的和低值：

·H⁰ _红色＝46，G、B、C中的最高的红色，在二进制表示中红色＝0的锚点颜色

·L⁰ _红色＝0，G、B、C中的最低的红色，在二进制表示中红色＝0的锚点颜色

·H⁰ _绿色＝48，R、B、M中的最高的绿色，在二进制表示中绿色＝0的锚点颜色

·L⁰ _绿色＝0，R、B、M中的最低的绿色，在二进制表示中绿色＝0的锚点颜色

·H⁰ _蓝色＝80，R、G、Y中的最高的蓝色，在二进制表示中蓝色＝0的锚点颜色

·L⁰ _蓝色＝0，R、G、Y中的最低的蓝色，在二进制表示中蓝色＝0的锚点颜色

·H¹ _红色＝255，R、M、Y中的最高的红色，在二进制表示中红色＝1的锚点颜色

·L¹ _红色＝236，R、M、Y中的最低的红色，在二进制表示中红色＝1的锚点颜色

·H¹ _绿色＝242，G、C、Y中的最高的绿色，在二进制表示中绿色＝1的锚点颜色

·L¹ _绿色＝166，G、C、Y中的最低的绿色，在二进制表示中绿色＝1的锚点颜色

·H¹ _蓝色＝239，B、C、M中的最高的蓝色，在二进制表示中蓝色＝1的锚点颜色

·L¹ _蓝色＝140，B、C、M中的最低的蓝色，在二进制表示中蓝色＝1的锚点颜色

为了减少在公共的顶点探测中的误报，每个暗阈值Δ_c ^最小被选择为尽可能地大。对于增加暗阈值Δ_c ^最小的限制在点达到，在该点它防止顶点的探测，当由于照明条件Δ_c ^最小变成大于L¹ _c时。因此，最大化暗阈值Δ_c ^最小等效于选择L¹ _c的大的值。相似地，最小增益比率ρ_c ^最小应当是尽可能的小，其等效于选择大的值1/(H⁰ _c+δ)。(恒定的值δ被引入以防止在H⁰ _c＝0的奇点。)把以上的两个观察组合为针对对应于最大化的照明变化促进可靠性的分数：

把δ设置为最大值255(假定每个颜色八位表示)方便地把分数束缚于0至1的范围。

τ_c ^最小的值和τ_c ^最大的值的严格的选择显著地减少遇到误报顶点的机会，从而增加顶点探测的可靠性。最严格的值τ_c ^最小和τ_c ^最大可以通过实现它们的下界分别地被(H⁰ _c-L⁰ _c)/(L¹ _c-L⁰ _c)和(H¹ _c-L¹ _c)/(H¹ _c-H⁰ _c)给出被发现。因为τ_c ^最小+τ_c ^最大≤1，所以这些要求可以方便地被组合为最大化：

两个分数被组合为单一的优化分数：S≡S^可靠性*S^强度。

对于用于锚点颜色产生的每个手段，上文提到的分数的优化过程被实施以获得锚点产生颜色的最好的集合。

对于上文提到的初级的锚点颜色产生方案，优化分数甚至不能够被计算，因为在计算以下时：

τ_蓝色 ^最小＝(H⁰ _蓝色-L⁰ _蓝色)/(L¹ _蓝色-L⁰ _蓝色)＝0.57以及

τ_蓝色 ^最大＝(H¹ _蓝色-L¹ _蓝色)/(H¹ _蓝色-H⁰ _蓝色)＝0.62，发现范围求和规则τ_c ^最小+τ_c ^最大≤1被违反。

以下的表格I和II示出了用于两个不同的类型的印刷油墨的锚点颜色产生方案的优化的结果，以最小化τ_c ^最小+τ_c ^最大并且因此最大化关于sRGB传感器的分数S：

表格I-美国编织物包覆(SWOP)

	锚点R	锚点G	锚点B	锚点C	锚点M	锚点Y
							蓝绿色油墨密度[％]	1	71	92	75	0	3
洋红色油墨密度[％]	91	0	91	23	90	45
							黄色油墨密度[％]	79	100	0	41	0	86
黑色油墨密度[％]	0	20	0	1	0	1
							sRGB红色	236	60	60	60	238	237
sRGB绿色	62	153	62	152	61	153
							sRGB蓝色	62	60	153	153	150	61
比色L	54	56	30	58	56	71
							比色a	66	-43	21	-28	72	27
比色b	42	39	-51	-9	-7	59

表格II-包覆的FOGRA27(ISO 12647-2-2：2004)

	锚点R	锚点G	锚点B	锚点C	锚点M	锚点Y
							蓝绿色油墨密度[％]	0	80	95	77	0	9
洋红色油墨密度[％]	87	0	85	10	86	42
							黄色油墨密度[％]	85	100	0	49	0	89
黑色油墨密度[％]	0	0	0	0	0	0
							sRGB红色	229	31	29	35	230	230

sRGB绿色	62	161	62	161	61	160
							sRGB蓝色	46	45	143	143	140	44
比色L	54	56	30	58	56	71
							比色a	66	-43	21	-28	72	27
比色b	42	39	-51	-9	-7	59

因此，如可以在以上的实例中看到的，在选择蓝绿色颜料、洋红色颜料和黄色颜料的比例以施用于基板是在上文提出的打分准则的使用导致其颜色元素(在本实施例中多边形镶嵌物)可以被在符号的图像中不含糊地识别为红色颜色元素、绿色颜色元素、蓝色颜色元素、蓝绿色颜色元素、洋红色颜色元素或黄色颜色元素的符号。一个原因是当被在sRGB颜色空间中测量时，红色颜色元素、绿色颜色元素和蓝色颜色元素具有各自的大于其它的主要的RGB颜色的强度两倍的红色强度、绿色强度或蓝色强度。相似地，对于蓝绿色颜色元素，蓝色强度和绿色强度两者都大于红色强度两倍；对于洋红色颜色元素，红色强度和蓝色强度两者都大于绿色强度两倍；并且对于黄色颜色元素，红色强度和绿色强度两者都大于蓝色强度两倍。因此，τ_c ^最小和τ_c ^最大的低的值可以被用于稳健地并且可靠地分离不同的颜色。

上文描述的打分准则的使用的另一个有利的结果是产生的颜色的所有的强度值被围绕任一个特定的低值或特定的高值聚集，但是不在其之间。例如，表格I中的蓝色sRGB值全部在范围61±1或范围151±2之内。本领域中已知的颜色方案不展示这种类型的行为。使用在上文定义的可靠性分数，颜色集合可以通常被定义为使得S^可靠性的分量对于任何PCC c(红色、绿色或蓝色)大于0.8。

如上文提到的，虽然上文的颜色方案被在此具体地关于使用有颜色的多边形镶嵌物的基于顶点的编码方法进行描述，但是相同的类型的方案可以在产生在其它的基于颜色的编码方案中使用的其它类型的颜色元素时使用。

通过使用sRGB颜色空间以估计颜色分数，用于在产生锚点时使用的颜料的选择可以相对于在普通的智能手机和其它的移动计算装置中使用的颜色滤光器阵列(CFA)和图像传感器的已知的光谱性质进行优化。发明人已经发现，虽然不同的供应商使用不同的CFA，但是在绿色滤色镜响应曲线和蓝色滤色镜响应曲线之间在约500nm(即在其绿色滤色镜衰减等于蓝色滤色镜的衰减的波长)的交叉，以及在绿色滤色镜光谱响应曲线和红色滤色镜光谱响应曲线之间在约580nm(在其绿色滤色镜衰减等于红色滤色镜的衰减的波长)的交叉在所有的主要的供应商之间几乎相同的。这些光谱交叉点对照明中的变化不敏感。

在500nm和580nm的两个稳定的交叉点根据它们的光谱反射率定义了六个颜色的集合：

“红色”

“绿色”

“蓝色”

“蓝绿色”

“洋红色”

“黄色”

选择具有尽可能接近于被那些上文的公式指定的性质的性质的颜料的组合将给出最大化在锚点的图像中的R、G和B值之间的差异的锚点颜色。具体地，对于每个PCC R、G和B，C_R被在与红色-绿色和红色-蓝色的最大区别的方面优化；C_G被在与绿色-红色和绿色-蓝色的最大区别的方面进行优化；C_B被在最大蓝色-红色和蓝色-绿色区别的方面进行优化；“蓝绿色”C_C被在最大绿色-红色和蓝色-红色区别的方面进行优化；“洋红色”C_M被在最大红色-绿色和蓝色-绿色区别的方面进行优化；并且“黄色”C_Y被在最大红色-蓝色和绿色-蓝色区别的方面进行优化。因为关于传感器敏感性的典型的波长范围被限于390nm<λ<680nm(由于红外的截止)，所以锚点颜色集合光谱特性也被限于该范围。

在产生锚点时，期望的是，锚点展示朗伯反射(遮片)，其最小化单向反射的效果。可选择地，在差的光照条件下，锚点可以被反向反射覆层(例如由高指数微观玻璃珠制造的光反射透明覆层)覆盖。当光束(例如被照相机闪烁产生的光)从锚点表面穿透时，覆层反射回底层的锚点颜色。

如上文提到的，颜色的以上的选择不仅对于上文描述的那种多多边形镶嵌物状符号是合适的，而且对于其它的类型的基于颜色的计算机可读的符号是合适的。因此将意识到，上文描述的实施方案以实例的方式被引用，并且本发明不限于已经在上文被具体地示出和描述的内容。而是，本发明的范围包括上文描述的各种特征的组合和子组合两者，以及将在阅读上文的描述时被本领域的技术人员想到的并且不在现有技术中公开的其变化和修改。

Claims (6)

1.一种信息系统，包括：

多个符号，每个符号包括在公共的顶点处接触的并且具有选择的不同的各自的颜色的多个多边形使得所述符号对各自的数字值进行编码，

其中所述数字值通过给每个颜色分配包括表示所述多边形的颜色的三个主要颜色分量的各自的二进制值的三位数字码，并且组合所述三位数字码来进行编码以给出所指定的数字值，并且

其中，选择所述多边形的颜色使得所述二进制值中没有一个在所述公共的顶点处接触的所有所述多边形上是恒定的，并且所述颜色中没有一个具有K＝(0,0,0)或W＝(1,1,1)的值；以及

服务器，所述服务器被配置为接收来自客户端装置的、指示当捕获和分析包含所述符号中的一个符号的图像时被所述客户端装置解码的数字值的消息，并且被配置为响应于所述消息把对应于所述数字值的信息的条目提供至所述客户端装置。

2.根据权利要求1所述的系统，其中，所述多个符号被分布在环境内的不同的各自的位置处，并且其中，所述服务器被配置为响应于所述数字值确定所述客户端装置的位置并且被配置为响应于所述位置提供所述条目。

3.根据权利要求2所述的系统，其中，所述条目包括被配置为由所述客户端装置覆盖在包含所述符号中的一个符号的图像的显示器上的图形元素。

4.一种计算装置，包括：

图像传感器，所述图像传感器被配置为捕获包含符号的图像，所述符号包括在公共的顶点处接触的并且具有选择的不同的各自的颜色的多个多边形以便对指定的数字值进行编码，

其中所述数字值通过给每个颜色分配包括表示所述多边形的颜色的三个主要颜色分量的各自的二进制值的三位数字码，并且组合所述三位数字码来进行编码以给出所指定的数字值，并且

其中，选择所述多边形的颜色使得所述二进制值中没有一个在所述公共的顶点处接触的所有所述多边形上是恒定的，并且所述颜色中没有一个具有K＝(0,0,0)或W＝(1,1,1)的值；以及

处理器，所述处理器被配置为处理所述图像以便对所述数字值进行解码。

5.根据权利要求4所述的装置，其并且包括显示器，所述显示器被耦合以显示所述图像传感器捕获的图像，其中所述处理器被配置为响应于所述数字值将图形元素叠加在所述显示器上。

6.根据权利要求5所述的装置，其并且包括通信接口，其中所述处理器被配置为通过网络经由所述通信接口把包含所述数字值的消息发送至服务器，并且响应于所述消息从所述服务器接收所述图形元素。