CN105637535A - 图像识别标记和方法 - Google Patents

Abstract

一种用于识别被包括在一组摄影图像的摄影图像的来源并根据所识别的来源选择摄影图像的系统和方法，其使用高对比度可识别标签，所述标签可以以一个或多个尺寸设置在相机视野中的一个或多个位点，以使得所述标签的图像被包括在任意摄影图像中。所述标签可为各标签的多个不同样式中的一个。每个不同的标签具有以解码二进制数的形式的唯一识别代码。每个标签还包括非对称元素。扫描摄影图像以识别任意标签。如果发现标签，调整标签的尺寸、平面演示的平滑度以及旋转定向。读取唯一识别代码作为由代码元素的存在或不存在提供的二进制数位序列。如果被读取的代码与预先设定的被选择的代码匹配，则其上出现标签的摄影图像被接受作为一组均与预先设定的代码有关的摄影图像的添加部分。

Description

图像识别标记和方法

技术领域

本发明涉及一种用于为摄影图像自动提供识别的系统和方法。本发明更紧密地涉及一种系统和方法，通过该系统和方法，图像可以自动地被分类，从而使多个摄影图像能够被收集到一起。

需要理解的是，所述多个摄影图像在下文被定义为包括静态图像和视频图像中的一个、另一个或两个。

背景技术

虽然来自事件的以及使用中的产品和服务的专业照片和视频通常相当昂贵，但是它们长期以来一直被广泛应用于市场营销中。智能手机和宽带的普及大大加快了数码摄影以及照片和视频共享的兴起，开辟了更多的内容的巨大潜在资源。像这样的由体验事件、服务或产品的顾客创建的照片和视频，不仅可能成本低，还带有比品牌拥有者自己创建的内容更大的可信度。

然而，为了收集这些用户生成的内容需要营销费用，首先要接触客户，然后激励他们通过诸如比赛的机制，积极地将内容投稿给品牌拥有者。所以，每天当成千上万的很多来自事件或捕获使用中的产品和服务的照片和视频上传到互联网上时，其中极少数能以营销目的被识别和开发。

对另外一些人来说，用户生成的内容意味着威胁而不是机遇，其中一个威胁被认为会渐渐破坏事件的官方图片和视频的价值。现在越来越普遍的是，那些参加高价值事件的用户被要求不得进行拍照或录视频。但这种素材的共享是广泛的，并且到目前为止对于这种素材的识别已经成为一种机遇问题，或者对于非常高价值的内容来说，已经成为了由专业权限管理企业所做的大量外勤工作。

由于条形码的发明，已经出现了一些系统，其使用打印出来的可以被读取它们身份数据的标签，来指示特定的产品的存在。随着由智能手机的普及带来的便携式数码图像和一般目的的处理能力的日益普及，它们的应用通过诸如二维码或增强现实标记的解决方案而推广。然而，这些全部都被设计成实时以及近距离被读取，从前者的情况下的几厘米到后者情况下可能为1米或2米。这些并不适合用于识别在正常距离拍摄的照片或者视频。

过去曾经有过许多使摄影图像可被识别的提议。曾经有过一些自动采集公共共享的用户生成图像的尝试，其依赖于添加特定元数据的用户，所述特定元数据与地点和日期有关，通过地点和日期可以推断出某一事件，但是通常情况下并不这样做。

国际专利申请WO2013074895(A2)公开了从具有可识别的对象的照片(或视频)自动提取数据和对其加标签。图像识别和提取的元数据的组合包括地域和日期/时间信息，其被用来寻找和识别照片或视频中的对象。在发现与被识别出的对象匹配的识别符后，通过1个或多个与被识别出的对象相关联或对应的关键字对所述照片或视频自动加标签。

国际专利申请WO2012112449(A1)中公开了包括编码于计算机存储介质上的计算机程序的用于自动的事件识别和照片聚类(clustering)的方法、系统和装置。在一个方面，方法包括从第一用户接收对应于第一图像的第一图像数据，从第二用户接收对应于第二图像的第二图像数据，比较所述第一图像数据和第二图像数据，以及基于所述比较确定所述第一图像和第二图像符合重合事件。

国际专利申请WO03043315(A1)中公开了一种设置在娱乐场地的多个兴趣点的数码相机，其用于自动拍摄在该兴趣点参与活动的个体，作为对于唯一识别参数的检测的响应；其中所述参数对应于每个个体，例如各自的射频识别(RFID)标签代码。这些照片被自动传输到数据库进行存储，从所述数据库中能够通过对该识别参数的演示和识别来访问这些照片，用于查看或打印。

国际专利申请WO2011051091(A1)中公开了用于将照片自动整理到事件的方法。事件被定义为一组在同一地点以及在同一时间范围内拍摄的，显示现实世界发生的事件的照片。该方法包括通过照片已知的日期，时间，EXIF数据将照片集分割成片段的步骤或者执行对象识别的步骤。关联具有类似的日期，时间或GPS信息的片段或者基于面部的或对象识别的或社交图谱的片段。提供元数据以帮助标注和标记事件。

瑞士专利CH703915(A2)中公开了一种用于稳定动态社交网络的两个或多个成员之间的关系的方法。该系统包括由一个或多个服务器承载的网络平台，包括若干成员的动态社交网络，连接到成员上的可视化识别代码，用于识别代码的载体，用于检测代码的光学装置，与光学装置接口并连接到互联网和主服务器的用于识别代码的计算机化装置。所述载体可以是一件衣服。独立权利要求包括：用于稳定动态社交网络的两个或多个成员之间的关系的系统；用于识别代码的载体；以及可视化识别代码的载体。

美国专利申请US2013119123(A1)中公开了一种设置为与至少一个照相机接口的摄影数据库，并且包括存储器，其用于以拍摄的顺序存储区别条形码和主题公园游客的照片，从而使得该区别条形码能区分主题公园游客各自的照片。处理器与存储器耦合，以通过以下步骤基于由主题公园游客出示的区别条形码来检索已存储照片：检测与由主题公园游客出示的区别条形码匹配的已存储区别条形码，以及检测与由主题公园游客出示的区别条形码不匹配的已存储的下一条区别条形码。在匹配和不匹配已存储条形码之间的所有照片均被检索。至少一个显示器与所述摄影数据库耦合，用于显示所检索到的照片。

US2012207349示出了一种方法，其中标签被粘贴到将在图像捕获系统的已知视野中被识别的已知个体。所述标签为包括至少一个已知特征的物理标签。在将标签粘贴到所述个体之后，在图像捕获系统的已知视野中捕获图像数据，然后将图像数据提供给处理器。基于捕获的图像数据进行图像分析以检测该已知特征。如果检测到特征，则识别到在捕获的图像数据内已知个体的发生。

如US2011125735所示，已知例如使用手机拍照并将这些照片提交到可视化查询搜索系统。处理每个提交的可视化查询是通过将其发送到多个并行搜索系统，每个并行搜索系统执行不同的可视化查询搜索方法。这些并行搜索系统可以包括诸如光学字符识别(OCR)，面部识别，产品识别，条形码识别，对象或对象类别识别等技术。

通过US2010266155中所示的方法可以对照片集进行分类或分为特定主题的集合。在拍摄有照片的事件发生之前，用于识别一些或全部主题的信息被提交到自动化辅助器(facilitator)。辅助器生成包括机器可扫描标签或代码的记载(slate)，每个被识别的主题具有唯一的记载。在事件下，对于每个主题来说，拍摄的第一张相片包括主题的记载；之后拍摄任意数量的照片。这些照片被上传到所述辅助器并被扫描来识别所述记载。跟随记载的每一张照片与相对应的主题关联，直到另一个记载被识别。

分析照片或视频以得到文本信息是众所周知的。例如，US2008175479处理包含视频信息的视频信号，所述视频信息涉及可包含车辆牌照的场景。WO2011159460披露了一种在带有地理标签(geo-tagged)的图像中识别机构的方法，该方法通过提取文本短语，并将这些文本短语与已知在图像地理标签中规定的靠近地理位置的文本短语或者信息进行比较。图像中识别的文本串与机构的短语比较，以获得近似匹配，并且基于该近似匹配选择机构作为图像中的机构。

美国专利申请US20140008436显示了由若干共焦圆圈组成的标记，由所述圆圈的焦点间隔开的单独的防呆元素以及编码元素。从包括所述标记的图像提取多个轮廓。如果图像由于拍摄图像的照相机的位置视角而变形，或者由于放置图像的表面的曲率而变形，该标记的圆圈产生共焦二次曲线。其中系统公开了通过检测这些共焦二次曲线查找所述标记。一旦被检测到，所述共焦二次曲线则被用来确定并矫正该标记的变形。然后防呆元素到圆圈的相对位置被用于校正该标记的定向。然后从存在于该标记上的编码元素中提取数据。

对于使用共焦圆圈以及检测共焦二次曲线并用其来校正，意味着标记在其设计上非常受限。基本标志的设计也与可能存在的现有的形状很相似，这意味着处理图像丰富的环境可能会不方便。虽然可以在标记已经受到了一定量的失真时检测该标记，并且该方法可能能够在检测后进行失真补偿以提取编码数据，但是该标记仍易受失真和背景噪声影响。

本发明寻求通过提供识别和自动图像分组的可替代的和增强的手段，以改进每个上述文件。

发明内容

根据第一个方面，本发明在于提供一种用在物理对象上的标记，从而通过处理对象被拍摄的照片或视频帧，使得标记被识别以及对象被分类，所述标记包括由至少两个对比色构成的图像，所述图像基于包括多种形状的图像模板，所述形状的边缘形成至少三个单独的不重合且不交叉的闭合环线，其中

至少一个第一线包围至少一个第二线，

至少一个第三线不包围至少一个第二线，

当作为整体考虑时，所述线是非对称的，

所述标记的线包括至少八个主要特征，如分布于二维标记的尖角和中央点，以及，

其中也包括多种次要编码特征，其可以多种方式被设置在所述标记的基本模板上以对唯一ID进行编码。

根据第二方面，本发明在于提供一种检测根据任一前述权利要求所述的标记的方法，包括以下步骤：

接收可含有所述标记的图像的照片，

从对比色和/或亮度的形状的边缘生成线；

识别任何的线的集合，

对于至少一个如此识别的线的集合，确定所述线的一个或多个选自以下群组的特征：

有多少线包围其他线，有多少线不包围其他线，包围其他线的线的层次结构和不包围其他线的线的层次结构，诸如在每条线上的尖角和中央点的主要特征的数量，诸如在所有线上的尖角和中央点的主要特征的数量，所述线的形状，所述线的相对位置，所述线的相对尺寸，

以及将这些特征与对应于所述标记的基本模板的已存储的特征进行比较来识别标记。

本发明还提供了一个可以位于摄影图像的视野内的标签，该标签能够在所述摄影图像内可识别，并且该图像能够具有(bear)唯一识别代码。本发明进一步提供了识别装置，其可用于识别所述标签的图像；调节机构，其可用于调节图像显示的平坦度和尺寸；以及代码读取机构，其可用于从调整后的图像读取所述唯一识别代码。

本发明进一步提供选定代码接收机构，其可用于接收选定的唯一识别代码；以及摄影图像接受装置，如果从调整后的图像读取的唯一识别代码与接收到的选定的唯一识别代码相同，所述摄影图像接受装置可用于接受摄影图像，。

本发明进一步提供了标记能够设置为两个或更多不同的样式，本发明进一步包括：标签样式指示接收机构，其可用于接收所述标签的样式的指示；标签样式识别机构，其可用于识别所述摄影图像中的所述标签的样式；以及附条件的摄影图像接受机构，仅当被识别的标签的样式与所接收的指示的标签相同时，所述附条件的摄影图像接受机构可用于接受摄影图像。

本发明还提供了新标签方法接受机构，其可用于接收应用程序来分配新的标签；以及标签代码选择机构，其可用于选择未使用的代码以用于新的标签。

本发明还提供标签样式选择机构，其可用于选择新的标签的样式。

本发明还提供了标签图像翻转检测机构，其使用非对称元素来检测标签图像是否被翻转；以及标签图像翻转机构，其翻转标签图像以提供正确的标签图像正面演示(facepresentation)。

本发明还提供了，所述标签可包括非对称元素，所述系统包括标签图像旋转调节机构，其可以以旋转的方式对标签图像定向。

本发明进一步提供了，所述标签可包括多个有序的代码元素，代码元素的存在或不存在表示了代表二进制数的二进制数位序列中的1或0。

根据第三个方面，本发明在于提供一种包含在摄影图像中的标签，所述标签可以显示为至少一种以下形式：

附连于一对象的粘连标签；作为并入布告板通知的印刷图像；绘制或粘贴在车辆上；贴在产品的表面上或表面内；印在一本书中；应用在衣服上；附连于一个人；附连于一类人；并入横幅中；以及贴在建筑物上。

第三方面的标签还提供多个代码元素，其中每个所述代码元素都能够代表一组有序的二进制数位中的一个数位，所述一组有序的二进制数位共同代表一个二进制数；以及表示定向的非对称元素，其中所述标签图像必须设置，以识别和读取各个代码元素。

该系统提供一种图像检测解码机构，其不需要特别的图像捕获设备，而是意在针对来自现有的通用相机和其它图像捕获装置的各种各样的照片以及其它图像起作用。所述系统的鲁棒性允许对图像的检测和解码，其中图像中的所述标签可以存在于不同的距离(并因此具有以及不同的尺寸和分辨率)，以及不同的对准和失真中。由于标记及其解码的存在，所述系统的鲁棒性也使得预先存在的照片或出于不同的目的拍摄的照片被成功地处理，而所述预先存在的照片或出于不同的目的拍摄的照片没有机会实时反馈、校正和重新扫描标记。

附图说明

本发明进一步以实施例的方式，通过以下的描述结合附图进行说明，其中：

图1A和1B示出可以在本发明中使用的第一示例性标签的实施例；

图2A和2B示出可以在本发明中使用的标签的另一实施例；

图3A至3E示出可以在本发明中使用的标签的另一实施例；

图4示出说明一种用于服务器中的处理器或其他计算机处理器的可能的方法的示例性流程图，所述方法采用标签来选择包括在一组与特定事件、地点、产品、市场营销活动或多个人有关的图像中的摄影图像；

图5示出具体说明标签检测的一种可能的方法的示例性流程图；

图6示出具体说明标签解码的一种可能的方法的示例性流程图；

图7示出说明本发明所作用的环境的示例性框图；

图8示出说明图像选择服务器的可能内容的示例性框图；

以及，

图9示出说明一种方法的示例性流程图，在所述方法中原始客户端可以建立用于预期目的的二进制码和标签的样式。

具体实施方式

以下对本发明的实施方式进行详细说明。在图中和实施例中，“上”、“下”、“前”、“后”，各自表示驾驶两轮摩托车的驾驶员所观察到的方向。

本发明现在将通过各种实施例和其可能的变型例进行说明。

首先注意附图1A和1B，其示出可以在本发明中使用的标签10的示例性第一样式。

标签10包括自动识别区域。虽然标签10在图1A和图1B中被示出为大致呈圆形，但是可以理解的是，每一个标签10的轮廓不必以任何方式呈圆形或者对称。

每个标签10是一种高对比度的标签，其可被印刷在或粘附到诸如制服、商品或展示材料的材料上，或以其他方式在某个地点或事件中可见。标签10可以包含在拍摄照片的场景的任何位置。标签10的目的在于提供与地点、事件或个人相关联的一个或多个摄影图像的识别。标签10可大或可小。例如，标签10可并入巨幅广告牌和布告板，或者甚至附连于建筑物上。标签10也可连接于服装和个人。标签10也可附连于车辆。标签10的大小及配置不受上述实施例的限制。标签10可被设置成使得摄影装置在任何角度都会捕捉足够清楚的标签10的图像，以使得标签10的图像可以被处理，并且包含其中的数字数据能够被解码。

如果标签10被打印成直径为4-8cm，光学图像处理程序能够在高达5米的距离上识别标签的存在并从在各种条件下拍摄的图像中提取代码。如果标签10被印在直径可能多达数米的海报、横幅或其他更大尺寸的展示材料上，则可能在更远的诸如数百米或更多的距离上从捕获图像成功地提取代码。

标签10呈现大的一致的粗体符号，所述粗体符号专门设计为通过特征检测算法，例如,但不限于，SIFT，SURF，ORB和FAST(将在下文阐明)，使得它的存在能够很容易被目视识别，甚至可以在远处并在各种定向上很容易被目视识别。

标签10还包含以代码元素12的形式的更细微的详细信息12，其中，有限量的数据被编码，所述有限量的数据可以在对标签图像的更深入的分析中被提取。各代码元素12代表被确定为具有值“1”或“0”的数据，其取决于特定的代码元素12是否存在或不存在于标签10中。在图1A和1B给出的实例中，提供了24个代码元素12，其允许设置近17,000,000不同的单独可识别的标签样式。这意味着，通过所示的设置，接近17,000,000不同的事件、地点、产品、营销活动或个人可通过其各自的标签来被识别。本领域的技术人员可以意识到，也可以使用提供不同数目的二进制数位的不同数目的代码元素12。

标签10还包含由标签识别和解码程序使用的一种非对称元素或多个非对称元素14，以将标签10的检测图像定向到正确的旋转位置，使得这些代码元素12落入预先设定的定向中，用于将检测这些代码元素12存在或不存在,从而确定它们所代表的二进制数。然后，已提取的二进制数能够用以确定捕获摄影图像是否涉及预先设定的事件、地点、产品、市场营销活动或人(多个人)，这将在后面进行说明。

图1A和1B示出标签的第一样式的两个实例，其中每个标签的第一样式具有通过其代码元素12表达的不同的二进制代码。

接下来注意图2A和2B，其示出也适用于本发明的标签10A的可能的第二实例。在图2A和2B中，标签10A也大致为圆形。在该实施例中，非对称元素14A设置为非对称设置在大致圆形轮廓内的楔形和圆形斑点的组合。在该实施例中，代码元素12A设置为一般多米诺形式内的多米诺点，其中4个多米诺形式对称地设置于大致圆形的轮廓内的十字架。通过附图1A和1B的实施例，提供了24个二进制数字，其值取决于多米诺点的存在或不存在。

本领域的技术人员将意识到，许多不同的格式可以提供给标签1010A。可提供多于或少于24个二进制数字。作为其非对称元素，标签1010A也可以具有轮廓的一般非对称性。

这两个标签被设计为共享一些重要特征。现在参照图3a至3e，3a的标签被设计为与图1和2的标签具有相同的理念。所述标签包括外部大致环形形状86，内部大致十字形形状87，以及内部圆形形状88。这些形状的厚度和性质存在许多轮廓线或轮廓，理想地至少四个完整和非交叉的轮廓两个同心以及两个非同心设置。环形形状86同时提供了外部圆形轮廓81(在图3b粗体示出)和内部部分圆形轮廓82(在图3c以粗体示出)。十字形形状87提供了十字形轮廓83(在图3d中以粗体显示)，而圆形形状88提供了圆形轮廓84(在图3e中以粗体示出)。所述十字形形状还包括代码元素85。

这些形状以及标签的ID编码特征的设置和尺寸设计使得其宽度和其之间的空间为该标签直径的至少3％。此被发现是最优的间距，以使得足够数量的特征被包括在小至直径4-5cm的可以很容易地包含在产品上的标签中，并且在用于小团体拍摄的典型远距离下捕获的以及由常用的摄影设备捕获的图像分辨率下捕获的照片中能够彼此被区分开。随着设备的性能的提高，可以预期此限制可能会减小。标签的形状也设计成提供一些独特的关键点，如部分圆形轮廓82上的角89和十字形形状87。在理想情况下，所述标签提供了至少八个所述关键点。

应当指出，这些轮廓中的一些，如外部圆形轮廓81(在图3b中粗体示出)，所述内部部分圆形轮廓82(在图3c中粗体示出)和十字形轮廓83(在图3d中粗体示出)被设置成同心构造。然而圆形轮廓84(在图3e中粗体示出)，虽然其由外部圆形轮廓81和内部部分圆形轮廓82包围，但其不与这些形状同心，而且还位于十字形轮廓84外侧，并且与十字形轮廓84不同心。因此，存在轮廓的层次结构，使得一些形状同心,而另一些则不同心。通常情况下，有四个或更多的这些形状。

正如下文更详细描述地那样，当标签正在被寻求和分析时，有一个方便的方法是使用轮廓检测技术。能够分析关键点在形状或轮廓的分布，以说明发现标记的图像是否已被翻转/镜像反射，并作出适当的校正。

所有的实施例的共同点在于，所述标签包括特定数字中，特定层次结构中(即一些形状围绕其他形状，而一些形状不被其他形状包围)的一组形状(其在分析过程中提供了一组轮廓形状)，每个轮廓具有特定形状，且所述轮廓具有相对尺寸。

特别地，轮廓的形状意味着凸性缺陷(convexitydefects)的呈现和数量，也就是尖的进入形状的包含物，在那里，平滑弯曲线的直线部分在角部相遇或弯曲。所述形状也可以包括其他方面，尤其是所述尖的包含物之间的线的长度(和它们的顺序和分布)。为了获得最佳的检测，轮廓的理想的数字是3(含)到7(含)。

例如代码元素85的次要特征都包括在内。作为在图1和图2的标签，这些代码特征可方便地在以能够被翻译成ID的方法的在一般网格阵列中排列，其中某些地点被占用,其他地点未被占用。足够的地点被提供以使得组合的数目可以编号至数千或数百万，而且可以看到的是，这样的代码特征的各种配置,无论是包含在主要形状内或分布在它们周围,都能够执行这个功能。色彩可被用于这些代码元素以增加数据密度。

正如将在下文说明的那样，标签的设计的一个目的在于，使得其图像可以基本上恢复成平面演示，而且其图像可以旋转，如有必要的话翻转或反射(reflected)，从而使得非对称元素落入预先设定的定向，其可使得代码元素1212A表示的二进制数被读取.。

接下来注意图4，图4示出说明一种用于服务器中的处理器或其他计算机处理器的可能的方法的示例性流程图，所述方法采用标签12来选择包括到一组与特定事件、地点、产品、市场营销活动、人或多个人有关的摄影图像。

从步骤开始16起，第一操作18具有处理器，其接收和接受将会出现在标签10的图像中的二进制数，所述处理器寻求将标签10的图像包括到涉及特定事件、地点、产品、市场营销活动、人或多个人的图像摄影图像的集合中(以提供非穷举列表)。

然后第二操作20加载第一一个或多个图像的情况以待检查。第三操作22然后扫描加载的图像，(通过检测由该系统所设定的标签标明的特定特征)以检测是否存在标签10的图像。扫描优选使用摄影图像扫描软件，其能够识别以任何方向呈现在摄影图像中的标签10的图像。可以从下方、从左边或右边，或从上方倾斜地观察标签的图像。此外，标签10的图像可以从其正常(直立)位置被转动。标签10的图像也可以被“翻转”观察，即从后面观察(当例如，标签10被呈现在诸如窗口的透明表面内部)，也包括当做镜像反射被观察。扫描软件必须在所有这些条件中能够检测标签10的图像。扫描软件可以包括，但不限于：尺度不变特征变换(ScaleInvariantFeatureTransform，SIFT)的算法；加速稳健特征(SpeededUpRobustFeatures,SURF)检测；导向二进制鲁棒独立基本特征(OrientedBrief,ORB)；和基于加速分割测试的特征检测算法(FAST)。

然后第一测试24检查来看标签10的图像是否已被发现。

如果标签10的图像已被发现，第四操作26调整标签10的图像，以便使处理设备从代码元素12读取二进制数。标签10的调整包括垂直和/或水平缩放以使标签10的图像与直接从前方观察而呈现的预选边界相适应，以及包括旋转标签10的图像，直到非对称元素14或多个元素在预先设定的方向定向，以及当图像是如上所述的翻转图像时还包括图像的反射。所述非对称元素14在决定图像是否被翻转的方面起着重要的作用。所有这些过程的总和使得标签10的图像将做好具有从代码元素1212A读出的二进制数的准备。

应该理解的是，可替代地，由第四操作26中提供的一些或全部图像调整能够由第三操作22整体或部分地提供。

然后第五操作28检查代码元素1212A，以确定标签1010A内编码的二进制数。第二个测试30进行检查以查看在第五操作28中恢复的二进制数是否匹配来自第一操作18的二进制数。如果发现两者匹配，第六操作32使得被检查的图像作为与二进制数有关的图像集合的一部分被存储，其中所述二进制数代表着特定事件、地点、产品、市场营销活动、人或多个人。

第六操作32将控制传递返回到第三测试34，第三测试34进行检查以查看图像是否是用于测试而显示的一个或多个图像的最后图像。如果第三次测试34发现该图像不是最后的图像，第七操作36获得待测试的下一个摄影图像并将控制传递到第三操作22来扫描新选择的图像以发现标签的图像。

如果第三次测试34发现先前测试的图像是最后的图像，第三测试34将控制传递给退出38终止操作。

如果第一测试24没有检测到标签10的图像，第一测试24将控制传递给第三测试34，以检查待测试的最后的图像是否已经获得。

如果第二次测试30没有检测到已由第五操作28读取的二进制数和第一操作18接收到的二进制数的之间的数字匹配，第二测试将控制传递给第三测试34，以检查是否最后的图像是否已经获得。

图4的过程仅通过举例的方式给出。虽然图4只示出了在任何一个时间只存在一个输入二进制数，以及只有一个摄影图像的集合生成，但应当理解的是，多个二进制数可以被同时进行检查，以及一个或多个摄影图像的集合可以被建立。也可以理解的是，图4的方法可以在同一时间扫描出多于一个标签10的多个图像，并且如果发现多于一个标签具有多于一个二进制数，多个摄影图像的集合的添加部分可以同时生成。

参照图5，对用于单个照片的可能的特异性检测制度进行阐述。在进程启动110后，第一步骤111增强了图像。这可以包括将图像的照明和对比度规格化，以及降低噪声(如平滑化步骤)。然后，作为第二步骤，通过检测图像中的轮廓，特别是完整的轮廓，分析所述图像。这可以使用一些已知的技术的一个或多个来完成。在标签存在之处，由该步骤产生的所述边界线对应于如在附图3b至3e中描述的轮廓。异常的(如那些不完整的，交叉的，或者低于一定尺寸或长度的)轮廓可以被过滤掉。

第三步骤113是要检查由轮廓检测所产生的形状的关系。这是通过在正确的层次结构的设置中，通过本系统寻求的具有正确的形状和相对尺寸的标签或多个标签，检查出正确数目的轮廓来完成。

如先前所描述的，轮廓的形状尤其意味着凸性缺陷的呈现和数量，凸性缺陷之间的线的性质和大小。这些特定因素的重要性是其对变形的回弹性。使用这些参数，种类繁多的标签样式可以被产生和检测到，其可被更容易地与通常发现结构区分开，并且对失真具有一定的鲁棒性。采用越多的轮廓，就越容易将标签与背景噪声区分开，但也变得更难使标签与小的空间适应，以及更难在有限的分辨率的图像中保持可区分，也更难给予编码元素的空间。如前所述，轮廓的最佳数目是3(含)到7(含)。

如果在步骤114中标签被发现，图像则在步骤26中被平面化，代码元素被编码用来提取之前所述的ID，所述ID与先前图4所示的步骤24有关。特别地，当所述图像(以及通常固定所述图像的表面)不直接在照相机前面对齐，以及该面(plane)基本上不平行于照相机，而是偏离中心和/或斜交成角或倾斜，所述图像可以发生失真。此处所使用的术语平面化一般涉及应用本领域已知的校正转换。平面化方法也可包括用于校正被施加于弯曲表面的图像的变换，以及用于校正诸如鱼眼失真的镜头失真。

通过提取关键点的配置如凸性缺陷(例如，图3中所示的角89在部分圆形轮廓82和十字形形状87上的数目和空间分布)并将其与原始模板进行比较，来校正失真。

应当特别注意的是，用于检测标签(轮廓)的因素和用于校正标签的变形(关键点)的因素是不同的。使用两组不同的用于检测和校正的特征(尽管两组的各方面可能相关联)使得标签设计具有大得多的灵活性。关键点的最佳数目更加难以限定，但它们必须分散在标签的表面，以便校正整个标签表面的变形，所述关键点分散得越多，校正会越好。

根据所述轮廓，所述标记的预定最小尺寸将限制可被包括的关键点的数目。

通过必要的元数据，提取并输出所检测到的标记图像(或ID)，使所检测到的标记图像(或ID)与原始图像/源相关联。

以下对该方法涉及的步骤进行详细的说明。

如果使用彩色标签或代码元素，所述步骤之一，例如步骤28，二进制数的读取，可以包括将所述图像分为单独的颜色通道，以分别处理红、绿和蓝色通道，改善彩色元素的检测。

图像增强的成功可取决于被执行的对于对比度、亮度、平滑度等等的调整量。相对于一组不同条件下拍摄的图像，一组预选值，或一组特定的技术可以更适合在一组条件下拍摄的图像。如果没有检测到标签，在步骤115中保持对一些设置的尝试，在步骤116中可以进行新的预处理设置的选择。该进程对各种预处理设置进行重复，以达到最广的光照范围。此外，照片可包括多于一个的标签，对于一个单一照片来说，这种重复可以通过使用不同的设置检测不同的标签。

参考图6，列出了用于识别检测到的标签以及读取编码元素的具体步骤的方便的顺序，其对应于图4和5中更普遍指定的步骤26和28。在进程在步骤117中被启动后，步骤118中所述轮廓的关键点，比如轮廓的角度、尖角、中央点在提取的标签中被识别。步骤119中将这些关键点的设置与非失真模板进行比较以提取变形信息。步骤120中使用所述模板，对所述标签进行变形校正，所述变形通常是由以倾斜的角度拍摄标签导致的在一个方向上的投影缩减，但其他失真也可被校正。

步骤124中发现非对称特征，并将其与那些在原始模板中的特征对比，以确定旋转方向。例如，在图3a至3e所示的标签中，角部89在部分圆形轮廓82上相对于圆形轮廓84的位置在外部圆形轮廓81内具有特定的定向和角位置。同样地，能够检测所述标签的反射或翻转。步骤125中这些特征然后可以用于校正或补偿所述标签的图像受到的任何旋转和反射。

现在，任何变形、旋转和反射已被校正，可以在步骤126中在编码特征已知的位置上寻求编码特征，以及在步骤127中寻求被读取的标签的ID。然后在步骤128中，与所述标签有关的元数据通过ID被检索，并与原始图像或原始源一起被传送。这导致步骤129中的编码进程的结束。

理想情况下，参照图5描述的检测进程和参照图6描述的编码进程被并行运行的单独的例行程序执行，从而使得一旦所述标签被检测例行程序识别，轮廓信息可以被传递给解码例行程序；更理想的是，一些检测例行程序和一些解码例行程序可以并行运行，其中分配资源以使检测例行程序的工作量与解码例行程序匹配。由于被执行的处理设置的数量可能会发生变化，解码进程和特别是检测进程，均将采用不同的时间量来完成图像。分开所述两个例行程序和使之并行运行，可确保资源的有效分配和避免瓶颈的处理，确保该系统还可以扩展到处理大量图像。

接下来注意图7，其示出了说明本发明所作用的环境的示例性框图。

网络40，优选但非必须地，互联网40，承载多个网站服务器(此处仅示出两个)，所述网站服务器包括代码发行服务器42和图像选择服务器44。

如下面描述地那样，代码发行服务器42发出用于呈现在标签10中的二进制数的代码。代码发行服务器42与原始客户端46交互以建立代码发行的基础，并分配另一个用于由原始客户端46所指定的特定用途的新的代码。

图像选择服务器44如参照图4所描述的那样运行。本发明中，一个或多个浏览客户端48以直接或间接的形式与图像选择服务器44交互，查看使用标签10的代码选择的图像集合。提供一种用于图像选择服务器44的类型识别并不是本发明的一部分。图像选择服务器44可以是，但不限于，社会网络站点；调查网站；企业网站；和编辑网站；照片发布网站；照片共享网站；视频发布网站；以及视频共享网站。

图像选择服务器44和代码发行服务器42也可以彼此通信，以提供所选择的代码和标签10的样式的指示，连同由原始客户端提供的详细信息一起提供。

接下来注意图8，其示出说明图像选择服务器44的内容的示例性框图。

原始服务器44包括服务器处理器50，其双向耦合到调制解调器52或其它计算机设备和/或设置，所述设置提供了互联网40内与所述服务器处理器30的双向耦合。

服务器处理器50耦合到存储器54，从存储器54中所述服务器处理器50可以检索摄影图像并存储选择性的摄影图像。服务器处理器50在来自图像选择服务器程序56的指令下运行，以实现参照图4解释并说明的目的。

接下来注意图9，说明一种方式的流程图，其中原始客户端46可以设置用于预期目的的二进制代码和标签的样式。

从步骤58开始，第四测试60等待检测来自原始客户端46的接入(approach)。对于来自原始客户端46的接入，第五测试62检查代码发行服务器42是否已知该客户端。这可以以各种方式完成，如检查登录是否已成功地实现。

如果第五测试62发现，代码发行服务器42不知道原始客户端，第八操作64进行新的注册过程，并将控制传回第四测试60。

如果第五测试62发现，代码发行服务器42已知该客户端，第九操作66采集来自该正在接入的客户端的对图像所提出的预期用法的详细信息。标签10可用于这里之前所述的任何其它原因。本领域的技术人员将意识到可应用摄影图像中标签10的识别的许多其它目的。

之后，第十操作68选择将被使用(可能在客户的指示下)的标签10的样式，在本发明可以想到的是能够选择许多不同样式的标签10。本发明中，标签10的识别可以还包括标签的特定样式的识别。

第十操作68还选择未使用的二进制代码用于与标签关联。当使用多个标签样式时，特别的二进制数可以被发出多次，而没有混淆身份的风险。

对于特定样式或标签的样式的次级图形特征被产生并施加到所述样式的公共标记模板，这种唯一的组合与所选择的ID有关。

然后，第十一操作70将所选择的标签10的样式和分配的二进制数传达给请求客户端46。唯一ID也存储在与元数据关联的数据库中，所述元数据与部署标记的实体和/或该实体部署的环境有关。具体标记物的设计和/或标签的类型也可以被存储。

然后唯一标记设计资产被传达给请求客户端46，以便之后可以随意打印标签10用于应用到一个或所有本文之前所描述的项目。请求客户端46也可以将所选的标签10与它所分配的二进制数结合到产品的表面。

然后，第十二操作72存储标签10的样式，分配的二进制代码以及标签10的用途的详细信息，用于以后当由其他客户端请求时的通信。

然后，第十二操作72将控制传回第四测试60，以等候来自原始客户端46的新的接入。

本发明以记录在照片或视频的一个或多个标签10的图像的形式提供了事件或其它场合的“可视化元数据”。标签10通过诸如运行事件的组织或产品的制造商，提供被引入到图像的可视化的东西，以协助之后在摄影或视频图像中的识别。替代方案依赖于非可视化的元数据，例如日期和地点，使用元数据以识别事件依赖于捕捉及共享此元数据的人，通常这并不常见。“可视化元数据”不干扰诸如事件的时间和地点的元数据。如果存在，元数据仍然可以使用。标签10的图像的嵌入提供了一个技术优势，其中嵌入场景的标签图象10不能被遗失、分离或涂掉，从而避免摄影或视频图像的不正当使用，以及避免信息丢失。“可视化元数据”的标签图像还通过使事件等信息直接从摄影或视频图像被恢复，提供了进一步的技术改进。

当一组摄影或视频图像通过标签10的图像已被提取并存储之后，为了检查和预览，所收集的该组图像可被检查和/或发送到事件(或其它场合)组织者以检查版权或其它侵权。可替代地，只有对摄影或视频图像的参考可被发送用于审查和批准。

在上面的例子中，代码发行服务器42编码唯一ID，从而生成带有对应该ID的编码元素的标签，并存储与元数据相关的所述ID，所述元数据与标签的用户有关。编码功能和数据库存储功能可以以较大或较小的范围一起提供或分开提供。通常情况下，系统将所有唯一标记ID和标签设计/类型组合，与元数据一起存储在数据库中，所述元数据与部署标记的实体和/或标记的部署的环境有关。然后，当有效ID被提供时(例如，当来自标签的ID已被恢复时)这个数据库可以提供与ID相关联的元数据，并检查新的ID的可用性。理想情况下，这个数据库也将存储与ID相关联的标签图像或图像参考，且当有效ID被提供时提供所述标签图像或图像参考。

本发明已经通过一系列实施例进行说明。但是应当理解的是，本领域的技术人员将知道，在不脱离如以下所要求保护的本发明的情况下，可以采用许多变体和修改。

本发明由下面所附的权利要求进一步阐明。

Claims (16)

1.一种用在物理对象上的标记，从而通过处理对象被拍摄的照片或视频帧，使得标记被识别以及对象被分类，所述标记包括由至少两个对比色构成的图像，

所述图像基于包括多种形状的图像模板，所述形状的边缘形成至少三个单独的不重合且不交叉的闭合环线，其中

至少一个第一线包围至少一个第二线，

至少一个第三线不包围至少一个第二线，

当作为整体考虑时，所述线是非对称的，

所述标记的所述线包括至少八个主要特征，如分布于二维标记的尖角和中央点，

以及其中也包括多种次要编码特征，其可以多种方式被设置在所述标记的基本模板上以对唯一ID进行编码。

2.根据权利要求1所述的标记，其中所述图像的所述线为以旋转以及反射的形式非对称。

3.根据权利要求1或2所述的标记，其中所述编码特征以多于2种的颜色产生。

4.根据任一前述权利要求所述的标记，其中所述形状的宽度以及所述形状之间的空间为所述标记的直径的至少3％。

5.一种检测根据任一前述权利要求所述的标记的方法，包括以下步骤：

接收可含有所述标记的图像的照片，

从对比色和/或亮度的形状的边缘生成线；

识别任何的线的集合，

对于至少一个如此识别的线的集合，确定所述线的一个或多个选自以下群组的特征：

有多少线包围其他线，有多少线不包围其他线，包围其他线的线的层次结构和不包围其他线的线的层次结构，诸如在每条线上的尖角和中央点的主要特征的数量，诸如在所有线上的尖角和中央点的主要特征的数量，所述线的形状，所述线的相对位置，所述线的相对尺寸，

以及将这些特征与对应于所述标记的基本模板的已存储的特征进行比较来识别标记。

6.根据权利要求5所述的方法，其中包括将所述照片或所述标记分为不同的颜色通道的步骤。

7.根据权利要求5或6所述的方法，其中包括在从形状的边缘生成线之前增强照片的步骤。

8.根据权利要求5～7任一项所述的方法，其中包括除去生成的异常尺寸的边缘的步骤。

9.根据权利要求7或8所述的方法，其中包括对增强照片的步骤以不同设置进行重复。

10.根据权利要求5～9任一项所述的方法，其中包括以下步骤：

识别诸如尖角和中央点的主要特征，

将被识别的主要特征与非失真模板进行比较以提取变形信息，

校正图像的变形，

寻求非对称特征，并将其与那些在原始模板中的特征比较，以确定旋转方向，

校正图像的旋转，

在已知的位置上寻求编码特征的存在或不存在，

解码编码特征以获得图像ID，

以及输出所述图像ID。

11.根据权利要求10所述的方法，其中包括通过图像ID检索与原始图像/源相关联的元数据的步骤。

12.根据权利要求10或11所述的方法，其中这些权利要求所述的步骤处理第一图像，与此同时，权利要求5～10所述的步骤处理第二图像。

13.根据权利要求5～12任一项所述的方法，其中包括寻求非对称特征以及如果发现所述照片发生了反射则将图像进行反射的步骤。

14.一种基本上参照附图进行说明的方法。

15.一种基本上参照附图进行说明的系统。

16.一种基本上参照附图进行说明的标签。