CN112119391A

CN112119391A - 用于确定信息承载装置的真实性的方法和设备

Info

Publication number: CN112119391A
Application number: CN201980016553.7A
Authority: CN
Inventors: 刘德伟; 林咏康
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-03-01
Filing date: 2019-03-01
Publication date: 2020-12-22
Also published as: US11899774B2; EP3759632A1; WO2019167007A1; US20200410510A1; EP3759632A4

Abstract

公开了认证工具、认证设备和设计认证工具的方法，用于帮助参考物品的捕获的图像或声称的主图像来确定物品的真实性或真正性。使用已训练神经网络，参考捕获的图像是否是真实信息承载装置的主图像来确定物品的真实性或真正性。使用训练图像来训练神经网络，该训练图像包括具有在受控条件下引入的不同程度的图像缺陷的缺陷图像。

Description

用于确定信息承载装置的真实性的方法和设备

技术领域

本公开涉及用于确定信息承载装置的真实性的方法和设备。

背景技术

伪造是不利地影响许多国家的商业和人们的主要问题。许多伪造活动涉及物品和附着到这些物品或与这些物品有关的识别材料(如标签、包装、产品和/或证书)的复制。防伪手段和装置已经被设计成对抗伪造或作为控制真正商品流动的手段。防伪装置也被称为认证装置，并且这些术语在本文中可互换使用。数据编码的图像图案已经被结合到产品或物品识别材料中，以用作防伪装置或其部分。认证装置的典型数据编码的图像图案通常包括嵌入背景装置中的非人类可读或非人类可感知的转换的认证数据。背景装置可以是或可以包括图片、图形、照片、图画、单词、标记、记号、符号等。由于转换的认证数据是非人类可读或非人类可感知的，因此通常使用机器(如基于微处理器的机器)来帮助确定声称(purport)是真实的认证装置的真实性。

在认证操作期间，认证机器通常需要向机器展示认证装置。该机器捕获认证装置的图像，并且执行操作以分析和确定所捕获的图像是对应于真实的认证装置还是对应于非真实的认证装置。非真实的认证装置可以是真实的认证装置的复制品或假的认证装置。

为了胜过不断增加的复杂度和保真度的伪造手段和设备，以不断增加的较高分辨率和不断增加的较高细节清晰度形成认证装置的数据编码的图像图案，并且预期这种竞争会持续。

然而，随着数据编码的图像图案的清晰度越来越高，例如由于人类操作者在图像捕获过程中的限制，即使基于微处理器的认证机器也越来越难以区分真实的认证装置和作为真实的认证装置的高保真复制品的非真实的认证装置。

发明内容

公开了认证工具、认证设备和设计认证工具的方法，用于帮助使用神经网络参考物品的捕获的图像或声称的主图像来确定物品的真实性或真正性(genuineness)。为了便于验证物品的真实性，物品通常与包括诸如标记、标签或印记的信息承载装置的认证装置结合。所述信息承载装置包括数据嵌入的图像图案，并且数据嵌入的图像图案用一组数据隐蔽地编码，使得读取数据嵌入的图像图案的合理的人不能察觉到该数据。在示例实施例中。每个数据是在数据域中具有特征二维或三维坐标值的离散数据，并且坐标值被转换成图像定义元素的空间属性，所述图像定义元素协作以定义整个数据嵌入的图像图案。空间属性包括例如图像定义元素在数据域上的特定一组坐标处的亮度或幅度。数据可以由变换函数隐蔽地编码，该变换函数操作以将数据的坐标值扩展为遍布图像定义元素的空间属性。该组数据或每个单独的离散数据点具有特征信号强度。参考捕获的图像是否是真实信息承载装置的主图像来确定物品的真实性或真正性。在示例实施例中，所述认证工具包括神经网络结构。所述神经网络结构可以包括输入层、输出层以及在所述输入层和所述输出层之间的多个神经网络层。由于技术随时间流逝而进步，神经网络可以具有不同的结构。每个示例神经网络层具有包括多个学习滤波器的一组滤波器。每个学习滤波器包括多个滤波器元件，并且每个滤波器元件具有滤波器值。所述学习滤波器和滤波器值是通过使用多个训练图像(training images)的基于计算机的深度学习(computer based-deep-learning)来构成或构建的。所述训练图像可以包括所述数据嵌入的图像图案的多个主图像和所述数据嵌入的图像图案的数据嵌入的图像图案的多个非主图像。所述训练图像包括具有不同程度的图像缺陷(image imperfections)的缺陷图像。图像缺陷是在图像捕获过程中或由于不同的图像捕获条件而在受控条件下有意引入到缺陷图像中的受控缺陷(controlledimperfections)。图像缺陷被控制在可接受的范围内，这将有助于有意义的训练和真实性的确定。具有一个或多个可接受的范围之外的缺陷的图像不用于训练神经网络。

实验表明，通过使用具有受控的图像缺陷的大量训练图像(比如，几千个训练图像)来训练神经网络而获得的认证工具显著地提高了识别率和确定的可靠性。

在一些实施例中，所述神经网络是卷积神经网络(CNN)。

在一些实施例中，所述图像缺陷包括亮度、对比度、模糊度、图像像素数量或尺寸和/或背景噪声的缺陷。

在一些实施例中，所述缺陷包括亮度的缺陷，并且相对于所述真实信息承载装置的参考亮度来测量所述亮度的缺陷；并且，所述亮度的缺陷包括由于图像捕获设备的照明设置、曝光设置或其他灯光设置而导致的亮度与所述参考亮度的偏差。

在一些实施例中，所述缺陷包括对比度的缺陷，并且相对于所述真实信息承载装置的参考对比度来测量所述对比度的缺陷；并且，所述对比度的缺陷包括由于图像捕获设备的照明设置、曝光设置或其它灯光设置导致的对比度与所述参考对比度的偏差、或者由于固定有所述数据嵌入的图像图案的形成介质的纹理导致的对比度与所述参考对比度的偏差

在一些实施例中，所述缺陷包括模糊度的缺陷，并且相对于所述真实信息承载装置的参考模糊度来测量所述模糊度的缺陷；并且，所述模糊度的缺陷包括由于图像捕获设备的聚焦设置或聚焦限制而导致的模糊度与所述参考模糊度的偏差、由于图像捕获期间用户操作者的聚焦距离或聚焦缺陷而导致的模糊度与所述参考模糊度的偏差、或者由于固定有所述数据嵌入的图像图案的形成介质的纹理而导致的模糊度与所述参考模糊度的偏差。

在一些实施例中，每种类型的缺陷都在具有上限和/或下限的规定范围内，并且根据所述CNN的可训练性来选择所述规定范围。

在一些实施例中，所述数据嵌入的图像图案包括一组编码的数据，其中，所述编码的数据是离散数据，所述离散数据作为非人类可读或非人类可感知的展开图案而展开并分布在所述数据嵌入的图像图案中；并且，所述一组编码的数据具有特征信号强度，并且所述数据嵌入的图像图案的主图像的特征信号强度高于信号强度阈值，该信号强度阈值是CNN的可训练性的阈值。

在一些实施例中，嵌入在所述数据嵌入的图像图案中的所述一组数据包括多个离散数据，并且所述离散数据被转换成空间分布的图案定义元素，所述空间分布的图案定义元素在所述数据嵌入的图像图案中展开并且使用肉眼无法读取或无法感知。

在一些实施例中，嵌入在所述数据嵌入的图像图案中的所述一组数据包括多个离散频率数据，并且所述离散频率数据被转换成空间分布的图案定义元素，所述空间分布的图案定义元素在所述数据嵌入的图像图案中展开并且使用肉眼无法读取或无法感知；并且，所述空间分布的图案定义元素和所述离散频率数据通过傅里叶变换相关。

在一些实施例中，嵌入在所述数据嵌入的图像图案中的所述一组数据包括第一多个频率数据，并且所述频率数据具有第一特征频率并且相对于一组频率轴的不同角度。

在一些实施例中，嵌入在所述数据嵌入的图像图案中的所述一组数据包括第二多个频率数据，并且所述频率数据具有第二特征频率并且相对于一组频率轴的不同角度，所述第二特征频率低于所述第一特征频率。

在一些实施例中，所述第一特征频率处于或高于100LPI。

在一些实施例中，所述第二特征频率处于或低于200LPI。

在一些实施例中，嵌入在所述数据嵌入的图像图案中的所述一组数据包括多个频率数据，并且所述频率数据具有特征频率，其中，所述频率数据能够在频域平面上定义，并且相邻的频率数据在所述频域平面上具有22.5°或更小的角距。

在一些实施例中，所述输入层包括一个或多个通道，并且所述通道具有128×128个像素或更少的像素。

在一些实施例中，所述输出层包括多个通道，并且每个通道具有4×4个特征数据或更少的特征数据。

在一些实施例中，CNN包括四个卷积层。

在一些实施例中，所述卷积层顺序地连接，并且每个卷积层包括定义多个通道的通道的数量，并且，卷积层的通道的数量随着从所述输入层到所述输出层的进行而增加。

在一些实施例中，每个通道具有定义多个特征数据的特征数据的数量，并且，每个通道的特征数据的数量随着从所述输入层到所述输出层的进行而减少。

在一些实施例中，所述工具包括FCN，并且CNN的输出要输入到所述FCN，并且，所述FCN用于处理所述输入并给出真实性的概率的输出。

在一些实施例中，所述工具能够存储为一组计算机可执行指令。

公开了一种认证设备，包括微处理器、显示器、数据存储装置和存储在所述数据存储装置中的认证工具。

在一些实施例中，所述设备包括图像捕获装置，并且所述微处理器能操作以执行存储的指令，以获得声称的信息承载装置的图像。

本文的术语“缺陷”和相关术语“不完美”是相对的且非绝对的术语。

例如，在通过使用参考认证设备能够获得的主图像的最佳模糊度被认为是大约1至2的情况下，1至2的模糊度水平被认为是完美的，而高于2的模糊度水平被认为是不完美的。

例如，在最佳捕获条件下数据D₁的的最佳信号强度是45.17的情况下，低于最佳信号强度的信号强度被认为是不完美的情况。

例如，在数据嵌入的图像图案的原始或主副本的对比度值是C 的情况下，与C的偏差被认为是不完美的。

例如，在数据嵌入的图像图案的原始或主副本的亮度(或明度) 级是B的情况下，与B的偏差被认为是不完美的。

例如，在数据嵌入的图像图案具有N×M个像素的情况下，由具有N'×M'个像素的变体(variant)图像捕获装置捕获的图像图案被认为是不完美的，其中N≠N'或M≠M'。

在本说明书中，数据编码的图像图案和数据嵌入的图像图案可互换使用。认证设备可以是智能电话或加载有包含本公开的认证工具或指令的应用软件的其他便携式设备。

附图说明

将通过示例并参考附图来描述本公开，在附图中

图1是根据本公开的示例认证设备的框图，

图2A和图2B是认证方法的示例流程图，

图3是本公开的在输入层与输出层之间包括示例的多个(n个)卷积层的示例CNN，

图3A是在示例认证设备中实现的示例CNN，该示例CNN在输入层和输出层之间包括示例的多个(四个)卷积层，

图3B1至图3B6是图3A的CNN的示例部件层的示意图，

图3C是连接到图3A的CNN的FCN的示意图，

图3D是描述图3C的FC1的输入处的示例处理的示意图，

图4A是在本公开中使用的用于确定真实性的示例信息承载装置，

图4B是示出数据域中的示例信息承载装置的认证数据的数据域图，

图4C是图4A中的示例信息承载装置的真实性数据嵌入的图像图案，

图5A和图5B是智能电话形式的示例认证设备的前视图和后视图，

图6A1、图6A2和图6A3是从图3A的CNN的第1卷积层的经处理的特征图形成的示例图像，

图6B1、图6B2和图6B3是从图3A的CNN的第2卷积层的经处理的特征图形成的示例图像，

图6B1'、图6B2'和图6B3'描绘了图6B1、图6B2和图6B3的对应频率数据，

图6C1、图6C2和图6C3是从图3A的CNN的随后卷积层的经处理特征图形成的示例图像，

图7A1、图7A2、图7A3、图7A4和图7A5是当通过图像捕获装置观察时在不同亮度条件下真实信息承载装置的外观(appearance) 的示例，

图7A11、图7A21、图7A31、图7A41和图7A51是图7A1、图 7A2、图7A3、图7A4和图7A5的信息承载装置的数据域表示，

图8A1、图8A2、图8A3、图8A4和图8A5是当通过图像捕获装置观察时具有不同模糊度的真实信息承载装置的外观的示例，

图8A11、图8A21、图8A31、图8A41和图8A51是图8A1、图 8A2、图8A3、图8A4和图8A5的信息承载装置的数据域表示，

图9A1、图9A2、图9A3、图9A4和图9A5是当通过图像捕获装置观察时具有不同对比度的真实信息承载装置的外观的示例，

图9A11、图9A21、图9A31、图9A41和图9A51是图9A1、图 9A2、图9A3、图9A4和图9A5的信息承载装置的数据域表示，

图10A1、图10A2和图10A3是当通过图像捕获装置观察时具有不同打印密度的真实信息承载装置的外观的示例，

图10A11、图10A21和图10A31是图10A1、图10A2和图10A3 的信息承载装置的数据域表示，

图11A1、图11A2和图11A3是当通过图像捕获观察时具有不同打印介质纹理(texture)的真实信息承载装置的外观的示例，

图11A11、图11A21和图11A31是图11A1、图11A2和图11A3 的信息承载装置的数据域表示，

图12A1、图12A2、图12A4、图12A4和图12A5是当通过图像捕获装置观察时具有不同模糊度的非真实信息承载装置的外观的示例，

图12A11、图12A21、图12A31、图12A41和图12A51是图12A1、图12A2、图12A4、图12A4和图12A5的信息承载装置的数据域表示，

图13是描述神经网络(neural network)的训练过程的流程图，以及

图14A、图14B和图14C是分别示出信号强度与对比度、亮度和模糊度之间的关系的曲线图。

具体实施方式

如图1所示，示例认证设备10包括处理器12、数据存储装置 14、显示装置16、通信前端装置18、图像捕获装置20和发光装置 22。在不失一般性的情况下，处理器12可以是固态装置，例如微处理器、多核微处理器、微处理器阵列或集群、多核微处理器阵列或集群、或其他形式的微处理器或固态处理器。图像捕获装置20和发光装置22是可选的装置，以便于在必要或期望的情况下捕获目标的图像。在一些应用中，该设备使用图像捕获装置20捕获目标的图像。所捕获的目标的图像用于瞬时分析和确定目标的真实性。本文的目标包括目标物品或其部分。在此，目标的图像是要被分析以便于例如验证或确定目标的真实性的目标图像。在一些应用中，设备用于从另一设备或另一源接收目标图像。在一些实施例中，设备10用于例如经由通信前端装置18从外部源或从诸如USB型记忆棒的便携式存储装置接收一个或多个目标图像。不管目标图像的源如何，设备都将执行所存储的指令以基于一个或多个目标图像来验证或确定目标的真实性。

设备10存储有一组认证指令。认证指令可以存储在数据存储装置14上。数据存储装置可以包括诸如RAM的易失性存储器和诸如 ROM、SSD(固态驱动器)或HDD(硬盘驱动器)的非易失性存储器。

为了执行认证操作，微处理器12将加载来自数据存储装置14 的非易失性数据存储部分的所存储的认证指令，以激活并执行所加载的认证指令，使得设备进入认证模式，然后将设备作为认证机器来操作。当处于认证模式时，设备10可操作以对目标图像执行认证操作，由此验证或确定目标图像的源的真实性。在大多数示例应用中，目标图像被声称是真实认证装置的直接图像。源的直接图像意味着图像是直接从源获得的，而没有发生于其间的复制，即，图像不是从源的图像捕获的。示例源可以是被设计成用作真实认证装置的用安全数据 (security data)隐蔽地编码的信息承载装置。出于本公开的目的，真实认证装置是目标，并且源因此也是目标。隐蔽地编码的数据通常不是人类可读或可感知的，并且数据编码可以借助于诸如变换域编码技术的隐写技术。示例变换域编码方案包括通过使用傅立叶变换(Fourier transform)、贝塞尔变换(Bessel transform)、汉高变换(Henkeltransform)、余弦变换(cosine transform)或其他变换函数的数据变换编码。适用于安全应用(包括本公开的认证应用)的隐蔽数据编码的示例转换函数或变换函数是通过将离散数据变换成由多个图案定义元素定义的图像图案的能力的表征，其中图案定义元素散布或分布在由图案边界定义的图案中，以定义图案的空间分布属性和/或特性。在示例实施例中，离散数据包括一组数据。该组数据可以包括单个离散数据或多个离散数据。每个数据是可以由数据域中的一组数据坐标表示或表征的数据。域中的数据可以参考一对正交数据域轴u、v来表示。在示例实施例中，每个数据可以是可以由一组数据坐标(如，一组多维坐标，如，二维或三维坐标)表示的数据点。图像图案是通过将数据域中的一组数据变换成分布在整个图案边界上的多个图像定义元素而获得的数据编码的图像图案。数据代码的图像图案的空间属性和特性以及多个分布式图像定义元素的空间属性和特性由形成一组数据的离散数据的坐标确定。在一些实施例中，例如，在使用傅立叶变换的示例中，以下两者是相同的：通过对包括多个离散数据的一组数据进行变换操作而形成的数据代码的图像图案的空间属性和特性与定义数据编码的图像图案的多个分布式图像定义元素的空间属性和特性；通过叠加由对多个离散数据中的每一个单独进行变换操作而形成的图像图案而形成的数据代码的图像图案的空间属性和特性与定义数据编码的图像图案的多个分布式图像定义元素的空间属性和特性。

这里的示例信息承载装置包括利用一组离散数据编码的数据编码的图像图案。该组数据在其编码状态下是人类不可感知的，使得该数据不容易被使用肉眼观看数据编码的图像图案的人类读者读取或解码。数据编码的图像图案由多个图案定义元素共同形成，这些图案定义元素根据其数据坐标在空间上分布或散布以对应于该组数据。该组数据可以包括多个离散数据，并且由于其坐标值，每个离散数据具有特定的相应的一组分布或散布特性。例如，数据和通过对该数据的变换操作形成的对应图像图案可以通过变换函数或具有本文所述的特性或变换函数的逆变换函数而唯一地相关。在示例实施例中，可表示为在第一域u、v中具有单独数据坐标的多个数据点的一组离散数据具有由一组图像定义元素定义的对应图像图案，图像定义元素具有连续且幅度变化的属性，例如分布或散布在第二域x、y中的振荡幅度属性或渐近振荡幅度属性，第二域x、y是图像图案的空间域。例如，该组离散数据可以包括频域中(比如说，第一域)的多个频域数据，并且数据编码的图像图案具有分布或散布在空间域(比如说，第二域) 中的连续且变化的幅度属性。在空间域中分布或散布的连续且变化的幅度属性在此被称为变换域属性。

由于其独特的属性，例如，由于一组数据与具有散布或分布的图案定义元素以表示该一组数据的一组空间图像图案之间的特定或一一对应关系，信息承载装置可以用作认证装置，其中编码的坐标数据或编码的一组坐标数据用作安全数据或安全特征。在此，认证装置包括信息承载装置，并且也被称为认证标记、认证信息承载装置。在包含数据编码的图像图案的信息承载装置被用作验证装置的情况下，数据编码的图像图案将用作防伪标记，并且编码数据将用作认证数据。

在适当的情况下，真实认证装置(authentic authentication device) 在此也被称为真实信息承载装置或真正信息承载装置，而非真实认证装置也被称为非真实信息承载装置或非真正信息承载装置。目标图像可以由设备捕获或从外部源接收。

在认证操作期间，设备10将作为认证机器操作，该认证机器包括或类似于与全连接网络(fully connected network)(“FCN”)50组合的卷积神经网络(convolutionalneural network)(“CNN”)30，如图2 中所描绘的。

示例CNN 30包括输入层300、输出层399、以及将输入层300 和输出层399互连的多个卷积层301-30n。CNN是机器学习中的一类深度的、前馈的、人工神经网络。每个卷积层301、…、30i、…、30n 包括一组通道(channels)和一组学习滤波器(learned filters)。通道也被称为特征图或激活图。每个通道包括具有数据大小(data size)的一组特征数据。特征图是二维的，并且该组特征数据具有矩阵宽度(或简称为宽度)和矩阵高度(或简称为高度)。每个特征数据被称为神经元。卷积层依次串联连接。每个卷积层将对其输入进行卷积运算 (convolution operation)，并将卷积运算的结果传递到下一层。该过程被描述为神经网络中的卷积运算，其在数学上是互相关运算。一个卷积层或相同卷积层的通道具有相同的数据大小，即，它们具有相同数量的数据或神经元。依次组织卷积层，并且前一层的卷积输出被输入到下一层或随后层，并且输出层是CNN的最后一层。卷积层被构造为使得随后层的通道比前一层的通道具有更少的数据量，并且随后层的通道数量大于前一层的通道数量。相反，前一层的通道具有比随后层的通道更多的数据，并且前一层的通道的数量小于随后层的通道的数量。随着在从输入层到输出层的进程上通道数量增加，在从CNN 的输入侧到输出侧的进程上滤波器数量也增加。

每个通道与一组滤波器相关联，并且每个滤波器是包括多个加权因子的加权模板，并且加权因子是学习的加权因子，该学习的加权因子是在实现认证工具之前通过学习获得的。随着在从输入侧到输出侧的进程上通道数量增加，在从输入侧到输出侧的进程上滤波器数量也增加。

在正向通过期间，每个滤波器在作为前一层的特征图的输入体积的宽度和高度上卷积，以计算滤波器的条目和输入层之间的点积，并且产生该滤波器的二维激活图。

在上述示例CNN中，卷积层顺序地串联连接。然而，在一些实施例中，卷积层中的至少一些可以循环地互连或连接。上述示例CNN 中的层被构造为使得随后层的通道具有比前一层的通道更少的数据量，并且随后层的通道的数量大于前一层的通道的数量。然而，在一些实施例中，随后层的通道可以具有比先前层的通道更多数量或一样数量的数据，并且随后层的通道数量大于先前层的通道数量，并且在一些实施例中，随后层的通道数量可以小于或等于先前层的通道数量。在示例CNN中，滤波器的数量在从输入侧到输出侧的进程上增加。然而，在一些实施例中，滤波器的数量可以在从输入侧到输出侧的进程上减少或者保持相同

如图2所示，全连接网络(“FCN”)连接到CNN的输出，使得 CNN的输出作为输入被馈送到FCN。FCN将对CNN的经处理的数据执行分类操作，例如以确定目标图像CNN的经处理的数据是对应于真实认证装置还是对应于非真实认证装置，或者对应于真实认证装置或非真实认证装置的可能性有多大。

如图3所示，示例认证设备的示例CNN包括输入层和输出层之间的多个卷积层。CNN的卷积层串联连接以形成串联连接的卷积层的整体。每个卷积层包括多个滤波器，并且每个滤波器是要与输入数据文件一起操作以生成输出数据文件的卷积滤波器。作为卷积滤波器和在卷积层的输入处的输入数据文件之间的卷积运算的结果，生成多个输出数据文件。每个输出数据文件被称为CNN术语中的特征图。因此，特征图是作为卷积滤波器和输入数据文件之间的卷积运算(即，相关运算)的产物的数据文件，其中每个输入数据文件也被称为输入矩阵。在CNN的第一卷积层的输入处提供的输入数据文件预期是包含表示多个图像定义元素的多个图像数据的目标图像的数据文件。每个图像定义元素具有空间属性和特征，使得目标图像的所有图像定义元素的空间属性和特征定义目标图像的整体。空间属性和特征包括图像定义元素的空间坐标和信号幅度或强度。在数字地捕获或存储目标图像的情况下，每个图像定义元素被存储为数据文件中的像素。图像或更具体地目标图像至少是二维的。因此，图像的像素通常被布置为 2维或3维数据文件或数据矩阵，其中特定像素可参考其在图像中的位置，例如参考其在图像上的空间坐标，例如以行和列编号来标识。

卷积层的每个输出数据文件具有比其在卷积层的输入处呈现时输入数据文件小的数据文件大小。通常，在卷积运算期间提取显著特征，使得特征图包含从输入文件提取的显著特征，或者使得显著特征更显著，但是具有更少的细节。每个特征图作为数据文件当被重构为与输入数据文件相关的二维或三维数据文件或数据矩阵且呈现在显示装置上时表现为可见图像。

在第1卷积层的输出处，将在第1卷积层处呈现的目标图像的数据文件变换成多个输出数据文件。第1卷积层的输出处的每个数据文件是数据大小小于输入数据文件的特征图，输出数据文件的数量是输入数据文件的数量的倍数。当数据文件(即，特征图)前进通过卷积层时，这种趋势继续。卷积层g处的目标图像或特征图的数据文件表示为

其中g代表卷积层的标识号，n代表图像图案的尺寸，而cⁱⁿ是输入通道的数量。数据文件的尺寸n表示图像图案的矩阵行或矩阵列中的像素的数量。

图3A中描述的示例认证设备包括输入层和输出之间的示例的多个(四个)卷积层。

用于在输入层300处呈现的图像图案具有规定的多个图像定义元素。图像定义元素被数字地分布以形成像素矩阵，其中每个像素是示例图像定义元素。输入层300处的示例图像图案具有被布置成具有 128行和128列的二维输入矩阵的示例多个128×128像素。在图像图案是可表示为

的空间图案的情况下，在第一卷积层301处呈现的图像图案具有g＝1，n＝128，cⁱⁿ＝1。这里，n＝128的尺寸意味着在第一空间方向x上存在多个128像素，并且在与第一方向x正交的第二空间方向y上存在多个128像素。为了方便起见，在此使用方形矩阵，在不失一般性的情况下，可以使用非方形矩阵。示例图像是灰度图像，并且示例输入层具有单个输入通道(cⁱⁿ＝1)。在图像是彩色的情况下，输入层将具有三个输入通道，对应于用于红色像素的R(红色)输入通道、用于绿色像素的G(绿色)输入通道和用于蓝色像素的B (蓝色)输入通道。

第一卷积层301(也称为第一隐藏层)包括一组卷积滤波器。示例第一卷积层301由示例多个k＝32卷积滤波器组成。卷积滤波器将使用输入图像I^1,128,1(x,y)进行操作以生成并输出多个k＝32特征图。每个特征图是卷积滤波器和输入数据矩阵之间的卷积运算(即，相关运算)的产物。输出特征图与输入数据矩阵相比具有减少数量的特征数据。在此示例中，第一卷积层的特征图具有64×64特征数据，其为输入数据矩阵的数据的1/4。第一卷积层的输出处的特征图被表示为 I^2,64,32(x,y,ch)。每个特征图是第一卷积层的输出数据文件，其用于输入到下一个第二卷积层。第一卷积层的输出特征图具有在第一空间方向X上的示例多个64像素和在与第一方向X正交的第二空间方向Y 上的示例多个64像素。

在第g个卷积层处的卷积运算可使用以下示例卷积方程

来执行：

其中，f是滤波器大小，其通常是奇数，s是步长大小(stride size)，p是池化(pooling)因子， c表示输出的通道的数量，cⁱⁿ是输入通道的数量。池化因子表示输入数据文件和输出数据文件之间的线性或阵列比例的减少，即pool^p将空间维度减少了因子p。例如，在p＝2的情况下，阵列中的像素数量 (数据矩阵的行或列)从128×128个图像减少到64×64。如果s＞1，则可以引入空间维度的额外减小。

是用于增加元素方面的非线性度的激活函数。指数线性单元(ELU)函数是适合于本公开的示例激活函数。

示例卷积运算方程conv^f，s，c定义如下：

其中f是奇数，W是由多个可学习参数组成的f×f×cⁱⁿ×c矩阵，

是 w_m,g中的权重参数之一，且w_m,g是一组权重参数。另外，当需要计算

时可以对

进行填充(padding)。

因此，第一卷积层的卷积运算可以由以下表达式表示：

其中，f是滤波器大小，s是步长大小，p是池化因子，c表示输出的通道的数量，并且

是输入到第g个卷积层的输入通道数量cⁱⁿ的特征图，并且n是特征图矩阵的宽度(或高度)。在32个特征图各自具有64×64个特征数据的情况下，在第一卷积层中存在总共64×64×32个神经元。第一卷积层的示例卷积运算为 Con^{3，1，2，32，1}(I^1，128，1)(即Con^{3，1，2，32，1}(I^1，128，1)(x，y，ch))，使得f＝3是滤波器大小，s＝1是步长大小，p＝2是池化因子，c＝32、cⁱⁿ＝1且ch可为1到32之间的自然数。滤波器大小为3在这里意味着滤波器具有总共9个权重，其被布置成X方向上的3行和Y方向上的3列。每个权重是加权因子(weighting factor)，也称为加权神经元。通过机器学习，例如通过深度学习，建立每个权重因子或权重神经元的值。在池化因子为2的情况下，该层的通道中的特征数据的数量是前一层的特征数据的数量的一半。换句话说，在从输入层前进到第一卷积层时，特征矩阵的空间尺寸(n)中的每一个减少50％，并且特征矩阵的空间尺寸(n×n)减少75％。另一方面，在从输入层前进到第一卷积层时，通道的数量增加32倍。

在第一卷积层处的示例卷积运算Con^{3，1，2，32，1}(I^1，128，1)可以表示如下：

其中，Φ是下面定义的元素方面的ELU函数：

X是conv运算的输出(X＝Conv^{3，1，32，1}(I^1，128，1))，其中

并且其中p是步长大小，t是与卷积步骤类似的用于池化的滤波器大小，在示例情况下，p＝t＝2，并且对于

其中

表示笛卡尔积的计算。

第二卷积层(也称为第二隐藏层)由各自具有32×32个特征数据的示例多个64个特征图和包括64个滤波器的一组滤波器组成。第二卷积层的特征图被表示为I^3，32，64(x，y，ch)，其中，ch可以是1和64之间的数，并且通过64个滤波器对第一卷积层的32个输入特征图矩阵的卷积运算(即，相关运算)而获得，每个输入特征图矩阵具有64×64 个特征数据。第二卷积层的通道的特征数据具有在第一空间方向X 上的示例多个32个特征数据和在与第一方向X正交的第二空间方向 Y上的示例多个32个特征数据。使用相同的符号约定，第二卷积层的示例卷积运算由以下表达式表示：Con^{3，1，2，64，2}(I^2，64，32)(x，y，ch)。在池化因子为2的情况下，该层的通道中的特征数据的数量是前一层的特征数据的数量的一半。换句话说，在从输入层前进到第一卷积层时，特征矩阵的空间尺寸(n)中的每一个减少50％，并且特征矩阵的空间尺寸(n×n)减少75％。另一方面，在从第一卷积层前进到第二卷积层时，通道的数量增加2倍。

第三卷积层(也称为第三隐藏层)由示例多个128个特征图和包括256个滤波器的一组滤波器组成，每个特征图是具有16×16个特征数据的特征图矩阵，每个滤波器是3×3个滤波器矩阵。第三卷积层的特征图被表示为I^4，16，128(x，y，ch)，其中，ch可以是1到128之间的数，并且通过第二卷积层的128个滤波器对上一个卷积层的64个输入特征图矩阵的卷积运算(即，相关运算)而获得，每个输入特征图矩阵具有32×32个特征数据。

第四卷积层(也称为第四隐藏层)由示例多个256个特征图和一组滤波器组成，每个特征图是具有8×8个特征数据的特征图矩阵，该组滤波器包括512个滤波器，每个滤波器是3×3个滤波器矩阵。第三卷积层的特征图被表示为I^5，8，256(x，y，ch)，其中，ch可以是1到256之间的数，并且通过上一个卷积层的256个滤波器对上一个卷积层的128个输入特征图矩阵的卷积运算(即，相关运算)而获得，每个输入特征图矩阵具有16×16个特征数据。

输出卷积层由示例多个512个特征图组成，每个特征图是具有 4×4个特征数据的特征图矩阵。输出卷积层的特征图被表示为 I^6，4，512(x，y，ch)，其中，ch可以是1到512之间的数，并且通过上一个卷积层的512个滤波器对上一个卷积层的256个输入特征图矩阵的卷积运算(即，相关运算)而获得，每个输入特征图矩阵具有8×8个特征数据。

在下面的表A中描述了用于第一输出通道的con^{3，1，2，32，1}(I^1，128，1)的示例学习滤波器。

在上面的表B中描述了用于输入到FCN的输出层处的示例特征图I^6，4，512(x，y，ch)。

减少空间尺寸同时增加通道的数量的趋势持续到达到CNN的输出层，其时示例输出层具有4×4×512的尺寸，这意味着存在512 个通道并且每个通道具有4×4个特征数据的空间尺寸。

在从一层(前一层)前进到下一层(后一层)时，对前一层执行池化卷积运算

并且将结果传递到下一层。从前一层到下一层的池化可以通过最大池化(Max Pooling)、平均池化或其它优选的池化方案。

在从前一层前进到下一层的正向传递期间，每个滤波器在输入体积的空间维度上卷积，计算滤波器的条目与输入之间的点积，并且产生该滤波器的二维激活图。滤波器的条目共同定义权重矩阵，并且权重矩阵是由CNN在CNN的深度学习训练期间学习的。

示例信息承载装置60

图4A中描绘了适于与认证工具一起工作以确定真实性的示例信息承载装置60。示例信息承载装置60包括对准装置和图像图案。对准装置包括多个对准部件，并且每个对准部件是具有对比色的一组嵌套正方形的形式。存在示例多个四个对准部件，并且对准部件分布在限定信息承载装置60的外边界的正方形的远角处。信息承载装置 60包括图像图案，该图像图案是嵌入或编码有频域数据的数据承载图案。嵌入在图像图案中的数据是如图4B所示的频域数据。频域数据包括第一子集和第二子集。第一子集包括多个频率数据点，每个频率数据点具有第一空间频率，第二子集包括多个频率数据点，每个频率数据点具有高于第一空间频率的第二空间频率。每个频率数据点具有相对于u-v轴的原点的特征角度和特征幅度。每个数据点由二维笛卡尔坐标(u，v)表征或可由一对极坐标(r，θ)识别。数据子集中的数据点具有相同的半径(r)值和不同的角度值(θ)。

频域数据点通过以下关系式与图像图案的空间属性相关：

在上述方程中，

且频率数据点的量值(magnitude)由以下表达式给出：

其中，

用于执行DFT(离散傅立叶变换)移位，并且H是单位阶跃函数，并且M和N的示例值是 512个像素。频域数据点分散在频域平面中，以在空间域平面中形成更精细或更复杂的数据承载图案。

频域数据点可以是角度和频率散布或分散的。例如，多个频域数据点可以分布在多个不同的频率上，并且相对于频域平面的原点成多个角度，频域平面也被称为u-v轴平面或简称为u-v平面。直观地，与u-v平面的原点成角度的频域数据点对应于特征空间分量在空间平面中的特定取向上的分布，该空间平面在本文中也被称为x-y平面。

信息承载装置60的频域数据点在实频率平面中包括第一空间频率为100LPI的示例多个8个频域数据点和第二空间频率为200LPI 的示例多个8个频域数据点。示例频域数据点以均匀的角间距分布，使得相同空间频率的相邻频域数据点具有22.5°的角间距。在该示例中，作为选项，第一和第二空间频率的示例频域数据点径向对齐。在频域用语来看，信息承载装置60的图像图案为每域大小1行(1 line-per-domain size)。示例信息承载装置60被设置为具有一平方厘米的物理大小，在每个正交方向上具有512个像素的原始频域大小，并且将由1200DPI打印机打印该示例信息承载装置60。在这种情况下，域大小是512个像素，并且信息承载装置60的图像图案是每像素1/512行(1/512line-per-pixel)。

为了使用1200DPI打印机在1cm*1cm介质上打印信息承载装置，需要调整信息承载装置60的大小并对其量化。具体地，由于每厘米 472个像素等于1200DPI，所以需要在每个正交方向上将信息承载装置的尺寸调整为472个像素的宽度和高度。数据嵌入的图像图案的每个像素是实数，并且尺寸调整后的信息承载装置从实数量化为双水平 (bi-level)。

信号强度

信号强度由数据点的量值与围绕数据点的背景点的量值的平均值之间的距离来定义。

信号强度和量值之间的差异在于，信号强度由背景点的量值标准化，因此，它与信息承载装置60的恢复的图像的亮度级的范围无关，而量值取决于亮度级的范围。

用于确定具有坐标(u，v)的数据点的信号强度的一般方程是：

其中，

且

其中，P^u，v，r是定义以(u， v)为中心的正方形邻域的一组数据点(数据点的集合)，其半径為r 不包括(u，v)(正方形区域)。即

是信号强度对P^u，v，r集合的平均值，并且SD(u，v)是信号强度对集合P^u，v，r的标准偏差。

在一些实施例中，所有所选数据点的量值的加权和(weighted sum)被用作信号强度。

信号强度的示例方程是

其中，T是一组选择的数据点。对于示例信息承载装置60，在如200LPI下的所选数据点的信号强度可以表示如下：

在方程3中，T是在200LPI下的8个数据点的集合，以及

示例信息承载装置具有一厘米的宽度，或

英寸的宽度。当应用具有像素域大小为512个像素的傅立叶变换时，r＝20行。这对应于20个点。r的其它值可以根据集合T中的数据点的分布来选择，使得每个数据点的正方形区域不包括相邻数据点。在该示例中，不包括r的相邻数据点的最大值是25个点

示例认证设备

在示例实施例中，认证设备通过智能电话执行应用软件形式的一组指令来实现。指令在执行时存储并驻留在易失性存储器(如RAM) 上。参考图1、图5A和图5B，智能电话80包括处理器12、数据存储装置14、显示装置16、通信前端装置18、图像捕获装置20和发光装置22，它们被包含在主壳体82中。

为了将智能电话作为认证设备操作，用户要激活应用软件。在激活智能电话上的应用软件时，用户可以通过使用智能电话的图像捕获装置捕获目标信息承载装置60的图像，并且捕获的图像将出现在智能电话的显示屏上，如图4A所示。在一些实施例中，所捕获的图像具有512×512个像素。

认证设备接下来将进行执行由认证工具定义的认证过程，并评估捕获的图像是对应于真实信息承载装置60的图像还是对应于非真实信息承载装置60的图像。

为了处理捕获的图像，例如通过设备从捕获的图像中剪裁足以促进分析的捕获的图像的数据承载部分的128×128个像素的部分。由于认证模型的输入层被设置为128×128个像素的大小，因此选择具有128×128个像素的大小的部分。可以理解，当输入层的大小改变时或者根据输入层的大小，将调整要由认证设备检查的图像大小。

通过卷积函数Con^{3，1，2，32，1}(I^1，128，1)(x，y，ch)和一组32个滤波器，在第一卷积层处对裁剪后的图像(I^1，128，1(x，y))进行卷积运算。

第一卷积层的输出，即I^2，64，32(x，y，ch)，被馈送到第二卷积层并通过卷积函数Con^{3，1，2，64，2}(I^2.64，32)(x，y，ch)和一组64个滤波器在第二卷积层处对该输出进行卷积运算。

第二卷积层的输出，即I^3，32，64(x，y，ch)，被馈送到第三卷积层并通过卷积函数Con^{3，1，2，128，3}(I^3，32，64)(x，y，ch)和一组128个滤波器在第三卷积层处对该输出进行卷积运算。

第三卷积层的输出，即I^4，16，128(x，y，ch)，被馈送到第四卷积层并通过卷积函数Con^{3，1，2，256，4}(I^4，16，128)(x，y，ch)和一组256个滤波器在第四卷积层处对该输出进行卷积运算。

第四卷积层的输出，即I^5，8，256(x，y，ch)，被馈送到CNN输出层，并通过卷积函数Con^{3，1，2，512}(I₈(x，y，ch)和一组512个滤波器在输出层处对该输出进行卷积运算。

在图6A1至图6A3、图6B1至图6B3和图6C1至图6C3中描绘根据输入层的输出处的所选特征图形成的图像。

图6A1至图6A3是在最大池化之前分别从代表通道 24(I^2，64，32(x，y，24))，27(I² ^，64，32(x，y，27))和28(I^2，64，32(x，y，28))处的第1卷积层(输入到第2卷积层)的特征图形成的图像。注意，每个特征图包含亮度信息，其指示该层中的神经元对诸如亮度、对比度和模糊度的较低维度的参数更敏感。

图6B1至图6B3分别是从代表通道 12(I^3，32，64(x，y，12))，39(I^3，32，64(x，y，39))和44(I^3，32，64(x，y，44))处的第2 卷积层的特征图形成的图像。注意，每个特征图包含定向或方向信息，其指示该层中的神经元对图像图案的方向属性更敏感。

图6C1至图6C3揭示了在稍后的CNN层提取了更高维度的特征。

为了确定声称的认证装置是真实的还是非真实的，认证设备将执行存储的指令以参考存储的图像来检验声称的认证装置的真实性。存储的图像意指是作为声称的认证装置的图像的图像，，并且存储的图像在这里也被称为目标图像。目标图像是用于检验真实性的图像，并且可以是由用户操作员使用认证设备捕获的声称的认证装置的图像，或者是由用户操作员使用另一设备捕获并被传送到认证设备以检验真实性的声称的认证装置的图像。

认证设备利用并处理所存储的目标图像，以参照目标图像，例如目标图像的细节，并参照一组预定的认证标准，来检验声称的认证装置的真实性。

为了做出真实性的决定，认证设备将需要确定或决定目标图像是否是真实认证装置的图像。真实认证装置的图像是真实信息承载装置的主副本(primary copy)，而非真实认证装置的图像可以是真实信息承载装置的次副本(secondary copy)或假的信息承载装置的副本。在此，主副本意味着真实信息承载装置的直接捕获的图像，而在此，次副本意味着真实信息承载装置的间接副本，例如，主副本的副本。为了确定目标图像是否是真实信息承载装置的图像，认证设备将参考一组预定的认证标准处理目标图像。认证标准可以包括在真实信息承载装置中固有的或存在的信息、数据和/或物理细节。

可以观察到，当捕获用于促进认证的真实信息承载装置的图像时，作为真实信息承载装置的特征并且在真实信息承载装置固有或存在的许多物理细节被丢失。在此，细节的丢失包括细节的全部丢失、大量丢失、部分丢失和/或退化。结果，细节不再存在于所捕获的图像中，或者如果存在，细节也明显退化或失真。

另一方面，在真实信息承载装置中固有的或存在的许多物理细节不存在于真实信息承载装置的次图像或假的真实信息承载装置中，并且/或者当捕获到次图像的图像或假的真实信息承载装置的图像时被丢失。

主图像中细节的丢失使得基于所捕获图像的认证成为主要挑战，尤其是当存在重叠的细节丢失时。

现代的真实信息承载装置包含数据嵌入的图像图案，其是数字形成的并且由像素组成。每个像素具有包括大小、形状、颜色、亮度等的特征物理属性，并且全部像素共同定义数据嵌入的图像图案。每个数据嵌入的图像图案具有包括亮度、对比度、模糊度、子图案形状、子图案频率、子图案定向、子图案信号强度等的特征物理属性。在图像捕获和/或复制期间，一些特征物理属性遭受保真度退化或丢失。

亮度(Br)

例如，在真实信息承载装置包括由灰度编码像素构成的数据嵌入的图像图案的情况下，每个像素具有0和K-1之间的值的灰度级，其中K通常是2ⁿ形式的自然数，n是自然数。

当真实信息承载装置的数据嵌入的图像图案被图像捕获设备捕获时，形成捕获的图像的像素的灰度级可以被改变。例如，灰度级可以线性地、非线性地、随机地偏移，或者可以具有与数据嵌入的图像图案的灰度级分布相比完全不同的像素灰度级分布。所述改变可归因于图像捕获设备的内部设置(例如，曝光设置)、图像捕获设备的校准、环境照明、捕获设备的图像传感器的灵敏度和/或线性度、图像捕获的角度和/或其它参数。

在图4A的示例信息承载装置60中，在K＝256＝2⁸个级之一上编码每个像素，并且像素分布被设计成使得数据嵌入的图像图案具有 152的平均亮度级别

其中，G是排除与对准装置对应的像素的像素(x，y)的一组灰度级，I(x，y)是捕获的信息承载装置的恢复的图像。

当使用具有内置图像捕获装置的智能电话来捕获信息承载装置 60的图像时，与图4A的信息承载装置60的设计的152的亮度值相比，所得到的捕获的图像具有范围从19到252的不同平均亮度级，如分别在图7A1到图7A5中所示。在下面的表1中列出了所选频率(200LPI)的示例平均亮度值和相应的信号强度值S。

表1

上述信号强度对亮度(明度)的曲线图在图14B中示出。

在捕获的图像中，在没有智能电话的辅助照明的情况下捕获具有最低亮度的捕获的图像(图7A1)并且该捕获的图像在摄像方面曝光不足。在过度照明和/或曝光时间的情况下捕获具有最高亮度级252 的捕获图像(图7A5)。

应当理解，当信息承载装置60以不同的大小打印并因此具有不同的打印密度时，也会导致亮度的差异，如图10A1至图10A3所示。

尽管这里使用平均亮度作为参考亮度参数，但是应当理解，在不失一般性的情况下，亮度参数可以是在(一个或多个)特定取向上的亮度分布、图像图案的选定部分中的亮度等的度量。

在像素以颜色编码的情况下，每个像素可以具有三个颜色分量，并且每个像素具有多个颜色级中的一个。

对比度

当真实信息承载装置的数据嵌入的图像图案被图像捕获设备捕获时，形成捕获的图像的像素的对比度可被改变。例如，由于其上形成信息承载装置的介质的背景纹理，或者由于在捕获图像时图像捕获设备的背景照明和/或曝光设置，对比度可变化。

在图11A1至图11A3中描绘了在不同纹理的介质上捕获的图4A 的信息承载装置60的示例图像，并且在图9A1至图9A5中描绘了在不同照明水平和/或不同曝光时间下的示例图像。在下面的表2中列出了在200LPI下不同捕获图像的对比度值和数据点的相应信号强度值。

表2

上述信号强度与对比度的关系图在图14A中示出。

使用以下标准偏差关系式获得对比度C的值：

其中，G是不包括对准装置的恢复的图像中的一组像素

模糊度

当真实信息承载装置的数据嵌入的图像图案被图像捕获设备捕获时，所捕获的图像几乎不可避免地在某种程度上模糊，并且模糊的程度取决于许多因素，例如，由于图像捕获设备的自动聚焦设置或限制、用户操作者的手抖或聚焦不良导致。

图8A1至图8A5中描述了具有不同模糊程度的图4A的信息承载装置60的示例图像。在下面的表3中列出了不同图像的模糊程度和在200LPI的数据点的相应信号强度值。

表3

上述信号强度与模糊度的关系图在图14C中示出。

可以使用不同的方法来确定模糊度。例如，可以使用诸如使用来自边缘检测方法的边缘图(edge map)的方法来确定本文中的模糊度。

在示例中，可以通过对恢复的图像应用以下步骤来确定模糊度：

使用利用高斯滤波器(Gaussian filter)的卷积执行去噪

使用利用索贝尔滤波器(Sobel filter)的卷积从去噪图像计算梯度 (边缘图)

在不带对应于对准装置的像素的情况下使用梯度倒数的代表形式(例如，中值或75百分位)的缩放版本作为模糊度的测量

用于使用利用高斯滤波器的卷积对具有M列和N行的恢复的图像I(x，y)执行去噪的一组方程式可以是：

用于使用利用索贝尔滤波器的卷积从去噪图像计算梯度(边缘图)的方程式可以是：

用于使用第50百分位(中值)作为代表形式计算模糊度Bl的示例方程式可以是：

其中

是针对(x′，y′)∈G最接近第p个百分位的S(Ga^1，0.8(I))(x′，y′)的值。

K为正数。

G是在对准装置范围之外的一组像素。

非真实信息承载装置

可以观察到，真实信息承载装置的捕获的图像的物理特征与真实信息承载装置的物理特征可能有些不同。还观察到，非真实信息承载装置的捕获的图像的物理特征与真实信息承载装置的物理特征有些不同。物理特征包括物理性质和特性，例如亮度、对比度和模糊度。

认证设备将需要能够区分图像是真实信息承载装置的图像还是非真实信息承载装置的图像，以确定真实性并提供有用的输出。

可以观察到，由于图像捕获过程而引起的物理特征的一些变化或差异导致嵌入在数据嵌入的图像图案中的数据的物理属性的变化。

还观察到，在真实信息承载装置的图像和非真实信息承载装置的图像中存在的变化程度或范围之间存在差别，二者都是相对于真实信息承载装置而言的。

还已经观察到，与真实信息承载装置相比，在非真实信息承载装置的情况下，信息承载装置的某些特性特征的细节受到更不利的影响。

特性特征可以例如与嵌入在数据嵌入的图像图案中的一些特性数据相关或对应。

例如，在相同的图像捕获条件下，发现真实的数据嵌入的图像图案的捕获的图像的特征信号强度高于非真实的数据嵌入的图像图案的捕获的图像的特征信号强度。

还观察到，数据嵌入的图像图案的较高空间频率内容比较低空间频率内容更容易退化，尽管退化通常是人类不可感知的。

为了促进对声称是真实信息承载装置的主图像(primary image) 的所呈现图像的真实性的快速、高效和有效的确定，利用深度学习(也称为深度结构化学习或分层学习)来促进建立用于随后真实性确定的认证工具。

在示例中，CNN被训练以学习区分真实的数据嵌入的图像图案的图像和非真实的数据嵌入的图像图案的图像，使得经训练的CNN 可以提供关于输入图像是真实的数据嵌入的图像图案的图像还是非真实的数据嵌入的图像图案的图像的可能性的分类信息。

CNN结构

可以被训练以学习和开发认证工具的示例CNN具有包括输入层、输出层和多个卷积层的结构，如图2A和图3所示。为了简洁，通过引用在本文并入上述CNN的结构。

在定义CNN结构时，由于示例信息承载装置60具有由灰度编码中的图案定义元素定义的数据嵌入的图像图案，输入层被设置为具有单个通道。在对信息承载装置60进行颜色编码的实施例中，不失一般性地，输入层可以具有三个通道，对应于R(红)、G(绿)、B(蓝)。

已经观察到，虽然信息承载装置由512×512个像素构成，但是数据嵌入的图像图案的一部分足以促进学习和确定真实性。试验和实验表明，由128×128个像素组成的部分似乎是最小限度，以便于CNN 进行有意义的学习和处理。因此，输入层被设置为具有128×128个像素的像素大小。将注意，输入层包含要处理的原始图像的一部分。

随着卷积层远离输入层，要学习的特征的数量和特征的复杂度增加。结果，随着卷积层离输入层的距离增加，或者随着卷积层离输出层的距离减小，通道的数量增加，并且每个通道的特征数据的数量减少。

输出层具有4×4×512的输出大小，使得存在512个特征图，每个特征图具有4×4个特征数据以输入到FCN。FCN处理8192 (4×4×512)个元素，并且生成输出，该输出指示信息承载装置是真实的概率。

为了训练CNN，使用具有不同程度的缺陷的真实和非真实数据嵌入的图像图案的图像。所述缺陷包括与真实认证装置的数据嵌入的图像图案的亮度、对比度和模糊度不同的亮度、对比度和模糊度。数据嵌入的图像图案本身也可以选择使用。

为了构建具有实用性的认证工具，仅使用具有在可接受范围内的缺陷值的图像。具有在可接受范围内的缺陷值的图像是指可用于区分真实认证装置的图像和非真实认证装置的图像的特性特征可被机器识别。

根据一些选择标准选择训练图像，使得缺陷值在可接受的范围内。

使用信息承载装置60作为示例，选择的训练图像具有3到10 之间的可接受范围的模糊度，而真实数据嵌入的图像图案具有大约1 或2的参考模糊度。选择的训练图像具有45到215之间的可接受范围的亮度，而真实数据嵌入的图像图案具有大约152的参考亮度。选择的训练图像具有至少20的可接受范围的对比度，而真实数据嵌入的图像图案具有大约124的参考对比度。

由于信息承载装置60的最高频率数据处于200LPI，所以这些数据的信号强度被用作可行性的基准。在该示例中，17.5或更高的信号强度被用作选择阈值。

选择阈值被设置为高于次副本的图像的最大信号强度，该次副本具有接近下端的模糊度。在图中的示例中，次副本的最清晰图像的最大信号强度是大约17.45；因此，阈值被设置为刚好高于17.45，并且阈值是17.5。在该示例中，使用具有1200DPI的打印分辨率的复印机来制作该次副本。

使用具有各种各样的缺陷组合的大量的大约6000个训练图像来训练CNN。训练图像包括真实和非真实信息承载装置的图像。

训练过程

图13是描述使用被称为反向传播(back propagation)的过程的神经网络的训练过程的流程图。反向传播的过程包括步骤1300至步骤 1308。在步骤1300，初始化权重参数w_ij，其中w_ij是神经网络的第j 个神经网络层中的第i个权重。例如，可以根据均匀分布或高斯分布来初始化权重参数，并且对于所有的偏差，权重参数为0。在步骤1301，来自6000个训练图像的子集的每个图像被传递到初始化的神经网络中以获得预测输出Y_predicted，如果该图像是主副本，则其被标记为1(即， Y_labeled＝1)，如果该图像是次副本则其被标记为0(即，Y_labeled＝0)，该预测输出是w_m,g的函数，即，Y_predicted＝f(w_m,g)，其中，第g层是产生Y_predicted的FCN的输出层。在步骤1302，根据子集的每个图像的 Y_labeled和Y_predicted计算损失函数L。在步骤1303，计算每个权重参数 w_m,g的偏导数，即，

在步骤1304，调整每个权重参数w_iN，即，将其替换为

在步骤1305，根据步骤1303 和步骤1304以类似的方式调整神经网络的每一层的每个权重参数。在步骤1306，针对与先前训练的子集实质上不同的另一图像子集重复步骤1302-1305。在步骤1307，当所有6000个训练图像都至少一次通过神经网络时，确定神经网络收敛(convergence)。如果满足收敛条件，则训练过程在步骤1308结束。否则，再次重复步骤1302至 1307，直到神经网络收敛。

最初，将真实认证装置的多个图像馈送到CNN中以供学习。

在学习完成之后，形成具有学习的权重的多组滤波器。滤波器以及其他结构共同定义认证工具。认证工具可以被并入应用软件中，以便由诸如智能电话的计算机下载，用于随后的认证使用。

这里的示例认证装置的数据编码的图像图案(“图像图案”)通常使用多个像素(比如N×M个像素)来设计或由其定义，并且该图像图案通常被布置为二维像素矩阵。因此，真正认证目的理想主副本(“预期主副本”)将预期为具有相同数量的像素(即N×M个像素)的图像图案。具有图像捕获装置的认证设备被称为参考认证设备或简称为参考设备，并且相应的图像捕获装置被称为参考图像捕获装置，其中当该图像捕获装置与目标适当地对准时，将产生具有相同像素数(和像素布置)的图像。当真正认证装置(“目标”)的主图像由不是参考图像捕获装置的图像捕获装置拍摄时，则由非参考图像捕获装置捕获的主图像将具有与预期主副本相比不同的像素数，例如N’×M’个像素，其中，N’大于或小于N或M’大于或小于M。

虽然预期由非参考图像捕获装置捕获的主图像的质量不同于由参考图像捕获装置捕获的主图像的质量，但认证装置不低于真正认证装置，且需要训练神经网络以将此类捕获的图像识别为对应于作为真正目标的真正认证装置。

因此，在训练过程中，需要考虑由于用户使用的图像捕获装置的质量差异而导致的图像质量差异。

在目标最初由N×M个像素定义但是当在适当条件(包括适当对准条件等)下由图像捕获装置捕获时目标的主图像将导致不同的像素数的情况下，这样的图像捕获装置被称为变体图像捕获装置或简称为变体装置，并且相关联的认证设备被称为变体认证设备或非参考认证设备。

为了训练神经网络，将由变体图像捕获装置捕获的目标的主图像副本输入到神经网络，且训练神经网络以将此类所捕获的图像识别为对应于真正目标。

在示例实施例中，如图4B所示，作为认证装置的一部分的信息承载图案被嵌入有第一组安全数据D₁和第二组安全数据D₂。

例如，图4A的数据编码的图像图案被设计为N＝M＝512，其中，D₁在100LPI并且D₂在200LPI。当由参考设备捕获数据编码的图像图案的主图像时，D₁具有45.17的示例第一参考强度且D₂具有 74.30的第二参考强度。

当具有N'＝M'＝399的较低图像大小的变体设备捕获数据编码的图像图案的主图像时，D₁处的信号强度降至25.25并且D₂处的信号强度降至14.56。

当具有N'＝M'＝450的较低图像大小的变体设备捕获数据编码的图像图案的主图像时，D₁处的信号强度降至39.42并且D₂处的信号强度降至41.83。

当具有N'＝M'＝499的较低图像大小的变体设备捕获数据编码的图像图案的主图像时，D₁处的信号强度降到40.84，并且D₂处的信号强度降到46.81。

当具有N'＝M'＝569的较高图像大小的变体设备捕获数据编码的图像图案的主图像时，D₁处的信号强度降至41.67并且D₂处的信号强度降至49.71。

当具有N'＝M'＝652的较高图像大小的变体设备捕获数据编码的图像图案的主图像时，D₁处的信号强度降至43.23并且D₂处的信号强度降至52.48。

当具有N'＝M'＝659的较高图像大小的变体设备捕获数据编码的图像图案的主图像时，D₁处的信号强度降到39.83，并且D₂处的信号强度降到45.00。

因此，当捕获的像素的数量偏离设计的像素的数量时，可以预期由安全数据的信号强度的下降反映的图像质量或数据质量的下降。

注意，通过非变体装置获得的真正目标的主图像的模糊度也恶化(即，下降)。

作为示例，真正目标的参考主图像具有1至2之间的模糊度，而当上述示例变体设备以真正目标为对象时，真正目标的主图像具有 2或3至10之间的模糊度。注意，由手持式参考认证设备捕获的主图像最多具有大约2的模糊度。关于模糊度，较高的模糊度值意味着更大的模糊度，这是不期望的，并且与较低的模糊度相比，较高的模糊度值表示较差的质量。换句话说，低模糊度总是优选的。

因此，在使用真正目标的主图像训练神经网络时，所使用的主图像的模糊度的范围在2或3至10之间。

在主图像具有太高(例如，高于上限阈值，在此示例中为10)的模糊度值的情况下，这些主图像不用于神经网络训练，因为数据质量已被过度损害。注意，较高频率内容的模糊度比较低频率内容下降得更快。因此，所选数据频率的模糊度可以被选择性地用于训练目的。在示例实施例中，具有较高空间频率内容的数据(比如说D₂＝200DPI) 被用作用于确定主图像是否适合于训练神经网络的标准。

除了在适当对准时使用不同图像大小的变体图像捕获装置之外，还通过例如相对于目标来回移动手持式图像捕获装置以使得可捕获由于自动对焦机制而导致的不同程度的失焦，拍摄真正目标的不同图像大小的额外主图像。

获得的不同模糊度的主图像，通过手持式认证设备拍摄真正目标的多个图像。可以在不同的条件下通过例如以下方式拍摄主图像：通过相对于目标来回移动手持式图像捕获装置，使得可以捕获由于自动对焦机制而导致的不同程度的失焦，和/或通过在不同方向上向手持式图像捕获装置引入小运动，例如，摇动运动。

将目标的上述示例的缺陷主图像馈送到神经网络，以便训练神经网络，使得这样的图像对应于目标的主图像，并且训练神经网络以将这样的图像识别为对应于真正的、真实的或实际的。

将非真正的目标的缺陷图像(例如，使用上述捕获方法(其以引用的方式并入本文中且加以必要的变更)获得的图像)馈送到神经网络以训练神经网络使得此类图像对应于目标的非主图像(non-primary images)，且训练神经网络以将此类图像识别为对应于伪造、假冒或复制。

在所捕获的图像具有与设计的像素数量相比不同数量的像素的情况下，需要恢复处理(restoration process)。所捕获的图像是具有 N'×M'个像素的数据文件

而所恢复的图像是具有N×M个像素的数据文件

为了将具有N'×M'的图像数据文件转换为具有 N×M个像素的图像数据文件，注意，捕获图像域和恢复图像域中的像素通过单应矩阵G相关，使得

且

其中，

是所恢复的图像的像素数据坐标，并且(x，y)是所捕获的图像的像素数据坐标。

为了准备恢复，使用诸如哈里斯角检测器(Harris corner detector) 的方法检测示例信息承载装置的示例四个对准装置的每一个的四个角，总共是所捕获的图像的十六个角。对于k∈[1，16]，十六个角被表示为(x_k，y_k)。可以理解，所恢复的图像中(x_k，y_k)的相应位置是

预期的是，适当的单应矩阵G将导致最小的反投影误差，下面将描述示例单应矩阵。

在所恢复的图像大小具有N×M＝512像素×512像素的示例应用中，对于

中的每个，所捕获的图像中的对应反投影被表示为

如果

和

中任何一个不是整数，那么可以使用诸如双线性内插之类的内插方法来获得

处的像素值/亮度级。

虽然本文已参考示例描述了本公开，但示例不旨在且不应用以限制本公开的范围。

附图标记列表

Claims

1.一种认证工具，用于促进确定捕获的图像是否是真实信息承载装置的主图像，其中，所述真实信息承载装置包括数据嵌入的图像图案，并且所述数据嵌入的图像图案利用一组数据进行编码，并且所述一组数据具有特征信号强度；其中，所述认证工具包括神经网络结构，并且所述神经网络结构包括输入层、输出层以及在所述输入层和所述输出层之间的多个神经网络层，并且每个神经网络层具有包括多个学习滤波器的一组滤波器；其中，每个学习滤波器包括多个滤波器元件，并且每个滤波器元件具有滤波器值，并且其中，所述学习滤波器和滤波器值是通过使用多个训练图像的基于计算机的深度学习来构成或构建的；其中，所述训练图像包括所述数据嵌入的图像图案的多个主图像和所述数据嵌入的图像图案的多个非主图像，并且其中，所述训练图像包括具有不同程度的图像缺陷的缺陷图像，并且所述图像缺陷在图像捕获过程期间或者由于不同的图像捕获条件而被引入到所述缺陷图像中。

2.根据权利要求1所述的认证工具，其中，所述神经网络是卷积神经网络(CNN)。

3.根据权利要求1所述的认证工具，其中，所述图像缺陷包括亮度、对比度、模糊度、图像像素数量或尺寸和/或背景噪声的缺陷。

4.根据权利要求1或2所述的认证工具，其中，所述缺陷包括亮度的缺陷，并且相对于所述真实信息承载装置的参考亮度来测量所述亮度的缺陷；并且其中，所述亮度的缺陷包括由于图像捕获设备的照明设置、曝光设置或其他灯光设置而导致的亮度与所述参考亮度的偏差。

5.根据前述权利要求中任一项所述的认证工具，其中，所述缺陷包括对比度的缺陷，并且相对于所述真实信息承载装置的参考对比度来测量所述对比度的缺陷；并且其中，所述对比度的缺陷包括由于图像捕获设备的照明设置、曝光设置或其它灯光设置导致的对比度与所述参考对比度的偏差、或者由于固定有所述数据嵌入的图像图案的形成介质的纹理导致的对比度与所述参考对比度的偏差。

6.根据前述权利要求中任一项所述的认证工具，其中，所述缺陷包括模糊度的缺陷，并且相对于所述真实信息承载装置的参考模糊度来测量所述模糊度的缺陷；并且其中，所述模糊度的缺陷包括由于图像捕获设备的聚焦设置或聚焦限制而导致的模糊度与所述参考模糊度的偏差、由于图像捕获期间用户操作者的聚焦距离或聚焦缺陷而导致的模糊度与所述参考模糊度的偏差、或者由于固定有所述数据嵌入的图像图案的形成介质的纹理而导致的模糊度与所述参考模糊度的偏差。

7.根据前述权利要求中任一项所述的认证工具，其中，每种类型的缺陷都在具有上限和/或下限的规定范围内，并且根据所述CNN的可训练性来选择所述规定范围。

8.根据前述权利要求中任一项所述的认证工具，其中，所述数据嵌入的图像图案包括一组编码的数据，其中，所述编码的数据是离散数据，所述离散数据作为非人类可读或非人类可感知的展开图案而展开并分布在所述数据嵌入的图像图案中；并且其中，所述一组编码的数据具有特征信号强度，并且所述数据嵌入的图像图案的主图像的特征信号强度高于信号强度阈值，该信号强度阈值是CNN的可训练性的阈值。

9.根据前述权利要求中任一项所述的认证工具，其中，嵌入在所述数据嵌入的图像图案中的所述一组数据包括多个离散数据，并且所述离散数据被转换成空间分布的图案定义元素，所述空间分布的图案定义元素在所述数据嵌入的图像图案中展开并且使用肉眼无法读取或无法感知。

10.根据前述权利要求中任一项所述的认证工具，其中，嵌入在所述数据嵌入的图像图案中的所述一组数据包括多个离散频率数据，并且所述离散频率数据被转换成空间分布的图案定义元素，所述空间分布的图案定义元素在所述数据嵌入的图像图案中展开并且使用肉眼无法读取或无法感知；并且其中，所述空间分布的图案定义元素和所述离散频率数据通过傅里叶变换相关。

11.根据前述权利要求中任一项所述的认证工具，其中，嵌入在所述数据嵌入的图像图案中的所述一组数据包括第一多个频率数据，并且所述频率数据具有第一特征频率并且相对于一组频率轴处于一个或多于一个的角度。

12.根据权利要求10所述的认证工具，其中，嵌入在所述数据嵌入的图像图案中的所述一组数据包括第二多个频率数据，并且所述频率数据具有第二特征频率并且相对于一组频率轴处于一个或多于一个的角度，所述第二特征频率高于所述第一特征频率。

13.根据权利要求11所述的认证工具，其中，所述第一特征频率处于或高于100LPI。

14.根据权利要求11或12所述的认证工具，其中，所述第二特征频率处于或低于200LPI。

15.根据权利要求11至13中任一项所述的认证工具，其中，嵌入在所述数据嵌入的图像图案中的所述一组数据包括多个频率数据，并且所述频率数据具有特征频率，其中，所述频率数据能够在频域平面上定义，并且相邻的频率数据在所述频域平面上具有22.5°或更小的角距。

16.根据前述权利要求中任一项所述的认证工具，其中，所述输入层包括一个或多个通道，并且所述通道具有128×128个像素或更少的像素。

17.根据前述权利要求中任一项所述的认证工具，其中，所述输出层包括多个通道，并且每个通道具有4×4个特征数据或更少的特征数据。

18.根据前述权利要求中任一项所述的认证工具，其中，CNN包括至少四个卷积层。

19.根据前述权利要求中的任一项所述的认证工具，其中，所述卷积层顺序地连接，并且每个卷积层包括定义多个通道的通道的数量，并且其中，卷积层的通道的数量随着从所述输入层到所述输出层的进行而增加。

20.根据前述权利要求中任一项所述的认证工具，其中，每个通道具有定义多个特征数据的特征数据的数量，并且其中，每个通道的特征数据的数量随着从所述输入层到所述输出层的进行而减少。

21.根据前述权利要求中任一项所述的认证工具，其中，所述工具包括FCN，并且CNN的输出要输入到所述FCN，并且其中，所述FCN用于处理所述输入并给出真实性的概率的输出。

22.根据前述权利要求中任一项所述的认证工具，其中，所述工具能够存储为一组计算机可执行指令。

23.一种认证设备，包括微处理器、显示器、数据存储装置和存储在所述数据存储装置中的认证工具，其中，所述认证工具是根据前述权利要求中任一项所述的认证工具。

24.根据权利要求23所述的设备，其中，所述设备包括图像捕获装置，并且所述微处理器能操作以执行存储的指令，以获得声称的信息承载装置的图像。

25.一种设计用于驻留在基于计算机的移动设备上的认证工具的方法，其中，所述认证工具包括一组可执行指令，并且当所述移动设备要作为认证设备操作时，所述指令将由所述移动设备在认证操作期间执行，其中，所述方法包括训练基于计算机的神经网络以学习确定目标图像是否是数据编码的图像图案的主图像，其中，所述方法包括向所述神经网络馈送多个训练文件，其中，每个训练文件是包括多个图像定义元素的训练图像的数据文件，其中，所述训练图像包括所述数据编码的图像图案的多个主图像和所述数据编码的图像图案的多个非主图像；其中，所述方法包括向所述神经网络馈送多个主图像以训练所述神经网络来学习识别主图像，并且向所述神经网络馈送多个非主图像以训练所述神经网络来学习识别非主图像，其中，所述方法包括提供缺陷训练图像以训练所述神经网络，其中，所述缺陷训练图像包括被有意地引入到所述训练图像中的图像缺陷，并且所述图像缺陷是受控缺陷。

26.根据权利要求25所述的方法，其中，所述图像缺陷包括亮度、对比度、模糊度和/或背景噪声的缺陷，并且其中，所述缺陷是通过使用不同的图像捕获装置和/或使用缺陷捕获方案捕获样本图像而引入的。