CN113011898A - 确定消费品的真实性的基于机器学习的成像方法 - Google Patents

确定消费品的真实性的基于机器学习的成像方法 Download PDF

Info

Publication number
CN113011898A
CN113011898A CN202011313662.6A CN202011313662A CN113011898A CN 113011898 A CN113011898 A CN 113011898A CN 202011313662 A CN202011313662 A CN 202011313662A CN 113011898 A CN113011898 A CN 113011898A
Authority
CN
China
Prior art keywords
machine learning
authentic
image
model
inspected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011313662.6A
Other languages
English (en)
Inventor
乔纳森·理查德·斯通豪斯
博古斯洛·奥巴拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Procter and Gamble Co
Original Assignee
Procter and Gamble Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Procter and Gamble Co filed Critical Procter and Gamble Co
Publication of CN113011898A publication Critical patent/CN113011898A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/80—Recognising image objects characterised by unique random patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G06Q30/0185—Product, service or business identity fraud
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09C—CIPHERING OR DECIPHERING APPARATUS FOR CRYPTOGRAPHIC OR OTHER PURPOSES INVOLVING THE NEED FOR SECRECY
    • G09C5/00—Ciphering apparatus or methods not provided for in the preceding groups, e.g. involving the concealment or deformation of graphic data such as designs, written or printed messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

提供了将消费品按真实性分类的经济且准确的基于机器学习的成像方法。所述基于机器学习的成像方法利用机器学习和在真实消费品上的隐写特征的使用。

Description

确定消费品的真实性的基于机器学习的成像方法
技术领域
本发明涉及确定消费品的真实性的经济方法。
背景技术
伪造是世界性的问题。这在经济上损害了消费者和制造商，并且可能给消费者带来安全问题。已经提出了诸如全息图的显性技术和如标签剂(taggant)的隐蔽技术。但这些技术的实现是昂贵的和/或需要专业设备和/或专业技能/培训。这对于通常具有低利润率的快速流通消费品(例如，衣物洗涤剂、洗发水、沐浴液、尿布等)尤其成问题，因此需要成本有效的解决方案。此外，最终用户(即，消费者)需要易于实现/理解的解决方案，而制造商需要廉价且相当准确的解决方案。
一种提出的鉴别产品的方法基于成像微观变化和机器学习的使用。然而，该方法可能具有某些缺点，例如可能需要专业设备来捕获微观尺度的图像(例如，分析10微米范围内的微观变化)，需要从受检消费品的不同方面捕获多个图像(从而需要大量的努力，即，高度阻碍了最终用户的采用)，鉴于需要鉴别微观尺度的特征而导致的模型复杂性(从而降低处理速度/减少响应时间)。
因此，需要成本有效的解决方案，其提供合理的准确度并且利用消费者普遍使用的设备和技术，例如具有照相机的智能电话。
发明内容
本发明基于以下令人惊讶的发现：在产品规格中使用隐写特征结合机器学习可以产生低成本、对用户友好并且准确的伪造品检测方法/系统。基于使用本发明通过消费者采用的透镜比较标贴/标签的未公开的内部基准研究，本发明提供了更高成本效益的制止伪造品的方法，并且为制造商带来更好的投资回报。
此外，本发明至少部分地基于令人惊讶的发现，即照相机偏差对建模训练可以具有显著影响。因此，本发明基于解决这种偏差以具有来自针对本文描述的方法的机器学习模型的更高预测准确度。换而言之，模型学习对于学习以确定受检消费品是真实的还是非真实的才是重要的，而不是可以由照相机类型引入的偏差。
本发明的一个方面提供了用于对受检消费品是真实的还是非真实的进行分类的方法。方法步骤包括：a)获取包含受检产品规格的所述受检消费品的图像；b)将所述获取的图像输入模型中；以及c)输出来自所述模型的输出，所述输出将所述输入的所述受检消费品的图像分类为真实的或非真实的。所述模型被配置为将所述获取的图像分类为真实的或非真实的。所述模型由机器学习分类器构建。所述机器学习分类器由训练数据集训练。所述训练数据集包括：(i)由多种不同的照相机类型提取的包含真实产品规格的真实产品的图像，其中所述真实产品规格包括至少一个长度大于0.01mm的隐写特征；以及(ii)基于(所述真实产品的所述真实产品规格的)所述隐写特征的相关联分类定义。
本发明的另一个方面提供了用于对受检消费品是真实的还是非真实的进行分类的方法。方法步骤包括：a)获取包含受检产品规格的所述受检消费品的图像；b)将所述获取的图像输入模型中；以及d)输出来自所述模型的输出，所述输出将所述输入的所述受检消费品的图像分类为真实的或非真实的。所述模型被配置为将所述获取的图像分类为真实的或非真实的。所述模型由机器学习分类器构建。所述机器学习分类器由训练数据集训练。所述训练数据集包括：(i)由多种不同的照相机类型提取的包含真实产品规格的真实产品的图像，其中所述真实产品规格包括生产线可变打印代码(以下定义)；(ii)由所述多种不同的照相机类型提取的包含非真实产品规格的非真实产品的图像，其中所述非真实产品规格不同于所述至少一个隐写特征；以及(iii)基于(所述真实产品的所述真实产品规格的)所述生产线可变打印代码的相关联分类定义。
在本发明的另一个方面中，公开了有形的、非暂时性的计算机可读介质，其存储用于成像并且对一个或多个实物受检消费品是真实的还是非真实的进行分类的指令。所述指令在由一个或多个处理器执行时使所述一个或多个处理器：a)获取包含受检产品规格的受检消费品的图像；b)将所述获取的图像输入模型中，其中所述模型被配置为将所述获取的图像分类为真实的或非真实的，其中所述模型由机器学习分类器构建，其中所述机器学习分类器由训练数据集训练，其中所述训练数据集包括：(i)由多种不同的照相机类型提取的包含与所述受检产品规格相当的真实产品规格的真实产品的图像，其中所述真实产品规格包括至少一个长度大于0.01mm的隐写特征；以及(ii)基于所述隐写特征的相关联分类定义；以及c)输出来自所述模型的分类输出，所述分类输出指示所述受检消费品的图像是真实或非真实的可能性。
在本发明的又另一个方面中，基于机器学习的成像系统被配置为成像并且对一个或多个实物和受检消费品是真实的还是非真实的进行分类。所述基于机器学习的成像系统包括：包括处理器和存储器的服务器，所述存储器存储了模型；以及配置为在包括移动处理器和移动存储器的移动设备上执行的软件应用(app)，所述软件应用经由计算机网络通信地耦合至所述服务器，其中所述服务器包括被配置成在所述处理器上执行的计算指令，并且所述计算指令在由所述处理器执行时使得所述处理器：a)获取包含受检产品规格的受检消费品的图像，所述图像由所述移动设备捕获；b)将获取的图像输入所述模型中，其中所述模型被配置为将获取的图像分类为真实的或非真实的，其中所述模型由机器学习分类器构建，其中所述机器学习分类器由训练数据集训练，其中所述训练数据集包括：(i)由多种不同的照相机类型提取的包含与所述受检产品规格相当的真实产品规格的真实产品的图像，其中所述真实产品规格包括至少一个长度大于0.01mm的隐写特征；以及(ii)基于所述隐写特征的相关联分类定义；c)输出来自所述模型的分类输出，所述分类输出指示所述受检消费品的图像是真实或非真实的可能性，以及d)将所述分类输出传送到所述软件应用来由所述移动设备显示或使用。
优点在于减少了可能影响模型训练的照相机偏差。因此，所述模型更加鲁棒(robust)。
潜在优点在于通过在大于10微米的尺度上提供对机器学习分类器的训练来降低模型复杂性并且因此降低响应时间。
另一个潜在优点在于与基于将受检消费者品与模板(其固有地将具有更小的信息子集)进行比较的方法相比，基于机器学习的方法更加鲁棒，并且因此是高准确度的伪造品检测。
另一个潜在优点在于在伪造品造成经济损害或产品安全问题之前，分销链中确定受检消费产品真实与否的任何人提供了分销链中的多个点来管制并且制止伪造者。
另一个优点在于比使用QR码可扫描系统成本更便宜、更容易实现并且更加可适应，所述QR码可扫描系统需要生成、查找空间以在产品上添加QR码和基于QR码的数据。
根据上述内容和本文的公开内容，本公开内容包括计算机功能的改善或其它技术的改善，至少因为权利要求陈述了以下内容：例如，通过经训练的模型的执行或实现改善了移动设备和/或服务器，其增加或以其它方式提供了移动设备和/或服务器从所述模型输出分类的功能，所述分类指示实物受检消费品的图像是真实或非真实的可能性。即，本公开内容描述了计算机本身或“任何其它技术或技术领域”的功能的改善，因为移动设备和/或服务器可以实现有效的模型(例如，机器学习模型)，与用于训练模型的各种图像和数据相比，所述模型本身是简化的计算机模型。所述模型允许所述移动设备和/或服务器使用较少的处理和/或存储器资源。该相比于现有技术的改善至少是因为传统的计算系统依赖于大量存储的图像的手动检测和/或人类视觉，以便对如计算机图像中所描绘的商品进行鉴伪。
此外，本公开内容包括实现将特定物品转换或简化到不同状态或事物，例如，将由各种不同的照相机设备拍摄的受检消费品的各种图像转换进模型(例如，机器学习模型)，所述模型可以输出来自所述模型的分类输出，所述分类输出指示所述受检消费品的图像是真实或非真实的可能性。
另外，本公开内容包括除了本领域中充分理解的例程、常规活动之外的特殊特征，或者添加了将权利要求限定于特定有用的应用的非常规步骤，例如，用于成像并且对一个或多个实物受检消费品是真实的还是非真实的进行分类的基于机器学习的成像系统和方法。
根据以下的详细描述，本发明的这些和其它的特征、方面和优点对本领域技术人员而言将变得明显。
附图说明
附图中阐述的实施方案本质上是例示性的，并且不旨在限制由权利要求书限定的发明。当结合以下附图阅读时，可以理解例示性实施方案的以下详细描述，在附图中用类似的附图标记表示类似的结构，并且其中：
图1A是具体提及训练数据集的本发明的方法的流程图；
图1B是进一步详述包括在图1A中的训练数据集的流程图；
图1C例示出如在数字图像获取照相机设备的显示屏上呈现的示例性用户界面；
图1D例示出配置为成像并且对一个或多个实物受检消费品是真实的还是非真实的进行分类的示例性的基于机器学习的成像系统；
图2A是单词“Hello”形式的字母数字文本的实例；
图2B至图2H是有意地提供给图2A的字母数字文本的隐写特征的实例；
图3是生产线可变打印代码(其可以具有或可以不具有隐写特征)的实例；
图4是来自图3的代码的非字母数字字符的第一实例；以及
图5是来自图3的代码的非字母数字字符的第二实例。
图6A和图6B是由两种不同的照相机类型拍摄的用于训练集的一对图像。
图7示出用基本几何失真和颜色失真增强的训练图像的实例。
图8示出经预训练的模型ResNet34，其不仅实现了照相机分类的高准确度，还非常快速地完成了照相机分类。
图9是对于对不连贯的训练集进行训练的模型的响应分布的条形图，其中对于真实图像是基于iPhone或三星，而非真实图像是基于华为或红米。
图10是对于对部分训练集进行训练的模型的响应分布的条形图，其中仅存在iPhone或三星图像，没有照相机/标签相关性。
图11是批次代码的二进制分割图像。
具体实施方式
以下文本阐述了本公开内容的多个不同实施方案的广义描述。该描述仅被理解为示例性的，并非描述每个可能的实施方案，因为描述每个可能的实施方案即便不是不可能的也是不切实际的。应理解，本文描述的任何特征、特性、组件、组成、成分、产品、步骤或方法均可以被删除，整体或部分地与本文描述的任何其它的特征、特性、组件、组成、成分、产品、步骤或方法组合，或者整体或部分地被本文描述的任何其它的特征、特性、组件、组成、成分、产品、步骤或方法替代。可以使用当前技术或在本专利的申请日之后开发的技术来实现众多替代的实施方案，该替代的实施方案将仍然落入本权利要求的范围内。
定义
如本文使用的术语“包括”意指可以添加除了具体提及的那些之外的步骤和成分。该术语涵盖术语“由......组成”和“基本上由......组成”。本发明的组成可以包括以下、由以下组成以及基本上由以下组成：本文描述的发明的基本要素和限制条件，以及本文描述的任何额外的或任选的成分、组件、步骤或限制条件。
如本文使用，当用于权利要求时，包括“一(a)”和“一(an)”的冠词应被理解为意指一个(种)或多个(种)的要求保护的或描述的项目。
如本文使用，词语“优选的”、“优选地”及变体是指在特定情况下提供特定益处的本发明的实施方案。然而，在相同或其它情况下，其它实施方案也可以是优选的。此外，一个或多个优选实施方案的叙述并非暗指其它实施方案是不可用的，并且不旨在将其它实施方案排除在本发明的范围之外。
提供了用于对受检消费品是真实的还是非真实的进行分类的方法。
模型
参考图1A，提供了模型(11)，该模型被配置为将包含规格的受检产品(17)的图像分类为真实的或非真实的(15)。模型(11)由机器学习分类器(9)构建。在各种实施方案中，模型(11)包括机器学习模型，其可以使用受监督的或无监督的机器学习程序或算法来训练。机器学习程序或算法可以采用神经网络，其可以是卷积神经网络、深度学习神经网络、或者在感兴趣的特定领域中的两个或更多个特征或特征数据集中学习的组合学习模块或程序。机器学习程序或算法还可以包括自然语言处理、语义分析、自动推理、回归分析、支持向量机(SVM)分析、决策树分析、随机森林分析、K近邻分析、朴素贝叶斯分析、聚类、强化学习和/或其它机器学习算法和/或技术。机器学习可以包括鉴别和识别现有数据中的图案(例如，隐写字符、文本、图像、标记或位于例如消费产品上的其它视像)，以便促进对后续数据进行预测(以对消费产品是真实的还是非真实的进行预测或分类)。
机器学习模型(例如，模型(11))可以基于示例(例如，“训练数据”)输入或数据(其可以被称为“特征”和“标签”)来创建和训练，以便对新输入(例如，测试水平或生产水平数据或输入)进行有效且可靠的预测。在受监督的机器学习中，在服务器、计算设备或其它处理器上运行的机器学习程序可以提供有示例输入(例如，“特征”)和它们相关联的或观察到的输出(例如，“标签”)，以便机器学习程序或算法确定或发现将此类输入(例如，“特征”)映射到输出(例如，标签)的规则、关系，或者其它机器学习“模型”，例如，通过横跨模型的各种特征类别确定和/或分配权重或其它度量给模型。然后，此类规则、关系或其它模型可以被提供随后的输入，以便在服务器、计算设备或其它处理器上执行的模型来基于发现的规则、关系或模型来预测所预期的输出。
在无监督的机器学习中，可能需要服务器、计算设备或其它处理器在无标记的示例输入中找到其自身的结构，其中，例如，由服务器、计算设备或其它处理器执行多次训练迭代来训练多代模型直到生成令人满意的模型，例如，当给予测试水平或生产水平数据或输入时提供足够的预测准确度的模型。本文的公开内容可以使用此类受监督的或无监督的机器学习技术中的一种或两种。
参考图1A和图1B，构建的模型(11)能够进行图像分类。即，将受检消费产品(17)及其规格的数字图像(获取自数字图像获取照相机设备(13)，例如，诸如移动设备或移动电话的计算设备)输入构建的模型(11)中，该模型(11)输出至少一个最佳描述该数字图像的分类。具体地，该至少一个分类对受检消费产品(17)是真实的还是非真实的(15)进行分类。
图1C例示出根据本文公开的各种实施方案，呈现在数字图像获取照相机设备(13)(例如，诸如移动设备或移动电话的计算设备)的显示屏(51)上的示例性用户界面(52)。例如，如图1C的实例中所示，用户界面(52)可以经由在图像获取照相机设备(13)上执行的应用(app)来实现或呈现。数字图像获取照相机设备(13)可以包括可以用于执行、实现和/或存储模型(11)的处理器(80)和存储器(82)。
如图1C的实例中所示，用户界面(52)可以经由在图像获取照相机设备(13)上执行的本地应用来实现或呈现。在图1C的实例中，图像获取照相机设备(13)是移动设备或移动电话，如本文所述，例如，其中将数字图像获取照相机设备(13)例示为实现苹果iOS操作系统并且具有显示屏(51)的苹果iPhone。数字图像获取照相机设备(13)可以在其操作系统上执行一个或多个本机应用(“app”或“apps”)。此类本地应用可以由图像获取照相机设备(13)的处理器(80)以由移动设备操作系统(例如，苹果iOS)可执行的计算语言(例如，SWIFT)来实现或编码(例如，作为计算指令)。在其它实施方案中，本地应用可以由图像获取照相机设备(13)的处理器(80)以由图像获取照相机设备(13)操作系统(例如，谷歌安卓)可执行的其它计算语言(例如，Java)来实现或编码(例如，作为计算指令)。本文考虑了各自执行或实现其自身的本地应用平台的其它此类操作系统和相关的图像获取照相机设备(13)。
额外地或替代地，用户界面(52)可以经由网页界面来实现或呈现，例如经由网页浏览器应用，例如，Safari和/或谷歌Chrome应用，或者其它此类网页浏览器等。
如图1C的实例中所示，用户界面(52)包括图像或图形表示，例如描绘了具有打印或以其它方式粘附在消费品(70)上的受检产品规格(例如生产线可变打印代码(39))的消费品(70)(例如，瓶装产品，例如，洗发水瓶)的图像(60)。图像(60)可以由图像获取照相机设备(13)的照相机(未示出)获取或捕获。在图1C的实例中，受检产品规格(例如，生产线可变打印代码(39))显示于窗(39w)中的用户界面(52)上。此外，在图1C的实例中，生产线可变打印代码(39)包括由点(41)构成的图案框、字母数字文本(例如，数字“3”(43))和点列(45)，各自如本文进一步描述的。可以在处理器(80)上实现或者由处理器(80)执行和/或在存储器(82)上存储的模型(11)可以输出或显示来自模型的分类输出，其指示受检消费品的图像是真实或非真实的可能性(例如，0.820或82百分比(％))。例如，在图1C的实例中，生产线可变打印代码(39)由模型(11)以82百分比(％)的可能性确定或分类为“真实的”(76)。此类输出可以显示于用户界面(52)的窗(76w)中。在其它实施方案中，例如本文对图1D所描述的，模型(11)可以在服务器上实现，其中输出分类经由计算机网络传送到图像获取照相机设备(13)并且然后显示于用户界面(52)的窗(76w)中。
在各种实施方案中，模型(11)可以在处理器(80)上实施或由处理器(80)执行。模型(11)由机器学习分类器(9)构建。可以使用一个或多个此类机器学习分类器(9)。机器学习分类器(9)由训练数据集(9)训练。训练数据集在图1B中进一步描述。优选地，机器学习分类器(9)通过验证数据集(5)和/或测试数据集(未示出)进一步验证和改善。一个或多个机器学习分类器(9)的非限制性实例包括异常检测系统/技术等。优选地，机器学习分类器(9)是神经网络，更优选地是卷积神经网络(“CNN”)。CNN的非限制性实例是沃瑟斯坦深度卷积生成对抗网络(Wasserstein Deep Convolutional Generative Adversarial Network)。CNN是用于处理网格状拓扑结构的数据的专用类型的神经网络。该网络使用卷积数学运算来从输入图像中提取一组特征。CNN的第一层学习识别简单的图案，中间层识别更复杂的图案，而后面的层定位并且识别图像中的主要对象(例如，品牌名称)。
CNN的第一层是卷积层。进入CNN的输入是来自图像的像素值(例如，高度、宽度、强度)的阵列。使用多于一个的卷积层。通常在每个卷积层之后使用非线性层(或激活层)。为此，优选修正线性单元(ReLU)层。可以包括池化层(也称为下采样层)，优选在每个ReLU层之后。这些池化层减小了输入体积的空间尺寸，这可以有助于计算成本并且有助于控制过拟合。过拟合意指模型被过度调到训练数据集，使得模型不能很好地泛化以用于任选的验证和/或测试数据集。解决过拟合的一种方法是通过丢弃法(dropout)。丢弃技术实质上是用于在训练神经网络时防止过拟合的正则化方法。优选地，更多丢弃较深层，因此更好地学习较高频率的特征。全连接层在CNN的端部。该层获取输入(来自紧接的前一层)并且输出n维矢量，其中n是模型必须选择的分类的数量。换而言之，机器学习分类器优选地包括基于n层的深度来学习区别特征的n层CNN。优选地，机器学习分类器包括组装n层CNN并且将图像分类为n层卷积网络中的每一者的输出概率的组合。例如，n层CNN可以是4层、6层、8层、12层或16层网络。
方法包括确定提供受检消费品(包括受检产品规格)的图像的照相机的照相机类型的步骤。已经开发了许多技术来主要由数字取证社区(digital forensics’community)将数字照片追溯到其起源的照相机。这些方法的大多数均围绕从图像中提取独特的传感器噪声指纹并且将其与已知照相机的参考图案进行匹配。由于传感器噪声是多种来源(例如，光子噪声、透镜缺陷、尘埃颗粒、暗电流、非均匀像素灵敏度)的复杂现象，因此存在许多方法实现这一点。其它技术包括通过死像素和热像素的独特模式来鉴别照相机，然而，不是所有的照相机均具有死像素并且一些相机经由后处理去除了它们，这表明径向透镜失真是用于鉴别照相机的有用特征。与基于噪声的方法不同，透镜失真可以鉴别照相机的型号，但不能鉴别个体。通过暗电流噪声来识别相机，所述暗电流噪声是由CCD发射的小且恒定的信号，在像素之间随机变化。尽管每个数字照相机均具有此类噪声模式并且它始终是独特的，但它只能从其中没有光撞击传感器的暗帧中获取，并且仅仅是传感器噪声的小分量，提出了更鲁棒的方法，该方法利用了传感器像素中对光的非均匀灵敏度，其是强得多的分量并且不需要暗帧来测量。基于CNN的方法已经在使用标准监督训练由图像进行数字照相机鉴别方面显示了巨大的潜力。参见例如，在信息取证与安全的IEEE国际研讨会中，Amel Tuama等，“利用深度卷积神经网络进行照相机型号鉴别(Camera model identification withthe use of deep convolutional neural networks)”，2016，第1-6页；Luca Bondi等，“对卷积神经网络用于照相机型号鉴别的初步研究(A preliminary study on convolutionalneural networks for camera model identification)”，Electronic Imaging，第7卷，第67-76页，2017；Ye Yao等，“基于传感器模式噪声和深度学习区分计算机生成图形与自然图像(Distinguishing computer-generated graphics from natural images based onsensor pattern noise and deep learning)”，Sensors，第18卷，第4号，第1296页，2018。这些参考文献中的每一篇均通过引用并入本文。
机器学习分类器由训练数据集训练。转而并且参考图1B，训练数据集(7)包含：包含真实产品规格(6)的真实产品(8)的提取图像，其中真实产品规格(6)包括至少一个长度大于0.01mm的隐写特征(4)。训练数据集(7)还包含基于真实产品(未示出)的真实产品规格的隐写特征的相关联分类定义。训练数据集(7)还包括基于数字图像获取照相机设备(13)(例如，诸如移动电话的计算设备)的照相机类型的相关联分类定义，该数字图像获取照相机设备(13)用于获取真实产品(8)(具有真实产品规格(6))的图像。术语“照相机类型”意指能够区分照相机与另一个照相机的照相机属性，例如但不包括照相机的制造和型号。不希望受理论束缚，电子设备或软件(特定于照相机的制造或型号)可能影响提取的图像。由照相机使用的光学器件的类型是限定照相机类型的另一种方式。透镜制造商的非限制性实例包括Leica、Carl Zeiss和Schneider-Kreuznach。不希望受理论束缚，透镜的光学器件可能影响提取的图像。训练数据集可以包含真实产品规格的提取图像，其中该真实产品规格包括生产线可变打印代码(10)(定义如下)。在该实例中，训练数据集还包含基于生产线可变打印代码(未示出)的相关联分类定义。
“隐写特征”意指被有意地添加至实物消费品以便在消费品上清晰可见且可检测但优选地不引起注意的字母数字、图形、结构特征等。优选地，隐写特征足够大以便无需显微镜也可见。大于微观水平的特征的优点在于能够通过许多消费者日常随身携带的典型智能电话或其它标准设备或计算设备(例如移动电话)来检测它们。更优选地，隐写特征的长度(即，最长尺寸)为0.02mm至20mm、更优选地0.03mm至5mm、还更优选地0.04mm至1mm。该长度的非限制性实例包括0.03mm、0.05mm、0.07mm、0.09mm、0.1mm、0.2mm、0.3mm、0.4mm、0.5mm和0.6mm。
“字母数字隐写特征”是与字母、数字、标点、字符等相关联的特征。图2A至图2H是涉及单词“Hello”的非限制性实例。图2A是其中以标准字体和字体大小键入单词“Hello”(21)的对照例。图2B是其中第二个“l”(23)与单词的其它字母相比呈不同样式的实例。在图2C中，第二个“l”(25)具有较大的字体大小。该“l”与单词的其它字母相比可以具有更粗或替代地甚至更小的大小。图2D是其中第二个“l”(27)与单词的其它字母相比具有不同的颜色或阴影或灰度强度的实例。在图2E中，第二个“l”(29)与单词的其它字母相比略微向上位移。替代地，该位移可以是向下、向左、向右或其组合。在图2F中，第二个“l”(31)为斜体。在图2G中，存在随机地放置在字母“H”(35)旁边和字母“o”(33)旁边的标记(33、35)(替代地为字符或标点)。在另一个实例中，句点放置在与常规放置相比略高的位置处(未示出)。在图2H中，第二个字母“l”(37)为粗体。替代地，字母可以是非粗体的(相对于单词的其它字母)。其它实例可以包括“切割”一小部分标识。
图3是生产线可变打印代码(“代码”)(39)的实例。该代码(39)可以具有字母数字字符或非字母数字字符或其组合。在图3中，字母数字字符具体地为“408634”。该代码在制造消费产品时打印，优选地作为包装运输之前的最后步骤之一。生产线可变打印代码通过选自以下的打印方法来打印：连续喷墨；压印、激光蚀刻、热转印、热蜡及其组合；优选连续喷墨。连续喷墨通常为黑色油墨，其中字符由小滴或小点构成。压印通常见于袋子或纸盒包装。激光蚀刻通常用于塑料、金属或纸板上。热转印通常见于标签或柔性包装。热蜡见于例如一些尿布产品。代码是可变的，因为确切的字符可以不时地改变以应对诸如产品的有效日期、产品的生产日期、批号等的变量。代码可以起到其它作用，例如鉴别制造厂或独特的产品标识符。代码可以包含或可以不包含隐写特征。例如，数字“3”(43)略大于其它数字。令人惊讶地观察到，考虑到生产线的条件(例如，高速)、打印机与基底之间的可变性、油墨本身的特性，代码通常是非常独特的“指纹”，其具有例如0.1mm-0.5mm的量级的长度(即，长尺寸)的特征，并且可以形成训练数据集(替代地或另外地，验证数据集或测试数据集)的有价值部分。优选地，每个字符具有2mm至50mm、替代地10mm-30mm、或者5mm-15mm、或者20mm-50mm的长度(即，最长尺寸)。
“图形隐写特征”是通常与工艺图、图形或甚至无意义图案或标记相关联的特征。在一个实例中，图形的一小部分被“切割”。在另一个实例中，回顾图3，生产线可变打印代码包含非字母数字字符，例如由点(41)构成的图案框和点列(45)(被提供作为制造(批次)代码的一部分)。图4为可以使用的图案框(141)的不同实例。图5是点列(145)的实例。数字可以以不同的字体或字体样式打印。数字可以拉伸或缩小，并且构成数字或字母的点或线可以以不均匀间隔的方式布置。这包括重叠的点/线或甚至“缺失”的点或不连续的线。通常，考虑到代码中的“错误”的程度和量(无论这些错误是有意造成的还是由打印工艺本身造成的)，无论是否为真实产品提供独特的“指纹”，均使得本文描述的方法和系统可以高速地和/或高准确度地确定非真实产品。
许多这些隐写特征可以由诸如Adobe Illustrator的bespoke插件(在工艺图中的隐写特征的情况下)的软件、或者对控制在线打印机或在线打印软件本身的软件的修改(用于生产线可变打印代码中的隐写特征)来自动地有意地生成。在一个实例中，如图1A中例示，验证数据集(5)、训练数据集(7)、测试数据集(未示出)或其组合，优选地仅验证数据集(5)，包含来自识别特征的自动化隐写特征生成软件(3)的密钥。在另一个实例中，验证数据集、训练数据集或其组合，优选地仅验证数据集，包含使用关于生产线可变打印代码的特性的信息。这样，模型知道这些隐写特征是什么以及这些隐写特征位于何处(并且可以适当地在模型中对它们进行加权)。换而言之，训练数据集还包含由隐写特征生成软件生成的(真实消费品的)产品规格的隐写特征的鉴别。
“结构特征”是其中特征是包装本身的一部分(相对于打印而言)的特征。这可以包括作为瓶子的一部分的特征，即，设计为瓶子模具的一部分的特征。特征可以是有意地放置的小凸起或凹部或其组合(例如，图案或纹理)。在另一个实例中，结构特征是袋子的密封件的独特部分(例如，在原本大得多的标准图案的背景下，一小部分独特图案)。在又一个实例中，特征是形成在袋子的边缘中(例如，在密封部分中)的小切口。在又一个实例中，产品的纸板包装是压印的(例如，具有图案或纹理)。
优选地，一个或多个产品规格包含多个隐写特征，优选地在产品说明中使用大于10个、15个、20个、25个、30个或更多个此类特征，替代地5个至100个、或10个至90个、或20个至70个此类特征。优选地，使用以下隐写特征类型中的至少两种：文本隐写特征；图形隐写特征；和结构特征。替代地，使用所有这三种类型。
具有多个隐写特征和特征类型的优点在于考虑到更多的“指纹”可用于模型检测和/或考虑到获取的图像无需来自单个刚性有利位置的灵活性，能够以更好的准确度来检测伪造品。换而言之，无论以何种视角拍摄产品的照片，准确度均是相对高的。
优选地，训练数据集包含注释隐写特征或生产线可变打印代码的注释。对形成训练数据集的一部分的图像的注释提供了所述特征或代码的细节或特性。这可以有助于模型学习。注释可以是单包型的(individual sourced)或众包型的(crowd sourced)。例如，当是众包型时，如果另外三个编著者独立地注释同一图像，并且标准偏差相当低，则注释被采纳到模型中。该方法也可以用作验证步骤的一部分。替代地，训练集被增强以强调所述特征或代码。
照相机类型
摄像机偏差对建模训练具有很大的影响。本发明至少部分地涉及解决这种偏差以改善模型的预测准确度。本文的方法包括使用训练数据集，该训练数据集包括由多种不同的照相机类型提取的至少一个、优选多个的图像(数百、数千或甚至数万个图像)。
优选地，方法包括训练数据集，该训练数据集还包括由多种不同的照相机类型提取的包含真实产品规格的真实产品的多个图像，并且其中多种不同的照相机类型是来自至少3种不同的照相机类型，优选4种、5种、6种或更多种照相机类型。更优选地，方法还包括训练数据集，该训练数据集还包括由前述多种不同的照相机类型提取的包含非真实产品规格的非真实产品的图像，其中非真实产品规格不同于(例如，缺乏或不同地配置于)所述至少一个隐写特征。甚至更优选地，训练集具有从真实的和非真实的对应消费品提取的图像的平衡集。平衡是约50/50的所述多种不同的照相机类型分别提取的真实图像和非真实图像。额外地或替代地，训练集的平衡可以包括平衡来自多种不同的照相机类型中的每一种的用于训练模型的多个训练样本。在此类实施方案中，平衡可以是指来自多种不同的照相机类型中的每一种的相等数量或近似相等数量的训练样本。在包括近似相等数量的此类训练样本的实施方案中，与由其余照相机类型中的每一种提供的样本计数相比，此类训练样本的量可以跨给定训练集以小于5％、小于3％、小于1％或小于0.1％的值不同。此类百分比也可以应用于真实和非真实基础，其中与由多种照相机类型中的每一种提供的样本计数相比，针对真实和非真实的每个训练集可以跨给定训练集以小于5％、小于3％、小于1％或小于0.1％的值不同。不希望受理论束缚，使用相同的照相机类型和相等数量的真实图像和非真实图像的提取图像有助于建立平衡模型，这降低了偏差，否则可能降低模型的预测准确度。优选地，多种不同的照相机类型是至少3种、优选地至少4种、更优选地至少5种的照相机类型。优点在于将模型建立为适应用户使用的不同的照相机，并且有助于减轻否则可能影响模型的照相机偏差。以下实例说明了对模型训练中的相机偏差的降低。优选地，由智能电话(即，照相机电话)拍摄图像。
优选地，方法包括训练数据集，该训练数据集还包括具有几何失真或颜色失真、优选地具有几何失真和颜色失真两者的增强提取的具有真实产品规格的真实产品的图像。几何失真意指改变原始提取图像的形状，例如将正方形或矩形改变为多边形(规则多边形或不规则多边形)。颜色失真意指改变原始提取的图像(例如，文本或背景或两者)的颜色。不希望受理论束缚，此类几何失真和颜色失真有助于对测试集进行泛化，还消除了可能存在于分类标签与白平衡、饱和度、色调和容器(例如，瓶子)取向之间的任何相关性。这可以将模型可以用于识别照相机的提示列表缩减。
对其确定真实性的消费品基本上可以是商业销售的任何消费品。消费品的非限制性实例包括药品、处方药、飞机部件、食品、饮料、汽车部件等。优选地，消费品是快速消费品。非限制性实例包括织物护理产品(例如，衣物洗涤剂、织物软化剂)、家用护理产品(例如，餐具洗涤剂、一次性除尘器)、婴儿护理产品(例如，尿布)、美容护理产品(例如，洗发水、护肤霜、止汗剂)、家庭护理产品(例如，面巾纸、一次性毛巾)、女性护理产品(例如，棉塞、卫生巾)、健康护理产品(例如，牙膏、牙刷、非处方咳嗽和感冒药、维生素、胃肠药)。
训练数据集优选地还包含从至少一个非真实消费品及其产品规格中提取的至少一个图像，以及基于非真实消费品的产品规格中不存在至少一个隐写特征的相关联分类定义。任选的验证数据集也可以包含从非真实实物消费品及其产品规格中提取的图像，以及基于非真实实物消费品的产品规格中不存在至少一个隐写特征的相关联分类定义。
优选地，在训练机器学习分类器之前对数据集(即，训练和/或验证数据集)进行空间操纵。更优选地，通过空间变换网络(“STM”)对数据集进行空间操纵。STM是可学习模块，其通过学习来选择输入图像数据的正确区域，旋转图像的该部分以使位姿规格化，并且在输入到机器学习分类器中之前缩放裁剪区域。例如，去除输入图像数据的背景的干扰特征。改善CNN的几何不变性。STM通常为三个主要组成部分。定位网络自动学习提高准确度的空间变换(即，强化学习)。网格生成器在与来自输出图像的每个像素相对应的输入图像数据中生成坐标网格。而且采样器使用来自变换的参数并且应用于输入图像数据以提供空间变换的图像数据。参见例如，在神经信息处理系统进展大会中，Jaderberg,M.、Simonyan,K.和Zisserman,A.(2015)的“空间变换网络(Spatial transformer networks)”(第2017-2025页)。该参考文献通过引用并入本文。(数据集的)输入图像数据优选地通过STN空间变换为空间传送的图像数据。继而，正是该空间变换的数据集用于训练机器学习分类器。当然，可以将STM应用于任选的验证数据集。
优化机器学习分类器。优选地，通过随机优化技术来优化CNN。这可以包括Adadelta、Adagrad、Adam、Adamax、ASGD、L-BFGS和SGD。Adam是本文用于随机优化的优选方法。简而言之，Adam是可以用于基于训练数据迭代地更新网络权重的优化算法。
在一个实例中，分类架构需要少量的数据并且对较高分辨率的图像进行操作。它可以是在ImageNet上预训练的残差网络，但具有比典型架构更高的分辨率(1024^2)的图像。此类方法有助于发现隐写特征或MVLP代码的细微特性。如此，批量的大小可以减小并且可以减小随机梯度下降优化器的学习速率。
该方法包括获取具有受检产品规格的受检消费品的数字图像的步骤。通过数字图像获取设备或其它计算设备，例如智能电话(例如，iPhone)、平板电脑(iPad)、个人计算机或者优选地能够捕获数字图像并且直接或间接地能够将图像电发送到模型的类似设备来获取一个或多个数字图像。在另一个实例中，从网站获取数字图像(以便确定伪造者是否在电子零售商网站处提供非真实产品)。优选地，数字图像能够捕获图像，使得隐写特征被显示。“产品规格”包括产品代码、批次代码、品牌名称、产品线、标签、工艺图、成分列表、使用说明及其组合。优选地，产品规格选自生产代码、批次代码及其组合。如果受检产品是真实的，则产品规格将具有在数字图像中捕获的一个或多个隐写特征。优选地，将受检消费品的数字图像数据在输入模型中之前进行空间操纵，优选地通过STM进行空间操纵。
该方法包括将获取的图像输入模型中的步骤，其中模型被配置为将获取的图像分类为真实的或非真实的。输入方法取决于模型驻留的位置。例如，经训练的模型可以驻留在数字成像获取设备(例如，计算设备或移动设备)本身上，或者更优选地，驻留在远程位置，例如服务器(例如，基于云的服务器)中。如果模型是远程的，则输入可以经由网络(例如，互联网或蜂窝网络等)。
例如，图1D例示出根据本文公开的各种实施方案，配置为成像并且对一个或多个实物受检消费品是真实的还是非真实的进行分类的示例性的基于机器学习的成像系统(200)。在图1D的示例性实施方案中，数字成像系统(200)包括服务器(202)，所述服务器(202)可以包括一个或多个计算机服务器。在各种实施方案中，服务器(202)包括多个服务器，其可以包括多个、冗余或复制的服务器作为服务器场的一部分。在又另一个实施方案中，服务器(202)可以被实现为基于云的服务器，例如基于云的计算平台。例如，成像服务器(202)可以是任何一个或多个基于云的平台，例如微软AZURE、亚马逊AWS等。服务器(202)可以包括一个或多个处理器(204)以及一个或多个计算机存储器(206)。服务器(202)在本文可以被称为“成像服务器”。
存储器(206)可以包括一种或多种形式的易失性和/或非易失性、固定和/或可移除的存储器，例如只读存储器(ROM)、电子可编程只读存储器(EPROM)、随机存取存储器(RAM)、可擦除电子可编程只读存储器(EEPROM)和/或其它硬盘驱动器、闪存、MicroSD卡等。存储器(206)可以存储能够促进如本文所讨论的功能、应用、方法或其它软件的操作系统(OS)(例如，Microsoft Windows、Linux、UNIX等)。存储器(206)还可以存储模型11，如本文所述的模型11可以是针对各种图像(例如，图像(222a)、(222b)和/或(222c))训练过的基于人工智能的模型，例如机器学习模型，如本文所述。例如，图像(222a)、(222b)和/或(222c)中的每一个可以是描绘了具有打印或以其它方式粘附在消费品(70)上的受检产品规格(例如，生产线可变打印代码(39))的消费品(70)(例如，瓶装产品，例如，洗发水瓶子)的图像，例如，如本文关于图1C所述。
额外地或替代地，模型(11)也可以被存储在数据库(205)中，所述数据库(205)是可访问的或者以其它方式通信地耦合到成像服务器(202)。存储器(206)还可以存储机器可读指令，包括一个或多个应用、一个或多个软件组件和/或一个或多个应用程序接口(API)中的任一个，这些机器可读指令可以被实现来促进或执行本文描述的特征、功能或其它公开内容，例如任何方法、进程、元件或限制，如关于本文的各种流程图、图示、图表、图形和/或其它公开内容所例示的、描绘的或描述的。例如，应用、软件组件或API中的至少一些可以是或包括基于成像的机器学习模型或组件(例如模型(11))，或者是基于成像的机器学习模型或组件(例如模型(11))的一部分，其中每一个均可以被配置为促进其在本文中讨论的各种功能。应理解，可以设想一个或多个其它应用，并且这些应用由处理器(204)执行。
处理器(204)可以经由负责向和从处理器(204)和存储器(206)传送电子数据、数据包或其它电子信号的计算机总线连接到存储器(206)，以便实现或执行机器可读指令、方法、进程、元件或限制，如关于本文的各种流程图、图示、图表、图形和/或其它公开内容所例示的、描绘的或描述的。
处理器(204)可以经由计算机总线与存储器(206)接口以执行操作系统(OS)。处理器(204)还可以经由计算机总线与存储器(206)接口，以创建、读取、更新、删除或以其它方式访问或交互在存储器(206)和/或数据库(204)(例如，关系数据库，例如基于Oracle、DB2、MySQL或NoSQL的数据库，例如MongoDB)中存储的数据。在存储器(206)和/或数据库(205)中存储的数据可以包括本文所述的任何数据或信息的全部或部分，包括例如训练图像和/或图像(例如，包括图像(222a)、(222b)和/或(222c)中的任何一个或多个的训练图像和图像中的任一个)或如本文所述的其它信息。
成像服务器(202)可以还包括通信组件，所述通信组件被配置以经由一个或多个外部/网络端口将数据传送(例如，发送和接收)到一个或多个网络或本地终端，例如本文描述的计算机网络120和/或终端(209)(用于呈现或显示)。在一些实施方案中，成像服务器(202)可以包括客户端-服务器平台技术(例如ASP.NET、Java J2EE、Ruby on Rails、Node.js、网络服务器或在线API)以响应接收和响应电子请求。成像服务器(202)可以实现客户端-服务器平台技术，其可以经由计算机总线与存储器(206)(包括存储在其中的应用、组件、API、数据等)和/或数据库(205)交互以实现或执行机器可读指令、方法、进程、元件或限制，如关于本文的各种流程图、图示、图表、图形和/或其它公开内容所例示的、描绘的或描述的。根据一些实施方案，成像服务器(202)可以包括或交互一个或多个收发器(例如，WWAN、WLAN和/或WPAN收发器)，所述收发器根据IEEE标准、3GPP标准或其它标准运行并且可以用于经由连接到计算机网络120的外部/网络端口来接收和发送数据。在一些实施方案中，计算机网络120可以包括专用网络或局域网(LAN)。额外地或替代地，计算机网络120可以包括诸如因特网的公共网络。
成像服务器(202)还可以包括或实现操作员界面，所述操作员界面被配置为向管理员或操作员呈现信息和/或接收来自管理员或操作员的输入。如图1D中所示，操作员界面可以提供显示屏(例如，经由终端(209))。成像服务器(202)还可以提供I/O组件(例如，端口、电容或电阻触摸敏感输入面板、键、按钮、灯、LED)，其可以经由成像服务器(202)直接访问或附接到成像服务器(202)，或者可以经由终端(209)间接访问或附接到终端(209)。根据一些实施方案，管理员或操作员可以经由终端(209)访问服务器(202)以查看信息、做出改变、输入训练数据或图像和/或执行其它功能。
如本文以上所述，在一些实施方案中，成像服务器(202)可以作为“云”网络的一部分执行如本文所讨论的功能，或者可以与云内的其它硬件或软件组件通信以发送、检索或分析本文描述的数据或信息。
一般而言，计算机程序或基于计算机的产品、应用或代码(例如，模型，诸如AI模型，或本文描述的其它计算指令)可以存储在使此类计算机可读程序代码或计算机指令体现在其中的计算机可用存储介质，或有形的、非暂时性计算机可读介质(例如，标准随机存取存储器(RAM)、光盘、通用串行总线(USB)驱动器等)上，其中计算机可读程序代码或计算机指令可以安装在处理器(204)上或以其它方式适配为由处理器(204)执行(例如，与存储器(206)中的相应操作系统一起工作)，以促进、实现或执行机器可读指令、方法、进程、元件或限制，如关于本文的各种流程图、图示、图表、图形和/或其它公开内容所例示的、描绘的或描述的。鉴于此，程序代码可以以任何期望的程序语言来实现，并且可以被实现为机器代码、汇编代码、字节代码、可解释的源代码等(例如，经由Golang、Python、C、C++、C#、Objective-C、Java、Scala、ActionScript、JavaScript、HTML、CSS、XML等)。
如图1D中所示，成像服务器(202)经由计算机网络120经由基站211b和212b通信连接到一个或多个移动设备211c1-211c3和/或212c1-212c3。该一个或多个移动设备211c1-211c3和/或212c1-212c3中的每一个可以是数字图像获取照相机设备(13)，例如，诸如移动设备或移动电话的计算设备，如本文所述。在一些实施方案中，基站211b和212b可以包括蜂窝基站，例如蜂窝塔，其基于包括NMT、GSM、CDMA、UMMTS、LTE、5G等的各种移动电话标准中的任何一个或多个经由无线通信221与一个或多个移动设备211c1-211c3和212c1-212c3通信。额外地或替代地，基站211b和212b可以包括路由器、无线交换机、或其它此类无线连接点，其基于各种无线标准(包括但不限于IEEE 802.11a/b/c/g(WIFI)、BLUETOOTH标准等)中的任何一个或多个经由无线通信223与一个或多个移动设备211c1-211c3和212c1-212c3通信。
一个或多个移动设备211c1-211c3和/或212c1-212c3中的任一个可以包括用于访问成像服务器(202)和/或与成像服务器(202)通信的移动设备和/或客户端设备。在各种实施方案中，移动设备211c1-211c3和/或212c1-212c3可以包括蜂窝电话、移动电话、平板设备、个人数据助理(PDA)等，包括但不限于苹果iPhone或iPad设备或基于谷歌安卓的移动电话或平板。一个或多个移动设备211c1-211c3和/或212c1-212c3中的任一个可以包括一个或多个处理器和/或一个或多个存储器用于存储、实现或执行计算指令或代码，例如，移动应用。如图1D中所示，模型11还可以本地存储在移动设备(例如，移动设备211c1)的存储器上。
移动设备211c1-211c3和/或212c1-212c3可以包括无线收发器以接收和发送去往和来自基站211b和/或212b的无线通信221和/或223。可以经由计算机网络120将基于像素的图像(222a)、(222b)和/或(222c)传输到成像服务器(202)来训练模型(例如，模型11)和/或执行如本文所述的成像分析。
此外，一个或多个移动设备211c1-211c3和/或212c1-212c3可以包括用于捕获或拍摄数字图像和/或帧(例如，其可以是图像(222a)、(222b)和/或(222c)中的任何一个或多个)的数字照相机和/或数字摄像机。每个数字图像可以包括用于训练或实现模型(例如AI或机器学习模型)的像素数据，如本文所述。例如，移动设备211c1-211c3和/或212c1-212c3中的任一个的数字照相机和/或数字摄像机可以被配置为拍摄、捕获或以其它方式生成数字图像(例如，基于像素的图像(222a)、(222b)和/或(222c))，并且至少在一些实施方案中，可以将此类图像存储在相应移动设备的存储器中。例如，图像(222a)、(222b)和/或(222c)中的每一个可以是描绘了具有打印或以其它方式粘附在消费品(70)上的受检产品规格(例如，生产线可变打印代码(39))的消费品(70)(例如，瓶装产品，例如，洗发水瓶子)的图像，例如，如本文关于图1C所述。
此外，一个或多个移动设备211c1-211c3和/或212c1-212c3中的每一个可以包括显示屏用于显示图形、图像、文本、产品建议、数据、像素、特征和/或如本文所述的其它此类可视化或信息。在各种实施方案中，可以由成像服务器(202)接收图形、图像、文本、数据、像素、特征和/或其它此类可视化或信息来在移动设备211c1-211c3和/或212c1-212c3中的任何一个或多个的显示屏上显示。额外地或替代地，移动设备可以至少部分地包括、实现、访问、呈现或以其它方式暴露界面或引导用户界面(GUI)来在其显示屏上显示文本和/或图像，例如，如本文关于图1C所述。
本文的系统和方法包括输出来自模型的输出的步骤，该输出将受检品的图像分类为真实的或非真实的。优选地在捕获了受检消费品的图像的同一设备上接收输出。额外的输出可以包括向用户提供关于如何报告非真实消费品或何处可以购买真实消费品(例如，线上或最近的线下商店)的指导。优选地，该方法在5秒内、优选地在3秒内、更优选地在1秒内完成；替代地，该方法在1秒至5秒完成。在本发明的一个方面，例如在众包活动中仅从移动设备(例如，移动电话)收集数据，然后在内部处理以生成市场上伪造品的实时地理定位图像，向用户报告或不报告结论。在一个实例中，输出指示(在模型中输入的)初始获取的图像是包含在内的，并且考虑到分析是无定论的，用户应获取(并且输入)受检消费产品的另一个图像。并且在可以提供对真实性的最终或更确定的分类之前，需要更好质量的图像或从其它视角的图像等。
实施例
如本文所示，减轻了对模型的相机偏差。我们的训练集由洗发水瓶的底面的基于红绿蓝(RGB)的2331个图像组成。RGB是在硅谷图形工作站上创建的图像文件的文件扩展名。RGB文件可以包含灰度或颜色的行程长度编码(RLE)压缩或未压缩图像，并且支持可选的透明度。RGB文件可以由大多数图像编辑器打开和编辑。这些图像的尺寸为1024×1024，并且紧密地围绕瓶子的批次代码剪裁，该批次代码是由点阵打印机打印的两行字母数字序列号(参见图6)。图6A和图6B是来自训练集的一对图像。图6A是用苹果iPhone照相机拍摄的，而图6B是用三星移动设备照相机拍摄的。预期伪造产品的批次代码以一些可能非常细微的方式不同于真正制品的批次代码，因此我们的图像具有相对高的分辨率。
我们的图像用四种不同的照相机捕获：iPhone、华为、三星和红米。在基础数据集中，这些照相机在真实和非真实分类之间以相等的频率出现，但通过从数据集中排除照相机和标签的某些组合，我们可以引入照相机类型与分类标签之间的相关性。均在同一房间中，在受控的照明条件下，由四个人获取图像，每个人拍摄来自每个分类和使用每种照相机的相等数量的图像。通过对这样的环境条件进行标准化，我们可以更确信，照相机类型与标签之间的相关性是模型所利用的，而不是域偏差的一些其它来源。验证集是包含随机10％的训练样本的保留集，模型对其从未进行训练。测试集含有1046个图像，比使用相同照相机的训练集晚一年采集，同样跨两个分类相等地分布。
使用人工引入的照相机/标签相关性，我们对我们的数据集的变化进行了一系列分类实验。将所有实验训练成10,000次迭代(批次大小为8，在我们的数据集中有47个时期)，学习速率为10-4。为了防止对我们的小数据集的有限样本过拟合，我们采用了一些标准数据增强：水平翻转、随机旋转、色彩抖动和剪切(参见图7)。图7示出了用基本几何失真和颜色失真增强训练图像的实例。我们报告的所有准确度数字均是对使用不同的随机数发生器种子的四次运行取平均值。
我们在此验证了现有技术的视觉模型能够非常容易地对拍摄该数据集中的图像的何种照相机进行分类。表1示出了跨架构范围内，可以在该任务上实现非常高的测试准确度。如图8所示，经预训练的ResNet34模型不仅实现了照相机分类的高准确度，还非常快速地完成了照相机分类。在该运行中，预训练的模型ResNet34在单个训练时期(包括2331个照相机标记的图像)内实现了接近理想的测试准确度。模型可以鉴别照相机的容易性表明当类别之间的区别非常小时(如通常是细分类的情况)，通过使用照相机来鉴别分类将会欺骗CNN。
表1.当对何种照相机拍摄图像进行分类时，对测试集的准确度(％)。
<u>模型</u> <u>测试准确度</u>
ResNet34 1.000
ResNet101 0.935
Inception V3 0.999
AlexNet 0.931
VGG16 0.923
在三种设置(我们称为平衡、部分和分离)下，我们研究了我们的主要任务-伪造品检测。在平衡设置中，我们使用了完整的训练集，并且照相机类型与分类标签之间没有相关性。在部分中，我们使用相同的训练集，但是只包括iPhone和三星照相机。在分离中，我们通过仅包括用iPhone或三星照相机拍摄的真实标记的图像和用华为或红米照相机拍摄的非真实标记的图像来引入照相机与分类标签之间的相关性。我们的测试集在所有情况下都是相同的，平衡是跨照相机类型的且没有照相机/标签相关性。
表2.五种具有不同的训练设置的模型的伪造品检测测试集准确度。
<u>模型</u> <u>平衡</u> <u>部分</u> <u>分离</u>
ResNet34 0.820 0.859 0.546
ResNet101 0.786 0.721 0.533
InceptionV3 0.830 0.846 0.534
AlexNet 0.709 0.745 0.656
VGG16 0.821 0.809 0.768
表2示出了对这三个数据集进行的伪造品分类实验的结果。显而易见，尽管当对平衡数据集(和部分数据集)进行训练时实现了可观的准确度，但当对分离数据集进行训练时(例如，相对于各种模型与平衡数据集和/或部分数据集中的每一个相比)，出现了约30％的准确度下降。事实上，分离的准确度接近50％，几乎不比随机猜测更好，如果模型基于照相机类型进行分类，每个照相机类型在测试集中具有相等数量的真实和非真实图像，则完全可以预期分离的准确度。
我们可以通过观察模型对测试集中的照相机类型的行为来确认这种下降的准确度是由于照相机偏差。如图9所示，对分离数据集进行训练的ResNet34仅在由iPhone或三星照相机获取的测试图像上获得了真阳性和假阳性，而在华为和红米图像上明显地出现了否定响应。在其它模型中观察到不同程度的类似行为。图9是显示关于对分离数据集(其中所有的真实(肯定)图像均是iPhone或三星的，并且所有的非真实(否定)图像均是华为或红米的)进行训练的ResNet34模型，对我们的测试集的正确肯定(TP)、正确否定(TN)、错误肯定(FP)和错误否定(FN)响应的分布的条形图。对iPhone和三星样本仅出现肯定响应，而对华为和红米样本则明显出现了否定响应，从而证明了模型已经利用了训练集中的照相机/标签相关性。
当对部分数据集(其中仅存在iPhone和三星图像，但不存在照相机/标签相关性)进行训练时，测试准确度与对完整(平衡)数据集进行训练大致相似。不仅准确度高，而且如图10所示，模型对未看到的(或者此时未知的)照相机表现良好。这意味着在没有照相机/标签相关性的情况下，模型学习不受照相机类型影响的鲁棒分类规则。图10是示出了关于对部分训练集(其中仅存在iPhone或三星图像，但没有照相机/标签相关性)进行训练的ResNet34模型，对我们的测试集的正确肯定(TP)、正确否定(TN)、错误肯定(FP)和错误否定(FN)响应的分布的条形图。甚至对未看到的华为和红米照相机准确度也是高的，这意味着该模型已经学习了泛化照相机的鲁棒分类规则。
一组有限的图像集特征在于可用于推断图像来源的照相机类型。由于大部分这些特征与颜色分布或高频细节(即纹理)有关，因此似乎可能去除这些特征将使照相机类型鉴别变为不可能，并且因此解决了域偏差问题。为了在保持与鲁棒的伪造品检测可能相关的特征的同时实现这一点，我们对图像应用局部平均阈值。这产生了有效地分割批次代码的点同时去除了所有颜色和纹理要素的二进制图像(参见图11)。图11是来自瓶子的批次代码的图像，其中应用局部平均阈值分割批次代码点。原始照相机分类对此类图像不起作用，这表明模型使用除了点的形状和位置之外的其它事物来对照相机类型进行分类。
如表3所示，对二进制分割图像的训练不能产生对伪造品检测或照相机分类任务的可用结果——在两种情况下，测试准确度接近随机猜测的预期水平。如所预期的，当对具有二进制阈值的分离数据集进行训练时，我们还观察到在非真实分类测试准确度与照相机类型之间没有显著的相关性。这在很大程度上排除了透镜失真或其它大尺度几何伪像作为照相机偏差的来源，因为这些失真将导致点移动并且因此在二进制阈值图像中可见。
表3提供了在对诸如图11的二进制分割图像进行训练(和测试)时，对测试集的非真实和照相机类型的准确度(％)。
Figure BDA0002790635180000261
Figure BDA0002790635180000271
本文公开的量纲和值不应理解为严格局限于陈述的精确数值。相反，除非另外指明，否则每个此类量纲旨在意指所述值以及围绕该值功能上等同的范围。例如，公开为“40mm”的量纲旨在意指“约40mm”。
除非明确排除或以其它方式限制，本文中引用的每一篇文献，包括任何交叉引用或相关的专利或申请以及本申请对其要求优先权或其权益的任何专利申请或专利，均据此通过引用整体并入本文。任何文献的引用不是对其作为相对于本文公开的或要求保护的任何发明的现有技术的认可，也不是对其单独或与任何一个或多个其它参考文献组合教导、建议或公开任何此类发明的认可。此外，当本发明中的术语的任何含义或定义与通过引用并入的文献中的相同术语的任何含义或定义矛盾时，应遵循本发明中赋予该术语的含义或定义。
本公开内容的方面
本公开的以下方面仅是示例性的，并非旨在限制本公开内容的范围。
1.用于对受检消费品是真实的还是非真实的进行分类的方法，包括以下步骤：a)获取包含受检产品规格的所述受检消费品的图像；b)将所述获取的图像输入模型中，其中所述模型被配置为将所述获取的图像分类为真实的或非真实的，其中所述模型由机器学习分类器构建，其中所述机器学习分类器由训练数据集训练，其中所述训练数据集包括：(i)由多种不同的照相机类型提取的包含真实产品规格的真实产品的图像，其中所述真实产品规格包括至少一个长度大于0.01mm的隐写特征；以及(ii)基于(所述真实产品的所述真实产品规格的)所述隐写特征的相关联分类定义；以及c)输出来自所述模型的输出，所述输出将所述输入的所述受检消费品的图像分类为真实的或非真实的。
2.如方面1的方法，其中所述多种不同的照相机类型是至少3种、优选地至少4种、更优选地至少5种的照相机类型。
3.如方面1或2的方法，还包括使用几何失真或颜色失真，优选地使用几何失真和颜色失真两者来增强所述提取的所述真实产品的图像。
4.如前述方面中的任一个的方法，其中所述隐写特征具有长度0.02mm至20mm、更优选地0.03mm至5mm、还更优选地0.04mm至1mm的长度。
5.如前述方面中的任一个的方法，其中所述机器学习分类器由验证数据集验证，其中所述验证数据集包括对由隐写特征生成软件生成的(所述真实消费品的)所述产品规格的所述隐写特征的鉴别；优选地，训练数据集包括注释所述隐写特征的注释。
6.如前述方面中的任一个的方法，其中所述隐写特征选自：字母或数字或其组合的孤立字体样式；文本、字母、标点或其组合的位置的孤立位置变化；及其组合；
优选地，所述隐写特征通过软件自动生成。
7.如前述方面中的任一个的方法，其中所述产品规格选自：生产代码、批次代码、品牌名称、产品线、标签、工艺图、成分列表、使用说明及其组合，优选地，所述产品规格选自生产代码、批次代码及其组合。
8.如前述方面中的任一个的方法，其中所述机器学习分类器是卷积神经网络(“CNN”)。
9.如前述方面中的任一个的方法，其中在对所述机器学习分类器进行训练之前，对所述训练数据集进行空间操纵；优选地，通过空间变换网络对所述训练数据集进行空间操纵；更优选地，所述训练数据集强调高频特征。
10.如前述方面中的任一个的方法，其中在被输入所述模型中之前，将所述获取的所述受检消费品的图像进行空间操纵，优选地其中通过空间变换网络对所述获取的图像进行空间操纵。
11.如前述方面中的任一个的方法，其中所述训练数据集还包括由所述多种不同的照相机类型提取的包含非真实产品规格的非真实产品的图像，其中所述非真实产品规格不同于所述至少一个隐写特征；
其中所述多种不同的照相机类型是至少3种、优选地至少4种、更优选地至少5种的照相机类型。
12.用于对受检消费品是真实的还是非真实的进行分类的方法，包括以下步骤：a)获取包含受检产品规格的所述受检消费品的图像；b)将所述获取的图像输入模型中，其中所述模型被配置为将所述获取的图像分类为真实的或非真实的，其中所述模型由机器学习分类器构建，其中所述机器学习分类器由训练数据集训练，其中所述训练数据集包括：(i)由多种不同的照相机类型提取的包含真实产品规格的真实产品的图像，其中所述真实产品规格包括生产线可变打印代码；(ii)由所述多种不同的照相机类型提取的包含非真实产品规格的非真实产品的图像，其中所述非真实产品规格不同于所述至少一个隐写特征；以及(iii)基于(所述真实产品的所述真实产品规格的)所述生产线可变打印代码的相关联分类定义；以及c)输出来自所述模型的输出，所述输出将所述输入的所述受检消费品的图像分类为真实的或非真实的。
13.如方面12的方法，其中所述多种不同的照相机类型是至少3种、优选地至少4种、更优选地至少5种的照相机类型。
14.如方面12或13的方法，还包括使用几何失真或颜色失真，优选地使用几何失真和颜色失真两者来增强所述提取的所述真实产品的图像。
15.如方面12、13或14的方法，其中生产线可变打印代码包含字母数字字符、非字母数字字符或其组合；优选地，训练数据集包含注释所述生产线可变打印代码的注释，优选地其中生产线可变打印代码通过选自以下的打印方法打印：连续喷墨；压印、激光蚀刻、热转印、热蜡及其组合；优选连续喷墨，以及更优选地所述生产线可变打印代码包含非字母数字字符，其中所述非字母数字字符包括图案框、点列、其组合。
本公开内容的其它方面
本公开的以下方面仅是示例性的，并非旨在限制本公开内容的范围。
1.用于成像并且对一个或多个实物和受检消费品是真实的还是非真实的进行分类的基于机器学习的成像方法，所述基于机器学习的成像方法包括：a)获取包含受检产品规格的受检消费品的图像；b)将所述获取的图像输入模型中，其中所述模型被配置为将所述获取的图像分类为真实的或非真实的，其中所述模型由机器学习分类器构建，其中所述机器学习分类器由训练数据集训练，其中所述训练数据集包括：(i)由多种不同的照相机类型提取的包含与所述受检产品规格相当的真实产品规格的真实产品的图像，其中所述真实产品规格包括至少一个长度大于0.01mm的隐写特征；以及(ii)基于所述隐写特征的相关联分类定义；以及c)输出来自所述模型的分类输出，所述分类输出指示所述受检消费品的图像是真实或非真实的可能性。
2.如方面1的基于机器学习的成像方法，其中所述多种不同的照相机类型包括至少三种不同的照相机类型。
3.如方面1-2中的任一个的基于机器学习的成像方法，还包括使用几何失真或颜色失真中的至少一种，并且优选地使用几何失真和颜色失真两者来增强所述提取的所述真实产品的图像。
4.如方面1-3中的任一个的基于机器学习的成像方法，其中所述至少一个隐写特征具有0.02mm至20mm的长度。
5.如方面1-4中的任一个的基于机器学习的成像方法，其中所述机器学习分类器通过验证数据集来验证，其中所述验证数据集包括限定所述受检产品规格的所述至少一个隐写特征的一个或多个图像。
6.如方面1-5中的任一个的基于机器学习的成像方法，其中所述至少一个隐写特征选自以下中的一种或多种：字母的孤立字体样式、数字的孤立字体样式；文本位置的孤立位置变化、字母位置的孤立位置变化、标点位置的孤立位置变化。
7.如方面1-6中的任一个的基于机器学习的成像方法，其中所述真实产品规格选自以下中的一种或多种：生产代码、批次代码、品牌名称、产品线、标签、工艺图、成分列表或使用说明。
8.如方面1-7中的任一个的基于机器学习的成像方法，其中所述机器学习分类器是卷积神经网络(CNN)。
9.如方面1-8中的任一个的基于机器学习的成像方法，其中在训练所述机器学习分类器之前对所述训练数据集进行空间操纵。
10.如方面1-9中的任一个的基于机器学习的成像方法，其中在被输入所述模型中之前，将所述获取的所述受检消费品的图像进行空间操纵。
11.如方面1-10中的任一个的基于机器学习的成像方法，其中所述训练数据集还包括由所述多种不同的照相机类型另外提取的包含非真实产品规格的非真实产品的图像，其中所述非真实产品规格不同于所述至少一个隐写特征。
12.用于成像并且对一个或多个实物受检消费品是真实的还是非真实的进行分类的基于机器学习的成像方法，所述基于机器学习的成像方法包括：a)获取包含受检产品规格的受检消费品的图像；b)将所述获取的图像输入模型中，其中所述模型被配置为将所述获取的图像分类为真实的或非真实的，其中所述模型由机器学习分类器构建，其中所述机器学习分类器由训练数据集训练，其中所述训练数据集包括：(i)由多种不同的照相机类型提取的包含与所述受检产品规格相当的真实产品规格的真实产品的图像，其中所述真实产品规格包括生产线可变打印代码；(ii)由所述多种不同的照相机类型提取的包含与所述受检产品规格相当的非真实产品规格的非真实产品的图像，其中所述非真实产品规格不同于所述生产线可变打印代码；以及(iii)基于所述生产线可变打印代码的相关联分类定义；以及c)输出来自所述模型的分类输出，所述分类输出指示所述受检消费品的图像是真实或非真实的可能性。
13.如方面12的基于机器学习的成像方法，其中所述多种不同的照相机类型包括至少三种不同的照相机类型。
14.如方面12-13中的任一个的基于机器学习的成像方法，还包括使用几何失真或颜色失真中的至少一种来增强所述提取的所述真实产品的图像。
15.如方面12-14中的任一个的基于机器学习的成像方法，其中所述生产线可变打印代码包括以下中的一种或多种：一个或多个字母数字字符、一个或多个非字母数字字符、一个或多个包括图案框的非字母数字字符、或者一个或多个包括点列的非字母数字字符。
16.如方面12-15中的任一个的基于机器学习的成像方法，其中生产线可变打印代码通过以下方法中的一种或多种打印或粘附到受检消费品上：连续喷墨打印机、压印、激光蚀刻、热转印或热蜡。
17.如方面12-16中的任一个的基于机器学习的成像方法，其中训练数据集包括注释所述生产线可变打印代码的注释。
18.如方面5的基于机器学习的成像方法，其中所述训练数据集包括注释所述至少一个隐写特征的注释。
19.如方面1的基于机器学习的成像方法，其中所述至少一个隐写特征由被配置成在处理器上执行的计算指令生成，所述计算指令在执行时使得所述处理器基于一个或多个隐写特征类型自动生成所述隐写特征。
20.如方面1的基于机器学习的成像方法，其中在制造所述受检消费品期间或之后，将所述至少一个隐写特征粘附在所述受检消费品上。
21.存储用于成像并且对一个或多个实物受检消费品是真实的还是非真实的进行分类的指令的有形的、非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器：a)获取包含受检产品规格的受检消费品的图像；b)将所述获取的图像输入模型中，其中所述模型被配置为将所述获取的图像分类为真实的或非真实的，其中所述模型由机器学习分类器构建，其中所述机器学习分类器由训练数据集训练，其中所述训练数据集包括：(i)由多种不同的照相机类型提取的包含与所述受检产品规格相当的真实产品规格的真实产品的图像，其中所述真实产品规格包括至少一个长度大于0.01mm的隐写特征；以及(ii)基于所述隐写特征的相关联分类定义；以及c)输出来自所述模型的分类输出，所述分类输出指示所述受检消费品的图像是真实或非真实的可能性。
22.配置为成像并且对一个或多个实物和受检消费品是真实的还是非真实的进行分类的基于机器学习的成像系统，所述基于机器学习的成像系统包括：包括处理器和存储器的服务器，所述存储器存储模型；以及配置为在包括移动处理器和移动存储器的移动设备上执行的软件应用(app)，所述软件应用经由计算机网络通信地耦合至所述服务器，其中所述服务器包括被配置成在所述处理器上执行的计算指令，并且所述计算指令在由所述处理器执行时使得所述处理器：a)获取包含受检产品规格的受检消费品的图像，所述图像由所述移动设备捕获；b)将所述获取的图像输入所述模型中，其中所述模型被配置为将所述获取的图像分类为真实的或非真实的，其中所述模型由机器学习分类器构建，其中所述机器学习分类器由训练数据集训练，其中所述训练数据集包括：(i)由多种不同的照相机类型提取的包含与所述受检产品规格相当的真实产品规格的真实产品的图像，其中所述真实产品规格包括至少一个长度大于0.01mm的隐写特征；以及(ii)基于所述隐写特征的相关联分类定义；c)输出来自所述模型的分类输出，所述分类输出指示所述受检消费品的图像是真实或非真实的可能性，以及d)将所述分类输出传送到所述软件应用来由所述移动设备显示或使用。
其它考虑
虽然已经例示并且描述了本发明的实施方案，但对于本领域技术人员而言将显而易见的是在不脱离本发明的主旨和范围的情况下可以进行各种其它的改变和修改。因此，本文旨在于所附权利要求中涵盖属于本发明范围内的所有此类改变和修改。
此外，尽管本文的公开内容阐述了许多不同实施方案的详细描述，但应理解，描述的法定范围由本专利的末尾处阐述的权利要求书的语言和等同物来限定。该详细描述应仅被理解为示例性的，并非描述每个可能的实施方案，因为描述每个可能的实施方案将是不切实际的。可以使用当前技术或在本专利的申请日之后开发的技术来实现众多替代的实施方案，该替代的实施方案将仍然落入本权利要求的范围内。
以下其它考虑适用于上述讨论。贯穿本说明书，多个实例可以实现描述为单个实例的组件、操作或结构。尽管将一种或多种方法的个体操作例示并且描述为独立操作，但一个或多个个体操作可以同时执行，并且不需要以例示的顺序执行该操作。在示例性配置中作为独立组件呈现的结构和功能可以作为组合结构或组件实现。类似地，作为单个组件呈现的结构和功能可以作为独立组件实现。这些和其它变体、修改、添加和改善均落入本文主题的范围内。
另外，本文将某些实施方案描述为包括逻辑或多个例程、子例程、应用或指令。这些可以构成软件(例如，体现在机器可读介质上或传输信号中的代码)或硬件。在硬件中，例程等是能够执行特定操作的有形单元，并且可以以特定方式配置或布置。在示例性实施方案中，一个或多个计算机系统(例如，单机、客户端或服务器计算机系统)或者计算机系统的一个或多个硬件模块(例如，处理器或处理器群组)可以由软件(例如，应用或应用部分)配置为经操作来执行如本文所述的特定操作的硬件模块。
在各种实施方案中，硬件模块可以机械地或电子地实现。例如，硬件模块可以包括永久配置(例如，作为专用处理器，例如现场可编程门阵列(FPGA)或专用集成电路(ASIC))以执行特定操作的专用电路或逻辑。硬件模块还可以包括由软件临时配置以执行特定操作的可编程逻辑或电路(例如，包含在通用处理器或其它可编程处理器内)。应理解，可以由成本和时间考虑来驱动在专用且永久配置的电路或在临时配置的电路(例如，由软件配置)中机械地实现硬件模块的决定。
因此，术语“硬件模块”应被理解为涵盖有形实体，是指被物理上构建的永久配置(例如，硬连线)或临时配置(例如，编程的)以按特定方式操作或执行本文描述的特定操作的实体。考虑其中硬件模块是临时配置(例如，编程的)的实施方案，每个硬件模块不需要在任何一个时刻进行配置或实例化。例如，在硬件模块包括使用软件配置的通用处理器的情况下，通用处理器可以在不同的时间配置为相应的不同硬件模块。软件可以相应地配置处理器，例如，以在一个时刻构成特定的硬件模块并且在不同的时刻构成不同的硬件模块。
硬件模块可以向其它硬件模块提供信息并且从其它硬件模块接收信息。因此，描述的硬件模块可以被视为通信地耦合。在同时存在多个此类硬件模块的情况下，可以通过连接硬件模块的信号传输(例如，通过适当的电路和总线)来实现通信。在其中多个硬件模块在不同时间配置或实例化的实施方案中，例如可以通过多个硬件模块可以访问的存储器结构中的信息的存储和检索来实现此类硬件模块之间的通信。例如，一个硬件模块可以执行操作并且将该操作的输出存储在与其通信地耦合的存储器设备中。然后，另一个硬件模块可以在稍后的时间访问存储器设备以检索和处理所存储的输出。硬件模块还可以发起与输入或输出设备的通信，并且可以在资源(例如，信息集合)上操作。
本文描述的示例性方法的各种操作可以至少部分地由临时配置(例如，由软件)或永久配置为执行相关操作的一个或多个处理器来执行。无论是临时配置还是永久配置，此类处理器可以构成经操作来执行一个或多个操作或功能的处理器实现模块。在一些示例性实施方案中，本文提及的模块可以包括处理器实现模块。
类似地，本文描述的方法或例程可以至少部分地由处理器实现。例如，方法的至少一些操作可以由一个或多个处理器或处理器-实现硬件模块执行。某些操作的性能可以分布在一个或多个处理器中，不仅驻留在单个机器内，而且部署在多个机器上。在一些示例性实施方案中，一个或多个处理器可以位于单个位置，而在其它实施方案中，处理器可以跨多个位置分布。
某些操作的性能可以分布在一个或多个处理器中，不仅驻留在单个机器内，而且部署在多个机器上。在一些示例性实施方案中，一个或多个处理器或处理器实现模块可以位于单个地理位置(例如，在家庭环境、办公室环境或服务器场内)。在其它实施方案中，一个或多个处理器或处理器实现模块可以跨多个地理位置分布。
该详细描述应仅被理解为示例性的，并非描述每个可能的实施方案，因为描述每个可能的实施方案即使不是不可能的也将是不切实际的。本领域普通技术人员可以使用当前技术或在本申请的申请日之后开发的技术来实现众多替代的实施方案。
本领域普通技术人员将认识到，在不背离本发明的范围的情况下，可以对以上描述的实施方案进行各种各样的修改、变更和组合，并且此类修改、变更和组合应被视为在本发明构思的范围内。
在本专利申请的末尾处的专利权利要求书不旨在根据35U.S.C.§112(f)进行解释，除非明确陈述传统的装置加功能语言，例如权利要求中明确陈述的“用于……的装置”或“用于……的步骤”语言。本文描述的系统和方法涉及对计算机功能的改善，并且改善了传统计算机的功能。

Claims (22)

1.用于成像并且对一个或多个实物受检消费品是真实的还是非真实的进行分类的基于机器学习的成像方法，所述基于机器学习的成像方法包括：
a)获取包含受检产品规格的受检消费品的图像；
b)将获取的图像输入模型中，
其中所述模型被配置为将所述获取的图像分类为真实的或非真实的，
其中所述模型由机器学习分类器构建，
其中所述机器学习分类器由训练数据集训练，
其中所述训练数据集包括：(i)由多种不同的照相机类型提取的包含与所述受检产品规格相当的真实产品规格的真实产品的图像，其中所述真实产品规格包括至少一个长度大于0.01mm的隐写特征；以及(ii)基于所述隐写特征的相关联分类定义；以及
c)输出来自所述模型的分类输出，所述分类输出指示所述受检消费品的图像是真实或非真实的可能性。
2.根据权利要求1所述的基于机器学习的成像方法，其中所述多种不同的照相机类型包括至少三种不同的照相机类型。
3.根据权利要求1所述的基于机器学习的成像方法，还包括使用几何失真或颜色失真中的至少一种来增强所述提取的所述真实产品的图像。
4.根据权利要求1所述的基于机器学习的成像方法，其中所述至少一个隐写特征具有0.02mm至20mm的长度。
5.根据权利要求1所述的基于机器学习的成像方法，其中所述机器学习分类器通过验证数据集来验证，其中所述验证数据集包括限定所述受检产品规格的所述至少一个隐写特征的一个或多个图像。
6.根据权利要求1所述的基于机器学习的成像方法，其中所述至少一个隐写特征选自以下中的一种或多种：字母的孤立字体样式、数字的孤立字体样式；文本位置的孤立位置变化、字母位置的孤立位置变化、标点位置的孤立位置变化。
7.根据权利要求1所述的基于机器学习的成像方法，其中所述真实产品规格选自以下中的一种或多种：生产代码、批次代码、品牌名称、产品线、标签、工艺图、成分列表或使用说明。
8.根据权利要求1所述的基于机器学习的成像方法，其中所述机器学习分类器是卷积神经网络(CNN)。
9.根据权利要求1所述的基于机器学习的成像方法，其中在训练所述机器学习分类器之前对所述训练数据集进行空间操纵。
10.根据权利要求1所述的基于机器学习的成像方法，其中在被输入所述模型中之前，将所述获取的所述受检消费品的图像进行空间操纵。
11.根据权利要求1所述的基于机器学习的成像方法，其中所述训练数据集还包括由所述多种不同的照相机类型另外提取的包含非真实产品规格的非真实产品的图像，其中所述非真实产品规格不同于所述至少一个隐写特征。
12.用于成像并且对一个或多个实物受检消费品是真实的还是非真实的进行分类的基于机器学习的成像方法，所述基于机器学习的成像方法包括：
a)获取包含受检产品规格的受检消费品的图像；
b)将获取的图像输入模型中，
其中所述模型被配置为将所述获取的图像分类为真实的或非真实的，
其中所述模型由机器学习分类器构建，
其中所述机器学习分类器由训练数据集训练，
其中所述训练数据集包括：(i)由多种不同的照相机类型提取的包含与所述受检产品规格相当的真实产品规格的真实产品的图像，其中所述真实产品规格包括生产线可变打印代码；(ii)由所述多种不同的照相机类型提取的包含与所述受检产品规格相当的非真实产品规格的非真实产品的图像，其中所述非真实产品规格不同于所述生产线可变打印代码；以及(iii)基于所述生产线可变打印代码的相关联分类定义；以及
c)输出来自所述模型的分类输出，所述分类输出指示所述受检消费品的图像是真实或非真实的可能性。
13.根据权利要求12所述的基于机器学习的成像方法，其中所述多种不同的照相机类型包括至少三种不同的照相机类型。
14.根据权利要求12所述的基于机器学习的成像方法，还包括使用几何失真或颜色失真中的至少一种来增强所述提取的所述真实产品的图像。
15.根据权利要求12所述的基于机器学习的成像方法，其中所述生产线可变打印代码包括以下中的一种或多种：一个或多个字母数字字符、一个或多个非字母数字字符、一个或多个包括图案框的非字母数字字符、或者一个或多个包括点列的非字母数字字符。
16.根据权利要求12所述的基于机器学习的成像方法，其中生产线可变打印代码通过以下方法中的一种或多种打印或粘附到所述受检消费品上：连续喷墨打印机、压印、激光蚀刻、热转印或热蜡。
17.根据权利要求12所述的基于机器学习的成像方法，其中训练数据集包括注释所述生产线可变打印代码的注释。
18.根据权利要求5所述的基于机器学习的成像方法，其中所述训练数据集包括注释所述至少一个隐写特征的注释。
19.根据权利要求1所述的基于机器学习的成像方法，其中所述至少一个隐写特征由被配置成在处理器上执行的计算指令生成，所述计算指令在执行时使得所述处理器基于一个或多个隐写特征类型自动生成所述隐写特征。
20.根据权利要求1所述的基于机器学习的成像方法，其中在制造所述受检消费品期间或之后，将所述至少一个隐写特征粘附在所述受检消费品上。
21.存储用于成像并且对一个或多个实物受检消费品是真实的还是非真实的进行分类的指令的有形的、非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器：
a)获取包含受检产品规格的受检消费品的图像；
b)将获取的图像输入模型中，
其中所述模型被配置为将所述获取的图像分类为真实的或非真实的，
其中所述模型由机器学习分类器构建，
其中所述机器学习分类器由训练数据集训练，
其中所述训练数据集包括：(i)由多种不同的照相机类型提取的包含与所述受检产品规格相当的真实产品规格的真实产品的图像，其中所述真实产品规格包括至少一个长度大于0.01mm的隐写特征；以及(ii)基于所述隐写特征的相关联分类定义；以及
c)输出来自所述模型的分类输出，所述分类输出指示所述受检消费品的图像是真实或非真实的可能性。
22.配置为成像并且对一个或多个实物受检消费品是真实的还是非真实的进行分类的基于机器学习的成像系统，所述基于机器学习的成像系统包括：
包括处理器和存储器的服务器，所述存储器存储模型；以及
配置为在包括移动处理器和移动存储器的移动设备上执行的软件应用(app)，所述软件应用经由计算机网络通信地耦合至所述服务器，
其中所述服务器包括被配置成在所述处理器上执行的计算指令，并且所述计算指令在由所述处理器执行时使得所述处理器：
a)获取包含受检产品规格的受检消费品的图像，所述图像由所述移动设备捕获；
b)将获取的图像输入所述模型中，
其中所述模型被配置为将所述获取的图像分类为真实的或非真实的，
其中所述模型由机器学习分类器构建，
其中所述机器学习分类器由训练数据集训练，
其中所述训练数据集包括：(i)由多种不同的照相机类型提取的包含与所述受检产品规格相当的真实产品规格的真实产品的图像，其中所述真实产品规格包括至少一个长度大于0.01mm的隐写特征；以及(ii)基于所述隐写特征的相关联分类定义；
c)输出来自所述模型的分类输出，所述分类输出指示所述受检消费品的图像是真实或非真实的可能性；以及
d)将所述分类输出传送到所述软件应用来由所述移动设备显示或使用。
CN202011313662.6A 2019-12-20 2020-11-20 确定消费品的真实性的基于机器学习的成像方法 Pending CN113011898A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962951023P 2019-12-20 2019-12-20
US62/951,023 2019-12-20

Publications (1)

Publication Number Publication Date
CN113011898A true CN113011898A (zh) 2021-06-22

Family

ID=74046803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011313662.6A Pending CN113011898A (zh) 2019-12-20 2020-11-20 确定消费品的真实性的基于机器学习的成像方法

Country Status (3)

Country Link
US (1) US20210192340A1 (zh)
CN (1) CN113011898A (zh)
GB (1) GB2591178B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220261871A1 (en) * 2021-02-16 2022-08-18 Micron Technology, Inc. Size comparison systems and methods including online commerce examples utilizing same
US20220292856A1 (en) * 2021-03-15 2022-09-15 The Procter & Gamble Company Artificial intelligence based steganographic systems and methods for analyzing pixel data of a product to detect product counterfeiting
US20220374641A1 (en) * 2021-05-21 2022-11-24 Ford Global Technologies, Llc Camera tampering detection
US11967184B2 (en) 2021-05-21 2024-04-23 Ford Global Technologies, Llc Counterfeit image detection
US20230065074A1 (en) * 2021-09-01 2023-03-02 Capital One Services, Llc Counterfeit object detection using image analysis
CN114332544B (zh) * 2022-03-14 2022-06-07 之江实验室 一种基于图像块评分的细粒度图像分类方法和装置
SE2251170A1 (en) * 2022-10-07 2024-04-08 Wiretronic Ab Method and system for identifying embedded information
CN116128533B (zh) * 2023-03-06 2023-07-28 广西螺霸王食品科技有限公司 一种食品销售数据管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778702A (zh) * 2015-04-15 2015-07-15 中国科学院自动化研究所 基于深度学习的图像隐写检测方法
CN106462549A (zh) * 2014-04-09 2017-02-22 尹度普有限公司 使用从显微变化中进行的机器学习来鉴定实体对象
CN106530200A (zh) * 2016-10-23 2017-03-22 深圳大学 一种基于深度学习模型的隐写图像检测方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010085257A1 (en) * 2009-01-24 2010-07-29 Hewlett-Packard Devlopment Company, L.P. System and method for enhancing security printing
US10217179B2 (en) * 2016-10-17 2019-02-26 Facebook, Inc. System and method for classification and authentication of identification documents using a machine learning based convolutional neural network
CN112119391A (zh) * 2018-03-01 2020-12-22 因富通国际有限公司 用于确定信息承载装置的真实性的方法和设备
US20190293564A1 (en) * 2018-03-22 2019-09-26 Oak Analytics Inc. Network-Based Verification Systems and Methods
US11295265B2 (en) * 2018-07-02 2022-04-05 mPedigree Technologies B.V. Method and system for cold chain quality control and security

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462549A (zh) * 2014-04-09 2017-02-22 尹度普有限公司 使用从显微变化中进行的机器学习来鉴定实体对象
CN104778702A (zh) * 2015-04-15 2015-07-15 中国科学院自动化研究所 基于深度学习的图像隐写检测方法
CN106530200A (zh) * 2016-10-23 2017-03-22 深圳大学 一种基于深度学习模型的隐写图像检测方法及系统

Also Published As

Publication number Publication date
GB2591178A (en) 2021-07-21
GB202018278D0 (en) 2021-01-06
GB2591178B (en) 2022-07-27
US20210192340A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
US20210192340A1 (en) Machine learning based imaging method of determining authenticity of a consumer good
US10885531B2 (en) Artificial intelligence counterfeit detection
US11074592B2 (en) Method of determining authenticity of a consumer good
CN107133622B (zh) 一种单词的分割方法和装置
Kohli et al. Detecting medley of iris spoofing attacks using DESIST
Silva et al. An approach to iris contact lens detection based on deep image representations
CN111652332B (zh) 基于二分类的深度学习手写中文字符识别方法及系统
KR20190072074A (ko) 악성 코드 검출 방법 및 시스템
CN112069900A (zh) 基于卷积神经网络的票据文字识别方法及系统
JP6609267B2 (ja) ガボール関数を用いたパターン認識システム及び方法
Ramesh et al. Recognition of Kannada handwritten words using SVM classifier with convolutional neural network
CN110533704B (zh) 油墨标签的识别验伪方法、装置、设备及介质
US20220292856A1 (en) Artificial intelligence based steganographic systems and methods for analyzing pixel data of a product to detect product counterfeiting
Dass et al. A density based method for automatic hairstyle discovery and recognition
Hegadi Classification of kannada numerals using multi-layer neural network
Jabir Ali et al. A convolutional neural network based approach for recognizing malayalam handwritten characters
Jayanthi et al. Language detection of text document image
Shanmugam et al. Newton algorithm based DELM for enhancing offline tamil handwritten character recognition
US9042641B2 (en) Character recognition apparatus, character recognition method, and computer-readable medium
US20230222775A1 (en) Methods and systems for enabling robust and cost-effective mass detection of counterfeited products
Choudhary et al. Iris presentation attack detection for mobile devices
Awhad et al. Fraudulent Face Image Detection
Koponen et al. Recent advancements in machine vision methods for product code recognition: A systematic review
Lohith et al. Sign Language Recognition using Hand Gestures
Naidu et al. Character level segmentation and recognition using CNN followed random forest classifier for NPR system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination