CN112313718A - 材料样品的基于图像的新颖性检测 - Google Patents

材料样品的基于图像的新颖性检测 Download PDF

Info

Publication number
CN112313718A
CN112313718A CN201980042884.8A CN201980042884A CN112313718A CN 112313718 A CN112313718 A CN 112313718A CN 201980042884 A CN201980042884 A CN 201980042884A CN 112313718 A CN112313718 A CN 112313718A
Authority
CN
China
Prior art keywords
image
test
trained
transformation function
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980042884.8A
Other languages
English (en)
Inventor
尼古拉斯·A·阿森多夫
詹尼弗·F·舒马赫
穆罕默德·贾迈勒·阿夫里迪
海曼舒·纳亚尔
哥尔珊·哥尔纳利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3M Innovative Properties Co
Original Assignee
3M Innovative Properties Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3M Innovative Properties Co filed Critical 3M Innovative Properties Co
Publication of CN112313718A publication Critical patent/CN112313718A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20—Testing patterns thereon
    • G07D7/202—Testing patterns thereon using pattern matching
    • G07D7/206—Matching template patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明提供了用于检测/识别新型材料样品的系统和方法。用经训练的变换函数处理测试样品图像以获得变换的矩阵。将基于变换的矩阵的测试图像的相似性量度与阈值进行比较，以确定测试样品对于被提供用于训练变换函数的一批材料样品是否是新颖的。

Description

材料样品的基于图像的新颖性检测
技术领域
本公开涉及用于基于材料样品的图像的新颖性检测的方法和系统。
背景技术
伪造是全球性问题。用于认证货物、产品或材料的各种系统和方法已有描述。美国专利申请公布20040197535、美国专利7,495,214、美国专利7,706,700以及美国专利7,715,733描述了各种技术来解决伪造和认证商品、产品或材料的问题。
发明内容
期望以有效且成本效益好的方式认证材料、货物或产品。通常，当怀疑产品或样品为伪造品时，将其运送给供应商，并最终交给技术专家，该专家在特定实验室测试下检查产品以确定其是否是伪造品。识别伪造品的此类过程可非常耗时。本公开提供用于基于材料样品的图像的新颖性检测的方法和系统。本文所述的方法和系统可基于测试样品和一批材料样品(例如，真实/非伪造材料样品)的图像来确定测试样品对于该批次材料样品是否是新颖的。
简而言之，在一个方面，本公开描述了一种异常产品识别的由计算机实现的方法。该方法包括将测试样品的测试图像作为输入提供给与处理器相关联的经训练的变换函数。经训练的变换函数通过用一批材料样品的训练图像训练变换函数来获得。该方法还包括经由处理器利用经训练的变换函数处理测试图像以获得变换的矩阵，并且将基于变换的矩阵的测试图像的相似性量度与阈值进行比较以确定测试样品对于该批次材料样品是否是新颖的。经由处理器计算变换的矩阵与任选的参考矩阵之间的相似性量度。在一些实施方案中，参考矩阵源自未被经训练的变换函数处理的测试图像。在一些实施方案中，所有训练图像均获自一批真实/非伪造材料样品。
在另一方面，本公开描述了一种用于检测异常产品的系统。该系统包括提供给移动设备的图形用户界面(GUI)，该移动设备能够经由GUI获得测试材料样品的一个或多个测试图像；功能性地连接到移动设备的计算部件，该计算部件被配置为从GUI接收测试图像，并处理该图像；以及与计算部件相关联的经训练的变换函数，该经训练的变换函数在由计算部件执行时将图像变换成变换的矩阵，并且将变换的矩阵的评估结果返回到移动设备的GUI。
在本公开的示例性实施方案中获取各种意料不到的结果和优点。本公开的示例性实施方案的一个此类优点是，可以在不观察伪造品的情况下获得主动识别，其中可以在不使用来自伪造品的数据的情况下训练变换函数。可提供来自真实/非伪造样品的足够数据来训练变换函数，以提供可靠、主动的异常产品识别。
已总结本公开的示例性实施方案的各种方面和优点。上面的发明内容并非旨在描述本公开的当前某些示例性实施方案的每个例示的实施方案或每种实施方式。下面的附图和具体实施方式更具体地举例说明了使用本文所公开的原理的某些优选实施方案。
附图说明
结合附图考虑到以下对本公开的各种实施方案的详细说明可以更全面地理解本公开，其中：
图1是根据一个实施方案的用于检测新型材料样品的方法的流程图。
图2是根据一个实施方案的用于检测新型材料样品的方法的框图。
图3是根据一个实施方案的用于检测新型材料样品的方法的框图，其中变换函数包括单类SVM算法。
图4是根据一个实施方案的用于检测新型材料样品的方法的框图，其中变换函数包括基于投影的重建算法。
图5是根据一个实施方案的用于处理样品图像并且任选地用于标记样品图像的方法的流程图。
图6是根据一个实施方案的用于检测新型材料样品的方法的框图，其中变换函数包括基于自动编码器的重建算法。
图7是根据一个实施方案的用于检测新型材料样品的方法的框图，其中变换函数包括CNN算法。
图8示出了根据一个实施方案的用于检测异常产品的系统的框图。
图9示出了根据一个实施方案的连接到用于检测异常产品的云计算环境的移动设备的示意图。
在附图中，相似的附图标号指示相似的元件。虽然可不按比例绘制的上面标识的附图阐述了本公开的各种实施方案，但还可想到如在具体实施方式中所提到的其它实施方案。在所有情况下，本公开以示例性实施方案的表示的方式而非通过表述限制来描述当前所公开的公开内容。应当理解，本领域的技术人员可想出许多其它修改和实施方案，这些修改和实施方案落在本公开的范围和实质内。
具体实施方式
在众多行业和应用中，都期望以有效且成本效益好的方式认证材料、货物或产品。通常，当怀疑产品为伪造的时，将其运送给供应商，并最终交给技术专家，该专家在特定实验室测试下检查产品以确定其是否是伪造品。识别伪造品的此类过程可非常耗时。本公开提供了异常产品识别的方法和系统。本文所述的方法和系统可基于测试样品和一批材料样品(例如，真实/非伪造材料样品)的图像来确定测试样品对于该批次材料样品是否是新颖的。
图1示出了根据一个实施方案的用于检测/识别异常产品的由计算机实现的方法100。在110处，将测试样品的一个或多个数字图像提供给与处理器相关联的经训练的变换函数。数字图像可由任何合适的器械捕获，诸如例如结合到移动设备诸如移动电话中的数字相机。数字图像可包括RGB图像、热图像、红外(IR)图像、紫外(UV)图像等。所捕获的图像的大小可为例如约200x200像素至约10,000x10,000像素。所捕获的图像可为任何合适的格式，诸如例如JPEG、Exif、TIFF、BMP、GIF、PNG等。
经训练的变换函数可通过使用一批材料样品的训练图像训练变换函数来获得。在一些实施方案中，所有训练图像均从真实/非伪造材料样品获得。即，可在不使用来自伪造品或新型材料样品的数据的情况下训练变换函数。在一些实施方案中，该组材料样品各自可属于一批材料样品，该批材料样品包含基本上相同的材料构型和/或通过基本上相同的工艺制备。在一些实施方案中，材料样品可选自例如可从明尼苏达州圣保罗市的3M公司(3MCompany，Saint Paul，MN)商购获得的磨料、光学膜、非织造材料以及由其制成的产品，或其伪造品。一种典型的材料样品为包括非织造材料的呼吸器(例如，模制呼吸器或平折式呼吸器)。经训练的变换函数与计算机处理器相关联。当由处理器执行时，经训练的变换函数可处理输入图像(例如，材料样品的测试图像)并将输入图像变换为矩阵。矩阵可为例如变换图像、变换的矩阵、变换的矢量、标量数等的形式。变换函数可包括例如单类支持矢量机(SVM)算法、基于投影的重建算法、基于自动编码器的重建算法、卷积神经网络(CNN)算法等。然后方法100前进至120。
在120处，经由处理器用经训练的变换函数处理测试样品的测试图像，以获得变换的矩阵。当由处理器执行时，经训练的变换函数可处理输入图像(例如，材料样品的测试图像)并将输入图像变换为矩阵。矩阵可以是例如变换图像、变换的矩阵、变换的矢量、重建图像、标量数等的形式。变换函数可包括例如单类支持矢量机(SVM)算法、基于投影的重建算法、基于自动编码器的重建算法、卷积神经网络(CNN)算法。
在一些实施方案中，可首先处理图像以提取表示材料样品的材料特性(例如，呼吸器材料(例如，非织造材料)的纹理)的计算机视觉特征。材料样品的特征可包括例如光学特征(例如，强度、颜色等)、表面图案特征、声学特征(例如，频率吸收)、弹性特征(例如，模量)、结构特征(例如，形状)、电子特征(例如，电阻)、磁性特征(例如，场强度)、驻极体相关特征(例如，电介质)、机械特征(例如，屈服强度)等。方法100然后前进至130。
在130处，计算变换的矩阵与任选的参考矩阵之间的相似性量度。在120处，通过变换测试图像来获得变换的矩阵。在一些实施方案中，参考矩阵可源自未被经训练的变换函数处理的测试图像。在一些实施方案中，参考矩阵可为例如原始测试图像。在一些实施方案中，参考矩阵可为例如通过从原始测试图像提取计算机视觉特征而获得的特征矩阵/矢量。在一些实施方案中，相似性量度被计算为重建误差，该重建误差在用变换函数将测试图像处理成变换的矩阵时被确定。在一些实施方案中，可直接利用变换函数计算输入图像的相似性量度，而不参考参考矩阵。在一些实施方案中，相似性量度可以为标量数的形式。然后，方法100前进至140。
在140处，将相似性量度与阈值进行比较以确定测试样品对于一批识别的材料样品(例如，真实样品)是否是新颖的。如果测试样品对于该批次识别的材料(例如，真实样品)是新颖的，则测试样品可为伪造品或待识别的新样品。如果测试样品对于该批次识别的材料(例如，真实样品)不是新颖的，则可确定测试样品是真实的。在一些实施方案中，可经由处理器通过用经训练的变换函数处理验证图像来根据验证图像的重建误差来计算阈值。在一些实施方案中，验证图像可包括被提供用于训练变换函数的训练图像中的一些或全部。在一些实施方案中，验证图像和训练图像可属于同一批材料样品，但不提供验证图像来训练变换函数。在一些实施方案中，约50％或更多、约70％或更多、约90％或更多、或者约95％或更多的验证图像是从真实/非伪造材料样品获得的。在一些实施方案中，阈值可以是固定的标量数，例如零。当相似性量度大于阈值时，该方法可确定测试样品对于该批次识别的材料是新颖的；当相似性测量度不大于阈值时，该方法可确定测试样品对于该批次识别的材料不是新颖的。
图2是根据一个实施方案的用于检测新型材料样品的方法200的框图。在210处，将测试样品的一个或多个测试图像作为输入提供给与处理器相关联的经训练的变换函数220。变换函数220通过使用训练图像230(例如，一批材料样品的图像)来训练。方法200可确定测试样品对于该批次材料样品是否是新颖的。
在240处，变换函数220可包括存储在存储器中的计算算法，该计算算法在由计算机处理器执行时处理一个或多个测试图像，以获得变换的矩阵。变换函数220可包括各种计算算法。计算算法的一些实施方案在图3至图7中示出，并且将在下文中进一步描述。计算算法可通过使用训练图像230来训练。训练的输出可以是经训练的变换函数。使用训练图像，可针对给定问题优化变换函数的至少一部分。例如，可提供一批真实材料样品(例如，呼吸器)的图像来训练变换函数以获得经训练的变换函数，该经训练的变换函数被优化用于检测测试材料样品(例如，未知呼吸器)对于该批次真实材料样品是否是新颖的。
在一些实施方案中，训练图像230可获自一批材料样品，该批次材料样品包含基本上相同的材料配置和/或通过基本上相同的工艺制备。例如，训练图像230可由相机(例如，智能电话)针对一批材料样品捕获。该批次材料样品各自可被识别为真实材料样品。在一些实施方案中，该批次材料样品可选自例如可从明尼苏达州圣保罗市的3M公司(3M Company，Saint Paul，MN)商购获得的磨料、光学膜、非织造材料以及由它们制成的产品，或它们的伪造品。一种典型的材料样品为包括非织造材料的呼吸器(例如，模制呼吸器或平折式呼吸器)。
在训练之后，经训练/经学习的变换函数可将测试图像作为输入并生成变换的矩阵作为输出。在一些实施方案中，变换的矩阵可包括多维矢量。在250处，可经由处理器计算变换的矩阵与任选的参考矩阵之间的相似性的标量量度。然后可针对作为验证图像260的特性获得的阈值(Th)来评估输出的相似性的标量量度，以确定测试图像对于训练图像230(例如，非伪造产品或新颖产品/异常)是否是新颖的。
图3是根据一个实施方案的用于使用包括单类支持矢量机(SVM)算法的变换函数320检测新型材料样品的方法300的框图。变换函数320包括特征提取部件322和单类SVM部件324。特征提取部件322可从图像(例如，测试图像或训练图像)提取计算机视觉特征。在一些实施方案中，特征提取部件322可将2D图像转换为k维特征矢量。图5示出了从图像中提取计算机视觉特征的示例性过程，并且将在下文进一步讨论。
对于330处的训练图像，特征提取部件322可处理训练图像以获得相应的k维训练特征矢量。训练数据库可包括从训练图像提取的计算机视觉特征(例如，k维训练特征矢量)。可将训练数据库提供给单类SVM部件324以通过学习一组支持矢量来获得经训练/经学习的SVM算法，该组支持矢量定义经训练的单类SVM算法的决策边界。典型的单类SVM算法的描述可见于例如Chen等人的“One-Class SVM for learning in image reduction”(ImageProcessing，2001.Proceedings 2001International Conference on，vol.:1，Oct.7-10,2001，pp.34-37)中。在一些实施方案中，训练数据库可包括源自仅真实材料样品的图像的数据。即，变换函数可仅用来自真实材料样品的训练数据来训练。
测试图像通过特征提取部件322，并且输出特征矢量被传递到经训练/经学习的SVM算法以在340处获得相似性量度，该相似性量度用作图2的变换的矩阵240和相似性量度250。在图3的实施方案中，相似性量度可为1x1维矩阵，例如标量数。然后可将来自测试图像的相似性量度与训练数据的特征(例如，在图3的该实施方案中被确定为零的阈值Th)进行比较。
对于310处的测试图像，与已被确定为零的阈值Th相比，相似性量度可具有正值或负值。当相似性量度为正时，可确定测试图像对于训练图像是新颖的；当相似性量度为负时，可确定测试图像和训练图像源自相同批次的材料样品。
图4是根据一个实施方案的用于使用变换函数检测新型材料样品的方法400的框图，该变换函数包括基于投影的重建算法。变换函数420包括特征提取部件422和基于投影的重建算法424。特征提取部件422可与图3的特征提取部件322相同，该特征提取部件可从图像(例如，测试图像或训练图像)提取计算机视觉特征。在一些实施方案中，特征提取部件422可将2D图像转换为k维特征矢量。
基于投影的重建算法424可包括例如主分量分析(PCA)、稳健PCA、词典学习、独立分量分析(ICA)、主分量追寻(PCP)等。
基于投影的重建算法424包括编码器部件424a和解码器部件424b。特征提取部件422的输出(例如，计算机视觉特征的k维矢量)可被提供给编码器部件424a。对于430处的训练图像，训练编码器部件424a的输出可以是来自训练图像的计算机视觉特征的经学习的kxm投影矩阵；并且训练解码器部件424b的输出可以是从训练图像的计算机视觉特征的经学习的mxk投影矩阵。在一个实施方案中，编码器投影矩阵可从对应于零均值训练数据库的m个最大奇异值的m个奇异矢量获得，并且解码器投影矩阵是编码器投影矩阵的转置。此处m为投影矩阵的秩(分量数)，并且k>m，其中m可通过目视检查陡坡图(scree plot)或经由统计测试来选择。
410处的测试图像可作为输入传递到特征提取部件422以获得测试特征矢量。然后将所获得的测试特征矢量作为输入传递到编码器部件424a，该编码器部件通过应用所获得的kxm投影矩阵将特征矢量变换为m维矢量。即，对于测试图像而言，编码器部件424a的对应输出可通过应用经学习的kxm投影矩阵而为m维度矢量。在一些实施方案中，当
Figure BDA0002857526410000071
是特征提取部件422的输入特征矢量，并且
Figure BDA0002857526410000072
是经学习的投影矩阵时，则编码的输出是
Figure BDA0002857526410000073
编码器部件424a的输出可作为输入提供给解码器部件424b，在图4的实施方案中，该解码器部件可对输入进行解码并获得变换的矩阵作为426处的重建的计算机视觉特征矢量。在一些实施方案中，解码器部件424b可以使用经学习的mxk投影矩阵来经由
Figure BDA0002857526410000081
将编码输出解码为k维矢量，其中z是410处的测试图像的重建的计算机视觉特征矢量。
对于410处的测试图像，可通过将重建的计算机视觉特征矢量与参考矢量/图像(例如，在422处获得的计算机视觉特征的k维矢量)进行比较，将重建误差440确定为426处重建的计算机视觉特征矢量的相似性量度。在一些实施方案中，重建误差可通过经由公式误差＝||x-z||2计算x和z之间的加权L^p范数(诸如例如欧几里得距离)来确定，其中是特征提取部件422的输入特征矢量，并且z是重建的计算机视觉特征矢量。还可使用其他范数/距离来计算重建误差，诸如例如p的任何非负值的Schatten p范数。应当理解，此类重建误差可在440处以相同方式针对进入经训练的变换函数420的任何数字图像进行计算。
可将针对测试图像获得的重建误差与阈值Th进行比较，以确定测试图像410对于训练图像430是否是新颖的。经由处理器通过在460处用经训练的变换函数处理验证图像来根据验证图像的重建误差计算阈值。在一些实施方案中，训练图像430中的一些或全部可在460处用作验证图像。在460处，当重建验证图像的计算机视觉特征时，可基于某个期望的虚警率(false alarm rate)来确定阈值Th。给定460处的验证图像及其对应的重建误差，可确定不同的阈值。例如，当提供1000个验证图像时，可分别计算1000个重建误差值。阈值Th可基于1000个重建误差值的分布来确定。一种示例性策略可以是，阈值＝平均误差值+1x标准偏差或阈值＝平均误差值+2x标准偏差，其中平均值和标准偏差由分布确定。另一个策略可以是将阈值设置为分布的特定百分位数，这通常可由专家确定。当重建误差440大于阈值Th时，测试样品可被确定为对于该批次材料样品是新颖的；当重建误差440小于阈值Th时，测试样品可被确定为真实的/非伪造的。
可将验证图像传递到经训练的变换函数420中，并且可在440处确定其对应的重建误差。在一些实施方案中，验证图像和训练图像可属于同一批材料样品，但不提供验证图像来训练变换函数。在一些实施方案中，验证图像可以是用于训练的第一组图像和不用于训练的第二组图像的组合，其中这两组图像都属于同一批材料样品。在一些实施方案中，针对各种图像获得的分类准确度可用于调整阈值。
图5示出了根据一个实施方案的用于处理样品图像的方法500的流程图。在任选的510处，材料样品的数字图像可被分割。图像分割的任选步骤可将物体(例如，诸如呼吸器的材料样品)与图像中的背景分开。在一些实施方案中，当物体通过颜色、对比度等与背景不同时，图像分割可通过例如在LAB空间中对图像进行阈值处理来完成。图像分割也可有助于清除图像中的边缘区域和杂质(例如，孔)。通常，图像分割的任选步骤510可帮助更好地识别图像中属于物体的像素。然后，方法500前进至520。
在520处，从样品图像提取一个或多个补丁。通过以任何合适的方式(例如，随机取样、均匀取样或其它智能取样方法)对图像像素进行取样可提取补丁。补丁的数量l可以是例如1到10,000。典型的数量可以是大约几十到几千。补丁可具有多边形形状(例如，正方形、三角形、六边形等)，该多边形形状具有补丁大小，例如1x1像素至1000x1000像素。应当理解，合适数量的补丁、合适的补丁形状和合适的补丁大小可取决于样品图像的特性(例如，大小、分辨率、形状、质量等)。然后，方法500前进至530。
在530处，将一个或多个滤波器应用于每个补丁以获得每个补丁的一个或多个滤波后的补丁图像。在一些实施方案中，每个补丁可穿过一系列滤波器，诸如例如Gabor滤波器。滤波器用于提取与样品的材料特性相关的信息。例如，Gabor滤波器可用于提取非织造材料的纹理信息。当应用于补丁时，该系列滤波器可具有一系列相应的参数，从而得到一系列滤波后的补丁图像。也就是说，可将m个滤波器应用于补丁以生成m个滤波后的补丁图像，其中m是整数(例如，8、16、32等)。例如，Gabor滤波器可应用一系列内核(例如，从0到15的16个内核)，这可导致每个补丁的一系列滤波后的图像(例如，16个滤波后的图像)。
应当理解，任何合适的数字滤波器都可用于提取与合适的材料特性相关的信息。合适的数字滤波器可包括例如傅里叶变换(用于提取频率特性)、拉普拉斯变换(用于提取频率特性)、高斯滤波器(用于提取纹理特性)、高通滤波器(用于提取高频分量)、低通滤波器(用于提取平滑特征)、带通滤波器(用于提取特定频率分量)、中值滤波器(用于提取降噪)、平均滤波器(用于提取降噪)、局部二进制模式(用于提取纹理)、高斯拉普拉斯算子(用于提取边缘特性)、Sobel滤波器(用于提取边缘特性)、Prewitt滤波器(用于提取边缘特性)等等。
在一些实施方案中，多组数字文件管理器可同时或顺序地应用于每个补丁。在一些实施方案中，可将第一组滤波器(例如，一系列Gabor滤波器)应用于每个补丁以获得滤波后的补丁图像；可将第二滤波器(例如，本地二进制模式(LBP)滤波器)应用于每个滤波后的补丁图像，以将滤波后的补丁图像转换为进一步滤波后的补丁图像(例如，LBP图像)。LBP滤波器的算法检查补丁图像中的每个像素，并且对于每个像素，检查8个相邻像素。如果相邻像素大于目标像素，则其接收“1”；如果相邻像素小于目标像素，则其接收“0”。然后将这八个比特连接以形成8比特序列，其取0到255之间的值。以这种方式，可将滤波后的补丁图像变换为具有0到255之间的值的LBP补丁图像或具有0到9之间的值的“均匀”LBP补丁图像。在获得每个补丁的滤波后的补丁图像之后，方法500前进至540。
在540处，减小每个滤波后的补丁图像的大小或尺寸。虽然滤波后的补丁图像可有效地显示补丁的材料特性(例如，纹理)，但是考虑到大量的补丁(例如，1000个补丁或更多)、应用于每个补丁的滤波器的数量m(例如，16个或更多)、每个滤波后的补丁图像的大小(例如，101x101像素)等，得到的样品图像的计算机视觉相关数据可以是大的。该步骤可通过减小每个补丁的滤波后的补丁图像的大小或尺寸来有效地减小计算机视觉相关数据的大小。
在一些实施方案中，可通过对图像进行矢量化来减小滤波后的补丁图像的大小或尺寸。在一些实施方案中，滤波后的补丁图像可被转换或变换成n维柱状图，并且进一步转化或变换成n维矢量，其中n可为任何合适的整数(例如，1至256)。在一些实施方案中，滤波后的补丁图像的平均值和方差可连接到对应柱状图的末端，从而得到每个滤波后的补丁图像(例如，每个内核)的12维矢量。应当理解，可使用任何合适的矢量化方法将滤波后的补丁图像变换成n维矢量。然后，方法500前进至550。
在550处，对于每个补丁，组合与滤波后的补丁图像相关的计算机视觉数据。如530和540中所述，在一些实施方案中，对于每个补丁，可使用不同的参数(例如，m个内核)获得m个滤波后的补丁图像；对于每个滤波后的补丁图像，可获得n维矢量。m个滤波后的补丁图像的n维矢量可被连接以形成每个补丁的d维补丁特征矢量x补丁，其中d＝(m×n)。例如，对于用一系列内核(例如，对应于16个滤波后的图像的0到15的16个内核)施加的Gabor滤波器，可将16个滤波后的图像的12维矢量连接以形成补丁的最终特征矢量x补丁，例如，如下所示的192(12x16)维特征矢量：
Figure BDA0002857526410000111
可针对每个补丁重复上述用于组合滤波后的补丁图像的过程，以获得针对每个图像的l个此类d维补丁特征矢量，其中l是从样品图像提取的补丁的总数，并且d＝(m×n)是补丁特征矢量x补丁的维度。
在560处，针对每个图像组合补丁的计算机视觉数据。对于具有l个补丁的图像，可组合l个此类d维补丁特征矢量x补丁以形成特征矢量的(l×d)矩阵。可进一步组合所有图像的矩阵以形成特征矢量的(k×l)×d矩阵，其中k是样品图像的总数。
图6是根据一个实施方案的用于使用包括基于自动编码器的重建算法的变换函数来检测新型材料样品的方法600的框图。变换函数620包括编码器部件622和解码器部件624。
可将图像直接提供给编码器部件622，其中利用神经网络执行编码。编码器部件622的神经网络可具有多个层，其中每个层变换前一层的输入，然后将输出传递到下一层。编码器部件622的输出可以是k维特征矢量。然后可将该特征矢量作为输入传递到解码器部件624。解码器部件624还可使用神经网络来执行，该神经网络可具有多个层，其中每个层变换前一层的输入，然后将输出传递到下一层。解码器部件624的输出可以是可具有与到编码器部件622的输入图像相同的大小的图像。
神经网络可首先由训练图像630训练。编码器部件622和解码器部件624的神经网络可通过使用训练图像630来同时训练。每个神经网络的权重可通过使用例如梯度下降和反向传播来学习。
测试图像610可作为输入被提供给产生k维特征矢量的经训练的编码器部件622。然后将该特征矢量作为输入提供给经训练的解码器部件624，该经训练的解码器部件产生重建图像640，该重建图像可具有与测试图像610相同的大小。也就是说，经训练的变换函数620可以处理测试图像610以获得变换的矩阵，例如，该实施方案中的重建图像640。
对于输入图像，编码器部件622的输出可以是训练图像630的计算机视觉特征的非线性组合。在650处，可通过将重建图像与参考图像(例如，610处的测试图像或其矩阵形式的等同物)进行比较，将重建误差确定为重建图像640的相似性量度。在图6的实施方案中，参考图像/矩阵可以是提供给变换函数620的输入图像，该输入图像可以是例如610处的测试图像、630处的训练图像或其他类型的输入图像/矩阵。
在一些实施方案中，可通过计算一些误差量度诸如误差＝||X-Z||F来确定重建误差，其中x和z是变换函数620的输入和输出(例如，分别是输入图像和对应的重建图像)，并且范数可以是Frobenius范数。也可使用其他范数(例如，p的任何非负值的Schatten p范数)来计算重建误差。应当理解，对于进入经训练的变换函数620的任何数字图像，可以相同的方式在650处计算此类重建误差。
可将针对测试图像获得的重建误差与阈值Th进行比较，以确定测试图像610对于训练图像630是否是新颖的。经由处理器通过在660处用经训练的变换函数处理验证图像来根据验证图像的重建误差来计算阈值。在一些实施方案中，训练图像630中的一些或全部可在660处用作验证图像。在660处，当重建验证图像的计算机视觉特征时，可基于某个期望的虚警率来确定阈值Th。给定660处的验证图像及其对应的重建误差，可确定不同的阈值。例如，当提供1000个验证图像时，可分别计算1000个重建误差值。阈值Th可基于1000个重建误差值的分布来确定。一种示例性策略可以是，阈值＝平均误差值+1x标准偏差或阈值＝平均误差值+2x标准偏差，其中平均值和标准偏差由分布确定。另一个策略可以是将阈值设置为分布的特定百分位数，这通常可由专家确定。当重建误差640大于阈值Th时，测试样品可被确定为对于该批次材料样品是新颖的；当重建误差640小于阈值Th时，则测试样品可被确定为真实的/非伪造的。
可将验证图像传递到经训练的变换函数620中，并且可在640处确定其对应的重建误差。在一些实施方案中，验证图像和训练图像可属于同一批材料样品，但不提供验证图像来训练变换函数。在一些实施方案中，验证图像可以是用于训练的第一组图像和不用于训练的第二组图像的组合，其中这两组图像都属于同一批材料样品。在一些实施方案中，针对各种图像获得的分类准确度可用于调整阈值。
图7是根据一个实施方案的用于检测新型材料样品的方法的流程图，其中变换函数包括卷积神经网络(CNN)算法。
可将图像直接提供给变换函数720，其中用卷积神经网络(CNN)执行图像变换。CNN可具有多个层，其中每个层变换前一层的输入，然后将输出传递到下一层。在一些实施方案中，输入图像的大小可在由CNN变换之后减小。在一些实施方案中，CNN可用于超分辨率样式，其中神经网络层可产生可具有与输入图像基本上相同的大小的变换图像。一些基于CNN的方法可通过在每个卷积层处利用标准填充技术来实现这一点，以保持整个层上的特征映射的高度和宽度。这导致具有相同宽度和高度的重建图像(或矩阵)。这不同于图6的620处的编码器/解码器组合，其中首先减小图像大小，然后增大图像大小。当CNN用于超分辨率样式时，图像的大小在整个层中可为基本上相同的，这在信息丢失可为昂贵的并且小纹理图案非常重要时是有用的。
CNN可由训练图像730训练。每层的重量可通过使用例如梯度下降和反向传播来学习。
对于710处的测试图像，CNN可在740处通过层(例如，隐藏层)变换图像以获得重建图像。即，经训练的变换函数720可处理测试图像710以获得变换的矩阵，例如该实施方案中的重建图像740。在750处，可通过将重建图像与参考图像/矩阵进行比较，确定重建误差作为相似性量度。在图7的实施方案中，参考图像/矩阵可以是提供给变换函数720的输入图像，该输入图像可以是例如710处的测试图像、730处的训练图像或其他类型的输入图像。
在一些实施方案中，重建误差可通过计算一些误差量度诸如误差＝||X-Z||F来确定，诸如其中X和Z是变换函数720的输入和输出(例如，分别是输入图像和对应的重建图像)，并且范数可以是Frobenius范数。其他范数诸如Schatten p范数也可用于计算重建误差。应当理解，对于进入经训练的变换函数720的任何数字图像，可以相同的方式在750处计算此类重建误差。
可将针对测试图像获得的重建误差与阈值Th进行比较，以确定测试图像710对于训练图像730是否是新颖的。经由处理器通过在760处用经训练的变换函数处理验证图像来根据验证图像的重建误差来计算阈值。在一些实施方案中，训练图像730中的一些或所有可用作760处的验证图像。在760处，当重建验证图像的计算机视觉特征时，可基于某个期望的虚警率来确定阈值Th。给定760处的验证图像及其对应的重建误差，可确定不同的阈值。例如，当提供1000个验证图像时，可分别计算1000个重建误差值。阈值Th可基于1000个重建误差值的分布来确定。一种示例性策略可以是，阈值＝平均误差值+1x标准偏差或阈值＝平均误差值+2x标准偏差，其中平均值和标准偏差由分布确定。另一个策略可以是将阈值设置为分布的特定百分位数，这通常可由专家确定。当重建误差740大于阈值Th时，测试样品可被确定为对于该批次材料样品是新颖的；当重建误差740小于阈值Th时，则可将测试样品确定为真实/非伪造。
可将验证图像传递到经训练的变换函数720中，并且可在740处确定其对应的重建误差。在一些实施方案中，验证图像和训练图像可属于同一批材料样品，但不提供验证图像来训练变换函数。在一些实施方案中，验证图像可以是用于训练的第一组图像和不用于训练的第二组图像的组合，其中这两组图像都属于同一批材料样品。在一些实施方案中，针对各种图像获得的分类准确度可用于调整阈值。
图8示出了根据一些实施方案的用于通过实现本文所述的由计算机实现的方法中的任一者(诸如例如方法100至方法700中的一者或多者)来检测/识别新型材料样品的系统900。系统900包括测量部件924、计算部件926以及一个或多个输入/输出设备916。
测量部件924被配置为测量材料样品的一个或多个特征/特性。测量部件924可为用于测量材料特性的各种测量工具，所述材料特性包括例如以下中的一个或多个：光学特征、纹理特征、声学特征、弹性特征、结构特征、电子特征、磁性特征、驻极体或机械特征。在一些实施方案中，测量部件924可包括例如用于捕获材料样品的一个或多个图像的移动电话的数字相机。
在图9的实施方案中，计算部件926包括处理器912和存储器914。计算部件926功能性地连接到测量部件924(例如，数字相机)，从测量部件924接收与所测量的特征(例如，材料样品的数字图像)相关的信号。根据一些实施方案，利用输入训练数据(例如，训练图像)，处理器912可进一步训练变换函数以通过实现方法600来获得经训练的分类算法。根据一些实施方案，处理器912然后可以用经训练的变换函数处理测试样品的测试图像以获得变换的矩阵。
图像数据和经训练的变换函数可存储在存储器914中。在一些实施方案中，存储器914可具有用于存储图像相关数据的数据库，包括例如所有捕获的样品图像和图像的元数据。元数据可包括例如图像的时间戳、设备时间、IP地址、用户信息、位置等。
在一些实施方案中，当要认证测试材料样品时，通过测量部件924(例如，数字图像)可测量测试材料样品的一个或多个对应的特征(例如，数字图像)。计算部件926可从测量部件924接收与所测量的特征(例如，材料样品的数字图像)相关的信号并处理信号。根据一些实施方案，处理器912可通过实现方法500来处理测试图像以提取计算机视觉特征(例如，特征矢量)。然后，处理器912可根据方法300或400经由经训练的变换函数处理特征矢量以获得相似性/重建误差的量度。在一些实施方案中，根据方法600或700，处理器912可用经训练的变换函数直接处理测试图像以计算重建误差。
在一些实施方案中，测量部件924可为可在现场工作的移动设备(例如，移动电话)的数字相机。测量部件924可通过发送和接收信号来与远程计算设备(诸如例如计算部件926)进行无线通信。计算部件926可与例如计算机、服务器、移动电话等集成。计算部件926可处理所接收的材料特性信号并将异常产品识别信息发送到输入/输出设备916以于其上显示。
存储器914存储信息。在一些实施方案中，存储器914可以存储用于执行本文所述的方法或过程的指令。在一些实施方案中，可将计算机视觉特征数据和未经训练的、经训练的变换函数预先存储在存储器914中。计算机视觉特征数据可表示来自材料样品的各种材料特性，例如光学特征、纹理特征、声学特征、弹性特征、结构特征、电子特征、磁性特征、驻极体相关特征或机械特征。
存储器914可以包括任何易失性或非易失性存储元件。示例可包括随机存取存储器(RAM)(诸如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦可编程只读存储器(EEPROM)和闪存。示例还可包括硬盘、磁带、磁或光数据存储介质、光盘(CD)、数字通用盘(DVD)、蓝光盘和全息数据存储介质。
处理器912可包括例如一个或多个通用微处理器、专门设计的处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑的集合和/或能够执行本文所述技术的任何类型的处理设备。在一些实施方案中，处理器912(或本文所述的任何其他处理器)可以被描述为计算设备。在一些实施方案中，存储器914可以被配置为存储程序指令(例如，软件指令)，该程序指令由处理器912执行以进行本文所述的过程或方法。在其他实施方案中，本文所述的过程或方法可以由处理器912的专门编程的电路来执行。在一些实施方案中，处理器912可因此被配置为执行本文所述的用于检测新型材料样品的技术。处理器912(或本文所述的任何其他处理器)可以包括一个或多个处理器。
输入/输出设备916可以包括被配置为从用户或其他设备输入或向用户或其他设备输出信息的一个或多个设备。在一些实施方案中，输入/输出设备916可呈现用户界面，诸如例如图形用户界面(GUI)918，其中用户可控制异常产品识别。例如，输入/输出916可包括用于向用户呈现视觉信息的显示屏幕。在一些实施方案中，显示屏包括触敏显示器。在一些实施方案中，输入/输出916可包括用于向用户呈现信息的一个或多个不同类型的设备。输入/输出916可包括例如任何数量的视觉(例如，显示设备、灯等)反馈设备、听觉(例如，一个或多个扬声器)反馈设备和/或触觉(例如，键盘、触摸屏或鼠标)反馈设备。在一些实施方案中，输入/输出设备916可以表示显示屏(例如，液晶显示器或发光二极管显示器)和/或打印机(例如，打印设备或用于将指令输出到打印设备的组件)中的一者或多者。在一些实施方案中，输入/输出设备916可以被配置为接受或接收由处理器912执行以进行本文所述的实施方案的程序指令(例如，软件指令)。
系统900也可包括其它部件，并且包括处理器912、存储器914和输入/输出设备916的所示部件中的任一个部件的功能可横跨多个部件和独立设备(诸如计算机)分布。系统900可以被配置为工作站、台式计算设备、笔记本电脑、平板电脑、移动计算设备或任何其他合适的计算设备或计算设备的集合。系统900可在本地网络上运行或者被托管在云计算环境中。图8所示的组件仅仅是为了解释本公开的各个方面而示出的，并且组件的添加或移除对于本领域技术人员将是显而易见的。
图9示出了根据另一个实施方案的新颖性检测系统1000。该系统包括提供给移动设备2的图形用户界面(GUI)20。移动设备2能够经由GUI20获得用于材料样品的一个或多个数字图像。在所示实施方案中，移动设备2是结合有数字相机(未示出)的智能手机。GUI 20包括视觉辅助装置22以引导用户捕获样品图像。视觉辅助装置22可包括被成形为容纳待测试的样品(例如，呼吸器)的图像的盒。应当理解，任何合适的相机均可用于在期望的照明条件下捕获材料样品的图像。在一些实施方案中，样品图像可由独立相机捕获并导入移动设备2中。GUI 20可访问样品图像并将图像发送至计算部件以进行处理。图8中示出示例性计算部件926。经训练的变换函数与计算部件相关联。经训练的变换函数被配置为评估测试样品图像以识别测试样品对于一批材料样品(其中图像被提供给变换函数作为训练图像)是否是新颖的，并且将决定返回到GUI 20以显示给用户。
移动设备2可无线地连接到云计算环境4。在一些实施方案中，计算部件可以是位于云计算环境4中并且功能上连接到移动设备的远程计算部件，其被配置为从GUI 20接收图像并处理图像。在一些实施方案中，计算部件可位于移动设备2中。在一些实施方案中，计算部件可包括分布在云计算环境4和移动设备2中的多个功能连接的处理器。可以分布式计算的方式处理样品图像。图像处理的结果可本地存储在数据库中或存储在云计算环境4中。各种材料样品的位置和/或时间戳也可存储在数据库中。在一些实施方案中，GUI 20可访问存储各种伪造品和/或真实产品的位置信息和时间戳的数据库，并且根据用户的请求查询数据库。
示例性实施方案列表
以下列出示例性实施方案。应当理解，可以组合实施方案1至20以及实施方案21至26中的任一项。
实施方案1是一种异常产品识别的由计算机实现的方法，所述方法包括：
将测试样品的测试图像作为输入提供给与处理器相关联的经训练的变换函数，所述经训练的变换函数通过用一批材料样品的训练图像训练变换函数来获得；
经由所述处理器用所述经训练的变换函数处理所述测试图像以获得变换的矩阵；以及
将基于所述变换的矩阵的所述测试图像的相似性量度与阈值进行比较，以确定所述测试样品对于所述批次材料样品是否是新颖的，
其中所述相似性量度经由所述处理器在所述变换的矩阵和任选的参考矩阵之间计算，并且所述参考矩阵源自未被所述经训练的变换函数处理的所述测试图像。
实施方案2是根据实施方案1所述的方法，其中所述变换函数包括单类支持矢量机(SVM)算法。
实施方案3是根据实施方案2所述的方法，其中处理所述测试图像还包括从所述测试图像提取计算机视觉特征以获得特征矢量，并且将所述特征矢量提供给所述单类SVM算法。
实施方案4是根据实施方案2或3所述的方法，其中所述相似性量度为标量数。
实施方案5是根据实施方案1-4中任一项所述的方法，其中所述变换函数包括基于投影的重建算法。
实施方案6是根据实施方案5所述的方法，其中所述基于投影的重建算法包括主分量分析(PCA)、鲁棒性PCA、词典学习、独立分量分析(ICA)、主分量追寻(PCP)中的至少一者。
实施方案7是根据实施方案5或6所述的方法，其中处理所述测试图像还包括从所述测试图像提取计算机视觉特征以获得特征矢量，对所述特征矢量进行编码和解码以获得所述变换的矩阵，所述变换的矩阵是具有与所述特征矢量相同维度的重建矢量。
实施方案8是根据实施方案7所述的方法，其中经由所述处理器将所述相似性量度计算为所述变换矢量和所述特征矢量之间的重建误差。
实施方案9为根据实施方案1所述的方法，其中所述变换函数包括基于自动编码器的重建算法，所述基于自动编码器的重建算法包括一个或多个神经网络。
实施方案10是根据实施方案9所述的方法，其中通过使用所述批次样品的所述图像作为输入来训练所述基于自动编码器的重建算法，以获得一个或多个经训练的神经网络，每个神经网络具有一个或多个层。
实施方案11是根据实施方案9或10所述的方法，其中处理所述测试图像还包括对所述测试图像进行编码和解码，以获得所述变换的矩阵，所述变换的矩阵是具有与所述测试图像相同大小的重建图像。
实施方案12是根据实施方案11所述的方法，其中经由所述处理器将所述相似性量度计算为所述重建图像和所述测试图像之间的重建误差。
实施方案13是根据实施方案1所述的方法，其中所述变换函数包括一个或多个卷积网络(CNN)。
实施方案14是根据实施方案13所述的方法，其中所述一个或多个卷积神经网络(CNN)包括至少一个超分辨率CNN。
实施方案15是根据实施方案1-14中任一项所述的方法，其中所述参考矩阵源自未被所述经训练的变换函数处理的所述测试图像。
实施方案16是根据实施方案1所述的方法，其中所述批次材料样品包含基本上相同的材料配置和/或通过基本上相同的工艺制备。
实施方案17是根据实施方案1所述的方法，所述方法还包括将所述测试样品识别为真实的或伪造的。
实施方案18是根据实施方案1所述的方法，其中经由所述处理器通过用所述经训练的变换函数处理验证图像来根据所述验证图像的重建误差来计算所述阈值。
实施方案19是根据实施方案16所述的方法，其中所述验证图像包括所述训练图像中的一者或多者。
实施方案20是根据实施方案16所述的方法，其中所述验证图像和所述训练图像是不同的并且均从属于同一批次材料样品的材料样品获得。
实施方案21是一种检测异常产品的系统，所述系统包括：
图形用户界面(GUI)，所述GUI被提供至移动设备，所述移动设备能够经由所述GUI获得测试材料样品的一个或多个测试图像；
计算部件，所述计算部件功能性地连接到所述移动设备，所述计算部件被配置为从所述GUI接收所述测试图像，并处理所述图像；和
经训练的变换函数，所述经训练的变换函数与所述计算部件相关联，所述经训练的变换函数在由所述计算部件执行时，将所述图像变换成变换的矩阵，并且将所述变换的矩阵的评估结果返回到所述移动设备的所述GUI。
实施方案22是根据实施方案21所述的系统，其中所述变换的矩阵的评估包括基于所述变换的矩阵计算所述图像的相似性量度。
实施方案23是根据实施方案21或22所述的系统，其中所述变换的矩阵的评估还包括将所述测试图像的所述相似性量度与阈值进行比较以确定所述测试样品对于一批材料样品是否是新颖的，其中所述经训练的变换函数通过使用所述批次材料样品的图像训练变换函数来获得。
实施方案24是根据实施方案21-23中任一项所述的系统，所述系统还包括数据库，所述数据库功能性地连接到所述计算部件，所述样品的所述评估的结果被记录在所述数据库中。
实施方案25是根据实施方案21-24中任一项所述的系统，其中所述经训练的变换函数被进一步配置为将所述样品识别为真实的或伪造的。
实施方案26是根据实施方案21-25中任一项所述的系统，其中所述移动设备的所述GUI功能性地连接到云计算环境，所述计算部件位于所述云计算环境。
在不脱离本公开实质和范围的情况下，可对本公开的示例性实施方案进行各种修改和更改。因此，应当理解，本公开的实施方案并不限于所描述的示例性实施方案，而应受权利要求书及其任何等同物中示出的限制因素控制。
整个本说明书中提及的“一个实施方案”、“某些实施方案”、“一个或多个实施方案”或“实施方案”，无论在术语“实施方案”前是否包括术语“示例性的”都意指结合该实施方案描述的特定特征、结构、材料或特性包括在本公开的某些示例性实施方案中的至少一个实施方案中。因此，在整个本说明书的各处出现的表述诸如“在一个或多个实施方案中”、“在某些实施方案中”、“在一个实施方案中”或“在实施方案中”不一定是指本公开的某些示例性实施方案中的同一实施方案。此外，具体特征、结构、材料或特性可在一个或多个实施方案中以任何合适的方式组合。
虽然本说明书已经详细地描述了某些示例性实施方案，但是应当理解，本领域的技术人员在理解上述内容后，可很容易地想到这些实施方案的更改、变型和等同物。因此，应当理解，本公开不应不当地受限于以上示出的例示性实施方案。这些实施方案以及其它实施方案均在以下权利要求书的范围内。

Claims (25)

1.一种异常产品识别的由计算机实现的方法，所述方法包括：
将测试样品的测试图像作为输入提供给与处理器相关联的经训练的变换函数，所述经训练的变换函数通过用一批材料样品的训练图像训练变换函数来获得；
经由所述处理器用所述经训练的变换函数处理所述测试图像以获得变换的矩阵；以及
将基于所述变换的矩阵的所述测试图像的相似性量度与阈值进行比较，以确定所述测试样品对于所述一批材料样品是否是新颖的，
其中经由所述处理器计算所述变换的矩阵与任选的参考矩阵之间的所述相似性量度。
2.根据权利要求1所述的方法，其中所述变换函数包括单类支持矢量机(SVM)算法。
3.根据权利要求2所述的方法，其中处理所述测试图像还包括从所述测试图像提取计算机视觉特征以获得特征矢量，并且将所述特征矢量提供给所述单类SVM算法。
4.根据权利要求2所述的方法，其中所述相似性量度为标量数。
5.根据权利要求1所述的方法，其中所述变换函数包括基于投影的重建算法。
6.根据权利要求5所述的方法，其中所述基于投影的重建算法包括主分量分析(PCA)。
7.根据权利要求5所述的方法，其中处理所述测试图像还包括从所述测试图像提取计算机视觉特征以获得特征矢量，对所述特征矢量进行编码和解码以获得所述变换的矩阵，所述变换的矩阵是具有与所述特征矢量相同维度的重建矢量。
8.根据权利要求7所述的方法，其中经由所述处理器将所述相似性量度计算为所述变换的矢量和所述特征矢量之间的重建误差。
9.根据权利要求1所述的方法，其中所述变换函数包括基于自动编码器的重建算法，所述基于自动编码器的重建算法包括一个或多个神经网络。
10.根据权利要求9所述的方法，其中通过使用一批样品的所述图像作为输入来训练所述基于自动编码器的重建算法，以获得一个或多个经训练的神经网络，每个神经网络具有一个或多个层。
11.根据权利要求9所述的方法，其中处理所述测试图像还包括对所述测试图像进行编码和解码，以获得所述变换的矩阵，所述变换的矩阵是具有与所述测试图像相同大小的重建图像。
12.根据权利要求11所述的方法，其中经由所述处理器将所述相似性量度计算为所述重建图像与所述测试图像之间的重建误差。
13.根据权利要求9所述的方法，其中所述变换函数包括一个或多个卷积神经网络(CNN)。
14.根据权利要求13所述的方法，其中所述一个或多个卷积神经网络(CNN)包括至少一个超分辨率CNN。
15.根据权利要求1所述的方法，其中所述一批材料样品包含实质上相同的材料配置和/或由实质上相同的工艺制备。
16.根据权利要求1所述的方法，所述方法还包括将所述测试样品识别为真实的或伪造的。
17.根据权利要求1所述的方法，其中经由所述处理器通过用所述经训练的变换函数处理验证图像来根据所述验证图像的重建误差计算所述阈值。
18.根据权利要求17所述的方法，其中所述验证图像包括所述训练图像中的一个或多个。
19.根据权利要求17所述的方法，其中所述验证图像和所述训练图像是不同的并且均从属于同一批材料样品的材料样品获得。
20.一种检测异常产品的系统，所述系统包括：
图形用户界面(GUI)，所述GUI被提供至移动设备，所述移动设备能够经由所述GUI获得测试材料样品的一个或多个测试图像；
计算部件，所述计算部件功能性地连接到所述移动设备，所述计算部件被配置为从所述GUI接收所述测试图像，并处理所述图像；和
经训练的变换函数，所述经训练的变换函数与所述计算部件相关联，所述经训练的变换函数在由所述计算部件执行时，将所述图像变换成变换的矩阵，并且将所述变换的矩阵的评估的结果返回到所述移动设备的所述GUI。
21.根据权利要求20所述的系统，其中所述变换的矩阵的评估包括基于所述变换的矩阵计算所述图像的相似性量度。
22.根据权利要求21所述的系统，其中所述变换的矩阵的所述评估还包括将所述测试图像的所述相似性量度与阈值进行比较以确定所述测试样品对于一批材料样品是否是新颖的，其中所述经训练的变换函数通过使用所述一批材料样品的图像训练变换函数来获得。
23.根据权利要求20所述的系统，所述系统还包括数据库，所述数据库功能性地连接到所述计算部件，所述样品的所述评估的结果被记录在所述数据库中。
24.根据权利要求20所述的系统，其中所述经训练的变换函数还被配置为将所述样品识别为真实的或伪造的。
25.根据权利要求20所述的系统，其中所述移动设备的所述GUI功能性地连接到云计算环境，所述计算部件位于所述云计算环境。
CN201980042884.8A 2018-06-28 2019-06-26 材料样品的基于图像的新颖性检测 Pending CN112313718A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862691330P 2018-06-28 2018-06-28
US62/691,330 2018-06-28
PCT/IB2019/055385 WO2020003150A2 (en) 2018-06-28 2019-06-26 Image based novelty detection of material samples

Publications (1)

Publication Number Publication Date
CN112313718A true CN112313718A (zh) 2021-02-02

Family

ID=68985902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980042884.8A Pending CN112313718A (zh) 2018-06-28 2019-06-26 材料样品的基于图像的新颖性检测

Country Status (3)

Country Link
US (1) US11816946B2 (zh)
CN (1) CN112313718A (zh)
WO (1) WO2020003150A2 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019167007A1 (en) * 2018-03-01 2019-09-06 Infotoo International Limited Methods and apparatus for determining authenticity of an information bearing device
US11403369B2 (en) 2020-01-21 2022-08-02 Disney Enterprises, Inc. Secure content processing pipeline
US11425120B2 (en) 2020-02-11 2022-08-23 Disney Enterprises, Inc. Systems for authenticating digital contents
CN112580666A (zh) * 2020-12-18 2021-03-30 北京百度网讯科技有限公司 图像特征的提取方法、训练方法、装置、电子设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1426016A (zh) * 2001-12-13 2003-06-25 欧姆龙株式会社 证件真伪识别装置及真伪识别方法
US20100111445A1 (en) * 2008-11-05 2010-05-06 Chih-Yi Yang Portable image-extracting device for identifying tiny images and method of the same
CN102037676A (zh) * 2008-03-20 2011-04-27 日内瓦大学 基于不可克隆特征的安全物品识别以及认证系统和方法
KR20120084944A (ko) * 2011-01-21 2012-07-31 노틸러스효성 주식회사 베이시안 접근법을 이용한 권종 인식 방법
KR20130035849A (ko) * 2011-09-30 2013-04-09 아이포콤 주식회사 단일 영상을 사용한 위조 얼굴 검출 방법
US20170032285A1 (en) * 2014-04-09 2017-02-02 Entrupy Inc. Authenticating physical objects using machine learning from microscopic variations
WO2017123555A1 (en) * 2016-01-11 2017-07-20 Kla-Tencor Corporation Generating simulated output for a specimen
CN106997590A (zh) * 2017-04-12 2017-08-01 浙江硕和机器人科技有限公司 一种基于检测产品特性的图像处理与检测系统
CN107110781A (zh) * 2014-12-18 2017-08-29 3M创新有限公司 用于自动防伪的材料批量认证

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9105358D0 (en) 1991-03-13 1991-04-24 Secr Defence Anomaly detector
US6233350B1 (en) 1999-03-04 2001-05-15 Materials Technologies Corporation Apparatus for viewing and inspecting a surface area of an object
US20040197535A1 (en) 2003-01-07 2004-10-07 Frederick Bleckmann Method and label for authenticating goods
US7362437B2 (en) 2006-03-28 2008-04-22 The Boeing Company Vision inspection system device and method
US7495214B2 (en) 2007-03-21 2009-02-24 Xerox Corporation Systems and methods for material authentication
US7706700B2 (en) 2007-03-21 2010-04-27 Xerox Corporation System and method for authenticating an electrostatographic material in an image forming apparatus
US7715733B2 (en) 2007-03-21 2010-05-11 Xerox Corporation System and method for authenticating a fuser lubricant in an image forming apparatus
CN201697894U (zh) 2010-05-25 2011-01-05 上海龙阳精密复合铜管有限公司 变形加工产品在线探伤检测设备
WO2012099435A2 (ko) * 2011-01-21 2012-07-26 노틸러스효성 주식회사 베이시안 접근법을 이용한 지폐 감별 방법
US10482471B2 (en) 2013-01-16 2019-11-19 Amazon Technologies, Inc. Unauthorized product detection techniques
US10062008B2 (en) * 2013-06-13 2018-08-28 Sicpa Holding Sa Image based object classification
US10579923B2 (en) * 2015-09-15 2020-03-03 International Business Machines Corporation Learning of classification model
CN110770711B (zh) * 2017-03-31 2023-12-22 3M创新有限公司 基于图像的伪造品检测
WO2019106474A1 (en) 2017-11-30 2019-06-06 3M Innovative Properties Company Image based counterfeit detection

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1426016A (zh) * 2001-12-13 2003-06-25 欧姆龙株式会社 证件真伪识别装置及真伪识别方法
CN102037676A (zh) * 2008-03-20 2011-04-27 日内瓦大学 基于不可克隆特征的安全物品识别以及认证系统和方法
US20100111445A1 (en) * 2008-11-05 2010-05-06 Chih-Yi Yang Portable image-extracting device for identifying tiny images and method of the same
KR20120084944A (ko) * 2011-01-21 2012-07-31 노틸러스효성 주식회사 베이시안 접근법을 이용한 권종 인식 방법
KR20130035849A (ko) * 2011-09-30 2013-04-09 아이포콤 주식회사 단일 영상을 사용한 위조 얼굴 검출 방법
US20170032285A1 (en) * 2014-04-09 2017-02-02 Entrupy Inc. Authenticating physical objects using machine learning from microscopic variations
CN106462549A (zh) * 2014-04-09 2017-02-22 尹度普有限公司 使用从显微变化中进行的机器学习来鉴定实体对象
CN107110781A (zh) * 2014-12-18 2017-08-29 3M创新有限公司 用于自动防伪的材料批量认证
US20170363772A1 (en) * 2014-12-18 2017-12-21 3M Innovative Properties Company Batch authentication of materials for automated anti counterfeiting
WO2017123555A1 (en) * 2016-01-11 2017-07-20 Kla-Tencor Corporation Generating simulated output for a specimen
CN106997590A (zh) * 2017-04-12 2017-08-01 浙江硕和机器人科技有限公司 一种基于检测产品特性的图像处理与检测系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BING SHUAI等: "DAG-Recurrent Neural Networks For Scene Labeling", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
吴盛金: "注塑制品表面缺陷分析及自动识别研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
陈海永 等: "基于Gabor小波和加权马氏距离的带钢表面缺陷检测", 《电子测量与仪器学报》 *

Also Published As

Publication number Publication date
US20210327041A1 (en) 2021-10-21
US11816946B2 (en) 2023-11-14
WO2020003150A2 (en) 2020-01-02
WO2020003150A3 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
Qureshi et al. A bibliography of pixel-based blind image forgery detection techniques
AU2018292176B2 (en) Detection of manipulated images
US11816946B2 (en) Image based novelty detection of material samples
CN106408037B (zh) 图像识别方法及装置
Pflug et al. A comparative study on texture and surface descriptors for ear biometrics
CN110770711B (zh) 基于图像的伪造品检测
AU2017201281B2 (en) Identifying matching images
Gill et al. A review paper on digital image forgery detection techniques
US9489566B2 (en) Image recognition apparatus and image recognition method for identifying object
CN111406270B (zh) 基于图像的伪造品检测
Gebremeskel et al. Developing a Model for Detection of Ethiopian Fake Banknote Using Deep Learning
Abraham Digital image forgery detection approaches: A review and analysis
Gupta et al. Energy deviation measure: a technique for digital image forensics
Lebedev et al. Face detection algorithm based on a cascade of ensembles of decision trees
Harrison et al. A novel ensemble of distance measures for feature evaluation: Application to sonar imagery
Tică et al. A method for automatic coin classification
Ahmed et al. Identification Forgery Image and Image Operation by FCM Algorithm
Sanas et al. Image detection and verification using local binary pattern with SVM
Srivastava et al. Gabor Filter and Centre Symmetric-Local Binary Pattern based technique for forgery detection in images
KENNETH FACE MORPHING ATTACK DETECTION IN THE PRESENCE OF POSTPROCESSED IMAGE SOURCES USING AVERAGING DIMENSIONALITY REDUCTION AND FEATURE-LEVEL FUSION
Mire et al. Automated approach for splicing detection using first digit probability distribution
Sahay et al. Improving forgery detection technique using SURF & Segmentation algorithm
Zhang et al. A steganalysis algorithm integrating resampled image multi-classification
Matre et al. Implementation of sparse representation and compression distance for finding image similarity
Ciptasari et al. EXPLOITING REFERENCE IMAGES IN EXPOSING GEOMETRICAL DISTORTIONS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210202