CN117413292A - 基于对象的机器学习分析的基于图像的异常检测 - Google Patents

Abstract

本文公开了一种对象分析系统。对象分析系统可以接收描绘对象的输入图像。对象分析系统可以使用特征提取模型并根据输入图像来确定与对象的一个或多个特征相关联的第一特征输出。可以基于描绘作为对象的一种类型的参考对象的参考图像来训练特征提取模型。对象分析系统可以使用分类模型来确定对象的异常状态指示对象包括异常。可以基于参考图像来训练分类模型。

Description

基于对象的机器学习分析的基于图像的异常检测

背景技术

质量控制是涉及分析和/或审查产品以确保产品符合某些质量标准和/或准则的过程。对于物理产品，可能需要对产品进行目视检查，以标识会防止产品满足某些质量标准和/或准则的产品上的或与产品相关联的异常。这种异常的形式可能取决于产品的类型和/或在具有各种特性方面是独特的。因此，需要一种能够检测某个产品上的或与某个产品相关联的独特异常的系统。

发明内容

在一些实施方式中，一种与检测与对象相关联的异常相关联的方法包括：接收描绘对象的输入图像；使用特征提取模型来处理输入图像，以在第一特征输出中指示对象的一个或多个特征，其中，基于与对象的类型相关联的参考图像来训练特征提取模型，其中，参考图像描绘与对象的类型相同类型的一个或多个非异常对象；基于一个或多个特征，使用分类模型来确定对象的异常状态指示对象包括异常，其中，分类模型被配置为基于与第一特征输出相关联的分类得分和分类模型的分类阈值来确定异常状态，其中，基于涉及参考图像的相似性分析来确定分类阈值；基于特征提取模型的第二特征输出来确定与异常状态相关联的异常的位置，其中，使用基于参考图像训练的异常定位模型来确定异常的位置；基于异常状态和位置来生成与异常相关联的异常数据；以及向对象管理系统提供异常数据。

在一些实施方式中，一种设备包括一个或多个存储器和一个或多个处理器，所述一个或多个处理器耦合至一个或多个存储器，所述一个或多个处理器被配置为：接收描绘对象的输入图像；使用特征提取模型来处理输入图像，以生成与对象的一个或多个特征相关联的第一特征输出，其中，基于与对象的类型相关联的参考图像来训练特征提取模型；使用分类模型基于第一特征输出来确定对象的异常状态，其中，分类模型被训练以基于涉及参考图像中描绘的非异常对象的相似性分析来确定异常状态；基于异常状态指示输入图像描绘具有异常的对象，基于特征提取模型的第二特征输出来确定异常在输入图像中的位置，其中，异常的位置是使用基于参考图像训练的异常定位模型来确定的；基于异常状态和位置来生成与异常相关联的异常数据；以及执行与异常数据相关联的动作。

在一些实施方式中，一种存储指令集的有形机器可读介质包括一个或多个指令，所述一个或多个指令在由设备的一个或多个处理器执行时，使所述设备：接收描绘对象的输入图像；使用卷积神经网络编码器并且根据输入图像来确定与对象的一个或多个特征相关联的第一特征输出，其中，基于描绘作为对象的类型的参考对象的参考图像来训练卷积神经网络编码器；使用支持向量机来确定对象的异常状态指示对象包括异常，其中，基于参考图像来训练支持向量机；使用卷积神经网络解码器基于卷积神经网络编码器的第二特征输出来确定异常的位置，其中，卷积神经网络解码器被配置为基于卷积神经网络编码器的第二特征输出来确定异常的位置，并且其中，基于参考图像来训练卷积神经网络解码器；以及执行与异常的位置相关联的动作。

附图说明

附图(其中相同的附图标记在全部单独的视图中指示相同的或功能类似的要素)连同下面的详细描述被包括于此并形成说明书的一部分，并用来进一步图示本文公开的概念的实施方式，以及解释那些实施方式的各种原理和优势。

图1是与训练本文描述的对象分析系统的机器学习模型相关联的示例实施方式的图示。

图2是与涉及本文描述的对象分析系统的基于图像的异常检测相关联的示例实施方式的图示。

图3是本文描述的与分类模型相关联的示例实施方式的图示。

图4是本文描述的与异常定位模型相关联的示例实施方式的图示。

图5是图示出与基于图像的异常检测相结合的训练和使用机器学习模型的示例实施方式的图示。

图6是可以在其中实现本文描述的系统和/或方法的示例环境的图示。

图7是图6的一个或多个设备的示例部件的图示。

图8是与基于对象的机器学习分析的基于图像的异常检测相关的示例过程的流程图。

本领域技术人员将理解，附图中的要素出于简化和清楚而示出，并且不一定按尺度绘制。例如，附图中的要素中的一些要素的尺寸可相对于其它要素被夸大以帮助提升对本文描述的实施方式的理解。

已在附图中通过常规符号在适当位置对装置和方法要素进行了表示，所述表示仅示出与理解本文描述的实施方式有关的那些特定细节，以免因得益于本文的描述对本领域技术人员显而易见的细节而混淆本公开。

具体实施方式

以下对示例实施方式的详细描述参考附图。不同附图中的相同附图标记可以标识相同或相似的元件。

可以使用基于图像的分析来执行异常检测。例如，图像处理模型(例如，计算机视觉模型)可以被训练以标识对象(诸如产品、装备、结构或其他类型的物理对象)上的异常。可以使用描绘具有异常的对象(其可以被称为“异常对象”)的图像来训练图像处理模型，该异常诸如划痕、裂纹、刺穿、变色、缺失元素、额外元素或其他类型的异常。然而，由于各种类型的异常、各个类型的异常的各种特性(例如，大小、形状、位置)和/或异常的特性随时间改变的能力(例如，由于环境中未知或意外的变化)，这样的图像处理模型可能相对不准确，从而导致异常检测的假否定或假肯定。例如，因为图像处理模型尚未被训练以标识特定类型的异常和/或异常的特定特性，所以图像处理模型可能无法准确地检测对象上的该类型的异常。因此，需要一种能够稳健且准确地检测对象上的或与对象相关联的独特异常和/或未知异常的对象分析系统。

本文描述的一些实施方式提供了用于对对象上的异常进行检测、分类和/或定位的对象分析系统。对象分析系统可以包括和/或利用基于参考图像训练的模型布置，该参考图像描绘不包括或不具有任何异常的一个或多个参考对象。例如，对象分析系统可以包括被配置为分析对象以确定对象是否包括异常的特征提取模型、分类模型和异常定位模型。模型可被训练以根据对描绘一个或多个非异常对象的参考图像的分析来标识、分析和/或检测参考对象的特征。以这种方式，对象分析系统可以基于参考对象与输入图像(例如，描绘正由对象分析系统分析的对象的图像)中描绘的对象的比较来检测、分类和/或定位异常。以这种方式，在不使用描绘特定异常或异常的特定配置的训练图像进行训练的情况下，如本文所描述的对象分析系统可以稳健且准确地对对象上的异常进行检测、分类和/或定位。此外，可以使用比其他系统更少的训练数据来训练对象分析系统的模型，从而在维持和/或相对于其他系统改进基于图像的异常检测的稳健性和准确性的同时节省运算资源(例如，处理资源、存储器资源和/或存储资源)。

图1是与训练对象分析系统的机器学习模型相关联的示例实施方式100的图示。如图1所示，示例实施方式100包括参考数据结构和操作管理系统，操作管理系统包括特征提取模型和分类模型。在示例实施方式100中，对象分析系统可以训练特征提取模型和分类模型以基于描绘一个或多个对象的参考图像来检测对象上的异常。虽然可以结合训练特征提取模型和/或分类模型来对特定类型的对象上的或与特定类型的对象相关联的异常进行检测和/或分类来描述示例实施方式100，但是结合图1描述的示例可以类似地结合训练特征提取模型和/或分类以对多种类型的对象上的或与多种类型的对象相关联的异常进行检测和/或分类来应用。

如图1所示，并由附图标记110所示，对象分析系统可以接收与对象类型相关联的参考图像数据。例如，对象分析系统可以在与训练特征提取模型和/或分类模型相关联的训练时间段期间从参考图像数据结构获得参考图像数据。参考图像数据结构可以包括存储设备和/或存储器设备，其接收和/或存储来自一个或多个图像源(例如，一个或多个图像捕获设备、一个或多个图像数据库、和/或一个或多个网络或系统)。参考图像数据可以包括描绘对象类型(例如，要由对象分析系统分析以用于异常检测的对象类型)的参考图像。在一些实施方式中，参考图像可以描绘多种类型的对象(例如，根据本文描述的示例，以允许特征提取模型和/或分类模型检测多种类型的对象上的异常)。

如本文所述，参考图像可以描绘非异常对象，从而允许特征提取模型标识图像中描绘的对象的特征和/或基于所标识的特征将对象分类为异常或非异常。非异常对象可以是不包括异常的对象。例如，如本文所使用的，非异常对象可以被认为是正常对象、标准对象、或相对于标准(例如，工业标准)或公差(例如，设计公差和/或制造公差)的可接受对象。

如图1进一步所示，并由附图标记120所示，对象分析系统提取非异常对象的特征。非异常对象可以被描绘在参考图像中，该参考图像描绘了参考对象，这些参考对象是相同类型的对象。例如，经由特征提取模型，对象分析系统可以分析参考图像数据(和/或参考图像数据的参考图像)以标识一种类型的对象的特征。更具体地，对象分析系统可以分析参考图像数据以标识图像数据中描绘的参考对象的特征。这样的特征可以是参考图像中通常描绘的特征集。

在一些实施方式中，特征提取模型可以包括图像处理模型和/或与图像处理模型相关联，该图像处理模型被训练以预处理参考图像以标识和/或提取与参考图像相关联和/或描绘参考图像的参考图像的像素。例如，图像处理模型可以包括对象检测模型、分割模型、边缘检测模型和/或被配置为确定与在参考图像内的对象的描绘相关联的边界框的其他类型的模型，和/或与对象检测模型、分割模型、边缘检测模型和/或被配置为确定与在参考图像内的对象的描绘相关联的边界框的其他类型的模型相关联。因此，图像处理技术可以移除参考图像中的任何背景和/或噪声，从而提高标识参考对象的特征的准确性和效率。以这种方式，可以仅使用包括或指示参考对象的特征的参考图像的部分来训练特征提取模型(例如，以促进和/或改进特征提取模型的无监督学习和/或无监督训练)。

特征提取模型可以包括机器学习模型和/或与机器学习模型相关联，该机器学习模型被训练(例如，通过对象分析系统和/或另一系统)和/或如本文其他地方所描述的那样使用。例如，对象分析系统可以训练特征提取模型以基于与对象的类型相关联的参考图像数据的参考图像来分析对象的类型。在一些实施方式中，可以训练特征提取模型来标识特征集，从而向分类模型提供特征集(例如，作为从特征提取模型的输出层输出的第一特征)。以这种方式，特征集可用于训练分类模型以确定输入图像描绘的是异常对象还是非异常对象，如本文其他地方所描述的。

如图1进一步所示，并由附图标记130所示，对象分析系统基于参考图像来训练分类模型。例如，对象分析系统可以基于由特征提取模型标识和/或提取的特征集来训练分类模型。对象分析系统可以训练分类模型以确定图像中描绘的对象的异常状态。例如，异常状态可以(例如，根据二元分类技术)指示对象是异常的还是非异常的。附加地或替代地，异常状态可以指示对象是否包括异常、特定类型的异常。

分类模型可以包括支持向量机和/或与支持向量机相关联。例如，对象分析系统(和/或另一系统)可以训练支持向量机以确定和/或预测与参考图像数据的参考图像中描绘的非异常对象的相似性。更具体地，分类模型可以经由支持向量机基于特征集来确定分类得分。此外，可以训练分类模型以将分类得分与阈值进行比较，以确定输入图像中描绘的对象是异常对象还是非异常对象。在一些实施方式中，阈值可以是固定阈值，诸如与从参考图像数据学习到的特征集无关地设置的固定值(例如，在固定范围内)。附加地或替代地，阈值可以是特定于由特征提取模型标识的一个或多个参考对象的特征集的定制阈值。这样的定制阈值可以进一步细化为一个或多个分类阈值，以考虑在参考图像中所描绘的非异常对象的特征的相对较小的变化或偏差(例如，根据标准或公差不会被视为异常的变化或偏差)。

如图1进一步所示，并由附图标记140所示，对象分析系统基于测试数据来标识分类阈值。例如，如图1所示，可以根据参考图像数据来配置和/或布置测试数据和训练数据的集合。更具体地，训练数据和测试数据的第一集合可以包括来自N个图像的集合的作为测试数据的第一图像(图像_1)，其经由相似性分析与所使用的其余图像(图像_2到图像_N)进行比较，以在第一迭代中训练分类模型。根据相似性分析，分类模型(例如，经由支持向量机)可以确定训练数据和测试数据的第一集合的第一分类得分(示出为s_1的支持向量机(SVM)得分)。类似地，训练数据和测试数据的第二集合可以包括来自N个图像的集合的作为测试数据的第二图像(图像_2)，其经由相似性分析与剩余图像(图像_1和图像_3到图像_N)进行比较，这些剩余图像用于在第二迭代中训练分类模型。根据相似性分析，分类模型(例如，经由支持向量机)可以确定训练数据和测试数据的第一集合的第二分类得分(示出为s_2的SVM得分)，等等。以这种方式，可以从N个测试数据和训练数据的集合得到N个分类得分，以确定分类阈值。例如，分类阈值可以基于根据由特征提取模型标识的特征集移动从训练分类模型标识或学习的阈值来确定。以这种方式，基于涉及参考图像中描绘的非异常对象的相似性分析，对象分析系统(和/或另一系统)可以训练(或细化)分类模型以标识分类阈值，以减少原本可能由参考对象的特征的相对较小的变化或偏差(例如，特征的形状、大小、颜色或配置的可忽略的差异)引起的错误或不准确性。

因此，如结合示例实施方式100所描述的，对象分析系统(和/或另一系统)可以训练特征提取模型和/或使用特征提取模型来训练分类模型，以基于描绘非异常物体的参考图像来确定对象的异常状态。以这种方式，特征提取模型和分类模型可以协调，以稳健且准确地检测对象上的各种异常，而无需事先被训练来标识异常的特定类型或异常的特定特性。特征提取模型和/或分类模型可以根据任何合适的技术来训练，如结合图5所描述的。

如上所述，图1作为示例提供。其他示例可与关于图1所描述的不同。图1中所示的设备的数量和布置作为示例提供。在实践中，与图1中所示的设备相比，可存在附加的设备、更少的设备、不同的设备或不同地布置的设备。此外，图1中所示的两个或更多个设备可以在单个设备中实现，或者图1中所示的单个设备可以实现为多个分布式设备。附加地或替代地，图1中所示的一组设备(例如，一个或多个设备)可以执行被描述为由图1中所示的另一组设备执行的一个或多个功能。

图2是与涉及对象分析系统的基于图像的异常检测相关联的示例实施方式200的图示。如图2所示，示例实施方式200包括对象分析系统、对象管理系统和用户设备。在示例实施方式200中，对象分析系统包括特征提取模型、分类模型和异常定位模型。

特征提取模型和/或分类模型可以以结合图1所描述的类似方法来训练。在示例实施方式200中，特征提取模型可以包括卷积神经网络编码器或与卷积神经网络编码器相关联。此外，异常定位模型可以对应于卷积神经网络的解码器。以这种方式，特征提取模型和异常定位模型可以被布置为卷积神经网络自动编码器，如本文其他地方所描述的。分类模型可以包括一个或多个支持向量机和/或与一个或多个支持向量机相关联，如本文其他地方所描述的。

在示例实施方式200中，对象管理系统可以包括图像捕获设备(例如，相机)和/或与图像捕获设备相关联，该图像捕获设备被配置为捕获和/或提供对象的图像，如本文所描述的。对象管理系统可以包括装配或制造系统、库存管理系统和/或运输系统等。对象分析系统可以与对象管理系统相关联，从而基于对象分析系统是否检测到对象上的异常(或特定类型的异常)来促进对象的处理。在一些实施方式中，对象分析系统可以被配置为指示和/或标识检测到的异常的模式，这可以指示对象管理系统的一个或多个部件或元件的问题(例如，导致对象包含异常的制造机器的故障部分)。因此，对象分析系统可以向对象管理系统和/或用户设备提供信息以允许对象管理系统和/或用户设备的用户基于对象是否被确定为异常对象来处理和/或管理对象(或对象管理系统)。

如图2所示，并由附图标记210表示，对象分析系统接收输入图像。例如，对象分析系统可以从图像捕获设备接收输入图像。根据本文描述的示例，图像捕获设备可以被配置和/或定位在对象管理系统内以促进基于图像的异常检测。在一些实施方式中，图像捕获设备可以以与一个或多个图像捕获设备相同或类似的定位被配置在对象管理系统内，该一个或多个图像捕获设备用于结合示例实施方式100中的训练特征提取模型和/或分类模型来捕获上述的参考图像。以这种方式，输入图像可以描绘由对象管理系统以与上述参考图像中描绘非异常对象类似的方式处理的对象。

如图2进一步所示，并由附图标记220所示，对象分析系统标识对象的所描绘特征。例如，如图所示，对象分析系统可以经由特征提取模型接收与输入图像相关联的图像数据，并根据图像数据的像素值(例如，在输入图像中描绘对象的像素值)标识对象特征。特征提取模型的卷积神经网络编码器可以基于描绘非异常对象的参考图像来训练，如本文其他地方所描述的。在一些实施方式中，卷积神经网络编码器具有多个层。例如，卷积神经网络编码器可以包括接收图像数据的输入层、被训练以根据图像中描绘的所标识的特征来处理图像数据的一个或多个中间层、以及向分类模型提供特征数据作为第一特征输出的输出层。以这种方式，分类模型可以接收和/或标识特征提取模型在输入图像中标识的特征集，以允许分类模型确定对象的异常状态。

在一些实施方式中，基于接收输入图像，对象分析系统可以对图像执行一种或多种预处理技术以促进基于图像的异常检测，如本文所描述的。例如，对象分析系统(例如，经由特征提取模型)可以利用图像处理模型(例如，利用对象检测技术、分割技术和/或边缘检测技术的模型)来对输入图像中描绘的对象进行定位。更具体地，预处理技术可以基于像素级分析来标识与对象相关联的、指示对象的周边的边界框。因此，可以从输入图像的未描绘对象的一部分的像素提取输入图像的描绘对象的像素(例如，以从输入图像移除背景和/或噪声)。附加地或替代地，未描绘对象的任何部分的像素可被设置为固定值(例如，零)，使得特征提取模型(或分类模型或异常定位模型)不必浪费资源来分析不描绘物体的一部分的像素。以这种方式，示例实施方式200中的图像数据可以仅包括描绘对象(或与对象相关联)的像素，使得特征提取模型仅分析输入图像的作为对象的一部分的像素。

特征提取模型可以向异常定位模型提供定位数据。在一些实施方式中，特征提取模型基于异常定位模型被触发来提供(或使得异常定位模型能够获得)定位数据，以确定异常的位置(例如，基于确定对象包括异常)。以这种方式，特征提取模型可以不向异常定位模型提供定位数据，直到要定位异常为止，如本文其他地方所描述的。

特征提取模型可以从卷积神经网络编码器的中间层提供定位数据作为第二特征输出。因此，第一特征输出和第二特征输出可以来自特征提取模型的卷积神经网络(例如，卷积神经网络编码器)的不同层。特征提取模型可以被训练以从检测到指示异常的特征的中间层和/或检测到未知特征(诸如在特征提取模型和/或分类模型的训练期间未学习的特征)的中间层输出定位数据。以这种方式，特征提取模型可以允许异常定位模型与特征提取模型标识附加特征并行地确定异常的位置。因此，如本文其他地方所述，与从输出层提供定位数据(或与特征数据相同)的情况和/或异常定位模型串联地布置在特征提取模型和分类模型之间的情况相比，异常定位模型可以相对更快地指示异常的位置。以这种方式，因为分类模型可以不必等待那么长的时间来接收与异常相关联的位置信息，如上所述，所以对象分析系统可以根据异常的位置来检测和/或分类异常，如本文其他地方所述，这比异常定位模型从特征提取模型的输出层接收定位数据的情况和/或异常定位模型串联在特征提取模型和分类模型之间的情况更快。

如图2进一步所示，并由附图标记230所示，对象分析系统基于像素误差来定位异常特征。例如，对象分析系统的异常定位模型可以从特征提取模型接收定位数据内的像素误差，并根据定位数据来定位异常特征。如上所述，异常定位模型可以从与包括特征数据的特征提取模型的第一特征输出不同的层接收定位数据作为特征提取模型的第二特征输出。

在一些实施方式中，在分类模型检测到输入图像描绘异常对象之后，异常定位模型可以被(例如，由分类模型)触发，以确定异常的位置和/或获得定位数据。在这种情况下，异常定位模型可以不接收或获得定位数据，直到分类模型检测到对象上的异常和/或(例如，根据二元分类技术)确定输入图像描绘异常对象。以这种方式，异常定位模型可以不处理来自特征提取模型的定位数据，直到分类模型检测到异常，从而节省了计算资源，否则这些计算资源将因尝试在描绘非异常图像的输入图像中定位(不存在的)异常而被浪费。

可以基于描绘非异常对象的参考图像来训练异常定位模型的卷积神经网络编码器。例如，异常定位模型可以以与特征提取模型类似的方式进行训练，如本文其他地方所描述的。像素误差可以基于涉及输入图像和来自定位数据的对象的重新构造图像的相似性分析(例如，使用每个所标识的像素误差的结构相似性指数测量(SSIM))来确定。例如，重新构造图像可以代表与非异常对象的描绘相对应的像素值。因此，基于异常定位模型确定与对应于重新构造图像的像素值(例如，不在像素值的值的指定范围内)的输入图像(和/或定位数据)的像素值相关联的置信水平，异常定位模型可以标识对象上的异常的位置(例如，如至少结合图4进一步描述)。

异常定位模型可以指示异常位置信息内的位置。例如，异常位置信息可以标识图像的坐标和/或相对于对象的位置信息(例如，使用方向标识符，诸如上部、下部、中部、左侧部分、右侧部分和/或使用表面标识符，诸如顶表面、侧表面、底表面等)。在一些实施方式中，异常定位模型可以基于像素误差的数量、根据像素误差确定的聚类中的像素的数量(例如，在由所标识的像素错误形成的区域或边界内的一组像素)、和/或包括像素错误的图像的坐标来确定异常的大小。异常定位模型可以向分类模型指示异常位置信息内的异常的大小。以这种方式，使用异常定位模型，对象分析系统可以确定异常的位置和/或向支持向量机指示异常的位置。

如图2进一步所示，并由附图标记240所示，对象分析系统基于特征来确定分类得分。例如，对象分析系统的分类模型可以接收特征数据和/或异常位置信息，并基于特征数据和/或异常位置信息来确定指示对象的异常状态的分类得分。在一些实施方式中，分类模型可以基于特征提取模型的第一特征输出(例如，来自卷积神经网络编码器的输出层的特征数据)(例如，经由支持向量机)来确定分类得分。

如上所述，分类模型可以包括支持向量机或与支持向量机相关联，该支持向量机被配置为提供指示异常状态的分类得分。在一些实施方式中，分类模型的支持向量机可以是被专门训练以分析输入图像中描绘的对象的类型的单类支持向量机，如本文其他地方所描述的。异常状态可以基于分类得分指示对象包括异常特征来指示输入图像是否描绘具有异常的对象。可以基于分类得分和分类阈值(例如，与异常特征是否指示异常相关联的阈值)的比较来确定和/或指示异常状态。在这种情况下，分类模型可以根据分类阈值(基于分类得分是否满足分类阈值)来输出二元分类。因此，异常状态可以指示对象是否包括异常特征。在一些实施方式中，如果对象包括异常特征，则异常状态可以指示与异常特征相关联的异常的某些特性(例如，类型、位置、和/或大小等)。

在一些实施方式中，异常定位模型可以向分类模型提供二元分类(例如，指示对象是异常的还是非异常的)。以这种方式，分类模型可以将来自异常定位模型的二元分类与分类模型的支持向量机分类(例如，来自支持向量机的二元分类)进行组合，以验证分类得分准确地指示对象是异常或非异常的。因此，异常定位模型可以提高关于检测(或预测)对象是否具有异常的置信度和/或准确性。在一些实施方式中，如果来自异常定位模型的二元分类没有验证或证明分类模型的支持向量机分类(或反之亦然)，则对象分析系统可以(例如向用户设备和/或对象管理系统)指示需要进一步处理。附加地或替代地，对象分析系统可以请求或获得描绘对象的另一输入图像(并且基于该另一输入图像执行分析)，和/或可以使得对象管理系统在请求或获得描绘对象的另一图像之前重新配置对象。

在图2中，分类模型可以利用多个支持向量机来对对象上标识的异常进行分类。例如，分类模型可以包括：第一支持向量机，被训练以(例如，根据第一分类阈值)确定指示对象是否包括异常的二元分类；第二支持向量机，被训练以(例如，根据第二分类阈值)确定指示所标识的异常是否是划痕的二元分类；以及第三支持向量机，被训练以(例如，根据第三分类阈值)确定指示异常是否是变色的二元分类，等等。因此，如图所示，经由第一支持向量机，分类模型可以生成指示对象包括异常和/或对象的两个所标识的特征对应于两个异常(异常1和异常2)的异常数据。此外，如图所示，经由第二支持向量机，分类模型可以生成指示第一异常(异常1)是划痕的异常数据。此外，经由第三支持向量机，分类模型可以生成指示第二异常(异常2)是变色的异常数据。

在一些实施方式中，如图所示，对象分析系统可以将异常位置信息与异常分类进行组合以生成异常数据。例如，如图所示，第一异常的异常数据可以指示划痕位于对象上，如在坐标(x1，y1)处所描绘的，并且具有3毫米的大小。此外，第二异常的异常数据可以指示变色位于对象上，如在坐标(x2，y2)处所描绘的，并且具有1毫米的大小。在一些实施方式中，如本文其他地方所描述的，异常数据可以与输入图像进行组合以指示异常的位置和/或异常的类型。例如，对象分析系统可以生成位置指示符(例如，突出显示、轮廓、箭头和/或覆盖等)，其通过将位置指示符覆盖在输入图像上和/或将位置指示符嵌入在输入图像内来指示输入图像中描绘的对象上的异常的位置。

如图2进一步所示，并由附图标记250所示，对象分析系统向用户设备提供异常数据。例如，对象分析系统可以向用户设备提供通知，该通知包括异常数据和/或向用户设备的用户警告(例如，经由提示或消息指示符)对象包括异常(例如，以允许用户在对象管理系统内对对象进行标识和/或寻址)。在一些实施方式中，对象分析系统可以基于异常数据来生成报告。例如，报告可以与对象分析系统分析的一段时间或一批对象相关联，如本文所述。在一些实施方式中，报告可以指示与检测到的异常相关联的统计数据(例如，被确定为包括异常的对象的数量、某些类型的异常的数量、与异常的某些特征相关联的模式或趋势等)。在一些实施方式中，对象分析系统可以基于检测到对象包括异常、基于检测到在特定时间段期间阈值数量的经分析对象包括异常、基于检测到特定时间段内经分析对象的阈值百分比包括异常、和/或基于检测到在特定时间段内已发展与对象上的异常的特定特性相关联的特定趋势(例如，多个对象被确定为具有相同或类似的异常，这可指示对象管理系统的一个或多个部件导致异常的问题)。

如图2所示，并由附图标记260表示，对象分析系统促进对象处理。例如，对象分析系统可以向对象管理系统提供异常数据，以使对象管理系统管理对象。更具体地，对象分析系统可以向对象管理系统提供异常数据，以使对象管理系统控制一个或多个设备以根据一项或多项操作来管理对象。例如，这样的操作可以包括：丢弃对象(例如，通过从处理中移除对象)，将对象标记为异常(例如，经由对象分析系统的标记机制)，和/或将对象路由到指定用于异常物体的区域(例如，可以进一步检查和/或修理异常物体的区域)等。在一些实施方式中，对象分析系统可以根据异常数据来控制对象管理系统，以执行与对象相关联的一项或多项操作。

以这种方式，对象分析系统可以利用稳健且准确的基于图像的异常检测模型来促进对象的管理和/或处理并且确保在从对象管理系统输出对象、在领域中使用对象、和/或将对象出售给消费者之前，经分析的对象满足某些准则或标准(例如，是非异常对象)，从而减少或防止不满足特定准则或标准的对象(例如，异常对象)造成危险或降低消费者体验的可能性。

如上所述，图2作为示例提供。其他示例可与关于图2所描述的不同。图2中所示的设备的数量和布置作为示例提供。在实践中，与图2中所示的设备相比，可存在附加的设备、更少的设备、不同的设备或不同地布置的设备。此外，图2中所示的两个或更多个设备可以在单个设备中实现，或者图2中所示的单个设备可以实现为多个分布式设备。附加地或替代地，图2中所示的一组设备(例如，一个或多个设备)可以执行被描述为由图2中所示的另一组设备执行的一个或多个功能。

图3是本文描述的与分类模型相关联的示例实施方式的图示。如图3所示，示例实施方式包括支持向量机的布置的示例，该支持向量机可以被包括在本文其他地方描述的分类模型内、由本文其他地方描述的分类模型利用和/或与本文其他地方描述的分类模型相关联地训练。该布置可以包括多个支持向量机的级联300，包括第一支持向量机和用于各种类型(t)异常的后续支持向量机(sSVM_t)。第一支持向量机和后续支持向量机可以是针对特定目的而独立训练的单独的单类支持向量机。更具体地，第一支持向量机可被训练以提供所接收的输入图像是否包括异常的二元分类。支持向量机的阈值可以变化并且可以根据非异常对象的参考图像来确定，如本文其他地方所描述的。此外，级联300中的各个后续支持向量机可以提供二元分类，其指示异常是否是各个后续支持向量机被训练以检测的对应类型的异常。

因此，如附图标记302所示，第一支持向量机可以分析输入图像，以确定输入图像是否描绘非异常对象。如果第一支持向量机确定输入图像描绘非异常对象，则第一支持向量机指示该对象是“Ok”(例如，这可以代表非异常)，如附图标记304所示。如果第一支持向量机确定输入图像描绘异常对象，则第一支持向量机可以指示已经检测到异常，如附图标记306所示。此外，如附图标记308所示，在第一迭代时，后续的支持向量机确定所检测到的异常是否对应于特定类型的异常。如果后续支持向量机确定该异常是特定类型的异常，则可以指示该特定类型，如附图标记310所示。如果后续支持向量机确定该异常不是特定类型的异常，则可以指示该后续支持向量机被训练，以标识级联确定是否检查另一异常，如附图标记312所示。如果后续支持向量机是级联中的最后一个支持向量机，则分类分析可以结束。否则，如附图标记314所示，分类模型利用另一后续支持向量机迭代分析，该后续支持向量机被训练以确定异常是否是另一种类型的异常，等等。

后续支持向量机可以以任何合适的方式布置在级联内。例如，最频繁检测到的异常类型可以定位在最接近第一支持向量机的级联内(例如，以减少需要通过级联进行多次迭代的可能性)。附加地或替代地，最简单或最不复杂的支持向量机(例如，其可以被配置为标识支持向量机中最容易检测的异常)可以定位在最接近第一支持向量机的级联内(例如，以确保首先针对最容易检测到的异常对异常进行分析，这可能需要相对较小的处理功率)。

因此，如图3所示，第一支持向量机可以被配置在级联内，以输出指示对象包括异常特征的第一二元分类。此外，第二支持向量机(例如，后续支持向量机中的一者)可以被配置为基于指示对象包括异常特征的第一二元分类来输出指示该异常是特定类型的异常或该异常不是特定类型的异常的第二二元分类。相应地，分类模型可以基于第二二元分类来生成异常数据，该异常数据包括指示该异常是特定类型的异常或者该异常不是特定类型的异常的标签。

如上所述，图3作为示例提供。其他示例可与关于图3所描述的不同。

图4是与异常定位模型400相关联的示例实施方式的图示。如图4所示，异常定位模型400包括卷积神经网络自动编码器，该卷积神经网络自动编码器包括根据本文其他地方所描述的示例来训练的编码器(例如，对应于结合上述特征提取模型描述的卷积神经网络解码器)和解码器(例如，对应于结合上述异常定位模型描述的卷积神经网络解码器)。此外，异常定位模型400包括比较器模块、分类器模块和聚类模块。

如图所示，在附图标记402处，卷积神经网络自动编码器接收输入图像。输入图像被示出为包括异常。编码器标识向解码器提供的输入图像中的特征。解码器基于该特征来生成参考对象的重新构建的图像(例如，代表卷积自动编码器被训练以标识的对象类型)，如附图标记404处所示。在附图标记406处，比较器模块对输入图像和重新构建的图像(例如，使用每像素误差的SSIM分析)进行比较。基于像素值的比较(和/或输入图像的像素的像素值对应于重新构建的图像的对应像素的像素值的置信水平)，可以检测可指示异常的像素误差，和/或像素误差的位置可以对应于异常的位置。在附图标记408处，比较器模块可以生成异常热图，其可用于指示异常的位置。附加地或替代地，在附图标记410处，聚类模块可以执行聚类技术(例如，k均值聚类)以确定要被包括或指示在异常位置信息中的异常的区域和/或周边，如附图标记412所示。以这种方式，异常定位模型可以向分类模型指示和/或提供与异常相关联和/或可用于生成与输入图像和/或输入图像中描绘的对象相关联的异常数据的位置信息。

如上所述，图4作为示例提供。其他示例可与关于图4所描述的不同。

图5是图示出与基于图像的异常检测相结合的训练和使用机器学习模型的的示例500的图示。本文描述的机器学习模型训练和使用可以使用机器学习系统来执行。机器学习系统可以包括算设备、服务器、云计算环境等(诸如本文别处更详细描述的对象分析系统)，或者可以包括在计算设备、服务器、云计算环境等中。

如附图标记505所示，可以使用观察集来训练机器学习模型。观察集可以从训练数据(例如，历史数据)获得，诸如在本文描述的一个或多个过程期间收集的数据。在一些实施方式中，机器学习系统可以从参考数据结构和/或对象管理系统(例如，从对象管理系统的图像捕获设备)接收观察集(例如，作为输入)，如本文其他地方所描述的。

如附图标记510所示，观察集包括特征集。特征集可以包括变量集，并且变量可以被称为特征。特定观察可包括与变量集相对应的变量值(或特征值)集。在一些实施方式中，机器学习系统可以基于从参考数据结构和/或对象管理系统接收的输入来确定观察集的变量和/或特定观察的变量值。例如，机器学习系统可以通过以下操作来标识特征集(例如，一个或多个特征和/或特征值)：从结构化数据(例如，与描绘非异常对象的图像相关联的图像数据)提取特征集，执行图像处理技术以从非结构化数据(例如，与描绘异常对象和非异常对象的图像相关联的图像数据)提取特征集，和/或接收来自操作员的输入。

作为示例，观察集的特征集可以包括第一轮廓数据特征(例如，可在对象的图像中标识的对象的物理元素或方面的表示)、第二像素数据特征(例如，特征的像素的红、绿、蓝(RGB)颜色值)、第三位置数据特征(例如，标识观察中的特征的位置的坐标)等等。如图所示，对于第一观察，第一特征可以具有值轮廓_1(例如，特征类型的标识符)，第二特征可以具有值RGB_1(例如，与观察中的特征相关联的一个或多个像素的值)，第三特征可以具有值(X₁，Y₁)(例如，相对于对象的参考点的一组坐标和/或相对于对象的图像的参考点的坐标，诸如参考图像或图像捕获设备捕获的图像)等等。这些特征和特征值作为示例提供，并且在其他示例中可能不同。例如，特征集可包括以下特征中的一者或多者：大小数据(例如，表示描绘观察的特征的图像区域的数据)、形状数据(例如，表示对象周长的数据)、源数据(例如，标识与观察相关联的源设备的数据)、对象类型数据(例如，标识与观察相关联的对象的类型的数据)、对象大小数据(例如，标识对象大小的数据)等等。

如附图标记515所示，观察集可与目标变量相关联。目标变量可以表示具有数值的变量，可以表示具有落在值范围内的数值或具有一些离散的可能值的变量，可以表示可从多个选项中的一个选择的变量(例如，多个类别、分类、或标签中的一者)，和/或可以表示具有布尔值的变量。目标变量可以与目标变量值相关联，并且目标变量值可以特定于观测。在示例500中，目标变量是特征类型，其对于第一观察具有值特征_1并且对于第二观察具有值特征_2。特征_1和/或特征_2可以对应于与对象类型相关联的非异常对象的特征(例如，因为可以使用描绘非异常对象的参考图像来训练机器学习模型)。相应地，特征(特征_1和特征_2)可以与机器学习模型被训练以根据观察来标识和/或配置的参考对象相关联。

目标变量可以表示机器学习模型正被训练以预测的值，并且特征集可以表示被输入到经训练的机器学习模型以预测目标变量的值的变量。观察集可以包括目标变量值，使得机器学习模型可以被训练以识别特征集中导致目标变量值的模式。被训练以预测目标变量值的机器学习模型可以被称为受监督学习模型。

在一些实施方式中，可以对不包括目标变量的观察集训练机器学习模型。这可以称为无监督学习模型。在这种情况下，机器学习模型可以在没有标记或监督的情况下从观察集学习模式，并且可以例如通过使用聚类和/或关联来识别观察集内的相关项目组来提供指示这种模式的输出。

如附图标记520所示，机器学习系统可以使用观察集和使用一个或多个机器学习算法(诸如回归算法、决策树算法、神经网络算法、k-最近邻算法、支持向量机算法等)来训练机器学习模型。在训练之后，机器学习系统可以将机器学习模型存储为经训练的机器学习模型525，以用于分析新观察。

如附图标记530所示，机器学习系统可以诸如通过接收新观察并将新观察输入到经训练的计算机学习模型525来将经训练的机器学习模型525应用于新观察。如图所示，作为示例，新观察可以包括第一特征轮廓_N、第二特征RGB_N、第三特征(X_N，Y_N)等等。机器学习系统可以将经训练的机器学习模型525应用于新观察以生成输出(例如，结果)。输出的类型可以取决于机器学习模型的类型和/或正在执行的机器学习任务的类型。例如，诸如在采用监督学习时，输出可包括目标变量的预测值。附加地或替代地，诸如在采用无监督学习时，输出可包括识别新观察所属的聚类的信息和/或指示新观察与一个或多个其他观察之间的相似度的信息。

作为示例，经训练的机器学习模型525可以预测新观察的特征类型的目标变量的异常(Anomaly)值，如附图标记535所示。例如，目标变量可以指示异常以指示观察与异常对象相关联。当新观察的特征集不能映射到在训练机器学习模型时学习的特征类型时，经训练的机器学习模型525可以预测异常值。基于该预测，机器学习系统可以提供第一推荐，可以提供用于确定第一推荐的输出，可以执行第一自动化动作，和/或可以使第一自动化动作被执行(例如，通过指示另一设备执行自动化动作)，等等。第一推荐可以包括例如用户设备的用户解决新观察的对象上的异常的推荐和/或对对象管理系统的基于包括异常(例如，将对象从非异常对象进行排序或移除)来管理对象的推荐。第一自动动作可以包括例如向用户设备提供异常数据以指示新观察的对象包括异常和/或使对象管理系统基于包括异常(例如，将对象从非异常对象进行分类或移除)来管理新观察的对象。

作为另一示例，如果机器学习系统要预测与特征类型的目标变量的经学习特征相关联的值，则机器学习系统可以提供第二(例如，不同的)推荐(例如，使用或输出对象的推荐或使得能够使用或输出对象的推荐)和/或可以执行第二(例如，不同的)自动化动作(例如，使得能够使用或输出对象)或导致第二自动化动作的执行。

在一些实施方式中，经训练的机器学习模型525可以将新观察分类(例如，聚类)在聚类中，如附图标记540所示。聚类内的观察可具有阈值相似度。作为示例，如果机器学习系统将新观察分类在第一聚类(例如，与第一类型的异常相关联的聚类)中，则机器学习系统可以提供第一推荐，诸如上述第一推荐。附加地或替代地，机器学习系统可以基于将新观察分类到第一聚类中来执行第一自动动作和/或可以(例如，通过指示另一设备执行自动动作)使第一自动动作被执行，诸如上述第一自动动作。

作为另一示例，如果机器学习系统要将新观察分类到第二聚类(例如，与第二类型的异常相关联的聚类)中，则机器学习系统可以提供第二(例如，不同的)推荐(例如，如果第二类型的异常是不可修复的类型，则推荐损坏或回收对象)和/或可以执行第二(例如，不同的)自动化动作(诸如损坏对象)或导致第二自动化动作的执行。

在一些实施方式中，与新观察相关联的推荐和/或自动动作可以基于具有特定标签的目标变量值(例如，分类或归类)，可以基于目标变量值是否满足一个或多个阈值(例如，目标变量值是大于阈值、小于阈值、等于阈值、还是落在阈值范围内等)，和/或可以基于新观察被分类到其中的聚类。

以这种方式，机器学习系统可以应用严格且自动化的过程来检测和/或分类与对象相关联的异常。机器学习系统使得能够识别和/或标识针对数十、数百、数千或数百万观察的数十、数百、数千或数百万个特征和/或特征值，从而提高准确性和一致性并减少延迟，该延迟是与对与对象相关联的异常进行检测和/或分类相关联的、相对于需要针对数十、数百或数千操作者分配计算资源以使用特征或特征值来对与对象相关联的异常进行手动检测和/或分类的延迟。

如上所述，图5作为示例提供。其他示例可与结合图5所描述的不同。

图6是可以在其中实现本文描述的系统和/或方法的示例环境600的图示。如图6所示，环境600可以包括对象分析系统610、参考图像数据结构620、对象管理系统630、用户设备640和网络650。环境600的设备可以经由有线连接、无线连接或有线和无线连接的组合进行互连。

对象分析系统610包括能够基于如本文其他地方所述的机器学习分析来接收、生成、存储、处理、提供和/或路由与基于图像的异常检测相关联的信息的一个或多个设备。对象分析系统610可以包括通信设备和/或计算设备。例如，对象分析系统610可以包括服务器，诸如应用服务器、客户端服务器、网络服务器、数据库服务器、主机服务器、代理服务器、虚拟服务器(例如，在计算硬件上执行)，或云计算系统中的服务器。在一些实施方式中，对象分析系统610包括在云计算环境中使用的计算硬件。

参考图像数据结构620包括能够生成、存储、处理和/或提供与一种或多种类型的对象相关联的参考图像数据从而训练一个或多个模型的一个或多个设备，如本文其他地方所述。例如，参考图像数据结构620可以包括从一个或多个图像源接收和/或存储参考图像的存储设备和/或存储器设备。附加地或替代地，参考图像数据结构可以包括用于接收、处理参考图像数据和/或向对象分析系统610提供参考图像数据的通信设备和/或计算设备。

对象管理系统630包括能够接收、生成、存储、处理、提供和/或路由与管理对象相关联的信息的一个或多个设备，如本文其他地方所述。例如，物体管理系统630可以包括被配置为促进一个或多个对象的组装、制造一个或多个对象、排序一个或多个对象、分配一个或多个对象、运输一个或多个对象、和/或存储一个或多个对象的一个或多个设备。对象管理系统630可以包括通信设备、计算设备、传感器、机器人设备和/或与特定行业(例如，制造、物流、运输和/或与供应链管理相关联的其他行业)相关联的控制系统的任何其他合适设备。

用户设备640包括能够接收、生成、存储、处理和/或提供与监测由对象分析系统610分析和/或由对象管理系统630管理的对象相关联的信息的一个或多个设备，如本文其他地方所述。用户设备640可以包括通信设备和/或计算设备。例如，用户设备640可以包括无线通信设备、移动电话、用户装备、笔记本电脑、平板电脑、桌面型电脑、游戏控制台、机顶盒、可穿戴通信设备(例如，智能手表、一副智能眼镜、头戴式显示器或虚拟现实头戴式耳机)或类似类型的设备。

网络650包括一个或多个有线和/或无线网络。例如，网络650可以包括无线广域网(例如，蜂窝网络或公共陆地移动网络)、局域网(例如，有线局域网或无线局域网(WLAN)，诸如Wi-Fi网络)、个域网(例如，蓝牙网络)、近场通信网络、电话网络、专用网络、互联网和/或这些或其他类型网络的组合。网络650使得环境600的设备之间能够进行通信。

图6中所示的设备和网络的数量和布置作为示例提供。在实践中，与图6中所示的设备和/或网络相比，可存在额外的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络，或者不同地布置的设备和/或网络。此外，图6中所示的两个或更多个设备可以在单个设备中实现，或者图6中所示的单个设备可以实现为多个分布式设备。附加地或替代地，环境600的一组设备(例如，一个或多个设备)可以执行一个或多个功能，该一个或多个功能被描述为由环境600的另一组设备执行。

图7是可以对应于对象分析系统610、参考图像数据结构620、对象管理系统630和/或用户设备640的设备700的示例部件的图示。在一些实施方式方式中，对象分析系统610、参考图像数据结构620、对象管理系统630和/或用户设备640可以包括一个或多个设备700和/或设备700的一个或多个部件。如图7中所示，设备700可以包括总线710、处理器720、存储器730、存储部件740、输入部件750、输出部件760和通信部件770。

总线710包括启用设备700的部件之间的有线和/或无线通信的部件。处理器720包括中央处理单元、图形处理单元、微处理器、控制器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和/或另一类型的处理部件。处理器720在硬件、固件或硬件和软件的组合中实现。在一些实施方式中，处理器720包括能够被编程以执行功能的一个或多个处理器。存储器730包括随机存取存储器、只读存储器、和/或另一类型的存储器(例如，闪存、磁存储器和/或光存储器)。

存储部件740存储与设备700的操作相关的信息和/或软件。例如，存储部件740可以包括硬盘驱动器、磁盘驱动器、光盘驱动器、固态盘驱动器、光盘、数字通用盘和/或另一类型的非暂态计算机可读介质。输入部件750使得设备700能够接收输入，诸如用户输入和/或感测到的输入。例如，输入部件750可以包括触摸屏、键盘、小键盘、鼠标、按钮、麦克风、开关、传感器、全球定位系统部件、加速度计、陀螺仪和/或致动器。输出部件760使得设备700能够诸如经由显示器、扬声器和/或一个或多个发光二极管来提供输出。通信部件770使得设备700能够诸如经由有线连接和/或无线连接与其他设备通信。例如，通信部件770可以包括接收机、发射机、收发机、调制解调器、网络接口卡和/或天线。

设备700可执行本文所述的一个或多个过程。例如，非暂态计算机可读介质(例如，存储器730和/或存储部件740)可以存储指令集(例如，一个或多个指令、代码、软件代码和/或程序代码)以由处理器720执行。处理器720可以执行指令集以执行本文所述的一个或多个过程。在一些实施方式中，由一个或多个处理器720执行指令集使得一个或多个处理器720和/或设备700执行本文所述的一个或多个过程。在一些实施方式中，可以使用硬连线电路来代替指令或与指令组合来执行本文所述的一个或多个过程。因此，本文所描述的实施方式不限于硬件电路系统和软件的任何特定组合。

图7中所示的部件的数量和布置作为示例提供。与图7中所示的布置相比，设备700可以包括附加的部件、更少的部件、不同的部件或不同地布置的部件。附加地或替代地，设备700的一组部件(例如，一个或多个部件)可以执行一个或多个功能，该一个或多个功能被描述为由设备700的另一组部件执行。

图8是与基于对象的机器学习分析的基于图像的异常检测相关联的示例过程800的流程图。在一些实施方式中，图8的一个或多个处理块可以由对象分析系统(例如，对象分析系统610)执行。在一些实施方式中，图8的一个或多个处理块可以由与对象分析系统分离或包括对象分析系统的另一设备或一组设备来执行，诸如对象管理系统(例如，对象管理系统630)，和/或用户设备(例如，用户设备640)。附加地或替代地，图8的一个或多个处理块可以由设备700的一个或多个部件(诸如处理器720、存储器730、存储部件740、输入部件750、输出部件760和/或通信部件770)执行。

如图8所示，过程800可包括接收描绘对象的输入图像(框810)。例如，对象分析系统可以接收描绘对象的输入图像，如上所述。

如图8进一步所示，过程800可包括使用卷积神经网络编码器并根据输入图像来确定与对象的一个或多个特征相关联的第一特征输出(框820)。例如，对象分析系统可以使用卷积神经网络编码器并根据输入图像来确定与对象的一个或多个特征相关联的第一特征输出，如上所述。卷积神经网络编码器可以与对象分析系统的特征提取模型相关联和/或包括在对象分析系统的特征提取模型内。

在一些实施方式中，基于描绘作为一种类型的对象的参考对象的参考图像来训练卷积神经网络编码器。参考图像中描绘的参考对象可以是非异常对象，如本文所述。

如图8进一步所示，过程800可以包括使用支持向量机来确定对象的异常状态指示对象包括异常(框830)。例如，对象分析系统可以使用支持向量机来确定对象的异常状态指示对象包括异常，如上所述。在一些实施方式中，支持向量机是基于参考图像来训练的。

支持向量机可被训练以确定指示对象包括异常特征或指示对象不包括异常特征的二元分类。支持向量机可以被训练以确定分类阈值，该分类阈值用于基于涉及参考图像的相似性分析来确定二元分类。

如图8进一步所示，过程800可以包括使用卷积神经网络解码器基于卷积神经网络编码器的第二特征输出来确定异常在输入图像中的位置(框840)。例如，对象分析系统可以使用卷积神经网络解码器基于卷积神经网络编码器的第二特征输出来确定异常在输入图像中的位置，如上所述。卷积神经网络解码器可以与对象分析系统的异常定位模型相关联和/或包括在对象分析系统的异常定位模型内。

在一些实施方式中，卷积神经网络解码器被配置为基于卷积神经网络编码器的第二特征输出来确定异常的位置。在一些实施方式中，卷积神经网络解码器是基于参考图像来训练的。第一特征输出可以来自卷积神经网络编码器的输出层，并且第二特征输出可以来自卷积神经网络编码器的中间层。卷积神经网络编码器和卷积神经网络解码器可以与基于参考图像训练的同一卷积神经网络自动编码器相关联。

在一些实施方式中，对象分析系统可以生成与异常数据相关联的异常数据。例如，异常数据可以标识对象的异常状态(例如，对象包括或不包括异常)和/或异常的位置(如果检测到异常)。附加地或替代地，使用异常分类模型，可以生成异常数据以指示该异常是特定类型的异常。

如图8中进一步所示，过程800可包括执行与异常的位置相关联的动作(框850)。例如，对象分析系统可以执行与异常的位置相关联的动作，如上所述。在一些实施方式中，为了执行动作，对象分析系统可以生成标识异常位置的位置指示符、将位置指示符与输入图像进行组合以形成异常指示符、以及向用户设备提供异常指示符。附加地或替代地，对象分析系统可以(例如，向用户设备)提供标识异常位置的异常数据。异常数据可以包括标识异常位置的位置指示符和/或位置指示符与输入图像的组合。

尽管图8示出了过程800的示例框，但在一些实施方式中，与图8中所描绘的框相比，过程800可包括附加的框、更少的框、不同的框或不同地布置的框。附加地或替代地，过程800的框中的两个或更多个框可以并行执行。

在上述公开中，已经描述了具体实施例。然而，本领域普通技术人员将理解，可以做出各种修改和改变而不脱离如以下权利要求书所阐述的本发明的范围。因此，说明书和附图被认为是说明性的而非限制性的意义，并且所有此类修改都旨在被包括在本公开的范围内。附加地，所描述的实施例/示例/实现方式不应该被解释为相互排斥的，而应被理解为潜在地可组合的，如果此类组合以任何方式是允许的。换句话说，前述示例或实现方式中的任一者中所公开的任何特征可以被包括在其他前述示例或实现方式中的任一者中。

如本文所使用的，术语“部件”旨在广义地解释为硬件、固件和/或硬件和软件的组合。如本文所使用的，术语“有形机器可读介质”、“非暂态机器可读介质”和“机器可读存储设备”中的每一者都被明确定义为存储介质(例如，硬盘驱动器的盘片、数字通用盘、光盘、闪存、只读存储器、随机存取存储器等)，可以在该存储介质上存储机器可读指令(例如，软件和/或固件形式的代码)。指令可以被存储达任何合适的持续时间，诸如永久地、达延长时间段(例如，当与指令相关联的程序正在执行时)或达短时间段(如，当指令被高速缓存时、在缓冲过程期间等)。进一步，如本文所使用的，术语“有形机器可读介质”、“非瞬态机器可读介质”和“机器可读存储设备”中的每一者被明确地定义为排除传播信号。也就是说，如本文的任何权利要求中所使用的，“有形机器可读介质”、“非暂态机器可读介质”和“机器可读存储设备”等不应被解释为被实现为传播信号。

如本文所使用的，取决于上下文，满足阈值可以指大于阈值、大于或等于阈值、小于阈值、小于或等于阈值，等于阈值、不等于阈值等的值。

这些益处、优势、问题解决方案以及可能使任何益处、优势或解决方案发生或变得更为突出的任何(多个)要素不被解释成任何或所有权利要求的关键的、必需的或必要的特征或要素。要求保护的本发明仅由所附权利要求书限定，包括在本申请处于待审状态期间做出的任何修改以及授权公告的那些权利要求的所有等效物。

此外，如本文所使用的，诸如第一和第二、顶部和底部等之类的关系术语可以单独地用来将一个实体或动作与另一个实体或动作区别开，而不一定要求或暗示这些实体或动作之间具有任何实际的这种关系或顺序。术语“包括(comprises)”、“包括(comprises)”、“具有(has)”、“具有(having)”、“包括(includes)”、“包括(including)”、“包含(contains)”、“包含(containing)”或其任何其他变型旨在涵盖非排他性包含，使得包括(comprises)、具有(has)、包括(includes)、包含(contains)元素列表的过程、方法、物品或装置不仅包括那些元素，还可以包括未明确列出或这种过程、方法、物品或装置固有的其他元素。以“包括(comprises)一”、“具有(has)一”、“包括(includes)一”、“包含(contains)一”开头的要素，在没有更多约束条件的情形下，不排除在包括、具有、包括、包含该要素的过程、方法、物品或装置中有另外的相同要素存在。

术语“一(a)”和“一个(an)”被定义为一个或多个，除非本文中另有明确声明。此外，如本文所使用的，冠词“该”旨在包括结合冠词“该”引用的一项或多项，并且可以与“该一个或多个”可互换地使用。此外，如本文所使用的，术语“集合”旨在包括一个或多个项(例如，相关项、不相关项或相关项和不相关项的组合)，并且可以与“一个或多个”可互换地使用。如果旨在表示仅一个项，则使用短语“仅一个”或类似语言。此外，如本文所使用的，术语“具有(has)”、“具备(have)”、“具备有(having)”或类似物旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”旨在表示“至少部分基于”。此外，如本文所使用的，术语“或”在系列中使用时旨在是包括性的，并且可以与“和/或”可互换地使用，除非另有明确说明(例如，如果与“任一”或“……中的仅一者”组合使用)。术语“基本”、“大致”、“近似”、“约”或这些术语的任何其他版本被定义为如本领域技术人员理解的那样接近，并且在一个非限制性实施例中，这些术语被定义为在10％以内，在另一实施例中在5％以内，在另一实施例中在1％以内，而在另一实施例中在0.5％以内。本文中使用的术语“耦合的”被定义为连接的，尽管不一定是直接连接的也不一定是机械连接的。以某种方式“配置”的设备或结构至少以该种方式进行配置，但也可以以未列出的方式进行配置。

将显而易见的是，本文描述的系统和/或方法可以在不同形式的硬件、固件或硬件和软件的组合中实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不是对实施方式的限制。因此，系统和/或方法的操作和行为在本文中被描述而不参考特定的软件代码——应当理解，软件和硬件可以被设计为基于本文的描述来实现系统和/或方法。

即使在权利要求书中叙述和/或说明书中公开了特征的特定组合，这些组合也不是为了限制各种实施方式的公开。事实上，这些特征中的许多可以以权利要求中未具体阐述和/或说明书中未公开的方式进行组合。尽管下面列出的每个从属权利要求可以直接依赖于仅一个权利要求，但是各种实施方式的公开包括每个从属权利权利要求与权利要求书中的每个其他权利要求的组合。如本文所使用的，引述一列项目中的“至少一者”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一者”旨在涵盖：a、b、c、a-b、a-c、b-c和a-b-c，以及与多个相同项的任何组合。

本公开的摘要被提供以允许读者快速地确定本技术公开的性质。提交该摘要，并且理解该摘要将不用于解释或限制权利要求书的范围或含义。另外，在上述描述中，可以看出出于使本公开整体化的目的，各种特征在各种实施例中被编组到一起。这种公开方法不应被解释为反映要求保护的实施例与各项权利要求中明确记载的相比需要更多的特征的意图。相反，如以下权利要求所反映，发明主题可能在于少于单个公开的实施例的全部特征。因此，以下权利要求由此被结合到具体实施方式中，其中各个权利要求作为单独要求保护的主题代表其自身。

Claims (20)

1.一种与检测与对象相关联的异常相关联的方法，包括：

由设备接收描绘所述对象的输入图像；

由所述设备并且使用特征提取模型来处理所述输入图像，以在第一特征输出中指示所述对象的一个或多个特征，

其中，基于与所述对象的类型相关联的参考图像来训练所述特征提取模型，

其中，所述参考图像描绘与所述对象的所述类型相同类型的一个或多个非异常对象；

由所述设备并且基于所述一个或多个特征，使用分类模型来确定所述对象的异常状态指示所述对象包括异常，

其中，所述分类模型被配置为基于与所述第一特征输出相关联的分类得分和所述分类模型的分类阈值来确定所述异常状态，

其中，基于涉及所述参考图像的相似性分析来确定所述分类阈值；

由所述设备并且基于所述特征提取模型的第二特征输出来确定与所述异常状态相关联的所述异常的位置，

其中，使用基于所述参考图像训练的异常定位模型来确定所述异常的所述位置；

由所述设备并且基于所述异常状态和所述位置来生成与所述异常相关联的异常数据；以及

由所述设备并且向对象管理系统提供所述异常数据。

2.如权利要求1所述的方法，其特征在于，所述分类模型包括支持向量机，所述支持向量机被配置为：

基于所述第一特征输出来确定所述分类得分；以及

基于所述分类得分与所述分类阈值的比较来指示所述异常状态，

其中，所述支持向量机是被特定训练用于分析所述对象的类型的单类支持向量机，并且

其中，所述异常状态是基于所述比较确定并且指示所述对象具有异常特征或者指示所述对象不具有异常特征的二元分类。

3.如权利要求1所述的方法，其特征在于，所述分类模型包括：

第一支持向量机，所述第一支持向量机被配置为根据所述分类阈值来输出第一二元分类，

其中，所述第一二元分类指示所述对象包括异常特征，以及

第二支持向量机，所述第二支持向量机被配置为基于指示所述对象包括异常特征的所述第一二元分类来输出指示所述异常是特定类型的异常或所述异常不是所述特定类型的异常的第二二元分类，

其中，所述异常数据被生成为基于所述第二二元分类包括指示所述异常是所述特定类型的异常或者所述异常不是所述特定类型的异常的标签。

4.如权利要求1所述的方法，其特征在于，所述第一特征输出来自所述特征提取模型的卷积神经网络编码器的输出层，并且

其中，所述第二特征输出来自所述卷积神经网络编码器的中间层。

5.如权利要求1所述的方法，其特征在于，所述异常定位模型包括被配置为确定所述异常的所述位置的卷积神经网络解码器。

6.如权利要求5所述的方法，其特征在于，所述第二特征输出来自所述特征提取模型的卷积神经网络解码器的中间层。

7.如权利要求1所述的方法，其特征在于，生成所述异常数据包括：

生成标识所述异常的所述位置的位置指示符；以及

将所述位置指示符与所述输入图像进行组合。

8.一种设备，包括：

一个或多个存储器；以及

一个或多个处理器，耦合至所述一个或多个存储器，所述一个或多个处理器被配置为：

接收描绘对象的输入图像；

使用特征提取模型来处理所述输入图像，以生成与所述对象的一个或多个特征相关联的第一特征输出，

其中，基于与所述对象的类型相关联的参考图像来训练所述特征提取模型；

使用分类模型基于所述第一特征输出来确定所述对象的异常状态，

其中，所述分类模型被训练以基于涉及所述参考图像中描绘的非异常对象的相似性分析来确定所述异常状态；

基于所述异常状态指示所述输入图像描绘具有异常的所述对象，基于所述特征提取模型的第二特征输出来确定所述异常在所述输入图像中的位置，

其中，所述异常的所述位置是使用基于所述参考图像训练的异常定位模型来确定的；

基于所述异常状态和所述位置来生成与所述异常相关联的异常数据；以及

执行与所述异常数据相关联的动作。

9.如权利要求8所述的设备，其特征在于，所述特征提取模型包括卷积神经网络编码器。

10.如权利要求8所述的设备，其特征在于，所述分类模型包括支持向量机，所述支持向量机被配置为提供分类得分，所述分类得分指示所述对象包括异常特征或不包括异常特征，

其中，所述异常状态被配置为基于所述分类得分指示所述对象包括异常特征来指示所述输入图像描绘具有所述异常的所述对象。

11.如权利要求10所述的设备，其特征在于，所述相似性分析被配置为确定与所述分类得分相比的所述支持向量机的分类阈值，以确定与所述对象包括异常特征或不包括异常特征相关联的所述异常状态的二元分类。

12.如权利要求8所述的设备，其特征在于，所述第一特征输出和所述第二特征输出来自所述特征提取模型的卷积神经网络的不同层。

13.如权利要求8所述的设备，其特征在于，为了生成所述异常数据，所述一个或多个处理器被配置为：

生成标识所述异常的所述位置的位置指示符；以及

将所述位置指示符与所述输入图像进行组合。

14.如权利要求8所述的设备，其特征在于，为了执行所述动作，所述一个或多个处理器被配置为以下各项中的至少一项：

向用户设备传送所述异常数据，或者

根据所述异常数据来控制对象管理系统，以执行与所述对象相关联的操作。

15.一种存储指令集的有形机器可读介质，所述指令集包括：

一个或多个指令，在由设备的一个或多个处理器执行时所述一个或多个指令使所述设备：

接收描绘对象的输入图像；

使用卷积神经网络编码器并且根据所述输入图像来确定与所述对象的一个或多个特征相关联的第一特征输出，

其中，基于描绘作为所述对象的类型的参考对象的参考图像来训练所述卷积神经网络编码器；

使用支持向量机来确定所述对象的异常状态指示所述对象包括异常，其中，基于所述参考图像来训练所述支持向量机；

使用卷积神经网络解码器基于所述卷积神经网络编码器的第二特征输出来确定所述异常的位置，

其中，所述卷积神经网络解码器被配置为基于所述卷积神经网络编码器的第二特征输出来确定所述异常的所述位置，并且

其中，基于所述参考图像来训练所述卷积神经网络解码器；以及

执行与所述异常的所述位置相关联的动作。

16.如权利要求15所述的有形机器可读介质，其特征在于，所述参考图像中描绘的所述参考对象是非异常对象。

17.如权利要求15所述的有形机器可读介质，其特征在于，所述支持向量机被训练以确定指示所述对象包括异常特征或指示所述对象不包括异常特征的二元分类，

其中，所述支持向量机被训练以确定分类阈值，所述分类阈值用于基于涉及所述参考图像的相似性分析来确定所述二元分类。

18.如权利要求15所述的有形机器可读介质，其特征在于，所述第一特征输出来自所述卷积神经网络编码器的输出层，并且

其中，所述第二特征输出来自所述卷积神经网络编码器的中间层。

19.如权利要求15所述的有形机器可读介质，其特征在于，所述卷积神经网络编码器和所述卷积神经网络解码器与基于所述参考图像来训练的同一卷积神经网络自动编码器相关联。

20.如权利要求15所述的有形机器可读介质，其特征在于，使所述设备执行所述动作的所述一个或多个指令使所述设备：

生成标识所述异常的所述位置的位置指示符；

将所述位置指示符与所述输入图像进行组合，以形成异常指示符；以及

向用户设备提供所述异常指示符。