CN112990245A - 物品识别方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种物品识别方法、装置、设备及存储介质。该物品识别方法包括获取第一目标图像，第一目标图像是指目标物品的图像；识别第一目标图像，若确定第一目标图像为异常识别图像，则根据第一目标图像确定目标物品的第一特征，第一特征包括目标物品的形状、颜色或大小；将第一特征归类为预设对象类型的识别参考特征，第一特征用于确定第二目标图像是否为预设对象类型，第二目标图像是指待分拣物品的图像，预设对象类型用于指示目标物品的类别。本申请实施例中实现了识别物品的类别，并避免了直接使用模型识别物品的类别，需要预先采集大量的样本数据对模型进行训练的问题，节省了大量时间成本和人力成本。

Description

物品识别方法、装置、设备及存储介质

技术领域

本申请实施例涉及计算机视觉技术领域，具体涉及一种物品识别方法、装置、设备及存储介质。

背景技术

在实际生活中，为了对物品进行分类或区分，常常需要先对物品进行识别。例如，在物流领域，在对物流包裹进行分拣之前，通常需要先对物流包裹进行识别。通过采用机器学习的识别模型对物品进行识别，能够提高对物品识别的准确率。但是，在实际对物品识别的过程中，依然会出现识别模型无法识别物品的现象，为了提高识别模型的识别率，现有技术中主要是通过预先采集大量的样本数据对模型进行训练，以得到识别率高的识别模型。但是，采集大量的样本数据进行模型训练需要较多的时间和人力。

发明内容

本申请实施例提供一种物品识别方法、装置、设备及存储介质，使得无需预先采集大量的样本数据进行模型训练，也可以实现对物品进行识别。

一方面，本申请实施例提供一种物品识别方法，所述方法包括：

获取第一目标图像，所述第一目标图像是指目标物品的图像；

识别所述第一目标图像，若确定所述第一目标图像为异常识别图像，则根据所述第一目标图像确定目标物品的第一特征，所述第一特征包括所述目标物品的形状、颜色或大小；

将所述第一特征归类为预设对象类型的识别参考特征，所述第一特征用于确定第二目标图像是否为预设对象类型，所述第二目标图像是指待分拣物品的图像，所述预设对象类型用于指示所述目标物品的类别。

在本申请的一些实施例中，所述方法还包括：

获取第二目标图像；

提取所述第二目标图像的第二特征，根据所述第一特征和所述第二特征，确定所述第二目标图像的图像类型，所述第二特征包括所述待分拣物品的形状、颜色或大小；

若所述图像类型为预设对象类型，则生成与所述预设对象类型关联的分拣信息，所述分拣信息包括所述待分拣物品的流向；

根据所述分拣信息，对所述待分拣物品进行分拣。

在本申请的一些实施例中，所述根据所述第一特征和所述第二特征，确定所述第二目标图像的图像类型，包括：

获取目标匹配度，所述目标匹配度是指所述第二特征与所述第一特征的匹配度；

若所述目标匹配度大于第一预设阈值，则确定所述第二目标图像的图像类型为与所述第一特征对应的预设对象类型。

在本申请的一些实施例中，所述第二特征包括多个特征点，所述根据所述第一特征和所述第二特征，确定所述第二目标图像的图像类型，包括：

分别计算各个特征点的置信度；

将所述各个特征点的置信度相乘，得到所述第二特征的置信度；

若所述第二特征的置信度大于第二预设阈值，则确定所述第二目标图像的图像类型为与所述第一特征对应的预设对象类型。

在本申请的一些实施例中，所述获取目标匹配度，包括：

从所述第一特征中，获取第一特征信息；

从所述第二特征中，获取第二特征信息；

获取所述第一特征信息与所述第二特征信息的匹配度，作为所述目标匹配度，所述特征信息包括物品的形状、颜色或大小中的至少任意一项。

在本申请的一些实施例中，所述根据所述第一目标图像确定目标物品的第一特征，包括：

从所述第一目标图像中，检测出目标区域，所述目标区域是指所述目标物品在所述第一目标图像中的位置；

获取目标像素值，所述目标像素值是指所述目标区域中各个点的像素值；

根据所述目标像素值确定所述目标物品的第一特征。

在本申请的一些实施例中，所述根据所述第一目标图像确定目标物品的第一特征的步骤之前还包括：

对所述第一目标图像进行滤波处理。

另一方面，本申请实施例提供一种物品识别装置，所述物品识别装置包括：

获取单元，用于获取第一目标图像；

处理单元，用于识别所述获取单元获取的所述第一目标图像，若确定所述第一目标图像为异常识别图像，则根据所述获取单元获取的所述第一目标图像确定目标物品的第一特征，所述第一特征包括所述目标物品的形状、颜色或大小；将所述第一特征归类为预设对象类型的识别参考特征，所述第一特征用于确定第二目标图像是否为预设对象类型，所述第二目标图像是指待分拣物品的图像，所述预设对象类型用于指示所述目标物品的类别。

在本申请的一些实施例中，所述物品识别装置还包括分拣单元，所述分拣单元用于：

获取第二目标图像；

提取所述第二目标图像的第二特征，根据所述第一特征和所述第二特征，确定所述第二目标图像的图像类型，所述第二特征包括所述待分拣物品的形状、颜色或大小；

若所述图像类型为预设对象类型，则生成与所述预设对象类型关联的分拣信息，所述分拣信息包括所述待分拣物品的流向；

根据所述分拣信息，对所述待分拣物品进行分拣。

在本申请的一些实施例中，所述分拣单元具体用于：

获取目标匹配度，所述目标匹配度是指所述第二特征与所述第一特征的匹配度；

若所述目标匹配度大于第一预设阈值，则确定所述第二目标图像的图像类型为与所述第一特征对应的预设对象类型。

在本申请的一些实施例中，所述第二特征包括多个特征点，所述分拣单元具体用于：

分别计算各个特征点的置信度；

将所述各个特征点的置信度相乘，得到所述第二特征的置信度；

若所述第二特征的置信度大于第二预设阈值，则确定所述第二目标图像的图像类型为与所述第一特征对应的预设对象类型。

在本申请的一些实施例中，所述分拣单元具体用于：

从所述第一特征中，获取第一特征信息；

从所述第二特征中，获取第二特征信息；

获取所述第一特征信息与所述第二特征信息的匹配度，作为所述目标匹配度，所述特征信息包括物品的形状、颜色或大小中的至少任意一项。

在本申请的一些实施例中，所述处理单元具体用于：

从所述第一目标图像中，检测出目标区域，所述目标区域是指所述目标物品在所述第一目标图像中的位置；

获取目标像素值，所述目标像素值是指所述目标区域中各个点的像素值；

根据所述目标像素值确定所述目标物品的第一特征。

在本申请的一些实施例中，所述处理单元具体用于：

对所述第一目标图像进行滤波处理。

另一方面，本申请实施例还提供一种物品识别设备，所述物品识别设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述的物品识别方法。

另一方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的物品识别方法中的步骤。

本申请实施例中，当目标物品的图像为异常识别图像时，即当第一目标图像为异常识别图像时，首先对第一目标图像进行识别，得出目标物品的第一特征；然后将第一特征归类为预设对象类型的识别参考特征，采用第一特征确定第二目标图像是否为预设对象类型。一方面，由于预设对象类型用于指示目标物品的类别，在根据第一特征确定第二目标图像为预设对象类型时，可以直接确定第二目标图像中的物品的类别为目标物品的类别，从而实现识别原来异常识别的物品的类别，提高了物品识别的准确率。另一方面，由于针对了异常识别的物品的图像作为提取第一特征的依据，而无需针对大量的非异常识别图像作为提取第一特征的依据，减少了图像处理量；避免了直接使用模型识别物品的类别，需要预先采集大量的样本数据对模型进行训练的问题，节省了大量时间成本和人力成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的物品识别方法的应用场景示意图；

图2是本申请实施例中提供的设备集群的场景示意图；

图3是本申请实施例中提供的物品识别方法的一种流程示意图；

图4是本申请实施例中提供的物品识别方法的另一种流程示意图；

图5本申请实施例中第一特征与第二特征的对照示意图；

图6是本申请实施例中提供的物品识别装置的一个实施例结构示意图；

图7是本申请实施例中提供的物品识别设备的一个实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请实施例的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请实施例中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请实施例的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请实施例所公开的原理和特征的最广范围相一致。

首先，在介绍本申请实施例之前，先介绍下本申请实施例关于应用背景的相关内容。

在物流技术领域，经常需要对货物进行分拣，例如，通常需要将大量的物流包裹进行分拣。在对包裹进行分拣时，首先需要识别出包裹的类型(如包裹是信封，箱子，软包或者其他)，才能精准地完成分拣过程。为了精准识别出包裹的类型，目前主要的方法是：首先提前收集图片，并对图片进行标注(标注出包裹的类型等信息)；然后将标注信息和图片提供给神经网络去学习，得到具有识别包裹类型的分类模型；最后，采用分类模型去识别包裹，进而完成分拣过程。

但是，由于分拣过程有时效要求，因此在实际分拣过程中不能进行分类模型的学习。这种方法需要预先采集大量的样本数据对模型进行训练，才能得到识别率高的分类模型。而采集大量的样本数据进行模型训练需要较多的时间和人力，不能满足实时分拣的时效要求。

基于现有的相关技术存在的上述缺陷，本申请实施例提供了物品识别方法，至少在一定程度上克服现有的相关技术所存在的缺陷。

本申请实施例提供一种物品识别方法，参照图1，图1为本申请实施例提供的物品识别方法的应用场景示意图。在本申请实施例中，该物品识别方法可以应用于任意一种物品的识别场景中，例如，在地铁安检区域进行安全检查时，用于识别乘车人员所携带的物品；又如，在物流领域，在对物流包裹进行分拣时，用于识别物流包裹。

一方面，本申请实施例物品识别方法的执行主体可以为本申请实施例提供的物品识别装置，或者集成了该物品识别装置的服务器设备、物理主机或者用户设备(UserEquipment，UE)等不同类型的物品识别设备，其中，物品识别装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备。

该物品识别设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式，通过应用本申请实施例提供的物品识别方法，可以识别出物品，并避免需要预先采集大量的样本数据对模型进行训练，才能提高物品识别的准确率的问题。

另一方面，该物品识别方法可以通过神经网络实现。

举例而言，当物品识别设备采用设备集群的工作方式时，该物品识别方法可以应用于如图2所示的设备集群，该设备集群包括分拣设备、识别设备、特征学习设备。其中，识别设备中集成了相对浅层的神经网络模型(浅层的神经网络模型具有识别速度快、学习能力相对较弱的特点；为了满足分拣过程的时效要求，采用浅层的神经网络模型识别物品)。特征学习设备中集成了相对深层次的第一模型(深层次的模型具有学习能力强、学习时间相对较长的特点)，以及结构、功能与识别设备中的神经网络模型相同的第二模型。

识别设备用于获取物品的图像，并基于其集成的神经网络模型，根据物品的图像识别出物品的类型；然后，将识别结果发送给分拣设备，以供分拣设备对物品进行分拣。当识别设备基于其集成的神经网络模型无法识别出物品的类型时，分拣设备将无法识别的物品分拣至特征学习设备。

特征学习设备用于：获取无法识别的物品的图像，以及人工对图片标注的标注信息；然后，基于第一模型对无法识别的物品的特征进行学习，提取出无法识别的物品的目标特征；并基于目标特征、标注信息和无法识别的物品的图片，更新第二模型的模型参数，得到更新后的第二模型；最后，采用更新后的第二模型更新识别设备中的神经网络模型，使得识别设备中的神经网络模型识别物品的准确率更高。

由此可见，通过如图2所示的设备集群的工作方式实现本申请实施例的物品识别方法，使得物品识别的准确率得到提高，并且可以与实际分拣过程同步进行，满足了分拣过程的时效要求。此外，由于特征学习设备是针对实际分拣过程中无法识别的物品的特征进行学习，进而更新识别设备中的神经网络模型，因此更有效地提高了物品识别的准确率。

下面，开始介绍本申请实施例提供的物品识别方法。该物品识别方法包括：获取第一目标图像；识别所述第一目标图像，若确定所述第一目标图像为异常识别图像，则根据所述第一目标图像确定目标物品的第一特征；将所述第一特征归类为预设对象类型的识别参考特征，所述第一特征用于确定第二目标图像是否为预设对象类型。

参照图3，图3为本申请实施例提供的物品识别方法的一种流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该物品识别方法包括：

10、获取第一目标图像。

其中，第一目标图像是指目标物品的图像，第一目标图像可以是无法识别出物品的图像、无法准确识别出物品的图像或者其他任意类型的图像。目标物品可以是多种场景中的物品，例如，物流公司对货物(如牙刷、衣服、鞋子等)进行分拣时，分拣区域中的牙刷、衣服或鞋子均可以是目标物品；又如，在地铁安检中，乘客携带的包包也可以是目标物品。第一目标图像的获取方式有多种，例如，在待分拣物品的分拣过程中，通过拍摄分拣区域的待分拣物品得到第一目标图像。

20、识别所述第一目标图像，若确定所述第一目标图像为异常识别图像，则根据所述第一目标图像确定目标物品的第一特征。

其中，异常识别图像是指图像中包含物品，但无法识别出图像中的物品的图像，或者不能准确识别出图像中的物品的图像。例如，将第一目标图像输入至识别模块，以使得识别模块对第一目标图像进行识别确定第一目标图像中的物品，若识别模块无法识别出图像中的物品，则确定该第一目标图像为异常识别图像。其中，识别模块中集成了预先训练的模型，该模型可以根据物品的图像识别出物品。

或者，将第一目标图像输入至识别模块，以使得识别模块对第一目标图像进行识别确定第一目标图像中的物品，若人为发现识别模块将第一目标图像中的物品A识别成了物品B，则人为输入第一目标图像为异常识别图像的异常信息至识别模块；当识别模块获取到人为输入的异常信息后，确定第一目标图像为异常识别图像。

其中，第一特征是指第一目标图像承载的目标物品的图像特征，第一特征包括目标物品的形状、颜色或大小等等物品属性特征。作为一种实施方式，根据所述第一目标图像确定目标物品的第一特征的步骤可以包括：首先，将第一目标图像输入至神经网络中，以使神经网络对该第一目标图像进行学习，确定该第一目标图像中的物品所包含的特征(例如图像中的物品的形状、颜色或大小等)并输出。然后，获取神经网络输出的特征作为目标物品的第一特征。

为了提高第一目标图像的质量，以提高对第一特征识别的准确率，根据所述第一目标图像确定目标物品的第一特征的步骤之前还包括：对所述第一目标图像进行滤波处理。具体地，可以对第一目标图像进行均值滤波处理、中值滤波或双边滤波等处理，以消除图像噪声，并实现图像平滑。

在本申请实施例中，通过对第一目标图像作滤波处理，消除了图像的噪声，进而提高了从第一目标图像识别出第一特征的准确率。

为了精确识别出目标物品的第一特征，在本申请的一些实施例中，根据所述第一目标图像确定目标物品的第一特征的步骤，可以包括：

(1)从所述第一目标图像中，检测出目标区域。

目标区域是指目标物品在第一目标图像中的位置。具体地，可以通过边缘检测算法对第一目标图像进行检测，以检测出目标物品在第一目标图像的位置。或者通过某种预设的算法，对第一目标图像进行识别，以识别出目标物品在第一目标图像的位置。

(2)获取目标像素值。

其中，目标像素值是指目标区域中各个点的像素值。在检测出目标物品在第一目标图像中的位置后，即在检测出目标区域后，首先获取第一目标图像各个点的像素值；然后，再根据目标物品在第一目标图像中的位置，从第一目标图像各个点的像素值中，获取目标区域中各个点的像素值。

(3)根据所述目标像素值确定所述目标物品的第一特征。

具体地，可以将目标像素值输入至预设的特征提取模型，以使得特征提取模型根据目标像素值进行学习，确定目标物品的第一特征，如目标物品的颜色、形状或大小等。

在本申请实施例中，通过从第一目标图像中，检测出目标物品在第一目标图像中的位置作为目标区域，再根据目标区域中各个点的像素值确定目标物品的第一特征，通过像素点识别的方式，可以精确地识别出目标物品的第一特征。

30、将所述第一特征归类为预设对象类型的识别参考特征。

预设对象类型是指图像的类型，第一特征用于确定第二目标图像是否为预设对象类型的图像(如，第一特征是指颜色为绿色、第一特征对应的预设对象类型为A，如果可以从第二目标图像中提取出颜色为绿色的特征，则确定第二目标图像的图像类型为A)。其中，第二目标图像是指待分拣物品的图像，在实际应用情况中，第二目标图像可以是任意的图像。

其中，预设对象类型用于指示目标物品的类别，同时，若其他图像的图像类型为预设对象类型，则预设对象类型可用于指示该图像中的物品的类别，并且该图像中的物品的类别与目标物品的类别相同。例如，预设对象类型A指示目标物品的类别为箱子，若图像1的图像类型为预设对象类型A，则图像1表示图像1中的物品的类别为箱子。预设对象类型B指示目标物品的类别为信封，若图像2的图像类型为预设对象类型B，则图像2表示图像2中的物品的类别为信封。

具体地，将所述第一特征归类为预设对象类型的识别参考特征的步骤，可以包括：首先，第一目标图像的类型归类为预设对象类型；然后，将与第一目标图像对应的第一特征归类为预设对象类型的识别参考特征；并将目标物品的类别、第一特征与预设对象类型关联记录，以便在获取到第二目标图像时，可以根据第一目标特征确定第二目标图像是否为预设对象类型。根据第一目标特征确定第二目标图像是否为预设对象类型的步骤包括：提取第二目标图像的特征，并对比第二目标图像的特征与第一特征的相似度，若第二目标图像的特征与第一特征的相似度大于预设阈值，则确定第二目标图像为与第一特征对应的预设对象类型。其中，目标物品的类别、第一特征与预设对象类型关联记录的目的在于，若后续确定第二图像为预设对象类型的图像，则可直接确定第二图像中承载的物品为目标物品的类别。

例如，图像1(即第一目标图像)中承载的目标物品为信封，若确定目标物品(信封)对应的第一特征为长方形、厚度小于1厘米；则首先，将图像1的类型归类为预设对象类型；然后，将长方形、厚度小于1厘米归类为预设对象类型的识别参考特征，并将信封、长方形、厚度小于1厘米与预设对象类型关联记录。在实际识别物品时，若识别图像2(即第二目标图像)发现图像2具有长方形、厚度小于1厘米的特征时，则确定图像2为预设对象类型。由于图像类型为预设对象类型的图像承载的物品与目标物品的类别相同，预设对象类型指示了目标物品的类别；因此，可以确定图像2中承载的物品为信封。

作为一种实施方式，根据所述第一目标图像确定目标物品的第一特征，将所述第一特征归类为预设对象类型的识别参考特征的步骤，可以通过模型来实现。本申请实施例中，采用深层次的神经网络模型和浅层的神经网络模型来完成“根据所述第一目标图像确定目标物品的第一特征，将所述第一特征归类为预设对象类型的识别参考特征”的步骤；其中，深层的神经网络模型和浅层的神经网络模型，均为可以根据图像识别物品的模型。“根据所述第一目标图像确定目标物品的第一特征，将所述第一特征归类为预设对象类型的识别参考特征”的步骤，具体包括：

首先，通过人工确定第一目标图像中物品具体是哪种类别物品，例如通过人工确定第一目标图像中物品的类别为信封、箱子或其他。

然后，以第一目标图像中物品的类别，作为第一目标图像的标注，将标注好的第一目标图像输入至深层次的神经网络模型，以使得深层次的神经网络模型对第一目标图像进行识别，从第一目标图像中提取出第一特征。通过采用深层次的神经网络模型实现从第一目标图像中识别出目标物品的第一特征，可以提高模型对特征的提取能力。

最后，以第一目标图像中物品的类别，分别作为第一目标图像的标注、第一特征的标注；并将标注好的第一目标图像以及第一特征输入至浅层的神经网络模型，以使得浅层的神经网络模型对第一特征进行学习，形成可以识别物品的类别的识别模型。

在后续可以直接采用识别模型识别物品，由于识别模型为浅层的神经网络模型，结构相对简单，采用浅层的神经网络模型识别物品，可以提高识别速度。

可见，通过同时采用深层次的神经网络模型和浅层的神经网络模型来完成“根据所述第一目标图像确定目标物品的第一特征，将所述第一特征归类为预设对象类型的识别参考特征”的步骤，一方面可以提高对第一目标图形的特征的提取能力，另一方面可以提高模型识别速度。

在本申请实施例中，当目标物品的图像为异常识别图像时，即当第一目标图像为异常识别图像时，首先对第一目标图像进行识别，得出目标物品的第一特征；然后将第一特征归类为预设对象类型的识别参考特征，采用第一特征确定第二目标图像是否为预设对象类型。

一方面，由于预设对象类型用于指示目标物品的类别，在根据第一特征确定第二目标图像为预设对象类型时，可以直接确定第二目标图像中的物品的类别为目标物品的类别，从而实现识别原来异常识别的物品的类别，提高了物品识别的准确率。另一方面，由于针对了异常识别的物品的图像作为提取第一特征的依据，而无需针对大量的非异常识别图像作为提取第一特征的依据，减少了图像处理量；避免了直接使用模型识别物品的类别，需要预先采集大量的样本数据对模型进行训练，才能提高物品识别的准确率的问题，节省了大量时间成本和人力成本。

并且，本申请实施例的物品识别方法也可以应用于已训练的模型，以实现提高模型识别的准确率。例如，已训练的模型可以识别物品的类别，第一目标图像为已训练的模型异常识别的图像(即已训练的模型无法识别出第一目标图像中的目标物品的类别，或识别出的目标物品的类别不准确)。在得到目标物品的第一特征后，以第一目标图像中物品的类别，分别作为第一目标图像的标注、第一特征的标注；最后，将标注好的第一目标图像以及第一特征作为训练样本输入至已训练的模型，以使得已训练的模型有针对性地进行学习，进而提高模型对物品的类别识别的准确率。

在实际应用场景中，常常需要对物品进行分拣。例如，物流公司往往需要针对不同类型的快件进行分拣，例如需要分拣出信封、软包、箱子等等；此时，可以本申请实施例的物品识别方法识别出快件是信封、软包或箱子，再根据对快件的识别结果生成分拣信息，以完成快件分拣。参照图4，图4是本申请实施例中提供的物品识别方法的另一种流程示意图。在本申请的一些实施例中，还可以根据目标物品的第一特征去识别其他物品，进而实现对物品的分拣，即该物品识别方法还包括：

40、获取第二目标图像。

其中，第二目标图像是指待分拣物品的图像。在实际应用中，第二目标图像可以是包含了待分拣物品的图像，或者是其他任意物品的图像。

50、提取所述第二目标图像的第二特征，根据所述第一特征和所述第二特征，确定所述第二目标图像的图像类型。

其中，第二特征包括待分拣物品的形状、颜色或大小。作为一种实施方式，提取所述第二目标图像的第二特征，根据所述第一特征和所述第二特征，确定所述第二目标图像的图像类型的步骤，可以包括：

(1)将第一目标图像、第一特征标注为预设对象类型。

(2)将标注好的第一目标图像、第一特征输入至神经网络模型，以使得神经网络模型对第一特征进行学习，形成可以从图像中提取特征，并根据所提取的特征确定图像的图像类型的识别模型。

(3)将第二目标图像输入至识别模型，使得识别模型从第二目标图像中提取出第二特征，并根据第一特征与第二特征的匹配度，确定第二目标图像是否属于与第一特征对应的预设对象类型。

在本申请的一些实施例中，根据所述第一特征和所述第二特征，确定所述第二目标图像的图像类型，包括：

501、获取目标匹配度。

其中，目标匹配度是指第二特征与第一特征的匹配度。

为了精准地获取目标匹配度，在本申请的一些实施例中，获取目标匹配度的步骤可以包括：从所述第一特征中，获取第一特征信息；从所述第二特征中，获取第二特征信息；获取所述第一特征信息与所述第二特征信息的匹配度，作为所述目标匹配度，所述特征信息包括物品的形状、颜色或大小中的至少任意一项。

具体地，为了方便理解目标匹配度的确定方式，以一具体实施例进行说明。例如：若从第一特征中，获取的第一特征信息为目标物品的形状；从第二特征中，获取的第二特征信息为待分拣物品的形状，则第一特征信息与第二特征信息的匹配度为：目标物品的形状与待分拣物品的形状之间的相似度，即目标匹配度是指：目标物品的形状与待分拣物品的形状之间的相似度。

若从第一特征中，获取的第一特征信息为目标物品的形状、颜色；从第二特征中，获取的第二特征信息为待分拣物品的形状、颜色，则第一特征信息与第二特征信息的匹配度为：目标物品的形状与待分拣物品的形状之间的相似度，以及目标物品的颜色与待分拣物品的颜色之间的相似度。即目标匹配度是指：目标物品的形状与待分拣物品的形状之间的相似度，以及目标物品的颜色与待分拣物品的颜色之间的相似度。

若从第一特征中，获取的第一特征信息为目标物品的形状、大小；从第二特征中，获取的第二特征信息为待分拣物品的形状、大小，则第一特征信息与第二特征信息的匹配度为：目标物品的形状与待分拣物品的形状之间的相似度，以及目标物品的大小与待分拣物品的大小之间的相似度。即目标匹配度是指：目标物品的形状与待分拣物品的形状之间的相似度，以及目标物品的大小与待分拣物品的大小之间的相似度。

在本申请实施例中，通过第一特征中的每个特征信息与第二特征中的每个特征信息之间的相似度，确定第一特征与第二特征之间的匹配度，可以更精确地确定第一特征与第二特征之间的匹配度，为后续确定第二目标图像的图像类型是否为与第一特征对应的预设对象类型提供了精准的数据依据。

502、若所述目标匹配度大于第一预设阈值，则确定所述第二目标图像的图像类型为与所述第一特征对应的预设对象类型。

为了方便理解，以一具体实施例进行说明。例如，若目标匹配度等于98％、第一预设阈值为95％，则确定第二目标图像的图像类型为与第一特征对应的预设对象类型；若目标匹配度等于90％、第一预设阈值为95％，则确定第二目标图像的图像类型不是与第一特征对应的预设对象类型。

其中，第一预设阈值可以根据具体需求而设置，在本申请实施例中对第一预设阈值的具体数值不作限制。

在本申请实施例中，由于预设对象类型指示了物品的类别，通过第一特征与第二特征之间的相似度是否大于第一预设阈值，确定第二目标图像的图像类型是否为与第一特征对应的预设对象类型，当确定第二目标图像的图像类型为与第一特征对应的预设对象类型时，即确定了第二目标图像中的待分拣物品的类别，进而实现识别出之前异常识别的物品的类别。

为了可以根据第一目标特征，识别出第二目标图像的图像类型是否为与第一特征对应的预设对象类型，以实现识别出之前异常识别的物品的类别，在本申请的一些实施例中，所述第二特征包括多个特征点，所述根据所述第一特征和所述第二特征，确定所述第二目标图像的图像类型的步骤，可以包括：分别计算各个特征点的置信度；将所述各个特征点的置信度相乘，得到所述第二特征的置信度；若所述第二特征的置信度大于第二预设阈值，则确定所述第二目标图像的图像类型为与所述第一特征对应的预设对象类型。

具体地，第二特征中的每个特征点的置信度是指第二特征中每个特征点与第一特征中对应的标准特征点相同的概率。可以理解的是，特征点可以是图像中物品的一个点或一个区域(由多个点组成)。为了方便理解各个特征点的置信度的计算方式，以一具体实施例进行说明。参照图5，图5为第一特征与第二特征的对照示意图，例如，第一特征中包括一个或多个标准特征点(如特征A、特征B和特征C)，在第二特征的各个特征点中，与特征A、特征B、特征C对应的特征点分别为特征a、特征b、特征c(图中未示出特征b和特征c)，则特征a的置信度是特征a与特征A相同的概率、特征b的置信度是特征b与特征B相同的概率、特征c的置信度是特征c与特征C相同的概率。

为了方便理解第二特征的置信度的确定方式，以一具体实施例进行说明。例如，第二预设阈值为80％，若第二特征为物品的形状，计算得到物品的形状的置信度为90％，则第二特征的置信度为：90％；第二特征的置信度(90％)大于第二预设阈值(80％)，第二目标图像的图像类型为与第一特征对应的预设对象类型。若第二特征包括物品的形状、颜色，计算得到物品的形状的置信度为90％、物品的颜色的置信度为90％，则第二特征的置信度为：90％*90％＝81％；第二特征的置信度(81％)大于第二预设阈值(80％)，第二目标图像的图像类型为与第一特征对应的预设对象类型。若第二特征包括物品的形状、颜色、大小，计算得到物品的形状的置信度为100％、物品的颜色的置信度为90％、物品的大小的置信度为80％，则第二特征的置信度为：100％*90％*80％＝72％；第二特征的置信度(72％)小于第二预设阈值(80％)，第二目标图像的图像类型不是与第一特征对应的预设对象类型。

其中，第二预设阈值可以根据具体需求而设置，在本申请实施例中对第二预设阈值的具体数值不作限制。

在本申请的一些实施例中，可以同时根据第二特征的置信度以及步骤501中获取的目标匹配度，确定第二目标图像的图像类型。具体地，在确定第二特征的置信度以及目标匹配度后，检测是否同时满足目标匹配度大于第一预设阈值、且第二特征的置信度大于第二预设阈值，若目标匹配度大于第一预设阈值、且第二特征的置信度大于第二预设阈值，则确定第二目标图像的图像类型为与第一特征对应的预设对象类型。

在本申请实施例中，通过计算第二特征中的每个特征点的置信度，为后续确定第二目标图像的图像类型是否为与第一特征对应的预设对象类型提供了精准的数据依据。

60、若所述图像类型为预设对象类型，则生成与所述预设对象类型关联的分拣信息。

其中，分拣信息包括所述待分拣物品的流向等信息。若图像类型为预设对象类型，则首先确定该预设对象类型指示的目标物品的类别；然后，确定第二图像中的待分拣物品的类别为目标物品的类别；最后，根据第二图像中的待分拣物品的类别，生成分拣信息。例如，预设对象类型A指示的目标物品的类别为软包、预设对象类型B指示的目标物品的类别为信封、预设对象类型C指示的目标物品的类别为箱子，若图像类型为预设对象类型A，则确定图像中的待分拣物品为软包，并确定软包的流向等信息；若图像类型为预设对象类型B，则确定图像中的待分拣物品为信封，并确定信封的流向等信息；若图像类型为预设对象类型C，则确定图像中的待分拣物品为箱子，并确定箱子的流向等信息。其中，待分拣物品的流向可以根据具体应用场景而设置。

70、根据所述分拣信息，对所述待分拣物品进行分拣。

在本申请的一些实施例中，根据所述分拣信息，对所述待分拣物品进行分拣的步骤，可以包括：首先根据分拣信息，确定待分拣物品的流向以及待放置位置，然后控制分拣装置从分拣区域中获取该待分拣物品，并将待分拣物品分拣至指定的待放置位置。

在本申请的一些实施例中，根据所述分拣信息，对所述待分拣物品进行分拣的步骤，还可以包括：将分拣信息发送至分拣装置，以触发分拣装置根据待分拣物品的分拣信息，对待分拣物品进行分拣。

在本申请实施例中，通过待分拣物品的图像，识别出待分拣物品的类别，再根据待分拣物品的类别生成分拣信息，从而精准地完成对物品的分拣。

为了更好实施本申请实施例中物品识别方法，在物品识别方法基础之上，本申请实施例中还提供一种物品识别装置，如图6所示，为本申请实施例中物品识别装置的一个实施例结构示意图，该物品识别装置600包括：

获取单元601，用于获取第一目标图像；

处理单元602，用于识别所述获取单元601获取的所述第一目标图像，若确定所述第一目标图像为异常识别图像，则根据所述获取单元601获取的所述第一目标图像确定目标物品的第一特征，所述第一特征包括所述目标物品的形状、颜色或大小；将所述第一特征归类为预设对象类型的识别参考特征，所述第一特征用于确定第二目标图像是否为预设对象类型，所述第二目标图像是指待分拣物品的图像，所述预设对象类型用于指示所述目标物品的类别。

在本申请的一些实施例中，所述物品识别装置还包括分拣单元(图中未示出)，所述分拣单元用于：

获取第二目标图像；

提取所述第二目标图像的第二特征，根据所述第一特征和所述第二特征，确定所述第二目标图像的图像类型，所述第二特征包括所述待分拣物品的形状、颜色或大小；

若所述图像类型为预设对象类型，则生成与所述预设对象类型关联的分拣信息，所述分拣信息包括所述待分拣物品的流向；

根据所述分拣信息，对所述待分拣物品进行分拣。

在本申请的一些实施例中，所述分拣单元具体用于：

获取目标匹配度，所述目标匹配度是指所述第二特征与所述第一特征的匹配度；

若所述目标匹配度大于第一预设阈值，则确定所述第二目标图像的图像类型为与所述第一特征对应的预设对象类型。

在本申请的一些实施例中，所述第二特征包括多个特征点，所述分拣单元具体用于：

分别计算各个特征点的置信度；

将所述各个特征点的置信度相乘，得到所述第二特征的置信度；

若所述第二特征的置信度大于第二预设阈值，则确定所述第二目标图像的图像类型为与所述第一特征对应的预设对象类型。

在本申请的一些实施例中，所述分拣单元具体用于：

从所述第一特征中，获取第一特征信息；

从所述第二特征中，获取第二特征信息；

获取所述第一特征信息与所述第二特征信息的匹配度，作为所述目标匹配度，所述特征信息包括物品的形状、颜色或大小中的至少任意一项。

在本申请的一些实施例中，所述处理单元602具体用于：

从所述第一目标图像中，检测出目标区域，所述目标区域是指所述目标物品在所述第一目标图像中的位置；

获取目标像素值，所述目标像素值是指所述目标区域中各个点的像素值；

根据所述目标像素值确定所述目标物品的第一特征。

在本申请的一些实施例中，所述处理单元602具体用于：

对所述第一目标图像进行滤波处理。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本申请实施例中，当目标物品的图像为异常识别图像时，即当第一目标图像为异常识别图像时，首先处理单元602对第一目标图像进行识别，得出目标物品的第一特征；然后处理单元602将第一特征归类为预设对象类型的识别参考特征，并将第一特征用于确定第二目标图像是否为预设对象类型；由于预设对象类型用于指示目标物品的类别，在根据第一特征确定第二目标图像为预设对象类型时，可以直接确定第二目标图像中的物品的类别为目标物品的类别，从而实现识别物品的类别。避免了直接使用模型识别物品的类别，需要预先采集大量的样本数据对模型进行训练的问题，节省了大量时间成本和人力成本。

此外，为了更好实施本申请实施例中物品识别方法，在物品识别方法基础之上，本申请实施例还提供一种物品识别设备，其集成了本申请实施例所提供的任一种物品识别装置，所述物品识别设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述物品识别方法实施例中任一实施例中所述的物品识别方法中的步骤。

本申请实施例还提供一种物品识别设备，其集成了本申请实施例所提供的任一种物品识别装置。如图7所示，其示出了本申请实施例所涉及的物品识别设备的结构示意图，具体来讲：

该物品识别设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解，图7中示出的物品识别设备结构并不构成对物品识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器701是该物品识别设备的控制中心，利用各种接口和线路连接整个物品识别设备的各个部分，通过运行或执行存储在存储器702内的软件程序和/或模块，以及调用存储在存储器702内的数据，执行物品识别设备的各种功能和处理数据，从而对物品识别设备进行整体监控。在申请实施例中，处理器701可包括一个或多个处理核心；在申请实施例中，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。

存储器702可用于存储软件程序以及模块，处理器701通过运行存储在存储器702的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据物品识别设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器702还可以包括存储器控制器，以提供处理器701对存储器702的访问。

物品识别设备还包括给各个部件供电的电源703，电源703可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该物品识别设备还可包括输入单元704，该输入单元704可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，物品识别设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，物品识别设备中的处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现如上物品识别方法中的各个步骤，以实现识别物品的类别，并避免直接使用模型识别物品的类别，需要预先采集大量的样本数据对模型进行训练的问题，进而节省大量时间成本和人力成本。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。其上存储有计算机程序，所述计算机程序被处理器进行加载，所述计算机程序被处理器进行加载可以执行如上物品识别方法中的各个步骤，以实现识别物品的类别，并避免直接使用模型识别物品的类别，需要预先采集大量的样本数据对模型进行训练的问题，进而节省大量时间成本和人力成本。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。

具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种物品识别方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种物品识别方法，其特征在于，所述方法包括：

获取第一目标图像，所述第一目标图像是指目标物品的图像；

识别所述第一目标图像，若确定所述第一目标图像为异常识别图像，则根据所述第一目标图像确定目标物品的第一特征，所述第一特征包括所述目标物品的形状、颜色或大小；

将所述第一特征归类为预设对象类型的识别参考特征，所述第一特征用于确定第二目标图像是否为预设对象类型，所述第二目标图像是指待分拣物品的图像，所述预设对象类型用于指示所述目标物品的类别。

2.根据权利要求1所述的物品识别方法，其特征在于，所述方法还包括：

获取第二目标图像；

提取所述第二目标图像的第二特征，根据所述第一特征和所述第二特征，确定所述第二目标图像的图像类型，所述第二特征包括所述待分拣物品的形状、颜色或大小；

若所述图像类型为预设对象类型，则生成与所述预设对象类型关联的分拣信息，所述分拣信息包括所述待分拣物品的流向；

根据所述分拣信息，对所述待分拣物品进行分拣。

3.根据权利要求2所述的物品识别方法，其特征在于，所述根据所述第一特征和所述第二特征，确定所述第二目标图像的图像类型，包括：

获取目标匹配度，所述目标匹配度是指所述第二特征与所述第一特征的匹配度；

若所述目标匹配度大于第一预设阈值，则确定所述第二目标图像的图像类型为与所述第一特征对应的预设对象类型。

4.根据权利要求2或3所述的物品识别方法，其特征在于，所述第二特征包括多个特征点，所述根据所述第一特征和所述第二特征，确定所述第二目标图像的图像类型，包括：

分别计算各个特征点的置信度；

将所述各个特征点的置信度相乘，得到所述第二特征的置信度；

若所述第二特征的置信度大于第二预设阈值，则确定所述第二目标图像的图像类型为与所述第一特征对应的预设对象类型。

5.根据权利要求3所述的物品识别方法，其特征在于，所述获取目标匹配度，包括：

从所述第一特征中，获取第一特征信息；

从所述第二特征中，获取第二特征信息；

获取所述第一特征信息与所述第二特征信息的匹配度，作为所述目标匹配度，所述特征信息包括物品的形状、颜色或大小中的至少任意一项。

6.根据权利要求1-3任一项所述的物品识别方法，其特征在于，所述根据所述第一目标图像确定目标物品的第一特征，包括：

从所述第一目标图像中，检测出目标区域，所述目标区域是指所述目标物品在所述第一目标图像中的位置；

获取目标像素值，所述目标像素值是指所述目标区域中各个点的像素值；

根据所述目标像素值确定所述目标物品的第一特征。

7.根据权利要求1-3任一项所述的物品识别方法，其特征在于，所述根据所述第一目标图像确定目标物品的第一特征的步骤之前还包括：

对所述第一目标图像进行滤波处理。

8.一种物品识别装置，其特征在于，所述装置包括：

获取单元，用于获取第一目标图像；

处理单元，用于识别所述获取单元获取的所述第一目标图像，若确定所述第一目标图像为异常识别图像，则根据所述获取单元获取的所述第一目标图像确定目标物品的第一特征，所述第一特征包括所述目标物品的形状、颜色或大小；将所述第一特征归类为预设对象类型的识别参考特征，所述第一特征用于确定第二目标图像是否为预设对象类型，所述第二目标图像是指待分拣物品的图像，所述预设对象类型用于指示所述目标物品的类别。

9.一种物品识别设备，其特征在于，所述物品识别设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的物品识别方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的物品识别方法中的步骤。

Images