CN116863155A - 仓内物品识别方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种仓内物品识别方法、装置、设备及存储介质。所述方法包括：获取仓内物品的多个第一识别图像信息，以及仓内RFID传感器所采集物品的第一识别数据信息；依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据；通过所述第一识别数据信息确定第一物品识别数据；通过所述第一识别图像信息确定第二物品识别数据；将第一物品识别数据和第二物品识别数据的交集作为物品识别数据。本申请能够提升仓内物品识别的效率，能够达到精准识别、快速识别的目标，并且能够有效防止商品识别错误问题。

Description

仓内物品识别方法、装置、设备及存储介质

技术领域

本公开一般涉及图像识别技术领域，具体涉及一种仓内物品识别方法、装置、设备及存储介质。

背景技术

随着医疗设备自动化技术的提高，一些医疗设备的自动化存储、识别、分发也成为了可能，在现有技术中，对医疗设备的存储、识别、分发还是主要依赖于人工进行，比如，在医疗设备上设置二维码、RFID标签，或者通过卷积神经网络的视觉识别技术，或者是通过一些传感器设备等，这些方法都比较复杂，难以实现对医疗物资的有效管理，特别是对一些医疗物资的存储仓而言，准确识别仓内物资，更能提高物资管理效率。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种仓内物品识别方法、装置、设备及存储介质，能够满足本领域的需求。

基于本发明实施例的一个方面，本申请实施例提供了一种仓内物品识别方法，所述方法包括：

获取仓内物品的多个第一识别图像信息，以及仓内RFID传感器所采集物品的第一识别数据信息，所述第一识别图像信息为通过图像采集设备从多个角度采集的仓内物品图像信息；

依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据；

其中，所述依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据包括：

通过所述第一识别数据信息确定第一物品识别数据；

通过所述第一识别图像信息确定第二物品识别数据；

将第一物品识别数据和第二物品识别数据的交集作为物品识别数据。

在本申请的另一个实施例中，所述方法还包括：

获取仓内物品的数量信息及质量信息；

依据所述物品的数量信息及质量信息，获取第三物品识别数据；

根据所述第一物品识别数据、第二物品识别数据和第三物品识别数据，确定物品识别数据。

在本申请的另一个实施例中，所述根据所述第一物品识别数据、第二物品识别数据和第三物品识别数据，确定物品识别数据，包括：

将所述第一物品识别数据和第三物品识别数据求交集；

将所述交集与所述第二物品识别数据求交集得到物品识别数据。

在本申请的另一个实施例中，所述通过所述第一识别图像信息确定第二物品识别数据，包括：

对所述第一识别图像信息进行第一处理，获取第一处理图像，所述第一处理为对所述第一识别图像信息进行校正处理；

对所述第一处理图像进行第二处理，获取第二处理图像，所述第二处理为对所述第一处理图像进行图像增强处理；

将所述第二处理图像与图片库中图像样本数据进行比对，设定所述第二处理图像与所述图像样本数据的相似度阈值，获取第二物品识别数据。

在本申请的另一个实施例中，所述将所述第二处理图像与图片库中图像样本数据进行比对，设定所述第二处理图像与所述图像样本数据的相似度阈值，获取第二物品识别数据，包括：

将所述第二处理图像的图像特征信息分别与图片库中图像样本数据中的每个图像样本数据的图像特征信息进行相似度比较，并从所述图片库中图像样本数据中选择出相似度满足第一设定条件的第一目标图像样本，以及从所述图片库中图像样本数据中选择出相似度满足第二设定条件的第二目标图像样本；

确定所述第二目标图像样本的平均图像结构特征相对于所述第一目标图像样本的平均图像结构特征的图像结构特征差异，以及确定所述第二目标图像样本的平均图像色度特征相对于所述第一目标图像样本的平均图像色度特征的图像色度特征差异；

根据所述图像结构特征差异和所述图像色度特征差异对所述第二处理图像进行图像结构处理和图像色度处理，分别得到与所述第一目标图像样本和第二目标图像样本相适配的所述第二处理图像的第三处理图像和第四处理图像；

分别比较第三处理图像与第一目标样本图像、第四处理图像与第二目标样本图像的相似度，并依据设定的相似度阈值，获取第二物品识别数据。

在本申请的另一个实施例中，所述从所述图片库中图像样本数据中选择出相似度满足第一设定条件的第一目标图像样本，以及从所述图片库中图像样本数据中选择出相似度满足第二设定条件的第二目标图像样本，包括：

将所述第二处理图像的描述特征分别与每个样本的描述特征进行相似度比较，并按照相似度由高到低的顺序，从所述图片库中图像样本数据中筛选出相似度满足第一子条件的候选第一目标样本图像，以及从所述图片库中图像样本数据中筛选出相似度满足第二子条件的候选第二目标图像样本，其中，所述第一子条件为图像的正面视图，第二子条件为图像的俯视图；

将所述第二处理图像的关键点信息分别与所述候选第一目标样本图像和所述候选第二目标图像样本中的每个图像样本进行关键点的相似度匹配，并按照关键点的相似度由高到低的顺序，从所述候选第一目标样本图像筛选出关键点的相似度满足设定阈值的所述第一目标样本图像，以及从所述候选第二目标图像样本中筛选出关键点的相似度满足设定阈值的所述第二目标图像样本。

在本申请的另一个实施例中，所述对所述第一识别图像信息进行第一处理，获取第一处理图像，所述第一处理为对所述第一识别图像信息进行校正处理，包括：

对所述第一识别图像信息中的相邻图像进行校正处理，所述相邻图像为同一个图像采集设备在所采集的相邻的两个图像，所述相邻图像进行校正处理的步骤包括：

获取第一识别图像信息中的任意一帧图像作为基础图像；

计算所述基础图像中的中心图像块与所述基础图像的相邻图像中任意图像块的相似程度值：

;

其中，为所述基础图像的相邻图像中第k个图像块的像素均值，/>为基础图像块的像素均值，/>为所述基础图像的相邻图像的任意图像块的像素均值。

将相似程度值最高的对应图像块/>作为中心图像块/>在相邻图像中的匹配图像块；

分别提取和/>在8个方向上的SIFT特征点，并对特征点进行匹配，得到特征点的匹配集合为{/>},其中，/>为一组匹配的SIFT特征点，/>为基础图像/>在方向1的SIFT特征点，/>为基础图像的相邻图像/>中与基础图像/>的/>相匹配的特征点，构建特征点匹配矩阵：

；

依据特征点匹配矩阵与基本处理矩阵F的关系，对特征点匹配矩阵进行奇异值分解，分解后最小奇异值所对应的奇异矩阵即为基本处理矩阵F的解；

根据基本处理矩阵F的解，得到的极点；

对基础图像的相邻图像进行矩阵变换，同时将基础图像的视差转换为深度值；

将转换后的图像作为校正后的成像结果，并将校正后的基础图像对下一相邻图像的成像结果进行矩形变换校正，获取第一处理图像。

在本申请的另一个实施例中，所述对所述第一处理图像进行第二处理，获取第二处理图像，所述第二处理为对所述第一处理图像进行图像增强处理，包括：

对所述第一处理图像中的每一个图像进行伽马增强处理，所述伽马增强处理为：

；

式中，为第二处理图像中的一个图像，/>为伽马参数，此时，第二处理图像的图像序列为：

。

基于本发明实施例的另一个方面，公开一种仓内物品识别装置，所述装置包括：

获取模块，用于获取仓内物品的多个第一识别图像信息，以及仓内RFID传感器所采集物品的第一识别数据信息，所述第一识别图像信息为通过图像采集设备从多个角度采集的仓内物品图像信息；

识别模块，用于依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据；其中，所述依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据包括：通过所述第一识别数据信息确定第一物品识别数据；通过所述第一识别图像信息确定第二物品识别数据；将第一物品识别数据和第二物品识别数据的交集作为物品识别数据。

基于本发明实施例的又一个方面，公开一种电子设备，所述电子设备包括一个或者多个处理器和存储器，存储器，用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，使得所述处理器实现本发明各实施例提供的仓内物品识别方法。

基于本发明实施例的又一个方面，公开一种存储有计算机程序的计算机可读存储介质，该计算机程序被执行时实现本发明各实施例提供的仓内物品识别方法。

在本申请实施例中，通过获取仓内物品的多个第一识别图像信息，以及仓内RFID传感器所采集物品的第一识别数据信息；依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据；通过所述第一识别数据信息确定第一物品识别数据；通过所述第一识别图像信息确定第二物品识别数据；将第一物品识别数据和第二物品识别数据的交集作为物品识别数据。本申请能够提升仓内物品识别的效率，能够达到精准识别、快速识别的目标，并且能够有效防止商品识别错误问题。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请一个实施例提供的仓内物品识别方法的流程图；

图2为本申请一个实施例提供的仓内物品识别装置的结构示意图；

图3是本申请一个实施例提供的电子设备的内部结构图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，其示出了可以应用本申请实施例的仓内物品识别方法的示例性流程。

如图1所示，在步骤110中，获取仓内物品的多个第一识别图像信息，以及仓内RFID传感器所采集物品的第一识别数据信息，所述第一识别图像信息为通过图像采集设备从多个角度采集的仓内物品图像信息。

具体的，通过在储物仓内设置多个摄像头等图像采集设备，通过多个角度采集物品的图像信息，在本申请的实施例中，主要采集的物品图像为正视图图像和俯视图图像，通过正视图图像可以获取物品的正面信息，初步判断物品类别，通过俯视图图像，可以获取物品的俯视图信息，结合正视图一起更加准确的获取物品信息，同时，在储物仓内设置RFID传感器，物品上设置RFID标签，需要说明的是，由于RFID标签是人为设置的，在张贴标签时并不会鉴定实际物品与标签是否一致，因此，通过RFID标签并不能完全准确的获取实际物品信息，而是只能获取RFID标签内所存储的物品信息，因此，通过图像识别的方式和通过RFID标签相结合的方式才能更加准确的获取物品实际信息，在实际应用中，有时候一个RFID标签中可能存储多个物品信息，这些物品可能有一定的关联性或类似行，比如，使用方式相近，或者分类存放位置相近，或者存储仓储为同一个仓储，等等，这些商品存储到一个储物仓内时，仓内RFID传感器会识别出该RFID标签内所存储的所有物品信息，需要进一步甄别。

具体的，在采集了仓内物品的图像信息以后，统一设置为第一识别图像，将仓内RFID传感器所采集的物品图像信息设置为第一识别数据。

在步骤120中，依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据。

具体的，通过第一识别数据信息，可以获取物品的RFID标签所存储的物品信息，通过第一识别图像信息，可以根据物品图像，判断所述第一识别数据信息中所存储的那些信息是准确的，这样，一个RFID标签可以存储多种多类物品信息，这样，通过第一识别图像信息和第一识别数据信息相结合，就可以确定物品识别数据。

具体的，在本申请的一个实施例中，所述依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据包括：

通过所述第一识别数据信息确定第一物品识别数据；具体的，由于第一识别数据信息中可能包含多个商品信息，比如，如果一个存储仓内存储的物品为鞋子，那么该第一识别数据信息所对应的RFID标签上将存储该存储仓内所有类型鞋子的信息，因为它允许这些鞋子存储到该存储仓内，所以，仓内RFID传感器可能只能识别出该物资为鞋子，并且该类鞋子允许存储到该存储仓内，而且在RFID标签内所存储的所有该类鞋子的所有信息均能够读取出来，至于鞋子的具体类型，并不能完全识别出来。

通过所述第一识别图像信息确定第二物品识别数据；具体的，通过第一识别图像信息对物品的外观进行进一步识别，图像识别方法是根据相应算法对图像进行处理，然后将处理后的图像与图像样本数据中的图像进行比对，从而获取图像所能反映的物品信息。需要说明的是，第一识别图像信息所确定的第一物品识别数据也不能完全反映真实的物品信息，它受图像采集设备所采集的图像的质量、角度、图像处理算法等影响。

将第一物品识别数据和第二物品识别数据的交集作为物品识别数据。

具体的，通过将第一物品识别数据和第二物品识别数据所获取的图像信息进行筛选，将二者所识别的物品数据进行交集运算，使满足同时在第一物品识别数据和第二物品识别数据中的物品识别数据信息作为最终的物品识别数据。

具体的，在本申请的一个实施例中，所述仓内物品识别方法还包括：获取仓内物品的数量信息及质量信息；具体的，由于不同物品具有不同的质量，因此，在知晓物品的质量和数量的条件下，可以获取单个物品的质量状况，同时，由于在物品RFID标签上也存储了物品的质量信息，因此，通过物品的质量状况也可以进一步的判断物品数据。

依据所述物品的数量信息及质量信息，获取第三物品识别数据；具体的，所述第三物品识别数据即为单位物品的质量信息，比如，一个物品的质量信息，或按照设定的方式对多个物品进行组合后的组合物品的质量信息。

根据所述第一物品识别数据、第二物品识别数据和第三物品识别数据，确定物品识别数据。

具体的，通过第一物品识别数据、第二物品识别数据和第三物品识别数据一起对获取的物品信息进行甄别，能够更加精准的获取物品识别数据。

具体的，在本申请的一个实施例中，所述根据所述第一物品识别数据、第二物品识别数据和第三物品识别数据，确定物品识别数据，包括：

将所述第一物品识别数据和第三物品识别数据求交集；具体的，由于第一物品识别数据是根据读取物品RFID标签上的数据，第三物品识别数据是单位物品的质量数据，因此，通过二者取交集可以进一步限定物品识别的范围，即它需要同时满足单位物品的质量数据与通过RFID标签所识别的物品中的质量数据相一致，需要说明的是，通过二者取交集也不一定能够唯一的识别出某一个物品信息，因为可能存在着单位物品质量相同的情况，比如，在一个存储仓内存储了多种鞋子，通过RFID标签可以识别出能够该物品的类型为鞋子，并且满足在该存储仓内的所有鞋子信息都会通过RFID标签识别出来，然后，如果某两种或者多种鞋子的质量一样，那么此时所述第一物品识别数据和第三物品识别数据求交集所识别的就是这些满足单位质量条件的两种或多种鞋子。

将所述交集与所述第二物品识别数据求交集得到物品识别数据。具体的，此时将所述第一物品识别数据和第三物品识别数据求交集所识别的物品识别数据在通过第一识别图像信息得到的第二物品识别数据取交集，进一步筛选，就可以更进一步的识别出物品识别数据。此时，识别的物品将更加精准。

具体的，在本申请的一个实施例中，所述通过所述第一识别图像信息确定第二物品识别数据，包括：

对所述第一识别图像信息进行第一处理，获取第一处理图像，所述第一处理为对所述第一识别图像信息进行校正处理；

对所述第一处理图像进行第二处理，获取第二处理图像，所述第二处理为对所述第一处理图像进行图像增强处理；

将所述第二处理图像与图片库中图像样本数据进行比对，设定所述第二处理图像与所述图像样本数据的相似度阈值，获取第二物品识别数据。

具体的，在本申请的一个实施例中，所述将所述第二处理图像与图片库中图像样本数据进行比对，设定所述第二处理图像与所述图像样本数据的相似度阈值，获取第二物品识别数据，包括：

将所述第二处理图像的图像特征信息分别与图片库中图像样本数据中的每个图像样本数据的图像特征信息进行相似度比较，并从所述图片库中图像样本数据中选择出相似度满足第一设定条件的第一目标图像样本，以及从所述图片库中图像样本数据中选择出相似度满足第二设定条件的第二目标图像样本；具体的，通过将所述第二处理图像的图像特征信息分别与图片库中图像样本数据中的每个图像样本数据的图像特征信息进行相似度比较的方式，可以从所述图片库中图像样本数据中选择出相似度满足第一设定条件的第一目标图像样本，这里的第一目标图像样本为主视图的图像样本，以及可以从所述图片库中图像样本数据中选择出相似度满足第二设定条件的第二目标图像样本，这里的第二目标图像样本为俯视图的图像样本。

其中的第一设定条件，可以是指相似度大于第一相似度阈值，这样，可以通过相似度作为比较门槛来选定主视图的图像样本；或者，第一设定条件可以是指按相似度由高到低的顺序从相似度最高开始选择第一预定数量的主视图的图像样本作为第一目标图像样本，这样，同时结合相似度和数量作为限制。

与第一设定条件类似的，第二设定条件可以是指相似度大于第二相似度阈值，这样，可以通过相似度作为比较门槛来选定第二目标图像样本；或者，第二设定条件可以是指按相似度由高到低的顺序从相似度最高开始选择第二预定数量的俯视图的样本作为第二目标图像样本，这样，同时结合相似度和数量作为限制。

对于第一设定条件和第二设定条件，其中的第一相似度阈值和第二相似度阈值可以相等或者也可以不等，以及，其中的第一预定数量和第二预定数量可以相等或者也可以不等，也就是说，对于第一目标图像样本和第二目标图像样本的选取可以设定完全相同的筛选条件，或者也可以分别设置不同的筛选条件，本公开实施例对此不作限制。

确定所述第二目标图像样本的平均图像结构特征相对于所述第一目标图像样本的平均图像结构特征的图像结构特征差异，以及确定所述第二目标图像样本的平均图像色度特征相对于所述第一目标图像样本的平均图像色度特征的图像色度特征差异；

具体的，图像结构特征是用于描述整个图像的结构参数，在具体实施过程中，例如可以通过VGG网络(一种神经卷积网络)提取各个图像样本的图像结构特征和图像色度特征，通过VGG网络提取得到的图像结构特征和图像色度特征例如可整体以VGG特征表示。如此，可以得到第一目标图像样本中的所有图像部样本的平均图像结构特征和平均图像色度特征，以及可以得到第二目标图像样本中的所有图像样本的平均图像结构特征和平均图像色度特征。进一步的可以得到第一目标图像样本的平均图像结构特征相对于第二目标图像样本的平均图像结构特征的图像结构特征差异，以及可以得到第一目标图像样本的平均图像色度特征相对于第二目标图像样本的平均图像色度特征的图像色度特征差异。

根据所述图像结构特征差异和所述图像色度特征差异对所述第二处理图像进行图像结构处理和图像色度处理，分别得到与所述第一目标图像样本和第二目标图像样本相适配的所述第二处理图像的第三处理图像和第四处理图像；具体的，通过图像结构特征差异和图像色度特征差异的参数，可以获取对图像采集设备所采集的图像的处理参数，按照图像结构特征差异，对第二处理图像进行结构变换，以达到与第一目标图像样本、第二目标图像样本中的图像样本具有相适配的结构参数，通过对第二处理图像进行图像色度处理，以达到与第一目标图像样本、第二目标图像样本中的图像样本具有相适配的色度参数，以更好的通过第一目标图像样本、第二目标图像样本完成对物品的识别，所述第三处理图像与第四处理图像就是通过对第二处理图像依次经过图像结构处理和图像色度处理后的正视图的图像和俯视图的图像。

分别比较第三处理图像与第一目标样本图像、第四处理图像与第二目标样本图像的相似度，并依据设定的相似度阈值，获取第二物品识别数据。具体的，由于第三处理图像、第四处理图像是第二处理图像经过图像结构处理和图像色度处理后的主视图图像和俯视图图像，因此，第三处理图像与第一目标图像样本能够实现识别适配，第四处理图像与第二目标图像样本相识别适配。

所述从所述图片库中图像样本数据中选择出相似度满足第一设定条件的第一目标图像样本，以及从所述图片库中图像样本数据中选择出相似度满足第二设定条件的第二目标图像样本，包括：

将所述第二处理图像的描述特征分别与每个样本的描述特征进行相似度比较，并按照相似度由高到低的顺序，从所述图片库中图像样本数据中筛选出相似度满足第一子条件的候选第一目标样本图像，以及从所述图片库中图像样本数据中筛选出相似度满足第二子条件的候选第二目标图像样本，其中，所述第一子条件为图像的正面视图，第二子条件为图像的俯视图；

将所述第二处理图像的关键点信息分别与所述候选第一目标样本图像和所述候选第二目标图像样本中的每个图像样本进行关键点的相似度匹配，并按照关键点的相似度由高到低的顺序，从所述候选第一目标样本图像筛选出关键点的相似度满足设定阈值的所述第一目标样本图像，以及从所述候选第二目标图像样本中筛选出关键点的相似度满足设定阈值的所述第二目标图像样本。

具体的，在本申请的一个实施例中，所述对所述第一识别图像信息进行第一处理，获取第一处理图像，所述第一处理为对所述第一识别图像信息进行校正处理，包括：

对所述第一识别图像信息中的相邻图像进行校正处理，所述相邻图像为同一个图像采集设备在所采集的相邻的两个图像，所述相邻图像进行校正处理的步骤包括：

获取第一识别图像信息中的任意一帧图像作为基础图像；

计算所述基础图像中的中心图像块与所述基础图像的相邻图像中任意图像块的相似程度值：

;

其中，为所述基础图像的相邻图像中第k个图像块的像素均值，/>为基础图像块的像素均值，/>为所述基础图像的相邻图像的任意图像块的像素均值。

将相似程度值最高的对应图像块/>作为中心图像块/>在相邻图像中的匹配图像块；

分别提取和/>在8个方向上的SIFT特征点，并对特征点进行匹配，得到特征点的匹配集合为{/>},其中，/>为一组匹配的SIFT特征点，/>为基础图像/>在方向1的SIFT特征点，/>为基础图像的相邻图像/>中与基础图像/>的/>相匹配的特征点，构建特征点匹配矩阵：

；

依据特征点匹配矩阵与基本处理矩阵F的关系，对特征点匹配矩阵进行奇异值分解，分解后最小奇异值所对应的奇异矩阵即为基本处理矩阵F的解；

根据基本处理矩阵F的解，得到的极点；

对基础图像的相邻图像进行矩阵变换，同时将基础图像的视差转换为深度值；

将转换后的图像作为校正后的成像结果，并将校正后的基础图像对下一相邻图像的成像结果进行矩形变换校正，获取第一处理图像。

具体的，在本申请的一个实施例中，所述对所述第一处理图像进行第二处理，获取第二处理图像，所述第二处理为对所述第一处理图像进行图像增强处理，包括：

对所述第一处理图像中的每一个图像进行伽马增强处理，所述伽马增强处理为：

；

式中，为第二处理图像中的一个图像，/>为伽马参数，此时，第二处理图像的图像序列为：

。

式中，为对第一处理图像进行增强处理后的第二处理图像。

在本申请实施例中，通过获取仓内物品的多个第一识别图像信息，以及仓内RFID传感器所采集物品的第一识别数据信息；依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据；通过所述第一识别数据信息确定第一物品识别数据；通过所述第一识别图像信息确定第二物品识别数据；将第一物品识别数据和第二物品识别数据的交集作为物品识别数据。本申请能够提升仓内物品识别的效率，能够达到精准识别、快速识别的目标，并且能够有效防止商品识别错误问题。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图2是本申请一个实施例提供的仓内物品识别装置的结构示意图，如图2所示，所述仓内物品识别装置包括：

获取模块、识别模块；

获取模块，用于获取仓内物品的多个第一识别图像信息，以及仓内RFID传感器所采集物品的第一识别数据信息，所述第一识别图像信息为通过图像采集设备从多个角度采集的仓内物品图像信息；

识别模块，用于依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据；其中，所述依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据包括：通过所述第一识别数据信息确定第一物品识别数据；通过所述第一识别图像信息确定第二物品识别数据；将第一物品识别数据和第二物品识别数据的交集作为物品识别数据。

具体的，在本申请的另一个实施例中，所述获取模块用于获取仓内物品的数量信息及质量信息；依据所述物品的数量信息及质量信息，获取第三物品识别数据；所述识别模块用于根据所述第一物品识别数据、第二物品识别数据和第三物品识别数据，确定物品识别数据。

具体的，在本申请的另一个实施例中，所述识别模块用于将所述第一物品识别数据和第三物品识别数据求交集；将所述交集与所述第二物品识别数据求交集得到物品识别数据。

具体的，在本申请的另一个实施例中，所述识别模块用于对所述第一识别图像信息进行第一处理，获取第一处理图像，所述第一处理为对所述第一识别图像信息进行校正处理；对所述第一处理图像进行第二处理，获取第二处理图像，所述第二处理为对所述第一处理图像进行图像增强处理；将所述第二处理图像与图片库中图像样本数据进行比对，设定所述第二处理图像与所述图像样本数据的相似度阈值，获取第二物品识别数据。

具体的，在本申请的另一个实施例中，所述识别模块用于将所述第二处理图像的图像特征信息分别与图片库中图像样本数据中的每个图像样本数据的图像特征信息进行相似度比较，并从所述图片库中图像样本数据中选择出相似度满足第一设定条件的第一目标图像样本，以及从所述图片库中图像样本数据中选择出相似度满足第二设定条件的第二目标图像样本；确定所述第二目标图像样本的平均图像结构特征相对于所述第一目标图像样本的平均图像结构特征的图像结构特征差异，以及确定所述第二目标图像样本的平均图像色度特征相对于所述第一目标图像样本的平均图像色度特征的图像色度特征差异；根据所述图像结构特征差异和所述图像色度特征差异对所述第二处理图像进行图像结构处理和图像色度处理，分别得到与所述第一目标图像样本和第二目标图像样本相适配的所述第二处理图像的第三处理图像和第四处理图像；分别比较第三处理图像与第一目标样本图像、第四处理图像与第二目标样本图像的相似度，并依据设定的相似度阈值，获取第二物品识别数据。

具体的，在本申请的另一个实施例中，所述识别模块用于将所述第二处理图像的描述特征分别与每个样本的描述特征进行相似度比较，并按照相似度由高到低的顺序，从所述图片库中图像样本数据中筛选出相似度满足第一子条件的候选第一目标样本图像，以及从所述图片库中图像样本数据中筛选出相似度满足第二子条件的候选第二目标图像样本，其中，所述第一子条件为图像的正面视图，第二子条件为图像的俯视图；将所述第二处理图像的关键点信息分别与所述候选第一目标样本图像和所述候选第二目标图像样本中的每个图像样本进行关键点的相似度匹配，并按照关键点的相似度由高到低的顺序，从所述候选第一目标样本图像筛选出关键点的相似度满足设定阈值的所述第一目标样本图像，以及从所述候选第二目标图像样本中筛选出关键点的相似度满足设定阈值的所述第二目标图像样本。

具体的，在本申请的另一个实施例中，所述识别模块用于对所述第一识别图像信息中的相邻图像进行校正处理，所述相邻图像为同一个图像采集设备在所采集的相邻的两个图像，所述相邻图像进行校正处理的步骤包括：获取第一识别图像信息中的任意一帧图像作为基础图像；计算所述基础图像中的中心图像块与所述基础图像的相邻图像中任意图像块的相似程度值：

;

其中，为所述基础图像的相邻图像中第k个图像块的像素均值，/>为基础图像块的像素均值，/>为所述基础图像的相邻图像的任意图像块的像素均值；将相似程度值/>最高的对应图像块/>作为中心图像块/>在相邻图像中的匹配图像块；分别提取/>和/>在8个方向上的SIFT特征点，并对特征点进行匹配，得到特征点的匹配集合为{/>},其中，/>为一组匹配的SIFT特征点，/>为基础图像/>在方向1的SIFT特征点，/>为基础图像的相邻图像/>中与基础图像/>的/>相匹配的特征点，构建特征点匹配矩阵：

；

依据特征点匹配矩阵与基本处理矩阵F的关系，对特征点匹配矩阵进行奇异值分解，分解后最小奇异值所对应的奇异矩阵即为基本处理矩阵F的解；根据基本处理矩阵F的解，得到的极点；对基础图像的相邻图像进行矩阵变换，同时将基础图像的视差转换为深度值；将转换后的图像作为校正后的成像结果，并将校正后的基础图像对下一相邻图像的成像结果进行矩形变换校正，获取第一处理图像。

具体的，在本申请的另一个实施例中，所述识别模块用于对所述第一处理图像中的每一个图像进行伽马增强处理，所述伽马增强处理为：

；式中，/>为第二处理图像中的一个图像，/>为伽马参数，此时，第二处理图像的图像序列为：

。

在本申请实施例中，通过获取模块获取仓内物品的多个第一识别图像信息，以及仓内RFID传感器所采集物品的第一识别数据信息，所述第一识别图像信息为通过图像采集设备从多个角度采集的仓内物品图像信息；识别模块依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据；其中，所述依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据包括：通过所述第一识别数据信息确定第一物品识别数据；通过所述第一识别图像信息确定第二物品识别数据；将第一物品识别数据和第二物品识别数据的交集作为物品识别数据。本申请能够提升仓内物品识别的效率，能够达到精准识别、快速识别的目标，并且能够有效防止商品识别错误问题。

关于仓内物品识别装置的具体限定可以参见上文中对于仓内物品识别方法的限定，在此不再赘述。上述仓内物品识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

特别地，根据本公开的实施例，如图3所示，本发明公开一种电子设备，该设备包括一个或者多个处理器和存储器，存储器，用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，使得所述处理器实现本发明实施例所述的仓内物品识别方法。

特别地，根据本公开的实施例，上述任一实施例描述的仓内物品识别方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行仓内物品识别方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。

所述一个或多个程序被存储在只读存储器ROM中的程序或者随机访问存储器RAM中的程序而执行各种适当的动作和处理。在随机访问存储器RAM中，包括服务器完成相应业务的软件程序，还包括车辆驾驶操作所需的各种程序和数据。服务器与其被控制的硬件设备、只读存储器ROM、随机访问存储器RAM通过总线彼此相连，各种输入/输出接口也连接至总线。

以下部件连接至输入/输出接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管CRT、液晶显示器LCD等以及扬声器等的输出部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至输入/输出接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储器。

特别地，根据本公开的实施例，上述任一实施例描述的仓内物品识别方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行仓内物品识别方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种仓内物品识别方法，其特征在于，所述方法包括：

获取仓内物品的多个第一识别图像信息，以及仓内RFID传感器所采集物品的第一识别数据信息，所述第一识别图像信息为通过图像采集设备从多个角度采集的仓内物品图像信息；

依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据；

其中，所述依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据包括：

通过所述第一识别数据信息确定第一物品识别数据；

通过所述第一识别图像信息确定第二物品识别数据；

将第一物品识别数据和第二物品识别数据的交集作为物品识别数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取仓内物品的数量信息及质量信息；

依据所述物品的数量信息及质量信息，获取第三物品识别数据；

根据所述第一物品识别数据、第二物品识别数据和第三物品识别数据，确定物品识别数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一物品识别数据、第二物品识别数据和第三物品识别数据，确定物品识别数据，包括：

将所述第一物品识别数据和第三物品识别数据求交集；

将所述交集与所述第二物品识别数据求交集得到物品识别数据。

4.根据权利要求1所述的方法，其特征在于，所述通过所述第一识别图像信息确定第二物品识别数据，包括：

对所述第一识别图像信息进行第一处理，获取第一处理图像，所述第一处理为对所述第一识别图像信息进行校正处理；

对所述第一处理图像进行第二处理，获取第二处理图像，所述第二处理为对所述第一处理图像进行图像增强处理；

将所述第二处理图像与图片库中图像样本数据进行比对，设定所述第二处理图像与所述图像样本数据的相似度阈值，获取第二物品识别数据。

5.根据权利要求4所述的方法，其特征在于，所述将所述第二处理图像与图片库中图像样本数据进行比对，设定所述第二处理图像与所述图像样本数据的相似度阈值，获取第二物品识别数据，包括：

将所述第二处理图像的图像特征信息分别与图片库中图像样本数据中的每个图像样本数据的图像特征信息进行相似度比较，并从所述图片库中图像样本数据中选择出相似度满足第一设定条件的第一目标图像样本，以及从所述图片库中图像样本数据中选择出相似度满足第二设定条件的第二目标图像样本；

确定所述第二目标图像样本的平均图像结构特征相对于所述第一目标图像样本的平均图像结构特征的图像结构特征差异，以及确定所述第二目标图像样本的平均图像色度特征相对于所述第一目标图像样本的平均图像色度特征的图像色度特征差异；

根据所述图像结构特征差异和所述图像色度特征差异对所述第二处理图像进行图像结构处理和图像色度处理，分别得到与所述第一目标图像样本和第二目标图像样本相适配的所述第二处理图像的第三处理图像和第四处理图像；

分别比较第三处理图像与第一目标样本图像、第四处理图像与第二目标样本图像的相似度，并依据设定的相似度阈值，获取第二物品识别数据。

6.根据权利要求5所述的方法，其特征在于，所述从所述图片库中图像样本数据中选择出相似度满足第一设定条件的第一目标图像样本，以及从所述图片库中图像样本数据中选择出相似度满足第二设定条件的第二目标图像样本，包括：

将所述第二处理图像的描述特征分别与每个样本的描述特征进行相似度比较，并按照相似度由高到低的顺序，从所述图片库中图像样本数据中筛选出相似度满足第一子条件的候选第一目标样本图像，以及从所述图片库中图像样本数据中筛选出相似度满足第二子条件的候选第二目标图像样本，其中，所述第一子条件为图像的正面视图，第二子条件为图像的俯视图；

将所述第二处理图像的关键点信息分别与所述候选第一目标样本图像和所述候选第二目标图像样本中的每个图像样本进行关键点的相似度匹配，并按照关键点的相似度由高到低的顺序，从所述候选第一目标样本图像筛选出关键点的相似度满足设定阈值的所述第一目标样本图像，以及从所述候选第二目标图像样本中筛选出关键点的相似度满足设定阈值的所述第二目标图像样本。

7.根据权利要求4所述的方法，其特征在于，所述对所述第一识别图像信息进行第一处理，获取第一处理图像，所述第一处理为对所述第一识别图像信息进行校正处理，包括：

对所述第一识别图像信息中的相邻图像进行校正处理，所述相邻图像为同一个图像采集设备在所采集的相邻的两个图像，所述相邻图像进行校正处理的步骤包括：

获取第一识别图像信息中的任意一帧图像作为基础图像；

计算所述基础图像中的中心图像块与所述基础图像的相邻图像中任意图像块的相似程度值：

;

其中，为所述基础图像的相邻图像中第k个图像块的像素均值，/>为基础图像块的像素均值，/>为所述基础图像的相邻图像的任意图像块的像素均值；

将相似程度值最高的对应图像块/>作为中心图像块/>在相邻图像中的匹配图像块；

分别提取和/>在8个方向上的SIFT特征点，并对特征点进行匹配，得到特征点的匹配集合为{/>},其中，/>为一组匹配的SIFT特征点，/>为基础图像/>在方向1的SIFT特征点，/>为基础图像的相邻图像/>中与基础图像/>的/>相匹配的特征点，构建特征点匹配矩阵：

；

依据特征点匹配矩阵与基本处理矩阵F的关系，对特征点匹配矩阵进行奇异值分解，分解后最小奇异值所对应的奇异矩阵即为基本处理矩阵F的解；

根据基本处理矩阵F的解，得到的极点；

对基础图像的相邻图像进行矩阵变换，同时将基础图像的视差转换为深度值；

将转换后的图像作为校正后的成像结果，并将校正后的基础图像对下一相邻图像的成像结果进行矩形变换校正，获取第一处理图像。

8.根据权利要求4所述的方法，其特征在于，所述对所述第一处理图像进行第二处理，获取第二处理图像，所述第二处理为对所述第一处理图像进行图像增强处理，包括：

对所述第一处理图像中的每一个图像进行伽马增强处理，所述伽马增强处理为：

；

式中，为第二处理图像中的一个图像，/>为伽马参数，此时，第二处理图像的图像序列为：

。

9.一种仓内物品识别装置，其特征在于，所述装置包括：

获取模块，用于获取仓内物品的多个第一识别图像信息，以及仓内RFID传感器所采集物品的第一识别数据信息，所述第一识别图像信息为通过图像采集设备从多个角度采集的仓内物品图像信息；

识别模块，用于依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据；其中，所述依据所述第一识别图像信息和第一识别数据信息，确定物品识别数据包括：通过所述第一识别数据信息确定第一物品识别数据；通过所述第一识别图像信息确定第二物品识别数据；将第一物品识别数据和第二物品识别数据的交集作为物品识别数据。

10.一种电子设备，其特征在于，所述设备包括一个或者多个处理器和存储器，所述存储器用于存储一个或多个程序；

当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1至8中任一项所述的方法。