CN109840503B - 一种确定种类信息的方法及装置 - Google Patents

Abstract

本发明公开了一种确定种类信息的方法及装置，用于解决现有技术中存在的使用无人售货柜零售商品时，商品识别率低的问题。本发明实施例首先通过位于同一区域不同位置的多个摄像头采集多帧视频帧数据，然后将每帧视频帧数据输入到基于深度学习构建的模型中，得到至少一个目标对象在视频帧中的位置信息和目标对象对应的种类信息，最后将得到的位置信息进行融合，得到轨迹信息后，确定每个轨迹信息中同一个目标对象的数量不小于阈值的所有目标对象对应的种类信息为所述轨迹信息对应的种类信息，由于采用不同位置的多个摄像头采集视频帧，再对视频帧进行分析，得到目标对象的轨迹信息，最后根据轨迹信息确定种类信息，从而能够提高种类信息识别率。

Description

一种确定种类信息的方法及装置

技术领域

本发明涉及无人售货柜技术领域，特别涉及一种确定种类信息的方法及装置。

背景技术

随着人工智能技术的发展，各行各业已经开始应用人工智能来降低行业运营成本，以及提供效率。

在新零售领域，如何利用人工智能技术降低运营成本已经成为人们研究的重点。基于人工智能技术，在新零售领域无人售货柜已经慢慢进入了人们的生活。

目前，使用无人售货柜零售商品时，需要使用额外的标签，通过自动扫码商品上的标签来识别顾客购买了几个商品，购买的商品的种类，如果顾客需要购买的商品上的标签被遮挡，则无法自动扫码，也就无法识别顾客需要购买的商品是什么种类的商品，顾客一共购买了几样商品。

综上所述，现有技术在使用无人售货柜零售商品时，存在商品识别率低的问题。

发明内容

本发明提供一种确定种类信息的方法及装置，用以解决现有技术中存在的使用无人售货柜零售商品时，商品识别率低的问题。

第一方面，本发明实施例提供一种确定种类信息的方法，该方法包括：

通过位于同一区域不同位置的多个摄像头采集多帧视频帧数据；

针对一个摄像头采集到的多帧视频帧数据，将采集到的视频帧数据输入到基于深度学习构建的模型中，得到所述至少一个目标对象在所述视频帧中的位置信息以及每个目标对象对应的种类信息；

将得到的所述至少一个目标对象在所述视频帧中的位置信息进行融合，得到N个轨迹信息，N为自然数；

针对一个轨迹信息，确定所述轨迹信息中同一个目标对象的数量不小于阈值的所有目标对象对应的种类信息为所述轨迹信息对应的种类信息。

上述方法，首先通过位于同一区域不同位置的多个摄像头采集多帧视频帧数据，然后针对每个摄像头采集到的多帧视频帧数据，将采集到的视频帧数据输入到基于深度学习构建的模型中，得到至少一个目标对象在该视频帧中的位置信息和每个目标对象对应的种类信息，最后将得到的至少一个目标对象在视频帧中的位置信息进行融合，得到N个轨迹信息后，针对一个轨迹信息，确定该轨迹信息中同一个目标对象的数量不小于阈值的所有目标对象对应的种类信息为所述轨迹信息对应的种类信息，由于采用不同位置的多个摄像头采集多帧视频帧，再对多帧视频帧进行分析，得到目标对象的N个轨迹信息，最后根据轨迹信息确定种类信息，从而能够提高种类信息识别率。

在一种可能的实现方式中，所述将采集到的视频帧数据输入到基于深度学习构建的模型中，得到所述至少一个目标对象在所述视频帧中的位置信息以及每个目标对象对应的种类信息，包括：

将采集到的视频帧数据输入到基于深度学习构建的目标检测模型中，得到所述多帧视频帧中至少一个目标对象特征信息和至少一个目标对象在所述视频帧中的位置信息；

将所述得到的至少一个目标对象特征信息输入到基于深度学习构建的特征识别模型中，得到每个目标对象对应的种类信息。

上述方法，给出了通过基于深度学习构建的目标检测模型和基于深度学习构建的特征识别模型得到至少一个目标对象在视频帧中的位置信息和每个目标对象对应的种类信息的方法，由于目标检测模型和特征识别模型是基于深度学习构建的，因此能够准确的获得至少一个目标对象在视频帧中的位置信息和每个目标对象对应的种类信息。

在一种可能的实现方式中，所述将所述得到的至少一个目标对象特征信息输入到基于深度学习构建的特征识别模型中，得到每个目标对象对应的种类信息，包括：

将所述得到的至少一个目标对象特征信息输入到基于深度学习构建的特征识别模型中，提取所述目标对象中映射种类信息并以向量的形式输出；

根据基于所述特征识别模型所构建的向量和种类信息的映射关系，获取所述特征识别模型输出的向量对应的种类信息。

上述方法，首先根据基于深度学习构建的特征识别模型得向量，再根据得到的向量以及向量和种类信息的映射关系确定种类信息，由于采用了向量和种类信息的映射关系，因此在有新的目标对象时，无需重新构建特征识别模型，从而能够节省时间。

在一种可能的实现方式中，该方法还包括：

若无法获取所述特征识别模型输出的向量对应的种类信息，则将所述目标对象特征信息输入到当前的特征识别模型，提取与所述目标对象特征信息对应的向量；

根据所述目标对象特征信息对应的向量和所述目标对象特征信息对应的种类信息，更新所述向量和种类信息的映射关系。

上述方法，给出了如何更新向量和种类信息的映射关系，首先将目标对象特征信息输入到当前的特征识别模型，得到与该目标对象对应的向量，然后再建立该向量和种类信息的对应关系，从而更新现有的向量和种类信息的对应关系。

在一种可能的实现方式中，所述将得到的多帧视频帧中的每个目标对象对应的位置信息进行融合，包括：

将所述多帧视频帧中每个目标对象对应的位置信息通过预设算法转换为参考坐标系中对应的坐标信息；

删除在不同时刻采集到的视频帧中同一目标对象在所述参考坐标系中存在相同坐标信息，且所述相同坐标信息的个数为偶数的坐标信息；

将删除坐标信息后的坐标信息进行融合。

上述方法，由于删除了不同时刻采集到的视频帧中同一目标对象在参考坐标系中存在相同坐标信息，且该相同坐标信息的个数为偶数的坐标信息，因此可以精确确认种类信息。

第二方面，本发明实施例提供一种确定种类信息的装置，该装置包括：至少一个处理单元及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行下列过程：

通过位于同一区域不同位置的多个摄像头采集多帧视频帧数据；

针对一个摄像头采集到的多帧视频帧数据，将采集到的视频帧数据输入到基于深度学习构建的模型中，得到至少一个目标对象在所述视频帧中的位置信息以及每个目标对象对应的种类信息；

将得到的所述至少一个目标对象在所述视频帧中的位置信息进行融合，得到N个轨迹信息，N为自然数；

针对一个轨迹信息，确定所述轨迹信息中同一个目标对象的数量不小于阈值的所有目标对象对应的种类信息为所述轨迹信息对应的种类信息。

在一种可能的实现方式中，所述处理单元具体用于：

将采集到的视频帧数据输入到基于深度学习构建的目标检测模型中，得到所述多帧视频帧中至少一个目标对象特征信息和至少一个目标对象在所述视频帧中的位置信息；

将所述得到的至少一个目标对象特征信息输入到基于深度学习构建的特征识别模型中，得到每个目标对象对应的种类信息。

在一种可能的实现方式中，所述处理单元具体用于：

将所述得到的至少一个目标对象特征信息输入到基于深度学习构建的特征识别模型中，提取所述目标对象中映射种类信息并以向量的形式输出；

根据基于所述特征识别模型所构建的向量和种类信息的映射关系，获取所述特征识别模型输出的向量对应的种类信息。

在一种可能的实现方式中，所述处理单元还用于：

若无法获取所述特征识别模型输出的向量对应的种类信息，则将所述目标对象特征信息输入到当前的特征识别模型，提取与所述目标对象特征信息对应的向量；

根据所述目标对象特征信息对应的向量和所述目标对象特征信息对应的种类信息，更新所述向量和种类信息的映射关系。

在一种可能的实现方式中，所述处理单元具体用于：

将所述多帧视频帧中每个目标对象对应的位置信息通过预设算法转换为参考坐标系中对应的坐标信息；

删除在不同时刻采集到的视频帧中同一目标对象在所述参考坐标系中存在相同坐标信息，且所述相同坐标信息的个数为偶数的坐标信息；

将删除坐标信息后的坐标信息进行融合。

第三方面，本发明实施例还提供一种确定种类信息的装置，该装置包括：

采集模块：用于通过位于同一区域不同位置的多个摄像头采集多帧视频帧数据；

处理模块，用于针对一个摄像头采集到的多帧视频帧数据，将采集到的视频帧数据输入到基于深度学习构建的模型中，得到至少一个目标对象在所述视频帧中的位置信息以及每个目标对象对应的种类信息；

融合模块：用于将得到的所述至少一个目标对象在所述视频帧中的位置信息进行融合，得到N个轨迹信息，N为自然数；

确定模块：用于针对一个轨迹信息，确定所述轨迹信息中同一个目标对象的数量不小于阈值的所有目标对象对应的种类信息为所述轨迹信息对应的种类信息。

第四方面，本发明实施例还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面所述方法的步骤。

另外，第二方面至第四方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。

本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种确定种类信息的方法流程示意图；

图2为本发明实施例提供的一种确定种类信息的完整方法流程示意图；

图3为本发明实施例提供的第一种确定种类信息的在装置结构示意图；

图4为本发明实施例提供的第二种确定种类信息的在装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在新零售领域，无人售货柜越来越普遍，当顾客购买商品时，无人售货柜可以自动识别顾客购买了几种商品，购买的商品的种类。首先，顾客扫码打开无人售货柜，无人售货柜感应到顾客的手的动作时，触发多个摄像头采集视频帧，然后通过分析多个摄像头采集到的多帧视频帧，确定顾客拿了几个商品，每个商品的种类，最后根据商品的个数和每个商品的种类进行结算。

本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

针对上述应用场景，本发明实施例提供了一种确定种类信息的方法，如图1所示，该方法具体包括如下步骤：

S100、通过位于同一区域不同位置的多个摄像头采集多帧视频帧数据；

S101、针对一个摄像头采集到的多帧视频帧数据，将采集到的视频帧数据输入到基于深度学习构建的模型中，得到至少一个目标对象在所述视频帧中的位置信息以及每个目标对象对应的种类信息；

S102、将得到的所述至少一个目标对象在所述视频帧中的位置信息进行融合，得到N个轨迹信息，N为自然数；

S103、针对一个轨迹信息，确定所述轨迹信息中同一个目标对象的数量不小于阈值的所有目标对象对应的种类信息为所述轨迹信息对应的种类信息。

这里，用于采集视频帧的多个摄像头是位于同一区域不同位置的多个摄像头，比如，无人售货柜有多层，每层都摆放有多个商品，这样，在设置多个摄像头的位置时，可以在每层的上、下、左、右各设置一个摄像头，这样，在顾客拿取商品时，可以从多个角度采集视频帧，能够保证顾客拿取的商品可以尽可能全面的拍摄到。

比如，顾客一次拿了三个商品，其中有一个商品比较小，夹在另外两个商品中间，如果只有一个右边的摄像头，则可能会拍摄不到夹在中间的较小商品，如果设置了不同位置的多个摄像头，上方或下方的摄像头可以拍摄到夹在中间的较小商品，这样可以提高识别率。

当摄像头采集视频帧数据时，可以周期性采集，比如每隔1s采集一次，在顾客结账之前，摄像头可以一直采集视频帧数据，一个摄像头会采集多帧视频数据帧。

多个摄像头采集多帧视频帧数据后，可以针对每个摄像头采集到的多帧视频帧数据进行分析。

对一个摄像头采集到的多帧视频帧数据进行分析时，可以将每个视频帧数据输入到基于深度学习构建的模型中，然后得到至少一个目标对象在该视频帧中的位置信息以及每个目标对象对应的种类信息。

其中，基于深度学习构建的模型，可以包含两个模型，一个是基于深度学习构建的目标检测模型，另一个是基于深度学习构建的特征识别模型。

基于深度学习可以按照如下方法构建模型：

1)获取包括多个训练样本的训练样本集及包括多个测试样本的测试样本集，每个训练样本/测试样本包括目标对象图像及目标对象对应的种类信息；

2)随机化深度学习网络模型的模型参数得到初始的预测识别模型，上述预测识别模型包括多个特征提取网络层；

对上述深度学习网络模型不做过多限定，本领域的技术人员可根据实际需求设置，在本实施例中，上述深度学习网络模型可以但不局限于包括：卷积神经网络CNN(Convolutional Neural Network)、循环神经网络RNN(Recurrent Neural Network)、深度神经网络DNN(Deep Neural Networks)等；

3)触发模型训练时，利用上述训练样本集中的预设数量的训练样本，对当前预测识别模型进行至少一次训练，每次训练结束后，利用上述测试样本集中的测试样本对训练后的预测识别模型进行测试，确定测试结果满足预设精度要求时，结束训练过程，将除去最后一个特征提取网络层的当前的预测识别模型输出为上述模型。

对上述获取训练样本集及测试样本集的方式不做过多限定，本领域的技术人员可根据实际需求设置，在本实施例中，上述训练样本集及测试样本集由技术人员提前采集大量数据获得；

对上述预设数量不做过多限定，本领域的技术人员可根据实际需求设置。

将视频帧数据输入到基于深度学习构建的目标检测模型中，得到该视频帧中至少一个目标对象特征信息和至少一个目标对象在该视频帧中的位置信息，然后将得到的至少一个目标对象特征信息输入到基于深度学习构建的特征识别模型中，得到每个目标对象对应的种类信息。

顾客在从无人售货柜购买商品时，顾客可能会一次拿多个商品，将摄像头采集到的视频帧数据输入到基于深度学习构建的目标检测模型中，输出的目标对象特征信息可能会包含多个，也就是在该视频帧中包含多个目标对象。

在实施中，将得到的至少一个目标对象特征信息输入到基于深度学习构建的特征识别模型中，得到每个目标对象对应的种类信息，可以首先将得到的至少一个目标对象特征信息输入到基于深度学习构建的特征识别模型中，提取该目标对象中映射种类信息并以向量的形式输出；然后根据基于所述特征识别模型所构建的向量和种类信息的映射关系，获取所述特征识别模型输出的向量对应的种类信息。

在具体实施中，基于特征识别模型构建向量和种类信息的映射关系，可以分别将预设数量的训练样本中的目标对象特征信息输入当前的特征识别模型，提取与该目标对象特征信息对应的向量；然后根据该目标对象特征信息对应的向量和在训练样本中对应的种类信息，构建该向量和种类信息的映射关系。

如果有新的目标对象特征信息，也就是在预设数量的训练样本中不包含该目标对象特征信息，则无需重新训练特征识别模型，可以更新向量和种类信息的映射关系。

具体的，将训练样本中没有的目标对象特征信息输入到当前的特征识别模型中，提取与该目标对象特征信息对应的向量；然后根据该目标对象特征信息对应的向量和该目标对象特征信息对应的种类信息，更新向量和种类信息的映射关系，也就是将向量和种类信息的映射关系加入到更新前的向量和种类信息的映射关系中。

以上是对每个摄像头的每帧视频帧数据进行了分析，得到每个目标对象在每帧视频帧中的位置信息以及每个目标对象对应的种类信息，由于顾客在拿取商品后，还存在放回的可能，为了更准确的获取顾客最终拿取的商品个数以及每个商品对应的种类信息，还可以将得到的至少一个目标对象在每个视频帧中的位置信息进行融合，得到N个轨迹信息，这里的N为自然数；然后再针对每个轨迹信息，确定在每个轨迹信息中同一个目标对象的数量不小于阈值的所有目标对象对应的种类信息为所述轨迹信息对应的种类信息。

在具体实施中，由于存在多个不同位置的摄像头，因此采集到的视频帧针对目标对象是基于不同角度的，所以目标对象在视频帧中的位置信息是基于不同坐标的，为了得到最终的轨迹信息，则需要将不同角度获取到的视频帧中的目标对象的位置信息转换的到同一个坐标系中，在此暂且称为参考坐标系，参考坐标系可以设置为一个三维坐标系。

具体的，将不同角度获取到的视频帧中的目标对象的位置信息转换的到同一个坐标系中，可以通过预设算法实现，比如根据摄像头的位置信息确定预设算法，保证目标对象在同一个空间位置处，不同位置的摄像头采集多个视频帧，将在多个视频帧中该目标对象的位置信息转换到参考坐标系后，坐标信息是相同的。

下面进行举例说明。

比如有3个摄像头，摄像头1，摄像头2和摄像头3，在某一时刻，摄像头1获取到两个目标对象，目标对象1，目标对象2，摄像头2获取到两个目标对象，目标对象1和目标对象2，摄像头3获取到一个目标对象，目标对象1，通过每个目标对象在每个视频帧中的位置信息，根据预设算法将目标对象1在两帧视频帧中的位置信息，确定在参考坐标系中的坐标信息，根据预设算法将目标对象2在三帧视频帧中的位置信息，确定在参考坐标系中的坐标信息，最终在参考坐标系中确定的目标对象1的两个坐标信息是相同的，在参考坐标系中确定的目标对象2的三个坐标信息也是相同的。

将每个目标对象在视频帧中的位置信息转换为参考坐标系中的坐标信息后，将转换后的坐标信息进行融合，得到N个轨迹信息。

这里需要说明的是，多个摄像头采集到的视频帧数据中，还包括顾客的手部特征信息，这里可以根据顾客的手部特征信息以及目标对象在参考坐标系中的坐标信息确定轨迹信息。

由于视频帧数据中会包含时间信息，也就是采集该视频帧数据时的时刻，从而目标对象在参考坐标系中的坐标信息也存在时间信息，也就是该目标对象在哪个时刻位于该参考坐标系的该坐标信息处。

在将转换后的坐标信息进行融合，得到N个轨迹信息时，可以设定一个正方向，当形成轨迹信息时，可以将时间由小到大的轨迹作为正向轨迹，将时间由大到小的轨迹作为负向轨迹，如果同一个目标对象存在一个正向轨迹和一个负向轨迹，则说明顾客将该商品从无人售货柜拿出来后，又放了回去，此时该目标对象不在顾客拿取的商品之内，也就是在顾客结账时不将该商品计算在内。

确定了N个轨迹信息后，由于每个轨迹信息是通过目标对象在参考坐标系中的坐标信息融合得到的，所以，在每个轨迹信息中存在多个目标对象的坐标信息，为了提高目标对象识别率，防止一些误判断的发生，针对一个轨迹信息，还需要确定该轨迹信息对应的种类信息。

确定该轨迹信息对应的种类信息时，确定在该轨迹信息中的坐标信息对应的所有目标对象的数量，如果同一个目标对象的数量不小于阈值，则确定该轨迹信息对应的种类信息为该目标对象对应的种类信息。

比如在确定的轨迹信息中的所有坐标信息对应的目标对象有两个，目标对象1和目标对象2，其中，目标对象1的个数为5，目标对象2的个数为1，阈值为4，由于目标对象1的个数大于阈值，所以，确定该轨迹信息对应的种类信息为目标对象1对应的种类信息。

如图2所示，为本发明实施例一种确定种类信息的完整方法的流程示意图。

S200、检测到动作信息；

S201、触发多个摄像头采集视频帧；

S202、将采集到的视频帧输入到目标检测模型，得到至少一个目标对象特征信息和至少一个目标对象在该视频帧中的位置信息；

S203、将得到的至少一个目标对象特征信息输入到特征识别模型，提取所述目标对象中映射种类信息并以向量的形式输出；

S204、根据向量和种类信息的映射关系是否能够获取向量对应的种类信息；

S205、判断是否能够获取向量对应的种类信息，若是，则执行S206，否则执行S207；

S206、将得到的所述至少一个目标对象在所述视频帧中的位置信息进行融合，得到N个轨迹信息，执行步骤209；

S207、将所述目标对象特征信息输入到当前的特征识别模型，提取与该目标对象特征信息对应的向量；

S208、根据该目标对象特征信息对应的向量和所述目标对象特征信息对应的种类信息，更新向量和种类信息的映射关系，执行S204；

S209、针对一个轨迹信息，确定所述轨迹信息中同一个目标对象的数量不小于阈值的所有目标对象对应的种类信息为所述轨迹信息对应的种类信息。

基于同一发明构思，本发明实施例中还提供了一种确定种类信息的装置，由于该装置对应的是本发明实施例确定种类信息的方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

如图3所示，为本发明实施例提供了第一种确定种类信息的装置结构示意图，该装置包括：至少一个处理单元300及至少一个存储单元301，其中，所述存储单元301存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执300执行下列过程：

通过位于同一区域不同位置的多个摄像头采集多帧视频帧数据；

针对一个摄像头采集到的多帧视频帧数据，将采集到的视频帧数据输入到基于深度学习构建的模型中，得到至少一个目标对象在所述视频帧中的位置信息以及每个目标对象对应的种类信息；

将得到的所述至少一个目标对象在所述视频帧中的位置信息进行融合，得到N个轨迹信息，N为自然数；

针对一个轨迹信息，确定所述轨迹信息中同一个目标对象的数量不小于阈值的所有目标对象对应的种类信息为所述轨迹信息对应的种类信息。

可选的，所述处理单元300具体用于：

将采集到的视频帧数据输入到基于深度学习构建的目标检测模型中，得到所述视频帧中至少一个目标对象特征信息和至少一个目标对象在所述视频帧中的位置信息；

将所述得到的至少一个目标对象特征信息输入到基于深度学习构建的特征识别模型中，得到每个目标对象对应的种类信息。

可选的，所述处理单元300具体用于：

将所述得到的至少一个目标对象特征信息输入到所述基于深度学习构建的特征识别模型中，提取所述目标对象中映射种类信息并以向量的形式输出；

根据基于所述特征识别模型所构建的向量和种类信息的映射关系，获取所述特征识别模型输出的向量对应的种类信息。

可选的，所述处理单元300还用于：

若无法获取所述特征识别模型输出的向量对应的种类信息，则将所述目标对象特征信息输入到当前的特征识别模型，提取与所述目标对象特征信息对应的向量；

根据所述目标对象特征信息对应的向量和所述目标对象特征信息对应的种类信息，更新所述向量和种类信息的映射关系。

可选的，所述处理单元300具体用于：

将所述多帧视频帧中每个目标对象对应的位置信息通过预设算法转换为参考坐标系中对应的坐标信息；

将转换后的坐标信息进行融合。

如图4所示，为本发明实施例提供的第二种确定种类信息的装置结构示意图，该装置包括：采集模块400、处理模块401、融合模块402以及确定模块403：

采集模块400：用于通过位于同一区域不同位置的多个摄像头采集多帧视频帧数据；

处理模块401，用于针对一个摄像头采集到的多帧视频帧数据，将采集到的视频帧数据输入到基于深度学习构建的模型中，得到至少一个目标对象在所述视频帧中的位置信息以及每个目标对象对应的种类信息；

融合模块402：用于将得到的所述至少一个目标对象在所述视频帧中的位置信息进行融合，得到N个轨迹信息，N为自然数；

确定模块403：用于针对一个轨迹信息，确定所述轨迹信息中同一个目标对象的数量不小于阈值的所有目标对象对应的种类信息为所述轨迹信息对应的种类信息。

可选的，所述处理模块401具体用于：

将采集到的视频帧数据输入到基于深度学习构建的目标检测模型中，得到所述视频帧中至少一个目标对象特征信息和至少一个目标对象在所述视频帧中的位置信息；

将所述得到的至少一个目标对象特征信息输入到基于深度学习构建的特征识别模型中，得到每个目标对象对应的种类信息。

可选的，所述处理模块401具体用于：

将所述得到的至少一个目标对象特征信息输入到所述基于深度学习构建的特征识别模型中，提取所述目标对象中映射种类信息并以向量的形式输出；

根据基于所述特征识别模型所构建的向量和种类信息的映射关系，获取所述特征识别模型输出的向量对应的种类信息。

可选的，所述处理模块401具体用于：

若无法获取所述特征识别模型输出的向量对应的种类信息，则将所述目标对象特征信息输入到当前的特征识别模型，提取与所述目标对象特征信息对应的向量；

根据所述目标对象特征信息对应的向量和所述目标对象特征信息对应的种类信息，更新所述向量和种类信息的映射关系。

可选的，所述融合模块402具体用于：

将所述多帧视频帧中每个目标对象对应的位置信息通过预设算法转换为参考坐标系中对应的坐标信息；

将转换后的坐标信息进行融合。

本发明实施例还提供了一种确定种类信息的可读存储介质，包括程序代码，当所述程序代码在计算设备上运行时，所述程序代码用于使所述计算机设备执行确定种类信息的方法的步骤。

以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种确定种类信息的方法，其特征在于，该方法包括：

通过位于同一区域不同位置的多个摄像头采集多帧视频帧数据；

针对一个摄像头采集到的多帧视频帧数据，将采集到的视频帧数据输入到基于深度学习构建的模型中，得到至少一个目标对象在所述视频帧中的位置信息以及每个目标对象对应的种类信息；

将得到的所述至少一个目标对象在所述视频帧中的位置信息进行融合，得到N个轨迹信息，N为自然数；

针对一个轨迹信息，确定所述轨迹信息中同一个目标对象的数量不小于阈值的所有目标对象对应的种类信息为所述轨迹信息对应的种类信息。

2.如权利要求1所述的方法，其特征在于，所述将采集到的视频帧数据输入到基于深度学习构建的模型中，得到所述至少一个目标对象在所述视频帧中的位置信息以及每个目标对象对应的种类信息，包括：

将采集到的视频帧数据输入到基于深度学习构建的目标检测模型中，得到所述视频帧中至少一个目标对象特征信息和至少一个目标对象在所述视频帧中的位置信息；

将所述得到的至少一个目标对象特征信息输入到基于深度学习构建的特征识别模型中，得到每个目标对象对应的种类信息。

3.如权利要求2所述的方法，其特征在于，所述将所述得到的至少一个目标对象特征信息输入到基于深度学习构建的特征识别模型中，得到每个目标对象对应的种类信息，包括：

将所述得到的至少一个目标对象特征信息输入到所述基于深度学习构建的特征识别模型中，提取所述目标对象中映射种类信息并以向量的形式输出；

根据基于所述特征识别模型所构建的向量和种类信息的映射关系，获取所述特征识别模型输出的向量对应的种类信息。

4.如权利要求3所述的方法，其特征在于，该方法还包括：

若无法获取所述特征识别模型输出的向量对应的种类信息，则将所述目标对象特征信息输入到当前的特征识别模型，提取与所述目标对象特征信息对应的向量；

根据所述目标对象特征信息对应的向量和所述目标对象特征信息对应的种类信息，更新所述向量和种类信息的映射关系。

5.如权利要求1～4任一所述的方法，其特征在于，所述将得到的多帧视频帧中的每个目标对象对应的位置信息进行融合，包括：

将所述多帧视频帧中每个目标对象对应的位置信息通过预设算法转换为参考坐标系中对应的坐标信息；

将转换后的坐标信息进行融合。

6.一种确定种类信息的装置，其特征在于，该装置包括：至少一个处理单元及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行下列过程：

通过位于同一区域不同位置的多个摄像头采集多帧视频帧数据；

针对一个摄像头采集到的多帧视频帧数据，将采集到的视频帧数据输入到基于深度学习构建的模型中，得到至少一个目标对象在所述视频帧中的位置信息以及每个目标对象对应的种类信息；

将得到的所述至少一个目标对象在所述视频帧中的位置信息进行融合，得到N个轨迹信息，N为自然数；

针对一个轨迹信息，确定所述轨迹信息中同一个目标对象的数量不小于阈值的所有目标对象对应的种类信息为所述轨迹信息对应的种类信息。

7.如权利要求6所述的装置，其特征在于，所述处理单元具体用于：

将采集到的视频帧数据输入到基于深度学习构建的目标检测模型中，得到所述多帧视频帧中至少一个目标对象特征信息和至少一个目标对象在所述视频帧中的位置信息；

将所述得到的至少一个目标对象特征信息输入到基于深度学习构建的特征识别模型中，得到每个目标对象对应的种类信息。

8.如权利要求7所述的装置，其特征在于，所述处理单元具体用于：

将所述得到的至少一个目标对象特征信息输入到基于深度学习构建的特征识别模型中，提取所述目标对象中映射种类信息并以向量的形式输出；

根据基于所述特征识别模型所构建的向量和种类信息的映射关系，获取所述特征识别模型输出的向量对应的种类信息。

9.如权利要求8所述的装置，其特征在于，所述处理单元还用于：

若无法获取所述特征识别模型输出的向量对应的种类信息，则将所述目标对象特征信息输入到当前的特征识别模型，提取与所述目标对象特征信息对应的向量；

根据所述目标对象特征信息对应的向量和所述目标对象特征信息对应的种类信息，更新所述向量和种类信息的映射关系。

10.如权利要求6～9任一所述的装置，其特征在于，所述处理单元具体用于：

将所述多帧视频帧中每个目标对象对应的位置信息通过预设算法转换为参考坐标系中对应的坐标信息；

删除在不同时刻采集到的视频帧中同一目标对象在所述参考坐标系中存在相同坐标信息，且所述相同坐标信息的个数为偶数的坐标信息；

将删除坐标信息后的坐标信息进行融合。

Images