CN115619710A - 基于分步跟踪检测的物品数量统计方法、装置及设备 - Google Patents

Abstract

本发明提供一种基于分步跟踪检测的物品数量统计方法、装置及设备，该方法包括：获取待检测区域的待检测视频帧图片；其中，待检测区域为待检测的目标物品的数量的区域，目标物品为串类物品；基于待检测视频帧图片，获取在待检测视频帧图片中检测到各目标物品串的目标帧图片；基于各目标物品串对应的目标帧图片，检测各目标物品串中单个目标物品的第一数量；累加各目标物品串对应的第一数量，得到待检测区域内目标物品的数量。本发明实施例中，先检测目标物品串，再对各目标物品串中的单个目标物品的数量进行检测，由于相较于单个目标物品，目标物品串在待检测视频帧图片的图片中所占的像素更多，故可以有效提高检测目标物品的数量的准确率。

Description

基于分步跟踪检测的物品数量统计方法、装置及设备

技术领域

本发明涉及机器学习技术领域，尤其涉及一种基于分步跟踪检测的物品数量统计方法、装置及设备。

背景技术

检测樱桃番茄的数量是目前亟待解决的问题。现有的物体数量检测算法多数是通过对单个物体的数量进行统计，以检测樱桃番茄的数量，即对单个樱桃番茄进行标注，并累加检测到的樱桃番茄的数量。

但是，对于检测樱桃番茄的数量来说，由于单个樱桃番茄的体积较小，在拍摄到的待检测图像中，某些樱桃番茄容易受到其他樱桃番茄的遮挡，可能导致统计数量时遗漏樱桃番茄，从而导致检测的准确率不高。

发明内容

本发明提供一种基于分步跟踪检测的物品数量统计方法、装置及设备，用以解决现有技术中串类物品的检测准确率不高的问题。

本发明提供一种基于分步跟踪检测的物品数量统计方法，包括：

获取待检测区域的待检测视频帧图片；其中，所述待检测区域为待检测的目标物品的数量的区域，所述目标物品为串类物品；

基于所述待检测视频帧图片，获取在所述待检测视频帧图片中检测到各目标物品串的目标帧图片；

基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量；

累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述目标物品的数量。

根据本发明提供的一种基于分步跟踪检测的物品数量统计方法，所述基于所述待检测视频帧图片，获取在所述待检测视频帧图片中检测到各目标物品串的目标帧图片，包括：

将所述待检测视频帧图片输入至第一检测模型，得到所述第一检测模型输出的所述待检测视频帧图片的各帧图片中所述各目标物品串的位置信息；其中，所述第一检测模型用于从所述待检测视频帧图片的各帧图片中检测所述各目标物品串的位置信息；

将所述各目标物品串的位置信息输入至第二检测模型，得到所述第二检测模型输出的所述目标帧图片；其中，所述第二检测模型用于基于所述各目标物品串的位置信息，确定在所述待检测视频帧图片中检测到所述各目标物品串的目标帧图片。

根据本发明提供的一种基于分步跟踪检测的物品数量统计方法，所述第二检测模型具体用于：基于卡尔曼滤波算法，将检测到的所述各目标物品串的位置信息与通过预测到的各目标物品串的位置信息进行数据融合，得到数据融合后的各目标物品串的位置信息；再基于匈牙利匹配算法，基于数据融合后的各目标物品串的位置信息跟踪所述各目标物品串，并确定在所述待检测视频帧图片中检测到所述各目标物品串的目标帧图片。

根据本发明提供的一种基于分步跟踪检测的物品数量统计方法，所述基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量，包括：

基于拍摄所述各目标物品串对应的目标帧图片的时刻，选取最后时刻的目标帧图片作为所述各目标物品串对应的待检测帧图片；

基于所述待检测帧图片，检测所述各目标物品串中单个目标物品的第一数量。

根据本发明提供的一种基于分步跟踪检测的物品数量统计方法，所述基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量，包括：

所述待检测视频帧图片中，在所述目标帧图片的后M帧图片中均未检测到所述各目标物品串的情况下，将所述目标帧图片作为待检测帧图片，M为大于0的整数；

基于所述待检测帧图片，检测所述各目标物品串中单个目标物品的第一数量。

根据本发明提供的一种基于分步跟踪检测的物品数量统计方法，所述基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量，包括：

基于所述各目标物品串对应的目标帧图片，分别检测所述各目标物品串中X种类型的单个目标物品的数量作为X个第一数量，X为大于1的整数；

所述累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述目标物品的数量，包括：

基于所述X种类型，分别累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述X种类型对应的目标物品的数量。

根据本发明提供的一种基于分步跟踪检测的物品数量统计方法，所述目标物品包括樱桃番茄。

本发明还提供一种基于分步跟踪检测的物品数量统计装置，包括：

获取模块，用于获取待检测区域的待检测视频帧图片；其中，所述待检测区域为待检测的目标物品的数量的区域，所述目标物品为串类物品；

第一检测模块，用于基于所述待检测视频帧图片，获取在所述待检测视频帧图片中检测到各目标物品串的目标帧图片；

第二检测模块，用于基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量；

累加模块，用于累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述目标物品的数量。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于分步跟踪检测的物品数量统计方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于分步跟踪检测的物品数量统计方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于分步跟踪检测的物品数量统计方法。

本发明提供的基于分步跟踪检测的物品数量统计方法、装置及设备，由于相较于单个目标物品，目标物品串在待检测视频帧图片中所占的像素更多，故本发明实施例先检测目标物品串相较于检测单个目标物品的准确率更高，再基于待检测视频帧图片中检测到各目标物品串的目标帧图片，对各目标物品串中的单个目标物品的数量进行检测，最后累加各目标物品串检测得到的第一数量，作为待检测区域内目标物品的数量，可以有效提高检测目标物品的数量的准确率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于分步跟踪检测的物品数量统计方法的流程示意图；

图2是本发明提供的基于分步跟踪检测的物品数量统计方法中各樱桃番茄串的目标帧图片的示意图；

图3是本发明提供的基于分步跟踪检测的物品数量统计方法中对各樱桃番茄串的单个樱桃番茄检测的示意图；

图4是本发明提供的基于分步跟踪检测的物品数量统计装置的结构示意图；

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图描述本发明的基于分步跟踪检测的物品数量统计方法、装置及设备。

图1是本发明提供的基于分步跟踪检测的物品数量统计方法的流程示意图，如图1所示，该基于分步跟踪检测的物品数量统计方法包括步骤101至步骤104；其中：

步骤101、获取待检测区域的待检测视频帧图片；其中，所述待检测区域为待检测的目标物品的数量的区域，所述目标物品为串类物品；

步骤102、基于所述待检测视频帧图片，获取在所述待检测视频帧图片中检测到各目标物品串的目标帧图片；

步骤103、基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量；

步骤104、累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述目标物品的数量。

具体地，相关技术中，多数是通过对单个物体的数量进行统计，以检测樱桃番茄的数量，即对单个樱桃番茄进行标注与跟踪，并直接累加检测到的单个樱桃番茄的数量。对于检测樱桃番茄的数量来说，由于单个樱桃番茄的体积较小，在拍摄到的待检测图像中，某些樱桃番茄容易受到其他樱桃番茄的遮挡，可能导致统计数量时遗漏樱桃番茄，从而导致检测的准确率不高。

在本发明实施例中，可以先确定待检测目标物品的数量的待检测区域，再获取待检测区域的待检测视频帧图片，具体地，可以通过安装了拍摄设备的检测小车径直穿过待检测区域，以检测两侧的目标物品的数量。

需要说明的是，可以由拍摄设备拍摄完待检测区域，得到待检测视频帧图片；也可以将拍摄设备实时拍摄的视频帧图片作为待检测视频帧图片。

还需要说明的是，目标物品可以为串类物品，串类物品例如为串类水果，串类水果例如为樱桃番茄、葡萄等以串结成果实的水果。

本发明实施例在获取待检测视频帧图片后，可以获取在待检测视频帧图片中检测到各目标物品串的目标帧图片，再基于各目标物品串对应的目标帧图片，检测各目标物品串中单个目标物品的第一数量。

以目标物品串为樱桃番茄串为例，图2是本发明提供的基于分步跟踪检测的物品数量统计方法中各樱桃番茄串的目标帧图片的示意图，如图2所示，可以先对待检测视频帧图片中的各樱桃番茄串各分配一个标识ID，并获取待检测视频帧图片中检测到同一樱桃番茄串ID的所有帧图片，作为该樱桃番茄串对应的目标帧图片，以基于该樱桃番茄串对应的目标帧图片，检测该樱桃番茄串中单个樱桃番茄的第一数量。

基于上述方法，对待检测视频帧图片中分配了樱桃番茄串ID的樱桃番茄串均进行检测，得到各樱桃番茄串中单个樱桃番茄的第一数量，再对所有得到的第一数量进行累加，以得到待检测区域内目标物品的数量。

在本发明实施例提供的基于分步跟踪检测的物品数量统计方法中，由于相较于单个目标物品，目标物品串在待检测视频帧图片中所占的像素更多，故本发明实施例先检测目标物品串相较于检测单个目标物品的准确率更高，再基于待检测视频帧图片中检测到各目标物品串的目标帧图片，对各目标物品串中的单个目标物品的数量进行检测，最后累加各目标物品串检测得到的第一数量，作为待检测区域内目标物品的数量，可以有效提高检测目标物品的数量的准确率。

可选地，所述目标物品可以包括樱桃番茄。

可选地，目标物品还可以包括葡萄等串类水果。

可选地，所述基于所述待检测视频帧图片，获取在所述待检测视频帧图片中检测到各目标物品串的目标帧图片的实现方式可以包括：

将所述待检测视频帧图片输入至第一检测模型，得到所述第一检测模型输出的所述待检测视频帧图片的各帧图片中所述各目标物品串的位置信息；其中，所述第一检测模型用于从所述待检测视频帧图片的各帧图片中检测所述各目标物品串的位置信息；

将所述各目标物品串的位置信息输入至第二检测模型，得到所述第二检测模型输出的所述目标帧图片；其中，所述第二检测模型用于基于所述各目标物品串的位置信息，确定在所述待检测视频帧图片中检测到所述各目标物品串的目标帧图片。

具体地，可以通过第一检测模型，从待检测视频帧图片的各帧图片中检测各目标物品串的位置信息，位置信息例如包括各目标物品串所在的位置区域，例如可以由矩形框位置(bbox)进行表征。

再通过第二检测模型，基于各目标物品串的位置信息，确定在待检测视频帧图片中检测到各目标物品串的目标帧图片。

可选地，在使用第一检测模型之前，需要训练第一检测模型，具体训练方法如下：

以目标物品串为樱桃番茄串为例，可以通过对拍摄的樱桃番茄种植图像进行标注，例如为人工标注，标出图像中部分区域每个樱桃番茄串的位置，并以标注前的图像和标注后的图像作为第一检测模型的训练样本，具体是由检测模型基于标注前的图像进行标注，并将标注结果与标注后的图像进行对比，得到标注误差，并通过最小化标注误差，训练检测模型，并得到训练好的第一检测模型。

可选地，第一检测模型可以为训练好的yolov5模型，yolov5模型是一种用于目标检测的卷积神经网络模型。

具体地，可以在确定各目标物品串在待检测视频帧图片的所有帧图片中的bbox后，比较前后两帧图片中各bbox的坐标位置的偏差量，例如在偏差量小于某一阈值时，可以认为两个bbox中的内容一致，此时可以认为两个bbox中的目标物品串是同一目标物品串，则可以为后一帧图片中的该目标物品串，分配与前一帧图片中该目标物品串对应的ID相同的ID，以表征是同一目标物品串。

可选地，所述第二检测模型具体可以用于：基于卡尔曼滤波算法，将检测到的所述各目标物品串的位置信息与通过预测到的各目标物品串的位置信息进行数据融合，得到数据融合后的各目标物品串的位置信息；再基于匈牙利匹配算法，基于数据融合后的各目标物品串的位置信息跟踪所述各目标物品串，并确定在所述待检测视频帧图片中检测到所述各目标物品串的目标帧图片。

可选地，第二检测模型可以为训练好的sort跟踪模型，sort跟踪模型可以采用sort跟踪算法，sort跟踪算法可以先通过卡尔曼滤波算法，将yolov5模型测量值和预测值进行数据融合，即将检测到的各目标物品串的位置信息与通过预测到的各目标物品串的位置信息进行数据融合，再基于数据融合后的各目标物品串的位置信息，使用匈牙利匹配算法对各目标物品串进行跟踪。其中，匈牙利匹配算法为一种求解任务匹配问题的组合优化算法。

可选地，第一检测模型可以从所述待检测视频帧图片的各帧图片中检测各目标物品串的位置信息，例如为各目标物品串的第一位置区域；

第二检测模型可以基于所述待检测视频帧图片的当前帧图片的前N帧图片中各目标物品串的位置信息，预测所述当前帧图片中各目标物品串的位置信息，例如为各目标物品串的第二位置区域，N为大于0的整数；

第二检测模型还可以基于上述第一位置区域和第二位置区域，跟踪各目标物品串，并确定在所述待检测视频帧图片中检测到所述各目标物品串的目标帧图片。

具体地，可以由第一检测模型通过检测算法计算得到各目标物品串的bbox，记为bbox_1；再由第二检测模型基于待检测视频帧图片的当前帧图片的前N帧图片中各目标物品串的第二位置区域，预测当前帧图片中各目标物品串的第二位置区域，具体可以通过数学建模，基于1至t-1帧图片中各目标物品串的bbox，预测第t帧图片中各目标物品串的bbox，记为bbox_2；最后由第二检测模型基于第一位置区域和第二位置区域，得到各目标物品串的位置信息，具体可以基于bbox_1和bbox_2，得到更加准确的目标物品串的bbox。

可选地，卡尔曼滤波算法是一种利用线性系统状态方程，通过系统输入、输出观测数据，对系统状态进行最优估计的算法，具体通过利用数学模型预测的值和yolov5模型测量得到的观测值进行数据融合，找到“最优”的估计值，这里的最优指的是均方差最小。

在本发明实施例中，第一检测模型通过检测算法，直接检测出各帧图片中各目标物品串的第一位置区域；第二检测模型通过数学建模，可以根据当前帧图片的前N帧图片，预测当前帧图片中各目标物品串的第二位置区域，最终得到各帧图片中的第二位置区域，再由第二检测模型基于第一位置区域和第二位置区域，最终得到各目标物品串的位置信息，以跟踪各目标物品串，并确定各目标物品串对应的目标帧图片，通过结合不同方法得到的各目标物品串的位置区域，可以有效提高各目标物品串的位置信息的检测准确性，进而可以提高第二检测模型跟踪各目标物品串，以及确定各目标物品串对应的目标帧图片的准确性。

可选地，所述基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量的实现方式可以包括：

基于拍摄所述各目标物品串对应的目标帧图片的时刻，选取最后时刻的目标帧图片作为所述各目标物品串对应的待检测帧图片；

基于所述待检测帧图片，检测所述各目标物品串中单个目标物品的第一数量。

具体地，可以基于拍摄各目标物品串对应的目标帧图片的时刻，选取最后时刻的目标帧图片作为各目标物品串对应的待检测帧图片，即可以认为最后时刻的目标帧图片中，目标物品串及目标物品串中单个物品所占的像素是最多的，故采用最后时刻的目标帧图片作为各目标物品串对应的待检测帧图片，可以有效提高检测的准确率。

以目标物品串是樱桃番茄串为例，图3是本发明提供的基于分步跟踪检测的物品数量统计方法中对各樱桃番茄串的单个樱桃番茄检测的示意图，如图3所示，在确定各樱桃番茄串对应的待检测帧图片的情况下，可以对各樱桃番茄串中的单个樱桃番茄进行检测。

在一个实施例中，可以对各目标物品串对应的所有目标帧图片均检测各目标物品串的单个目标物品的数量，选择检测到单个目标物品的数量最多的数量作为第一数量；也可以取平均值作为第一数量。

可选地，所述基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量的实现方式包括：

所述待检测视频帧图片中，在所述目标帧图片的后M帧图片中均未检测到所述各目标物品串的情况下，将所述目标帧图片作为待检测帧图片，M为大于0的整数；

基于所述待检测帧图片，检测所述各目标物品串中单个目标物品的第一数量。

具体地，待检测视频帧图片中，在目标帧图片的后M帧图片中均未检测到各目标物品串的情况下，可以将目标帧图片作为待检测帧图片，M为大于0的整数；基于待检测帧图片，检测各目标物品串中单个目标物品的第一数量。

以目标物品是樱桃番茄为例，当图像中已检测到不同ID号的樱桃番茄串出现连续5次未被检测到时，认为该樱桃番茄串已经从图像中消失，即可对该樱桃番茄串中单个樱桃番茄数量进行统计。

本发明实施例中，在目标帧图片的后M帧图片中均未检测到各目标物品串的情况下，才认为目标物品串已从待检测视频帧图片中消失，避免出现因为目标物品串被其他物体暂时遮挡而被判定已经从视频中消失的问题，提高了检测目标物品的数量的准确率。

可选地，所述基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量的实现方式可以包括：

基于所述各目标物品串对应的目标帧图片，分别检测所述各目标物品串中X种类型的单个目标物品的数量作为X个第一数量，X为大于1的整数；

所述累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述目标物品的数量的实现方式可以包括：

基于所述X种类型，分别累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述X种类型对应的目标物品的数量。

可选地，上述类型例如为目标物品的颜色、形状等。

以目标物品是樱桃番茄，且樱桃番茄的3种类型为樱桃番茄串的颜色是红色、橙色和绿色为例进行说明。

可以基于各樱桃番茄串对应的目标帧图片，分别检测各樱桃番茄串中3种颜色的单个樱桃番茄的数量作为3个第一数量，并在对樱桃番茄的数量进行统计时，分别统计红色、橙色和绿色的樱桃番茄的数量，也可以在分别统计3种颜色的樱桃番茄的数量后，将3种颜色的樱桃番茄的数量累加作为待检测区域内樱桃番茄的总数。

下面以目标物品为樱桃番茄为例，说明本发明实施例提供的基于分步跟踪检测的物品数量统计方法。

本发明实施例首先通过对拍摄的樱桃番茄种植图像进行标注，标出图像中部分区域每个樱桃番茄串的位置，并提取所有的樱桃番茄串图像，分别标注其中红色、橙色、绿色的樱桃番茄。

其次，使用yolov5目标检测模型分别对樱桃番茄串和三种颜色的樱桃番茄进行检测，使得模型能够准确检测出图像中樱桃番茄串的位置，以及每个樱桃番茄串中不同颜色的单个樱桃番茄的位置。

最后使用sort跟踪算法，为每个樱桃番茄串分配一个相互独立的ID，当每个樱桃番茄串从视频中消失的时候，对其中三种颜色的樱桃番茄进行数量统计，并累加到统计结果中。

本发明方案对樱桃番茄数量的检测，可以分为樱桃番茄串检测和樱桃番茄检测，具体地，可以分为步骤S1至步骤S3。

步骤S1、通过对樱桃番茄串的标注与训练，得到樱桃番茄串的检测模型，并对其进行检测。由于樱桃番茄串比樱桃番茄在图像中的所占的像素个数更多，因此检测的准确率较高。然后使用sort跟踪算法，通过对每帧图像中的每个樱桃番茄串图片进行卡尔曼率波和匈牙利匹配，为每个樱桃番茄串分配不同的ID。

步骤S2、当图像中已检测到不同ID号的樱桃番茄串出现连续5次未被检测到时，认为该樱桃番茄串已经从图中消失，即可对该樱桃番茄串中三种颜色的单个樱桃番茄数量进行统计。

步骤S3、通过对每个樱桃番茄串中红色、橙色、绿色三种颜色的单个樱桃番茄进行训练，得到单个樱桃番茄的检测模型，向模型中传入每个樱桃番茄串的图像，实时检测出其中三种颜色的樱桃番茄。

在实验阶段，采用在现场采集的视频帧作为数据集，使用yolov5目标检测模型分别训练整图中的樱桃番茄串图像和每个樱桃番茄串图中红、橙、绿三种不同颜色的单个樱桃番茄图像。其平均精确度(mean Average Precision，mAP)分别可以达到0.9355和0.8266。

在应用阶段，可以将该训练模型的文件经过tensorRT进行转换，以提高模型检测速率，tensorRT是在NVIDIA图形处理单元上对网络进行压缩、优化以及运行时部署的高性能C++库，并部署到EVO Xavier边缘计算设备上，EVO Xavier是一种专为工业场景设计的嵌入式边缘计算设备。能够达到0.139s/帧的检测速率。

本发明实施例存在以下有益效果：

1、通过对樱桃番茄串的检测与跟踪，相比于对单个樱桃番茄的检测准确度更高，跟踪效果更好。

2、通过对樱桃番茄串图像中三种颜色的单个樱桃番茄进行检测与统计，相比与直接在全图中检测与统计耗时更少，检测速度更快。

本发明实施例通过使用yolov5目标检测模型，结合sort跟踪算法，对图像中成串的樱桃番茄进行数量的统计，具体分两步进行检测，第一步针对整图检测，第二步针对每个局部图像检测。先检测的樱桃番茄串在图像中所占的像素个数较多，能够提高检测的准确率。在樱桃番茄串图像中对单个樱桃番茄进行检测，有效地降低了误检率，并提高了检测速率。

并且，使用sort跟踪算法跟踪每一个樱桃番茄串，避免了对同一樱桃番茄串进行重复检测。

需要说明的是，相关技术中，由于图像在检测过程中需要对单帧图像中的每个樱桃番茄都进行检测和跟踪，耗时较长，且检测的准确率和跟踪效果不能得到保证。

可以理解为，对于单个番茄数量的检测，相关技术需要把整幅图片输入yolov5模型中进行检测，模型计算的像素数特别多，而如果只把番茄串的矩形框图像放入输入到yolov5模型中检测的话，输入的像素数较少，省去了yolov5模型对背景信息的计算量，所以速度会更快。

并且，因为输入yolov5模型的图片都需要先将图片缩放到长*宽为640*640的大小。如果在yolov5模型中输入整张图片，图片缩放以后，图中的小番茄所占的像素个数比较少，检测的误差就会很大。而如果仅仅把番茄串的矩形框输入到yolov5模型中，图片缩放以后，图中的小番茄所占的像素个数依然很多，检测的误差就会很小。

另外，对于sort跟踪算法来说，如果是跟踪单个小番茄，由于跟踪的小番茄数量太多，计算量太大。而如果仅仅跟踪番茄串的话，计算量就可以减小一个数量级。同时，由于单个小番茄在图中所占像素个数较少，相比与对番茄串的跟踪，也会出现较大的误差。

下面对本发明提供的基于分步跟踪检测的物品数量统计装置进行描述，下文描述的基于分步跟踪检测的物品数量统计装置与上文描述的基于分步跟踪检测的物品数量统计方法可相互对应参照。

图4是本发明提供的基于分步跟踪检测的物品数量统计装置的结构示意图，如图4所示，基于分步跟踪检测的物品数量统计装置400包括：

获取模块401，用于获取待检测区域的待检测视频帧图片；其中，所述待检测区域为待检测的目标物品的数量的区域，所述目标物品为串类物品；

第一检测模块402，用于基于所述待检测视频帧图片，获取在所述待检测视频帧图片中检测到各目标物品串的目标帧图片；

第二检测模块403，用于基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量；

累加模块404，用于累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述目标物品的数量。

在本发明实施例提供的基于分步跟踪检测的物品数量统计装置中，由于相较于单个目标物品，目标物品串在待检测视频帧图片中所占的像素更多，故本发明实施例先由第一检测模块检测目标物品串相较于检测单个目标物品的准确率更高，再由第二检测模块基于待检测视频帧图片中检测到各目标物品串的目标帧图片，对各目标物品串中的单个目标物品的数量进行检测，最后由累加模块累加各目标物品串检测得到的第一数量，作为待检测区域内目标物品的数量，可以有效提高检测目标物品的数量的准确率。

可选地，第一检测模块402具体用于：

将所述待检测视频帧图片输入至第一检测模型，得到所述第一检测模型输出的所述待检测视频帧图片的各帧图片中所述各目标物品串的位置信息；其中，所述第一检测模型用于从所述待检测视频帧图片的各帧图片中检测所述各目标物品串的位置信息；

将所述各目标物品串的位置信息输入至第二检测模型，得到所述第二检测模型输出的所述目标帧图片；其中，所述第二检测模型用于基于所述各目标物品串的位置信息，确定在所述待检测视频帧图片中检测到所述各目标物品串的目标帧图片。

可选地，所述第二检测模型具体用于：基于卡尔曼滤波算法，将检测到的所述各目标物品串的位置信息与通过预测到的各目标物品串的位置信息进行数据融合，得到数据融合后的各目标物品串的位置信息；再基于匈牙利匹配算法，基于数据融合后的各目标物品串的位置信息跟踪所述各目标物品串，并确定在所述待检测视频帧图片中检测到所述各目标物品串的目标帧图片。

可选地，第二检测模块403具体用于：

基于拍摄所述各目标物品串对应的目标帧图片的时刻，选取最后时刻的目标帧图片作为所述各目标物品串对应的待检测帧图片；

基于所述待检测帧图片，检测所述各目标物品串中单个目标物品的第一数量。

可选地，第二检测模块403还具体用于：

所述待检测视频帧图片中，在所述目标帧图片的后M帧图片中均未检测到所述各目标物品串的情况下，将所述目标帧图片作为待检测帧图片，M为大于0的整数；

基于所述待检测帧图片，检测所述各目标物品串中单个目标物品的第一数量。

可选地，第二检测模块403还具体用于：基于所述各目标物品串对应的目标帧图片，分别检测所述各目标物品串中X种类型的单个目标物品的数量作为X个第一数量，X为大于1的整数。

累加模块404具体用于：基于所述X种类型，分别累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述X种类型对应的目标物品的数量。

可选地，所述目标物品包括樱桃番茄。

图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备500可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行基于分步跟踪检测的物品数量统计方法，该方法包括：

获取待检测区域的待检测视频帧图片；其中，所述待检测区域为待检测的目标物品的数量的区域，所述目标物品为串类物品；

基于所述待检测视频帧图片，获取在所述待检测视频帧图片中检测到各目标物品串的目标帧图片；

基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量；

累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述目标物品的数量。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于分步跟踪检测的物品数量统计方法，该方法包括：

获取待检测区域的待检测视频帧图片；其中，所述待检测区域为待检测的目标物品的数量的区域，所述目标物品为串类物品；

基于所述待检测视频帧图片，获取在所述待检测视频帧图片中检测到各目标物品串的目标帧图片；

基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量；

累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述目标物品的数量。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于分步跟踪检测的物品数量统计方法，该方法包括：

获取待检测区域的待检测视频帧图片；其中，所述待检测区域为待检测的目标物品的数量的区域，所述目标物品为串类物品；

基于所述待检测视频帧图片，获取在所述待检测视频帧图片中检测到各目标物品串的目标帧图片；

基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量；

累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述目标物品的数量。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种基于分步跟踪检测的物品数量统计方法，其特征在于，包括：

获取待检测区域的待检测视频帧图片；其中，所述待检测区域为待检测的目标物品的数量的区域，所述目标物品为串类物品；

基于所述待检测视频帧图片，获取在所述待检测视频帧图片中检测到各目标物品串的目标帧图片；

基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量；

累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述目标物品的数量。

2.根据权利要求1所述的基于分步跟踪检测的物品数量统计方法，其特征在于，所述基于所述待检测视频帧图片，获取在所述待检测视频帧图片中检测到各目标物品串的目标帧图片，包括：

将所述待检测视频帧图片输入至第一检测模型，得到所述第一检测模型输出的所述待检测视频帧图片的各帧图片中所述各目标物品串的位置信息；其中，所述第一检测模型用于从所述待检测视频帧图片的各帧图片中检测所述各目标物品串的位置信息；

将所述各目标物品串的位置信息输入至第二检测模型，得到所述第二检测模型输出的所述目标帧图片；其中，所述第二检测模型用于基于所述各目标物品串的位置信息，确定在所述待检测视频帧图片中检测到所述各目标物品串的目标帧图片。

3.根据权利要求2所述的基于分步跟踪检测的物品数量统计方法，其特征在于，所述第二检测模型具体用于：基于卡尔曼滤波算法，将检测到的所述各目标物品串的位置信息与通过预测到的各目标物品串的位置信息进行数据融合，得到数据融合后的各目标物品串的位置信息；再基于匈牙利匹配算法，基于数据融合后的各目标物品串的位置信息跟踪所述各目标物品串，并确定在所述待检测视频帧图片中检测到所述各目标物品串的目标帧图片。

4.根据权利要求3所述的基于分步跟踪检测的物品数量统计方法，其特征在于，所述基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量，包括：

基于拍摄所述各目标物品串对应的目标帧图片的时刻，选取最后时刻的目标帧图片作为所述各目标物品串对应的待检测帧图片；

基于所述待检测帧图片，检测所述各目标物品串中单个目标物品的第一数量。

5.根据权利要求3所述的基于分步跟踪检测的物品数量统计方法，其特征在于，所述基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量，包括：

所述待检测视频帧图片中，在所述目标帧图片的后M帧图片中均未检测到所述各目标物品串的情况下，将所述目标帧图片作为待检测帧图片，M为大于0的整数；

基于所述待检测帧图片，检测所述各目标物品串中单个目标物品的第一数量。

6.根据权利要求5所述的基于分步跟踪检测的物品数量统计方法，其特征在于，所述基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量，包括：

基于所述各目标物品串对应的目标帧图片，分别检测所述各目标物品串中X种类型的单个目标物品的数量作为X个第一数量，X为大于1的整数；

所述累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述目标物品的数量，包括：

基于所述X种类型，分别累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述X种类型对应的目标物品的数量。

7.根据权利要求1至6任一项所述的基于分步跟踪检测的物品数量统计方法，其特征在于，所述目标物品包括樱桃番茄。

8.一种基于分步跟踪检测的物品数量统计装置，其特征在于，包括：

获取模块，用于获取待检测区域的待检测视频帧图片；其中，所述待检测区域为待检测的目标物品的数量的区域，所述目标物品为串类物品；

第一检测模块，用于基于所述待检测视频帧图片，获取在所述待检测视频帧图片中检测到各目标物品串的目标帧图片；

第二检测模块，用于基于所述各目标物品串对应的目标帧图片，检测所述各目标物品串中单个目标物品的第一数量；

累加模块，用于累加所述各目标物品串对应的第一数量，得到所述待检测区域内所述目标物品的数量。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于分步跟踪检测的物品数量统计方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于分步跟踪检测的物品数量统计方法。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于分步跟踪检测的物品数量统计方法。

Images