CN112329521A - 一种基于深度学习的多目标跟踪视频巡店方法 - Google Patents

一种基于深度学习的多目标跟踪视频巡店方法 Download PDF

Info

Publication number
CN112329521A
CN112329521A CN202011014178.3A CN202011014178A CN112329521A CN 112329521 A CN112329521 A CN 112329521A CN 202011014178 A CN202011014178 A CN 202011014178A CN 112329521 A CN112329521 A CN 112329521A
Authority
CN
China
Prior art keywords
track
matching
detection
deep learning
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011014178.3A
Other languages
English (en)
Inventor
吕琨
彭靖田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pinlan Data Technology Co ltd
Original Assignee
Shanghai Pinlan Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pinlan Data Technology Co ltd filed Critical Shanghai Pinlan Data Technology Co ltd
Priority to CN202011014178.3A priority Critical patent/CN112329521A/zh
Publication of CN112329521A publication Critical patent/CN112329521A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的多目标跟踪视频巡店方法，涉及深度学习的多目标跟踪技术领域。本发明包括如下步骤：P1、用工业相机采集高清视频；P2、将采集完成的视频上传至库存盘点系统；P3、将巡店视频输入训练好的YOLO V3+DeepSort模型中；P4、根据预测结果进行货物盘点和后续操作；步骤P3中YOLO V3+DeepSort模型包括Detection跟踪步骤以及track跟踪步骤。本发明应用非图像特征，显著提升了商品规格分类的识别准确率，同样适用于同种商品不同规格的识别。

Description

一种基于深度学习的多目标跟踪视频巡店方法
技术领域
本发明属于深度学习的多目标跟踪技术领域，特别是涉及一种基于深度学习的多目标跟踪视频巡店方法。
背景技术
对于线下零售商店或超市，货架上商品货物的盘点是一项耗时耗力的任务。尤其是商业超市，需要每天整理库存信息，及时对货架商品进行补货操作。
传统零售店的货物盘点一般都是人工，这样耗费大量人力，且很容易造成误检和漏检的问题。随着智能化加速，先进很多大型超市已经开始使用机器智能盘点货物。其根本技术是基于视频，进行视觉识别和物体跟踪。
传统的视觉目标跟踪流程即给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置。需要手动提取特征所以速度慢，无法处理和适应复杂的跟踪变化，鲁棒性和准确度都比较差.。因此，针对以上问题，提供一种基于深度学习的多目标跟踪视频巡店方法具有重要意义。本发明提供了。因此，针对以上问题，提供一种基于深度学习的多目标跟踪视频巡店方法具有重要意义。
发明内容
本发明提供了一种基于深度学习的多目标跟踪视频巡店方法，解决了以上问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明的一种基于深度学习的多目标跟踪视频巡店方法，包括如下步骤：
P1、用工业相机采集高清视频；
P2、将采集完成的视频上传至库存盘点系统；
P3、将巡店视频输入训练好的YOLO V3+DeepSort模型中；
P4、根据预测结果进行货物盘点和后续操作。
进一步地，所述步骤P3中YOLO V3+DeepSort模型包括Detection跟踪步骤以及track跟踪步骤；
所述Detection跟踪步骤，包括如下步骤：
S1、分配Track indices和Detection indices；
S2、计算Cost matrix此处只有cosine distance；
S3、计算Kalman预测的每个track平均轨道的位置和实际detect的BBox间的平方马氏距离cost matrix；
S4、将cisine cost matrix中track和detection间平方马氏距离大于阈值，即不满足b的对应值置为无穷大，方便后续计算
S5、将cosine cost matrix中track和detecion间cosine距离大于阈值，即不满足b的对应值置为较大，方便后续删除；
S6、使用Hungarian算法对track和detect进行匹配，并返回匹配结果；
S7、对匹配对结果进行筛选,删去appearance较大对匹配，即cosion disance过大；并返回值步骤S02并循环检测帧数；
S8、得到初步的matches，unmatched tracks和unmatched detections；
所述track跟踪步骤，包括如下步骤：
T1、将只有一帧为匹配的track看做IOU的candidate，超过的视为unmatchedtrack；
T2、计算track candidate和unmatched detection之间的IOU disatance；
T3、将IOU distance大于阈值0.7对置大便于后续剔除；
T4、使用Hungarian算法对track和detect进行匹配，并返回匹配结果；
T5、对匹配对结果进行筛选，删去IOU较小对区域；
T6、得到再次处理的matches，unmatched tracks和unmatched detections。
本发明相对于现有技术包括有以下有益效果：
本发明的一种基于深度学习的多目标跟踪视频巡店方法的模型能够更好地处理目标被长时间遮挡、漏检误检的情况，运用YOLO V3+DeepSort算法在视频巡店中的结果是ID switch指标降低了25％。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于深度学习的多目标跟踪视频巡店方法的整体步骤图；
图2为图1中YOLO V3+DeepSort模型的Detection跟踪步骤图；
图3为图1中YOLO V3+DeepSort模型的track跟踪步骤。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
近年来，基于深度学习的多目标跟踪算法得到较快的发展。在大数据背景下，利用深度学习训练网络模型，得到的卷积特征输出表达能力更强。在目标跟踪上，初期的应用方式是把网络学习到的特征，直接应用到相关滤波或Struck的跟踪框架里面，从而得到更好的跟踪结果，但本质上卷积输出得到的特征表达，更优于HOG或CN特征，这也是深度学习的优势之一，但同时也带来了计算量的增加。深度学习的另一大优势是端到端的输出。
对于视频盘点货物的目标跟踪算法，我们利用YOLO V3/Faster RCNN/SSD等目标检测框架加上Deep SORT多目标跟踪算法可以有效提高检测精度。
Deep SORT算法的前身是SORT,全称是Simple Online and Realtime Tracking。SORT最大特点是基于Faster R-CNN的目标检测方法，并利用卡尔曼滤波算法+匈牙利算法，极大提高了多目标跟踪的速度，同时达到了SOTA的准确率。但在SORT中，仅仅通过IOU来进行匹配虽然速度非常快，但是ID switch依然非常大。
DeepSort中最大的特点是加入外观信息，借用了ReID领域模型来提取特征，减少了ID switch的次数。Deep SORT算法在SORT算法的基础上增加了级联匹配(MatchingCascade)+新轨迹的确认(confirmed)。
请参阅图1-3所示，本发明的一种基于深度学习的多目标跟踪视频巡店方法，包括如下步骤：
P1、用工业相机采集高清视频，需要考虑到光照，远近高度，拍摄速度等影响因素；
P2、将采集完成的视频上传至库存盘点系统；
P3、将巡店视频输入训练好的YOLO V3+DeepSort模型中；
P4、根据预测结果进行货物盘点和后续操作。
其中，步骤P3中YOLO V3+DeepSort模型包括Detection跟踪步骤以及track跟踪步骤；
所述Detection跟踪步骤，包括如下步骤：
S1、分配Track indices和Detection indices；
S2、计算Cost matrix此处只有cosine distance；
S3、计算Kalman预测的每个track平均轨道的位置和实际detect的BBox间的平方马氏距离cost matrix；
S4、将cisine cost matrix中track和detection间平方马氏距离大于阈值，即不满足b的对应值置为无穷大，方便后续计算
S5、将cosine cost matrix中track和detecion间cosine距离大于阈值，即不满足b的对应值置为较大，方便后续删除；
S6、使用Hungarian算法对track和detect进行匹配，并返回匹配结果；
S7、对匹配对结果进行筛选,删去appearance较大对匹配，即cosion disance过大；并返回值步骤S02并循环检测帧数；
S8、得到初步的matches，unmatched tracks和unmatched detections；
所述track跟踪步骤，包括如下步骤：
T1、将只有一帧为匹配的track看做IOU的candidate，超过的视为unmatchedtrack；
T2、计算track candidate和unmatched detection之间的IOU disatance；
T3、将IOU distance大于阈值0.7对置大便于后续剔除；
T4、使用Hungarian算法对track和detect进行匹配，并返回匹配结果；
T5、对匹配对结果进行筛选，删去IOU较小对区域；
T6、得到再次处理的matches，unmatched tracks和unmatched detections。
本发明的主要创新点是将YOLO V3+DeepSort算法用于视频盘点货物，从而实现智能高效的盘点效果。
如图2-3所示，为YOLO V3+DeepSort模型的流程图，相当于目标检测中的twostages的结构，采用detection+track，没有进行end-to-end的训练方式，优点是我们可以根据实际项目中的跟踪效果分别对detection部分(yolo)和track部分(deepsort)采取一些优化手段，以实现我们的业务上更好的效果。
细节说明解释：
1，Detection，也就是包含了每个检测到的对象
2，tracker，是Tracker类的一个对象，我们可以理解为一个跟踪器，它可以根据检测到的detections，进行匹配、筛选、更新的操作
3，track，是Track类的一个对象，每个Tracker里面包含一个tracks列表，列表的每个元素是Track的一个对象，它的属性是根据单个detection生成的均值、方差、id等等，我们可以理解为一个跟踪器里面的多个跟踪目标。
4，检测类别，需要检测的各种商品的类别
5，级联匹配与IOU匹配
有益效果：
本发明的一种基于深度学习的多目标跟踪视频巡店方法应用非图像特征，显著提升了商品规格分类的识别准确率，同样适用于同种商品不同规格的识别。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (2)

1.一种基于深度学习的多目标跟踪视频巡店方法，其特征在于，包括如下步骤：
P1、用工业相机采集高清视频；
P2、将采集完成的视频上传至库存盘点系统；
P3、将巡店视频输入训练好的YOLO V3+DeepSort模型中；
P4、根据预测结果进行货物盘点和后续操作。
2.如权利要求1所述的一种基于深度学习的多目标跟踪视频巡店方法，其特征在于，所述步骤P3中YOLO V3+DeepSort模型包括Detection跟踪步骤以及track跟踪步骤；
所述Detection跟踪步骤，包括如下步骤：
S1、分配Track indices和Detection indices；
S2、计算Cost matrix此处只有cosine distance；
S3、计算Kalman预测的每个track平均轨道的位置和实际detect的BBox间的平方马氏距离cost matrix；
S4、将cisine cost matrix中track和detection间平方马氏距离大于阈值，即不满足b的对应值置为无穷大，方便后续计算
S5、将cosine cost matrix中track和detecion间cosine距离大于阈值，即不满足b的对应值置为较大，方便后续删除；
S6、使用Hungarian算法对track和detect进行匹配，并返回匹配结果；
S7、对匹配对结果进行筛选,删去appearance较大对匹配，即cosion disance过大；并返回值步骤S02并循环检测帧数；
S8、得到初步的matches，unmatched tracks和unmatched detections；
所述track跟踪步骤，包括如下步骤：
T1、将只有一帧为匹配的track看做IOU的candidate，超过的视为unmatched track；
T2、计算track candidate和unmatched detection之间的IOU disatance；
T3、将IOU distance大于阈值0.7对置大便于后续剔除；
T4、使用Hungarian算法对track和detect进行匹配，并返回匹配结果；
T5、对匹配对结果进行筛选，删去IOU较小对区域；
T6、得到再次处理的matches，unmatched tracks和unmatched detections。
CN202011014178.3A 2020-09-24 2020-09-24 一种基于深度学习的多目标跟踪视频巡店方法 Pending CN112329521A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011014178.3A CN112329521A (zh) 2020-09-24 2020-09-24 一种基于深度学习的多目标跟踪视频巡店方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011014178.3A CN112329521A (zh) 2020-09-24 2020-09-24 一种基于深度学习的多目标跟踪视频巡店方法

Publications (1)

Publication Number Publication Date
CN112329521A true CN112329521A (zh) 2021-02-05

Family

ID=74303499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011014178.3A Pending CN112329521A (zh) 2020-09-24 2020-09-24 一种基于深度学习的多目标跟踪视频巡店方法

Country Status (1)

Country Link
CN (1) CN112329521A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113879751A (zh) * 2021-10-11 2022-01-04 国网江苏省电力有限公司常州供电分公司 用于移动作业机器的货物盘点方法、装置及货物盘点系统
CN114723786A (zh) * 2022-04-24 2022-07-08 东南大学 一种基于MF-DeepSORT的交通多目标跟踪方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934844A (zh) * 2019-01-28 2019-06-25 中国人民解放军战略支援部队信息工程大学 一种融合地理空间信息的多目标跟踪方法及系统
CN110516556A (zh) * 2019-07-31 2019-11-29 平安科技（深圳）有限公司 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质
CN110634145A (zh) * 2018-06-22 2019-12-31 青岛日日顺物流有限公司 基于图像处理的仓库盘点方法
CN110942003A (zh) * 2019-11-20 2020-03-31 中国建设银行股份有限公司 人员轨迹搜索方法及系统
CN111432171A (zh) * 2020-03-19 2020-07-17 上海品览数据科技有限公司 一种基于视觉的商品盘点设备及其系统和盘点方法
CN111460884A (zh) * 2020-02-09 2020-07-28 天津博宜特科技有限公司 基于人体跟踪的多人脸识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110634145A (zh) * 2018-06-22 2019-12-31 青岛日日顺物流有限公司 基于图像处理的仓库盘点方法
CN109934844A (zh) * 2019-01-28 2019-06-25 中国人民解放军战略支援部队信息工程大学 一种融合地理空间信息的多目标跟踪方法及系统
CN110516556A (zh) * 2019-07-31 2019-11-29 平安科技（深圳）有限公司 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质
CN110942003A (zh) * 2019-11-20 2020-03-31 中国建设银行股份有限公司 人员轨迹搜索方法及系统
CN111460884A (zh) * 2020-02-09 2020-07-28 天津博宜特科技有限公司 基于人体跟踪的多人脸识别方法
CN111432171A (zh) * 2020-03-19 2020-07-17 上海品览数据科技有限公司 一种基于视觉的商品盘点设备及其系统和盘点方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CSDN用户: ""基于深度学习的目标跟踪(Yolov3+deepsort)"", 《HTTPS://BLOG.CSDN.NET/QQ_38109843/ARTICLE/DETAILS/89457442，CSDN》 *
CSDN用户: ""论文翻译：Deep SORT: Simple Online and Realtime Tracking with a Deep Association Metric"", 《HTTPS://BLOG.CSDN.NET/ZJC910997316/ARTICLE/DETAILS/ 83721573，CSDN》 *
JAVASHUO用户: ""DeepSort+YOLOv3的多目标跟踪开源项目及deepsort原理"", 《HTTP://WWW.JAVASHUO.COM/ARTICLE/P-YXEYRVFK-DB.HTML，JAVASHUO》 *
博客园用户: ""多目标跟踪(MOT)论文随笔-SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC (Deep SORT)"", 《HTTPS:// WWW.CNBLOGS.COM/YANWEI-LI/P/8643446.HTML，博客园》 *
知乎用户: ""关于 Deep Sort 的一些理解"", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/80764724，知乎》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113879751A (zh) * 2021-10-11 2022-01-04 国网江苏省电力有限公司常州供电分公司 用于移动作业机器的货物盘点方法、装置及货物盘点系统
CN113879751B (zh) * 2021-10-11 2023-03-14 国网江苏省电力有限公司常州供电分公司 用于移动作业机器的货物盘点方法、装置及货物盘点系统
CN114723786A (zh) * 2022-04-24 2022-07-08 东南大学 一种基于MF-DeepSORT的交通多目标跟踪方法及系统

Similar Documents

Publication Publication Date Title
Santos et al. Grape detection, segmentation, and tracking using deep neural networks and three-dimensional association
Wei et al. Deep learning for retail product recognition: Challenges and techniques
CN111415461B (zh) 物品识别方法及系统、电子设备
Quack et al. Efficient mining of frequent and distinctive feature configurations
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算系统
CN104866616B (zh) 监控视频目标搜索方法
Trinh et al. Detecting human activities in retail surveillance using hierarchical finite state machine
US20220391796A1 (en) System and Method for Mapping Risks in a Warehouse Environment
Cho et al. 2D barcode detection using images for drone-assisted inventory management
CN112329521A (zh) 一种基于深度学习的多目标跟踪视频巡店方法
Shen et al. Real-time tracking and counting of grape clusters in the field based on channel pruning with YOLOv5s
CN113821674B (zh) 一种基于孪生神经网络的智能货物监管方法及系统
CN113256690B (zh) 一种基于视频监控的行人多目标跟踪方法
KR102260355B1 (ko) 영상 기반 구매 행동 인식 시스템 및 방법
CN115457458A (zh) 一种非接触式智能盘点系统和方法
Balaska et al. Smart counting of unboxed stocks in the Warehouse 4.0 ecosystem
CN116720899B (zh) 商超智能监控管理方法、装置、电子设备及介质
Xu et al. Deep learning technique based surveillance video analysis for the store
Zhao et al. A unified object detection framework for intelligent retail container commodities
Achakir et al. An automated AI-based solution for out-of-stock detection in retail environments
Lee et al. Smart refrigerator inventory management using convolutional neural networks
Rigner Ai-based machine vision for retail self-checkout system
Geng et al. Shelf Product Detection Based on Deep Neural Network
CN111738184B (zh) 一种商品取放识别方法、装置、系统及设备
Fahmidha et al. Vehicle and pedestrian video-tracking: a review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210205

RJ01 Rejection of invention patent application after publication