CN110276780A - 一种多目标跟踪方法、装置、电子设备及存储介质 - Google Patents

一种多目标跟踪方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110276780A
CN110276780A CN201910521287.5A CN201910521287A CN110276780A CN 110276780 A CN110276780 A CN 110276780A CN 201910521287 A CN201910521287 A CN 201910521287A CN 110276780 A CN110276780 A CN 110276780A
Authority
CN
China
Prior art keywords
target
frame image
tracking
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910521287.5A
Other languages
English (en)
Inventor
文介华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weaving Point Intelligent Technology Co Ltd
Original Assignee
Guangzhou Weaving Point Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weaving Point Intelligent Technology Co Ltd filed Critical Guangzhou Weaving Point Intelligent Technology Co Ltd
Priority to CN201910521287.5A priority Critical patent/CN110276780A/zh
Publication of CN110276780A publication Critical patent/CN110276780A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种多目标跟踪方法、装置、电子设备及存储介质。本申请实施例提供的技术方案，通过目标检测模型检测出目标及对应的位置，对每一个目标均分配一个目标追踪器，通过目标追踪器预测每个目标在下一帧图像的位置，再通过匈牙利匹配每个目标的检测位置及下一帧图像的预测位置，得到对应每个目标的跟踪片段，通过合并对应每一组相邻帧图像的跟踪片段得到每个目标的跟踪链，最终根据跟踪链以目标的位置超出或返回目标追踪区域作为对应商品的结算或退款依据，完成多个目标的动态跟踪识别，避免漏检、误检的情况，提高目标识别精度，进一步简化用户的结算流程。

Description

一种多目标跟踪方法、装置、电子设备及存储介质
技术领域
本申请实施例涉及图像识别处理技术领域，尤其涉及一种多目标跟踪方法、装置、电子设备及存储介质。
背景技术
目前，在智能零售、无人零售应用领域中，无人货柜、智能货柜是该领域下的主要应用产品。无人货柜的使用简化了商品的结算流程，通过商品的快速识别可节省用户的等待时长，同时极大的节约人力成本。并且，无人、快速地识别能提高客户的体验感。传统的无人货柜的主要识别技术是基于静态的商品检测，在对商品进行识别时，需要将商品送入一个固定的摄像头拍摄区域，或者是固定检测拍摄区域下货柜的商品，当触发摄像头拍摄图片之后，对拍摄的图片进行目标检测识别，以确定用户购买了那些商品。但是，此类商品静态检测算法只局限于当前识别的图片质量和目标的相对位置，在商品靠得太近或互相遮挡的情况下，可能会出现漏检和误检的情况，导致商品识别错误，影响用户的结算流程。
发明内容
本申请实施例提供一种多目标跟踪方法、装置、电子设备及存储介质，能够实现多目标动态跟踪识别，提高目标识别进度。
在第一方面，本申请实施例提供了一种多目标跟踪方法，包括：
获取对应目标拍摄的视频流，将所述视频流中的任意相邻两帧的图像组成一个帧组；
根据视频流的顺序取一个帧组，将当前取得的帧组的第一帧图像输入预设的目标检测模型，输出所述第一帧图像中的目标及对应的位置；
对所述第一帧图像检测到的每个目标均分配一个目标追踪器，得到第二帧图像中每个目标的预测位置；
将所述第一帧图像中检测到的每个目标的位置与第二帧图像中每个目标的预测位置进行匈牙利匹配，得到对应帧组中每个目标的跟踪片段；
将第二帧图像输入预设的目标检测模型，输出第二帧图像中的目标及对应的位置，基于所述第二帧图像检测到的目标及对应的位置，修正所述跟踪片段中对应第二帧图像的每个目标的位置；
将当前帧组中的第二帧图像检测到的每个目标及对应的位置，作为后一个帧组中的第一帧图像检测到的每个目标及对应的位置，当前帧组的目标跟踪结束；
对应每个帧组得到的各个目标的跟踪片段，根据视频流顺序将相邻的跟踪片段合并，覆盖对应同一目标相同的位置信息，得到对应各个目标的跟踪链。
优选的，所述目标检测模型基于YOLOv3目标检测算法建立。
优选的，在所述将当前取得的帧组的第一帧图像输入预设的目标检测模型，输出所述第一帧图像中的目标及对应的位置中，将所述第一帧图像输入YOLOv3目标检测模型，得到所述第一帧图像中对应每个目标的矩形框的宽、高及中心点坐标信息。
优选的，所述目标追踪器为Siamese_fc单目标追踪器。
优选的，所述对所述第一帧图像检测到的每个目标均分配一个目标追踪器，得到第二帧图像中每个目标的预测位置，包括：
提取第一帧图像截取到的目标图像及对应的位置信息；
将所述截取到的目标图像进行预设比例的扩展；
将所述截取到的目标图像、对应的位置信息及扩展后的目标图像输入目标追踪器，得到对应目标在第二帧图像的预测位置。
优选的，在所述基于所述第二帧图像检测到的目标及对应的位置，修正所述跟踪片段中对应第二帧图像的每个目标的位置中，对应一个目标，若第二帧图像在目标检测时检测到相应的目标，则将这一目标的位置替换所述跟踪片段中这一目标的预测位置；若第二帧图像在目标检测时未检测到相应的目标，则保留所述跟踪片段中这一目标的预测位置。
优选的，在所述对应每个帧组得到的各个目标的跟踪片段，根据视频流顺序将相邻的跟踪片段合并，覆盖对应同一目标相同的位置信息，得到对应各个目标的跟踪链之后，还包括：
划定目标追踪区域，基于所述跟踪链以目标的位置超出或返回所述目标追踪区域作为对应商品的结算或退款依据。
在第二方面，本申请实施例提供了一种多目标跟踪装置，包括：
获取模块，用于获取对应目标拍摄的视频流，以所述视频流中的任意两帧相邻的图像组成一个帧组；
目标检测模块，用于根据视频流的顺序取一个帧组，将当前取得的帧组的第一帧图像输入预设的目标检测模型，输出所述第一帧图像中的目标及对应的位置；
目标跟踪模块，用于对所述第一帧图像检测到的每个目标均分配一个目标追踪器，得到第二帧图像中每个目标的预测位置；将所述第一帧图像中检测到的每个目标的位置与第二帧图像中每个目标的预测位置进行匈牙利匹配，得到对应帧组中每个目标的跟踪片段；将第二帧图像输入预设的目标检测模型，输出第二帧图像中的目标及对应的位置，基于所述第二帧图像检测到的目标及对应的位置，修正所述跟踪片段中对应第二帧图像的每个目标的位置；将当前帧组中的第二帧图像检测到的每个目标及对应的位置，作为后一个帧组中的第一帧图像检测到的每个目标及对应的位置，当前帧组的目标跟踪结束；
跟踪链生成模块，用于对应每个帧组得到的各个目标的跟踪片段，根据视频流顺序将相邻的跟踪片段合并，覆盖对应同一目标相同的位置信息，得到对应各个目标的跟踪链。
优选的，还包括判定模块，用于划定目标追踪区域，基于所述跟踪链以目标的位置超出或返回所述目标追踪区域作为对应商品的结算或退款依据。
优选的，所述目标跟踪模块包括预测单元，所述预测单元用于提取第一帧图像截取到的目标图像及对应的位置信息；将所述截取到的目标图像进行预设比例的扩展；将所述截取到的目标图像、对应的位置信息及扩展后的目标图像输入目标追踪器，得到对应目标在第二帧图像的预测位置。
在第三方面，本申请实施例提供了一种电子设备，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的多目标跟踪方法。
在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的多目标跟踪方法。
本申请实施例基于视频流的每一组相邻帧图像，通过目标检测模型检测出目标及对应的位置，对每一个目标均分配一个目标追踪器，通过目标追踪器预测每个目标在下一帧图像的位置，再通过匈牙利匹配每个目标的检测位置及下一帧图像的预测位置，得到对应每个目标的跟踪片段，通过合并对应每一组相邻帧图像的跟踪片段得到每个目标的跟踪链，最终根据跟踪链以目标的位置超出或返回目标追踪区域作为对应商品的结算或退款依据，完成多个目标的动态跟踪识别，避免漏检、误检的情况，提高目标识别精度，进一步简化用户的结算流程。
附图说明
图1是本申请实施例一提供的一种多目标跟踪方法的流程图；
图2是本申请实施例一中用户选购商品的结构示意图；
图3是本申请实施例一中的目标检测示意图；
图4是本申请实施例一中的目标检测具体流程图；
图5是本申请实施例一中的目标预测流程图；
图6是本申请实施例一中的目标预测示意图；
图7是本申请实施例一中的多跟踪示意图；
图8是本申请实施例一中的商品跟踪结算示意图；
图9是本申请实施例二提供的一种多目标跟踪装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的多目标跟踪方法，旨在实现对多个目标的动态跟踪识别。相对于现有的基于静态的目标检测，动态的目标检测能够一定程度避免目标由于当前拍摄的图片质量不好、目标遮挡或者模糊等导致目标识别不了的情况。特别是在无人货柜、智能货柜的使用场景下，提供了一种基于YOLOv3目标检测和Siamese_fc单目标追踪算法相结合的多目标跟踪识别方案，在客户拿取商品的过程中，通过本申请实施例提供的多目标跟踪方法，可以在一定程度上解决目标遮挡，且由于摄像头获取质量不好情况下的图片识别。对于无人货柜中由于商品之间靠的太近，导致商品的漏检和多检现象，采用动态跟踪会在一定程度上解决这一现象下商品的识别错误，由于在抓取商品到拿出商品之间还有一段距离，可以充分利用这段距离之间的识别，矫正识别的错误，以此来实现更高精度的商品识别。
实施一：
图1给出了本申请实施例一提供的一种多目标跟踪方法的流程图，本实施例中提供的多目标跟踪方法可以由多目标跟踪设备执行，该多目标跟踪设备可以通过软件和/或硬件的方式实现，该多目标跟踪设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，多目标跟踪设备图像识别处理功能，该多目标跟踪设备可以是电脑、商品结算终端等电子设备。
下述对应无人货柜的应用场景，以多目标跟踪设备为执行多目标跟踪方法的设备为例，进行描述。参照图1，该多目标跟踪方法具体包括：
S110、获取对应目标拍摄的视频流，将所述视频流中的任意相邻两帧的图像组成一个帧组。
示例性的，如图2所示，在无人货柜应用场景中，提供摄像头用以对无人货柜的放置区域进行拍摄，摄像头拍摄画面中对应包含有无人货柜上的各个商品，通过摄像头对应无人货柜放置区域进行拍摄，获取对应商品拍摄的视频流。用户在对应摄像头拍摄区域内，对无人货柜进行商品选购。此时多目标跟踪设备利用摄像头拍摄的视频流，对用户的商品选购流程进行跟踪，并根据跟踪结果，当检测到用户拿走商品则进行对应商品的结算操作，以此来简化用户的商品结算流程甚至提供一种无感支付的方式给用户，以较大程度地为用户进行商品结算提供便利。对应目标拍摄的视频流，首先根据视频流的顺序排序，将视频流中的任意两帧相邻的图像作为一个图像配对，组成一个帧组。对应视频流顺序的若干帧图像，第一帧图像与第二帧图像组成第一个帧组，第二帧图像与第三帧图像组成第二个帧组，以此类推，依序形成若干个帧组。后续在进行目标跟踪时，根据每一个帧组的两张图像对一个目标进行跟踪。
S120、根据视频流的顺序取一个帧组，将当前取得的帧组的第一帧图像输入预设的目标检测模型，输出所述第一帧图像中的目标及对应的位置。
示例性的，在对视频流形成的每个帧组进行视觉识别处理时，首先需要对图像中的目标进行检测，以确定图像中包含的目标及对应的位置。对应无人货柜上的商品检测，本申请实施例采用YOLOv3目标检测算法建立一个目标检测模型，参照图3，将图像输入YOLOv3目标检测模型，输出检测到目标(box)，即商品类型及对应所处的位置。需要说明的是，YOLOv3目标检测模型输出的目标的对应的位置，是对应一张图像中所检测到的所有目标及这些目标对应在固定监控画面中的位置信息。对应图像上的每个目标，均通过矩形框截取出来，并通过矩形框的宽、高及中心点坐标信息表示目标的位置。参照图4，YOLOv3目标检测算法主要由卷积层和池化层构成，网络中层的命名规则由其类别和在网络中第几次出现的编号构成，例如conv8表示网络中的第8个卷积层，upsamplling表示网络中的上采样层，网络中每层的输出特征图尺寸表示为“分辨率宽×分辨率高×通道数”，经过多层卷积层级池化层，最终得到图像中各个目标的矩形框及分类，以完成目标的检测。池化层是一种图像下采样操作，虽然会减少卷积特征层的参数，加快模型运算速度，但是会对上一层的卷积特征图造成语义信息的损失。另一方面，浅层的卷积特征感受野包含的背景噪声小，对小目标具有更好的表征能力。同时，当目标被遮挡时，只存在目标的局部特征，由于浅层的卷积层通常对目标的局部或者小目标较为敏感，因此增加网络浅层的特征输出层，同时增加目标局部特征学习的样本，从而加强对遮挡目标和小目标的识别能力。YOLOv3目标检测网络考虑到计算资源问题，在本申请实施例中的YOLOv3目标检测网络的基础骨架为tiny-darknet，其参数只有4M，体量小适合落地。
S130、对所述第一帧图像检测到的每个目标均分配一个目标追踪器，得到第二帧图像中每个目标的预测位置。
示例性的，对应第一帧图像检测到的各个目标，本申请实施例提供一个Siamese_fc单目标追踪网络，对每个目标均分配一个基于Siamese_fc单目标追踪算法的目标追踪器，通过目标追踪器，对应预测各个目标在第二帧图像的位置。具体的，参照图5目标追踪器的目标预测方法包括：
S1301、提取第一帧图像截取到的目标图像及对应的位置信息。
S1302、将所述截取到的目标图像进行预设比例的扩展。
S1303、将所述截取到的目标图像、对应的位置信息及扩展后的目标图像输入目标追踪器，得到对应目标在第二帧图像的预测位置。
目标预测算法旨在通过对应目标截取的矩形框及对应这一截取的矩形框的扩展图像，借助Siamese_fc单目标追踪网络对这一目标进行下一帧图像的位置预测。具体的，目标预测的方式大致分为两个阶段，数据准备阶段及输入阶段。数据准备阶段主要提供第一帧图像截取到的目标图像及对应的位置信息，和这一截取到的目标图像进行预设比例的扩展图像。本申请实施例将上述两个图像作为一个图像配对，如[帧1，帧2，帧1中的目标坐标]，帧1为对应目标矩形框裁剪出来的图像，帧2为根据帧1的矩形框扩大一倍的长宽图像，并且都缩放到网络输入的尺寸大小分别为127*127*3和255*255*3。之后Siamese_fc单目标追踪网络在输入阶段，将上述的经过处理后的图片按照batch_size(批尺寸)大小输入进网络之中，网络的损失为输出的响应特征图15*15，与之对应的标签做logistic loss(损失函数)，最小化损失反馈调节网络层的参数，得到最优的网络参数。并且将第一帧的图像框出的目标经过多尺度处理，然后再输入进网络之后，对商品进行查找，得到经过高斯抑制的响应特征图，根据最大响应点和第一帧画出的框的大小，最终映射回第二帧预测的位置框，以此完成对应目标在第二帧图像的位置预测。通过对每一个目标分配一个目标追踪器，最终得到对应各个目标在第二帧图像时的预测位置。
Siamese_fc单目标追踪网络参照图6，“图1，127*127*3”代表的是模板图像，算法中使用的是第一帧的groundtruth。“图2，255*255*3”代表的是search region，代表在后面的待跟踪帧中的候选框搜索区域。“φ”代表的是一种特征映射操作，将原始图像映射到特定的特征空间，网络中采用的是CNN中的卷积层和pooling层。“特征6*6*128”代表模板图像经过特征映射后得到的特征，是一个128通道6*6大小feature。同理，“特征22*22*128”是“图2，255*255*3”经过特征映射后的特征。后面的“卷积”代表卷积操作，让“特征22*22*128”的feature被“特征6*6*128”的卷积核卷积，得到一个17*17的score map，代表着search region中各个位置与模板相似度值。基于图6可以了解Siamese_fc算法的框架，其算法实质是比较搜索区域与目标模板的相似度，最后得到搜索区域的score map。从原理上来说，这种方法和相关性滤波的方法很相似，其在搜索区域中逐点的目标模板进行匹配，将这种逐点平移匹配计算相似度的方法看成是一种卷积，然后在卷积结果中找到相似度值最大的点，作为新的目标的中心。上述特征映射其实是CNN中的一部分，并且两个特征映射的网络结构是一样的，这是一种典型的孪生神经网络，并且在整个模型中只有conv层和pooling层，因此这也是一种典型的全卷积(fully-convolutional)神经网络。
Siamese_fc单目标追踪网络的具体实现包括：
1、损失函数(logistic loss)
在训练模型的时肯定需要损失函数，并通过最小化损失函数来获取最优模型。算法为了构造有效的损失函数，对搜索区域的位置点进行了正负样本的区分，即目标一定范围内的点作为正样本，这个范围外的点作为负样本。算法采用的是logistic loss，具体的损失函数形式如下：
对于score map中了每个点的损失：
l(y,v)＝log(1+exp(-yv))
其中v是score map中每个点真实值，y∈{+1,-1}是这个点所对应的标签。
上面的是score map中每个点的loss值，而对于score map整体的loss，则采用的是全部点的loss的均值。即：
这里的u∈D代表score map中的位置，而有了损失函数，那就可以用SGD对模型进行训练了。
2、训练所用数据库
训练的数据库并不是传统的VOT，ALOV，OTB这三个跟踪benchmark，而是ILSVRC(ImageNet Large Scale Visual Recognition Challenge)中用于视频目标检测中的数据集，这个数据集一共有4500个videos，且视频的每一帧都有标记的groundtruth。
3、网络结构
整个网络结构类似与AlexNet，但是没有最后的全连接层，只有前面的卷积层和pooling层。整个网络结构入上表，其中pooling层采用的是max-pooling。每个卷积层后面都有一个ReLU非线性激活层，但是第五层没有。另外，在训练的时候，每个ReLU层前都使用了batch normalization，用于降低过拟合的风险。
S140、将所述第一帧图像中检测到的每个目标的位置与第二帧图像中每个目标的预测位置进行匈牙利匹配，得到对应帧组中每个目标的跟踪片段。
最终得到的对应每一个帧组第一帧图像检测到的每个目标的位置，及对应这些目标在第二帧的预测位置，通过匈牙利算法将这两个位置进行匹配，最终得到对应一个目标在一个帧组中的跟踪片段，跟踪片段表示目标在帧组中的位置变化。匈牙利算法是在在多项式时间内求解任务分配问题的组合优化算法，借助匈牙利算法能够使得第一帧图像中的各个目标的位置信息与第二帧图像中各个目标的预测位置信息一一匹配起来。对应一个目标，根据第一帧图像截取的矩形框和在第二帧图像预测位置截取的矩形框，根据矩形框的重叠度判断其相关性，最终将相关性大的进行匹配，使得每个目标在第一帧的检测位置与第二帧的预测位置一一匹配形成对应一个目标的跟踪片段。
具体的，使用下述公式(1)
其中SABCD第一帧图像截取的矩形框，SEFNM表示第二帧图像预测的矩形框，SEHDP表示SABCD与SEFNM的重叠位置，IoU表示重叠度。
根据上述公式(1)最终得到第一帧图像截取的矩形框与第二帧图像预测的矩形框的重叠度，重叠度IoU越高则两者越匹配。
匈牙利匹配算法根据IoU的先验关系建立第一帧目标位置与第二帧预测位置之间的匹配对应关系，由式(2)表示：
式中Q表示检测目标的个数，i表示目标检测位置与目标预测位置匹配的对数，取值范围为1≤i≤Q(其中i、Q均为整数)，di、ti分别表示第i对匹配中的目标检测框和目标预测框，同时式(2)满足
IoU≥thresh(3)
式中thresh为试验中确定的经验值，用于去除相关性很低的检测框和跟踪框之间的匹配。
最终，通过上述公式对应每个目标的第一帧图像的检测位置和第二帧图像的预测位置得到完美匹配。
S150、将第二帧图像输入预设的目标检测模型，输出第二帧图像中的目标及对应的位置，基于所述第二帧图像检测到的目标及对应的位置，修正所述跟踪片段中对应第二帧图像的每个目标的位置。
在完成匈牙利匹配后，通过上述YOLOv3目标检测模型输出第二帧图像检测到的目标及对应的位置。此时由于之前第二帧图像的目标及对应位置是根据目标跟踪网络预测得到的，因此，在检测到第二目标图像的目标及对应位置后，需要对第二帧图像的目标及对应位置进行修正。基于第二帧图像检测到的目标及对应的位置，在一个跟踪片段中，对应一个目标，若第二帧图像在目标检测时检测到相应的目标，则将这一目标的位置替换所述跟踪片段中这一目标的预测位置；若第二帧图像在目标检测时未检测到相应的目标，则保留所述跟踪片段中这一目标的预测位置。通过实时更正确保目标跟踪的精确性。对于无法检测到的目标，仍旧保留原有预测位置，避免目标漏检的情况。
S160、将当前帧组中的第二帧图像检测到的每个目标及对应的位置，作为后一个帧组中的第一帧图像检测到的每个目标及对应位置，当前帧组的目标跟踪结束。
示例性的，在完成第二帧图像的目标检测后，以当前帧组中的第二帧图像检测到的每个目标及对应的位置，作为后一个帧组中的第一帧图像检测到的每个目标及对应位置。由于相邻两个帧组是存在一个相同帧图像的。例如，第一帧图像与第二帧图像组成第一个帧组，第二帧图像与第三帧图像组成第二个帧组，那么此时相同帧图像为“第二帧图像”。后续在依据视频流顺序在下一个帧组进行视觉处理时，前一帧组第二帧图像检测到的目标及对应位置，实际上就是下一帧组第一帧图像检测到的每个目标及对应位置。以此来进行下一个帧组的目标跟踪识别，标识当前帧的目标跟踪识别完成。
S170、对应每个帧组得到的各个目标的跟踪片段，根据视频流顺序将相邻的跟踪片段合并，覆盖对应同一目标相同的位置信息，得到对应各个目标的跟踪链。
示例性的，基于视频流每个帧组的顺序进行多目标跟踪处理，对应每个帧组都得到对应图像中的各个目标的跟踪片段。将这些跟踪片段进行合并，合并过程中，由于前一帧组第二帧图像检测到的目标及对应位置，实际上就是下一帧组第一帧图像检测到的每个目标及对应位置。那么将两个帧组相同位置信息的进行覆盖，最终得到整个视频流中对应各个目标的跟踪链。
参照图7，对应第一帧图像每一个目标均分配一个单目标跟踪器，得到每一个目标在第二帧图像的预测位置，然后通过匈牙利匹配使得每个目标的检测位置及预测位置一一配对，形成对应一个目标的跟踪片段，跟踪片段的合并形成跟踪链，最终实现多目标跟踪。
S180、划定目标追踪区域，基于所述跟踪链以目标的位置超出或返回所述目标追踪区域作为对应商品的结算或退款依据。
示例性的，参照图8，在基于视频流经YOLOv3目标检测模型、Siamese_fc单目标追踪算法和匈牙利算法得到对应各个目标的跟踪链，此时根据预先划定的一个追踪区域。如图2所示的用户使用无人货柜挑选的区域，划定视频画面中的固定区域作为目标追踪区域，商品超出这一目标追踪区域，则表示用户购买了对应商品，以此为依据进行对应商品的结算。另一方面，考虑到存在用户拿错或不想买的情况，当用户把拿出目标追踪区域的商品又拿回来时，则表示用户需要退款，以此为依据将此前结算的商品进行退款。最终，通过本申请的多目标跟踪算法实现跟便捷乃至无感的商品结算流程。
上述，通过目标检测模型检测出目标及对应的位置，对每一个目标均分配一个目标追踪器，通过目标追踪器预测每个目标在下一帧图像的位置，再通过匈牙利匹配每个目标的检测位置及下一帧图像的预测位置，得到对应每个目标的跟踪片段，通过合并对应每一组相邻帧图像的跟踪片段得到每个目标的跟踪链，最终根据跟踪链以目标的位置超出或返回目标追踪区域作为对应商品的结算或退款依据，完成多个目标的动态跟踪识别，避免漏检、误检的情况，提高目标识别精度，进一步简化用户的结算流程。
实施例二：
在上述实施例的基础上，图9为本申请实施例二提供的一种多目标跟踪装置的结构示意图。参考图9，本实施例提供的多目标跟踪装置具体包括：获取模块21、目标检测模块22、目标跟踪模块23及跟踪链生成模块24。
其中，获取模块21，用于获取对应目标拍摄的视频流，以所述视频流中的任意两帧相邻的图像组成一个帧组；
目标检测模块22，用于根据视频流的顺序取一个帧组，将当前取得的帧组的第一帧图像输入预设的目标检测模型，输出所述第一帧图像中的目标及对应的位置；
目标跟踪模块23，用于对所述第一帧图像检测到的每个目标均分配一个目标追踪器，得到第二帧图像中每个目标的预测位置；将所述第一帧图像中检测到的每个目标的位置与第二帧图像中每个目标的预测位置进行匈牙利匹配，得到对应帧组中每个目标的跟踪片段；将第二帧图像输入预设的目标检测模型，输出第二帧图像中的目标及对应的位置，基于所述第二帧图像检测到的目标及对应的位置，修正所述跟踪片段中对应第二帧图像的每个目标的位置；将当前帧组中的第二帧图像检测到的每个目标及对应的位置，作为后一个帧组中的第一帧图像检测到的每个目标及对应的位置，当前帧组的目标跟踪结束；
跟踪链生成模块24，用于对应每个帧组得到的各个目标的跟踪片段，根据视频流顺序将相邻的跟踪片段合并，覆盖对应同一目标相同的位置信息，得到对应各个目标的跟踪链。
上述，通过目标检测模型检测出目标及对应的位置，对每一个目标均分配一个目标追踪器，通过目标追踪器预测每个目标在下一帧图像的位置，再通过匈牙利匹配每个目标的检测位置及下一帧图像的预测位置，得到对应每个目标的跟踪片段，通过合并对应每一组相邻帧图像的跟踪片段得到每个目标的跟踪链，最终根据跟踪链以目标的位置超出或返回目标追踪区域作为对应商品的结算或退款依据，完成多个目标的动态跟踪识别，避免漏检、误检的情况，提高目标识别精度，进一步简化用户的结算流程。
具体的，多目标跟踪装置还包括判定模块25，用于划定目标追踪区域，基于所述跟踪链以目标的位置超出或返回所述目标追踪区域作为对应商品的结算或退款依据。
具体的，目标跟踪模块23包括预测单元，所述预测单元用于提取第一帧图像截取到的目标图像及对应的位置信息；将所述截取到的目标图像进行预设比例的扩展；将所述截取到的目标图像、对应的位置信息及扩展后的目标图像输入目标追踪器，得到对应目标在第二帧图像的预测位置。
本申请实施例二提供的多目标跟踪装置可以用于执行上述实施例一提供的多目标跟踪方法，具备相应的功能和有益效果。
实施例三：
本申请实施例四提供了一种电子设备，该电子设备包括：处理器、存储器、通信模块。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块可以通过总线或者其他方式连接。
存储器作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的多目标跟踪方法对应的程序指令/模块(例如，多目标跟踪装置中的获取模块、目标检测模块、目标跟踪模块及跟踪链生成模块)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块用于与待升级设备建立无线连接，并进行数据传输。
处理器通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的多目标跟踪方法。
上述提供的电子设备可用于执行上述实施例一提供的多目标跟踪方法，具备相应的功能和有益效果。
实施例四：
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种多目标跟踪方法，该多目标跟踪方法包括：获取对应目标拍摄的视频流，以所述视频流中的任意两帧相邻的图像组成一个帧组；根据视频流的顺序取一个帧组，将当前取得的帧组的第一帧图像输入预设的目标检测模型，输出所述第一帧图像中的目标及对应的位置；对所述第一帧图像检测到的每个目标均分配一个目标追踪器，得到第二帧图像中每个目标的预测位置；将所述第一帧图像中检测到的每个目标的位置与第二帧图像中每个目标的预测位置进行匈牙利匹配，得到对应帧组中每个目标的跟踪片段；将第二帧图像输入预设的目标检测模型，输出第二帧图像中的目标及对应的位置，基于所述第二帧图像检测到的目标及对应的位置，修正所述跟踪片段中对应第二帧图像的每个目标的位置；将当前帧组中的第二帧图像检测到的每个目标及对应的位置，作为后一个帧组中的第一帧图像检测到的每个目标及对应的位置，当前帧组的目标跟踪结束；对应每个帧组得到的各个目标的跟踪片段，根据视频流顺序将相邻的跟踪片段合并，覆盖对应同一目标相同的位置信息，得到对应各个目标的跟踪链。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的多目标跟踪方法，还可以执行本申请任意实施例所提供的多目标跟踪方法中的相关操作。
上述实施例中提供的多目标跟踪装置、存储介质及电子设备可执行本申请任意实施例所提供的多目标跟踪方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的多目标跟踪方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种多目标跟踪方法，其特征在于，包括：
获取对应目标拍摄的视频流，将所述视频流中的任意相邻两帧的图像组成一个帧组；
根据视频流的顺序取一个帧组，将当前取得的帧组的第一帧图像输入预设的目标检测模型，输出所述第一帧图像中的目标及对应的位置；
对所述第一帧图像检测到的每个目标均分配一个目标追踪器，得到第二帧图像中每个目标的预测位置；
将所述第一帧图像中检测到的每个目标的位置与第二帧图像中每个目标的预测位置进行匈牙利匹配，得到对应帧组中每个目标的跟踪片段；
将第二帧图像输入预设的目标检测模型，输出第二帧图像中的目标及对应的位置，基于所述第二帧图像检测到的目标及对应的位置，修正所述跟踪片段中对应第二帧图像的每个目标的位置；
将当前帧组中的第二帧图像检测到的每个目标及对应的位置，作为后一个帧组中的第一帧图像检测到的每个目标及对应的位置，当前帧组的目标跟踪结束；
对应每个帧组得到的各个目标的跟踪片段，根据视频流顺序将相邻的跟踪片段合并，覆盖对应同一目标相同的位置信息，得到对应各个目标的跟踪链。
2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述目标检测模型基于YOLOv3目标检测算法建立。
3.根据权利要求2所述的多目标跟踪方法，其特征在于，在所述将当前取得的帧组的第一帧图像输入预设的目标检测模型，输出所述第一帧图像中的目标及对应的位置中，将所述第一帧图像输入YOLOv3目标检测模型，得到所述第一帧图像中对应每个目标的矩形框的宽、高及中心点坐标信息。
4.根据权利要求1所述的多目标跟踪方法，其特征在于，所述目标追踪器为Siamese_fc单目标追踪器。
5.根据权利要求4所述的多目标跟踪方法，其特征在于，所述对所述第一帧图像检测到的每个目标均分配一个目标追踪器，得到第二帧图像中每个目标的预测位置，包括：
提取第一帧图像截取到的目标图像及对应的位置信息；
将所述截取到的目标图像进行预设比例的扩展；
将所述截取到的目标图像、对应的位置信息及扩展后的目标图像输入目标追踪器，得到对应目标在第二帧图像的预测位置。
6.根据权利要求1所述的多目标跟踪方法，其特征在于，在所述基于所述第二帧图像检测到的目标及对应的位置，修正所述跟踪片段中对应第二帧图像的每个目标的位置中，对应一个目标，若第二帧图像在目标检测时检测到相应的目标，则将这一目标的位置替换所述跟踪片段中这一目标的预测位置；若第二帧图像在目标检测时未检测到相应的目标，则保留所述跟踪片段中这一目标的预测位置。
7.根据权利要求1所述的多目标跟踪方法，其特征在于，在所述对应每个帧组得到的各个目标的跟踪片段，根据视频流顺序将相邻的跟踪片段合并，覆盖对应同一目标相同的位置信息，得到对应各个目标的跟踪链之后，还包括：
划定目标追踪区域，基于所述跟踪链以目标的位置超出或返回所述目标追踪区域作为对应商品的结算或退款依据。
8.一种多目标跟踪装置，其特征在于，包括：
获取模块，用于获取对应目标拍摄的视频流，以所述视频流中的任意两帧相邻的图像组成一个帧组；
目标检测模块，用于根据视频流的顺序取一个帧组，将当前取得的帧组的第一帧图像输入预设的目标检测模型，输出所述第一帧图像中的目标及对应的位置；
目标跟踪模块，用于对所述第一帧图像检测到的每个目标均分配一个目标追踪器，得到第二帧图像中每个目标的预测位置；将所述第一帧图像中检测到的每个目标的位置与第二帧图像中每个目标的预测位置进行匈牙利匹配，得到对应帧组中每个目标的跟踪片段；将第二帧图像输入预设的目标检测模型，输出第二帧图像中的目标及对应的位置，基于所述第二帧图像检测到的目标及对应的位置，修正所述跟踪片段中对应第二帧图像的每个目标的位置；将当前帧组中的第二帧图像检测到的每个目标及对应的位置，作为后一个帧组中的第一帧图像检测到的每个目标及对应的位置，当前帧组的目标跟踪结束；
跟踪链生成模块，用于对应每个帧组得到的各个目标的跟踪片段，根据视频流顺序将相邻的跟踪片段合并，覆盖对应同一目标相同的位置信息，得到对应各个目标的跟踪链。
9.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的多目标跟踪方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的多目标跟踪方法。
CN201910521287.5A 2019-06-17 2019-06-17 一种多目标跟踪方法、装置、电子设备及存储介质 Pending CN110276780A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910521287.5A CN110276780A (zh) 2019-06-17 2019-06-17 一种多目标跟踪方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910521287.5A CN110276780A (zh) 2019-06-17 2019-06-17 一种多目标跟踪方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110276780A true CN110276780A (zh) 2019-09-24

Family

ID=67962160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910521287.5A Pending CN110276780A (zh) 2019-06-17 2019-06-17 一种多目标跟踪方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110276780A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706256A (zh) * 2019-09-27 2020-01-17 杭州博雅鸿图视频技术有限公司 一种基于多核异构平台的检测跟踪算法优化方法
CN110766715A (zh) * 2019-10-31 2020-02-07 智慧视通(杭州)科技发展有限公司 一种结合单目标轨迹的多目标跟踪方法
CN110796679A (zh) * 2019-10-30 2020-02-14 电子科技大学 一种面向航拍影像的目标跟踪方法
CN111144236A (zh) * 2019-12-10 2020-05-12 华南师范大学 一种蜚蠊交配行为分析的方法、系统及存储介质
CN111160248A (zh) * 2019-12-30 2020-05-15 北京每日优鲜电子商务有限公司 物品跟踪的方法、装置、计算机设备及存储介质
CN111311635A (zh) * 2020-02-08 2020-06-19 腾讯科技（深圳）有限公司 一种目标定位方法、装置及系统
CN111598924A (zh) * 2020-05-08 2020-08-28 腾讯科技（深圳）有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN111598923A (zh) * 2020-05-08 2020-08-28 腾讯科技（深圳）有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN111754541A (zh) * 2020-07-29 2020-10-09 腾讯科技（深圳）有限公司 目标跟踪方法、装置、设备及可读存储介质
CN111767857A (zh) * 2020-06-30 2020-10-13 电子科技大学 一种基于轻量级两阶段神经网络的行人检测方法
CN111862038A (zh) * 2020-07-17 2020-10-30 中国医学科学院阜外医院 一种斑块检测方法、装置、设备及介质
CN112465868A (zh) * 2020-11-30 2021-03-09 浙江大华汽车技术有限公司 一种目标检测跟踪方法、装置、存储介质及电子装置
CN112489082A (zh) * 2020-12-03 2021-03-12 海宁奕斯伟集成电路设计有限公司 位置检测方法、装置、电子设备以及可读存储介质
CN112836568A (zh) * 2020-12-08 2021-05-25 北京迈格威科技有限公司 位置预测方法、装置、电子设备及可读存储介质
CN113256691A (zh) * 2021-05-11 2021-08-13 广州织点智能科技有限公司 一种目标跟踪方法、装置、设备和存储介质
CN113450387A (zh) * 2020-03-26 2021-09-28 京东方科技集团股份有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN114565638A (zh) * 2022-01-25 2022-05-31 上海安维尔信息科技股份有限公司 一种基于跟踪链的多目标跟踪方法及系统
CN114757972A (zh) * 2022-04-15 2022-07-15 中国电信股份有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质
KR102561566B1 (ko) * 2023-02-08 2023-08-01 주식회사 지성이엔지 인공지능 기반의 영상 감시 시스템 및 방법
CN116883915A (zh) * 2023-09-06 2023-10-13 常州星宇车灯股份有限公司 一种基于前后帧图像关联的目标检测方法及检测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318258A (zh) * 2014-09-29 2015-01-28 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN108810616A (zh) * 2018-05-31 2018-11-13 广州虎牙信息科技有限公司 目标定位方法、视频显示方法、装置、设备和存储介质
CN109816690A (zh) * 2018-12-25 2019-05-28 北京飞搜科技有限公司 基于深度特征的多目标追踪方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318258A (zh) * 2014-09-29 2015-01-28 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN108810616A (zh) * 2018-05-31 2018-11-13 广州虎牙信息科技有限公司 目标定位方法、视频显示方法、装置、设备和存储介质
CN109816690A (zh) * 2018-12-25 2019-05-28 北京飞搜科技有限公司 基于深度特征的多目标追踪方法及系统

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706256A (zh) * 2019-09-27 2020-01-17 杭州博雅鸿图视频技术有限公司 一种基于多核异构平台的检测跟踪算法优化方法
CN110796679A (zh) * 2019-10-30 2020-02-14 电子科技大学 一种面向航拍影像的目标跟踪方法
CN110796679B (zh) * 2019-10-30 2023-04-07 电子科技大学 一种面向航拍影像的目标跟踪方法
CN110766715A (zh) * 2019-10-31 2020-02-07 智慧视通(杭州)科技发展有限公司 一种结合单目标轨迹的多目标跟踪方法
CN111144236A (zh) * 2019-12-10 2020-05-12 华南师范大学 一种蜚蠊交配行为分析的方法、系统及存储介质
CN111144236B (zh) * 2019-12-10 2024-04-26 华南师范大学 一种蜚蠊交配行为分析的方法、系统及存储介质
CN111160248A (zh) * 2019-12-30 2020-05-15 北京每日优鲜电子商务有限公司 物品跟踪的方法、装置、计算机设备及存储介质
CN111311635A (zh) * 2020-02-08 2020-06-19 腾讯科技（深圳）有限公司 一种目标定位方法、装置及系统
CN113450387A (zh) * 2020-03-26 2021-09-28 京东方科技集团股份有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN111598924A (zh) * 2020-05-08 2020-08-28 腾讯科技（深圳）有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN111598924B (zh) * 2020-05-08 2022-09-30 腾讯科技（深圳）有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN111598923B (zh) * 2020-05-08 2022-09-20 腾讯科技（深圳）有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN111598923A (zh) * 2020-05-08 2020-08-28 腾讯科技（深圳）有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN111767857A (zh) * 2020-06-30 2020-10-13 电子科技大学 一种基于轻量级两阶段神经网络的行人检测方法
CN111862038B (zh) * 2020-07-17 2024-05-14 中国医学科学院阜外医院 一种斑块检测方法、装置、设备及介质
CN111862038A (zh) * 2020-07-17 2020-10-30 中国医学科学院阜外医院 一种斑块检测方法、装置、设备及介质
CN111754541B (zh) * 2020-07-29 2023-09-19 腾讯科技（深圳）有限公司 目标跟踪方法、装置、设备及可读存储介质
CN111754541A (zh) * 2020-07-29 2020-10-09 腾讯科技（深圳）有限公司 目标跟踪方法、装置、设备及可读存储介质
CN112465868A (zh) * 2020-11-30 2021-03-09 浙江大华汽车技术有限公司 一种目标检测跟踪方法、装置、存储介质及电子装置
CN112465868B (zh) * 2020-11-30 2024-01-12 浙江华锐捷技术有限公司 一种目标检测跟踪方法、装置、存储介质及电子装置
CN112489082A (zh) * 2020-12-03 2021-03-12 海宁奕斯伟集成电路设计有限公司 位置检测方法、装置、电子设备以及可读存储介质
CN112836568A (zh) * 2020-12-08 2021-05-25 北京迈格威科技有限公司 位置预测方法、装置、电子设备及可读存储介质
CN113256691A (zh) * 2021-05-11 2021-08-13 广州织点智能科技有限公司 一种目标跟踪方法、装置、设备和存储介质
CN114565638A (zh) * 2022-01-25 2022-05-31 上海安维尔信息科技股份有限公司 一种基于跟踪链的多目标跟踪方法及系统
CN114757972B (zh) * 2022-04-15 2023-10-10 中国电信股份有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN114757972A (zh) * 2022-04-15 2022-07-15 中国电信股份有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质
KR102561566B1 (ko) * 2023-02-08 2023-08-01 주식회사 지성이엔지 인공지능 기반의 영상 감시 시스템 및 방법
CN116883915A (zh) * 2023-09-06 2023-10-13 常州星宇车灯股份有限公司 一种基于前后帧图像关联的目标检测方法及检测系统
CN116883915B (zh) * 2023-09-06 2023-11-21 常州星宇车灯股份有限公司 一种基于前后帧图像关联的目标检测方法及检测系统

Similar Documents

Publication Publication Date Title
CN110276780A (zh) 一种多目标跟踪方法、装置、电子设备及存储介质
CN108197532B (zh) 人脸识别的方法、装置及计算机装置
CN111627045B (zh) 单镜头下的多行人在线跟踪方法、装置、设备及存储介质
Li et al. Instance-level salient object segmentation
CN108470354A (zh) 视频目标跟踪方法、装置和实现装置
Chen et al. A hierarchical model incorporating segmented regions and pixel descriptors for video background subtraction
CN107633526A (zh) 一种图像跟踪点获取方法及设备、存储介质
CA3098286A1 (en) Method for distinguishing a real three-dimensional object from a two-dimensional spoof of the real object
Zhang et al. CSART: Channel and spatial attention-guided residual learning for real-time object tracking
CN111581423B (zh) 一种目标检索方法及装置
CN109598234A (zh) 关键点检测方法和装置
CN107944381B (zh) 人脸跟踪方法、装置、终端及存储介质
CN111126249A (zh) 一种大数据和贝叶斯相结合的行人重识别方法及装置
CN113065593A (zh) 模型训练方法、装置、计算机设备和存储介质
CN115223239B (zh) 一种手势识别方法、系统、计算机设备以及可读存储介质
CN111709391A (zh) 一种人脸人体匹配方法、装置及设备
CN117581272A (zh) 用于体育分析中的队伍分类的方法和装置
CN109447022A (zh) 一种镜头类型识别方法及装置
CN114067428A (zh) 多视角多目标的跟踪方法、装置、计算机设备和存储介质
Sharmila et al. Convolution Neural Networks based lungs disease detection and Severity classification
CN109919043A (zh) 一种行人跟踪方法、装置及设备
CN109948422A (zh) 一种室内环境调节方法、装置、可读存储介质及终端设备
CN113763440A (zh) 一种图像处理方法、装置、设备及存储介质
CN109241942A (zh) 图像处理方法、装置、人脸识别设备及存储介质
Sun et al. Devil in the details: Delving into accurate quality scoring for DensePose

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190924

RJ01 Rejection of invention patent application after publication