CN112037267A - 基于视频目标跟踪的商品摆放位置全景图形生成方法 - Google Patents

基于视频目标跟踪的商品摆放位置全景图形生成方法 Download PDF

Info

Publication number
CN112037267A
CN112037267A CN202011227759.5A CN202011227759A CN112037267A CN 112037267 A CN112037267 A CN 112037267A CN 202011227759 A CN202011227759 A CN 202011227759A CN 112037267 A CN112037267 A CN 112037267A
Authority
CN
China
Prior art keywords
tracking
video
frame
target
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011227759.5A
Other languages
English (en)
Other versions
CN112037267B (zh
Inventor
丁明
李海荣
陈永辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xuanwu Wireless Technology Co Ltd
Original Assignee
Guangzhou Xuanwu Wireless Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xuanwu Wireless Technology Co Ltd filed Critical Guangzhou Xuanwu Wireless Technology Co Ltd
Priority to CN202011227759.5A priority Critical patent/CN112037267B/zh
Publication of CN112037267A publication Critical patent/CN112037267A/zh
Application granted granted Critical
Publication of CN112037267B publication Critical patent/CN112037267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频目标跟踪的商品摆放位置全景图形生成方法及装置，能够基于深度学习对视频中商品位置进行目标检测、跟踪以及识别，利用静止目标的相对位置不变性以及同一商品对应的跟踪目标在视频的多帧视频帧中均会出现的特点，提高对商品跟踪目标位置和类别识别的准确率，从而降低了对商品在每帧视频帧中的图像质量要求，提高合成全景图的效率和质量。在拍摄视频的时候，不需要严格要求拍摄视频的条件，例如可以从上下左右等多方位进行拍摄，降低了对视频拍摄的要求，提高了在合成全景图片前采集视频数据效率。并且生成的图形可以根据需求选择使用二维图形或者三维图形，可以生成展示形式更加多样化的全景图形。

Description

基于视频目标跟踪的商品摆放位置全景图形生成方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于视频目标跟踪的商品摆放位置全景图形生成方法及装置。
背景技术
在快消行业中，商品在零售渠道中的陈列位置直接关系到其销量，因此品牌商对商品陈列的数字化有强烈的需求，特别是饮料品牌商希望了解商品在自有货架或客户货架中的陈列位置，通过分析大量的终端商品陈列数据，从而了解本品以及竞品的优劣势。
现有技术中，为了获取货架上各商品陈列的位置，一般可以通过拍摄图片来获取货架上商品陈列的情况。但是对于长货架或者陈列空间较大的场景而言，无法通过拍摄一张图片来获取商品陈列的状态，此时需要拍摄采用图片拼接的形式获取货架上商品陈列位置的全景图像。然而，通过图片拼接形式对拍摄要求较高，每一张图片拍摄后都需要校对其可用性，这降低了合成全景图像的效率。同时，一旦用于拼接的图片中存在图像畸变、重影等问题，会严重影响全景图像的拼接效果，甚至无法完成拼接。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种基于视频目标跟踪的商品摆放位置全景图形生成方法及装置，能够基于深度学习对视频中商品位置进行目标检测、跟踪以及识别，利用静止目标的相对位置不变性以及同一商品对应的跟踪目标在视频的多帧视频帧中均会出现的特点，提高对商品跟踪目标位置和类别识别的准确率，从而降低了对商品在每帧视频帧中的图像质量要求，提高合成全景图的效率和质量，从而降低了对商品在每帧视频帧中的图像质量要求，提高合成全景图的效率和质量。
第一方面，本发明实施例提供一种基于视频目标跟踪的商品摆放位置全景图形生成方法，所述方法包括：
利用预设的目标跟踪算法，获取视频的关键帧中所有跟踪目标的绝对位置信息，并将已获取到绝对位置信息的跟踪目标记为已登记跟踪目标；其中，所述关键帧为视频的视频帧序列中的一个视频帧，该视频帧为视频帧序列中被预设的目标跟踪算法第一次检测到跟踪目标的视频帧；绝对位置信息为跟踪目标所处检测框在所述关键帧中的位置信息；
利用预设的目标跟踪算法，获取视频的当前帧中的未登记跟踪目标所处检测框与当前帧中的已登记跟踪目标所处检测框的相对位移，并根据所述相对位移计算出当前帧中未登记跟踪目标的绝对位置信息；其中，所述当前帧为视频的视频帧序列中的除所述关键帧以外的任一个视频帧；所述未登记跟踪目标为未获取到绝对位置信息的跟踪目标；
根据已登记跟踪目标的绝对位置信息，将与各已登记跟踪目标对应的商品图形融合在同一背景图形中，以生成还原商品摆放位置的全景图形；其中，所述图形为二维图形或三维图形。
在一些实施例中，所述利用预设的目标跟踪算法，获取视频的当前帧中的未登记跟踪目标所处检测框与当前帧中的已登记跟踪目标所处检测框的相对位移，并根据所述相对位移计算出当前帧中未登记跟踪目标的绝对位置信息，具体包括以下步骤：
获取当前帧中所有已登记跟踪目标相对于上一帧的位移矢量；
过滤掉当前帧中位移矢量异常的已登记跟踪目标；
利用预设的目标跟踪算法，获取视频的当前帧中的未登记跟踪目标所处检测框与当前帧中位移矢量正常的已登记跟踪目标所处检测框的相对位移；
根据所述相对位移计算出当前帧中未登记跟踪目标的绝对位置信息。
在一些实施例中，在执行所述将与各已登记跟踪目标对应的商品图形融合在同一背景图形中的步骤之前，所述方法还包括：
获取所有已登记跟踪目标的绝对位置信息中的最小坐标值；
在所述最小坐标值小于阈值的情况下，按照预设规则对所有已登记跟踪目标的绝对位置信息的坐标进行偏移。
在一些实施例中，所述方法还包括：
在利用预设的目标跟踪对视频中的跟踪目标进行跟踪时，并当跟踪的跟踪目标连续N帧未匹配上时，停止对该跟踪目标的跟踪；其中，N为5至15之间的整数。
第二方面，本发明实施例提供一种基于视频目标跟踪的商品摆放位置全景图形生成装置，所述装置包括：
关键帧绝对位置信息获取模块，用于利用预设的目标跟踪算法，获取视频的关键帧中所有跟踪目标的绝对位置信息，并将已获取到绝对位置信息的跟踪目标记为已登记跟踪目标；其中，所述关键帧为视频的视频帧序列中的一个视频帧，该视频帧为视频帧序列中被预设的目标跟踪算法第一次检测到跟踪目标的视频帧；绝对位置信息为跟踪目标所处检测框在所述关键帧中的位置信息；
当前帧绝对位置信息获取模块，用于利用预设的目标跟踪算法，获取视频的当前帧中的未登记跟踪目标所处检测框与当前帧中的已登记跟踪目标所处检测框的相对位移，并根据所述相对位移计算出当前帧中未登记跟踪目标的绝对位置信息；其中，所述当前帧为视频的视频帧序列中的除所述关键帧以外的任一个视频帧；所述未登记跟踪目标为未获取到绝对位置信息的跟踪目标；
全景图形合成模块，用于根据已登记跟踪目标的绝对位置信息，将与各已登记跟踪目标对应的商品图形融合在同一背景图形中，以生成还原商品摆放位置的全景图形；其中，所述图形为二维图形或三维图形。
在一些实施例中，所述当前帧绝对位置信息获取模块包括以下子单元：
位移矢量获取子单元，用于获取当前帧中所有已登记跟踪目标相对于上一帧的位移矢量；
异常过滤子单元，用于过滤掉当前帧中位移矢量异常的已登记跟踪目标；
相对位移获取子单元，用于利用预设的目标跟踪算法，获取视频的当前帧中的未登记跟踪目标所处检测框与当前帧中位移矢量正常的已登记跟踪目标所处检测框的相对位移；
绝对位置信息计算子单元，用于根据所述相对位移计算出当前帧中未登记跟踪目标的绝对位置信息。
在一些实施例中，所述全景图形合成模块还用于：
获取所有已登记跟踪目标的绝对位置信息中的最小坐标值；
在所述最小坐标值小于阈值的情况下，按照预设规则对所有已登记跟踪目标的绝对位置信息的坐标进行偏移。
在一些实施例中，所述装置还包括：
跟踪目标模块，用于在利用预设的目标跟踪对视频中的跟踪目标进行跟踪时，并当跟踪的跟踪目标连续N帧未匹配上时，停止对该跟踪目标的跟踪；其中，N为5至15之间的整数。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述的基于视频目标跟踪的商品摆放位置全景图形生成方法。
第四方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的基于视频目标跟踪的商品摆放位置全景图形生成方法。
与现有技术相比，本发明至少具有以下有益效果：
1.能够基于深度学习对视频中商品位置进行目标检测、跟踪以及识别，利用静止目标的相对位置不变性以及同一商品对应的跟踪目标在视频的多帧视频帧中均会出现的特点，提高对商品跟踪目标位置和类别识别的准确率，从而降低了对商品在每帧视频帧中的图像质量要求，提高合成全景图的效率和质量，从而降低了对商品在每帧视频帧中的图像质量要求，提高合成全景图的效率和质量。
2.基于本方法具有上述第1点所述的有益效果，因此，在拍摄视频的时候，不需要严格要求拍摄视频的条件，例如可以从上下左右等多方位进行拍摄，降低了对视频拍摄的要求，提高了在合成全景图片前采集视频数据效率。
3.本发明方法生成的图形可以根据需求选择使用二维图形或者三维图形，相较于现有技术，可以生成展示形式更加多样化的全景图形。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实施例对本发明进一步地说明；
图1为一实施例中本发明方法的流程图。
图2为另一实施例中本发明方法的流程图。
图3为一实施例中本发明装置的结构框图。
图4为一个实施例中计算机设备的结构框图。
图5为一个实施例中视频的两个视频帧。
图6为一个实施例中本发明方法合成的二维全景图形。
附图标记：
110、关键帧绝对位置信息获取模块；120、当前帧绝对位置信息获取模块；121、位移矢量获取子单元；122、异常过滤子单元；123、相对位移获取子单元；124、绝对位置信息计算子单元；130、全景图形合成模块。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
为了便于理解本发明实施例，以下对本发明涉及的技术术语作简要说明。
三维图形，英文为three-dimensional，缩写为3D；即在计算机里显示的3d图形。
二维图形，是指利用计算机显示的二维图像。
交并比（Intersection-over-Union，IoU）：是目标检测中使用的一个概念，是指产生的候选框（candidate bound）与原标记框（ground truth bound）的交叠率，即它们的交集与并集的比值。最理想情况是完全重叠，即比值为1。
下面，将通过几个具体的实施例对本发明实施例提供的基于视频目标跟踪的商品摆放位置全景图形生成方法进行详细介绍和说明。
在一个实施例中，提供了一种基于视频目标跟踪的商品摆放位置全景图形生成方法。本实施例主要以该方法应用于计算机设备来举例说明。该计算机设备具体可以是终端或服务器。具体的，终端可以是台式电脑、笔记本电脑、平板电脑或移动终端。具体的，服务器可以是单台的服务器，也可以是由多台服务器组成的服务器集群。
参照图1，该基于视频目标跟踪的商品摆放位置全景图形生成方法依次包括步骤S101、步骤S102和步骤S103。
其中，步骤S101：计算机设备利用预设的目标跟踪算法，获取视频的关键帧中所有跟踪目标的绝对位置信息，并将已获取到绝对位置信息的跟踪目标记为已登记跟踪目标；其中，所述关键帧为视频的视频帧序列中的一个视频帧，该视频帧为视频帧序列中被预设的目标跟踪算法第一次检测到跟踪目标的视频帧；绝对位置信息为跟踪目标所处检测框在所述关键帧中的位置信息。
可以理解的是，跟踪目标是与货架上商品对应的图形，为了提高本实施例中目标跟踪算法检测、识别和跟踪跟踪目标的准确率，本实施例采用以下的方法：
步骤S1011，利用深度学习目标检测器对每个视频帧商品框进行检测，具体包括：
(1)采集待货架上识别商品的数据采集，具体的，将视频中出现的商品的图像作为跟踪目标，进行人工标注形成训练集；
(2)利用训练集对深度学习检测模型进行训练，采用训练好的深度学习检测模型对视频的每一帧进行商品（即跟踪目标）框检测；
(3)利用训练集对深度学习分类模型进行训练，采用训练好的深度学习分类模型对每一个商品框（即跟踪目标所处检测框）进行特征提取和分类。
步骤S1012，利用多目标跟踪的方法对检测框进行跟踪,具体包括：
(1)利用步骤S1011中深度学习分类模型的bottleneck（除去最后的全连接层的输出）提取检测框的纹理特征；
(2)利用每个框的纹理特征以及DeepSort目标跟踪器进行商品（即跟踪目标）的跟踪。
需要说明的是，采集待识别商品的检测数据并进行框的标注。将标注完的框提取出来作为分类网络模型的训练；本文使用的检测网络为RefineDet, 骨干网络为resnet50；分类网络为DenseNet。检测模型训练类别为1类即把所有商品看成一个类，分类模型为N+1类，N为待识别商品的总类别个数，1表示负样本。
然后对视频进行解码，对每一帧依次进行处理得出来。首先对视频帧进行尺度变化（resize），变化到检测模型训练大小输入到模型进行商品的检测，对检测到的商品框进行分类模型推理得到类别并保存分类模型的bottleneck特征。
作为优选的示例，为了能够在对跟踪目标进行跟踪时，去除掉由于重影或者晃动在视频帧中形成的“假的跟踪目标”。在利用预设的目标跟踪对视频中的跟踪目标进行跟踪时，并当跟踪的跟踪目标连续N帧未匹配上时，停止对该跟踪目标的跟踪；其中，N为5至15之间的整数。具体的，本示例使用DeepSort跟踪器进行商品多目标跟踪，采用步骤S1012中提取的bottleneck特征替换DeepSort中的ReID特征进行。当跟踪目标连续匹配上检测帧数大于10时将该目标记为实际出现的目标，当跟踪目标连续10帧未匹配上检测时候删除跟踪目标。
可以理解的是，在步骤S101中，将在关键帧中出现的检测对象的坐标点记为绝对坐标位置，即在关键帧对应的图像上建立绝对坐标系，例如，将关键帧对应的图像的坐标原点初始化为绝对坐标系的原点。步骤S103中的背景图形也是采用该绝对坐标系，从而背景图形的坐标原点与关键帧的坐标原点重合。由于货架的长度大于关键帧能够展示的长度，因此，对于位于关键帧之外的商品（即跟踪目标），需要将其变换为绝对坐标系中的坐标，以便货架上的所有商品都具有同一个坐标系下的坐标，用于根据这些坐标来将各商品根据货架上的位置合成在背景图形上。
具体的，在利用关键帧对应的图像坐标原点初始化绝对坐标系原点后，将已获取到绝对位置信息的跟踪目标记为已登记跟踪目标，是指记录出现的跟踪目标所处检测框的当前中心点的横纵坐标位置(x,y)以及宽高(w,h)。
其中，步骤S102：计算机设备利用预设的目标跟踪算法，获取视频的当前帧中的未登记跟踪目标所处检测框与当前帧中的已登记跟踪目标所处检测框的相对位移，并根据所述相对位移计算出当前帧中未登记跟踪目标的绝对位置信息；其中，所述当前帧为视频的视频帧序列中的除所述关键帧以外的任一个视频帧；所述未登记跟踪目标为未获取到绝对位置信息的跟踪目标。
可以理解的是，在步骤S101中，获得了第一批已登记跟踪目标，在关键帧的第一个当前帧中的未登记跟踪目标就可以通过计算其与在关键帧的第一个当前帧中的已登记跟踪目标的相对位移获得在关键帧的第一个当前帧中的未登记跟踪目标在绝对坐标系中的坐标位置。同理，每一个当前帧的未登记跟踪目标与上一帧的已登记跟踪目标计算相对位移就可以获得所有当前帧中的跟踪目标在绝对坐标系中的坐标位置。
需要说明的是，参照图2，作为步骤S102的一个优选示例，该示例包括以下子步骤：
步骤S1021：计算机设备获取当前帧中所有已登记跟踪目标相对于上一帧的位移矢量；
当前帧存在的已登记跟踪目标记为T目标，计算每个T目标在当前帧的坐标(x1,y1)相对上一帧（上一帧包括关键帧和当前帧）坐标(x0,y0)的位移矢量dt = (x1-x0, y1-y0)以及T目标的宽高(w,h)。
对每个T目标的位移矢量进行聚类：余弦(cosine)距离值差异小的距离近，去除距离聚类中心大于0.5的异常值的T目标剩下的目标记为Tb。其中两个位移矢量的余弦距离计算公式为：
Figure 678398DEST_PATH_IMAGE001
其中，A和B分别表示两个位移矢量。
步骤S1022：计算机设备过滤掉当前帧中位移矢量异常的已登记跟踪目标；
本示例中，采用过滤掉当前帧中位移矢量异常的已登记跟踪目标，可以排除异常数据，提高精确度。
步骤S1023：计算机设备利用预设的目标跟踪算法，获取视频的当前帧中的未登记跟踪目标所处检测框与当前帧中位移矢量正常的已登记跟踪目标所处检测框的相对位移；
对于每一个未登记跟踪目标N(xj n, yj n)，计算其相对于每一个已登记跟踪目标Tb(xi t,yi t)的相对位移(xj n-xi t, yj n-yi t);
其中，i表示Tb第i个目标的索引，如Tb总共M个目标则i=1,2,...M；
j表示未登记跟踪目标第j个目标的索引，如未登记跟踪目标总共M个目标则j=1,2,...M。
步骤S1024：计算机设备根据所述相对位移计算出当前帧中未登记跟踪目标的绝对位置信息。
利用Tb的绝对坐标系位置(xi ta, yi ta)计算未登记跟踪目标的绝对坐标系位置：(xi ta+xj n-xi t, yi ta+yj n-yi t)，最后求平均得到未登记跟踪目标的绝对坐标系位置(xj na,yj na)。
Figure 271184DEST_PATH_IMAGE002
其中，i表示Tb第i个目标的索引，如Tb总共M个目标则i=1,2,...M；
j表示未登记跟踪目标第j个目标的索引，如未登记跟踪目标总共M个目标则j=1,2,...M。
更进一步的，为了提高精度，计算得到的未登记跟踪目标与已经得到的所有未登记跟踪目标的IOU，如果IOU大于0.5则删除该新出现的未登记跟踪目标。两个框其中IOU的计算如下：
Figure 417126DEST_PATH_IMAGE003
上式中分子表示A和B的交集面积，分母表示A和B的面积并集。
可以理解的是，由于多目标跟踪中容易将两个检测对象混淆，通过计算得到的未登记跟踪目标与已经得到的所有未登记跟踪目标的IOU，如果IOU大于0.5则认为该新出现的未登记跟踪目标已经出现过，需要删除，从而提升跟踪识别的精度，然后将其他正常的未登记跟踪目标标记为当前帧的已登记跟踪目标。
其中，步骤S103：计算机设备根据已登记跟踪目标的绝对位置信息，将与各已登记跟踪目标对应的商品图形融合在同一背景图形中，以生成还原商品摆放位置的全景图形；其中，所述图形为二维图形或三维图形。
需要说明的是，本实施例方法生成的图形可以根据需求选择使用二维图形或者三维图形，相较于现有技术，可以生成展示形式更加多样化的全景图形。
例如，图5和图6所示的就是当图形为二维图形时，计算机设备根据已登记跟踪目标的绝对位置信息，将与各已登记跟踪目标对应的商品图像融合在同一背景图像中，以生成还原商品摆放位置的全景图像。
可以理解的是，当图形为三维图形时，可以通过3d建模方式，计算机设备根据已登记跟踪目标的绝对位置信息，将与各已登记跟踪目标对应的三维商品对象融合在同一三维背景场景中，以生成还原商品摆放位置的三维全景场景。需要说明的是，三维场景中正视图中各已登记跟踪目标的摆放位置与已登记跟踪目标的绝对位置信息对应。
具体的，在执行所述将与各已登记跟踪目标对应的商品图形融合在同一背景图形中的步骤之前，所述方法还包括以下子步骤：
步骤S1031：计算机设备获取所有已登记跟踪目标的绝对位置信息中的最小坐标值（即绝对坐标系中的坐标值）；
步骤S1032：在所述最小坐标值小于阈值的情况下，计算机设备按照预设规则对所有已登记跟踪目标的绝对位置信息的坐标进行偏移。
可以理解的是，当所有已登记跟踪目标的绝对位置信息中的最小坐标值（x,y）小于某个阈值时，例如（0,0）,而（0,0）是绝对坐标系的原点，此时会导致在合成所有已登记跟踪目标时会有部分跟踪目标位于背景图形之外，因此，增加对绝对位置信息中的最小坐标值的检测，并对所有坐标进行偏移，可以保证合成的全景图形的完整性。
在一个具体的示例中，包括以下步骤：
(1)计算所有商品的绝对坐标系中的坐标值：其中x最小值为xmin、最大值为xmax，y最小值为ymin、最大值为ymax；如果xmin<0所有框的x坐标加上abs(xmin)+10，如果ymin<0所有框的y坐标加上abs(ymin)+10。其中，abs()为取绝对值函数，目的是将值最小的坐标拉回到正数，也就是位于背景图形中，加10是为了让各个跟踪目标与背景图形边缘存在间距，提升美观度，便于观察。
(2)计算背景图的宽和高(imgW,imgH): imgW=xmax+10, imgH=ymax+10。
(3)构建纯色背景图像并将所有商品根据位置融合到背景中去，融合的商品图像在库中调用并resize成商品宽高(w,h)。
可以理解的是，本示例中融合的商品图像是通过调用预先设置好的图像库中的图像，避免直接采用视频中获取的图片，保证了每张商品图片的完整性。
参照图3，在一个实施例中，提供一种基于视频目标跟踪的商品摆放位置全景图形生成装置，所述装置包括：
关键帧绝对位置信息获取模块110，用于利用预设的目标跟踪算法，获取视频的关键帧中所有跟踪目标的绝对位置信息，并将已获取到绝对位置信息的跟踪目标记为已登记跟踪目标；其中，所述关键帧为视频的视频帧序列中的一个视频帧，该视频帧为视频帧序列中被预设的目标跟踪算法第一次检测到跟踪目标的视频帧；绝对位置信息为跟踪目标所处检测框在所述关键帧中的位置信息；
当前帧绝对位置信息获取模块120，用于利用预设的目标跟踪算法，获取视频的当前帧中的未登记跟踪目标所处检测框与当前帧中的已登记跟踪目标所处检测框的相对位移，并根据所述相对位移计算出当前帧中未登记跟踪目标的绝对位置信息；其中，所述当前帧为视频的视频帧序列中的除所述关键帧以外的任一个视频帧；所述未登记跟踪目标为未获取到绝对位置信息的跟踪目标；
全景图形合成模块130，用于根据已登记跟踪目标的绝对位置信息，将与各已登记跟踪目标对应的商品图形融合在同一背景图形中，以生成还原商品摆放位置的全景图形；其中，所述图形为二维图形或三维图形。
在一些实施例中，所述当前帧绝对位置信息获取模块120包括以下子单元：
位移矢量获取子单元121，用于获取当前帧中所有已登记跟踪目标相对于上一帧的位移矢量；
异常过滤子单元122，用于过滤掉当前帧中位移矢量异常的已登记跟踪目标；
相对位移获取子单元123，用于利用预设的目标跟踪算法，获取视频的当前帧中的未登记跟踪目标所处检测框与当前帧中位移矢量正常的已登记跟踪目标所处检测框的相对位移；
绝对位置信息计算子单元124，用于根据所述相对位移计算出当前帧中未登记跟踪目标的绝对位置信息。
在一些实施例中，所述全景图形合成模块130还用于：
获取所有已登记跟踪目标的绝对位置信息中的最小坐标值；
在所述最小坐标值小于阈值的情况下，按照预设规则对所有已登记跟踪目标的绝对位置信息的坐标进行偏移。
在一些实施例中，所述装置还包括：
跟踪目标模块，用于在利用预设的目标跟踪对视频中的跟踪目标进行跟踪时，并当跟踪的跟踪目标连续N帧未匹配上时，停止对该跟踪目标的跟踪；其中，N为5至15之间的整数。
需要说明的是，由于本发明的装置实施例与本发明的方法实施例基于相同的发明构思，此处对装置实施例不再赘述。
图4示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端（或服务器）。如图4所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现基于视频目标跟踪的商品摆放位置全景图形生成方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行基于视频目标跟踪的商品摆放位置全景图形生成方法。本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的基于视频目标跟踪的商品摆放位置全景图形生成装置可以实现为一种计算机程序的形式，计算机程序可在如图4所示的计算机设备上运行。计算机设备的存储器中可存储组成该基于视频目标跟踪的商品摆放位置全景图形生成装置的各个程序模块，比如，图3所示的关键帧绝对位置信息获取模块110、当前帧绝对位置信息获取模块120和全景图形合成模块130。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的基于视频目标跟踪的商品摆放位置全景图形生成方法中的步骤。
例如，图4所示的计算机设备可以通过如图3所示的基于视频目标跟踪的商品摆放位置全景图形生成装置中的关键帧绝对位置信息获取模块110执行利用预设的目标跟踪算法，获取视频的关键帧中所有跟踪目标的绝对位置信息，并将已获取到绝对位置信息的跟踪目标记为已登记跟踪目标的步骤；其中，所述关键帧为视频的视频帧序列中的一个视频帧，该视频帧为视频帧序列中被预设的目标跟踪算法第一次检测到跟踪目标的视频帧；绝对位置信息为跟踪目标所处检测框在所述关键帧中的位置信息。通过当前帧绝对位置信息获取模块120执行利用预设的目标跟踪算法，获取视频的当前帧中的未登记跟踪目标所处检测框与当前帧中的已登记跟踪目标所处检测框的相对位移，并根据所述相对位移计算出当前帧中未登记跟踪目标的绝对位置信息的步骤；其中，所述当前帧为视频的视频帧序列中的除所述关键帧以外的任一个视频帧；所述未登记跟踪目标为未获取到绝对位置信息的跟踪目标。通过全景图形合成模块130执行根据已登记跟踪目标的绝对位置信息，将与各已登记跟踪目标对应的商品图形融合在同一背景图形中，以生成还原商品摆放位置的全景图形的步骤；其中，所述图形为二维图形或三维图形。
在一个实施例中，提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时执行上述基于视频目标跟踪的商品摆放位置全景图形生成方法的步骤。此处基于视频目标跟踪的商品摆放位置全景图形生成方法的步骤可以是上述各个实施例的基于视频目标跟踪的商品摆放位置全景图形生成方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述基于视频目标跟踪的商品摆放位置全景图形生成方法的步骤。此处基于视频目标跟踪的商品摆放位置全景图形生成方法的步骤可以是上述各个实施例的基于视频目标跟踪的商品摆放位置全景图形生成方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRA）、存储器总线（Rambus）直接RAM（RDRA）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

Claims (10)

1.一种基于视频目标跟踪的商品摆放位置全景图形生成方法，其特征在于，所述方法包括：
利用预设的目标跟踪算法，获取视频的关键帧中所有跟踪目标的绝对位置信息，并将已获取到绝对位置信息的跟踪目标记为已登记跟踪目标；其中，所述关键帧为视频的视频帧序列中的一个视频帧，该视频帧为视频帧序列中被预设的目标跟踪算法第一次检测到跟踪目标的视频帧；绝对位置信息为跟踪目标所处检测框在所述关键帧中的位置信息；
利用预设的目标跟踪算法，获取视频的当前帧中的未登记跟踪目标所处检测框与当前帧中的已登记跟踪目标所处检测框的相对位移，并根据所述相对位移计算出当前帧中未登记跟踪目标的绝对位置信息；其中，所述当前帧为视频的视频帧序列中的除所述关键帧以外的任一个视频帧；所述未登记跟踪目标为未获取到绝对位置信息的跟踪目标；
根据已登记跟踪目标的绝对位置信息，将与各已登记跟踪目标对应的商品图形融合在同一背景图形中，以生成还原商品摆放位置的全景图形；其中，所述图形为二维图形或三维图形。
2.根据权利要求1所述的方法，其特征在于，所述利用预设的目标跟踪算法，获取视频的当前帧中的未登记跟踪目标所处检测框与当前帧中的已登记跟踪目标所处检测框的相对位移，并根据所述相对位移计算出当前帧中未登记跟踪目标的绝对位置信息，具体包括以下步骤：
获取当前帧中所有已登记跟踪目标相对于上一帧的位移矢量；
过滤掉当前帧中位移矢量异常的已登记跟踪目标；
利用预设的目标跟踪算法，获取视频的当前帧中的未登记跟踪目标所处检测框与当前帧中位移矢量正常的已登记跟踪目标所处检测框的相对位移；
根据所述相对位移计算出当前帧中未登记跟踪目标的绝对位置信息。
3.根据权利要求1所述的方法，其特征在于，在执行所述将与各已登记跟踪目标对应的商品图形融合在同一背景图形中的步骤之前，所述方法还包括：
获取所有已登记跟踪目标的绝对位置信息中的最小坐标值；
在所述最小坐标值小于阈值的情况下，按照预设规则对所有已登记跟踪目标的绝对位置信息的坐标进行偏移。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在利用预设的目标跟踪对视频中的跟踪目标进行跟踪时，并当跟踪的跟踪目标连续N帧未匹配上时，停止对该跟踪目标的跟踪；其中，N为5至15之间的整数。
5.一种基于视频目标跟踪的商品摆放位置全景图形生成装置，其特征在于，所述装置包括：
关键帧绝对位置信息获取模块，用于利用预设的目标跟踪算法，获取视频的关键帧中所有跟踪目标的绝对位置信息，并将已获取到绝对位置信息的跟踪目标记为已登记跟踪目标；其中，所述关键帧为视频的视频帧序列中的一个视频帧，该视频帧为视频帧序列中被预设的目标跟踪算法第一次检测到跟踪目标的视频帧；绝对位置信息为跟踪目标所处检测框在所述关键帧中的位置信息；
当前帧绝对位置信息获取模块，用于利用预设的目标跟踪算法，获取视频的当前帧中的未登记跟踪目标所处检测框与当前帧中的已登记跟踪目标所处检测框的相对位移，并根据所述相对位移计算出当前帧中未登记跟踪目标的绝对位置信息；其中，所述当前帧为视频的视频帧序列中的除所述关键帧以外的任一个视频帧；所述未登记跟踪目标为未获取到绝对位置信息的跟踪目标；
全景图形合成模块，用于根据已登记跟踪目标的绝对位置信息，将与各已登记跟踪目标对应的商品图形融合在同一背景图形中，以生成还原商品摆放位置的全景图形；其中，所述图形为二维图形或三维图形。
6.如权利要求5所述的装置，其特征在于，所述当前帧绝对位置信息获取模块包括以下子单元：
位移矢量获取子单元，用于获取当前帧中所有已登记跟踪目标相对于上一帧的位移矢量；
异常过滤子单元，用于过滤掉当前帧中位移矢量异常的已登记跟踪目标；
相对位移获取子单元，用于利用预设的目标跟踪算法，获取视频的当前帧中的未登记跟踪目标所处检测框与当前帧中位移矢量正常的已登记跟踪目标所处检测框的相对位移；
绝对位置信息计算子单元，用于根据所述相对位移计算出当前帧中未登记跟踪目标的绝对位置信息。
7.根据权利要求5所述的装置，其特征在于，所述全景图形合成模块还用于：
获取所有已登记跟踪目标的绝对位置信息中的最小坐标值；
在所述最小坐标值小于阈值的情况下，按照预设规则对所有已登记跟踪目标的绝对位置信息的坐标进行偏移。
8.根据权利要求5所述的装置，其特征在于，所述装置还包括：
跟踪目标模块，用于在利用预设的目标跟踪对视频中的跟踪目标进行跟踪时，并当跟踪的跟踪目标连续N帧未匹配上时，停止对该跟踪目标的跟踪；其中，N为5至15之间的整数。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于使计算机执行如权利要求1至4中任一项所述的基于视频目标跟踪的商品摆放位置全景图形生成方法。
10.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4中任一项所述的基于视频目标跟踪的商品摆放位置全景图形生成方法。
CN202011227759.5A 2020-11-06 2020-11-06 基于视频目标跟踪的商品摆放位置全景图形生成方法 Active CN112037267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011227759.5A CN112037267B (zh) 2020-11-06 2020-11-06 基于视频目标跟踪的商品摆放位置全景图形生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011227759.5A CN112037267B (zh) 2020-11-06 2020-11-06 基于视频目标跟踪的商品摆放位置全景图形生成方法

Publications (2)

Publication Number Publication Date
CN112037267A true CN112037267A (zh) 2020-12-04
CN112037267B CN112037267B (zh) 2021-02-02

Family

ID=73572781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011227759.5A Active CN112037267B (zh) 2020-11-06 2020-11-06 基于视频目标跟踪的商品摆放位置全景图形生成方法

Country Status (1)

Country Link
CN (1) CN112037267B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509011A (zh) * 2021-02-08 2021-03-16 广州市玄武无线科技股份有限公司 一种静止商品统计方法、终端设备及其存储介质
CN112836578A (zh) * 2020-12-31 2021-05-25 广西慧云信息技术有限公司 一种基于表观特征的货架缺货检测方法
CN113658232A (zh) * 2021-07-13 2021-11-16 广东技术师范大学 基于视频跟踪的建模方法、装置及计算机可读程序介质
CN114445736A (zh) * 2021-12-29 2022-05-06 广州市玄武无线科技股份有限公司 一种移动前景目标遮挡的视频背景还原方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349143A (zh) * 2014-11-11 2015-02-11 广东中星电子有限公司 一种视频监控方法、设备和系统
CN107578373A (zh) * 2017-05-27 2018-01-12 深圳先进技术研究院 全景图像拼接方法、终端设备及计算机可读存储介质
CN107610151A (zh) * 2017-08-24 2018-01-19 上海汇纳信息科技股份有限公司 行人轨迹线处理方法/系统、计算机可读存储介质及设备
US20180040133A1 (en) * 2016-08-08 2018-02-08 Qualcomm Incorporated Systems and methods for determining feature point motion
CN107992837A (zh) * 2017-12-12 2018-05-04 公安部交通管理科学研究所 基于单个ptz监控摄像机的道路全景建模与车辆检测跟踪方法
CN110400332A (zh) * 2018-04-25 2019-11-01 杭州海康威视数字技术股份有限公司 一种目标检测跟踪方法、装置及计算机设备
CN110910314A (zh) * 2019-11-27 2020-03-24 广州市玄武无线科技股份有限公司 一种货架场景图像的拼接方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349143A (zh) * 2014-11-11 2015-02-11 广东中星电子有限公司 一种视频监控方法、设备和系统
US20180040133A1 (en) * 2016-08-08 2018-02-08 Qualcomm Incorporated Systems and methods for determining feature point motion
CN107578373A (zh) * 2017-05-27 2018-01-12 深圳先进技术研究院 全景图像拼接方法、终端设备及计算机可读存储介质
CN107610151A (zh) * 2017-08-24 2018-01-19 上海汇纳信息科技股份有限公司 行人轨迹线处理方法/系统、计算机可读存储介质及设备
CN107992837A (zh) * 2017-12-12 2018-05-04 公安部交通管理科学研究所 基于单个ptz监控摄像机的道路全景建模与车辆检测跟踪方法
CN110400332A (zh) * 2018-04-25 2019-11-01 杭州海康威视数字技术股份有限公司 一种目标检测跟踪方法、装置及计算机设备
CN110910314A (zh) * 2019-11-27 2020-03-24 广州市玄武无线科技股份有限公司 一种货架场景图像的拼接方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘亚等: ""基于主运动分析的野外视觉侦察系统——运动目标检测、跟踪及全景图的生成"", 《机器人》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836578A (zh) * 2020-12-31 2021-05-25 广西慧云信息技术有限公司 一种基于表观特征的货架缺货检测方法
CN112836578B (zh) * 2020-12-31 2022-09-23 广西慧云信息技术有限公司 一种基于表观特征的货架缺货检测方法
CN112509011A (zh) * 2021-02-08 2021-03-16 广州市玄武无线科技股份有限公司 一种静止商品统计方法、终端设备及其存储介质
CN113658232A (zh) * 2021-07-13 2021-11-16 广东技术师范大学 基于视频跟踪的建模方法、装置及计算机可读程序介质
CN113658232B (zh) * 2021-07-13 2024-01-05 杭州追形视频科技有限公司 基于视频跟踪的建模方法、装置及计算机可读程序介质
CN114445736A (zh) * 2021-12-29 2022-05-06 广州市玄武无线科技股份有限公司 一种移动前景目标遮挡的视频背景还原方法及系统

Also Published As

Publication number Publication date
CN112037267B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN112037267B (zh) 基于视频目标跟踪的商品摆放位置全景图形生成方法
Ribera et al. Locating objects without bounding boxes
Poirson et al. Fast single shot detection and pose estimation
US9305240B2 (en) Motion aligned distance calculations for image comparisons
CN110796686A (zh) 目标跟踪方法及设备、存储装置
US20190333242A1 (en) Method and apparatus for three-dimensional object pose estimation, device and storage medium
US20220156944A1 (en) Apparatus and method with video processing
Dawoud et al. Target tracking in infrared imagery using weighted composite reference function-based decision fusion
CN108198172B (zh) 图像显著性检测方法和装置
US10699156B2 (en) Method and a device for image matching
US10110846B2 (en) Computationally efficient frame rate conversion system
CN111680678A (zh) 目标区域识别方法、装置、设备及可读存储介质
CN111199554A (zh) 一种目标跟踪抗遮挡的方法及装置
CN110992401A (zh) 目标跟踪方法、装置、计算机设备和存储介质
Demir et al. Co-difference based object tracking algorithm for infrared videos
CN115115825B (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
US20190043168A1 (en) An image processing device, an image processing method, and computer-readable recording medium
CN112101344A (zh) 一种视频文本跟踪方法及装置
CN115601672A (zh) 一种基于深度学习的vr智能巡店方法及装置
Yang et al. Increaco: incrementally learned automatic check-out with photorealistic exemplar augmentation
Majdi et al. Product stock management using computer vision
Long et al. Detail preserving residual feature pyramid modules for optical flow
Sedai et al. Localized fusion of Shape and Appearance features for 3D Human Pose Estimation.
Nugroho et al. Comparison of deep learning-based object classification methods for detecting tomato ripeness
CN111967403B (zh) 视频移动区域确定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 510000 room 23bd, No. 109, TIYU West Road, Tianhe District, Guangzhou City, Guangdong Province

Patentee after: GUANGZHOU XUANWU WIRELESS TECHNOLOGY Co.,Ltd.

Address before: 32B, no.103b, TianLiHe Road, Guangzhou, 510000

Patentee before: GUANGZHOU XUANWU WIRELESS TECHNOLOGY Co.,Ltd.