CN114742859A - 物品轨迹生成方法、装置、电子设备及存储介质 - Google Patents

物品轨迹生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114742859A
CN114742859A CN202210273022.XA CN202210273022A CN114742859A CN 114742859 A CN114742859 A CN 114742859A CN 202210273022 A CN202210273022 A CN 202210273022A CN 114742859 A CN114742859 A CN 114742859A
Authority
CN
China
Prior art keywords
item
article
determining
image frame
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210273022.XA
Other languages
English (en)
Inventor
龙海旭
罗棕太
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Technology Development Co Ltd
Original Assignee
Shanghai Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Technology Development Co Ltd filed Critical Shanghai Sensetime Technology Development Co Ltd
Priority to CN202210273022.XA priority Critical patent/CN114742859A/zh
Publication of CN114742859A publication Critical patent/CN114742859A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种物品轨迹生成方法、装置、电子设备及存储介质，该方法包括：获取待检测视频，并基于预设规则从待检测视频中提取至少两个图像帧；提取每个图像帧中各个物品的物品特征向量，并分别确定每个图像帧中各个物品的物品位置信息以及物品种类信息；基于每个图像帧的物品特征向量、物品位置信息以及物品种类信息，确定至少两个图像帧中对应同一目标物品的待追踪物品；基于目标物品分别在至少两个图像帧中对应的待追踪物品的物品位置信息，生成目标物品的移动轨迹。本公开实施例，可以提高目标物品的移动轨迹的完整性以及准确性，进而有利于提升用户的使用体验。

Description

物品轨迹生成方法、装置、电子设备及存储介质
技术领域
本公开涉及物品追踪技术领域，具体而言，涉及一种物品轨迹生成方法、物品轨迹生成装置、电子设备以及计算机可读存储介质。
背景技术
随着互联网经济的发展，自助消费因其操作便利、不受地域限制、不受环境限制等优点，而逐渐成为被大众接受的消费趋势，因此，一些智能存储柜(如智能冰箱或者智能货架)应运而生。
针对自助消费来说，如何确定用户是否拿取物品是交易的关键。相关技术中，通过确定物品的移动轨迹的方式来确定用户是否拿取物品，因此，如何提高物品移动轨迹确定的准确性，是业界一直追求的目标。
发明内容
本公开实施例至少提供一种物品轨迹生成方法、物品轨迹生成装置、电子设备以及计算机可读存储介质，提高确定物品是否被拿取的准确性以及目标物品的移动轨迹的完整性，进而提升用户的使用体验。
本公开实施例提供了一种物品轨迹生成方法，包括：
获取待检测视频，并基于预设规则从所述待检测视频中提取至少两个图像帧；
提取每个图像帧中各个物品的物品特征向量，并分别确定所述每个图像帧中各个物品的物品位置信息以及物品种类信息；
基于所述每个图像帧的物品特征向量、物品位置信息以及物品种类信息，确定所述至少两个图像帧中对应同一目标物品的待追踪物品；
基于所述目标物品分别在所述至少两个图像帧中对应的待追踪物品的物品位置信息，生成所述目标物品的移动轨迹。
本公开实施例中，通过从图像帧中提取物品的物品特征向量、物品位置信息以及物品种类信息，确定对应同一目标物品的多个物品，并生成同一目标物品的移动轨迹，也即，将物品特征向量与物品位置信息以及物品种类信息进行结合，同时基于上述三种元素确定目标物品的完整轨迹，如此，有利于提高确定物品是否被拿取的准确性以及目标物品的移动轨迹的完整性，进而提升用户的使用体验。
一种可选的实施方式中，所述至少两个图像帧包括第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧为相邻图像帧；
所述基于所述每个图像帧的物品特征向量、物品位置信息以及物品种类信息，确定所述至少两个图像帧中对应同一目标物品的待追踪物品，包括：
确定所述第一图像帧中的至少一个第一物品和所述第二图像帧中的至少一个第二物品；
针对每个第一物品，基于所述第一物品在所述第一图像帧中的物品位置信息、物品种类信息以及物品特征向量，以及每个第二物品在所述第二图像帧中的物品位置信息、物品种类信息以及物品特征向量，确定所述第一物品和所述每个第二物品之间的相似度；
根据所述相似度，确定对应同一目标物品的所述第一物品和所述第二物品，并将对应同一目标物品的所述第一物品和所述第二物品确定为所述待追踪物品。
本公开实施例中，由于每帧图像中可能存在多个物品，针对每个第一物品，可以基于物品位置信息、物品种类信息以及物品特征向量，确定与每个第二物品之间的相似度，如此，可以实现对每个第一物品的遍历，进而减少遗漏匹配的情况发生，有利于提高确定待追踪物品的准确性。
一种可选的实施方式中，所述针对每个第一物品，基于所述第一物品在所述第一图像帧中的物品位置信息、物品种类信息以及物品特征向量，以及每个第二物品在所述第二图像帧中的物品位置信息、物品种类信息以及物品特征向量，确定所述第一物品和所述每个第二物品之间的相似度，包括：
针对所述每个第一物品，基于所述物品特征向量、所述物品位置信息以及所述物品种类信息中的至少一种目标因素，从所述第二图像帧中确定至少一个第二目标物品；
基于所述物品特征向量、所述物品位置信息以及所述物品种类信息，确定所述第一物品与所述第二目标物品之间的相似度；
所述根据所述相似度，确定对应同一目标物品的所述第一物品和所述第二物品，并将对应同一目标物品的所述第一物品和所述第二物品确定为所述待追踪物品，包括：
所述根据所述第一物品与所述第二目标物品之间的相似度，确定对应同一目标物品的所述第一物品和所述第二目标物品，并将对应同一目标物品的所述第一物品和所述第二目标物品确定为所述待追踪物品。
本公开实施例中，针对每个第一物品，基于物品特征向量、物品位置信息以及物品种类信息中的至少一种目标因素，确定第二图像帧中的至少一个第二目标物品，也即，可以基于至少一种目标因素缩小第二图像帧中的第二物品的范围，如此，可以减少无效的相似度计算的次数，有利于提升确定第一物品和每个第二物品之间的相似度的效率。
一种可选的实施方式中，所述针对所述每个第一物品，基于所述物品特征向量、所述物品位置信息以及所述物品种类信息中的至少一种目标因素，从所述第二图像帧中确定至少一个第二目标物品，包括：
在所述第一图像帧和所述第二图像帧的采集时间差小于时间差阈值的情况下，针对所述每个第一物品，基于所述第一物品在所述第一图像帧中的物品位置信息和所述每个第二物品在所述第二图像帧中的物品位置信息，确定所述第一物品与所述每个第二物品的位置相似度；
确定所述第一物品与所述每个第二物品的位置相似度是否符合第一预设条件；
将符合所述第一预设条件的位置相似度所对应的第二物品，确定为所述第二目标物品。
本公开实施例中，通过确定第一物品与每个第二物品的位置相似度是否符合第一预设条件，并将符合第一预设条件的位置相似度所对应的第二物品，确定为第二目标物品，也即，将不符合第一预设条件的位置相似度所对应的第二物品进行剔除，如此，可以提高确定第二目标物品的效率。
一种可选的实施方式中，所述针对所述每个第一物品，基于所述物品特征向量、所述物品位置信息以及所述物品种类信息中的至少一种目标因素，从所述第二图像帧中确定至少一个第二目标物品，包括：
针对所述每个第一物品，基于所述第一物品的物品种类信息和所述每个第二物品的物品种类信息，确定所述第一物品与所述每个第二物品之间的种类相似度；
确定所述第一物品与所述每个第二物品之间的种类相似度是否符合第二预设条件；
将符合所述第二预设条件的种类相似度所对应的第二物品，确定为所述第二目标物品。
本公开实施例中，除了上述通过第一预设条件缩小第二物品的范围的方式，还可以将符合第二预设条件的种类相似度所对应的第二物品，确定为第二目标物品，也即，将不符合第二预设条件的种类相似度所对应的第二物品进行剔除，如此，使得确定第二目标物品的方式更加多样性，并且可以提高确定第二目标物品的效率。
一种可选的实施方式中，所述根据所述相似度，确定对应同一目标物品的所述第一物品和所述第二物品，包括：
根据所述相似度以及第一配对规则，确定所述第一物品和所述每个第二物品之间是否配对成功；
将配对成功的所述第一物品以及所述第二物品，确定为对应同一目标物品的所述第一物品和所述第二物品。
本公开实施例中，根据所述相似度以及第一配对规则，对第一物品和每个第二物品进行配对，如此，可以提高配对的准确度，进而提高确定对应同一目标物品的第一物品和第二物品的准确度。
一种可选的实施方式中，所述将配对成功的所述第一物品以及所述第二物品，确定对应同一目标物品的所述第一物品和所述第二物品，包括：
将配对成功的所述第一物品以及所述第二物品，确定为物品映射对；
在所述物品映射对的数量为两个以上的情况下，基于第二配对规则，从多个物品映射对中确定目标物品映射对，并将所述目标物品映射对中的第一物品以及所述第二物品，确定为对应同一目标物品的所述第一物品和所述第二物品。
本公开实施例中，在物品映射对的数量为两个以上的情况下，基于第二配对规则确定目标物品映射对，也即，能够从多个物品映射对中确定匹配度最高的目标物品映射对，如此，可以提升确定对应同一目标物品的第一物品和第二物品的准确性。
一种可选的实施方式中，所述基于所述目标物品分别在所述多个图像帧中对应的待追踪物品的物品位置信息，生成所述目标物品的移动轨迹之后，所述方法还包括：
基于所述目标物品的移动轨迹，生成所述目标物品的物品拿取明细信息。
本公开实施例中，基于目标物品的完整移动轨迹生成物品拿取明细信息，如此，可以提高生成物品拿取明细信息的准确度，有利于提升用户使用体验。
本公开实施例还提供一种物品轨迹生成装置，所述装置包括：
图像帧获取模块，用于获取待检测视频，并基于预设规则从所述待检测视频中提取至少两个图像帧；
物品信息提取模块，用于提取每个图像帧中各个物品的物品特征向量，并分别确定所述每个图像帧中各个物品的物品位置信息以及物品种类信息；
物品确定模块，用于基于所述每个图像帧的物品特征向量、物品位置信息以及物品种类信息，确定所述至少两个图像帧中对应同一目标物品的待追踪物品；
轨迹生成模块，用于基于所述目标物品分别在所述至少两个图像帧中对应的待追踪物品的物品位置信息，生成所述目标物品的移动轨迹。
一种可选的实施方式中，所述至少两个图像帧包括第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧为相邻图像帧；所述物品确定模块具体用于：
确定所述第一图像帧中的至少一个第一物品和所述第二图像帧中的至少一个第二物品；
针对每个第一物品，基于所述第一物品在所述第一图像帧中的物品位置信息、物品种类信息以及物品特征向量，以及每个第二物品在所述第二图像帧中的物品位置信息、物品种类信息以及物品特征向量，确定所述第一物品和所述每个第二物品之间的相似度；
根据所述相似度，确定对应同一目标物品的所述第一物品和所述第二物品，并将对应同一目标物品的所述第一物品和所述第二物品确定为所述待追踪物品。
一种可选的实施方式中，所述物品确定模块具体用于：
针对所述每个第一物品，基于所述物品特征向量、所述物品位置信息以及所述物品种类信息中的至少一种目标因素，从所述第二图像帧中确定至少一个第二目标物品；
基于所述物品特征向量、所述物品位置信息以及所述物品种类信息，确定所述第一物品与所述第二目标物品之间的相似度；
所述物品确定模块具体用于：
根据所述第一物品与所述第二目标物品之间的相似度，确定对应同一目标物品的所述第一物品和所述第二目标物品，并将对应同一目标物品的所述第一物品和所述第二目标物品确定为所述待追踪物品。
一种可选的实施方式中，所述物品确定模块具体用于：
在所述第一图像帧和所述第二图像帧的采集时间差小于时间差阈值的情况下，针对所述每个第一物品，基于所述第一物品在所述第一图像帧中的物品位置信息和所述每个第二物品在所述第二图像帧中的物品位置信息，确定所述第一物品与所述每个第二物品的位置相似度；
确定所述第一物品与所述每个第二物品的位置相似度是否符合第一预设条件；
将符合所述第一预设条件的位置相似度所对应的第二物品，确定为所述第二目标物品。
一种可选的实施方式中，所述物品确定模块具体用于：
针对所述每个第一物品，基于所述第一物品的物品种类信息和所述每个第二物品的物品种类信息，确定所述第一物品与所述每个第二物品之间的种类相似度；
确定所述第一物品与所述每个第二物品之间的种类相似度是否符合第二预设条件；
将符合所述第二预设条件的种类相似度所对应的第二物品，确定为所述第二目标物品。
一种可选的实施方式中，所述物品确定模块具体用于：
根据所述相似度以及第一配对规则，确定所述第一物品和所述每个第二物品之间是否配对成功；
将配对成功的所述第一物品以及所述第二物品，确定为对应同一目标物品的所述第一物品和所述第二物品。
一种可选的实施方式中，所述物品确定模块具体用于：
将配对成功的所述第一物品以及所述第二物品，确定为物品映射对；
在所述物品映射对的数量为两个以上的情况下，基于第二配对规则，从多个物品映射对中确定目标物品映射对，并将所述目标物品映射对中的第一物品以及所述第二物品，确定为对应同一目标物品的所述第一物品和所述第二物品。
一种可选的实施方式中，所述装置还包括物品拿取信息生成模块，所述物品拿取信息生成模块用于：
基于所述目标物品的完整移动轨迹，生成所述用户的物品拿取信息。
本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述物品轨迹生成方法。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述物品轨迹生成方法。
关于上述物品轨迹生成装置、电子设备、及计算机可读存储介质的效果描述参见上述物品轨迹生成方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本公开实施例所提供的一种存储柜的结构示意图；
图2为本公开实施例所提供的一种物品轨迹生成方法的流程图；
图3为本公开实施例所提供的一种物品匹配的示意图；
图4为本公开实施例所提供的一种确定待追踪物品的方法流程图；
图5为本公开实施例所提供的一种基于相似度确定待追踪物品的方法流程图；
图6为本公开实施例所提供的一种基于位置相似度确定第二目标物品的方法流程图；
图7为本公开实施例所提供的一种基于种类相似度确定第二目标物品的方法流程图；
图8为本公开实施例所提供的一种基于相似度确定对应同一目标物品的第一物品和第二物品的方法流程图；
图9为本公开实施例所提供的一种基于物品映射对确定对应同一目标物品的第一物品和第二物品的方法流程图；
图10为本公开实施例所提供的一种基于第二配对规则确定对应同一目标物品的第一物品和第二物品的示意图。
图11为本公开实施例所提供的另一种物品轨迹生成方法的流程图；
图12为本公开实施例提供的一种物品轨迹生成装置的结构示意图；
图13为本公开实施例提供的另一种物品轨迹生成装置的结构示意图；
图14为本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
随着互联网经济的发展，自助消费因其操作便利、不受地域限制、不受环境限制等优点，而逐渐成为被大众接受的消费趋势，因此，一些智能存储柜(如智能冰箱或者智能货架)应运而生。
请参见图1，图1为本公开实施例所提供的一种存储柜的结构示意图。如图1中所示，存储柜100包括两个摄像装置10以及多个层叠且间隔设置置物板20。置物板20用于承载多种物品30(例如，哇哈哈、500ml冰红茶、1.5L冰红茶以及泡面等)，当用户在存储柜100购买物品的过程中，两个摄像装置10会分别从不同的角度采集用户拿取物品30的视频。因此，通过上述摄像装置10可以获取到用户从存储柜100拿取物品的视频。
需要说明的是，摄像装置10的数量可以根据实际需求进行设置，且多个摄像装置之间需要具有较多的共同拍摄视野，以从不同角度拍摄用户拿取物品的视频。具体的，可以根据摄像装置的拍摄视角、拍摄范围，或者根据成本等因素进行设置，比如，摄像装置10还可以是其他数量，三个或者五个等，在此不做限定。
在一些实施方式中，所述存储柜100可以是自助售卖机(例如，自助货架、自助冰箱或者自助零食柜)，还可以是家用冰箱或者家用冰柜等，在此不做限定。
存储柜100通过摄像装置10采集到用户拿取物品的视频数据后，采用动态识别技术实现物品的轨迹追踪，再基于物品的移动轨迹，确定用户是否拿取物品。因此，如何提升物品移动轨迹的确定精度，是关注的重点。
基于上述研究，本公开实施例提供了一种物品轨迹生成方法，包括：获取待检测视频，并基于预设规则从所述待检测视频中提取至少两个图像帧；提取每个图像帧中各个物品的物品特征向量，并分别确定所述每个图像帧中各个物品的物品位置信息以及物品种类信息；基于所述每个图像帧的物品特征向量、物品位置信息以及物品种类信息，确定所述至少两个图像帧中对应同一目标物品的待追踪物品；基于所述目标物品分别在所述至少两个图像帧中对应的待追踪物品的物品位置信息，生成所述目标物品的移动轨迹。
本公开实施例中，通过从图像帧中提取物品的物品特征向量、物品位置信息以及物品种类信息，确定对应同一目标物品的多个物品，并生成同一目标物品的移动轨迹，也即，将物品特征向量与物品位置信息以及物品种类信息进行结合，同时基于上述三种元素确定目标物品的完整轨迹，如此，有利于提高确定物品是否被拿取的准确性以及目标物品的移动轨迹的完整性，进而提升用户的使用体验。
下面结合附图对本公开实施例中的存储柜进行详细介绍。
请参阅图2，图2为本公开实施例所提供的一种物品轨迹生成方法的流程图，如图2所示，本公开实施例提供的物品轨迹生成方法，包括以下S101～S104：
S101，获取待检测视频，并基于预设规则从所述待检测视频中提取至少两个图像帧。
其中，所述预设规则可以是预设的抽帧时间间隔、预设的抽帧数量，还可以是预设的开始抽帧的时间等，具体的预设规则可以根据实际需求而相应设定，在此不做限定。
具体的，在提取至少两个图像帧时，可以通过FFmpeg技术等方式对所述待检测视频进行解码，并基于预设规则对所述待检测视频进行图像帧抽取处理，从而可以从所述待检测视频中提取出至少两个图像帧。
其中，FFmpeg技术为可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，其采用LGPL或GPL许可证，提供有录制、转换以及流化音视频的完整解决方案，并且包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多code都是可以从头开发的，从而可以数据使用的简便和适配。相应的，在实际使用中，对于拍摄的用户自主购物的视频，也可以是使用FFmpeg技术进行保存和传输的。
其中，所述待检测视频可以是通过一个或者多个摄像装置采集到的。本公开实施例中，摄像装置的数量设置为两个。
S102，提取每个图像帧中各个物品的物品特征向量，并分别确定所述每个图像帧中各个物品的物品位置信息以及物品种类信息。
其中，物品特征向量是指通过预设的特征提取技术提取到的一维或者多维的特征向量。
具体的，特征提取是计算机视觉领域和图像处理领域中的重要技术之一，其通过影像分析和变换提取出需要的特征，是图像处理中的运算处理，通过检查图像中的每个像素来确定该像素是否代表一个特征。示例性地，可以通过预设的特征提取网络提取物品特征向量，所述预设的特征提取网络可以是任意常见的深度卷积神经网络，例如，深度残差网络(ResNet)、MobiletNet或者YOLO特征提取网络等，在此不做限定。
所述物品位置信息可以通过检测框进行标记得到，本实施方式中，物品位置信息可以包括物品检测框信息，所述物品检测框信息包括物品检测框的高度和宽度，以及所述物品检测框的中心位置以及检测框的四个顶点的位置，也即，检测框的位置信息等同于物品位置信息。
示例性地，物品种类信息是指物品所属的具体类别，比如，可以是矿泉水100ml、矿泉水200ml、可乐或者泡面等，在此不做限定。
可以理解，在得到至少两个图像帧之后，可以通过人工或者人工智能的方式，分别对每个图像帧进行物品位置检测和物品种类识别，从而从所述图像帧中得到每个物品的物品位置信息和物品种类信息。
具体的，对于所述图像帧的物品位置检测和物品种类识别，可以通过后台下发至终端，通过人工标注的方式进行识别，这样可以保证识别出的物品位置信息和物品种类信息的准确性，也可以是使用预先训练好的、分别用于进行物品位置检测和物品种类识别的神经网络，通过人工智能的方式进行识别，这样可以快速得到识别结果，节省大量人力物力。
需要说明的是，在对所述图像帧进行物品位置检测和物品种类识别的过程中，由于所述图像帧大多会包括存储柜的部分内容，进而所述图像帧中会包含有位于所述存储柜上的多个物品，而这些物品没有被拿取，为了减少干扰，针对这些物品的位置和种类等信息，可以无需识别。
S103，基于所述每个图像帧的物品特征向量、物品位置信息以及物品种类信息，确定所述至少两个图像帧中对应同一目标物品的待追踪物品。
可以理解，在得到每个图像帧中的物品特征向量、物品位置信息以及物品种类信息后，可以通过每个图像帧中的物品特征向量、物品位置信息以及物品种类信息，将分别属于不同图像帧的每个物品进行匹配，来确定属于同一目标物品的待追踪物品。
示例性地，请参见图3，为本公开实施例所提供的一种物品匹配示意图，如图3中所示，以图像帧A中的物品和图像帧B中的物品为例，图像帧A包括物品a1、物品a2和物品a3，图像帧B中包括物品b1、物品b2和物品b3，如果通过各物品的物品特征向量、物品位置信息和物品属性信息进行匹配后，得出物品a1和物品b1是对应于同一目标物品的，物品a2和物品b2是对应于同一目标物品的，物品a3和物品b3是对应于同一目标物品的，即物品a1和物品b1属于目标物品1分别在图像帧A和图像帧B中分布的待追踪物品，同理，物品a2和物品b2属于目标物品2分别在图像帧A和图像帧B中分布的待追踪物品，物品a3和物品b3属于目标物品3分别在图像帧A和图像帧B中分布的待追踪物品。
S104，基于所述目标物品分别在所述至少两个图像帧中对应的待追踪物品的物品位置信息，生成所述目标物品的移动轨迹。
其中，所述目标物品的移动轨迹即为用户在拿取物品的过程中，由于物品的移动所形成的轨迹。
可以理解，在匹配出所述目标物品在每个所述图像帧中对应的待追踪物品后，可以通过每个所述待追踪物品在所属所述视频中的物品位置信息，进行轨迹拟合等处理，从而生成所述目标物品的移动轨迹。
本公开实施例提供的物品轨迹生成方法，通过从图像帧中提取物品的物品特征向量、物品位置信息以及物品种类信息，确定对应同一目标物品的多个物品，并生成同一目标物品的移动轨迹，也即，将物品特征向量与物品位置信息以及物品种类信息进行结合，同时基于上述三种元素确定目标物品的完整轨迹，如此，有利于提高确定物品是否被拿取的准确性以及目标物品的移动轨迹的完整性，进而提升用户的使用体验。
在一些实施方式中，针对上述步骤S103，所述至少两个图像帧包括第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧为相邻图像帧；在基于所述每个图像帧的物品特征向量、物品位置信息以及物品种类信息，确定所述至少两个图像帧中对应同一目标物品的待追踪物品时，如图4所示，可以包括以下S1031～S1033：
S1031，确定所述第一图像帧中的至少一个第一物品和所述第二图像帧中的至少一个第二物品。
可以理解，为了使得处理过程更加清晰和简洁，可以将所述多个图像帧进行分组，每相邻的两个图像帧作为一组，成为一组相邻图像帧，也即，每个图像帧会分别划分至两组相邻图像帧，相邻图像帧中包括相邻的两个图像帧，对于相邻图像帧，可以将任一图像帧作为第一图像帧，将另一所述图像帧作为第二图像帧，然后根据前述实施例中的物品特征向量、物品位置信息和物品种类信息，可以确定所述相邻图像帧中第一图像帧中的至少一个第一物品和所述相邻图像帧中第二图像帧中的至少一个第二物品。
S1032，针对每个第一物品，基于所述第一物品在所述第一图像帧中的物品位置信息、物品种类信息以及物品特征向量，以及每个第二物品在所述第二图像帧中的物品位置信息、物品种类信息以及物品特征向量，确定所述第一物品和所述每个第二物品之间的相似度。
可以理解，针对第一图像帧中的每个第一物品，为了准确匹配出与第一物品对应的同一目标物品的第二物品，需要将所述第一物品与第二图像帧中的每个第二物品进行匹配，在匹配的过程中，可以基于第一物品与每个第二物品的物品位置信息、物品种类信息以及物品特征向量，确定第一物品与每个第二物品之间的相似度。
S1033，根据所述相似度，确定对应同一目标物品的所述第一物品和所述第二物品，并将对应同一目标物品的所述第一物品和所述第二物品确定为所述待追踪物品。
可以理解，相似度能够表征两个物品之间相似性，因此，在确定出所述相似度后，可以根据每个所述第一物品与每个第二物品之间的相似度，将第一物品与每个第二物品进行匹配，从而确定出对应同一目标物品的第一物品与第二物品，也即，将相似度最大的第一物品与第二物品确定为同一目标物品，如此，有利于提高确定待追踪物品的准确性。
本实施方式中，由于每帧图像中可能存在多个物品，针对每个第一物品，可以基于物品位置信息、物品种类信息以及物品特征向量，确定与每个第二物品之间的相似度，如此，可以实现对每个第一物品的遍历，可以减少遗漏匹配的情况发生，进而有利于提高确定待追踪物品的准确性。
在一些实施方式中，由于每个图像帧中可能存在多个物品，针对第一图像中的每个第一物品，都需要确定该第一物品与每个第二物品之间的相似度，如此，使得相似度的计算量较大。基于上述内容，针对步骤S1032以及步骤S1033，在确定所述第一物品和所述每个第二物品之间的相似度，以及根据所述相似度，确定对应同一目标物品的所述第一物品和所述第二物品，并将对应同一目标物品的所述第一物品和所述第二物品确定为所述待追踪物品时，如图5中所示，可以包括以下S201～S203：
S201，针对所述每个第一物品，基于所述物品特征向量、所述物品位置信息以及所述物品种类信息中的至少一种目标因素，从所述第二图像帧中确定至少一个第二目标物品。
其中，所述第二目标物品为所述第二图像帧中的多个第二物品中的至少一个。也即，基于所述物品特征向量、所述物品位置信息以及所述物品种类信息中的至少一种目标因素，确定至少一个第二目标物品，也即，通过至少一种目标因素，可以缩小第二图像帧中的待匹配的第二物品的范围，进而减少无效的相似度计算的次数，有利于提升确定第一物品和每个第二物品之间的相似度的效率。
S202，基于所述物品特征向量、所述物品位置信息以及所述物品种类信息，确定所述第一物品与所述第二目标物品之间的相似度。
S203，根据所述第一物品与所述第二目标物品之间的相似度，确定对应同一目标物品的所述第一物品和所述第二目标物品，并将对应同一目标物品的所述第一物品和所述第二目标物品确定为所述待追踪物品。
具体的，在确定所述第一物品与所述第二目标物品之间的相似度时，可以首先基于所述第一物品在所述第一图像帧中的物品特征向量和所述第二目标物品在所述第二图像帧中的物品特征向量，确定所述第一物品与所述第二目标物品的特征相似度。
具体的，可以基于所述第一物品在所述第一图像帧中的物品特征向量和所述第二目标物品在所述第二图像帧中的物品特征向量，确定两个物品特征向量之间的余弦距离，并基于所述余弦距离，确定所述第一物品与所述第二目标物品的特征相似度。
示例性的，在实际计算中，可以通过以下方式计算所述特征相似度：
L＝l1+self.dot(r.feature,c.feature)/l2
其中，L为第一物品与第二目标物品的特征相似度，l1与l2为预设的系数，r.feature和c.feature是单位向量，分别代表第一物品的特征向量以及第二目标物品的特征向量，self.dot代表点乘，用于计算第一物品的特征向量以及第二目标物品的特征向量之间的余弦相似度。
需要说明的是，在其他实施方式中，还可以通过确定两个物品特征向量之间的欧氏距离或者曼哈顿距离等，来确定特征相似度，在此不做限定。
然后，基于所述第一物品在所述第一图像帧中的物品位置信息和所述第一目标物品在所述第二图像帧中的物品位置信息，确定所述第一物品与所述第二目标物品的位置相似度。
例如，可以通过物品位置信息所指示的坐标等，来确定所述第一物品和所述第二目标物品之间的位置相似度，也即，从物品的移动角度来检测所述第一物品的位置和所述第二目标物品的位置是否是对应同一物品的不同时刻的移动位置。
根据上述内容可知，本实施方式中，物品位置信息可以包括物品检测框信息，所述物品检测框信息包括物品检测框的高度和宽度，以及所述物品检测框的中心位置，对于所述物品检测框的高度、宽度和中心位置，可以通过获取所述物品检测框的四个顶角的坐标，如在所述图像帧中的坐标或者通过坐标转换后在现实场景中的坐标，从而通过四个顶角的坐标可以分别计算出所述物品检测框的高度、宽度和中心位置。
可以理解，对于通过物品位置信息，计算所述位置相似度，可以是基于所述第一物品的物品检测框的高度和宽度，以及所述第二目标物品的物品检测框的高度和宽度，计算所述第一物品和所述第二目标物品的尺寸相似度，并基于所述第一物品的检测框中心位置和所述第二目标物品的检测框中心位置，计算所述第一物品和所述第二目标物品的中心位置相似度。
示例性的，在实际计算中，可以通过以下方式计算所述尺寸相似度：
M＝e^(shape_coeff*(abs(h1-h2)/(h1+h2)+abs(w1-w2)/(w1+w2)))；
其中，M为第一物品和第二目标物品之间的尺寸相似度，e为预设的自然数，shap_coeff为预设的系数，abs为求绝对值，h1位第一物品的物品检测框的高度，h2为第二目标物品的物品检测框的高度，w1为第一目标物品的物品检测框的宽度，w2为第二目标物品的物品检测框的宽度。
另外，可以通过以下方式计算所述中心位置相似度：
N＝e^(-m*(((c1x-c2x)/w2)**n+((c1y-c2y)/h2)**n))；
其中，N为第一物品和第二目标物品之间的中心位置相似度，m为预设的第一系数，n为预设的第二系数，c1x与c1y分别为第一物品的物品检测框的中心点的横坐标与纵坐标，c2x与c2y分别为第二目标物品的物品检测框的中心点的横坐标与纵坐标。
在一些实施方式中，在所述位置相似度包括有所述尺寸相似度和所述中心位置相似度的情况下，在确定所述位置相似度时，可以根据所述尺寸相似度对应的第四权重以及所述中心位置相似度对应的第五权重得到。
其中，上述各个权重可以根据实际需求进行设置，在此不做限定，例如，若需要特征相似度占总相似度的比重大一些，则可以将特征相似度对应的第一权重的值设置的相对于其他权重较大一些。
接着，可以基于所述第一物品在所述第一图像帧中的物品种类信息和所述第一目标物品在所述第二图像帧中的物品种类信息，确定所述第一物品与所述第二目标物品的种类相似度。
可以理解，基于物品种类信息，可以确定所述第一物品与所述第二目标物品是否为相同或者相似的物品。具体的，在实际应用中，可以通过所述第一物品的物品种类，与所述第二目标物品的物品种类进行比对，以检测所述第一物品和所述第二目标物品是否是属于相同或者相似的物品，如果所述第一物品和所述第二目标物品是属于相同或者相似的物品，可以标记为1来表示，如果所述第一物品和所述第二目标物品不是属于相同或者相似的物品，可以标记0.95来表示。其中，上述标记，仅为示例，在不同的实际应用中，可以根据实际需求取标记的数值。
最后，在得到上述特征相似度、位置相似度以及种类相似度后，可以按照所述特征相似度对应的第一权重、所述位置相似度对应的第二权重以及所述种类相似度对应的第三权重，确定所述第一物品与所述第二目标物品的相似度。也即，在得到所述特征相似度、位置相似度以及种类相似度之后，可以获取所述特征相似度对应的第一权重和位置相似度对应的第二权重以及种类相似度对应的第三权重，通过相似度和对应权重的乘机之后的累加，可以计算所述第一物品与所述第二目标物品的最终的相似度。
在得到所述第一物品与所述第二目标物品的最终的相似度后，即可根据最终的相似度，确定所述第一物品与所述第二目标物品是否为同一目标物品，例如，在所述最终的相似度大于预设阈值的情况下，认为所述第一物品与所述第二目标物品为同一目标物品，并将对应同一目标物品的所述第一物品和所述第二目标物品确定为所述待追踪物品。
在一些实施方式中，针对步骤S201，在针对所述每个第一物品，基于所述物品特征向量、所述物品位置信息以及所述物品种类信息中的至少一种目标因素，从所述第二图像帧中确定至少一个第二目标物品时，如图6中所示，可以包括以下S2011～S2013：
S2011，在所述第一图像帧和所述第二图像帧的采集时间差小于时间差阈值的情况下，针对所述每个第一物品，基于所述第一物品在所述第一图像帧中的物品位置信息和所述每个第二物品在所述第二图像帧中的物品位置信息，确定所述第一物品与所述每个第二物品的位置相似度。
可以理解，若所述第一图像帧和所述第二图像帧的采集时间差小于时间差阈值，则可以认为属于同一目标物品的第一物品与第二物品在两个图像帧中的位置比较相近，在此种情况下，可以先确定所述第一物品与所述每个第二物品的位置相似度。
S2012，确定所述第一物品与所述每个第二物品的位置相似度是否符合第一预设条件；
其中，所述第一预设条件可以根据实际需求进行设置，例如90％、93％或者95％等，在此不做限定。
S2013，将符合所述第一预设条件的位置相似度所对应的第二物品，确定为所述第二目标物品。
可以理解，若所述第一物品与所述每个第二物品的位置相似度满足第一预设条件，则认为两个物品属于同一物品或者属于相似物品，此时，可以将符合第一预设条件的位置相似度所对应的第二物品，确定为所述第二目标物品，如此，可以预先减少匹配项，也即，在后续的匹配过程以及相似度计算的过程中，无需计算除第二目标物品外的其他第二物品，有利于提高匹配的效率。
基于上述实施方式中所描述的内容，针对步骤S201，还可以基于物品种类信息来减少匹配项，如图7中所示，具体包括以下S201A～S201C：
S201A，针对所述每个第一物品，基于所述第一物品的物品种类信息和所述每个第二物品的物品种类信息，确定所述第一物品与所述每个第二物品之间的种类相似度。
S201B，确定所述第一物品与所述每个第二物品之间的种类相似度是否符合第二预设条件。
其中，所述第二预设条件可以根据实际需求进行设置，例如92％、95％或者97％等，在此不做限定。
S201C，将符合所述第二预设条件的种类相似度所对应的第二物品，确定为所述第二目标物品。
示例性地，针对第一物品(例如，罐装可乐)，第二物品包括罐装雪碧，罐装啤酒，以及泡面，在进行匹配时，由于罐装可乐与泡面之间的种类相似度较小，因此，可以无需将泡面确定为第二目标物品进行相似度的计算。而针对第二物品中的罐装雪碧，经常会被确定为与罐装可乐相似的物品，即可将其确定为第二目标物品。
综上所述，若所述第一物品与所述每个第二物品的种类相似度满足第一预设条件，则认为两个物品属于同一物品或者属于相似物品，此时，可以将符合第一预设条件的种类相似度所对应的第二物品，确定为所述第二目标物品，如此，可以预先减少匹配项，也即，在后续的匹配过程以及相似度计算的过程中，无需计算除第二目标物品外的其他第二物品，有利于提高确定第二目标物品的效率。
在一些实施方式中，针对步骤S1033，在根据所述相似度，确定对应同一目标物品的所述第一物品和所述第二物品时，如图8中所示，可以包括以下S10331～S10332：
S10331，根据所述相似度以及第一配对规则，确定所述第一物品和所述每个第二物品之间是否配对成功。
S10332，将配对成功的所述第一物品以及所述第二物品，确定为对应同一目标物品的所述第一物品和所述第二物品。
其中，所述第一配对规则可以是匈牙利算法(Hungarian Algorithm)。本公开实施例中，将二分图与匈牙利算法结合使用，以实现所述第一物品以及每个第二物品的匹配过程。
并且，在第一物品与第二物品均为一个的情况下，根据第一物品与第二物品之间的相似度，即可确定是否配对成功，若配对成功，则可以将所述第一物品与所述第二物品确定为同一目标物品。
此外，针对每个第一物品，若在第二图像帧中存在多个与第一物品相似的第二物品，则可以通过下述步骤确定属于同一目标物品的第一物品以及第二物品，也即，针对步骤S10332，在将配对成功的所述第一物品以及所述第二物品，确定为对应同一目标物品的所述第一物品和所述第二物品时，如图9中所示，可以包括以下S103321～S103322：
S103321，将配对成功的所述第一物品以及所述第二物品，确定为物品映射对。
S103322，在所述物品映射对的数量为两个以上的情况下，基于第二配对规则，从多个物品映射对中确定目标物品映射对，并将所述目标物品映射对中的第一物品以及所述第二物品，确定为对应同一目标物品的所述第一物品和所述第二物品。
本公开实施例中，所述第二配对规则是指KM(Kuhn-Munkres Algorithm)算法。其中，所述KM算法的主要内容包括：(1)初始化可行顶标的值；(2)用匈牙利算法确定相等子图的完备匹配；(3)若未找到增广路，则修改可行顶标的值；(4)重复(2)(3)步骤，直至确定相等子图的完备匹配。
示例性地，请参见图10，下面以第一图像帧A和第二图像帧B中的各个物品为例进行说明。假设第一图像帧A包括物品A1、物品A2、物品A3以及物品A4，第二图像帧B包括物品B1、物品B2、物品B3以及物品B4，其中，物品映射对包括A1-B1、A1-B2、A2-B2、A2-B3、A3-B1、A3-B2以及A4-B3。也即，可行顶标即为A1、A2、A3、A4、B1、B2、B3以及B4，根据每个物品映射对中的两个物品之间的相似度，为每个可行顶标进行赋值(例如，为A1、A2、A3赋值0.9，为A4赋值0.2，以及为B1、B2、B3、B4赋值0)，基于第二配对规则，最终可以确定目标物品映射对包括：A1-B1、A2-B3以及A3-B2，如此，即可得到A1与B1为同一目标商品，A2与B3为同一目标商品以及A3与B2为同一目标商品。
本公开实施例中，在物品映射对的数量为两个以上的情况下，基于第二配对规则确定目标物品映射对，也即，能够从多个物品映射对中确定匹配度最高的目标物品映射对，如此，可以提升确定对应同一目标物品的第一物品和第二物品的准确性。
请参见图11，为本公开实施例所提供的另一种物品轨迹生成方法，与图2中所示的物品轨迹生成方法不同的是，本公开实施例提供的物品追踪方法还包括S105：
S105，基于所述目标物品的移动轨迹，生成所述目标物品的物品拿取信息。
其中，所述物品拿取信息可以包括：用户名称、物品名称以及物品规格，例如，用户：张三，拿取物品：矿泉水--300ml，在其他实施方式中，所述物品拿取信息还可以包括其他内容，例如，时间信息，存储柜信息等，在此不做限定。
可以理解，在得到所述目标物品的移动轨迹之后，可以通过所述移动轨迹，来确定出用户是否拿取了目标物品，从而结合所述目标物品的种类等信息，生成所述目标物品的交易信息，例如通过目标物品的移动轨迹，得知用户拿取目标物品之后在预设时间之内又放回了存储柜，可以认为用户思考之后没有拿取目标物品，物品拿取信息即可以认为是无效，而通过移动轨迹，得知用户拿取目标物品后在预设时间之内没有放回存储柜，可以认为用户拿取了目标物品，物品拿取信息即可以认为有效。
然后，在生成的所述物品拿取信息有效的情况下，可以将所述物品拿取信息通过存储柜向用户进行展示以及播报，以提高用户的使用体验。在其他实施方式中，若所述存储柜为一些自助售货装置，则物品拿取信息可以是订单信息，以供用户支付和核对，还可以将所述订单信息直接发送至所述用户的终端，以便于用户减少等待时间，方便用户支付。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与物品轨迹生成方法对应的物品轨迹生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述物品轨迹生成方法相似，因此装置的实施可以参阅方法的实施，重复之处不再赘述。
请参阅图12，图12为本公开实施例提供的一种物品轨迹生成装置的结构示意图，所述物品轨迹生成装置1000包括：图像帧获取模块1010、物品信息提取模块1020、物品确定模块1030以及轨迹生成模块1040；其中，
图像帧获取模块1010，用于获取待检测视频，并基于预设规则从所述待检测视频中提取至少两个图像帧；
物品信息提取模块1020，用于提取每个图像帧中各个物品的物品特征向量，并分别确定所述每个图像帧中各个物品的物品位置信息以及物品种类信息；
物品确定模块1030，用于基于所述每个图像帧的物品特征向量、物品位置信息以及物品种类信息，确定所述至少两个图像帧中对应同一目标物品的待追踪物品；
轨迹生成模块1040，用于基于所述目标物品分别在所述至少两个图像帧中对应的待追踪物品的物品位置信息，生成所述目标物品的移动轨迹。
一种可选的实施方式中，所述至少两个图像帧包括第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧为相邻图像帧；所述物品确定模块1030具体用于：
确定所述第一图像帧中的至少一个第一物品和所述第二图像帧中的至少一个第二物品；
针对每个第一物品，基于所述第一物品在所述第一图像帧中的物品位置信息、物品种类信息以及物品特征向量，以及每个第二物品在所述第二图像帧中的物品位置信息、物品种类信息以及物品特征向量，确定所述第一物品和所述每个第二物品之间的相似度；
根据所述相似度，确定对应同一目标物品的所述第一物品和所述第二物品，并将对应同一目标物品的所述第一物品和所述第二物品确定为所述待追踪物品。
一种可选的实施方式中，所述物品确定模块1030具体用于：
针对所述每个第一物品，基于所述物品特征向量、所述物品位置信息以及所述物品种类信息中的至少一种目标因素，从所述第二图像帧中确定至少一个第二目标物品；
基于所述物品特征向量、所述物品位置信息以及所述物品种类信息，确定所述第一物品与所述第二目标物品之间的相似度；
所述物品确定模块1030具体用于：
根据所述第一物品与所述第二目标物品之间的相似度，确定对应同一目标物品的所述第一物品和所述第二目标物品，并将对应同一目标物品的所述第一物品和所述第二目标物品确定为所述待追踪物品。
一种可选的实施方式中，所述物品确定模块1030具体用于：
在所述第一图像帧和所述第二图像帧的采集时间差小于时间差阈值的情况下，针对所述每个第一物品，基于所述第一物品在所述第一图像帧中的物品位置信息和所述每个第二物品在所述第二图像帧中的物品位置信息，确定所述第一物品与所述每个第二物品的位置相似度；
确定所述第一物品与所述每个第二物品的位置相似度是否符合第一预设条件；
将符合所述第一预设条件的位置相似度所对应的第二物品，确定为所述第二目标物品。
一种可选的实施方式中，所述物品确定模块1030具体用于：
针对所述每个第一物品，基于所述第一物品的物品种类信息和所述每个第二物品的物品种类信息，确定所述第一物品与所述每个第二物品之间的种类相似度；
确定所述第一物品与所述每个第二物品之间的种类相似度是否符合第二预设条件；
将符合所述第二预设条件的种类相似度所对应的第二物品，确定为所述第二目标物品。
一种可选的实施方式中，所述物品确定模块1030具体用于：
根据所述相似度以及第一配对规则，确定所述第一物品和所述每个第二物品之间是否配对成功；
将配对成功的所述第一物品以及所述第二物品，确定为对应同一目标物品的所述第一物品和所述第二物品。
一种可选的实施方式中，所述物品确定模块1030具体用于：
将配对成功的所述第一物品以及所述第二物品，确定为物品映射对；
在所述物品映射对的数量为两个以上的情况下，基于第二配对规则，从多个物品映射对中确定目标物品映射对，并将所述目标物品映射对中的第一物品以及所述第二物品，确定为对应同一目标物品的所述第一物品和所述第二物品。
请参阅图13，图13为本公开实施例提供的另一种物品轨迹生成装置的结构示意图，所述物品轨迹生成装置1000还包括：物品拿取信息生成模块1050；其中，
物品拿取信息生成模块1050，基于所述目标物品的完整移动轨迹，生成所述用户的物品拿取信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参见图14所示，为本公开实施例提供的电子设备4000的结构示意图，包括处理器4001、存储器4002、和总线4003。其中，存储器4002用于存储执行指令，包括内存40021和外部存储器40022；这里的内存40021也称内存储器，用于暂时存放处理器4001中的运算数据，以及与硬盘等外部存储器40022交换的数据，处理器4001通过内存40021与外部存储器40022进行数据交换。
本申请实施例中，存储器4002具体用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。也即，当电子设备4000运行时，处理器4001与存储器4002之间通过总线4003通信，使得处理器4001执行存储器4002中存储的应用程序代码，进而执行前述任一实施例中的方法。
处理器4001可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，存储器4002可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备800的具体限定。在本申请另一些实施例中，电子设备800可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的物品轨迹生成方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的物品轨迹生成方法的步骤，具体可参阅上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和终端的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、终端和方法，可以通过其它的方式实现。以上所描述的终端实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种物品轨迹生成方法，其特征在于，所述方法包括：
获取待检测视频，并基于预设规则从所述待检测视频中提取至少两个图像帧；
提取每个图像帧中各个物品的物品特征向量，并分别确定所述每个图像帧中各个物品的物品位置信息以及物品种类信息；
基于所述每个图像帧的物品特征向量、物品位置信息以及物品种类信息，确定所述至少两个图像帧中对应同一目标物品的待追踪物品；
基于所述目标物品分别在所述至少两个图像帧中对应的待追踪物品的物品位置信息，生成所述目标物品的移动轨迹。
2.根据权利要求1所述的方法，其特征在于，所述至少两个图像帧包括第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧为相邻图像帧；
所述基于所述每个图像帧的物品特征向量、物品位置信息以及物品种类信息，确定所述至少两个图像帧中对应同一目标物品的待追踪物品，包括：
确定所述第一图像帧中的至少一个第一物品和所述第二图像帧中的至少一个第二物品；
针对每个第一物品，基于所述第一物品在所述第一图像帧中的物品位置信息、物品种类信息以及物品特征向量，以及每个第二物品在所述第二图像帧中的物品位置信息、物品种类信息以及物品特征向量，确定所述第一物品和所述每个第二物品之间的相似度；
根据所述相似度，确定对应同一目标物品的所述第一物品和所述第二物品，并将对应同一目标物品的所述第一物品和所述第二物品确定为所述待追踪物品。
3.根据权利要求2所述的方法，其特征在于，所述针对每个第一物品，基于所述第一物品在所述第一图像帧中的物品位置信息、物品种类信息以及物品特征向量，以及每个第二物品在所述第二图像帧中的物品位置信息、物品种类信息以及物品特征向量，确定所述第一物品和所述每个第二物品之间的相似度，包括：
针对所述每个第一物品，基于所述物品特征向量、所述物品位置信息以及所述物品种类信息中的至少一种目标因素，从所述第二图像帧中确定至少一个第二目标物品；
基于所述物品特征向量、所述物品位置信息以及所述物品种类信息，确定所述第一物品与所述第二目标物品之间的相似度；
所述根据所述相似度，确定对应同一目标物品的所述第一物品和所述第二物品，并将对应同一目标物品的所述第一物品和所述第二物品确定为所述待追踪物品，包括：
根据所述第一物品与所述第二目标物品之间的相似度，确定对应同一目标物品的所述第一物品和所述第二目标物品，并将对应同一目标物品的所述第一物品和所述第二目标物品确定为所述待追踪物品。
4.根据权利要求3所述的方法，其特征在于，所述针对所述每个第一物品，基于所述物品特征向量、所述物品位置信息以及所述物品种类信息中的至少一种目标因素，从所述第二图像帧中确定至少一个第二目标物品，包括：
在所述第一图像帧和所述第二图像帧的采集时间差小于时间差阈值的情况下，针对所述每个第一物品，基于所述第一物品在所述第一图像帧中的物品位置信息和所述每个第二物品在所述第二图像帧中的物品位置信息，确定所述第一物品与所述每个第二物品的位置相似度；
确定所述第一物品与所述每个第二物品的位置相似度是否符合第一预设条件；
将符合所述第一预设条件的位置相似度所对应的第二物品，确定为所述第二目标物品。
5.根据权利要求3所述的方法，其特征在于，所述针对所述每个第一物品，基于所述物品特征向量、所述物品位置信息以及所述物品种类信息中的至少一种目标因素，从所述第二图像帧中确定至少一个第二目标物品，包括：
针对所述每个第一物品，基于所述第一物品的物品种类信息和所述每个第二物品的物品种类信息，确定所述第一物品与所述每个第二物品之间的种类相似度；
确定所述第一物品与所述每个第二物品之间的种类相似度是否符合第二预设条件；
将符合所述第二预设条件的种类相似度所对应的第二物品，确定为所述第二目标物品。
6.根据权利要求2述的方法，其特征在于，所述根据所述相似度，确定对应同一目标物品的所述第一物品和所述第二物品，包括：
根据所述相似度以及第一配对规则，确定所述第一物品和所述每个第二物品之间是否配对成功；
将配对成功的所述第一物品以及所述第二物品，确定为对应同一目标物品的所述第一物品和所述第二物品。
7.根据权利要求6述的方法，其特征在于，所述将配对成功的所述第一物品以及所述第二物品，确定对应同一目标物品的所述第一物品和所述第二物品，包括：
将配对成功的所述第一物品以及所述第二物品，确定为物品映射对；
在所述物品映射对的数量为两个以上的情况下，基于第二配对规则，从多个物品映射对中确定目标物品映射对，并将所述目标物品映射对中的第一物品以及所述第二物品，确定为对应同一目标物品的所述第一物品和所述第二物品。
8.根据权利要求1所述的方法，其特征在于，所述基于所述目标物品分别在所述多个图像帧中对应的待追踪物品的物品位置信息，生成所述目标物品的移动轨迹之后，所述方法还包括：
基于所述目标物品的移动轨迹，生成所述目标物品的物品拿取信息。
9.一种物品轨迹生成装置，其特征在于，包括：
图像帧获取模块，用于获取待检测视频，并基于预设规则从所述待检测视频中提取至少两个图像帧；
物品信息提取模块，用于提取每个图像帧中各个物品的物品特征向量，并分别确定所述每个图像帧中各个物品的物品位置信息以及物品种类信息；
物品确定模块，用于基于所述每个图像帧的物品特征向量、物品位置信息以及物品种类信息，确定所述至少两个图像帧中对应同一目标物品的待追踪物品；
轨迹生成模块，用于基于所述目标物品分别在所述至少两个图像帧中对应的待追踪物品的物品位置信息，生成所述目标物品的移动轨迹。
10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任意一项所述的物品轨迹生成方法。
11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任意一项所述的物品轨迹生成方法。
CN202210273022.XA 2022-03-18 2022-03-18 物品轨迹生成方法、装置、电子设备及存储介质 Withdrawn CN114742859A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210273022.XA CN114742859A (zh) 2022-03-18 2022-03-18 物品轨迹生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210273022.XA CN114742859A (zh) 2022-03-18 2022-03-18 物品轨迹生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114742859A true CN114742859A (zh) 2022-07-12

Family

ID=82276483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210273022.XA Withdrawn CN114742859A (zh) 2022-03-18 2022-03-18 物品轨迹生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114742859A (zh)

Similar Documents

Publication Publication Date Title
Luo et al. Spatio-temporal feature extraction and representation for RGB-D human action recognition
Wang et al. MSLD: A robust descriptor for line matching
Oreifej et al. Hon4d: Histogram of oriented 4d normals for activity recognition from depth sequences
US9412176B2 (en) Image-based feature detection using edge vectors
Zhu et al. Evaluating spatiotemporal interest point features for depth-based action recognition
Aldoma et al. Multimodal cue integration through hypotheses verification for rgb-d object recognition and 6dof pose estimation
Dominio et al. Hand gesture recognition with depth data
CN105164700B (zh) 使用概率模型在视觉数据中检测对象
Carmona et al. Human action recognition by means of subtensor projections and dense trajectories
Yoo et al. Scale-invariant template matching using histogram of dominant gradients
Yi et al. Motion keypoint trajectory and covariance descriptor for human action recognition
Buoncompagni et al. Saliency-based keypoint selection for fast object detection and matching
Chen et al. TriViews: A general framework to use 3D depth data effectively for action recognition
Rahmani et al. Action classification with locality-constrained linear coding
Parisot et al. Scene-specific classifier for effective and efficient team sport players detection from a single calibrated camera
Li et al. Adaptive and compressive target tracking based on feature point matching
Donoser et al. Robust planar target tracking and pose estimation from a single concavity
CN114648719A (zh) 物品状态跟踪方法、装置、电子设备及存储介质
CN109840529B (zh) 一种基于局部敏感置信度评估的图像匹配方法
Kuang et al. MutualCascade method for pedestrian detection
Oikonomopoulos et al. Sparse B-spline polynomial descriptors for human activity recognition
Roh et al. Gesture spotting for low-resolution sports video annotation
Huang et al. Estimating human pose from occluded images
Liu et al. Energy-based global ternary image for action recognition using sole depth sequences
CN114742859A (zh) 物品轨迹生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220712

WW01 Invention patent application withdrawn after publication