CN114648719A - 物品状态跟踪方法、装置、电子设备及存储介质 - Google Patents

物品状态跟踪方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114648719A
CN114648719A CN202210315977.7A CN202210315977A CN114648719A CN 114648719 A CN114648719 A CN 114648719A CN 202210315977 A CN202210315977 A CN 202210315977A CN 114648719 A CN114648719 A CN 114648719A
Authority
CN
China
Prior art keywords
article
information
detection
determining
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210315977.7A
Other languages
English (en)
Inventor
龙海旭
罗棕太
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Technology Development Co Ltd
Original Assignee
Shanghai Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Technology Development Co Ltd filed Critical Shanghai Sensetime Technology Development Co Ltd
Priority to CN202210315977.7A priority Critical patent/CN114648719A/zh
Publication of CN114648719A publication Critical patent/CN114648719A/zh
Priority to PCT/CN2022/125762 priority patent/WO2023184932A1/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/10—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for means for safe-keeping of property, left temporarily, e.g. by fastening the property
    • G07F17/12—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for means for safe-keeping of property, left temporarily, e.g. by fastening the property comprising lockable containers, e.g. for accepting clothes to be cleaned
    • G07F17/13—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for means for safe-keeping of property, left temporarily, e.g. by fastening the property comprising lockable containers, e.g. for accepting clothes to be cleaned the containers being a postal pick-up locker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本公开提供了一种物品状态跟踪方法、装置、电子设备及存储介质，该方法包括：获取物品的移动轨迹信息，移动轨迹信息包含物品在至少两帧图像中的检测结果；基于移动轨迹信息以及预设的检测线信息，确定每帧图像下的物品的检测状态信息，检测线设置于存储柜的一侧，且与存储柜的距离在预设范围内，检测状态信息用于衡量物品相对检测线的位置变化状态；基于至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定物品对应的目标跟踪状态，目标跟踪状态用于指示物品被拿取，或者物品被放回。本公开实施例，通过确定每帧图像下的物品的检测状态信息，进而确定物品的目标跟踪状态，有利于提升物品的目标跟踪状态的确定精度。

Description

物品状态跟踪方法、装置、电子设备及存储介质
技术领域
本公开涉及物品跟踪技术领域，具体而言，涉及一种物品状态跟踪方法、物品状态跟踪装置、电子设备以及计算机可读存储介质。
背景技术
随着互联网经济的发展，自助消费因其操作便利而逐渐成为被大众接受的消费趋势，因此，一些智能存储柜(如智能冰箱或者智能货架)应运而生。
目前的智能存储柜通常采用静态拍照来识别被拿取的物品信息。其中，静态拍照的识别方式通常是根据相邻两帧图像的检测结果来确定是否有物品被拿取以及被拿取的物品信息。然而，此种方法由于只对结果进行分析，若出现遮挡的情况，将导致被拿取的物品信息识别错误，进而影响用户体验。
发明内容
本公开实施例至少提供一种物品状态跟踪方法、物品状态跟踪装置、电子设备以及计算机可读存储介质。
本公开实施例提供了一种物品状态跟踪方法，包括：
获取物品的移动轨迹信息，所述移动轨迹信息包含所述物品在至少两帧图像中的检测结果；
基于所述移动轨迹信息以及预设的检测线信息，确定每帧图像下的所述物品的检测状态信息，其中，所述检测线设置于所述存储柜的一侧，且与所述存储柜的距离在预设范围内，所述检测状态信息用于衡量所述物品相对所述检测线的位置变化状态；
基于所述至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态，其中，所述目标跟踪状态用于指示所述物品被拿取，或者所述物品被放回。
本公开实施例中，基于移动轨迹信息以及预设的检测线信息，确定每帧图像下的物品的检测状态信息，并根据移动轨迹信息中的至少两帧图像中每相邻两帧图像中的物品的检测状态信息，确定与该移动轨迹信息下的物品的目标跟踪状态，也即，对物品进行动态跟踪，并根据物品的目标跟踪状态确定该物品是否被拿取，如此，有利于提高确定物品的目标跟踪状态的准确度，进而可以提升用户的使用体验。
一种可选的实施方式中，所述检测结果包括所述物品的种类信息；所述基于所述移动轨迹信息以及预设的检测线信息，确定每帧图像下的所述物品的检测状态信息，包括：
从所述移动轨迹信息中的至少两帧图像中确定目标图像，所述目标图像为所述物品的种类信息为非目标种类的图像；
将所述目标图像从所述至少两帧图像中删除，得到新的移动轨迹信息；
基于所述新的移动轨迹信息以及所述预设的检测线信息，确定所述新的移动轨迹信息下的每帧图像下的所述物品的检测状态信息；
所述基于所述至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态，包括：
基于所述新的移动轨迹信息下的至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态。
本公开实施例中，通过将物品的种类信息为背景的图像从至少两帧图像中删除，也即，将不包括物品的图像删除，以降低后续确定物品对应的目标跟踪状态的影响，有利于提高确定检测状态信息的精度。
一种可选的实施方式中，所述预设的检测线信息包括检测线函数，所述检测结果包括所述物品的检测框信息，所述物品的检测框信息包括检测框的中心点位置；所述基于所述移动轨迹信息以及预设的检测线信息，确定每帧图像下的所述物品的检测状态信息，包括：
基于所述移动轨迹信息中的每帧图像中的所述物品的检测框中心点位置以及所述检测线函数，确定所述每帧图像下的所述物品的检测状态信息。
本公开实施例中，基于每帧图像中的物品的检测框中心点位置以及检测线函数，可以提高确定每帧图像下的物品的检测状态信息的准确度，进而提高确定物品的目标跟踪状态的准确性。
一种可选的实施方式中，所述检测框的中心点位置包括所述中心点的横坐标以及所述中心点的纵坐标；所述基于所述移动轨迹信息中的每帧图像中的所述物品的检测框中心点位置以及所述检测线函数，确定所述每帧图像下的所述物品的检测状态信息，包括：
基于所述中心点的横坐标，确定所述检测线函数的函数值；
基于所述中心点的纵坐标以及所述检测线函数的函数值，确定所述每帧图像下的所述物品的检测状态信息。
本公开实施例中，基于中心点的纵坐标以及检测线函数的函数值，可以提高确定每帧图像下的物品的检测状态信息的准确度。
一种可选的实施方式中，所述基于所述中心点的纵坐标以及所述检测线函数的函数值，确定所述每帧图像下的所述物品的检测状态信息，包括：
在所述中心点的纵坐标与所述函数值满足第一预设关系的情况下，确定所述物品的检测状态信息为第一检测状态信息；
在所述中心点的纵坐标与所述函数值满足第二预设关系的情况下，确定所述物品的检测状态信息为第二检测状态信息。
本公开实施例中，根据中心点的纵坐标以及函数值满足的不同预设关系，来确定物品的不同的检测状态信息，如此，可以提高确定每帧图像下的物品的检测状态信息的准确度。
一种可选的实施方式中，所述基于所述至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态，包括：
确定所述相邻两帧图像的物品的检测状态信息之间的关系；
在所述相邻两帧图像的物品的检测状态信息之间的关系符合预设条件的情况下，确定所述物品对应的目标跟踪状态发生改变，其中，所述目标跟踪状态发生改变是指所述物品从第一状态变化至第二状态，或者所述物品从所述第二状态变化至所述第一状态；所述第一状态是指所述物品与所述存储柜位于所述检测线的同侧的状态，所述第二状态是指所述物品与所述存储柜分别位于所述检测线两侧的状态；
确定所述移动轨迹信息下的所述物品对应的目标跟踪状态发生改变的次数；
基于所述物品对应的目标跟踪状态发生改变的次数，确定所述物品对应的目标跟踪状态，其中，在所述次数为奇数的情况下，确定所述物品对应的目标跟踪状态指示所述物品被拿取，在所述次数为偶数的情况下，确定所述物品对应的目标跟踪状态指示所述物品被放回。
本公开实施例中，通过确定相邻两帧图像的物品的检测状态信息之间的关系，确定物品对应的目标跟踪状态是否发生改变，如此，可以将物品在移动过程中状态改变的情况都确定出来，可以提高确定物品对应的目标跟踪状态是否发生变化的准确度；进而根据物品对应的目标跟踪状态发生改变的次数，确定物品对应的目标跟踪状态，如此，可以提高确定物品对应的目标跟踪状态的准确性。
一种可选的实施方式中，所述检测结果还包括所述物品的种类信息；所述方法还包括：
确定所述物品对应的目标跟踪状态发生改变的目标时间点；
基于所述每帧图像下的物品的种类信息，确定目标时间段内的至少两帧图像下的不同种类信息所对应的图像数量，并将最多图像数量所对应的种类信息确定为所述物品的目标种类信息，其中，所述目标时间段是指以所述目标时间点为基准的预设范围内的时间段。
本公开实施例中，由于移动轨迹信息中的每帧图像中的物品可能存在多种或者识别结果存在错误，因此，可以确定目标时间段内的至少两帧图像下的不同种类信息所对应的图像数量，并将最多图像数量所对应的种类信息确定为物品的目标种类信息，如此，可以提升确定物品的目标种类信息的准确性。
一种可选的实施方式中，所述方法还包括：
在所述物品对应的目标跟踪状态指示所述物品被拿取的情况下，生成所述物品的交易信息。
本公开实施例中，在目标跟踪状态指示物品被拿取的情况下，生成交易信息，由于提升了物品的拿取状态的确定精度，进而也提升了交易信息的精度，可以提升用户自助购买体验。
一种可选的实施方式中，所述存储柜设置有多个摄像装置，所述物品对应的目标跟踪状态对应其中一个目标摄像装置；所述方法还包括：
获取每个摄像装置下的所述物品对应的目标跟踪状态；
将所述每个摄像装置下的所述物品对应的目标跟踪状态进行融合，得到所述物品的最终跟踪状态；
在所述物品的最终跟踪状态指示所述物品被拿取的情况下，生成所述物品的交易信息。
本公开实施例中，若存储柜设置有多个摄像装置，可以将各个摄像装置下的物品对应的目标跟踪状态进行融合，得到最终跟踪状态，若最终跟踪状态指示所述物品你被拿取，则根据物品的最终跟踪状态生成交易信息，如此，可以提高交易信息的完整性以及避免交易信息的重复性。
本公开实施例还提供一种物品状态跟踪装置，所述装置包括：
移动轨迹信息获取模块，用于获取物品的移动轨迹信息，所述移动轨迹信息包含所述物品在至少两帧图像中的检测结果；
检测状态信息确定模块，用于基于所述移动轨迹信息以及预设的检测线信息，确定每帧图像下的所述物品的检测状态信息，其中，所述检测线设置于所述存储柜的一侧，且与所述存储柜的距离在预设范围内，所述检测状态信息用于衡量所述物品相对所述检测线的位置变化状态；
目标跟踪状态确定模块，用于基于所述至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态，其中，所述目标跟踪状态用于指示所述物品被拿取，或者所述物品被放回。
一种可选的实施方式中，所述检测结果包括所述物品的种类信息；所述检测状态信息确定模块具体用于：
从所述移动轨迹信息中的至少两帧图像中确定目标图像，所述目标图像为所述物品的种类信息为背景的图像；
将所述目标图像从所述至少两帧图像中删除，得到新的移动轨迹信息；
基于所述新的移动轨迹信息以及所述预设的检测线信息，确定所述新的移动轨迹信息下的每帧图像下的所述物品的检测状态信息；
所述目标跟踪状态确定模块具体用于：
基于所述新的移动轨迹信息下的至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态。
一种可选的实施方式中，所述预设的检测线信息包括检测线函数，所述检测结果包括所述物品的检测框信息，所述物品的检测框信息包括检测框的中心点位置；所述检测状态信息确定模块具体用于：
基于所述移动轨迹信息中的每帧图像中的所述物品的检测框中心点位置以及所述检测线函数，确定所述每帧图像下的所述物品的检测状态信息。
一种可选的实施方式中，所述检测框的中心点位置包括所述中心点的横坐标以及所述中心点的纵坐标；所述检测状态信息确定模块具体用于：
基于所述中心点的横坐标，确定所述检测线函数的函数值；
基于所述中心点的纵坐标以及所述检测线函数的函数值，确定所述每帧图像下的所述物品的检测状态信息。
一种可选的实施方式中，所述检测状态信息确定模块具体用于：
在所述中心点的纵坐标与所述函数值满足第一预设关系的情况下，确定所述物品的检测状态信息为第一检测状态信息；
在所述中心点的纵坐标与所述函数值满足第二预设关系的情况下，确定所述物品的检测状态信息为第二检测状态信息。
一种可选的实施方式中，所述目标跟踪状态确定模块具体用于：
确定所述相邻两帧图像的物品的检测状态信息之间的关系；
在所述相邻两帧图像的物品的检测状态信息之间的关系符合预设条件的情况下，确定所述物品对应的目标跟踪状态发生改变，其中，所述目标跟踪状态发生改变是指所述物品从第一状态变化至第二状态，或者所述物品从所述第二状态变化至所述第一状态；所述第一状态是指所述物品与所述存储柜位于所述检测线的同侧的状态，所述第二状态是指所述物品与所述存储柜分别位于所述检测线两侧的状态；
确定所述移动轨迹信息下的所述物品对应的目标跟踪状态发生改变的次数；
基于所述物品对应的目标跟踪状态发生改变的次数，确定所述物品对应的目标跟踪状态，其中，在所述次数为奇数的情况下，确定所述物品对应的目标跟踪状态指示所述物品被拿取，在所述次数为偶数的情况下，确定所述物品对应的目标跟踪状态指示所述物品被放回。
一种可选的实施方式中，所述装置还包括种类信息确定模块，所述检测结果还包括所述物品的种类信息；所述种类信息确定模块用于：
确定所述物品对应的目标跟踪状态发生改变的目标时间点；
基于所述每帧图像下的物品的种类信息，确定目标时间段内的至少两帧图像下的不同种类信息所对应的图像数量，并将最多图像数量所对应的种类信息确定为所述物品的目标种类信息，其中，所述目标时间段是指以所述目标时间点为基准的预设范围内的时间段。
一种可选的实施方式中，所述装置还包括生成模块，所述生成模块用于：
在所述物品对应的目标跟踪状态指示所述物品被拿取的情况下，生成所述物品的交易信息。
一种可选的实施方式中，所述存储柜设置有多个摄像装置，所述物品对应的目标跟踪状态对应其中一个目标摄像装置；所述生成模块还用于：
获取每个摄像装置下的所述物品对应的目标跟踪状态；
将所述每个摄像装置下的所述物品对应的目标跟踪状态进行融合，得到所述物品的最终跟踪状态；
在所述物品的最终跟踪状态指示所述物品被拿取的情况下，生成所述物品的交易信息。
本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述物品状态跟踪方法。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述物品状态跟踪方法。
关于上述物品状态跟踪装置、电子设备、及计算机可读存储介质的效果描述参见上述物品状态跟踪方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本公开实施例所提供的一种现有的存储柜的架构示意图；
图2为本公开实施例所提供的一种物品状态跟踪方法的流程图；
图3为本公开实施例所提供的一种物品的检测结果的示意图；
图4为本公开实施例所提供的一种检测线的示意图；
图5为本公开实施例所提供的一种确定物品的检测状态信息的示意图；
图6为本公开实施例所提供的另一种物品状态跟踪方法的流程图；
图7为本公开实施例所提供的一种移动轨迹信息的图像的示意图；
图8为本公开实施例所提供的一种确定每帧图像下的物品的检测状态信息方法的流程图；
图9为本公开实施例所提供的一种确定物品对应的目标跟踪状态方法的流程图；
图10为本公开实施例所提供的一种相邻两帧图像的物品的检测状态信息的示意图；
图11为本公开实施例所提供的一种目标跟踪状态发生改变的示意图；
图12为本公开实施例所提供的一种确定物品的目标种类信息方法的流程图；
图13为本公开实施例所提供的一种移动轨迹下的物品的目标种类信息的示意图；
图14为本公开实施例所提供的再一种物品状态跟踪方法的流程图；
图15为本公开实施例所提供的一种多摄像装置下的物品的交易信息生成方法的流程图；
图16为本公开实施例所提供的一种具有多摄像装置的存储柜的结构示意图；
图17为本公开实施例提供的一种物品状态跟踪装置的结构示意图；
图18为本公开实施例提供的另一种物品状态跟踪装置的结构示意图；
图19为本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
随着互联网经济的发展，自助消费因其操作便利而逐渐成为被大众接受的消费趋势，因此，一些自助售卖机(如智能冰箱或者智能货架)应运而生。
请参见图1，图1为本公开实施例所提供的一种现有的存储柜的架构示意图。如图1中所示，存储柜100中包括多层置物板10以及图像采集装置20，每层置物板10上摆放物品30，例如，饮料(例如冰红茶)、速食产品(例如面包或者泡面)以及日用品(例如餐巾纸)等，每个物品30附带射频识别RFID标签31，存储柜100可以通过射频识别技术来识别RFID标签31，以对物品30进行识别。图像采集装置20为具有人脸识别功能的装置，用于刷脸支付或者扫码支付。然而，上述的存储柜100，由于需要使用RFID标签，存在成本高和效率低的问题。
因此，为了降低成本，在一些实施方式中，避免使用RFID标签，通过静态拍照来识别物品信息。其中，静态拍照的识别方式通常是根据相邻两帧图像的检测结果来确定是否有物品被拿取以及被拿取的物品信息。然而，此种方法由于只对结果进行分析，若出现遮挡的情况，将导致被拿取的物品信息识别错误，进而影响用户体验。
基于上述研究，本公开实施例提供了一种物品状态跟踪方法，包括：获取物品的移动轨迹信息，所述移动轨迹信息包含所述物品在至少两帧图像中的检测结果；基于所述移动轨迹信息以及预设的检测线信息，确定每帧图像下的所述物品的检测状态信息，其中，所述检测线设置于所述存储柜的一侧，且与所述存储柜的距离在预设范围内，所述检测状态信息用于衡量所述物品相对所述检测线的位置变化状态；基于所述至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态，其中，所述目标跟踪状态用于指示所述物品被拿取，或者所述物品被放回。
本公开实施例中，基于移动轨迹信息以及预设的检测线信息，确定每帧图像下的物品的检测状态信息，并根据移动轨迹信息中的至少两帧图像中每相邻两帧图像中的物品的检测状态信息，确定与该移动轨迹信息下的物品的目标跟踪状态，也即，对物品进行动态跟踪，并根据物品的目标跟踪状态确定该物品是否被拿取，如此，有利于提高确定物品的目标跟踪状态的准确度，进而可以提升用户的使用体验。
下面结合附图对本公开实施例中的物品状态跟踪方法进行详细介绍。
请参阅图2，图2为本公开实施例所提供的一种物品状态跟踪方法的流程图，如图2所示，本公开实施例提供的物品状态跟踪方法，包括以下S101～S104：
S101，获取物品的移动轨迹信息，所述移动轨迹信息包含所述物品在至少两帧图像中的检测结果。
可以理解，所述移动轨迹信息是指用户在拿取和放回物品的过程中，由于物品的移动所形成的轨迹。具体的，在用户在拿取和放回物品的过程中，可以通过摄像装置采集该过程的视频数据，然后通过终端设备获取摄像装置所采集的视频数据，并对该视频数据进行解码、目标检测以及轨迹追踪后，得到物品的移动轨迹信息。
其中，视频数据是指连续的图像序列，其实质是由一组组连续的图像构成的，其中，图像帧是组成视频的最小视觉单位，是一幅静态的图像。将时间上连续的图像帧序列合成到一起便形成动态视频。示例性地，为了方便后续的检测识别，可以通过FFmpeg技术等方式对视频数据进行解码，进而得到至少两帧图像，对该至少两帧待检测图像进行目标检测后，即可得到至少两帧图像的检测结果。
在一些实施方式中，所述检测结果包括所述物品的检测框信息，物品的检测框信息包括检测框的大小(例如，检测框的长度和宽度)以及检测框的的位置信息(例如，检测框的中心点的位置坐标)。
在其他实施方式中，所述检测结果还可以包括物品的种类信息。
示例性地，请参见图3，图3为本公开实施例所提供的一种物品的检测结果的示意图，如图3中所示，该检测结果500包括检测框501，并以文字形式输出该物品的种类信息“矿泉水150ml”。其中，检测框501的大小即为所述物品的大小。
其中，FFmpeg技术为可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，其采用LGPL或GPL许可证，提供有录制、转换以及流化音视频的完整解决方案，并且包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多code都是可以从头开发的，从而可以数据使用的简便和适配。相应的，在实际使用中，对于拍摄的用户拿取物品的视频数据，也可以是使用FFmpeg技术进行保存和传输的。
可以理解，由于视频数据中每秒钟通常包括很至少两帧图像(比如每秒钟包括24帧图像)，因此，在对视频数据进行解码时，可以对视频数据进行图像帧抽帧提取，其中，抽帧提取是指按照预设的间隔帧数进行抽帧提取，比如，每间隔20帧提取一帧待检测图像；还可以按照预设的时间间隔进行抽帧提取，比如每间隔10ms提取一帧图像。
需要说明的是，具体提的间隔帧数以及间隔时间，可以根据实际需求而设定，在此不做限定。
另外，本公开实施例中，通过终端设备获取摄像装置所采集的视频数据，也即，该物品状态跟踪方法的执行主体可以为终端设备，其中，终端设备包括但不限于车载设备、可穿戴设备、用户终端及手持设备等。其他实施方式中，该物品状态跟踪方法的执行主体还可以是服务器，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。在一些可能的实现方式中，该物品状态跟踪方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
S102，基于所述移动轨迹信息以及预设的检测线信息，确定每帧图像下的所述物品的检测状态信息。
其中，所述检测线设置于所述存储柜的一侧，且与所述存储柜的距离在预设范围内，所述检测状态信息用于衡量所述物品相对所述检测线的位置变化状态。
示例性地，请参见图4和图5，图4为本公开实施例所提供的一种检测线的示意图，图5为本公开实施例所提供的一种确定物品的检测状态信息的示意图。
如图4中所示，检测线300设置于存储柜200的一侧，并且与存储柜200之间的距离在预设范围内，在用户拿取和放回物品60的过程中，可以通过检测线300与物品60之间的相对位置，确定所述物品60的检测状态信息。
进一步的，在确定物品的检测状态信息时，示例性地，如图5中所示，检测线300用来判断物品是否被拿取和放回，由于检测框ID1的大小即为物品的大小，因此，可以通过判断检测框ID1与检测线300之间的相对位置，确定物品的检测状态信息，示例性地，当检测框ID1向上越过检测线300时，可以确定物品的检测状态信息为1，当检测框ID1向下越过检测线300时，可以确定物品的检测状态信息为-1。
需要说明的是，本实施方式中的确定物品的检测状态信息为1以及物品的检测状态信息为-1仅用于表示物品与检测线之间的位置的相对变化，在其他实施方式中，检测状态信息还可以是其他数字或者字母等符号(例如，0和1或者S和-S等)，在此不做限定。并且，图5中所示的两个检测框ID1仅用于表示检测框ID1的位置相对于检测线的位置的变化状态，而不是同一帧图像中同时存在两个检测框ID1。
S103，基于所述至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态，其中，所述目标跟踪状态用于指示所述物品被拿取，或者所述物品被放回。
可以理解，由于物品的移动轨迹信息中包含至少两帧图像，因此，需要根据每相邻两帧图像下的物品的检测状态信息来确定物品的目标跟踪状态，以确定该物品被拿取或者放回。示例性地，若移动轨迹信息包括A、B、C、D四帧图像，其中A和B相邻、B和C相邻，C和D相邻，若A图像下的物品O的检测状态信息与B图像下的物品O的检测状态信息不同的情况下，则认为物品相对于检测线的位置发生了变化，以此类推，进而可以确定物品O对应的目标跟踪状态。
本公开实施例中，基于移动轨迹信息以及预设的检测线信息，确定每帧图像下的物品的检测状态信息，并根据移动轨迹信息中的至少两帧图像中每相邻两帧图像中的物品的检测状态信息，确定与该移动轨迹信息下的物品的目标跟踪状态，也即，对物品进行动态跟踪，并根据物品的目标跟踪状态确定该物品是否被拿取，如此，有利于提高确定物品的目标跟踪状态的准确度，进而可以提升用户的使用体验。
可以理解，由于移动轨迹信息是对每一帧图像中的物品进行目标检测与识别以及跟踪得到的，因此，移动轨迹中可能会存在一些检测结果为背景的图像，因此，请参见图6，为本公开实施例提供了另一种物品状态跟踪方法，所述检测结果还包括所述物品的种类信息，如图6中所示，该方法包括以下S201～S205：
S201，获取物品的移动轨迹信息，所述移动轨迹信息包含所述物品在至少两帧图像中的检测结果。
其中，步骤S201该步骤与前述实施例中的步骤S101类似，在此不再赘述。
S202，从所述移动轨迹信息中的至少两帧图像中确定目标图像，所述目标图像为所述物品的种类信息为非目标种类的图像。
S203，将所述目标图像从所述至少两帧图像中删除，得到新的移动轨迹信息。
S204，基于所述新的移动轨迹信息以及所述预设的检测线信息，确定所述新的移动轨迹信息下的每帧图像下的所述物品的检测状态信息。
S205，基于所述新的移动轨迹信息下的至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态。
其中，步骤S204和步骤S205与前述实施例中的步骤S102和步骤S103类似，在此不再赘述。
可以理解，物品的种类信息为非目标种类的图像可以是一些物品的种类信息虚化的图像，或者是一些不是物品的图像，例如，可以是存储柜的部分结构的图像，还可以是与所述存储柜中预先放置的物品的种类不同的图像。
因此，通过将目标图像从至少两帧图像中删除，如此，可以降低后续确定物品对应的目标跟踪状态的影响，有利于提高确定检测状态信息的精度。
在一些实施方式中，所述预设的检测线信息包括检测线函数，所述检测结果包括所述物品的检测框信息，所述物品的检测框信息包括检测框的中心点位置；针对上述步骤S102，在基于所述移动轨迹信息以及预设的检测线信息，确定每帧图像下的所述物品的检测状态信息时，请参见图7，为本公开实施例所提供的一种移动轨迹信息的图像的示意图，如图7所示，可以以图7中所示的图像的左上角为坐标原点(0，0)建立图像坐标系，如此，即可基于所述移动轨迹信息中的每帧图像中的所述物品的检测框中心点位置以及所述检测线函数，确定所述每帧图像下的所述物品的检测状态信息，可以提高确定每帧图像下的物品的检测状态信息的准确度，进而提高确定物品的目标跟踪状态的准确性。
需要说明的是，在本实施方式以及下文中的其他实施方式中所描述的移动轨迹信息还可以是从所述至少两帧图像中删除目标图像所得到新的移动轨迹信息，在此不做限定，为便于理解，在下文中统一使用移动轨迹信息进行描述。
在一些实施方式中，所述检测框的中心点位置包括所述中心点的横坐标以及所述中心点的纵坐标；在基于所述移动轨迹信息中的每帧图像中的所述物品的检测框中心点位置以及所述检测线函数，确定所述每帧图像下的所述物品的检测状态信息时，请参见图8，可以包括以下S601～S602：
S601，基于所述中心点的横坐标，确定所述检测线函数的函数值。
S602，基于所述中心点的纵坐标以及所述检测线函数的函数值，确定所述每帧图像下的所述物品的检测状态信息。
具体的，请再次参见图7，在t时刻的物品O的检测状态信息可以表示为St，物品O的检测框中心点O1位置坐标为(xt,yt)，所述预设的检测线信息包括检测线函数F(x)，则基于所述中心点的横坐标xt，则可以确定检测线函数F(x)的函数值F(xt)。
进一步的，针对步骤S602，可以在所述中心点的纵坐标与所述函数值满足第一预设关系的情况下，确定所述物品的检测状态信息为第一检测状态信息；以及，在所述中心点的纵坐标与所述函数值满足第二预设关系的情况下，确定所述物品的检测状态信息为第二检测状态信息。
示例性地，请再次参见图7，根据预先建立的图像坐标系，并在所述中心点的纵坐标与所述函数值满足第一预设关系yt>F(xt)的情况下，也即在物品O位于检测线上方的情况下，可以确定物品的检测状态信息为第一检测状态信息，也即，St＝-1；在所述中心点的纵坐标与所述函数值满足第二预设关系yt<F(xt)的情况下，也即在物品O位于检测线下方的情况下，可以确定物品O的检测状态信息为第二检测状态信息，也即St＝1。其中，图中所示出的两个物品O仅用于表示物品O在不同时刻下分别位于检测线两侧的情况，而不是同时存在两个物品O。
需要说明的是，由于建立图像坐标系的方式不同(比如，坐标原点的不同)，则针对第一预设关系与第二预设关系的设置也会不相同，在实际应用中，可以根据图像的实际情况进行设置，在此不做限定。
在确定每帧图像下的物品的检测状态信息后，可以确定所述物品对应的目标跟踪状态，在一些实施方式中，针对步骤S103，在基于所述至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态时，请参见图9，可以包括以下S1031～S1034：
S1031，确定所述相邻两帧图像的物品的检测状态信息之间的关系。
S1032，在所述相邻两帧图像的物品的检测状态信息之间的关系符合预设条件的情况下，确定所述物品对应的目标跟踪状态发生改变。
其中，所述目标跟踪状态发生改变是指所述物品从第一状态变化至第二状态，或者所述物品从所述第二状态变化至所述第一状态；所述第一状态是指所述物品与所述存储柜位于所述检测线的同侧的状态，所述第二状态是指所述物品与所述存储柜分别位于所述检测线两侧的状态。
其中，所述预设条件可以根据实际需要进行设置，在此不做限定，例如，相邻两帧图像的物品的检测状态信息之间的关系符合预设条件可以是相邻两帧图像的物品的检测状态信息之间的关系为相反数关系，在此不做限定。
示例性地，请参见图10，图10为本公开实施例所提供的一种相邻两帧图像的物品的检测状态信息的示意图，其中，所述相邻两帧图像的物品的检测状态信息之间的关系符合预设条件是互为相反数关系，A图像与B图像为相邻的两帧图像，每张图像中的虚线为检测线，其中，A图像的物品位于检测线上方，物品的检测状态信息S1＝1，B图像的物品位于检测线的下方，物品的检测状态信息为S2＝-1，也即A图像与B图像的物品的检测状态信息之间的关系符合互为相反数关系，则可以确定所述物品对应的目标跟踪状态发生改变。
示例性地，请参见图11，图11为本公开实施例所提供的一种目标跟踪状态发生改变的示意图。如图11中所示，在用户购买物品60的过程中，物品60从位置a移动至位置b，处于位置b的物品60与自助售卖装置位于检测线300的同侧，即此时物品60处于第一状态，此时，物品的检测状态信息可以为1；然后，物品60继续移动至c位置，处于c位置的物品60与自助售卖装置分别位于检测线300的两侧，也即此时的物品60处于第二状态，此时，物品的检测状态信息为-1，也即，物品60从位置b移动至位置c的过程即为物品60对应的目标跟踪状态发生改变的过程，如此，可以将物品在移动过程中状态改变的情况都确定出来，可以提高确定物品对应的目标跟踪状态是否发生变化的准确度。
S1033，确定所述移动轨迹信息下的所述物品对应的目标跟踪状态发生改变的次数。
S1034，基于所述物品对应的目标跟踪状态发生改变的次数，确定所述物品对应的目标跟踪状态，其中，在所述次数为奇数的情况下，确定所述物品对应的目标跟踪状态指示所述物品被拿取，在所述次数为偶数的情况下，确定所述物品对应的目标跟踪状态指示所述物品被放回。
示例性地，请再次参见图11，物品60从b位置移动至c位置，也即，物品60对应的目标跟踪状态发生一次改变，则所述物品对应的目标跟踪状态指示所述物品60被拿取，也即，物品60在b位置对应的图像与物品60在c位置对应的图像为相邻两帧图像，并且发生一次跨线动作；接下来，若物品60从c位置移动回b位置，此时，物品60对应的目标跟踪状态发生两次改变，则所述物品对应的目标跟踪状态指示所述物品60被放回，也即，物品60在c位置对应的图像与物品60再次移动至b位置对应的图像为相邻两帧图像，并且发生一次跨线动作。以此类推，由于移动轨迹信息所对应的至少两帧图像中可能会包括多个相邻两帧图像，因此，需要根据物品对应的目标跟踪状态发生改变的次数，确定所述物品是否被拿取，如此，可以提高确定物品对应的目标跟踪状态的准确性。
由于上述移动轨迹信息是通过检测，识别以及跟踪得到的，因此，在上述过程中可能出现识别错误或者匹配错误，例如，物品M和物品N相似，在进行检测以及跟踪时，将物品N标记为物品M，因此，在确定所述物品对应的目标跟踪状态后，还需要对物品的种类信息进行确定。请参见图12，为本公开实施例所提供的一种确定物品的目标种类信息的方法流程图，如图12中所示，该方法包括以下S1101～S1102：
S1101，确定所述物品对应的目标跟踪状态发生改变的目标时间点。
S1102，基于所述每帧图像下的物品的种类信息，确定目标时间段内的至少两帧图像下的不同种类信息所对应的图像数量，并将最多图像数量所对应的种类信息确定为所述物品的目标种类信息，其中，所述目标时间段是指以所述目标时间点为基准的预设范围内的时间段。
其中，所述预设范围可以根据实际需要进行设置，例如，可以是1秒，3秒或者5秒等，在此不做限定。
示例性地，请参见图13，为本公开实施例所提供的一种确定物品的目标种类信息的示意图，如图13中所示，所述物品对应的目标跟踪状态发生改变的目标时间点为T1，预设范围为1s，移动轨迹信息包括10张图像(图像1至图像10)，每张图像均包括跟踪标记号为ID1的物品，则可以确定在目标时间段T1-1到T1+1内的至少两帧图像中的物品的种类信息所对应的图像数量，其中，图像7中的物品的种类信息实际为气泡水，而其他图像中的物品的种类为矿泉水，则可以确定所述物品的目标种类信息为矿泉水。
本实施方式中，由于移动轨迹信息中的每帧图像中的物品可能存在多种或者识别结果存在错误，因此，将最多图像数量所对应的种类信息确定为物品的目标种类信息，可以提升确定物品的目标种类信息的准确性。
可以理解，若存储柜为自助售卖机，则在确定所述物品对应的目标跟踪状态后，还可以生成相应的交易信息，请参见图14，为本公开实施例所提供的再一种物品状态跟踪方法的流程图，与图2中所示的物品状态跟踪方法不同的是，所述方法还包括S104：
S104，在所述物品对应的目标跟踪状态指示所述物品被拿取的情况下，生成所述物品的交易信息。
可以理解，在物品对应的目标跟踪状态指示该物品被拿取的情况下，可以生成该物品的交易信息，由于提升了物品的拿取状态的确定精度，进而也提升了交易信息的精度，可以提升用户自助购买体验。
其中，交易信息可以包括物品的种类信息、物品被拿取的时间、物品的数量以及物品的金额中的至少一种。进一步的，还可以将该交易信息发送至用户，比如，用户侧接收到的交易信息可以为“您已于11时50分购买物品O两件，金额为6元”。
在其他实施方式中，在所述物品对应的目标跟踪状态指示所述物品被拿取的情况下，还可以控制所述存储柜的柜门自动关闭，以结束当前交易的流程。
需要说明的是，上述方法的实施是在所述存储柜中设置有一个摄像装置的情况下，为了能够从多角度，多视野拍摄到物品的移动过程，本公开实施例还提供了基于多摄像装置的物品交易信息生成的方法，针对步骤S104，请参见图15，为本公开实施例所提供的一种多摄像装置下的物品的交易信息生成方法的流程图，所述存储柜设置有多个摄像装置，所述物品对应的目标跟踪状态对应其中一个目标摄像装置，如图15中所示，所述方法包括以下S1041～S1043：
S1041，获取每个摄像装置下的所述物品对应的目标跟踪状态。
S1042，将所述每个摄像装置下的所述物品对应的目标跟踪状态进行融合，得到所述物品的最终跟踪状态。
S1043，在所述物品的最终跟踪状态指示所述物品被拿取的情况下，生成所述物品的交易信息。
可以理解，每个摄像装置所对应的目标跟踪状态可能存在不同，因此，需要获取每个摄像装置下的该物品所对应的目标跟踪状态。并将每个摄像装置下的该物品所对应的目标跟踪状态进行融合，得到该物品的完整跟踪状态，也即所述最终跟踪状态，若最终跟踪状态指示所述物品被拿取，则可以生成该物品的交易信息。如此，通过将多个摄像装置下的物品的目标跟踪状态进行融合得到最终跟踪轨迹，可以使得物品的跟踪轨迹更加完整，并在所述物品的最终跟踪状态指示所述物品被拿取的情况下，生成所述物品的交易信息，有利于提高交易信息的完整性。
示例性地，请参见图16，图16为本公开实施例所提供的一种具有多摄像装置的存储柜的结构示意图。如图16中所示，存储柜200包括两个摄像装置40以及多个层叠且间隔设置置物板50。置物板50用于承载多种物品60(例如，哇哈哈、500ml冰红茶、1.5L冰红茶以及泡面等)，当用户在存储柜200拿取物品的过程中，两个摄像装置40会分别从不同的角度采集用户拿取物品60的视频。因此，通过上述摄像装置40可以分别获取到用户从存储柜200拿取物品的视频。
需要说明的是，摄像装置40的数量可以根据实际需求进行设置，且多个摄像装置之间需要具有较多的共同拍摄视野，以从不同角度拍摄用户拿取物品的视频。具体的，可以根据摄像装置的拍摄视角、拍摄范围，或者根据成本等因素进行设置，比如，摄像装置40还可以是其他数量，三个或者五个等，在此不做限定。本公开实施例中，摄像装置的数量设置为两个。
另外，需要说明的是，本公开实施例中的存储柜包括但不限于冰箱、保温柜、自助售卖机、储物柜等，具体可以根据应用场景不同而不同，只要是能存放物品且能够供用户取物的柜子、装置节，皆可称为存储柜。
在本实施方式中，若存储柜设置有多个摄像装置，则可以将各个摄像装置下的物品对应的目标跟踪状态进行融合，以得到最终跟踪状态，并在最终跟踪状态指示所述物品被拿取的情况下，生成交易信息，可以提高交易信息的完整性以及避免交易信息的重复性。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与物品状态跟踪方法对应的物品状态跟踪装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述物品状态跟踪方法相似，因此装置的实施可以参阅方法的实施，重复之处不再赘述。
请参阅图17，图17为本公开实施例提供的一种物品状态跟踪装置的结构示意图，所述物品状态跟踪装置1600包括：移动轨迹信息获取模块1610、检测状态信息确定模块1620以及目标跟踪状态确定模块1630；其中，
移动轨迹信息获取模块1610，用于获取物品的移动轨迹信息，所述移动轨迹信息包含所述物品在至少两帧图像中的检测结果；
检测状态信息确定模块1620，用于基于所述移动轨迹信息以及预设的检测线信息，确定每帧图像下的所述物品的检测状态信息，其中，所述检测线设置于所述存储柜的一侧，且与所述存储柜的距离在预设范围内，所述检测状态信息用于衡量所述物品相对所述检测线的位置变化状态；
目标跟踪状态确定模块1630，用于基于所述至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态，其中，所述目标跟踪状态用于指示所述物品被拿取，或者所述物品被放回。
一种可选的实施方式中，所述检测结果包括所述物品的种类信息；所述检测状态信息确定模块1620具体用于：
从所述移动轨迹信息中的至少两帧图像中确定目标图像，所述目标图像为所述物品的种类信息为背景的图像；
将所述目标图像从所述至少两帧图像中删除，得到新的移动轨迹信息；
基于所述新的移动轨迹信息以及所述预设的检测线信息，确定所述新的移动轨迹信息下的每帧图像下的所述物品的检测状态信息；
所述目标跟踪状态确定模块1630具体用于：
基于所述新的移动轨迹信息下的至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态。
一种可选的实施方式中，所述预设的检测线信息包括检测线函数，所述检测结果包括所述物品的检测框信息，所述物品的检测框信息包括检测框的中心点位置；所述检测状态信息确定模块1620具体用于：
基于所述移动轨迹信息中的每帧图像中的所述物品的检测框中心点位置以及所述检测线函数，确定所述每帧图像下的所述物品的检测状态信息。
一种可选的实施方式中，所述检测框的中心点位置包括所述中心点的横坐标以及所述中心点的纵坐标；所述检测状态信息确定模块1620具体用于：
基于所述中心点的横坐标，确定所述检测线函数的函数值；
基于所述中心点的纵坐标以及所述检测线函数的函数值，确定所述每帧图像下的所述物品的检测状态信息。
一种可选的实施方式中，所述检测状态信息确定模块1620具体用于：
在所述中心点的纵坐标与所述函数值满足第一预设关系的情况下，确定所述物品的检测状态信息为第一检测状态信息；
在所述中心点的纵坐标与所述函数值满足第二预设关系的情况下，确定所述物品的检测状态信息为第二检测状态信息。
一种可选的实施方式中，所述目标跟踪状态确定模块1630具体用于：
确定所述相邻两帧图像的物品的检测状态信息之间的关系；
在所述相邻两帧图像的物品的检测状态信息之间的关系符合预设条件的情况下，确定所述物品对应的目标跟踪状态发生改变，其中，所述目标跟踪状态发生改变是指所述物品从第一状态变化至第二状态，或者所述物品从所述第二状态变化至所述第一状态；所述第一状态是指所述物品与所述存储柜位于所述检测线的同侧的状态，所述第二状态是指所述物品与所述存储柜分别位于所述检测线两侧的状态；
确定所述移动轨迹信息下的所述物品对应的目标跟踪状态发生改变的次数；
基于所述物品对应的目标跟踪状态发生改变的次数，确定所述物品对应的目标跟踪状态，其中，在所述次数为奇数的情况下，确定所述物品对应的目标跟踪状态指示所述物品被拿取，在所述次数为偶数的情况下，确定所述物品对应的目标跟踪状态指示所述物品被放回。
请参阅图18，图18为本公开实施例提供的另一种物品状态跟踪装置的结构示意图，所述物品状态跟踪装置1000还包括：目标种类信息确定模块1640，所述检测结果还包括所述物品的种类信息；所述目标种类信息确定模块1640用于：
确定所述物品对应的目标跟踪状态发生改变的目标时间点；
基于所述每帧图像下的物品的种类信息，确定目标时间段内的至少两帧图像下的不同种类信息所对应的图像数量，并将最多图像数量所对应的种类信息确定为所述物品的目标种类信息，其中，所述目标时间段是指以所述目标时间点为基准的预设范围内的时间段。
一种可选的实施方式中，所述物品状态跟踪装置1000还包括：交易信息生成模块1650，所述交易信息生成模块1650用于：
在所述物品对应的目标跟踪状态指示所述物品被拿取的情况下，生成所述物品的交易信息。
一种可选的实施方式中，所述存储柜设置有多个摄像装置，所述物品对应的目标跟踪状态对应其中一个目标摄像装置；所述交易信息生成模块1650具体用于：
获取每个摄像装置下的所述物品对应的目标跟踪状态；
将所述每个摄像装置下的所述物品对应的目标跟踪状态进行融合，得到所述物品的最终跟踪状态；
在所述物品的最终跟踪状态指示所述物品被拿取的情况下，生成所述物品的交易信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参见图19所示，为本公开实施例提供的电子设备4000的结构示意图，包括处理器4001、存储器4002、和总线4003。其中，存储器4002用于存储执行指令，包括内存40021和外部存储器40022；这里的内存40021也称内存储器，用于暂时存放处理器4001中的运算数据，以及与硬盘等外部存储器40022交换的数据，处理器4001通过内存40021与外部存储器40022进行数据交换。
本申请实施例中，存储器4002具体用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。也即，当电子设备4000运行时，处理器4001与存储器4002之间通过总线4003通信，使得处理器4001执行存储器4002中存储的应用程序代码，进而执行前述任一实施例中的方法。
处理器4001可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，存储器4002可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备800的具体限定。在本申请另一些实施例中，电子设备800可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的物品状态跟踪方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的物品状态跟踪方法的步骤，具体可参阅上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和终端的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、终端和方法，可以通过其它的方式实现。以上所描述的终端实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种物品状态跟踪方法，其特征在于，所述方法包括：
获取物品的移动轨迹信息，所述移动轨迹信息包含所述物品在至少两帧图像中的检测结果；
基于所述移动轨迹信息以及预设的检测线信息，确定每帧图像下的所述物品的检测状态信息，其中，所述检测线设置于所述存储柜的一侧，且与所述存储柜的距离在预设范围内，所述检测状态信息用于衡量所述物品相对所述检测线的位置变化状态；
基于所述至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态，其中，所述目标跟踪状态用于指示所述物品被拿取，或者所述物品被放回。
2.根据权利要求1所述的方法，其特征在于，所述检测结果包括所述物品的种类信息；所述基于所述移动轨迹信息以及预设的检测线信息，确定每帧图像下的所述物品的检测状态信息，包括：
从所述移动轨迹信息中的至少两帧图像中确定目标图像，所述目标图像为所述物品的种类信息为非目标种类的图像；
将所述目标图像从所述至少两帧图像中删除，得到新的移动轨迹信息；
基于所述新的移动轨迹信息以及所述预设的检测线信息，确定所述新的移动轨迹信息下的每帧图像下的所述物品的检测状态信息；
所述基于所述至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态，包括：
基于所述新的移动轨迹信息下的至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态。
3.根据权利要求1所述的方法，其特征在于，所述预设的检测线信息包括检测线函数，所述检测结果包括所述物品的检测框信息，所述物品的检测框信息包括检测框的中心点位置；所述基于所述移动轨迹信息以及预设的检测线信息，确定每帧图像下的所述物品的检测状态信息，包括：
基于所述移动轨迹信息中的每帧图像中的所述物品的检测框中心点位置以及所述检测线函数，确定所述每帧图像下的所述物品的检测状态信息。
4.根据权利要求3所述的方法，其特征在于，所述检测框的中心点位置包括所述中心点的横坐标以及所述中心点的纵坐标；所述基于所述移动轨迹信息中的每帧图像中的所述物品的检测框中心点位置以及所述检测线函数，确定所述每帧图像下的所述物品的检测状态信息，包括：
基于所述中心点的横坐标，确定所述检测线函数的函数值；
基于所述中心点的纵坐标以及所述检测线函数的函数值，确定所述每帧图像下的所述物品的检测状态信息。
5.根据权利要求4所述的方法，其特征在于，所述基于所述中心点的纵坐标以及所述检测线函数的函数值，确定所述每帧图像下的所述物品的检测状态信息，包括：
在所述中心点的纵坐标与所述函数值满足第一预设关系的情况下，确定所述物品的检测状态信息为第一检测状态信息；
在所述中心点的纵坐标与所述函数值满足第二预设关系的情况下，确定所述物品的检测状态信息为第二检测状态信息。
6.根据权利要求4所述的方法，其特征在于，所述基于所述至少两图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态，包括：
确定所述相邻两帧图像的物品的检测状态信息之间的关系；
在所述相邻两帧图像的物品的检测状态信息之间的关系符合预设条件的情况下，确定所述物品对应的目标跟踪状态发生改变，其中，所述目标跟踪状态发生改变是指所述物品从第一状态变化至第二状态，或者所述物品从所述第二状态变化至所述第一状态；所述第一状态是指所述物品与所述存储柜位于所述检测线的同侧的状态，所述第二状态是指所述物品与所述存储柜分别位于所述检测线两侧的状态；
确定所述移动轨迹信息下的所述物品对应的目标跟踪状态发生改变的次数；
基于所述物品对应的目标跟踪状态发生改变的次数，确定所述物品对应的目标跟踪状态，其中，在所述次数为奇数的情况下，确定所述物品对应的目标跟踪状态指示所述物品被拿取，在所述次数为偶数的情况下，确定所述物品对应的目标跟踪状态指示所述物品被放回。
7.根据权利要求6所述的方法，其特征在于，所述检测结果还包括所述物品的种类信息；所述方法还包括：
确定所述物品对应的目标跟踪状态发生改变的目标时间点；
基于所述每帧图像下的物品的种类信息，确定目标时间段内的至少两帧图像下的不同种类信息所对应的图像数量，并将最多图像数量所对应的种类信息确定为所述物品的目标种类信息，其中，所述目标时间段是指以所述目标时间点为基准的预设范围内的时间段。
8.根据权利要求1-7任意一项所述的方法，其特征在于，所述方法还包括：
在所述物品对应的目标跟踪状态指示所述物品被拿取的情况下，生成所述物品的交易信息。
9.根据权利要求1-7任意一项所述的方法，其特征在于，所述存储柜设置有多个摄像装置，所述物品对应的目标跟踪状态对应其中一个目标摄像装置；所述方法还包括：
获取每个摄像装置下的所述物品对应的目标跟踪状态；
将所述每个摄像装置下的所述物品对应的目标跟踪状态进行融合，得到所述物品的最终跟踪状态；
在所述物品的最终跟踪状态指示所述物品被拿取的情况下，生成所述物品的交易信息。
10.一种物品状态跟踪装置，其特征在于，包括：
移动轨迹信息获取模块，用于获取物品的移动轨迹信息，所述移动轨迹信息包含所述物品在至少两帧图像中的检测结果；
检测状态信息确定模块，用于基于所述移动轨迹信息以及预设的检测线信息，确定每帧图像下的所述物品的检测状态信息，其中，所述检测线设置于所述存储柜的一侧，且与所述存储柜的距离在预设范围内，所述检测状态信息用于衡量所述物品相对所述检测线的位置变化状态；
目标跟踪状态确定模块，用于基于所述至少两帧图像中的每相邻两帧图像下的物品的检测状态信息，确定所述物品对应的目标跟踪状态，其中，所述目标跟踪状态用于指示所述物品被拿取，或者所述物品被放回。
11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任意一项所述的物品状态跟踪方法。
12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9任意一项所述的物品状态跟踪方法。
CN202210315977.7A 2022-03-28 2022-03-28 物品状态跟踪方法、装置、电子设备及存储介质 Withdrawn CN114648719A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210315977.7A CN114648719A (zh) 2022-03-28 2022-03-28 物品状态跟踪方法、装置、电子设备及存储介质
PCT/CN2022/125762 WO2023184932A1 (zh) 2022-03-28 2022-10-17 物品状态跟踪方法、装置、电子设备、存储介质及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210315977.7A CN114648719A (zh) 2022-03-28 2022-03-28 物品状态跟踪方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114648719A true CN114648719A (zh) 2022-06-21

Family

ID=81995570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210315977.7A Withdrawn CN114648719A (zh) 2022-03-28 2022-03-28 物品状态跟踪方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114648719A (zh)
WO (1) WO2023184932A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184932A1 (zh) * 2022-03-28 2023-10-05 上海商汤智能科技有限公司 物品状态跟踪方法、装置、电子设备、存储介质及计算机程序产品
CN117218678A (zh) * 2023-08-11 2023-12-12 浙江深象智能科技有限公司 行为检测方法、装置及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840504B (zh) * 2019-02-01 2022-11-25 腾讯科技（深圳）有限公司 物品取放行为识别方法、装置、存储介质及设备
CN114037940A (zh) * 2021-11-17 2022-02-11 上海商汤智能科技有限公司 目标商品的轨迹生成方法、装置、电子设备及存储介质
CN113901955A (zh) * 2021-11-17 2022-01-07 上海商汤智能科技有限公司 一种自助交易方法、装置、电子设备及储存介质
CN114648719A (zh) * 2022-03-28 2022-06-21 上海商汤科技开发有限公司 物品状态跟踪方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184932A1 (zh) * 2022-03-28 2023-10-05 上海商汤智能科技有限公司 物品状态跟踪方法、装置、电子设备、存储介质及计算机程序产品
CN117218678A (zh) * 2023-08-11 2023-12-12 浙江深象智能科技有限公司 行为检测方法、装置及电子设备

Also Published As

Publication number Publication date
WO2023184932A1 (zh) 2023-10-05

Similar Documents

Publication Publication Date Title
CN108629791B (zh) 行人跟踪方法和装置及跨摄像头行人跟踪方法和装置
Peng et al. Robust multiple cameras pedestrian detection with multi-view Bayesian network
TWI587205B (zh) Method and system of three - dimensional interaction based on identification code
CN114648719A (zh) 物品状态跟踪方法、装置、电子设备及存储介质
US11636610B2 (en) Determining multiple camera positions from multiple videos
US8805123B2 (en) System and method for video recognition based on visual image matching
CN109727275A (zh) 目标检测方法、装置、系统和计算机可读存储介质
Elhayek et al. Feature-based multi-video synchronization with subframe accuracy
CN107479715A (zh) 利用手势控制实现虚拟现实交互的方法和装置
Merino‐Gracia et al. Real‐time text tracking in natural scenes
US9727890B2 (en) Systems and methods for registering advertisement viewing
Xu et al. Fast and accurate object detection using image Cropping/Resizing in multi-view 4K sports videos
Zhang et al. Single-Frame-Based Deep View Synchronization for Unsynchronized Multicamera Surveillance
CN113901955A (zh) 一种自助交易方法、装置、电子设备及储存介质
Ferreira et al. A generic framework for optimal 2D/3D key-frame extraction driven by aggregated saliency maps
Mizher et al. Action key frames extraction using l1-norm and accumulative optical flow for compact video shot summarisation
Lee et al. Integrating wavelet transformation with Markov random field analysis for the depth estimation of light‐field images
CN114037940A (zh) 目标商品的轨迹生成方法、装置、电子设备及存储介质
CN110177278A (zh) 一种帧间预测方法、视频编码方法及装置
Leimkühler et al. Perceptual real-time 2D-to-3D conversion using cue fusion
Wang et al. FreeMan: Towards Benchmarking 3D Human Pose Estimation in the Wild
Weng et al. Visual knowledge transfer among multiple cameras for people counting with occlusion handling
Dai et al. OAMatcher: An overlapping areas-based network with label credibility for robust and accurate feature matching
CN114742859A (zh) 物品轨迹生成方法、装置、电子设备及存储介质
WO2024037660A1 (zh) 确定异常分拣区域的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220621

WW01 Invention patent application withdrawn after publication