CN114037940A - 目标商品的轨迹生成方法、装置、电子设备及存储介质 - Google Patents

目标商品的轨迹生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114037940A
CN114037940A CN202111363394.3A CN202111363394A CN114037940A CN 114037940 A CN114037940 A CN 114037940A CN 202111363394 A CN202111363394 A CN 202111363394A CN 114037940 A CN114037940 A CN 114037940A
Authority
CN
China
Prior art keywords
target
target commodity
video
detection
commodity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111363394.3A
Other languages
English (en)
Inventor
罗棕太
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202111363394.3A priority Critical patent/CN114037940A/zh
Publication of CN114037940A publication Critical patent/CN114037940A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种目标商品的轨迹生成方法、装置、电子设备及存储介质,该方法包括:获取分别通过不同摄像装置采集的用户在自助售卖装置拿取商品的视频;对每个视频中的图像进行目标检测,得到目标商品的检测结果;基于所述目标商品的检测结果,确定所述目标商品的移动轨迹;将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹。本公开实施例,通过将多个摄像装置采集的商品轨迹进行融合,可以提高得到的目标商品的移动轨迹的完整性,进而有利于提升用户的交易信息的确定精度。

Description

目标商品的轨迹生成方法、装置、电子设备及存储介质
技术领域
本公开涉及智能零售技术领域,具体而言,涉及一种目标商品的轨迹生成方法、装置、电子设备以及计算机可读存储介质。
背景技术
随着互联网经济的发展,自助消费因其操作便利而逐渐成为被大众接受的消费趋势,因此,一些自助售卖机(如智能冰箱或者智能货架)应运而生。
现有的自助售卖机,通常采用射频识别(Radio Frequency Identification,RFID)技术或者依赖于静态拍照来识别商品信息。然而,射频识别技术需要使用RFID标签,存在成本高和效率低的问题;静态拍照的识别方式仅能识别交易结果,无法反映用户的购买轨迹,若拍摄装置被遮挡或者污染,则会降低识别交易结果的准确度。
发明内容
本公开实施例提供了一种目标商品的轨迹生成方法,包括:
获取分别通过不同摄像装置采集的用户在自助售卖装置拿取商品的视频;
对每个视频中的图像进行目标检测,得到目标商品的检测结果;
基于所述目标商品的检测结果,确定所述目标商品的移动轨迹;
将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹。
本公开实施例中,通过多个摄像装置来采集用户在自助售卖装置拿取商品的视频,并将每个视频对应的目标商品的移动轨迹进行融合,得到目标商品的完整移动轨迹,相较于现有技术,可以在一个摄像头被遮挡或者具有视野盲区的情况下,通过其它摄像头拍摄到的移动轨迹依然可以得到目标商品的完整轨迹,有利于提高生成交易记录的准确度,进而提高用户的自助购物的购物体验。
一种可选的实施方式中,所述将所述每个视频对应的目标商品的移动轨迹进行融合,包括:
获取每个摄像装置的单应性矩阵;
基于所述每个摄像装置的单应性矩阵,将所述每个视频对应的目标商品的移动轨迹进行融合。
本公开实施例中,基于每个摄像装置的单应性矩阵,将每个视频对应的目标商品的移动轨迹进行融合,可以提高轨迹融合的准确度,进而提高生成交易记录的准确度。
一种可选的实施方式中,所述基于所述每个摄像装置的单应性矩阵,将所述每个视频对应的目标商品的移动轨迹进行融合,包括:
基于所述每个摄像装置的单应性矩阵,确定各个摄像装置下的检测框在同一坐标系下的位置,所述各个摄像装置下的检测框指示所述目标商品在所述各个摄像装置下的移动轨迹;
将所述各个摄像装置下的检测框在所述同一坐标系下进行相似度匹配,得到匹配结果;
基于所述匹配结果,将所述每个视频对应的目标商品的移动轨迹进行融合。
本公开实施例中,基于所述每个摄像装置的单应性矩阵,将所述各个摄像装置下的检测框在所述同一坐标系下进行相似度匹配,有利于提高匹配的准确性,进而提高生成所述移动轨迹的准确性。
一种可选的实施方式中,所述基于所述匹配结果,将所述每个视频对应的目标商品的移动轨迹进行融合,包括:
基于所述匹配结果,确定所述同一坐标系下的指示同一目标商品的目标检测框;
基于不同的目标检测框之间的距离,确定所述同一目标商品的完整移动轨迹。
本公开实施例中,基于不同摄像装置下的检测框在同一坐标系下的距离,将所述不同检测框的移动轨迹进行融合,可以提高融合的准确度。
一种可选的实施方式中,所述将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹,包括:
基于所述每个视频对应的目标商品的移动轨迹,确定所述目标商品的位移变化状态;
在所述位移变化状态符合预设变化状态的情况下,将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹。
本公开实施例中,从目标商品的位移变化状态这一角度,将每个摄像装置下的目标商品进行融合,可以避免融合的过程中出现遗漏的情况,进而可以提高融合的精度。
一种可选的实施方式中,所述基于所述每个视频对应的目标商品的移动轨迹,确定所述目标商品的位移变化状态,包括:
确定所述每个视频中每帧图像的检测线的位置,所述检测线位于所述自助售卖装置的一侧,且与所述自助售卖装置的距离在预设范围内;
基于所述目标商品的移动轨迹以及所述检测线,确定所述目标商品的位移变化状态。
本公开实施例中,通过检测线确定不同摄像装置下的目标商品的位移变化状态,避免出现漏检的情况,有利于提高确定位移变化状态的精度,进而提高融合的精度。
一种可选的实施方式中,所述预设变化状态是指所述目标商品从第一状态变化至第二状态,或者所述目标商品从所述第二状态变化至所述第一状态;所述第一状态是指所述目标商品与所述自助售卖装置位于所述检测线的同侧的状态,所述第二状态是指所述目标商品与所述自助售卖装置分别位于所述检测线两侧的状态。
一种可选的实施方式中,所述在所述位移变化状态符合预设变化状态的情况下,将所述每个视频对应的目标商品的移动轨迹进行融合,包括:
在所述位移变化状态符合预设变化状态的情况下,确定所述位移变化状态发生的目标时间点;
将所述每个视频对应的目标时间段内的目标商品的移动轨迹进行融合,所述目标时间段是指以所述目标时间点为基准的预设范围内的时间段。
本公开实施例中,可以根据实际需求确定目标时间点,并对以目标时间点为基准的预设范围内的时间段内的目标商品的移动轨迹进行融合,可以提高该时间段内的目标商品的移动轨迹的完整性。
一种可选的实施方式中,所述方法还包括:
基于所述目标商品的完整移动轨迹,生成所述用户的交易信息。
本公开实施例中,基于目标商品的完整移动轨迹生成交易信息,可以确保交易信息的准确度,并可以提升用户的自助购物的购物体验。
本公开实施例还提供一种目标商品的轨迹生成装置,所述装置包括:
获取模块,用于获取分别通过不同摄像装置采集的用户在自助售卖装置拿取商品的视频;
检测模块,用于对每个视频中的图像进行目标检测,得到目标商品的检测结果;
确定模块,用于基于所述目标商品的检测结果,确定所述目标商品的移动轨迹;
融合模块,用于将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹。
一种可选的实施方式中,所述融合模块具体用于:
获取每个摄像装置的单应性矩阵;
基于所述每个摄像装置的单应性矩阵,将所述每个视频对应的目标商品的移动轨迹进行融合。
一种可选的实施方式中,所述融合模块具体用于:
基于所述每个摄像装置的单应性矩阵,确定各个摄像装置下的检测框在同一坐标系下的位置,所述各个摄像装置下的检测框指示所述目标商品在所述各个摄像装置下的移动轨迹;
将所述各个摄像装置下的检测框在所述同一坐标系下进行相似度匹配,得到匹配结果;
基于所述匹配结果,将所述每个视频对应的目标商品的移动轨迹进行融合。
一种可选的实施方式中,所述融合模块具体用于:
基于所述匹配结果,确定所述同一坐标系下的指示同一目标商品的目标检测框;
基于不同的目标检测框之间的距离,确定所述同一目标商品的完整移动轨迹。
一种可选的实施方式中,所述融合模块具体用于:
基于所述每个视频对应的目标商品的移动轨迹,确定所述目标商品的位移变化状态;
在所述位移变化状态符合预设变化状态的情况下,将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹。
一种可选的实施方式中,所述融合模块具体用于:
确定所述每个视频中每帧图像的检测线的位置,所述检测线位于所述自助售卖装置的一侧,且与所述自助售卖装置的距离在预设范围内;
基于所述目标商品的移动轨迹以及所述检测线,确定所述目标商品的位移变化状态。
一种可选的实施方式中,所述预设变化状态是指所述目标商品从第一状态变化至第二状态,或者所述目标商品从所述第二状态变化至所述第一状态;所述第一状态是指所述目标商品与所述自助售卖装置位于所述检测线的同侧的状态,所述第二状态是指所述目标商品与所述自助售卖装置分别位于所述检测线两侧的状态。
一种可选的实施方式中,所述融合模块具体用于:
在所述位移变化状态符合预设变化状态的情况下,确定所述位移变化状态发生的目标时间点;
将所述每个视频对应的目标时间段内的目标商品的移动轨迹进行融合,所述目标时间段是指以所述目标时间点为基准的预设范围内的时间段。
一种可选的实施方式中,所述装置还包括生成模块,所述生成模块用于:
基于所述目标商品的完整移动轨迹,生成所述用户的交易信息。
本公开实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述目标商品的轨迹生成方法。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述目标商品的轨迹生成方法。
关于上述目标商品的轨迹生成装置、电子设备、及计算机可读存储介质的效果描述参见上述目标商品的轨迹生成方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本公开实施例所提供的一种现有技术中的自助售卖装置的架构示意图;
图2为本公开实施例所提供的一种目标商品的轨迹生成方法的流程图;
图3为本公开实施例所提供的一种自助售卖装置的结构示意图;
图4为本公开实施例所提供的一种目标商品的移动轨迹的融合的方法流程图;
图5为本公开实施例所提供的一种基于相似度进行轨迹融合的方法流程图;
图6为本公开实施例所提供的一种基于检测框距离确定目标商品的移动轨迹的方法流程图;
图7为本公开实施例所提供的一种不同摄像装置下的检测框的示意图;
图8为本公开实施例所提供的另一种目标商品的移动轨迹的融合的方法流程图;
图9为本公开实施例所提供的一种目标商品的位移状态变化的示意图;
图10为本公开实施例所提供的一种基于目标时间点进行轨迹融合的方法流程图;
图11为本公开实施例所提供的另一种目标商品的轨迹生成方法的流程图;
图12为本公开实施例提供的一种目标商品的轨迹生成装置的结构示意图;
图13为本公开实施例提供的另一种目标商品的轨迹生成装置的结构示意图;
图14为本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
随着互联网经济的发展,自助消费因其操作便利而逐渐成为被大众接受的消费趋势,因此,一些自助售卖机(如智能冰箱或者智能货架)应运而生。
请参见图1,图1为本公开实施例所提供的一种自助售卖装置的架构示意图。如图1中所示,自助售卖装置100中包括多层置物板10以及图像采集装置20,每层置物板10上摆放商品30,例如,饮料(例如冰红茶)、速食产品(例如面包或者泡面)以及日用品(例如餐巾纸)等,每个商品30附带射频识别RFID标签31,自助售卖装置100可以通过射频识别技术来识别RFID标签31,以对商品30进行识别。图像采集装置20为具有人脸识别功能的装置,用于刷脸支付或者扫码支付。然而,上述的自助售卖装置100,由于需要使用RFID标签,存在成本高和效率低的问题。
此外,还有一些自助售卖装置,依赖于静态拍照来识别商品信息,也即,通过比对用户购买前后的自助售卖装置的照片,确定用户所购买的商品信息。然而,该静态拍照的识别方式仅能识别交易结果,无法反映用户的购买轨迹,若拍摄装置被遮挡或者污染,则会降低识别交易结果的准确度。此外,由于静态拍照需要能拍清楚每一层货架上的商品信息,进而对自助售卖机的容积率存在一定的限制。
基于上述研究,本公开实施例提供了一种目标商品的轨迹生成方法,包括:获取分别通过不同摄像装置采集的用户在自助售卖装置拿取商品的视频;对每个视频中的图像进行目标检测,得到目标商品的检测结果;基于所述目标商品的检测结果,确定所述目标商品的移动轨迹;将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹。
本公开实施例中,通过多个摄像装置来采集用户在自助售卖装置拿取商品的视频,并将每个视频对应的目标商品的移动轨迹进行融合,得到目标商品的完整移动轨迹,相较于现有技术,可以在一个摄像头被遮挡或者具有视野盲区的情况下,通过其它摄像头拍摄到的移动轨迹依然可以得到目标商品的完整轨迹,有利于提高生成交易记录的准确度,进而提高用户的自助购物的购物体验。
下面结合附图对本公开实施例中的自助售卖装置进行详细介绍。
请参阅图2,图2为本公开实施例所提供的一种目标商品的轨迹生成方法的流程图,如图2所示,本公开实施例提供的目标商品的轨迹生成方法,包括以下S101~S104:
S101,获取分别通过不同摄像装置采集的用户在自助售卖装置拿取商品的视频。
示例性地,请参见图3,图3为本公开实施例所提供的一种自助售卖装置的结构示意图。如图3中所示,自助售卖装置200包括两个摄像装置40以及多个层叠且间隔设置置物板50。置物板50用于承载多种商品60(例如,哇哈哈、500ml冰红茶、1.5L冰红茶以及泡面等),当用户在自助售卖装置200购买商品的过程中,两个摄像装置40会分别从不同的角度采集用户拿取商品60的视频。因此,通过上述摄像装置40可以获取到用户从自助售卖装置200拿取商品的视频。
需要说明的是,摄像装置40的数量可以根据实际需求进行设置,且多个摄像装置之间需要具有较多的共同拍摄视野,以从不同角度拍摄用户拿取商品的视频。具体的,可以根据摄像装置的拍摄视角、拍摄范围,或者根据成本等因素进行设置,比如,摄像装置40还可以是其他数量,三个或者五个等,在此不做限定。本公开实施例中,摄像装置的数量设置为两个。
S102,对每个视频中的图像进行目标检测,得到目标商品的检测结果。
其中,所述图像可以是从每个视频中逐帧提取出的,也可以是间隔抽取或者选取出的,在此不做限定。
示例性地,在一幅图像中,区别于周围环境的闭合区域往往被称为目标。给出目标在图像中的位置的过程称为检测。例如,可以利用已经训练好的目标检测模型(或者目标检测网络),检测在当前帧图像里的目标商品。
所述检测结果包括所述目标商品的检测框信息、所述目标商品的种类信息和所述目标商品的检测结果的置信度中的至少一种。
S103,基于所述目标商品的检测结果,确定所述目标商品的移动轨迹。
可以理解,所述目标商品的移动轨迹即为用户在购买目标商品的过程中,由于目标商品的移动所形成的轨迹。
在一些实施方式中,可以将每个摄像装置下的所述目标商品的检测结果进行相似度匹配,得到所述目标商品在所述每个摄像装置下的移动轨迹。
可以理解,在确定同一摄像装置下的目标商品的移动轨迹时,可以根据同一摄像装置下的目标商品的检测结果进行相似度匹配,具体的,可以根据检测结果中的检测框和识别结果的种类信息分别进行相似度匹配,例如,根据检测框的大小和以及种类信息的一致性进行匹配,进而得到同一目标商品在同一摄像装置下的移动轨迹。
S104,将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹。
示例性地,请再次参见图3,在图3中的其中一个摄像装置40被遮挡或者被污染时,不能采集到清晰的目标商品的完整轨迹,因此,本公开实施例中,将每个摄像装置40的每个视频对应的目标商品的移动轨迹进行融合,以避免出现轨迹不完整的情况发生,进而影响交易。
在一些实施方式中,针对上述步骤S104,在将所述每个视频对应的目标商品的移动轨迹进行融合时,如图4所示,可以包括以下S1041~S1042:
S1041,获取每个摄像装置的单应性矩阵;
其中,所述单应性矩阵(Homography matrix)用来描述物体在世界坐标系和像素坐标系之间的位置映射关系。
可以理解,由于不同摄像头拍摄的视频是从不同角度进行拍摄的,因此首先需要获取每个摄像装置的单应性矩阵。
S1042,基于所述每个摄像装置的单应性矩阵,将所述每个视频对应的目标商品的移动轨迹进行融合。
为了提高生成目标商品的移动轨迹的准确度,可以根据每个摄像装置的单应性矩阵,将不同摄像装置下的不同角度拍摄的图像都转换到同一坐标系下进行计算,进而将所述不同摄像装置下的每个视频对应的目标商品的移动轨迹进行融合。
在一些实施方式中,针对上述步骤S1042,在基于所述每个摄像装置的单应性矩阵,将所述每个视频对应的目标商品的移动轨迹进行融合时,如图5所示,可以包括以下S10421~S10423:
S10421,基于所述每个摄像装置的单应性矩阵,确定各个摄像装置下的检测框在同一坐标系下的位置,所述各个摄像装置下的检测框指示所述目标商品在所述各个摄像装置下的移动轨迹。
其中,同一坐标系可以是世界坐标系,也可以是多个摄像装置中的其中一个摄像装置下的坐标系,在此不做限定。
可以理解,在进行目标检测的过程中,检测框会框在目标商品的外部,因此,在确定目标商品的位置时,可以通过确定检测框的位置,进而确定目标商品的位置。
由于每个摄像装置下的坐标系均不相同,因此,若需要将不同摄像装置下的检测框进行融合,首先需要根据每个摄像装置的单应性矩阵,将各个摄像装置下的检测框转换到同一坐标系下,并在同一坐标系下确定各个装置下的检测框的位置。
S10422,将所述各个摄像装置下的检测框在所述同一坐标系下进行相似度匹配,得到匹配结果。
可以理解,由于各个摄像装置之间并不能确定哪些检测框是属于目标商品的检测框,因此,需要将各个摄像装置下的所有检测框进行相似度匹配,得到所有检测框之间的匹配结果。
S10423,基于所述匹配结果,将所述每个视频对应的目标商品的移动轨迹进行融合。
示例性地,可以根据匹配结果中的检测框之间的相似度值的大小,确定各个检测框之间的匹配顺序,以将所述每个视频对应的目标商品的移动轨迹进行融合。例如,可以将指示同一目标商品的相似度大于预设阈值的检测框进行融合,进而得到该同一目标商品在多个摄像装置下的融合轨迹。
在一些实施方式中,针对上述步骤S10423,在基于所述匹配结果,将所述每个视频对应的目标商品的移动轨迹进行融合时,如图6所示,可以包括以下S104231~S104232:
S104231,基于所述匹配结果,确定所述同一坐标系下的指示同一目标商品的目标检测框。
S104232,基于不同的目标检测框之间的距离,确定所述同一目标商品的完整移动轨迹。
为了进一步确定不同摄像装置下的检测框在同一坐标系下的匹配顺序,在得到检测框在同一坐标系下的位置后,还需要确定不同检测框之间的距离,进而根据目标检测框之间的距离,确定同一目标商品的完整移动轨迹。
示例性地,请参见图7,图7为本公开实施例所提供的一种不同摄像装置下的检测框的示意图,如图7中所示,在同一时刻,分别将摄像装置A下的图像帧61中得到的检测框62、在摄像装置B下的图像帧63中得到的检测框64以及在摄像装置C下的图像帧65中得到的检测框66转换至同一坐标系下,以得到检测框62、64和66的位置,并以检测框62为基准,根据各个检测框的高度信息和宽度信息,确定在同一坐标系下的检测框62的中心点分别与检测框64的中心点的距离m和与检测框66的中心点的距离n,进而可以确定不同检测框之间的距离,进而确定不同摄像装置下的检测框在同一坐标系下的匹配顺序。
可以理解,在确定不同检测框之间的距离之后,也即,确定不同摄像装置下的检测框在同一坐标系下的匹配顺序之后,便可以将所有不同的检测框的移动轨迹进行融合。
在一些实施方式中,可以结合不同摄像装置下的多帧图像的检测结果以及不同检测框之间的距离,将所述不同摄像装置下的每个视频对应的目标商品的移动轨迹进行融合。
具体的,可以根据检测结果中的检测框的相似度和识别种类的相似度,以及不同检测框之间的距离确定二分图权重,并基于匈牙利算法,确定上述确定所有检测框在同一坐标系下的最优位置匹配顺序,进而得到目标商品的完整移动轨迹。
在另一些实施方式中,针对上述步骤S104,在将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹时,如图8所示,可以包括以下S1043~S1044:
S1043,基于所述每个视频对应的目标商品的移动轨迹,确定所述目标商品的位移变化状态。
具体的,在一些实施方式中,在确定目标商品的位移变化状态时,可以首先确定所述每个视频中每帧图像的检测线的位置,其中,所述检测线位于所述自助售卖装置的一侧,且与所述自助售卖装置的距离在预设范围内。然后,可以基于所述目标商品的移动轨迹以及所述检测线,确定所述目标商品的位移变化状态,其中,对于不同图像帧,其检测线均为同一检测线,若检测到目标商品跨过检测线,即可确定目标商品离开自助售卖装置。
示例性地,在用户拿取目标商品的过程中,目标商品的位置发生变化,例如,可以是用户在拿取目标商品后放回,也可以是用户在拿取目标商品后无放回,上述两种情况均属于目标商品的位移变化状态。
S1044,在所述位移变化状态符合预设变化状态的情况下,将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹。
其中,所述预设变化状态是指所述目标商品从第一状态变化至第二状态,或者所述目标商品从所述第二状态变化至所述第一状态;所述第一状态是指所述目标商品与所述自助售卖装置位于所述检测线的同侧的状态,所述第二状态是指所述目标商品与所述自助售卖装置分别位于所述检测线两侧的状态。
示例性地,请参见图9,图9为本公开实施例所提供的一种目标商品的位移状态变化的示意图,如图9中所示,在用户购买目标商品60的过程中,目标商品60从位置a移动至位置b,处于位置b的目标商品60与自助售卖装置位于检测线300的同侧,即此时目标商品60处于第一状态;然后,目标商品继续移动至c位置,处于c位置的目标商品60与自助售卖装置分别位于检测线300的两侧,也即此时的目标商品60处于第二状态。若其中一个摄像装置40拍摄到用户将目标商品60从a位置移动到c位置,也即目标商品60的位移变化状态满足预设变化状态;而另一个摄像装置40拍摄到用户将目标商品60从c位置放回至a位置,也即目标商品60的位移变化状态仍满足预设变化状态,如此,将两个摄像装置下的目标商品60的移动轨迹进行融合,即可确定完整的移动轨迹,进而可以确定该用户并未购买目标商品60。
在一些实施方式中,针对上述步骤S1044,在所述位移变化状态符合预设变化状态的情况下,将所述每个视频对应的目标商品的移动轨迹进行融合时,如图10所示,可以包括以下S10441~S10442:
S10441,在所述位移变化状态符合预设变化状态的情况下,确定所述位移变化状态发生的目标时间点。
可以理解,根据上述内容可知,位移变化状态符合预设变化状态,即为目标商品发生跨线动作,由于每帧图像均对应一个时间戳,因此,当目标商品发生跨线动作时,可以确定发生跨线动作的时间点,也即,目标时间点。
S10442,将所述每个视频对应的目标时间段内的目标商品的移动轨迹进行融合,所述目标时间段是指以所述目标时间点为基准的预设范围内的时间段。
其中,所述预设范围内的时间段可以根据实际需求进行设置,例如10秒、30秒或者1分钟等,在此不做限定。
具体的,在确定目标时间点后,即可确定目标时间段,根据每个图像的时间戳,即可确定目标时间段内不同摄像装置下的目标图像,进而将目标图像所指示的轨迹进行融合,得到目标商品在目标时间段内的融合轨迹。具体地,在融合过程中需要删除不同摄像装置下重复的移动轨迹,保留不同摄像装置下的未重复的移动轨迹,进而得到目标时间段内的目标商品的融合轨迹。
可以理解,由于不同的跨线动作可能发生于不同的时间,因此,针对同一目标商品,可能在多个目标时间段存在跨线动作,因此,在得到目标商品在每个目标时间段的融合轨迹之后,还需要将多个不同目标时间段的融合轨迹按照时间轴进行拼接,进而得到目标商品的完整轨迹。
在一些实施方式中,请参阅图11,图11为本公开实施例所提供的另一种目标商品的轨迹生成方法的流程图,与图2中的方法不同的是,所述目标商品的轨迹生成方法,还包括以下S105:
S105,基于所述目标商品的完整移动轨迹,生成所述用户的交易信息。
示例性地,请再次参阅图9,若根据目标商品60的完整轨迹,确定目标商品60最终与自助售卖装置200分别位于检测线300的两侧,则确定用户最终拿取了目标商品60,进而可以将该目标商品60添加至用户的购买记录中,并生成用户的交易信息;而若根据目标商品60的完完整轨迹,确定目标商品60虽然发生了移动,但最终与自助售卖装置200位于检测线300的同侧,则确定用户最终没有购买该目标商品60,则不会将目标商品60添加至用户的购买记录中,因此,可以提升生成的用户的交易信息的准确度,进而提升用户的自助交易体验。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与目标商品的轨迹生成方法对应的目标商品的轨迹生成装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述目标商品的轨迹生成方法相似,因此装置的实施可以参阅方法的实施,重复之处不再赘述。
请参阅图12,图12为本公开实施例提供的一种目标商品的轨迹生成装置的结构示意图,所述目标商品的轨迹生成装置1000包括:获取模块1010、检测模块1020、确定模块1030以及融合模块1040;其中,
获取模块1010,用于获取分别通过不同摄像装置采集的用户在自助售卖装置拿取商品的视频;
检测模块1020,用于对每个视频中的图像进行目标检测,得到目标商品的检测结果;
确定模块1030,用于基于所述目标商品的检测结果,确定所述目标商品的移动轨迹;
融合模块1040,用于将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹。
一种可选的实施方式中,所述融合模块1040具体用于:
获取每个摄像装置的单应性矩阵;
基于所述每个摄像装置的单应性矩阵,将所述每个视频对应的目标商品的移动轨迹进行融合。
一种可选的实施方式中,所述确定模块1030具体用于:
将每个摄像装置下的所述目标商品的检测结果进行相似度匹配,得到所述目标商品在所述每个摄像装置下的移动轨迹。
一种可选的实施方式中,所述检测结果包括检测框以及识别结果;所述相似度匹配包括所述检测框的相似度匹配,和/或所述识别结果的相似度匹配;所述融合模块1040具体用于:
基于所述每个摄像装置的单应性矩阵,确定不同摄像装置下的检测框在同一坐标系下的位置;
基于所述不同摄像装置下的检测框在同一坐标系下的位置,确定不同检测框之间的距离;
基于所述不同检测框之间的距离,将所述不同检测框的移动轨迹进行融合,得到所述目标商品的完整移动轨迹。
一种可选的实施方式中,所述融合模块1040具体用于:
基于所述每个视频对应的目标商品的移动轨迹,确定所述目标商品的位移变化状态;
在所述位移变化状态符合预设变化状态的情况下,将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹。
一种可选的实施方式中,所述融合模块1040具体用于:
确定所述每个视频中每帧图像的检测线的位置,所述检测线位于所述自助售卖装置的一侧,且与所述自助售卖装置的距离在预设范围内;
基于所述目标商品的移动轨迹以及所述检测线,确定所述目标商品的位移变化状态。
一种可选的实施方式中,所述预设变化状态是指所述目标商品从第一状态变化至第二状态,或者所述目标商品从所述第二状态变化至所述第一状态;所述第一状态是指所述目标商品与所述自助售卖装置位于所述检测线的同侧的状态,所述第二状态是指所述目标商品与所述自助售卖装置分别位于所述检测线两侧的状态。
一种可选的实施方式中,所述融合模块1040具体用于:
在所述位移变化状态符合预设变化状态的情况下,确定所述位移变化状态发生的目标时间点;
将所述每个视频对应的目标时间段内的目标商品的移动轨迹进行融合,所述目标时间段是指以所述目标时间点为基准的预设范围内的时间段。
请参阅图13,图13为本公开实施例提供的另一种目标商品的轨迹生成装置的结构示意图,所述目标商品的轨迹生成装置1000还包括:生成模块1050;其中,
生成模块1050,用于基于所述目标商品的完整移动轨迹,生成所述用户的交易信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
基于同一技术构思,本公开实施例还提供了一种电子设备。参见图14所示,为本公开实施例提供的电子设备4000的结构示意图,包括处理器4001、存储器4002、和总线4003。其中,存储器4002用于存储执行指令,包括内存40021和外部存储器40022;这里的内存40021也称内存储器,用于暂时存放处理器4001中的运算数据,以及与硬盘等外部存储器40022交换的数据,处理器4001通过内存40021与外部存储器40022进行数据交换。
本申请实施例中,存储器4002具体用于存储执行本申请方案的应用程序代码,并由处理器4001来控制执行。也即,当电子设备4000运行时,处理器4001与存储器4002之间通过总线4003通信,使得处理器4001执行存储器4002中存储的应用程序代码,进而执行前述任一实施例中的方法。
处理器4001可能是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,存储器4002可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备800的具体限定。在本申请另一些实施例中,电子设备800可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的目标商品的轨迹生成方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的目标商品的轨迹生成方法的步骤,具体可参阅上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和终端的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、终端和方法,可以通过其它的方式实现。以上所描述的终端实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种目标商品的轨迹生成方法,其特征在于,包括:
获取分别通过不同摄像装置采集的用户在自助售卖装置拿取商品的视频;
对每个视频中的图像进行目标检测,得到目标商品的检测结果;
基于所述目标商品的检测结果,确定所述目标商品的移动轨迹;
将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹。
2.根据权利要求1所述的方法,其特征在于,所述将所述每个视频对应的目标商品的移动轨迹进行融合,包括:
获取每个摄像装置的单应性矩阵;
基于所述每个摄像装置的单应性矩阵,将所述每个视频对应的目标商品的移动轨迹进行融合。
3.根据权利要求2所述的方法,其特征在于,所述基于所述每个摄像装置的单应性矩阵,将所述每个视频对应的目标商品的移动轨迹进行融合,包括:
基于所述每个摄像装置的单应性矩阵,确定各个摄像装置下的检测框在同一坐标系下的位置,所述各个摄像装置下的检测框指示所述目标商品在所述各个摄像装置下的移动轨迹;
将所述各个摄像装置下的检测框在所述同一坐标系下进行相似度匹配,得到匹配结果;
基于所述匹配结果,将所述每个视频对应的目标商品的移动轨迹进行融合。
4.根据权利要求3所述的方法,其特征在于,所述基于所述匹配结果,将所述每个视频对应的目标商品的移动轨迹进行融合,包括:
基于所述匹配结果,确定所述同一坐标系下的指示同一目标商品的目标检测框;
基于不同的目标检测框之间的距离,确定所述同一目标商品的完整移动轨迹。
5.根据权利要求1至4任意一项所述的方法,其特征在于,所述将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹,包括:
基于所述每个视频对应的目标商品的移动轨迹,确定所述目标商品的位移变化状态;
在所述位移变化状态符合预设变化状态的情况下,将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹。
6.根据权利要求5所述的方法,其特征在于,所述基于所述每个视频对应的目标商品的移动轨迹,确定所述目标商品的位移变化状态,包括:
确定所述每个视频中每帧图像的检测线的位置,所述检测线位于所述自助售卖装置的一侧,且与所述自助售卖装置的距离在预设范围内;
基于所述目标商品的移动轨迹以及所述检测线,确定所述目标商品的位移变化状态。
7.根据权利要求5或6所述的方法,其特征在于,所述预设变化状态是指所述目标商品从第一状态变化至第二状态,或者所述目标商品从所述第二状态变化至所述第一状态;所述第一状态是指所述目标商品与所述自助售卖装置位于所述检测线的同侧的状态,所述第二状态是指所述目标商品与所述自助售卖装置分别位于所述检测线两侧的状态。
8.根据权利要求5至7任意一项所述的方法,其特征在于,所述在所述位移变化状态符合预设变化状态的情况下,将所述每个视频对应的目标商品的移动轨迹进行融合,包括:
在所述位移变化状态符合预设变化状态的情况下,确定所述位移变化状态发生的目标时间点;
将所述每个视频对应的目标时间段内的目标商品的移动轨迹进行融合,所述目标时间段是指以所述目标时间点为基准的预设范围内的时间段。
9.根据权利要求1至8任意一项所述的方法,其特征在于,所述方法还包括:
基于所述目标商品的完整移动轨迹,生成所述用户的交易信息。
10.一种目标商品的轨迹生成装置,其特征在于,包括:
获取模块,用于获取分别通过不同摄像装置采集的用户在自助售卖装置拿取商品的视频;
检测模块,用于对每个视频中的图像进行目标检测,得到目标商品的检测结果;
确定模块,用于基于所述目标商品的检测结果,确定所述目标商品的移动轨迹;
融合模块,用于将所述每个视频对应的目标商品的移动轨迹进行融合,得到所述目标商品的完整移动轨迹。
11.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至9任意一项所述的目标商品的轨迹生成方法。
12.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至9任意一项所述的目标商品的轨迹生成方法。
CN202111363394.3A 2021-11-17 2021-11-17 目标商品的轨迹生成方法、装置、电子设备及存储介质 Withdrawn CN114037940A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111363394.3A CN114037940A (zh) 2021-11-17 2021-11-17 目标商品的轨迹生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111363394.3A CN114037940A (zh) 2021-11-17 2021-11-17 目标商品的轨迹生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114037940A true CN114037940A (zh) 2022-02-11

Family

ID=80144670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111363394.3A Withdrawn CN114037940A (zh) 2021-11-17 2021-11-17 目标商品的轨迹生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114037940A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184932A1 (zh) * 2022-03-28 2023-10-05 上海商汤智能科技有限公司 物品状态跟踪方法、装置、电子设备、存储介质及计算机程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184932A1 (zh) * 2022-03-28 2023-10-05 上海商汤智能科技有限公司 物品状态跟踪方法、装置、电子设备、存储介质及计算机程序产品

Similar Documents

Publication Publication Date Title
CN108416902B (zh) 基于差异识别的实时物体识别方法和装置
EP3779776B1 (en) Abnormality detection method, apparatus and device in unmanned settlement scenario
CN111061890B (zh) 一种标注信息验证的方法、类别确定的方法及装置
US8107676B2 (en) Line length estimation
US11715241B2 (en) Privacy protection in vision systems
US9947111B2 (en) Method of multiple camera positioning utilizing camera ordering
CN106022784A (zh) 物品替代欺诈检测
JP2023015989A (ja) 物品識別および追跡システム
US11200406B2 (en) Customer flow statistical method, apparatus and device
US9791264B2 (en) Method of fast and robust camera location ordering
CN112464697A (zh) 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN106203225B (zh) 基于深度的图像元素删除
JP6500374B2 (ja) 画像処理装置及び画像処理プログラム
Nousias et al. Large-scale, metric structure from motion for unordered light fields
CN114648719A (zh) 物品状态跟踪方法、装置、电子设备及存储介质
CN115249356B (zh) 识别方法、装置、设备及存储介质
CN113901955A (zh) 一种自助交易方法、装置、电子设备及储存介质
Jung et al. Object Detection and Tracking‐Based Camera Calibration for Normalized Human Height Estimation
CN111340569A (zh) 基于跨境追踪的门店人流分析方法、装置、系统、终端和介质
CN114724025A (zh) 异物检测方法、装置、电子设备及存储介质
US20150199571A1 (en) Pos terminal apparatus and customer information acquisition method
US20210272170A1 (en) Method, Device, Electronic Apparatus and Storage Medium for Generating Order
CN114037940A (zh) 目标商品的轨迹生成方法、装置、电子设备及存储介质
TWI455054B (zh) 顧客分析系統、顧客資料收集裝置、顧客分析裝置、顧客分析方法及程式產品
CN113468914A (zh) 一种商品纯净度的确定方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220211