CN114529847A - 基于深度学习的货架动态商品识别与顾客购物匹配方法 - Google Patents

基于深度学习的货架动态商品识别与顾客购物匹配方法 Download PDF

Info

Publication number
CN114529847A
CN114529847A CN202111639338.8A CN202111639338A CN114529847A CN 114529847 A CN114529847 A CN 114529847A CN 202111639338 A CN202111639338 A CN 202111639338A CN 114529847 A CN114529847 A CN 114529847A
Authority
CN
China
Prior art keywords
commodity
customer
frame
detection
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111639338.8A
Other languages
English (en)
Inventor
杨延西
刘磊
匡益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202111639338.8A priority Critical patent/CN114529847A/zh
Publication of CN114529847A publication Critical patent/CN114529847A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0203—Market surveys; Market polls

Abstract

本发明公开的一种基于深度学习的货架动态商品识别与顾客购物匹配方法，包括以下步骤：采集顾客购买行为视频流和货架对应区域重力感应数据，并实时传到后台服务器；通过后台服务器中训练好的商品检测网络和顾客轨迹网络中解析处理视频流数据；在检测时间序列中判断商品拿出和放入状态；根据关键帧中商品检测框和顾客轨迹框中心点坐标距离匹配顾客ID与所拿商品；根据货架对应区域实时重力感应数据，辅助判断顾客拿出放入商品，生成购买清单。本发明可以同时对多名顾客的购买行为进行识别，使用场景更为灵活，而且使用视觉和重力感应双重判断，识别过程稳定性强，抗干扰能力强。

Description

基于深度学习的货架动态商品识别与顾客购物匹配方法
技术领域
本发明属于新零售与图像识别技术领域，涉及一种基于深度学习的货架动态商品识别与顾客购物匹配方法。
背景技术
目前，无人货柜或货架的商品售卖识别有两种解决方案，分为非视觉解决方案和视觉解决方案。
非视觉解决方案主要采用RFID无线射频识别技术或者重力感应技术，其中，RFID无线射频识别技术需要人工主动写入RFID标签，需要大量时间成本和标签成本。其次标签容易被屏蔽和撕毁，而且在金属和液体商品上的识别效果会受到影响，使用稳定性较差；若采用重力感应技术，单一的重量检测只能识别重量不同的商品，重量相近的商品无法识别，灵活性差，使用场景非常局限。
视觉解决方案分为动态解决方案和静态解决方案。相对于非视觉的解决方案，视觉解决方案的技术门槛更高，同时因为边际成本效应，实际成本也更加低廉。静态解决方案通过对比购买前后货架商品静态图像差异，检测被购买商品。识别商品所用摄像头需要安装在货架内部，所以对货架的层间距离和商品摆放有一定要求，从而会导致货架的空间利用率较低，假如商品倒下或者堆叠在一起，会使静态识别方法失效，此外这种方式不适用于多人购物的情况。介于以上方法都存在一定局限性，因此提出一种基于深度学习的智能货架动态商品识别与顾客购物匹配方法，克服以上方式的不足。
发明内容
本发明的目的是提供一种基于深度学习的货架动态商品识别与顾客购物匹配方法，解决了现有RFID无线射频识别技术中标签成本高、容易损毁和失效，稳定性差的问题。
本发明所采用的技术方案是，基于深度学习的货架动态商品识别与顾客购物匹配方法，具体包括如下步骤：
步骤1，顾客在检测区域发生购买行为，摄像头a采集货架前顾客购买行为视频流，重力传感器采集货架对应区域实时重力感应数据，视频流与重力感应数据同时回传到后台服务器；
步骤2，对步骤1采集的视频流，逐帧图像输入到商品检测网络和顾客轨迹检测网络，得到商品检测框与顾客轨迹框；
步骤3，在检测时间序列中，通过商品检测框在图像中的移动，判断商品拿出和放入状态；
步骤4，根据关键帧中商品检测框和顾客轨迹框中心点坐标距离匹配顾客ID与所拿商品；
步骤5，根据货架对应区域实时重力感应数据，辅助判断顾客拿出放入商品，生成购买清单。
本发明的特点还在于：
步骤2中构建商品检测网络的具体过程为：
步骤2.1.1，搭建图像采集平台，采集不同角度的商品图像并进行人工标注；
步骤2.1.2，对采集到的商品图像进行水平或垂直翻转、镜像和旋转操作扩充商品数据集；
步骤2.1.3，通过分割单一商品图像与货架背景生成真实场景商品数据集；
步骤2.1.4，将采集的商品数据集、扩充的商品数据集和合成的商品数据集按照8：1：1的比例划分为训练集、验证集和测试集；
步骤2.1.5，使用YOLOv5目标检测网络对划分好的数据集进行训练，得到商品检测网络。
步骤2.1.3具体包括以下步骤：
步骤2.1.3.1，对单个商品图像分别以一倍和两倍标注框进行裁剪；
步骤2.1.3.2，对两倍标注框大小的图像进行Saliency-Detection，将前后景区分开来；
步骤2.1.3.3，将步骤2.1.3.2得到的结果通过CRF条件随机场进行细化处理，对结果进行一倍标注框裁剪，得到细化的分离结果；
步骤2.1.3.4，将步骤2.1.3.3得到的结果与一倍标注框商品图进行累加，之后将黑色背景透明化得到分割过后的商品图像；
步骤2.1.3.5，对所有种类商品分割后的结果图，以每张图五件商品，遮挡率不超过50％，与货架背景图合成真实场景商品数据集。
述步骤2中顾客轨迹检测过程包括：
步骤2.2.1，对步骤1采集视频流按视频帧顺序处理；
步骤2.2.2，读取当前帧中顾客检测框位置；
步骤2.2.3，对顾客检测框进行轨迹处理和状态估计：
状态估计在一个八维状态空间上定义，如下所示：
Figure BDA0003442557530000041
其中，(u，v)为检测框中心位置，γ为长宽比，h为高度，
Figure BDA0003442557530000042
为u，v，γ，h在图像坐标的速度；
步骤2.2.4，匹配行人目标检测框和有效轨迹，采用运动匹配度和表观匹配度：
步骤2.2.5，通过Matching Cascade关联遮挡过后的目标，得到最终的轨迹ID。
步骤2.2.4中，运动匹配度：使用第j个检测框和第i个轨迹检测框之间的马氏距离描述运动匹配度d(1)(i,j)：
Figure BDA0003442557530000043
其中，(yi,Si)表示第i个轨迹分布到测量空间的投影，dj表示第j个检测框状态；yi表示第i个轨迹检测框在当前时刻的预测值，Si表示由卡尔曼滤波器得到的第i个轨迹检测框在当前时刻观测空间的协方差矩阵；
表观匹配度：使用第j个检测框和第i个轨迹检测框的深度特征向量之间的最小余弦距离描述表观匹配度d(2)(i,j)：
Figure BDA0003442557530000044
其中，ri表示第j个检测框的外观描述符，
Figure BDA0003442557530000045
表示第i个轨迹检测框的深度特征向量；深度特征向量通过在行人重识别数据集MARS上训练CNN模型获得。Ri表示第i个轨迹检测框过去成功跟踪物体检测框后对应的特征向量集合。
步骤4中具体包括以下步骤：
步骤4.1，通过步骤2得到的结果生成所有商品和顾客检测框的坐标向量：
Ci＝[(x，y)，(m，n)]；
Pj＝[(p，q)，(e，f)]；
其中，Ci为第i个顾客轨迹框的坐标向量，(x，y)为第i个顾客轨迹框左上坐标，(m，n)为第i个顾客轨迹框右下坐标，其中Pj为第j个商品检测框坐标向量，(p，q)为第j个商品的检测框左上坐标，(e，f)为第j个商品的检测框右下坐标；
步骤4.2，计算当前帧中第i个顾客的轨迹框x＜p，y＜q，m＞e，n＞f与所有商品的匹配集合Mi，
其中，Mi∈Pj，Mi中x＜p，y＜q，m＞e，n＞f；
步骤4.3，若商品j同时属于多个顾客的匹配集合，则计算商品j与所有匹配顾客的检测框中心点坐标距离并排序，将距离最近的结果作为商品j与顾客的最终匹配结果。
步骤5具体包括以下步骤：
步骤5.1，顾客从货架拿出了商品的瞬间，货架重力传感器回传当前货架重量减少；
步骤5.2，根据步骤4的最终匹配结果得出顾客与所拿商品匹配，结合步骤5.1的重力感应数据确认顾客购买了商品，生成购买清单。
本发明的有益效果如下：
1.通过对视频流进行深度学习模型推理和重量传感器实现对智能货架的动态商品识别，避免了单一重量传感技术只能上架重量不同商品问题，不用对所有上架商品都人工贴RFID无线射频标签，节省人工成本，对货架商品摆放，布局结构没有特别要求，降低运营管理成本，采集训练商品数据集就可以快速上架新商品，商家易于使用；
2.可以同时对多名顾客的购买行为进行识别，为顾客赋予ID，分别检测对应ID购买了什么商品，生成购买清单；
3.视觉和重力感应双重判断识别，避免单一视觉技术造成的漏检和误检，识别过程稳定性强，抗干扰能力强。
附图说明
图1是本发明基于深度学习的货架动态商品识别与顾客购物匹配方法中货架的结构示意图；
图2是本发明基于深度学习的货架动态商品识别与顾客购物匹配方法的流程图；
图3是本发明基于深度学习的货架动态商品识别与顾客购物匹配方法中构建商品检测网络流程图；
图4是本发明基于深度学习的货架动态商品识别与顾客购物匹配方法中构建顾客轨迹检测网络流程图；
图5是本发明基于深度学习的货架动态商品识别与顾客购物匹配方法的检测效果图。
图中，1.货架，2.摄像头，3.重力传感器，4.商品，5.检测区域，6.后台服务器，7.商品a，8.商品b，9.商品a检测框，10.商品b检测框，11.顾客c，12.顾客d，13.顾客c轨迹框，14.顾客d轨迹框。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于深度学习的货架动态商品识别与顾客购物匹配方法，采用一种智能货架，如图1所示，包括摄像头2和重力传感器3，摄像头2和重力传感器3连接后台服务器6回传实时数据，摄像头2会记录购买区域5的所有购买商品4行为，重力传感器3分别记录着对应货架区域的重力感应数据。
本发明基于深度学习的货架动态商品识别与顾客购物匹配方法，如图2所示，具体按照以下步骤实施：
步骤1，顾客在检测区域5中发生购买行为，摄像头a2采集货架前检测区域5中的顾客购买行为视频流，重力传感器3采集货架对应区域实时重力感应数据，视频流与重力感应数据同时回传到后台服务器6；
步骤2，后台服务器6对步骤1采集的视频流，逐帧图像输入到商品检测网络和顾客轨迹检测网络，得到商品检测框与顾客轨迹框；
如图3所示，步骤2中构建商品检测网络包括：
步骤2.1.1，搭建图像采集平台，采集不同角度的商品图像并进行人工标注；
步骤2.1.2，对采集到的商品图像进行水平或垂直翻转、镜像和旋转操作扩充商品数据集；
步骤2.1.3，通过分割单一商品图像与货架背景生成真实场景商品数据集；
步骤2.1.3中具体包括以下步骤：
步骤2.1.3.1，对单个商品图像以一倍和两倍标注框进行裁剪；
步骤2.1.3.2，对两倍标注框大小的图像进行Saliency-Detection，将前后景区分开来；
步骤2.1.3.3，将步骤2.1.3.2得到的结果通过CRF条件随机场进行细化处理，对结果进行一倍标注框裁剪，得到细化的分离结果；
步骤2.1.3.4，将步骤2.1.3.3得到的结果与一倍标注框商品图进行累加，之后将黑色背景透明化得到分割过后的商品图像；
步骤2.1.3.5，对所有种类商品分割后的结果图，以每张图五件商品，遮挡率不超过50％,与货架背景图合成真实场景商品数据集。
步骤2.1.4，将采集的商品数据集、扩充的商品数据集和合成的商品数据集按照8：1：1的比例划分为训练集、验证集和测试集；
步骤2.1.5，使用YOLOv5目标检测网络对划分好的数据集进行训练，得到商品检测网络。
如图4所示，步骤2中构建顾客轨迹检测过程包括：
步骤2.2.1，对步骤1采集视频流按视频帧顺序处理；
步骤2.2.2、读取当前帧中顾客检测框位置；
步骤2.2.3，对顾客检测框进行轨迹处理和状态估计：
状态估计在一个八维状态空间上定义：
Figure BDA0003442557530000091
其中，(u，v)为检测框中心位置，γ为长宽比，h为高度，
Figure BDA0003442557530000092
为它们各自在图像坐标的速度，
轨迹处理使用卡尔曼滤波器更新，采用匀速模型和线性观测模型；
步骤2.2.4，匹配行人目标检测框和有效轨迹，主要采用运动匹配度和表观匹配度：
运动匹配度：
使用第j个检测框和第i个轨迹检测框之间的马氏距离描述运动匹配度d(1)(i,j)：
Figure BDA0003442557530000093
其中，(yi,Si)表示第i个轨迹分布到测量空间的投影，dj表示第j个检测框状态；yi表示第i个轨迹检测框在当前时刻的预测值，Si表示由卡尔曼滤波器得到的第i个轨迹检测框在当前时刻观测空间的协方差矩阵；
表观匹配度：使用第j个检测框和第i个轨迹检测框的深度特征向量之间的最小余弦距离描述表观匹配度d(2)(i,j)：
Figure BDA0003442557530000094
其中，ri表示第j个检测框的外观描述符，
Figure BDA0003442557530000095
表示第i个轨迹检测框的深度特征向量；深度特征向量通过在行人重识别数据集MARS上训练CNN模型获得。Ri表示第i个轨迹检测框过去成功跟踪物体检测框后对应的特征向量集合。
步骤2.2.5，通过Matching Cascade关联遮挡过后的目标，得到最终的轨迹ID，如图5所示，顾客c轨迹框13标有顾客c11轨迹ID，顾客d轨迹框14标有顾客d12轨迹ID。
步骤3，在检测时间序列中，如图5所示，通过商品a检测框9与商品b检测框10在图像中的移动，判断商品a7和商品b8的拿出和放入状态；
步骤4，如图5所示，根据关键帧中商品a检测框9和顾客c轨迹框13的坐标向量匹配顾客轨迹ID与所拿商品；
步骤4中具体包括以下步骤：
步骤4.1，通过步骤2得到的结果生成所有商品和顾客检测框的坐标向量：
Ci＝[(x，y)，(m，n)]；
Pj＝[(p，q)，(e，f)]；
其中，Ci为第i个顾客轨迹框的坐标向量，(x，y)为第i个顾客轨迹框左上坐标，(m，n)为第i个顾客轨迹框右下坐标，其中Pj为第j个商品检测框坐标向量，(p，q)为第j个商品的检测框左上坐标，(e，f)为第j个商品的检测框右下坐标；
步骤4.2，计算当前帧中第i个顾客的轨迹框x＜p，y＜q，m＞e，n＞f与所有商品的匹配集合Mi，
其中，Mi∈Pj，Mi中x＜p，y＜q，m＞e，n＞f；
步骤4.3，若商品j同时属于多个顾客的匹配集合，则计算商品j与所有匹配顾客的检测框中心点坐标距离并排序，将距离最近的结果作为商品j与顾客的最终匹配结果。
步骤5，根据货架对应区域实时重力感应数据，辅助判断顾客拿出放入商品，生成购买清单。
步骤5中具体包括以下步骤：
步骤5.1，如图5所示顾客c11从货架拿出了商品a7的瞬间，货架重力传感器回传当前货架重量减少500g；
步骤5.2，根据步骤4的最终匹配结果得出顾客c11与商品a7所匹配，结合步骤5.1的重力感应数据确认顾客c11购买了商品a7，生成购买清单。
基于深度学习的货架动态商品识别与顾客购物匹配方法的特点为：
1.通过对视频流进行深度学习模型推理和重量传感器实现对智能货架的动态商品识别，避免了单一重量传感技术只能上架重量不同商品问题，不用对所有上架商品都人工贴RFID无线射频标签，节省人工成本，对货架商品摆放，布局结构没有特别要求，降低运营管理成本，采集训练商品数据集就可以快速上架新商品，商家易于使用；
2.如图5所示，可以同时对多名顾客的购买行为进行识别，为顾客赋予ID，分别检测对应ID购买了什么商品，生成购买清单；
3.在步骤5中，通过视觉和重力感应双重判断识别，避免单一视觉技术造成的漏检和误检，识别过程稳定性强，抗干扰能力强。

Claims (7)

1.基于深度学习的货架动态商品识别与顾客购物匹配方法，其特征在于，具体包括如下步骤：
步骤1，顾客在检测区域发生购买行为，摄像头a采集货架前顾客购买行为视频流，重力传感器采集货架对应区域实时重力感应数据，视频流与重力感应数据同时回传到后台服务器；
步骤2，对步骤1采集的视频流，逐帧图像输入到商品检测网络和顾客轨迹检测网络，得到商品检测框与顾客轨迹框；
步骤3，在检测时间序列中，通过商品检测框在图像中的移动，判断商品拿出和放入状态；
步骤4，根据关键帧中商品检测框和顾客轨迹框中心点坐标距离匹配顾客ID与所拿商品；
步骤5，根据货架对应区域实时重力感应数据，辅助判断顾客拿出放入商品，生成购买清单。
2.如权利要求1所述的基于深度学习的货架动态商品识别与顾客购物匹配方法，其特征在于，所述步骤2中构建商品检测网络的具体过程为：
步骤2.1.1，搭建图像采集平台，采集不同角度的商品图像并进行人工标注；
步骤2.1.2，对采集到的商品图像进行水平或垂直翻转、镜像和旋转操作扩充商品数据集；
步骤2.1.3，通过分割单一商品图像与货架背景生成真实场景商品数据集；
步骤2.1.4，将采集的商品数据集、扩充的商品数据集和合成的商品数据集按照8：1：1的比例划分为训练集、验证集和测试集；
步骤2.1.5，使用YOLOv5目标检测网络对划分好的数据集进行训练，得到商品检测网络。
3.如权利要求2所述的基于深度学习的货架动态商品识别与顾客购物匹配方法，其特征在于，所述步骤2.1.3具体包括以下步骤：
步骤2.1.3.1，对单个商品图像分别以一倍和两倍标注框进行裁剪；
步骤2.1.3.2，对两倍标注框大小的图像进行Saliency-Detection，将前后景区分开来；
步骤2.1.3.3，将步骤2.1.3.2得到的结果通过CRF条件随机场进行细化处理，对结果进行一倍标注框裁剪，得到细化的分离结果；
步骤2.1.3.4，将步骤2.1.3.3得到的结果与一倍标注框商品图进行累加，之后将黑色背景透明化得到分割过后的商品图像；
步骤2.1.3.5，对所有种类商品分割后的结果图，以每张图五件商品，遮挡率不超过50％与货架背景图合成真实场景商品数据集。
4.如权利要求3所述的基于深度学习的货架动态商品识别与顾客购物匹配方法，其特征在于，所述步骤2中顾客轨迹检测过程包括：
步骤2.2.1，对步骤1采集视频流按视频帧顺序处理；
步骤2.2.2，读取当前帧中顾客检测框位置；
步骤2.2.3，对顾客检测框进行轨迹处理和状态估计：
状态估计在一个八维状态空间上定义，如下所示：
Figure FDA0003442557520000031
其中，(u，v)为检测框中心位置，γ为长宽比，h为高度，
Figure FDA0003442557520000032
为u，v，γ，h在图像坐标的速度；
步骤2.2.4，匹配行人目标检测框和有效轨迹，采用运动匹配度和表观匹配度：
步骤2.2.5，通过Matching Cascade关联遮挡过后的目标，得到最终的轨迹ID。
5.如权利要求4所述的基于深度学习的货架动态商品识别与顾客购物匹配方法，其特征在于，所述步骤2.2.4中，运动匹配度：使用第j个检测框和第i个轨迹检测框之间的马氏距离描述运动匹配度d(1)(i,j)：
d(1)(i,j)＝(dj-yi)TSi -1(dj-yi)；
其中，(yi,Si)表示第i个轨迹分布到测量空间的投影，dj表示第j个检测框状态；yi表示第i个轨迹检测框在当前时刻的预测值，Si表示由卡尔曼滤波器得到的第i个轨迹检测框在当前时刻观测空间的协方差矩阵；
表观匹配度：使用第j个检测框和第i个轨迹检测框的深度特征向量之间的最小余弦距离描述表观匹配度d(2)(i,j)：
Figure FDA0003442557520000033
其中，ri表示第j个检测框的外观描述符，
Figure FDA0003442557520000034
表示第i个轨迹检测框的深度特征向量；深度特征向量通过在行人重识别数据集MARS上训练CNN模型获得；Ri表示第i个轨迹检测框过去成功跟踪物体检测框后对应的特征向量集合。
6.如权利要求1所述的基于深度学习的货架动态商品识别与顾客购物匹配方法，其特征在于，所述步骤4具体包括以下步骤：
步骤4.1，通过步骤2得到的结果生成所有商品和顾客检测框的坐标向量：
Ci＝[(x，y)，(m，n)]；
Pj＝[(p，q)，(e，f)]；
其中，Ci为第i个顾客轨迹框的坐标向量，(x，y)为第i个顾客轨迹框左上坐标，(m，n)为第i个顾客轨迹框右下坐标，其中Pj为第j个商品检测框坐标向量，(p，q)为第j个商品的检测框左上坐标，(e，f)为第j个商品的检测框右下坐标；
步骤4.2，计算当前帧中第i个顾客的轨迹框x＜p,y＜q,m＞e,n＞f与所有商品的匹配集合Mi，
其中，Mi∈Pj,Mi中x＜p,y＜q,m＞e,n＞f；
步骤4.3，若商品j同时属于多个顾客的匹配集合，则计算商品j与所有匹配顾客的检测框中心点坐标距离并排序，将距离最近的结果作为商品j与顾客的最终匹配结果。
7.如权利要求1所述的基于深度学习的货架动态商品识别与顾客购物匹配方法，其特征在于，所述步骤5具体包括以下步骤：
步骤5.1，顾客从货架拿出了商品的瞬间，货架重力传感器回传当前货架重量减少；
步骤5.2，根据步骤4的最终匹配结果得出顾客与所拿商品匹配，结合步骤5.1的重力感应数据确认顾客购买了商品，生成购买清单。
CN202111639338.8A 2021-12-29 2021-12-29 基于深度学习的货架动态商品识别与顾客购物匹配方法 Pending CN114529847A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111639338.8A CN114529847A (zh) 2021-12-29 2021-12-29 基于深度学习的货架动态商品识别与顾客购物匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111639338.8A CN114529847A (zh) 2021-12-29 2021-12-29 基于深度学习的货架动态商品识别与顾客购物匹配方法

Publications (1)

Publication Number Publication Date
CN114529847A true CN114529847A (zh) 2022-05-24

Family

ID=81620325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111639338.8A Pending CN114529847A (zh) 2021-12-29 2021-12-29 基于深度学习的货架动态商品识别与顾客购物匹配方法

Country Status (1)

Country Link
CN (1) CN114529847A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620402A (zh) * 2022-11-28 2023-01-17 浙江莲荷科技有限公司 一种人货交互行为识别方法、系统及相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620402A (zh) * 2022-11-28 2023-01-17 浙江莲荷科技有限公司 一种人货交互行为识别方法、系统及相关装置
CN115620402B (zh) * 2022-11-28 2023-03-31 浙江莲荷科技有限公司 一种人货交互行为识别方法、系统及相关装置

Similar Documents

Publication Publication Date Title
Mliki et al. Human activity recognition from UAV-captured video sequences
US11501523B2 (en) Goods sensing system and method for goods sensing based on image monitoring
Popa et al. Kinect sensing of shopping related actions
US8219438B1 (en) Method and system for measuring shopper response to products based on behavior and facial expression
CN111415461A (zh) 物品识别方法及系统、电子设备
US8351647B2 (en) Automatic detection and aggregation of demographics and behavior of people
US8295597B1 (en) Method and system for segmenting people in a physical space based on automatic behavior analysis
CN108416258B (zh) 一种基于人体部位模型的多人体跟踪方法
US20170169297A1 (en) Computer-vision-based group identification
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算系统
CN104637058B (zh) 一种基于图像信息的客流量识别统计方法
CN108537166B (zh) 确定货架浏览量以及分析浏览量的方法和装置
US9299229B2 (en) Detecting primitive events at checkout
Trinh et al. Detecting human activities in retail surveillance using hierarchical finite state machine
JP4607797B2 (ja) 行動判別装置、方法およびプログラム
Merad et al. Tracking multiple persons under partial and global occlusions: Application to customers’ behavior analysis
Liu et al. What are customers looking at?
Liu et al. Customer behavior recognition in retail store from surveillance camera
CN110569789B (zh) 商品组合型sku识别方法及其装置
CN112907168A (zh) 动态商品识别方法、无人售货柜及其售货方法
CN114529847A (zh) 基于深度学习的货架动态商品识别与顾客购物匹配方法
WO2017155466A1 (en) Method and system for visitor tracking at a pos area
CN111260685B (zh) 视频处理方法、装置及电子设备
CN112329521A (zh) 一种基于深度学习的多目标跟踪视频巡店方法
CN115601686B (zh) 物品交付确认的方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination