CN116824705A - 智能购物车购物行为判别方法 - Google Patents
智能购物车购物行为判别方法 Download PDFInfo
- Publication number
- CN116824705A CN116824705A CN202311070398.1A CN202311070398A CN116824705A CN 116824705 A CN116824705 A CN 116824705A CN 202311070398 A CN202311070398 A CN 202311070398A CN 116824705 A CN116824705 A CN 116824705A
- Authority
- CN
- China
- Prior art keywords
- hand
- shopping cart
- image
- behavior
- shopping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 230000008859 change Effects 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000005452 bending Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 13
- 230000003068 static effect Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 210000002478 hand joint Anatomy 0.000 claims description 7
- 230000000284 resting effect Effects 0.000 claims description 6
- 238000012850 discrimination method Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 230000002040 relaxant effect Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 2
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 claims 15
- 238000004891 communication Methods 0.000 claims 3
- 238000013461 design Methods 0.000 abstract description 3
- 238000007781 pre-processing Methods 0.000 abstract 1
- 101100476202 Caenorhabditis elegans mog-2 gene Proteins 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000005303 weighing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/12—Cash registers electronically operated
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Nonlinear Science (AREA)
- Handcart (AREA)
Abstract
本申请公开了智能购物车购物行为判别方法，属于智能购物车领域。目前，超市用户在使用智能购物车的时候行为是不受监控的，确认用户是否完成一次加购或退购的过程尤为复杂。智能购物车如仅靠重量变化来推定客户行为则无法及时准确判断出用户购物过程中每一次加购和退购，不可避免的会给超市带来一定损失。现有技术为了准确判定客户购物行为算力要求高、设备多，本申请提供了一种能够基于智能购物车上RGB摄像头判别用户购物行为的方法，通过摄像头进行视频采集，经由预处理、运动检测、手部关键点检测、单帧行为判别和视频行为判别等步骤，实现客户购物行为的准确判定，涉及终端设备少、设计简单。
Description
技术领域
本申请涉及智能购物车领域，具体的，涉及智能购物车购物行为判别方法。
背景技术
目前，超市用户在使用智能购物车的时候行为是不受监控的，确认用户是否完成一次加购或退购的过程尤为复杂。例如，当用户整理智能购物车内商品时，短时间内拿起又放下商品的行为和夹带、替换商品等违规行为容易混淆。智能购物车如仅靠重量变化来推定客户行为则无法及时准确判断出用户购物过程中每一次加购和退购，不可避免的会给超市带来一定损失。
针对这一问题，现有技术中，有利用超市监控识别顾客再对顾客进行行为识别的方案，也有依托条码扫描仪结合摄像头判断顾客消费行为的方案。但前者需要监控覆盖整个超市，场景复杂涉及大量的计算，需要较高算力；后者需依托多个设备，价格相对昂贵。
中国专利申请，申请公开号为CN 105915857 A，记载了一种超市购物车监控系统及其监控方法，包括安装于购物车把手之间的控制器、扫码器、置于车筐底部的称重传感器和位于车筐上端监控筐口的摄像头。把顾客的完整购物过程分为六个状态，在每个状态不同程度地利用称重传感器实时反馈的重量变化信息、监控装置采集的每帧图像信息、扫码器获取的商品信息，结合多个图像分析算法实现智能购物车系统在购物过程中的防偷盗功能。通过对检测出的运动目标图像或肤色检测图像进行灰度图像统计特征分析或模式识别，实现监控区域内空手或手持商品的检测，及时提醒并纠正顾客的违规操作。但是该算法仍需要摄像头、扫码器和称重传感器等设备共同配合，设备投入成本较高，算法复杂。
发明内容
1.要解决的技术问题
针对现有技术中存在的判定客户购物行为算力要求高、设备多的问题，本申请提供了一种智能购物车购物行为判别方法，能够基于智能购物车上RGB摄像头判别用户购物行为的方法，涉及终端设备少、设计简单。
2.技术方案
为实现上述目的，本申请解决以上技术问题的技术方案为一种智能购物车购物行为判别方法，能够基于运动检测与手势检测的购物行为判别方法，基于智能购物车上RGB摄像头判别用户购物行为包括如下步骤：
获取车框范围内的视频。通过摄像头采集视频，智能购物车上的摄像头采用预览模式，获取车框范围内的视频，视频每秒图像不少于20帧。
预处理：解析视频得到单帧图像，对单帧图像进行滤波处理。解析视频并对每一帧或者间隔帧图像进行高斯滤波处理，消除拍摄的时候产生的随机噪声。
运动检测：对滤波后的每一帧或间隔帧图像做运动物体前景部分与背景部分的划分，得到二值图像。
其中，得到二值图像的方法为：利视频解析得到单帧图像，对图像做运动物体前景部分与背景部分的划分；以视频开始的若干帧作为背景帧，得到像素点的高斯分布信息作为基础背景，高斯分布概率密度函数如式（1）所示。
(1)
其中，是分布平均值，/>是标准差，/>是变量。
前景与背景的划分的技术优选MOG2，以实现更强的抗干扰能力。
MOG2背景模型建立完成后，对视频后续图像做帧差得到差分信息，由此可以得到前景与背景的划分，获得视频后续图像的二值图像。
图形形态学处理：对二值图像做图像形态学处理。对二值图像做闭运算的腐蚀与膨胀操作，在保留主体同时处理二值图像中出现的杂点，间隙等噪声。
连通域面积统计及运动判定：计算形态学处理后的二值图像中前景部分连通域的面积，根据连通域面积判断前景部分是否有运动物体；判断前景部分是否有运动物体的结果包括：静止或图像内有物体。
其中，判断前景部分是否有运动物体方法为：完成形态学处理后，计算前景即二值图内成像为白色部分部分连通域的面积，并按照面积大小进行排序，取较大的面积。设置掩膜去除车外的干扰部分，掩膜以智能购物车边框为界限，框内为感兴趣区域，框外为屏蔽区域；用取得的前景连通域的面积与掩膜做交集，该交集的面积超过一定阈值就判断图像内有运动物体。阈值通常设置为图像大小的五分之一。
手部关键点检测：当判定图像内有运动物体时，根据分割的前景部分得到局部图片。优选使用MediaPipe识别局部图片中是否有手存在，如果存在，则检测手部关节的关键点。
基于手部关键点手势识别：根据手部关节的关键点确定不同手指的弯曲角度，结合手指弯曲程度和肤色检测判定手中是否握有其他物品；判断前景部分是否有手存在以及手部状态的结果包括：未检测到手、手放松、手虚握或手握持物品。手指的弯曲角度的计算过程为： 根据手部关节的关键点的向量获得二维夹角，夹角角度指手指关键点连线，两个线段相应的弧度计算出的角度。具体计算方式如下式(2)～(3)：
(2)
(3)
其中分别为手部的骨骼关键点的向量坐标，radians为手指关键点连线中两个线段弧度，degress为手指弯曲的角度，本申请设置80°为阈值，计算每根手指的弯曲角度，当有三只或三只以上的手指弯曲角度超过80°则判定手指为弯曲为握持状态，反之有三只或三只以上的手指弯曲程度小于80°则判定手指为放松状态。
结合肤色检测判定手中是否握有其他物品，对于握持状态进一步分析需要对手掌的部分做肤色检测，检测基于YCrCb颜色空间Cr,Cb范围筛选法，根据统计亚洲人群Cr分量在133在173之间，Cb分量在77至127之间，根据肤色检测的结果判定手中是否有其他物品。
单帧行为判别：结合上面两种在视频单帧情况下的检测结果，根据单帧图像前景部分是否有运动物体和前景部分是否有手存在以及手部状态两种判断结果的组合，将每一帧或间隔帧前景部分的检测结果，分为多种不同的消费者购物行为状态。包括：
P1：静止，未检测到手；智能购物车内没有发生变化，没有物品进入购物车内。
P2：静止，手放松；智能购物车内检测出手，但是通过手上骨骼关键点计算出手指的弯曲程度判定手呈放松状态静止没有抓握商品。
P3：静止，智能购物车内检测出手部，根据手指弯曲程度判定手呈现握态的姿势，且呈静止状态，在该状态下判断用户的手搭在或者扶在车框上。
P4：图像内有运动物体，未检测到手；在该状态下没有检测到手，但是有物品入侵，分析场景判定用户直接投入加购商品，没有手持商品放入购物车。
P5：图像内有运动物体，手放松；购物车内检测出手，通过手指的弯曲程度判定处于放松的姿态在车内运动。
P6_1：图像内有运动物体，手握持物品；手里拿着商品在车内运动。
P6_2：图像内有运动物体，手虚握；手呈现虚握的姿态在车内运动。
基于整个视频的购物行为判别：根据连续的每一帧或者间隔帧图像中行为状态变化，判断消费者行为。消费者行为包括如下多种：
当检测一直处于P1状态则表示消费者未对购物车进行其他操作，智能购物处于推行或者静止的状态。
当检测视频一直处于P2状态则表示消费者手搭在购物车内并未做其他动作。
当检测视频一直处于P3状态则表示消费者手握住车体没有做其他操作。
当检测视频出现P1->P4->P1状态则表示消费者直接将商品投入购物车。
当检测视频出现P1->P6_1->P6_2/P5->P1则表示消费者手持商品加购。
当检测视频出现P1->P6_2/P5->P6_1->P6_2/P5->P1则表示消费者在车内整理商品。
当检测视频出现P1->P6_2/P5->P6_1->P1则表示消费者在车内整理商品后拿出商品。
当检测视频出现P1->P4/P5则表示消费者在加购操作。
当检测视频出现P1->P6->P5->P6->P1则表示消费者在整理购物车。
本申请的第二方面，提供了一种智能购物车系统，执行本申请第一方面的智能购物车购物行为判别方法。
3.有益效果
相比于现有技术，本申请的优点在于：终端设备少、设计简单，且算法易于实现算力要求低，适合智能购物车应用场景。
附图说明
图1为本申请具体流程图；
图2为手部关键点示意图；
图3为运动物体检测示意图。
具体实施方式
下面结合说明书附图和具体的实施例，对本申请作详细描述。
实施例1
本申请的消费者购物行为判断方法基本流程如图1所示，具体包括以下步骤：
摄像头视频采集：通过智能购物车上的摄像头获取车框范围内的视频，视频包含消费者在商超购物所有的购物视频。智能购物车上的摄像头采用预览模式，获取车框范围内的视频，视频每秒图像不少于20帧。
预处理：解析视频得到单帧图像，并对每一帧或者间隔帧图像进行高斯滤波处理，消除拍摄的时候产生的随机噪声。
运动检测：对滤波后的每一帧或间隔帧图像做运动物体前景部分与背景部分的划分，得到二值图像。利用视频解析得到的单帧图像，做运动物体前景与背景的划分。以视频开始的若干帧作为背景帧，得到像素点的高斯分布信息作为基础背景，高斯分布概率密度函数如式(1)所示：
(1)
其中，是分布平均值，/>是标准差，/>是变量。
前景与背景的划分的技术有MOG2（高斯混合模型分离算法）、MOG、KNN和GMG等。在商场的环境下MOG2效果较其他方法表现更加优秀，本申请中优选MOG2，以实现更强的抗干扰能力。
MOG2背景模型建立完成后，对视频后续图像做帧差得到差分信息，由此可以得到前景与背景的划分。前景为入侵画面的物体在二值图内成像为白色，背景为静止的图像部分在二值图内呈像为黑色。获得视频后续图像二值图像。最终得到如图3所示的二值图，白色部分为前景即运动物体，黑色部分为背景即画面静止部分。
图形形态学处理：对运动检测后的二值图像做图像形态学处理，该处理方式主要为了从图像中提取对表达和描绘区域形状有意义的图像分量；这里单独对二值图像做闭运算的腐蚀与膨胀操作，在保留主体同时处理二值图像中出现的杂点，间隙等噪声。
连通域面积统计及运动判定：完成形态学处理后，需要计算前景部分即二值图内成像为白色部分连通域的面积，并按照面积大小进行排序，取较大的面积。因目标位置主要在智能购车框内，需设置掩膜去除车外的干扰部分，用取得的前景连通域的面积与掩膜做交集，该交集的面积超过图像的五分之一就判断图像内有运动物体。判断前景部分是否有运动物体的结果包括：静止或图像内有物体，表示是否有物体进入检测区域。
手部关键点检测：当判定图像内有运动物体时，根据分割的前景得到局部图片；目前手部关键点检测，通常采用OpenPose，mediaPipe等算法实现，因为MediaPipe速度快且支持各种平台语言，所以使用MediaPipe识别局部图片中是否有手存在。如果存在则检测手部关节的关键点，关键点如图2所示。
根据手部关节的关键点的向量获得二维夹角，夹角角度具体是指手指关键点连线，两个线段相应的弧度计算出来的角度。具体计算方式如下式(2)～(3)：
(2)
(3)
其中分别为手部的骨骼关键点的向量坐标，radians为手指关键点连线中两个线段弧度，degress为手指弯曲的角度；计算每根手指的弯曲角度，当有三只或三只以上的手指弯曲角度超过80°则判定手指为弯曲，为握持状态，反之有三只或三只以上的手指弯曲程度小于80°则判定手指为放松状态。
基于手部关键点手势识别：根据不同的手指的弯曲的角度确定手势以及握持状态。结合肤色检测判定手中是否握有其他物品，对于握持状态进一步分析需要对手掌的部分做肤色检测，检测基于YCrCb颜色空间Cr,Cb范围筛选法，根据统计亚洲人群Cr分量在133在173之间，Cb分量在77至127之间，根据肤色检测的结果判定手中是否有其他物品。判断目标位置是否有手存在以及手部状态的结果包括：未检测到手、手放松、手虚握或手握持物品。
单帧行为判别：结合上面两种在视频单帧情况下的检测结果包括不同的多种种消费者购物行为状态，具体的：
P1：静止，未检测到手；智能购物车内没有发生变化，没有物品进入购物车内。
P2：静止，手放松；智能购物车内检测出手，但是通过手上骨骼关键点计算出手指的弯曲程度判定手呈放松状态静止没有抓握商品。
P3：静止，智能购物车内检测出手部，根据手指弯曲程度判定手呈现握态的姿势，且呈静止状态，在该状态下判断用户的手搭在或者扶在车框上。
P4：图像内有运动物体，未检测到手；在该状态下没有检测到手，但是有物品入侵，分析场景判定用户直接投入加购商品，没有手持商品放入购物车。
P5：图像内有运动物体，手放松；购物车内检测出手，通过手指的弯曲程度判定处于放松的姿态在车内运动。
P6_1：图像内有运动物体，手握持物品；手里拿着商品在车内运动。
P6_2：图像内有运动物体，手虚握；手呈现虚握的姿态在车内运动。
基于整个视频的购物行为判别：根据连续的每一帧或者间隔帧图像中行为状态变化，判断消费者行为。消费者行为包括如下多种：
当检测一直处于P1状态则表示消费者未对购物车进行其他操作，智能购物处于推行或者静止的状态。
当检测视频一直处于P2状态则表示消费者手搭在购物车内并未做其他动作。
当检测视频一直处于P3状态则表示消费者手握住车体没有做其他操作。
当检测视频出现P1->P4->P1状态则表示消费者直接将商品投入购物车。
当检测视频出现P1->P6_1->P6_2/P5->P1则表示消费者手持商品加购。
当检测视频出现P1->P6_2/P5->P6_1->P6_2/P5->P1则表示消费者在车内整理商品。
当检测视频出现P1->P6_2/P5->P6_1->P1则表示消费者在车内整理商品后拿出商品。
当检测视频出现P1->P4/P5则表示消费者在加购操作。
当检测视频出现P1->P6->P5->P6->P1则表示消费者在整理购物车。
除上述实施例外，本申请还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本申请要求的保护范围。
实施例2
一种智能购物车系统，执行实施例1中的智能购物车购物行为判别方法。
以上示意性地对本申请创造及其实施方式进行了描述，该描述没有限制性，在不背离本申请的精神或者基本特征的情况下，能够以其他的具体形式实现本申请。附图中所示的也只是本申请创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本申请的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (9)
1.一种智能购物车购物行为判别方法，包括如下步骤：
获取车框范围内的视频；
解析视频得到单帧图像，对单帧图像进行滤波处理；
对滤波后的每一帧或间隔帧图像做运动物体前景部分与背景部分的划分，得到二值图像；
对二值图像做图像形态学处理；
计算形态学处理后的二值图像中前景部分连通域的面积，根据连通域面积判断前景部分是否有运动物体；判断前景部分是否有运动物体的结果包括：静止或图像内有物体；
当判定图像内有运动物体时，根据分割的前景部分得到局部图片，识别局部图片中是否有手存在，如果存在，则检测手部关节的关键点；
根据手部关节的关键点确定不同手指的弯曲角度，结合手指弯曲程度和肤色检测判定手中是否握有其他物品；判断前景部分是否有手存在以及手部状态的结果包括：未检测到手、手放松、手虚握或手握持物品；
根据视频单帧图像前景部分是否有运动物体和前景部分是否有手存在以及手部状态两种判断结果的组合，将每一帧或间隔帧前景部分的检测结果，分为多种不同的消费者购物行为状态；
根据连续的每一帧或者间隔帧图像中行为状态变化，判断消费者行为。
2.根据权利要求1所述的一种智能购物车购物行为判别方法，其特征在于，
得到二值图像的方法为：视频解析得到单帧图像，对图像做运动物体前景部分与背景部分的划分；以视频开始的若干帧作为背景帧，得到像素点的高斯分布信息作为基础背景，高斯分布概率密度函数如式（1）所示：
(1)
其中，是分布平均值，/>是标准差，/>是变量；
基础背景模型建立完成后，对视频后续图像做帧差得到差分信息，得到前景部分与背景部分的划分，获得后续图像的二值图像。
3.根据权利要求2所述的一种智能购物车购物行为判别方法，其特征在于，
对二值图像做图像形态学处理的方法为：对二值图像做闭运算的腐蚀与膨胀操作。
4.根据权利要求3所述的一种智能购物车购物行为判别方法，其特征在于，
判断前景部分是否有运动物体方法为：计算前景部分连通域的面积，并按照面积大小进行排序，取最大连通域的面积为前景连通域面积；设置掩膜去除车外的干扰部分，掩膜以智能购物车边框为界限，框内为感兴趣区域，框外为屏蔽区域；用取得的前景连通域面积与掩膜做交集，交集面积超过阈值就判断图像内有运动物体。
5. 根据权利要求4所述的一种智能购物车购物行为判别方法，其特征在于，手指的弯曲角度的计算过程为：根据手部关节的关键点的向量获得二维夹角，夹角角度指手指关键点连线中两个线段弧度计算出的角度；具体计算方式如下式(2)～(3)：
(2)
(3)
其中分别为手部的骨骼关键点的向量坐标，radians为手指关键点连线中两个线段弧度，degress为手指弯曲的角度；计算每根手指的弯曲角度，当有三只或三只以上的手指弯曲角度超过80°则判定手指为弯曲，为握持状态，反之有三只或三只以上的手指弯曲程度小于80°则判定手指为放松状态。
6.根据权利要求5所述的一种智能购物车购物行为判别方法，其特征在于，包括如下多种消费者购物行为：
P1：静止，未检测到手；智能购物车内没有发生变化，没有物品进入购物车内；
P2：静止，手放松；智能购物车内检测出手，但是通过手上骨骼关键点计算出手指的弯曲程度判定手呈放松状态静止没有抓握商品；
P3：静止，智能购物车内检测出手部，根据手指弯曲程度判定手呈现握态的姿势，且呈静止状态，在该状态下判断用户的手搭在或者扶在车框上；
P4：图像内有运动物体，未检测到手；在该状态下没有检测到手，但是有物品入侵，分析场景判定用户直接投入加购商品，没有手持商品放入购物车;
P5：图像内有运动物体，手放松；购物车内检测出手，通过手指的弯曲程度判定处于放松的姿态在车内运动；
P6_1：图像内有运动物体，手握持物品；手里拿着商品在车内运动；
P6_2：图像内有运动物体，手虚握；手呈现虚握的姿态在车内运动。
7.根据权利要求6所述的一种智能购物车购物行为判别方法，其特征在于，结合连续的每一帧或者间隔帧图像中行为状态变化过程，判断消费者行为，有如下情形：
当检测一直处于P1状态则表示消费者未对购物车进行其他操作，智能购物处于推行或者静止的状态；
当检测视频一直处于P2状态则表示消费者手搭在购物车内并未做其他动作；
当检测视频一直处于P3状态则表示消费者手握住车体没有做其他操作；
当检测视频出现P1->P4->P1状态则表示消费者直接将商品投入购物车；
当检测视频出现P1->P6_1->P6_2/P5->P1则表示消费者手持商品加购；
当检测视频出现P1->P6_2/P5->P6_1->P6_2/P5->P1则表示消费者在车内整理商品；
当检测视频出现P1->P6_2/P5->P6_1->P1则表示消费者在车内整理商品后拿出商品；
当检测视频出现P1->P4/P5则表示消费者在加购操作；
当检测视频出现P1->P6->P5->P6->P1则表示消费者在整理购物车。
8.根据权利要求1-7任一项所述的一种智能购物车购物行为判别方法，其特征在于，视频滤波为高斯滤波。
9.根据权利要求1-7任一项所述的一种智能购物车购物行为判别方法，其特征在于，摄像头采用预览模式获取视频，每秒图像不少于20帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311070398.1A CN116824705B (zh) | 2023-08-24 | 2023-08-24 | 智能购物车购物行为判别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311070398.1A CN116824705B (zh) | 2023-08-24 | 2023-08-24 | 智能购物车购物行为判别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116824705A true CN116824705A (zh) | 2023-09-29 |
| CN116824705B CN116824705B (zh) | 2023-11-10 |
Family
ID=88120511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311070398.1A Active CN116824705B (zh) | 2023-08-24 | 2023-08-24 | 智能购物车购物行为判别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116824705B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422937A (zh) * | 2023-12-18 | 2024-01-19 | 成都阿加犀智能科技有限公司 | 一种智能购物车状态识别方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102201099A (zh) * | 2010-04-01 | 2011-09-28 | 微软公司 | 基于运动的交互式购物环境 |
| CN105915857A (zh) * | 2016-06-13 | 2016-08-31 | 南京亿猫信息技术有限公司 | 超市购物车监控系统及其监控方法 |
| CN106709422A (zh) * | 2016-11-16 | 2017-05-24 | 南京亿猫信息技术有限公司 | 超市购物车手部识别方法及其识别系统 |
| CN106937531A (zh) * | 2014-06-14 | 2017-07-07 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
| US20200216105A1 (en) * | 2019-01-08 | 2020-07-09 | Unarco Industries Llc | Cart |
| US20220198550A1 (en) * | 2019-04-30 | 2022-06-23 | Tracxone Ltd | System and methods for customer action verification in a shopping cart and point of sales |
-
2023
- 2023-08-24 CN CN202311070398.1A patent/CN116824705B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102201099A (zh) * | 2010-04-01 | 2011-09-28 | 微软公司 | 基于运动的交互式购物环境 |
| CN106937531A (zh) * | 2014-06-14 | 2017-07-07 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
| CN105915857A (zh) * | 2016-06-13 | 2016-08-31 | 南京亿猫信息技术有限公司 | 超市购物车监控系统及其监控方法 |
| CN106709422A (zh) * | 2016-11-16 | 2017-05-24 | 南京亿猫信息技术有限公司 | 超市购物车手部识别方法及其识别系统 |
| US20200216105A1 (en) * | 2019-01-08 | 2020-07-09 | Unarco Industries Llc | Cart |
| US20220198550A1 (en) * | 2019-04-30 | 2022-06-23 | Tracxone Ltd | System and methods for customer action verification in a shopping cart and point of sales |
Non-Patent Citations (2)
| Title |
|---|
| FENG SHENG CHEN等: "Hand gesture recognition using a real-time tracking method and hidden markov models", 《IMAGE AND VISION COMPUTING》, pages 745 - 758 * |
| 伍平平: "基于EON的上肢康复训练系统研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 138 - 2267 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422937A (zh) * | 2023-12-18 | 2024-01-19 | 成都阿加犀智能科技有限公司 | 一种智能购物车状态识别方法、装置、设备及存储介质 |
| CN117422937B (zh) * | 2023-12-18 | 2024-03-15 | 成都阿加犀智能科技有限公司 | 一种智能购物车状态识别方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116824705B (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3910608B1 (en) | Article identification method and system, and electronic device | |
| Winlock et al. | Toward real-time grocery detection for the visually impaired | |
| CN116824705B (zh) | 智能购物车购物行为判别方法 | |
| Trinh et al. | Detecting human activities in retail surveillance using hierarchical finite state machine | |
| Popa et al. | Kinect sensing of shopping related actions | |
| GB2560387A (en) | Action identification using neural networks | |
| CN105915857A (zh) | 超市购物车监控系统及其监控方法 | |
| KR101409810B1 (ko) | 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법 | |
| CN115497055B (zh) | 无人值守商店的商品防盗检测方法、装置及存储介质 | |
| US20200193148A1 (en) | Method and system for recognizing user actions with respect to objects | |
| WO2017215362A1 (zh) | 一种基于超市购物车的智能购物系统及其控制方法 | |
| CN114898249B (zh) | 用于购物车内商品数量确认的方法、系统及存储介质 | |
| Chi et al. | Smart self-checkout carts based on deep learning for shopping activity recognition | |
| Mirabi et al. | People tracking in outdoor environment using Kalman filter | |
| US20070206093A1 (en) | Image processing apparatus, method for image processing, computer readable medium, and computer data signal | |
| Fang et al. | An improved moving target detecting and tracking based on optical flow technique and kalman filter | |
| Ye et al. | Human detection based on motion object extraction and head–shoulder feature | |
| US11568564B2 (en) | Mapping multiple views to an identity | |
| Venkatesha et al. | Human activity recognition using local shape descriptors | |
| Girondel et al. | Real time tracking of multiple persons by kalman filtering and face pursuit for multimedia applications | |
| CN118097519A (zh) | 基于商品轨迹分析的智能购物车购物行为分析方法及系统 | |
| Chen et al. | A neuromorphic approach to object detection and recognition in airborne videos with stabilization | |
| Rahmaniar et al. | A novel object detection method based on Fuzzy sets theory and SURF | |
| Zhang et al. | Design and Implementation of a Vision-and Grating-Sensor-Based Intelligent Unmanned Settlement System | |
| Seed et al. | Real time processing of infrared images from road traffic |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |