CN117455940B - 基于云值守的顾客行为检测方法、系统、设备及存储介质 - Google Patents
基于云值守的顾客行为检测方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN117455940B CN117455940B CN202311788204.1A CN202311788204A CN117455940B CN 117455940 B CN117455940 B CN 117455940B CN 202311788204 A CN202311788204 A CN 202311788204A CN 117455940 B CN117455940 B CN 117455940B
- Authority
- CN
- China
- Prior art keywords
- monitoring image
- monitoring
- image
- cloud
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 claims description 164
- 230000006399 behavior Effects 0.000 claims description 81
- 238000012545 processing Methods 0.000 claims description 29
- 238000012360 testing method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 16
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000003707 image sharpening Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 2
- 238000003491 array Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000010009 beating Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明属于机器视觉技术领域，具体公开了基于云值守的顾客行为检测方法、系统、设备及存储介质，通过从商店的云值守监控视频中提取监控图像进行图像增强处理及运动目标检测，以得到运动目标轮廓来绘制凸包，确定凸包的最大内接圆，然后从圆心与凸包各角点连线中选取第一参考线和第二参考线，确定长度比、夹角及圆面积三个维度的特征参数，构建三维特征数组，再将三维特征数组输入行为识别模型进行行为识别，得到相应的行为分类结果来判断店内顾客的行为异常情况，可以实现高效的云值守顾客行为检测，可以提升顾客行为监测的准确性和时效性，节省人力成本，适于在无人值守零售行业内推广应用。
Description
技术领域
本发明属于机器视觉技术领域，具体涉及基于云值守的顾客行为检测方法、系统、设备及存储介质。
背景技术
随着互联网技术的发展，作为零售业新形态的无人值守商店，因其可以节省人工开支，减少店铺运营成本的优点开始变得火热，受到了人们的广泛认可。由于无人值守商店中没有工作人员看守，所以无人值守商店内的人员监测大多都是通过监控设备来完成的，即利用摄像头来实现对商店内顾客的行为监测，然后管理人员在线进行监控视频查看或者事后调取监控视频进行回溯，这样的方式存在以下不足：1、如果管理人员长时间在线查看监控视频，容易产生疲劳，进而导致漏检的问题，监测质量不高；2、在线查看监控视频工作量大，人工效率低下，人力成本高，且监控视频回溯是事后手段，监测的时效性差。基于此，亟需一种可高效、智能实现无人值守商店内顾客行为检测的方法。
发明内容
本发明的目的是提供基于云值守的顾客行为检测方法、系统、设备及存储介质，用以解决现有技术中存在的上述问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供基于云值守的顾客行为检测方法，包括：
获取商店的云值守监控视频，并按照时间顺序从云值守监控视频中提取出若干帧监控图像；
对各监控图像进行图像增强处理，得到对应的增强监控图像；
对各增强监控图像进行运动目标检测，确定各增强监控图像中的运动目标，并提取出各增强监控图像中的运动目标轮廓；
绘制出各运动目标轮廓的凸包，并确定凸包的最大内接圆，标记出最大内接圆的圆心；
将圆心与凸包的各角点分别连线，得到若干条连接线，并将最长的一条连接线作为第一参考线，将最短的一条连接线作为第二参考线；
确定第一参考线与第二参考线的长度比，将所述长度比作为对应监控图像的第一特征参数，确定第一参考线与第二参考线之间的夹角，将所述夹角作为对应监控图像的第二特征参数，确定最大内接圆的面积，将所述面积作为对应监控图像的第三特征参数；
将各监控图像对应的第一特征参数按照各监控图像的时间顺序进行组合，得到第一特征数组，将各监控图像对应的第二特征参数按照各监控图像的时间顺序进行组合，得到第二特征数组，将各监控图像对应的第三特征参数按照各监控图像的时间顺序进行组合，得到第三特征数组；
将第一特征数组、第二特征数组和第三特征数组组合，得到三维特征数组，并将三维特征数组输入预置的行为识别模型中进行识别处理，得到对应的行为分类结果；
根据行为分类结果判定是否存在顾客行为异常情况。
在一个可能的设计中，所述对各监控图像进行图像增强处理，得到对应的增强监控图像，包括：
采用拉普拉斯算子对各监控图像进行图像锐化处理，得到对应的增强监控图像。
在一个可能的设计中，所述对各增强监控图像进行运动目标检测，确定各增强监控图像中的运动目标，包括：
采用高斯混合模型算法对各增强监控图像进行运动目标检测，确定各增强监控图像中的背景和前景，将各增强监控图像中的前景作为对应的运动目标。
在一个可能的设计中，所述提取出各增强监控图像中的运动目标轮廓，包括：
对确定出背景和前景的增强监控图像进行二值化处理，得到二值化图像，在所述二值化图像中，背景区域像素点的灰度值与前景区域像素点的灰度值不同；
采用Sobel算子或Canny算子对二值化图像进行边缘检测，提取二值化图像中前景的轮廓作为运动目标轮廓。
在一个可能的设计中，所述绘制出各运动目标轮廓的凸包，包括：
采用卷包裹算法对运动目标轮廓进行凸包计算，确定运动目标轮廓所对应的凸包，并绘制出所述凸包。
在一个可能的设计中，所述行为识别模型采用Bi-LSTM模型经训练集的训练及测试集的测试后得到，所述训练集和测试集均包含若干标注有相应行为分类标签的三维特征数组样本，在将三维特征数组输入预置的行为识别模型前，所述方法还包括：
构建Bi-LSTM模型，并获取训练集和测试集，所述训练集和测试集均包含若干标注有相应行为分类标签的三维特征数组样本；
分别利用训练集和测试集对Bi-LSTM模型进行训练和测试，直至满足设定的训练和测试条件为止，得到训练和测试后的Bi-LSTM模型作为行为识别模型。
在一个可能的设计中，在判定存在顾客行为异常情况时，所述方法还包括：
生成对应的预警指令，并将预警指令发送至商店内的预警终端，以使预警终端执行预警指令发出预警信息。
第二方面，提供基于云值守的顾客行为检测系统，包括获取单元、增强单元、提取单元、绘制单元、标线单元、确定单元、组合单元、识别单元和判定单元，其中：
获取单元，用于获取商店的云值守监控视频，并按照时间顺序从云值守监控视频中提取出若干帧监控图像；
增强单元，用于对各监控图像进行图像增强处理，得到对应的增强监控图像；
提取单元，用于对各增强监控图像进行运动目标检测，确定各增强监控图像中的运动目标，并提取出各增强监控图像中的运动目标轮廓；
绘制单元，用于绘制出各运动目标轮廓的凸包，并确定凸包的最大内接圆，标记出最大内接圆的圆心；
标线单元，用于将圆心与凸包的各角点分别连线，得到若干条连接线，并将最长的一条连接线作为第一参考线，将最短的一条连接线作为第二参考线；
确定单元，用于确定第一参考线与第二参考线的长度比，将所述长度比作为对应监控图像的第一特征参数，确定第一参考线与第二参考线之间的夹角，将所述夹角作为对应监控图像的第二特征参数，确定最大内接圆的面积，将所述面积作为对应监控图像的第三特征参数；
组合单元，用于将各监控图像对应的第一特征参数按照各监控图像的时间顺序进行组合，得到第一特征数组，将各监控图像对应的第二特征参数按照各监控图像的时间顺序进行组合，得到第二特征数组，将各监控图像对应的第三特征参数按照各监控图像的时间顺序进行组合，得到第三特征数组；
识别单元，用于将第一特征数组、第二特征数组和第三特征数组组合，得到三维特征数组，并将三维特征数组输入预置的行为识别模型中进行识别处理，得到对应的行为分类结果；
判定单元，用于根据行为分类结果判定是否存在顾客行为异常情况。
第三方面，提供基于云值守的顾客行为检测设备，包括：
存储器，用于存储指令；
处理器，用于读取所述存储器中存储的指令，并根据指令执行上述第一方面中任意一种所述的方法。
第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行第一方面中任意一种所述的方法。同时，还提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行第一方面中任意一种所述的方法。
有益效果：本发明通过从商店的云值守监控视频中提取监控图像进行图像增强处理及运动目标检测，以得到运动目标轮廓来绘制凸包，确定凸包的最大内接圆，然后从圆心与凸包各角点连线中选取第一参考线和第二参考线，确定长度比、夹角及圆面积三个维度的特征参数，构建三维特征数组，再将三维特征数组输入行为识别模型进行行为识别，得到相应的行为分类结果来判断店内顾客的行为异常情况，可以实现实时且高效的云值守顾客行为检测。本发明通过对商店的云值守监控图像进行运动目标检测的和特征数据测量提取，以利用机器视觉处理技术快速识别顾客行为分类，可以替代传统人工值守方式，有效提升顾客行为监测的准确性和时效性，节省人力成本，适于在无人值守零售行业内推广应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中方法的步骤示意图；
图2为本发明实施例2中系统的构成示意图；
图3为本发明实施例3中设备的构成示意图。
具体实施方式
在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在实施例中的具体含义。
在下面的描述中提供了特定的细节，以便于对示例实施例的完全理解。然而，本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实施例中，可以不以非必要的细节来示出众所周知的过程、结构和技术，以避免使得实施例不清楚。
实施例1：
本实施例提供基于云值守的顾客行为检测方法，可应用于相应的云值守服务器，如图1所示，方法包括以下步骤：
S1.获取商店的云值守监控视频，并按照时间顺序从云值守监控视频中提取出若干帧监控图像。
具体实施时，可预先在无人值守商店的各个监控点位安装监控设备，通过监控设备对商店内顾客的行为进行视频采集，并将采集的云值守监控视频上传至云值守服务器。云值守服务器在获取到相应的云值守监控视频后，即可根据各视频帧的时间顺序从云值守监控视频中提取出若干帧监控图像，以便进行后续的图像分析处理。
S2.对各监控图像进行图像增强处理，得到对应的增强监控图像。
具体实施时，在提取出各监控图像后，云值守服务器先对各监控图像进行图像增强处理，包括但不限于采用拉普拉斯算子对各监控图像进行图像锐化处理，得到对应的增强监控图像，图像锐化是补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰，图像锐化处理可以突出图像中物体的边缘、轮廓或某些线性目标要素的特征，以便后续进行运动目标检测和轮廓提取。
S3.对各增强监控图像进行运动目标检测，确定各增强监控图像中的运动目标，并提取出各增强监控图像中的运动目标轮廓。
具体实施时，对于图像增强后得到的各增强监控图像，可采用高斯混合模型（GMM）算法对各增强监控图像进行运动目标检测，确定各增强监控图像中的背景和前景，将各增强监控图像中的前景作为对应的运动目标。基于高斯混合模型的运动目标检测可将输入图像的像素点与背景模型进行比对，与背景模型相似度高的像素区域视为背景，与背景模型相似度低的像素区域视为前景，高斯混合模型是由K个（一般为3到5个）单高斯模型加权组成，在获取新的一帧图像后，如果当前帧图像中像素点与K个高斯模型某个的像素匹配度高，就视为背景点，并将当前帧图像的像素作为一个新模型更新到K个高斯模型中，如果像素匹配度低，就视为前景点，以此类推。
在确定出各增强监控图像中的运动目标后，就对确定出背景和前景的增强监控图像进行二值化处理，得到二值化图像，在所述二值化图像中，背景区域像素点的灰度值与前景区域像素点的灰度值不同；然后采用Sobel算子或Canny算子对二值化图像进行边缘检测，提取二值化图像中前景的轮廓作为运动目标轮廓。
S4.绘制出各运动目标轮廓的凸包，并确定凸包的最大内接圆，标记出最大内接圆的圆心。
具体实施时，在提取出对应的运动目标轮廓后，云值守服务器可采用卷包裹算法对运动目标轮廓进行凸包计算，确定运动目标轮廓所对应的凸包，并绘制出所述凸包。在绘制出凸包后，即可确定出凸内的最大内接圆，然后标记出该最大内接圆的圆心。
S5.将圆心与凸包的各角点分别连线，得到若干条连接线，并将最长的一条连接线作为第一参考线，将最短的一条连接线作为第二参考线。
具体实施时，将标定最大内接圆的圆心后，将圆心与凸包的各角点分别连线，得到与凸包角点数量相同的若干条连接线，并将其中最长的一条连接线作为第一参考线，将其中最短的一条连接线作为第二参考线，以进行后续的特征参数选取。
S6.确定第一参考线与第二参考线的长度比，将所述长度比作为对应监控图像的第一特征参数，确定第一参考线与第二参考线之间的夹角，将所述夹角作为对应监控图像的第二特征参数，确定最大内接圆的面积，将所述面积作为对应监控图像的第三特征参数。
具体实施时，云值守服务器计算确定各运动目标轮廓对应第一参考线与第二参考线的长度比，将第一参考线与第二参考线的长度比作为运动目标轮廓所对应监控图像的第一特征参数；计算确定各运动目标轮廓对应第一参考线与第二参考线之间的夹角，将第一参考线与第二参考线之间的夹角作为运动目标轮廓所对应监控图像的第二特征参数；计算确定各运动目标轮廓对应最大内接圆的面积，将最大内接圆的面积作为运动目标轮廓所对应监控图像的第三特征参数。经过实践证明，将对应参考线之间的长度比和夹角以及最大内接圆面积三个维度的特征参数作为后续行为检测识别的依据，可以有效提升顾客行为检测识别的准确度。
S7.将各监控图像对应的第一特征参数按照各监控图像的时间顺序进行组合，得到第一特征数组，将各监控图像对应的第二特征参数按照各监控图像的时间顺序进行组合，得到第二特征数组，将各监控图像对应的第三特征参数按照各监控图像的时间顺序进行组合，得到第三特征数组。
具体实施时，在确定各监控图像对应的第一特征参数、第二特征参数和第三特征参数后，云值守服务器按照对应监控图像的时间顺序将各第一特征参数依次组合，得到第一特征数组，将各第二特征参数依次组合，得到第二特征数组，将各第三特征参数依次组合，得到第三特征数组。
S8.将第一特征数组、第二特征数组和第三特征数组组合，得到三维特征数组，并将三维特征数组输入预置的行为识别模型中进行识别处理，得到对应的行为分类结果。
具体实施时，云值守服务器将第一特征数组、第二特征数组和第三特征数组组合，得到三维特征数组，在三维特征数组中，每一帧图像时间点对应有三个维度特征参数，即第一特征参数、第二特征参数和第三特征参数，各维度特征参数呈时间序列分布，然后将三维特征数组输入预置的行为识别模型中进行识别处理，得到对应的行为分类结果。所述行为识别模型可采用Bi-LSTM（双向长短期记忆网络）模型经训练集的训练及测试集的测试后得到，所述训练集和测试集均包含若干标注有相应行为分类标签的三维特征数组样本。在将三维特征数组输入预置的行为识别模型前，需要先构建Bi-LSTM模型，并获取训练集和测试集，所述训练集和测试集均包含若干标注有相应行为分类标签的三维特征数组样本；然后分别利用训练集和测试集对Bi-LSTM模型进行训练和测试，直至满足设定的训练和测试条件为止，得到训练和测试后的Bi-LSTM模型作为行为识别模型。Bi-LSTM模型具有稳健性，通过两层LSTM的堆叠，使得模型摆脱了只能依据之前时刻的时序信息来预测下一时刻的输出的限制，能更好的结合上下文进行输出，可以有效利用输入的前向和后向特征信息，对于三维特征数组采用Bi-LSTM模型进行行为识别，可以得到高准确率的行为识别分类结果。
S9.根据行为分类结果判定是否存在顾客行为异常情况。
具体实施时，在得到行为分类结果后，云值守服务器即可根据行为分类结果判断是否存在顾客行为异常情况，如顾客奔跑、击打等异常行为。在判定存在顾客行为异常情况时，生成对应的预警指令，并将预警指令发送至商店内的预警终端，以使预警终端执行预警指令发出预警信息，对顾客异常行为进行干预。
本实施例方法通过对商店的云值守监控图像进行运动目标检测的和特征数据测量提取，以利用机器视觉处理技术快速识别顾客行为分类，可以替代传统人工值守方式，有效提升顾客行为监测的准确性和时效性，节省人力成本，适于在无人值守零售行业内推广应用。
实施例2：
本实施例提供基于云值守的顾客行为检测系统，如图2所示，包括获取单元、增强单元、提取单元、绘制单元、标线单元、确定单元、组合单元、识别单元和判定单元，其中：
获取单元，用于获取商店的云值守监控视频，并按照时间顺序从云值守监控视频中提取出若干帧监控图像；
增强单元，用于对各监控图像进行图像增强处理，得到对应的增强监控图像；
提取单元，用于对各增强监控图像进行运动目标检测，确定各增强监控图像中的运动目标，并提取出各增强监控图像中的运动目标轮廓；
绘制单元，用于绘制出各运动目标轮廓的凸包，并确定凸包的最大内接圆，标记出最大内接圆的圆心；
标线单元，用于将圆心与凸包的各角点分别连线，得到若干条连接线，并将最长的一条连接线作为第一参考线，将最短的一条连接线作为第二参考线；
确定单元，用于确定第一参考线与第二参考线的长度比，将所述长度比作为对应监控图像的第一特征参数，确定第一参考线与第二参考线之间的夹角，将所述夹角作为对应监控图像的第二特征参数，确定最大内接圆的面积，将所述面积作为对应监控图像的第三特征参数；
组合单元，用于将各监控图像对应的第一特征参数按照各监控图像的时间顺序进行组合，得到第一特征数组，将各监控图像对应的第二特征参数按照各监控图像的时间顺序进行组合，得到第二特征数组，将各监控图像对应的第三特征参数按照各监控图像的时间顺序进行组合，得到第三特征数组；
识别单元，用于将第一特征数组、第二特征数组和第三特征数组组合，得到三维特征数组，并将三维特征数组输入预置的行为识别模型中进行识别处理，得到对应的行为分类结果；
判定单元，用于根据行为分类结果判定是否存在顾客行为异常情况。
实施例3：
本实施例提供基于云值守的顾客行为检测设备，如图3所示，在硬件层面，包括：
数据接口，用于建立处理器与监控设备及预警终端的数据对接；
存储器，用于存储指令；
处理器，用于读取所述存储器中存储的指令，并根据指令执行实施例1中的基于云值守的顾客行为检测方法。
可选地，该设备还包括内部总线。处理器与存储器和数据接口可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。
所述存储器可以但不限于包括随机存取存储器（Random Access Memory，RAM）、只读存储器（Read Only Memory，ROM）、闪存（Flash Memory）、先进先出存储器（First InputFirst Output，FIFO）和/或先进后出存储器（First In Last Out，FILO）等。所述处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（NetworkProcessor，NP）等；还可以是数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
实施例4：
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行实施例1中的基于云值守的顾客行为检测方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒（Memory Stick）等，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程系统。
本实施例还提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行实施例1中的基于云值守的顾客行为检测方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程系统。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于云值守的顾客行为检测方法，其特征在于，包括：
获取商店的云值守监控视频，并按照时间顺序从云值守监控视频中提取出若干帧监控图像；
对各监控图像进行图像增强处理，得到对应的增强监控图像；
对各增强监控图像进行运动目标检测，确定各增强监控图像中的运动目标，并提取出各增强监控图像中的运动目标轮廓；
绘制出各运动目标轮廓的凸包，并确定凸包的最大内接圆，标记出最大内接圆的圆心；
将圆心与凸包的各角点分别连线，得到若干条连接线，并将最长的一条连接线作为第一参考线，将最短的一条连接线作为第二参考线；
确定第一参考线与第二参考线的长度比，将所述长度比作为对应监控图像的第一特征参数，确定第一参考线与第二参考线之间的夹角，将所述夹角作为对应监控图像的第二特征参数，确定最大内接圆的面积，将所述面积作为对应监控图像的第三特征参数；
将各监控图像对应的第一特征参数按照各监控图像的时间顺序进行组合，得到第一特征数组，将各监控图像对应的第二特征参数按照各监控图像的时间顺序进行组合，得到第二特征数组，将各监控图像对应的第三特征参数按照各监控图像的时间顺序进行组合，得到第三特征数组；
将第一特征数组、第二特征数组和第三特征数组组合，得到三维特征数组，并将三维特征数组输入预置的行为识别模型中进行识别处理，得到对应的行为分类结果；
根据行为分类结果判定是否存在顾客行为异常情况。
2.根据权利要求1所述的基于云值守的顾客行为检测方法，其特征在于，所述对各监控图像进行图像增强处理，得到对应的增强监控图像，包括：
采用拉普拉斯算子对各监控图像进行图像锐化处理，得到对应的增强监控图像。
3.根据权利要求1所述的基于云值守的顾客行为检测方法，其特征在于，所述对各增强监控图像进行运动目标检测，确定各增强监控图像中的运动目标，包括：
采用高斯混合模型算法对各增强监控图像进行运动目标检测，确定各增强监控图像中的背景和前景，将各增强监控图像中的前景作为对应的运动目标。
4.根据权利要求3所述的基于云值守的顾客行为检测方法，其特征在于，所述提取出各增强监控图像中的运动目标轮廓，包括：
对确定出背景和前景的增强监控图像进行二值化处理，得到二值化图像，在所述二值化图像中，背景区域像素点的灰度值与前景区域像素点的灰度值不同；
采用Sobel算子或Canny算子对二值化图像进行边缘检测，提取二值化图像中前景的轮廓作为运动目标轮廓。
5.根据权利要求1所述的基于云值守的顾客行为检测方法，其特征在于，所述绘制出各运动目标轮廓的凸包，包括：
采用卷包裹算法对运动目标轮廓进行凸包计算，确定运动目标轮廓所对应的凸包，并绘制出所述凸包。
6.根据权利要求1所述的基于云值守的顾客行为检测方法，其特征在于，所述行为识别模型采用Bi-LSTM模型经训练集的训练及测试集的测试后得到，所述训练集和测试集均包含若干标注有相应行为分类标签的三维特征数组样本，在将三维特征数组输入预置的行为识别模型前，所述方法还包括：
构建Bi-LSTM模型，并获取训练集和测试集，所述训练集和测试集均包含若干标注有相应行为分类标签的三维特征数组样本；
分别利用训练集和测试集对Bi-LSTM模型进行训练和测试，直至满足设定的训练和测试条件为止，得到训练和测试后的Bi-LSTM模型作为行为识别模型。
7.根据权利要求1所述的基于云值守的顾客行为检测方法，其特征在于，在判定存在顾客行为异常情况时，所述方法还包括：
生成对应的预警指令，并将预警指令发送至商店内的预警终端，以使预警终端执行预警指令发出预警信息。
8.基于云值守的顾客行为检测系统，其特征在于，包括获取单元、增强单元、提取单元、绘制单元、标线单元、确定单元、组合单元、识别单元和判定单元，其中：
获取单元，用于获取商店的云值守监控视频，并按照时间顺序从云值守监控视频中提取出若干帧监控图像；
增强单元，用于对各监控图像进行图像增强处理，得到对应的增强监控图像；
提取单元，用于对各增强监控图像进行运动目标检测，确定各增强监控图像中的运动目标，并提取出各增强监控图像中的运动目标轮廓；
绘制单元，用于绘制出各运动目标轮廓的凸包，并确定凸包的最大内接圆，标记出最大内接圆的圆心；
标线单元，用于将圆心与凸包的各角点分别连线，得到若干条连接线，并将最长的一条连接线作为第一参考线，将最短的一条连接线作为第二参考线；
确定单元，用于确定第一参考线与第二参考线的长度比，将所述长度比作为对应监控图像的第一特征参数，确定第一参考线与第二参考线之间的夹角，将所述夹角作为对应监控图像的第二特征参数，确定最大内接圆的面积，将所述面积作为对应监控图像的第三特征参数；
组合单元，用于将各监控图像对应的第一特征参数按照各监控图像的时间顺序进行组合，得到第一特征数组，将各监控图像对应的第二特征参数按照各监控图像的时间顺序进行组合，得到第二特征数组，将各监控图像对应的第三特征参数按照各监控图像的时间顺序进行组合，得到第三特征数组；
识别单元，用于将第一特征数组、第二特征数组和第三特征数组组合，得到三维特征数组，并将三维特征数组输入预置的行为识别模型中进行识别处理，得到对应的行为分类结果；
判定单元，用于根据行为分类结果判定是否存在顾客行为异常情况。
9.基于云值守的顾客行为检测设备，其特征在于，包括：
存储器，用于存储指令；
处理器，用于读取所述存储器中存储的指令，并根据指令执行权利要求1-7任意一项所述的顾客行为检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行权利要求1-7任意一项所述的顾客行为检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311788204.1A CN117455940B (zh) | 2023-12-25 | 2023-12-25 | 基于云值守的顾客行为检测方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311788204.1A CN117455940B (zh) | 2023-12-25 | 2023-12-25 | 基于云值守的顾客行为检测方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117455940A CN117455940A (zh) | 2024-01-26 |
| CN117455940B true CN117455940B (zh) | 2024-02-27 |
Family
ID=89580297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311788204.1A Active CN117455940B (zh) | 2023-12-25 | 2023-12-25 | 基于云值守的顾客行为检测方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117455940B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017161778A1 (zh) * | 2016-03-25 | 2017-09-28 | 乐视控股（北京）有限公司 | 手掌的掌心位置定位、手势识别方法、装置及智能终端 |
| CN109671016A (zh) * | 2018-12-25 | 2019-04-23 | 网易（杭州）网络有限公司 | 人脸模型的生成方法、装置、存储介质及终端 |
| WO2020098195A1 (zh) * | 2018-11-15 | 2020-05-22 | 上海埃威航空电子有限公司 | 基于ais与视频数据融合的船舶身份识别方法 |
| WO2022000862A1 (zh) * | 2020-06-29 | 2022-01-06 | 苏州科达科技股份有限公司 | 鱼眼图像中的对象检测方法、装置及存储介质 |
| WO2022143237A1 (zh) * | 2020-12-31 | 2022-07-07 | 华为技术有限公司 | 一种目标定位的方法、系统及相关设备 |
| CN115619860A (zh) * | 2022-09-15 | 2023-01-17 | 珠海一微半导体股份有限公司 | 基于图像信息的激光定位方法及机器人 |
| CN116228861A (zh) * | 2023-02-17 | 2023-06-06 | 杭州长川科技股份有限公司 | 探针台标记物定位方法、装置、电子设备及存储介质 |
| CN116434346A (zh) * | 2023-06-12 | 2023-07-14 | 四川汉唐云分布式存储技术有限公司 | 无人值守商店内顾客行为的检测方法、装置及存储介质 |
| CN117058626A (zh) * | 2023-10-12 | 2023-11-14 | 四川汉唐云分布式存储技术有限公司 | 基于智慧数据分析的安全监测系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020131735A1 (en) * | 2018-12-17 | 2020-06-25 | Saudi Arabian Oil Company | Image based inspection of well equipment |
-
2023
- 2023-12-25 CN CN202311788204.1A patent/CN117455940B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017161778A1 (zh) * | 2016-03-25 | 2017-09-28 | 乐视控股（北京）有限公司 | 手掌的掌心位置定位、手势识别方法、装置及智能终端 |
| WO2020098195A1 (zh) * | 2018-11-15 | 2020-05-22 | 上海埃威航空电子有限公司 | 基于ais与视频数据融合的船舶身份识别方法 |
| CN109671016A (zh) * | 2018-12-25 | 2019-04-23 | 网易（杭州）网络有限公司 | 人脸模型的生成方法、装置、存储介质及终端 |
| WO2022000862A1 (zh) * | 2020-06-29 | 2022-01-06 | 苏州科达科技股份有限公司 | 鱼眼图像中的对象检测方法、装置及存储介质 |
| WO2022143237A1 (zh) * | 2020-12-31 | 2022-07-07 | 华为技术有限公司 | 一种目标定位的方法、系统及相关设备 |
| CN115619860A (zh) * | 2022-09-15 | 2023-01-17 | 珠海一微半导体股份有限公司 | 基于图像信息的激光定位方法及机器人 |
| CN116228861A (zh) * | 2023-02-17 | 2023-06-06 | 杭州长川科技股份有限公司 | 探针台标记物定位方法、装置、电子设备及存储介质 |
| CN116434346A (zh) * | 2023-06-12 | 2023-07-14 | 四川汉唐云分布式存储技术有限公司 | 无人值守商店内顾客行为的检测方法、装置及存储介质 |
| CN117058626A (zh) * | 2023-10-12 | 2023-11-14 | 四川汉唐云分布式存储技术有限公司 | 基于智慧数据分析的安全监测系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117455940A (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112581463B (zh) | 图像缺陷的检测方法、装置、电子设备、存储介质及产品 | |
| CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
| CN111091109B (zh) | 基于人脸图像进行年龄和性别预测的方法、系统和设备 | |
| CN111415339B (zh) | 一种复杂纹理工业产品图像缺陷检测方法 | |
| CN108318773B (zh) | 一种输电导线断股检测方法及系统 | |
| CN115809982B (zh) | 电芯压伤检测方法、装置及系统 | |
| CN116168351B (zh) | 电力设备巡检方法及装置 | |
| WO2024002187A1 (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| CN113780484B (zh) | 工业产品缺陷检测方法和装置 | |
| CN116228651A (zh) | 一种布匹缺陷检测方法、系统、设备及介质 | |
| Chavan et al. | Quality control of PCB using image processing | |
| CN115861210A (zh) | 一种基于孪生网络的变电站设备异常检测方法和系统 | |
| CN114331961A (zh) | 用于对象的缺陷检测的方法 | |
| CN117455940B (zh) | 基于云值守的顾客行为检测方法、系统、设备及存储介质 | |
| CN113034446A (zh) | 一种变电站设备缺陷自动识别方法及系统 | |
| CN117351472A (zh) | 烟叶信息检测方法、装置及电子设备 | |
| CN111028250A (zh) | 一种实时智能验布方法及系统 | |
| Huang et al. | Mango surface defect detection based on HALCON | |
| CN116309532A (zh) | 一种目标物品质量检测的方法、装置、设备及介质 | |
| CN116311211A (zh) | 一种气体检测仪检测识别方法、系统及存储介质 | |
| CN115984219A (zh) | 产品表面缺陷检测方法、装置、电子设备及存储介质 | |
| Molefe et al. | Classification of thermite welding defects using local binary patterns and k nearest neighbors | |
| CN111047550A (zh) | 一种基于机器视觉的产品异常检测方法、装置及设备 | |
| CN112581465B (zh) | 一种焊缝缺陷检测方法、系统、终端及存储介质 | |
| CN117474915B (zh) | 一种异常检测方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |