CN116434346A - 无人值守商店内顾客行为的检测方法、装置及存储介质 - Google Patents
无人值守商店内顾客行为的检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116434346A CN116434346A CN202310685271.4A CN202310685271A CN116434346A CN 116434346 A CN116434346 A CN 116434346A CN 202310685271 A CN202310685271 A CN 202310685271A CN 116434346 A CN116434346 A CN 116434346A
- Authority
- CN
- China
- Prior art keywords
- image
- customer
- pixel point
- gray
- gray scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000006399 behavior Effects 0.000 title claims description 98
- 238000012544 monitoring process Methods 0.000 claims abstract description 96
- 238000001514 detection method Methods 0.000 claims abstract description 89
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 70
- 230000000877 morphologic effect Effects 0.000 claims description 51
- 238000000605 extraction Methods 0.000 claims description 28
- 238000002372 labelling Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013461 design Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 238000012549 training Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 206010001488 Aggression Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G06T5/70—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种无人值守商店内顾客行为的检测方法、装置及存储介质，本发明采用机器识别技术，来对无人值守商店内的监控图像中的顾客进行行为识别，如此，可快速得出商店内各个顾客的实际行为，并可在任一顾客的实际行为属于异常行为时，向值守终端发送报警提示，从而提醒值守人员及时采取相应措施处理该行为，以最大程度的保障顾客的人身安全；由此，本发明不仅避免了传统人工监控所存在的漏检和错检的问题，且还在降低工作量以及人力成本的同时，提高了行为监控的实时性，由此，本发明适用于在无人值守商店内顾客行为监控领域的大规模应用与推广。
Description
技术领域
本发明属于无人值守商店内的顾客行为识别技术领域，具体涉及一种无人值守商店内顾客行为的检测方法、装置及存储介质。
背景技术
随着互联网和实体经济的发展，零售业新形态的无人值守商店开始变得火热，对于传统的零售业，人工高、房租高是公认的两大痛点，而无人值守商店则避免了大量的人工开支，其减少了店铺的运营成本，因此，无人值守商店逐渐蔓延到了餐饮、生活服务、图书等行业领域，受到了人们的广泛使用与认可。
目前，由于无人值守商店中没有工作人员看守，所以，无人值守商店内的安保，大多都是通过在商店内安装摄像头来完成，即利用摄像头来实现对商店内顾客的行为监控（如无人值守商店中顾客是否发生跌倒、出现斗殴等暴力行为等），同时，传统的无人值守商店的监控模式又大多都是采用人工在线进行监控或在出现问题后，人工进行监控的查找，这存在以下不足：（1）监控员需要全天候查看视频，这容易使得感官疲劳，从而导致漏检、错检的问题：（2）在线监控以及监控查找工作量大，且人力成本高；基于此，如何提供一种可实现无人值守商店内顾客行为的自动识别的方法，已成为了一个亟待解决的问题。
发明内容
本发明的目的是提供一种无人值守商店内顾客行为的检测方法、装置及存储介质，用以解决现有技术采用人工监控无人值守商店内的顾客行为所存在的容易出现漏检、错检的问题，以及工作量大和人力成本高的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种无人值守商店内顾客行为的检测方法，包括：
获取无人值守商店内的监控图像，其中，所述监控图像中至少包含有一个顾客；
对所述监控图像进行图像质量增强处理，得到质量增强图像，其中，所述质量增强图像中的任一像素点具有灰度符号，所述灰度符号用于表征所述任一像素点对应灰度值的所属灰度级别，且当所述任一像素点的灰度值属于高灰度级别时，该任一像素点的灰度符号为负，当所述任一像素点的灰度值属于低灰度级别时，该任一像素点的灰度符号为正；
基于所述质量增强图像中各个像素点的灰度符号，对所述质量增强图像进行边缘轮廓提取处理，得到所述监控图像中各个顾客的边缘轮廓图像；
对各个顾客的边缘轮廓图像进行轮廓标定处理，得到各个顾客的轮廓标定框；
根据各个顾客的轮廓标定框，确定出各个顾客的形态特征信息；
将各个顾客的形态特征信息输入至行为识别模型中进行行为识别处理，得到各个顾客的实际行为，并在任一顾客的实际行为为异常行为时，向无人值守商店的值守终端发送报警提示。
基于上述公开的内容，本发明先采集无人值守商店内的监控图像，然后对监控图像进行质量增强处理，从而提高监控图像的质量，以方便对监控图像中的各个区域进行区分，从而为后续监控图像中各个顾客的行为识别，提供准确的数据；而后，本发明对质量增强图像进行轮廓提取处理，得到监控图像中各个顾客的边缘轮廓图像；接着，再对各个边缘轮廓图像进行标定处理，得到各个顾客的轮廓标定框；最后，根据各个顾客的轮廓标定框，来确定出各个顾客的形态特征信息，并将各个顾客的形态特征信息输入至行为识别模型，即可得出各个顾客的实际行为；如此，当任一顾客的实际行为属于异常行为时，即可向无人值守商店的值守终端发送报警提示，从而提示值守人员及时核验以及处理，以保证无人值守商店内顾客的人身安全。
通过上述设计，本发明以无人值守商店内的监控图像为数据基础，并通过机器识别的技术，来对无人值守商店内的顾客进行行为识别，从而得到商店内各个顾客的实际行为，同时，在检测到实际行为属于异常行为时，可进行报警提示；如此，本发明不仅避免了传统人工监控所存在的漏检和错检的问题，且还在降低了工作量以及人力成本的同时，提高了行为监控的实时性，由此，本发明适用于在无人值守商店内顾客行为监控领域的大规模应用与推广。
在一个可能的设计中，对所述监控图像进行图像质量增强处理，得到质量增强图像，包括：
对所述监控图像进行灰度化处理，得到灰度图像，并对所述灰度图像中的各个像素点进行灰度调整处理，以在灰度调整后，得到对比度增强图像；
获取二阶微分滤波算子，并基于所述二阶微分滤波算子，对所述对比度增强图像进行去噪处理，以在去噪处理后，得到所述质量增强图像。
在一个可能的设计中，对所述灰度图像中的各个像素点进行灰度调整处理，包括：
采用如下公式（1），对所述灰度图像中的各个像素点进行灰度调整处理；
上述公式（1）中，
为所述灰度图像中像素坐标为/>
的像素点对应的灰度值，
为所述灰度图像中像素坐标为/>
的像素点进行灰度调整后的灰度值；/>
表示最小灰度阈值，/>
表示最大灰度阈值；
相应的，基于所述二阶微分滤波算子，对所述对比度增强图像进行去噪处理，以在去噪处理后，得到所述质量增强图像，则包括：
基于所述二阶微分滤波算子，并采用如下公式（2），对所述对比度增强图像进行去噪处理，以在去噪处理后，得到所述质量增强图像；
上述公式（2）中，
表示所述质量增强图像，/>
表示所述对比度增强图像，/>
表示二维卷积运算符号，/>
表示滤波方差，/>
表示二阶微分滤波算子，其中，所述滤波方差是根据所述二阶微分滤波算子的窗口宽度所确定得到的，且所述滤波方差与所述二阶微分滤波算子的窗口宽度之间的关系式如下述公式（3）所示；
上述公式（3）中，s表示二阶微分滤波算子的窗口宽度，
表示取整运算符。
在一个可能的设计中，基于所述质量增强图像中各个像素点的灰度符号，对所述质量增强图像进行边缘轮廓提取处理，得到所述监控图像中各个顾客的边缘轮廓图像，包括：
对于所述质量增强图像中的第i个像素点，获取以所述第i个像素点为中心的检测区域，并确定出所述检测区域中的灰度极大值和灰度极小值；
基于所述第i个像素点的灰度符号，以及所述第i个像素点对应检测区域中的灰度极大值和灰度极小值，判断所述第i个像素点是否为检测点，其中，所述检测点用于表征所述质量增强图像中属于任一顾客的身体的像素点；
若是，则对所述第i个像素点进行身体标注处理，得到一身体目标点，否则，则将所述第i个像素点进行背景标注处理，得到一背景点；
将i自加1，并重新获取所述第i个像素点的检测区域，直至i等于n时，得到所述质量增强图像中所有的身体目标点和所有的背景点，其中，i的初始值为1，且n为质量增强图像中的像素点总数；
根据所述质量增强图像中所有的身体目标点和所有的背景点，确定出所述监控图像中各个顾客的身体二值化图像；
对各个身体二值化图像进行轮廓提取处理，得到各个顾客的边缘轮廓图像。
在一个可能的设计中，基于所述第i个像素点的灰度符号，以及所述第i个像素点对应检测区域中的灰度极大值和灰度极小值，判断所述第i个像素点是否为检测点，包括：
计算所述第i个像素点对应检测区域中的灰度极大值与灰度极小值之间的差值，以作为第i个像素点的检测阈值；
判断所述第i个像素点的检测阈值是否大于或等于预设阈值；
若是，则判断所述第i个像素点的灰度符号是否为负；
若是，则判定所述第i个像素点为检测点，否则，则判定所述第i个像素点为无关点，并对所述第i个像素点进行背景标注处理，得到一背景点。
在一个可能的设计中，若所述第i个像素点的检测阈值小于预设阈值，则所述方法还包括：
获取所述第i个像素点的四邻域像素点，并确定每个四邻域像素点的八邻域区域；
统计每个八邻域区域中属于检测点的像素点的个数，以及属于背景点的像素点的个数，以分别得到所有八邻域区域中的检测点总数和背景点总数；
判断所述检测点总数是否大于所述背景点总数；
若是，则将所述第i个像素点判定为检测点，否则，则判定所述第i个像素点为无关点，并对所述第i个像素点进行背景标注处理，得到一背景点。
在一个可能的设计中，对各个顾客的边缘轮廓图像进行轮廓标定处理，得到各个顾客的轮廓标定框，包括：
对于任一边缘轮廓图像，采用椭圆和矩形对所述任一边缘轮廓图像进行轮廓拟合标定处理，得到所述任一边缘轮廓图像的椭圆轮廓标定框和矩形轮廓标定框；
相应的，根据各个顾客的轮廓标定框，确定出各个顾客的形态特征信息，则包括：
计算所述矩形轮廓标定框的宽度和长度之间的比值，得到第一形态特征，以及计算所述椭圆轮廓标定框的短轴与长轴之间的比值，得到第二形态特征；
获取所述椭圆轮廓标定框中长轴，与所述椭圆轮廓标定框中的x轴方向的夹角，以作为所述任一边缘轮廓图像对应顾客的第三形态特征；
利用所述第一形态特征、所述第二形态特征以及所述第三形态特征，组成所述任一边缘轮廓图像对应顾客的形态特征向量，以将所述形态特征向量，作为所述任一边缘轮廓图像对应顾客的形态特征信息。
第二方面，提供了一种无人值守商店内顾客行为的检测装置，包括：
图像获取单元，用于获取无人值守商店内的监控图像，其中，所述监控图像中至少包含有一个顾客；
图像增强单元，用于对所述监控图像进行图像质量增强处理，得到质量增强图像，其中，所述质量增强图像中的任一像素点具有灰度符号，所述灰度符号用于表征所述任一像素点对应灰度值的所属灰度级别，且当所述任一像素点的灰度值属于高灰度级别时，该任一像素点的灰度符号为负，当所述任一像素点的灰度值属于低灰度级别时，该任一像素点的灰度符号为正；
轮廓提取单元，用于基于所述质量增强图像中各个像素点的灰度符号，对所述质量增强图像进行边缘轮廓提取处理，得到所述监控图像中各个顾客的边缘轮廓图像；
轮廓提取单元，还用于对各个顾客的边缘轮廓图像进行轮廓标定处理，得到各个顾客的轮廓标定框；
特征提取单元，用于根据各个顾客的轮廓标定框，确定出各个顾客的形态特征信息；
行为识别单元，用于将各个顾客的形态特征信息输入至行为识别模型中进行行为识别处理，得到各个顾客的实际行为，并在任一顾客的实际行为为异常行为时，向无人值守商店的值守终端发送报警提示。
第三方面，提供了另一种无人值守商店内顾客行为的检测装置，以装置为电子设备为例，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计的所述无人值守商店内顾客行为的检测方法。
第四方面，提供了一种存储介质，存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计的所述无人值守商店内顾客行为的检测方法。
第五方面，提供了一种包含指令的计算机程序产品，当指令在计算机上运行时，使计算机执行如第一方面或第一方面中任意一种可能设计的所述无人值守商店内顾客行为的检测方法。
有益效果：
（1）本发明以无人值守商店内的监控图像为数据基础，并通过机器识别的技术，来对无人值守商店内的顾客进行行为识别，从而得到商店内各个顾客的实际行为，同时，在检测到实际行为属于异常行为时，可进行报警提示；如此，本发明不仅避免了传统人工监控所存在的漏检和错检的问题，且还在降低了工作量以及人力成本的同时，提高了行为监控的实时性，由此，本发明适用于在无人值守商店内顾客行为监控领域的大规模应用与推广。
附图说明
图1为本发明实施例提供的无人值守商店内顾客行为的检测方法的步骤流程示意图；
图2为本发明实施例提供的无人值守商店内顾客行为的检测装置的结构示意图；
图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例：
参见图1所示，本实施例所提供的无人值守商店内顾客行为的检测方法，采用机器识别技术，来对无人值守商店内的监控图像中的顾客进行行为识别，如此，可快速得出商店内各个顾客的实际行为，并可在任一顾客的实际行为属于异常行为（如摔倒、斗殴等行为）时，向值守终端发送报警提示，从而提醒值守人员及时采取相应措施处理该行为，以最大程度的保障顾客的人身安全；由此，本发明不仅避免了传统人工监控所存在的漏检和错检的问题，且还降低了工作量以及人力成本，适用于在无人值守商店内顾客行为监控领域的大规模应用与推广；可选的，举例本方法可以但不限于在监控终端或监控平台侧运行；在本实施例中，优选为在监控平台侧运行；可以理解的是，前述执行主体并不构成对本申请实施例的限定，相应的，本方法的运行步骤可以但不限于如下述步骤S1～S6所示。
S1. 获取无人值守商店内的监控图像，其中，所述监控图像中至少包含有一个顾客；在本实施例中，举例监控平台连接有无人值守商店内的各个监控终端（如摄像头），如此，即可获取各个监控终端所上传的监控视频流；而后，监控平台对接收到的各个监控视频流进行逐帧处理，即可得到各个监控视频流所对应的监控图像；最后，监控平台则可以各个监控图像作为行为识别的数据基础，从而来实现无人值守商店内各个顾客的行为识别；可选的，举例监控平台可按照预设时间间隔，来对接收到的监控视频流所对应的监控图像进行图像处理；如在第1s，对第1s接收到的各个监控图像中的顾客行为进行识别；在第2s，对第2s接收到的各个监控图像中的顾客行为进行识别，并以此原理，不间断处理，以最终实现无人值守商店内顾客行为的不间断识别；当然，各个监控终端也可向监控平台直接发送监控图像，其识别过程与前述举例一致，于此不再赘述。
更进一步的，由于一个视频流中各个监控图像内顾客的行为识别方法原理相同，下述以一张监控图像为例，来具体阐述图像中各个顾客的行为识别过程，其中，识别过程可以但不限于如下述步骤S2～S6所示。
S2. 对所述监控图像进行图像质量增强处理，得到质量增强图像，其中，所述质量增强图像中的任一像素点具有灰度符号，所述灰度符号用于表征所述任一像素点对应灰度值的所属灰度级别，且当所述任一像素点的灰度值属于高灰度级别时，该任一像素点的灰度符号为负，当所述任一像素点的灰度值属于低灰度级别时，该任一像素点的灰度符号为正；在具体应用时，图像质量增强处理可以但不限于包括对比度增强处理以及去噪处理，其中，前述处理过程可以但不限于如下述步骤S21和步骤S22所示。
S21. 对所述监控图像进行灰度化处理，得到灰度图像，并对所述灰度图像中的各个像素点进行灰度调整处理，以在灰度调整后，得到对比度增强图像；在具体实施时，将该监控图像进行灰度化处理，可增加对比，突出目标区域，同时，灰度图像相比于彩色图像，其运算数据量更小，可提高行为识别速度；而灰度图像进行灰度调整，则可改善图像质量，进一步的增加图像中各个区域的对比度，从而便于在后续图像中进行顾客身体部分与背景部分的区分。
可选的，举例可以但不限于采用如下公式（1），对所述灰度图像中的各个像素点进行灰度调整处理，从而得到各个像素点进行灰度调整后的灰度值。
上述公式（1）中，
为所述灰度图像中像素坐标为/>
的像素点对应的灰度值，
为所述灰度图像中像素坐标为/>
的像素点进行灰度调整后的灰度值；/>
表示最小灰度阈值，/>
表示最大灰度阈值；在本实施例中，假设监控图像的尺寸为m×k，那么x的取值为[1,m]，y的取值则为[1,k]，当然，x，y取值为整数，同时，最小灰度阈值和最大灰度阈值，可预先设置在监控平台，且可根据实际使用而具体设定，在此不作具体限定。
在基于前述公式（1）完成灰度图像中各个像素点的灰度调整后，即可实现灰度图像中对比度的进一步的提高，从而得到对比度增强图像；而后，为避免图像中的噪声，对后续行为识别的干扰，本实施例还需对对比度增强图像进行去噪处理；其中，去噪处理过程可以但不限于如下述步骤S22所示。
S22. 获取二阶微分滤波算子，并基于所述二阶微分滤波算子，对所述对比度增强图像进行去噪处理，以在去噪处理后，得到所述质量增强图像；在具体应用时，实质是将二阶微分滤波算子，来与对比度增强图像进行二维卷积处理，从而来得到质量增强图像；更进一步的，前述二维卷积处理，可以但不限于采用如下公式（2）来实现。
上述公式（2）中，
表示所述质量增强图像，/>
表示所述对比度增强图像，/>
表示二维卷积运算符号，/>
表示滤波方差，/>
表示二阶微分滤波算子，其中，所述滤波方差是根据所述二阶微分滤波算子的窗口宽度所确定得到的，且所述滤波方差与所述二阶微分滤波算子的窗口宽度之间的关系式如下述公式（3）所示；
上述公式（3）中，s表示二阶微分滤波算子的窗口宽度，
表示取整运算符。
在本实施例中，二阶微分滤波算子，实质是d×d的矩阵，如此，在基于前述公式（2）进行二维卷积运算时，对于对比度增强图像中的任一像素点，先从对比度增强图像中提取出该任一像素点的相邻点，从而组成该任一像素点的邻接矩阵，而后，用该邻接矩阵与二阶微分滤波算子做二维卷积运算，得出运算结果，并使用运算结果替换前述任一像素点的灰度值，如此，即可完成该任一像素点的二维卷积处理；可选的，邻接矩阵的尺寸也为d×d，且d为大于1的奇数；更进一步的，邻接矩阵是以该任一像素点为中心，并在对比度增强图像中，取该任一像素点的（d×d-1）个的邻接像素点所构建得到的（如8邻域等）；当然，邻接矩阵中的各个元素则是指灰度值；另外，若对比度增强图像中的任一像素点为其对应的边界点，那么，其不存在的邻接像素点的灰度值则用0来代替。
同时，假设邻接矩阵中各个元素的坐标用
表示，那么，前述公式（2）则可变形为：
上述公式（4）中，
则是像素坐标为（x，y）对应像素点的邻接矩阵，
；如此，对对比度增强图像中的任一像素点的二维卷积处理，则变为两个d×d的二维卷积处理。
另外，在本实施例中，二阶微分滤波算子的窗口宽度，则是指其列数，也就是s=d，且优选为s为5；另外，经过前述二阶微分滤波算子进行二维卷积处理后，对比度增强图像中各个像素点的运算结果具有正负，如此，相当于实现了灰度值的区分，即经过前述公式（2）的运算后，对比度增强图像中低灰度值侧的像素点的灰度值为负数，而高灰度值侧的像素点的灰度值为正数（即灰度值为负，其所属灰度值为低灰度级别，反之，则为高灰度级别）；基于此，即可利用二维卷积运算结果，来得到质量增强图像中各个像素点的灰度符号，以便于后续基于各个像素点的灰度符号，来实现图像中背景与顾客身体区域之间的分离。
如此通过前述步骤S21和步骤S22，本发明不仅实现了监控图像的对比图增强处理以及去噪处理，同时，利用去噪时所使用的二阶微分滤波算子，还可实现像素点高低灰度值的区分；由此，则可为后续质量增强图像中各个顾客的轮廓提取，提供相应的提取依据。
可选的，质量增强图像中各个顾客的轮廓提取过程，可以但不限于如下述步骤S3所示。
S3. 基于所述质量增强图像中各个像素点的灰度符号，对所述质量增强图像进行边缘轮廓提取处理，得到所述监控图像中各个顾客的边缘轮廓图像；在具体应用时，举例可以但不限于根据质量增强图像中各个像素点的灰度符号，来先确定出质量增强图像中各个顾客的身体区域所对应的二值化图像，然后，再对各个二值化图像进行轮廓识别，从而来得到监控图像中各个顾客的边缘轮廓图像；
可选的，前述边缘轮廓图像的提取过程可以但不限于如下述步骤S31～S36所示。
S31. 对于所述质量增强图像中的第i个像素点，获取以所述第i个像素点为中心的检测区域，并确定出所述检测区域中的灰度极大值和灰度极小值；在本实施例中，举例检测区域的尺寸可以但不限于为（2d+1）×（2d+1）；同时，对于检测区域中的灰度极大值和灰度极小值，可以但不限于采用二维图像局部窗口极值快速算法来确定出，其为局部区域内极值的常用求取技术，在本实施例中不再赘述。
在得到第i个像素点对应检测区域的灰度极大值和灰度极小值后，则可结合该第i个像素点的灰度符号，来判断第i个像素点是否属于检测点（即是否表征任一顾客的身体的像素点）；其中，前述判断过程可以但不限于如下述步骤S32所示。
S32. 基于所述第i个像素点的灰度符号，以及所述第i个像素点对应检测区域中的灰度极大值和灰度极小值，判断所述第i个像素点是否为检测点，其中，所述检测点用于表征所述质量增强图像中属于任一顾客的身体的像素点；在本实施例中，可以但不限于先根据前述灰度极大值和灰度极小值的差值，来判断该点是否可依据其对应的灰度符号，来直接确定出其为检测点或背景点，然后，根据该差值的判断结果，来进行后续的处理；具体的，前述第i个像素点是否为检测点的具体判断过程可以但不限于如下述步骤S32a～S32d所示。
S32a. 计算所述第i个像素点对应检测区域中的灰度极大值与灰度极小值之间的差值，以作为第i个像素点的检测阈值。
S32b. 判断所述第i个像素点的检测阈值是否大于或等于预设阈值；在具体应用时，举例预设阈值可以但不限于为5；如此，当检测阈值大于5时，可判定该第i个像素点依据其对应的灰度符号，能够直接确定出其为检测点还是背景点；如此，当第i个像素点的检测阈值大于预设阈值时，即可直接基于第i个像素点的灰度符号，来判定出第i个像素点为检测点还是背景点，其判定过程如下述步骤S32c和步骤S32d所示。
S32c. 若是，则判断所述第i个像素点的灰度符号是否为负；在本实施例中，若第i个像素点的灰度符号为负，则说明其属于监控图像中某个顾客的身体像素点，为检测点；反之，若灰度符号为正，其说明其不属于监控图像中某个顾客的身体像素点，为背景点；其中，前述判定过程如下述步骤S32d所示。
S32d. 若是，则判定所述第i个像素点为检测点，否则，则判定所述第i个像素点为无关点，并对所述第i个像素点进行背景标注处理，得到一背景点；如此通过前述设计，即可依据第i个像素点的灰度符号，以及其对应检测区域中的灰度极大值和灰度极小值，来确定出该第i个像素点是否为检测点或背景点，以便后续对检测点或背景点进行二值化处理，得到监控图像中各个顾客的身体二值化图像。
更进一步的，若前述第i个像素点对应检测区域中的灰度极大值和灰度极小值之间的差值，小于预设阈值，则说明依据其对应的灰度符号，不能直接判定该第i个像素点为检测点还是背景点；如此，则需要采用如下步骤第一步至第四步，来进一步的判断。
第一步：获取所述第i个像素点的四邻域像素点，并确定每个四邻域像素点的八邻域区域；在实施例中，举例第i个像素点的坐标为（x1，y1），其四邻域像素点的坐标则分别为：（x1，y1+1），（x1，y1-1），（x1+1，y1），（x1-1，y1）；如此，取前述各个四邻域像素点的八邻域区域，则可作为后续判断的数据基础；其中，基于各个四邻域像素点的八邻域区域，来判定第i个像素点是否为检测点的过程，可以但不限于如下述第二步至第四步所示。
第二步：统计每个八邻域区域中属于检测点的像素点的个数，以及属于背景点的像素点的个数，以分别得到所有八邻域区域中的检测点总数和背景点总数；在本实施例中，判断任一八邻域区域中各个像素点是否为检测点或背景点的检测方法，可参见前述步骤S32～S36所示，且在本实施例中，若任一八邻域区域中的任一像素点对应检测区域中的灰度极大值和灰度极小值之间的差值，小于预设阈值，那么，则将该任一八邻域区域中的任一像素点标注为干扰点，不参与后续的判断过程，如此，在第二步中，其统计对象相当于仅为检测阈值大于预设阈值的像素点（下述称为目标点），且分别统计前述目标点中灰度符号为正，以及灰度符号为负的目标点的个数；如此，基于前述所有八邻域区域中检测点的个数，以及背景点的个数，即可判断出第i个像素点为检测点还是背景点；具体的，判断过程如下述第三步和第四步所示。
第三步：判断所述检测点总数是否大于所述背景点总数。
第四步：若是，将所述第i个像素点判定为检测点，否则，则判定所述第i个像素点为无关点，并对所述第i个像素点进行背景标注处理，得到一背景点。
由于通过前述步骤S32a～S32d，以及前述步骤中各步骤的子步骤，即可确定出第i个像素点为检测点还是背景点；而后，在完成第i个像素点的分类后，即可按照分类结果进行标注，如下述步骤S33所示。
S33. 若是，则对所述第i个像素点进行身体标注处理，得到一身体目标点，否则，则将所述第i个像素点进行背景标注处理，得到一背景点；在本实施例中，可采用不同的标识符对第i个像素点进行身体标注处理和背景标注处理；当然，可记录为身体目标点和背景点的像素点的坐标，从而根据坐标来进行后续的图像区域的区分。
基于此，以前述相同原理，来对各个像素点进行标注，直至质量增强图像中所有像素点均完成标注后，即可得到监控图像中各个顾客的身体二值化图像，其循环过程可以但不限于如下述步骤S34所示。
S34. 将i自加1，并重新获取所述第i个像素点的检测区域，直至i等于n时，得到所述质量增强图像中所有的身体目标点和所有的背景点，其中，i的初始值为1，且n为质量增强图像中的像素点总数；在本实施例中，得到所有身体目标点和所有背景点后，相当于就完成了顾客图像与图像背景的分离，而后，设置不同的灰度值，即可得到身体二值化图像，如下述步骤S35所示。
S35. 根据所述质量增强图像中所有的身体目标点和所有的背景点，确定出所述监控图像中各个顾客的身体二值化图像；在本实施例中，可以但不限于将各个身体目标点的灰度值设置为255，以及将背景点的灰度值设置为0；如此，即可完成图像中顾客与背景之间的区分，得到各个顾客的身体二值化图像，从而为后续的轮廓提取，提供数据基础。
在得到各个顾客的身体二值化图像后，即可基于各个身体二值化图像，来提取出各个顾客所对应的边缘轮廓图像；其中，轮廓提取过程可以但不限于如下述步骤S36所示。
S36. 对各个身体二值化图像进行轮廓提取处理，得到各个顾客的边缘轮廓图像；在本实施例中，对于任一身体二值化图像，可使用一个一维数组，用来记录处理的该任一身体二值化图像中各个像素点的周围8邻域的信息，且对于该任一身体二值化图像中的任一像素点，若该任一身体二值化图像中的任一像素点所对应的8个邻域的像素点的灰度值，与其中心点的灰度值相同（中心点则为该任一像素点），那么则可判定该任一身体二值化图像中的任一像素点，在物体内部，需要予以删除，反之，则认为其为边缘点，可予以保留；如此，以前述相同原理，来将该任一身体二值化图像中的所有像素点均处理完毕后，即可得到该任一身体二值化图像所对应的边缘轮廓图像。
在得到各个身体二值化图像所对应的边缘轮廓图像后，即可基于边缘轮廓图像，来进行形态特征信息的提取，其中，形态特征的提取过程可以但不限于如下述步骤S4和步骤S5所示。
S4. 对各个顾客的边缘轮廓图像进行轮廓标定处理，得到各个顾客的轮廓标定框；在本实施例中，对于任一边缘轮廓图像，可以但不限于采用椭圆和矩形对所述任一边缘轮廓图像进行轮廓拟合标定处理，得到所述任一边缘轮廓图像的椭圆轮廓标定框和矩形轮廓标定框；同时，举例可以但不限于采用OpenCV组件提供的多种轮廓近似多边形的拟合函数，来实现前述轮廓拟合标定处理，如采用该组件中的cv2.minAreaRect()函数，来确定出任一边缘轮廓图像最小的矩形框，又如，采用cv2.minEnclosingCircle()，来确定出该任一边缘轮廓图像最小的圆形框；再如，采用cv2.fitEllipse()函数，来确定出该任一边缘轮廓图像最小的椭圆形框等等；如此，利用前述OpenCV组件，即可完成各个边缘轮廓图像的轮廓标定，从而得到各个边缘轮廓图像所对应的椭圆轮廓标定框和矩形轮廓标定框。
在得到各个边缘轮廓图像所对应的椭圆轮廓标定框和矩形轮廓标定框后，即可依据前述两种标定框，来进行形态特征提取，如下述步骤S5所示。
S5. 根据各个顾客的轮廓标定框，确定出各个顾客的形态特征信息；在本实施例中，还是以任一边缘轮廓图像所对应的椭圆轮廓标定框和矩形轮廓标定框为例，来阐述该任一边缘轮廓图像对应顾客形态特征信息的提取过程，其可以但不限于如下述步骤S51～S53所示。
S51. 计算所述矩形轮廓标定框的宽度和长度之间的比值，得到第一形态特征，以及计算所述椭圆轮廓标定框的短轴与长轴之间的比值，得到第二形态特征。
S52. 获取所述椭圆轮廓标定框中长轴，与所述椭圆轮廓标定框中的x轴方向的夹角，以作为所述任一边缘轮廓图像对应顾客的第三形态特征；在本实施例中，椭圆轮廓标定框中的x轴方向，则是该任一边缘轮廓图像的长度方向。
如此，基于前述三个形态特征，即可组成该所述任一边缘轮廓图像对应顾客的形态特征信息，如下述步骤S53所示。
S53. 利用所述第一形态特征、所述第二形态特征以及所述第三形态特征，组成所述任一边缘轮廓图像对应顾客的形态特征向量，以将所述形态特征向量，作为所述任一边缘轮廓图像对应顾客的形态特征信息；在本实施例中，举例前述形态特征向量为行向量。
由此基于前述步骤S51～S53，即可计算出各个顾客的形态特征向量，而后，依据前述形态特征向量，则可识别出各个顾客在无人值守商店内的行为；其中，行为识别过程如下述步骤S6所示。
S6. 将各个顾客的形态特征信息输入至行为识别模型中进行行为识别处理，得到各个顾客的实际行为，并在任一顾客的实际行为为异常行为时，向无人值守商店的值守终端发送报警提示；在本实施例中，举例行为识别模型可以但不限于为训练后的BP神经网络，且训练过程为：获取不同样本人员对应样本行为所对应的形态特征信息，以各个样本人员的样本行为所对应的形态特征信息为输入，各个样本人员的行为识别结果为输出，训练BP神经网络模型，训练结束后，则可得到行为识别模型；同时，举例异常行为可以但不限于包括：奔跑、摔倒、踢踹、推搡等等；如此，将识别出的任一实际行为属于该异常行为中的任意一种时，监控平台即可向无人值守商店的值守终端发送报警信息，以提醒值守人员及时核实，并采取相应措施进行处理，从而最大程度的保证商店内顾客的人身安全。
由此通过前述步骤S1～S6所详细描述的无人值守商店内顾客行为的检测方法，本发明采用机器识别技术，来对无人值守商店内的监控图像中的顾客进行行为识别，如此，可快速得出商店内各个顾客的实际行为，并可在任一顾客的实际行为属于异常行为时，向值守终端发送报警提示，从而提醒值守人员及时采取相应措施处理该行为，以最大程度的保障顾客的人身安全；由此，本发明不仅避免了传统人工监控所存在的漏检和错检的问题，且还在降低工作量以及人力成本的同时，提高了行为监控的实时性，由此，本发明适用于在无人值守商店内顾客行为监控领域的大规模应用与推广。
如图2所示，本实施例第二方面提供了一种实现实施例第一方面中所述的无人值守商店内顾客行为的检测方法的硬件装置，包括：
图像获取单元，用于获取无人值守商店内的监控图像，其中，所述监控图像中至少包含有一个顾客。
图像增强单元，用于对所述监控图像进行图像质量增强处理，得到质量增强图像，其中，所述质量增强图像中的任一像素点具有灰度符号，所述灰度符号用于表征所述任一像素点对应灰度值的所属灰度级别，且当所述任一像素点的灰度值属于高灰度级别时，该任一像素点的灰度符号为负，当所述任一像素点的灰度值属于低灰度级别时，该任一像素点的灰度符号为正。
轮廓提取单元，用于基于所述质量增强图像中各个像素点的灰度符号，对所述质量增强图像进行边缘轮廓提取处理，得到所述监控图像中各个顾客的边缘轮廓图像。
轮廓提取单元，还用于对各个顾客的边缘轮廓图像进行轮廓标定处理，得到各个顾客的轮廓标定框。
特征提取单元，用于根据各个顾客的轮廓标定框，确定出各个顾客的形态特征信息。
行为识别单元，用于将各个顾客的形态特征信息输入至行为识别模型中进行行为识别处理，得到各个顾客的实际行为，并在任一顾客的实际行为为异常行为时，向无人值守商店的值守终端发送报警提示。
本实施例提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
如图3所示，本实施例第三方面提供了另一种无人值守商店内顾客行为的检测装置，以装置为电子设备为例，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的无人值守商店内顾客行为的检测方法。
具体举例的，所述存储器可以但不限于包括随机存取存储器（random accessmemory，RAM）、只读存储器（Read Only Memory ，ROM）、闪存（Flash Memory）、先进先出存储器（First Input First Output，FIFO）和/或先进后出存储器（First In Last Out，FILO）等等；具体地，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现，同时，处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制，例如，所述处理器可以不限于采用型号为STM32F105系列的微处理器、精简指令集计算机（reduced instruction setcomputer,RISC）微处理器、X86等架构处理器或集成嵌入式神经网络处理器（neural-network processing units，NPU）的处理器；所述收发器可以但不限于为无线保真（WIFI）无线收发器、蓝牙无线收发器、通用分组无线服务技术（General Packet Radio Service，GPRS）无线收发器、紫蜂协议（基于IEEE802.15.4标准的低功耗局域网协议，ZigBee）无线收发器、3G收发器、4G收发器和/或5G收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例提供的电子设备的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第四方面提供了一种存储包含有实施例第一方面所述的无人值守商店内顾客行为的检测方法的指令的存储介质，即所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如实施例第一方面所述的无人值守商店内顾客行为的检测方法。
其中，所述存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例提供的存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的无人值守商店内顾客行为的检测方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种无人值守商店内顾客行为的检测方法，其特征在于，包括：
获取无人值守商店内的监控图像，其中，所述监控图像中至少包含有一个顾客；
对所述监控图像进行图像质量增强处理，得到质量增强图像，其中，所述质量增强图像中的任一像素点具有灰度符号，所述灰度符号用于表征所述任一像素点对应灰度值的所属灰度级别，且当所述任一像素点的灰度值属于高灰度级别时，该任一像素点的灰度符号为负，当所述任一像素点的灰度值属于低灰度级别时，该任一像素点的灰度符号为正；
基于所述质量增强图像中各个像素点的灰度符号，对所述质量增强图像进行边缘轮廓提取处理，得到所述监控图像中各个顾客的边缘轮廓图像；
对各个顾客的边缘轮廓图像进行轮廓标定处理，得到各个顾客的轮廓标定框；
根据各个顾客的轮廓标定框，确定出各个顾客的形态特征信息；
将各个顾客的形态特征信息输入至行为识别模型中进行行为识别处理，得到各个顾客的实际行为，并在任一顾客的实际行为为异常行为时，向无人值守商店的值守终端发送报警提示。
2.根据权利要求1所述的方法，其特征在于，对所述监控图像进行图像质量增强处理，得到质量增强图像，包括：
对所述监控图像进行灰度化处理，得到灰度图像，并对所述灰度图像中的各个像素点进行灰度调整处理，以在灰度调整后，得到对比度增强图像；
获取二阶微分滤波算子，并基于所述二阶微分滤波算子，对所述对比度增强图像进行去噪处理，以在去噪处理后，得到所述质量增强图像。
3.根据权利要求2所述的方法，其特征在于，对所述灰度图像中的各个像素点进行灰度调整处理，包括：
采用如下公式（1），对所述灰度图像中的各个像素点进行灰度调整处理；
上述公式（1）中，
为所述灰度图像中像素坐标为/>
的像素点对应的灰度值，/>
为所述灰度图像中像素坐标为/>
的像素点进行灰度调整后的灰度值；/>
表示最小灰度阈值，/>
表示最大灰度阈值；
相应的，基于所述二阶微分滤波算子，对所述对比度增强图像进行去噪处理，以在去噪处理后，得到所述质量增强图像，则包括：
基于所述二阶微分滤波算子，并采用如下公式（2），对所述对比度增强图像进行去噪处理，以在去噪处理后，得到所述质量增强图像；
上述公式（2）中，
表示所述质量增强图像，/>
表示所述对比度增强图像，/>
表示二维卷积运算符号，/>
表示滤波方差，/>
表示二阶微分滤波算子，其中，所述滤波方差是根据所述二阶微分滤波算子的窗口宽度所确定得到的，且所述滤波方差与所述二阶微分滤波算子的窗口宽度之间的关系式如下述公式（3）所示；
上述公式（3）中，s表示二阶微分滤波算子的窗口宽度，
表示取整运算符。
4.根据权利要求1所述的方法，其特征在于，基于所述质量增强图像中各个像素点的灰度符号，对所述质量增强图像进行边缘轮廓提取处理，得到所述监控图像中各个顾客的边缘轮廓图像，包括：
对于所述质量增强图像中的第i个像素点，获取以所述第i个像素点为中心的检测区域，并确定出所述检测区域中的灰度极大值和灰度极小值；
基于所述第i个像素点的灰度符号，以及所述第i个像素点对应检测区域中的灰度极大值和灰度极小值，判断所述第i个像素点是否为检测点，其中，所述检测点用于表征所述质量增强图像中属于任一顾客的身体的像素点；
若是，则对所述第i个像素点进行身体标注处理，得到一身体目标点，否则，则将所述第i个像素点进行背景标注处理，得到一背景点；
将i自加1，并重新获取所述第i个像素点的检测区域，直至i等于n时，得到所述质量增强图像中所有的身体目标点和所有的背景点，其中，i的初始值为1，且n为质量增强图像中的像素点总数；
根据所述质量增强图像中所有的身体目标点和所有的背景点，确定出所述监控图像中各个顾客的身体二值化图像；
对各个身体二值化图像进行轮廓提取处理，得到各个顾客的边缘轮廓图像。
5.根据权利要求4所述的方法，其特征在于，基于所述第i个像素点的灰度符号，以及所述第i个像素点对应检测区域中的灰度极大值和灰度极小值，判断所述第i个像素点是否为检测点，包括：
计算所述第i个像素点对应检测区域中的灰度极大值与灰度极小值之间的差值，以作为第i个像素点的检测阈值；
判断所述第i个像素点的检测阈值是否大于或等于预设阈值；
若是，则判断所述第i个像素点的灰度符号是否为负；
若是，则判定所述第i个像素点为检测点，否则，则判定所述第i个像素点为无关点，并对所述第i个像素点进行背景标注处理，得到一背景点。
6.根据权利要求5所述的方法，其特征在于，若所述第i个像素点的检测阈值小于预设阈值，则所述方法还包括：
获取所述第i个像素点的四邻域像素点，并确定每个四邻域像素点的八邻域区域；
统计每个八邻域区域中属于检测点的像素点的个数，以及属于背景点的像素点的个数，以分别得到所有八邻域区域中的检测点总数和背景点总数；
判断所述检测点总数是否大于所述背景点总数；
若是，则将所述第i个像素点判定为检测点，否则，则判定所述第i个像素点为无关点，并对所述第i个像素点进行背景标注处理，得到一背景点。
7.根据权利要求1所述的方法，其特征在于，对各个顾客的边缘轮廓图像进行轮廓标定处理，得到各个顾客的轮廓标定框，包括：
对于任一边缘轮廓图像，采用椭圆和矩形对所述任一边缘轮廓图像进行轮廓拟合标定处理，得到所述任一边缘轮廓图像的椭圆轮廓标定框和矩形轮廓标定框；
相应的，根据各个顾客的轮廓标定框，确定出各个顾客的形态特征信息，则包括：
计算所述矩形轮廓标定框的宽度和长度之间的比值，得到第一形态特征，以及计算所述椭圆轮廓标定框的短轴与长轴之间的比值，得到第二形态特征；
获取所述椭圆轮廓标定框中的长轴，与所述椭圆轮廓标定框中的x轴方向的夹角，以作为所述任一边缘轮廓图像对应顾客的第三形态特征；
利用所述第一形态特征、所述第二形态特征以及所述第三形态特征，组成所述任一边缘轮廓图像对应顾客的形态特征向量，以将所述形态特征向量，作为所述任一边缘轮廓图像对应顾客的形态特征信息。
8.一种无人值守商店内顾客行为的检测装置，其特征在于，包括：
图像获取单元，用于获取无人值守商店内的监控图像，其中，所述监控图像中至少包含有一个顾客；
图像增强单元，用于对所述监控图像进行图像质量增强处理，得到质量增强图像，其中，所述质量增强图像中的任一像素点具有灰度符号，所述灰度符号用于表征所述任一像素点对应灰度值的所属灰度级别，且当所述任一像素点的灰度值属于高灰度级别时，该任一像素点的灰度符号为负，当所述任一像素点的灰度值属于低灰度级别时，该任一像素点的灰度符号为正；
轮廓提取单元，用于基于所述质量增强图像中各个像素点的灰度符号，对所述质量增强图像进行边缘轮廓提取处理，得到所述监控图像中各个顾客的边缘轮廓图像；
轮廓提取单元，还用于对各个顾客的边缘轮廓图像进行轮廓标定处理，得到各个顾客的轮廓标定框；
特征提取单元，用于根据各个顾客的轮廓标定框，确定出各个顾客的形态特征信息；
行为识别单元，用于将各个顾客的形态特征信息输入至行为识别模型中进行行为识别处理，得到各个顾客的实际行为，并在任一顾客的实际行为为异常行为时，向无人值守商店的值守终端发送报警提示。
9.一种无人值守商店内顾客行为的检测装置，其特征在于，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7任意一项所述的无人值守商店内顾客行为的检测方法。
10.一种存储介质，其特征在于，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7任意一项所述的无人值守商店内顾客行为的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310685271.4A CN116434346B (zh) | 2023-06-12 | 2023-06-12 | 无人值守商店内顾客行为的检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310685271.4A CN116434346B (zh) | 2023-06-12 | 2023-06-12 | 无人值守商店内顾客行为的检测方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116434346A true CN116434346A (zh) | 2023-07-14 |
| CN116434346B CN116434346B (zh) | 2023-08-18 |
Family
ID=87089399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310685271.4A Active CN116434346B (zh) | 2023-06-12 | 2023-06-12 | 无人值守商店内顾客行为的检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116434346B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117455940A (zh) * | 2023-12-25 | 2024-01-26 | 四川汉唐云分布式存储技术有限公司 | 基于云值守的顾客行为检测方法、系统、设备及存储介质 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103077373A (zh) * | 2012-12-30 | 2013-05-01 | 信帧电子技术（北京）有限公司 | 基于上肢推搡检测打架行为的方法 |
| WO2016047890A1 (ko) * | 2014-09-26 | 2016-03-31 | 숭실대학교산학협력단 | 보행 보조 방법 및 시스템, 이를 수행하기 위한 기록매체 |
| CN105718857A (zh) * | 2016-01-13 | 2016-06-29 | 兴唐通信科技有限公司 | 一种人体异常行为检测方法及系统 |
| CN106127148A (zh) * | 2016-06-21 | 2016-11-16 | 华南理工大学 | 一种基于机器视觉的手扶电梯乘客异常行为检测算法 |
| CN106991790A (zh) * | 2017-05-27 | 2017-07-28 | 重庆大学 | 基于多模特征分析的老人摔倒实时监测方法及系统 |
| CN107862775A (zh) * | 2017-11-29 | 2018-03-30 | 深圳易伙科技有限责任公司 | 一种基于人工智能的超市商品防盗预警系统及方法 |
| CN107992779A (zh) * | 2017-12-29 | 2018-05-04 | 深圳正品创想科技有限公司 | 一种顾客行为监督方法、系统及无人商店 |
| CN109522793A (zh) * | 2018-10-10 | 2019-03-26 | 华南理工大学 | 基于机器视觉的多人异常行为检测与识别方法 |
| CN109977823A (zh) * | 2019-03-15 | 2019-07-05 | 百度在线网络技术（北京）有限公司 | 行人识别跟踪方法、装置、计算机设备和存储介质 |
| CN110309698A (zh) * | 2019-03-21 | 2019-10-08 | 绵阳师范学院 | 运动人体异常行为自动识别方法 |
| CN110765964A (zh) * | 2019-10-30 | 2020-02-07 | 常熟理工学院 | 基于计算机视觉的电梯轿厢内异常行为的检测方法 |
| US20200211202A1 (en) * | 2018-12-28 | 2020-07-02 | Fujitsu Limited | Fall detection method, fall detection apparatus and electronic device |
| US20200221054A1 (en) * | 2013-03-15 | 2020-07-09 | James Carey | Video identification and analytical recognition system |
| CN111681018A (zh) * | 2019-03-11 | 2020-09-18 | 宏碁股份有限公司 | 顾客行为分析方法与顾客行为分析系统 |
| CN112257494A (zh) * | 2020-09-09 | 2021-01-22 | 贵州赋行智能科技有限公司 | 一种基于智能视频分析技术的行为识别方法及应用 |
| CN114092958A (zh) * | 2020-07-31 | 2022-02-25 | 华为技术有限公司 | 目标重识别的方法、系统、电子设备和可读存储介质 |
| CN115497055A (zh) * | 2022-11-18 | 2022-12-20 | 四川汉唐云分布式存储技术有限公司 | 无人值守商店的商品防盗检测方法、装置及存储介质 |
-
2023
- 2023-06-12 CN CN202310685271.4A patent/CN116434346B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103077373A (zh) * | 2012-12-30 | 2013-05-01 | 信帧电子技术（北京）有限公司 | 基于上肢推搡检测打架行为的方法 |
| US20200221054A1 (en) * | 2013-03-15 | 2020-07-09 | James Carey | Video identification and analytical recognition system |
| WO2016047890A1 (ko) * | 2014-09-26 | 2016-03-31 | 숭실대학교산학협력단 | 보행 보조 방법 및 시스템, 이를 수행하기 위한 기록매체 |
| CN105718857A (zh) * | 2016-01-13 | 2016-06-29 | 兴唐通信科技有限公司 | 一种人体异常行为检测方法及系统 |
| CN106127148A (zh) * | 2016-06-21 | 2016-11-16 | 华南理工大学 | 一种基于机器视觉的手扶电梯乘客异常行为检测算法 |
| CN106991790A (zh) * | 2017-05-27 | 2017-07-28 | 重庆大学 | 基于多模特征分析的老人摔倒实时监测方法及系统 |
| CN107862775A (zh) * | 2017-11-29 | 2018-03-30 | 深圳易伙科技有限责任公司 | 一种基于人工智能的超市商品防盗预警系统及方法 |
| CN107992779A (zh) * | 2017-12-29 | 2018-05-04 | 深圳正品创想科技有限公司 | 一种顾客行为监督方法、系统及无人商店 |
| CN109522793A (zh) * | 2018-10-10 | 2019-03-26 | 华南理工大学 | 基于机器视觉的多人异常行为检测与识别方法 |
| CN111382606A (zh) * | 2018-12-28 | 2020-07-07 | 富士通株式会社 | 摔倒检测方法、摔倒检测装置和电子设备 |
| US20200211202A1 (en) * | 2018-12-28 | 2020-07-02 | Fujitsu Limited | Fall detection method, fall detection apparatus and electronic device |
| CN111681018A (zh) * | 2019-03-11 | 2020-09-18 | 宏碁股份有限公司 | 顾客行为分析方法与顾客行为分析系统 |
| CN109977823A (zh) * | 2019-03-15 | 2019-07-05 | 百度在线网络技术（北京）有限公司 | 行人识别跟踪方法、装置、计算机设备和存储介质 |
| CN110309698A (zh) * | 2019-03-21 | 2019-10-08 | 绵阳师范学院 | 运动人体异常行为自动识别方法 |
| CN110765964A (zh) * | 2019-10-30 | 2020-02-07 | 常熟理工学院 | 基于计算机视觉的电梯轿厢内异常行为的检测方法 |
| CN114092958A (zh) * | 2020-07-31 | 2022-02-25 | 华为技术有限公司 | 目标重识别的方法、系统、电子设备和可读存储介质 |
| CN112257494A (zh) * | 2020-09-09 | 2021-01-22 | 贵州赋行智能科技有限公司 | 一种基于智能视频分析技术的行为识别方法及应用 |
| CN115497055A (zh) * | 2022-11-18 | 2022-12-20 | 四川汉唐云分布式存储技术有限公司 | 无人值守商店的商品防盗检测方法、装置及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| LUO HONGQI等: "Research on feature extraction of mechanical operators with abnormal behavior", 2020 2ND INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY AND COMPUTER APPLICATION (ITCA), pages 609 - 613 * |
| 姬晓飞等: "人体检测与异常行为识别联合算法", 科学技术与工程, vol. 23, no. 08, pages 3370 - 3378 * |
| 杨天金: "面向行为识别的深度特征表示与模态融合", 中国优秀硕士学位论文全文数据库 信息科技辑, pages 138 - 2429 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117455940A (zh) * | 2023-12-25 | 2024-01-26 | 四川汉唐云分布式存储技术有限公司 | 基于云值守的顾客行为检测方法、系统、设备及存储介质 |
| CN117455940B (zh) * | 2023-12-25 | 2024-02-27 | 四川汉唐云分布式存储技术有限公司 | 基于云值守的顾客行为检测方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116434346B (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111091109B (zh) | 基于人脸图像进行年龄和性别预测的方法、系统和设备 | |
| CN116188462B (zh) | 一种基于视觉鉴定的贵金属质量检测方法及系统 | |
| CN116434346B (zh) | 无人值守商店内顾客行为的检测方法、装置及存储介质 | |
| CN111680690B (zh) | 一种文字识别方法及装置 | |
| CN111310826B (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
| CN112348765A (zh) | 数据增强方法、装置、计算机可读存储介质及终端设备 | |
| CN108875531B (zh) | 人脸检测方法、装置、系统及计算机存储介质 | |
| CN111144337B (zh) | 火灾检测方法、装置及终端设备 | |
| CN108932449B (zh) | 一种基于聚类的条码二值化方法及系统 | |
| CN107704797B (zh) | 基于安防视频中行人和车辆的实时检测方法和系统及设备 | |
| CN113554008B (zh) | 静态物体区域内检测方法、装置、电子设备及存储介质 | |
| CN116152261B (zh) | 一种印刷制品质量的视觉检测系统 | |
| CN115497055B (zh) | 无人值守商店的商品防盗检测方法、装置及存储介质 | |
| CN111860369A (zh) | 一种欺诈识别方法、装置以及存储介质 | |
| CN112330597A (zh) | 一种图像差异检测方法、装置及计算机设备 | |
| CN112560584A (zh) | 一种人脸检测方法及装置、存储介质、终端 | |
| CN111179289B (zh) | 一种适用于网页长图宽图的图像分割方法 | |
| CN117132990A (zh) | 铁路车厢信息的识别方法、装置、电子设备及存储介质 | |
| CN112001336A (zh) | 行人越界报警方法、装置、设备及系统 | |
| CN117058417A (zh) | 一种图像识别方法及系统 | |
| CN115908774A (zh) | 一种基于机器视觉的变形物资的品质检测方法和装置 | |
| CN115346138A (zh) | 基于无人机的航拍图像的目标检测方法、装置以及设备 | |
| CN114240924A (zh) | 一种基于数字化技术的电网设备质量评估方法 | |
| CN111935480A (zh) | 一种用于图像获取装置的检测方法及相关装置 | |
| CN117727059B (zh) | 汽车金融发票信息核验方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |