CN114360182B - 一种智能告警方法、装置、设备及存储介质 - Google Patents
一种智能告警方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114360182B CN114360182B CN202011034769.7A CN202011034769A CN114360182B CN 114360182 B CN114360182 B CN 114360182B CN 202011034769 A CN202011034769 A CN 202011034769A CN 114360182 B CN114360182 B CN 114360182B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- behavior
- foot
- behaviors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 119
- 230000008569 process Effects 0.000 claims abstract description 71
- 230000006399 behavior Effects 0.000 claims description 463
- 239000013598 vector Substances 0.000 claims description 94
- 230000011218 segmentation Effects 0.000 claims description 44
- 238000003709 image segmentation Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 12
- 230000000977 initiatory effect Effects 0.000 claims 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 13
- 238000001514 detection method Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 15
- 230000009471 action Effects 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 210000000689 upper leg Anatomy 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 244000309466 calf Species 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000009933 burial Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种智能告警方法、装置、设备及存储介质，涉及人工智能技术领域，该方法包括：首先获取采集的图像序列，然后从图像序列的至少一帧待处理图像中分割出目标身体部位图像，获得目标用户的目标身体部位图像序列。之后再根据目标身体部位图像序列确定目标用户的用户行为。在确定目标用户的用户行为满足预设条件时，启动告警进程。通过对采集的图像序列进行分析，确定目标用户的用户行为。然后基于用户行为判断是否启动告警进程。相较于采用EAS系统进行告警来说，提高了检测的准确性，同时不需要借助大体积的检测器，减少占用的空间和硬件成本，提高了检测的灵活性。
Description
技术领域
本发明实施例涉及人工智能技术领域，尤其涉及一种智能告警方法、装置、设备及存储介质。
背景技术
失窃一直是困扰零售经营者的一大问题，给零售经营者带来经济上的损失。目前业界主要采用电子商品防窃(盗)系统(Electronic Article Surveillance，简称EAS)实现防损。完整的EAS系统主要由检测器、解码器和电子标签三部分组成。常用的EAS系统有两种，一种是基于无线射频技术的，另一种是基于声磁技术的。但是EAS系统会受金属屏蔽的影响，导致检测的准确率降低。
发明内容
本申请实施例提供了一种智能告警方法、装置、设备及存储介质，用于提高智能告警的准确性。
一方面，本申请实施例提供了一种智能告警方法，该方法包括：
获取图像序列；
从所述图像序列的至少一帧待处理图像中分割出目标身体部位图像，获得目标用户的目标身体部位图像序列；
根据所述目标身体部位图像序列确定所述目标用户的用户行为；
在确定所述目标用户的用户行为满足预设条件时，启动告警进程。
一方面，本申请实施例提供了一种智能告警装置，该装置包括：
获取模块，用于获取图像序列；
图像分割模块，用于从所述图像序列的至少一帧待处理图像中分割出目标身体部位图像，获得目标用户的目标身体部位图像序列；
识别模块，用于根据所述目标身体部位图像序列确定所述目标用户的用户行为；
判断模块，用于在确定所述目标用户的用户行为满足预设条件时，启动告警进程。
可选地，所述判断模块具体用于：
在确定所述目标用户的目标手部行为中包括拿取行为和/或交换行为，所述目标用户的目标手部行为中不包括放下行为和支付行为，且所述目标用户的目标脚部行为中包括离开目标空间行为时，启动告警进程。
可选地，所述判断模块具体用于：
在确定所述目标用户的目标手部行为包括拿取行为和/或交换行为，所述目标用户的目标手部行为中不包括放下行为，所述目标用户的目标脚部行为包括离开目标空间行为，且未查询到所述目标用户的支付信息时，启动告警进程。
可选地，所述图像分割模块具体用于：
通过人像分割模型，从所述图像序列的至少一帧待处理图像中分割出人体图像；
通过局部分割模型，从至少一帧人体图像中分割出目标身体部位图像；
根据分割出的目标身体部位图像，确定目标用户的目标身体部位图像序列。
可选地，所述图像分割模块具体用于：
通过人像分割模型，对所述图像序列的至少一帧待处理图像进行特征提取，获得每帧待处理图像对应的两通道特征图像；
根据每帧待处理图像对应的两通道特征图像在两个通道中的图像特征，确定每帧待处理图像中每个像素的类别，所述类别包括人像部分和背景部分；
根据每帧待处理图像中类别为人像部分的像素，从每帧待处理图像中分割出人体图像。
可选地，所述图像分割模块具体用于：
通过局部分割模型，对所述至少一帧人体图像进行特征提取，获得每帧人体图像对应的N通道特征图像；
根据每帧人体图像对应的N通道特征图像在N个通道中的图像特征，确定每帧人体图像中每个像素的类别，所述类别为N个，N为身体部位的数量；
根据每帧人体图像中类别为目标身体部位的像素，从每帧人体图像中分割出目标身体部位图像。
一方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述智能告警方法的步骤。
一方面，本申请实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行上述智能告警方法的步骤。
本申请实施例中，通过对采集的图像序列进行分析，确定目标用户的用户行为。然后基于用户行为判断是否启动告警进程。相较于采用EAS系统进行告警来说，提高了检测的准确性，同时不需要借助大体积的检测器，减少占用的空间和硬件成本，提高了检测的灵活性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种系统架构示意图；
图2为本申请实施例提供的一种智能告警方法的流程示意图；
图3为本申请实施例提供的一种人像分割结果的示意图；
图4为本申请实施例提供的一种局部分割结果的示意图；
图5为本申请实施例提供的一种性能测试结果的示意图；
图6为本申请实施例提供的一种移动轨迹的示意图；
图7为本申请实施例提供的一种移动轨迹的示意图；
图8为本申请实施例提供的一种用户行为的示意图；
图9a为本申请实施例提供的一种用户行为的示意图；
图9b为本申请实施例提供的一种用户行为的示意图；
图10为本申请实施例提供的一种用户行为的示意图；
图11为本申请实施例提供的一种智能告警装置的结构示意图；
图12为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了方便理解，下面对本发明实施例中涉及的名词进行解释。
人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。在本申请实施例中，通过人工智能技术中具体的机器学习模型或者算法识别用户行为，进而基于用户行为判断是否触发告警。
MobileNet：应用在移动端或者嵌入式设备中的轻量级卷积神经网络(Convolutional Neural Networks，简称CNN)，包括V1、V2、V3三个版本。MobileNet将传统CNN网络中的卷积层替换为深度可分离卷积。深度可分离卷积包括深度卷积(depthwise)和逐点卷积(pointwise)。
下面对本申请实施例的设计思想进行介绍。
目前在零售业主要采用电子商品防窃(盗)系统(Electronic ArticleSurveillance，简称EAS)实现防损。完整的EAS系统主要由检测器、解码器和电子标签三部分组成。电子标签粘附在商品上，当商品结账时，解码器对电子标签进行解码，解码后的商品通过商店门口的检测器时，检测器不会发出报警声。若商品未经过收银台解码，商品通过商店门口的检测器时，检测器自动发出报警声，从而通知店员。但是EAS系统会受金属屏蔽的影响，导致检测的准确率降低，另外，EAS系统需要大的硬件支持，导致占用空间大。
考虑到商店中一般配置了监控系统，摄像头采集的用户图像可以反映用户的行为，通过直接对用户行为进行分析，可以及时发现偷盗行为，从而进行告警。鉴于此，本申请实施例提供了一种智能告警方法，该方法包括：首先获取采集的图像序列，然后从图像序列的至少一帧待处理图像中分割出目标身体部位图像，获得目标用户的目标身体部位图像序列。之后再根据目标身体部位图像序列确定目标用户的用户行为。在确定目标用户的用户行为满足预设条件时，启动告警进程。
本申请实施例中，通过对采集的图像序列进行分析，确定目标用户的用户行为，基于用户行为可以直观地判断是否启动告警进程。相较于采用EAS系统进行告警来说，提高了检测的准确性，同时不需要借助大体积的检测器，减少了空间占用和硬件成本，提高了灵活性。
在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
在无人商店场景中，无人商店中安装一个或多个摄像头，摄像头实时采集图像。智能告警设备获取摄像头采集的图像序列，然后对图像序列的至少一帧待处理图像进行分割，获得用户的目标身体部位图像序列。之后再根据目标身体部位图像序列确定用户的用户行为。当用户的用户行为与盗窃行为匹配时，智能告警设备发送告警消息给无人商店门口的报警设备，报警设备发出报警声，从而通知无人商店门口的保安。智能告警设备可以是无人商店中的收银设备，也可以无人商店中的监控设备，还可以其他设备。
需要说明的是，本申请实施例中的智能告警方法并不仅限于应用在上述无人商店的实施场景，还可以是传统商店场景、监考场景、餐厅监控场景等，对此，本申请不做具体限定。
参考图1，其为本申请实施例提供的智能告警方法适用的系统架构图。该架构至少包括智能告警设备101以及服务器102。
智能告警设备101中可以安装有用于智能告警的目标应用，其中，目标应用可以是客户端应用、网页版应用、小程序应用等。智能告警设备101可以包括一个或多个处理器1011、存储器1012、与埋点服务器103交互的I/O接口1013以及显示面板1014等。智能告警设备101可以是支付设备、监控设备、智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
服务器102可以是目标应用的后台服务器，为目标应用提供相应的服务，服务器102可以包括一个或多个处理器1021、存储器1022以及与终端设备101交互的I/O接口1023等。此外，服务器102还可以配置数据库1024。服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。智能告警设备101与服务器102可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
智能告警方法可以由智能告警设备101执行，也可以由服务器102执行。
第一种情况，智能告警方法可以由智能告警设备101执行。
智能告警设备101中的目标应用获取图像序列，然后从图像序列的至少一帧待处理图像中分割出目标身体部位图像，获得目标用户的目标身体部位图像序列，之后再根据目标身体部位图像序列确定目标用户的用户行为。在确定目标用户的用户行为满足预设条件时，启动告警进程。
第二种情况，智能告警方法可以由服务器102执行。
智能告警设备101中的目标应用获取图像序列，然后将图像序列发送给服务器102，服务器102从图像序列的至少一帧待处理图像中分割出目标身体部位图像，获得目标用户的目标身体部位图像序列，然后根据目标身体部位图像序列确定目标用户的用户行为。在确定目标用户的用户行为满足预设条件时，发送告警消息给智能告警设备101，智能告警设备101启动告警进程。
基于图1所示的系统架构图，本申请实施例提供了一种智能告警方法的流程，如图2所示，该方法的流程可以由计算机设备执行，计算机设备可以是图1所示的智能告警设备101或服务器102，包括以下步骤：
步骤S201，获取图像序列。
具体地，图像序列是由一个或多个图像采集设备采集的，图像采集设备可以是摄像头、照相机、摄像机等，图像序列可以是预设时长内采集的图像集合。
步骤S202，从图像序列的至少一帧待处理图像中分割出目标身体部位图像，获得目标用户的目标身体部位图像序列。
具体地，目标身体部位可以是脸部、上臂、下臂、手部、躯干、大腿、小腿、脚部等身体部位中的一个或多个身体部位。针对每帧待处理图像，可以先从待处理图像中分割出人体图像，然后再从人体图像中分割出目标身体部位图像。
步骤S203，根据目标身体部位图像序列确定目标用户的用户行为。
具体实施中，提取目标身体部位序列中的行为特征，然后将提取的行为特征与预设的用户行为模板进行匹配，确定目标用户的用户行为。用户行为包括拿取行为、放下行为、支付行为、离开目标空间行为、进入目标空间行为、目标空间内移动等。
步骤S204，在确定目标用户的用户行为满足预设条件时，启动告警进程。
具体实施中，根据告警场景预设告警条件，比如，在商店防盗场景中，预设条件为盗窃条件，在确定目标用户的用户行为满足盗窃条件时，启动告警进程。智能告警装置启动告警进程的方式可以是发送告警消息给报警设备，报警设备发出报警声，从而通知相关人员。智能告警装置也可以直接发出报警声，从而通知相关人员。
本申请实施例中，通过对采集的图像序列进行分析，确定目标用户的用户行为。然后基于用户行为判断是否启动告警进程。相较于采用EAS系统进行告警来说，提高了检测的准确性，同时不需要借助大体积的检测器，减少占用的空间和硬件成本，提高了检测的灵活性。
可选地，在上述步骤S202中，从图像序列的每帧待处理图像中分割出目标身体部位图像，获得目标用户的目标身体部位图像序列时，本申请实施例至少提供以下几种实施方式：
实施方式一、通过人像分割模型，从图像序列的至少一帧待处理图像中分割出人体图像。通过局部分割模型，从至少一帧人体图像中分割出目标身体部位图像。根据分割出的目标身体部位图像，确定目标用户的目标身体部位图像序列。
具体地，人像分割模型可以为传统的卷积神经网络模型，或轻量级卷积神经网络(MobileNet)。为了降低模型的复杂度，提高告警的效率，人像分割模型从待处理图像中分割出人体图像时，可以不区分不同的人。在训练人像分割模型时，预先对人像部分和背景部分进行编码，比如背景部分对应的编号为0，人像部分对应的编号为1。在准备训练样本时，人工将样本图像中背景部分的像素标记为0，将样本图像中人像部分的像素标记为1，然后采用标记后的样本图像，训练人像分割模型。
训练结束后，通过人像分割模型，对图像序列的至少一帧待处理图像进行特征提取，获得每帧待处理图像对应的两通道特征图像。然后根据每帧待处理图像对应的两通道特征图像在两个通道中的图像特征，确定每帧待处理图像中每个像素的类别，类别包括人像部分和背景部分。之后再根据每帧待处理图像中类别为人像部分的像素，从每帧待处理图像中分割出人体图像。
具体实施中，对待处理图像进行人像分割后，待处理图像中每个像素对应一个编号。示例性地，如图3所示，人像分割后的待处理图像中包括两个编号，分别为0和1，其中，0表示像素对应背景部分，1表示像素对应人像部分，从待处理图像中分割出编号为1的像素，作为人体图像。
局部分割模型可以为传统的卷积神经网络模型，或轻量级卷积神经网络(MobileNet)。为了降低模型的复杂度，提高告警的效率，局部分割模型从人体图像中分割出身体部位图像时，也可以不区分不同的人。预先确定需要从人体图像中分割出的身体部位的数量，然后根据身体部位的数量对各个身体部位进行编码。比如，将人体图像分割为24个身体部位，分别为左脸、右脸、左上臂前部、左上臂后部、右上臂前部、右上臂后部、左下臂前部、左下臂后部、右下臂前部、右下臂后部、左手、右手、前躯干、后躯干、左大腿前部、左大腿后部、右大腿前部、右大腿后部、左小腿前部、左小腿后部、右小腿前部、右小腿后部、左脚、右脚。
上述24个身体部位的编码结果如表1所示：
表1.
| 身体部位名称 | 编号 | 身体部位名称 | 编号 |
| 左脸 | 0 | 前躯干 | 12 |
| 右脸 | 1 | 后躯干 | 13 |
| 左上臂前部 | 2 | 左大腿前部 | 14 |
| 左上臂后部 | 3 | 左大腿后部 | 15 |
| 右上臂前部 | 4 | 右大腿前部 | 16 |
| 右上臂后部 | 5 | 右大腿后部 | 17 |
| 左下臂前部 | 6 | 左小腿前部 | 18 |
| 左下臂后部 | 7 | 左小腿后部 | 19 |
| 右下臂前部 | 8 | 右小腿前部 | 20 |
| 右下臂后部 | 9 | 右小腿后部 | 21 |
| 左手 | 10 | 左脚 | 22 |
| 右手 | 11 | 右脚 | 23 |
在准备训练样本时，人工将样本图像中各个身体部分的像素标记为对应编号，比如，将样本图像中左脚的像素标记为10，将样本图像中右脚的像素标记为11，表1中其他身体部分的标记方法与脚部的标记方法相同，此处不再赘述。然后采用标记后的样本图像，训练局部分割模型。
训练结束后，通过局部分割模型，对至少一帧人体图像进行特征提取，获得每帧人体图像对应的N通道特征图像。然后根据每帧人体图像对应的N通道特征图像在N个通道中的图像特征，确定每帧人体图像中每个像素的类别，类别为N个，N为身体部位的数量。之后再根据每帧人体图像中类别为目标身体部位的像素，从每帧人体图像中分割出目标身体部位图像。
具体实施中，当N为24时，对人体图像进行特征提取后，可以获得每帧人体图像对应的24通道特征图像，24通道特征图像对应24个通道。针对人体图像中的每个像素，基于24通道特征图像，确定该像素属于每个身体部位的概率，将最高概率对应的身体部位作为该像素的类别，具体符合下述公式(1)：
body_part_id＝argmax(P(u，v，i))..............(1)
其中，body_part_id表示像素(u，v)对应的身体部分编号，P表示概率，(u，v)表示像素位置，i表示身体部分编号，i∈I，I＝{0,1,...,23}。
局部分割后的人体图像中，每个像素都对应一个编号，该编号表示像素对应的身体部位。示例性地，如图4所示，局部分割后的人体图像中包括编号0、1、2、4、6、8、10、11、12、14、16、18、20、22、23。若目标身体部位为手部和脚部时，则可以从人体图像中分割出编号为10、11、22、23部分的像素作为目标身体部位图像。需要说明的是，N的取值并不仅限于24，还可以是其他正整数，对此，本申请不做具体限定。
为了后续识别不同用户的用户行为，可以根据分割出的目标身体部位图像，确定目标用户的目标身体部位图像序列。具体地，可以将分割出的目标身体部位图像进行聚类，获得每个目标用户的目标身体部位图像序列。
采用轻量级卷积神经网络进行人像分割和身体部位分割，获得目标身体部位图像，进而基于目标身体部位图像确定用户行为，实现了基于用户行为进行告警，提高了告警的准确性。其次，轻量级卷积神经网络在保证图像分割的准确性的基础上，降低了对计算资源的要求和智能告警设备的成本，提高了智能告警方案的适用性。
实施方式二、通过人像分割模型，从图像序列的至少一帧待处理图像中分割出目标用户的人体图像。通过局部分割模型，从目标用户的至少一帧人体图像中分割出目标身体部位图像，获得目标用户的目标身体部位图像序列。
具体地，在进行人像分割时，人像分割模型从待处理图像中分割出人体图像，同时提取人体图像匹配身份信息。当从待处理图像中分割出多个人体图像时，每个人体图像的身份信息不同，其中，身份信息可以是脸部特征信息、身体特征信息等人体属性信息，也可以是从档案库中匹配的姓名、地址等社会属性信息。
获得目标用户的人体图像序列后，通过局部分割模型，从目标用户的至少一帧人体图像中分割出目标身体部位图像，获得目标用户的目标身体部位图像序列。此时，局部分割模型与实施方式一中描述的局部分割模型相同，局部分割模型在分割人体图像时，可以不区分不同的人。
实施方式三、通过人像分割模型，从图像序列的至少一帧待处理图像中分割出人体图像。通过局部分割模型，从至少一帧人体图像中分割出目标用户的目标身体部位图像，获得目标用户的目标身体部位图像序列。
具体地，人像分割模型与实施方式一中描述的人像分割模型相同，人像分割模型在分割待处理图像时，可以不区分不同的人。获得目标用户的人体图像序列后，局部分割模型从人体图像中分割出目标身体部位图像，同时提取人体图像匹配身份信息，不同的人对应的人体图像的身份信息不同，其中，身份信息可以是脸部特征信息、身体特征信息等人体属性信息，也可以是从档案库中匹配的姓名、地址等社会属性信息。
需要说明的是，本申请实施例获得目标用户的目标身体部位图像序列的实施方式并不仅限于上述三种，还可以是其他实施方式，比如人像分割模型和局部分割模型均可以区分不同的人等，对此，本申请不做具体限定。
本申请实施例中，对待处理图像进行人像分割和局部分割时，同时获得待处理图像中的用户的身份信息，从而提高用户与对应的目标身体部位图像序列的匹配程度，进而提高用户行为识别的准确性。
进一步地，由于不同尺寸的模型具有不同的性能，故通过调整模型的尺寸和输出步长，可以在模型的运行速度和准确性之间进行权衡。以人像分割模型和局部分割模型为MobileNet V1举例来说，为了权衡运行速度和准确性，本申请对不同尺寸的模型性能进行测试，具体包括0.25倍率的MobileNet V1模型、0.5倍率的MobileNet V1模型、0.75倍率的MobileNet V1模型以及1倍率的MobileNet V1模型四种尺寸的模型，获得的性能测试结果如图5所示。由图5可知，当倍率的数值越大，模型的处理速度更慢。而倍率的数值越大，神经网络中层的尺寸也越大，准确率更高。在综合考虑运行速度和准确性的情况，可以在低端图形处理器(Graphics Processing Unit，简称GPU)的计算机中使用0.75倍率的MobileNetV1模型进行人像分割和局部分割，在移动设备中使用0.50倍的MobileNet V1模型进行人像分割和局部分割。通过控制模型的尺寸，降低对智能告警设备的计算资源的要求，从而降低智能告警设备的成本，提高了智能告警方案的适用性。
可选地，在上述步骤S203中，目标身体部位图像序列包括手部图像序列和脚部图像序列。根据目标身体部位图像序列确定目标用户的用户行为时，可以根据手部图像序列确定目标用户的目标手部行为，根据脚部图像序列确定目标用户的目标脚部行为。
具体地，预先可以对用户行为进行编码，获得每个用户行为的编号，以商店防盗场景举例来说，用于判断是否盗窃的用户行为包括：拿取行为、放下行为、交换行为、支付行为、离开商店行为、进入商店行为，其中，交换行为指从其他用户手中拿取商品的行为。对上述用户行为进行编码后，获得的各个用户行为编号如表2所示：
表2.
| 用户行为 | 编号 |
| 拿取行为 | 1001 |
| 放下行为 | 1002 |
| 离开商店行为 | 1003 |
| 进入商店行为 | 1004 |
| 交换行为 | 1005 |
| 支付行为 | 1006 |
手部图像序列包括左手图像序列和右手图像序列，脚部图像序列包括左脚图像序列和右脚图像序列。手部行为指与手部相关的用户行为，脚部行为指与脚部相关的用户行为。比如，上述表2中，手部行为包括拿取行为、放下行为、交换行为、支付行为。脚部行为包括走出商店行为、进入商店行为。将身体部位的编号和用户行为的编号组成二维数组，形成行为向量。
在获取目标用户的手部图像序列后，从手部图像序列中提取手部行为特征，并将提取的手部行为特征与预设的手部行为模板进行匹配，确定目标用户的目标手部行为。
具体实施中，不同手部行为对应不同的行为特征。比如，拿取行为中手指弯曲呈抓握状态，支付行为中包括扫码动作、支付动作。预先可以设置不同的手部行为模板，比如，拿取行为对应的模板、放下行为对应的模板、交换行为对应的模板、支付行为对应的模板。将各个手部行为模板中与提取的手部行为特征匹配的手部行为模板，确定为目标用户的目标手部行为。然后将手部编号与目标手部行为组成二维数组，形成目标用户的行为向量。
通过预先设置手部行为模板，然后将提取的手部行为特征与预设的手部行为模板进行匹配，确定目标用户的目标手部行为，提高识别手部行为的效率。
在获取目标用户的脚部图像序列后，确定脚部图像序列中至少一帧脚部图像中的脚部的空间位置信息，然后根据至少一帧脚部图像中的脚部的空间位置信息，确定目标用户的移动轨迹。根据目标用户的移动轨迹，确定目标用户的目标脚部行为。
具体实施中，基于参考物体在图像坐标系中的图像坐标和参考物体在世界坐标系中的世界坐标，确定图像坐标系与世界坐标系之间的对应关系。在获取目标图像的脚步图像后，针对每帧脚部图像，先确定该脚步图像中脚部的图像坐标，然后根据图像坐标系与世界坐标系之间的对应关系，将脚部的图像坐标转换为脚部的世界坐标，将脚部的世界坐标作为脚部的空间位置信息。之后再结合多帧脚部图像中脚部的空间位置信息，确定目标用户的移动轨迹。根据目标用户的移动轨迹，确定目标用户的目标脚部行为。将脚部编号与目标脚部行为组成二维数组，形成目标用户的行为向量。
示例性地，以商店防盗场景举例来说，如图6所示，目标用户在一段时间内的移动轨迹的起点为商店内的A点，目标用户的移动轨迹的终点为商店外的B点，则目标用户的目标脚部行为离开商店行为。
示例性地，以商店防盗场景举例来说，如图7所示，目标用户在一段时间内的移动轨迹的起点为商店外的C点，目标用户的移动轨迹的终点为商店内的D点时，则目标用户的目标脚部行为进入商店行为。
基于脚部的空间位置信息，确定目标用户的移动轨迹，进而确定目标用户的目标脚部行为，提高了脚部行为识别的准确性，进而提高告警判断的准确性。
需要说明的是，本申请实施例中用户行为并不仅限于手部行为和脚部行为，还可以是其他身体部位的行为，比如大腿行为、小腿行为、躯干行为等，对此，本申请不做具体限定。
可选地，在上述步骤S204中，在基于用户行为判断是否启动告警进程时，本申请实施例至少包括以下几种实施方式：
实施方式一、在确定目标用户的目标手部行为中包括拿取行为，目标用户的目标手部行为中不包括放下行为和支付行为，且目标用户的目标脚部行为中包括离开目标空间行为时，启动告警进程。
具体地，目标用户的目标手部行为包括拿取行为，目标用户的目标手部行为中不包括放下行为，说明目标用户在目标空间内中拿取了物品。目标用户的目标手部行为中不包括支付行为，说明目标用户在目标空间中拿取了物品，但是没有支付相应的金额。目标用户的目标脚部行为包括离开目标空间行为，说明目标用户在目标空间中拿取了物品并离开目标空间，且没有支付相应的金额。因此可以判定目标用户的用户行为与盗窃条件匹配，故启动告警进程。
以商店防盗场景举例来说，如图8所示，设定智能告警设备为收银设备，商店内的摄像头实时采集图像并上传至收银设备。若目标用户X从入口801进入商店。收银设备根据摄像头上传的图像序列，确定目标用户X的进入商店行为，然后根据表1和表2所示的编号，确定进入商店行为对应的第一行为向量为[22,1004]和[23,1004]。收银设备将第一行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X在商店的货架802中拿取了商品，收银设备根据摄像头上传的图像序列，确定目标用户X的拿取行为，拿取行为对应的第二行为向量为[10,1001]和[11,1001]。收银设备将第一行为向量、第二行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X拿取商品后直接从出口803离开商店，而没有前往收银台804结账。收银设备根据摄像头上传的图像序列确定目标用户X的离开商店行为，商店行为对应的第三行为向量为[22,1003]和[23,1003]。收银设备再将第一行为向量、第二行为向量、第三行为向量与盗窃条件进行比对，比对结果为：匹配，则启动告警进程，发送告警消息给商店门口的报警设备，报警设备发出报警声，同时还可以将目标用户X的人脸图像发送至报警设备，以使保安人员基于目标用户X的人脸图像对目标用户X进行拦截。
实施方式二、在确定目标用户的目标手部行为包括拿取行为，目标用户的目标手部行为中不包括放下行为，目标用户的目标脚部行为包括离开目标空间行为，且未查询到目标用户的支付信息时，启动告警进程。
具体地，目标用户的目标手部行为包括拿取行为，目标用户的目标手部行为中不包括放下行为，说明目标用户在目标空间内中拿取了物品。未查询到目标用户的支付信息，说明目标用户在目标空间中拿取了物品，但是没有支付相应的金额。目标用户的目标脚部行为包括离开目标空间行为，说明目标用户在目标空间中拿取了物品并离开目标空间，且没有支付相应的金额。因此可以判定目标用户的用户行为与盗窃条件匹配，故启动告警进程。
以商店防盗场景举例来说，如图8所示，设定智能告警设备为收银设备，商店内的摄像头实时采集图像并上传至收银设备。若目标用户X从入口801进入商店。收银设备根据摄像头上传的图像序列，确定目标用户X的进入商店行为，然后根据表1和表2所示的编号，确定进入商店行为对应的第一行为向量为[22,1004]和[23,1004]。收银设备将第一行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X在商店的货架802中拿取了商品，收银设备根据摄像头上传的图像序列，确定目标用户X的拿取行为，拿取行为对应的第二行为向量为[10,1001]和[11,1001]。收银设备将第一行为向量、第二行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X拿取商品后直接从出口803离开商店，而没有前往收银台804结账。收银设备根据摄像头上传的图像序列确定目标用户X的离开商店行为，离开商店行为对应的第三行为向量为[22,1003]和[23,1003]。收银设备查询目标用户X的付款信息，查询结果为：没有付款信息。收银设备再将第一行为向量、第二行为向量、第三行为向量、付款信息查询结果与盗窃条件进行比对，比对结果为：匹配，则启动告警进程，发送告警消息给商店门口的报警设备，报警设备发出报警声。
实施方式三、在确定目标用户的目标手部行为包括交换行为，目标用户的目标手部行为中不包括放下行为和支付行为，且目标用户的目标脚部行为中包括离开目标空间行为时，启动告警进程。
具体地，目标用户的目标手部行为包括交换行为，目标用户的目标手部行为中不包括放下行为，说明目标用户从目标空间内的其他用户手中拿取了物品。目标用户的目标手部行为中不包括支付行为，说明目标用户拿取了物品，但是没有支付相应的金额。目标用户的目标脚部行为包括离开目标空间行为，说明目标用户拿取了物品并离开目标空间，且没有支付相应的金额。因此可以判定目标用户的用户行为与盗窃条件匹配，故启动告警进程。
以商店防盗场景举例来说，如图9a所示，设定智能告警设备为收银设备，商店内的摄像头实时采集图像并上传至收银设备。若目标用户X从入口801进入商店。收银设备根据摄像头上传的图像序列，确定目标用户X的进入商店行为，然后根据表1和表2所示的编号，确定进入商店行为对应的第一行为向量为[22,1004]和[23,1004]。收银设备将第一行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X在交换点M从目标用户Y手中拿取了商品，收银设备根据摄像头上传的图像序列，确定目标用户X的交换行为，交换行为对应的第四行为向量为[10,1005]和[11,1005]。收银设备将第一行为向量、第四行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X拿取商品后直接从出口803离开商店，而没有前往收银台804结账。收银设备根据摄像头上传的图像序列确定目标用户X的离开商店行为，离开商店行为对应的第三行为向量为[22,1003]和[23,1003]。收银设备再将第一行为向量、第三行为向量、第四行为向量与盗窃条件进行比对，比对结果为：匹配，则启动告警进程，发送告警消息给商店门口的报警设备，报警设备发出报警声。
实施方式四、在确定目标用户的目标手部行为包括交换行为，目标用户的目标手部行为中不包括放下行为，目标用户的目标脚部行为包括离开目标空间行为，且未查询到目标用户的支付信息时，启动告警进程。
具体地，目标用户的目标手部行为包括交换行为，目标用户的目标手部行为中不包括放下行为，说明目标用户从目标空间内的其他用户手中拿取了物品。未查询到目标用户的支付信息，说明目标用户在目标空间中拿取了物品，但是没有支付相应的金额。目标用户的目标脚部行为包括离开目标空间行为，说明目标用户在目标空间中拿取了物品并离开目标空间，且没有支付相应的金额。因此可以判定目标用户的用户行为与盗窃条件匹配，故启动告警进程。
以商店防盗场景举例来说，如图9a所示，设定智能告警设备为收银设备，商店内的摄像头实时采集图像并上传至收银设备。若目标用户X从入口801进入商店。收银设备根据摄像头上传的图像序列，确定目标用户X的进入商店行为，然后根据表1和表2所示的编号，确定进入商店行为对应的第一行为向量为[22,1004]和[23,1004]。收银设备将第一行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X在交换点M从目标用户Y手中拿取了商品，收银设备根据摄像头上传的图像序列，确定目标用户X的交换行为，交换行为对应的第四行为向量为[10,1005]和[11,1005]。收银设备将第一行为向量、第四行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X拿取商品后直接从出口803离开商店，而没有前往收银台804结账。收银设备根据摄像头上传的图像序列确定目标用户X的离开商店行为，离开商店行为对应的第三行为向量为[22,1003]和[23,1003]。收银设备查询目标用户X的付款信息，查询结果为：没有付款信息。收银设备再将第一行为向量、第三行为向量、第四行为向量与盗窃条件进行比对，比对结果为：匹配，则启动告警进程，发送告警消息给商店门口的报警设备，报警设备发出报警声。
实施方式五、在确定目标用户的目标手部行为包括拿取行为和交换行为，目标用户的目标手部行为中不包括放下行为和支付行为，且目标用户的目标脚部行为中包括离开目标空间行为时，启动告警进程。
具体地，目标用户的目标手部行为包括拿取行为和交换行为，目标用户的目标手部行为中不包括放下行为，说明目标用户在目标空间内中拿取了物品，同时还在目标空间内的其他用户手中拿取了物品。目标用户的目标手部行为中不包括支付行为，说明目标用户拿取了目标空间内的物品，但是没有支付相应的金额。目标用户的目标脚部行为包括离开目标空间行为，说明目标用户拿取了目标空间内的物品并离开目标空间，且没有支付相应的金额。因此可以判定目标用户的用户行为与盗窃条件匹配，故启动告警进程。
以商店防盗场景举例来说，如图9b所示，设定智能告警设备为收银设备，商店内的摄像头实时采集图像并上传至收银设备。若目标用户X从入口801进入商店。收银设备根据摄像头上传的图像序列，确定目标用户X的进入商店行为，然后根据表1和表2所示的编号，确定进入商店行为对应的第一行为向量为[22,1004]和[23,1004]。收银设备将第一行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X在商店的货架802中拿取了商品A，收银设备根据摄像头上传的图像序列，确定目标用户X的拿取行为，拿取行为对应的第二行为向量为[10,1001]和[11,1001]。收银设备将第一行为向量、第二行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X拿取商品A后，在交换点M从目标用户Y手中拿取了商品B，收银设备根据摄像头上传的图像序列，确定目标用户X的交换行为，交换行为对应的第四行为向量为[10,1005]和[11,1005]。收银设备将第一行为向量、第二行为向量、第四行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X拿取商品A和商品B后直接从出口803离开商店，而没有前往收银台804结账。收银设备根据摄像头上传的图像序列确定目标用户X的离开商店行为，离开商店行为对应的第三行为向量为[22,1003]和[23,1003]。收银设备再将第一行为向量、第二行为向量、第三行为向量、第四行为向量与盗窃条件进行比对，比对结果为：匹配，则启动告警进程，发送告警消息给商店门口的报警设备，报警设备发出报警声。
实施方式六、在确定目标用户的目标手部行为包括拿取行为和交换行为，目标用户的目标手部行为中不包括放下行为，目标用户的目标脚部行为包括离开目标空间行为，且未查询到目标用户的支付信息时，启动告警进程。
具体地，目标用户的目标手部行为包括拿取行为和交换行为，目标用户的目标手部行为中不包括放下行为，说明目标用户在目标空间内中拿取了物品，同时还在目标空间内的其他用户手中拿取了物品。未查询到目标用户的支付信息，说明目标用户拿取了目标空间内的物品，但是没有支付相应的金额。目标用户的目标脚部行为包括离开目标空间行为，说明目标用户拿取了目标空间内的物品，且没有支付相应的金额。因此可以判定目标用户的用户行为与盗窃条件匹配，故启动告警进程。
以商店防盗场景举例来说，如图9b所示，设定智能告警设备为收银设备，商店内的摄像头实时采集图像并上传至收银设备。若目标用户X从入口801进入商店。收银设备根据摄像头上传的图像序列，确定目标用户X的进入商店行为，然后根据表1和表2所示的编号，确定进入商店行为对应的第一行为向量为[22,1004]和[23,1004]。收银设备将第一行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X在商店的货架802中拿取了商品A，收银设备根据摄像头上传的图像序列，确定目标用户X的拿取行为，拿取行为对应的第二行为向量为[10,1001]和[11,1001]。收银设备将第一行为向量、第二行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X拿取商品A后，在交换点M从目标用户Y手中拿取了商品B，收银设备根据摄像头上传的图像序列，确定目标用户X的交换行为，交换行为对应的第四行为向量为[10,1005]和[11,1005]。收银设备将第一行为向量、第二行为向量、第四行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X拿取商品A和商品B后直接从出口803离开商店，而没有前往收银台804结账。收银设备根据摄像头上传的图像序列确定目标用户X的离开商店行为，离开商店行为对应的第三行为向量为[22,1003]和[23,1003]。收银设备查询目标用户X的付款信息，查询结果为：没有付款信息。收银设备再将第一行为向量、第二行为向量、第三行为向量、第四行为向量与盗窃条件进行比对，比对结果为：匹配，则启动告警进程，发送告警消息给商店门口的报警设备，报警设备发出报警声。
实施方式七、在确定目标用户的目标手部行为中包括拿取行为和支付行为，目标用户的目标脚部行为中包括离开目标空间行为时，不启动告警进程。
具体地，目标用户的目标手部行为包括拿取行为和支付行为，说明目标用户在目标空间内中拿取了物品，且支付相应的金额。目标用户的目标脚部行为包括离开目标空间行为，说明目标用户在目标空间中拿取了物品并离开目标空间，且支付了相应的金额。因此可以判定目标用户的用户行为与盗窃条件不匹配，故不启动告警进程。
以商店防盗场景举例来说，如图10所示，设定智能告警设备为收银设备，商店内的摄像头实时采集图像并上传至收银设备。
若目标用户X从入口801进入商店。收银设备根据摄像头上传的图像序列，确定目标用户X的进入商店行为，然后根据表1和表2所示的编号，确定进入商店行为的第一行为向量为[22,1004]和[23,1004]。收银设备将第一行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X在商店的货架802中拿取了商品，收银设备根据摄像头上传的图像序列，确定目标用户X的拿取行为，拿取行为对应的第二行为向量为[10,1001]和[11,1001]。收银设备将第一行为向量、第二行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X拿取商品后在收银台804进行结账，收银设备根据摄像头上传的图像序列确定目标用户X的支付行为，支付行为对应的第五行为向量为[10,1006]和[11,1006]。收银设备将第一行为向量、第二行为向量、第五行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
若目标用户X从出口803离开商店，收银设备根据摄像头上传的图像序列确定目标用户X的离开商店行为，离开商店行为对应的第三行为向量为[22,1003]和[23,1003]。收银设备再将第一行为向量、第二行为向量、第三行为向量、第五行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
需要说明的是，本申请中基于用户行为判断是否启动告警进程的实施方式并不仅限于上述几种，还可以是其他的实施方式，对此，本申请不做具体限定。
本申请实施例中，通过对采集的图像序列进行分析，确定目标用户的用户行为。然后基于用户行为判断是否启动告警进程。相较于采用EAS系统进行告警来说，提高了检测的准确性，同时不需要借助大体积的检测器，减少占用的空间和硬件成本，提高了检测的灵活性。
为了更好地解释本申请实施例，下面以商店防盗场景为例，介绍本申请实施例提供的一种智能告警方法，该方法由商店内的收银设备执行，商店内的摄像头实时采集图像并上传至收银设备。
设定在10:00至10:01时间段，目标用户Z从入口进入商店。收银设备获取该段时间内摄像头采集的图像序列，采用人像分割模型，从图像序列的每帧待处理图像中分割出人体图像，然后通过局部分割模型，从每帧人体图像中分割出手部图像和脚部图像。之后再对分割出的手部图像和脚部图像按照用户进行分类，获得目标用户Z的手部图像序列和脚部图像序列。
从目标用户Z的手部图像序列中提取手部行为特征，并将提取的手部行为特征与表2所示的手部行为的模板进行匹配，没有获得匹配的手部行为。确定目标用户Z的脚部图像序列中的脚部的图像坐标，然后根据图像坐标系与世界坐标系之间的关系，将目标用户Z的脚部的图像坐标转化为目标用户Z的脚部的世界坐标，之后再基于目标用户Z的脚部的世界坐标确定目标用户Z的移动轨迹。根据目标用户Z的移动轨迹确定目标用户Z的脚部行为为进入商店行为，然后根据表1和表2所示的编号，确定进入商店行为对应的第一行为向量为[22,1004]和[23,1004]。收银设备将第一行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
设定在10:01至10:02时间段，目标用户Z在商店的货架中拿取了商品，收银设备获取该段时间内摄像头采集的图像序列，通过人像分割模型和局部分割模型，获得目标用户Z的手部图像序列和脚部图像序列。
从目标用户Z的手部图像序列中提取手部行为特征，并将提取的手部行为特征与表2所示的手部行为的模板进行匹配，确定目标用户Z的手部行为为拿取行为。基于目标用户Z的脚部图像序列没有匹配相应的脚部行为。拿取行为对应的第二行为向量为[10,1001]和[11,1001]。收银设备将第一行为向量、第二行为向量与盗窃条件进行比对，比对结果为：不匹配，则不启动告警进程。
设定在10:02至10:03时间段，目标用户Z拿取商品后直接从出口离开商店，而没有前往收银台结账。收银设备获取该段时间内摄像头采集的图像序列，通过人像分割模型和局部分割模型，获得目标用户Z的手部图像序列和脚部图像序列。
从目标用户Z的手部图像序列中提取手部行为特征，并将提取的手部行为特征与表2所示的手部行为的模板进行匹配，没有获得匹配的手部行为。基于目标用户Z的脚部图像序列确定目标用户Z的脚部行为为离开商店行为，商店行为对应的第三行为向量为[22,1003]和[23,1003]。收银设备再将第一行为向量、第二行为向量、第三行为向量与盗窃条件进行比对，比对结果为：匹配，则启动告警进程，发送告警消息给商店门口的报警设备，报警设备发出报警声。
本申请实施例中，采用轻量级卷积神经网络进行人像分割和身体部位分割，获得脚部图像和手部图像，基于脚部图像和手部图像确定用户行为，根据用户行为可以直观地判断用户是否存在偷盗行为，从而提高了智能告警的准确性。其次，轻量级卷积神经网络降低了对智能告警设备的性能要求，从而降低了智能告警设备的成本，便于将智能告警方案应用到小体积的移动设备中，减少了空间占用，提高了灵活性。
基于相同的技术构思，本申请实施例提供了一种智能告警装置，如图11所示，该装置1100包括：
获取模块1101，用于获取图像序列；
图像分割模块1102，用于从图像序列的至少一帧待处理图像中分割出目标身体部位图像，获得目标用户的目标身体部位图像序列；
识别模块1103，用于根据目标身体部位图像序列确定目标用户的用户行为；
判断模块1104，用于在确定目标用户的用户行为满足预设条件时，启动告警进程。
可选地，目标身体部位图像序列包括手部图像序列和脚部图像序列；
识别模块1103具体用于：
根据手部图像序列确定目标用户的目标手部行为；
根据脚部图像序列确定目标用户的目标脚部行为。
可选地，识别模块1103具体用于：
从手部图像序列中提取手部行为特征，并将提取的手部行为特征与预设的手部行为模板进行匹配，确定目标用户的目标手部行为。
可选地，识别模块1103具体用于：
确定脚部图像序列中至少一帧脚部图像中的脚部的空间位置信息；
根据至少一帧脚部图像中的脚部的空间位置信息，确定目标用户的移动轨迹；
根据目标用户的移动轨迹，确定目标用户的目标脚部行为。
可选地，判断模块1104具体用于：
在确定目标用户的目标手部行为中包括拿取行为和/或交换行为，目标用户的目标手部行为中不包括放下行为和支付行为，且目标用户的目标脚部行为中包括离开目标空间行为时，启动告警进程。
可选地，判断模块1104具体用于：
在确定目标用户的目标手部行为包括拿取行为和/或交换行为，目标用户的目标手部行为中不包括放下行为，目标用户的目标脚部行为包括离开目标空间行为，且未查询到目标用户的支付信息时，启动告警进程。
可选地，图像分割模块1102具体用于：
通过人像分割模型，从图像序列的至少一帧待处理图像中分割出人体图像；
通过局部分割模型，从至少一帧人体图像中分割出目标身体部位图像；
根据分割出的目标身体部位图像，确定目标用户的目标身体部位图像序列。
可选地，图像分割模块1102具体用于：
通过人像分割模型，对图像序列的至少一帧待处理图像进行特征提取，获得每帧待处理图像对应的两通道特征图像；
根据每帧待处理图像对应的两通道特征图像在两个通道中的图像特征，确定每帧待处理图像中每个像素的类别，类别包括人像部分和背景部分；
根据每帧待处理图像中类别为人像部分的像素，从每帧待处理图像中分割出人体图像。
可选地，图像分割模块1102具体用于：
通过局部分割模型，对至少一帧人体图像进行特征提取，获得每帧人体图像对应的N通道特征图像；
根据每帧人体图像对应的N通道特征图像在N个通道中的图像特征，确定每帧人体图像中每个像素的类别，类别为N个，N为身体部位的数量；
根据每帧人体图像中类别为目标身体部位的像素，从每帧人体图像中分割出目标身体部位图像。
基于相同的技术构思，本申请实施例提供了一种计算机设备，如图12所示，包括至少一个处理器1201，以及与至少一个处理器连接的存储器1202，本申请实施例中不限定处理器1201与存储器1202之间的具体连接介质，图12中处理器1201和存储器1202之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本申请实施例中，存储器1202存储有可被至少一个处理器1201执行的指令，至少一个处理器1201通过执行存储器1202存储的指令，可以执行前述智能告警方法中所包括的步骤。
其中，处理器1201是计算机设备的控制中心，可以利用各种接口和线路连接计算机设备的各个部分，通过运行或执行存储在存储器1202内的指令以及调用存储在存储器1202内的数据，从而进行告警。可选的，处理器1201可包括一个或多个处理单元，处理器1201可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1201中。在一些实施例中，处理器1201和存储器1202可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器1201可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器1202作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1202可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器1202是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器1202还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
基于同一发明构思，本申请实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当程序在计算机设备上运行时，使得计算机设备执行上述智能告警方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种智能告警方法，其特征在于，包括：
获取图像序列；
通过人像分割模型，从所述图像序列的至少一帧待处理图像中分割出人体图像；
通过局部分割模型，对至少一帧人体图像进行特征提取，获得每帧人体图像对应的N通道特征图像，N为身体部位的数量；
针对每帧人体图像，基于相应的N通道特征图像，确定所述人体图像中每个像素分别属于N个身体部位的概率；并针对每个像素，将概率最大的身体部位对应的编号，作为所述像素的编号；
根据目标身体部位的编号和每帧人体图像中各个像素的编号，从每帧人体图像中分割出目标身体部位图像；其中，在训练所述局部分割模型时，根据身体部位的数量对各个身体部位进行编码，获得各个身体部位的编号；将样本图像中各个身体部分的像素标记为对应的编号；
将分割出的目标身体部位图像进行聚类，获得每个目标用户的目标身体部位图像序列，所述目标身体部位图像序列包括手部图像序列和脚部图像序列；
从所述手部图像序列中提取手部行为特征，并将提取的手部行为特征与预设的手部行为模板进行匹配，确定所述目标用户的目标手部行为；
将手部编号与所述目标手部行为的编号组成二维数组，形成手部的行为向量；
针对所述脚部图像序列中的每帧脚部图像，确定所述脚步图像中脚部的图像坐标；根据图像坐标系与世界坐标系之间的对应关系，将所述脚部的图像坐标转换为所述脚部的世界坐标；
根据所述脚部图像序列的多帧脚部图像中脚部的世界坐标，确定所述目标用户的移动轨迹；
根据所述目标用户的移动轨迹，确定所述目标用户的目标脚部行为；
将脚部编号与所述目标脚部行为的编号组成二维数组，形成脚部的行为向量，所述目标手部行为的编号和所述目标脚部行为的编号是预先对用户行为进行编码获得的；
在确定所述目标手部行为和所述目标脚部行为满足预设条件时，启动告警进程。
2.如权利要求1所述的方法，其特征在于，所述在确定所述目标手部行为和所述目标脚部行为满足预设条件时，启动告警进程，包括：
在确定所述目标用户的目标手部行为中包括拿取行为和/或交换行为，所述目标用户的目标手部行为中不包括放下行为和支付行为，且所述目标用户的目标脚部行为中包括离开目标空间行为时，启动告警进程。
3.如权利要求1所述的方法，其特征在于，所述在确定所述目标手部行为和所述目标脚部行为满足预设条件时，启动告警进程，包括：
在确定所述目标用户的目标手部行为包括拿取行为和/或交换行为，所述目标用户的目标手部行为中不包括放下行为，所述目标用户的目标脚部行为包括离开目标空间行为，且未查询到所述目标用户的支付信息时，启动告警进程。
4.如权利要求1所述的方法，其特征在于，所述通过人像分割模型，从所述图像序列的至少一帧待处理图像中分割出人体图像，包括：
通过人像分割模型，对所述图像序列的至少一帧待处理图像进行特征提取，获得每帧待处理图像对应的两通道特征图像；
根据每帧待处理图像对应的两通道特征图像在两个通道中的图像特征，确定每帧待处理图像中每个像素的类别，所述类别包括人像部分和背景部分；
根据每帧待处理图像中类别为人像部分的像素，从每帧待处理图像中分割出人体图像。
5.一种智能告警装置，其特征在于，包括：
获取模块，用于获取图像序列；
图像分割模块，用于通过人像分割模型，从所述图像序列的至少一帧待处理图像中分割出人体图像；通过局部分割模型，对至少一帧人体图像进行特征提取，获得每帧人体图像对应的N通道特征图像，N为身体部位的数量；针对每帧人体图像，基于相应的N通道特征图像，确定所述人体图像中每个像素分别属于N个身体部位的概率；并针对每个像素，将概率最大的身体部位对应的编号，作为所述像素的编号；根据目标身体部位的编号和每帧人体图像中各个像素的编号，从每帧人体图像中分割出目标身体部位图像；其中，在训练所述局部分割模型时，根据身体部位的数量对各个身体部位进行编码，获得各个身体部位的编号；将样本图像中各个身体部分的像素标记为对应的编号；将分割出的目标身体部位图像进行聚类，获得每个目标用户的目标身体部位图像序列，所述目标身体部位图像序列包括手部图像序列和脚部图像序列；
识别模块，用于从所述手部图像序列中提取手部行为特征，并将提取的手部行为特征与预设的手部行为模板进行匹配，确定所述目标用户的目标手部行为；将手部编号与所述目标手部行为的编号组成二维数组，形成手部的行为向量；针对所述脚部图像序列中的每帧脚部图像，确定所述脚步图像中脚部的图像坐标；根据图像坐标系与世界坐标系之间的对应关系，将所述脚部的图像坐标转换为所述脚部的世界坐标；根据所述脚部图像序列的多帧脚部图像中脚部的世界坐标，确定所述目标用户的移动轨迹；根据所述目标用户的移动轨迹，确定所述目标用户的目标脚部行为；将脚部编号与所述目标脚部行为的编号组成二维数组，形成脚部的行为向量，所述目标手部行为的编号和所述目标脚部行为的编号是预先对用户行为进行编码获得的；
判断模块，用于在确定所述目标手部行为和所述目标脚部行为满足预设条件时，启动告警进程。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1～4任一权利要求所述方法的步骤。
7.一种计算机可读存储介质，其特征在于，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行权利要求1～4任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011034769.7A CN114360182B (zh) | 2020-09-27 | 2020-09-27 | 一种智能告警方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011034769.7A CN114360182B (zh) | 2020-09-27 | 2020-09-27 | 一种智能告警方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114360182A CN114360182A (zh) | 2022-04-15 |
| CN114360182B true CN114360182B (zh) | 2024-02-27 |
Family
ID=81090235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011034769.7A Active CN114360182B (zh) | 2020-09-27 | 2020-09-27 | 一种智能告警方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114360182B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882533A (zh) * | 2022-05-30 | 2022-08-09 | 北京百度网讯科技有限公司 | 一种考场异常行为检测方法、装置、设备以及存储介质 |
| CN115546900B (zh) * | 2022-11-25 | 2023-03-31 | 浙江莲荷科技有限公司 | 风险识别方法、装置、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120128864A (ko) * | 2011-05-18 | 2012-11-28 | 최돈철 | 근접장통신 알에프아이디 리더가 장착된 스마트폰 기반 물품관리시스템 |
| CN106537901A (zh) * | 2014-03-26 | 2017-03-22 | 马克·W·帕布利科弗 | 用于提供定制的娱乐内容的计算机处理方法和系统 |
| CN108921081A (zh) * | 2018-06-27 | 2018-11-30 | 百度在线网络技术（北京）有限公司 | 用户操作的检测方法和装置 |
| WO2020010821A1 (zh) * | 2018-07-09 | 2020-01-16 | 深圳码隆科技有限公司 | 一种自动售货机的补货管理方法、装置和用户终端 |
| CN110895861A (zh) * | 2018-09-13 | 2020-03-20 | 杭州海康威视数字技术股份有限公司 | 异常行为预警方法、装置、监控设备和存储介质 |
| CN111079478A (zh) * | 2018-10-19 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | 一种无人售货架监控方法、装置、电子设备及系统 |
| CN111263224A (zh) * | 2018-11-30 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 视频处理方法、装置及电子设备 |
| CN111316301A (zh) * | 2017-08-07 | 2020-06-19 | 慧通电子私人有限公司 | 自动售货机 |
| CN111695458A (zh) * | 2020-05-28 | 2020-09-22 | 腾讯科技（深圳）有限公司 | 一种视频图像帧处理方法及装置 |
-
2020
- 2020-09-27 CN CN202011034769.7A patent/CN114360182B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120128864A (ko) * | 2011-05-18 | 2012-11-28 | 최돈철 | 근접장통신 알에프아이디 리더가 장착된 스마트폰 기반 물품관리시스템 |
| CN106537901A (zh) * | 2014-03-26 | 2017-03-22 | 马克·W·帕布利科弗 | 用于提供定制的娱乐内容的计算机处理方法和系统 |
| CN111316301A (zh) * | 2017-08-07 | 2020-06-19 | 慧通电子私人有限公司 | 自动售货机 |
| CN108921081A (zh) * | 2018-06-27 | 2018-11-30 | 百度在线网络技术（北京）有限公司 | 用户操作的检测方法和装置 |
| WO2020010821A1 (zh) * | 2018-07-09 | 2020-01-16 | 深圳码隆科技有限公司 | 一种自动售货机的补货管理方法、装置和用户终端 |
| CN110895861A (zh) * | 2018-09-13 | 2020-03-20 | 杭州海康威视数字技术股份有限公司 | 异常行为预警方法、装置、监控设备和存储介质 |
| CN111079478A (zh) * | 2018-10-19 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | 一种无人售货架监控方法、装置、电子设备及系统 |
| CN111263224A (zh) * | 2018-11-30 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 视频处理方法、装置及电子设备 |
| CN111695458A (zh) * | 2020-05-28 | 2020-09-22 | 腾讯科技（深圳）有限公司 | 一种视频图像帧处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114360182A (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10891465B2 (en) | Methods and apparatuses for searching for target person, devices, and media | |
| US11295139B2 (en) | Human presence detection in edge devices | |
| WO2021139324A1 (zh) | 图像识别方法、装置、计算机可读存储介质及电子设备 | |
| CN112329659B (zh) | 基于车辆图像的弱监督语义分割方法及其相关设备 | |
| US20170213080A1 (en) | Methods and systems for automatically and accurately detecting human bodies in videos and/or images | |
| US20160259980A1 (en) | Systems and methodologies for performing intelligent perception based real-time counting | |
| CN108229335A (zh) | 关联人脸识别方法和装置、电子设备、存储介质、程序 | |
| CN112200081A (zh) | 异常行为识别方法、装置、电子设备及存储介质 | |
| CN111581423B (zh) | 一种目标检索方法及装置 | |
| CN111414888A (zh) | 低分辨率人脸识别方法、系统、装置及存储介质 | |
| US11514715B2 (en) | Deepfake video detection system and method | |
| CN114360182B (zh) | 一种智能告警方法、装置、设备及存储介质 | |
| Avgerinakis et al. | Activity detection using sequential statistical boundary detection (ssbd) | |
| CN108875509A (zh) | 活体检测方法、装置和系统及存储介质 | |
| CN114550053A (zh) | 一种交通事故定责方法、装置、计算机设备及存储介质 | |
| Kuppusamy et al. | Human abnormal behavior detection using CNNs in crowded and uncrowded surveillance–A survey | |
| US20220172271A1 (en) | Method, device and system for recommending information, and storage medium | |
| CN114861241A (zh) | 基于智能检测的防窥屏方法及其相关设备 | |
| CN114419480A (zh) | 一种多人身份和动作关联识别方法、装置及可读介质 | |
| CN113869161A (zh) | 一种基于人脸识别与骨骼算法实现智能跑道的方法和系统 | |
| Joshi et al. | Smart surveillance system for detection of suspicious behaviour using machine learning | |
| CN113269125A (zh) | 一种人脸识别方法、装置、设备及存储介质 | |
| Yasin et al. | Anomaly Prediction over Human Crowded Scenes via Associate‐Based Data Mining and K‐Ary Tree Hashing | |
| Yanakova et al. | Facial recognition technology on ELcore semantic processors for smart cameras | |
| Arivazhagan | Versatile loitering detection based on non-verbal cues using dense trajectory descriptors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |