CN109829359A - 无人商店的监控方法、装置、计算机设备及存储介质 - Google Patents
无人商店的监控方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109829359A CN109829359A CN201811537644.9A CN201811537644A CN109829359A CN 109829359 A CN109829359 A CN 109829359A CN 201811537644 A CN201811537644 A CN 201811537644A CN 109829359 A CN109829359 A CN 109829359A
- Authority
- CN
- China
- Prior art keywords
- expression
- micro
- image
- face
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000014509 gene expression Effects 0.000 claims abstract description 201
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 238000012795 verification Methods 0.000 claims abstract description 12
- 239000002131 composite material Substances 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 11
- 238000012806 monitoring device Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 208000002193 Pain Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种无人商店的监控方法、装置、计算机设备及存储介质，所述方法包括：在接收到客户端发送的当前用户的状态验证请求时，接收客户端发送的实时视频流，并从实时视频流中获取包含当前用户的面部的基础图像集合，对基础图像集合中的每个基础图像进行微表情识别，得到至少一个目标微表情，再获取每个目标微表情对应的预设权值，并通过目标微表情对应的预设权值计算第一说谎分值，同时，获取客户端发送的用户的心率数据，根据预设的心率数据对应的说谎分值，确定心率数据对应的第二说谎分值，进而基于第一说谎分值和第二说谎分值，预测用户的付款状态，实现了对用户付款状态的智能监控，节约了人力成本，提高了无人商店的自动化监管水平。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种无人商店的监控方法、装置、计算机设备及存储介质。
背景技术
随着互联网技术的迅猛进步和和实体经济的飞速发展，零售业新形态的无人超市开始变得火热。对于传统的零售业，人工高、房租高是公认的两大痛点，无人商店减少了店铺的运营成本，因此无人商店逐渐蔓延到了餐饮、生活服务、图书等广泛的行业领域。
但是在现有的无人商店运用上，存在以下技术问题：当前的无人商店中没有工作人员在店内看守，因此，需要用户自觉遵守无人商店内的所有交易规则，但是，难免会出现一些素质相对较差的用户在无人商店购买商品，未经付款便携带商品走出无人商店，这种无法区分用户付款状态的情况，往往会给无人商店所有者带来经济损失，随着无人商店规模的增大，需要不断增加工作人员进行远程监控，造成无人商店人力成本大，自动化监管水平低的问题。
发明内容
本发明实施例提供一种无人商店的监控方法、装置、计算机设备和存储介质，以解决当前无人商店无法区分用户的付款状态导致的人力成本高、自动化监管水平低的问题。
一种无人商店的监控方法，包括：
若接收到客户端发送的当前用户的状态验证请求，则接收所述客户端发送的实时视频流，并从所述实时视频流中获取包含所述当前用户的面部图像的基础图像集合；
对所述基础图像集合中的每个所述面部图像进行微表情识别，得到至少一个目标微表情；
获取每个所述目标微表情对应的预设权值，根据所述预设权值确定每个所述目标微表情的第一说谎分值；
获取所述客户端发送的所述当前用户的心率数据，并根据心率数据范围与说谎分值之间预设的对应关系，确定所述心率数据对应的第二说谎分值；
基于所述第一说谎分值和所述第二说谎分值，对所述用户的付款状态进行预测，得到预测结果，其中，所述预测结果包括所述用户的付款状态正常或者所述用户的付款状态异常。
一种无人商店的监控装置，包括：
请求接收模块，用于若接收到客户端发送的当前用户的状态验证请求，则接收所述客户端发送的实时视频流，并从所述实时视频流中获取包含所述当前用户的面部图像的基础图像集合；
微表情识别模块，用于对所述基础图像集合中的每个所述面部图像进行微表情识别，得到至少一个目标微表情；
分值计算模块，用于获取每个所述目标微表情对应的预设权值，根据所述预设权值确定每个所述目标微表情的第一说谎分值；
分值确定模块，用于获取所述客户端发送的所述当前用户的心率数据，并根据心率数据范围与说谎分值之间预设的对应关系，确定所述心率数据对应的第二说谎分值；
状态判断模块，用于基于所述第一说谎分值和所述第二说谎分值，对所述用户的付款状态进行预测，得到预测结果，其中，所述预测结果包括所述用户的付款状态正常或者所述用户的付款状态异常。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述无人商店的监控方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述无人商店的监控方法的步骤。
本发明实施例提供的无人商店的监控方法、装置、计算机设备及存储介质，在接收到客户端发送的当前用户的状态验证请求时，接收客户端发送的实时视频流，并从实时视频流中获取包含当前用户的面部的基础图像集合，进而对基础图像集合中的每个基础图像进行微表情识别，得到至少一个目标微表情，再获取每个目标微表情对应的预设权值，并通过目标微表情对应的预设权值计算第一说谎分值，同时，获取客户端发送的用户的心率数据，并根据预设的心率数据对应的说谎分值，确定心率数据对应的第二说谎分值，进而基于第一说谎分值和第二说谎分值，预测用户的付款状态，实现了对用户付款状态的智能监控，节约了人力成本，提高了无人商店的自动化监管水平。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的无人商店的监控方法的应用环境示意图；
图2是本发明实施例提供的无人商店的监控方法的实现流程图；
图3是本发明实施例提供的无人商店的监控方法中步骤S10的实现流程图；
图4是本发明实施例提供的无人商店的监控方法中步骤S20的实现流程图；
图5是本发明实施例提供的无人商店的监控方法中步骤S22的实现流程图；
图6是本发明实施例提供的无人商店的监控装置的示意图；
图7是本发明实施例提供的计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1示出本发明实施例提供的无人商店的监控方法的应用环境。该无人商店的监控方法应用在无人商店的监控场景中。该监控场景包括服务器、客户端和监控端，其中，服务端和客户端之间、服务端和监控端之间通过网络进行连接，客户端向服务端提供实时视频流和用户心率数据，服务端从实时视频流中提取基础图像集合，并分析基础图像集合中每个面部图像对应的目标微表情，进而根据目标微表情的权值计算第一说谎分值，并根据用户心率数据确定第二说谎分值，从而根据第一说谎分值和第二说谎分值对用户付款状态进行预测，服务端在预测结果为异常时，向监控端推送异常消息。客户端和监控端具体可以但不限于是各种个人计算机、笔记本电脑和平板电脑等智能终端设备，服务端具体可以用独立的服务器或者多个服务器组成的服务器集群实现。
请参阅图2，图2示出本发明实施例提供的一种无人商店的监控方法，以该方法应用在图1中的服务端为例进行说明，详述如下：
S10：若接收到客户端发送的当前用户的状态验证请求，则接收客户端发送的实时视频流，并从实时视频流中获取包含当前用户的面部图像的基础图像集合。
具体地，客户端连接有摄像装备，在用户的进入出口通道时，摄像装备会对用户进行拍摄，得到实时视频流，客户端将实时视频流发送给服务端，并向服务端发送当前用户的状态验证请求，服务端接收到客户端发送的当前用户的状态验证请求后，通过网络传输协议接收该实时视频流，并从实时视频流中获取包含当前用户的面部图像的基础图像集合。
其中，当前用户的状态验证请求是指对当前用户的付款状态进行验证的请求。
其中，基础图像集合包含当前用户的一个或多个面部图像，从实时视频流中获取包含当前用户的面部图像的基础图像集合具体可以是通过从实时视频流中获取多个视频帧图像，进而对每个视频帧图像进行人脸检测，将包含完整人脸的视频帧图像作为一个当前用户的面部图像，得到包含当前用户的面部图像的基础图像集合。
其中，网络传输协议包括但不限于：互联网控制报文协议(Internet ControlMessage Protocol，ICMP)、地址解析协议(ARP Address Resolution Protocol，ARP)和文件传输协议(File Transfer Protocol，FTP)等。
S20：对基础图像集合中的每个面部图像进行微表情识别，得到至少一个目标微表情。
具体地，通过微表情识别的方式，对基础图像集合中的每个面部图像进行微表情识别，得到每个面部图像对应的目标微表情。
其中，微表情是心理应激微反应的一部分，它从人类本能出发，不受思想的控制，无法掩饰，也不能伪装，再能“装”的人，遇到有效刺激之后的第一瞬间也会出现微表情，因此，以微表情为代表的微反应是人内心想法的忠实呈现，是了解一个人内心真实想法的最准确线索，因而，本实施例通过对基础图像中的微表情进行识别，来得到当前用户的目标微表情，从而判断用户通过无人商店出口时的心理，进而预测当前用户的付款状态。
其中，微表情识别的方式包括但不限于：基于神经网络的微表情识别算法、基于平均灰度的局部三值模式(Mean Grayscale-Local Ternary Patterns，MG-LTP)算法和基于Gabor特征和支持向量机的微表情识别算法等。
值得说明的是，基础图像集合包含一个或多个面部图像，每个面部图像经过微表情识别后，得到一个目标微表情，因而，在基础图像包含的面部图像为多个时，对应的目标微表情也为多个。
S30：获取每个目标微表情对应的预设权值，根据预设权值确定每个目标微表情的第一说谎分值。
具体地，每个微表情预先设置有对应的权值，获取每个目标微表情对应的预设权值，进而使用预设公式进行计算，得到当前用户的基础图像集合对应的第一说谎分值。
其中，预设公式用于通过微表情的预设权值，来计算所有目标微表情的综合评估值，得到第一说谎分值。
其中，预设权值是指用来对该微表情出现在用户未付款的状态的评估分值，预设权值越大，即代表该预设权值对应的微表情，出现在未付款的用户身上的可能性越大，预设权值可根据实际需要进行设置，例如，获取到的将目标微表情“紧张”对应的预设权值为90，获取到的目标微表情“窃喜”对应的预设权值为70，获取到的目标微表情“微笑”对应的预设权值为20。
S40：获取客户端发送的当前用户的心率数据，并根据心率数据范围与说谎分值之间预设的对应关系，确定心率数据对应的第二说谎分值。
具体地，在无人商店出口通道中间设有一自动闸门，在闸门一侧设置有测试手环，当前用户在通过该自动闸门之前，需要握住手环，触发手环对当前用户进行心率测试，得到当前用户的心率数据，进而通过客户端，将该心率数据发送给服务端，服务端接收到该心率数据后，根据心率数据范围与说谎分值之间预设的对应关系，确定心率数据对应的第二说谎分值。
其中，心率是指每分钟心跳的次数，行为人正常心率为60～100次/分钟，在行为人处于紧张状态时，心率会明显加快，本实施例根据心率所处的范围，设置对应的说谎分值，与不同心率数据范围对应的说谎分值，可依据时间情况进行设置，此处不做具体限定。
S50：基于第一说谎分值和第二说谎分值，对用户的付款状态进行预测，得到预测结果，其中，预测结果包括用户的付款状态正常或者用户的付款状态异常。
具体地，通过将第一说谎分值和第二说谎分值进行相加，将得到的结果作为综合说谎分值，进而通过将综合说谎分值与预设阈值进行对比，实现对当前用户是否付款进行预测，得到预测结果，在当前将综合说谎分值超过预设阈值时，确认预测结果为用户的付款状态异常，在当前将综合说谎分值未超过预设阈值时，确认预测结果为用户的付款状态正常。
在本实施例中，在接收到客户端发送的当前用户的状态验证请求时，接收客户端发送的实时视频流，并从实时视频流中获取包含当前用户的面部的基础图像集合，进而对基础图像集合中的每个基础图像进行微表情识别，得到至少一个目标微表情，再获取每个目标微表情对应的预设权值，并通过目标微表情对应的预设权值计算第一说谎分值，同时，获取客户端发送的用户的心率数据，并根据预设的心率数据对应的说谎分值，确定心率数据对应的第二说谎分值，进而基于第一说谎分值和第二说谎分值，预测用户的付款状态，实现了对用户付款状态的智能监控，节约了人力成本，提高了无人商店的自动化监管水平。
在图2对应的实施例的基础之上，下面通过一个具体的实施例来对步骤S10中所提及的从实时视频流中获取包含当前用户的面部图像的基础图像集合的具体实现方法进行详细说明。
请参阅图3，图3示出了本发明实施例提供的步骤S10的具体实现流程，详述如下：
S11：按照预设的时间间隔，从实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合。
具体地，服务端按照预设的时间间隔，从接收到的实时视频流中抽取视频帧，得到包含多个帧图像的帧图像集合。
例如，在一具体实施方式中，预设的时间间隔为8个连续视频帧对应的时间，在接收到客户端发送的实时视频流后，服务器将获取到的包含128个连续视频帧的实时视频流中，将8个视频帧作为一个视频帧集合，并获取每个视频帧集合中的最后一个视频帧图像，一共得到128/8＝16个视频帧图像，将这16个帧图像作为帧图像集合。
S12：采用人脸检测算法，对帧图像集合中的帧图像进行人脸检测，得到检测结果。
具体地，通过人脸检测技术，对步骤S11中获取到的帧图像集合中的每个帧图像进行人脸检测，在本实施例中，获取实时视频流中的帧图像是为了进行微表情识别，因而，对人脸进行检测，主要是检测帧图像中是否包括清晰完整的人脸图像，因而，检测结果包括两种情况：包含完整的人脸特征和不包含完整人脸特征。
其中，人脸检测技术主要是用于检测帧图像中面部五官、轮廓及重要面部弧线是否清晰完整，其具体实现方式包括但不限于：Adaboost算法、人脸特征点的识别算法(Feature-based recognition algorithms)、神经网络进行识别的算法(Recognitionalgorithms using neural network)和基于主成分分析(Principal ComponentAnalysis，PCA)的特征脸算法等。
S13：将检测结果中，包含完整人脸特征的每个帧图像均作为一个面部图像，得到包含至少一个面部图像的基础图像集合。
具体地，将步骤S12中检测结果为包含完整的人脸特征的帧图像作为当前用户的面部图像，当前用户的面部图像以是一个，也可以是多个。
值得说明的是，获取到的当前用户的面部图像至少为一个，若未获取到当前用户的面部图像，则认为当前用户的状态获取异常，将获取到的实时视频流发送给监控端，并向监控端发送异常提醒预警。
在本实施例中，按照预设的时间间隔，从实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合，采用人脸检测算法，对帧图像集合中的帧图像进行人脸检测，得到检测结果，将检测结果中，包含完整人脸特征的每个帧图像均作为一个面部图像，得到包含至少一个面部图像的基础图像集合，实现从实时视频流中选取包含完整的人脸图像的基础图像集合，有利于后续使用该基础图像集合进行微表情识别。
在图2对应的实施例的基础之上，下面通过一个具体的实施例来对步骤S20中所提及的对基础图像集合中的每个面部图像进行微表情识别，得到至少一个目标微表情的具体实现方法进行详细说明。
请参阅图4，图4示出了本发明实施例提供的步骤S20的具体实现流程，详述如下：
S21：针对基础图像集合中的每个面部图像，通过预设的卷积神经网络模型，对面部图像进行表情单元识别，得到每个面部图像中包含的待识别单元集合。
具体地，将步骤S10中得到的基础图像作为输入图像，输入到训练好的预设的卷积神经网络中进行识别，在卷积神经网络的全连接层，预设有19个分类器，每个分类器对应一种预设的动作单元(Facial Action Unit，以下简称AU)，共19种预设的AU，经过分类器的识别，得到该面部图像中包含的多个基础表情单元，进而将同一面部表情得到的所有基础表情单元，作为一个待识别单元集合。
其中，AU是指行为人的面部用以表达行为人的表情的表情单元，在本实施例中，采用的AU为国际通用的19中AU，具体表一所示：
| AU标号 | AU描述 |
| AU1 | 内眉上扬 |
| AU2 | 外眉上扬 |
| AU4 | 眉毛下压 |
| AU5 | 上眼脸上扬 |
| AU6 | 脸颊抬起 |
| AU7 | 眼睑收紧 |
| AU9 | 鼻子蹙皱 |
| AU10 | 上唇上扬 |
| AU12 | 嘴角上扬 |
| AU14 | 收紧嘴角 |
| AU15 | 嘴角下拉 |
| AU16 | 下嘴唇下压 |
| AU17 | 下巴缩紧 |
| AU18 | 嘴唇褶皱 |
| AU20 | 嘴唇伸展 |
| AU23 | 嘴唇收缩 |
| AU24 | 嘴唇压紧 |
| AU25 | 上下嘴唇分开 |
| AU26 | 下颚下拉 |
表一
其中，卷积神经网(Convolutional Neural Network，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，可以快速高效进行图像处理，在本实施例中，采用预先训练好的卷积神经网络，可以快速地识别出基础图像中包含的AU。
例如，在一具体实施方式中，将获取到的基础图像输入到预设的卷积神经网络中进行识别后，得到的基础表情单元类别为：AU4、AU7、AU9和AU24，即眉毛下压、眼睑收紧、鼻子蹙皱和嘴唇压紧。
值得说明的是，现有技术主要运用时空局部纹理特征(Local Binary Patternsfrom Three Orthogonal Planes，以下简称LBP-TOP)算子对微表情进行识别，但在本实施例中，是通过获取实时视频流来得到面部图像，获取到的面部图像中当前用户的面部倾斜角度，以及无人商店光线、拍摄的角度均包含诸多不确定因素，LBP-TOP算子对标准人脸图像进行识别具有较高的准确率，但在实施例中，却并不适用，因而，本实施例采用卷积神经网络对基础图像中行为人的表情单元进行识别，并根据识别到的表情单元来确定行为人的微表情，在本实施例中，相对于LBP-TOP算子，使用卷积神经网络进行微表情识别的运算速度更快，且识别精度更高。
S22：根据预设的表情单元组合集合中，每个预设的表情单元组合与每个微表情之间的映射关系，确定面部图像中包含的待识别单元集合对应的微表情，作为目标微表情。
具体地，预设的表情单元组合集合包含多个预设的表情单元组合，每个预设的表情单元组合均与一个微表情具有映射关系，通过从预设的表情单元组合集合中，选取与面部图像中包含的待识别单元集合最接近的预设的表情单元组合，作为目标表情单元组合，进而将目标表情单元组合对应的微表情，作为面部图像中包含的待识别单元集合对应的目标微表情。
其中，选取与面部图像中包含的待识别单元集合最接近的预设的表情单元组合，具体可以是通过计算待识别单元集合与预设的表情单元组合集合中每个预设的表情单元组合的相似度，进而从得到的相似度值中选取值最大的相似度值作为目标相似度值，进而将目标相似度值对应的预设的表情单元组合作为与待识别单元集合最接近的预设的表情单元组合。
在本实施例中，针对基础图像集合中的每个面部图像，通过预设的卷积神经网络模型，对面部图像进行表情单元识别，得到每个面部图像中包含的待识别单元集合，进而根据预设的表情单元组合集合中，每个预设的表情单元组合与每个微表情之间的映射关系，确定面部图像中包含的待识别单元集合对应的微表情，作为目标微表情，实现了通过神经网络对基础图像集合中的每个面部图像进行智能识别，得到每个面部图像的目标微表情，提高了获取目标微表情的效率。
在图2对应的实施例的基础之上，下面通过一个具体的实施例来对步骤S22中所提及的根据预设的表情单元组合集合中，每个预设的表情单元组合与每个微表情之间的映射关系，确定面部图像中包含的待识别单元集合对应的微表情，作为目标微表情的具体实现方法进行详细说明。
请参阅图5，图5示出了本发明实施例提供的步骤S22的具体实现流程，详述如下：
S221：获取预设的表情单元组合集合，其中，表情单元组合集合包括m个预设的表情单元组合，每个预设的表情单元组合对应一个微表情，m为正整数。
具体地，预设的表情单元组合集合中包含m个表情单元组合，每个表情单元组合包括至少两种的动作单元，每个预设的表情单元组合对应一个微表情。
其中，表情单元组合是指两种或者两种以上的动作单元形成的组合，每个预设的表情单元组合对应一个微表情。
例如，在一具体实施方式中，获取到的一表情单元组合包括3种动作单元，分别为：AU2、AU6和AU20，该表情单元组合对应的微表情为“开心”。
其中，表情单元组合数量m的值可以根据实际情况进行设置，此处不做具体限制，作为一种优选方式，本实施例中m的值为16，即包含16中表情单元组合。
S222：分别计算待识别单元集合与每个预设的表情单元组合的相似度，得到m个相似度值。
具体地，分别待识别单元集合与每个预设的表情单元组合的相似度，从而得到m个相似度值，具体相似度计算方式可以为：在待识别单元集合中，每存在一个在预设的表情单元组合包含的动作单元相同的动作单元，相似度值加2；在待识别单元集合中，每存在一个与预设的表情单元组合包含的动作单元相似的动作单元，相似度值加1；在待识别单元集合中，每存在一个与预设的表情单元组合中任一个动作单元均不相关的动作单元，相似度的值不变；在待识别单元集合中，每存在一个预设的表情单元组合包含的动作单元相同具有相反的含义的动作单元，相似度的值减1。
其中，相似的动作单元，是指两个不同的动作单元，表达的意思相似，例如，嘴唇收缩和嘴唇压紧这两个动作单元，均可理解为在人在紧张或者拘促状态下的一种不自觉的咬紧嘴唇的动作，但两者在程度上稍有区别。
例如，在一具体实施方式中，需计算基础表情单元为“AU1、AU7、AU9和AU23”与一表情单元组合为“AU2、AU7、AU9和AU24”的相似度，其中，AU1与AU2为含义相似动作单元，AU23与AU24为含义相似表情，AU7、AU9在待识别单元集合和预设的表情单元组合中均存在，因而，待识别单元集合和预设的表情单元组合的相似度值为1+2+2+1＝6。
S223：选取m个相似度值中值最大的相似度值对应的表情单元组合，作为目标单元组合。
具体地，从获取到的m个相似度值中，选取值最大的相似度值，作为目标相似度值，并获取目标相似度值对应的预设的表情单元组合，作为目标单元组合。
S224：根据映射关系，获取目标单元组合对应的微表情，作为目标微表情。
具体地，根据预设的单元组合与微表情的映射关系，获取目标单元组合对应的微表情，作为目标微表情。
在本实施例中，获取预设的表情单元组合集合，并分别计算待识别单元集合与预设的表情单元组合集合中的m个预设的表情单元组合的相似度，得到m个相似度值，再选取m个相似度值中值最大的相似度值对应的表情单元组合，作为目标单元组合，进而根据映射关系，获取目标单元组合对应的微表情，作为目标微表情，通过计算相似度值的方式，确定目标单元组合，进而得到目标单元组合对应的微表情，提升了获取目标微表情的准确性。
在一实施例中，在步骤S50之后，该无人商店的监控方法还包括：
若预测结果为用户的付款状态异常，则向监控端推送预警消息。
具体地，在通过第一说谎分值和第二说谎分值对当前用户的付款状态进行预测之后，在得到的预测结果为用户的付款状态异常时，判断当前用户存在未付款即打算离开无人商店的动机，此时，监控端的管理人员通过观看实时视频流，并调用客户端的摄像设备拍摄的录像，对当前用户的付款状态进行核实，若证实当前用户确实未完成付款便准备离开无人商店，则根据未付款金额的大小进行相应的预警提醒。
例如，在一具体实施例中，未付款金额在100以内的，通过监控端向服务端发送语音提醒信息，服务端再将语音提醒信息转发给客户端，进而通过客户端的播音设备提醒当前用户进行付款，未付款金额在100到500的，可以通过监控端向服务端发送警报信息和语音提醒信息，服务端再将该警报信息和语音提醒信息发送给客户端，通过客户端的播音设备提醒当前用户进行付款并驱动出口通道的警报灯，针对未付款金额超过500的，确认存在偷盗嫌疑，通过监控端向与监控端连接的公安系统进行报警处理。
在本实施例中，在预测结果为用户的付款状态异常时，向监控端推送预警消息，使得监控端的监控人员及时对预测结果为用户的付款状态异常时间做出处理，有利于及时预警，减少无人商店损失，提高了无人商店预警的及时性和监控的力度。
在图2对应的实施例的基础之上，下面通过一个具体的实施例来对步骤S30中所提及的根据预设权值确定每个目标微表情的第一说谎分值的具体实现方法进行详细说明，详述如下：
使用如下公式计算第一说谎分值：
其中，S1为第一说谎分值，σ为n个目标微表情对应的预设权值的标准差，n为目标微表情的个数，Ai为第i个目标微表情对应的预设权值，μ为n个目标微表情对应的预设权值的平均值，i和n为正整数，且i≤n。
在本实施例中，通过预设公式，对第一说谎分值的一个具体计算方式进行说明，通过预设公式对第一说谎分值进行计算，为后续使用第一说谎分值对当前用户状态进行预测提供了数据支持。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图6示出与上述实施例无人商店的监控方法一一对应的无人商店的监控装置的原理框图。如图6所示，该无人商店的监控装置包括请求接收模块10、微表情识别模块20、分值计算模块30、分值确定模块40和状态判断模块50。各功能模块详细说明如下：
请求接收模块10，用于若接收到客户端发送的当前用户的状态验证请求，则接收客户端发送的实时视频流，并从实时视频流中获取包含当前用户的面部图像的基础图像集合；
微表情识别模块20，用于对基础图像集合中的每个面部图像进行微表情识别，得到至少一个目标微表情；
分值计算模块30，用于获取每个目标微表情对应的预设权值，根据预设权值确定每个目标微表情的第一说谎分值；
分值确定模块40，用于获取客户端发送的当前用户的心率数据，并根据心率数据范围与说谎分值之间预设的对应关系，确定心率数据对应的第二说谎分值；
状态判断模块50，用于基于第一说谎分值和第二说谎分值，对用户的付款状态进行预测，得到预测结果，其中，预测结果包括用户的付款状态正常或者用户的付款状态异常。
进一步地，请求接收模块10包括：
图像获取单元11，用于按照预设的时间间隔，从实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
人脸检测单元12，用于采用人脸检测算法，对帧图像集合中的帧图像进行人脸检测，得到检测结果；
集合获取单元13，用于将检测结果中，包含完整人脸特征的每个帧图像均作为一个面部图像，得到包含至少一个面部图像的基础图像集合。
进一步地，微表情识别模块20包括：
待识别表情获取单元21，用于针对基础图像集合中的每个面部图像，通过预设的卷积神经网络模型，对面部图像进行表情单元识别，得到每个面部图像中包含的待识别单元集合；
目标微表情确定单元22，用于根据预设的表情单元组合集合中，每个预设的表情单元组合与每个微表情之间的映射关系，确定面部图像中包含的待识别单元集合对应的微表情，作为目标微表情。
进一步地，目标微表情确定单元22包括：
组合集合获取子单元221，用于获取预设的表情单元组合集合，其中，表情单元组合集合包括m个预设的表情单元组合，每个预设的表情单元组合对应一个微表情，m为正整数；
相似度计算子单元222，用于分别计算待识别单元集合与每个预设的表情单元组合的相似度，得到m个相似度值；
目标组合确定子单元223，用于选取m个相似度值中值最大的相似度值对应的表情单元组合，作为目标单元组合；
目标微表情选取子单元224，用于根据映射关系，获取目标单元组合对应的微表情，作为目标微表情。
关于无人商店的监控装置的具体限定可以参见上文中对于无人商店的监控方法的限定，在此不再赘述。上述无人商店的监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图7是本发明一实施例提供的计算机设备的示意图。该计算机设备可以是服务端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设的表情单元组合集合。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种无人商店的监控方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例无人商店的监控方法的步骤，例如图2所示的步骤S10至步骤S50。或者，处理器执行计算机程序时实现上述实施例无人商店的监控装置的各模块/单元的功能，例如图6所示的模块10至模块50的功能。为避免重复，这里不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例无人商店的监控方法的步骤，或者，该计算机程序被处理器执行时实现上述实施例无人商店的监控装置中各模块/单元的功能。为避免重复，这里不再赘述。
可以理解地，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号和电信信号等。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种无人商店的监控方法，其特征在于，所述无人商店的监控方法包括：
若接收到客户端发送的当前用户的状态验证请求，则接收所述客户端发送的实时视频流，并从所述实时视频流中获取包含所述当前用户的面部图像的基础图像集合；
对所述基础图像集合中的每个所述面部图像进行微表情识别，得到至少一个目标微表情；
获取每个所述目标微表情对应的预设权值，根据所述预设权值确定每个所述目标微表情的第一说谎分值；
获取所述客户端发送的所述当前用户的心率数据，并根据心率数据范围与说谎分值之间预设的对应关系，确定所述心率数据对应的第二说谎分值；
基于所述第一说谎分值和所述第二说谎分值，对所述用户的付款状态进行预测，得到预测结果，其中，所述预测结果包括所述用户的付款状态正常或者所述用户的付款状态异常。
2.如权利要求1所述的无人商店的监控方法，其特征在于，所述从所述实时视频流中获取包含所述当前用户的面部图像的基础图像集合包括：
按照预设的时间间隔，从所述实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
采用人脸检测算法，对所述帧图像集合中的帧图像进行人脸检测，得到检测结果；
将所述检测结果中，包含完整人脸特征的每个所述帧图像均作为一个所述面部图像，得到包含至少一个所述面部图像的基础图像集合。
3.如权利要求1所述的无人商店的监控方法，其特征在于，所述对所述基础图像集合中的每个所述面部图像进行微表情识别，得到至少一个目标微表情包括：
针对所述基础图像集合中的每个所述面部图像，通过预设的卷积神经网络模型，对所述面部图像进行表情单元识别，得到每个所述面部图像中包含的待识别单元集合；
根据预设的表情单元组合集合中，每个预设的表情单元组合与每个微表情之间的映射关系，确定所述面部图像中包含的所述待识别单元集合对应的微表情，作为目标微表情。
4.如权利要求3所述的无人商店的监控方法，其特征在于，所述根据预设的表情单元组合集合中，每个预设的表情单元组合与每个微表情的对应关系，确定所述基础图像中包含的待识别单元集合对应的微表情，作为目标微表情包括：
获取预设的表情单元组合集合，其中，所述表情单元组合集合包括m个所述预设的表情单元组合，每个所述预设的表情单元组合对应一个所述微表情，m为正整数；
分别计算所述待识别单元集合与每个所述预设的表情单元组合的相似度，得到m个相似度值；
选取m个所述相似度值中值最大的相似度值对应的所述表情单元组合，作为目标单元组合；
根据所述映射关系，获取所述目标单元组合对应的所述微表情，作为目标微表情。
5.如权利要求1至4任一项所述的无人商店的监控方法，其特征在于，在所述基于所述第一说谎分值和所述第二说谎分值，对所述用户的付款状态进行预测，得到预测结果之后，所述无人商店的监控方法还包括：
若所述预测结果为所述用户的付款状态异常，则向监控端推送预警消息。
6.如权利要求1所述的无人商店的监控方法，其特征在于，根据所述预设权值确定每个所述目标微表情的第一说谎分值包括：
使用如下公式计算第一说谎分值：
其中，S1为所述第一说谎分值，σ为n个所述目标微表情对应的预设权值的标准差，n为所述目标微表情的个数，Ai为第i个所述目标微表情对应的预设权值，μ为n个所述目标微表情对应的预设权值的平均值，i和n为正整数，且i≤n。
7.一种无人商店的监控装置，其特征在于，所述无人商店的监控装置包括：
请求接收模块，用于若接收到客户端发送的当前用户的状态验证请求，则接收所述客户端发送的实时视频流，并从所述实时视频流中获取包含所述当前用户的面部图像的基础图像集合；
微表情识别模块，用于对所述基础图像集合中的每个所述面部图像进行微表情识别，得到至少一个目标微表情；
分值计算模块，用于获取每个所述目标微表情对应的预设权值，根据所述预设权值确定每个所述目标微表情的第一说谎分值；
分值确定模块，用于获取所述客户端发送的所述当前用户的心率数据，并根据心率数据范围与说谎分值之间预设的对应关系，确定所述心率数据对应的第二说谎分值；
状态判断模块，用于基于所述第一说谎分值和所述第二说谎分值，对所述用户的付款状态进行预测，得到预测结果，其中，所述预测结果包括所述用户的付款状态正常或者所述用户的付款状态异常。
8.如权利要求7所述的无人商店的监控装置，其特征在于，所述请求接收模块包括：
图像获取单元，用于按照预设的时间间隔，从所述实时视频流中获取帧图像，得到包含预设个数的帧图像的帧图像集合；
人脸检测单元，用于采用人脸检测算法，对所述帧图像集合中的帧图像进行人脸检测，得到检测结果；
集合获取单元，用于将所述检测结果中，包含完整人脸特征的每个所述帧图像均作为一个所述面部图像，得到包含至少一个所述面部图像的基础图像集合。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的无人商店的监控方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的无人商店的监控方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811537644.9A CN109829359A (zh) | 2018-12-15 | 2018-12-15 | 无人商店的监控方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811537644.9A CN109829359A (zh) | 2018-12-15 | 2018-12-15 | 无人商店的监控方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109829359A true CN109829359A (zh) | 2019-05-31 |
Family
ID=66858851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811537644.9A Pending CN109829359A (zh) | 2018-12-15 | 2018-12-15 | 无人商店的监控方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109829359A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191207A (zh) * | 2019-12-23 | 2020-05-22 | 深圳壹账通智能科技有限公司 | 电子文件的控制方法、装置、计算机设备及存储介质 |
| CN113505604A (zh) * | 2021-07-16 | 2021-10-15 | 牡丹江医学院 | 一种用于心理学教育的在线辅助实验方法、装置及设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130300900A1 (en) * | 2012-05-08 | 2013-11-14 | Tomas Pfister | Automated Recognition Algorithm For Detecting Facial Expressions |
| CN105160318A (zh) * | 2015-08-31 | 2015-12-16 | 北京旷视科技有限公司 | 基于面部表情的测谎方法及系统 |
| CN106264568A (zh) * | 2016-07-28 | 2017-01-04 | 深圳科思创动实业有限公司 | 非接触式情绪检测方法和装置 |
| WO2017190645A1 (zh) * | 2016-05-03 | 2017-11-09 | 中兴通讯股份有限公司 | 一种微表情识别的方法、装置及存储介质 |
| CN108052928A (zh) * | 2017-12-29 | 2018-05-18 | 深圳正品创想科技有限公司 | 一种用户信用度评价方法、装置及电子设备 |
| CN108717663A (zh) * | 2018-05-18 | 2018-10-30 | 深圳壹账通智能科技有限公司 | 基于微表情的面签欺诈判断方法、装置、设备及介质 |
| CN108734570A (zh) * | 2018-05-22 | 2018-11-02 | 深圳壹账通智能科技有限公司 | 一种风险预测方法、存储介质和服务器 |
| CN108765131A (zh) * | 2018-05-18 | 2018-11-06 | 深圳壹账通智能科技有限公司 | 基于微表情的信贷审核方法、装置、终端及可读存储介质 |
| CN109003390A (zh) * | 2018-06-29 | 2018-12-14 | 深圳和而泰数据资源与云技术有限公司 | 一种商品识别方法、无人售货机及计算机可读存储介质 |
| CN109002772A (zh) * | 2018-06-27 | 2018-12-14 | 深圳市赛亿科技开发有限公司 | 一种无人超市顾客行为的监督方法及系统 |
-
2018
- 2018-12-15 CN CN201811537644.9A patent/CN109829359A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130300900A1 (en) * | 2012-05-08 | 2013-11-14 | Tomas Pfister | Automated Recognition Algorithm For Detecting Facial Expressions |
| CN105160318A (zh) * | 2015-08-31 | 2015-12-16 | 北京旷视科技有限公司 | 基于面部表情的测谎方法及系统 |
| WO2017190645A1 (zh) * | 2016-05-03 | 2017-11-09 | 中兴通讯股份有限公司 | 一种微表情识别的方法、装置及存储介质 |
| CN106264568A (zh) * | 2016-07-28 | 2017-01-04 | 深圳科思创动实业有限公司 | 非接触式情绪检测方法和装置 |
| CN108052928A (zh) * | 2017-12-29 | 2018-05-18 | 深圳正品创想科技有限公司 | 一种用户信用度评价方法、装置及电子设备 |
| CN108717663A (zh) * | 2018-05-18 | 2018-10-30 | 深圳壹账通智能科技有限公司 | 基于微表情的面签欺诈判断方法、装置、设备及介质 |
| CN108765131A (zh) * | 2018-05-18 | 2018-11-06 | 深圳壹账通智能科技有限公司 | 基于微表情的信贷审核方法、装置、终端及可读存储介质 |
| CN108734570A (zh) * | 2018-05-22 | 2018-11-02 | 深圳壹账通智能科技有限公司 | 一种风险预测方法、存储介质和服务器 |
| CN109002772A (zh) * | 2018-06-27 | 2018-12-14 | 深圳市赛亿科技开发有限公司 | 一种无人超市顾客行为的监督方法及系统 |
| CN109003390A (zh) * | 2018-06-29 | 2018-12-14 | 深圳和而泰数据资源与云技术有限公司 | 一种商品识别方法、无人售货机及计算机可读存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191207A (zh) * | 2019-12-23 | 2020-05-22 | 深圳壹账通智能科技有限公司 | 电子文件的控制方法、装置、计算机设备及存储介质 |
| CN113505604A (zh) * | 2021-07-16 | 2021-10-15 | 牡丹江医学院 | 一种用于心理学教育的在线辅助实验方法、装置及设备 |
| CN113505604B (zh) * | 2021-07-16 | 2023-04-18 | 牡丹江医学院 | 一种用于心理学教育的在线辅助实验方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10445565B2 (en) | Crowd analytics via one shot learning | |
| US20210406525A1 (en) | Facial expression recognition method and apparatus, electronic device and storage medium | |
| CN109685611A (zh) | 一种产品推荐方法、装置、计算机设备及存储介质 | |
| CN105160318B (zh) | 基于面部表情的测谎方法及系统 | |
| González-Briones et al. | A multi-agent system for the classification of gender and age from images | |
| CN104063719B (zh) | 基于深度卷积网络的行人检测方法及装置 | |
| Gowsikhaa et al. | Suspicious Human Activity Detection from Surveillance Videos. | |
| WO2019033525A1 (zh) | Au特征识别方法、装置及存储介质 | |
| CN109670441A (zh) | 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质 | |
| CN108090406A (zh) | 人脸识别方法及系统 | |
| CN110175501A (zh) | 基于人脸识别的多人场景专注度识别方法 | |
| CN109829359A (zh) | 无人商店的监控方法、装置、计算机设备及存储介质 | |
| Julina et al. | Facial emotion recognition in videos using hog and lbp | |
| US11068873B1 (en) | Methods, systems, apparatuses, and devices for facilitating advertising of a product | |
| Zhang et al. | Simultaneous detection of multiple facial action units via hierarchical task structure learning | |
| CN116343302A (zh) | 一种基于机器视觉的微表情分类识别系统 | |
| WO2021104388A1 (en) | System and method for interactive perception and content presentation | |
| Chandraprabha et al. | Real time-employee emotion detection system (RtEED) using machine learning | |
| Jain et al. | Privacy-Preserving Human Activity Recognition System for Assisted Living Environments | |
| She et al. | Micro-expression recognition based on multiple aggregation networks | |
| Yanakova et al. | Facial recognition technology on ELcore semantic processors for smart cameras | |
| CN110148234A (zh) | 校园刷脸接送交互方法、存储介质及系统 | |
| Racoviţeanu et al. | Spontaneous emotion detection by combined learned and fixed descriptors | |
| Jahromi et al. | Automatic access control based on face and hand biometrics in a non-cooperative context | |
| Yadav | Managing Social Distancing using Smart Detector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |