CN110147723B - 一种无人店中顾客异常行为的处理方法及系统 - Google Patents

Abstract

本发明公开了一种无人店中顾客异常行为的处理方法及系统，在无人店环境下，智能化识别异常行为并进行自动化处理。所述无人店中顾客异常行为的处理方法，包括：获取顾客在无人店中的视频信息；根据所述视频信息，判断顾客行为是否属于异常行为；当所述顾客行为属于异常行为，对所述异常行为进行处理。

Description

一种无人店中顾客异常行为的处理方法及系统

技术领域

本发明属于无人店中顾客行为分析处理领域，具体来说，涉及一种无人店中顾客异常行为的处理方法及系统。

背景技术

现有技术中，针对异常行为监测及处理通常基于工作人员的监督和门口探测器。这往往具有滞后性，无法实时的监控到这些异常行为，并及时进行处理。同时，对于一些经营面积大的无人店，对于人力成本会有很大的损耗，影响无人店的正常运作。

目前在零售无人店里，对于异常行为仅仅能识别部分行为并进行加黑处理。这往往都是事后处理。这些处理也没有与无人店里的门、灯、喇叭等终端设备联动，进行自动化有效的处理。

另外，在无人店的异常行为处理上面，在店出口安装探测器，虽然可识别并报警未消磁商品，但具有滞后性，无法在偷盗商品过程中进行监控并及时处理，非偷盗的异常行为也并没有一种完整有效的处理方式。

发明内容

本发明提供一种无人店中顾客异常行为的处理方法及系统，在无人店环境下，智能化识别异常行为并进行自动化处理。

为解决上述技术问题，本发明实施例采用以下技术方案：

第一方面，本实施例提供一种无人店中顾客异常行为的处理方法，所述方法包括：

获取顾客在无人店中的视频信息；

根据所述视频信息，判断顾客行为是否属于异常行为；

当所述顾客行为属于异常行为，对所述异常行为进行处理。

结合第一方面，作为第一种可实现的技术方案，所述获取顾客在无人店中的视频信息，包括：

通过在无人店内部署的摄像装置采集视频画面，对所要识别的目标进行检测；

对所述检测到的目标进行实时运动跟踪，形成视频信息。

结合第一方面第一种可实现的技术方案，作为第二种可实现的技术方案，所述通过在无人店内部署的摄像装置采集视频画面，对所要识别的目标进行检测，包括：

通过分块更新双重背景的背景差分进行目标检测，即将目标区域分为两块：店内活动区域和店外出入口活动区域；对于店外出入口活动区域，通过统计模型，建立短期背景进行差分，提取出前景区域；对于店内活动区域，通过统计模型，建立长期背景和短期背景进行差分，将店内中短期静止目标检测出来。

结合第一方面第一种可实现的技术方案，作为第三种可实现的技术方案，所述判断顾客行为是否属于异常行为，包括：

通过提取所述目标区域及视频数据，采用四阶CNN网络，评估各种前置网络的人体姿态检测效果，选择最优网络进行行人姿态提取，提取人体关节点的位置坐标；

计算视频数据中相邻两帧同一目标人体关节点距离矢量变化矩阵，通过分类器进行异常行为的识别。

结合第一方面，作为第四种可实现的技术方案，所述异常行为为偷盗商品行为时，所述判断顾客行为是否属于异常行为，包括：

结合VGG-CNN特征及VLAD送入分类器进行顾客购物行为识别，并与该顾客进行购物行为绑定；

对于发生购物行为的顾客，通过分析三维世界坐标系中手与货架的交互信息，进行目标区域商品品类锁定确认；货架上的力学传感器的变化同时进行目标商品品类锁定；当货架上的受力变化大于手与货架的交互行为时，上传该段视频片段；

对上传的视频片段，运用Faster-RCNN检测框架，进行商品检测，如果检测出的商品品类及数量小于货架受力变化换算得到的商品数量时，将行为视为偷盗商品异常行为。

结合第一方面，作为第五种可实现的技术方案，所述对所述异常行为进行处理，包括：

判断所述异常行为的种类；

根据所述异常行为的种类，对异常行为进行处理。

结合第一方面，作为第六种可实现的技术方案，所述对异常行为进行处理，包括下述行为中的一种或者组合：

将采集的异常行为视频信息推送至无人店中的显示装置进行播放；

将采集的异常行为视频信息生成报警日志，并存储；

控制无人店内设备的启闭；所述设备包括报警装置、语音装置和灯光中的一种或组合；

发送未支付指令至订单系统，生成待支付订单，并通知顾客通过支付链接进行支付；

发送未支付指令至订单系统，生成待支付订单，触发短信接口进行推送，并展示在APP订单列表中。

第二方面，本发明实施例还提供一种无人店中顾客异常行为的处理系统，所述系统包括：

获取模块：用于获取顾客在无人店中的视频信息；

判断模块：用于根据所述视频信息，判断顾客行为是否属于异常行为；

处理模块：用于当所述顾客行为属于异常行为，对所述异常行为进行处理。

结合第二方面，作为第一种可实现的技术方案，所述获取模块，包括：

检测单元：用于通过在无人店内部署的摄像装置采集视频画面，对所要识别的目标进行检测；

跟踪单元：用于对所述检测到的目标进行实时运动跟踪，形成视频信息。

结合第二方面第一种可实现的技术方案，作为第二种可实现的技术方案，所述检测单元，具体用于通过分块更新双重背景的背景差分进行目标检测，即将目标区域分为两块：店内活动区域和店外出入口活动区域；对于店外出入口活动区域，通过统计模型，建立短期背景进行差分，提取出前景区域；对于店内活动区域，通过统计模型，建立长期背景和短期背景进行差分，将店内中短期静止目标检测出来。

结合第二方面第一种可实现的技术方案，作为第三种可实现的技术方案，所述判断模块，包括：

评估单元：用于通过提取所述目标区域及视频数据，采用四阶CNN网络，评估各种前置网络的人体姿态检测效果；

提取单元：用于选择最优网络进行行人姿态提取，提取人体关节点的位置坐标；

计算单元：用于计算视频数据中相邻两帧同一目标人体关节点距离矢量变化矩阵；

分类器：用于进行异常行为的识别。

结合第二方面，作为第四种可实现的技术方案，所述异常行为为偷盗商品行为时，所述判断模块，包括：

识别单元：用于结合VGG-CNN特征及VLAD送入分类器进行顾客购物行为识别，并与该顾客进行购物行为绑定；

判断单元：用于对于发生购物行为的顾客，通过分析三维世界坐标系中手与货架的交互信息，进行目标区域商品品类锁定确认；货架上的力学传感器的变化同时进行目标商品品类锁定；当货架上的受力变化大于手与货架的交互行为时，上传该段视频片段；

检测单元：用于对上传的视频片段，运用Faster-RCNN检测框架，进行商品检测，如果检测出的商品品类及数量小于货架受力变化换算得到的商品数量时，将行为视为偷盗商品异常行为。

结合第二方面，作为第五种可实现的技术方案，所述处理模块，包括：

判断单元：用于判断所述异常行为的种类；

处理单元：用于根据所述异常行为的种类，对异常行为进行处理。

结合第二方面，作为第六种可实现的技术方案，所述处理模块中，对异常行为进行处理，包括下述行为中的一种或者组合：

将采集的异常行为视频信息推送至无人店中的显示装置进行播放；

将采集的异常行为视频信息生成报警日志，并存储；

控制无人店内设备的启闭；所述设备包括报警装置、语音装置和灯光中的一种或组合；

发送未支付指令至订单系统，生成待支付订单，并通知顾客通过支付链接进行支付；

发送未支付指令至订单系统，生成待支付订单，触发短信接口进行推送，并展示在APP订单列表中。

与现有技术相比，本发明实施例的无人店中顾客异常行为的处理方法及系统，在无人店环境下，可以智能化识别异常行为并进行自动化处理。本实施例的处理方法包括：获取顾客在无人店中的视频信息；根据所述视频信息，判断顾客行为是否属于异常行为；当所述顾客行为属于异常行为，对所述异常行为进行处理。该方法根据顾客的视频信息，智能化识别并处理异常行为。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例的方法流程图；

图2是本发明实施例的信息交互流图；

图3是本发明实施例的系统框图。

图4是本发明实施例的系统框图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

如图1所示，本发明实施例的一种无人店中顾客异常行为的处理方法，包括：

S10获取顾客在无人店中的视频信息；

S20根据所述视频信息，判断顾客行为是否属于异常行为；

S30当所述顾客行为属于异常行为，对所述异常行为进行处理。

上述实施例中，采集顾客在无人店中的视频信息，然后根据视频信息，判断顾客行为是否属于异常行为。视频信息是实时采集的，并且实时传送至远程服务器中。服务器对视频信息中顾客行为进行判断，是否属于异常行为。如果是异常行为，则实时进行处理。例如，有顾客跌倒在店中，且长时间没有站起。对此段视频信息进行分析，则预示着顾客可能摔伤，系统实时发出报警信息。

上述实施例的方法，通过对顾客在无人店中的视频信息进行分析，自动判断异常行为，并自动进行处理。该方法在异常行为发生的同时进行分析和处理，及时对异常行为进行制止。现有技术通常采用事后监督。与现有技术相比，本实施例的方法可有效制止异常行为，避免损失的进一步扩大。

优选的，所述获取顾客在无人店中的视频信息，包括：利用摄像设备采集顾客在无人店中的行为信息。

现有的无人店中，布设有摄像设备，例如摄像头。利用现有的摄像设备采集顾客在无人店中的行为信息，可降低对无人店的改造成本。行为信息包括顾客进入无人店至离开无人店期间的行为信息。只要顾客进入无人店，其行为都会被摄像设备采集。通过在无人店内布设多个摄像设备，实现无人店内无死角的采集顾客行为。

所述获取顾客在无人店中的视频信息，具体包括：

步骤S101通过在无人店内部署的摄像装置采集视频画面，对所要识别的目标进行检测。

对所要识别的目标进行检测的方法有多种，本实施例优选通过分块更新双重背景的背景差分进行目标检测。具体来说，首先将目标区域分为两块：店内活动区域和店外出入口活动区域。对于店外出入口活动区域，通过统计模型，建立短期背景进行差分，提取出前景区域；对于店内活动区域，通过统计模型，建立长期背景和短期背景进行差分，将店内中短期静止目标检测出来，以减少顾客误检发生概率。统计模型可采用混合高斯模型GMM。对于提取出来的前景区域通过卷积神经网络MobileNetV2进行特征提取，进行前景识别判断。通过在无人店进出口位置的背景遮罩，对于提取出的顾客，通过人脸、指纹识别等手段关联并绑定该顾客，生成唯一标识。顾客的购物结算通过此标识进行结算。

步骤S102对检测到的目标进行实时运动跟踪，形成视频信息。运动跟踪主要是通过滤波跟踪(KCF)方法，对无人店门口进店位置的所有行人进行实时跟踪，跟踪其在店内的实时位置，直到出店。

优选的，所述S20判断顾客行为是否属于异常行为，具体包括：

S201通过步骤S101提取目标区域及视频数据，采用四阶(Stacked Hourglass)CNN网络，评估各种前置网络的人体姿态检测效果，选择最优网络进行行人姿态提取，提取人体关节点的位置坐标。例如，提取脖子、胸部、头部、右肩、左肩、右臀部、左臀部、右手肘、左手肘、右膝盖、左膝盖、右手腕、左手腕、右脚踝和左脚踝这15个关节点的位置坐标。

S202计算视频数据中相邻两帧同一目标人体关节点距离矢量变化矩阵，通过分类器进行异常行为的识别。

具体来说，对于n秒内视频平均分成m段，对每一段中，相邻帧计算肢体距离变化矩阵后，进行累加得到累计距离矢量变化矩阵，将距离矢量变化矩阵串联形成该n秒视频的特征；最后将该视频特征输入分类器(LDA)进行异常行为的识别。异常行为如破坏商品，打架斗殴和摔倒。n为正整数，m为大于1的正整数。

当分类器监测到破坏商品时，及时发出预警信号；当发生打架斗殴和摔倒等行为时，通过货架上安装的力学传感器力学感应阈值进行辅助，当受力大于该阈值时，立即发出警告预警；当受力小于该阈值时，进行异常频次统计，对于一分钟内频发的异常事件进行记录，当异常次数大于q次时，立即发出异常警告。q为正整数，例如q为5。

对于商品偷盗的异常行为的检测，结合深度传感器对不同人肢体运动矢量分析，加上货架上的光学传感器，进行商品不正当操作识别。与破坏商品，打架斗殴和摔倒行为的识别不同的是，商品偷盗行为发生在人与货架频繁交互的前提下，因此在人与货架进行交互时，启用商品偷盗异常行为监测。其中，光学传感器识别购物行为中的商品区域，结合深度传感器和光学传感器在对三维世界做人的行为分析的基础上，得到商品与人的交互信息，进而提取识别商品的偷盗行为，发出商品交互异常警告。主要步骤有：

首先，结合VGG-CNN特征及VLAD送入分类器进行顾客购物行为识别，并与该目标(即顾客)进行购物行为绑定。VLAD(Vector of Aggragate Locally Descriptor)是一种能将尺寸不同的视频特征数据表示成尺寸相同的特征向量，通过VLAD特征表示可以使视频特征数据满足一般分类器的输入要求。

其次，对于发生购物行为的顾客，通过分析三维世界坐标系中手与货架的交互信息，进行目标区域商品品类锁定确认；货架上的力学传感器的变化同时进行目标商品品类锁定；当货架上的受力变化大于手与货架的交互行为时，上传该段视频片段；

最后，对上传的视频片段，运用Faster-RCNN检测框架，进行商品检测，如果检测出的商品品类及数量小于货架受力变化换算得到的商品数量时，将这些行为视为异常购物行为。此时，发出商品购买异常警告，及商品偷盗行为警告。

优选的，所述对异常行为进行处理，包括：

S301判断所述异常行为的种类；

S302根据所述异常行为的种类，对异常行为进行处理。

该优选例中，根据异常行为的种类，对异常行为进行处理。该处理过程也是自动实现的。在无人店中，异常行为通常包括损坏商品、盗窃商品、打架、摔倒、未支付等。针对不同的异常行为，采用不同的处理方法。这可以及时、有效的制止异常行为。

为有效利用无人店中的设备，优选的，所述对异常行为进行处理，包括下述行为中的一种或者组合：

将采集的异常行为视频信息推送至无人店中的显示装置进行播放；

将采集的异常行为视频信息生成报警日志，并存储；

控制无人店内设备的启闭；所述设备包括报警装置、语音装置和灯光中的一种或组合；

发送未支付指令至订单系统，生成待支付订单，并通知顾客通过支付链接进行支付；

发送未支付指令至订单系统，生成待支付订单，触发短信接口进行推送，并展示在APP订单列表中。

上述处理方法中，处理过程和无人店中的设备进行连接，利用现有的无人店中的设备，处理异常行为。这降低了对无人店的改造成本。异常行为的处理目的在于及时、有效制止异常行为的继续发生。该优选例中，例举了五种处理方式。

第一种处理方式：将采集的异常行为视频信息推送至无人店中的显示装置进行播放。

第一种处理方式主要针对损害商品的行为。如果顾客有损坏商品的异常行为，则系统将采集的视频信息推送至无人店中的显示装置进行播放。通常来说，顾客在无人店的显示装置中看到自己的损坏行为被拍摄，会停止破坏行为。

第二种处理方式：将采集的异常行为视频信息生成报警日志，并存储。

第二种处理方式可以针对任何异常行为。一些异常行为发展到一定程度，可能会触犯法律。将采集的异常行为视频信息生成报警日志，并存储。这可以作为事后处理的证据。

第三种处理方式：控制无人店内设备的启闭。无人店内的设备包括报警装置、语音装置和灯光中的一种或组合。报警装置可以是喇叭等。

第三种处理方式可以针对盗窃商品行为、打架行为、摔倒行为、损坏商品行为等。当发生这些异常行为时，系统控制无人店内设备，以起到警示作用。例如，当顾客有盗窃商品行为时，开启喇叭，以起到警示；开启语音装置，进行语言警示。当顾客有摔倒行为时，开启语音装置，寻求周围其他人的帮助。当顾客有打架行为时，关闭照明灯。

第四种处理方式：发送未支付指令至订单系统，生成待支付订单，并通知顾客通过支付链接进行支付。

第五种处理方式：发送未支付指令至订单系统，生成待支付订单，触发短信接口进行推送，并展示在APP订单列表中。

第四种处理方式和第五种处理方式主要针对未支付行为。当顾客有未支付的行为时，系统将未支付的商品生成待支付订单，通过拨打顾客电话或者发送短信的方式，让顾客支付未支付的订单。

根据异常行为的种类，采用一种或者多种处理方式，实现对异常行为的及时处理，避免损失的扩大。

本实施例的方法能够识别无人店内几种常见的顾客异常行为，并能及时采取处理方式。通过计算机视觉识别技术，结合自动化处理机制，有效防止了店面货损、减少了人力成本、提升了人员利用率，整体提高无人店内的运营。

如图2所示，为本实施例的信息交互流图。其中，采集设备为安装在无人店内的摄像装置。处理设备为安装在无人店内的语音装置、显示装置、喇叭以及顾客携带的手机。通过采集设备采集顾客在无人店内的行为，然后传送至服务器中。服务器判断采集的行为是否属于异常行为。如果属于异常行为，则确定处理方式，并将处理方式传送至处理装置中。由处理装置按照处理方式进行异常行为的处理。

如图3所示，本发明实施例还提供一种无人店中顾客异常行为的处理系统，包括：

获取模块：用于获取顾客在无人店中的视频信息；

判断模块：用于根据所述视频信息，判断顾客行为是否属于异常行为；

处理模块：用于当所述顾客行为属于异常行为，对所述异常行为进行处理。

上述实施例中，获取模块获取顾客在无人店中的视频信息，判断模块根据视频信息，判断顾客行为是否属于异常行为。视频信息是实时采集的，并且实时传送至远程服务器中。如果是异常行为，则处理模块实时进行处理。例如，有顾客跌倒在店中，且长时间没有站起。对此段视频信息进行分析，则预示着顾客可能摔伤，系统实时发出报警信息。

上述实施例的方法，通过对顾客在无人店中的视频信息进行分析，利用判断模块自动判断异常行为，并通过处理模块自动进行处理。该系统在异常行为发生的同时进行分析和处理，及时对异常行为进行制止。现有技术通常采用事后监督。与现有技术相比，本实施例的系统可有效制止异常行为，避免损失的进一步扩大。

优选的，所述获取模块，包括：

检测单元：用于通过在无人店内部署的摄像装置采集视频画面，对所要识别的目标进行检测；

跟踪单元：用于对所述检测到的目标进行实时运动跟踪，形成视频信息。

优选的，所述检测单元，具体用于通过分块更新双重背景的背景差分进行目标检测，即将目标区域分为两块：店内活动区域和店外出入口活动区域；对于店外出入口活动区域，通过统计模型，建立短期背景进行差分，提取出前景区域；对于店内活动区域，通过统计模型，建立长期背景和短期背景进行差分，将店内中短期静止目标检测出来。

优选的，所述判断模块，包括：

评估单元：用于通过提取所述目标区域及视频数据，采用四阶CNN网络，评估各种前置网络的人体姿态检测效果；

提取单元：用于选择最优网络进行行人姿态提取，提取人体关节点的位置坐标；

计算单元：用于计算视频数据中相邻两帧同一目标人体关节点距离矢量变化矩阵；

分类器：用于进行异常行为的识别。

优选的，所述异常行为为偷盗商品行为时，所述判断模块，包括：

识别单元：用于结合VGG-CNN特征及VLAD送入分类器进行顾客购物行为识别，并与该顾客进行购物行为绑定；

判断单元：用于对于发生购物行为的顾客，通过分析三维世界坐标系中手与货架的交互信息，进行目标区域商品品类锁定确认；货架上的力学传感器的变化同时进行目标商品品类锁定；当货架上的受力变化大于手与货架的交互行为时，上传该段视频片段；

检测单元：用于对上传的视频片段，运用Faster-RCNN检测框架，进行商品检测，如果检测出的商品品类及数量小于货架受力变化换算得到的商品数量时，将行为视为偷盗商品异常行为。

优选的，所述处理模块，包括：

判断单元：用于判断所述异常行为的种类；

处理单元：用于根据所述异常行为的种类，对异常行为进行处理。

优选的，所述处理模块中，对异常行为进行处理，包括下述行为中的一种或者组合：

将采集的异常行为视频信息推送至无人店中的显示装置进行播放；

将采集的异常行为视频信息生成报警日志，并存储；

控制无人店内设备的启闭；所述设备包括报警装置、语音装置和灯光中的一种或组合；

发送未支付指令至订单系统，生成待支付订单，并通知顾客通过支付链接进行支付；

发送未支付指令至订单系统，生成待支付订单，触发短信接口进行推送，并展示在APP订单列表中。

图4是一系统架构实例。如图所示，无人店中布设摄像头、门、喇叭，顾客带有移动设备。后台有识别模块，自动化处理分发模块和处理模块。识别模块包括目标检测模块、目标跟踪模块和异常行为识别模块。处理模块包括语音提醒模块、拨号模块、订单生成模块和短信通知模块。摄像头采集的视频信息通过传输通道传送至识别模块中。由目标检测模块根据视频信息确定目标(即顾客)，由目标跟踪模块跟踪顾客的行为，由异常行为识别模块判断顾客的行为是否为异常行为。当判断顾客的行为为异常行为时，根据行为种类，通过自动化处理分发模块进行相应处理。处理模块中，拨号模块、短信通知模块和订单生产模块将处理方式通过传输通道传送至顾客的移动设备中。语音提醒模块将处理方式通过传输通道传送至无人店的设备中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

本领域技术人员应该知晓，实现上述实施例的方法或者系统，可以通过计算机程序指令来实现。该计算机程序指令装载到可编程数据处理设备上，例如计算机，从而在可编程数据处理设备上执行相应的指令，用于实现上述实施例的方法或者系统实现的功能。

本领域技术人员依据上述实施例，可以对本申请进行非创造性的技术改进，而不脱离本发明的精神实质。这些改进仍应视为在本申请权利要求的保护范围之内。

Claims (12)

1.一种无人店中顾客异常行为的处理方法，其特征在于，所述方法包括：

获取顾客在无人店中的视频信息；

根据所述视频信息，判断顾客行为是否属于异常行为；

当所述顾客行为属于异常行为，对所述异常行为进行处理；所述异常行为为偷盗商品行为时，所述判断顾客行为是否属于异常行为，包括：

结合VGG-CNN特征及VLAD送入分类器进行顾客购物行为识别，并与该顾客进行购物行为绑定；

对于发生购物行为的顾客，通过分析三维世界坐标系中手与货架的交互信息，进行目标区域商品品类锁定确认；货架上的力学传感器的变化同时进行目标商品品类锁定；当货架上的受力变化大于手与货架的交互行为时，上传该段视频片段；

对上传的视频片段，运用Faster-RCNN检测框架，进行商品检测，如果检测出的商品品类及数量小于货架受力变化换算得到的商品数量时，将行为视为偷盗商品异常行为。

2.按照权利要求1所述的无人店中顾客异常行为的处理方法，其特征在于，所述获取顾客在无人店中的视频信息，包括：

通过在无人店内部署的摄像装置采集视频画面，对所要识别的目标进行检测；

对所述检测到的目标进行实时运动跟踪，形成视频信息。

3.按照权利要求2所述的无人店中顾客异常行为的处理方法，其特征在于，所述通过在无人店内部署的摄像装置采集视频画面，对所要识别的目标进行检测，包括：

通过分块更新双重背景的背景差分进行目标检测，即将目标区域分为两块：店内活动区域和店外出入口活动区域；对于店外出入口活动区域，通过统计模型，建立短期背景进行差分，提取出前景区域；对于店内活动区域，通过统计模型，建立长期背景和短期背景进行差分，将店内中短期静止目标检测出来。

4.按照权利要求2所述的无人店中顾客异常行为的处理方法，其特征在于，所述判断顾客行为是否属于异常行为，包括：

通过提取所述目标区域及视频数据，采用四阶CNN网络，评估各种前置网络的人体姿态检测效果，选择最优网络进行行人姿态提取，提取人体关节点的位置坐标；

计算视频数据中相邻两帧同一目标人体关节点距离矢量变化矩阵，通过分类器进行异常行为的识别。

5.按照权利要求1所述的无人店中顾客异常行为的处理方法，其特征在于，所述对所述异常行为进行处理，包括：

判断所述异常行为的种类；

根据所述异常行为的种类，对异常行为进行处理。

6.按照权利要求1所述的无人店中顾客异常行为的处理方法，其特征在于，所述对异常行为进行处理，包括下述行为中的一种或者组合：

将采集的异常行为视频信息推送至无人店中的显示装置进行播放；

将采集的异常行为视频信息生成报警日志，并存储；

控制无人店内设备的启闭；所述设备包括报警装置、语音装置和灯光中的一种或组合；

发送未支付指令至订单系统，生成待支付订单，并通知顾客通过支付链接进行支付；

发送未支付指令至订单系统，生成待支付订单，触发短信接口进行推送，并展示在APP订单列表中。

7.一种无人店中顾客异常行为的处理系统，其特征在于，所述系统包括：

获取模块：用于获取顾客在无人店中的视频信息；

判断模块：用于根据所述视频信息，判断顾客行为是否属于异常行为；

处理模块：用于当所述顾客行为属于异常行为，对所述异常行为进行处理；

所述异常行为为偷盗商品行为时，所述判断模块，包括：

识别单元：用于结合VGG-CNN特征及VLAD送入分类器进行顾客购物行为识别，并与该顾客进行购物行为绑定；

判断单元：用于对于发生购物行为的顾客，通过分析三维世界坐标系中手与货架的交互信息，进行目标区域商品品类锁定确认；货架上的力学传感器的变化同时进行目标商品品类锁定；当货架上的受力变化大于手与货架的交互行为时，上传该段视频片段；

检测单元：用于对上传的视频片段，运用Faster-RCNN检测框架，进行商品检测，如果检测出的商品品类及数量小于货架受力变化换算得到的商品数量时，将行为视为偷盗商品异常行为。

8.按照权利要求7所述的无人店中顾客异常行为的处理系统，其特征在于，所述获取模块，包括：

检测单元：用于通过在无人店内部署的摄像装置采集视频画面，对所要识别的目标进行检测；

跟踪单元：用于对所述检测到的目标进行实时运动跟踪，形成视频信息。

9.按照权利要求8所述的无人店中顾客异常行为的处理系统，其特征在于，所述检测单元，具体用于通过分块更新双重背景的背景差分进行目标检测，即将目标区域分为两块：店内活动区域和店外出入口活动区域；对于店外出入口活动区域，通过统计模型，建立短期背景进行差分，提取出前景区域；对于店内活动区域，通过统计模型，建立长期背景和短期背景进行差分，将店内中短期静止目标检测出来。

10.按照权利要求8所述的无人店中顾客异常行为的处理系统，其特征在于，所述判断模块，包括：

评估单元：用于通过提取所述目标区域及视频数据，采用四阶CNN网络，评估各种前置网络的人体姿态检测效果；

提取单元：用于选择最优网络进行行人姿态提取，提取人体关节点的位置坐标；

计算单元：用于计算视频数据中相邻两帧同一目标人体关节点距离矢量变化矩阵；

分类器：用于进行异常行为的识别。

11.按照权利要求7所述的无人店中顾客异常行为的处理系统，其特征在于，所述处理模块，包括：

判断单元：用于判断所述异常行为的种类；

处理单元：用于根据所述异常行为的种类，对异常行为进行处理。

12.按照权利要求7所述的无人店中顾客异常行为的处理系统，其特征在于，所述处理模块中，对异常行为进行处理，包括下述行为中的一种或者组合：

将采集的异常行为视频信息推送至无人店中的显示装置进行播放；

将采集的异常行为视频信息生成报警日志，并存储；

控制无人店内设备的启闭；所述设备包括报警装置、语音装置和灯光中的一种或组合；

发送未支付指令至订单系统，生成待支付订单，并通知顾客通过支付链接进行支付；

发送未支付指令至订单系统，生成待支付订单，触发短信接口进行推送，并展示在APP订单列表中。

Images