CN116471384B - 无人值守商店监控系统的控制方法及控制装置 - Google Patents

Abstract

本申请实施例公开了一种无人值守商店监控系统的控制方法和控制装置；该方案可以在目标对象进入商店入口时，采集目标对象的特征信息，并根据特征信息生成活动跟踪对象，然后，当该动跟踪对象进入商店出口时，从监控视频中调取与该活动跟踪对象对应的视频帧，以生成该活动跟踪对象在商店内的活动轨迹、以及在监控区域内的活动画面，再然后，基于该活动跟踪对象的付款信息、活动轨迹和活动画面确定是否需要进行付款核对操作，若需要，则通知监控人员执行付款核对操作，否则，则允许该活动跟踪对象通过商店出口；该方案可以在保证较佳购物体验感的同时，对商品交易进行无感监控，避免出现商品丢失、错付或漏付的情况，减低商店财物损失。

Description

无人值守商店监控系统的控制方法及控制装置

技术领域

本发明涉及互联网领域，尤其涉及一种无人值守商店监控系统的控制方法和控制装置。

背景技术

近年来，随着信息技术的飞速发展，全程自助的共享模式也逐渐出现在我们生活的各个领域，比如共享单车、自助洗车等。在这种大趋势的影响下，越来越多的超市和商场也突破了传统经营模式，实现了无人值守、自助购物。这种无人值守、购物买单完全自助的商铺，我们称之为无人值守商店。

现有的无人值守商店，大多都会将商品陈列在特定的货柜中，在顾客付款后，再自动吐出商品，但是，由于在这种模式下，顾客并无法自由挑选商品，所以，其购物体验感并不佳。为此，现有的一些无人值守商店，也会采用传统的货架陈列商品，由顾客自由进行挑选，但是，这种模式一般都只是依附于商店与顾客之间的双向信任，即顾客买单全凭自觉，因此，常常会出现商品丢失、错付或漏付的情况，导致商店财物损失。

发明内容

本发明的主要目的在于提供一种无人值守商店监控系统的控制方法和控制装置，可以在保证较佳购物体验感的同时，对商品交易进行无感监控，避免出现商品丢失、错付或漏付的情况，降低商店财物损失。

为实现上述目的，本发明实施例提供了一种无人值守商店监控系统的控制方法，其中，所述无人值守商店监控系统包括远程监控设备以及设置在无人值守商店中的本地监控设备，所述无人值守商店设置有商店入口、商店出口和货柜，所述货柜前设置有监控区域，所述本地监控设备用于对所述监控区域、以及所述无人值守商店内部所有区域进行拍摄，得到监控视频；所述远程监控设备与多家无人值守商店的本地监控设备连接；所述无人值守商店监控系统的控制方法包括：

当目标对象进入所述商店入口时，采集所述目标对象的特征信息，并根据所述特征信息生成活动跟踪对象；

当所述活动跟踪对象进入所述商店出口时，从监控视频中调取与所述活动跟踪对象对应的视频帧；

根据所述视频帧生成所述活动跟踪对象在商店内的活动轨迹、以及在监控区域内的活动画面；

获取所述活动跟踪对象对应的付款信息，并基于所述付款信息、活动轨迹和活动画面确定是否需要进行付款核对操作；

若需要，则通知监控人员通过远程监控设备，基于所述付款信息、活动轨迹和活动画面执行付款核对操作；

若不需要，则允许所述活动跟踪对象通过所述商店出口。

可选的，在本申请的一些实施例中，所述根据所述视频生成所述活动跟踪对象在商店内的活动轨迹、以及在监控区域内的活动画面，包括：

根据所述视频帧确定所述活动跟踪对象在商店内的位置信息和时间信息；

筛选出位于所述监控区域内的位置信息，得到筛选后位置信息；

根据所述筛选后位置信息在预设的商店地图中生成所述活动跟踪对象的轨迹点；

按照时间信息的先后顺序对所述轨迹点进行连接，得到所述活动跟踪对象在商店内的活动轨迹；

根据所述位置信息和时间信息筛选出所述活动跟踪对象位于监控区域内，且停留时间大于设定值的视频帧，得到所述活动跟踪对象在监控区域内的活动画面。

可选的，在本申请的一些实施例中，所述根据所述视频帧生成所述活动跟踪对象在商店内的活动轨迹、以及在监控区域内的活动画面，包括：

从所述视频帧中筛选出所述活动跟踪对象位于所述监控区域内的视频帧，得到筛选后视频帧；

根据所述筛选后视频帧确定所述活动跟踪对象在商店内的位置信息和时间信息；

根据所述位置信息在预设的商店地图中生成所述活动跟踪对象的轨迹点；

按照时间信息的先后顺序对所述轨迹点进行连接，得到所述活动跟踪对象在商店内的活动轨迹；

从所述筛选后视频帧中提取关键帧，得到所述活动跟踪对象在监控区域内的活动画面。

可选的，在本申请的一些实施例中，所述付款信息包括已付款商品信息，所述基于所述付款信息、活动轨迹和活动画面确定是否需要进行付款核对操作，包括：

根据所述已付款商品信息确定对应的商品陈列区域，所述商品陈列区域位于所述监控区域内；

获取所述商品陈列区域在所述活动轨迹中的占比；

若所述占比小于第一阈值，则确定需要进行付款核对操作；

若所述占比大于等于第一阈值，则确定不需要进行付款核对操作。

可选的，在本申请的一些实施例中，所述付款信息还包括付款金额和已付款商品数量，所述根据所述已付款商品信息确定对应的商品陈列区域之前，还包括：

若所述付款信息中的付款金额小于第二阈值或已付款商品数量大于第三阈值，则确定需要进行付款核对操作；

若所述付款信息中的付款金额大于等于第二阈值，且已付款商品数量小于等于第三阈值，则执行根据所述已付款商品信息确定对应的商品陈列区域的步骤。

可选的，在本申请的一些实施例中，所述根据所述已付款商品信息确定对应的商品陈列区域之前，还可以包括：

若所述付款信息为空白，则根据所述活动轨迹和活动画面确定所述活动跟踪对象在各个商品陈列区域的停留时间；

若所述停留时间大于第四阈值，则确定需要进行付款核对操作；

若所述停留时间小于等于第四阈值，则确定不需要进行付款核对操作。

可选的，在本申请的一些实施例中，所述本地监控设备还包括设置在所述商店入口的信息采集模块，所述当目标对象进入所述商店入口时，采集所述目标对象的特征信息，并根据所述特征信息生成活动跟踪对象，包括：

当目标对象进入所述商店入口时，通过所述信息采集模块采集所述目标对象的人脸特征信息和人体特征信息；

根据所述人脸特征信息和人体特征信息生成活动跟踪对象。

可选的，在本申请的一些实施例中，所述通知监控人员通过远程监控设备，基于所述付款信息、活动轨迹和活动画面执行付款核对操作，包括：

生成付款核对提示信息，并向监控人员发送所述付款核对提示信息；

响应于监控人员基于所述付款核对提示信息所触发的付款核对请求，向监控人员发送所述付款信息、活动轨迹和活动画面，并在远程监控设备上分屏显示所述活动轨迹和活动画面，以便监控人员执行付款核对操作；

响应于所述监控人员基于活动画面所触发的切换指令，在所述活动轨迹上标识出当前活动画面对应的位置、以及画面展示方向。

可选的，在本申请的一些实施例中，所述活动轨迹上标识出当前活动画面对应的位置、以及画面展示方向之后，还包括：

响应于所述监控人员的基于画面展示方向所触发的切换指令，对同一监控区域的当前活动画面的画面展示方向进行切换。

相应的，本申请实施例还提供一种无人值守商店监控系统的控制装置，其中，所述无人值守商店监控系统包括远程监控设备以及设置在无人值守商店中的本地监控设备，所述无人值守商店设置有商店入口、商店出口和货柜，所述货柜前设置有监控区域，所述本地监控设备用于对所述监控区域、以及所述无人值守商店内部所有区域进行拍摄，得到监控视频；所述远程监控设备与多家无人值守商店的本地监控设备连接；所述无人值守商店监控系统的控制装置包括：

对象生成单元，用于当目标对象进入所述商店入口时，采集所述目标对象的特征信息，并根据所述特征信息生成活动跟踪对象；

调取单元，用于当所述活动跟踪对象进入所述商店出口时，从监控视频中调取与所述活动跟踪对象对应的视频帧；

痕迹生成单元，用于根据所述视频帧生成所述活动跟踪对象在商店内的活动轨迹、以及在监控区域内的活动画面；

判断单元，用于获取所述活动跟踪对象对应的付款信息，并基于所述付款信息、活动轨迹和活动画面确定是否需要进行付款核对操作；

通知单元，用于在判断单元确定需要进行付款核对操作时，通知监控人员通过远程监控设备，基于所述付款信息、活动轨迹和活动画面执行付款核对操作；

门禁单元，用于在判断单元确定不需要进行付款核对操作时，允许所述活动跟踪对象通过所述商店出口。

本申请实施例所提供的无人值守商店监控系统的控制方法，可以在目标对象进入商店入口时，采集该目标对象的特征信息，并根据该特征信息生成活动跟踪对象，然后，当该活动跟踪对象进入商店出口时，从监控视频中调取与该活动跟踪对象对应的视频帧，根据该视频帧生成该活动跟踪对象在商店内的活动轨迹、以及在监控区域内的活动画面，再然后，获取该活动跟踪对象对应的付款信息，并基于该付款信息、活动轨迹和活动画面确定是否需要进行付款核对操作，若需要，则通知监控人员通过远程监控设备，基于该付款信息、活动轨迹和活动画面执行付款核对操作，否则，则允许该活动跟踪对象通过该商店出口；该方案可以在保证较佳购物体验感的同时，对商品交易进行无感监控，避免出现商品丢失、错付或漏付的情况，减低商店财物损失。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中无人值守商店监控系统的场景示意图；

图2为本申请实施例中无人值守商店的示例图；

图3为本申请实施例提供的无人值守商店监控系统的控制方法的流程图；

图4为本申请实施例提供的无人值守商店监控系统的控制方法的另一流程图；

图5为本申请实施例提供的无人值守商店监控系统的控制方法的场景示意图；

图6为本申请实施例中活动轨迹的示例图；

图7为本申请实施例中分屏显示的示例图；

图8为本申请实施例中分屏显示的另一示例图；

图9为本申请实施例中C屏切换画面展示方向时的示例图；

图10为本申请实施例中D屏切换画面展示方向时的示例图；

图11为本申请实施例提供的控制装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种无人值守商店监控系统的控制方法和控制装置，以下将分别进行详细说明。

如图1所示，无人值守商店监控系统可以包括远程监控设备以及本地监控设备，其中，本地监控设备设置在无人值守商店中。所谓无人值守商店，指的是指的是无需工作人员进行值守、购物买单完全自助的商铺。该无人值守商店一般设置有商店入口、商店出口和货柜，货柜前设置有监控区域。

该本地监控设备用于对该监控区域、以及该无人值守商店内部所有区域进行拍摄，得到监控视频；而该远程监控设备则可以部署在云端，与多家无人值守商店的本地监控设备连接，比如具体可以通过有线或无线网络进行连接并进行通信。

例如，参见图2，该图为无人值守商店的一种示例。其中，本地监控设备可以包括多个摄像头，比如摄像头1、摄像头2、摄像头3、摄像头4、摄像头5、摄像头6、摄像头7……以及摄像头n等，这些摄像头可以根据实际应用的需求安装在该无人值守商店的各个位置，以便对该无人值守商店内部所有区域、特别是监控区域进行拍摄，得到监控视频。该监控视频可以提供给控制装置，也可以提供给远程监控设备。

其中，摄像头的型号、数量以及安装位置均可以根据实际应用的需求而定，而监控区域则需要设置在货柜前，不过，其面积大小可以不作限定，具体可以根据实际应用的需求进行设置，只需确保当顾客（比如活动跟踪对象）与商品接触、比如挑选商品时，能够位于该监控区域内即可。比如，图2中货柜前虚线框内（即阴影部分）即为监控区域。也就是说，当顾客与商品接触时，必然是位于监控区域内，所以，本地监控设备只需重点监控这些监控区域，便可以知悉顾客是否拿取了商品、以及拿取了何种商品，而对于监控区域外的其他区域，由于顾客无法接触到商品，所以，其拍摄到的监控视频可以不作重点关注，只需作为辅助数据即可，这样，可以大大降低后续数据分析的数据量，提高处理效率。

基于上述的无人值守商店监控系统，本申请实施例提供一种无人值守商店监控系统的控制方法，包括：当目标对象进入该商店入口时，采集该目标对象的特征信息，并根据该特征信息生成活动跟踪对象；当该活动跟踪对象进入该商店出口时，从监控视频中调取与该活动跟踪对象对应的视频帧；根据该视频帧生成该活动跟踪对象在商店内的活动轨迹、以及在监控区域内的活动画面；获取该活动跟踪对象对应的付款信息，并基于该付款信息、活动轨迹和活动画面确定是否需要进行付款核对操作；若需要，则通知监控人员通过远程监控设备，基于该付款信息、活动轨迹和活动画面执行付款核对操作；若不需要，则允许该活动跟踪对象通过该商店出口。

以下将从无人值守商店监控系统的控制装置（简称控制装置）的角度，对该无人值守商店监控系统的控制方法进行详细说明。该控制装置具体可以以独立的实体设置在无人值守商店中，也可以集成在本地监控设备或远程监控设备中。

如图3所示，该无人值守商店监控系统的控制方法的具体流程可以如下：

101、当目标对象进入该商店入口时，采集该目标对象的特征信息，并根据该特征信息生成活动跟踪对象。

例如，可以在该商店入口设置信息采集模块，即该本地监控设备还包括信息采集模块，这样的话，当目标对象进入该商店入口时，便可以通过该信息采集模块采集该目标对象的特征信息，并根据该特征信息生成活动跟踪对象。

其中，该目标对象指的是需要进行监控的人或其他生物，为了描述方便，在申请实施例中，将均以人，即顾客为例进行说明。可选的，该目标对象的特征信息指的是最能反映该目标对象特征，且可用于识别该目标对象的必不可少的、基本的信息。比如，以该目标对象为人为例，则该目标对象的特征信息可以包括人脸特征信息，可选的，还可以包括人体特征信息等。即步骤“当目标对象进入该商店入口时，采集该目标对象的特征信息，并根据该特征信息生成活动跟踪对象”具体可以包括：

当目标对象进入该商店入口时，通过该信息采集模块采集该目标对象的人脸特征信息和人体特征信息，根据该人脸特征信息和人体特征信息生成活动跟踪对象。

其中，根据该人脸特征信息和人体特征信息生成活动跟踪对象的方式可以有多种，比如，可以建立该人脸特征信息、人体特征信息、以及该目标对象三者的对应关系，进而得到可通过特征信息（比如人脸特征信息和人体特征信息）进行表征和识别的目标对象，在本申请实施例中即称为活动跟踪对象。又比如，还可以利用预设的人脸及人体识别模型对该人脸特征信息和人体特征信息进行融合，得到融合后特征信息，然后，根据融合后特征信息生成活动跟踪对象，比如建立融合后特征信息与该目标对象之间的对应关系，进而得到可通过特征信息（比如融合后特征信息）进行表征和识别的目标对象，即可称为活动跟踪对象。

其中，人脸特征信息可以包括几何特征和表征特征，几何特征是指眼睛、鼻子和嘴等面部特征之间的几何关系，如距离、面积和角度等，表征特征指的是利用人脸图像的灰度信息，通过一些算法，比如局部二值模式（LBP，:Local BinaryPatterns）算法所提取的全局或局部特征。而人体特征则可以包括人体的高度、宽度（肥瘦）、颜色（如着装颜色和肤色）、纹理、深度、行为特征、和/或运动方向等特征。

102、当该活动跟踪对象进入该商店出口时，从监控视频中调取与该活动跟踪对象对应的视频帧。

例如，当该活动跟踪对象进入该商店出口时，具体可以根据该活动跟踪对象的特征信息，从监控视频中调取与该活动跟踪对象对应的视频帧。

其中，该监控视频可以由本地监控设备提供该控制装置，即步骤“根据该活动跟踪对象的特征信息，从监控视频中调取与该活动跟踪对象对应的视频帧”具体可以为：

向本地监控设备获取监控视频，根据该活动跟踪对象的特征信息，从获取到的监控视频中调取与该活动跟踪对象对应的视频帧；或者，

根据该活动跟踪对象的特征信息，从本地监控设备所保存的监控视频中调取与该活动跟踪对象对应的视频帧。

103、根据该视频帧生成该活动跟踪对象在商店内的活动轨迹、以及在监控区域内的活动画面。例如，具体可以采用如下任意一种方式来生成活动轨迹和活动画面：

方式一：

根据该视频帧确定该活动跟踪对象在商店内的位置信息和时间信息，筛选出位于监控区域内的位置信息，得到筛选后位置信息；根据该筛选后位置信息在预设的商店地图中生成该活动跟踪对象的轨迹点；按照时间信息的先后顺序对该轨迹点进行连接，得到该活动跟踪对象在商店（即该无人值守商店，后续均简称为商店）内的活动轨迹；根据该位置信息和时间信息筛选出该活动跟踪对象位于监控区域内，且停留时间大于设定值的视频帧，得到该活动跟踪对象在监控区域内的活动画面。

其中，该设定值可以根据实际应用的需求进行设置，在此不作赘述。

方式二：

从该视频帧中筛选出该活动跟踪对象位于该监控区域内的视频帧，得到筛选后视频帧；根据该筛选后视频帧确定该活动跟踪对象在商店内的位置信息和时间信息；根据该位置信息在预设的商店地图中生成该活动跟踪对象的轨迹点，按照时间信息的先后顺序对该轨迹点进行连接，得到该活动跟踪对象在商店内的活动轨迹；从该筛选后视频帧中提取关键帧，得到该活动跟踪对象在监控区域内的活动画面。

104、获取该活动跟踪对象对应的付款信息，并基于该付款信息、活动轨迹和活动画面确定是否需要进行付款核对操作，若是，则执行步骤105，若否，则执行步骤106。

其中，该付款信息可以包括已付款商品信息，则此时，步骤“基于该付款信息、活动轨迹和活动画面确定是否需要进行付款核对操作，若需要，则执行步骤105；若不需要，则执行步骤106”具体可以为：

根据该已付款商品信息确定该已付款商品信息对应的商品陈列区域，获取该商品陈列区域在该活动轨迹中的占比，若该占比小于第一阈值，则确定需要进行付款核对操作，执行步骤105，否则，若该占比大于等于第一阈值，则确定不需要进行付款核对操作，可以执行步骤106。

其中，商品陈列区域指的是某件或某类商品在货柜的所属区域，该商品陈列区域位于该监控区域内，每个监控区域可以包括至少一个商品陈列区域。该已付款商品信息对应的商品陈列区域指的是该已付款商品信息所对应的商品在货柜的所属区域。即步骤“获取该商品陈列区域在该活动轨迹中的占比”具体可以为：

统计该已付款商品信息对应的商品陈列区域的数量，并根据该活动轨迹确定该活动跟踪对象涉及的商品陈列区域的总数，然后，计算该已付款商品信息对应的商品陈列区域的数量与该总数的比值，便可得到该商品陈列区域在该活动轨迹中的占比。

例如，以张三的活动轨迹涉及A、B、C和E四个监控区域中的所有商品陈列区域（张三没有到监控区域D），且监控区域A、B和C均包括12个商品陈列区域，监控区域E包括14个商品陈列区域，第一阈值为5%为例，若根据张三只购买了一件商品，且根据已付款商品信息确定对应的商品陈列区域位于监控区域A内，则此时，可以计算出该商品陈列区域在该活动轨迹中的占比为：

1：（12+12+12+14）=1：50=2%

由于2%小于第一阈值5%（说明张三与货柜中的商品接触很多，但是购买的数量很少），因此，此时确定需要进行付款核对操作，于是执行步骤105。

又例如，还是以张三的活动轨迹涉及A、B、C和E四个监控区域的所有商品陈列区域（张三没有到监控区域D），且监控区域A、B和C均包括12个商品陈列区域，监控区域E包括14个商品陈列区域，第一阈值为5%为例，若根据张三购买了3件商品，且根据已付款商品信息确定对应的商品陈列区域位于监控区域A、B和C内，则此时，可以计算出该商品陈列区域在该活动轨迹中的占比为：

3：（12+12+12+14）=3：50=6%

由于6%大于第一阈值5%，因此，此时确定不需要进行付款核对操作，于是执行步骤106。

可选的，为了更好地避免商品丢失、错付或漏付的情况的发生，还可以对付款金额过小的情况进行付款核对操作，即该付款信息还可以包括付款金额，则此时，在步骤“根据该已付款商品信息确定对应的商品陈列区域”之前，该控制方法还可以包括：

若该付款信息中的付款金额小于第二阈值，则确定需要进行付款核对操作，执行步骤105；若该付款信息中的付款金额大于等于第二阈值，则执行根据该已付款商品信息确定对应的商品陈列区域的步骤。

类似的，由于在付款商品数量过大时，也容易出现错付或漏付的情况，因此，可选的，也可以对付款商品数量过大的情况也进行付款核对操作，即该付款信息还可以包括付款商品数量。则此时，在步骤“根据该已付款商品信息确定对应的商品陈列区域”之前，该控制方法还可以包括：

若该付款信息中的已付款商品数量大于第三阈值，则确定需要进行付款核对操作，执行步骤105；若该付款信息中的已付款商品数量小于等于第三阈值，则执行根据该已付款商品信息确定对应的商品陈列区域的步骤。

可选的，为了进一步加强监控的力度，还可以同时对付款金额过小、以及付款商品数量过大的情况，均进行付款核对操作，即该付款信息还可以包括付款金额和已付款商品数量，则此时，在步骤“根据该已付款商品信息确定对应的商品陈列区域”之前，该控制方法还可以包括：

若该付款信息中的付款金额小于第二阈值或已付款商品数量大于第三阈值，则确定需要进行付款核对操作，执行步骤105；若该付款信息中的付款金额大于等于第二阈值，且已付款商品数量小于等于第三阈值，则执行根据该已付款商品信息确定对应的商品陈列区域的步骤。

可选的，对于没有付款信息的，即付款信息为空白的情况，可以作为重点监控的对象，比如，可以根据该活动轨迹和活动画面确定该活动跟踪对象在各个商品陈列区域的停留时间，若停留时间过长，则确定需要进行付款核对操作，否则，如果仅仅只是匆匆而过，则无需进行付款核对操作，也就是说，在步骤“根据该已付款商品信息确定对应的商品陈列区”之前，该控制方法还可以包括：

若该付款信息为空白，则根据该活动轨迹和活动画面确定该活动跟踪对象在各个商品陈列区域的停留时间；若该停留时间大于第四阈值，则确定需要进行付款核对操作，执行步骤105；否则，若该停留时间小于等于第四阈值，则确定不需要进行付款核对操作，执行步骤106。

其中，第一阈值、第二阈值、第三阈值和第四阈值可以根据实际应用的需求进行设置，在此不作赘述。

105、若在步骤104中，确定需要进行付款核对操作，则通知监控人员通过远程监控设备，基于该付款信息、活动轨迹和活动画面执行付款核对操作。

例如，具体可以生成付款核对提示信息，并向监控人员发送该付款核对提示信息；响应于监控人员基于该付款核对提示信息所触发的付款核对请求，向监控人员发送该付款信息、活动轨迹和活动画面，并在远程监控设备上分屏显示该活动轨迹和活动画面，以便监控人员执行付款核对操作。

若监控人员经过付款核对后，确定没有问题，则可以向控制装置发送核对通过的响应消息，控制装置在接收到该核对通过的响应消息后，便可以允许活动跟踪对象通过商店出口，否则，若确定付款存在问题，则可以采取相应的措施，比如向控制装置发送核对不通过的响应消息，控制装置在接收到该核对不通过的响应消息后，便可以播放提醒信息，比如提醒该活动跟踪对象重新进行付款、甚至进行报警等操作，该具体的措施可根据实际应用的需求进行设置，在此不作赘述。

可选的，对于显示的活动轨迹和活动画面，监控人员还可以进行各类操作，比如进行活动画面切换等，以查看不同的活动画面。即在步骤“在远程监控设备上分屏显示该活动轨迹和活动画面”之后，该控制方法还可以包括：

响应于该监控人员基于活动画面所触发的切换指令，对显示的活动画面进行切换。

可选的，为了让监控人员更好地了解当前活动画面所拍摄的位置，还可以在活动轨迹上标识出该活动画面对应的位置，当该活动画面发生切换时，该活动轨迹上标识的活动画面对应的位置也随着更新。即在步骤“在远程监控设备上分屏显示该活动轨迹和活动画面”之后，该控制方法还可以包括：

响应于该监控人员基于活动画面所触发的切换指令，在该活动轨迹上标识出当前活动画面对应的位置。

可选的，在该活动轨迹上，还可标识出画面展示方向，即在步骤“在远程监控设备上分屏显示该活动轨迹和活动画面”之后，该控制方法还可以包括：

响应于该监控人员基于活动画面所触发的切换指令，在该活动轨迹上标识出当前活动画面对应的位置、以及画面展示方向。

所谓画面展示方向，指的是拍摄该活动画面时的方向（即角度）。需说明的是，由于该本地监控设备包括有多个摄像头，因此，可以从多个角度/方向对该活动跟踪对象进行拍摄，因此，对于同一位置（比如同一监控区域或同一商品陈列区域），可能会存在多个画面展示方向的活动画面，比如，从南边一号摄像头拍摄的活动画面，从西边二号摄像头拍摄的活动画面，以此类推，等等。

可选的，为了方便监控人员从不同角度对活动跟踪对象的行为进行回看，监控人员也可以对画面展示方向进行切换，即在步骤“在该活动轨迹上标识出当前活动画面对应的位置、以及画面展示方向”之后，该控制方法还可以包括：

响应于该监控人员的基于画面展示方向所触发的切换指令，对同一监控区域的当前活动画面的画面展示方向进行切换。

可选的，为了方便监控人员快速进行付款核对，还可在活动轨迹上，将具有已付款商品信息的商品陈列区域标识出来，比如在靠近该商品陈列区域的空白处显示该已付款商品信息的缩略信息，这样，监控人员便可快速进行核对，或者直接忽略，只关注未存在已付款商品信息的监控区域即可。

106、若在步骤104中，确定不需要进行付款核对操作，则允许该活动跟踪对象通过该商店出口。

例如，具体可以控制商店出口的门禁打开，以允许该活动跟踪对象通过该商店出口。

可选的，为了更好地对顾客进行提醒和引导，还可以设置相应的语音提示信息和/或光影提示信息，比如当门禁打开时，可以播放提示信息：“请通行，欢迎下次光临”，与此同时，门口指示灯为“绿色”，等等。

由上可知，本申请实施例所提供的无人值守商店监控系统的控制方法，可以在目标对象进入商店入口时，采集该目标对象的特征信息，并根据该特征信息生成活动跟踪对象，然后，当该活动跟踪对象进入商店出口时，从监控视频中调取与该活动跟踪对象对应的视频帧，根据该视频帧生成该活动跟踪对象在商店内的活动轨迹、以及在监控区域内的活动画面，再然后，获取该活动跟踪对象对应的付款信息，并基于该付款信息、活动轨迹和活动画面确定是否需要进行付款核对操作，若需要，则通知监控人员通过远程监控设备，基于该付款信息、活动轨迹和活动画面执行付款核对操作，否则，则允许该活动跟踪对象通过该商店出口；该方案可以在保证较佳购物体验感的同时，对商品交易进行无感监控，避免出现商品丢失、错付或漏付的情况，减低商店财物损失。

基于上面所描述的实施例，以下将举例作进一步详细说明。

在本实施例中，将以该控制装置具体集成在本地监控设备，且采用方式一来生成活动轨迹和活动画面中为例进行说明。

如图4所示，一种无人值守商店监控系统的控制方法，具体流程如下：

201、当目标对象进入该商店入口时，控制装置采集该目标对象的特征信息，并根据该特征信息生成活动跟踪对象。

例如，如图5所示的场景，当目标对象张三进入该商店入口时，控制装置采集张三的人脸特征信息和人体特征信息，然后根据该人脸特征信息和人体特征信息生成活动跟踪对象，比如，具体可以将该人脸特征信息和人体特征信息进行融合，得到融合后特征信息，然后，基于融合后的特征信息生成活动跟踪对象。

202、当该活动跟踪对象进入该商店出口时，控制装置从监控视频中调取与该活动跟踪对象对应的视频帧，根据该视频帧确定该活动跟踪对象在商店内的位置信息和时间信息。

例如，还是以图5所示的场景为例，则当该活动跟踪对象如张三进入该商店出口时，控制装置向本地监控设备获取监控视频，从监控视频中调取与该活动跟踪对象对应的视频帧，即调取符合张三特征信息的视频帧，然后，根据该调取到的视频帧确定该活动跟踪对象如张三在商店内的位置信息和时间信息。

其中，该监控视频由本地监控设备，比如图5中摄像头1、摄像头2、摄像头3、摄像头4、摄像头5、摄像头6、摄像头7……摄像头n等对该商店内的所有区域及监控区域，如监控区域1、监控区域2、监控区域3、监控区域4、监控区域5、监控区域6和监控区域7等进行拍摄所得到。

203、控制装置根据该位置信息和时间信息生成该活动跟踪对象在商店内的活动轨迹。例如，具体可以如下：

控制装置筛选出位于监控区域内的位置信息，得到筛选后位置信息，然后，根据该筛选后位置信息在预设的商店地图中生成该活动跟踪对象的轨迹点，并按照时间信息的先后顺序对该轨迹点进行连接，得到该活动跟踪对象在商店内的活动轨迹，其中，该活动轨迹的起点为商场入口，终点为商场出口。

比如，参见图5，若张三进入该商店后，所进入的监控区域依次为监控区域1、监控区域7、监控区域3和监控区域4，则此时，控制装置可以筛选出张三位于监控区域1、监控区域7、监控区域3和监控区域4的位置信息，得到筛选后位置信息，然后，根据该筛选后位置信息在预设的商店地图中生成该活动跟踪对象的轨迹点，比如，如图6所示，依次生成商场入口的轨迹点A、在监控区域1中的轨迹点B、在监控区域7中的轨迹点C、在监控区域3中的轨迹点D、在监控区域4中的轨迹点E、以及在商场出口的轨迹点F，再然后，按照时间信息的先后顺序对这些轨迹点进行连接，便可得到张三在商店内的活动轨迹：A—>B—>C—>D—>E—>F。

204、控制装置根据该位置信息和时间信息确定该活动跟踪对象在监控区域内的活动画面。例如，具体可以如下：

控制装置根据该位置信息和时间信息筛选出该活动跟踪对象位于监控区域内，且停留时间大于设定值的视频帧，得到该活动跟踪对象在监控区域内的活动画面。

其中，该设定值可以根据实际应用的需求进行设置，在此不作赘述。

比如，以该设定值为1分钟为例，参见图5和图6，若张三在监控区域1的某个商品陈列区域Z1停留了3分钟，在监控区域7的某个商品陈列区域Z2停留了1.5分钟，在监控区域3的某个商品陈列区域Z3停留了2.5分钟，在监控区域4的某个商品陈列区域Z4停留了0.5分钟，则此时，控制装置可以筛选出张三位于监控区域1的商品陈列区域Z1的视频帧、张三位于监控区域7的商品陈列区域Z2的视频帧、以及张三位于监控区域3的商品陈列区域Z3的视频帧，得到张三在监控区域内的活动画面。

需说明的是，步骤203和204的执行顺序可以不分先后，此外，为了绘图方便，在图5-图9中，将商品陈列区域简称为“陈列区域”，其中，监控区域1中轨迹点B对应的陈列区域为商品陈列区域Z1，监控区域3中轨迹点D对应的陈列区域为商品陈列区域Z3（图中未标出完整名称）。

205、控制装置获取该活动跟踪对象对应的付款信息，并基于该付款信息、活动轨迹和活动画面确定是否需要进行付款核对操作，若需要，则执行步骤206，若不需要，则执行步骤208。

其中，该付款信息可以包括已付款商品信息、付款金额和已付款商品数量等信息。

具体的，控制装置可以通过以下方式来判断是否需要进行付款核对操作，如下：

S1、控制装置判断该付款信息是否为空白，若付款信息为空白，则执行步骤S2，否则，若付款信息不是空白，则执行步骤S3。

S2、在付款信息为空白时，控制装置根据该活动轨迹和活动画面确定该活动跟踪对象在各个商品陈列区域的停留时间；若该停留时间大于第四阈值，则确定需要进行付款核对操作，执行步骤206；若该停留时间小于等于第四阈值，则确定不需要进行付款核对操作，执行步骤208。

例如，以该第四阈值为2分钟为例，则在步骤204的例子中，由于张三在监控区域1（停留了3分钟）和监控区域3（停留了2.5分钟）均大于第四阈值（2分钟），因此，此时可以确定需要进行付款核对操作，于是执行步骤206。

S3、在付款信息不为空白时，控制装置判断该付款信息中的付款金额是否小于第二阈值、以及已付款商品数量是否大于第三阈值，若付款金额小于第二阈值，或已付款商品数量大于第三阈值，则确定需要进行付款核对操作，执行步骤206；若该付款信息中的付款金额大于等于第二阈值，且已付款商品数量小于等于第三阈值，则执行步骤S4。

S4、控制装置根据该已付款商品信息确定对应的商品陈列区域，获取该商品陈列区域在该活动轨迹中的占比，若该占比小于第一阈值，则确定需要进行付款核对操作，执行步骤206，否则，若该占比大于等于第一阈值，则确定不需要进行付款核对操作，可以执行步骤208。

例如，以第一阈值为5%为例，参见图5和图6，由于张三的活动轨迹中共涉及了四个监控区域，其中：

在监控区域1中，张三涉及的商品陈列区域为商品陈列区域Z1；

在监控区域7中，张三涉及的商品陈列区域为商品陈列区域Z2；

在监控区域3中，张三涉及的商品陈列区域为商品陈列区域Z3；

在监控区域4中，张三涉及的商品陈列区域为商品陈列区域Z4。

也就是说，在张三的活动轨迹中，共涉及了4个商品陈列区域，若张三购买了两件商品，其中一件对应的商品陈列区域位于监控区域1内，为商品陈列区域Z1，另一件对应的商品陈列区域位于监控区域3内，为商品陈列区域Z3，参见图5和图6，则此时，可以计算出该已付款商品信息对应的商品陈列区域在该活动轨迹中的占比为：

2：4=50%

由于50%大于第一阈值5%，因此，可以确定不需要进行付款核对操作，于是执行步骤208。

又例如，若监控区域1中包括了47个商品陈列区域，且张三均涉及到了，（即张三将监控区域1中的所有商品陈列区域都逛了一遍），也就是说，加上商品陈列区域Z2、商品陈列区域Z3和商品陈列区域Z4，张三的活动轨迹共涉及50（47+3=50）个商品陈列区域，那么此时，该已付款商品信息对应的商品陈列区域在该活动轨迹中的占比即为：

2：50=4%

由于4%小于第一阈值5%，因此，此时确定需要进行付款核对操作，于是执行步骤206。

其中，第一阈值、第二阈值、第三阈值和第四阈值可以根据实际应用的需求进行设置，在此不作赘述。

206、控制装置生成付款核对提示信息，并向监控人员发送该付款核对提示信息，然后执行步骤207。

207、响应于监控人员基于该付款核对提示信息所触发的付款核对请求，控制装置向监控人员发送该付款信息、活动轨迹和活动画面，并在远程监控设备上分屏显示该活动轨迹和活动画面，以便监控人员进行付款核对。

例如，监控人员接收到该付款核对提示信息后，可以根据实际应用的需求确定是否进行付款核对，若不进行付款核对，则监控人员可以触发不核对响应消息，当控制装置接收到监控人员触发的不核对响应消息时，响应于该不核对响应消息，执行步骤208；或者，监控人员也可以不进行反馈，若控制装置在预设时长后仍未接收到监控人员的反馈，则确定不进行核对，执行步骤208；若进行付款核对，则监控人员可以触发付款核对请求，当控制装置接收到监控人员触发的付款核对请求时，响应于该付款核对请求，向监控人员发送该付款信息、活动轨迹和活动画面，并在远程监控设备上分屏显示该活动轨迹和活动画面，以供监控人员进行付款核对。

其中，分屏的方式、以及显示的页面样式可以根据实际应用的需求以及监控人员的喜好而定。

例如，如图7所示，可以分为四屏：A屏、B屏、C屏和D屏，其中，A屏用于显示该商店的信息，比如商店编号、商店的地址、联系电话、负责人信息、以及该活动轨迹和活动画面的拍摄日期和时间等；B屏可以显示付款信息、以及一些操作键，比如活动轨迹和活动画面的显示按键等；C屏用于显示活动轨迹；而D屏则用于显示活动画面、以及活动画面的切换按键，比如“上一页”和“下一页”等。

可选的，在显示活动画面时，可以只显示一张活动画面，也可以同时显示多张活动画面，比如同时显示8张活动画面或同时显示4张活动画面，等等。比如，参见图8，在该图8所示例的D屏中，即同时显示了张三位于监控区域1中的商品陈列区域Z1（即轨迹点B）时，摄像头从不同角度拍摄到的4张活动画面。

可选的，对于显示的活动轨迹和活动画面，监控人员还可以进行各类操作，比如进行活动画面切换等，以查看不同的活动画面。即在步骤“在远程监控设备上分屏显示该活动轨迹和活动画面”之后，该控制方法还可以包括：

响应于该监控人员基于活动画面所触发的切换指令，对显示的活动画面进行切换。

例如，如图7所示，当监控人员点击“上一页”切换按键时，该D屏上显示的活动画面可切换为上一张活动画面，而当监控人员点击“下一页”切换按键时，该D屏上显示的活动画面可切换为下一张活动画面。

又例如，如图8所示，当监控人员点击“上一页”切换按键时，该D屏上显示的活动画面可切换为上四张活动画面，而当监控人员点击“下一页”切换按键时，该D屏上显示的活动画面可切换为下四张活动画面。

又例如，如图7所示，当监控人员点击活动轨迹上的轨迹点“D”时，该D屏上显示的活动画面可切换为轨迹点D对应的活动画面（即监控区域3中商品陈列区域Z3对应的活动画面），以此类推，等等。

可选的，为了让监控人员更好地了解当前活动画面所拍摄的位置，如图9所示，还可以在活动轨迹上标识出该活动画面对应的位置，当该活动画面发生切换时，该活动轨迹上标识的活动画面对应的位置也随着更新。即在步骤“在远程监控设备上分屏显示该活动轨迹和活动画面”之后，该控制方法还可以包括：

响应于该监控人员基于活动画面所触发的切换指令，在该活动轨迹上标识出当前活动画面对应的位置。

例如，若D屏上当前显示的活动画面为监控区域1中的商品陈列区域Z1（即轨迹点B）对应的活动画面，则此时，可以在该活动轨迹的轨迹点B上进行标识，比如突出显示该轨迹点B，和/或，如图9所示，也可以在靠近该轨迹点B的空白处显示该活动画面的缩略图，等等。

而当D屏上当前显示的活动画面切换为其他位置，如切换为监控区域3的商品陈列区域Z3的活动画面时，则活动轨迹上的标识此时也需随着更新为轨迹点D，即将轨迹点B恢复原状，并突出显示轨迹点D，和/或，在靠近该轨迹点D的空白处显示该活动画面的缩略图，以此类推，等等。

当然，如果切换后的活动画面对应的位置并未发生变化，仅仅只是画面展示方向发生变化（即同一位置的其他角度拍摄的活动画面），则此时，活动轨迹上的突出显示的仍为轨迹点B，但是，其显示的缩略图可更新为该切换后的活动画面的缩略图。

可选的，如图9所示，在该活动轨迹上还可标识出画面展示方向，比如，以该画面展示方向以“东向（E）、西向（W）、南向（S）或北向（N）”来表示为例，若当前显示的活动画面对应的位置为轨迹点B，且其画面展示方向为南向（S），则此时，可以在C屏显示的活动轨迹上进行标识，比如在靠近轨迹点B的空白处显示此位置对应的所有画面展示方向，并突出显示当前活动画面的画面展示方向——南向（S）。

需说明的是，上述画面展示方向的表示方式仅仅为示例，应当理解的是，还可用其他方式，比如摄像头的位置、摄像头的编号、或坐标信息等来标识该画面展示方向，在此不作赘述。

可选的，为了方便监控人员从不同角度对活动跟踪对象的行为进行回看，监控人员也可以对画面展示方向进行切换，即在步骤“在该活动轨迹上标识出当前活动画面对应的位置、以及画面展示方向”之后，该控制方法还可以包括：

响应于该监控人员的基于画面展示方向所触发的切换指令，对同一监控区域的当前活动画面的画面展示方向进行切换。

其中，该画面展示方向的切换指令的触发方式可以有多种，比如，可以通过点击活动画面上的相应触发键来触发该切换指令，也可以通过点击活动轨迹上的相应触发键来触发该切换指令，例如，以点击活动轨迹上的相应触发键，比如点击该活动轨迹上的画面展示方向控件为例，则具体可以如下：

如图9所示，当点击该活动轨迹上轨迹点B的画面展示方向西向（W）时，此时D屏上显示的活动画面也随着更新为该位置（即轨迹点B）的西向对应的活动画面，比如，参见图10。与此同时，C屏上显示的轨迹点B对应的缩略图也更新为该西向对应的活动画面的缩略图，且画面展示方向也更新为：突出显示西向（W），参见图9。

可选的，为了方便监控人员快速进行付款核对，还可在活动轨迹上，将具有已付款商品信息的商品陈列区域标识出来，比如在靠近该商品陈列区域的空白处显示该已付款商品信息的缩略信息，比如，若张三在商品陈列区域Z1购买的商品为一瓶X瓶装水，其价格为￥3元，在商品陈列区域Z3购买的商品为一包Y饼干，其价格为￥8元，则如图9所示，可以在活动轨迹上靠近商品陈列区域Z1的空白处显示“X瓶装水，1-￥3.0”，以及在活动轨迹上靠近商品陈列区域Z3的空白处显示“Y饼干，1-￥8.0”。这样，当监控人员看到该信息时，便可获悉张三在这两处停留是为了购买一瓶X瓶装水和一包Y饼干，且这两件商品已付款，因此，监控人员可以快速查看或略过这两处的活动画面，直接查看其他监控领域的活动画面即可，进而提高付款核对操作的效率。

208、控制装置允许该活动跟踪对象通过该商店出口。例如，具体可以如下：

控制装置控制商店出口的门禁打开，以允许该活动跟踪对象，比如张三通过该商店出口。

可选的，为了更好地对顾客进行提醒和引导，还可以设置相应的语音提示信息和/或光影提示信息，比如当门禁打开时，该控制装置可以播放提示信息：“请通行，欢迎下次光临”，与此同时，门口指示灯为“绿色”，等等。

由上可知，由于该方案可以采用传统的货架成列商品，以供顾客自由进行挑选，因此，可以保证较佳的购物体验感。与此同时，该方案还可以基于顾客的付款信息、以及顾客在商店内的活动轨迹和活动画面来自动判断是否需要进行付款核对操作，只有在异常的情况下，才会进行付款核对操作，而且，由于所生成的活动轨迹和活动画面，均是基于顾客与商品最可能发生接触的“监控区域”来生成的，而并不是采用所有的监控视频，因此，其数据处理量可以得到大幅度减少，大大提高了其处理效率，使得该监控系统在监控时，可以作出快速反应，因此，对于顾客而言，该监控是无感的，并不会影响购物流程。所以，综合而言，该方案可以在保障顾客快速、灵活购物的同时，尽可能避免商品丢失、错付或漏付的情况的发生，减低商店财物损失。

此外，在该方案中，监控人员在进行付款核对操作时，不仅可以分屏显示付款信息、活动轨迹和活动画面，而且，活动轨迹上还会显示这些信息之间的关联性，进一步的，还可以灵活地对活动轨迹和活动画面进行切换查看，因此，可以大大减少监控人员核对时的工作量，提高监控人员核对的效率。

相应的，为了更好地实施以上方法，本申请实施例还提供一种无人值守商店监控系统的控制装置（简称控制装置），其中，该无人值守商店监控系统包括远程监控设备以及设置在无人值守商店中的本地监控设备，该无人值守商店设置有商店入口、商店出口和货柜，该货柜前设置有监控区域，该本地监控设备用于对该监控区域、以及该无人值守商店内部所有区域进行拍摄，得到监控视频；该远程监控设备与多家无人值守商店的本地监控设备连接。

如图11所示，该控制装置包括对象生成单元301、调取单元302、痕迹生成单元303（也称为活动轨迹及活动画面生成单元）、判断单元304、通知单元305和门禁单元306，具体如下：

对象生成单元301，用于当目标对象进入该商店入口时，采集该目标对象的特征信息，并根据该特征信息生成活动跟踪对象。

例如，该对象生成单元301，具体可以采集该目标对象的人脸特征信息和人体特征信息，根据该人脸特征信息和人体特征信息生成活动跟踪对象。

其中，根据该人脸特征信息和人体特征信息生成活动跟踪对象的方式可以有多种，具体可参见前面的实施例，在此不作赘述。

调取单元302，用于当该活动跟踪对象进入该商店出口时，从监控视频中调取与该活动跟踪对象对应的视频帧。

痕迹生成单元303，用于根据该视频帧生成该活动跟踪对象在商店内的活动轨迹、以及在监控区域内的活动画面。

例如，痕迹生成单元303，具体可以用于根据该视频帧确定该活动跟踪对象在商店内的位置信息和时间信息，筛选出位于监控区域内的位置信息，得到筛选后位置信息；根据该筛选后位置信息在预设的商店地图中生成该活动跟踪对象的轨迹点；按照时间信息的先后顺序对该轨迹点进行连接，得到该活动跟踪对象在商店内的活动轨迹；根据该位置信息和时间信息筛选出该活动跟踪对象位于监控区域内，且停留时间大于设定值的视频帧，得到该活动跟踪对象在监控区域内的活动画面。

或者，由例如，该痕迹生成单元303，具体可以用于从该视频帧中筛选出该活动跟踪对象位于该监控区域内的视频帧，得到筛选后视频帧；根据该筛选后视频帧确定该活动跟踪对象在商店内的位置信息和时间信息；根据该位置信息在预设的商店地图中生成该活动跟踪对象的轨迹点，按照时间信息的先后顺序对该轨迹点进行连接，得到该活动跟踪对象在商店内的活动轨迹；从该筛选后视频帧中提取关键帧，得到该活动跟踪对象在监控区域内的活动画面。

判断单元304，用于获取该活动跟踪对象对应的付款信息，并基于该付款信息、活动轨迹和活动画面确定是否需要进行付款核对操作。

其中，该付款信息可以包括已付款商品信息、付款金额、和/或付款商品数量等信息。

例如，该判断单元304，具体可以用于根据该已付款商品信息确定对应的商品陈列区域，获取该商品陈列区域在该活动轨迹中的占比，若该占比小于第一阈值，则确定需要进行付款核对操作；若该占比大于等于第一阈值，则确定不需要进行付款核对操作。

又例如，该判断单元304，具体可以用于在该付款信息中的付款金额小于第二阈值或已付款商品数量大于第三阈值时，确定需要进行付款核对操作；在该付款信息中的付款金额大于等于第二阈值，且已付款商品数量小于等于第三阈值时，根据该已付款商品信息确定对应的商品陈列区域，获取该商品陈列区域在该活动轨迹中的占比，若该占比小于第一阈值，则确定需要进行付款核对操作；若该占比大于等于第一阈值，则确定不需要进行付款核对操作。

又例如，该判断单元304，具体可以用于在付款信息为空白时，根据该活动轨迹和活动画面确定该活动跟踪对象在各个商品陈列区域的停留时间；若该停留时间大于第四阈值，则确定需要进行付款核对操作；若该停留时间小于等于第四阈值，则确定不需要进行付款核对操作。

通知单元305，用于在判断单元304确定需要进行付款核对操作时，通知监控人员通过远程监控设备，基于该付款信息、活动轨迹和活动画面执行付款核对操作。

可选的，该通知单元305，还可以用于响应于该监控人员基于活动画面所触发的切换指令，对显示的活动画面进行切换。

可选的，该通知单元305，还可以用于响应于该监控人员基于活动画面所触发的切换指令，在该活动轨迹上标识出当前活动画面对应的位置。

可选的，该通知单元305，还可以用于响应于该监控人员基于活动画面所触发的切换指令，在该活动轨迹上标识出当前活动画面对应的位置、以及画面展示方向。

可选的，该通知单元305，还可以用于响应于该监控人员的基于画面展示方向所触发的切换指令，对同一监控区域的当前活动画面的画面展示方向进行切换。

可选的，该通知单元305，还可以用于在活动轨迹上，对具有已付款商品信息的商品陈列区域进行标识。

门禁单元306，用于在判断单元304确定不需要进行付款核对操作时，允许该活动跟踪对象通过该商店出口。

以上各个单元的实施，具体可参见前面的方法实施例，在此不作赘述。

需说明的是，具体实施时，以上各个单元可以进行任意组合，集成在一个或若干个模块中，也可以作为独立的实体实现。此外，上述单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。

由上可知，本申请实施例所提供的无人值守商店监控系统的控制装置，可以在目标对象进入商店入口时，由对象生成单元301采集该目标对象的特征信息，并根据该特征信息生成活动跟踪对象，然后，当该活动跟踪对象进入商店出口时，通过调取单元302从监控视频中调取与该活动跟踪对象对应的视频帧，并由痕迹生成单元303根据该视频帧生成该活动跟踪对象在商店内的活动轨迹、以及在监控区域内的活动画面，再然后，由判断单元304获取该活动跟踪对象对应的付款信息，并基于该付款信息、活动轨迹和活动画面确定是否需要进行付款核对操作，若需要，则由通知单元305通知监控人员通过远程监控设备，基于该付款信息、活动轨迹和活动画面执行付款核对操作，否则，则由门禁单元306控制门禁，允许该活动跟踪对象通过该商店出口。由于该方案可以采用传统的货架成列商品，以供顾客自由进行挑选，因此，可以保证较佳的购物体验感；与此同时，该控制装置还可以基于顾客的付款信息、以及顾客在商店内的活动轨迹和活动画面来自动判断是否需要进行付款核对操作，只有在异常的情况下，才会进行付款核对操作，而且，由于所生成的活动轨迹和活动画面，均是基于顾客与商品最可能发生接触的“监控区域”来生成的，而并不是采用所有的监控视频，因此，其数据处理量可以得到大幅度减少，大大提高了其处理效率，使得该监控系统在监控时，可以作出快速反应，因此，对于顾客而言，该监控是无感的，也就是说，该方案可以在保证较佳购物体验感的同时，对商品交易进行无感监控，避免出现商品丢失、错付或漏付的情况，减低商店财物损失。

以上对本申请实施例所提供的一种无人值守商店监控系统的控制方法和控制装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种无人值守商店监控系统的控制方法，其特征在于，所述无人值守商店监控系统包括远程监控设备以及设置在无人值守商店中的本地监控设备，所述无人值守商店设置有商店入口、商店出口和货柜，所述货柜前设置有监控区域，所述本地监控设备用于对所述监控区域、以及所述无人值守商店内部所有区域进行拍摄，得到监控视频；所述远程监控设备与多家无人值守商店的本地监控设备连接；所述控制方法包括：

当目标对象进入所述商店入口时，采集所述目标对象的特征信息，并根据所述特征信息生成活动跟踪对象；

当所述活动跟踪对象进入所述商店出口时，从监控视频中调取与所述活动跟踪对象对应的视频帧；

根据所述视频帧生成所述活动跟踪对象在商店内的活动轨迹、以及在监控区域内的活动画面；

获取所述活动跟踪对象对应的付款信息，所述付款信息包括已付款商品信息，并根据所述已付款商品信息确定对应的商品陈列区域，所述商品陈列区域位于所述监控区域内，获取所述商品陈列区域在所述活动轨迹中的占比；

若所述占比小于第一阈值，则确定需要进行付款核对操作，通知监控人员通过远程监控设备，基于所述付款信息、活动轨迹和活动画面执行付款核对操作；

若所述占比大于等于第一阈值，则确定不需要进行付款核对操作，允许所述活动跟踪对象通过所述商店出口。

2.根据权利要求1所述的方法，其特征在于，所述根据所述视频帧生成所述活动跟踪对象在商店内的活动轨迹、以及在监控区域内的活动画面，包括：

根据所述视频帧确定所述活动跟踪对象在商店内的位置信息和时间信息；

筛选出位于所述监控区域内的位置信息，得到筛选后位置信息；

根据所述筛选后位置信息在预设的商店地图中生成所述活动跟踪对象的轨迹点；

按照时间信息的先后顺序对所述轨迹点进行连接，得到所述活动跟踪对象在商店内的活动轨迹；

根据所述位置信息和时间信息筛选出所述活动跟踪对象位于监控区域内，且停留时间大于设定值的视频帧，得到所述活动跟踪对象在监控区域内的活动画面。

3.根据权利要求1所述的方法，其特征在于，所述根据所述视频帧生成所述活动跟踪对象在商店内的活动轨迹、以及在监控区域内的活动画面，包括：

从所述视频帧中筛选出所述活动跟踪对象位于所述监控区域内的视频帧，得到筛选后视频帧；

根据所述筛选后视频帧确定所述活动跟踪对象在商店内的位置信息和时间信息；

根据所述位置信息在预设的商店地图中生成所述活动跟踪对象的轨迹点；

按照时间信息的先后顺序对所述轨迹点进行连接，得到所述活动跟踪对象在商店内的活动轨迹；

从所述筛选后视频帧中提取关键帧，得到所述活动跟踪对象在监控区域内的活动画面。

4.根据权利要求1所述的方法，其特征在于，所述付款信息还包括付款金额和已付款商品数量，所述根据所述已付款商品信息确定对应的商品陈列区域之前，还包括：

若所述付款信息中的付款金额小于第二阈值或已付款商品数量大于第三阈值，则确定需要进行付款核对操作；

若所述付款信息中的付款金额大于等于第二阈值，且已付款商品数量小于等于第三阈值，则执行根据所述已付款商品信息确定对应的商品陈列区域的步骤。

5.根据权利要求1所述的方法，其特征在于，所述根据所述已付款商品信息确定对应的商品陈列区域之前，还包括：

若所述付款信息为空白，则根据所述活动轨迹和活动画面确定所述活动跟踪对象在各个商品陈列区域的停留时间；

若所述停留时间大于第四阈值，则确定需要进行付款核对操作；

若所述停留时间小于等于第四阈值，则确定不需要进行付款核对操作。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述本地监控设备还包括设置在所述商店入口的信息采集模块，所述当目标对象进入所述商店入口时，采集所述目标对象的特征信息，并根据所述特征信息生成活动跟踪对象，包括：

当目标对象进入所述商店入口时，通过所述信息采集模块采集所述目标对象的人脸特征信息和人体特征信息；

根据所述人脸特征信息和人体特征信息生成活动跟踪对象。

7.根据权利要求1至3任一项所述的方法，其特征在于，所述通知监控人员通过远程监控设备，基于所述付款信息、活动轨迹和活动画面执行付款核对操作，包括：

生成付款核对提示信息，并向监控人员发送所述付款核对提示信息；

响应于监控人员基于所述付款核对提示信息所触发的付款核对请求，向监控人员发送所述付款信息、活动轨迹和活动画面，并在远程监控设备上分屏显示所述活动轨迹和活动画面，以便监控人员执行付款核对操作；

响应于所述监控人员基于活动画面所触发的切换指令，在所述活动轨迹上标识出当前活动画面对应的位置、以及画面展示方向。

8.根据权利要求7所述的方法，其特征在于，所述活动轨迹上标识出当前活动画面对应的位置、以及画面展示方向之后，还包括：

响应于所述监控人员的基于画面展示方向所触发的切换指令，对同一监控区域的当前活动画面的画面展示方向进行切换。

9.一种无人值守商店监控系统的控制装置，其特征在于，所述无人值守商店监控系统包括远程监控设备以及设置在无人值守商店中的本地监控设备，所述无人值守商店设置有商店入口、商店出口和货柜，所述货柜前设置有监控区域，所述本地监控设备用于对所述监控区域、以及所述无人值守商店内部所有区域进行拍摄，得到监控视频；所述远程监控设备与多家无人值守商店的本地监控设备连接；所述控制装置包括：

对象生成单元，用于当目标对象进入所述商店入口时，采集所述目标对象的特征信息，并根据所述特征信息生成活动跟踪对象；

调取单元，用于当所述活动跟踪对象进入所述商店出口时，从监控视频中调取与所述活动跟踪对象对应的视频帧；

痕迹生成单元，用于根据所述视频帧生成所述活动跟踪对象在商店内的活动轨迹、以及在监控区域内的活动画面；

判断单元，用于获取所述活动跟踪对象对应的付款信息，所述付款信息包括已付款商品信息，并根据所述已付款商品信息确定对应的商品陈列区域，所述商品陈列区域位于所述监控区域内，获取所述商品陈列区域在所述活动轨迹中的占比，若所述占比小于第一阈值，则确定需要进行付款核对操作，若所述占比大于等于第一阈值，则确定不需要进行付款核对操作；

通知单元，用于在判断单元确定需要进行付款核对操作时，通知监控人员通过远程监控设备，基于所述付款信息、活动轨迹和活动画面执行付款核对操作；

门禁单元，用于在判断单元确定不需要进行付款核对操作时，允许所述活动跟踪对象通过所述商店出口。