CN109145858A - 无人货架视频审核系统及方法 - Google Patents

Abstract

本发明公开了一种无人货架视频审核系统及方法，该审核系统包括：视频上传模块，其根据货架的盗损数据，选择盗损高的货架，并对在该货架上发生购物行为的用户视频，进行拉取；开关门检测模块，利用数字图像现技术找到冰箱的门。本发明基于图像处理技术，识别视频中用户真正的购物过程，以达到对视频的高效审核。

Description

无人货架视频审核系统及方法

技术领域

本发明涉及一种视频审核系统及方法，特别是涉及一种无人货架视频审核系统及方法。

背景技术

在无人货架零售领域，通过视频监控来追查用户购买时是否发生盗损，是一个比较新颖的方案。该方案的可行性比较依赖于其对视频审核的效率。

发明内容

本发明所要解决的技术问题是提供一种无人货架视频审核系统及方法，其能够达到对视频的高效审核。

本发明是通过下述技术方案来解决上述技术问题的：一种无人货架视频审核系统，其特征在于，其包括：

视频上传模块，其根据货架的盗损数据，选择盗损高的货架，并对在该货架上发生购物行为的用户视频，进行拉取；

开关门检测模块，利用数字图像现技术找到冰箱的门；

开关门过滤模块，根据开关门检测模块检测到的门，将视频中的噪声区域过滤掉；

前景检测模块，利用高斯混合模型，对图像中有效区域进行检测；

手势检测模块，其通过图像处理技术将人的手给识别出来；

播放参数模块，将前景检测模块、手势检测模块的前景、肤色检测的结果保存起来，为后续的视频审核模块的视频播放提供播放参数；

视频播放模块，其根据播放参数模块提供的播放参数，对视频进行播放；对于在购买区间外的，根据播放参数进行快速播放，而对于在购买区间内的，慢速播放；当有碰到手时，则以更慢的速度进行播放；

审核结果模块，通过审核人员查看视频信息，以确定用户付款的与其实际拿的是否一致；如果不一致，则计算差价，并通过芝麻信用发起追缴。

优选地，所述开关门检测模块和开关门过滤模块构成一个图像预处理单元，图像预处理单元主要用来过滤掉视频中的开关门噪声。

本发明还提供一种无人货架视频审核方法，其特征在于，包括以下步骤：

步骤一、视频上传系统从后台获取货架的盗损数据，并对其进行排序，然后，按照倒损率降序，拉取用户购买时的视频信息；最后，将视频信息上传到猩便利后台；

步骤二、将上传的视频分割成一帧帧图片，然后对每一张图片进行Canny边缘检测和霍夫直线检测，通过这两步，即可把冰箱的门给检测出来；

步骤三、根据步骤二的结果，将门区域外信息进行过滤处理，去掉噪声点，提升检测的精度；

步骤四、由于摄像头固定，因此其拍摄的每一张图片的背景，大致是一样的；采用GMM高斯混合模型，其通过背景训练，即可把背景去掉，仅留下前景；留下的前景即为用户购物的图片信息；

步骤五、对于取出来的前景图片，通过TensorFlow模型训练和肤色检测，对图片中有没有手进行检测，并将检测结果保存下来；

步骤六、根据步骤四和步骤五的结果，将播放参数保存起来，保存格式：通过该参数，把视频分成一段段小的视频，然后播放模块可以按照该参数进行播放；

步骤七、播放参数模块根据视频的播放参数，对视频进行播放；

步骤八、通过审查视频，以确定用户购买的商品与其实际拿的商品是否一致；若一致，则用户无盗损，若不一致，则区分出盗损商品，并计算差价，最后通过芝麻信用，对用户发起追讨。

本发明的积极进步效果在于：本发明基于图像处理技术，识别视频中用户真正的购物过程，以达到对视频的高效审核。

附图说明

图1为本发明无人货架视频审核系统的原理框图。

图2为本发明无人货架视频审核方法的流程图。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。

如图1所示，本发明无人货架视频审核系统包括：

视频上传模块，其根据货架的盗损数据，选择盗损高的货架，并对在该货架上发生购物行为的用户视频，进行拉取；

开关门检测模块，利用数字图像现技术：canny边缘检测技术和霍夫变换直线检测技术，可以找到冰箱的门；

开关门过滤模块，根据开关门检测模块检测到的门，将视频中的噪声区域过滤掉；

前景检测模块，利用高斯混合模型，对图像中有效区域进行检测。当前景值越多时，则说明用户在购买概率越大。

手势检测模块，其通过图像处理技术：TensorFlow技术和肤色检测技术，将人的手给识别出来。

播放参数模块，将前景检测模块、手势检测模块的前景、肤色检测的结果保存起来，为后续的视频审核模块的视频播放提供播放参数。

视频播放模块，其根据播放参数模块提供的播放参数，对视频进行播放；对于在购买区间外的，根据播放参数进行快速播放，而对于在购买区间内的，慢速播放；当有碰到手时，则以更慢的速度进行播放。

审核结果模块，通过审核人员查看视频信息，以确定用户付款的与其实际拿的是否一致；如果不一致，则计算差价，并通过芝麻信用发起追缴。

开关门检测模块和开关门过滤模块构成一个图像预处理单元，图像预处理单元主要用来过滤掉视频中的开关门噪声。

本发明无人货架视频审核方法包括以下步骤：

步骤一、视频上传系统从后台获取货架的盗损数据，并对其进行排序，然后，按照倒损率降序，拉取用户购买时的视频信息；最后，将视频信息上传到猩便利后台；

步骤二、将上传的视频分割成一帧帧图片，然后对每一张图片进行Canny边缘检测和霍夫直线检测，通过这两步，即可把冰箱的门给检测出来。

步骤三、根据步骤二的结果，将门区域外信息进行过滤处理，去掉噪声点，提升检测的精度；

步骤四、由于摄像头固定，因此其拍摄的每一张图片的背景，大致是一样的；采用GMM高斯混合模型，其通过背景训练，即可把背景去掉，仅留下前景；留下的前景即为用户购物的图片信息；

步骤五、对于取出来的前景图片，通过TensorFlow模型训练和肤色检测，对图片中有没有手进行检测，并将检测结果保存下来。

步骤六、根据步骤四和步骤五的结果，将播放参数保存起来，保存格式：(开始，结束，播放速度)；通过该参数，把视频分成一段段小的视频，然后播放模块可以按照该参数进行播放。

步骤七、播放参数模块根据视频的播放参数，对视频进行播放。比如：对于不是购物区的，以八倍速度进行播放；对于是购物区的，以两倍速度播放；对于检测到手的，则以0.5倍速度进行播放。

步骤八、通过审查视频，以确定用户购买的商品与其实际拿的商品是否一致；若一致，则用户无盗损，若不一致，则区分出盗损商品，并计算差价，最后通过芝麻信用，对用户发起追讨。

综上所述，本发明能够通过开关门检测、前景检测、手检测等图像技术，检测用户购买时的关键视频信息，缩小视频播放时间，提升视频审核效率。

以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种无人货架视频审核系统，其特征在于，其包括：

视频上传模块，其根据货架的盗损数据，选择盗损高的货架，并对在该货架上发生购物行为的用户视频，进行拉取；

开关门检测模块，利用数字图像现技术找到冰箱的门；

开关门过滤模块，根据开关门检测模块检测到的门，将视频中的噪声区域过滤掉；

前景检测模块，利用高斯混合模型，对图像中有效区域进行检测；

手势检测模块，其通过图像处理技术将人的手给识别出来；

播放参数模块，将前景检测模块、手势检测模块的前景、肤色检测的结果保存起来，为后续的视频审核模块的视频播放提供播放参数；

视频播放模块，其根据播放参数模块提供的播放参数，对视频进行播放；对于在购买区间外的，根据播放参数进行快速播放，而对于在购买区间内的，慢速播放；当有碰到手时，则以更慢的速度进行播放；

审核结果模块，通过审核人员查看视频信息，以确定用户付款的与其实际拿的是否一致；如果不一致，则计算差价，并通过芝麻信用发起追缴。

2.如权利要求1所述的无人货架视频审核系统，其特征在于，所述开关门检测模块和开关门过滤模块构成一个图像预处理单元，图像预处理单元主要用来过滤掉视频中的开关门噪声。

3.一种无人货架视频审核方法，其特征在于，包括以下步骤：

步骤一、视频上传系统从后台获取货架的盗损数据，并对其进行排序，然后，按照倒损率降序，拉取用户购买时的视频信息；最后，将视频信息上传到猩便利后台；

步骤二、将上传的视频分割成一帧帧图片，然后对每一张图片进行Canny边缘检测和霍夫直线检测，通过这两步，即可把冰箱的门给检测出来；

步骤三、根据步骤二的结果，将门区域外信息进行过滤处理，去掉噪声点，提升检测的精度；

步骤四、由于摄像头固定，因此其拍摄的每一张图片的背景，大致是一样的；采用GMM高斯混合模型，其通过背景训练，即可把背景去掉，仅留下前景；留下的前景即为用户购物的图片信息；

步骤五、对于取出来的前景图片，通过TensorFlow模型训练和肤色检测，对图片中有没有手进行检测，并将检测结果保存下来；

步骤六、根据步骤四和步骤五的结果，将播放参数保存起来，保存格式：通过该参数，把视频分成一段段小的视频，然后播放模块可以按照该参数进行播放；

步骤七、播放参数模块根据视频的播放参数，对视频进行播放；

步骤八、通过审查视频，以确定用户购买的商品与其实际拿的商品是否一致；若一致，则用户无盗损，若不一致，则区分出盗损商品，并计算差价，最后通过芝麻信用，对用户发起追讨。