CN110309702B - 一种门店货柜视频监控管理系统 - Google Patents

Abstract

本发明公开了一种门店货柜视频监控管理系统，包括：数据存储层，用于存储触发式采集的视频数据、实时采集的视频数据、调度收集的中间数据、结果入库数据；数据处理层，用于协调系统运行，定时启动数据获取，并发送给业务处理层进行数据分析；业务处理层包括货柜监测模块、客流热力统计模块、人像分析模块，货柜监测模块用于根据预设时间间隔从视频中截取数据，利用基于深度学习的酒品目标检测算法，从截取的视频数据中获得目标酒品的类型和数目；通过查询数据库中该类型酒品的数据进行核对，若核对异常则判断货柜内该类型酒品丢失；本系统通过分析监控的视频数据能够自动实现货柜酒品丢失预警。

Description

一种门店货柜视频监控管理系统

技术领域

本发明涉及视频监控领域，具体地，涉及一种门店货柜视频监控管理系统。

背景技术

酒品门店是一个集新酒品推广、精品酒展示、酒品销售及售后服务于一体的综合店面，是提升品牌形象、展现品牌文化的重要场所。

目前酒品门店内安装的摄像头主要用于夜间的安全防盗，并未用于店内的智能化管理，无法利用视频数据实现货柜酒品丢失预警、店内实时客流热力统计、高意向顾客图像信息采集与分析，导致酒柜丢酒事件频发，店内顾客过于密集相互推挤频发，高意向顾客没有得到很好的导购服务，最终使得进店顾客体验不佳，门店效益下降。

发明内容

本发明提供了一种门店货柜视频监控管理系统，本发明的第一个目的是解决现有技术中无法利用视频数据实现货柜酒品丢失预警的问题。

为实现上述发明目的，本发明提供了一种门店货柜视频监控管理系统，所述系统包括：

数据存储层：用于存储触发式采集的视频数据、实时采集的视频数据、调度收集的中间数据、结果入库数据，其中，结果入库数据包括热力统计结果、人脸识别结果、酒品目标检测结果；

数据处理层：用于协调系统运行，定时启动数据获取，并发送给业务处理层进行数据分析；

业务处理层包括货柜监测模块，用于根据预设时间间隔从视频中截取数据，利用基于深度学习的酒品目标检测算法，从截取的视频数据中获得目标酒品的类型和数目；通过与数据库中该类型酒品的数据进行核对，若核对异常则判断货柜内该类型酒品丢失。

本发明利用货柜监测模块解决现有技术中无法通过视频数据来实现货柜酒品丢失预警的问题。

本发明的第二个目的是实现店内客流热力实时统计，所述数据处理层还包括客流热力统计模块，用于将门店的空间区域划分为多个不重合的子空间区域，利用基于卷积神经网络的目标检测算法对视频数据中的行人进行实时检测，结合行人在子空间区域中的位置信息以及行人出现的时间信息，根据子空间区域的划分分别对检测到的行人进行计数，生成客流热力统计结果，实现店内客流热力实时统计。

本发明的第三个目的是实现对高意向顾客图像信息的采集与分析，便于支持后期店面，所述数据处理层还包括人像分析模块，用于在顾客产生购物行为时触发摄像头拍摄，拍摄产生的数据传输至服务端，利用人脸识别算法分析得出顾客的年龄和性别。

进一步的，本系统利用基于深度学习的酒品目标检测算法，获得视频数据中目标酒品的类型和数目，具体包括：

从采集的视频数据中，根据预设时间间隔对采集的视频数据进行取帧截图；

针对瓶身存在反光的情况，本发明将RGB三通道数据和图片转灰度后的灰度图数据组合成四通道的数据作为输入数据训练模型，这样的输入数据能有效抑制反光对检测的影响；

利用卷积神经网络模型检测酒品并计数，针对酒品目标小、遮挡严重的问题，本发明设计了一个多级检测网络，在目标检测过程中通过逐级放大将小目标不断放大，实现小目标检测；多级检测网络中使用可变形的卷积核减少由于遮挡导致的瓶身形变，有效提高目标检测的精度。

进一步的，所述系统还包括数据展示层：用于从数据存储层中读取结果数据至前端结合图表进行展示。

进一步的，利用基于深度学习的酒品目标检测算法，获得视频数据中目标酒品的类型和数目，具体包括：收集门店内摄像头产生的视频数据，将视频数据按帧取出图片数据，对图片数据集进行打标(即使用矩形框标注出图中酒瓶)，整理打标数据作为模型训练的训练样本集；

建立卷积神经网络模型，基于训练样本集数据对深度卷积神经网络模型进行训练；

将待识别图片输入训练后的卷积神经网络模型，获得卷积神经网络模型的输出作为初步结果；

将模型的初步输出结果按照置信度进行排序，剔除低置信度的检测结果，并利用非极大值抑制算法将重合的检测结果进行融合得出最终输出结果；

整理统计模型的最终输出结果，获得酒品的类型和数目信息。

进一步的，整理打标数据作为模型训练的训练样本集，具体包括：剔除噪声图片，将过暗、过亮、酒类少的图片进行剔除；目标标注，利用labeimg打标工具，使用矩形框将图中存在的所有酒品进行标注，并导出工具输出的xml文件。

进一步的，与一般卷积神经网络不同，本发明设计了一个多级检测的卷积神经网络，将目标特征图进行多尺度变化，使得卷积中的采样点的感受野不相同，丰富模型学习的信息，然后将不同层的结果进行融合共同对目标进行检测。

进一步的，卷积神经网络模型的输入数据，不仅仅只含有图片的RGB三通道数据，为了减少酒瓶反光造成的影响，本发明将图片转灰度后的的灰度图作为的第4维输入数据输入模型，有效抑制了反光对模型收敛的影响。

进一步的，与普通卷积核不同，本发明卷积神经网络的卷积核使用可变形的卷积核，即卷积核中的采样点并非符合规则格点而是可以存在一定位移，能够更好地学习目标特征，即使酒品存在严重遮挡，也能够准确识别。

其中，所述货柜监测模块用于根据预设时间间隔从视频中截取数据，利用基于深度学习的酒品目标检测算法分析截取的数据。针对酒品目标小、遮挡严重、瓶身反光的问题，本发明设计了一个多级检测网络，对逐级放大小目标使目标特征放大以提升准确率；网络中使用可变形的卷积核来减少由于遮挡导致的瓶身形变；针对瓶身反光造成的干扰，训练模型时将图片RGB三通道数据和图片转灰度后的灰度图数据同时作为输入，有效抑制反光对模型的影响。使用该网络对截取视频数据中的目标酒品进行检测并计数，再查询数据库中上两次计数结果，与本次计数结果对比，如果发现酒品本次的数量减少，则认为出现丢失，标记丢失酒品的货柜并记录以方便回溯；

进一步的，所述数据处理层还包括客流热力统计模块，用于将门店的空间区域划分为多个不重合的子空间区域，利用基于卷积神经网络的目标检测算法对视频数据中的行人进行实时检测，结合行人在子空间区域中的位置信息、行人出现的时间信息、子空间区域的划分信息，分别对检测到的行人进行计数，生成客流热力统计结果。

进一步的，客流热力统计模块具体包括：

热力区域划分子模块，用于结合门店的平面设计图和货柜的摆放，将门店的空间区域划分为多个不重合的子空间区域；

行人位置检测子模块，用于利用基于卷积神经网络的目标检测算法，对视频数据中的行人进行检测，输出行人的位置信息；

统计子模块，用于统计同一子空间区域内行人数目，并归一化至0～10的区间中，根据最终结果展示热力效果图，颜色越深表明该子空间区域内的行人越多。

进一步的，热力区域划分，由于客流热力统计重点关注于不同酒柜的热力情况，基于酒柜位置划分热力区域，将酒柜前1～2米区域作为热力统计区域，若多个酒柜存在有重合的热力统计区域，则该区域为共有区域，凡出现在该区域的行人将分别为该区域的所有酒柜贡献1/n的人次(n为拥有该区的酒柜数)。

进一步的，行人位置检测模块，利用卷积神经网络进行行人检测，具体包括：

步骤一，采集行人图片，利用标注框标注行人图片，整理标注后的行人图片作为模型训练的训练样本集；

步骤二，将训练样本集数据输入卷积神经网络模型进行迭代训练，直到模型收敛；

步骤三，将待识别的行人图片输入训练后的神经网络模型，将模型输出的行人检测框的中心点作为最终输出，以备热力统计使用。

进一步，统计同一区域内行人数目，即将行人检测模型计算得出的行人中心点与热力区域进行重合计算，每出现一次重合则该区域计数加一，不断累加；最后统计完成所有行人数据，再基于历史客流情况对区域行人计数进行归一化处理，将热力区域计数结果归一化至1～10区间内，数值越大表示人数越多；最后将这些统计结果数据入库保存。

所述客流热力统计模块基于门店的平面设计图和货柜的摆放，将门店的空间区域划分为多个不重合的子空间区域，利用卷积神经网络中的目标检测算法对视频数据进行实时行人检测，结合检出行人的位置信息以及行人出现时间的相关信息，将检测到的行人根据其所在区域分别进行计数并记录入库方便展示。

进一步的，所述人像分析模块利用人脸识别算法分析得出年龄和性别，具体包括：

收集门店内摄像头产生的图像数据，对图片数据集进行打标(即标记出图片中的人脸并添加年龄和性别信息)，整理打标数据作为模型训练的训练样本集；

建立卷积神经网络模型，基于训练样本集数据对深度卷积神经网络模型进行训练；

将待识别图片输入训练后的卷积神经网络模型，获得卷积神经网络模型的输出作为预测结果，并获取卷积神经网络模型中特征层的输出作为该图片的特征向量；

将模型输出的预测结果和特征向量入库，入库前首先对比当前图片的特征向量与库中已有图片的特征向量，使用余弦距离计算方法计算距离，当距离小于阈值时则认为是两张图片，当前图片可以入库；当距离大于阈值时则认为是两张图片是同一人的图片，取预测结果中置信度高的进行替换(设定阈值为0.75，两个特征向量的余弦距离大于0.75，则认为是同一图片)。

所述数据处理层还包括人像分析模块，用于在顾客产生购物行为时店员手动触发摄像头拍摄，拍摄产生的数据传输至服务端，利用人脸识别算法分析得出顾客的年龄和性别。

所述人像分析模块由店员使用摄像头控制模块，在顾客购物时触发摄像头拍摄，拍摄产生的数据通过网络传输至服务端，利用人脸识别算法分析得出年龄和性别并记录入库备用。所使用的网络为自主研发的集人像特征提取、年龄回归、性别分类功能为一体的网络，通过单个网络实现3个指标的同时输出。与现有应用不同，本模块结合采集、切分、分析于一体，只需点击自主研发的控件即可实现人像采集分析一整套功能，同时本模块会进行人像重识别，若同一顾客多次被采集，该模块会过滤多余人像特征，选取图像最清晰、结果最精确的进行保留。

进一步的，货柜监测模块利用视频切割算法实现间断式获取视频数据，利用货柜检测算法定位货柜，利用物品检测算法实现物品检测计数和物品对比。

进一步的，客流热力统计模块利用视频切割算法实现实时获取视频数据，利用行人检测算法检测行人和区域人数统计。

进一步的，人像分析模块利用摄像头控制模块实现触发式图片截取，利用特征提取算法实时提取人脸特征，利用人脸识别算法预测年龄和性别。

进一步的，所述货柜监测模块还用于当酒品丢失时生成报警指令，报警器基于报警指令进行报警；或生成报警信息，控制通信设备将报警信息发送到预设通信终端。

本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

(1)一种门店货柜视频监控管理系统通过对店内酒柜的实时监控，使用基于深度学习的酒品目标检测算法，对视频中的酒柜进行监控，统计酒柜上酒品的数量，并与先前的记录进行对比，判断酒品是否出现遗失的情况，若发现遗失则及时告警通知店员进行排查并作相应记录，收集偷盗过程视频，为后续酒品找回提供证据，通过本系统对酒柜的监控能有效降低丢酒机率。

(2)通过该系统，将门店划分成多个热力区域，通过目标检测算法对视频数据进行实时行人检测，统计所检测出现行人数目并反馈在热力图中，店员可以根据热力图的展示确认店内的热点区域和热门商品，为酒品摆放和推广营销提供支持。

(3)通过该系统，触发式人像采集技术及人像识别分析模块，对采集图像中的人脸部分进行年龄和性别分析并记录人脸特征，进而确定不同酒品的受众、年龄分布状况，为店内的精准营销提供支持，提高店内营收。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；

图1是本发明中一种门店货柜视频监控管理系统的组成示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

在本实施例中，参图1所示，本发明采用的技术方案是：一种门店货柜视频监控管理系统，包括数据存储层、数据处理层、业务处理层和数据展示层；

数据存储层：用于存储触发式采集的视频数据、实时采集的视频数据、调度收集的中间数据、结果入库数据；

数据处理层：用于协调系统运行，定时启动数据获取，并发送给业务处理层进行数据分析；

业务处理层包括货柜监测模块、客流热力统计模块、人像分析模块，其中货柜监测模块用于根据预设时间间隔从视频中截取数据，利用基于深度学习的酒品目标检测算法，从截取的视频数据中获得目标酒品的类型和数目；通过查询数据库中该类型酒品的数据进行核对，若核对异常则判断货柜内该类型酒品丢失；

数据展示层：用于从数据存储层中读取结果数据至前端结合图表进行展示。

所述货柜监测模块用于根据预设时间间隔从视频中截取数据，利用基于深度学习的酒品目标检测算法分析截取的视频数据。针对酒品存在目标小、遮挡严重、瓶身反光的问题，本发明设计了一个多级检测网络，逐级放大小目标使目标特征放大以提升准确率；网络中使用可变形的卷积核来减少由于遮挡导致的瓶身形变；针对瓶身反光造成的干扰，训练模型时将图片RGB三通道数据和图片转灰度后的灰度图数据同时作为输入，有效抑制反光对模型的影响。使用该网络对截取视频数据中的目标酒品进行检测并计数，查询数据库获取上两次计数结果，与本次计数结果对比，如果发现酒品本次的数量减少，则认为出现丢失，标记丢失酒品的货柜并记录以方便回溯；

所述客流热力统计模块基于门店的平面设计图和货柜的摆放，将门店的空间区域划分为多个不重合的子空间区域，利用卷积神经网络中的目标检测算法对视频数据进行实时行人检测，结合检出行人的位置信息以及行人出现时间信息，根据行人所在的区域分别对检测到的行人进行计数并记录入库方便展示；

所述人像分析模块由店员使用摄像头控制模块，在顾客购物行为时触发摄像头拍摄，拍摄产生的数据通过网络传输至服务端，利用人脸识别算法分析得出年龄和性别并记录入库备用。所使用的网络为自主研发的集人像特征提取、年龄回归、性别分类功能为一体的网络，通过单个网络实现3个指标的同时输出。与现有应用不同，本模块结合采集、切分、分析于一体，只需点击自主研发的控件即可实现人像采集分析一整套功能，同时本模块会进行人像重识别，若同一顾客多次被采集，该模块会过滤多余人像特征，选取图像最清晰、结果最精确的进行保留。

数据展示层：从数据存储层中读取结果数据至前端结合图表进行展示。

其中，在本发明实施例中，所述货柜监测模块包括视频切割模块、物品检测算法，实现间断式获取视频数据、定位货柜、物品检测计数、物品对比、及时告警。

其中，在本发明实施例中，所述热力分布统计模块包括视频切割算法、行人检测算法，实现实时获取视频数据、检测行人、区域人数统计、热力展示。

其中，在本发明实施例中，所述人像分析模块包括摄像头控制模块、特征提取、人脸识别算法，实现触发式图片截取、人脸特征提取、年龄和性别预测。

所述视频切割模块，是调用海康摄像头提供接口，完成摄像头的地址、端口、账号、密码相关设置后，通过接口获取摄像头图片，保存至指定目录以备调用。

所述物品检测算法，利用卷积神经网络中一种基于多级检测网络的目标检测算法，将目标特征图进行多尺度变化，使得卷积中的采样点的感受野不相同，丰富模型学习的信息，提高检测准确率；使用该算法需要经过数据准备、模型训练、应用模型、输出整理步骤。

所述行人检测算法，是利用卷积神经网络进行行人检测，具体包括：

步骤一，采集行人图片，利用标注框标注行人图片，整理标注后的行人图片作为模型训练的训练样本集；

步骤二，将训练样本集数据输入卷积神经网络模型进行迭代训练，直到模型收敛；

步骤三，将待识别的行人图片输入训练后的神经网络模型，将模型输出的行人检测框的中心点作为最终输出，以备热力统计使用。

所述摄像头控制模块，是一套软硬件结合控制方法，通过使用Ffmpeg工具包提供的方法调用设备驱动程序接口来获取视频流数据，然后将视频流数据以图片形式保留，最后将保留数据以http协议方式发送至服务器。

所述人脸识别算法，是基于卷积神经网络模型的人脸识别算法，将包含有年龄和性别等信息的人脸图片作为训练集，训练卷积神经网络模型，用于预测人脸图片的年龄和性别。

所述特征提取，即提取人脸特征向量，该特征向量是从人脸识别的卷积神经网络模型的特征层获取得到，这样的特征向量比以往使用PCA算法计算得到图的特征向量包含更多的信息，且更加准确。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种门店货柜视频监控管理系统，其特征在于，所述系统包括：

数据存储层：用于存储触发式采集的视频数据、实时采集的视频数据、调度收集的中间数据、结果入库数据，其中，结果入库数据包括热力统计结果、人脸识别结果、酒品目标检测结果；

数据处理层：用于协调系统运行，定时启动数据获取，并发送给业务处理层进行数据分析；

业务处理层包括货柜监测模块，用于根据预设时间间隔从视频中截取数据，利用基于深度学习的酒品目标检测算法，从截取的视频数据中获得目标酒品的类型和数目；通过查询数据库中该类型酒品的数据进行核对，若核对异常则判断货柜内该类型酒品丢失；

其中，利用基于深度学习的酒品目标检测算法，获得视频数据中目标酒品的类型和数目，具体包括：

从采集的视频数据中，根据预设时间间隔对采集的视频数据进行取帧截图；

将RGB三通道数据和图片转灰度后的灰度图数据组合成四通道的数据，将组合的数据作为输入数据训练模型；

利用卷积神经网络模型检测酒品并计数，其中，本系统设有多级检测网络，在目标检测过程中通过逐级放大将目标不断放大，实现目标检测；多级检测网络中使用可变形的卷积核。

2.根据权利要求1所述的一种门店货柜视频监控管理系统，其特征在于，所述系统还包括数据展示层：用于从数据存储层中读取结果入库数据至前端结合图表进行展示。

3.根据权利要求1所述的一种门店货柜视频监控管理系统，其特征在于，所述数据处理层还包括客流热力统计模块，用于将门店的空间区域划分为多个不重合的子空间区域，利用基于卷积神经网络的目标检测算法对视频数据中的行人进行实时检测，结合行人在子空间区域中的位置信息、行人出现的时间信息、子空间区域的划分信息，分别对检测到的行人进行计数，生成客流热力统计结果。

4.根据权利要求3所述的一种门店货柜视频监控管理系统，其特征在于，客流热力统计模块具体包括：

热力区域划分子模块，用于结合门店的平面设计图和货柜的摆放，将门店的空间区域划分为多个不重合的子空间区域；

行人位置检测子模块，用于利用基于卷积神经网络的目标检测算法，对视频数据中的行人进行检测，输出行人的位置信息；

统计子模块，用于统计同一子空间区域内行人数目，并归一化至0～10的区间中，根据最终结果展示热力效果图，颜色越深表明该子空间区域内的行人越多。

5.根据权利要求1所述的一种门店货柜视频监控管理系统，其特征在于，所述数据处理层还包括人像分析模块，用于在顾客产生购物行为时触发摄像头拍摄，拍摄产生的数据传输至服务端，利用人脸识别算法分析得出顾客的年龄和性别。

6.根据权利要求5所述的一种门店货柜视频监控管理系统，其特征在于，所述人像分析模块利用人脸识别算法分析得出顾客的年龄和性别，具体包括：

收集门店内摄像头产生的图像数据，对图片数据集进行打标，整理打标数据作为模型训练的训练样本集；

建立卷积神经网络模型，基于训练样本集数据对深度卷积神经网络模型进行训练；

将待识别图片输入训练后的卷积神经网络模型，获得卷积神经网络模型的输出作为预测结果，并获取卷积神经网络模型中特征层的输出作为该图片的特征向量；

将模型输出的预测结果和特征向量入库，入库前首先对比当前图片的特征向量与库中已有图片的特征向量，使用余弦距离计算方法计算距离，当距离小于阈值时则认为是两张图片，当前图片入库；当距离大于阈值时则认为是两张图片是同一人的图片，取预测结果中置信度高的进行替换。

7.根据权利要求1所述的一种门店货柜视频监控管理系统，其特征在于，货柜监测模块利用视频切割算法实现间断式获取视频数据，利用货柜检测算法定位货柜，利用物品检测算法实现物品检测计数和物品对比。

8.根据权利要求3所述的一种门店货柜视频监控管理系统，其特征在于，客流热力统计模块利用视频切割算法实现实时获取视频数据，利用行人检测算法检测行人和区域人数统计。

9.根据权利要求5所述的一种门店货柜视频监控管理系统，其特征在于，人像分析模块利用摄像头控制模块实现触发式图片截取，利用特征提取算法实时提取人脸特征，并利用人脸识别算法预测年龄和性别。

Images