CN111131771A - 一种视频监控系统 - Google Patents

Abstract

本申请属于安防技术领域，特别是涉及一种视频监控系统。目前智能安防视频监控系统的缺点是无法在各个系统之间共享数据，从而导致各个系统只能利用私有的数据来学习和训练模型，从而无法充分发挥大数据的优势训练出优质模型。同时，无法实现在不同场景下训练的模型的快速迁移，导致模型泛化能力差。本申请提供了一种视频监控系统，包括依次通过通信连接的硬件感知层、数据处理层、业务逻辑层、跨系统级联网层和数据存储单元。针对安防监控，以联邦迁移学习算法为基础，以提高安防监控系统后期的学习能力和学习效率为目的，解决了现有安防监控系统中模型训练效率低下，用户隐私数据无法保证，跨系统间数据无法流通等问题。

Description

一种视频监控系统

技术领域

本申请属于安防技术领域，特别是涉及一种视频监控系统。

背景技术

视频监控系统是以图像监视为手段，对现场图像进行实时监视与录像。视频监控系统可以让安保人员直观的掌握现场情况，并能通过录像回放对事件进行分析和取证。视频监控系统是安防系统的重要组成部分，当前视频监控系统与防盗报警系统有机的结合在一起，形成了一个更为可靠的监控系统。

谷歌在2016年推出“联邦学习”，上千万手机协同训练一个共享神经网络模型。这种新的方法不将训练数据集中在一处，而是利用分散在成百上千万用户手里的多台手机，协同训练机器学习模型，而且所有的训练数据都保留在原来各自的设备上。联邦学习能够提升模型质量，降低延迟、减少功耗，同时确保隐私。联邦学习架构一经推出，即受到了业界人士的关注，被认为是可以打破“数据孤岛”，并且解决机器学习领域中数据缺失和融合难题的关键技术。

联邦迁移学习可以保证机器学习的模型可以在多个设备及不同场景下进行训练，然后通过模型迁移的方法通过较少量数据和较短时间让适合A场景的模型在B场景中同样适用。这种方式提供了在多个代理在不共享数据的情况下训练优质模型的途径。

目前智能安防视频监控系统的缺点是无法在各个系统之间共享数据，从而导致各个系统只能利用私有的数据来学习和训练模型，从而无法充分发挥大数据的优势训练出优质模型。同时，无法实现在不同场景下训练的模型的快速迁移，导致模型泛化能力差。

发明内容

1.要解决的技术问题

基于目前智能安防视频监控系统的缺点是无法在各个系统之间共享数据，从而导致各个系统只能利用私有的数据来学习和训练模型，从而无法充分发挥大数据的优势训练出优质模型。同时，无法实现在不同场景下训练的模型的快速迁移，导致模型泛化能力差的问题，本申请提供了一种视频监控系统。

2.技术方案

为了达到上述的目的，本申请提供了一种视频监控系统，包括依次通过通信连接的硬件感知层、数据处理层、业务逻辑层、跨系统级联网层和数据存储单元；

所述硬件感知层用于为防盗报警和视频监控提供硬件支持；

所述数据处理层通过深度神经网络来对输入数据进行处理，得到可供业务逻辑层决策的支撑数据；

所述业务逻辑层负责系统数据库维护，人脸数据比对，报警决策；与互联网层和云端服务器的共享模型进行通信的功能；

所述跨系统级联网层用于获取业务逻辑层传来的数据，根据获取的模型参数进行迁移学习，并将迁移学习后的数据传输至数据存储单元；

所述数据存储单元用于存储数据。

本申请提供的另一种实施方式为：所述硬件感知层包括图像传感器模块、嵌入式开发板、无线网卡、无线路由器和后端服务器。

本申请提供的另一种实施方式为：所述数据处理层包括人脸识别模块，车牌检测模块，目标检测模块，目标跟踪模块和行为检测模块。

本申请提供的另一种实施方式为：所述业务逻辑层包括人脸数据匹配模块、报警决策模块、数据库维护模块和模型训练模块。

本申请提供的另一种实施方式为：所述模型训练模块包括私人模型和加密参数子模块。

本申请提供的另一种实施方式为：所述加密参数子模块包括参数更新元件和加密算法元件。

本申请提供的另一种实施方式为：所述数据存储单元包括共享模型、云端服务器、参数解码模块和参数聚合模块。

本申请提供的另一种实施方式为：所述云端服务器采用融合算法：

其中，f_j为节点j处的模型的损失函数，Ρ_j为节点j处的数据，P＝∪P_j为所有数据的并集， |·|表示数据的大小，W_j为节点j处的模型参数，W为参数服务器处的模型参数。

本申请提供的另一种实施方式为：所述私人模型参数更新算法：

其中，α为学习率，

为节点j处在接收全局更新之后的参数，t表示当前时刻，t-1表示上一时刻，

为梯度符号。

本申请提供的另一种实施方式为：所述共享模型参数更新算法：

3.有益效果

与现有技术相比，本申请提供的一种视频监控系统的有益效果在于：

本申请提供的视频监控系统，解决了安防系统中在实现数据流通的同时而保护隐私的技术难题。实现了在多个系统间维持私有数据不上传云端的条件下协同训练模型，提高了训练速度，并且解决了在不同场景下模型的迁移问题。

本申请提供的视频监控系统，采用联邦迁移学习的技术，在维持私人数据不上传云端的同时，在各个代理端联邦学习共享模型，并通过迁移学习和模型剪枝等方法实现不同场景下模型的迁移和融合。本发明充分发挥了数据量在机器学习中的优势，提高了模型训练的效率和最终模型的质量，并且保护了数据隐私。

本申请提供的视频监控系统，基于联邦迁移学习技术，具有较强鲁棒性和可扩展性的可终身学习的智能安防视频监控系统；面向智能视频监控系统的联邦迁移学习的技术架构；面向智能视频监控系统，可在不同场景下实现模型的训练和迁移的联邦迁移学习算法。

本申请提供的视频监控系统，针对安防监控，以联邦迁移学习算法为基础，以提高安防监控系统后期的学习能力和学习效率为目的，解决了现有安防监控系统中模型训练效率低下，用户隐私数据无法保证，跨系统间数据无法流通等问题。

本申请提供的视频监控系统，由于多系统协同训练同一模型，训练效率有效提高；无需上传用户原始数据，并且采取参数加密策略，有效保证了用户隐私；数据采集的成本降低；通过联邦迁移学习架构缓解了参数服务器周围的通信瓶颈问题。可以在不同环境下实现模型的快速迁移和训练。

附图说明

图1是本申请的视频监控系统示意图；

图2是本申请的视频监控系统流程示意图；

图3是本申请的联合迁移学习算法架构示意图；

图4是本申请的联合迁移学习通信模式原理示意图；

图5是本申请的联合学习算法流程示意图；

图中：1-硬件感知层、2-数据处理层、3-业务逻辑层、4-跨系统级联网层、5-数据存储单元、6-图像传感器模块、7-嵌入式开发板、8-无线网卡、9-无线路由器、10-后端服务器、11- 人脸识别模块、12-车牌检测模块、13-目标检测模块、14-目标跟踪模块、15-行为检测模块、 16-人脸数据匹配模块、17-报警决策模块、18-数据库维护模块、19-模型训练模块、20-私人模型、21-加密参数子模块、22-参数更新元件、23-加密算法元件、24-共享模型、25-云端服务器、26-参数解码模块、27-参数聚合模块。

具体实施方式

在下文中，将参考附图对本申请的具体实施例进行详细地描述，依照这些详细的描述，所属领域技术人员能够清楚地理解本申请，并能够实施本申请。在不违背本申请原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施方式。

除了少数几家拥有海量用户、具备产品和服务优势的巨无霸企业外，大多数中小型AI 安防企业难以以一种合理、合法的方式跨越人工智能落地的数据鸿沟，或者需要付出巨大的成本来解决这一问题。此外，随着大数据的发展，重视数据隐私和安全已经成为一种世界性的趋势，一系列条例的出台更是加剧了数据获取的难度，这也给人工智能的落地应用带来了前所未有的挑战。

人工智能时代正席卷而来，AI逐渐被人们认为是下一个“互联网”类颠覆行业的技术，应用场景包括智能医疗、智能金融、智能安防、智能家居、智能营销、智能驾驶、电商零售、个人助手、工业机器人、服务器机器人、可穿戴设备等。

人工智能关键技术主要有关键技术主要有机器学习、计算机视觉、语音及自然语言处理三大部分。而目前的研究主要进行人工智能的关键技术研究，并基于成果实现商业化构建。人工智能应用逐渐渗透到各领域。人工智能细分领域中，自然语言处理作为主要的感知技术，应用范围很广，可用于智能家居、穿戴设备、智能汽车、智能教育、智能金融等领域。

智能化安防技术随着科学技术的发展与进步和二十一世纪信息技术的腾飞已迈入了一个全新的领域，智能化安防技术与计算机之间的界限正在逐步消失。物联网技术的普及应用，使得城市的安防从过去简单的安全防护系统向城市综合化体系演变，城市的安防项目涵盖众多的领域，有街道社区、楼宇建筑、银行邮局、道路监控、机动车辆、警务人员、移动物体、船只等。

特别是针对重要场所，如：机场、码头、水电气厂、桥梁大坝、河道、地铁等场所，引入物联网技术后可以通过无线移动、跟踪定位等手段建立全方位的立体防护。兼顾了整体城市管理系统、环保监测系统、交通管理系统、应急指挥系统等应用的综合体系。特别是车联网的兴起，在公共交通管理上、车辆事故处理上、车辆偷盗防范上可以更加快捷准确的跟踪定位处理。还可以随时随地的通过车辆获取更加精准的灾难事故信息、道路流量信息、车辆位置信息、公共设施安全信息、气象信息等等信息来源。

现有的视频监控系统中存在系统间数据难以流通从而导致企业间数据孤岛的存在，从而无法有效利用大数据的优势并训练出优质的机器学习模型。

联邦学习(Federated Learning)是一种新兴的人工智能基础技术，在2016年由谷歌最先提出，原本用于解决安卓手机终端用户在本地更新模型的问题，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。其中，联邦学习可使用的机器学习算法不局限于神经网络，还包括随机森林等重要算法。

参见图1～5，本申请提供一种视频监控系统，包括依次通过通信连接的硬件感知层1、数据处理层2、业务逻辑层3、跨系统级联网层4和数据存储单元5；

所述硬件感知层1用于为防盗报警和视频监控提供硬件支持；

所述数据处理层2通过深度神经网络来对输入数据进行处理，得到可供业务逻辑层决策的支撑数据；

所述业务逻辑层3负责系统数据库维护，人脸数据比对，报警决策；与互联网层和云端服务器的共享模型进行通信的功能；

所述跨系统级联网层4用于获取业务逻辑层传来的数据，根据获取的模型参数进行迁移学习，并将迁移学习后的数据传输至数据存储单元；

所述数据存储单元5用于存储数据。

由于在业务逻辑层3中用到了机器学习深度神经网络等算法，所以该层还负责私人模型的维护以及与互联网和云端服务器的共享模型进行通信的功能。

进一步地，所述硬件感知层1包括图像传感器模块6、嵌入式开发板7、无线网卡8、无线路由器9和后端服务器10。

硬件感知层1包括图像传感器模块6、嵌入式开发板7、无线网卡8、无线路由器9、后端服务器10等模块组成。本申请采用CMOS类型的AR0130作为图像传感器模块6，该图像传感器具有130万像素，画面清晰，支持最高的分辨率为1280*960，在该分辨率下图像的帧数可达30fps，能够满足本文对视频采集图像的分辨率和流畅程度的要求。嵌入式开发板7 采用天嵌TQ2440开发板，核心处理器是ARM9架构水处理器。无线网卡8采用MTK7601 型号的基于Wifi的USB无线网卡，满足本系统的传输要求，能够快速连接无线设备。无线路由器9采用RT-AC86U型号。后端服务器10采用DELL的图形工作站，其中处理器为 I9-9900K，显卡为Nvidia 2080Ti。

进一步地，所述数据处理层2包括人脸识别模块11，车牌检测模块12，目标检测模块 13，目标跟踪模块14和行为检测模块15。

数据处理层2主要集成了硬件的基本功能，并且为业务逻辑层3提供封装好的API接口。其中主要有人脸识别模块11，车牌检测模块12，目标检测模块13，目标跟踪模块14和行为检测模块15。其中人脸识别模块11采用MTCNN开源算法实现人脸的对齐和检测。目标检测模块13采用YOLO开源算法来实现快速准确的目标提取。目标跟踪模块14采用SiamMask开源算法实现检测物体的跟踪。行为检测模块15通过SiamRPN开源算法实现。以上方法均需要通过深度神经网络来对输入数据进行处理，得到可供业务逻辑层3决策的支撑数据。

进一步地，所述业务逻辑层3包括人脸数据匹配模块16、报警决策模块17、数据库维护模块18和模型训练模块19。

业务逻辑层3通过调用数据处理层2的数据和API接口来实现相关业务逻辑功能。人脸数据匹配模块16通过缓存人脸识别模块11提供的人脸数据，并与数据库中的人脸数据进行匹配，若发现可疑人员即向报警决策模块17发出报警指令。报警决策模块17通过综合分析人脸检测模块，目标检测模块13和行为检测模块15提供的数据来判断是否发出报警信号，当目标检测模块13检测到非常规目标或行人有异常行为时，均会引发报警。

模型训练模块19，在视频监控系统的存储中维持一个私人模型20，通过Wifi网络来上传或下载参数更新，远程云端服务器25采用阿里云大数据网络增强型d1ne服务器实现。

进一步地，所述模型训练模块19包括私人模型20和加密参数子模块21。

进一步地，所述加密参数子模块21包括参数更新元件22和加密算法元件23。

进一步地，所述数据存储单元5包括共享模型24、云端服务器25、参数解码模块26和参数聚合模块27。

进一步地，所述云端服务器25采用融合算法：

其中，f_j为节点j处的模型的损失函数，Ρ_j为节点j处的数据，P＝∪P_j为所有数据的并集， |·|表示数据的大小，W_j为节点j处的模型参数，W为参数服务器处的模型参数。

进一步地，所述私人模型20参数更新算法：

其中，α为学习率，

为节点j处在接收全局更新之后的参数，若未发生全局更新则

t表示当前时刻，t-1表示上一时刻。

为梯度符号，值得注意的是，此处不止局限于梯度下降法，由于通信瓶颈问题的存在，这里会采取更加有效的迭代算法，如牛顿法，基于动量的方法等。

进一步地，所述共享模型24参数更新算法：

首先通过图像传感器模块6来采集视频数据，然后将采集到的数据传入处理器对数据进行压缩和预处理。之后将处理后的数据通过无线网卡8以无线传输的方式送至后端服务器10 进行缓存和分析，具体分析任务主要有目标检测，人脸识别、目标跟踪和行为检测等。最后将数据处理的结果发送至业务逻辑层3，完成与数据库内容的访问和维护以及数据匹配等工作，同时根据匹配结果进行报警决策。整个流程中后端服务器管理员根据采集到的数据提出正反馈或者负反馈则开启模型训练的流程，利用输入数据和标签对网络进行反向传播，完成私人模型下参数的更新，此更新进一步被加密后通过跨系统级联网传入云端服务器25，在共享模型24中进行参数聚合，并且更新共享模型24，最后将更新反馈到私人模型20，完成一次训练。在跨系统级云端服务器25中，根据不同系统上传的模型参数进行迁移学习，从而使得模型能够适应不同的场景，提高模型的泛化能力。具体流程见图2。

算法架构如图3所示，参数服务器和系统代理之间的通信模式如图4所示，算法流程如图5所示。在某一私人模型产生参数更新之后，通过加密算法元件23将参数加密，然后将加密参数更新传送至云端服务器25，服务其首先将参数更新解密，然后根据参数的个数判断是否需要聚合或是直接进行共享模型24的更新。同时，设置一陈旧度阈值S，当某一私人模型 20的更新次数超过平均水平S次时，则暂停该私人模型20的更新，该步骤的目的是防止某一私人模型20更新过于频繁而使得共享模型24更新的质量下降。

尽管在上文中参考特定的实施例对本申请进行了描述，但是所属领域技术人员应当理解，在本申请公开的原理和范围内，可以针对本申请公开的配置和细节做出许多修改。本申请的保护范围由所附的权利要求来确定，并且权利要求意在涵盖权利要求中技术特征的等同物文字意义或范围所包含的全部修改。

Claims (10)

1.一种视频监控系统，其特征在于：包括依次通过通信连接的硬件感知层、数据处理层、业务逻辑层、跨系统级联网层和数据存储单元；

所述硬件感知层用于为防盗报警和视频监控提供硬件支持；

所述数据处理层通过深度神经网络来对输入数据进行处理，得到可供业务逻辑层决策的支撑数据；

所述业务逻辑层负责系统数据库维护，人脸数据比对，报警决策；与互联网层和云端服务器的共享模型进行通信的功能；

所述跨系统级联网层用于获取业务逻辑层传来的数据，根据获取的模型参数进行迁移学习，并将迁移学习后的数据传输至数据存储单元；

所述数据存储单元用于存储数据。

2.如权利要求1所述的视频监控系统，其特征在于：所述硬件感知层包括图像传感器模块、嵌入式开发板、无线网卡、无线路由器和后端服务器。

3.如权利要求1所述的视频监控系统，其特征在于：所述数据处理层包括人脸识别模块，车牌检测模块，目标检测模块，目标跟踪模块和行为检测模块。

4.如权利要求1所述的视频监控系统，其特征在于：所述业务逻辑层包括人脸数据匹配模块、报警决策模块、数据库维护模块和模型训练模块。

5.如权利要求4所述的视频监控系统，其特征在于：所述模型训练模块包括私人模型和加密参数子模块。

6.如权利要求5所述的视频监控系统，其特征在于：所述加密参数子模块包括参数更新元件和加密算法元件。

7.如权利要求1所述的视频监控系统，其特征在于：所述数据存储单元包括共享模型、云端服务器、参数解码模块和参数聚合模块。

8.如权利要求7所述的视频监控系统，其特征在于：所述云端服务器采用融合算法：

其中，f_j为节点j处的模型的损失函数，Ρ_j为节点j处的数据，P＝∪P_j为所有数据的并集，|·|表示数据的大小，W_j为节点j处的模型参数，W为参数服务器处的模型参数。

9.如权利要求5所述的视频监控系统，其特征在于：所述私人模型参数更新算法：

其中，α为学习率，

为节点j处在接收全局更新之后的参数，t表示当前时刻，t-1表示上一时刻，

为梯度符号。

10.如权利要求7所述的视频监控系统，其特征在于：所述共享模型参数更新算法：

Images