CN110490146A - 基于深度学习的人工智能周界安防方法及服务端 - Google Patents

Abstract

本发明公开了基于深度学习的人工智能周界安防方法及服务端，将热源成像雷达采集的雷达图像与可见光系统采集的可见光图像进行融合，以得到周界图像，存储周界图像至图像大数据集，雷达图像为热源成像雷达探测到不同物体所发射的辐射温度信号而形成的图像；通过基于深度学习技术的周界入侵训练优化模型对实时监控的录像视频以不同颜色框图和中文标记的方式对目标进行报警和定位跟踪，颜色框图用于对不同类型目标进行区分，中文标记用于标出了报警总体类型，报警总体类型包括入侵物数量以及危险等级；本发明能在准确的获取到实时监控信息后，快速识别入侵目标并进行分类并及时进行预警，以满足高等级周界安防需求。

Description

基于深度学习的人工智能周界安防方法及服务端

技术领域

本发明涉及安防领域，特别涉及基于深度学习的人工智能周界安防方法及服务端。

背景技术

深度学习(DL,Deep Learning)是机器学习(ML,Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标—人工智能(AI,ArtificialIntelligence)。

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。

现有的红外对射、物理传感器以及电子围栏系统等常规监控视频分析系统容易受环境、夜晚以及灯光的干扰，产生的误报漏报非常严重，无法满足高等级周界安防系统需求，且不能识别一些特殊目标，例如猫、狗、非机动车等，从而让入侵过程有机可乘。

发明内容

本发明所要解决的技术问题是：提供基于深度学习的人工智能周界安防方法及服务端，以满足高等级周界安防需求。

为了解决上述技术问题，本发明采用的技术方案为：

基于深度学习的人工智能周界安防方法，包括步骤：

S1、将热源成像雷达采集的雷达图像与可见光系统采集的可见光图像进行融合，以得到周界图像，存储所述周界图像至图像大数据集，所述雷达图像为所述热源成像雷达探测到不同物体所发射的辐射温度信号而形成的图像；

S2、通过基于深度学习技术的周界入侵训练优化模型对实时监控的录像视频以不同颜色框图和中文标记的方式对目标进行报警和定位跟踪，所述颜色框图用于对不同类型目标进行区分，所述中文标记用于标出了报警总体类型，所述报警总体类型包括入侵物数量以及危险等级。

为了解决上述技术问题，本发明采用的另一种技术方案为：

基于深度学习的人工智能周界安防服务端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、将热源成像雷达采集的雷达图像与可见光系统采集的可见光图像进行融合，以得到周界图像，存储所述周界图像至图像大数据集，所述雷达图像为所述热源成像雷达探测到不同物体所发射的辐射温度信号而形成的图像；

S2、通过基于深度学习技术的周界入侵训练优化模型对实时监控的录像视频以不同颜色框图和中文标记的方式对目标进行报警和定位跟踪，所述颜色框图用于对不同类型目标进行区分，所述中文标记用于标出了报警总体类型，所述报警总体类型包括入侵物数量以及危险等级。

本发明的有益效果在于：基于深度学习的人工智能周界安防方法及服务端，将热源成像雷达采集的雷达图像与可见光系统采集的可见光图像进行融合，由于雷达图像为热源成像雷达探测到不同物体所发射的辐射温度信号而形成的图像，不受黑夜、云雾、雨雪等恶劣环境的影响，可以准确的获取到实时监控信息；通过基于深度学习技术的周界入侵训练优化模型对实时监控的录像视频以不同颜色框图和中文标记的方式对目标进行报警和定位跟踪，基于深度学习算法的周界入侵训练优化模型可以快速识别入侵目标并进行分类；采用不同颜色框图和中文标记的方式可以让监控人员快速获取到报警信息，从而快速做出应急反应；即在准确的获取到实时监控信息后，快速识别入侵目标并进行分类并及时进行预警，以满足高等级周界安防需求。

附图说明

图1为本发明实施例的基于深度学习的人工智能周界安防方法的流程示意图；

图2为本发明实施例的基于深度学习的人工智能周界安防服务端的结构示意图；

图3为本发明实施例的机场人工智能电子雷达周界系统的整体示意图；

图4为本发明实施例的机场人工智能电子雷达周界系统的主界面示意图；

图5为本发明实施例的机场人工智能电子雷达周界系统的告警监控界面示意图；

图6为本发明实施例的机场人工智能电子雷达周界系统中进行数据集标识分类的界面示意图。

标号说明：

1、基于深度学习的人工智能周界安防服务端；2、用户端；3、第一处理器；4、第一存储器；5、医生端；6、第二处理器；7、第二存储器；8、平台端；9、第三处理器；10、第三存储器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1、图3至图6，基于深度学习的人工智能周界安防方法，包括步骤：

S1、将热源成像雷达采集的雷达图像与可见光系统采集的可见光图像进行融合，以得到周界图像，存储所述周界图像至图像大数据集，所述雷达图像为所述热源成像雷达探测到不同物体所发射的辐射温度信号而形成的图像；

S2、通过基于深度学习技术的周界入侵训练优化模型对实时监控的录像视频以不同颜色框图和中文标记的方式对目标进行报警和定位跟踪，所述颜色框图用于对不同类型目标进行区分，所述中文标记用于标出了报警总体类型，所述报警总体类型包括入侵物数量以及危险等级。

从上述描述可知，本发明的有益效果在于：将热源成像雷达采集的雷达图像与可见光系统采集的可见光图像进行融合，由于雷达图像为热源成像雷达探测到不同物体所发射的辐射温度信号而形成的图像，不受黑夜、云雾、雨雪等恶劣环境的影响，可以准确的获取到实时监控信息；通过基于深度学习技术的周界入侵训练优化模型对实时监控的录像视频以不同颜色框图和中文标记的方式对目标进行报警和定位跟踪，基于深度学习算法的周界入侵训练优化模型可以快速识别入侵目标并进行分类；采用不同颜色框图和中文标记的方式可以让监控人员快速获取到报警信息，从而快速做出应急反应；即在准确的获取到实时监控信息后，快速识别入侵目标并进行分类并及时进行预警，以满足高等级周界安防需求。

进一步地，所述周界入侵训练优化模型具体包括多个目标训练模型，所述目标包括人、机动车、非机动车、动物和飞机，生成所述周界入侵训练优化模型的步骤包括：

获取图像大数据集中的已标识分类数据集，对所述已标识分类数据集进行标准化后，按照其所分类的目标送入各个目标训练模型中进行训练；

对所述已标识分类数据集中的可见光图像提取深度特征，对所述可见光图像和深度特征提取dense SIFT特征并进行局部约束线性编码，以形成Kinect图像对的特征表示，通过所述可见光图像的Kinect图像对的特征表示以及对应所述可见光图像的雷达图像对相似目标及易误报斑点进行有效特征的自动学习与识别；

通过Tensorboard对多个目标训练模型中的参数进行可视化跟踪，并进行训练预评估，以使得多个目标训练模型达到预设标准；

将训练完成的目标训练模型进行固化；

得到已固化的所述周界入侵训练优化模型后还包括步骤：

获得新的已标识分类数据集，对新的所述已标识分类数据集进行标准化后，按照其所分类的目标送入各个目标训练模型中进行训练，以对所述周界入侵训练优化模型进行迭代训练和自动优化，以得到最新的周界入侵训练优化模型。

从上述描述可知，对多个目标训练模型进行分别训练，通过在最基本的特征基础上进行矢量量化和稀疏编码州来得到一幅图像最后的特征，通过采用和雷达系统共用的数据库来训练模型以进一步提高识别率，并通过Tensorboard进行训练跟踪来保证模型的准确性，从而在各种恶劣环境下有效将机场入侵目标检测出来。

进一步地，还包括步骤：

若在同一时间内存在第二用户对于第一监控画面进行访问，则判断所述第二用户与正在访问所述第一监控画面的第一用户之间是否处于同一局域网内，若是，则将所述第一监控画面所对应的视音频流从广域网上的资源通道传输至所述第一用户和所述第二用户所在的局域网内，在所述第一用户和所述第二用户所在的局域网内将所述第一监控画面所对应的视音频流转发至所述第一用户和第二用户。

从上述描述可知，多个用户需要同时看某远程的相同画面时，势必会造成在一条广域网线路上的同时点播，从而会占用多个相同带宽，严重浪费网络资源；通过上述方法，使得在广域网上只占用一个通道的资源，以避免网络资源的浪费。

进一步地，还包括步骤：

当上级单位查看下级单位所监控的画面时，生成所述下级单位所监控的画面的流媒体访问路径，返回所述流媒体访问路径至所述上级单位。

从上述描述可知，上级单位直接访问流媒体服务器，而不用都去直接访问网络带宽资源有限的下级机构，从而解决多级浏览级联的问题。

进一步地，还包括步骤：

获取前端全部的摄像机图像信号，将所述摄像机图像信号输入至硬盘录像机，通过矩阵编码将所述硬盘录像机的全部的摄像机图像信号切换至所述硬盘录像机的每一路输出上。

从上述描述可知，通过矩阵编码来实现对多个摄像机图像信号的分配，以保证前端多个摄像机和后端多个监控平台之间的数据准确转发。

如图2至图6所示，基于深度学习的人工智能周界安防服务端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、将热源成像雷达采集的雷达图像与可见光系统采集的可见光图像进行融合，以得到周界图像，存储所述周界图像至图像大数据集，所述雷达图像为所述热源成像雷达探测到不同物体所发射的辐射温度信号而形成的图像；

S2、通过基于深度学习技术的周界入侵训练优化模型对实时监控的录像视频以不同颜色框图和中文标记的方式对目标进行报警和定位跟踪，所述颜色框图用于对不同类型目标进行区分，所述中文标记用于标出了报警总体类型，所述报警总体类型包括入侵物数量以及危险等级。

从上述描述可知，本发明的有益效果在于：将热源成像雷达采集的雷达图像与可见光系统采集的可见光图像进行融合，由于雷达图像为热源成像雷达探测到不同物体所发射的辐射温度信号而形成的图像，不受黑夜、云雾、雨雪等恶劣环境的影响，可以准确的获取到实时监控信息；通过基于深度学习技术的周界入侵训练优化模型对实时监控的录像视频以不同颜色框图和中文标记的方式对目标进行报警和定位跟踪，基于深度学习算法的周界入侵训练优化模型可以快速识别入侵目标并进行分类；采用不同颜色框图和中文标记的方式可以让监控人员快速获取到报警信息，从而快速做出应急反应；即在准确的获取到实时监控信息后，快速识别入侵目标并进行分类并及时进行预警，以满足高等级周界安防需求。

进一步地，所述周界入侵训练优化模型具体包括多个目标训练模型，所述目标包括人、机动车、非机动车、动物和飞机，生成所述周界入侵训练优化模型时，所述处理器执行所述计算机程序时实现以下步骤：

所述周界入侵训练优化模型具体包括多个目标训练模型，所述目标包括人、机动车、非机动车、动物和飞机，生成所述周界入侵训练优化模型的步骤包括：

获取图像大数据集中的已标识分类数据集，对所述已标识分类数据集进行标准化后，按照其所分类的目标送入各个目标训练模型中进行训练；

对所述已标识分类数据集中的可见光图像提取深度特征，对所述可见光图像和深度特征提取dense SIFT特征并进行局部约束线性编码，以形成Kinect图像对的特征表示，通过所述可见光图像的Kinect图像对的特征表示以及对应所述可见光图像的雷达图像对相似目标及易误报斑点进行有效特征的自动学习与识别；

通过Tensorboard对多个目标训练模型中的参数进行可视化跟踪，并进行训练预评估，以使得多个目标训练模型达到预设标准；

将训练完成的目标训练模型进行固化；

得到已固化的所述周界入侵训练优化模型后还包括步骤：

获得新的已标识分类数据集，对新的所述已标识分类数据集进行标准化后，按照其所分类的目标送入各个目标训练模型中进行训练，以对所述周界入侵训练优化模型进行迭代训练和自动优化，以得到最新的周界入侵训练优化模型。

从上述描述可知，对多个目标训练模型进行分别训练，通过在最基本的特征基础上进行矢量量化和稀疏编码州来得到一幅图像最后的特征，通过采用和雷达系统共用的数据库来训练模型以进一步提高识别率，并通过Tensorboard进行训练跟踪来保证模型的准确性，从而在各种恶劣环境下有效将机场入侵目标检测出来。

进一步地，所述处理器执行所述计算机程序时还实现以下步骤：

若在同一时间内存在第二用户对于第一监控画面进行访问，则判断所述第二用户与正在访问所述第一监控画面的第一用户之间是否处于同一局域网内，若是，则将所述第一监控画面所对应的视音频流从广域网上的资源通道传输至所述第一用户和所述第二用户所在的局域网内，在所述第一用户和所述第二用户所在的局域网内将所述第一监控画面所对应的视音频流转发至所述第一用户和第二用户。

从上述描述可知，多个用户需要同时看某远程的相同画面时，势必会造成在一条广域网线路上的同时点播，从而会占用多个相同带宽，严重浪费网络资源；通过上述方法，使得在广域网上只占用一个通道的资源，以避免网络资源的浪费。

进一步地，所述处理器执行所述计算机程序时还实现以下步骤：

当上级单位查看下级单位所监控的画面时，生成所述下级单位所监控的画面的流媒体访问路径，返回所述流媒体访问路径至所述上级单位。

从上述描述可知，上级单位直接访问流媒体服务器，而不用都去直接访问网络带宽资源有限的下级机构，从而解决多级浏览级联的问题。

进一步地，所述处理器执行所述计算机程序时还实现以下步骤：

获取前端全部的摄像机图像信号，将所述摄像机图像信号输入至硬盘录像机，通过矩阵编码将所述硬盘录像机的全部的摄像机图像信号切换至所述硬盘录像机的每一路输出上。

从上述描述可知，通过矩阵编码来实现对多个摄像机图像信号的分配，以保证前端多个摄像机和后端多个监控平台之间的数据准确转发。

请参照图1、图3至图6，本发明的实施例一为：

基于深度学习的人工智能周界安防方法，包括步骤：

S1、将热源成像雷达采集的雷达图像与可见光系统采集的可见光图像进行融合，以得到周界图像，存储周界图像至图像大数据集，雷达图像为热源成像雷达探测到不同物体所发射的辐射温度信号而形成的图像，如图5所示即为在监控中心上同时显示雷达图像与可见光图像；

S2、通过基于深度学习技术的周界入侵训练优化模型对实时监控的录像视频以不同颜色框图和中文标记的方式对目标进行报警和定位跟踪，颜色框图用于对不同类型目标进行区分，中文标记用于标出了报警总体类型，报警总体类型包括入侵物数量以及危险等级，如图4所示的入侵物数量有两个，相应的危险等级分别为90％和82％。

其中，周界入侵训练优化模型具体包括多个目标训练模型，目标包括人、机动车、非机动车、动物和飞机。在本实施例中，具体的，识别类型包括了人、自行车、汽车、摩托车、货车、飞机、皮卡、鸟、狗、猫等常见入侵目标以及马、羊、牛、大象、熊、斑马、长颈鹿等非常见入侵目标。

对于步骤S2中的周界入侵训练优化模型的生成步骤包括：

获取图像大数据集中的已标识分类数据集，对已标识分类数据集进行标准化后，按照其所分类的目标送入各个目标训练模型中进行训练，如图6所示即为对数据集进行标识分类的编辑界面；

对已标识分类数据集中的可见光图像提取深度特征，对可见光图像和深度特征提取dense SIFT特征并进行局部约束线性编码，以形成Kinect图像对的特征表示，通过可见光图像的Kinect图像对的特征表示以及对应可见光图像的雷达图像对相似目标及易误报斑点进行有效特征的自动学习与识别；

通过Tensorboard对多个目标训练模型中的参数进行可视化跟踪，并进行训练预评估，以使得多个目标训练模型达到预设标准；

将训练完成的目标训练模型进行固化；

得到已固化的周界入侵训练优化模型后还包括步骤：

获得新的已标识分类数据集，对新的已标识分类数据集进行标准化后，按照其所分类的目标送入各个目标训练模型中进行训练，以对周界入侵训练优化模型进行迭代训练和自动优化，以得到最新的周界入侵训练优化模型。

其中，在多个用户需要同时看某远程的相同画面时，执行以下步骤：

若在同一时间内存在第二用户对于第一监控画面进行访问，则判断第二用户与正在访问第一监控画面的第一用户之间是否处于同一局域网内，若是，则将第一监控画面所对应的视音频流从广域网上的资源通道传输至第一用户和第二用户所在的局域网内，在第一用户和第二用户所在的局域网内将第一监控画面所对应的视音频流转发至第一用户和第二用户。

其中，面对多级浏览级联时，本实施例执行以下步骤：

当上级单位查看下级单位所监控的画面时，生成下级单位所监控的画面的流媒体访问路径，返回流媒体访问路径至上级单位，其中流媒体访问路径是管理服务器进行生成的。

其中，针对硬盘录像机执行以下步骤：

获取前端全部的摄像机图像信号，将摄像机图像信号输入至硬盘录像机，通过矩阵编码将硬盘录像机的全部的摄像机图像信号切换至硬盘录像机的每一路输出上。

如图2至图6所示，本发明的实施例二为：

基于深度学习的人工智能周界安防服务端1，包括存储器3、处理器2及存储在存储器3上并可在处理器2上运行的计算机程序，处理器2执行计算机程序时实现上述实施例一的步骤。

本实施例中的基于深度学习的人工智能周界安防服务端1相当于一个整个安防系统的服务器子系统。具体的，如图3所示，整个安防系统应用于机场环境，它是由机场人工智能电子雷达周界(AI-Fence)系统为核心，以深度学习预警子系统、辅助照明子系统为复核确认，以现场语音广播子系统联动驱离作为事后分析查找为一体的综合性全方位电子雷达周界安防系统。

其中，步骤S1中为雷达热源成像加可见光信息进行融合的步骤，热源成像雷达系统能够清晰探测到不同物体所发射的辐射温度信号，并进行雷达成像，前端监控点进行24小时全天时全天候监测，不受黑夜、云雾、雨雪等恶劣环境的影响，且无主动雷达信号。并通过雷达系统与可见光系统进行信息融合，可为本系统提供多重保险。

具体的，AI-Fence系统对每一个监控点，都进行合理地配置对应的摄像机。前端雷达的布点设计遵循重点区域“全方位、无死角”的监视原则，充分论证，合理配置监视点。

而与前端对应的监控中心需要负责长期的雷达图像大数据收集、分类和标定，采用数字硬盘录像机进行多画面的监视以及录像，具备强大的联网功能，作为数字视频服务器提供TCP/IP局域网上客户机强大的视频服务功能。

通过视频矩阵或软件平台可实现对前端各子系统的控制，实现全屏的重点监视以及巡回监视等。通常情况下，将重点部分及区域在监视器上以集成画面、轮流切换显示等多种方式显示多摄像机画面。还可以通过网络，在分控计算机显示器上将所有图像显示出来。具体包括以下设备：

(1)、图像编码和录像设备

本系统为机场配置多套硬盘录像机，负责视频信号的接收、转换、图像合成、地址分配并将处理后的视频信号通过网络连接线输出等功能。负责告警信息的生成，触发，传输和与接入网络的适配，同时也负责回应来自中心控制站的监控命令和网管命令，以及语音对讲，并具备丰富的功能接口。

当多终端同时浏览某前端多路图像时，数字硬盘录像机(DVR)可以保证每台设备最多10个访问，足以满足用户对DVR满负荷的同时访问。

为满足90天录像需要，为每台硬盘录像机配置4块6T容量监控硬盘，若采取移动侦测录像话将大大延长录像时间。

(2)、图像显示设备

监控中心需要24小时连续监控，因而对显示设备的可靠性要求很高。我们采用监控显示器器，使用寿命大大长于电视机，图像效果也更加清晰、鲜艳。

授权用户计算机可安装监控系统客户端软件，通过计算机网络控制数字硬盘录像机、前端雷达和显示监控图像。

(3)、硬盘录像机

前端全部的摄像机图像信号通过线缆和光纤传输到弱电中心硬盘录像机的输入端，由矩阵切换至硬盘录像机的多路输出上，输出给机场的全部用户。全部的摄像机图像进入硬盘录像机，使用矩阵主要内容编程对各分控分配前端的摄像机系统，使用业主还需要增加监控点，可再添加前端摄像机连线到监控室。

(4)、机房需要提供UPS供电

由于我国目前电力供应比较紧张，根据目前的供电情况，每年夏冬两季用电特别紧张，考虑到极端情况下大面积的电力拉闸现象，导致使监控系统无法正常运行，所以在系统前端监视点配置UPS不间断电源保障设备正常运行。

监控中心需要引一路独立电源到配电柜，采用双路供电，控制中心由配电柜统一分配。UPS系统采用6KW主机，后备时间8小时以上。

具体的系统供电原则：

电压恒定。直接由本电源提供所有前端设备需各种低压电，不再由原来配备的供电变压器供电。从而不受线路电压变化的影响，保证前端设备稳定运行。

快速充电。根据频繁停电的实际进行专门设计，所需充电时间少于供电时间，能够在较短时间内完成电池组充电。

对电压的适应范围大。本电源能在AC170V到380V范围内正常工作，工作电压比在线式UPS更宽，能有效地防止室外电压的不稳定对监控系统的影响。特别是可防止380V高压冲击造成的设备损坏。

对环境的适应性强。能够在高温条件下正常运行，如配备监控专用胶体电源，可在55℃情况下正常工作。

(5)、机房需要提供接地系统

为了防止操作人员在电气装置损坏时发生触电事故；避免系统的直流工作电压受到干扰和波动，提高系统的稳定性；防止雷击，保证系统的安全。机房必须设置良好的接地系统。

接地网：接地电阻小于1Ω，经设计计算后新做接地网与原楼房的接地极并网后接地电阻值必须达到小于1Ω的要求。

接地引下线：都直接引入地网上，安全保护引下线必须直接与地网连接，引线拉至距离房屋至少2.5米外，引线需埋在地下至少0.7米处，接地引线选用40mm*4mm的镀锌扁铁或￠12-16mm的镀锌圆钢焊接在垂直接地体上并引出。

引线与三角型镀锌扁铁连接。

而对前端和后端的数据进行处理的服务器子系统，是AI-Fence系统的核心运算设备，主要分为运算服务器和后台服务器。

运算服务器是一个基于深度学习的核心后台算法程序，它负责对前端子系统的雷达图像进行入侵识别和预警分析，并通过数据库负责所有控制指令信息流和报警信息流的转发以及记录(生成日志)，同时具有流媒体服务功能。

后台服务器功能可缓解网络带宽紧张的区域，对该区域内的视频服务器的访问全部通过流媒体服务器来进行转发，使得该视频服务器的视频服务只占一个通道；其次可以对同一通道的访问用户进行控制。流媒体服务器的多级设置可提高响应访问的效率，合理规划流媒体服务器的设置，能够以最大限度地提高带宽利用率与网络访问的效率。

具体的功能如下：

1、运算服务器工作站专注于图形处理能力，采用PASCAL架构的GPU阵列进行神经网络的运算加速。通过使用FP16存储数据可以有效减少神经网络内存占用，允许训练、部署更大的网络。

2、用户与监控点信息的设置与维护：统一建立系统内的所有用户，并设置权限，采用灵活的菜单级设置方法，树型数据结构方式统一建立系统内的监控信息，监控信息包括监控点、DVR/NVS、上级/下级机构所属关系。

3、实现转发的功能：多个用户需要同时看某远程的相同画面时，势必会造成在一条广域网线路上的同时点播，从而会占用多个相同带宽，严重浪费网络资源。流媒体服务器支持视音频流的转发，支持局域网内多个用户对一个视音频流的访问，当有多个局域网客户端需要同时访问同一远程画面时，可以通过流媒体服务器进行转发，从而在广域网上只占用一个通道的资源，在局域网内再进行转发。

4、操作权限认证：用数据库来管理各哨站所有客户端软件，实现灵活、强大的权限控制功能，统一管理机制保障了安全性，避免敏感画面泄露。所有客户端在请求访问目的画面或进行远程控制(如云台等)时，控制指令的请求先发给管理服务器，经管理服务器认证该客户端具备相应权限后再将指令转交给前端设备(DRVNVS)，前端设备方响应指令要求向有权限的客户端发送指定画面或执行相应控制指令。

5、解决多级浏览级联问题。当更上级单位需要查看越级机构的图像时，可以直接访问流媒体服务器，而不用都去直接访问网络带宽资源有限的下级机构，从而解决多级浏览级联的问题。

即步骤S2的实现基础即为深度学习算法，它可以对目标场景内的所有入侵目标进行同步实时识别和报警，识别类型包括了人、自行车、汽车、摩托车、货车、飞机、皮卡、鸟、狗、猫等常见入侵目标，以及马、羊、牛、大象、熊、斑马、长颈鹿等非常见入侵目标进行报警和识别。用户可以对所有的报警类型进行自由选择和设置。报警总体类型可粗分为人、机动车、非机动车、动物和飞机，便于用户进行快速分类。

具体的，深度学习算法系统采用了机场周界入侵训练优化模型，可以在实时监控和录像视频上以不同颜色框图和中文标记的方式对目标进行报警和定位跟踪。中文标出了报警总体类型，框图则以颜色对不同类型目标进行区分。同时可以自由选择报警区域，并且对运动或静止目标均可进行报警。通过基于国际最前沿的深度神经网络算法进行机场入侵物体大数据的迭代训练和自动优化，可以将传统电子周界系统的识别率和误报率进行大幅度优化，进一步提升机场的安全标准等级。此外AI-Fence的算法系统具有自主学习功能，可以随着机场安全大数据集的完善，实现系统性能的自动升级优化。

由此可见，周界入侵物体特征的机器学习过程是实现整个系统监控的关键，统需要对工作环境以及可能出现的入侵物进行一定程度的训练。训练的长短与系统的调试及使用时间成正比关系。算法对目标使用了“特征表达”的方法，它是在最基本的特征基础上进行矢量量化、稀疏编码或其它表达方式以形成一幅图像最后的特征，例如人体、车辆、飞机、动物等。分别对RGB图像和深度特征提取dense SIFT特征并进行局部约束线性编码以形成Kinect图像对的特征表示，然后基于卷积神经网络算法对相似的目标及容易误报的斑点自动学习有效特征并进行识别，并采用和雷达系统共用的数据库来训练模型以进一步提高识别率，可以在各种恶劣环境下有效将机场入侵目标检测出来。

同时，AI-Fence系统将24小时进行机场安全图像的大数据收集、分类、标定和预警。所有的数据将基于机场安全监测人员的处理意见送入人工智能算法当中进行系统实时训练，大数据集的长期分析结果可以为机场工作人员的日常维护和安全管理过程提供理论基础和数据依据。

基于此，本实施例相对于传统传感器及光学监测系统，可以不受天气环境和工作时间的限制，同时深度学习框架的分析、识别和预警功能都远优于传统电子周界预警算法，系统具备先进性、高稳定性、高安全性、高可扩展性、高完整性和高符合性等特点。

1、先进性：采用雷达热源成像+可见光信息融合系统作为核心硬件，使得晚上工作时无需额外光源，可以24小时全天时工作；对云雾、雨雪、大风等恶劣环境穿透能力强，可以在全天候条件下工作；作用距离远，可以在无任何辅助条件下，进行数百米以内的安全监测；采用被动式雷达系统，无任何主动的包括可见光、红外、微波、毫米波等波段的有源发射信号。

2、符合性：采用国际最前沿的基于深度学习的人工智能识别算法，并对实时性和运算量进行了大幅度优化，系统所使用的深度学习算法模拟了人类神经网络的识别过程，并对百万张级别以上的大数据集进行学习和训练，其识别率和误报率远优于传统运动物体入侵算法；算法还可以准确识别入侵物体的类型和危险概率等级，为用户提供了额外的辅助信息；算法模型包括了人、汽车、猫、狗、鸟等数十种类型的物体的预警功能，用户可以精确选择所需的安全预警条件；算法具有自主学习和自动优化功能，可以根据用户的处理结果进行长期的神经网络优化训练，系统指标将会随着使用时间的增加而提升。

3、安全性：前端设备安全性由中心服务器进行统一管理，充分保证前端设备的安全性，避免前端设备参数被恶意修改；所有分控端软件的权限由一台管理服务器用数据库进行管理，合理分配各自的权限，多级权限管理可以确定安全性，保证敏感画面不会泄露；前端设备的码流抑制功能(带宽控制)，再结合对分控端软件的多级权限管理及流媒体服务器的引入，可以做到精确控制对网络带宽资源的占用，确保不会影响其它正常业务运行，比如根据QOS设置级别，保卫信息可以被其它业务数据挤占带宽，而反之则不会。

4、可扩展性：系统基于IP方式构建，中心建立完成后不会再因为系统前端设备的增加而扩建，而前端设备可以根据需要随意添加，后台管理同样能承受。因此本系统具备了非常强的可扩展性；基于现有的机场网络平台，只需要添置网络接入交换机，分配IP资源即可；针对市场上主流的热成像、可见光前端系统可兼容，同时避免对平台进行大幅度修改；容量可扩展，那个根据用户访问量的增加，平滑扩展平台的容量。容量的扩展不影响现有的系统框架和业务开展。

5、系统实用性：系统的功能完全立足于机场管理和信息服务条例，充分满足本项目的设计要求；保证系统信息处理和传递的安全、可靠、及时、准确、完整，提高工作效率，减少人为差错，降低运营成本。

6、系统完整性：AI-Fence系统包括了完整的热源成像雷达、可见光前端、网络拓扑、算法服务器和后台服务器等硬件设备；深度学习算法则实现了系统所需的多目标分类识别、实时定位跟踪和自主学习等所有功能；系统管理后台包含了数据采集功能、数据展现功能、远程控制功能、定时任务功能、图像监控功能、图像抓拍功能、电子地图功能、用户管理功能、权限管理功能、项目管理功能、设备管理功能、统计报表功能和告警功能，实现了机场管理条例所规定的所有功能。

7、系统可用性：系统具有高可用性，在任何时段内，整个系统都不允许全系统停止运行，失去对机场安防的支持；不允许出现系统故障而造成终端设备无法操作、功能无法实现以及无法达到用户要求的响应时间；系统全年宕机时间不超过30秒，系统可用性不小于99.999％。

8、可靠性：系统能够保证7*24小时的正常使用，所有设备具有高度的可靠性和优良的性能；主要服务器采用容错技术及磁盘阵列技术，确保故障后的数据和任务能备份；系统通过数据灾备满足运行系统故障时可恢复正常运行。

9、系统开放性：能支持异构系统和不同网络协议的互联，提供开发的网络接口和数据接口，不同的产品能够协同运行，进行数据交换、信息共享；除应用程序以外，操作系统和网络都具有开发性和协同性；整个系统所具有的开放性，符合相应的国际标准和协议。

10、操作友好性：AI-Fence系统提供了友好的中文界面，采用了规范的行业术语，易于工作人员的管理和维护。终端用户界面基于交互式图像界面，支持键盘、鼠标或手机操作，界面优化、清晰，操作简单、方便，容错性强，并基于机场用户针对操作友好性做了专门的优化设计，确保系统使用便捷，流程最优，效率最高。对以下用户需求均具有操作友好性：用户操作环境、用户操作终端界面、用户数据报表格式、用户访问管理控制、用户使用操作手册以及其它手册。

11、系统经济性：在充分满足系统应用需求和系统性能要求，并保证系统安全可靠下，选用性能价格比高的系统和产品。

12、绿色节能性：系统充分响应国家绿色节能的要求，选用绿色节能和环保的产品，在施工组织和安装工艺方面确保满足绿色节能环保的要求。

结合上述前端、监控中心和服务器子系统，本实施例中的系统管理后台主要包括了实时告警监控、告警数据统计、电子地图功能、告警信息管理、未确认告警信息管理、设备管理功能、供应商管理功能、检测中心功能、用户管理功能。系统主界面如图4所示。

其中，进入系统页面，进入监控中心的实时告警信息页面，如图5所示，四个通道显示两架前端的监控画面，其中会实时的将入侵目标以不同颜色的外框和汉字进行提醒和告警，告警信息会以图标、声音和最新告警信息记录的方式进行提醒。在监控画面的下面会显示最新的告警信息，用户通过图标、声音发现最新告警信息记录时，最快进行危险事件处理。

在告警统计图界面，可以点击监控中心下的告警统计管理，查看关于告警信息的统计情况，可以统计每月、每周和每日的报警情况；基于地图动态展现项目所在位置，并且可以从此入口进入项目设备详情页，监控现场数据、控制现场设备；电子地图基于通用地图接口，具有国际开放性，可以在后期与其它开放性系统进行设备和接口对接开发；点击告警中心的告警信息管理，可以看到每一条告警信息。还可以在上面的搜索栏筛选每一条信息；管理员需要对告警信息进行确认和否认处理，确认和否认的过程将记录管理员的真实姓名，并选择是否需要写入详情描述。所有的告警信息均不可进行修改和删除，数据统一存入后台服务器并备份；用户还可以通过起始时间、告警类型、设备地址和告警状态快速对所有的告警信息进行快速查询和定位；所有的未确认告警信息管理可以通过本功能进行直观统一的处理，提醒用户对所有的区域告警信息进行处理；管理员用户在设备界面可以对本项目的2套前端系统监控状态监控，信息编辑和设备删除。扩展到多台设备时可以通过名称、所在地、状态和供应商进行快速的设备搜索；在编辑设备界面中，用户可以对设备名称、设备所在地、供应商进行设置，并且可以在本系统的电子地图中进行设备的定位和标记。以后可以通过点击标记直接进入到设备的监控界面中。

本模块提供了供应商的名称、联系电话和邮箱等信息，便于用户进行沟通、查询和维护。管理员用户可以对供应商信息的编辑和修改

检测中心提供了系统关键检测信息的添加、编辑和删除功能。首先可以在同一套设备分出来多个不同通道，例如可见光和热成像。也可以将系统不同码流以不同通道的方式进行输出。在设备数量较多的情况下，可以通过名称、概率、通道类型等信息进行设备搜索。

通道信息的添加或编辑过程中，需要对深度学习算法的检测概率、入侵目标的徘徊时间、设备的IP地址、通道类型和通道协议进行深入设置。公司会辅助用户在使用前对参数提前进行定义和设置，管理员用户也可以在培训后自行进行设置优化。

标定周界界面则提供了入侵目标的报警类型设置，以及所需报警的目标区域设置。未勾选的类型或在目标区域范围外的目标均不会进行报警，目标区域的设置以黄色粗框进行提醒。

添加、修改、删除、查询本系统的账号信息，并对用户的权限进行管理。

系统内置权限管理功能，根据用户的权限不同，对用户所能看到操作的功能、所能管理的设备进行管控。

综上所述，本发明提供的基于深度学习的人工智能周界安防方法及服务端，将热源成像雷达采集的雷达图像与可见光系统采集的可见光图像进行融合，由于雷达图像为热源成像雷达探测到不同物体所发射的辐射温度信号而形成的图像，不受黑夜、云雾、雨雪等恶劣环境的影响，可以准确的获取到实时监控信息；通过基于深度学习技术的周界入侵训练优化模型对实时监控的录像视频以不同颜色框图和中文标记的方式对目标进行报警和定位跟踪，基于深度学习算法的周界入侵训练优化模型可以快速识别入侵目标并进行分类，对多个目标训练模型进行分别训练，通过在最基本的特征基础上进行矢量量化和稀疏编码州来得到一幅图像最后的特征，通过采用和雷达系统共用的数据库来训练模型以进一步提高识别率，并通过Tensorboard进行训练跟踪来保证模型的准确性，从而在各种恶劣环境下有效将机场入侵目标检测出来；采用不同颜色框图和中文标记的方式可以让监控人员快速获取到报警信息，从而快速做出应急反应；即在准确的获取到实时监控信息后，快速识别入侵目标并进行分类并及时进行预警，以满足高等级周界安防需求；同时，通过局域网转发的方式，使得在广域网上只占用一个通道的资源，以避免网络资源的浪费；通过矩阵编码来实现对多个摄像机图像信号的分配，以保证前端多个摄像机和后端多个监控平台之间的数据准确转发；上级单位直接访问流媒体服务器，而不用都去直接访问网络带宽资源有限的下级机构，从而解决多级浏览级联的问题。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.基于深度学习的人工智能周界安防方法，其特征在于，包括步骤：

S1、将热源成像雷达采集的雷达图像与可见光系统采集的可见光图像进行融合，以得到周界图像，存储所述周界图像至图像大数据集，所述雷达图像为所述热源成像雷达探测到不同物体所发射的辐射温度信号而形成的图像；

S2、通过基于深度学习技术的周界入侵训练优化模型对实时监控的录像视频以不同颜色框图和中文标记的方式对目标进行报警和定位跟踪，所述颜色框图用于对不同类型目标进行区分，所述中文标记用于标出了报警总体类型，所述报警总体类型包括入侵物数量以及危险等级。

2.根据权利要求1所述的基于深度学习的人工智能周界安防方法，其特征在于，所述周界入侵训练优化模型具体包括多个目标训练模型，所述目标包括人、机动车、非机动车、动物和飞机，生成所述周界入侵训练优化模型的步骤包括：

获取图像大数据集中的已标识分类数据集，对所述已标识分类数据集进行标准化后，按照其所分类的目标送入各个目标训练模型中进行训练；

对所述已标识分类数据集中的可见光图像提取深度特征，对所述可见光图像和深度特征提取dense SIFT特征并进行局部约束线性编码，以形成Kinect图像对的特征表示，通过所述可见光图像的Kinect图像对的特征表示以及对应所述可见光图像的雷达图像对相似目标及易误报斑点进行有效特征的自动学习与识别；

通过Tensorboard对多个目标训练模型中的参数进行可视化跟踪，并进行训练预评估，以使得多个目标训练模型达到预设标准；

将训练完成的目标训练模型进行固化；

得到已固化的所述周界入侵训练优化模型后还包括步骤：

获得新的已标识分类数据集，对新的所述已标识分类数据集进行标准化后，按照其所分类的目标送入各个目标训练模型中进行训练，以对所述周界入侵训练优化模型进行迭代训练和自动优化，以得到最新的周界入侵训练优化模型。

3.根据权利要求2所述的基于深度学习的人工智能周界安防方法，其特征在于，还包括步骤：

若在同一时间内存在第二用户对于第一监控画面进行访问，则判断所述第二用户与正在访问所述第一监控画面的第一用户之间是否处于同一局域网内，若是，则将所述第一监控画面所对应的视音频流从广域网上的资源通道传输至所述第一用户和所述第二用户所在的局域网内，在所述第一用户和所述第二用户所在的局域网内将所述第一监控画面所对应的视音频流转发至所述第一用户和第二用户。

4.根据权利要求1所述的基于深度学习的人工智能周界安防方法，其特征在于，还包括步骤：

当上级单位查看下级单位所监控的画面时，生成所述下级单位所监控的画面的流媒体访问路径，返回所述流媒体访问路径至所述上级单位。

5.根据权利要求4所述的基于深度学习的人工智能周界安防方法，其特征在于，还包括步骤：

获取前端全部的摄像机图像信号，将所述摄像机图像信号输入至硬盘录像机，通过矩阵编码将所述硬盘录像机的全部的摄像机图像信号切换至所述硬盘录像机的每一路输出上。

6.基于深度学习的人工智能周界安防服务端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

S1、将热源成像雷达采集的雷达图像与可见光系统采集的可见光图像进行融合，以得到周界图像，存储所述周界图像至图像大数据集，所述雷达图像为所述热源成像雷达探测到不同物体所发射的辐射温度信号而形成的图像；

S2、通过基于深度学习技术的周界入侵训练优化模型对实时监控的录像视频以不同颜色框图和中文标记的方式对目标进行报警和定位跟踪，所述颜色框图用于对不同类型目标进行区分，所述中文标记用于标出了报警总体类型，所述报警总体类型包括入侵物数量以及危险等级。

7.根据权利要求6所述的基于深度学习的人工智能周界安防服务端，其特征在于，所述周界入侵训练优化模型具体包括多个目标训练模型，所述目标包括人、机动车、非机动车、动物和飞机，生成所述周界入侵训练优化模型时，所述处理器执行所述计算机程序时实现以下步骤：

所述周界入侵训练优化模型具体包括多个目标训练模型，所述目标包括人、机动车、非机动车、动物和飞机，生成所述周界入侵训练优化模型的步骤包括：

获取图像大数据集中的已标识分类数据集，对所述已标识分类数据集进行标准化后，按照其所分类的目标送入各个目标训练模型中进行训练；

对所述已标识分类数据集中的可见光图像提取深度特征，对所述可见光图像和深度特征提取dense SIFT特征并进行局部约束线性编码，以形成Kinect图像对的特征表示，通过所述可见光图像的Kinect图像对的特征表示以及对应所述可见光图像的雷达图像对相似目标及易误报斑点进行有效特征的自动学习与识别；

通过Tensorboard对多个目标训练模型中的参数进行可视化跟踪，并进行训练预评估，以使得多个目标训练模型达到预设标准；

将训练完成的目标训练模型进行固化；

得到已固化的所述周界入侵训练优化模型后还包括步骤：

获得新的已标识分类数据集，对新的所述已标识分类数据集进行标准化后，按照其所分类的目标送入各个目标训练模型中进行训练，以对所述周界入侵训练优化模型进行迭代训练和自动优化，以得到最新的周界入侵训练优化模型。

8.根据权利要求7所述的基于深度学习的人工智能周界安防服务端，其特征在于，所述处理器执行所述计算机程序时还实现以下步骤：

若在同一时间内存在第二用户对于第一监控画面进行访问，则判断所述第二用户与正在访问所述第一监控画面的第一用户之间是否处于同一局域网内，若是，则将所述第一监控画面所对应的视音频流从广域网上的资源通道传输至所述第一用户和所述第二用户所在的局域网内，在所述第一用户和所述第二用户所在的局域网内将所述第一监控画面所对应的视音频流转发至所述第一用户和第二用户。

9.根据权利要求6所述的基于深度学习的人工智能周界安防服务端，其特征在于，所述处理器执行所述计算机程序时还实现以下步骤：

当上级单位查看下级单位所监控的画面时，生成所述下级单位所监控的画面的流媒体访问路径，返回所述流媒体访问路径至所述上级单位。

10.根据权利要求9所述的基于深度学习的人工智能周界安防服务端，其特征在于，所述处理器执行所述计算机程序时还实现以下步骤：

获取前端全部的摄像机图像信号，将所述摄像机图像信号输入至硬盘录像机，通过矩阵编码将所述硬盘录像机的全部的摄像机图像信号切换至所述硬盘录像机的每一路输出上。