CN110581898B - 基于5g和边缘计算的物联网数据终端系统 - Google Patents

Abstract

本发明涉及一种基于5G和边缘计算的物联网数据终端系统，包括用于获取前端监控数据的物联网数据终端，用于完成数据预处理；位于物联网数据终端与云业务之间的边缘计算服务器，所述边缘计算服务器搭建AI前置服务平台，负责监控数据图像的前置识别、图像抽样、去重和数据切片；设备管理云，用于对物联网数据终端以及各节点设备进行远程监控和远程配置、更新流量计费；业务云，包括基于视频场景中AI的图像训练服务以及基于用户需求的业务接口，提供给用户进行定制开发。本方案通过对边缘计算，将图像识别能力下放到物联网终端上，分摊云端服务器压力，同时提升业务前端的响应速度和效率。

Description

基于5G和边缘计算的物联网数据终端系统

技术领域

本发明涉及物联网领域，具体涉及一种基于5G和边缘计算的物联网数据终端系统。

背景技术

在安防视频图像识别和监控的场景中，目前常规做法有如下两种：1）视频摄像头通过4G网络回传至云端，通过云端算力对视频图像进行分析识别，并提供给上层业务使用；2）视频摄像头搭载本地（局域网）服务器，通过预置方式将图谱存放在本地，由此提升图像识别速度和业务效率，也降低的网络带宽的成本；两种做法受制于技术、成本的局限，在业务效率、网络资源、成本等多个维度进行折中，而随着5G和边缘计算的发展，上述方法将面临重大冲击：

1）在5G网络中，数据上行速率会是4G的数倍，海量数据、高清数据的回传对云端的接入性能要求更加严苛，继续使用现有业务架构，对视频、特别是高清视频质量的限制、对云端海量数据接入能力会有很大冲击；

2）将图像识别服务器通过预置图谱方式放在用户本地，一方面不利于客户业务的可扩展，图谱训练也会受制本地算力，无法持续提升准确度；另一方面当海量数据汇集到本地时，仍会冲击到本地服务器和算力，进一步增加成本。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于5G和边缘计算的物联网数据终端系统，通过对边缘计算，将图像识别能力下放到物联网终端上，分摊云端服务器压力，同时提升业务前端的响应速度和效率。

本发明的目的是通过以下技术方案来实现的：

一种基于5G和边缘计算的物联网数据终端系统，包括：

用于获取前端监控数据的物联网数据终端，用于完成数据预处理；

位于物联网数据终端与云业务之间的边缘计算服务器，所述边缘计算服务器搭建AI前置服务平台，负责监控数据图像的前置识别、图像抽样、去重和数据切片；

设备管理云，用于对物联网数据终端以及各节点设备进行远程监控和远程配置、更新流量计费；

业务云，包括基于视频场景中AI的图像训练服务以及基于用户需求的业务接口，提供给用户进行定制开发。

本方案最大的优势在于将传统云端AI前置服务平台配置在本地边缘计算节点上，直接对物联网数据终端的视频回传数据进行处理，从而分摊了云端压力，即在物联网数据终端本地进行边缘计算，将图谱库分摊在本地图像识别模块中，分摊计算压力，云端和AI前置服务平台采用非实时的通信机制保证数据同步，物联网数据传输终端的业务处理方式保持与云端松耦合状态，图谱学习模型远端可配置，同时远端对终端业务和服务进行远程配置、查询、计费等操作，从而提升业务前端的响应速度和效率。

进一步的，所述数据预处理的处理流程为：

S101：将视频数据转换为平台可处理的格式，如视频转换为mp4、mkv；

S102：根据数据规范对源数据进行重命名，并需保留原始信息；

S103：当需要提供抽帧服务，将视频数据需要根据要求抽帧成为图片数据。

为了减轻AI前置服务平台的处理压力，本方案还进一步的将数据预处理直接在物联网数据终端完成，相当于在物联网数据终端也内置一个图像处理模块，进行图像的前置识别，完成图像抽样、去重和数据切片，从而缓解边缘计算服务器的计算压力，是系统的计算分摊更为均衡，避免处理业务高度集中，释放有效空间，整体处理效率提高。

进一步的，所述AI前置服务平台的业务处理流程为：

S201：将预处理后的数据导入到边缘计算服务器中自动进行标注；

S202：注结果输出为xml或json格式，并需要将标注结果保存一份至数据库中，数据库中记录标注边缘服务器及终端相关信息；

S203：将标注数据异步与云端进行数据交互和验证，云端通过采样抽检对数据有效性进行标记，并对回传的边缘服务器和终端进行置信数据刷新；

S204：将有效的标注数据作为本期训练数据，训练数据放于边缘服务器上，并异步与云端平台通过交互数据。

本方案通过在云端布置运算模型，由云端统一调度和配置，且保证运算结果保持和服务器端实时交互和更新。

进一步的，所述图像训练服务的处理步骤为：

S301：标注人员使用标注工具来进行人脸的标注，标注工具的输入包括符合要求的搜集的公共图片、视频转成的图片以及每张图片对应的人脸标签；

S302：所有标注结果都要在系统中进行人工二次审核，审核通过的才能进行下一步操作，审核不通过的可直接作废或删除；

S303：标注结果以文本文件的方式导出，使用Xml或者Json结构来描述，标注完成的图片以及标注产生的Json/Xml文件将会被上传至学习平台进行神经网络模型的训练和验证。

进一步的，每一个图片文件对应一个标注文件，标注文件包含了多条标注信息作为一个标注信息的数组。

进一步的，所述神经网络模型的验证支持k-folds方法实现交叉验证，其步骤为：

S401：将已标注的样本集随机分为k个包，每次留其中一个包作为验证集，剩下k-1个包作为训练集进行训练：

S402：:在模型训练轮次完成后进行验证，输出每一次验证集图片的准确率，以便监测模型是否出现过拟合现象。

进一步的，所述神经网络模型训练和验证完成以后，生成可供使用的tensorflowcheckpoint或caffemodel模型文件；同时学习子平台会对模型训练生成日志文件，日志文件会存放在本地以供模型训练者观察训练过程，日志文件为文本文件形式，其文件命名规则为：

{训练脚本名}-{配置文件名}-{训练开始时间(仅保留数字)}.{所用平台}.log。

进一步的，所述神经网络模型通过系统或手工方式将模型文件下载到AI前置服务平台上，运维人员使用模型部署工具将模型文件载入到深度学习框架中，模型下载、部署过程都会自动生成相应的日志。

本发明的有益效果是：

1）基于边缘计算的物联网数据终端，终端内置图像处理模块，能够对视频输入进行格式转化和抽帧，使得数据处理分层递进，避免处理高度集中，释放系统空间，提高数据处理能力和效率；

2）基于边缘计算的服务器（边缘计算节点），将云端的AI前置服务器配置再本地边缘计算节点上，直接对数据终端的视频回传数据进行处理，分摊云端压力，进一步提高数据的处理效率。

附图说明

图1为本发明系统框图；

图2为本发明业务流程示意图。

具体实施方式

下面结合具体实施例进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

传统的安防监控业务模型所有的AI识别算力全部集中在云端，而在5G的网络环境下，海量设备、海量图像视频的接入，云端的接入性能将受到极大冲击，为此本实施例对此作出相应改进，将AI识别进行多层分摊，将不同的功能分摊于物联网数据终端和边缘计算节点上，从而释放云端处理空间，加快数据处理效率。

本实施例的系统组成参考图1所示，一种基于5G和边缘计算的物联网数据终端系统，包括：

用于获取前端监控数据的物联网数据终端，终端内置图像处理模块，能够对视频输入进行格式转化和抽帧；

位于物联网数据终端与云业务之间的边缘计算服务器，边缘计算服务器搭建AI前置服务平台，负责监控数据图像的前置识别、图像抽样、去重和数据切片；

设备管理云，用于对物联网数据终端以及各节点设备进行远程监控和远程配置、更新流量计费；

业务云，包括基于视频场景中AI的图像训练服务以及基于用户需求的业务接口，提供给用户进行定制开发，其中图像训练服务用于构建运算模型，由云端进行统一调度和配置，运算结果保持和服务器端实时交互和更新。

上述系统中，各节点业务处理流程如图2所示，其包括数据预处理、数据标注、标注数据质量检测、数据训练等几部分组成。

数据预处理在物联网数据终端完成，主要由图像处理模块完成，其处理流程为：

S101：将视频数据转换为平台可处理的格式，如视频转换为mp4、mkv；

S102：根据数据规范对源数据进行重命名，并需保留原始信息；

S103：当需要提供抽帧服务，将视频数据需要根据要求抽帧成为图片数据。

数据标注、标注数据质量检测、数据训练则在AI前置服务平台完成，其处理流程为：

S201：将预处理后的数据导入到边缘计算服务器中自动进行标注；

S202：注结果输出为xml或json格式，并需要将标注结果保存一份至数据库中，数据库中记录标注边缘服务器及终端相关信息；

S203：将标注数据异步与云端进行数据交互和验证，云端通过采样抽检对数据有效性进行标记，并对回传的边缘服务器和终端进行置信数据刷新；

S204：将有效的标注数据作为本期训练数据，训练数据放于边缘服务器上，并异步与云端平台通过交互数据。

上述的图像训练服务需要配合人工进行标注，以确保识别精度的提升，其处理步骤为：

S301：标注人员使用标注工具来进行人脸的标注，标注工具的输入包括符合要求的搜集的公共图片、视频转成的图片以及每张图片对应的人脸标签；

S302：所有标注结果都要在系统中进行人工二次审核，审核通过的才能进行下一步操作，审核不通过的可直接作废或删除；

S303：标注结果以文本文件的方式导出，使用Xml或者Json结构来描述，标注完成的图片以及标注产生的Json/Xml文件将会被上传至学习平台进行神经网络模型的训练和验证。

每一个图片文件对应一个标注文件，标注文件包含了多条标注信息作为一个标注信息的数组。

AI学习子平台支持基于Tensorflow、Caffe和其它AI框架所搭建的深度学习网络，通过组件化的方式实现各种网络架构的灵活调用，易于实现不同规模样本集合下训练复杂度与模型精确度之间的折衷，平台也能够引入及验证新的网络架构。学习平台通过运行python或c++的训练程序完成模型的训练及验证。训练所需的参数（如训练样本及标签文件的读取路径，模型输出文件路径，训练的超参数配置等）完成配置。学习平台所可配置的超参数包括而不限于以下，若无特殊训练需求，一般可以使用系统预存的默认配置文件。管理员也可在登录训练系统主机后通过vim等编辑器进行自定义配置gflags文件的创建与修改。在进行模型训练和验证时，能够将相关数据显示在控制台界面上，以便用户直观地监测训练进度及效果。网络训练阶段，反馈数据主要包括当前迭代轮数、训练图片批次读取进度、当前训练批次的总损失值、当前训练批次上的准确率等。通过观测训练集的损失值及准确率，用户可以判断训练算法是否有效，是否已收敛。

神经网络模型的验证支持k-folds方法实现交叉验证，其步骤为：

S401：将已标注的样本集随机分为k个包，每次留其中一个包作为验证集，剩下k-1个包作为训练集进行训练：

S402：:在模型训练轮次完成后进行验证，输出每一次验证集图片的准确率，以便监测模型是否出现过拟合现象。

作为一种优选实施例，神经网络模型训练和验证完成以后，生成可供使用的tensorflow checkpoint或caffemodel模型文件；同时学习子平台会对模型训练生成日志文件，日志文件会存放在本地以供模型训练者观察训练过程，日志文件为文本文件形式，其文件命名规则为：

{训练脚本名}-{配置文件名}-{训练开始时间(仅保留数字)}.{所用平台}.log，如：kingofglory_train-alexnet_config-20170923120626.tf.log。

在模型训练人员完成模型训练后，生成了模型文件。模型训练人员使用模型管理子系统对模型记录进行管理。首先在模型管理子系统中新建或选择一条模型记录，再选择该模型记录将模型文件注册成对应模型下的最新版本，模型记录字段包括名称、编码、描述、创建用户、创建时间，版本记录字段包括对应模型、版本号、模型文件路径、创建用户、创建时间。

模型训练人员最后通过系统或手工方式将模型文件下载到前置服务平台上，运维人员使用模型部署工具将模型文件载入到深度学习框架中。模型下载、部署过程都会自动生成相应的日志。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.一种基于5G和边缘计算的物联网数据终端系统，其特征在于，包括：

用于获取前端监控数据的物联网数据终端，用于完成数据预处理；

位于物联网数据终端与云业务之间的边缘计算服务器，所述边缘计算服务器搭建AI前置服务平台，负责监控数据图像的前置识别、图像抽样、去重和数据切片；

设备管理云，用于对物联网数据终端以及各节点设备进行远程监控和远程配置、更新流量计费；

业务云，包括基于视频场景中AI的图像训练服务以及基于用户需求的业务接口，提供给用户进行定制开发；

所述的图像训练服务，其处理完成后的图片、文件将会上传至学习平台进行神经网络模型的训练和验证；

所述神经网络模型训练和验证完成以后，生成可供使用的tensorflow checkpoint或caffemodel模型文件；同时学习子平台会对模型训练生成日志文件，日志文件会存放在本地以供模型训练者观察训练过程，日志文件为文本文件形式，其文件命名规则为：

{训练脚本名}-{配置文件名}-{训练开始时间(仅保留数字)}.{所用平台}.log；

所述的神经网络模型通过系统或手工方式将模型文件下载到AI前置服务平台上，运维人员使用模型部署工具将模型文件载入到深度学习框架中，模型下载、部署过程都会自动生成相应的日志。

2.根据权利要求1所述的基于5G和边缘计算的物联网数据终端系统，其特征在于，所述数据预处理的处理流程为：

S101：将视频数据转换为平台可处理的格式，如视频转换为mp4、mkv；

S102：根据数据规范对源数据进行重命名，并需保留原始信息；

S103：当需要提供抽帧服务，将视频数据需要根据要求抽帧成为图片数据。

3.根据权利要求2所述的基于5G和边缘计算的物联网数据终端系统，其特征在于，所述AI前置服务平台的业务处理流程为：

S201：将预处理后的数据导入到边缘计算服务器中自动进行标注；

S202：注结果输出为xml或json格式，并需要将标注结果保存一份至数据库中，数据库中记录标注边缘服务器及终端相关信息；

S203：将标注数据异步与云端进行数据交互和验证，云端通过采样抽检对数据有效性进行标记，并对回传的边缘服务器和终端进行置信数据刷新；

S204：将有效的标注数据作为本期训练数据，训练数据放于边缘服务器上，并异步与云端平台通过交互数据。

4.根据权利要求3所述的基于5G和边缘计算的物联网数据终端系统，其特征在于，所述图像训练服务的处理步骤为：

S301：标注人员使用标注工具来进行人脸的标注，标注工具的输入包括符合要求的搜集的公共图片、视频转成的图片以及每张图片对应的人脸标签；

S302：所有标注结果都要在系统中进行人工二次审核，审核通过的才能进行下一步操作，审核不通过的可直接作废或删除；

S303：标注结果以文本文件的方式导出，使用Xml或者Json结构来描述，标注完成的图片以及标注产生的Json/Xml文件将会被上传至学习平台进行神经网络模型的训练和验证。

5.根据权利要求4所述的基于5G和边缘计算的物联网数据终端系统，其特征在于，每一个图片文件对应一个标注文件，标注文件包含了多条标注信息作为一个标注信息的数组。

6.根据权利要求5所述的基于5G和边缘计算的物联网数据终端系统，其特征在于，所述神经网络模型的验证支持k-folds方法实现交叉验证，其步骤为：

S401：将已标注的样本集随机分为k个包，每次留其中一个包作为验证集，剩下k-1个包作为训练集进行训练：

S402：在模型训练轮次完成后进行验证，输出每一次验证集图片的准确率，以便监测模型是否出现过拟合现象。

Images