CN114067235A - 基于云边端的数据处理系统及方法 - Google Patents

Abstract

本申请公开了一种基于云边端的数据处理系统及方法，通过物联网设备端获取监控视频数据，并将监控视频数据分流到边缘计算节点，从而有效降低网络传输压力和业务端到端时延。通过边缘端和人工智能相结合,对监控视频数据进行实时处理，进行本地优化控制、目标检测和图像处理等数据加工操作，把加工汇集后的高价值数据与云端进行交互，云端进行全网的数据分析，提高数据处理效率。同时本系统在网络覆盖不到的地区，可以先在边缘端进行数据处理，在有网络的情况下将数据上传到云端，云端进行数据存储和分析，具备更强适应性。

Description

基于云边端的数据处理系统及方法

技术领域

本申请涉及大数据领域，尤其涉及一种基于云边端的数据处理系统及方法。

背景技术

随着物联网络设备的普及，设备产生的数据信息量日益增多，设备数据在实际场景中具有数据规模大、数据类型多样、价值密度低和数据流转快速等特征，因此对数据实时处理、数据运算和快速响应等要求随之提升。

以能源行业为例，在能源开采、运输、储存等各个关键环节，均会产生大量的生产数据。在传统模式下，通过人工抄表的方式定期对数据进行收集，并且对设备进行监控检查，以预防安全事故的发生。抄表员定期将收集的数据进行上报，再由数据员对数据进行人工录入和分析，导致人工成本非常高，并且数据分析效率低和时延大，无法实时掌握各关键设备的状态，从而无法提前预见安全事件防范事故。

发明内容

本申请提供了一种基于云边端的数据处理系统及方法，以解决目前针对物联设备产生的数据处理效率低的问题。

为了解决上述技术问题，第一方面，本申请实施例提供了一种基于云边端的数据处理系统，包括物联网设备端和设备端通信连接的边缘端和云端：

物联网设备端，用于获取监控视频数据，并将监控视频数据发送至边缘端；

边缘端，用于对监控视频数据进行数据加工，得到目标视频文件，并将目标视频文件转发至云端，数据加工包括目标检测和图像处理；

云端，用于基于预设的人工智能模型，对目标视频文件进行数据分析，得到视频分析结果，并对视频分析结果进行展示。

本申请实施例通过物联网设备端获取监控视频数据，并将监控视频数据分流到边缘计算节点，从而有效降低网络传输压力和业务端到端时延。通过边缘端和人工智能相结合,对监控视频数据进行实时处理，进行本地优化控制、目标检测和图像处理等数据加工操作，把加工汇集后的高价值数据与云端进行交互，云端进行全网的数据分析，提高数据处理效率。同时本系统在网络覆盖不到的地区，可以先在边缘端进行数据处理，在有网络的情况下将数据上传到云端，云端进行数据存储和分析，具备更强适应性。

在一实施例中，物联网设备端包括多功能摄像头、NVR设备和编码器；

多功能摄像头，用于获取监控视频数据；

NVR设备，用于对监控视频数据进行存储；

编码器，用于将NVR设备存储的监控视频数据编制和转换为目标数据格式，并将编制和转换后的监控视频数据发送至边缘端。

在一实施例中，多功能摄像头，具体用于：

采集原始视频数据；

基于预设的深度学习网络，提取原始视频数据的视频特征，视频特征包括光照特征、拍摄角度特征和拍摄距离特征；

根据视频特征，对监控视频数据进行数据调整，得到监控视频数据。

在一实施例中，边缘端具体用于：

基于多级卷积神经网络，对监控视频数据进行目标检测和图像处理得到目标视频文件，并将目标视频文件转发至云端，多级卷积神经网络采用特征分离方式构建得到。

在一实施例中，边缘端，包括NVR视频网关，NVR视频网关为嵌入式多功能媒体网关，多功能媒体网关能够对监控视频数据进行流媒体协议转换、流媒体分发、多路视频编码和/或视频画面分割。

在一实施例中，边缘端还包括NTS网关，用于将内网服务穿透至云端，作为物联网设备端与云端的翻译器。

在一实施例中，云端包括云端服务器和云端用户设备；

云端服务器，用于基于预设的人工智能模型，对目标视频文件进行数据分析，得到视频分析结果，并将视频分析结果发送至云端用户设备；

云端用户设备，用于接收视频分析结果，并对视频分析结果进行展示。

在一实施例中，人工智能模块为YOLO模型，云端服务器，具体用于：

基于预设YOLO模型，提取目标视频文件中待检测图像帧的图像特征；

基于图像特征，预测待检测图像帧的多个目标分类值和包围框；

基于NMS算法，对多个目标分类值和包围框的进行重叠，得到多个重叠结果；

根据重叠结果，确定待检测图像帧的目标位置和目标类别。

在一实施例中，基于预设YOLO模型，提取目标视频文件中待检测图像帧的图像特征，包括：

将待检测图像帧的尺寸缩放至目标尺寸；

基于预设YOLO模型中的若干个卷积层和池化层，提取尺寸缩放后的待检测图像帧的图像特征。

第二方面，本申请实施例提供一种数据处理方法，应用于边缘端，方法包括：

接收物联网设备端发送的监控视频数据；

对监控视频数据进行数据加工，得到目标视频文件，并将目标视频文件转发至云端，以使云端基于预设的人工智能模型，对目标视频文件进行数据分析，得到视频分析结果，并对视频分析结果进行展示，其中数据加工包括目标检测和图像处理。

需要说明的是，上述第二方面的有益效果请参见第一方面的相关描述，在此不再赘述。

附图说明

图1为本申请实施例提供的数据处理系统的结构示意图；

图2为本申请实施例提供的数据处理方法的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在传统模式下，通过人工抄表的方式定期对数据进行收集，并且对设备进行监控检查，以预防安全事故的发生。抄表员定期将收集的数据进行上报，再由数据员对数据进行人工录入和分析，导致人工成本非常高，并且数据分析效率低和时延大，无法实时掌握各关键设备的状态，从而无法提前预见安全事件防范事故。

为此，本申请实施例提供一种基于云边端的数据处理系统和方法，通过物联网设备端获取监控视频数据，并将监控视频数据分流到边缘计算节点，从而有效降低网络传输压力和业务端到端时延。通过边缘端和人工智能相结合,对监控视频数据进行实时处理，进行本地优化控制、目标检测和图像处理等数据加工操作，把加工汇集后的高价值数据与云端进行交互，云端进行全网的数据分析，提高数据处理效率。同时本系统在网络覆盖不到的地区，可以先在边缘端进行数据处理，在有网络的情况下将数据上传到云端，云端进行数据存储和分析，具备更强适应性。

请参照图1，图1为本申请实施例提供的一种基于云边端的数据处理系统的结构示意图。云边端表示云端、边缘端和边缘计算。

如图1所示，数据处理系统包括物联网设备端101和所述物联网设备端101通信连接的边缘端102和云端103：

所述物联网设备端101，用于获取监控视频数据，并将所述监控视频数据发送至所述边缘端102。

物联网设备端包括但不限于多功能摄像头、传感器、NVR(Network VideoRecorder)设备和编码器等，其通过采集物联网数据，并将物联网数据发送至边缘端进行边缘计算。

所述边缘端102，用于对所述监控视频数据进行数据加工，得到目标视频文件，并将所述目标视频文件转发至所述云端103，所述数据加工包括目标检测和图像处理。

边缘端包括NVR视频网关、边缘计算盒子和NTS网关等，通过边缘端进行边缘计算，以对物联网设备端采集到的监控视频数据进行初步处理，从而降低云端的计算压力，同时通过边缘端与云端分步处理，提高数据处理效率。

所述云端103，用于基于预设的人工智能模型，对所述目标视频文件进行数据分析，得到视频分析结果，并对所述视频分析结果进行展示。

云端包括云端服务器和云端用户设备，通过对边缘端初步处理得到的目标视频文件进行数据分析，降低云端的计算压力，提高数据处理效率。

在一实施例中，所述物联网设备端包括多功能摄像头、NVR设备和编码器；

所述多功能摄像头，用于获取所述监控视频数据；

所述NVR设备，用于对所述监控视频数据进行存储；

所述编码器，用于将所述NVR设备存储的所述监控视频数据编制和转换为目标数据格式，并将编制和转换后的所述监控视频数据发送至所述边缘端。

在本实施例中，多功能摄像头包含温度、湿度、光线、声音等传感器，具备高清镜头拍摄、抓拍图像、夜视、移动侦测、光电成像、网络通信、自动补光、TF卡热拔插等功能，具有领先的深瞳全方位视觉技术。可选地，基于双镜头的立体摄像，获取视频中目标的高度信息，结合人工智能跟踪算法分析目标的行为轨迹，从而精确计算出客流人数及行走方向。支持双目定焦摄像机与高性能GPU模块组成，内嵌深度学习算法，以海量图片及视频资源为路基，通过机器自身提取目标特征，形成深层可供学习的人脸图像，极大的提升目标人脸的检出率具备输出数据流信息。其能够与边缘端建立连接，推送流信息到边缘端，接收边缘端返回信息和功能指令功能。

NVR设备通过网络接收IPC(网络摄像机)设备传输的数字视频码流，并进行存储、管理，从而实现网络化带来的分布式架构优势。支持与边缘端链接，可以同时观看、浏览、回放、管理、存储多个网络摄像机。

编码器将信号(如比特流)或数据进行编制、转换为可用于通讯、传输和存储的信号形式，其支持和边缘端连接。

在一实施例中，所述多功能摄像头，具体用于：

采集原始视频数据；

基于预设的深度学习网络，提取所述原始视频数据的视频特征，所述视频特征包括光照特征、拍摄角度特征和拍摄距离特征；

根据所述视频特征，对所述监控视频数据进行数据调整，得到所述监控视频数据。

在本实施例中，多功能摄像头可以是人工智能巡检AI摄像头(包含太阳能板、一体化支架、传感器)。可选地，摄像头采用域间对抗神经网络，将普通场景下训练的神经网络模型迁移至具体业务场景下，从而充分利用公开标注数据，并在具体业务的特定场景下，实现基于小数据的神经网络模型的有效训练。通过深度学习，针对巡检拍摄到的不同设备，使用卷积神经网络迁移学习等深度学习技术提取特征，在光照、拍摄角度、拍摄距离变化的情况下，自动提升算法鲁棒性。

在一实施例中，所述边缘端具体用于：

基于多级卷积神经网络，对所述监控视频数据进行目标检测和图像处理得到所述目标视频文件，并将所述目标视频文件转发至所述云端，所述多级卷积神经网络采用特征分离方式构建得到。

在本实施例中，边缘端对监控视频数据进行深入学习(使用特征分离方式构建多级CNN网络,相对单一网络结构大幅降低网络规模，在低成本硬件加速器上实现快速目标检测)和图像处理(包括图像去雾、逆光处理和夜视増强，提高室内外场景适配度)处理后得到RTSP视频流和MP4或FLV格式视频文件。

本实施例将边缘端的接入网关等构成的集群当做一个个的小型数据中心，每个边缘节点不再运行单一的任务，而是变成一个可以动态执行被调度该节点的多类型任务的通用计算节点。边缘操作不仅需要负责边缘端上的任务调度、存储网络管理等传统操作系统职责，同时也提供一套完整的安全隔离机制。

可选地，以容器作为轻量级的操作系统隔离机制。根据不同场景下资源的丰富程度和功能需求，部署完整的Docker，更加轻量化的以containerd/runc为基础构建的开源IoT平台或者基于Linux内核的namespace，cgroup技术直接构建定制化容器隔离的IoT平台。可以减少攻击面，减少资源占用和加快响应速度，构建边缘端的安全计算环境，实现动态调度到同一边缘端上任务之间的相互不影响。

在一实施例中，所述边缘端，包括NVR视频网关，所述NVR视频网关为嵌入式多功能媒体网关，所述多功能媒体网关能够对所述监控视频数据进行流媒体协议转换、流媒体分发、多路视频编码和/或视频画面分割。

在本实施例中，NVR视频网关在网络层以上实现网络相互连接，可以用于广域网互连，也可以用于局域网互连，可作为一种存储转发设备，具有高性能的嵌入式多功能媒体网关设备，集流媒体协议转换、流媒体分发服务、多路视频解码、视频画面分割等核心功能于一体，支持与设备端和云端连接、接收设备端原始数据和发送控制信号给设备端等功能。

多功能媒体网关由数字电视调谐器、数字解调器、摄像头、ARM开发板和WIFI路由器构成。软件分为数字电视转发和视频监控两个模块,其中包含TS流解复用、TS流复制分发、多线程响应请求、视频数据采集、数据编码压缩和流媒体数据传输等关键技术。首先,数字调谐器将射频信号解调成多路节目的TS数据流后,传输到流媒体服务器。其次,流媒体rtsp服务器采用live555开源项目进行搭建,以实现在网关系统和边端之间建立流媒体数据连接,使TS数据流可以基于RTSP协议通过网络传输。最后,为实现在局域网中分发数据,采用WIFI路由器构建局域网,达到局域网内的边端设备都能接收视频数据的效果。

可选地，流媒体协议转换为协议之间的转换,其会在视频流断开时自动重启,方便多路流转换的管理。示例性地，协议转换如下:

RTMP->RTMP，RTSP->RTMP，HLS->RTMP，UDP->RTMP，RTMP->RTSP，RTSP->RTSP，HLS->RTSP，UDP->RTSP。

可选地，流媒体分发服务：内容接入模块接收已编码的数据，然后传送至各个调度模块；每个调度模块端都建立一个相应的线性数据存储队列,内容接入模块将接收到的节目数据直接依次发往各调度模块的存储队列中；各调度模块按照一定的时间片段从各自的队列中取出数据,再发送给下一级流传输系统.本方法可大大提高流媒体业务的服务质量,减轻源服务器和网络的负载,减少系统硬件设备投入,增加系统的并发服务能力,使得相同的系统成本,可以服务更多的用户。

可选地，多路视频解码：不同地点的视频图像合成显示，数据工作顺序是首先对4路H.264压缩编码流进行解码；其次将解码后的4路QCIF格式图像进行4个画面合成，合并成一路CIF格式的YUV图像。

可选地，视频画面分割：采用图像压缩和数字化处理技术，多画面分割控制器是采用图像压缩和数字化处理的方法，把多个画面按同样的比例压缩在一个监视器的屏幕上。有的还带有内置顺序切换器的功能，此功能可将各摄像机输入的全屏画面按顺序和间隔时间轮流输出显示在监视器上(如同切换主机轮流切换画面那样)，并可用录像机按上述的顺序和时间间隔记录下来。其间隔时间一般是可调的。具有顺序切换、画中画、多画面输出显示回放影像，互联的摄像机报警显示，点触式暂停画面，报警记录回放，时间、日期、标题显示等功能。

在一实施例中，所述边缘端还包括NTS网关，用于将内网服务穿透至所述云端，作为所述物联网设备端与所述云端的翻译器。

在本实施例中，NTS网关用于将内网服务穿透至云端服务器，以支持公网环境下可以正常访问，对于使用不同的通信协议、数据格式或语言，甚至体系结构完全不同的两种系统之间的翻译器，支持与设备端和云端连接、接收设备端原始数据和发送控制信号给设备端等功能。

在一实施例中，所述云端包括云端服务器和云端用户设备；

所述云端服务器，用于基于预设的人工智能模型，对所述目标视频文件进行数据分析，得到视频分析结果，并将所述视频分析结果发送至所述云端用户设备；

所述云端用户设备，用于接收所述视频分析结果，并对所述视频分析结果进行展示。

在本实施例中，云端服务器包括CVR大数据服务器和NTS服务器。CVR大数据服务器支持AI人脸识别、统计、目标跟踪算法等服务器软件的部署，可以从获取RTSP流进行算法分析，高安全高速度读写计算磁盘阵列，实现空间和数据的精细化管理，从底层保护数据安全，内部高速传输通道，结合对冷热数据的分层存储技术，提供高速带宽体验；周期性批量换盘，具有超高可用性。数据安全高，服务器支持与边缘端连接，接收边缘端结果数据，管理边缘端设备信号功能。

NTS服务器为时间服务器，使用NTP PTPv2 IEEE1588协议直接将时间传递到LAN网络，其配备至少2个10/100Mbps的以太网接口。服务器配备2个独立的GNSS输入(RJ45：ANT1和ANT2)，以支持卫星接收器。可选地，可以将每个GNSS接收器配置为不同的卫星系统(GPS、GLONASS、GALILEO、BEIDOU)。NTS服务器内置石英RTC时钟，可确保在有限短时间内丢失卫星信号的时间。支持与边缘端连接，接收边缘端结果数据，管理边缘端设备信号功能。

云端用户设备包括但不限于手机、电脑和平板，其支持RTSP/RTSM/FLV/HLS等格式的视频流读取，支持无线WiFi或有线网络连接，可以通过安装插件或者软件支持播放或展示视频信息。

在一实施例中，所述人工智能模块为YOLO模型，所述云端服务器，具体用于：

基于预设YOLO模型，提取所述目标视频文件中待检测图像帧的图像特征；

基于所述图像特征，预测所述待检测图像帧的多个目标分类值和包围框；

基于NMS算法，对多个所述目标分类值和包围框的进行重叠，得到多个重叠结果；

根据重叠结果，确定所述待检测图像帧的目标位置和目标类别。

在本实施例中，所述基于预设YOLO模型，提取所述目标视频文件中待检测图像帧的图像特征，包括：将所述待检测图像帧的尺寸缩放至目标尺寸；基于所述预设YOLO模型中的若干个卷积层和池化层，提取尺寸缩放后的所述待检测图像帧的图像特征。

示例性地，YOLO模型由32层网络组成，分别记为layer0到layer31。由于网络模型要求输入的图像是固定大小，因此，待检测的原始图像首先被缩放到608x608，最终进入网络模型的数据尺寸是608x608x3，其中3表示红绿蓝三个通道。经过由卷积层和池化层组成的17个layer后(layer0至layer16)，数据尺寸变成了38x38x512，这表示有512个featuremap，每个feature map的大小是38x38。而layer25将此数据分别传递给上下两条路径，其中上面路径再经过由卷积层和池化层组成的8个layer后(layer17至layer24)，数据尺寸变成了19x19x1024；而下面路径先经过layer26卷积层再进行layer27重排，数据尺寸变成了19x19x256。然后，上下两条路径经过layer28合并为19x19x1280的数据，再经过两个卷积层layer29和layer30，得到数据尺寸为19x19x425，表示有425个feature map，每个featuremap大小是19x19。最后的layer31，则根据确定网络模型时候的假设，为输入的19x19x425数据赋予相应的物理意义，再进行整合得到最终检测结果。总之，网络模型主要通过若干卷积和池化层来提取图像特征并生成检测所需数据，最后通过结果整合层来得到最终的目标检测结果。

其中，卷积层除了包括普通意义卷积层的功能外，还可以包括批归一化(BatchNormalize)和激活函数(activation)；池化层都是普通的2x2的max pooling；重排层则是将38x38的feature map中2x2区域的数据，重排成4个19x19的feature map；合并层只做简单的数据归并；结果整合层的功能，除了在网络模型配置文件中指定的region层外，还包括分散在Darknet实现中的代码，从而组成了一个逻辑完整独立的结果整合层。

在Darknet的网络模型配置参数中，卷积层由卷积、批归一化(Batch Normalize)和激活函数(activation)组成，其中，批归一化又包括归一化和缩放平移两个功能。可选地，在本网络模型中，除了最后一个卷积层layer30的激活函数是线性函数外，其他卷积层的激活函数都是leaky。

结果整合层的输入数据尺寸是19x19x425，即425个feature map，每个featuremap大小是19x19。这意味着，本网络模型将图片均分为19x19的网格，feature map中的每个坐标的元素对应着一个网格grid，而每个网格又被细化为5个bounding box。将这些feature map按下图从左到右从上到下的视角来看，每行有85个feature map，是因为每个bounding box对应着4个调整参数、属于背景的可能性、以及属于80种分类的概率可能性，即一共4+1+80＝85个数值。而因为每个网格被细化为5个bounding box。

任取feature map中的一个元素，记其坐标为该feature map的第i列第j行(zero-based)，那么，对应的bounding box计算公式如下：

bx＝(i+x0)/w；

by＝(j+x1)/h；

bw＝exp(x2)×biases[2×n]/w；

bh＝exp(x3)×biases[2×n+1]/h；

其中，bx、by、bw和bh分别对应bounding box中心的坐标和宽高，x0、x1、x2和x3则对应着第0、1、2、3列的feature map在该坐标位置的数值；w、h是feature map的宽高，这里即19；biases数组是模型参数，其数值随网络模型的确定而确定，对应着网络模型文件中的region层的anchors参数；n取值为0到4对应着行数，每一行都对应着一个不同的boundingbox(不同的宽高)，所以bounding box总数达到了19x19x5＝1805个，因为一张图片被分成了19x19个网格，而每个网格又被细化为5个bounding box，这检测准确性得到了更多的提高。

由于上述公式还对bounding box做了规格化处理，最后结果处于[0,1]范围，因此，第0、1列的feature map的数据要先经过LOGISTIC激活函数，将数据映射到[0,1]范围，然后才代入上述公式。而从第4列开始，表示的是这个bounding box属于背景、属于80种不同分类的可能性，那么，所有可能性累加应该是1，所以，这里的概率数据还进行了softmax处理。

最后，结合NMS(non-max suppress)算法，根据属于80个不同分类的可能性概率和bounding box的重叠情况，给出本图像中的目标位置和目标类别。

图2为本申请实施例提供的基于云边端的数据处理方法的结构示意图。如图2所示，数据处理方法应用于上述边缘端102，方法包括步骤S101和步骤S102。

步骤S101，接收物联网设备端发送的监控视频数据；

步骤S102，对所述监控视频数据进行数据加工，得到目标视频文件，并将所述目标视频文件转发至云端，以使所述云端基于预设的人工智能模型，对所述目标视频文件进行数据分析，得到视频分析结果，并对所述视频分析结果进行展示，其中所述数据加工包括目标检测和图像处理。

可以理解，本实施例的解释可参见上述图1所示实施例的相关描述，在此不再赘述。

示例性地，对于智慧城市方面，通过本申请的设备端采集数据信息，边端物联设备本地进行实时处理、预测，将本地处理提取的特征数据传输给云端大脑，另一方面将人工智能与分布在城市中的传感器结合，协同大数据打通各系统平台，使得城市运营出现的诸多问题能够更加及时、有效的发现和处理。例如，在城市路面检测中，在道路两侧路灯上安装传感器收集城市路面信息，检测空气质量、光照强度、噪音水平等环境数据，当路灯发生故障时能够及时反馈至维护人员。边缘计算还可以利用本地部署的GPU服务器，实现毫秒级的人脸识别、物体识别等智能图像分析。

示例性地，对于智慧工厂场景，通过在边缘计算环境中安装和连接的智能设备能够处理关键任务数据并实时响应，而不是通过网络将所有数据发送到云端并等待云端响应。由于基本分析正在边缘设备上进行，因此延迟几乎为零。利用这种新增功能，数据处理变得分散，网络流量大大减少。云端可以在以后收集这些数据进行第二轮评估，处理和深入分析。同时，单点故障在工业级应用场景中是绝对不能被接受的，因此除了云端的统一控制外，基于边缘计算节点的工业现场具备一定的计算能力，能够自主判断并解决问题，及时检测异常情况，更好的实现预测性监控，提升工厂运行效率的同时也能预防设备故障问题。

示例性地，对于智慧农业场景，通过运用物联网、云计算、大数据、人工智能技术，可实时远程获取蔬菜大棚种植地的相关信息，通过网络传输到云端，经过作物生长模型分析适宜作物生长的各种条件，云端将分析后的模型下放到智能网关，智能网关根据模型和摄像机等设备采集到信息，对蔬菜大棚种植地中的各种设备实时进行控制，保证种植地的空气温湿度、土壤水分、土壤温度、光照强度。同时还可以根据作物长势或病虫草害图像情况，有效降低劳动强度和生产成本，减少病害发生，提升农产品品质和经济效益。

在本申请所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围。特别指出，对于本领域技术人员来说，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于云边端的数据处理系统，其特征在于，包括物联网设备端和所述物联网设备端通信连接的边缘端和云端；

所述物联网设备端，用于获取监控视频数据，并将所述监控视频数据发送至所述边缘端；

所述边缘端，用于对所述监控视频数据进行数据加工，得到目标视频文件，并将所述目标视频文件转发至所述云端，所述数据加工包括目标检测和图像处理；

所述云端，用于基于预设的人工智能模型，对所述目标视频文件进行数据分析，得到视频分析结果，并对所述视频分析结果进行展示。

2.如权利要求1所述的数据处理系统，其特征在于，所述物联网设备端包括多功能摄像头、NVR设备和编码器；

所述多功能摄像头，用于获取所述监控视频数据；

所述NVR设备，用于对所述监控视频数据进行存储；

所述编码器，用于将所述NVR设备存储的所述监控视频数据编制和转换为目标数据格式，并将编制和转换后的所述监控视频数据发送至所述边缘端。

3.如权利要求2所述的数据处理系统，其特征在于，所述多功能摄像头，具体用于：

采集原始视频数据；

基于预设的深度学习网络，提取所述原始视频数据的视频特征，所述视频特征包括光照特征、拍摄角度特征和拍摄距离特征；

根据所述视频特征，对所述监控视频数据进行数据调整，得到所述监控视频数据。

4.如权利要求1所述的数据处理系统，其特征在于，所述边缘端具体用于：

基于多级卷积神经网络，对所述监控视频数据进行目标检测和图像处理得到所述目标视频文件，并将所述目标视频文件转发至所述云端，所述多级卷积神经网络采用特征分离方式构建得到。

5.如权利要求1所述的数据处理系统，其特征在于，所述边缘端，包括NVR视频网关，所述NVR视频网关为嵌入式多功能媒体网关，所述多功能媒体网关能够对所述监控视频数据进行流媒体协议转换、流媒体分发、多路视频编码和/或视频画面分割。

6.如权利要求1所述的数据处理系统，其特征在于，所述边缘端还包括NTS网关，用于将内网服务穿透至所述云端，作为所述物联网设备端与所述云端的翻译器。

7.如权利要求1所述的数据处理系统，其特征在于，所述云端包括云端服务器和云端用户设备；

所述云端服务器，用于基于预设的人工智能模型，对所述目标视频文件进行数据分析，得到视频分析结果，并将所述视频分析结果发送至所述云端用户设备；

所述云端用户设备，用于接收所述视频分析结果，并对所述视频分析结果进行展示。

8.如权利要求7所述的数据处理系统，其特征在于，所述人工智能模块为YOLO模型，所述云端服务器，具体用于：

基于预设YOLO模型，提取所述目标视频文件中待检测图像帧的图像特征；

基于所述图像特征，预测所述待检测图像帧的多个目标分类值和包围框；

基于NMS算法，对多个所述目标分类值和包围框的进行重叠，得到多个重叠结果；

根据重叠结果，确定所述待检测图像帧的目标位置和目标类别。

9.如权利要求1所述的数据处理系统，其特征在于，所述基于预设YOLO模型，提取所述目标视频文件中待检测图像帧的图像特征，包括：

将所述待检测图像帧的尺寸缩放至目标尺寸；

基于所述预设YOLO模型中的若干个卷积层和池化层，提取尺寸缩放后的所述待检测图像帧的图像特征。

10.一种数据处理方法，其特征在于，应用于边缘端，所述方法包括：

接收物联网设备端发送的监控视频数据；

对所述监控视频数据进行数据加工，得到目标视频文件，并将所述目标视频文件转发至云端，以使所述云端基于预设的人工智能模型，对所述目标视频文件进行数据分析，得到视频分析结果，并对所述视频分析结果进行展示，其中所述数据加工包括目标检测和图像处理。

Images