CN114494933A - 基于边缘智能的水文监测站图像识别监测系统 - Google Patents
基于边缘智能的水文监测站图像识别监测系统 Download PDFInfo
- Publication number
- CN114494933A CN114494933A CN202111486649.5A CN202111486649A CN114494933A CN 114494933 A CN114494933 A CN 114494933A CN 202111486649 A CN202111486649 A CN 202111486649A CN 114494933 A CN114494933 A CN 114494933A
- Authority
- CN
- China
- Prior art keywords
- edge
- monitoring
- electrically connected
- output end
- system based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 121
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000011161 development Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 6
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 claims description 4
- 240000007651 Rubus glaucus Species 0.000 claims description 3
- 244000235659 Rubus idaeus Species 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 8
- 238000013441 quality evaluation Methods 0.000 abstract description 3
- 238000003860 storage Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 14
- 230000006399 behavior Effects 0.000 description 12
- 238000013507 mapping Methods 0.000 description 12
- 238000007781 pre-processing Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及水文监测站技术领域，且公开了基于边缘智能的水文监测站图像识别监测系统，包括智能摄像头、边缘节点、宏基站、智能移动终端、云中心和可视化中心，所述智能摄像头的输出端与边缘节点的输入端电性连接在一起，所述边缘节点的输出端与宏基站的输入端电性连接在一起，所述宏基站的输出端与云中心的输入端电性连接在一起，所述云中心的输出端与可视化中心的输入端电性连接在一起；所述宏基站的输出端与智能移动终端电性连接在一起。本发明中，根据水文监测站运营管理目标，研究制定水文监测站智能运营管理质量评价标准、监测评估技术标准，以建立统一的水文监测站运营管理监测评价体系，达到了方便监测的效果。
Description
技术领域
本发明涉及水文监测站技术领域，尤其涉及基于边缘智能的水文监测站图像识别监测系统。
背景技术
边缘计算是计算系统从扁平到边缘，以及面向5G网络架构演进的必然技术，同时也提供了一种新的生态系统和价值链。第三方数据分析机构IDC预测，到2020年，全球将有约500亿的智能设备接入互联网，其中主要涉及智能手机、可穿戴设备、个人交通工具等，其中40％的数据需要边缘计算服务。边缘计算有着强大市场潜力，也引起了各研究机构、标准组织、服务提供商和产业界极大的关注。比如，手机就是人与云中心之间的边缘结点，网关是智能家居和云中心之间的边缘结点。在理想环境中，边缘计算指的就是在数据产生源附近分析、处理数据，没有数据的流转，进而减少网络流量和响应时间。
目前市场上已有的水文监测站主要靠人为去监测，导致人力成本增加；人工长时间监控易疲劳，致使监控的疏忽、遗漏或者误判安全隐患；人工监控和人员情绪、状态、工作经验、性格和生活条件的影响，安全判别带有强烈的主观意识，缺乏客观性。因此，人工检查存在监管费用高、主观干扰大、不能全程监控等一系列问题。缺乏专业的水文监测工作队伍，水文监测工作的顺利开展受到水文监测工作人员综合素质的影响。工作人员的专业性与监测质量直接挂钩，缺乏专业的水文监测工作队伍，就会导致水文监测服务于其他行业时出现较多的质量问题。实际工作中，如果监测人员的素质过低，缺乏积极的工作态度，就会影响水文监测数据的有效性与可利用性，水文监测工作的价值就无法体现出来。
为此，我们提出基于边缘智能的水文监测站图像识别监测系统。
发明内容
本发明主要是解决上述现有技术所存在的技术问题，提供基于边缘智能的水文监测站图像识别监测系统。
为了实现上述目的，本发明采用了如下技术方案，基于边缘智能的水文监测站图像识别监测系统，包括智能摄像头、边缘节点、宏基站、智能移动终端、云中心和可视化中心，所述智能摄像头的输出端与边缘节点的输入端电性连接在一起，所述边缘节点的输出端与宏基站的输入端电性连接在一起，所述宏基站的输出端与云中心的输入端电性连接在一起，所述云中心的输出端与可视化中心的输入端电性连接在一起；
所述宏基站的输出端与智能移动终端电性连接在一起；
所述智能移动终端的外部设置有CDN主服务器，所述智能移动终端输出端与边缘节点的输入端电性连接在一起，所述边缘节点的输出端与CDN主服务器的输入端电性连接在一起，所述CDN主服务器的输出端与云中心的输入端电性连接在一起。
作为优选，所述智能摄像头由摄像头、开发板和边缘计算系统构成，摄像头采用6mm以上的焦距的摄像头，开发板采用Raspberry Pi 4B(树莓派)进行开发。
作为优选，所述边缘计算系统，采用边缘计算，所述边缘计算包括以下步骤：
第一步：前期系统环境及数据准备；
第二步：SSD网络训练部分；
第三步：深度学习理论计算部分；
第四步：测试部分。
作为优选，所述第一步的前期系统环境及数据准备包括：在Ubunut 18.04 系统中，配置Pytorch环境框架，使用工业摄像头获取大量的数据集，依据 g(x,y)＝f(x,y)*h(x,y)，并且对图像的亮度、对比度、饱和度、色调等进行调节，增加其清晰度，减少噪点等，旋转，卷积，自适应滤波、用一阶偏导的有限差分来计算梯度的幅值和方向等方法。
作为优选，所述第二步中SSD网络训练部分包括：输入一幅图片，让图片经过卷积神经网络(CNN)提取特征，并生成feature map；
所述第二步中使用矩阵卷积来计算图像各个尺度的特征，从而达到多尺度，使得特征更具有语义性；
所述第二步中确定训练图片中的ground truth(真实目标)与哪个先验框来进行匹配，与之匹配的先验框所对应的边界框将负责预测它。
作为优选，所述第三步中深度学习理论计算部分包括：前向传播计算激活值，把每一层的图像与对应的卷积核进行卷积运算，再通过池化操作聚合统计，通过这些特征图来训练一个分类器；在此过程中，图片多以三维等形式出现，每一层具有u*v个参数，在每一个输出上都加上一个偏置单元；即输出为：
被激活等导致的流过这个神经元的梯度将都变成0，给所有负值赋予一个非零斜率
ai是(1， +∞)区间内的固定参数。
作为优选，所述第三步中通过反向传播-交叉熵损失函数，
损失代价函数：
子中，m代表已知样本数，代表第几层样本，y代表实际的标签，a表示预测的输出，n表示样本的总数量。
作为优选，所述第三步中通过学习率(lr)，批处理(batch)、num_works 等参数设置；
所述第四步中通过设置先验框：每个单元预测多个边界框，借鉴了anchors box的原理，对于每个单元都会设置多个先验框，都含有一个检测值，对应一个边界框，损失函数定义为位置误差
与置信度误差的加权和：其中N是先验框的正样本数量，这里x^p_{ij}\in{1,0}为一个指示参数，当x^p_{ij}＝1时表示第i个先验框与第j个ground truth匹配，并且ground truth的类别为p；c为类别置信度预测值，l为先验框的所对应边界框的位置预测值，而g是ground truth的位置参数；对于位置误差，其采用Smooth L1 loss。
作为优选，所述第四步中测试部分包括：在配置好环境的系统下加载训练好的模型至网络；
所述第四步中通过工业摄像头推流至局域网中，树莓派获取视频流IP地址，把视频流获取到的每一帧画面进行处理；
所述第四步中抽取每张画面其中六层的feature map，然后再feature map 的每个点上生成default box(各层的个数不同，但每个点都有)；
所述第四步中将生成的所有default box都集合起来，全部丢到NMS(极大值抑制)中，输出筛选后的default box，并输出。
有益效果
本发明提供了基于边缘智能的水文监测站图像识别监测系统。具备以下有益效果：
(1)、该基于边缘智能的水文监测站图像识别监测系统，通过智能摄像头、边缘节点、宏基站、智能移动终端、云中心和可视化中心之间的相互配合，能够对水文监测站环境实时监测是综合性监测，由于监测的目的不仅是为了提供监测的数据，而且要建立实时智能决策与控制实施等重要功能。因此，水文监测站环境和安全管理基础信息的监控数据采集是最基础、最重要的环节，采集信息的准确与否直接决定了后续信息处理分析、智能决策的有效性。为实现对水文监测站环境监测进行有效规划、信息采集和评价，保证监测数据低时延、有效可靠传输，基于前期水文监测站运营管理监测评价体系研究，构建监测与控制的双向交互模型，建立采集数据的分类归纳，对监控环境要素建立标准信息规范，通过归纳分析，研究不同水文监测站数据接入规范和信息传输格式，形成统一、可扩展的信息采集、存储和传输标准。最后，根据水文监测站运营管理目标，研究制定水文监测站智能运营管理质量评价标准、监测评估技术标准，以建立统一的水文监测站运营管理监测评价体系，达到了方便监测的效果。
(2)、该基于边缘智能的水文监测站图像识别监测系统，通过CDN主服务器与当前主流多媒体传输技术CDN(内容分发网络)无缝对接，CDN中的“边缘节点”与局部区域内的众多边缘节点(可能部署于小型基站、宏基站或者计算存储能力强的智能终端的位置)共同组成边缘区域，利用网络中边缘节点的计算、存储和通信能力来辅助部署较稀疏的CDN末梢，从而优化无线多媒体数据的可靠高效传输。本项目提出的视频监控数据传输模型，一方面与主流的CDN 技术兼容，可以借鉴其缓存替换、内容预取和负载均衡等方面的研究成果；另一方面能利用能力和部署均异构的网络边缘节点进一步提升采集数据传输的质量。
(3)、该基于边缘智能的水文监测站图像识别监测系统，水文监测站应用中，大量视频数据需要实时处理，默认条件下，数据检测处理先在云中心完成，控制设备的预警信息再执行，这个操作时间取决于网络带宽和云中心负载状况，由于移动网络的低带宽，控制端的更新延时较长；如果视频流的更新操作从云中心迁移到边缘节点，这样会降低用户请求的响应延时，购物车数据可被缓存在边缘节点，相关的操作可在边缘节点上执行，当用户的请求到达边缘节点时，新的控制信号立即推送到用户设备，边缘节点与云中心的数据同步可在后台进行，提高工作效率
(4)、该基于边缘智能的水文监测站图像识别监测系统，通过对视频图像进行预处理，去除视频图像冗余信息，使得部分或全部视频分析迁移到边缘处，由此降低对云中心的计算、存储和网络带宽需求，提高视频分析的速度，此外，预处理使用的算法采用软件优化、硬件加速等方法，提高视频图像分析的效率。为了降低上传的视频数据，基于边缘预处理功能，我们构建基于行为感知的视频监控数据弹性存储机制。边缘计算软硬件框架为视频监控系统提供具有预处理功能的平台，实时提取和分析视频中的行为特征，实现监控场景行为感知的数据处理机制；根据行为特征决策功能，实时调整视频数据，既减少无效视频的存储，降低存储空间，又最大化存储“事中”证据类视频数据，增强证据信息的可信性，提高视频数据存储空间利用率。
(5)、该基于边缘智能的水文监测站图像识别监测系统，VGG网络最大的优势就是将原来神经网络中的大尺度卷积核转化成为连续几个小卷积核。所以可以看到图1中每一层卷积层都是分成几次进行卷积。这种将大卷积核换成几个小卷积核的方式的优势在于增加了网络的深度，同时也减少了网络的参数，因为每次卷积后会经过激活函数，所以整体网络的非线性也得到了提升。但为了解决深度神经网络隐藏层变多时，网络的准确度达到饱和然后急剧退化，这个退化不是由于过拟合引起的。假设在浅层网络上叠加与其相同，称之为恒等映射的层，那么即使网络深度增加，其训练误差应该不高于原来的浅层网络。因为直接让一些叠加层去拟合一个潜在的恒等映射函数H(x)＝x会比较困难，所以采用一些非线性层，让它们去拟合另一种残差映射F(x)＝H(x)-x，而原来的映射则变成H(x)＝F(x)+x，并且加上空洞卷积降低计算量，且在不降低空间分辨率情况下增大感受野，并且捕获多尺度上下文信息，且不需引入过多的额外参数，使得整体的算法更加轻量化。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单的介绍。显而易见的，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其他的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明实施一结构示意图；
图2为本发明实施例二结构示意图；
图3为本发明SSD网络训练部分结构图；
图4为本发明系统算法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：基于边缘智能的水文监测站图像识别监测系统，如图1所示，包括智能摄像头、边缘节点、宏基站、智能移动终端、云中心和可视化中心。
所述智能摄像头的输出端与边缘节点的输入端电性连接在一起，所述边缘节点的输出端与宏基站的输入端电性连接在一起，所述宏基站的输出端与云中心的输入端电性连接在一起，所述云中心的输出端与可视化中心的输入端电性连接在一起。
所述宏基站的输出端与智能移动终端电性连接在一起。
实施例二：在实施例一的基础上，请参阅图2-图4，所述智能移动终端的外部设置有CDN主服务器，所述智能移动终端输出端与边缘节点的输入端电性连接在一起，所述边缘节点的输出端与CDN主服务器的输入端电性连接在一起，所述CDN主服务器的输出端与云中心的输入端电性连接在一起。
所述智能摄像头由摄像头、开发板和边缘计算系统构成，摄像头采用6mm 以上的焦距的摄像头，以满足较长距离的监测效果；
开发板采用Raspberry Pi 4B(树莓派)进行开发，树莓派4B型主要硬件参数如下：1.5GHz四核64位ARM Cortex-A72芯片、LPDDR4 SDRAM内存，选择为8GB、板载全双工千兆以太网接口、板载双频802.11ac无线网络、板载蓝牙5.0、多I/O接口，可供扩展、两个USB 3.0和两个USB 2.0接口、2个 micro HDMI输出，支持同时驱动双显示器，分辨率高达4K、VideoCore VI显示芯片，支持OpenGL ES 3.x.、支持HEVC视频4Kp60硬解码、USB Type-C供电接口3.3v、5v代表输出引脚3.3v,5v，供其他驱动设备用电。GND代表接地和输出供电的负极。GPIO意思为通用输入/输出端口，通俗地说，就是一些引脚，可以通过它们输出高低电平或者通过它们读入引脚的状态-是高电平或是低电平。GPIO是个比较重要的概念，用户可以通过GPIO口和硬件进行数据交互(如 UART)，控制硬件工作(如LED、蜂鸣器等)，读取硬件的工作状态信号(如中断信号)等；
所述边缘计算系统，在云计算场景下，云计算公司是计算服务的提供者，它们收集、存储、管理数据并且负责软硬件、基础设施的建设和维护。用户付费购买服务，不需要关注计算节点本身的成本，也无需关注服务质量的升级换代过程。这种商业模式为用户使用云服务带来了便利，也让云计算公司具备盈利能力，从而更好的提高服务质量。
水文监测站应用中，大量视频数据需要实时处理，默认条件下，数据检测处理先在云中心完成，控制设备的预警信息再执行，这个操作时间取决于网络带宽和云中心负载状况，由于移动网络的低带宽，控制端的更新延时较长；
如果视频流的更新操作从云中心迁移到边缘节点，这样会降低用户请求的响应延时，购物车数据可被缓存在边缘节点，相关的操作可在边缘节点上执行，当用户的请求到达边缘节点时，新的控制信号立即推送到用户设备，边缘节点与云中心的数据同步可在后台进行。
通过采用边缘计算，针对海量视频数据，云计算中心服务器计算能力有限等问题：我们构建了一种基于边缘计算的视频图像预处理技术。通过对视频图像进行预处理，去除视频图像冗余信息，使得部分或全部视频分析迁移到边缘处，由此降低对云中心的计算、存储和网络带宽需求，提高视频分析的速度，此外，预处理使用的算法采用软件优化、硬件加速等方法，提高视频图像分析的效率。为了降低上传的视频数据，基于边缘预处理功能，我们构建基于行为感知的视频监控数据弹性存储机制。边缘计算软硬件框架为视频监控系统提供具有预处理功能的平台，实时提取和分析视频中的行为特征，实现监控场景行为感知的数据处理机制；根据行为特征决策功能，实时调整视频数据，既减少无效视频的存储，降低存储空间，又最大化存储“事中”证据类视频数据，增强证据信息的可信性，提高视频数据存储空间利用率。
(1)前期系统环境及数据准备
在Ubunut 18.04系统中，配置Pytorch环境框架，使用NVIDIA GTX 1650Ti 显卡，配置CUDA，CUDNN用于深度神经网络的GPU加速库，实现GPU运算能力，在不影响训练结果的情况下大大提高了训练速度。使用工业摄像头获取大量的数据集，依据g(x,y)＝f(x,y)*h(x,y)，并且对图像的亮度、对比度、饱和度、色调等进行调节，增加其清晰度，减少噪点等，旋转，卷积，自适应滤波、用一阶偏导的有限差分来计算梯度的幅值和方向等方法，总共获取多角度及特征 25000张图片，再通过脚本生成PASCALVOC数据集，内含JPEGImages、ImageSets、 Annotation三个文件夹。
(2)SSD网络训练部分
①输入一幅图片，让图片经过卷积神经网络(CNN)提取特征，并生成 featuremap。
②使用矩阵卷积来计算图像各个尺度的特征，从而达到多尺度，使得特征更具有语义性。
SSD的主干网络是VGG，VGG网络模型在2014年的ImageNet图像分类与定位挑战赛，取得了优异成绩：在分类任务上排名第二，在定位任务上排名第一。 VGG网络最大的优势就是将原来神经网络中的大尺度卷积核转化成为连续几个小卷积核。所以可以看到图1中每一层卷积层都是分成几次进行卷积。这种将大卷积核换成几个小卷积核的方式的优势在于增加了网络的深度，同时也减少了网络的参数，因为每次卷积后会经过激活函数，所以整体网络的非线性也得到了提升。但为了解决深度神经网络隐藏层变多时，网络的准确度达到饱和然后急剧退化，这个退化不是由于过拟合引起的。假设在浅层网络上叠加与其相同，称之为恒等映射的层，那么即使网络深度增加，其训练误差应该不高于原来的浅层网络。因为直接让一些叠加层去拟合一个潜在的恒等映射函数H(x)＝x 会比较困难，所以采用一些非线性层，让它们去拟合另一种残差映射 F(x)＝H(x)-x，而原来的映射则变成H(x)＝F(x)+x，并且加上空洞卷积降低计算量，且在不降低空间分辨率情况下增大感受野，并且捕获多尺度上下文信息，且不需引入过多的额外参数，使得整体的算法更加轻量化。
③确定训练图片中的ground truth(真实目标)与哪个先验框来进行匹配，与之匹配的先验框所对应的边界框将负责预测它。在Yolo中，ground truth的中心落在哪个单元格，该单元格中与其IOU最大的边界框负责预测它。但是在 SSD中却完全不一样，SSD的先验框与ground truth的匹配原则主要有两点。首先，对于图片中每个ground truth，找到与其IOU最大的先验框，该先验框与其匹配，这样，可以保证每个ground truth一定与某个先验框匹配。通常称与ground truth匹配的先验框为正样本(其实应该是先验框对应的预测box，不过由于是一一对应的就这样称呼了)，反之，若一个先验框没有与任何ground truth进行匹配，那么该先验框只能与背景匹配，就是负样本。一个图片中ground truth是非常少的，而先验框却很多，如果仅按第一个原则匹配，很多先验框会是负样本，正负样本极其不平衡，所以需要第二个原则。第二个原则是：对于剩余的未匹配先验框，若某个groundtruth的大于某个阈值(一般是0.5)，那么该先验框也与这个ground truth进行匹配。这意味着某个ground truth 可能与多个先验框匹配，这是可以的。但是反过来却不可以，因为一个先验框只能匹配一个ground truth，如果多个ground truth与某个先验框大于阈值，那么先验框只与IOU最大的那个先验框进行匹配。第二个原则一定在第一个原则之后进行，仔细考虑一下这种情况，如果某个ground truth所对应最大小于阈值，并且所匹配的先验框却与另外一个ground truth的大于阈值，那么该先验框应该匹配谁，答案应该是前者，首先要确保某个ground truth一定有一个先验框与之匹配。但是，这种情况我觉得基本上是不存在的。由于先验框很多，某个ground truth的最大肯定大于阈值，所以可能只实施第二个原则既可以了，这里的TensorFlow版本就是只实施了第二个原则，但是这里的Pytorch两个原则都实施了
(3)深度学习理论计算部分
①前向传播计算激活值
把每一层的图像与对应的卷积核进行卷积运算，再通过池化操作聚合统计，通过这些特征图来训练一个分类器。在此过程中，图片多以三维等形式出现，每一层具有u*v个参数，在每一个输出上都加上一个偏置单元。即输出为：
为了达到更好的效果，必须使用深度卷积神经网络，所以为了深度拟合模型，在神经网络的隐藏层和输出单元使用了多种激活函数把线性转换为非线性，能够更好拟合模型在神经网络的隐藏层和输出单元使用了多种激活函数，经过测试总结Leaky ReLU表现最好，效果很稳定。不会像Relu函数单元训练中发生数据多样化的丢失，未被激活等导致的流过这个神经元的梯度将都变成0，给所有负值赋予一个非零斜率。
ai是(1，+∞)区间内的固定参数。
②反向传播-交叉熵损失函数，
损失代价函数：
式子中，m代表已知样本数，代表第几层样本，y代表实际的标签，a表示预测的输出，n表示样本的总数量，该激活函数和交叉熵的配合使用可以完美解决平方损失函数权重更新过慢的问题，具有“误差大的时候，权重更新快；误差小的时候，权重更新慢”的良好性质。
③学习率(lr)，批处理(batch)、num_works等参数设置
在多次训练过程中得出结论：在大数据训练过程中，batchsize设置24对于模型的拟合有较高的效果，学习率初始值设置0.01，梯度下降的过程中，使得找速找到一个平衡点，在迭代次数达到100左右，学习率递减为0.001，此时缩小步幅更容易找到最低点。迭代次数达到200，学习率降至0.0001基础上继续训练，得到鲁棒性最优的模型。num_worker设置得大，好处是寻batch速度快，因为下一轮迭代的batch很可能在上一轮甚至上上一轮迭代时已经加载好了。坏处是内存开销大，也加重了CPU负担，num_workers的经验设置值是自己电脑/服务器的CPU核心数，如果CPU很强、RAM也很充足，就可以设置得更大些。如果num_worker设为0，意味着每一轮迭代时，dataloader不再有自主加载数据到RAM，而是在RAM中找batch，找不到时再加载相应的batch。从而导致速度更慢，在此训练中，该参数设置为4。
④设置先验框：
每个单元预测多个边界框，借鉴了anchors box的原理，对于每个单元都会
设置多个先验框，都含有一个检测值，对应一个边界框，损失函数定义为位置误差与置信度误差的加权和：
其中N是先验框的正样本数量。这里x^p_{ij}\in{1,0}为一个指示参数，当x^p_{ij}＝1时表示第i个先验框与第j个ground truth匹配，并且ground truth的类别为p。c为类别置信度预测值，l为先验框的所对应边界框的位置预测值，而g是ground truth的位置参数。对于位置误差，其采用Smooth L1 loss.
SSD除了在最终特征图上做目标检测之外，还在之前选取的5个特征图上进行预测。SSD网络以VGG16的前5层卷积网络作为第1个stage，然后将VGG16 中的fc6和fc7两个全连接层转化为两个卷积层并将fc_7作为网络的第2个 stage，接着在此基础上，SSD网络继续增加了Conv8、Conv9、Conv10和Conv11 四层网络，用来提取更高层次的语义信息同时作为第3、4、5、6个stage。
SSD模型的输入图片大小是300x300，或512x512。SSD的主干特征提取网络依据VGG-16，并选取了6个有效特征层用来产生先验框，SSD采用不同尺度和长宽比的先验框，每个网格的先验框的数量有4和6，最终共产生8732个box，进行分类和回归。
(4)测试部分
①在配置好环境的系统下加载训练好的模型至网络。
②通过工业摄像头推流至局域网中，树莓派获取视频流IP地址，把视频流获取到的每一帧画面进行处理。
③抽取每张画面其中六层的feature map，然后再feature map的每个点上生成default box(各层的个数不同，但每个点都有)。
④将生成的所有default box都集合起来，全部丢到NMS(极大值抑制)中，输出筛选后的default box，并输出。
本发明的工作原理：
本发明中，通过智能摄像头、边缘节点、宏基站、智能移动终端、云中心和可视化中心之间的相互配合，能够对水文监测站环境实时监测是综合性监测，由于监测的目的不仅是为了提供监测的数据，而且要建立实时智能决策与控制实施等重要功能。因此，水文监测站环境和安全管理基础信息的监控数据采集是最基础、最重要的环节，采集信息的准确与否直接决定了后续信息处理分析、智能决策的有效性。为实现对水文监测站环境监测进行有效规划、信息采集和评价，保证监测数据低时延、有效可靠传输，基于前期水文监测站运营管理监测评价体系研究，构建监测与控制的双向交互模型，建立采集数据的分类归纳，对监控环境要素建立标准信息规范，通过归纳分析，研究不同水文监测站数据接入规范和信息传输格式，形成统一、可扩展的信息采集、存储和传输标准。最后，根据水文监测站运营管理目标，研究制定水文监测站智能运营管理质量评价标准、监测评估技术标准，以建立统一的水文监测站运营管理监测评价体系。
本发明中，通过CDN主服务器与当前主流多媒体传输技术CDN(内容分发网络)无缝对接，CDN中的“边缘节点”与局部区域内的众多边缘节点(可能部署于小型基站、宏基站或者计算存储能力强的智能终端的位置)共同组成边缘区域，利用网络中边缘节点的计算、存储和通信能力来辅助部署较稀疏的CDN末梢，从而优化无线多媒体数据的可靠高效传输。本项目提出的视频监控数据传输模型，一方面与主流的CDN技术兼容，可以借鉴其缓存替换、内容预取和负载均衡等方面的研究成果；另一方面能利用能力和部署均异构的网络边缘节点进一步提升采集数据传输的质量。
本发明中，水文监测站应用中，大量视频数据需要实时处理，默认条件下，数据检测处理先在云中心完成，控制设备的预警信息再执行，这个操作时间取决于网络带宽和云中心负载状况，由于移动网络的低带宽，控制端的更新延时较长；如果视频流的更新操作从云中心迁移到边缘节点，这样会降低用户请求的响应延时，购物车数据可被缓存在边缘节点，相关的操作可在边缘节点上执行，当用户的请求到达边缘节点时，新的控制信号立即推送到用户设备，边缘节点与云中心的数据同步可在后台进行，提高工作效率
本发明中，通过对视频图像进行预处理，去除视频图像冗余信息，使得部分或全部视频分析迁移到边缘处，由此降低对云中心的计算、存储和网络带宽需求，提高视频分析的速度，此外，预处理使用的算法采用软件优化、硬件加速等方法，提高视频图像分析的效率。为了降低上传的视频数据，基于边缘预处理功能，我们构建基于行为感知的视频监控数据弹性存储机制。边缘计算软硬件框架为视频监控系统提供具有预处理功能的平台，实时提取和分析视频中的行为特征，实现监控场景行为感知的数据处理机制；根据行为特征决策功能，实时调整视频数据，既减少无效视频的存储，降低存储空间，又最大化存储“事中”证据类视频数据，增强证据信息的可信性，提高视频数据存储空间利用率。
本发明中，VGG网络最大的优势就是将原来神经网络中的大尺度卷积核转化成为连续几个小卷积核。所以可以看到图1中每一层卷积层都是分成几次进行卷积。这种将大卷积核换成几个小卷积核的方式的优势在于增加了网络的深度，同时也减少了网络的参数，因为每次卷积后会经过激活函数，所以整体网络的非线性也得到了提升。但为了解决深度神经网络隐藏层变多时，网络的准确度达到饱和然后急剧退化，这个退化不是由于过拟合引起的。假设在浅层网络上叠加与其相同，称之为恒等映射的层，那么即使网络深度增加，其训练误差应该不高于原来的浅层网络。因为直接让一些叠加层去拟合一个潜在的恒等映射函数H(x)＝x会比较困难，所以采用一些非线性层，让它们去拟合另一种残差映射F(x)＝H(x)-x，而原来的映射则变成H(x)＝F(x)+x，并且加上空洞卷积降低计算量，且在不降低空间分辨率情况下增大感受野，并且捕获多尺度上下文信息，且不需引入过多的额外参数，使得整体的算法更加轻量化。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.基于边缘智能的水文监测站图像识别监测系统，包括智能摄像头、边缘节点、宏基站、智能移动终端、云中心和可视化中心，其特征在于：所述智能摄像头的输出端与边缘节点的输入端电性连接在一起，所述边缘节点的输出端与宏基站的输入端电性连接在一起，所述宏基站的输出端与云中心的输入端电性连接在一起，所述云中心的输出端与可视化中心的输入端电性连接在一起；
所述宏基站的输出端与智能移动终端电性连接在一起；
所述智能移动终端的外部设置有CDN主服务器，所述智能移动终端输出端与边缘节点的输入端电性连接在一起，所述边缘节点的输出端与CDN主服务器的输入端电性连接在一起，所述CDN主服务器的输出端与云中心的输入端电性连接在一起。
2.根据权利要求1所述的基于边缘智能的水文监测站图像识别监测系统，其特征在于：所述智能摄像头由摄像头、开发板和边缘计算系统构成，摄像头采用6mm以上的焦距的摄像头，开发板采用Raspberry Pi 4B(树莓派)进行开发。
3.根据权利要求2所述的基于边缘智能的水文监测站图像识别监测系统，其特征在于：所述边缘计算系统，采用边缘计算，所述边缘计算包括以下步骤：
第一步：前期系统环境及数据准备；
第二步：SSD网络训练部分；
第三步：深度学习理论计算部分；
第四步：测试部分。
4.根据权利要求3所述的基于边缘智能的水文监测站图像识别监测系统，其特征在于：所述第一步的前期系统环境及数据准备包括：在Ubunut 18.04系统中，配置Pytorch环境框架，使用工业摄像头获取大量的数据集，依据g(x,y)＝f(x,y)*h(x,y)，并且对图像的亮度、对比度、饱和度、色调等进行调节，增加其清晰度，减少噪点等，旋转，卷积，自适应滤波、用一阶偏导的有限差分来计算梯度的幅值和方向等方法。
5.根据权利要求3所述的基于边缘智能的水文监测站图像识别监测系统，其特征在于：所述第二步中SSD网络训练部分包括：输入一幅图片，让图片经过卷积神经网络(CNN)提取特征，并生成feature map；
所述第二步中使用矩阵卷积来计算图像各个尺度的特征，从而达到多尺度，使得特征更具有语义性；
所述第二步中确定训练图片中的ground truth(真实目标)与哪个先验框来进行匹配，与之匹配的先验框所对应的边界框将负责预测它。
6.根据权利要求3所述的基于边缘智能的水文监测站图像识别监测系统，其特征在于：所述第三步中深度学习理论计算部分包括：前向传播计算激活值，把每一层的图像与对应的卷积核进行卷积运算，再通过池化操作聚合统计，通过这些特征图来训练一个分类器；在此过程中，图片多以三维等形式出现，每一层具有u*v个参数，在每一个输出上都加上一个偏置单元；即输出为：
被激活等导致的流过这个神经元的梯度将都变成0，给所有负值赋予一个非零斜率
ai是(1，+∞)区间内的固定参数。
7.根据权利要求6所述的基于边缘智能的水文监测站图像识别监测系统，其特征在于：所述第三步中通过反向传播-交叉熵损失函数，
损失代价函数：
式子中，m代表已知样本数，代表第几层样本，y代表实际的标签，a表示预测的输出，n表示样本的总数量。
8.根据权利要求7所述的基于边缘智能的水文监测站图像识别监测系统，其特征在于：所述第三步中通过学习率(lr)，批处理(batch)、num_works等参数设置；
所述第四步中通过设置先验框：每个单元预测多个边界框，借鉴了anchors box的原理，对于每个单元都会设置多个先验框，都含有一个检测值，对应一个边界框，损失函数定义为位置误差
与置信度误差的加权和：其中N是先验框的正样本数量，这里x^p_{ij}\in{1,0}为一个指示参数，当x^p_{ij}＝1时表示第i个先验框与第j个ground truth匹配，并且ground truth的类别为p；c为类别置信度预测值，l为先验框的所对应边界框的位置预测值，而g是ground truth的位置参数；对于位置误差，其采用Smooth L1 loss。
9.根据权利要求3所述的基于边缘智能的水文监测站图像识别监测系统，其特征在于：所述第四步中测试部分包括：在配置好环境的系统下加载训练好的模型至网络；
所述第四步中通过工业摄像头推流至局域网中，树莓派获取视频流IP地址，把视频流获取到的每一帧画面进行处理；
所述第四步中抽取每张画面其中六层的feature map，然后再feature map的每个点上生成default box(各层的个数不同，但每个点都有)；
所述第四步中将生成的所有defaultbox都集合起来，全部丢到NMS(极大值抑制)中，输出筛选后的default box，并输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111486649.5A CN114494933A (zh) | 2021-12-07 | 2021-12-07 | 基于边缘智能的水文监测站图像识别监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111486649.5A CN114494933A (zh) | 2021-12-07 | 2021-12-07 | 基于边缘智能的水文监测站图像识别监测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114494933A true CN114494933A (zh) | 2022-05-13 |
Family
ID=81492618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111486649.5A Pending CN114494933A (zh) | 2021-12-07 | 2021-12-07 | 基于边缘智能的水文监测站图像识别监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114494933A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115545198A (zh) * | 2022-11-25 | 2022-12-30 | 成都信息工程大学 | 一种基于深度学习模型的边缘智能协同推断方法及系统 |
-
2021
- 2021-12-07 CN CN202111486649.5A patent/CN114494933A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115545198A (zh) * | 2022-11-25 | 2022-12-30 | 成都信息工程大学 | 一种基于深度学习模型的边缘智能协同推断方法及系统 |
| CN115545198B (zh) * | 2022-11-25 | 2023-05-26 | 成都信息工程大学 | 一种基于深度学习模型的边缘智能协同推断方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022083536A1 (zh) | 一种神经网络构建方法以及装置 | |
| EP3940591A1 (en) | Image generating method, neural network compression method, and related apparatus and device | |
| WO2021078027A1 (zh) | 构建网络结构优化器的方法、装置及计算机可读存储介质 | |
| WO2022105714A1 (zh) | 数据处理方法、机器学习的训练方法及相关装置、设备 | |
| CN108280458B (zh) | 群体关系类型识别方法及装置 | |
| WO2022042713A1 (zh) | 一种用于计算设备的深度学习训练方法和装置 | |
| CN111813532B (zh) | 一种基于多任务机器学习模型的图像管理方法及装置 | |
| CN113011282A (zh) | 图数据处理方法、装置、电子设备及计算机存储介质 | |
| JP2023510566A (ja) | ニューラル・ネットワークのための適応的探索方法および装置 | |
| WO2022111617A1 (zh) | 一种模型训练方法及装置 | |
| CN109902274A (zh) | 一种将json字符串转化为thrift二进制流的方法及系统 | |
| WO2023231794A1 (zh) | 一种神经网络参数量化方法和装置 | |
| WO2023217127A1 (zh) | 一种因果关系确定方法及相关设备 | |
| WO2022012668A1 (zh) | 一种训练集处理方法和装置 | |
| WO2022161387A1 (zh) | 一种神经网络的训练方法及相关设备 | |
| CN113505883A (zh) | 一种神经网络训练方法以及装置 | |
| CN114092920B (zh) | 一种模型训练的方法、图像分类的方法、装置及存储介质 | |
| CN114418069A (zh) | 一种编码器的训练方法、装置及存储介质 | |
| CN113162787B (zh) | 电信网络中故障定位的方法、节点分类方法以及相关设备 | |
| CN109918641A (zh) | 文章主题成分分解方法、装置、设备和存储介质 | |
| CN113642700A (zh) | 基于联邦学习和边缘计算的跨平台多模态舆情分析方法 | |
| CN114494933A (zh) | 基于边缘智能的水文监测站图像识别监测系统 | |
| CN116229188B (zh) | 图像处理显示方法、分类模型的生成方法及其设备 | |
| CN113139650A (zh) | 深度学习模型的调优方法和计算装置 | |
| CN116629375A (zh) | 模型处理方法以及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220513 |