CN109859183B - 基于边缘计算的多要素一体化水体智能识别方法及生态站 - Google Patents
基于边缘计算的多要素一体化水体智能识别方法及生态站 Download PDFInfo
- Publication number
- CN109859183B CN109859183B CN201910086068.9A CN201910086068A CN109859183B CN 109859183 B CN109859183 B CN 109859183B CN 201910086068 A CN201910086068 A CN 201910086068A CN 109859183 B CN109859183 B CN 109859183B
- Authority
- CN
- China
- Prior art keywords
- water
- target
- image
- deep learning
- piece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 441
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000004364 calculation method Methods 0.000 title claims abstract description 66
- 238000013135 deep learning Methods 0.000 claims abstract description 71
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000013507 mapping Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 19
- 238000007499 fusion processing Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 43
- 238000005259 measurement Methods 0.000 abstract description 31
- 238000004422 calculation algorithm Methods 0.000 description 36
- 238000012545 processing Methods 0.000 description 36
- 230000004927 fusion Effects 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000003672 processing method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 239000003344 environmental pollutant Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 231100000719 pollutant Toxicity 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 241000258957 Asteroidea Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000003673 groundwater Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 239000008239 natural water Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种基于边缘计算的多要素一体化水体智能识别方法及生态站,方法包括:获取由水体检测传感组件采集的目标水域当前的至少一个第一水体透明度信息和至少一个第一水位信息;将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络,并基于该SSD深度学习网络输出的塞氏盘的图像识别结果,应用边缘计算方法获取目标水域当前的第二水体透明度信息;基于所述第二水体透明度信息和至少一个所述第一水体透明度信息确定所述目标水域当前的最优水体透明度信息。本申请能够在提高水质监测监测过程的稳定性和可靠性,并能够有效提高水质监测监测结果的准确性,进而有效提高对目标水域的水位和水体透明度的测量精度。
Description
技术领域
本申请涉及水质监测技术领域,具体涉及一种基于边缘计算的多要素一体化水体智能识别方法及生态站。
背景技术
水质监测是指监视和测定水体中污染物的种类、各类污染物的浓度及变化趋势,评价水质状况的过程。监测范围十分广泛,包括未被污染和已受污染的天然水(江、河、湖、海和地下水)及各种各样的工业排水等。也用于经常性的地表及地下水监测、监视性的生产和生活过程监测以及应急性的事故监测。水质监测可以为环境管理提供数据和资料,可以为评价江河和海洋水质状况提供依据。
现有技术中,水质监测的方式通常有两种,其一为通过传统的传感器设备分别对目标水域的水体或者水体透明度等信息进行独立采集,并单独输出,另外,现有技术中还提供了另一种水质监测方式,即:通过与图像识别技术进行结合,来实现对目标水域的水体透明度等信息的识别。
然后,现有的通过传统的传感器设备进行水质监测的方式,由于这种方式存在人为因素影响过大且自动化程度低,使得该种方式存在监测结果不够准确的问题,而另一种与图像识别技术进行结合来进行水质自动监测的方式,由于图像识别算法测量与检测结果的准确度是建立在有大量图像数据基础之上的,因此,在利用采集的水域图像这个单一要素作为测量输入,且没有反馈数据的情况下,水质自动监测系统就会进入不稳定状态,也就是说,无论是上述哪一种水质监测方式,均存在无法保证水质监测的准确性和稳定性的问题。
发明内容
针对现有技术中的问题,本申请提供一种基于边缘计算的多要素一体化水体智能识别方法及生态站,能够在提高水质监测监测过程的稳定性和可靠性,并能够有效提高水质监测监测结果的准确性,进而有效提高对目标水域的水位和水体透明度的测量精度。
为解决上述技术问题,本申请提供以下技术方案:
第一方面,本申请提供一种基于边缘计算的多要素一体化水体智能识别方法,包括:
获取由水体检测传感组件采集的目标水域当前的至少一个第一水体透明度信息和至少一个第一水位信息;
以及,将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络,并基于该SSD深度学习网络输出的塞氏盘的图像识别结果,应用边缘计算方法获取目标水域当前的第二水体透明度信息,其中,所述塞氏盘包括:柱体,以及,多个包含有两色相间的作业面的圆盘,且各个所述圆盘环绕所述柱体呈螺旋阶梯式固定排布;
基于所述第二水体透明度信息和至少一个所述第一水体透明度信息确定所述目标水域当前的最优水体透明度信息。
进一步地,还包括:
根据浸有塞氏盘的所述目标水域图像确定目标水域当前的至少一个第二水位信息;
基于所述第一水位信息和至少一个所述第二水位信息确定所述目标水域当前的最优水位信息。
进一步地,所述基于所述第二水体透明度信息和至少一个所述第一水体透明度信息确定所述目标水域当前的最优水体透明度信息,包括:
对所述第二水体透明度信息和至少一个所述第一水体透明度信息进行数据融合处理,并将该数据融合处理的结果作为所述目标水域当前的最优水体透明度信息;
相对应的,所述基于所述第一水位信息和至少一个所述第二水位信息确定所述目标水域当前的最优水位信息,包括:
对所述第一水位信息和至少一个所述第二水位信息进行数据融合处理,并将该数据融合处理的结果作为所述目标水域当前的最优水位信息。
进一步地,在所述将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络之前,还包括:
接收图像采集设备采集的浸有塞氏盘的目标水域图像。
进一步地,在所述将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络之前,还包括:
增加SSD深度学习网络的不同层之间的特征映射联系;
以及,增加SSD深度学习网络的特征金字塔中的特征层的个数。
进一步地,在所述将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络之前,还包括:
获取多个浸有塞氏盘的水域图像,且各个所述水域图像中均包含有塞氏盘中的可见圆盘的标签,其中,所述标签用于表明所述可见圆盘是否位于水面之上;
将多个所述水域图像作为训练样本集,训练得到SSD深度学习网络。
第二方面,本申请提供一种基于边缘计算的多要素一体化水体智能识别装置,包括:
第一数据采集模块,用于获取由水体检测传感组件采集的目标水域当前的至少一个第一水体透明度信息和至少一个第一水位信息;
第二数据采集模块,用于将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络,并基于该SSD深度学习网络输出的塞氏盘的图像识别结果,应用边缘计算方法获取目标水域当前的第二水体透明度信息,其中,所述塞氏盘包括:柱体,以及,多个包含有两色相间的作业面的圆盘,且各个所述圆盘环绕所述柱体呈螺旋阶梯式固定排布;
数据结合模块,用于基于所述第二水体透明度信息和至少一个所述第一水体透明度信息确定所述目标水域当前的最优水体透明度信息。
第三方面,本申请提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的基于边缘计算的多要素一体化水体智能识别方法的步骤。
第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的基于边缘计算的多要素一体化水体智能识别方法的步骤。
第五方面,本申请提供一种基于边缘计算的多要素一体化生态站,包括:图像采集设备、水体检测传感组件、塞氏盘和计算机设备;
所述计算机设备用于实现所述的基于边缘计算的多要素一体化水体智能识别方法的步骤;
所述图像采集设备的图像采集端与所述塞氏盘相对设置,用于采集浸有塞氏盘的目标水域图像,并将该目标水域图像发送至所述计算机设备;
所述水体检测传感组件用于检测所述目标水域当前的至少一个第一水体透明度信息和至少一个第一水位信息,并将该至少一个第一水体透明度信息和至少一个第一水位信息发送至所述计算机设备。
由上述技术方案可知,本申请提供一种基于边缘计算的多要素一体化水体智能识别方法,通过获取由水体检测传感组件采集的目标水域当前的至少一个第一水体透明度信息和至少一个第一水位信息;以及,将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络,并基于该SSD深度学习网络输出的塞氏盘的图像识别结果,应用边缘计算方法获取目标水域当前的第二水体透明度信息,其中,所述塞氏盘包括:柱体,以及,多个包含有两色相间的作业面的圆盘,且各个所述圆盘环绕所述柱体呈螺旋阶梯式固定排布;基于所述第二水体透明度信息和至少一个所述第一水体透明度信息确定所述目标水域当前的最优水体透明度信息,能够在提高水质监测监测过程的稳定性和可靠性,并能够有效提高水质监测监测结果的准确性,进而有效提高对目标水域的水位和水体透明度的测量精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中的基于边缘计算的多要素一体化水体智能识别方法的流程示意图。
图2为本申请实施例中的述塞氏盘的结构示意图。
图3为本申请实施例中的塞氏盘的两色相间的作业面的举例示意图。
图4为本申请实施例中的基于边缘计算的多要素一体化水体智能识别方法的中的步骤400和步骤500的流程示意图。
图5为本申请实施例中的包含有步骤301和步骤501的基于边缘计算的多要素一体化水体智能识别方法的流程示意图。
图6为本申请实施例中的包含有步骤A00的基于边缘计算的多要素一体化水体智能识别方法的流程示意图。
图7为本申请实施例中的基于边缘计算的多要素一体化水体智能识别方法中给的步骤001和步骤002的流程示意图。
图8为本申请实施例中基于边缘计算的多要素一体化水体智能识别方法中的步骤B01和步骤B02的流程示意图。
图9为本申请实施例中的基于边缘计算的多要素一体化水体智能识别装置的结构示意图。
图10为本申请实施例中的电子设备的结构示意图。
图11本申请实施例中的基于边缘计算的多要素一体化生态站的架构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
从边缘计算的发展趋势来看,边缘计算的发展大概经历了两次变革:云计算与浅层识别的结合、云计算与深度学习的结合。
云计算与浅层识别的结合,其特点是利用主频较低的处理器,进行数据采集与低逻辑的分析过程。例如对室内温度的采集,如果温度达不到标准,进行相应的智能PID温度控制。这种识别与云端的交互过多,很多情况下,需要云中心下达控制指令,对主服务器的依赖程度过高。在此阶段,云服务器由于需要控制与决策,导致任务繁重。服务器算力要求大,资源消耗大。更为重要的是,前端边缘计算模块的智能不能快速升级,能力大打折扣。
云计算与深度学习的结合时当下研究的热点,在这个阶段的边缘计算设备往往采用主频较高的处理器,能够灵活的采集各种视频、图像、音频、物理量信息。它们大都拥有深度学习的能力,与云端交互比较少,有自主决策的能力。不会把大量的冗余信息上传给云服务器,增加其负担。更为重要的是,在些阶段的边缘计算模块智能化程度高,而且能够快带升级。数据不用再传到遥远的云端,在边缘侧就能解决,更适合实时的数据分析和智能化处理,也更加高效而且安全。
此阶段边缘计算具备的几点特质:
1.分布式和低延时计算。
2.对终端设备的数据进行筛选,不必每条原始数据都传送到云,充分利用设备的空闲资源,在边缘节点处过滤和分析,节能省时。
3.减缓数据爆炸,网络流量的压力,在进行云端传输时通过边缘节点进行一部分简单数据处理,进而能够设备响应时间,减少从设备到云端的数据流量。
4.智能化(Edge intelligence)对于未来而言物联网也好、AR或则VR场景也好以及大数据和人工智能行业,实际上都有着极强的对近场计算的需求,边缘计算保障大量的计算需要在离终端很近的区域完成计算,完成苛刻的低延时服务响应。
但是,云计算与深度学习结合的边缘计算对硬件的处理能力要求更高。对于算法的时间复杂度与深度学习的网络模型速度与精度也提出了特别苛刻的要求。
在传统测量手段中,雷达水位测量、浊度仪水质测量数据是分开独立进行数据处理,单独显示。本案多要素一体化站实现了雷达、浊度测量、图像处理等多要素数据在边缘设备端利用精确的算法进行了数据融合。融合了基于硬件的接触式测量数据与基于软件的图像识别的非接触式测量数据,形成了一个稳定的闭环反馈系统。
在一种水质监测的现有技术中,利用搭载STM32F103处理器的嵌入式设备,采集摄像头的图片。通过网络在此边缘嵌入式平台上进行SOCKET通信,把图像回传到数据服务器进行图像存储与图像处理,从而在服务端利用SIFT尺度不变特征提取、HOG方向梯度直方图特征提取、SURF加速稳健特征提取等方法来获得有用信息。利用搭载STM32F103处理器的嵌入式设备采集雷达与浊度仪的水位与水质数据,不进行任合数据处理直接上传服务器。该方式采用类似于STM32F103这类的处理器,它们的运行速度是非常低的。它们仅仅只能够完成比较初级的数据采集与分析工作。如果进行水域水位的识别会有两个天然的技术缺陷:
1、由于该方式采用的处理器主频低,没有智能化的处理能力。那么,前端采集的水域水位图片需要全部回传到服务器进行处理,不管是有效的图片还是无效的图片,都要上传。在前端采集点很大的情况下,会造成网络带宽的极大消耗。更为重要的是,服务器的工作量会随着的采集点的增加,快速加大。
2、由于该方式在服务器端采用的是传统图像处理算法,对于水域水位识别这样的目标分割工作来说,工作量相当大。由于水域分割是很大程度上是寻找不规则的曲线,对于传统图像处理算法并不能很好的找到分割特征。传统图像处理方法中HOG方向梯度直方图特征提取方法在水域水位识别的主要思想是在一幅图像中,局部目标的表象和形状(appearance and shape)能够被梯度或边缘的方向密度分布很好地描述。(本质:梯度的统计信息,而梯度主要存在于边缘的地方)。水域水位识别会存在大量的河岸线的边缘信息,HOG方法在这种边缘信息提取过程中存在计算时间复杂度大的缺点。
3、由于该方式采用类似于STM32F103这类的处理器直接对雷达数据与浊度仪数据直接上传服务器,增加了服务器接收消耗。
4、由于该方式中的服务器端收集到回传的图像数据与雷达、浊度仪数据后,仅仅在数据库中进行了简单存储,并没有进行深入的数据挖掘工作。此方案没有最大化的利用数据。
在另一种水质监测的现有技术中,采用FPGA、DSP等带有一定智能算法与并行处理能力的处理器。有别于技术一的处理器平台,本技术方案在采集水域水位图片的同时,把SIFT(尺度不变特征变换匹配算法Scale Invariant Feature Transform),HOG(方向梯度直方图特征Histogram of Oriented Gradient),SURF(加速稳健特征Speeded Up RobustFeatures)等传统图像处理方法移植到了具有一定并行处理能力的处理器上。在处理大上识别出目标结果后,再把结果上传服务端。该方式采用FPGA、DSP等带有一定智能算法与并行处理能力的处理器。它们的运行速度确实得到了很大的提升。与此同时加入了相应的图像处理算法。但是技术二采用的方案并不能很好的进行水域水位的目标识别。因为,SIFT(尺度不变特征变换匹配算法Scale Invariant Feature Transform),HOG(方向梯度直方图特征Histogram of Oriented Gradient),SURF(加速稳健特征Speeded Up RobustFeatures)等传统图像处理方法并不能很好的对水域水位目标进行分割。在技术方案一中,传统图像处理算法在拥有强大算力的服务器上也不能得出很好的结果。所以把这些算法移植到高频处理器平台上,只有减少服务器负荷这一个优点,但却不能从根本上提高对于水域水位图片的识别精度。
可以理解的是,边缘计算就是在靠近物理实体或数据源头的网络边缘侧进行数据的计算、存储与应用。“这样一种能够提供边缘智能互联服务的计算方式,将进一步加强信息技术与产业技术的融合,满足新兴技术与工程技术融合发展的需求,实现深度、智能化、实时性的处理。
随着信息技术的快速发展,处理器的速度正以几何级数进行提升。与此同时,网络技术的快速发展带来了网络带宽的急速扩展。这些IT基础设施的提升,为边缘计算提供了很好的运行基础。
图像数据一直以来就是人们热衷研究的对象,因为一张图片在仅仅消耗少量存储空间的情况下,却能蕴含大量反映真实世界的高价值的信息。有鉴于此,各种场景的图像数据采集越来越频繁,数据量积累也越发庞大,不管是数量还是种类,都正以几何倍速在增长。通过这些图像可以挖掘出人的所思所想、现实场景的变化信息、各种事物变化的过程等等有用信息,为进一步决策做出依据。因此,在图像采集的源头进行边缘计算,获得图像中的目标信息是下一代IT技术的发展趋势。
为了识别图像中相关信息,当下流行的有很多种方法,目前主流的方法有以下两种:
1、利用图像采集设备进行图像采集之后,通过网络在边缘嵌入式平台上进行SOCKET通信,把图像回传到数据服务器进行图像存储与图像处理,从而在服务端提取有用信息。
2、浅层边缘计算。这种方法大都流行使用FPGA、DSP等带有一定智能算法与并行处理能力的处理器,在此之上使用传统的,例如SIFT(尺度不变特征变换匹配算法ScaleInvariant Feature Transform),HOG(方向梯度直方图特征Histogram of OrientedGradient),SURF(加速稳健特征Speeded Up Robust Features)等算法。通过这些特征对目标进行识别,然后再结合相应的规则策略对目标进行定位与识别。
3、本申请实施例是传统雷达、浊度仪的测量方法与深度学习图像处理方法相融合。多要素一体化站实现了雷达水位测量、浊度仪水质测量的接触式测量数据与图像识别等非接触式数据的融合。
通过研究表明,对于现实场景的图像进行信息提取、信息识别和信息检索往往受限于图片的数据量、图像中等识别的目标量、图像识别的速度。在这三个方向上作何一点的突破都具有重要的意义和价值。而要让计算机像人一样对图像数据进行分类,识别具有很大的困难,别具挑战。
当下,深度学习(Deep Learning)尤其是卷积神经网络(CNN)作为近几年来图像处理及模式识别中的研究重点,受到人们越来越多的关注,它是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据。深度学习的算法从理论上有别于传统图像处理算法,它能够更加快速、更加准确的找到图像中的识别目标。
深度学习图像处理算法测量与检测结果的准确度是建立在有大量图像数据基础之上的。但是,利用图像这个单一要素作为测量输入且没有反馈数据的情况下,系统会进入不稳定状态。因此,本案对传统测量方法与深度学习图像处理方法进行了结合。
基于上述内容,本申请实施例公开一种基于边缘计算的多要素一体化生态站。目的是在改进的Jetson TX2单模块计算机之上,结合数据融合算和深度学习图像处理技术,实现在边缘计算设备上对雷达、浊度仪、图像数据等多要素测量数据的融合,提高整个系统目标测量精度。它在引入原有雷达、浊度仪等传统测量数据的基础上,结合深度学习的图像处理方法。使系统获得了极大的测量准确度。系统硬件主体基于改进的Jetson TX2单模块超级计算机,引入了雷达与浊度仪等相关设备的测量数据。与此同时,系统软件利用数据融合算法与改进的SSD深度学习算法,对雷达、浊度仪、图像处理数据多要素测量数据进行融合,提高系统的测量精度。
深度学习图像处理算法专门针对水域水位识别的特点,改进了SSD深度学习网络。与此同时,把改进后的SSD深度学习算法,很好的布署在了Jetson TX2之上,与LINUX系统进行了高效的融合。相比与传统的识别方法,在准确率与视频检测实时性方面有了很大提升。
雷达、浊度仪数据与深度学习图像处理算法测量的数据,会在数据融合算法上进行融合。整个系统会运行在Jetson TX2单板计算机上。
在本申请的一个或多个实施例中,边缘计算(Edge computing)是一种在物理上靠近数据生成的位置处理数据的方法。它指的是接近于事物,数据和行动源头处的计算,所以也可以把这种类型的数据处理使用更通用的术语来表示:邻近计算或者接近计算(Proximity Computing)。
在本申请的一个或多个实施例中,SSD(single shot multibox detector)算法是一种直接预测bounding box的坐标和类别的目标检测(object detection)算法,没有生成proposal的过程。利用不同卷积层的特征映射feature map进行综合达到在视频中实时快速检测目标的效果。
在本申请的一个或多个实施例中,Jetson TX2基于NVIDIA Pascal架构的AI单模块超级计算机。性能强大,外形小巧,节能高效,可以运行更大型、更复杂的深度神经网络。
在本申请的一个或多个实施例中,多要素是指包含有雷达、浊度仪、图像识别等多个数据参量。
为了通过结合传统的检测方式与深度学习智能识别方式,来实现水位信息何最优透明度信息的有效识别,在本申请的一个实施例中,参见图1,所述基于边缘计算的多要素一体化水体智能识别方法具体包含有如下内容:
步骤100:获取由水体检测传感组件采集的目标水域当前的至少一个第一水体透明度信息和至少一个第一水位信息。
可以理解的是,所述水体检测传感组件有水位检测设备和水体透明度检测设备组成。例如,所述有水位检测设备可以为具体可以包含有水尺、电子水尺、浮子水位计、超声波水位计、压力式水位计、跟踪式水位计和激光水位计中的至少一个。所述水体透明度检测设备可以为雷达水位计。
步骤200:将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络,并基于该SSD(single shot multibox detector)深度学习网络输出的塞氏盘的图像识别结果,应用边缘计算方法获取目标水域当前的第二水体透明度信息,其中,所述塞氏盘包括:柱体,以及,多个包含有两色相间的作业面的圆盘,且各个所述圆盘环绕所述柱体呈螺旋阶梯式固定排布。
参见图2,在本申请的一个实施例中,所述塞氏盘包括:柱体,以及,多个包含有两色相间的作业面的圆盘;各个所述圆盘环绕所述柱体呈螺旋阶梯式固定排布,且各个所述圆盘的作业面同向设置且均与所述柱体的轴向垂直。
在一种举例中,参见图3,所述两色相间的作业面可以有黑白两色的油漆等涂料涂刷而成,且黑白两色的涂刷面均为90度的扇形面。
另外,各个所述圆盘之间的距离均为预先获知的,为了测量方便,可以进一步将,各个所述圆盘沿所述柱体的轴向方向的竖直距离相同,例如,各个所述圆盘之间的竖直距离可以根据实际应用场景设置为5至50cm等。
可以理解的是,各个所述圆盘环绕所述柱体呈螺旋阶梯式固定排布,且各个所述圆盘的作业面同向设置且均与所述柱体的轴向垂直。且所述柱体由较细的延伸杆和较粗的套设在延伸杆外部的固定柱组成;各个所述圆盘分别固定设置在所述固定柱上,且各个所述圆盘在沿所述固定柱的轴向方向上的间距相同。
步骤300:基于所述第二水体透明度信息和至少一个所述第一水体透明度信息确定所述目标水域当前的最优水体透明度信息。
从上述描述可知,本申请实施例提供的多要素一体化水体智能识别方法,能够在提高水质监测监测过程的稳定性和可靠性,并能够有效提高水质监测监测结果的准确性,进而有效提高对目标水域的水位和水体透明度的测量精度。
为了在实现最优透明度信息获取的同时,也获取最优水位信息来进一步提高水质监测监测结果的准确性,在本申请的一个实施例中,参见图4,所述基于边缘计算的多要素一体化水体智能识别方法还具体包含有如下内容:
步骤400:根据浸有塞氏盘的所述目标水域图像确定目标水域当前的至少一个第二水位信息。
步骤500:基于所述第一水位信息和至少一个所述第二水位信息确定所述目标水域当前的最优水位信息。
为了进一步提高最优水位信息及最优水体透明度信息的准确性,来进一步提高水质监测监测结果的准确性,在本申请的一个实施例中,参见图5,所述基于边缘计算的多要素一体化水体智能识别方法中的步骤300和步骤500分别具体以步骤301和步骤501的形式实现,具体包含有如下内容:
步骤301:对所述第二水体透明度信息和至少一个所述第一水体透明度信息进行数据融合处理,并将该数据融合处理的结果作为所述目标水域当前的最优水体透明度信息。
步骤501:对所述第一水位信息和至少一个所述第二水位信息进行数据融合处理,并将该数据融合处理的结果作为所述目标水域当前的最优水位信息。
为了进一步提供数据采集的可靠性,来为后续的水体智能识别提供准确的数据基础,在本申请的一个实施例中,参见图6,所述基于边缘计算的多要素一体化水体智能识别方法中的还具体包含有步骤A00,所述步骤A00具体包含有如下内容:
步骤A00:接收图像采集设备采集的浸有塞氏盘的目标水域图像。
为了通过模型结构的改进来进一步提供图像识别的准确性,来进一步提高水质监测监测结果的准确性,在本申请的一个实施例中,参见图7,所述基于边缘计算的多要素一体化水体智能识别方法中的步骤200之前还具体包含有如下内容:
步骤001:增加SSD深度学习网络的不同层之间的特征映射联系。
步骤002:增加SSD深度学习网络的特征金字塔中的特征层的个数。
为了进一步提供数据采集的可靠性,来为后续的水体智能识别提供准确的数据基础,在本申请的一个实施例中,参见图8,所述基于边缘计算的多要素一体化水体智能识别方法中的还具体包含有步骤B01和步骤B02,所述步骤B01和步骤B02具体包含有如下内容:
步骤B01:获取多个浸有塞氏盘的水域图像,且各个所述水域图像中均包含有塞氏盘中的可见圆盘的标签,其中,所述标签用于表明所述可见圆盘是否位于水面之上。
步骤B02:将多个所述水域图像作为训练样本集,训练得到SSD深度学习网络。
从软件层面来说,为了通过结合传统的检测方式与深度学习智能识别方式,来实现水位信息何最优透明度信息的有效识别,在本申请的一个实施例中,参见图9,本申请提供一种用于实现所述基于边缘计算的多要素一体化水体智能识别方法中给的全部或部分内容的基于边缘计算的多要素一体化水体智能识别装置,具体包含有如下内容:
第一数据采集模块10,用于获取由水体检测传感组件采集的目标水域当前的至少一个第一水体透明度信息和至少一个第一水位信息。
第二数据采集模块20,用于将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络,并基于该SSD深度学习网络输出的塞氏盘的图像识别结果,应用边缘计算方法获取目标水域当前的第二水体透明度信息,其中,所述塞氏盘包括:柱体,以及,多个包含有两色相间的作业面的圆盘,且各个所述圆盘环绕所述柱体呈螺旋阶梯式固定排布。
数据结合模块30,用于基于所述第二水体透明度信息和至少一个所述第一水体透明度信息确定所述目标水域当前的最优水体透明度信息。
从上述描述可知,本申请实施例提供的多要素一体化水体智能识别装置,能够在提高水质监测监测过程的稳定性和可靠性,并能够有效提高水质监测监测结果的准确性,进而有效提高对目标水域的水位和水体透明度的测量精度。
为了在实现最优透明度信息获取的同时,也获取最优水位信息来进一步提高水质监测监测结果的准确性,在本申请的一个实施例中,所述基于边缘计算的多要素一体化水体智能识别装置还包含有:
第二数据补充采集模块40,用于根据浸有塞氏盘的所述目标水域图像确定目标水域当前的至少一个第二水位信息。
数据结合补充模块50,用于基于所述第一水位信息和至少一个所述第二水位信息确定所述目标水域当前的最优水位信息。
为了进一步提高最优水位信息及最优水体透明度信息的准确性,来进一步提高水质监测监测结果的准确性,在本申请的一个实施例中,所述基于边缘计算的多要素一体化水体智能识别装置中的数据结合模块30和数据结合补充模块50分别具体用于实现下述步骤301和步骤501:
步骤301:对所述第二水体透明度信息和至少一个所述第一水体透明度信息进行数据融合处理,并将该数据融合处理的结果作为所述目标水域当前的最优水体透明度信息。
步骤501:对所述第一水位信息和至少一个所述第二水位信息进行数据融合处理,并将该数据融合处理的结果作为所述目标水域当前的最优水位信息。
为了进一步提供数据采集的可靠性,来为后续的水体智能识别提供准确的数据基础,在本申请的一个实施例中,所述基于边缘计算的多要素一体化水体智能识别装置中的还具体包含有图像采集模块A0,所述图像采集模块A0具体包含有如下内容:
图像采集模块A0,用于接收图像采集设备采集的浸有塞氏盘的目标水域图像。
为了通过模型结构的改进来进一步提供图像识别的准确性,来进一步提高水质监测监测结果的准确性,在本申请的一个实施例中,所述基于边缘计算的多要素一体化水体智能识别装置中还具体包含有如下内容:
特征映射联系增加单元01,用于增加SSD深度学习网络的不同层之间的特征映射联系。
特征层个数增加单元02,用于增加SSD深度学习网络的特征金字塔中的特征层的个数。
为了进一步提供数据采集的可靠性,来为后续的水体智能识别提供准确的数据基础,在本申请的一个实施例中,所述基于边缘计算的多要素一体化水体智能识别装置中的还具体包含有历史数据获取单元B1和模型训练单元B2:
历史数据获取单元B1,用于获取多个浸有塞氏盘的水域图像,且各个所述水域图像中均包含有塞氏盘中的可见圆盘的标签,其中,所述标签用于表明所述可见圆盘是否位于水面之上。
模型训练单元B2,用于将多个所述水域图像作为训练样本集,训练得到SSD深度学习网络。
从硬件层面来说,本申请的实施例还提供能够实现上述实施例中的基于边缘计算的多要素一体化水体智能识别方法中全部步骤的一种电子设备的具体实施方式,参见图10,所述电子设备具体包括如下内容:
处理器(processor)601、存储器(memory)602、通信接口(CommunicationsInterface)603和总线604;
其中,所述处理器601、存储器602、通信接口603通过所述总线604完成相互间的通信;所述通信接口603用于实现计算机设备、水体检测传感组件、图像采集设备以及其他参与机构之间的信息传输;
所述处理器601用于调用所述存储器602中的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中的基于边缘计算的多要素一体化水体智能识别方法中的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
步骤100:获取由水体检测传感组件采集的目标水域当前的至少一个第一水体透明度信息和至少一个第一水位信息。
步骤200:将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络,并基于该SSD深度学习网络输出的塞氏盘的图像识别结果,应用边缘计算方法获取目标水域当前的第二水体透明度信息,其中,所述塞氏盘包括:柱体,以及,多个包含有两色相间的作业面的圆盘,且各个所述圆盘环绕所述柱体呈螺旋阶梯式固定排布。
步骤300:基于所述第二水体透明度信息和至少一个所述第一水体透明度信息确定所述目标水域当前的最优水体透明度信息。
从上述描述可知,本申请实施例提供的电子设备,能够在提高水质监测监测过程的稳定性和可靠性,并能够有效提高水质监测监测结果的准确性,进而有效提高对目标水域的水位和水体透明度的测量精度。
本申请的实施例还提供能够实现上述实施例中的基于边缘计算的多要素一体化水体智能识别方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的基于边缘计算的多要素一体化水体智能识别方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
步骤100:获取由水体检测传感组件采集的目标水域当前的至少一个第一水体透明度信息和至少一个第一水位信息。
步骤200:将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络,并基于该SSD深度学习网络输出的塞氏盘的图像识别结果,应用边缘计算方法获取目标水域当前的第二水体透明度信息,其中,所述塞氏盘包括:柱体,以及,多个包含有两色相间的作业面的圆盘,且各个所述圆盘环绕所述柱体呈螺旋阶梯式固定排布。
步骤300:基于所述第二水体透明度信息和至少一个所述第一水体透明度信息确定所述目标水域当前的最优水体透明度信息。
从上述描述可知,本申请实施例提供的计算机可读存储介质,能够在提高水质监测监测过程的稳定性和可靠性,并能够有效提高水质监测监测结果的准确性,进而有效提高对目标水域的水位和水体透明度的测量精度。
基于上述内容,本申请还提供一种基于边缘计算的多要素一体化生态站的实施例,参见图11,所述基于边缘计算的多要素一体化生态站具体包含有:图像采集设备、水体检测传感组件、塞氏盘和计算机设备;
所述计算机设备用于实现所述的基于边缘计算的多要素一体化水体智能识别方法的任意步骤;
所述图像采集设备的图像采集端与所述塞氏盘相对设置,用于采集浸有塞氏盘的目标水域图像,并将该目标水域图像发送至所述计算机设备;
所述水体检测传感组件用于检测所述目标水域当前的至少一个第一水体透明度信息和至少一个第一水位信息,并将该至少一个第一水体透明度信息和至少一个第一水位信息发送至所述计算机设备。
从上述描述可知,本申请实施例提供的基于边缘计算的多要素一体化生态站,能够在提高水质监测监测过程的稳定性和可靠性,并能够有效提高水质监测监测结果的准确性,进而有效提高对目标水域的水位和水体透明度的测量精度。
另外,为了进一步说明本方案,本申请还提供一种应用所述基于边缘计算的多要素一体化生态站实现基于边缘计算的多要素一体化水体智能识别方法的具体应用实例,具体说明如下:
(一)硬件部分:
1)IPCamera用于视频图像的接入。
2)Jetson TX2单模块计算机,运行操作系统以及软件算法的边缘计算平台。
3)雷达、浊度仪等等基于RS485/RS232工业总线的,接触式测量设备。
4)DTU数据无线传输终端。
5)塞氏盘水体透明度检测件。
塞氏盘水体透明度检测件是一种沉在水中的结构件,它的盘片是有两种规格。一种直径为20CM,另一种直径为30CM。盘与盘之间的间隙为5~10CM。通过把这种结构件沉入水中,在岸上用IPcamara+人工智能的方法,观察在水中能够看到几个盘片,来确定水体的透明度情况。例如,在水中只能看到三个盘片,那么假定盘片与盘片之间为5CM。那么看到三个盘片,则说明水面离最后一个可见的盘片的距离为2x5CM=10CM。那么这个10CM会换算为一个具体的水体透明度值。
这里最为关键的是如何用人工智能的方式确定水面,以及水面以下能见的盘片数量。因此,针对这一研发需求,设计了改进的SSD深度学习网络,这也是本申请的核心创新点之一,且后面的换算过程也由计算机自动化的完成。
(二)软件部分:
1)改进的SSD深度学习网络
利用专门针对水域水位目标识别而设计的SSD深度学习网络,识别特定图片中的水域水位的分布、位置、高程等相关信息。以替代在服务端运行的以及在浅层边缘设备上运行的传统的水域水位目标识别方案。从而达到实时而准确的目标识别,提高工作效率。其中,在将浸有塞氏盘的目标水域图像输入SSD深度学习网络后,将其输入到一个卷积神经网络中,在这期间,经历了多个卷积层和池化层,可以看到在不同的卷积层会输出不同大小的特征映射feature map(这是由于pooling层的存在,它会将图片的尺寸变小),而且不同的特征映射feature map中含有不同的特征,而不同的特征可能对的检测有不同的作用。总的来说,浅层卷积层对边缘更加感兴趣,可以获得一些细节信息,而深层网络对由浅层特征构成的复杂特征更感兴趣,可以获得一些语义信息,对于检测任务而言,一幅图像中的目标有复杂的有简单的,对于简单的patch利用浅层网络的特征就可以将其检测出来,对于复杂的patch利用深层网络的特征就可以将其检测出来,因此,如果同时在不同的特征映射feature map上面进行目标检测,理论上面应该会获得更好的检测效果。
其中,网络模型改进点具体为:
1、本应用实例中改进的SSD深度学习网络针对塞氏盘结构的圆形结构件以及整体成像特征,抽取Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2层的特征映射feature map,然后分别在这些特征映射feature map层上面,结合传统计算机视觉高斯金字塔的特点,对每一个特征映射feature map特征域都进行了不同分辨率的检测。针对特征映射feature map特征域每一个点,结合塞氏盘结构件图像的特点,构造9个不同尺度大小的BB(boundingbox边框回归),然后分别进行检测和分类,生成多个BB(boundingbox)。
2、本应用实例中改进的SSD深度学习网络针对水面的光影,水面特点也做了相应调整。在整个特征映射feature map特征提取中加入了对线条、边缘检测的filter。使整个改进的SSD深度学习网络对于水面的识别也更加的敏感。
3、将不同特征映射feature map获得的BB结合起来,经过NMS(非极大值抑制)方法来抑制掉一部分重叠或者不正确的BB,生成最终的BB集合(即检测结果)。
(三)数据融合-基于多要素的数据融合算法
本应用实例针对边缘计算多要素一体化站存在的多数据源问题提出了数据融合算法。主要用于解决来自多个不同类型传感器,对同一被测参数的测量数据融合问题。该算法主要分两步:1、置信距离测量 2、融合度最优值确定。
置信距离测量
针对被测水体的水位、水质等具体参数。本案引入了雷达、浊度仪、基于图像的塞氏盘识别系统(本案包括这三种,但不限于这三种传感器)。雷达可以测量水位,浊度仪可以检测水质状况。而基于图像的塞氏盘识别系统可以利用人工智能的技术同时检测水位与水质状况。
但是这三者对于同一被测目标的测量参数是没有相关性的,所以在融合之前本案要针对每一个传感器输出数据的有效性进行分析,并且对其两两之间建立联系。本案数据融合算法引入了置信距离的概念。
在多传感器系统中,设利用n个传感器对某被测参数进行测量,Xi表示第i个传感器输出的数据,Xj表示第j个传感器输出的数据。Xi和Xj在理论上近似服从高斯分布。Pi(X)、Pj(X)分别表示Xi和Xj的概率密度。则传感器i与j的置信距离:
在上式(1)中,dij为Xi对Xj的置信距离。
在上式(2)中dji为Xj对Xi的置信距离。置信距离反映了传感器输出数据之间的相互支持关系或者说相互支持程度。
1、融合度最优值确定
根据n个传感器中任意两个传感器输出数据之间的置信距离,可以得出一个置信距离矩阵。如式(3)所示。
得到置信距离矩阵后需要选择一个临界值对置信距离进行划分,用以判断两个传感器输出数据之间是否的确存在支持。这个值是利用改进的SSD深度学习模型、雷达、浊度仪等等传感器数值取均值得出的,记为Bij。利用公式(4)使置信距离矩阵二值化。
dij<=Bij
dij>=Bij
置信距离矩阵二值化后生成关系矩阵Rm,如公式(5)所示。
关系矩阵表示任意两个传感器输出之间是否支持,由此可以判断每一传感器输出数据是否认为有效。这样需要设定第二个临界值,本案记为M。即对于一个传感器输出,当它被大于等于M个传感器支持时,则认为其输出数据有效。M即为融合度最优值。
本应用实例中的整套数据融合算法都是由程序自主完成的,无需人工干涉。
(四)水质监测
S1:改进Jetson TX2单模块计算机,在TX2上加入端接电阻,使其开机自启动、进行CMOS与TTL电平、485串口摄像头电平的电路匹配、载入针对485串口摄像头研发的驱动程序、IPCamera驱动程序。进行图像信息的获取;与此同时,将雷达、浊度仪等传统设备的测量数据同步引入边缘计算设备。
S2:根据水域水位图像中目标识别特点,进行SSD深度学习算法改进。
SSD算法在目标检测领域的效果有目共睹,虽然SSD深度学习网络的效果会随着特征层(特征映射feature map)数量的增加而更好,但是这并不代表简单地增加feture map数量就能有更好的效果,SSD深度学习网络有两个小问题:
1、因为在SSD中,不同层的特征映射feature map都是独立作为分类网络的输入,因此容易出现相同物体被不同大小的框同时检测出来。
2、对小尺寸物体的检测效果比较差
因为水域水位目标的很多特征信息会有很大的相似性,且有些水域的目标信息比较小。所以本系统特别针对水域水位的目标识别进行了改进。
本系统的算法主要从这两方面来改进传统的SSD算法:一方面利用分类网络增加不同层之间的特征映射feature map联系,减少重复框的出现;另一方面增加特征金字塔(feature pyramid)中特征层(特征映射feature map)的个数,使其可以检测更多的小尺寸物体。
S3:根据S2得到的改进的SSD深度学习模型,在大量的水域水位数据上进行深度学习模型训练。
S4:在S3模型训练的基础上,得到深度学习模型MODEL文件,结合步骤1改进的Jetson TX2单模块计算机进行算法的融合与移植。在此之上进行水域水位图片的边缘计算,并得到实时的、准确的目标识别结果。
S5:利用步骤S4得到的检测结果与雷达、浊度仪等等各种各样的传感器在边缘计算端进行数据融合,得出实测水体目标的最优值。
S6:利用DTU数据传输终端把边缘计算的结果传输到云服务器。至此,系统工作完成。
从上述描述可知,本申请应用实例提供的应用所述基于边缘计算的多要素一体化生态站实现基于边缘计算的多要素一体化水体智能识别方法,能够提升水域水位目标识别的准确度与实时性,使得水域水位目标识别不再强烈依赖服务器的运算能力,达到数据实采实测。水域水位预警和力度将大幅提升,发现异常更加及时准确,由于本系统边缘计算能力非常的强大,可以解决大量应用场景的目标识别需求。且新技术的应用将极大程度提升客户在行业内的影响,成为行业新技术应用的引领者。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。在一些情况下,记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
虽然本申请提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书实施例的实施例而已,并不用于限制本说明书实施例。对于本领域技术人员来说,本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书实施例的范围之内。
Claims (10)
1.一种基于边缘计算的多要素一体化水体智能识别方法,其特征在于,包括:
获取由水体检测传感组件采集的目标水域当前的至少一个第一水体透明度信息和至少一个第一水位信息;
以及,将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络,并基于该SSD深度学习网络输出的塞氏盘的图像识别结果,应用边缘计算方法获取目标水域当前的第二水体透明度信息,其中,所述塞氏盘包括:柱体,以及,多个包含有两色相间的作业面的圆盘,且各个所述圆盘环绕所述柱体呈螺旋阶梯式固定排布,各个所述圆盘沿所述柱体的轴向方向的竖直距离相同;所述塞氏盘的图像识别结果用于表明所述塞氏盘中的各个所述圆盘是否位于水面之上;
基于所述第二水体透明度信息和至少一个所述第一水体透明度信息确定所述目标水域当前的最优水体透明度信息;
其中,所述SSD深度学习网络预先针对所述塞氏盘结构的圆盘以及整体成像特征,抽取SSD深度学习网络的多层的特征映射;分别在这些特征映射上结合计算机视觉高斯金字塔,对每一个特征映射的特征域进行不同分辨率的检测。
2.根据权利要求1所述的多要素一体化水体智能识别方法,其特征在于,还包括:
根据浸有塞氏盘的所述目标水域图像确定目标水域当前的至少一个第二水位信息;
基于所述第一水位信息和至少一个所述第二水位信息确定所述目标水域当前的最优水位信息。
3.根据权利要求2所述的多要素一体化水体智能识别方法,其特征在于,所述基于所述第二水体透明度信息和至少一个所述第一水体透明度信息确定所述目标水域当前的最优水体透明度信息,包括:
对所述第二水体透明度信息和至少一个所述第一水体透明度信息进行数据融合处理,并将该数据融合处理的结果作为所述目标水域当前的最优水体透明度信息;
相对应的,所述基于所述第一水位信息和至少一个所述第二水位信息确定所述目标水域当前的最优水位信息,包括:
对所述第一水位信息和至少一个所述第二水位信息进行数据融合处理,并将该数据融合处理的结果作为所述目标水域当前的最优水位信息。
4.根据权利要求1所述的多要素一体化水体智能识别方法,其特征在于,在所述将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络之前,还包括:
接收图像采集设备采集的浸有塞氏盘的目标水域图像。
5.根据权利要求1所述的多要素一体化水体智能识别方法,其特征在于,在所述将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络之前,还包括:
增加SSD深度学习网络的不同层之间的特征映射联系;
以及,增加SSD深度学习网络的特征金字塔中的特征层的个数。
6.根据权利要求1或5所述的多要素一体化水体智能识别方法,其特征在于,在所述将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络之前,还包括:
获取多个浸有塞氏盘的水域图像,且各个所述水域图像中均包含有塞氏盘中的可见圆盘的标签,其中,所述标签用于表明所述可见圆盘是否位于水面之上;
将多个所述水域图像作为训练样本集,训练得到SSD深度学习网络。
7.一种基于边缘计算的多要素一体化水体智能识别装置,其特征在于,包括:
第一数据采集模块,用于获取由水体检测传感组件采集的目标水域当前的至少一个第一水体透明度信息和至少一个第一水位信息;
第二数据采集模块,用于将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络,并基于该SSD深度学习网络输出的塞氏盘的图像识别结果,应用边缘计算方法获取目标水域当前的第二水体透明度信息,其中,所述塞氏盘包括:柱体,以及,多个包含有两色相间的作业面的圆盘,且各个所述圆盘环绕所述柱体呈螺旋阶梯式固定排布,各个所述圆盘沿所述柱体的轴向方向的竖直距离相同;所述塞氏盘的图像识别结果用于表明所述塞氏盘中的各个所述圆盘是否位于水面之上;
数据结合模块,用于基于所述第二水体透明度信息和至少一个所述第一水体透明度信息确定所述目标水域当前的最优水体透明度信息;
其中,所述SSD深度学习网络预先针对所述塞氏盘结构的圆盘以及整体成像特征,抽取SSD深度学习网络的多层的特征映射;分别在这些特征映射上结合计算机视觉高斯金字塔,对每一个特征映射的特征域分别进行不同分辨率的检测。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述的基于边缘计算的多要素一体化水体智能识别方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于边缘计算的多要素一体化水体智能识别方法的步骤。
10.一种基于边缘计算的多要素一体化生态站,其特征在于,包括:图像采集设备、水体检测传感组件、塞氏盘和计算机设备;
所述计算机设备用于实现权利要求1至6任一项所述的基于边缘计算的多要素一体化水体智能识别方法的步骤;
所述图像采集设备的图像采集端与所述塞氏盘相对设置,用于采集浸有塞氏盘的目标水域图像,并将该目标水域图像发送至所述计算机设备;
所述水体检测传感组件用于检测所述目标水域当前的至少一个第一水体透明度信息和至少一个第一水位信息,并将该至少一个第一水体透明度信息和至少一个第一水位信息发送至所述计算机设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910086068.9A CN109859183B (zh) | 2019-01-29 | 2019-01-29 | 基于边缘计算的多要素一体化水体智能识别方法及生态站 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910086068.9A CN109859183B (zh) | 2019-01-29 | 2019-01-29 | 基于边缘计算的多要素一体化水体智能识别方法及生态站 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109859183A CN109859183A (zh) | 2019-06-07 |
CN109859183B true CN109859183B (zh) | 2021-06-04 |
Family
ID=66896656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910086068.9A Active CN109859183B (zh) | 2019-01-29 | 2019-01-29 | 基于边缘计算的多要素一体化水体智能识别方法及生态站 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109859183B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111510500B (zh) * | 2020-04-21 | 2023-03-31 | 江苏卓易信息科技股份有限公司 | 一种基于边缘计算的水质监测数据校准方法 |
CN111581255B (zh) * | 2020-05-06 | 2023-04-07 | 厦门理工学院 | 基于大数据挖掘的高密集图像数据流的分配调度系统 |
WO2021232865A1 (zh) * | 2020-05-18 | 2021-11-25 | 华为技术有限公司 | 一种对象识别方法、装置、设备及介质 |
CN112067517A (zh) * | 2020-09-11 | 2020-12-11 | 杭州市地下管道开发有限公司 | 一种河湖水体智慧监测方法、设备、系统及可读存储介质 |
CN112087528B (zh) * | 2020-09-29 | 2023-09-19 | 南昌工程学院 | 一种基于深度学习的水环境智能监测系统及方法 |
CN112242008B (zh) * | 2020-10-17 | 2021-09-07 | 郑州西亚斯学院 | 一种用于透明容器的ar交互视觉感知方法及系统 |
CN113252614B (zh) * | 2021-05-26 | 2022-07-22 | 浙江大学 | 一种基于机器视觉的透明度检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106053395A (zh) * | 2016-05-31 | 2016-10-26 | 北京建筑大学 | 水体透明度测量装置及其测量方法 |
CN106353283A (zh) * | 2016-11-04 | 2017-01-25 | 青岛佳明测控科技股份有限公司 | 水体透明度检测方法及基于该方法的检测装置 |
CN107860727A (zh) * | 2017-10-25 | 2018-03-30 | 宇星科技发展(深圳)有限公司 | 一种检测水质透明度的方法及装置 |
CN108596221A (zh) * | 2018-04-10 | 2018-09-28 | 江河瑞通(北京)技术有限公司 | 标尺读数的图像识别方法及设备 |
CN108627481A (zh) * | 2018-06-08 | 2018-10-09 | 四川盈乾建设工程有限公司 | 一种高准确性的水体透明度检测装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6224061B2 (ja) * | 2015-12-22 | 2017-11-01 | 株式会社プロドローン | 水位測定システムおよび水位制御システム、並びに、これらを用いた水位測定方法および水位制御方法 |
-
2019
- 2019-01-29 CN CN201910086068.9A patent/CN109859183B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106053395A (zh) * | 2016-05-31 | 2016-10-26 | 北京建筑大学 | 水体透明度测量装置及其测量方法 |
CN106353283A (zh) * | 2016-11-04 | 2017-01-25 | 青岛佳明测控科技股份有限公司 | 水体透明度检测方法及基于该方法的检测装置 |
CN107860727A (zh) * | 2017-10-25 | 2018-03-30 | 宇星科技发展(深圳)有限公司 | 一种检测水质透明度的方法及装置 |
CN108596221A (zh) * | 2018-04-10 | 2018-09-28 | 江河瑞通(北京)技术有限公司 | 标尺读数的图像识别方法及设备 |
CN108627481A (zh) * | 2018-06-08 | 2018-10-09 | 四川盈乾建设工程有限公司 | 一种高准确性的水体透明度检测装置 |
Non-Patent Citations (1)
Title |
---|
水质综合评价方法探讨;李奇珍等;《 人民黄河》;20070131;第29卷(第1期);第52页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109859183A (zh) | 2019-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109859183B (zh) | 基于边缘计算的多要素一体化水体智能识别方法及生态站 | |
CN107123131B (zh) | 一种基于深度学习的运动目标检测方法 | |
Yin et al. | Improved PSPNet-based water shoreline detection in complex inland river scenarios | |
CN109784259B (zh) | 基于图像识别的水体透明度智能识别方法及塞氏盘组件 | |
CN111553321A (zh) | 一种流动商贩目标检测模型、检测方法及其管理方法 | |
CN112163496A (zh) | 一种基于语义分割的嵌入式终端水库水位预警方法 | |
Wu et al. | Underwater trash detection algorithm based on improved YOLOv5s | |
CN115861619A (zh) | 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统 | |
CN111814696A (zh) | 一种基于改进YOLOv3的视频船舶目标检测方法 | |
CN110909656A (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
Luo et al. | RBD-Net: robust breakage detection algorithm for industrial leather | |
CN112434682B (zh) | 基于多传感器的数据融合方法、装置及存储介质 | |
CN112669452B (zh) | 一种基于卷积神经网络多分支结构的物体定位方法 | |
US20240193788A1 (en) | Method, device, computer system for detecting pedestrian based on 3d point clouds | |
Dong et al. | Visual Detection Algorithm for Enhanced Environmental Perception of Unmanned Surface Vehicles in Complex Marine Environments | |
Li et al. | Serial number inspection for ceramic membranes via an end-to-end photometric-induced convolutional neural network framework | |
Xie et al. | Yolov4-mobilenetv2-dw-lcarm: A real-time ship detection network | |
Hou et al. | Application of YOLO V2 in construction vehicle detection | |
Feng et al. | Lightweight detection network for arbitrary-oriented vehicles in UAV imagery via precise positional information encoding and bidirectional feature fusion | |
Dong et al. | Accurate and real-time visual detection algorithm for environmental perception of USVS under all-weather conditions | |
Bhaganagar et al. | A novel machine-learning framework with a moving platform for maritime drift calculations | |
Norelyaqine et al. | Deep learning for building extraction from high-resolution remote sensing images | |
Ashraf et al. | Efficient Pavement Crack Detection and Classification Using Custom YOLOv7 Model | |
Wafi et al. | Insulator Detection via CNN for UAS Onboard Computers | |
Vermunt | Efficient Classification of Aircraft Marshalling Signs with FMCW Radar |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: 100097 room 10e, unit 2 (block B), 9 / F, building 2, yard 2, lantianchang East Road, Haidian District, Beijing (Building 2, Jinyuan times business center) Patentee after: Kunyu (Beijing) Technology Co.,Ltd. Address before: A646, 7th Floor, 7th Floor, No. 28 Xinxin Road, Haidian District, Beijing, 100085 Patentee before: RICHWAY (BEIJING) TECHNOLOGY Co.,Ltd. |