CN117745472A - 基于轻量化传感模型的河道管理方法及系统 - Google Patents
基于轻量化传感模型的河道管理方法及系统 Download PDFInfo
- Publication number
- CN117745472A CN117745472A CN202311771138.7A CN202311771138A CN117745472A CN 117745472 A CN117745472 A CN 117745472A CN 202311771138 A CN202311771138 A CN 202311771138A CN 117745472 A CN117745472 A CN 117745472A
- Authority
- CN
- China
- Prior art keywords
- sensing data
- data sets
- groups
- sensing
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims abstract description 49
- 230000009467 reduction Effects 0.000 claims abstract description 79
- 230000001360 synchronised effect Effects 0.000 claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 28
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 17
- 238000013075 data extraction Methods 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 13
- 238000013139 quantization Methods 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004821 distillation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 11
- 230000004044 response Effects 0.000 abstract description 5
- 238000012795 verification Methods 0.000 description 11
- 238000012216 screening Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000013618 particulate matter Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- ZAMOUSCENKQFHK-UHFFFAOYSA-N Chlorine atom Chemical compound [Cl] ZAMOUSCENKQFHK-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000460 chlorine Substances 0.000 description 1
- 229910052801 chlorine Inorganic materials 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Landscapes
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明公开了基于轻量化传感模型的河道管理方法及系统,涉及河道管理技术领域,该方法包括:获取河道集成传感器;接收河道集成传感器对目标河道的多组传感数据集;得到基于数据有效性识别的多组有效传感数据集;在相同时序下分别对多组有效传感数据集进行比对,进行同步映射还原处理,得到多组还原传感数据集;得到基于数据重复性筛除后的多组轻量化传感数据集;按照多组轻量化传感数据集建立目标河道的轻量化传感模型,基于轻量化传感模型对目标河道进行管理。本发明解决了现有技术中河道管理响应速度慢,处理效率低的技术问题,达到了在保证河道管理质量的基础上,对数据进行轻量化处理,提升管理效率的技术效果。
Description
技术领域
本发明涉及河道管理技术领域,具体涉及基于轻量化传感模型的河道管理方法及系统。
背景技术
河道的有效管理对于保证用水的稳定性有着十分重要的意义。目前,随着河道管理质量要求越来越高,需要关注、监测的项目越来越多,导致数据分析周期较长,无法对河道进行高效的动态管理。现有技术存在着河道管理响应速度慢,处理效率低的技术问题。
发明内容
本申请提供了基于轻量化传感模型的河道管理方法及系统,用于针对解决现有技术中河道管理响应速度慢,处理效率低的技术问题。
鉴于上述问题,本申请提供了基于轻量化传感模型的河道管理方法及系统。
本申请的第一个方面,提供了基于轻量化传感模型的河道管理方法,所述方法包括:
获取河道集成传感器,其中,所述河道集成传感器包括多个子传感器,所述多个子传感器至少包括水质传感器、水位传感器、环境传感器和图像采集器;
接收所述河道集成传感器对目标河道的多组传感数据集;
对所述多组传感数据集分别进行传感数据有效性识别,得到基于数据有效性识别的多组有效传感数据集;
在相同时序下分别对所述多组有效传感数据集进行比对,经由同步映射还原模块对每组有效传感数据集进行同步映射还原处理,得到多组还原传感数据集,所述同步映射还原模块包括时序同步模块、数据提取模块以及还原输出模块;
将所述多组还原传感数据集进行还原重复性识别,得到基于数据重复性筛除后的多组轻量化传感数据集;
按照所述多组轻量化传感数据集建立所述目标河道的轻量化传感模型,基于所述轻量化传感模型对所述目标河道进行管理。
本申请的第二个方面,提供了基于轻量化传感模型的河道管理系统,所述系统包括:
集成传感器获得模块,用于获取河道集成传感器,其中,所述河道集成传感器包括多个子传感器,所述多个子传感器至少包括水质传感器、水位传感器、环境传感器和图像采集器;
传感数据集接收模块,用于接收所述河道集成传感器对目标河道的多组传感数据集;
有效传感数据集获得模块,用于对所述多组传感数据集分别进行传感数据有效性识别,得到基于数据有效性识别的多组有效传感数据集;
还原传感数据集获得模块,用于在相同时序下分别对所述多组有效传感数据集进行比对,经由同步映射还原模块对每组有效传感数据集进行同步映射还原处理,得到多组还原传感数据集,所述同步映射还原模块包括时序同步模块、数据提取模块以及还原输出模块;
轻量化传感数据集获得模块,用于将所述多组还原传感数据集进行还原重复性识别,得到基于数据重复性筛除后的多组轻量化传感数据集;
河道管理模块,用于按照所述多组轻量化传感数据集建立所述目标河道的轻量化传感模型,基于所述轻量化传感模型对所述目标河道进行管理。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
本申请通过获取河道集成传感器,其中,河道集成传感器包括多个子传感器,多个子传感器至少包括水质传感器、水位传感器、环境传感器和图像采集器,然后接收河道集成传感器对目标河道的多组传感数据集,进而对多组传感数据集分别进行传感数据有效性识别,得到基于数据有效性识别的多组有效传感数据集,在相同时序下分别对多组有效传感数据集进行比对,经由同步映射还原模块对每组有效传感数据集进行同步映射还原处理,得到多组还原传感数据集,同步映射还原模块包括时序同步模块、数据提取模块以及还原输出模块,然后将多组还原传感数据集进行还原重复性识别,得到基于数据重复性筛除后的多组轻量化传感数据集,然后按照多组轻量化传感数据集建立目标河道的轻量化传感模型,基于轻量化传感模型对目标河道进行管理。达到了在保证河道管理质量的基础上,对数据进行轻量化处理,提升管理效率的技术效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的轻量化传感基于轻量化传感模型的河道管理方法流程示意图;
图2为本申请实施例提供的基于轻量化传感模型的河道管理方法中输出多组有效传感数据集的流程示意图;
图3为本申请实施例提供的基于轻量化传感模型的河道管理方法中得到多组还原传感数据集的流程示意图;
图4为本申请实施例提供的基于轻量化传感模型的河道管理系统结构示意图。
附图标记说明:集成传感器获得模块11,传感数据集接收模块12,有效传感数据集获得模块13,还原传感数据集获得模块14,轻量化传感数据集获得模块15,河道管理模块16。
具体实施方式
本申请通过提供了基于轻量化传感模型的河道管理方法及系统,用于针对解决现有技术中河道管理响应速度慢,处理效率低的技术问题。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
实施例一
如图1所示,本申请提供了基于轻量化传感模型的河道管理方法,其中,所述方法包括:
S100:获取河道集成传感器,其中,所述河道集成传感器包括多个子传感器,所述多个子传感器至少包括水质传感器、水位传感器、环境传感器和图像采集器;
在一个可能的实施例中,为了对河道内的环境进行多方面的可靠监测,构建所述河道集成传感器。其中,所述河道集成传感器包括多个子传感器,通过将多个子传感器的输出信号进行同步处理,从而获得一个输出信号,该输出信号可以对多个子传感器监测到的数据进行同步输出。可选的,所述多个子传感器至少包括水质传感器、水位传感器、环境传感器和图像采集器。所述水质传感器用于对水体中的酸碱度、氧气含量、余氯浓度、悬浮颗粒物浓度等进行监测。所述水位传感器用于对河道的水位进行监测,可以是浮球型水位传感器、压力型水位传感器等。所述环境传感器用于对河道的环境参数(温度、湿度、光照)等进行监测。所述图像采集器用于对河道表面图像进行采集,包括高光谱图像采集器、多光谱图像采集器等。通过获取所述河道集成传感器对河道进行多维度监测,达到了为后续进行河道管理提供可靠管理依据的技术效果,
S200:接收所述河道集成传感器对目标河道的多组传感数据集;
在一个可能的实施例中,通过接收所述河道集成传感器的输出信号,从而所述多组传感数据集。其中,所述多组传感数据集反映了目标河道的多维度状态情况,包括水体酸碱度、水体含氧量、悬浮颗粒物浓度、河道水位、河道图像等数据。优选的,每组传感器数据集对应所述河道集成传感器中的一个子传感器。
S300:对所述多组传感数据集分别进行传感数据有效性识别,得到基于数据有效性识别的多组有效传感数据集;
进一步的,如图2所示,对所述多组传感数据集分别进行传感数据有效性识别,得到基于数据有效性识别的多组有效传感数据集,本申请实施例步骤S300还包括:
对所述多组传感数据集进行识别,得到每组传感数据集的平稳传感数据集和动态传感数据集;
以所述平稳传感数据集进行提取,得到代表传感数据集;
以所述动态传感数据集和所述代表传感数据集作为所述多组有效传感数据集进行输出。
在本申请的实施例中,通过对所述多组传感数据集分别进行传感数据有效性识别,对多组传感数据集中的冗余数据进行剔除,降低数据量,获得多组有效传感数据集。其中,所述多组有效传感数据集与多组传感数据集一一对应。实现了从数据有效性的角度对数据进行筛选,对数据进行降维的目标。
在一个可能的实施例中,通过分别对多组传感器数据集中的传感数据进行稳定性识别,可选的,通过将所述每组传感器数据集中的方差在预设方差阈值内的数据作为平稳传感器数据集,将方差超出所述预设方差阈值的数据作为动态传感器数据集。其中,所述预设方差阈值为本领域技术人员预先设定的数据平稳时的最大方差值。可选的,对所述平稳传感数据集按照预设提取频率进行数据提取,获得所述代表传感数据集。所述预设间隔频率为预先设定的进行相邻两次数据提取时间隔的时间。所述代表传感数据集反映了传感器数据波动不大时的数据状态。进而,将所述动态传感数据集和所述代表传感数据集作为所述多组有效传感数据集进行输出。
S400:在相同时序下分别对所述多组有效传感数据集进行比对,经由同步映射还原模块对每组有效传感数据集进行同步映射还原处理,得到多组还原传感数据集,所述同步映射还原模块包括时序同步模块、数据提取模块以及还原输出模块;
进一步的,如图3所示,经由同步映射还原模块对每组有效传感数据集进行同步映射还原处理,本申请实施例步骤S400还包括:
选取第一组有效传感数据,并记录第一组有效传感数据的有效时序信息;
将所述有效时序信息输入所述时序同步模块中,对剩余组的有效传感数据进行时序同步,获取同步返回为空的时序信息;
所述数据提取模块利用同步返回为空的时序信息对剩余组的有效传感数据进行匹配提取,得到多组提取传感数据;
由所述还原输出模块将所述多组提取传感数据进行还原处理,得到多组还原传感数据集。
在一个可能的实施例中,由于进行有效性提取,导致多组有效传感数据集中,一个子传感器的数据进行保留时的时间节点下,其他多个子传感器的数据缺失。虽然实现了对数据进行降维,获得轻量化数据的目标,但是对同一时间节点的数据缺乏比对数据,导致后续对目标河道进行管理时由于数据比对缺失,使管理存在漏洞的后果。因此,需要通过在相同时序下分别对所述多组有效传感数据集进行比对,并利用同步映射还原模块对每组有效传感数据集中缺乏比对数据的数据进行同步映射还原,生成多组还原数据集。达到了提高数据同步性,使管理更严谨、可靠的技术效果。
在一个可能的实施例中,所述同步映射还原模块包括时序同步模块,数据提取模块以及还原输出模块。通过从所述多组有效传感数据集中随机选取第一组有效传感数据,并记录第一组有效传感数据中每个传感数据的监测时间点按照时间先后顺序进行汇总,获得所述第一组有效传感数据的有效时序信息。进而,将所述有效时序信息输入所述时序同步模块中,对所述剩余组的有效传感数据进行时序同步,当在有效时序信息对应的监测时间点下,剩余组的有效传感数据中没有传感数据时,该监测时间点的同步返回为空,由此,获得同步返回为空的时序信息。进而,利用所述数据提取模块,以同步返回为空的时序信息为索引,对在该时序信息下的剩余组的有效传感数据进行匹配提取,从而获得监测时间点在同步返回为空的时序信息下的多组提取传感数据。进而,利用所述还原输出模块根据所述多组提取传感数据的时序信息,以及对应的多组传感数据集匹配对应监测时间点的传感数据,生成多组还原传感数据集。也就是说,将多组提取传感数据还原为进行数据有效性识别前的数据,由此,满足数据同步比对性的要求,达到了在保证数据同步比对性要求,完善管理分析数据的基础上,进行数据轻量化处理的技术效果。
进一步的,经由同步映射还原模块对每组有效传感数据集进行同步映射还原处理,本申请实施例步骤S400还包括:
对所述多组有效传感数据集进行数据量大小计算,得到数据量化指标;
根据所述数据量化指标对所述多组有效传感数据集进行排序,输出排序结果,以所述排序结果输出所述同步映射还原模块对所述多组有效传感数据集进行同步映射还原处理的顺序。
进一步的,经由同步映射还原模块对每组有效传感数据集进行同步映射还原处理,本申请实施例步骤S400还包括:
建立所述多个子传感器中每两个子传感器的协同有效性;
根据每两个子传感器的协同有效性进行判断,得到每个子传感器的协同子传感器,其中,所述协同子传感器为与当前子传感器协同有效性大于预设协同有效性的子传感器;
再利用所述时序同步模块对每个子传感器的协同子传感器所对应的有效传感数据进行时序同步,获取所述协同子传感器同步返回为空的时序信息。
在一个可能的实施例中,分别对所述多组有效传感数据集进行数据量大小计算,通过计算多组有效传感数据集中的数据字节量,从而获得数据量化指标。其中,所述数据量化指标反映了多组有效传感数据集的数据量大小,数据量越大,对应的数据量化指标越大。以所述数据量化指标为依据,对所述多组有效传感数据集按照从大到小排序,获得排序结果。将所述排序结果作为同步映射还原模块对所述多组有效传感数据集进行同步映射还原处理的顺序。
在一个可能的实施例中,通过对每两个子传感器的协同有效性进行分析,进而筛选协同有效性较高的子传感器作为每个子传感器的协同子传感器,从而降低进行时序同步的子传感器数量,进一步有效降低需要进行处理的数据量,实现了数据轻量化的目标。可选的,通过计算所述多个子传感器的多组有效传感数据集中的动态传感数据集的标准差,进而计算多个子传感器中每两个子传感器之间的标准差的差值的倒数,生成每两个子传感器的协同有效性。计算结果越大,表明两个子传感器之间的协同有效性越高。
在一个实施例中,所述预设协同有效性为本领域技术人员预先设定的两个子传感器具有协同关系的最低协同有效性。利用所述预设协同有效性对每两个子传感器的协同有效性进行判断筛选,将与每个子传感器协同有效性大于预设协同有效性的子传感器,作为每个子传感器的协同子传感器。进而,利用所述时序同步模块对每个子传感器的协同子传感器所对应的有效传感数据进行时序同步,进而获得对应的协同子传感器同步返回为空的时序信息。基于协同子传感器同步返回为空的时序信息进行后续的数据提取和数据还原输出,从而获得对应的多组还原传感数据集。由此,达到了有效对需要进行时序同步的子传感器进行筛选,进行轻量化数据处理的技术效果。
S500:将所述多组还原传感数据集进行还原重复性识别,得到基于数据重复性筛除后的多组轻量化传感数据集;
在一个可能的实施例中,对所述多组还原传感数据集中同一时间点被重复还原的数据进行识别,并将重复还原的数据只保留一份,将其余数据进行删除后获得多组轻量化传感数据集。由于多组还原传感数据集对应多组有效传感数据进行同步映射还原处理后的数据,在处理过程中可能会对同一时间点的数据进行多次重复还原,造成数据冗余,因此,需要进行数据重复性筛除,从而实现对数据进行轻量化处理的目标。
S600:按照所述多组轻量化传感数据集建立所述目标河道的轻量化传感模型,基于所述轻量化传感模型对所述目标河道进行管理。
进一步的,按照所述多组轻量化传感数据集建立所述目标河道的轻量化传感模型,本申请实施例步骤S600还包括:
将所述多组轻量化传感数据集进行等分,得到k个训练传感数据集;
对所述k个训练传感数据集分别进行蒸馏学习,得到k个初始化孪生模型;
对所述k个初始化孪生模型进行迭代优化,得到优化后的k个孪生模型,将优化后的k个孪生模型进行融合以建立所述目标河道的轻量化传感模型。
进一步的,对所述k个训练传感数据集分别进行蒸馏学习,得到k个初始化孪生模型,本申请实施例步骤S600还包括:
利用所述k个初始化孪生模型进行功能监测预警测试,得到k个模型测试误差概率;
根据所述k个模型测试误差概率对所述k个初始化孪生模型进行识别,得到第一初始化孪生模型,所述第一初始化孪生模型为模型测试误差概率最低的模型;
以所述第一初始化孪生模型为优化方向对剩余初始化孪生模型进行优化,得到优化后的k个孪生模型。
在本申请的实施例中,基于所述多组轻量化传感数据集训练构建所述目标河道的轻量化传感模型。其中,所述轻量化传感模型是经过轻量化数据处理后的,对目标河道的基础情况进行数字化模拟后获得的孪生网络模型。根据所述轻量化传感模型可以利用轻量化处理后的数据,从而高效的对目标河道的情况进行描述,基于所述轻量化传感模型对所述目标河道进行管理,可以提高河道的管理效率,掌握河道的情况变化,针对性的进行河道管理,达到了提高河道管理质量的技术效果。
在一个可能的实施例中,将所述多组轻量化传感数据集进行k份等分,获得k个训练传感数据集,每个训练传感数据集中的每组轻量化数据集的数量一致。进而,获取与k个训练传感数据集的特征相同的k个样本训练传感数据集,并匹配对应的k个孪生输出结果集,作为训练数据,分别对k个基于卷积神经网络构建的网络层进行监督训练,直至输出达到收敛,完成蒸馏学习,获得k个模型初始化孪生模型。
优选的,在获得k个初始化孪生模型之后,另外获取多个验证训练传感数据集和多个验证孪生输出结果集作为测试数据,将所述多个验证训练传感数据集分别输入所述k个初始化孪生模型中,获得k个测试孪生输出结果集。利用余弦相似度计算多个验证孪生输出结果和k个测试孪生输出结果集之间的k个验证相似度集合,分别将k个验证相似度集合中满足预设验证相似度的数量比上k个验证相似度集合中的总数量的倒数,作为k个模型测试误差概率。其中,所述预设验证相似度为本领域技术人员确定验证孪生输出结果与测试孪生输出结果一致时需要满足的验证相似度最小值。k个模型测试误差概率反映了k个初始化孪生模型的模型输出误差程度。
在一个实施例中,将k个模型测试误差概率中最小值对应的初始化孪生模型作为第一初始化孪生模型,进而,以所述第一初始化孪生模型为优化方向,对所述剩余初始化孪生模型进行网络参数调整,获得优化后的k个孪生模型。进而,将优化后的k个孪生模型的网络参数进行均值化处理,并根据处理后的网络参数对孪生模型进行更新,从而建立所述目标河道的轻量化传感模型。达到了降低孪生模型的大小,提升模型效率的技术效果。
综上所述,本申请实施例至少具有如下技术效果:
本申请通过获取河道集成传感器,其中,所述河道集成传感器包括多个子传感器,所述多个子传感器至少包括水质传感器、水位传感器、环境传感器和图像采集器,然后接收所述河道集成传感器对目标河道的多组传感数据集,实现为后续进行管理提供基础数据的目标,然后对所述多组传感数据集分别进行传感数据有效性识别,得到基于数据有效性识别的多组有效传感数据集,实现有效对数据进行筛选降维的目标,然后在相同时序下分别对所述多组有效传感数据集进行比对,经由同步映射还原模块对每组有效传感数据集进行同步映射还原处理,得到多组还原传感数据集,所述同步映射还原模块包括时序同步模块、数据提取模块以及还原输出模块,实现了保证数据同步比对性的目标,然后将所述多组还原传感数据集进行还原重复性识别,得到基于数据重复性筛除后的多组轻量化传感数据集,实现了为建立轻量化传感模型提供构建数据的目标,按照所述多组轻量化传感数据集建立所述目标河道的轻量化传感模型,基于所述轻量化传感模型对所述目标河道进行管理。达到了在保证河道管理数据的可靠比对性基础上,对数据进行轻量化处理,提升管理响应速度,提高河道管理质量的技术效果。
实施例二
基于与前述实施例中基于轻量化传感模型的河道管理方法相同的发明构思,如图4所示,本申请提供了基于轻量化传感模型的河道管理系统,本申请实施例中的系统与方法实施例基于同样的发明构思。其中,所述系统包括:
集成传感器获得模块11,用于获取河道集成传感器,其中,所述河道集成传感器包括多个子传感器,所述多个子传感器至少包括水质传感器、水位传感器、环境传感器和图像采集器;
传感数据集接收模块12,用于接收所述河道集成传感器对目标河道的多组传感数据集;
有效传感数据集获得模块13,用于对所述多组传感数据集分别进行传感数据有效性识别,得到基于数据有效性识别的多组有效传感数据集;
还原传感数据集获得模块14,用于在相同时序下分别对所述多组有效传感数据集进行比对,经由同步映射还原模块对每组有效传感数据集进行同步映射还原处理,得到多组还原传感数据集,所述同步映射还原模块包括时序同步模块、数据提取模块以及还原输出模块;
轻量化传感数据集获得模块15,用于将所述多组还原传感数据集进行还原重复性识别,得到基于数据重复性筛除后的多组轻量化传感数据集;
河道管理模块16,用于按照所述多组轻量化传感数据集建立所述目标河道的轻量化传感模型,基于所述轻量化传感模型对所述目标河道进行管理。
进一步的,所述还原传感数据集获得模块14用于执行如下步骤:
选取第一组有效传感数据,并记录第一组有效传感数据的有效时序信息;
将所述有效时序信息输入所述时序同步模块中,对剩余组的有效传感数据进行时序同步,获取同步返回为空的时序信息;
所述数据提取模块利用同步返回为空的时序信息对剩余组的有效传感数据进行匹配提取,得到多组提取传感数据;
由所述还原输出模块将所述多组提取传感数据进行还原处理,得到多组还原传感数据集。
进一步的,所述还原传感数据集获得模块14用于执行如下步骤:
对所述多组有效传感数据集进行数据量大小计算,得到数据量化指标;
根据所述数据量化指标对所述多组有效传感数据集进行排序,输出排序结果,以所述排序结果输出所述同步映射还原模块对所述多组有效传感数据集进行同步映射还原处理的顺序。
进一步的,所述还原传感数据集获得模块14用于执行如下步骤:
建立所述多个子传感器中每两个子传感器的协同有效性;
根据每两个子传感器的协同有效性进行判断,得到每个子传感器的协同子传感器,其中,所述协同子传感器为与当前子传感器协同有效性大于预设协同有效性的子传感器;
再利用所述时序同步模块对每个子传感器的协同子传感器所对应的有效传感数据进行时序同步,获取所述协同子传感器同步返回为空的时序信息。
进一步的,所述有效传感数据集获得模块13用于执行如下步骤:
对所述多组传感数据集进行识别,得到每组传感数据集的平稳传感数据集和动态传感数据集;
以所述平稳传感数据集进行提取,得到代表传感数据集;
以所述动态传感数据集和所述代表传感数据集作为所述多组有效传感数据集进行输出。
进一步的,所述河道管理模块16用于执行如下步骤:
将所述多组轻量化传感数据集进行等分,得到k个训练传感数据集;
对所述k个训练传感数据集分别进行蒸馏学习,得到k个初始化孪生模型;
对所述k个初始化孪生模型进行迭代优化,得到优化后的k个孪生模型,将优化后的k个孪生模型进行融合以建立所述目标河道的轻量化传感模型。
进一步的,所述河道管理模块16用于执行如下步骤:
利用所述k个初始化孪生模型进行功能监测预警测试,得到k个模型测试误差概率;
根据所述k个模型测试误差概率对所述k个初始化孪生模型进行识别,得到第一初始化孪生模型,所述第一初始化孪生模型为模型测试误差概率最低的模型;
以所述第一初始化孪生模型为优化方向对剩余初始化孪生模型进行优化,得到优化后的k个孪生模型。
需要说明的是,上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
本说明书和附图仅仅是本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。
Claims (8)
1.基于轻量化传感模型的河道管理方法,其特征在于,所述方法包括:
获取河道集成传感器,其中,所述河道集成传感器包括多个子传感器,所述多个子传感器至少包括水质传感器、水位传感器、环境传感器和图像采集器;
接收所述河道集成传感器对目标河道的多组传感数据集;
对所述多组传感数据集分别进行传感数据有效性识别,得到基于数据有效性识别的多组有效传感数据集;
在相同时序下分别对所述多组有效传感数据集进行比对,经由同步映射还原模块对每组有效传感数据集进行同步映射还原处理,得到多组还原传感数据集,所述同步映射还原模块包括时序同步模块、数据提取模块以及还原输出模块;
将所述多组还原传感数据集进行还原重复性识别,得到基于数据重复性筛除后的多组轻量化传感数据集;
按照所述多组轻量化传感数据集建立所述目标河道的轻量化传感模型,基于所述轻量化传感模型对所述目标河道进行管理。
2.如权利要求1所述的方法,其特征在于,经由同步映射还原模块对每组有效传感数据集进行同步映射还原处理,方法包括:
选取第一组有效传感数据,并记录第一组有效传感数据的有效时序信息;
将所述有效时序信息输入所述时序同步模块中,对剩余组的有效传感数据进行时序同步,获取同步返回为空的时序信息;
所述数据提取模块利用同步返回为空的时序信息对剩余组的有效传感数据进行匹配提取,得到多组提取传感数据;
由所述还原输出模块将所述多组提取传感数据进行还原处理,得到多组还原传感数据集。
3.如权利要求2所述的方法,其特征在于,经由同步映射还原模块对每组有效传感数据集进行同步映射还原处理,方法还包括:
对所述多组有效传感数据集进行数据量大小计算,得到数据量化指标;
根据所述数据量化指标对所述多组有效传感数据集进行排序,输出排序结果,以所述排序结果输出所述同步映射还原模块对所述多组有效传感数据集进行同步映射还原处理的顺序。
4.如权利要求2所述的方法,其特征在于,经由同步映射还原模块对每组有效传感数据集进行同步映射还原处理,方法还包括:
建立所述多个子传感器中每两个子传感器的协同有效性;
根据每两个子传感器的协同有效性进行判断,得到每个子传感器的协同子传感器,其中,所述协同子传感器为与当前子传感器协同有效性大于预设协同有效性的子传感器;
再利用所述时序同步模块对每个子传感器的协同子传感器所对应的有效传感数据进行时序同步,获取所述协同子传感器同步返回为空的时序信息。
5.如权利要求1所述的方法,其特征在于,对所述多组传感数据集分别进行传感数据有效性识别,得到基于数据有效性识别的多组有效传感数据集,方法包括:
对所述多组传感数据集进行识别,得到每组传感数据集的平稳传感数据集和动态传感数据集;
以所述平稳传感数据集进行提取,得到代表传感数据集;
以所述动态传感数据集和所述代表传感数据集作为所述多组有效传感数据集进行输出。
6.如权利要求1所述的方法,其特征在于,按照所述多组轻量化传感数据集建立所述目标河道的轻量化传感模型,方法包括:
将所述多组轻量化传感数据集进行等分,得到k个训练传感数据集;
对所述k个训练传感数据集分别进行蒸馏学习,得到k个初始化孪生模型;
对所述k个初始化孪生模型进行迭代优化,得到优化后的k个孪生模型,将优化后的k个孪生模型进行融合以建立所述目标河道的轻量化传感模型。
7.如权利要求6所述的方法,其特征在于,对所述k个训练传感数据集分别进行蒸馏学习,得到k个初始化孪生模型,包括:
利用所述k个初始化孪生模型进行功能监测预警测试,得到k个模型测试误差概率;
根据所述k个模型测试误差概率对所述k个初始化孪生模型进行识别,得到第一初始化孪生模型,所述第一初始化孪生模型为模型测试误差概率最低的模型;
以所述第一初始化孪生模型为优化方向对剩余初始化孪生模型进行优化,得到优化后的k个孪生模型。
8.基于轻量化传感模型的河道管理系统,其特征在于,所述系统包括:
集成传感器获得模块,用于获取河道集成传感器,其中,所述河道集成传感器包括多个子传感器,所述多个子传感器至少包括水质传感器、水位传感器、环境传感器和图像采集器;
传感数据集接收模块,用于接收所述河道集成传感器对目标河道的多组传感数据集;
有效传感数据集获得模块,用于对所述多组传感数据集分别进行传感数据有效性识别,得到基于数据有效性识别的多组有效传感数据集;
还原传感数据集获得模块,用于在相同时序下分别对所述多组有效传感数据集进行比对,经由同步映射还原模块对每组有效传感数据集进行同步映射还原处理,得到多组还原传感数据集,所述同步映射还原模块包括时序同步模块、数据提取模块以及还原输出模块;
轻量化传感数据集获得模块,用于将所述多组还原传感数据集进行还原重复性识别,得到基于数据重复性筛除后的多组轻量化传感数据集;
河道管理模块,用于按照所述多组轻量化传感数据集建立所述目标河道的轻量化传感模型,基于所述轻量化传感模型对所述目标河道进行管理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311771138.7A CN117745472B (zh) | 2023-12-21 | 2023-12-21 | 基于轻量化传感模型的河道管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311771138.7A CN117745472B (zh) | 2023-12-21 | 2023-12-21 | 基于轻量化传感模型的河道管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117745472A true CN117745472A (zh) | 2024-03-22 |
CN117745472B CN117745472B (zh) | 2024-06-25 |
Family
ID=90279093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311771138.7A Active CN117745472B (zh) | 2023-12-21 | 2023-12-21 | 基于轻量化传感模型的河道管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117745472B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105241430A (zh) * | 2015-09-25 | 2016-01-13 | 厦门大学 | 河道环境特征参数测量系统 |
CN106850115A (zh) * | 2017-03-07 | 2017-06-13 | 中国地质大学(武汉) | 一种多通道数据采集同步系统及方法 |
CN112989724A (zh) * | 2021-03-26 | 2021-06-18 | 中建智能技术有限公司 | 流域数据处理方法及装置、电子设备、系统 |
CN113033861A (zh) * | 2019-12-25 | 2021-06-25 | 广东奥博信息产业股份有限公司 | 一种基于时间序列模型的水质预测方法及系统 |
CN113658024A (zh) * | 2021-07-22 | 2021-11-16 | 浙江鼎胜环保技术有限公司 | 一种河道运维管理平台 |
CN113792642A (zh) * | 2021-09-08 | 2021-12-14 | 江苏省工程勘测研究院有限责任公司 | 一种基于智能化技术的河湖生态治理数据处理方法及系统 |
WO2022095379A1 (zh) * | 2020-11-05 | 2022-05-12 | 平安科技(深圳)有限公司 | 数据降维处理方法、装置、计算机设备及存储介质 |
CN114490882A (zh) * | 2022-04-15 | 2022-05-13 | 北京快立方科技有限公司 | 一种异构数据库数据同步分析方法 |
CN114996261A (zh) * | 2022-08-05 | 2022-09-02 | 深圳市深蓝信息科技开发有限公司 | 基于ais数据的去重方法、装置、终端设备及存储介质 |
CN115842614A (zh) * | 2022-11-23 | 2023-03-24 | 南京理工大学 | 基于zynq的组合导航多源异构数据时间同步方法 |
CN116091719A (zh) * | 2023-03-06 | 2023-05-09 | 山东建筑大学 | 一种基于物联网的河道数据管理方法及系统 |
CN116470485A (zh) * | 2023-03-31 | 2023-07-21 | 阿里巴巴达摩院(杭州)科技有限公司 | 时间序列的处理系统、方法和计算机可读存储介质 |
-
2023
- 2023-12-21 CN CN202311771138.7A patent/CN117745472B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105241430A (zh) * | 2015-09-25 | 2016-01-13 | 厦门大学 | 河道环境特征参数测量系统 |
CN106850115A (zh) * | 2017-03-07 | 2017-06-13 | 中国地质大学(武汉) | 一种多通道数据采集同步系统及方法 |
CN113033861A (zh) * | 2019-12-25 | 2021-06-25 | 广东奥博信息产业股份有限公司 | 一种基于时间序列模型的水质预测方法及系统 |
WO2022095379A1 (zh) * | 2020-11-05 | 2022-05-12 | 平安科技(深圳)有限公司 | 数据降维处理方法、装置、计算机设备及存储介质 |
CN112989724A (zh) * | 2021-03-26 | 2021-06-18 | 中建智能技术有限公司 | 流域数据处理方法及装置、电子设备、系统 |
CN113658024A (zh) * | 2021-07-22 | 2021-11-16 | 浙江鼎胜环保技术有限公司 | 一种河道运维管理平台 |
CN113792642A (zh) * | 2021-09-08 | 2021-12-14 | 江苏省工程勘测研究院有限责任公司 | 一种基于智能化技术的河湖生态治理数据处理方法及系统 |
CN114490882A (zh) * | 2022-04-15 | 2022-05-13 | 北京快立方科技有限公司 | 一种异构数据库数据同步分析方法 |
CN114996261A (zh) * | 2022-08-05 | 2022-09-02 | 深圳市深蓝信息科技开发有限公司 | 基于ais数据的去重方法、装置、终端设备及存储介质 |
CN115842614A (zh) * | 2022-11-23 | 2023-03-24 | 南京理工大学 | 基于zynq的组合导航多源异构数据时间同步方法 |
CN116091719A (zh) * | 2023-03-06 | 2023-05-09 | 山东建筑大学 | 一种基于物联网的河道数据管理方法及系统 |
CN116470485A (zh) * | 2023-03-31 | 2023-07-21 | 阿里巴巴达摩院(杭州)科技有限公司 | 时间序列的处理系统、方法和计算机可读存储介质 |
Non-Patent Citations (2)
Title |
---|
徐伟 等: "古运河扬州段数字孪生数据地板建设关键数据研究", 《江苏水利》, 1 October 2023 (2023-10-01), pages 38 - 42 * |
王之顺 等: "无人测量船在水库水下地形测量中的应用", 《经纬天地》, 28 February 2018 (2018-02-28), pages 68 - 71 * |
Also Published As
Publication number | Publication date |
---|---|
CN117745472B (zh) | 2024-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111598881A (zh) | 基于变分自编码器的图像异常检测方法 | |
CN110866530A (zh) | 一种字符图像识别方法、装置及电子设备 | |
CN111868780B (zh) | 学习用数据生成装置及方法、模型生成系统以及程序 | |
CN112294341B (zh) | 一种基于轻量卷积神经网络的睡眠脑电纺锤波识别方法及系统 | |
CN116153505B (zh) | 基于医用压力传感器的危重病人体征智能识别方法及系统 | |
CN111401219B (zh) | 一种手掌关键点检测方法和装置 | |
CN113312989B (zh) | 一种基于聚合描述子与注意力的指静脉特征提取网络 | |
CN111738174B (zh) | 基于深度解耦的人体实例解析方法、系统 | |
CN113012811B (zh) | 一种结合深度卷积网络和图神经网络的中医证候诊断和健康评价方法 | |
CN114049325A (zh) | 轻量化人脸口罩佩戴检测模型的构建方法及应用 | |
CN113571133B (zh) | 一种基于图神经网络的乳酸菌抗菌肽预测方法 | |
CN111488857A (zh) | 一种三维人脸识别模型训练方法及装置 | |
CN117745472B (zh) | 基于轻量化传感模型的河道管理方法及系统 | |
CN114781779A (zh) | 一种无监督能耗异常检测方法、装置及存储介质 | |
CN117079017A (zh) | 可信的小样本图像识别分类方法 | |
CN115712848A (zh) | 一种基于图结构学习的结构化深度聚类网络及方法 | |
CN114469017A (zh) | 脉象数据检测方法以及系统 | |
CN114169433A (zh) | 一种基于联邦学习+图学习+cnn的工业故障预测方法 | |
CN113804833A (zh) | 基于凸集投影和极限学习机的电子鼻漂移通用校准方法 | |
CN112801013A (zh) | 一种基于关键点识别校验的人脸识别方法、系统及装置 | |
CN111024776A (zh) | 一种电子鼻、气味识别方法及存储介质 | |
KR20200087342A (ko) | 딥러닝 기반의 식물 인식 시스템 | |
CN117934963B (zh) | 一种气体传感器漂移补偿方法 | |
CN115589608B (zh) | 物联网数据异常检测模型训练方法、异常检测方法和系统 | |
CN115831356B (zh) | 一种基于人工智能算法的辅助预测诊断方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |