CN111178406B - 气象水文数据接收终端状态监控和远程管理系统 - Google Patents
气象水文数据接收终端状态监控和远程管理系统 Download PDFInfo
- Publication number
- CN111178406B CN111178406B CN201911315786.5A CN201911315786A CN111178406B CN 111178406 B CN111178406 B CN 111178406B CN 201911315786 A CN201911315786 A CN 201911315786A CN 111178406 B CN111178406 B CN 111178406B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- state
- remote management
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 49
- 206010048669 Terminal state Diseases 0.000 title abstract description 5
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000007726 management method Methods 0.000 claims abstract description 31
- 238000013500 data storage Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 230000001502 supplementing effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000013144 data compression Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000007635 classification algorithm Methods 0.000 abstract description 2
- 230000035484 reaction time Effects 0.000 abstract 1
- 239000004973 liquid crystal related substance Substances 0.000 description 16
- 241000854291 Dianthus carthusianorum Species 0.000 description 8
- 238000012217 deletion Methods 0.000 description 8
- 230000037430 deletion Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000007418 data mining Methods 0.000 description 6
- 230000002688 persistence Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013524 data verification Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Selective Calling Equipment (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及终端监控技术领域,具体地说,涉及气象水文数据接收终端状态监控和远程管理系统。其包括状态监控单元和远程管理单元,所述状态监控单元包括状态采集模块、状态监控模块、状态发送模块,所述远程管理单元包括数据接收模块和数据存储模块。该气象水文数据接收终端状态监控和远程管理系统中,设置状态监控单元,能够实时监控系统状态信息,并及时对状态进行反馈,反应时间快,采用远程管理单元对数据进程存储,同时,对数据存储时,采用分类算法,一方面,提高数据存储效率,另一方面,便于根据存储的数据对系统状态进行分析。
Description
技术领域
本发明涉及终端监控技术领域,具体地说,涉及气象水文数据接收终端状态监控和远程管理系统。
背景技术
随着气象水文信息化的建设,气象水文信息系统不断完善,同时系统设备类型也不断增加,多种系统设备虽然带来使用上的便捷,但多种设备的状态实时监测的工作量大,反应时间久,当系统设备出现故障后,无法及时获取设备状态信息,同时,对设备状态信息无法进行储存管理,无法根据设备状态信息进行分析处理。
发明内容
本发明的目的在于提供气象水文数据接收终端状态监控和远程管理系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供气象水文数据接收终端状态监控和远程管理系统,包括状态监控单元和远程管理单元,所述状态监控单元包括状态采集模块、状态监控模块、状态发送模块,所述远程管理单元包括数据接收模块和数据存储模块。
作为优选,所述状态监控单元的检测方法包括如下步骤:
S1.1、定时取得设备硬件传感器传来的状态数据;
S1.2、对获取的数据中的重复数据进行融合处理;
S1.3、对融合处理后的数据进行有效性判别,并将有效数据存入物联网数据库内。
作为优选,所述重复数据进行融合处理采用CNNMDA数据融合算法,CNNMDA数据融合算法基于深度学习模型,所使用的CNN网络结构共含有三个卷积层、一个池化层和两个全连接层,在利用特征提取模型CNNM对节点数据进行融合之前,需要完成该模型的训练,传统训练方法主要为反向传播算法,而CNNM模型由于卷积层和池化层的存在,需要对反向传播算法进行相应修改,CNNM训练的损失函数为:
训练目标函数为:
不断迭代更新参数以最小化损失函数J(θ),其中θ为可训练的参数,α为学习率。
其中,CNNM模型的训练采用CNNMDA算法实现,其算法步骤如下:
1)、Sink节点根据需要处理的数据类型,从相应数据库中提取含有标签信息的数据;
2)、将训练数据输入至构建的CNNM模型,开始训练CNNM,然后Sink节点将训练好的参数通过簇头发送至各终端节点;
3)、各终端节点使用预训练的CNNM模型,对采集的传感器数据进行多层卷积特征提取与池化,然后将融合得到的特征数据发送至相应的簇头节点,其中卷积与池化的过程就是数据融合的过程;
4)、簇头节点利用Logistic回归分类器对步骤3)产生的融合数据进行分类,得到分类结果,并向Sink节点发送融合数据;
5)、网络完成一轮数据采集融合与传输过程,Sink节点重新分簇和选取簇头节点,然后跳转到步骤3)。
物联网数据库采用JavaEE开发的基于B/S架构的Web应用程序,采用struts2+spring+hibernate来实现系统的整体架构,其中JSP为表现层,所有JSP页面禁止使用Java脚本,结合struts2的表现层标签与JSTL标签,完成了全部的表现层功能,数据收集,数据表示和客户端数据校验,struts2作为本系统的MVC框架它的Action拦截用户所有的请求,包括系统的超链接和表单提交等,都由struts2控制请求的处理和转发。
spring框架是该系统的核心部分,spring提供的IOC容器是业务逻辑组件Service和DAO组件的工厂,它负责生成并管理这些实例,借助Spring的依赖注入,各组件以松耦合的方式组合在一起,组件与组件之间的依赖正是通过Spring的依赖注入管理,其Service组件和DAO组件对象都采用面向接口编程的方式,从而降低该系统异构的代价,Hibernate为数据持久层,主要对数据进行持久化操作。
作为优选,所述状态监控模块的监控方法如下:
S2.1、设置系统状态指标阈值;
S2.2、对系统状态进行分析;
S2.3、记录系统状态运行数据。
作为优选,所述对系统状态进行分析采用离散时间系统状态方程,其方程公式如下:
作为优选,所述状态发送模块的发送方法如下:
S3.1、将采集到系统状态信息通过消息队列中间件发送到消息管道中;
S3.2、对消息管道中的信息进行过滤;
S3.3、通过消息队列的机制将消息发送至远程管理单元。
作为优选,所述信息进行过滤包括纠正错误模块、修正逻辑模块、数据压缩模块、数据补缺模块和数据丢弃模块。
其中,纠正错误模块用于纠正数据错误形式,纠正错误模块用于数据值错误的纠正、数据类型错误的纠正、数据编码错误的纠正、数据格式错误的纠正、数据异常错误的纠正、依赖冲突的纠正和多值错误的纠正。
其中,修正逻辑模块用于明确各个源系统的逻辑、条件、口径,并对异常源系统的采集逻辑进行修正。
其中,数据压缩模块用于保持原有数据集的完整性和准确性,不丢失有用信息的前提下,按照一定的算法和方式对数据进行重新组织,大规模的数据进行复杂的数据分析与数据计算通常需要耗费大量时间,所以在这之前需要进行数据的约减和压缩,减小数据规模,而且还可能面临交互式的数据挖掘,根据数据挖掘前后对比对数据进行信息反馈。这样在精简数据集上进行数据挖掘显然效率更高,并且挖掘出来的结果与使用原有数据集所获得结果基本相同。
其中,数据补缺模块用于对残缺数据的数据进行补充,数据补充包括补充缺失值和补充空值,缺失值指的是的数据原本是必须存在的,但实际上没有数据,空值指的是实际存在可能为空的情况。
其中,数据丢弃模块用于对于数据中的异常数据进行删除,丢弃数据的类型包含整条删除和变量删除,整条删除指的是删除含有缺失值的样本,变量删除,如果某一变量的无效值和缺失值很多,而且该变量对于所研究的问题不是特别重要,则可以考虑将该变量删除,这种做法减少了供分析用的变量数目,但没有改变样本量。
作为优选,所述数据接收模块采用数据缓冲接收方法,其方法包括以下步骤:
S4.1、前台接收数据,并不进行处理,将数据放入消息队列中;
S4.2、后台负责从消息队列中取出消息,并处理。
整个接收系统核心为队列,可以当做缓冲区;遵循先进先出原则FIFO采用队列方式接收数据比较简单,并且实现了缓冲,不会出现数据的丢失。
作为优选,所述数据存储模块的存储方法包括以下步骤:
S5.1、对接收的数据进行相似度匹配;
S5.2、根据相似度匹配得出的相似度数据对数据进行分类存储。
作为优选,所述相似度匹配采用基于SF方法实现,SF方法是一种典型的利用模式结构信息进行模式匹配的方法,步骤如下:
1)、相似度计算:首先将源模式S和目标模式T根据其模式结构分别转换为对应的模式图G1和G2,然后使用一个称为StringMatch的匹配器对G1中的每个节点计算该节点与G2中每个节点之间的相似度值,然后根据相似度值的大小选取元素间的初始匹配关系;
2)、相似度传递调整:前面得到了模式元素间的初始匹配关系,在相似度传递步骤中我们根据元素之间的关联关系调整初始匹配关系中每个匹配的相似度得到最终的相似度。
与现有技术相比,本发明的有益效果:
1、该气象水文数据接收终端状态监控和远程管理系统中,设置状态监控单元,能够实时监控系统状态信息,并及时对状态进行反馈,反应时间快。
2、该气象水文数据接收终端状态监控和远程管理系统中,采用远程管理单元对数据进程存储,同时,对数据存储时,采用分类算法,一方面,提高数据存储效率,另一方面,便于根据存储的数据对系统状态进行分析。
附图说明
图1为本发明的状态监控单元模块框图;
图2为本发明的远程管理单元模块框图;
图3为本发明的状态监控单元的检测方法框图;
图4为本发明的状态监控模块的监控方法框图;
图5为本发明的状态发送模块的发送方法框图;
图6为本发明的数据缓冲接收方法框图;
图7为本发明的数据存储模块的存储方法框图。
图中各个标号意义为:
1、状态监控单元;11、状态采集模块;12、状态监控模块;13、状态发送模块;
2、远程管理单元;21、数据接收模块;22、数据存储模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-图7所示,本发明提供一种技术方案:
本发明提供气象水文数据接收终端状态监控和远程管理系统,包括状态监控单元1和远程管理单元2,状态监控单元1包括状态采集模块11、状态监控模块12、状态发送模块13,远程管理单元2包括数据接收模块21和数据存储模块22。
本实施例中,状态监控单元1的检测方法包括如下步骤:
S1.1、定时取得设备硬件传感器传来的状态数据;
S1.2、对获取的数据中的重复数据进行融合处理;
S1.3、对融合处理后的数据进行有效性判别,并将有效数据存入物联网数据库内。
进一步的,重复数据进行融合处理采用CNNMDA数据融合算法,CNNMDA数据融合算法基于深度学习模型,所使用的CNN网络结构共含有三个卷积层、一个池化层和两个全连接层,在利用特征提取模型CNNM对节点数据进行融合之前,需要完成该模型的训练,传统训练方法主要为反向传播算法,而CNNM模型由于卷积层和池化层的存在,需要对反向传播算法进行相应修改,CNNM训练的损失函数为:
具体的,训练目标函数为:
不断迭代更新参数以最小化损失函数J(θ),其中θ为可训练的参数包括卷积核的权重和偏置,α为学习率。
其中,CNNM模型的训练采用CNNMDA算法实现,其算法步骤如下:
1)、Sink节点根据需要处理的数据类型,从相应数据库中提取含有标签信息的数据;
2)、将训练数据输入至构建的CNNM模型,开始训练CNNM,然后Sink节点将训练好的参数通过簇头发送至各终端节点;
3)、各终端节点使用预训练的CNNM模型,对采集的传感器数据进行多层卷积特征提取与池化,然后将融合得到的特征数据发送至相应的簇头节点,其中卷积与池化的过程就是数据融合的过程;
4)、簇头节点利用Logistic回归分类器对步骤3)产生的融合数据进行分类,得到分类结果,并向Sink节点发送融合数据;
5)、网络完成一轮数据采集融合与传输过程,Sink节点重新分簇和选取簇头节点,然后跳转到步骤3。
值得说明的是,物联网数据库采用JavaEE开发的基于B/S架构的Web应用程序,采用struts2+spring+hibernate来实现系统的整体架构,其中JSP为表现层,所有JSP页面禁止使用Java脚本,结合struts2的表现层标签与JSTL标签,完成了全部的表现层功能,数据收集,数据表示和客户端数据校验,struts2作为本系统的MVC框架它的Action拦截用户所有的请求,包括系统的超链接和表单提交等,都由struts2控制请求的处理和转发。
其中,spring框架是该系统的核心部分,spring提供的IOC容器是业务逻辑组件Service和DAO组件的工厂,它负责生成并管理这些实例,借助Spring的依赖注入,各组件以松耦合的方式组合在一起,组件与组件之间的依赖正是通过Spring的依赖注入管理,其Service组件和DAO组件对象都采用面向接口编程的方式,从而降低该系统异构的代价,Hibernate为数据持久层,主要对数据进行持久化操作。
再进一步的,状态监控模块12的监控方法如下:
S2.1、设置系统状态指标阈值;
S2.2、对系统状态进行分析;
S2.3、记录系统状态运行数据。
其中,对系统状态进行分析采用离散时间系统状态方程,其方程公式如下:
具体的,状态发送模块的发送方法如下:
S3.1、将采集到系统状态信息通过消息队列中间件发送到消息管道中;
S3.2、对消息管道中的信息进行过滤;
S3.3、通过消息队列的机制将消息发送至远程管理单元2。
值得说明的是,信息进行过滤包括纠正错误模块、修正逻辑模块、数据压缩模块、数据补缺模块和数据丢弃模块。
其中,纠正错误模块用于纠正数据错误形式,纠正错误模块用于数据值错误的纠正、数据类型错误的纠正、数据编码错误的纠正、数据格式错误的纠正、数据异常错误的纠正、依赖冲突的纠正和多值错误的纠正。
其中,修正逻辑模块用于明确各个源系统的逻辑、条件、口径,并对异常源系统的采集逻辑进行修正。
其中,数据压缩模块用于保持原有数据集的完整性和准确性,不丢失有用信息的前提下,按照一定的算法和方式对数据进行重新组织,大规模的数据进行复杂的数据分析与数据计算通常需要耗费大量时间,所以在这之前需要进行数据的约减和压缩,减小数据规模,而且还可能面临交互式的数据挖掘,根据数据挖掘前后对比对数据进行信息反馈。这样在精简数据集上进行数据挖掘显然效率更高,并且挖掘出来的结果与使用原有数据集所获得结果基本相同。
其中,数据补缺模块用于对残缺数据的数据进行补充,数据补充包括补充缺失值和补充空值,缺失值指的是的数据原本是必须存在的,但实际上没有数据,空值指的是实际存在可能为空的情况。
其中,数据丢弃模块用于对于数据中的异常数据进行删除,丢弃数据的类型包含整条删除和变量删除,整条删除指的是删除含有缺失值的样本,变量删除,如果某一变量的无效值和缺失值很多,而且该变量对于所研究的问题不是特别重要,则可以考虑将该变量删除,这种做法减少了供分析用的变量数目,但没有改变样本量。
此外,数据接收模块21采用数据缓冲接收方法,其方法包括以下步骤:
S4.1、前台接收数据,并不进行处理,将数据放入消息队列中;
S4.2、后台main函数负责从消息队列中取出消息,并处理。
其中,整个接收系统核心为队列,可以当做缓冲区;遵循先进先出原则FIFO采用队列方式接收数据比较简单,并且实现了缓冲,不会出现数据的丢失。
储存之外,数据存储模块22的存储方法包括以下步骤:
S5.1、对接收的数据进行相似度匹配;
S5.2、根据相似度匹配得出的相似度数据对数据进行分类存储。
进一步的,相似度匹配采用基于SF方法实现,SF方法是一种典型的利用模式结构信息进行模式匹配的方法,步骤如下:
1)、相似度计算:首先将源模式S和目标模式T根据其模式结构分别转换为对应的模式图G1和G2,然后使用一个称为StringMatch的匹配器对G1中的每个节点计算该节点与G2中每个节点之间的相似度值,然后根据相似度值的大小选取元素间的初始匹配关系;
2)、相似度传递调整:前面得到了模式元素间的初始匹配关系,在相似度传递步骤中我们根据元素之间的关联关系调整初始匹配关系中每个匹配的相似度得到最终的相似度。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的仅为本发明的优选例,并不用来限制本发明,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.气象水文数据接收终端状态监控和远程管理系统,包括状态监控单元(1)和远程管理单元(2),其特征在于:所述状态监控单元(1)包括状态采集模块(11)、状态监控模块(12)、状态发送模块(13),所述远程管理单元(2)包括数据接收模块(21)和数据存储模块(22);
所述状态监控单元(1)的检测方法包括如下步骤:
S1.1、定时取得设备硬件传感器传来的状态数据;
S1.2、对获取的数据中的重复数据进行融合处理;
S1.3、对融合处理后的数据进行有效性判别,并将有效数据存入物联网数据库内;
所述重复数据进行融合处理采用CNNMDA数据融合算法,CNNMDA数据融合算法基于深度学习模型,所使用的CNN网络结构共含有三个卷积层、一个池化层和两个全连接层,在利用特征提取模型CNNM对节点数据进行融合之前,需要完成该模型的训练,传统训练方法主要为反向传播算法,而CNNM模型由于卷积层和池化层的存在,需要对反向传播算法进行相应修改,CNNM训练的损失函数为:
2.根据权利要求1所述的气象水文数据接收终端状态监控和远程管理系统,其特征在于:所述状态监控模块(12)的监控方法如下:
S2.1、设置系统状态指标阈值;
S2.2、对系统状态进行分析;
S2.3、记录系统状态运行数据。
4.根据权利要求1所述的气象水文数据接收终端状态监控和远程管理系统,其特征在于:所述状态发送模块的发送方法如下:
S3.1、将采集到系统状态信息通过消息队列中间件发送到消息管道中;
S3.2、对消息管道中的信息进行过滤;
S3.3、通过消息队列的机制将消息发送至远程管理单元(2)。
5.根据权利要求4所述的气象水文数据接收终端状态监控和远程管理系统,其特征在于:所述信息进行过滤包括纠正错误模块、修正逻辑模块、数据压缩模块、数据补缺模块和数据丢弃模块。
6.根据权利要求1所述的气象水文数据接收终端状态监控和远程管理系统,其特征在于:所述数据接收模块(21)采用数据缓冲接收方法,其方法包括以下步骤:
S4.1、前台接收数据,并不进行处理,将数据放入消息队列中;
S4.2、后台负责从消息队列中取出消息,并处理。
7.根据权利要求1所述的气象水文数据接收终端状态监控和远程管理系统,其特征在于:所述数据存储模块(22)的存储方法包括以下步骤:
S5.1、对接收的数据进行相似度匹配;
S5.2、根据相似度匹配得出的相似度数据对数据进行分类存储。
8.根据权利要求7所述的气象水文数据接收终端状态监控和远程管理系统,其特征在于:所述相似度匹配采用基于SF方法实现,其方法步骤如下:
1)、相似度计算:首先将源模式S和目标模式T根据其模式结构分别转换为对应的模式图G1和G2,然后使用一个称为StringMatch的匹配器对G1中的每个节点计算该节点与G2中每个节点之间的相似度值,然后根据相似度值的大小选取元素间的初始匹配关系;
2)、相似度传递调整:前面得到了模式元素间的初始匹配关系,在相似度传递步骤中我们根据元素之间的关联关系调整初始匹配关系中每个匹配的相似度得到最终的相似度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911315786.5A CN111178406B (zh) | 2019-12-19 | 2019-12-19 | 气象水文数据接收终端状态监控和远程管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911315786.5A CN111178406B (zh) | 2019-12-19 | 2019-12-19 | 气象水文数据接收终端状态监控和远程管理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111178406A CN111178406A (zh) | 2020-05-19 |
CN111178406B true CN111178406B (zh) | 2023-06-20 |
Family
ID=70646352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911315786.5A Active CN111178406B (zh) | 2019-12-19 | 2019-12-19 | 气象水文数据接收终端状态监控和远程管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111178406B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107968840A (zh) * | 2017-12-15 | 2018-04-27 | 华北电力大学(保定) | 一种大规模电力设备监测报警数据实时处理方法及系统 |
CN108174165A (zh) * | 2018-01-17 | 2018-06-15 | 重庆览辉信息技术有限公司 | 电力安全作业及运维智能监管系统及方法 |
CN109613867A (zh) * | 2018-12-13 | 2019-04-12 | 深圳桓轩科技有限公司 | 一种车辆远程监控系统及方法 |
CN110515994A (zh) * | 2019-08-20 | 2019-11-29 | 合肥英泽信息科技有限公司 | 一种基于大数据的地质勘查分析管理系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108183799A (zh) * | 2017-12-21 | 2018-06-19 | 上海理工大学 | 基于时间关联成像的混合密码方法 |
CN109633546A (zh) * | 2018-12-18 | 2019-04-16 | 中国电子科技集团公司第四十九研究所 | 一种加密信息簇式高保真海上目标探测装置 |
-
2019
- 2019-12-19 CN CN201911315786.5A patent/CN111178406B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107968840A (zh) * | 2017-12-15 | 2018-04-27 | 华北电力大学(保定) | 一种大规模电力设备监测报警数据实时处理方法及系统 |
CN108174165A (zh) * | 2018-01-17 | 2018-06-15 | 重庆览辉信息技术有限公司 | 电力安全作业及运维智能监管系统及方法 |
CN109613867A (zh) * | 2018-12-13 | 2019-04-12 | 深圳桓轩科技有限公司 | 一种车辆远程监控系统及方法 |
CN110515994A (zh) * | 2019-08-20 | 2019-11-29 | 合肥英泽信息科技有限公司 | 一种基于大数据的地质勘查分析管理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111178406A (zh) | 2020-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11991194B2 (en) | Cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion | |
CN110119420B (zh) | 数据编配平台管理 | |
CN109104620B (zh) | 一种短视频推荐方法、装置和可读介质 | |
CN110347873B (zh) | 视频分类方法、装置、电子设备及存储介质 | |
JP2022058915A (ja) | 画像認識モデルをトレーニングするための方法および装置、画像を認識するための方法および装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
US11669528B2 (en) | Joining multiple events in data streaming analytics systems | |
WO2019180433A1 (en) | Predicting using digital twins | |
WO2022028304A1 (zh) | 一种多媒体数据处理方法、装置、设备及可读存储介质 | |
CN113254684B (zh) | 一种内容时效的确定方法、相关装置、设备以及存储介质 | |
CA3160259A1 (en) | Self-optimizing labeling platform | |
US20230124389A1 (en) | Model Determination Method and Electronic Device | |
CN116501779A (zh) | 一种进行实时反馈的大数据挖掘分析系统 | |
CN117197722B (zh) | 基于移动互联网视频的用户感知与分析系统 | |
CN112330059B (zh) | 用于生成预测分数的方法、装置、电子设备和介质 | |
CN110661999A (zh) | 一种基于大数据的视频监控系统 | |
CN111178406B (zh) | 气象水文数据接收终端状态监控和远程管理系统 | |
CN116760884A (zh) | 一种海洋大数据云服务系统与应用方法 | |
US20230196204A1 (en) | Agnostic machine learning inference | |
US20230196138A1 (en) | Labeling platform declarative model | |
US20230072641A1 (en) | Image Processing and Automatic Learning on Low Complexity Edge Apparatus and Methods of Operation | |
US11546417B2 (en) | Method for managing artificial intelligence application, device, and program product | |
EP3683733A1 (en) | A method, an apparatus and a computer program product for neural networks | |
KR101878291B1 (ko) | 에너지 빅데이터 관리 시스템 및 그 방법 | |
CN117749836B (zh) | 一种基于人工智能的物联网终端监控方法及系统 | |
US20240005146A1 (en) | Extraction of high-value sequential patterns using reinforcement learning techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240103 Address after: 410073 Hunan province Changsha Kaifu District, Deya Road No. 109 Patentee after: National University of Defense Technology Address before: No.60, jiagangmen, Qinhuai District, Nanjing, Jiangsu Province, 210000 Patentee before: Hu Youbin |
|
TR01 | Transfer of patent right |