CN117319517A - 一种基于多协议的供水设备数据整合和转发方法 - Google Patents
一种基于多协议的供水设备数据整合和转发方法 Download PDFInfo
- Publication number
- CN117319517A CN117319517A CN202311594112.XA CN202311594112A CN117319517A CN 117319517 A CN117319517 A CN 117319517A CN 202311594112 A CN202311594112 A CN 202311594112A CN 117319517 A CN117319517 A CN 117319517A
- Authority
- CN
- China
- Prior art keywords
- data
- water supply
- supply equipment
- protocol
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 150
- 238000000034 method Methods 0.000 title claims abstract description 90
- 230000010354 integration Effects 0.000 title claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 56
- 230000005540 biological transmission Effects 0.000 claims abstract description 42
- 238000006243 chemical reaction Methods 0.000 claims abstract description 30
- 230000001360 synchronised effect Effects 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 238000012795 verification Methods 0.000 claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 238000012937 correction Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 21
- 238000005516 engineering process Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000013144 data compression Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000013496 data integrity verification Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 238000007405 data analysis Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013524 data verification Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/08—Protocols for interworking; Protocol conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/0435—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply symmetric encryption, i.e. same key used for encryption and decryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Communication Control (AREA)
Abstract
本发明涉及数据信息传输技术领域，尤其涉及一种基于多协议的供水设备数据整合和转发方法。首先，部署传感器对供水设备进行实时数据采集，并识别数据所对应的通信协议，引入智能结构解析算法和协议智能匹配算法，得到标记了通信协议的供水设备数据；其次，对标记了通信协议的供水设备数据进行校验以及错误纠正，得到校验和错误纠正后的供水设备数据，再进行加密处理；对加密处理后的供水设备数据进行解密校验处理，再进行数据转换处理，得到统一格式的供水设备数据，对统一格式的供水设备数据进行整合与同步；最后，将整合与同步后的统一格式的供水设备数据进行远程监控和实时数据传输。解决了现有技术对数据处理不够准确以及不可靠的技术问题。
Description
技术领域
本发明涉及数据信息传输技术领域，尤其涉及一种基于多协议的供水设备数据整合和转发方法。
背景技术
在现代城市的供水系统中，供水设备的智能化程度越来越高，这些设备通过传感器收集的数据可以用于监测水质、水量、压力等多个参数，从而实现对供水系统的实时监控和智能调控。在现代供水设备中，数据的整合和转发是确保水资源合理分配和使用的关键，然而，由于供水设备通常采用不同的通信协议，这些设备之间的数据交换和通信面临着协议不统一的问题，因此在不同设备之间进行数据交换时，需要进行协议转换，这不仅增加了系统的复杂性，还可能导致数据传输的不准确和不可靠。
对于供水设备数据整合、转发以及传输的方法有很多，中国发明专利申请号为“CN201510244039.2”，公开日：2015.08.19，公开了一种变频供水设备的数据传输方法、装置、系统及中心服务器，主要包括：获取供水设备所处网络的IP地址，并将IP地址进行动态域名解析；根据动态域名解析的结果，在供水设备与中心服务器之间建立网络连接；接收中心服务器发送的访问指令，并根据访问指令采集供水设备的工作数据；以及将工作数据发送至中心服务器；在该发明实施例中，通过对供水设备工作数据的统一管理和传输，进而使任意用户通过终端设备与供水设备之间可以进行互动，解决了相关技术中存在的供水设备由于数据信号传输接口和传输协议的不同造成的各供水设备之间的数据信号无法有效互联互通的问题。
但上述技术至少存在如下技术问题：对数据处理不够准确以及不可靠的技术问题。
发明内容
本申请实施例通过提供一种基于多协议的供水设备数据整合和转发方法，解决了现有技术对数据处理不够准确以及不可靠的技术问题，实现了对供水设备数据整合和转发更准确更安全的技术效果。
本申请提供了一种基于多协议的供水设备数据整合和转发方法，具体包括以下技术方案：
一种基于多协议的供水设备数据整合和转发方法，包括以下步骤：
S1. 部署传感器对供水设备进行实时数据采集，并识别数据所对应的通信协议，引入智能结构解析算法和协议智能匹配算法，得到标记了通信协议的供水设备数据；
S2. 对标记了通信协议的供水设备数据进行校验以及错误纠正，得到校验和错误纠正后的供水设备数据，同时对校验和错误纠正后的供水设备数据进行加密处理；
S3. 对加密处理后的供水设备数据进行解密校验处理，再进行数据转换处理，得到统一格式的供水设备数据，对所述统一格式的供水设备数据进行整合与同步；
S4. 将整合与同步后的统一格式的供水设备数据进行远程监控和实时数据传输。
优选的，所述S1，具体包括：
首先，部署传感器，对供水设备的实时数据进行采集，得到供水设备的原始数据，再对供水设备的原始数据进行预处理，首先采用噪声滤除算法，对原始数据进行去噪处理；再采用滤波算法，对去噪后的数据进行滤波处理；再采用数据归一化算法，对滤波后的数据进行归一化处理，所述归一化后的数据为预处理后的数据；对所述预处理后的数据进行分析，识别数据所对应的通信协议。
优选的，在所述S1中，还包括：
在识别数据所对应的通信协议的过程中，使用智能结构解析算法对预处理后的数据进行格式分析；并引入数据格式特征集合得到格式特征。
优选的，在所述S1中，还包括：
在识别数据所对应的通信协议的过程中，使用协议特征智能提取算法提取数据中的协议特征，引入协议特征集合得到协议特征；使用协议智能匹配算法，将提取的协议特征与已知的通信协议特征进行匹配，引入协议匹配函数进行匹配，得到标记了通信协议的供水设备数据。
优选的，所述S2，具体包括：
对标记了通信协议的供水设备数据，按照通信协议进行分类处理，使用数据格式化技术，将收集到的数据转换为统一的格式，得到按协议分类并格式化的供水设备数据；使用循环冗余校验技术，对数据进行错误检测，对于可纠正的错误，使用纠错码技术进行错误纠正；对于不可纠正的错误，使用重传请求技术，重新获取数据，得到纠正后的供水设备数据。
优选的，在所述S2中，还包括：
通过优化对称加密算法对经过校验和纠正的供水设备数据进行加密处理，在所述优化对称加密算法实现过程中，首先根据所述优化对称加密算法，生成相应的密钥，对经过校验和纠正的供水设备数据进行加密处理，进一步，引入哈希函数，对密文进行哈希处理，得到哈希值，然后将哈希值和密文一起传输，得到加密后的供水设备数据和哈希值。
优选的，所述S3，具体包括：
利用所述优化对称加密算法产生的密钥对加密数据进行解密处理，得到解密后的标记了通信协议的供水设备数据，并利用哈希值进行数据完整性校验，得到解密并校验完整性后的标记了通信协议的供水设备数据，进一步，对解密并校验完整性后的标记了通信协议的供水设备数据进行协议提取，并使用多协议转换方法进行数据转换。
优选的，在所述S3中，还包括：
在实现数据转换过程中，引入协议融合算法，所述协议融合算法的核心思想是通过建立协议映射表，将不同协议的数据格式进行统一。
优选的，在所述S3中，还包括：
在接收到转换为统一格式的供水设备数据后，进行整合处理，得到整合后的数据；对整合后的数据利用数据同步优化算法进行处理。
优选的，在所述S3中，还包括：
所述数据同步优化算法，具体实现过程有：引入动态调整同步频率算法；并结合数据压缩和传输算法。
有益效果：
本申请实施例中提供的多个技术方案，至少具有如下技术效果或优点：
1、本申请通过使用智能结构解析算法和协议特征智能提取算法，能够准确地识别数据中的特定格式和结构，以及提取数据中的协议特征，有效地识别数据所对应的通信协议，从而确保数据的正确传输和处理；通过引入数据格式特征集合和协议特征集合，能够准确地分析数据中的格式特征和协议特征，所述方法使用了公式化的分析方法，能够确保数据分析的准确性和一致性，使用协议智能匹配算法，能够将提取的协议特征与已知的通信协议特征进行匹配，从而准确地识别数据所对应的通信协议。
2、本申请通过选择对称加密算法，并对其进行优化，确保数据的安全性。使用确定的加密算法和生成的密钥，对经过校验和纠正的供水设备数据进行加密处理，从而确保数据在不安全的通道中的安全性，此外，引入哈希函数对密文进行哈希处理，进一步增加了数据的安全性。
3、本申请通过多协议转换方法，将数据转换为统一的数据格式，提高数据的一致性，引入协议融合算法，通过建立协议映射表，将不同协议的数据格式进行统一，简化数据转换的过程，从而提高数据处理的效率，引入动态调整同步频率算法，解决数据同步的延迟问题。使用数据压缩和传输算法，提高数据同步的效率。监控数据同步的成功率，确保数据同步的完整性和一致性。
4、本申请的技术方案能够有效解决对数据处理不够准确以及不可靠的技术问题，通过使用智能结构解析算法和协议特征智能提取算法，能够准确地识别数据中的特定格式和结构，以及提取数据中的协议特征，有效地识别数据所对应的通信协议，从而确保数据的正确传输和处理；通过引入数据格式特征集合和协议特征集合，能够准确地分析数据中的格式特征和协议特征，所述方法使用了公式化的分析方法，能够确保数据分析的准确性和一致性，使用协议智能匹配算法，能够将提取的协议特征与已知的通信协议特征进行匹配，从而准确地识别数据所对应的通信协议；选择对称加密算法，并对其进行优化，确保数据的安全性。使用确定的加密算法和生成的密钥，对经过校验和纠正的供水设备数据进行加密处理，从而确保数据在不安全的通道中的安全性，此外，引入哈希函数对密文进行哈希处理，进一步增加了数据的安全性；利用多协议转换方法，将数据转换为统一的数据格式，提高数据的一致性，引入协议融合算法，通过建立协议映射表，将不同协议的数据格式进行统一，简化数据转换的过程，从而提高数据处理的效率，引入动态调整同步频率算法，解决数据同步的延迟问题。使用数据压缩和传输算法，提高数据同步的效率，监控数据同步的成功率，确保数据同步的完整性和一致性。
附图说明
图1为本申请对基于多协议的供水设备数据整合和转发方法的流程图。
具体实施方式
本申请实施例通过提供一种基于多协议的供水设备数据整合和转发方法，解决了现有技术中对数据处理不够准确以及不可靠的技术问题，总体思路如下：
首先，部署传感器对供水设备进行实时数据采集，并识别数据所对应的通信协议；对标记了通信协议的供水设备数据进行校验以及错误纠正，得到校验和纠正的供水设备数据，同时对校验和纠正的供水设备数据进行加密处理，得到更完整、更准确、更安全的数据；对加密后的供水设备数据进行解密校验处理，得到解密并校验完整性后的标记了通信协议的供水设备数据，再进行数据转换处理，得到统一格式的供水设备数据，对所述统一格式的供水设备数据进行整合与同步，得到同步后的供水设备数据集；最后，将整合与同步后的统一格式的供水设备数据进行远程监控和实施数据传输。通过使用智能结构解析算法和协议特征智能提取算法，能够准确地识别数据中的特定格式和结构，以及提取数据中的协议特征，有效地识别数据所对应的通信协议，从而确保数据的正确传输和处理；通过引入数据格式特征集合和协议特征集合，能够准确地分析数据中的格式特征和协议特征，所述方法使用了公式化的分析方法，能够确保数据分析的准确性和一致性，使用协议智能匹配算法，能够将提取的协议特征与已知的通信协议特征进行匹配，从而准确地识别数据所对应的通信协议；选择对称加密算法，并对其进行优化，确保数据的安全性。使用确定的加密算法和生成的密钥，对经过校验和纠正的供水设备数据进行加密处理，从而确保数据在不安全的通道中的安全性，此外，引入哈希函数对密文进行哈希处理，进一步增加了数据的安全性；利用多协议转换方法，将数据转换为统一的数据格式，提高数据的一致性，引入协议融合算法，通过建立协议映射表，将不同协议的数据格式进行统一，简化数据转换的过程，从而提高数据处理的效率，引入动态调整同步频率算法，解决数据同步的延迟问题。使用数据压缩和传输算法，提高数据同步的效率，监控数据同步的成功率，确保数据同步的完整性和一致性。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参照附图1，本申请所述一种基于多协议的供水设备数据整合和转发方法，包括以下步骤：
S1. 部署传感器对供水设备进行实时数据采集，并识别数据所对应的通信协议，引入智能结构解析算法和协议智能匹配算法，得到标记了通信协议的供水设备数据；
在供水设备的关键位置部署传感器，所述传感器如流量传感器、压力传感器、水质传感器；所述传感器将实时监测供水设备的运行状态，所述运行状态根据关键参数获得，所述关键参数包括水流量、水压和水质；在收到传感器传输的数据后，利用采集设备对供水设备的数据进行采集，在供水设备的数据采集完成后，得到供水设备的原始数据，再对供水设备的原始数据进行预处理，首先采用噪声滤除算法，对原始数据进行去噪处理，滤除数据中的噪声部分，得到去噪后的数据，再采用滤波算法，对去噪后的数据进行滤波处理，保留数据中的有效部分，得到滤波后的数据；再采用数据归一化算法，对滤波后的数据进行归一化处理，使数据值落在一个特定的范围内，得到归一化后的数据，所述归一化后的数据为预处理后的供水设备数据；对预处理后的数据进行分析，识别数据所对应的通信协议，具体实现过程如下：
记预处理后的供水设备数据，表示为；其中，/>是通过数据预处理步骤得到的，包含了供水设备的各种参数和状态信息；首先，使用智能结构解析算法对预处理后的数据进行格式分析，识别数据中的特定格式和结构；引入数据格式特征集合/>，具体可以表示为：
其中，；n是数据特征的个数；具体的，第i个格式特征可以表示为：
其中，为第j个特征的权重；/>为第i个数据的第j个特征值；m为数据特征的总数；这里，/>和/>是通过数据特征分析得到的，反映了每个特征的重要性和每个数据的特征值；最后，得到数据的格式和结构信息；
进一步，使用协议特征智能提取算法提取数据中的协议特征，引入协议特征集合，可以表示为：
其中，为数据中的第i个协议特征；m是协议特征的个数；具体的，第i个协议特征可以表示为：
其中，为第k个特征的权重，/>为第i个数据的第k个格式特征，n为格式特征的总数；这里，/>和/>是通过数据分析得到的，反映了每个特征的重要性和每个数据的格式特征值；得到数据的协议特征；
最后，使用协议智能匹配算法，将提取的协议特征与已知的通信协议特征进行匹配，引入协议匹配函数/>，可以表示为：
其中，为通信协议的集合；/>为第i个协议特征的权重；/>为第i个协议特征与通信协议/>的匹配度；/>为高斯核的标准差；这里，/>是已知的，/>、/>和/>是通过数据分析得到的，反映了每个协议特征的重要性和匹配度；得到数据所对应的通信协议，表示为：
最终，得到标记了通信协议的供水设备数据，表示为：
本申请通过使用智能结构解析算法和协议特征智能提取算法，能够准确地识别数据中的特定格式和结构，以及提取数据中的协议特征，有效地识别数据所对应的通信协议，从而确保数据的正确传输和处理；通过引入数据格式特征集合和协议特征集合，能够准确地分析数据中的格式特征和协议特征，所述方法使用了公式化的分析方法，能够确保数据分析的准确性和一致性，使用协议智能匹配算法，能够将提取的协议特征与已知的通信协议特征进行匹配，从而准确地识别数据所对应的通信协议。
S2. 对标记了通信协议的供水设备数据进行校验以及错误纠正，得到校验和错误纠正后的供水设备数据，同时对校验和错误纠正后的供水设备数据进行加密处理；
S21. 数据校验与纠正
首先，对标记了通信协议的供水设备数据，按照通信协议进行分类处理，确保每种协议的数据被正确识别和处理，接着，使用数据格式化技术，将收集到的数据转换为统一的格式，确保数据的一致性，得到按协议分类并格式化的供水设备数据；
随后，使用循环冗余校验（CRC）技术，对数据进行错误检测，确保数据在传输过程中的完整性，对于发现的错误，使用标记技术进行标记，并记录到错误日志中，得到标记了错误的供水设备数据和错误日志；
对于可纠正的错误，使用纠错码技术进行错误纠正，恢复数据的正确性；对于不可纠正的错误，使用重传请求技术，重新获取数据，确保数据的准确性，得到纠正后的供水设备数据；
最后，使用哈希函数技术，对数据进行完整性校验，确保数据在传输过程中未被篡改，对于完整性校验失败的数据，使用重传请求技术，重新获取数据，确保数据的完整性，得到完整性校验后的供水设备数据；
S22. 数据加密处理；
根据数据的敏感性和安全性要求，选择对称加密算法，本申请对原始对称加密算法进行优化，得到优化对称加密算法，根据选择的优化对称加密算法，生成相应的密钥，数学公式表示为：
其中，是密钥，是用于加密和解密的秘密参数；/>是密钥生成函数，是根据随机数生成密钥的函数；/>是随机数，用于增加密钥的随机性；/>是掩码，是一种随机数，用于增加密钥的随机性。
使用确定的加密算法和生成的密钥，对经过校验和纠正的供水设备数据进行加密处理，数学公式为：
其中，是密文，是加密后的数据，用于在不安全的通道中传输，保证数据的安全性；/>是加密函数，是根据密钥/>对数据进行加密的函数；/>是明文，是需要加密的原始数据，即/>；/>是异或运算，用于增加加密的安全性；/>是初始向量，是一种随机数，用于增加加密的随机性；
进一步，为了增加安全性，引入哈希函数，对密文进行哈希处理，得到哈希值/>，然后将哈希值和密文一起传输，其数学公式为：
其中，是哈希值，是对密文进行哈希处理后的数据，用于在不安全的通道中验证数据的完整性；/>是哈希函数，是根据密文生成哈希值的函数；
经上述过程得到加密后的供水设备数据和哈希值。
本申请通过选择对称加密算法，并对其进行优化，确保数据的安全性。使用确定的加密算法和生成的密钥，对经过校验和纠正的供水设备数据进行加密处理，从而确保数据在不安全的通道中的安全性，此外，引入哈希函数对密文进行哈希处理，进一步增加了数据的安全性。
S3. 对加密处理后的供水设备数据进行解密校验处理，再进行数据转换处理，得到统一格式的供水设备数据，对所述统一格式的供水设备数据进行整合与同步；
S31. 解密并转换；
首先利用步骤S2中的优化对称加密算法产生的密钥对加密数据进行解密处理，得到解密后的标记了通信协议的供水设备数据，并利用哈希值进行数据完整性校验，确保数据在传输过程中没有被篡改，最终得到解密并校验完整性后的标记了通信协议的供水设备数据；
进一步，对标记了通信协议的供水设备数据进行协议提取，根据提取的通信协议，使用多协议转换方法进行数据转换，将数据转换为统一的数据格式；
在实现数据转换过程中，为了因不同协议之间的数据格式不一致，导致数据转换的复杂性增加的问题，本申请引入协议融合算法，所述协议融合算法的核心思想是通过建立一个协议映射表，将不同协议的数据格式进行统一，从而简化数据转换的过程；具体实现过程如下：
第一步，建立协议映射表；由技术人员按照规则和标准，设定协议映射表List，其中List的行表示源协议，列表示目标协议，List的元素表示源协议到目标协议的映射关系；此外，为了确保映射表的准确性，利用验证算法对映射表进行验证，确保每一条映射关系都是正确的；
第二步：识别源协议和目标协议；对于每一条需要转换的数据，首先，采用协议识别算法识别其源协议P1和目标协议P2；此外，利用识别验证算法对识别结果进行验证，确保识别的协议是正确的；
第三步，查找映射关系；在协议映射表List中查找List [P1][P2]，得到映射关系g；此外，为了确保映射关系的准确性，利用重复验证法对映射关系进行验证；
第四步，数据转换，根据映射关系g，将数据从源协议P1转换为目标协议P2；此外，由专业人员预设的对比验证法对转换结果进行验证，确保转换后的数据格式是正确的；
最后得到经过验证的统一格式的供水设备数据。
S32. 整合与同步；
在接收到转换为统一格式的供水设备数据后，首先进行所述统一格式的供水设备数据去重处理，通过设备ID和时间戳进行去重，使用哈希表存储已处理的数据，以便快速查找和去重。数据按照设备ID和时间戳排序，遍历整个数据集，检查每条数据是否存在于哈希表中，如果存在，则删除；如果不存在，则添加到哈希表中，以便后续的去重处理；经过所述去重处理得到的数据集中每条数据都是唯一的，不存在重复的数据；
接下来，进行数据融合处理，使用数据融合技术，将不同设备的数据融合在一起，形成一个完整的数据集；数据按照设备ID分组，然后对每组数据进行融合处理，合并同一设备的数据；经过所述融合处理得到的数据集中每组数据都是同一设备的数据，不存在不同设备的数据混杂在一起；
随后，进行数据一致性处理，使用数据一致性处理技术，处理数据中的冲突和不一致问题，确保数据的一致性；数据按照时间戳排序，遍历整个数据集，检查每条数据是否与前后的数据一致，如果存在不一致的情况，进行修正；经过所述一致性处理得到的数据集中每条数据都是一致的，不存在冲突和不一致的情况；
最后，进行数据完整性检查；使用数据完整性检查技术，处理数据中的缺失和不完整问题，确保数据的完整性；数据按照时间戳排序，遍历整个数据集，检查每条数据是否完整，如果存在不完整的情况，进行补充；经过所述完整性检查处理得到的数据集中每条数据都是完整的，不存在缺失和不完整的情况；
进一步，对整合后的数据利用数据同步优化算法进行处理，具体实现过程如下：
首先，引入动态调整同步频率算法解决数据同步的延迟问题，所述动态调整同步频率算法具体有：
第一步，定义同步频率，初始化为一个默认值/>，同步频率/>表示在单位时间内进行数据同步的次数，其值越大，表示同步的频率越高；
第二步，定义参数指标，所述参数指标有定义网络状况指标N，数据量指标D，以及同步成功率指标S；所述网络状况指标N表示当前网络的质量，其值越大，表示网络状况越好；数据量指标D表示待同步的数据量大小，其值越大，表示数据量越大；同步成功率指标S表示数据同步的成功率，其值越大，表示同步成功的概率越高；
第三步，同步频率的动态调整；根据网络状况指标N和数据量指标D动态调整同步频率；如果/> 且/>，提高同步频率，即/>，其中，/>为预设的频率调整值，/>和/>为网络状况和数据量的阈值；
如果 或/>，降低同步频率，即/>；
第四步，监控参数指标；在调整同步频率的同时，监控数据同步的成功率指标S；如果，进一步调整同步频率，直到/>，其中，/>为同步成功率的阈值；
进一步，基于上述处理结果，结合数据压缩和传输算法来提高数据同步的效率；所述数据压缩和传输算法具体过程如下：对待同步的数据进行压缩处理，得到压缩后的数据，所述数据压缩是通过压缩算法将数据的大小减小，以便于传输；再使用高效的传输协议进行数据传输；所述传输协议是规定数据传输方式的一种规则，不同的传输协议有不同的传输效率；在接收端进行数据解压和验证；所述数据解压是将压缩后的数据恢复到原始状态，验证是确保数据的完整性和一致性；如果数据验证失败，重新请求数据传输；如果数据验证成功，存储数据并更新同步状态。
最后，监控数据同步的成功率，如果低于预设的阈值，重新进行数据同步；
特别地，在数据同步的过程中，如果遇到网络中断或其他异常情况，采取相应的错误处理机制，确保数据同步的完整性和一致性。
本申请通过多协议转换方法，将数据转换为统一的数据格式，提高数据的一致性，引入协议融合算法，通过建立协议映射表，将不同协议的数据格式进行统一，简化数据转换的过程，从而提高数据处理的效率，引入动态调整同步频率算法，解决数据同步的延迟问题。使用数据压缩和传输算法，提高数据同步的效率。监控数据同步的成功率，确保数据同步的完整性和一致性。
S4. 将整合与同步后的统一格式的供水设备数据进行远程监控和实时数据传输。
首先，按照评估性能、安全性、成本和服务的方法，选择合适的云平台，用于存储和处理供水设备的数据，得到选定的云平台；然后，按照使用SSL/TLS加密协议的方法，建立安全的数据传输通道，确保数据在传输过程中的安全性，得到安全的数据传输通道；接着，按照使用MQTT实时通信协议的方法，实现数据的实时传输，得到实时传输的供水设备数据；同时，按照使用Zabbix监控工具的方法，实时收集和分析供水设备的数据，得到实时监控的供水设备数据；最后，按照使用数据库的方法，存储供水设备的数据，得到存储在云平台上的供水设备数据。
综上所述，便完成了本申请所述的一种基于多协议的供水设备数据整合和转发方法。
上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：
1、本申请通过使用智能结构解析算法和协议特征智能提取算法，能够准确地识别数据中的特定格式和结构，以及提取数据中的协议特征，有效地识别数据所对应的通信协议，从而确保数据的正确传输和处理；通过引入数据格式特征集合和协议特征集合，能够准确地分析数据中的格式特征和协议特征，所述方法使用了公式化的分析方法，能够确保数据分析的准确性和一致性，使用协议智能匹配算法，能够将提取的协议特征与已知的通信协议特征进行匹配，从而准确地识别数据所对应的通信协议。
2、本申请通过选择对称加密算法，并对其进行优化，确保数据的安全性。使用确定的加密算法和生成的密钥，对经过校验和纠正的供水设备数据进行加密处理，从而确保数据在不安全的通道中的安全性，此外，引入哈希函数对密文进行哈希处理，进一步增加了数据的安全性。
3、本申请通过多协议转换方法，将数据转换为统一的数据格式，提高数据的一致性，引入协议融合算法，通过建立协议映射表，将不同协议的数据格式进行统一，简化数据转换的过程，从而提高数据处理的效率，引入动态调整同步频率算法，解决数据同步的延迟问题。使用数据压缩和传输算法，提高数据同步的效率。监控数据同步的成功率，确保数据同步的完整性和一致性。
效果调研：
本申请的技术方案能够有效解决对数据处理不够准确以及不可靠的技术问题，并且，上述系统或方法经过了一系列的效果调研，通过使用智能结构解析算法和协议特征智能提取算法，能够准确地识别数据中的特定格式和结构，以及提取数据中的协议特征，有效地识别数据所对应的通信协议，从而确保数据的正确传输和处理；通过引入数据格式特征集合和协议特征集合，能够准确地分析数据中的格式特征和协议特征，所述方法使用了公式化的分析方法，能够确保数据分析的准确性和一致性，使用协议智能匹配算法，能够将提取的协议特征与已知的通信协议特征进行匹配，从而准确地识别数据所对应的通信协议；选择对称加密算法，并对其进行优化，确保数据的安全性。使用确定的加密算法和生成的密钥，对经过校验和纠正的供水设备数据进行加密处理，从而确保数据在不安全的通道中的安全性，此外，引入哈希函数对密文进行哈希处理，进一步增加了数据的安全性；利用多协议转换方法，将数据转换为统一的数据格式，提高数据的一致性，引入协议融合算法，通过建立协议映射表，将不同协议的数据格式进行统一，简化数据转换的过程，从而提高数据处理的效率，引入动态调整同步频率算法，解决数据同步的延迟问题。使用数据压缩和传输算法，提高数据同步的效率，监控数据同步的成功率，确保数据同步的完整性和一致性。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于多协议的供水设备数据整合和转发方法，其特征在于，包括以下步骤：
S1. 部署传感器对供水设备进行实时数据采集，并识别数据所对应的通信协议，引入智能结构解析算法和协议智能匹配算法，得到标记了通信协议的供水设备数据；
S2. 对标记了通信协议的供水设备数据进行校验以及错误纠正，得到校验和错误纠正后的供水设备数据，同时对校验和错误纠正后的供水设备数据进行加密处理；
S3. 对加密处理后的供水设备数据进行解密校验处理，再进行数据转换处理，得到统一格式的供水设备数据，对所述统一格式的供水设备数据进行整合与同步；
S4. 将整合与同步后的统一格式的供水设备数据进行远程监控和实时数据传输。
2.根据权利要求1所述的一种基于多协议的供水设备数据整合和转发方法，其特征在于，所述S1，具体包括：
首先，部署传感器，对供水设备的实时数据进行采集，得到供水设备的原始数据，再对供水设备的原始数据进行预处理，首先采用噪声滤除算法，对原始数据进行去噪处理；再采用滤波算法，对去噪后的数据进行滤波处理；再采用数据归一化算法，对滤波后的数据进行归一化处理，所述归一化后的数据为预处理后的数据；对所述预处理后的数据进行分析，识别数据所对应的通信协议。
3.根据权利要求2所述的一种基于多协议的供水设备数据整合和转发方法，其特征在于，在所述S1中，还包括：
在识别数据所对应的通信协议的过程中，使用智能结构解析算法对预处理后的数据进行格式分析；并引入数据格式特征集合得到格式特征。
4.根据权利要求3所述的一种基于多协议的供水设备数据整合和转发方法，其特征在于，在所述S1中，还包括：
在识别数据所对应的通信协议的过程中，使用协议特征智能提取算法提取数据中的协议特征，引入协议特征集合得到协议特征；使用协议智能匹配算法，将提取的协议特征与已知的通信协议特征进行匹配，引入协议匹配函数进行匹配，得到标记了通信协议的供水设备数据。
5.根据权利要求1所述的一种基于多协议的供水设备数据整合和转发方法，其特征在于，所述S2，具体包括：
对标记了通信协议的供水设备数据，按照通信协议进行分类处理，使用数据格式化技术，将收集到的数据转换为统一的格式，得到按协议分类并格式化的供水设备数据；使用循环冗余校验技术，对数据进行错误检测，对于可纠正的错误，使用纠错码技术进行错误纠正；对于不可纠正的错误，使用重传请求技术，重新获取数据，得到纠正后的供水设备数据。
6.根据权利要求5所述的一种基于多协议的供水设备数据整合和转发方法，其特征在于，在所述S2中，还包括：
通过优化对称加密算法对经过校验和纠正的供水设备数据进行加密处理，在所述优化对称加密算法实现过程中，首先根据所述优化对称加密算法，生成相应的密钥，对经过校验和纠正的供水设备数据进行加密处理，进一步，引入哈希函数，对密文进行哈希处理，得到哈希值，然后将哈希值和密文一起传输，得到加密后的供水设备数据和哈希值。
7.根据权利要求6所述的一种基于多协议的供水设备数据整合和转发方法，其特征在于，所述S3，具体包括：
利用所述优化对称加密算法产生的密钥对加密数据进行解密处理，得到解密后的标记了通信协议的供水设备数据，并利用哈希值进行数据完整性校验，得到解密并校验完整性后的标记了通信协议的供水设备数据，进一步，对解密并校验完整性后的标记了通信协议的供水设备数据进行协议提取，并使用多协议转换方法进行数据转换。
8.根据权利要求7所述的一种基于多协议的供水设备数据整合和转发方法，其特征在于，在所述S3中，还包括：
在实现数据转换过程中，引入协议融合算法，所述协议融合算法是通过建立协议映射表，将不同协议的数据格式进行统一。
9.根据权利要求8所述的一种基于多协议的供水设备数据整合和转发方法，其特征在于，在所述S3中，还包括：
在接收到转换为统一格式的供水设备数据后，进行整合处理，得到整合后的数据；对整合后的数据利用数据同步优化算法进行处理。
10.根据权利要求9所述的一种基于多协议的供水设备数据整合和转发方法，其特征在于，在所述S3中，还包括：
所述数据同步优化算法，具体为：引入动态调整同步频率算法；并结合数据压缩和传输算法进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311594112.XA CN117319517B (zh) | 2023-11-27 | 2023-11-27 | 一种基于多协议的供水设备数据整合和转发方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311594112.XA CN117319517B (zh) | 2023-11-27 | 2023-11-27 | 一种基于多协议的供水设备数据整合和转发方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117319517A true CN117319517A (zh) | 2023-12-29 |
| CN117319517B CN117319517B (zh) | 2024-02-20 |
Family
ID=89286809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311594112.XA Active CN117319517B (zh) | 2023-11-27 | 2023-11-27 | 一种基于多协议的供水设备数据整合和转发方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117319517B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180144822A1 (en) * | 2016-11-22 | 2018-05-24 | Siemens Healthcare Gmbh | Method and computer for mapping a medical imaging protocol to a lexicon |
| WO2018176244A1 (zh) * | 2017-03-29 | 2018-10-04 | 深圳中兴力维技术有限公司 | 数据采集方法、装置和动环网管系统 |
| CN112104654A (zh) * | 2020-09-16 | 2020-12-18 | 北京天地玛珂电液控制系统有限公司 | 一种多协议自动识别与转换方法及智能网关 |
| CN116540597A (zh) * | 2023-04-19 | 2023-08-04 | 广州特纳信息科技有限公司 | 一种基于边缘计算的工业控制系统 |
| CN116760740A (zh) * | 2023-07-20 | 2023-09-15 | 南京景泓智垚电子科技有限公司 | 物联网设备中智能嵌入式监测系统 |
| CN116887073A (zh) * | 2023-07-20 | 2023-10-13 | 南京启点电子科技有限公司 | 一种基于计算机网络通信的电能表数据采集控制系统 |
-
2023
- 2023-11-27 CN CN202311594112.XA patent/CN117319517B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180144822A1 (en) * | 2016-11-22 | 2018-05-24 | Siemens Healthcare Gmbh | Method and computer for mapping a medical imaging protocol to a lexicon |
| WO2018176244A1 (zh) * | 2017-03-29 | 2018-10-04 | 深圳中兴力维技术有限公司 | 数据采集方法、装置和动环网管系统 |
| CN112104654A (zh) * | 2020-09-16 | 2020-12-18 | 北京天地玛珂电液控制系统有限公司 | 一种多协议自动识别与转换方法及智能网关 |
| CN116540597A (zh) * | 2023-04-19 | 2023-08-04 | 广州特纳信息科技有限公司 | 一种基于边缘计算的工业控制系统 |
| CN116760740A (zh) * | 2023-07-20 | 2023-09-15 | 南京景泓智垚电子科技有限公司 | 物联网设备中智能嵌入式监测系统 |
| CN116887073A (zh) * | 2023-07-20 | 2023-10-13 | 南京启点电子科技有限公司 | 一种基于计算机网络通信的电能表数据采集控制系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117319517B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108521418B (zh) | 一种融合区块链及生物特征识别的身份认证方法和系统 | |
| JP4347082B2 (ja) | イベントトレースデータの時刻補正装置，時刻補正方法及び時刻補正プログラム | |
| JP6564799B2 (ja) | 閾値決定装置、閾値決定方法及びプログラム | |
| CN110868409A (zh) | 一种基于tcp/ip协议栈指纹的操作系统被动识别方法及系统 | |
| CN112462212A (zh) | 一种基于云技术的人工智能局放监测判别系统及方法 | |
| CN118247939A (zh) | 一种通信管道安全预警方法及系统 | |
| CN113506096B (zh) | 一种基于工业互联网标识解析体系的系统间接口方法 | |
| CN113179256B (zh) | 一种时间同步系统时间信息安全融合方法及系统 | |
| CN117319517B (zh) | 一种基于多协议的供水设备数据整合和转发方法 | |
| CN107835080B (zh) | 一种分布式系统数据收集方法及数据签名生成方法 | |
| CN116346688B (zh) | Ssl vpn安全认证网关服务合规性检测系统与方法 | |
| CN114567469B (zh) | 基于b/s模式下的应用密码类型检测方法及平台 | |
| CN114629917B (zh) | 一种用于跨系统通讯的数据处理方法、装置及电子设备 | |
| CN113468574B (zh) | 一种区块链数据上链方法和装置 | |
| CN115002035A (zh) | 基于业务级别的电力数据传输拥塞规避方法 | |
| WO2018157336A1 (zh) | 数据处理装置和方法 | |
| CN114866546A (zh) | 一种基于PaaS的监控平台一站式管理系统 | |
| CN113162947A (zh) | 一种传感器网络密码安全协议测试系统及方法 | |
| CN111740817A (zh) | 电力数据采集系统中集中器的代码篡改检测方法及系统 | |
| US10902027B2 (en) | Generation of category information for measurement value | |
| US20230368585A1 (en) | Method and system for data transfer from a vehicle | |
| CN117240870B (zh) | 一种可穿戴设备数据同步方法 | |
| CN115632800B (zh) | 基于区块链共识的物联网源端数据存储方法及装置 | |
| CN115827940B (zh) | 电子档案的归档方法、装置、电子设备和存储介质 | |
| CN115766204B (zh) | 一种针对加密流量的动态ip设备标识系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |