CN114401461B - 基于物联网技术多路数据采集及存储系统 - Google Patents
基于物联网技术多路数据采集及存储系统 Download PDFInfo
- Publication number
- CN114401461B CN114401461B CN202210279955.XA CN202210279955A CN114401461B CN 114401461 B CN114401461 B CN 114401461B CN 202210279955 A CN202210279955 A CN 202210279955A CN 114401461 B CN114401461 B CN 114401461B
- Authority
- CN
- China
- Prior art keywords
- data
- data acquisition
- unit
- transmission
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于物联网技术多路数据采集及存储系统，包括：数据采集系统，所述数据采集系统具有以不同采集端组成的数据采集器集合和对应数据采集器集合的暂存设备；所述暂存设备被配置为基于设定的时序接收数据采集器从数据设备端采集的基础数据，并将所述基础数据按照采集时序进行分块处理，每一分块具有设定的属性值；所述数据服务器内设置有评估模块，所述评估模块用于以响应接收到的多种组合形式传输的分块，评估由不同组合形式传输的分块至数据服务器时的传输效率，并且作为响应，以评估得到的传输效率的最佳组合作为控制模块用作数据服务器和暂存设备之间的传输通道的配置。
Description
技术领域
本发明涉及互联网大数据技术领域，具体为一种基于物联网技术多路数据采集及存储系统。
背景技术
传统的数据采集后全部都会传输到服务器中，然后在服务器中进行数据的清洗、处理再进行存储，这种方式会在数据的传输过程中，造成数据的堵塞，也会造成服务器数据库假死，使得传输效率大大的降低。
而在数据的传输过程中，人为干涉也不会找到最优的传输路线和途径。
发明内容
有鉴于此，本发明的目的在于提供一种基于物联网技术多路数据采集及存储系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
基于物联网技术多路数据采集及存储系统，包括：
数据采集系统，所述数据采集系统具有以不同采集端组成的数据采集器集合和对应数据采集器集合的暂存设备；所述暂存设备被配置为基于设定的时序接收数据采集器从数据设备端采集的基础数据，并将所述基础数据按照采集时序进行分块处理，每一分块具有设定的属性值；
数据服务器，所述数据服务器和暂存设备之间设置有多个传输通道组合，所述传输通道组合基于控制模块的配置用作对应于不同分块的多种组合形式传输；
所述数据服务器内设置有评估模块，所述评估模块用于以响应接收到的多种组合形式传输的分块，评估由不同组合形式传输的分块至数据服务器时的传输效率，并且作为响应，以评估得到的传输效率的最佳组合作为控制模块用作数据服务器和暂存设备之间的传输通道的配置；
存储模块，基于接收到的分块，获取分块的属性值并进行解析，将具有相同属性值的分块存储在同一数据模块中。
优选的，所述数据采集器集合由多个数据采集器连接，每一数据采集器对应与一个数据设备端连接，用于获取数据设备端所产生的基础数据。
优选的，所述暂存设备具有：
时序控制单元；
多个由存储单元构成的存储阵列；
多个接收单元，所述接收单元用于与对应的数据采集器连接，所述接收单元基于时序控制单元按照设定的时序利用数据采集器从数据设备端接收基础数据；
处理器，所述处理器具有：
多个并行的处理单元，每一处理单元用于对接一接收单元，所述处理单元用于对接收的基础数据进行处理，并通过分类单元将基础数据进行分类并对应的存储在对应的存储单元中。
优选的，所述存储阵列由多个连续的存储单元构成。
优选的，所述分类单元用于获取基础数据的属性值，按照属性值的不同将基础数据进行分类，分类后按照属性值对应的存储在存储单元中，以形成一个分块。
优选的，所述暂存设备还包括传输单元和分配单元；
所述传输单元用于基于时序控制单元设定的每一存储阵列下的分块的传输周期，将同一存储阵列下一个分块或者多个分块建立与传输通道的连接；
所述分配单元用于基于每一分块的属性值将分块随机的分配到至少一个传输通道传输。
优选的，所述控制模块用于依据同一存储阵列下的至少一个分块来配置至少一个分块的至少一个传输通道的组合形式传输。
优选的，所述控制模块用于依据同一存储阵列下的不同属性值的分块来配置至少一个用于同一存储阵列下的不同属性值的分块的传输通道；
或者，所述控制模块用于依据同一存储阵列下的不同属性值的分块来配置多个用于同一存储阵列下的不同属性值的多个传输通道的组合形式传输。
本发明中，在数据采集器采集数据的过程中，并不是所有的数据采集器都工作，而是将数据采集器基于时序控制单元按照设定的时序从数据设备端接收基础数据，这种设计是将不同的数据采集器进行间隔工作，当有一个数据采集器工作时，其他的数据采集器不工作，从而设定好每一个数据采集器的工作时间，数据采集器将基础数据采集后，传输到暂存设备，在暂存设备中，所述接收单元用于与对应的数据采集器连接，所述接收单元基于时序控制单元按照设定的时序利用数据采集器从数据设备端接收基础数据；然后利用多个并行的处理单元处理基础数据，其中，每一处理单元用于对接一接收单元，所述处理单元用于对接收的基础数据进行处理，并通过分类单元将基础数据进行分类并对应的存储在对应的存储单元中。所述分类单元用于获取基础数据的属性值，按照属性值的不同将基础数据进行分类，分类后按照属性值对应的存储在存储单元中，以形成一个分块。
同一分块在一个传输通道中，或者不同分块在一个传输通道中传输，或者多个分块在至少两个传输通道中进行传输的效率是不同的，通过所述评估模块用于以响应接收到的多种组合形式传输的分块，评估由不同组合形式传输的分块至数据服务器时的传输效率，并且作为响应，以评估得到的传输效率的最佳组合作为控制模块用作数据服务器和暂存设备之间的传输通道的配置。
附图说明
图1本发明的方法流程图；
图2为本发明的框架原理图。
具体实施方式
以下结合附图对本发明进行详细的描述，参照图1至图2。
参照图1，本发明提供了基于物联网技术多路数据采集及存储系统，包括：
数据采集系统，所述数据采集系统具有以不同采集端组成的数据采集器集合和对应数据采集器集合的暂存设备，所述数据采集器集合由多个数据采集器连接，每一数据采集器对应与一个数据设备端连接，用于获取数据设备端所产生的基础数据；所述暂存设备被配置为基于设定的时序接收数据采集器从数据设备端采集的基础数据，并将所述基础数据按照采集时序进行分块处理，每一分块具有设定的属性值；
数据服务器，所述数据服务器和暂存设备之间设置有多个传输通道组合，所述传输通道组合基于控制模块的配置用作对应于不同分块的多种组合形式传输；
所述数据服务器内设置有评估模块，所述评估模块用于以响应接收到的多种组合形式传输的分块，评估由不同组合形式传输的分块至数据服务器时的传输效率，并且作为响应，以评估得到的传输效率的最佳组合作为控制模块用作数据服务器和暂存设备之间的传输通道的配置；
存储模块，基于接收到的分块，获取分块的属性值并进行解析，将具有相同属性值的分块存储在同一数据模块中。
本发明中，在数据采集器采集数据的过程中，并不是所有的数据采集器都工作，而是将数据采集器基于时序控制单元按照设定的时序从数据设备端接收基础数据，这种设计是将不同的数据采集器进行间隔工作，当有一个数据采集器工作时，其他的数据采集器不工作，从而设定好每一个数据采集器的工作时间，数据采集器将基础数据采集后，传输到暂存设备，在暂存设备中，所述接收单元用于与对应的数据采集器连接，所述接收单元基于时序控制单元按照设定的时序利用数据采集器从数据设备端接收基础数据；然后利用多个并行的处理单元处理基础数据，其中，每一处理单元用于对接一接收单元，所述处理单元用于对接收的基础数据进行处理，并通过分类单元将基础数据进行分类并对应的存储在对应的存储单元中。所述分类单元用于获取基础数据的属性值，按照属性值的不同将基础数据进行分类，分类后按照属性值对应的存储在存储单元中，以形成一个分块。
同一分块在一个传输通道中，或者不同分块在一个传输通道中传输，或者多个分块在至少两个传输通道中进行传输的效率是不同的，通过所述评估模块用于以响应接收到的多种组合形式传输的分块，评估由不同组合形式传输的分块至数据服务器时的传输效率，并且作为响应，以评估得到的传输效率的最佳组合作为控制模块用作数据服务器和暂存设备之间的传输通道的配置。
在上述中，所述暂存设备具有：
时序控制单元；
多个由存储单元构成的存储阵列，所述存储阵列由多个连续的存储单元构成；
多个接收单元，所述接收单元用于与对应的数据采集器连接，所述接收单元基于时序控制单元按照设定的时序利用数据采集器从数据设备端接收基础数据；
处理器，所述处理器具有：
多个并行的处理单元，每一处理单元用于对接一接收单元，所述处理单元用于对接收的基础数据进行处理，并通过分类单元将基础数据进行分类并对应的存储在对应的存储单元中。
所述分类单元用于获取基础数据的属性值，按照属性值的不同将基础数据进行分类，分类后按照属性值对应的存储在存储单元中，以形成一个分块。
所述传输单元用于基于时序控制单元设定的每一存储阵列下的分块的传输周期，将同一存储阵列下一个分块或者多个分块建立与传输通道的连接；
在上述中，所述分配单元用于基于每一分块的属性值将分块随机的分配到至少一个传输通道传输。
所述控制模块用于依据同一存储阵列下的至少一个分块来配置至少一个分块的至少一个传输通道的组合形式传输。
所述控制模块用于依据同一存储阵列下的不同属性值的分块来配置至少一个用于同一存储阵列下的不同属性值的分块的传输通道；
或者，所述控制模块用于依据同一存储阵列下的不同属性值的分块来配置多个用于同一存储阵列下的不同属性值的多个传输通道的组合形式传输。
由于在数据传输时，数据的格式多种多样，数据大小也不相同，在同一传输资源下，不同格式、不同大小的数据在传输时会对传输资源利用产生很大的影响，比如在视频数据传输时，就会占用很大的带宽，这样在设定大小的传输资源下，带宽如果被占用大多数，其他数据在传输时就会排队，造成数据堵塞，这样服务器再处理时，也会占用很大的处理线程，造成大量的数据积累无法实现存储，本发明的目的在于，在数据采集器采集数据的过程中，并不是所有的数据采集器都工作，而是将数据采集器基于时序控制单元按照设定的时序从数据设备端接收基础数据，这种设计是将不同的数据采集器进行间隔工作，当有一个数据采集器工作时，其他的数据采集器不工作，从而设定好每一个数据采集器的工作时间，数据采集器将基础数据采集后，传输到暂存设备，在暂存设备中，所述接收单元用于与对应的数据采集器连接，所述接收单元基于时序控制单元按照设定的时序利用数据采集器从数据设备端接收基础数据；然后利用多个并行的处理单元处理基础数据，其中，每一处理单元用于对接一接收单元，所述处理单元用于对接收的基础数据进行处理，并通过分类单元将基础数据进行分类并对应的存储在对应的存储单元中。所述分类单元用于获取基础数据的属性值，按照属性值的不同将基础数据进行分类，分类后按照属性值对应的存储在存储单元中，以形成一个分块。所述传输单元用于基于时序控制单元设定的每一存储阵列下的分块的传输周期，将同一存储阵列下一个分块或者多个分块建立与传输通道的连接；所述分配单元用于基于每一分块的属性值将分块随机的分配到至少一个传输通道传输。
在上述中，暂存设备在进行数据存储时，相同属性值的基础数据会集中的存储在同一个存储单元中，知道存储满形成一个分块后再与服务器建立传输，这样，将杂乱无章的数据统一了格式后压缩传输，忽略不同大小文件的同步传输。这也形成了前端间隔采集，暂存设备不会同时处理大量的基础数据，不会造成数据积累，同时，暂存设备已经完成了数据的处理、分类，服务器就不需要做相同的工作了，传输完毕后就可以进行对应的存储。
在上述中，在暂存设备中对基础数据进行处理，这样，不用暂用服务器的处理线程，且暂存设备在处理过程中，一次也是针对一个或者小数的几个数据采集器采集到的基础数据进行处理，基础数据的总量不会太大，且同时可以利用多个处理单元进行处理，处理过程被优化。在处理过程中，已经将不同格式的基础数据进行了统一分类，分类后将统一类型的或者标有相同属性值的基础数据存储在统一存储单元中，当存储单元被存储满后，就行了一个分块，此时，在开启暂存设备和服务器之间的传输通道，将一个分块作为一个传输量来计算，在同一个传输通道中可以进行一个分块的传输，或者将不同的分块在同一个传输通道中传输，或者将多个分块分配在多个传输通道中进行传输。在传输过程中，不同的传输通道所组成的组合形式传输的传输效率是不同的，通过所述评估模块用于以响应接收到的多种组合形式传输的分块，评估由不同组合形式传输的分块至数据服务器时的传输效率，并且作为响应，以评估得到的传输效率的最佳组合作为控制模块用作数据服务器和暂存设备之间的传输通道的配置。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上所述仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。
Claims (8)
1.基于物联网技术多路数据采集及存储系统，其特征在于，包括：
数据采集系统，所述数据采集系统具有以不同采集端组成的数据采集器集合和对应数据采集器集合的暂存设备；所述暂存设备被配置为基于设定的时序接收数据采集器从数据设备端采集的基础数据，并将所述基础数据按照采集时序进行分块处理，每一分块具有设定的属性值；
数据服务器，所述数据服务器和暂存设备之间设置有多个传输通道组合，所述传输通道组合基于控制模块的配置用作对应于不同分块的多种组合形式传输；
所述数据服务器内设置有评估模块，所述评估模块用于以响应接收到的多种组合形式传输的分块，评估由不同组合形式传输的分块至数据服务器时的传输效率，并且作为响应，以评估得到的传输效率的最佳组合作为控制模块用作数据服务器和暂存设备之间的传输通道的配置；
存储模块，基于接收到的分块，获取分块的属性值并进行解析，将具有相同属性值的分块存储在同一数据模块中。
2.根据权利要求1所述的基于物联网技术多路数据采集及存储系统，其特征在于，所述数据采集器集合由多个数据采集器连接，每一数据采集器对应与一个数据设备端连接，用于获取数据设备端所产生的基础数据。
3.根据权利要求1所述的基于物联网技术多路数据采集及存储系统，其特征在于，所述暂存设备具有：
时序控制单元；
多个由存储单元构成的存储阵列；
多个接收单元，所述接收单元用于与对应的数据采集器连接，所述接收单元基于时序控制单元按照设定的时序利用数据采集器从数据设备端接收基础数据；
处理器，所述处理器具有：
多个并行的处理单元，每一处理单元用于对接一接收单元，所述处理单元用于对接收的基础数据进行处理，并通过分类单元将基础数据进行分类并对应的存储在对应的存储单元中。
4.根据权利要求3所述的基于物联网技术多路数据采集及存储系统，其特征在于，所述存储阵列由多个连续的存储单元构成。
5.根据权利要求3所述的基于物联网技术多路数据采集及存储系统，其特征在于，所述分类单元用于获取基础数据的属性值，按照属性值的不同将基础数据进行分类，分类后按照属性值对应的存储在存储单元中，以形成一个分块。
6.根据权利要求3所述的基于物联网技术多路数据采集及存储系统，其特征在于，所述暂存设备还包括传输单元和分配单元；
所述传输单元用于基于时序控制单元设定的每一存储阵列下的分块的传输周期，将同一存储阵列下一个分块或者多个分块建立与传输通道的连接；
所述分配单元用于基于每一分块的属性值将分块随机的分配到至少一个传输通道传输。
7.根据权利要求1所述的基于物联网技术多路数据采集及存储系统，其特征在于，所述控制模块用于依据同一存储阵列下的至少一个分块来配置至少一个分块的至少一个传输通道的组合形式传输。
8.根据权利要求1或7所述的基于物联网技术多路数据采集及存储系统，其特征在于，所述控制模块用于依据同一存储阵列下的不同属性值的分块来配置至少一个用于同一存储阵列下的不同属性值的分块的传输通道；
或者，所述控制模块用于依据同一存储阵列下的不同属性值的分块来配置多个用于同一存储阵列下的不同属性值的多个传输通道的组合形式传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210279955.XA CN114401461B (zh) | 2022-03-22 | 2022-03-22 | 基于物联网技术多路数据采集及存储系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210279955.XA CN114401461B (zh) | 2022-03-22 | 2022-03-22 | 基于物联网技术多路数据采集及存储系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114401461A CN114401461A (zh) | 2022-04-26 |
| CN114401461B true CN114401461B (zh) | 2022-06-14 |
Family
ID=81234243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210279955.XA Active CN114401461B (zh) | 2022-03-22 | 2022-03-22 | 基于物联网技术多路数据采集及存储系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114401461B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116225571B (zh) * | 2023-03-16 | 2023-09-29 | 长城数字能源(西安)科技有限公司 | 数据采集系统、存储系统以及交换方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105631013B (zh) * | 2015-12-29 | 2019-06-28 | 华为技术有限公司 | 生成哈希值的装置和方法 |
| CN111031094B (zh) * | 2019-11-06 | 2022-07-12 | 远景智能国际私人投资有限公司 | IoT系统中的数据传输方法、装置、设备及存储介质 |
| CN111918230B (zh) * | 2020-05-29 | 2022-09-09 | 北京寄云鼎城科技有限公司 | 一种数据采集方法、数据传输方法、网关、设备和存储介质 |
| CN111858589A (zh) * | 2020-07-16 | 2020-10-30 | 北京金和网络股份有限公司 | 一种时序数据的采集传输方法和装置及系统 |
| CN114064316B (zh) * | 2021-11-16 | 2024-01-30 | 北京元客方舟科技有限公司 | 一种多路采集数据的同步方法及系统 |
-
2022
- 2022-03-22 CN CN202210279955.XA patent/CN114401461B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114401461A (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101814977B (zh) | 利用数据流头部特征的tcp流量在线识别方法及装置 | |
| CN114401461B (zh) | 基于物联网技术多路数据采集及存储系统 | |
| JP5614302B2 (ja) | 通信システムおよび通信方法 | |
| CN105868071A (zh) | 监测数据的处理方法及装置 | |
| CN102929961A (zh) | 基于构建快速数据分级通道的数据处理方法及其装置 | |
| CN102402459B (zh) | 网管系统性能数据汇总的方法和装置 | |
| CN106302017B (zh) | 高并发小流量网络测速系统及方法 | |
| CN105163277A (zh) | 一种基于位置信息的大数据任务的管理系统及方法 | |
| CN110716986B (zh) | 一种大数据分析系统及其应用方法 | |
| CN104320382A (zh) | 分布式的实时流处理装置、方法和单元 | |
| CN104714875A (zh) | 一种分布式的自动化采集的方法 | |
| EP0476686A2 (en) | A control system for mediating service requests | |
| CN207718361U (zh) | Pcm信号采集装置及系统 | |
| CN115695409A (zh) | 一种大容量飞参数据及总线数据的卸载处理方法 | |
| CN102487303A (zh) | 时隙分配管理方法及装置 | |
| CN109471746A (zh) | 一种集群日志的收集方法与系统 | |
| CN102904964A (zh) | 基于完成端口模型的海量集中器并发处理方法 | |
| CN110221998B (zh) | 数据采集方法、装置及系统、计算机存储介质 | |
| CN105391669A (zh) | 一种电力线通信频谱碎片整理方法和装置 | |
| CN112685619A (zh) | 一种网页表格数据通用抓取方法 | |
| CN103152189B (zh) | 一种基于业务关联的数据采集方法及系统 | |
| CN109918577B (zh) | 一种社交软件的监控方法和装置 | |
| CN102655480A (zh) | 相似邮件处理系统和方法 | |
| CN105517163A (zh) | 虚拟化基站并行任务的反向资源分配的方法 | |
| CN110650008A (zh) | 多端口fc加密方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |