CN107506438A - 一种用于物联网的数据处理存储方法以及装置 - Google Patents
一种用于物联网的数据处理存储方法以及装置 Download PDFInfo
- Publication number
- CN107506438A CN107506438A CN201710730778.1A CN201710730778A CN107506438A CN 107506438 A CN107506438 A CN 107506438A CN 201710730778 A CN201710730778 A CN 201710730778A CN 107506438 A CN107506438 A CN 107506438A
- Authority
- CN
- China
- Prior art keywords
- data
- things
- internet
- database
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 238000013500 data storage Methods 0.000 claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000000151 deposition Methods 0.000 claims 1
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种用于物联网的数据处理存储方法，采集器采集用户数据；将采集的用户数据加载至终端数据库；终端数据库将数据存储至存储区，并进行数据过滤以及分类，将过滤后的数据单向传输至中央数据库；中央数据库将接收的数据进行存储，本发明还提供一种用于物联网的数据处理存储装置，减轻中央数据的负担，降低企业的运营成本。
Description
技术领域
本发明涉及一种用于物联网的数据处理存储方法以及装置。
背景技术
现在的物联网应用场景中终端设备都只用到简单传感器，采集到的数据全部直接传输到中央数据库，无法进行数据的终端本地化存储和二次处理，导致很多无效信息传输到中央服务器，增加了中央数据库的负担，降低了中央服务器的处理性能，增加了企业运营成本。
发明内容
本发明要解决的技术问题，在于提供一种用于物联网的数据处理存储方法以及装置，减轻中央数据的负担，降低企业的运营成本。
本发明之一是这样实现的：一种用于物联网的数据处理存储方法，所述方法包括采集器、终端数据库以及中央数据库，具体包括如下步骤：
步骤1、采集器采集用户数据；
步骤2、将采集的用户数据加载至终端数据库；
步骤3、终端数据库将数据存储至存储区，并进行数据过滤以及分类，将过滤后的数据单向传输至中央数据库；
步骤4、中央数据库将接收的数据进行存储。
进一步地，所述步骤4进一步具体为：中央数据库将接收的数据进行存储，当数据存储到限定容量时，将数据移至汇总表格。
进一步地，所述步骤1进一步具体为：为每台终端分配限定范围的key，采集器采集用户数据，并将数据按照限定的格式写入txt文件中，每条数据自动生成一key。
进一步地，所述步骤3进一步具体为：终端数据库接收数据，终端获取每条数据的key，并将数据存储至存储区，进行数据过滤以及分类，之后发送至缓存区，根据设定时间点将数据单向传输至中央数据库。
进一步地，所述用户数据包括用户产品的ID号、采集时间、采集地址以及采集器编号。
本发明之一是这样实现的：一种用于物联网的数据处理存储装置，所述装置包括采集器、终端数据库以及中央数据库，具体包括如下模块：
采集模块，采集器采集用户数据；
加载模块，将采集的用户数据加载至终端数据库；
传输处理模块，终端数据库将数据存储至存储区，并进行数据过滤以及分类，将过滤后的数据单向传输至中央数据库；
存储模块，中央数据库将接收的数据进行存储。
进一步地，所述存储模块进一步具体为：中央数据库将接收的数据进行存储，当数据存储到限定容量时，将数据移至汇总表格。
进一步地，所述采集模块进一步具体为：为每台终端分配限定范围的key，采集器采集用户数据，并将数据按照限定的格式写入txt文件中，每条数据自动生成一key。
进一步地，所述传输处理模块进一步具体为：终端数据库接收数据，终端获取每条数据的key，并将数据存储至存储区，进行数据过滤以及分类，之后发送至缓存区，根据设定时间点将数据单向传输至中央数据库。
进一步地，所述用户数据包括用户产品的ID号、采集时间、采集地址以及采集器编号。
本发明具有如下优点：本发明一种用于物联网的数据处理存储方法以及装置，终端设备使用数据库存储数据，进行数据的初试过滤筛选，减少传输到中央数据库的数据量；终端设备同步数据可以指定增量数据传输，减少中央数据库接收历史数据产生的性能负担；终端本地保存数据备份，可以防止网络质量很差的时候重要数据丢失；终端设备同步数据可以指定时间传输，减少中央数据库实时接收数据的性能负担；数据只能从终端设备发送到中央服务器，而不能从中央服务器发到终端，防止中央数据库对终端设备原始数据的篡改。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明方法执行流程图。
图2为本发明具体实施方式原理图。
具体实施方式
如图1所示，本发明用于物联网的数据处理存储方法，所述方法包括采集器、终端数据库以及中央数据库，具体包括如下步骤：
步骤1、为每台终端分配限定范围的key，采集器采集用户数据，并将数据按照限定的格式写入txt文件中，每条数据自动生成一key，所述用户数据包括用户产品的ID号、采集时间、采集地址以及采集器编号；
步骤2、将采集的用户数据加载至终端数据库；
步骤3、终端数据库接收数据，终端获取每条数据的key，并将数据存储至存储区，进行数据过滤以及分类，之后发送至缓存区，根据设定时间点将数据单向传输至中央数据库；
步骤4、中央数据库将接收的数据进行存储，当数据存储到限定容量时，将数据移至汇总表格。
本发明用于物联网的数据处理存储装置，所述装置包括采集器、终端数据库以及中央数据库，具体包括如下模块：
采集模块，为每台终端分配限定范围的key，采集器采集用户数据，并将数据按照限定的格式写入txt文件中，每条数据自动生成一key，所述用户数据包括用户产品的ID号、采集时间、采集地址以及采集器编号；
加载模块，将采集的用户数据加载至终端数据库；
传输处理模块，终端数据库接收数据，终端获取每条数据的key，并将数据存储至存储区，进行数据过滤以及分类，之后发送至缓存区，根据设定时间点将数据单向传输至中央数据库；
存储模块，中央数据库将接收的数据进行存储，当数据存储到限定容量时，将数据移至汇总表格。
本发明一种具体实施方式：
如图2所示，方案结构：
采集器、终端设备数据库、中央数据库
主要步骤：
A：采集器端
1、采集器通过终端传感器采集用户数据，包括用户产品的ID号，采集时间，采集地址、采集器编号等信息。
2、采集好的数据按照一定的格式写入txt文件，按照时间等顺序存储。
B、终端设备数据库端
1、从刚才生成的txt文件load数据到终端数据库，实时写入数据到终端数据库的磁盘存储区，同时将数据进行过滤分类，选出预先设定的关键行列记录传输到数据发送缓存区，等待数据发送。需要注意的是，由于终端数据库和中央数据库是按照每条记录唯一的key来标识数据一致性的，因此每台终端数据库的每条记录所用的key不能一样，这个需要事前分配固定范围的key给每台终端设备。
2、终端数据库在事先设定的时间点开始将缓存数据发送区的数据同步单向发送到中央数据库服务器，如果遇到网络通信质量很差，数据传输丢失，只要在数据存储有效时间范围内还可以到终端设备的数据库导出数据从而防止重要数据丢失。
3、由于嵌入式设备的存储容量有限，当数据存储到一定时间，定时将终端数据库的数据进行删除，防止过多数据影响新产生数据的存储。当历史删除后，原来的key又空出来可以供新的记录使用，但是注意如果新的数据插入过快而历史数据还没有完全删除，会导致历史数据被新的数据覆盖，因此这个场景不适用终端数据过大插入速度过快的场景。
C、中央数据库端
1、接收到终端数据库端发送来的数据，把数据写入中央数据库。
2、中央数据库的数据存储到一定容量把当前数据移到汇总表格，当前表格空出来存储下一次更新的数据。
3、客户端连接中央数据库的汇总表，对数据进行筛选查询，提取出有用的数据制作报表。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (10)
1.一种用于物联网的数据处理存储方法，其特征在于：所述方法包括采集器、终端数据库以及中央数据库，具体包括如下步骤：
步骤1、采集器采集用户数据；
步骤2、将采集的用户数据加载至终端数据库；
步骤3、终端数据库将数据存储至存储区，并进行数据过滤以及分类，将过滤后的数据单向传输至中央数据库；
步骤4、中央数据库将接收的数据进行存储。
2.如权利要求1所述的一种用于物联网的数据处理存储方法，其特征在于：所述步骤4进一步具体为：中央数据库将接收的数据进行存储，当数据存储到限定容量时，将数据移至汇总表格。
3.如权利要求1所述的一种用于物联网的数据处理存储方法，其特征在于：所述步骤1进一步具体为：为每台终端分配限定范围的key，采集器采集用户数据，并将数据按照限定的格式写入txt文件中，每条数据自动生成一key。
4.如权利要求3所述的一种用于物联网的数据处理存储方法，其特征在于：所述步骤3进一步具体为：终端数据库接收数据，终端获取每条数据的key，并将数据存储至存储区，进行数据过滤以及分类，之后发送至缓存区，根据设定时间点将数据单向传输至中央数据库。
5.如权利要求1所述的一种用于物联网的数据处理存储方法，其特征在于：所述用户数据包括用户产品的ID号、采集时间、采集地址以及采集器编号。
6.一种用于物联网的数据处理存储装置，其特征在于：所述装置包括采集器、终端数据库以及中央数据库，具体包括如下模块：
采集模块，采集器采集用户数据；
加载模块，将采集的用户数据加载至终端数据库；
传输处理模块，终端数据库将数据存储至存储区，并进行数据过滤以及分类，将过滤后的数据单向传输至中央数据库；
存储模块，中央数据库将接收的数据进行存储。
7.如权利要求6所述的一种用于物联网的数据处理存储装置，其特征在于：所述存储模块进一步具体为：中央数据库将接收的数据进行存储，当数据存储到限定容量时，将数据移至汇总表格。
8.如权利要求6所述的一种用于物联网的数据处理存储装置，其特征在于：所述采集模块进一步具体为：为每台终端分配限定范围的key，采集器采集用户数据，并将数据按照限定的格式写入txt文件中，每条数据自动生成一key。
9.如权利要求6所述的一种用于物联网的数据处理存储装置，其特征在于：所述传输处理模块进一步具体为：终端数据库接收数据，终端获取每条数据的key，并将数据存储至存储区，进行数据过滤以及分类，之后发送至缓存区，根据设定时间点将数据单向传输至中央数据库。
10.如权利要求6所述的一种用于物联网的数据处理存储装置，其特征在于：所述用户数据包括用户产品的ID号、采集时间、采集地址以及采集器编号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710730778.1A CN107506438A (zh) | 2017-08-23 | 2017-08-23 | 一种用于物联网的数据处理存储方法以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710730778.1A CN107506438A (zh) | 2017-08-23 | 2017-08-23 | 一种用于物联网的数据处理存储方法以及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107506438A true CN107506438A (zh) | 2017-12-22 |
Family
ID=60691597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710730778.1A Pending CN107506438A (zh) | 2017-08-23 | 2017-08-23 | 一种用于物联网的数据处理存储方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107506438A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232000A (zh) * | 2018-03-05 | 2019-09-13 | 腾讯科技（深圳）有限公司 | 数据存储管理方法及装置 |
| CN110389725A (zh) * | 2019-07-26 | 2019-10-29 | 成都信息工程大学 | 一种物联网终端数据高效存储系统 |
| CN110489467A (zh) * | 2019-07-03 | 2019-11-22 | 深圳市九洲电器有限公司 | 易迭代的数据采集方法及相关产品 |
| CN112214479A (zh) * | 2020-12-01 | 2021-01-12 | 王跃 | 基于大数据的医疗数据管理系统及方法 |
| CN117574010A (zh) * | 2023-11-03 | 2024-02-20 | 中信建投证券股份有限公司 | 一种数据采集方法、装置、设备以及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050268213A1 (en) * | 2004-05-06 | 2005-12-01 | Peiya Liu | System and method for automating job management in mobile data collection |
| CN101063990A (zh) * | 2006-04-30 | 2007-10-31 | 迈世亚（北京）科技有限公司 | 医疗信息处理系统及方法 |
| CN102761570A (zh) * | 2011-04-28 | 2012-10-31 | 同济大学 | 基于代理的网格资源监控系统及监控方法 |
| CN104317800A (zh) * | 2014-09-19 | 2015-01-28 | 山东大学 | 一种海量智能用电数据混合存储系统及方法 |
| CN106453482A (zh) * | 2016-08-05 | 2017-02-22 | 成都卡德智能科技有限公司 | 一种物联网中间件系统及物联网系统 |
-
2017
- 2017-08-23 CN CN201710730778.1A patent/CN107506438A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050268213A1 (en) * | 2004-05-06 | 2005-12-01 | Peiya Liu | System and method for automating job management in mobile data collection |
| CN101063990A (zh) * | 2006-04-30 | 2007-10-31 | 迈世亚（北京）科技有限公司 | 医疗信息处理系统及方法 |
| CN102761570A (zh) * | 2011-04-28 | 2012-10-31 | 同济大学 | 基于代理的网格资源监控系统及监控方法 |
| CN104317800A (zh) * | 2014-09-19 | 2015-01-28 | 山东大学 | 一种海量智能用电数据混合存储系统及方法 |
| CN106453482A (zh) * | 2016-08-05 | 2017-02-22 | 成都卡德智能科技有限公司 | 一种物联网中间件系统及物联网系统 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232000A (zh) * | 2018-03-05 | 2019-09-13 | 腾讯科技（深圳）有限公司 | 数据存储管理方法及装置 |
| CN110232000B (zh) * | 2018-03-05 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 数据存储管理方法及装置 |
| CN110489467A (zh) * | 2019-07-03 | 2019-11-22 | 深圳市九洲电器有限公司 | 易迭代的数据采集方法及相关产品 |
| CN110389725A (zh) * | 2019-07-26 | 2019-10-29 | 成都信息工程大学 | 一种物联网终端数据高效存储系统 |
| CN110389725B (zh) * | 2019-07-26 | 2022-11-01 | 成都信息工程大学 | 一种物联网终端数据高效存储系统 |
| CN112214479A (zh) * | 2020-12-01 | 2021-01-12 | 王跃 | 基于大数据的医疗数据管理系统及方法 |
| CN112214479B (zh) * | 2020-12-01 | 2021-07-13 | 陕西亚创医软信息科技有限公司 | 基于大数据的医疗数据管理系统及方法 |
| CN117574010A (zh) * | 2023-11-03 | 2024-02-20 | 中信建投证券股份有限公司 | 一种数据采集方法、装置、设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107506438A (zh) | 一种用于物联网的数据处理存储方法以及装置 | |
| CN105338297B (zh) | 一种视频数据存储及回放系统、装置和方法 | |
| CN104424229B (zh) | 一种多维度拆分的计算方法及系统 | |
| CN102576321B (zh) | 快照系统中的性能存储系统以用于容量优化存储系统的性能改进 | |
| CN101853287B (zh) | 数据压缩快速检索文件系统及其方法 | |
| CN104584524B (zh) | 聚合中介系统中的数据 | |
| CN102737065B (zh) | 数据的获取方法和装置 | |
| CN103177005A (zh) | 一种数据访问的处理方法和系统 | |
| CN103401934A (zh) | 获取日志数据的方法和系统 | |
| US20030187868A1 (en) | Data acquisition system | |
| CN104346458B (zh) | 数据存储方法和存储设备 | |
| CN101442558B (zh) | 一种为p2sp网络提供索引服务的方法和系统 | |
| CN106649828A (zh) | 一种数据查询方法及系统 | |
| CN112711612B (zh) | 数据处理方法、装置和存储介质及电子装置 | |
| CN105450964B (zh) | 对录像数据进行云存储的方法、系统及管理节点 | |
| CN107491549A (zh) | 一种数据处理方法及系统 | |
| CN106033324A (zh) | 一种数据存储的方法和装置 | |
| CN107707600A (zh) | 一种数据存储方法及装置 | |
| CN108093016A (zh) | 一种图片存储方法、装置及视频监控系统 | |
| CN107959695A (zh) | 一种数据传输方法及装置 | |
| CN108153793A (zh) | 一种原始数据处理方法 | |
| CN103812934A (zh) | 基于云存储系统的遥感数据发布方法 | |
| CN106326280A (zh) | 数据处理方法、装置及系统 | |
| CN106506249B (zh) | 数据采集方法和装置 | |
| CN103248636B (zh) | 离线下载的系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171222 |
|
| RJ01 | Rejection of invention patent application after publication |