CN110609813B - 一种数据存储系统及方法 - Google Patents
一种数据存储系统及方法 Download PDFInfo
- Publication number
- CN110609813B CN110609813B CN201910747245.3A CN201910747245A CN110609813B CN 110609813 B CN110609813 B CN 110609813B CN 201910747245 A CN201910747245 A CN 201910747245A CN 110609813 B CN110609813 B CN 110609813B
- Authority
- CN
- China
- Prior art keywords
- data
- file
- module
- storage
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
Abstract
本发明提出一种数据存储系统及方法，属于数据存储领域，其中，数据存储系统包括：数据采集模块和时序数据库；数据存储方法采用在时序数据库接收数据之后、写入磁盘之前，把数据作为日志单独存储，日志保存成功之后才进行真正的存储操作，把数据写进硬盘。若整个存储操作由于某种原因而中断，系统重启时，会根据数据日志文件的数据来恢复中断前的存储操作，保证接收到的数据不会丢失。在进行数据真正的存储操作时，采用把多条随机写合并成一条顺序写的操作，减少调用磁盘写操作频率和磁头与机械臂移动的范围，达到转速硬盘最高的磁盘写速度。一条数据日志文件在存储操作完成之后就被删除，占用的硬盘空间可以循环使用。
Description
技术领域
本申请属于时序数据库中的数据存储技术领域，具体涉及一种数据存储系统及方法。
背景技术
时序数据库产品是企业信息化的基础平台和管控一体化的桥梁。生产过程中所产生的大量实时数据是流程企业的宝贵资源之一。这些数据需要长期存储、快速检索，并作为生产数据分析、数据挖掘、优化控制与优化管理的基础。典型的流程企业所需集成的数据采集点通常有几千到十几万，由于采集点数据是按时间顺序动态变化的，刷新速度快(毫秒级)，这样的大规模海量数据很难用关系型数据库有效存储与处理，时序数据库就是专门为处理生产过程海量数据问题而产生的新技术。
而数据存储是数据库的主要功能之一，同时也是数据库系统中最重要的功能，数据库其他功能的实现都建立在数据存储功能的基础之上。目前主流的时序数据库都是通过提升硬件性能和加大软件内存空间的方法来保证数据的存储效率，这也带来了一个巨大的隐患。无论是硬件性能的提升还是采用分布式的架构来分担存储的压力，都需要花费大量的资金购买硬件设备，并需要专业的运维人员进行长期的维护，投入率大幅增加。而大量内存的使用导致在服务器出现断电、死机等异常情况时，不能及时存储到磁盘，造成的数据丢失是无法挽回的。如果不使用内存作为数据内存而直接把接收到的数据存储到磁盘中，数据的存储速度也受到频繁调用磁盘IO操作的影响，远远达不到最高性能。那么既要保证数据的安全而又要达到最高的单机存储速度，需要找到一种新的解决方案。
日志文件系统是一个具有故障恢复能力的文件系统，在这个文件系统中，因为对目录以及位图的更新信息总是在原始的磁盘日志被更新之前写到磁盘上的一个连续的日志上，所以它保证了数据的完整性。当发生系统错误时，一个全日志文件系统将会保证磁盘上的数据恢复到发生系统崩溃前的状态。同时，它还将覆盖未保存的数据，并将其存在如果计算机没有崩溃的话这些数据可能已经遗失的位置。但是如何将日志文件应用在数据存储中，实现高效安全地存储，是需要解决的技术难题。
发明内容
为了解决现有技术中存在的上述问题，本发明提出了一种数据存储系统及方法。
一种数据存储系统，包括数据采集模块和时序数据库；
所述时序数据库包括：接收模块、监测和调度模块和存储模块；
所述数据采集模块与时序数据库相连接；所述数据采集模块与接收模块相连接，接收模块与监测和调度模块相连接，调度模块与存储模块相连接；
数据采集模块，根据采集点名称采集底层控制系统的数据，将采集的数据经过压缩，传递到时序数据库中的接收模块中；
所述接收模块，用于接收数据采集模块传递过来的数据，然后以数据日志文件格式将所接收数据存储到磁盘中；
所述监测和调度模块，用于时序数据库中模块间的监测和调度，在不同的应用场景下调用相应的模块开始工作，形成数据日志文件，以及实时监测并限制时序数据库中接收模块中的数据接收速度；
所述存储模块，用于时序数据库存储数据，通过数据日志文件把时序数据库中的接收模块存储的文件重新转换存储格式，保存为最终文件，当数据日志文件被保存为最终文件后，删除该数据日志文件。
所述数据日志文件，当时序数据库中的接收模块接收数据后，对所接收的数据进行解压缩，再把压缩后的数据文件按时间顺序存储到磁盘中。
所述数据存储系统，在所述时序数据库中，还包括：查询模块，用于从最终文件中查询实时数据和历史数据。
所述监测和调度模块中不同的应用场景，包括：用户登录时甄别用户的权限，在有写权限的场景下调用接收模块接收数据，在接收模块写入数据日志文件后调用存储模块；在有读权限的场景下调用查询模块查询实时数据或历史数据。
所述监测和调度模块，具有实时监测功能，如果监测到时序数据库中的接收模块接收文件速度大于存储模块处理文件速度，接收模块进入限速状态，以数据日志文件格式将所接收数据存储到磁盘中的速度减慢，直到小于等于存储模块处理文件速度。
一种数据存储方法，包括如下步骤：
步骤1：启动时序数据库服务器；还包括：存储模块预先分配内存空间与磁盘空间，即设定内存空间和磁盘空间最大阈值，其中，磁盘空间除了包括基本配置信息和实时数据日志文件外，为每个采集点生成两个1k的磁盘文件，其中一个文件存储最新的数据日志文件中的数据，另一个文件存储历史的数据日志文件中的数据，两个磁盘文件通过地址映射的方式映射到内存中。
步骤2：数据采集模块从底层控制系统设备中采集数据；
步骤3：若有采集模块数据传递到接收模块，则将所采集数据压缩，然后传递到时序数据库中的接收模块；若没有采集数据传递到接收模块，接收模块自动断开与采集程序的通信管道，进入等待状态，直到有采集数据传递到接收模块；
步骤4：时序数据库的接收模块把接收到的数据进行解压缩后，把解压后数据存储到磁盘中作为数据日志文件；
步骤5：当监测和调度模块检测到数据日志文件的产生，则监测和调度模块传递存储执行命令给存储模块；
步骤6：当存储模块收到监测和调度模块传递过来的存储执行命令后，在数据日志文件中添加时间索引并排序打包，生成最终文件，并将最终文件再次存储到磁盘中；具体为：存储模块从磁盘中读取到数据日志文件中的数据，将该数据按照采集点的名称存入对应内存中，其中，以第一条记录的时间作为时间索引，保存到索引文件中，在第一条记录之后的所有记录，均按照第一条记录的时间增量存储到预先分配的内存空间中，当内存空间达到设定最大阈值后，再一次性将内存空间中数据写入磁盘的数据文件中，作为最终文件。最终文件由两部分构成，时间索引文件和数据文件，时间索引文件只写入一条记录，即第一条记录的时间，数据文件保存这个1k的数据；
步骤7：存储模型把数据日志文件转存成最终数据文件后，删除已处理的数据日志文件；
步骤8：若所有数据日志文件处理完毕，存储模块转入等待状态，等待监测和调度模块的下一次存储执行命令，转到步骤6；若还有数据日志文件没有处理完毕，则转到步骤5，继续处理数据日志文件。
所述步骤2中，底层控制系统包括DCS、PLC、SCADA；所述数据采集模块采用调用时序数据库API的形式，直接与时序数据库的接收模块建立网络通信，传递数据。
所述步骤4中所述数据日志文件，按照设定的磁盘存储大小阈值分隔不同的日志文件，即在接收模块中，把解压后数据存储到磁盘文件，若存储满阈值后，则自动生成下一个日志文件。
有益技术效果：
把数据库接收的数据作为日志进行存储后，再调用存储操作把数据写进磁盘(数据库中的数据文件和索引文件)。若整个存储操作由于某种原因，如系统掉电而中断，系统重启时，会根据日志记录的数据来恢复中断前的存储操作，保证接收到的数据不会丢失，保证数据的完整性。在进行数据真正的存储操作时，采用把多条随机写合并成一条顺序写的操作，减少调用磁盘写操作频率和磁头与机械臂移动的范围，达到转速硬盘最高的磁盘写速度。本发明既保证了时序数据库在异常情况下数据的完整性，又保证了数据的存储性能。
附图说明
图1为本发明实施例的数据存储系统框图；
图2为本发明实施例的一种数据存储方法的流程图。
具体实施方式
下面结合说明书附图对本发明的技术方案作进一步详细说明。一种数据存储系统，如图1所示，包括数据采集模块和时序数据库，其特征在于：
所述时序数据库包括：接收模块、监测和调度模块和存储模块；
所述数据采集模块与时序数据库相连接；所述数据采集模块与接收模块相连接，接收模块与监测和调度模块相连接，调度模块与存储模块相连接；
数据采集模块，根据采集点名称采集底层控制系统的数据，将采集的数据经过压缩，传递到时序数据库中的接收模块中；
所述接收模块，用于接收数据采集模块传递过来的数据，然后以数据日志文件格式将所接收数据存储到磁盘中；
所述监测和调度模块，用于时序数据库中模块间的监测和调度，在不同的应用场景下调用相应的模块开始工作，形成数据日志文件，以及实时监测并限制时序数据库中接收模块中的数据接收速度；
所述存储模块，用于时序数据库存储数据，通过数据日志文件把时序数据库中的接收模块存储的文件重新转换存储格式，保存为最终文件，当数据日志文件被保存为最终文件后，删除该数据日志文件。
所述数据日志文件，当时序数据库中的接收模块接收数据后，对所接收的数据进行解压缩，再把压缩后的数据文件按时间顺序存储到磁盘中。
所述数据存储系统，在所述时序数据库中，还包括：查询模块，用于从最终文件中查询实时数据和历史数据。
所述监测和调度模块中不同的应用场景，包括：用户登录时甄别用户的权限，在有写权限的场景下调用接收模块接收数据，在接收模块写入数据日志文件后调用存储模块；在有读权限的场景下调用查询模块查询实时数据或历史数据。
所述监测和调度模块，具有实时监测功能，如果监测到时序数据库中的接收模块接收文件速度大于存储模块处理文件速度，接收模块进入限速状态，以数据日志文件格式将所接收数据存储到磁盘中的速度减慢，直到小于等于存储模块处理文件速度。
一种数据存储方法，采用日志文件系统技术和合并随机写操作技术在时序数据库中存储数据，其特征在于日志文件系统技术可有效保证在出现断电、系统死机等异常情况下，保证接收到的数据可以完整保存而不丢失，并在进行写入磁盘操作时采用多条随机写需求合并成单条顺序写操作，减少磁头与机械臂移动的范围，达到转速硬盘最高的磁盘写入速度。如图2所示，具体操作步骤如下：
步骤1：启动时序数据库服务器；还包括：存储模块预先分配内存空间与磁盘空间，即设定内存空间和磁盘空间最大阈值，其中，磁盘空间除了包括基本配置信息和实时数据日志文件外，为每个采集点生成两个1k的磁盘文件，其中一个文件存储最新的数据日志文件中的数据，另一个文件存储历史的数据日志文件中的数据，两个磁盘文件通过地址映射的方式映射到内存中。
所述配置信息：包括采集点名称，采集时间；采集点名称例如：压力或者是压力对应的人工规定的ID号；
步骤2：数据采集模块从底层控制系统设备中采集数据；底层控制系统包括DCS、PLC、SCADA；所述数据采集模块采用调用时序数据库API的形式，直接与时序数据库的接收模块建立网络通信，传递数据；
步骤3：若有采集模块数据传递到接收模块，则将所采集数据压缩，然后传递到时序数据库中的接收模块；若没有采集数据传递到接收模块，接收模块自动断开与采集程序的通信管道，进入等待状态，直到有采集数据传递到接收模块；
步骤4：时序数据库的接收模块把接收到的数据进行解压缩后，把解压后数据存储到磁盘中作为数据日志文件，数据日志文件以日期为单位；所述数据日志文件，按照设定的磁盘存储大小阈值分隔不同的日志文件，即在接收模块中，把解压后数据存储到磁盘文件，若存储满阈值2G后，则自动生成下一个日志文件。
步骤5：当监测和调度模块检测到数据日志文件的产生，则监测和调度模块传递存储执行命令给存储模块；
步骤6：当存储模块收到监测和调度模块传递过来的存储执行命令后，在数据日志文件中添加时间索引并排序打包，生成最终文件，并将最终文件再次存储到磁盘中；具体为：存储模块从磁盘中读取到数据日志文件中的数据，将该数据按照采集点的名称存入对应内存中，其中，以第一条记录的时间作为时间索引，保存到索引文件中，在第一条记录之后的所有记录，均按照第一条记录的时间增量存储到预先分配的内存空间中，当内存空间达到设定最大阈值后，再一次性将内存空间中数据写入磁盘的数据文件中，作为最终文件。最终文件由两部分构成，时间索引文件和数据文件，时间索引文件只写入一条记录，即第一条记录的时间，数据文件保存这个1k的数据；
例如：采集点的第一条记录时间为10：00，那么时间索引文件中就记录这个时间：10：00；采集点第二条记录时间为10：01，那么记录1分钟这个时间增量在预先分配的内存空间中，同时保存第二条记录对应的数据，当内存空间达到设定最大阈值后，再一次性将内存空间中数据写入磁盘的数据文件中，作为最终文件，最终文件，包含：记录一个数值10：00的时间索引文件和1k的数据，其中，1k的数据中以时间增量和该时间增量下的对应数据格式保存多条数据。
此过程即采用把多条随机写合并成一条顺序写的操作，减少调用磁盘写操作频率和磁头与机械臂移动的范围，达到转速硬盘最高的磁盘写速度。一条数据日志文件在存储操作完成之后就被删除，占用的硬盘空间可以循环使用。
步骤7：存储模型把数据日志文件转存成最终数据文件后，删除已处理的数据日志文件；
步骤8：若所有数据日志文件处理完毕，存储模块转入等待状态，等待监测和调度模块的下一次存储执行命令，转到步骤6；若还有数据日志文件没有处理完毕，则转到步骤5，继续处理数据日志文件。
所述监测和调度模块实时监测数据日志文件的生成速度，当在一定时间范围内，数据日志文件一直保持上升幅度的数据增长速度，则判定为当前接收模块接收文件速度大于存储模块处理文件速度，后台服务不能满足数据处理速度，监测和调度模块发送限速命令给接收模块，接收模块减缓接收速度，直到小于等于存储模块的处理速度，保证数据库的正常运行；
本发明申请人结合说明书附图对本发明的实施例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。
Claims (7)
1.一种数据存储系统，包括数据采集模块和时序数据库，其特征在于：
所述时序数据库包括：接收模块、监测和调度模块和存储模块；
所述数据采集模块与时序数据库相连接；所述数据采集模块与接收模块相连接，接收模块与监测和调度模块相连接，调度模块与存储模块相连接；
数据采集模块，根据采集点名称采集底层控制系统的数据，将采集的数据经过压缩，传递到时序数据库中的接收模块中；
所述接收模块，用于接收数据采集模块传递过来的数据，然后以数据日志文件格式将所接收数据存储到磁盘中；
所述监测和调度模块，用于时序数据库中模块间的监测和调度，在不同的应用场景下调用相应的模块开始工作，形成数据日志文件，以及实时监测并限制时序数据库中接收模块中的数据接收速度；
所述存储模块，用于时序数据库存储数据，通过数据日志文件把时序数据库中的接收模块存储的文件重新转换存储格式，保存为最终文件，当数据日志文件被保存为最终文件后，删除该数据日志文件；
存储模块预先分配内存空间与磁盘空间，即设定内存空间和磁盘空间最大阈值，其中，磁盘空间包括配置信息、实时数据日志文件和为每个采集点生成两个1k的磁盘文件，其中一个文件存储最新的数据日志文件中的数据，另一个文件存储历史的数据日志文件中的数据，两个磁盘文件通过地址映射的方式映射到内存中；
存储模块收到监测和调度模块传递过来的存储执行命令后，在数据日志文件中添加时间索引并排序打包，生成最终文件，并将最终文件再次存储到磁盘中；存储模块从磁盘中读取到数据日志文件中的数据，将该数据按照采集点的名称存入对应内存中，其中，以第一条记录的时间作为时间索引，保存到索引文件中，在第一条记录之后的所有记录，均按照第一条记录的时间增量存储到预先分配的内存空间中，当内存空间达到设定最大阈值后，再一次性将内存空间中数据写入磁盘的数据文件中，作为最终文件；最终文件由两部分构成，时间索引文件和数据文件，时间索引文件只写入一条记录，即第一条记录的时间，数据文件保存数据日志文件中的数据；
所述配置信息包括采集点名称和采集时间；
时序数据库中，还包括：查询模块，用于从最终文件中查询实时数据和历史数据；
所述监测和调度模块，具有实时监测功能，如果监测到时序数据库中的接收模块接收文件速度大于存储模块处理文件速度，接收模块进入限速状态，以数据日志文件格式将所接收数据存储到磁盘中的速度减慢，直到小于等于存储模块处理文件速度。
2.根据权利要求1所述的数据存储系统，其特征在于：
所述数据日志文件，当时序数据库中的接收模块接收数据后，对所接收的数据进行解压缩，再把压缩后的数据文件按时间顺序存储到磁盘中。
3.根据权利要求1所述的数据存储系统，其特征在于：
所述数据存储系统，在所述时序数据库中，还包括：查询模块，用于从最终文件中查询实时数据和历史数据。
4.根据权利要求1所述的数据存储系统，其特征在于：
所述监测和调度模块中不同的应用场景，包括：用户登录时甄别用户的权限，在有写权限的场景下调用接收模块接收数据，在接收模块写入数据日志文件后调用存储模块；在有读权限的场景下调用查询模块查询实时数据或历史数据。
5.一种数据存储方法，其特征在于：
包括如下步骤：
步骤1：启动时序数据库服务器；存储模块预先分配内存空间与磁盘空间；
其中，磁盘空间除了包括基本配置信息和实时数据日志文件外，为每个采集点生成两个1k的磁盘文件，其中一个文件存储最新的数据日志文件中的数据，另一个文件存储历史的数据日志文件中的数据，两个磁盘文件通过地址映射的方式映射到内存中；
所述配置信息：包括采集点名称，采集时间；
步骤2：数据采集模块从底层控制系统设备中采集数据；
步骤3：若有采集模块数据传递到接收模块，则将所采集数据压缩，然后传递到时序数据库中的接收模块；若没有采集数据传递到接收模块，接收模块自动断开与采集程序的通信管道，进入等待状态，直到有采集数据传递到接收模块；
步骤4：时序数据库的接收模块把接收到的数据进行解压缩后，把解压后数据存储到磁盘中作为数据日志文件；
步骤5：当监测和调度模块检测到数据日志文件的产生，则监测和调度模块传递存储执行命令给存储模块；
步骤6：当存储模块收到监测和调度模块传递过来的存储执行命令后，在数据日志文件中添加时间索引并排序打包，生成最终文件，并将最终文件再次存储到磁盘中；步骤6具体为：存储模块从磁盘中读取到数据日志文件中的数据，将该数据按照采集点的名称存入对应内存中，其中，以第一条记录的时间作为时间索引，保存到索引文件中，在第一条记录之后的所有记录，均按照第一条记录的时间增量存储到预先分配的内存空间中，当内存空间达到设定最大阈值后，再一次性将内存空间中数据写入磁盘的数据文件中，作为最终文件；最终文件由两部分构成，时间索引文件和数据文件，时间索引文件只写入一条记录，即第一条记录的时间，数据文件保存数据日志文件中的数据；
步骤7：存储模型把数据日志文件转存成最终数据文件后，删除已处理的数据日志文件；
步骤8：若所有数据日志文件处理完毕，存储模块转入等待状态，等待监测和调度模块的下一次存储执行命令，转到步骤6；若还有数据日志文件没有处理完毕，则转到步骤5，继续处理数据日志文件。
6.根据权利要求5所述数据存储方法，其特征在于：
所述步骤2中，底层控制系统包括DCS、PLC、SCADA；所述数据采集模块采用调用时序数据库API的形式，直接与时序数据库的接收模块建立网络通信，传递数据。
7.根据权利要求5所述数据存储方法，其特征在于：
所述步骤4中所述数据日志文件，按照设定的磁盘存储阈值分隔不同的日志文件，即在接收模块中，把解压后数据存储到磁盘文件，若存储满阈值后，则自动生成下一个日志文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910747245.3A CN110609813B (zh) | 2019-08-14 | 2019-08-14 | 一种数据存储系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910747245.3A CN110609813B (zh) | 2019-08-14 | 2019-08-14 | 一种数据存储系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110609813A CN110609813A (zh) | 2019-12-24 |
| CN110609813B true CN110609813B (zh) | 2023-01-31 |
Family
ID=68889988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910747245.3A Active CN110609813B (zh) | 2019-08-14 | 2019-08-14 | 一种数据存储系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110609813B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111694800B (zh) * | 2020-04-30 | 2023-03-24 | 武汉达梦数据库股份有限公司 | 一种提升数据同步性能的方法和数据同步系统 |
| CN111881092A (zh) * | 2020-06-22 | 2020-11-03 | 武汉绿色网络信息服务有限责任公司 | 一种基于cassandra数据库的文件合并的方法和装置 |
| CN113419937A (zh) * | 2021-06-29 | 2021-09-21 | 达梦数据技术(江苏)有限公司 | 一种数据和日志一体化的值日志实现方法、装置、设备及存储介质 |
| CN113778753A (zh) * | 2021-09-14 | 2021-12-10 | 杭州沃趣科技股份有限公司 | 一种存储恢复后自动修正数据库方法、装置、设备及介质 |
| CN115268767A (zh) * | 2022-06-17 | 2022-11-01 | 阿里云计算有限公司 | 数据处理方法以及装置 |
| CN115202588B (zh) * | 2022-09-14 | 2022-12-27 | 本原数据(北京)信息技术有限公司 | 数据存储方法及装置、数据恢复方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101515922A (zh) * | 2008-02-20 | 2009-08-26 | 苏盛 | 数据采集与监控系统中电网动态过程数据的传输方法 |
| CN105574104A (zh) * | 2015-12-11 | 2016-05-11 | 上海爱数信息技术股份有限公司 | 一种基于ObjectStore的LogStructure存储系统及其数据写入方法 |
| CN105574074A (zh) * | 2015-11-23 | 2016-05-11 | 江苏瑞中数据股份有限公司 | 一种基于智能电网wams的时序大数据存储方法 |
| CN106528278A (zh) * | 2015-09-14 | 2017-03-22 | 纬创资通（上海）有限公司 | 硬件负载调整方法及电子装置 |
| CN107169083A (zh) * | 2017-05-11 | 2017-09-15 | 聚龙融创科技有限公司 | 公安卡口海量车辆数据存储与检索方法及装置、电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101575922B (zh) * | 2009-02-08 | 2011-12-14 | 徐明达 | 防盗门锁 |
| CN102968486B (zh) * | 2012-11-26 | 2016-09-07 | 国电南瑞科技股份有限公司 | 一种基于变化日志的高可靠文件同步方法 |
| CN103034929A (zh) * | 2012-12-11 | 2013-04-10 | 北京恩菲环保股份有限公司 | 用于污水厂的运营管理系统和远程信息化管理系统 |
| US9672257B2 (en) * | 2015-06-05 | 2017-06-06 | Palantir Technologies Inc. | Time-series data storage and processing database system |
-
2019
- 2019-08-14 CN CN201910747245.3A patent/CN110609813B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101515922A (zh) * | 2008-02-20 | 2009-08-26 | 苏盛 | 数据采集与监控系统中电网动态过程数据的传输方法 |
| CN106528278A (zh) * | 2015-09-14 | 2017-03-22 | 纬创资通（上海）有限公司 | 硬件负载调整方法及电子装置 |
| CN105574074A (zh) * | 2015-11-23 | 2016-05-11 | 江苏瑞中数据股份有限公司 | 一种基于智能电网wams的时序大数据存储方法 |
| CN105574104A (zh) * | 2015-12-11 | 2016-05-11 | 上海爱数信息技术股份有限公司 | 一种基于ObjectStore的LogStructure存储系统及其数据写入方法 |
| CN107169083A (zh) * | 2017-05-11 | 2017-09-15 | 聚龙融创科技有限公司 | 公安卡口海量车辆数据存储与检索方法及装置、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110609813A (zh) | 2019-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110609813B (zh) | 一种数据存储系统及方法 | |
| CN108170768B (zh) | 数据库同步方法、装置及可读介质 | |
| WO2022126974A1 (zh) | 基于Kafka的增量数据同步方法、装置、设备及介质 | |
| CN102970158B (zh) | 日志存储与处理的方法及日志服务器 | |
| CN103440244A (zh) | 一种大数据存储优化方法 | |
| CN103944981A (zh) | 一种基于纠删码技术改进的云存储系统及实现方法 | |
| US20140156603A1 (en) | Method and an apparatus for splitting and recovering data in a power system | |
| CN106528341B (zh) | 基于Greenplum数据库的自动化容灾系统 | |
| CN113495903B (zh) | 电力时序数据库缓存方法、系统、设备及可读存储介质 | |
| CN110569142A (zh) | 一种oracle数据增量同步系统及方法 | |
| CN102480489A (zh) | 一种用于分布式环境下的日志记录方法和设备 | |
| CN107656971A (zh) | 一种基于Redis的智能电网采集监测数据存储方法 | |
| CN110502510B (zh) | 一种wifi终端设备轨迹数据的实时分析和去重方法及系统 | |
| CN112035563A (zh) | 一种基于共享存储的实时数据库系统 | |
| CN109189724B (zh) | 提高视频监控系统音视频数据存储效率的方法及装置 | |
| CN108182198B (zh) | 存储先进控制器运行数据的控制装置和读取方法 | |
| CN108959614A (zh) | 一种快照管理方法、系统、装置、设备及可读存储介质 | |
| CN111913933A (zh) | 基于统一支撑平台的电网历史数据管理方法及系统 | |
| CN103714089A (zh) | 一种实现云数据库回滚的方法及系统 | |
| CN114374687B (zh) | 热磁存储与蓝光存储之间的文件传输方法及装置 | |
| CN114387124A (zh) | 一种核电工业互联网平台的时序数据存储方法 | |
| CN110866068B (zh) | 一种基于hdfs的公告数据存储方法及其装置 | |
| CN114610567A (zh) | 容器监控方法、网络设备及存储介质 | |
| CN113127435A (zh) | 一种主备系统文件智能同步方法及系统 | |
| CN112579390A (zh) | 一种基于实时内存tsdb报警的监控数据存储方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: Room 618 and 619, 6th floor, building 301, Guodian New Energy Institute, No. 9, Yingcai North 2nd Street, future science and Technology City, Changping District, Beijing 102209 Patentee after: Guoneng xinkong Internet Technology Co.,Ltd. Address before: Building 1, yard 16, West Fourth Ring Middle Road, Haidian District, Beijing 100039 Patentee before: BEIJING HUADIAN TIANREN ELECTRIC POWER CONTROL TECHNOLOGY Co.,Ltd. |