CN111367880A - 一种通用实时数据存储管理系统及其实现方法 - Google Patents
一种通用实时数据存储管理系统及其实现方法 Download PDFInfo
- Publication number
- CN111367880A CN111367880A CN202010081126.1A CN202010081126A CN111367880A CN 111367880 A CN111367880 A CN 111367880A CN 202010081126 A CN202010081126 A CN 202010081126A CN 111367880 A CN111367880 A CN 111367880A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- service module
- real
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 122
- 238000013500 data storage Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000003780 insertion Methods 0.000 claims description 29
- 230000037431 insertion Effects 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000013523 data management Methods 0.000 abstract description 8
- 238000011161 development Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2219—Large Object storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种通用实时数据存储管理系统及其实现方法,所述系统包括服务器和客户端,服务器包括主系统管理模块、数据查询服务模块、数据归档服务模块、数据缓存服务模块;客户端包括界面发布管理模块、界面建模工具模块。本发明对模型/权限管理、读写并发控制、数据管理等部分进行抽象整合,由一系列形式分散独立但内在有机关联的模块构成了通用实时数据存储管理系统平台,具有高实时、大并发、高吞吐能力、可伸缩等特性,能够为客户提供高速、及时、有效的实时数据管理服务。
Description
技术领域
本发明属于电力自动化控制系统技术领域,具体涉及一种通用实时数据存储管理系统及其实现方法。
背景技术
实时数据存储管理系统主要用于采集、存储并管理来自各种控制系统和现场总线的设备状态与生产过程数据,提供企业级的统一的实时数据平台。实时数据存储管理系统适用于海量实时/历史数据的采集、存储、分析、发布。产品支持多种接口,可在广域范围内采集各种传感数据,并与各类控制系统、关系型数据库和其他实时数据库以及业务系统等实现数据库交换。典型应用场景是工厂生产数据实时监视、电力调度、节能环保、智能制造、交通监视及控制、航空管制、水利水文、实时仿真等。
实时数据存储管理系统需要解决高速的数据并发访问问题,包括高频次的并行写入、高速的实时数据、历史数据读取等。在实现上,现有做法通常是将所有的数据访问和管理请求集合到同一个系统服务模块,同时对外提供数据读写请求的响应。这种实现方法基于并发访问控制的优劣,系统性能上有着巨大的差异。通常受限于计算机IO系统和多任务同步技术的瓶颈,难以达到理想的性能表现。
发明内容
为克服现有技术的不足,本发明的目的在于提供一种通用实时数据存储管理系统及其实现方法,能快速开发构建电力自动化系统,能对各种电力自动化系统进行运行支持。
为完成上述目的,本发明采用以下具体技术方案:
一种通用实时数据存储管理系统,其特征在于:所述系统包括服务器以及客户端:
所述服务器包括主系统管理模块、数据查询服务模块、数据归档服务模块、数据缓存服务模块;
所述主系统管理模块与所述客户端连接,用于实现数据客户端对服务器访问的权限管理和控制,以及数据库模型创建、修改、删除;其中数据库模型包括层次模型、数据同步模型、数据订阅模型;
所述数据查询服务模块与所述数据客户端连接,用于用户查询数据库模型信息、实时数据和历史数据;所述数据查询服务模块与所述主系统管理模块连接,以预定周期向所述主系统管理模块发送数据查询服务模块运行状态报告,其中,所述数据查询服务模块运行状态报告包括所述数据查询服务模块的模块标志、所述数据查询服务模块的模块运行时长以及用户查询数据内容;
所述数据缓存服务模块与所述客户端连接,用于接收写入的数据并快速落盘,形成磁盘实时缓存文件暂存实时数据;所述数据缓存服务模块与所述主系统管理模块连接,以预定周期向所述主系统管理模块发送数据缓存服务模块运行状态报告,其中,所述数据缓存服务模块运行状态报告包括所述数据缓存服务模块的模块标志、所述数据缓存服务模块的模块运行时长以及磁盘实时缓存文件剩余内存;
所述数据归档服务模块与所述主系统管理模块连接,以预定周期向所述主系统管理模块发送数据归档服务模块运行状态报告,其中,所述数据归档服务模块运行状态报告包括所述数据归档服务模块的模块标志、订单数据归档服务模块的模块运行时长;
且当所述磁盘实时缓存文件超过缓存文件大小阈值时,所述主系统管理模块向所述数据归档服务模块发送指令,使得所述数据归档服务模块将所述数据缓存服务模块形成的磁盘实时缓存文件中的数据建立索引,将所述磁盘实时缓存文件中的数据写入磁盘历史归档文件,形成数据库;
所述客户端通过通信协议与所述服务器连接,向用户提供写入数据和查询服务。
本发明还进一步采用以下优选技术方案:
所述存储管理系统具有备用服务器,所述备用服务器包括数据缓存备用模块、数据归档备用模块以及数据查询备用模块,
所述数据缓存备用模块、数据归档备用模块以及数据查询备用模块均与所述主系统管理模块连接。
当所述主系统管理模块超过2-3个周期未接收到所述数据查询服务模块或数据归档服务模块或数据缓存服务模块中任一模块的运行状态报告,则认为对应模块故障或离线,重启对应模块并将对应模块的备用模块设置为新的主服务模块;
当所述数据查询服务模块或数据归档服务模块或数据缓存服务模块中任一模块发生故障或离线而进行主备切换时,由所述主系统管理模块将主备角色进行变更,并将新的主服务模块地址通知客户端,从而使得客户端请求发往新的主服务模块。
所述写入的数据包括顺序实时数据和乱序插入数据,
其中,所述顺序实时数据为按照时间前后顺序排列的时序数据,
所述乱序插入数据为不是按照时间前后顺序排列的时序数据。
所述数据缓存服务模块将所述顺序实时数据和乱序插入数据在系统缓存中分开存放,形成实时数据缓存文件和乱序插入数据缓存文件,且所述顺序实时数据缓存文件和乱序插入数据缓存文件内部按照接收数据的顺序进行排列。
所述数据归档服务模块将所述顺序实时数据缓存文件建立索引,直接形成顺序数据归档文件,
所述数据归档服务模块首先对所述乱序插入数据缓存文件按照所述时序数据的时间前后顺序进行排序,再将所述乱序插入数据缓存文件建立索引形成插入数据归档文件。
所述客户端包括界面发布管理模块、界面建模工具模块;
所述界面发布管理模块,通过客户端和所述服务器连接,通过图形、趋势、表格直观地显示系统中的实时数据信息;
所述界面建模工具模块为界面发布管理模块提供可视化的用户界面建模。
系统的实时数据存储管理实现方法,所述方法包括以下步骤:
步骤一:系统启动时启动主系统管理模块、数据查询服务模块、数据归档服务模块、数据缓存服务模块,加载数据库模型、权限控制信息;
步骤二:所述主系统管理模块实时接收数据查询服务模块、数据归档服务模块、数据缓存服务模块的运行状态报告;
步骤三:用户通过客户端高速写入实时数据,其中写入实时数据包括顺序实时数据、乱序插入数据;
步骤四:数据缓存服务模块生成磁盘实时缓存文件,并对写入的实时数据进行缓存;
步骤五:当磁盘实时缓存文件超过大小阈值时,由所述主系统管理模块向所述数据归档服务模块发出指令,使得所述数据归档服务模块将磁盘实时缓存文件中的文件自动归档到磁盘历史归档文件,形成数据库。
所述步骤二包括以下步骤:
S201:所述主系统管理模块能够接收到数据查询服务模块、数据归档服务模块、数据缓存服务模块的运行状态报告时,执行步骤三;
S202:当某个服务模块故障或离线,主系统管理模块不能接收到服务正常状态报告时重启对应服务模块;
S203:主系统管理模块将重启的服务模块的备用模块设置为主服务模块投入运行,并将新的主服务模块地址通知客户端,从而使得客户端请求发往新的主服务模块。
在所述步骤四中,
所述数据缓存服务模块将所述顺序实时数据和乱序插入数据在系统缓存中分开存放,形成实时数据缓存文件和乱序插入数据缓存文件,且所述顺序实时数据缓存文件和乱序插入数据缓存文件内部按照接收数据的顺序进行排列。
在所述步骤五中,
所述数据归档服务模块将所述顺序实时数据缓存文件建立索引,直接形成顺序数据归档文件,
所述数据归档服务模块首先对所述乱序插入数据缓存文件按照所述时序数据的时间前后顺序进行排序,再将所述乱序插入数据缓存文件建立索引形成插入数据归档文件。
本发明具有以下技术效果:
本发明的通用实时数据存储管理系统将实时数据管理领域所面临的模型/权限管理、读写并发控制、数据管理等部分进行抽象整合,由一系列形式分散独立但内在有机关联的模块构成了通用实时数据存储管理系统平台,具有高实时、大并发、高吞吐能力、可伸缩等特性,能够为客户提供高速、及时、有效的实时数据管理服务。
同时,本发明提供了界面建模工具模块帮助用户快速开发应用。基于通用实时数据存储管理系统构建实时数据应用,一方面可以大大缩短应用的开发周期,降低开发和维护成本,另一方面可以充分保证应用的可靠性、实时性和开放性。
附图说明
图1是本发明的通用实时数据存储管理系统的结构示意图;
图2是本发明的基于通用实时数据存储管理系统实时数据存储管理实现方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
请参阅图1本发明的系统模块图。一种通用实时数据存储管理系统,该系统是一个分布式计算机系统,应部署到至少一个或以上服务器,该系统包括服务器和客户端,其中,服务器包括主系统管理模块、数据查询服务模块、数据归档服务模块、数据缓存服务模块。
主系统管理模块,通过通信协议和客户端模块连接,用于实现系统的权限管理和控制,以及数据库模型创建、修改、删除等管理操作。主系统管理模块负责客户端对数据库系统访问的权限甄别,负责数据库模型和文件的操作维护,同时也负责对数据查询服务、数据归档服务、数据缓存服务等模块提供数据库的元数据信息。其中,数据模型包括数据层次模型、数据同步模型、数据订阅模型等。这种数据模型一般在实时数据存储管理系统投入使用前进行创建,并可在运行期间进行在线修改。
数据查询服务模块与数据客户端连接,用于用户查询数据库模型信息、实时数据和历史数据;
数据查询服务模块,通过通信协议和客户端模块连接,帮助用户查询数据库模型信息、实时数据、历史数据等信息。数据查询服务直接面向客户端模块,为客户端模块提供数据检索、数据聚合等查询服务内容。
并且,数据查询服务模块与主系统管理模块连接,以预定周期向主系统管理模块发送数据查询服务模块运行状态报告,其中,数据查询服务模块运行状态报告包括该模块的模块标志、该模块的模块运行时长以及用户查询数据内容。
数据查询服务模块具有数据查询备用模块,当主系统管理模块超过2-3个周期未接收到数据查询服务模块的运行状态报告,则认为该模块故障或离线,重启该模块并将该模块的备用模块设置为新的数据查询服务模块,并将新的数据查询服务模块地址通知客户端,从而使得客户端请求发往新的数据查询服务模块。
数据缓存服务模块通过通信协议和客户端模块连接,用于接收写入的数据并快速落盘,形成磁盘实时缓存文件暂存实时数据。写入的数据包括顺序实时数据、乱序插入数据,两种数据分别存放。其中顺序实时数据为按照时间前后顺序排列的时序数据,乱序插入数据为不是按照时间前后顺序排列的时序数据。数据缓存服务模块将顺序实时数据和乱序插入数据在系统缓存中分开存放,形成实时数据缓存文件和乱序插入数据缓存文件,且顺序实时数据缓存文件和乱序插入数据缓存文件内部按照接收数据的顺序进行排列。
并且,数据缓存服务模块与主系统管理模块连接,以预定周期向主系统管理模块发送数据缓存服务模块运行状态报告,其中,数据缓存服务模块运行状态报告包括该模块的模块标志、该模块的模块运行时长以及磁盘实时缓存文件剩余内存。
数据缓存服务模块具有数据缓存备用模块,当主系统管理模块超过2-3个周期未接收到数据缓存服务模块的运行状态报告,则认为该模块故障或离线,重启该模块并将该模块的备用模块设置为新的数据缓存服务模块,并将新的数据缓存服务模块地址通知客户端,从而使得客户端写入的数据发往新的数据缓存服务模块。
数据归档服务模块是后台服务模块,不与客户端模块产生直接联系。数据归档服务以多级索引的方式生成和管理数据文件,并以并发的方式和数据查询服务共享这些数据文件的访问。
其中,数据归档服务模块将顺序实时数据缓存文件建立索引,直接形成顺序数据归档文件。
数据归档服务模块首先对乱序插入数据缓存文件按照时序数据的时间前后顺序进行排序,再将乱序插入数据缓存文件建立索引形成插入数据归档文件。
数据归档服务模块与主系统管理模块连接,以预定周期向主系统管理模块发送数据归档服务模块运行状态报告,其中,数据归档服务模块运行状态报告包括该模块的模块标志、该模块的模块运行时长。
当磁盘实时缓存文件超过缓存文件大小阈值时,主系统管理模块向数据归档服务模块发送指令,使得数据归档服务模块将数据缓存服务模块形成的磁盘实时缓存文件中的数据建立索引,将磁盘实时缓存文件中的数据写入磁盘历史归档文件,形成数据库。
并且,数据归档存服务模块具有数据缓存备用模块,当主系统管理模块超过2-3个周期未接收到数据归档服务模块的运行状态报告,则认为该模块故障或离线,重启该模块并将该模块的备用模块设置为新的数据归档服务模块。
客户端通过通信协议和服务器连接,对用户提供数据写入和查询服务。
系统通过将查询、写入等服务模块拆分、多服务模块并行工作的方式,将数据的读写并行处理,避免同模块处理时读写并发等待时间,可显著提高实时数据存储系统在多任务并发访问时系统的性能表现。
系统支持数据顺序写入,支持数据乱序写入,对顺序数据、插入数据分别处理,数据缓存服务模块将顺序实时数据、乱序插入数据分别进行缓存;数据归档服务模块将顺序数据文件、插入数据文件分别归档存放,数据查询服务模块访问顺序数据文件、插入数据文件,统一对外提供数据查询结果。
客户端包括界面发布模块和界面建模工具模块。
界面发布管理模块,通过客户端和服务器连接,通过画面、趋势、表格等方式直观地显示系统中的实时数据信息,提供实时数据信息的展现和发布手段,帮助用户完成生产实时监控、系统或设备分析,更好地进行操作调整与管理决策。
界面建模工具模块提供显示界面的组态功能,支持图形、趋势、表格等,以所见即所得的方式为界面发布管理模块提供可视化的用户界面建模。
目前主流的计算机操作系统是windows/linux并存,因此一个通用的实时数据存储管理系统必须具备兼容不同操作系统的能力。通用实时数据存储管理系统提供操作系统抽象层模块实现对操作系统的封装和抽象。具体实现方式是对不同操作系统的开发接口进行抽象封装,形成统一格式,独立于操作系统的通用接口。
实时数据存储管理系统是分布式计算机系统,系统实现中存在大量的网络开发编程工作量。在通用实时数据存储管理中,实现一个跨平台的网络通信开发框架,主要解决服务器和客户机之间的通信问题。网络通信框架可解决多方应用系统之间信息互通、数据缓存、网络环境差导致的数据传输不稳定、应用资源隔离、高并发任务调度等一系列问题。
基于本发明开发的实时数据管理系统提供高可靠、高效的实时数据库服务。一方面提供用户可定制的层次化数据库服务,同时提供全套的数据访问接口支持对数据库的读写。另一方面,提供实时数据库与商业数据库的集成,支持将实时数据库中的数据采用模型驱动的方式发布到商用数据库。基于本发明开发的实时数据管理系统在保证高密度实时性的数据服务前提下可实现海量数据的有效存储。
自动化系统需要保证系统高可用性,单一服务器节点出现故障时仍然能够通过备用服务保证系统的正常运行。在基于本发明开发的实时数据管理系统的实施架构中,通过主系统模块实现冗余服务的角色调度,从而保证了通用实时数据存储管理系统能够在系统局部故障的前提下仍然具备高可用性。
图2是本发明的基于通用实时数据存储管理系统实时数据存储管理实现方法的流程图。如图2所示,本发明的基于通用实时数据存储管理系统实时数据存储管理实现方法包括以下步骤:
步骤一:系统启动时启动主系统管理模块、数据查询服务模块、数据归档服务模块、数据缓存服务模块,加载数据库模型、权限控制信息。
步骤二:主系统管理模块实时接收数据查询服务模块、数据归档服务模块、数据缓存服务模块的运行状态报告。
其中,步骤二具体包括以下步骤:
S201:主系统管理模块能够接收到数据查询服务模块、数据归档服务模块、数据缓存服务模块的运行状态报告时,执行步骤三。
S202:当某个服务模块故障或离线,主系统管理模块不能接收到服务正常状态报告时重启对应服务模块。
S203:主系统管理模块将重启的服务模块的备用模块设置为主服务模块投入运行,将新的主服务模块地址通知客户端,从而使得客户端请求发往新的主服务模块,并执行步骤三。
步骤三:用户通过客户端高速写入实时数据,其中写入实时数据包括顺序实时数据、乱序插入数据。
步骤四:数据缓存服务模块生成磁盘实时缓存文件,并对写入的实时数据进行缓存。
其中,数据缓存服务模块将顺序实时数据和乱序插入数据在系统缓存中分开存放,形成实时数据缓存文件和乱序插入数据缓存文件,且顺序实时数据缓存文件和乱序插入数据缓存文件内部按照接收数据的顺序进行排列。
步骤五:当磁盘实时缓存文件超过大小阈值时,由主系统管理模块向数据归档服务模块发出指令,使得数据归档服务模块将磁盘实时缓存文件中的文件自动归档到磁盘历史归档文件,形成数据库。
其中,数据归档服务模块将顺序实时数据缓存文件建立索引,直接形成顺序数据归档文件,
数据归档服务模块首先对乱序插入数据缓存文件按照时序数据的时间前后顺序进行排序,再将乱序插入数据缓存文件建立索引形成插入数据归档文件。
最后所应说明的是:以上实例仅用以说明而非限制本发明的技术方案,尽管参照上述实例对本发明进行了详细说明,本领域的普通技术人员应当理解:依然可以对本发明进行修改或者等同替换,而不脱离本发明的精神和范围的任何修改或局部替换,其均应覆盖在本发明的权利要求范围当中。
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述,但是本领域技术人员应该理解,以上实施示例仅为本发明的优选实施方案,详尽的说明只是为了帮助读者更好地理解本发明精神,而并非对本发明保护范围的限制,相反,任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。
Claims (12)
1.一种通用实时数据存储管理系统,所述系统是一个分布式计算机系统,具有至少一个或以上服务器和一个客户端。
2.根据权利要求1所述的通用实时数据存储管理系统,其特征在于:所述系统包括服务器以及客户端:
所述服务器包括主系统管理模块、数据查询服务模块、数据归档服务模块、数据缓存服务模块;
所述主系统管理模块与所述客户端连接,用于实现数据客户端对服务器访问的权限管理和控制,以及数据库模型创建、修改、删除;其中数据库模型包括层次模型、数据同步模型、数据订阅模型;
所述数据查询服务模块与所述数据客户端连接,用于用户查询数据库模型信息、实时数据和历史数据;所述数据查询服务模块与所述主系统管理模块连接,以预定周期向所述主系统管理模块发送数据查询服务模块运行状态报告,其中,所述数据查询服务模块运行状态报告包括所述数据查询服务模块的模块标志、所述数据查询服务模块的模块运行时长以及用户查询数据内容;
所述数据缓存服务模块与所述客户端连接,用于接收写入的数据并快速落盘,形成磁盘实时缓存文件暂存实时数据;所述数据缓存服务模块与所述主系统管理模块连接,以预定周期向所述主系统管理模块发送数据缓存服务模块运行状态报告,其中,所述数据缓存服务模块运行状态报告包括所述数据缓存服务模块的模块标志、所述数据缓存服务模块的模块运行时长以及磁盘实时缓存文件剩余内存;
所述数据归档服务模块与所述主系统管理模块连接,以预定周期向所述主系统管理模块发送数据归档服务模块运行状态报告,其中,所述数据归档服务模块运行状态报告包括所述数据归档服务模块的模块标志、订单数据归档服务模块的模块运行时长;
且当所述磁盘实时缓存文件超过缓存文件大小阈值时,所述主系统管理模块向所述数据归档服务模块发送指令,使得所述数据归档服务模块将所述数据缓存服务模块形成的磁盘实时缓存文件中的数据建立索引,将所述磁盘实时缓存文件中的数据写入磁盘历史归档文件,形成数据库;
所述客户端通过通信协议与所述服务器连接,向用户提供写入数据和查询服务。
3.根据权利要求2所述的通用实时数据存储管理系统,其特征在于:
所述存储管理系统具有备用服务器,所述备用服务器包括数据缓存备用模块、数据归档备用模块以及数据查询备用模块,
所述数据缓存备用模块、数据归档备用模块以及数据查询备用模块均与所述主系统管理模块连接。
4.根据权利要求3所述的通用实时数据存储管理系统,其特征在于:
当所述主系统管理模块超过2-3个周期未接收到所述数据查询服务模块或数据归档服务模块或数据缓存服务模块中任一模块的运行状态报告,则认为对应模块故障或离线,重启对应模块并将对应模块的备用模块设置为新的主服务模块;
当所述数据查询服务模块或数据归档服务模块或数据缓存服务模块中任一模块发生故障或离线而进行主备切换时,由所述主系统管理模块将主备角色进行变更,并将新的主服务模块地址通知客户端,从而使得客户端请求发往新的主服务模块。
5.根据权利要求2所述的通用实时数据存储管理系统,其特征在于:
所述写入的数据包括顺序实时数据和乱序插入数据,
其中,所述顺序实时数据为按照时间前后顺序排列的时序数据,
所述乱序插入数据为不是按照时间前后顺序排列的时序数据。
6.根据权利要求5所述的通用实时数据存储管理系统,其特征在于:
所述数据缓存服务模块将所述顺序实时数据和乱序插入数据在系统缓存中分开存放,形成实时数据缓存文件和乱序插入数据缓存文件,且所述顺序实时数据缓存文件和乱序插入数据缓存文件内部按照接收数据的顺序进行排列。
7.根据权利要求6所述的用实时数据存储管理系统,其特征在于:
所述数据归档服务模块将所述顺序实时数据缓存文件建立索引,直接形成顺序数据归档文件,
所述数据归档服务模块首先对所述乱序插入数据缓存文件按照所述时序数据的时间前后顺序进行排序,再将所述乱序插入数据缓存文件建立索引形成插入数据归档文件。
8.根据权利要求2所述的通用实时数据存储管理系统,其特征在于:
所述客户端包括界面发布管理模块、界面建模工具模块;
所述界面发布管理模块,通过客户端和所述服务器连接,通过图形、趋势、表格直观地显示系统中的实时数据信息;
所述界面建模工具模块为界面发布管理模块提供可视化的用户界面建模。
9.一种基于权利要求1-8任意一项权利要求所述的通用实时数据存储管理系统的实时数据存储管理实现方法,所述方法包括以下步骤:
步骤一:系统启动时启动主系统管理模块、数据查询服务模块、数据归档服务模块、数据缓存服务模块,加载数据库模型、权限控制信息;
步骤二:所述主系统管理模块实时接收数据查询服务模块、数据归档服务模块、数据缓存服务模块的运行状态报告;
步骤三:用户通过客户端高速写入实时数据,其中写入实时数据包括顺序实时数据、乱序插入数据;
步骤四:数据缓存服务模块生成磁盘实时缓存文件,并对写入的实时数据进行缓存;
步骤五:当磁盘实时缓存文件超过大小阈值时,由所述主系统管理模块向所述数据归档服务模块发出指令,使得所述数据归档服务模块将磁盘实时缓存文件中的文件自动归档到磁盘历史归档文件,形成数据库。
10.根据权利要求9所述的基于通用实时数据存储管理系统的实时数据存储管理实现方法,其特征在在于:
所述步骤二包括以下步骤:
S201:所述主系统管理模块能够接收到数据查询服务模块、数据归档服务模块、数据缓存服务模块的运行状态报告时,执行步骤三;
S202:当某个服务模块故障或离线,主系统管理模块不能接收到服务正常状态报告时重启对应服务模块;
S203:主系统管理模块将重启的服务模块的备用模块设置为主服务模块投入运行,并将新的主服务模块地址通知客户端,从而使得客户端请求发往新的主服务模块。
11.根据权利要求9所述的基于通用实时数据存储管理系统的实时数据存储管理实现方法,其特征在在于:
在所述步骤四中,
所述数据缓存服务模块将所述顺序实时数据和乱序插入数据在系统缓存中分开存放,形成实时数据缓存文件和乱序插入数据缓存文件,且所述顺序实时数据缓存文件和乱序插入数据缓存文件内部按照接收数据的顺序进行排列。
12.根据权利要求9所述的基于通用实时数据存储管理系统的实时数据存储管理实现方法,其特征在在于:
在所述步骤五中,
所述数据归档服务模块将所述顺序实时数据缓存文件建立索引,直接形成顺序数据归档文件,
所述数据归档服务模块首先对所述乱序插入数据缓存文件按照所述时序数据的时间前后顺序进行排序,再将所述乱序插入数据缓存文件建立索引形成插入数据归档文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010081126.1A CN111367880A (zh) | 2020-02-05 | 2020-02-05 | 一种通用实时数据存储管理系统及其实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010081126.1A CN111367880A (zh) | 2020-02-05 | 2020-02-05 | 一种通用实时数据存储管理系统及其实现方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111367880A true CN111367880A (zh) | 2020-07-03 |
Family
ID=71210037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010081126.1A Pending CN111367880A (zh) | 2020-02-05 | 2020-02-05 | 一种通用实时数据存储管理系统及其实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111367880A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115048374A (zh) * | 2022-05-07 | 2022-09-13 | 中铁第四勘察设计院集团有限公司 | 基于时序数据库的边缘数据处理方法及平台、存储介质 |
CN115883536A (zh) * | 2022-11-28 | 2023-03-31 | 中国联合网络通信集团有限公司 | 文件传递方法、装置、系统及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103532754A (zh) * | 2013-10-12 | 2014-01-22 | 北京首信科技股份有限公司 | 一种通过高速内存、分布式处理海量日志的系统及方法 |
CN106027661A (zh) * | 2016-06-24 | 2016-10-12 | 四川福豆科技有限公司 | 数据集群存储终端 |
CN106528649A (zh) * | 2016-10-14 | 2017-03-22 | 宁波华太车载技术有限公司 | 一种新能源汽车的海量数据存储检索系统和方法 |
CN106934001A (zh) * | 2017-03-03 | 2017-07-07 | 广州天源迪科信息技术有限公司 | 分布式快速清单查询系统及方法 |
CN107743137A (zh) * | 2016-09-27 | 2018-02-27 | 腾讯科技(深圳)有限公司 | 一种文件上传方法及装置 |
CN108200211A (zh) * | 2018-02-12 | 2018-06-22 | 华为技术有限公司 | 集群中镜像文件下载的方法、节点和查询服务器 |
CN109597568A (zh) * | 2018-09-18 | 2019-04-09 | 天津字节跳动科技有限公司 | 一种数据存储方法、装置、终端设备及存储介质 |
CN109710614A (zh) * | 2018-12-28 | 2019-05-03 | 深圳市同行者科技有限公司 | 一种实时数据存储与查询的方法及装置 |
CN110445811A (zh) * | 2019-09-16 | 2019-11-12 | 秒针信息技术有限公司 | 用于非云存储的数据管理系统、方法、服务器和存储介质 |
-
2020
- 2020-02-05 CN CN202010081126.1A patent/CN111367880A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103532754A (zh) * | 2013-10-12 | 2014-01-22 | 北京首信科技股份有限公司 | 一种通过高速内存、分布式处理海量日志的系统及方法 |
CN106027661A (zh) * | 2016-06-24 | 2016-10-12 | 四川福豆科技有限公司 | 数据集群存储终端 |
CN107743137A (zh) * | 2016-09-27 | 2018-02-27 | 腾讯科技(深圳)有限公司 | 一种文件上传方法及装置 |
CN106528649A (zh) * | 2016-10-14 | 2017-03-22 | 宁波华太车载技术有限公司 | 一种新能源汽车的海量数据存储检索系统和方法 |
CN106934001A (zh) * | 2017-03-03 | 2017-07-07 | 广州天源迪科信息技术有限公司 | 分布式快速清单查询系统及方法 |
CN108200211A (zh) * | 2018-02-12 | 2018-06-22 | 华为技术有限公司 | 集群中镜像文件下载的方法、节点和查询服务器 |
CN109597568A (zh) * | 2018-09-18 | 2019-04-09 | 天津字节跳动科技有限公司 | 一种数据存储方法、装置、终端设备及存储介质 |
CN109710614A (zh) * | 2018-12-28 | 2019-05-03 | 深圳市同行者科技有限公司 | 一种实时数据存储与查询的方法及装置 |
CN110445811A (zh) * | 2019-09-16 | 2019-11-12 | 秒针信息技术有限公司 | 用于非云存储的数据管理系统、方法、服务器和存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115048374A (zh) * | 2022-05-07 | 2022-09-13 | 中铁第四勘察设计院集团有限公司 | 基于时序数据库的边缘数据处理方法及平台、存储介质 |
CN115883536A (zh) * | 2022-11-28 | 2023-03-31 | 中国联合网络通信集团有限公司 | 文件传递方法、装置、系统及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101493826B (zh) | 基于web应用的数据库系统及其数据管理方法 | |
CN104735110B (zh) | 元数据管理方法和系统 | |
CN108848132B (zh) | 一种基于云的配电调度主站系统 | |
CN104965850A (zh) | 一种基于开源技术的数据库高可用实现方法 | |
CN112148718A (zh) | 一种用于城市级数据中台的大数据支撑管理系统 | |
CN105677251A (zh) | 基于Redis集群的存储系统 | |
CN111427964B (zh) | 一种面向运行时间戳的工业云数据存储模型 | |
CN112579528B (zh) | 嵌入式网络文件系统服务器端高效率文件访问的方法 | |
CN103595799A (zh) | 一种实现分布式共享数据库的方法 | |
CN111367880A (zh) | 一种通用实时数据存储管理系统及其实现方法 | |
CN106021593A (zh) | 一种第一数据库与第二数据库接管过程中的复制处理方法 | |
CN109901948A (zh) | 无共享数据库集群异地双活容灾系统 | |
CN117149873A (zh) | 一种基于流批一体化的数据湖服务平台构建方法 | |
CN102867029B (zh) | 一种管理分布式文件系统目录的方法及分布式文件系统 | |
CN117076426A (zh) | 基于流批一体化的交通智能引擎系统构建方法及装置 | |
CN106528667B (zh) | 读写分离的低功耗海量数据全文检索系统框架 | |
CN112540954B (zh) | 以目录单位的多级存储构建与在线迁移方法 | |
CN117131080A (zh) | 一种基于流处理和消息队列的数据处理平台 | |
CN113641650B (zh) | 一种基于redis内存多时态的电网GIS数据处理方法和装置 | |
CN108334603A (zh) | 一种大数据互动交换系统 | |
CN113468259A (zh) | 一种数据实时采集入库方法及系统 | |
CN114579364A (zh) | 一种基于混合云的云原生数据库备份方法 | |
CN113177084A (zh) | 一种基于物联网的数据库储存方法 | |
CN110019105A (zh) | 一种可靠高效的分布式文件系统 | |
CN111767338A (zh) | 电力系统在线超实时仿真的分布式数据存储方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200703 |
|
RJ01 | Rejection of invention patent application after publication |