CN109783695B - 轨道交通综合监控系统中历史数据的存储方法及装置 - Google Patents
轨道交通综合监控系统中历史数据的存储方法及装置 Download PDFInfo
- Publication number
- CN109783695B CN109783695B CN201811641120.4A CN201811641120A CN109783695B CN 109783695 B CN109783695 B CN 109783695B CN 201811641120 A CN201811641120 A CN 201811641120A CN 109783695 B CN109783695 B CN 109783695B
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring system
- historical
- rail transit
- historical data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开一种轨道交通综合监控系统中历史数据的存储方法及装置,其中,方法包括:确定轨道交通综合监控系统中历史数据的来源,获取轨道交通综合监控系统中的历史数据;基于获取的轨道交通综合监控系统中的历史数据,通过Phoenix操作HBase的形式创建轨道交通综合监控系统中历史数据的数据表;在获取的历史数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中。本发明实施例解决了轨道交通综合监控系统中海量历史数据的存储问题,能在不影响整体调度系统运行的同时实现对轨道交通综合监控系统中每天产生的海量的历史数据的存储。
Description
技术领域
本发明实施例涉及大数据处理技术领域,具体涉及一种轨道交通综合监控系统中历史数据的存储方法及装置。
背景技术
随着城市轨道交通建设的飞速发展,人们出行也越来越便利。
目前,轨道交通综合监控系统面临着数据类型多、数据处理要求性能高,且数据量大的特点,需要对海量数据进行集中存储和快速查询。轨道交通综合监控系统的主要特征是随着系统的运行,每天会产生海量的数据,历史数据的数据量也可想而知。当面对存取记录总数为千万级甚至可能亿级的表时,传统的关系数据库,会因为存储量太大而导致查询速度很慢,满足不了对海量数据快速查询的需求,并且关系数据库很难通过简单增加更多的硬件和服务节点的途径来解决这些问题。
发明内容
由于现有方法存在上述问题,本发明实施例提出一种轨道交通综合监控系统中历史数据的存储方法及装置。
第一方面,本发明实施例提出一种轨道交通综合监控系统中历史数据的存储方法,包括:
确定轨道交通综合监控系统中历史数据的来源,获取轨道交通综合监控系统中的历史数据;
基于获取的轨道交通综合监控系统中的历史数据,通过Phoenix操作HBase的形式,创建轨道交通综合监控系统中历史数据的数据表;
在获取的历史数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中。
第二方面,本发明实施例还提出一种轨道交通综合监控系统中历史数据的存储装置,包括:
获取模块,用于确定轨道交通综合监控系统中历史数据的来源,获取轨道交通综合监控系统中的历史数据;
创建模块,用于基于获取的轨道交通综合监控系统中的历史数据,通过Phoenix操作HBase的形式,创建轨道交通综合监控系统中历史数据的数据表;
存储模块,用于在获取的历史数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中。
第三方面,本发明实施例提供一种电子设备,包括:处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序;
其中,所述处理器,存储器通过所述总线完成相互间的通信;
所述处理器执行所述计算机程序时实现上述方法。
第四方面,本发明实施例提供一种非暂态计算机可读存储介质,所述存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述方法。
由上述技术方案可知,本发明实施例提供的一种轨道交通综合监控系统中历史数据的存储方法及装置,通过确定轨道交通综合监控系统中历史数据的来源,获取轨道交通综合监控系统中的历史数据,基于获取的轨道交通综合监控系统中的历史数据,通过Phoenix操作HBase的形式,创建轨道交通综合监控系统中历史数据的数据表,在获取的历史数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中,由此,解决了轨道交通综合监控系统中海量历史数据的存储问题,能够在不影响整体调度系统运行的同时,实现对轨道交通综合监控系统中每天产生的海量的历史数据的存储,为以后轨道交通综合监控系统中海量历史数据的查询和处理带来了极大的方便,从而方便后续对轨道交通综合监控系统中历史数据的整合和集中分析,为将来对这些历史数据的深度处理和应用打下了坚实的基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1为本发明一实施例提供的一种轨道交通综合监控系统中历史数据的存储方法的流程示意图;
图2为本发明一实施例提供的一种轨道交通综合监控系统中历史数据存储的原理示意图;
图3为本发明一实施例提供的一种轨道交通综合监控系统中历史数据的存储装置的结构示意图;
图4为本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
下面结合附图,对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
图1示出了本发明一实施例提供的一种轨道交通综合监控系统中历史数据的存储方法的流程示意图,如图1所示,本实施例的轨道交通综合监控系统中历史数据的存储方法,包括:
S1、确定轨道交通综合监控系统中历史数据的来源,获取轨道交通综合监控系统中的历史数据。
S2、基于获取的轨道交通综合监控系统中的历史数据,通过Phoenix操作HBase的形式,创建轨道交通综合监控系统中历史数据的数据表。
S3、在获取的历史数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中。
需要说明的是,本实施例抛弃传统的关系数据库,利用了大数据的HBase数据库来存储历史数据,方便将来对数据进行集中分析,从而为综合监控调度系统提供决策方案,提升安全管理水平。
可以理解的是,由于HBase的查询语句很不好用,为了为存储之后的查询带来便利,本实施例采用了类似Mysql等关系型数据库的Phoenix中间件操作HBase数据库,将历史数据按照预设的格式通过数据库中间件VDB,快速地存储到HBase数据库中,实现历史数据的统一集中存储,从而为以后的查询、管理打好基础。
本实施例提供的轨道交通综合监控系统中历史数据的存储方法,通过确定轨道交通综合监控系统中历史数据的来源,获取轨道交通综合监控系统中的历史数据,基于获取的轨道交通综合监控系统中的历史数据,通过Phoenix操作HBase的形式,创建轨道交通综合监控系统中历史数据的数据表,在获取的历史数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中,由此,解决了轨道交通综合监控系统中海量历史数据的存储问题,能够在不影响整体调度系统运行的同时,实现对轨道交通综合监控系统中每天产生的海量的历史数据的存储,为以后轨道交通综合监控系统中海量历史数据的查询和处理带来了极大的方便,从而方便后续对轨道交通综合监控系统中历史数据的整合和集中分析,为将来对这些历史数据的深度处理和应用打下了坚实的基础。
进一步地,在上述实施例的基础上,所述步骤S3,可以包括:
在获取的历史数据达到预设数量时,通过数据库中间件VDB,按照不同的专业,分别将这批轨道交通综合监控系统中的历史数据批量提交到HBase的不同的region(区域)服务器集群中。
这样,能够进一步实现轨道交通综合监控系统中历史数据存储的分散性。
进一步地,在具体应用中,本实施例所述轨道交通综合监控系统中的历史数据,可以包括:参数库数据和历史库数据;
所述数据库中间件VDB分别提供了参数库和历史库的接口访问和调用方式。
进一步地,在上述实施例的基础上,所述参数库数据可以包括:遥信数据、遥测数据、遥控数据、遥调数据和程控数据等。
具体地,以遥信数据为例,可以参考图2,对于遥信数据,所述步骤S1,可以具体包括:
从厂家提供的点表,获取遥信参数数据;
所述步骤S2,可以具体包括:
基于获取的遥信参数数据,按照Phoenix中预先设置好的参数库中遥信参数表的表结构,在Phoenix服务端创建遥信参数表;
所述步骤S3,可以具体包括:
在获取的遥信参数数据达到预设数量时,通过数据库中间件VDB,批量提交这批遥信参数数据到HBase数据库的遥信参数表中。
在具体应用中,所述遥信参数表中的信息可以包括:遥信名称、标识、描述、现场编号、描述锁定符、厂站名、间隔名、责任区、电压等级、量测类型、报警级别、输入类型、RTU(远程终端单元)号、YX(遥信)号、次遥信号、双遥信标志、遥信防抖标志、取反标志、SOE(事件记录)设置状态、报警类型、变位报警模式、SOE报警模式、事故处理方式、事故时间死区、事故逻辑过程、报警确认方式、报警图名、报警声音次数、变位次数限、事故次数限、是否追忆、追忆组号、是否可控、遥控责任区、合遥控号、分遥控号、起始命令、双机监督、控制模式、不校验状态、不等待控制结果、返校时间限、执行时间限、发令时间限、遥控事项模式、控合动作名称、控分动作名称、删除标志、统计标志、状态组名、遥控状态组名和公共名等;
其中,标识指的是唯一标识遥信数据的数字,厂站指的是遥信数据所属的厂站,RTU号指的是遥信数据从何处采集过来。
可以理解的是,本实施例是在获取的遥信参数数据达到预设数量时,通过数据库中间件VDB,批量提交这批遥信参数数据到HBase数据库的遥信参数表中。需要注意的是,在Phoenix服务端创建遥信参数表时,确定好与HBase数据库的RowKey(行键)对应的PRIMARYKEY(主关键字)。对于该遥信参数表,其RowKey由一个部分组成:遥信名称。HBase数据库表结构中的一行记录就是一个测点一个信息记录,该行信息有:RowKey和不包含在RowKey中的其它信息。其中每条记录只设置了一个列簇,所有的列均同属一个列簇。
在具体应用中,HBase集群有多个region(区域),为实现数据存储的分散性,需将遥信数据按专业分别提交到不同的region服务器集群中,从而存储到不同的集群中,实现数据存储的分散性。
进一步地,在上述实施例的基础上,所述历史库数据可以包括:趋势数据、历史事项数据、统计数据、历史日数据、历史月数据和历史年数据等;
具体地,以历史事项数据为例,可以参考图2,对于历史事项数据,所述步骤S1,可以具体包括:
从本地存储的文件中,(按行读取文件内容,将一行数据即一个事项的所有信息)获取历史事项数据,其中,所述本地存储的文件的来源是,通过历史事项存盘服务将轨道交通综合监控系统操作的相关事项和轨道交通综合监控系统运行时产生的相关事项生成到所述本地存储的文件中;
所述步骤S2,可以具体包括:
基于获取的历史事项数据,按照Phoenix中预先设置好的历史库中历史事项表的表结构,在Phoenix服务端创建历史事项表;
所述步骤S3,可以具体包括:
在获取的历史事项数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史事项数据到HBase数据库的历史事项表中。
在具体应用中,所述历史事项表中的信息可以包括:事项排序、事项类型、产生日期、产生时间、年月日、时分秒毫秒、报警级别、责任区、电压等级、测试标志、输出等级、状态、状态1、状态2、值、值1、值2、值3、事项对象组、事项对象子组、事项对象0、事项对象1、事项对象2、事项对象3、事项内容等;
其中,事项类型可以包括:网络事项、服务器事项、进程事项、RTU事项和通道事项等。
可以理解的是,本实施例是在获取的历史事项数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史事项数据到HBase数据库的历史事项表中,在Phoenix服务端创建历史事项表时,需确定好与HBase数据库的RowKey(行键)对应的PRIMARY KEY(主关键字),此处HBase数据库的RowKey由8个部分组成:年月日,时分秒毫秒,事项类型,事项对象组,事项对象子组,事项对象0,事项对象1,事项对象2,该RowKey就是对应Phoenix中创建的历史事项表的PRIMARY KEY。HBase数据库中历史事项表的一行记录就是一个事项的相关信息,该行信息有:RowKey和不包含在RowKey中的其它信息。其中,每条记录只设置了一个列簇,即所有的列均属于同一列簇。
在具体应用中,HBase集群有多个region,为实现数据存储的分散性,需将历史事项数据按专业分别提交到不同的region服务器集群中,从而存储到不同的集群中。
本实施例提供的一种轨道交通综合监控系统中历史数据的存储方法,解决了轨道交通综合监控系统中海量历史数据的存储问题,能够在不影响整体调度系统运行的同时,实现对轨道交通综合监控系统中每天产生的海量的历史数据的存储,为以后轨道交通综合监控系统中海量历史数据的查询和处理带来了极大的方便,从而方便后续对轨道交通综合监控系统中历史数据的整合和集中分析,为将来对这些历史数据的深度处理和应用打下了坚实的基础。
图3示出了本发明一实施例提供的一种轨道交通综合监控系统中历史数据的存储装置的结构示意图,如图3所示,本实施例的轨道交通综合监控系统中历史数据的存储装置,包括:获取模块31、创建模块32和存储模块33;其中:
所述获取模块31,用于确定轨道交通综合监控系统中历史数据的来源,获取轨道交通综合监控系统中的历史数据;
所述创建模块32,用于基于获取的轨道交通综合监控系统中的历史数据,通过Phoenix操作HBase的形式,创建轨道交通综合监控系统中历史数据的数据表;
所述存储模块33,用于在获取的历史数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中。
具体地,所述获取模块31确定轨道交通综合监控系统中历史数据的来源,获取轨道交通综合监控系统中的历史数据;所述创建模块32基于获取的轨道交通综合监控系统中的历史数据,通过Phoenix操作HBase的形式,创建轨道交通综合监控系统中历史数据的数据表;所述存储模块33在获取的历史数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中。
需要说明的是,本实施例抛弃传统的关系数据库,利用了大数据的HBase数据库来存储历史数据,方便将来对数据进行集中分析,从而为综合监控调度系统提供决策方案,提升安全管理水平。
可以理解的是,由于HBase的查询语句很不好用,为了为存储之后的查询带来便利,本实施例采用了类似Mysql等关系型数据库的Phoenix中间件操作HBase数据库,将历史数据按照预设的格式通过数据库中间件VDB,快速地存储到HBase数据库中,实现历史数据的统一集中存储,从而为以后的查询、管理打好基础。
本实施例提供的轨道交通综合监控系统中历史数据的存储装置,解决了轨道交通综合监控系统中海量历史数据的存储问题,能够在不影响整体调度系统运行的同时,实现对轨道交通综合监控系统中每天产生的海量的历史数据的存储,为以后轨道交通综合监控系统中海量历史数据的查询和处理带来了极大的方便,从而方便后续对轨道交通综合监控系统中历史数据的整合和集中分析,为将来对这些历史数据的深度处理和应用打下了坚实的基础。
进一步地,在上述实施例的基础上,所述存储模块33,可具体用于
在获取的历史数据达到预设数量时,通过数据库中间件VDB,按照不同的专业,分别将这批轨道交通综合监控系统中的历史数据批量提交到HBase的不同的region(区域)服务器集群中。
这样,能够进一步实现轨道交通综合监控系统中历史数据存储的分散性。
进一步地,在具体应用中,本实施例所述轨道交通综合监控系统中的历史数据,可以包括:参数库数据和历史库数据;
所述数据库中间件VDB分别提供了参数库和历史库的接口访问和调用方式。
进一步地,在上述实施例的基础上,所述参数库数据可以包括:遥信数据、遥测数据、遥控数据、遥调数据和程控数据等。
具体地,以遥信数据为例,对于遥信数据,所述获取模块31,可具体用于
从厂家提供的点表,获取遥信参数数据;
所述创建模块32,可具体用于
基于获取的遥信参数数据,按照Phoenix中预先设置好的参数库中遥信参数表的表结构,在Phoenix服务端创建遥信参数表;
所述存储模块33,可具体用于
在获取的遥信参数数据达到预设数量时,通过数据库中间件VDB,批量提交这批遥信参数数据到HBase数据库的遥信参数表中。
在具体应用中,所述遥信参数表中的信息可以包括:遥信名称、标识、描述、现场编号、描述锁定符、厂站名、间隔名、责任区、电压等级、量测类型、报警级别、输入类型、RTU号、YX(遥信)号、次遥信号、双遥信标志、遥信防抖标志、取反标志、SOE设置状态、报警类型、变位报警模式、SOE报警模式、事故处理方式、事故时间死区、事故逻辑过程、报警确认方式、报警图名、报警声音次数、变位次数限、事故次数限、是否追忆、追忆组号、是否可控、遥控责任区、合遥控号、分遥控号、起始命令、双机监督、控制模式、不校验状态、不等待控制结果、返校时间限、执行时间限、发令时间限、遥控事项模式、控合动作名称、控分动作名称、删除标志、统计标志、状态组名、遥控状态组名和公共名等;
其中,标识指的是唯一标识遥信数据的数字,厂站指的是遥信数据所属的厂站,RTU号指的是遥信数据从何处采集过来。
可以理解的是,本实施例是在获取的遥信参数数据达到预设数量时,通过数据库中间件VDB,批量提交这批遥信参数数据到HBase数据库的遥信参数表中。需要注意的是,在Phoenix服务端创建遥信参数表时,确定好与HBase数据库的RowKey(行键)对应的PRIMARYKEY(主关键字)。对于该遥信参数表,其RowKey(行键)由一个部分组成:遥信名称。HBase数据库表结构中的一行记录就是一个测点一个信息记录,该行信息有:RowKey和不包含在RowKey中的其它信息。其中每条记录只设置了一个列簇,所有的列均同属一个列簇。
进一步地,HBase集群有多个region(区域),为实现数据存储的分散性,所述存储模块33需将遥信数据按专业分别提交到不同的region服务器集群中,从而存储到不同的集群中,实现数据存储的分散性。
进一步地,在上述实施例的基础上,所述历史库数据可以包括:趋势数据、历史事项数据、统计数据、历史日数据、历史月数据和历史年数据等;
具体地,以历史事项数据为例,对于历史事项数据,所述获取模块31,可具体用于
从本地存储的文件中,(按行读取文件内容,将一行数据即一个事项的所有信息)获取历史事项数据,其中,所述本地存储的文件的来源是,通过历史事项存盘服务将轨道交通综合监控系统操作的相关事项和轨道交通综合监控系统运行时产生的相关事项生成到所述本地存储的文件中;
所述创建模块32,可具体用于
基于获取的历史事项数据,按照Phoenix中预先设置好的历史库中历史事项表的表结构,在Phoenix服务端创建历史事项表;
所述存储模块33,可具体用于
在获取的历史事项数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史事项数据到HBase数据库的历史事项表中。
在具体应用中,所述历史事项表中的信息可以包括:事项排序、事项类型、产生日期、产生时间、年月日、时分秒毫秒、报警级别、责任区、电压等级、测试标志、输出等级、状态、状态1、状态2、值、值1、值2、值3、事项对象组、事项对象子组、事项对象0、事项对象1、事项对象2、事项对象3、事项内容等;
其中,事项类型可以包括:网络事项、服务器事项、进程事项、RTU事项和通道事项等。
可以理解的是,本实施例是在获取的历史事项数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史事项数据到HBase数据库的历史事项表中,在Phoenix服务端创建历史事项表时,需确定好与HBase数据库的RowKey(行键)对应的PRIMARY KEY(主关键字),此处HBase数据库的RowKey由8个部分组成:年月日,时分秒毫秒,事项类型,事项对象组,事项对象子组,事项对象0,事项对象1,事项对象2,该RowKey就是对应Phoenix中创建的历史事项表的PRIMARY KEY。HBase数据库中历史事项表的一行记录就是一个事项的相关信息,该行信息有:RowKey和不包含在RowKey中的其它信息。其中,每条记录只设置了一个列簇,即所有的列均属于同一列簇。
进一步地,HBase集群有多个region,为实现数据存储的分散性,所述存储模块33需将历史事项数据按专业分别提交到不同的region服务器集群中,从而存储到不同的集群中。
本实施例提供的一种轨道交通综合监控系统中历史数据的存储装置,解决了轨道交通综合监控系统中海量历史数据的存储问题,能够在不影响整体调度系统运行的同时,实现对轨道交通综合监控系统中每天产生的海量的历史数据的存储,为以后轨道交通综合监控系统中海量历史数据的查询和处理带来了极大的方便,从而方便后续对轨道交通综合监控系统中历史数据的整合和集中分析,为将来对这些历史数据的深度处理和应用打下了坚实的基础。
本实施例的轨道交通综合监控系统中历史数据的存储装置,可以用于执行前述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图4示出了本发明一实施例提供的一种电子设备的实体结构示意图,如图4所示,该电子设备可以包括:处理器401、存储器402、总线403及存储在存储器402上并可在处理器401上运行的计算机程序;
其中,所述处理器401和存储器402通过所述总线403完成相互间的通信;
所述处理器401执行所述计算机程序时实现上述方法实施例所提供的方法,例如包括:确定轨道交通综合监控系统中历史数据的来源,获取轨道交通综合监控系统中的历史数据;基于获取的轨道交通综合监控系统中的历史数据,通过Phoenix操作HBase的形式,创建轨道交通综合监控系统中历史数据的数据表;在获取的历史数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中。
本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法实施例所提供的方法,例如包括:确定轨道交通综合监控系统中历史数据的来源,获取轨道交通综合监控系统中的历史数据;基于获取的轨道交通综合监控系统中的历史数据,通过Phoenix操作HBase的形式,创建轨道交通综合监控系统中历史数据的数据表;在获取的历史数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中。
本领域内的技术人员应明白,本申请的实施例可提供为方法、装置、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置/系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的说明书中,说明了大量具体细节。然而能够理解的是,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。类似地,应当理解,为了精简本发明公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释呈反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面,也不局限于任何单一的实施例,也不局限于这些方面和/或实施例的任意组合和/或置换。而且,可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (9)
1.一种轨道交通综合监控系统中历史数据的存储方法,其特征在于,包括:
确定轨道交通综合监控系统中历史数据的来源,获取轨道交通综合监控系统中的历史数据;
基于获取的轨道交通综合监控系统中的历史数据,通过Phoenix操作HBase的形式,按照Phoenix中预先设置好的数据库中数据表的表结构,在Phoenix服务端创建轨道交通综合监控系统中历史数据的数据表,并在创建数据表时,确定好与HBase数据库的行键对应的主关键字;
在获取的历史数据达到预设数量时,通过数据库中间件VDB,按照不同的专业,分别将这批轨道交通综合监控系统中的历史数据批量提交到HBase的不同的region服务器集群中;所述数据库中间件VDB采用类似Mysql关系型数据库的Phoenix中间件。
2.根据权利要求1所述的方法,其特征在于,所述轨道交通综合监控系统中的历史数据,包括:参数库数据和历史库数据;
所述数据库中间件VDB分别提供了参数库和历史库的接口访问和调用方式。
3.根据权利要求2所述的方法,其特征在于,所述参数库数据包括:遥信数据、遥测数据、遥控数据、遥调数据和程控数据;
对于遥信数据,所述确定轨道交通综合监控系统中历史数据的来源,获取轨道交通综合监控系统中的历史数据,包括:
从厂家提供的点表,获取遥信参数数据;
所述基于获取的轨道交通综合监控系统中的历史数据,通过Phoenix操作HBase的形式,创建轨道交通综合监控系统中历史数据的数据表,包括:
基于获取的遥信参数数据,按照Phoenix中预先设置好的参数库中遥信参数表的表结构,在Phoenix服务端创建遥信参数表;
所述在获取的历史数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中,包括:
在获取的遥信参数数据达到预设数量时,通过数据库中间件VDB,批量提交这批遥信参数数据到HBase数据库的遥信参数表中。
4.根据权利要求3所述的方法,其特征在于,所述遥信参数表中的信息包括:遥信名称、标识、描述、现场编号、描述锁定符、厂站名、间隔名、责任区、电压等级、量测类型、报警级别、输入类型、远程终端单元RTU号、遥信号、次遥信号、双遥信标志、遥信防抖标志、取反标志、SOE设置状态、报警类型、变位报警模式、SOE报警模式、事故处理方式、事故时间死区、事故逻辑过程、报警确认方式、报警图名、报警声音次数、变位次数限、事故次数限、是否追忆、追忆组号、是否可控、遥控责任区、合遥控号、分遥控号、起始命令、双机监督、控制模式、不校验状态、不等待控制结果、返校时间限、执行时间限、发令时间限、遥控事项模式、控合动作名称、控分动作名称、删除标志、统计标志、状态组名、遥控状态组名和公共名;
其中,标识指的是唯一标识遥信数据的数字,厂站指的是遥信数据所属的厂站,RTU号指的是遥信数据从何处采集过来。
5.根据权利要求2所述的方法,其特征在于,所述历史库数据包括:趋势数据、历史事项数据、统计数据、历史日数据、历史月数据和历史年数据;
对于历史事项数据,所述确定轨道交通综合监控系统中历史数据的来源,获取轨道交通综合监控系统中的历史数据,包括:
从本地存储的文件中,获取历史事项数据,其中,所述本地存储的文件的来源是,通过历史事项存盘服务将轨道交通综合监控系统操作的相关事项和轨道交通综合监控系统运行时产生的相关事项生成到所述本地存储的文件中;
所述基于获取的轨道交通综合监控系统中的历史数据,通过Phoenix操作HBase的形式,创建轨道交通综合监控系统中历史数据的数据表,包括:
基于获取的历史事项数据,按照Phoenix中预先设置好的历史库中历史事项表的表结构,在Phoenix服务端创建历史事项表;
所述在获取的历史数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中,包括:
在获取的历史事项数据达到预设数量时,通过数据库中间件VDB,批量提交这批历史事项数据到HBase数据库的历史事项表中。
6.根据权利要求5所述的方法,其特征在于,所述历史事项表中的信息包括:事项排序、事项类型、产生日期、产生时间、年月日、时分秒毫秒、报警级别、责任区、电压等级、测试标志、输出等级、状态、状态1、状态2、值、值1、值2、值3、事项对象组、事项对象子组、事项对象0、事项对象1、事项对象2、事项对象3、事项内容;
其中,事项类型包括:网络事项、服务器事项、进程事项、RTU事项和通道事项。
7.一种轨道交通综合监控系统中历史数据的存储装置,其特征在于,包括:
获取模块,用于确定轨道交通综合监控系统中历史数据的来源,获取轨道交通综合监控系统中的历史数据;
创建模块,用于基于获取的轨道交通综合监控系统中的历史数据,通过Phoenix操作HBase的形式,按照Phoenix中预先设置好的数据库中数据表的表结构,在Phoenix服务端创建轨道交通综合监控系统中历史数据的数据表,并在创建数据表时,确定好与HBase数据库的行键对应的主关键字;
存储模块,用于在获取的历史数据达到预设数量时,通过数据库中间件VDB,按照不同的专业,分别将这批轨道交通综合监控系统中的历史数据批量提交到HBase的不同的region服务器集群中;所述数据库中间件VDB采用类似Mysql关系型数据库的Phoenix中间件。
8.一种电子设备,其特征在于,包括:处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序;
其中,所述处理器,存储器通过所述总线完成相互间的通信;
所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的方法。
9.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811641120.4A CN109783695B (zh) | 2018-12-29 | 2018-12-29 | 轨道交通综合监控系统中历史数据的存储方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811641120.4A CN109783695B (zh) | 2018-12-29 | 2018-12-29 | 轨道交通综合监控系统中历史数据的存储方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109783695A CN109783695A (zh) | 2019-05-21 |
CN109783695B true CN109783695B (zh) | 2020-12-08 |
Family
ID=66499512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811641120.4A Active CN109783695B (zh) | 2018-12-29 | 2018-12-29 | 轨道交通综合监控系统中历史数据的存储方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109783695B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111144587A (zh) * | 2019-12-18 | 2020-05-12 | 国电南瑞科技股份有限公司 | 轨道交通综合运维管理系统中设备实时状态监测管理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107943831A (zh) * | 2017-10-23 | 2018-04-20 | 国家电网公司西北分部 | 一种基于HBase的电网历史数据集中存储方法 |
CN108509144A (zh) * | 2017-02-27 | 2018-09-07 | 中兴通讯股份有限公司 | 数据保存方法和装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101819592A (zh) * | 2010-04-19 | 2010-09-01 | 山东高效能服务器和存储研究院 | 一种通用的跨操作系统的海量历史数据处理方法 |
US9773048B2 (en) * | 2013-09-12 | 2017-09-26 | Sap Se | Historical data for in memory data warehouse |
-
2018
- 2018-12-29 CN CN201811641120.4A patent/CN109783695B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108509144A (zh) * | 2017-02-27 | 2018-09-07 | 中兴通讯股份有限公司 | 数据保存方法和装置 |
CN107943831A (zh) * | 2017-10-23 | 2018-04-20 | 国家电网公司西北分部 | 一种基于HBase的电网历史数据集中存储方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109783695A (zh) | 2019-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104123227A (zh) | 一种自动生成测试用例的方法 | |
CN103136249A (zh) | 多模态异构数据整合系统及方法 | |
CN102096684A (zh) | 电网实时数据集成与共享平台 | |
CN112650762A (zh) | 数据质量监控的方法、装置、电子设备以及存储介质 | |
US9104729B2 (en) | Querying spatial events in a vehicle network, and optimized querier | |
CN111680108B (zh) | 一种数据存储方法、装置及一种数据获取方法、装置 | |
CN104036365A (zh) | 一种企业级数据服务平台建设方法 | |
CN111061758B (zh) | 数据存储方法、装置及存储介质 | |
CN103927314A (zh) | 一种数据批量处理的方法和装置 | |
CN112148578A (zh) | 基于机器学习的it故障缺陷预测方法 | |
CN103325074A (zh) | 电力系统实时数据处理方法 | |
CN112199394A (zh) | 告警信息推送方法、系统、智能终端及存储介质 | |
CN114218218A (zh) | 基于数据仓库的数据处理方法、装置、设备及存储介质 | |
CN109308309B (zh) | 一种数据服务质量评估方法和终端 | |
CN110706125A (zh) | 水利大数据分析信息服务系统和平台服务系统 | |
CN113626519A (zh) | 数据级联系统 | |
CN108710644A (zh) | 一种关于政务大数据处理方法 | |
CN115529232A (zh) | 汇聚分流设备的管控方法、装置及存储介质 | |
CN109783695B (zh) | 轨道交通综合监控系统中历史数据的存储方法及装置 | |
CN109768878B (zh) | 一种基于大数据的网络工单计算方法及装置 | |
CN103246695A (zh) | 海迅实时数据库与ies600p系统的集成方法 | |
CN109522349B (zh) | 跨类型数据计算及共享方法、系统、设备 | |
CN112540987A (zh) | 一种基于数据集市的配用电大数据管理系统 | |
CN106709016A (zh) | 一种基于服务总线的数据交换方法 | |
CN114116908A (zh) | 一种数据管理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |