CN105426482B - 一种图库一体的铁路10kV配电网海量监控信息HBase转存方法 - Google Patents

Abstract

本发明公开了一种图库一体的铁路10kV配电网海量监控信息HBase转存方法，包括在Windows系统的计算机中利用ForceControl组态软件开发配电网监控系统，在图形系统开发中，把图元通过编码和序列化的方式存到实时数据库中，在Linux操作系统的计算机中安装Hadoop软件，搭建云计算平台，架构HBase数据库存储系统，将配电监控系统采集的实时数据通过SQLite交互操作方式经一次转存存储到MySQL数据库，通过Sqoop相关指令，将转存后的MySQL数据库进行再次转存，存储至HBase的NoSQL数据库中。本发明方法使用Hadoop和HBase相结合的云计算技术处理数据，实现配电网监控系统海量数据的云计算存储，存储过程中不仅可实现海量数据存储，而且数据存储量越大，数据读取效率更高。

Description

一种图库一体的铁路10kV配电网海量监控信息HBase转存 方法

技术领域

本发明涉及配电网监控技术领域，具体是一种图库一体的铁路10kV配电网海量监控信息HBase转存方法。

背景技术

随着我国电气化铁路的快速发展和建设，提速铁路的牵引供电监控增加了大量AT所，拟将上网隔离开关全面纳入监控，同时铁路电力监控也将通信、信号、光纤直放站箱变、环网柜、所有10/0.4kV低压变电所纳入监控，即将所有高、低压回路纳入铁路配电网监控中。又由于监控线路不再为针对单一铁路线路的监控，而是多条线路统一调度监控。因此，监控容量较传统普速铁路监控系统容量有数十倍剧增。面对这种大数据存储，传统存储方式越来越不能适应铁路配电网监控的需要。

图库一体化，是指把图元与数据作为一个整体来进行处理。目前，国内开发的图形绘制平台都存在着提供绘图工具定制设备图元，大多数以位图方式存放，在图元绘制时载入相应的位图图元，但在进行缩放操作时图元存在变形和失真的现象，而且用户定制图元操作复杂、工作量大。为此，利用图库一体化技术，不但可以降低开发难度，而且还可以保证图元的质量。

云计算是一种新兴计算模式，为下一代网络应用平台的核心技术，提供安全、可靠的信息存储，方便快捷的网络服务和强大数据处理能力。在铁路配电监控方面，云计算的可靠性高、数据处理量巨大、灵活可扩展及设备利用率高等优势突显，将计算任务分布在大量计算机构成的资源池上，按需获取计算存储空间和信息服务。使用HBase云计算技术处理数据，可实现海量数据存储，且数据存储量越大，读取数据的平均速率相比传统数据存储方式越快。

利用组态软件ForceControl开发具备图库一体功能的配电网监控系统，采集的数据只能存储在自带数据库或典型关系数据库中，但最新高铁动车段供电自动化采集的数据断面已达到秒级，监测数据量剧增，数据量的增长速度远大于关系数据库存储能力的增长速度。因此，传统数据存储方式在存储容量和计算能力方面，已不能满足这种海量数据存取处理的工程需求，为此提出了一种把海量的铁路配电网次秒级监测数据，通过HBase的云计算集群进行NoSQL转存的分布式数据存取新方法。

发明内容

本发明的目的在于提供一种图库一体的铁路10kV配电网海量监控信息HBase转存方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种图库一体的铁路10kV配电网海量监控信息HBase转存方法，包括以下步骤：

（1）配电网图库一体监控系统开发

使用ForceControl软件开发铁路10kV配电网监控系统，对电气化铁道配电网电气设备的监督和控制，在开发图形系统时，采用图库一体化技术，把图元通过编码和序列化的方式存到实时数据库中，使图元与数据作为一个整体进行存储和管理；

（2）实时关系数据库同步

在该Windows操作系统的计算机中安装用于存储铁路供电监控系统数据源的ODBCRouter3.0组件、用于实现从数据源转存至MySQL数据库的MySQL ODBC驱动程序及用于转存储数据源的MySQL数据库；在MySQL数据库中建立相应的存储表，以存储对应设备采集的实时数据，便于转存和历史调阅；将监控系统采集的实时数据通过SQLite交互的操作方式，经一次转存存储到对应的MySQL工作数据库空间；

（3）关系数据库转存至NoSQL非关系数据库

配置Linux系统的计算机集群，搭建Hadoop云计算的集群平台，并在该集群平台基础上，架构HBase分布式数据库，在云计算集群平台上安装Sqoop数据处理工具，并于安装Sqoop软件的计算机载入MySQL的JDBC驱动程序，通过网络和Sqoop指令，将转存后的MySQL数据库进行二次转存，存储至HBase的NoSQL数据库中；

（4）分布式列族存储

建立面向列族的可无限扩张的HBase数据存储表，在表的精简结构形式中，设计行键为Value属性，再设计两个列族，其中一个列族为DeviceId属性，另一个列族为DeviceName属性，其中Value为设备采集的实时值，DeviceId为设备名称号，DeviceName为设备名称。通过把MySQL数据库转存至HBase数据库中，利用多台数据库服务器进行数据存储，实现使用云计算进行配电监控系统大数据的分布式列族存储。

作为本发明进一步的方案：所述步骤（1）中，在Windows操作系统中安装ForceControl力控软件，并使用组态软件开发铁路10kV配电网监控系统，实现对设备的监控，在开发图形系统时，采用图库一体化技术，把图元通过编码和序列化的方式存到实时数据库中，使图元与数据作为一个整体进行存储和管理。

作为本发明再进一步的方案：所述步骤（2）中，为了加速实时数据的转储速度，对监控实时数据的属性进行了划分，提取得到了转存储所需的高实时性属性域的一个真子集，所述建立的存储表的结构属性精简为（Id，Time，DeviceId，Device Name，Value），其中Id设置为主键并自增，Time为采集的时间，DeviceId为采集的设备名称号，Device Name为采集的设备名称，Value为采集的设备实时值。

与现有技术相比，本发明的有益效果是：本发明方法采用HBase云计算技术处理数据，实现海量数据存储。通过HBase的云计算集群和实时数据的精简子集，对监控数据进行NoSQL转存，实现了配电网监控系统海量数据的云计算存储，且数据存储量越大，数据存取效率越高。

附图说明

图1为本发明方法的转存示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例中，对于本发明方法的转存进行详细描述。

（1）配电网图库一体监控系统开发阶段

在Windows系统中用ForceControl力控软件开发铁路10kV配电网监控系统，实现对电气化铁道配电网高压电气设备的监督和控制，在开发图形系统时，采用图库一体化技术，把图元通过编码和序列化的方式存到实时数据库中，使图元与数据作为一个整体进行存储和管理。

（2）实时关系数据库同步阶段

完成这一工作，需要在该Windows系统中安装力控ForceControl软件、MySQL ODBC驱动程序、ODBCRouter3.0组件及MySQL数据库；MySQL ODBC驱动程序主要用于配置MySQL数据库的数据源，ODBCRouter3.0组件中的数据源主要是铁路供电监控系统的采集数据库，MySQL数据库用于存储ODBCRouter3.0组件中的数据源转存数据。

在MySQL数据库中设计相应的存储表，建立的表的结构属性为（Id，Time，DeviceId，DeviceName，Value），其中Id设置为主键并自增，Time为采集的时间，DeviceId为采集的设备名称号，DeviceName为采集的设备名称，Value为采集的设备实时值。

MySQL数据库表按这种结构形式设计，存储了特定设备采集的实时数据，便于转存和历史调阅。然后，将监控系统采集的实时数据通过SQLite交互的操作方式，经一次转存存储到对应的MySQL工作数据库空间。

（3）关系数据库转存至NoSQL非关系数据库阶段

配置Linux系统的计算机集群，搭建Hadoop云计算的集群平台，并在该集群平台基础上，架构HBase分布式实时数据库，然后在云计算集群平台上安装Sqoop数据处理工具，并于安装好Sqoop软件的计算机中载入MySQL的JDBC驱动程序，通过网络和Sqoop指令，将Windows系统中转存后的MySQL数据库进行二次转存，存储至HBase的NoSQL数据库中。

（4）分布式列族存储阶段

建立面向列族的可无限扩张的HBase数据存储表，在表的精简结构形式中，设计行键为Value属性，再设计两个列族，其中一个列族为DeviceId属性，另一个列族为DeviceName属性，其中Value为设备采集的实时值，DeviceId为设备名称号，DeviceName为设备名称。通过把MySQL数据库转存至HBase数据库中，使用多台存储服务器分担存储负荷，同时可以使用位置服务器定位存储信息，提高系统的可靠性和存取效率，以分布式计算机集群存储的方式实现铁道配电网海量监控数据的持续转存储。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (4)

1.一种图库一体的铁路10kV配电网海量监控信息HBase转存方法，其特征在于，具体转存方法如下：

(1)配电网图库一体监控系统开发

使用ForceControl软件开发铁路10kV配电网监控系统，对电气化铁道配电网电气设备的监督和控制，在开发图形系统时，采用图库一体化技术，把图元通过编码和序列化的方式存到实时数据库中，使图元与数据作为一个整体进行存储和管理；

(2)实时关系数据库同步

在Windows操作系统的计算机中安装用于存储铁路供电监控系统数据源的ODBCRouter3.0组件、用于实现从数据源转存至MySQL数据库的MySQLODBC驱动程序及用于转存储数据源的MySQL数据库；在MySQL数据库中建立相应的存储表，以存储对应设备采集的实时数据，便于转存和历史调阅；将配电监控系统采集的实时数据通过SQLite交互的操作方式，经一次转存存储到对应的MySQL工作数据库空间；

(3)关系数据库转存至NoSQL非关系数据库

配置Linux系统的计算机集群，搭建Hadoop云计算的集群平台，并在该集群平台基础上，架构HBase分布式数据库，在云计算集群平台上安装Sqoop数据处理工具，并于安装Sqoop软件的计算机载入MySQL的JDBC驱动程序，通过网络和Sqoop指令，将转存后的MySQL数据库进行二次转存，存储至HBase的NoSQL数据库中；

(4)分布式列族存储

建立面向列族的可无限扩张的HBase数据存储表，在表的精简结构形式中，设计行键为Value属性，再设计两个列族，其中一个列族为DeviceId属性，另一个列族为DeviceName属性，其中Value为设备采集的实时值，DeviceId为设备名称号，DeviceName为设备名称。

2.根据权利要求1所述的图库一体的铁路10kV配电网海量监控信息HBase转存方法，其特征在于，通过把MySQL数据库转存至HBase数据库中，利用多台数据库服务器进行数据存储，实现使用云计算进行配电监控系统大数据的分布式列族存储。

3.根据权利要求1所述的图库一体的铁路10kV配电网海量监控信息HBase转存方法，其特征在于，所述步骤(1)中，在Windows操作系统中安装ForceControl力控软件，并使用组态软件开发10kV配电网监控系统，实现对设备的监控，在开发图形系统时，采用图库一体化技术，把图元通过编码和序列化的方式存到实时数据库中，使图元与数据作为一个整体进行存储和管理。

4.根据权利要求1所述的图库一体的铁路10kV配电网海量监控信息HBase转存方法，其特征在于，所述步骤(2)中，为了加速实时数据的转储速度，对监控实时数据的属性进行了划分，提取得到了转存储所需的高实时性属性域的一个真子集，所述建立的存储表的结构属性精简为(Id，Time，DeviceId，DeviceName，Value)，其中Id设置为主键并自增，Time为采集的时间，DeviceId为采集的设备名称号，DeviceName为采集的设备名称，Value为采集的设备实时值。