CN107590749A - 一种配用电数据的处理方法及系统 - Google Patents

Abstract

本发明提供了一种配用电数据集成方法和系统，所述方法预先构建配用电多源异构信息模型，根据所述预先构建的配用电多源异构信息模型中的数据采集标准确定接入配用电大数据平台的数据接口；通过所述数据接口采集与所述接口相匹配的业务系统中符合所述数据采集标准中数据类型的多源异构数据；将采集到的多源异构数据上传到所述配用电大数据平台中，使得所述配用电大数据平台利用该多源异构数据进行数据集成。由于采集多源异构数据的接口和数据类型是依据预先构建的配用电多源异构信息模型所得到的，因此，采集的多源异构数据是最符合需要的数据，提高了数据的可用性，并且数据接口方案是最优方案，提高了数据采集效率，进而提高了数据集成的效率。

Description

一种配用电数据的处理方法及系统

技术领域

本发明属于电力技术领域，尤其是一种配用电数据的处理方法及系统。

背景技术

随着国家电网信息化技术的不断发展，建立了智能配用电大数据平台，通过该大数据平台中的配用电相关数据，可以对现有各业务系统所积累的海量数据进行分析处理，挖掘海量数据的潜在价值，提升智能配用电应用水平，提升客户用电满意度和配电网的运营水平。

目前，通常是将电力领域中现有的各业务系统作为配用电相关数据的数据源，如用电采集系统、生产管理系统、文档库等，上述多个业务系统的数据量非常庞大，达到了TB级，因此，在数据集成时，数据的可用性较差，处理效率不高。

发明内容

有鉴于此，本发明提供一种配用电数据处理方法及系统，用以实现有针对性的采集配用电数据，提高数据集成的处理效率，提高数据的可用性。

本申请提供了一种配用电数据的处理方法，包括：

预先构建配用电多源异构信息模型，所述配用电多源异构信息模型用于确定数据采集标准；

根据所述预先构建的配用电多源异构信息模型中的数据采集标准确定接入配用电大数据平台的数据接口；

通过所述数据接口采集与所述接口相匹配的业务系统中符合所述数据采集标准中数据类型的多源异构数据；

将采集到的多源异构数据上传到所述配用电大数据平台中，使得所述配用电大数据平台利用该多源异构数据进行数据集成。

优选的，所述数据接口包括FTP接口、数据库接口、Webservice接口以及文本类数据接口。

优选的，所述通过所述数据接口采集与所述接口相匹配的业务系统中符合所述数据采集标准中数据类型的多源异构数据包括：

通过所述FTP接口采集所述业务系统中的文档类文件数据；

通过所述数据库接口采集所述业务系统中的数据库数据；

通过所述Webservice接口采集所述业务系统中的XML数据；

通过所述文本类数据接口采集所述业务系统中的非结构化文档数据。

优选的，所述将采集到的多源异构数据上传到所述配用电大数据平台中包括：

将采集到的多源异构数据存储至缓存区；

通过预设数据链路将所述缓存区中的多源异构数据导入所述配用电大数据平台的存储系统中的分布式存储系统和\或分布式数据库中。

本发明另一方面提供了一种配用电数据的处理系统，包括：

模型构建模块，用于预先构建配用电多源异构信息模型，所述配用电多源异构信息模型用于确定数据采集标准；

接口匹配模块，用于根据所述预先构建的配用电多源异构信息模型中的数据采集标准确定接入配用电大数据平台的数据接口；

数据采集模块，用于通过所述数据接口采集与所述接口相匹配的业务系统中符合所述数据采集标准中数据类型的多源异构数据；

数据上传模块，用于将采集到的多源异构数据上传到所述配用电大数据平台中，使得所述配用电大数据平台利用该多源异构数据进行数据集成。

优选的，所述接口包括FTP接口、数据库接口、Webservice接口以及文本类数据接口。

优选的，所述数据采集模块包括：

第一采集单元，用于通过所述FTP接口采集所述业务系统中的文档类文件数据；

第二采集单元，用于通过所述数据库接口采集所述业务系统中的数据库数据；

第三采集单元，用于通过所述Webservice接口采集所述业务系统中的XML数据；

第四采集单元，用于通过所述文本类数据接口采集所述业务系统中的非结构化文档数据。

优选的，所述数据上传模块包括：

缓存单元，用于将采集到的多源异构数据存储至缓存区；

导入单元，用于通过预设数据链路将所述缓存区中的多源异构数据导入所述配用电大数据平台的存储系统中的分布式存储系统和\或分布式数据库中。

由上述方案可知，本发明提供了一种配用电数据集成方法和系统，所述方法预先构建配用电多源异构信息模型，所述配用电多源异构信息模型用于确定数据采集标准；根据所述预先构建的配用电多源异构信息模型中的数据采集标准确定接入配用电大数据平台的数据接口；通过所述数据接口采集与所述接口相匹配的业务系统中符合所述数据采集标准中数据类型的多源异构数据；将采集到的多源异构数据上传到所述配用电大数据平台中，使得所述配用电大数据平台利用该多源异构数据进行数据集成。由于采集多源异构数据的接口和数据类型是依据预先构建的配用电多源异构信息模型所得到的，因此，采集的多源异构数据是最符合需要的数据，提高了数据的可用性，并且数据接口方案是最优方案，提高了数据采集效率，进而提高了数据集成的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请实施例提供的一种配用电数据处理方法的流程示意图；

图2是本申请实施例提供的一种配用电数据处理方法的另一种流程示意图；

图3是本申请实施例提供的一种配用电数据处理系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了方便理解本申请中的技术方案，对可能应用到的技术术语进行解释。

Hadoop：一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。

HBase：Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目。

本发明要解决的技术问题是配用电数据的集成和存储。使用大数据手段解决综合故障分析、小电流接地故障选线与电网量测数据质量评价体系等应用场景。进而开展面向配用电海量信息的运行数据处理及分析算法研究，进行配用电全局全量数据综合应用场景开发，试点建设示范应用，提高数据质量，完善数据存储模式，挖掘数据信息的潜在价值，提升智能配用电应用水平。

参见图1，图1是本申请实施例提供的一种配用电数据处理方法的流程示意图。

本申请提供的一种配用电数据的处理方法，包括：

S101、预先构建配用电多源异构信息模型，所述配用电多源异构信息模型用于确定数据采集标准；

本申请实施例中，预先构建了配用电多源异构信息模型，该信息模型用于确定数据采集标准。其中数据采集标准包括所需要采集数据的数据类型。

该信息模型分为三个部分，包括数据结构、数据操作和数据完整性约束。其中，数据结构是信息模型的基础，它描述了数据的类型、性质、内容及数据间的联系等。数据操作描述在相应的数据结构上的操作类型和操作方式。数据完整性约束主要描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系，及数据动态变化的规则，以保证数据的正确性和有效性。

实际使用中，本申请实施例中的信息模型的具体实现可以为配用电全局全量系统包含生产管理系统、用电采集系统、故障抢修管理系统、SCADA系统、供电电压自动采集系统、线损精细化系统、可靠性系统、气象信息系统、负控系统、电力营销档案管理系统、电能质量检测管理系统、故障录波系统等系统组成，每一类系统包含一类或几类配用电数据，如故障抢修关系系统包含配电设备运维数据；用电采集系统包含10kV公变运行数据、50-100kW用户用电数据、0-50kW用户用电数据、分布式电源数据以及电动汽车充电站数据。此外，智能配用电系统还包含其他文档数据，如社会经济数据和城镇未来规划数据等。

具体的配用电数据源、数据及其数据类型如下表所列。

配电网各信息系统数据及其数据类型分类表1

上表依据大数据平台配用电各信息子系统所包含的数据类型进行列表，从表中可以直观的看出每一类的数据来与大数据平台信息模型中的哪一子系统，并能确定数据类型与数据格式。

需要说明的是，本申请实施例中的配用电多源异构信息模型的建立方式可以分为三个步骤，步骤一为确定配用电子系统特点和系统功能、大数据平台应用功能体系以及数据需求与数据特征。步骤二为将大数据平台应用功能系统分类与大数据平台数据分类进行关联性分析，步骤三为构建配用电多源异构信息模型。信息模型的建立可以使不同的应用程序对所管理的数据进行重用、变更以及分享，其意义不仅仅存在于对对象的建模，也在于对对象间相关性的描述。

S102、根据所述预先构建的配用电多源异构信息模型中的数据采集标准确定接入配用电大数据平台的数据接口；

本申请实施例中，对于接口技术必须确定业务系统中包含的结构化数据、非结构化数据的高效、深度融合方法和信息交换标准，为了对数据接入接口进行统一规范，根据预先构建的配用电多源异构信息模型中的数据采集标准确定接入配用电大数据平台的数据接口。其中，确定业务系统中结构化数据、非结构化数据的方式可以调用根据技术人员所给出的业务系统所支持接口等相关信息来确定。

优选的，本申请实施例中采用四个接口，所述数据接口包括FTP接口、数据库接口、Webservice接口以及文本类数据接口。

S103、通过所述数据接口采集与所述接口相匹配的业务系统中符合所述数据采集标准中数据类型的多源异构数据；

本申请实施例中，确定了上述四个数据接口之后，会通过所述数据接口采集与所述接口相匹配的业务系统中符合所述数据采集标准中数据类型的多源异构数据。具体数据采集的过程在后面进行详细介绍。

S104、将采集到的多源异构数据上传到所述配用电大数据平台中，使得所述配用电大数据平台利用该多源异构数据进行数据集成。

本申请实施例中，采集到符合配用电多源异构信息模型的相关数据，即获取了多源异构数据之后，会将这些数据进行上传，上传到配用电大数据平台中，执行数据集成的过程。数据集成的具体过程并非本申请中的重点，只要可以实现即可，在此不进行限定。具体的导入过程在后面进行详细介绍。

由上述方案可知，本发明提供了一种配用电数据集成方法和系统，所述方法预先构建配用电多源异构信息模型，所述配用电多源异构信息模型用于确定数据采集标准；根据所述预先构建的配用电多源异构信息模型中的数据采集标准确定接入配用电大数据平台的数据接口；通过所述数据接口采集与所述接口相匹配的业务系统中符合所述数据采集标准中数据类型的多源异构数据；将采集到的多源异构数据上传到所述配用电大数据平台中，使得所述配用电大数据平台利用该多源异构数据进行数据集成。由于采集多源异构数据的接口和数据类型是依据预先构建的配用电多源异构信息模型所得到的，因此，采集的多源异构数据是最符合需要的数据，提高了数据的可用性，并且数据接口方案是最优方案，提高了数据采集效率，进而提高了数据集成的效率。

前述描述了通过所述数据接口采集与所述接口相匹配的业务系统中符合所述数据采集标准中数据类型的多源异构数据的过程，下面对此过程进行详细介绍。

参见图2，图2是本申请实施例提供的一种配用电数据处理方法的另一种流程示意图。

本申请提供的一种配用电数据的处理方法，包括：

S201、预先构建配用电多源异构信息模型，所述配用电多源异构信息模型用于确定数据采集标准；

S202、根据所述预先构建的配用电多源异构信息模型中的数据采集标准确定接入配用电大数据平台的数据接口；

需要说明的是，步骤S201-步骤S201与步骤S101-步骤S102相同，在此不进行赘述。

S203、通过所述FTP接口采集所述业务系统中的文档类文件数据；

S204、通过所述数据库接口采集所述业务系统中的数据库数据；

S205、通过所述Webservice接口采集所述业务系统中的XML数据；

S206、通过所述文本类数据接口采集所述业务系统中的非结构化文档数据。

需要说明的是，步骤S203-步骤S206的顺序不进行具体限定，同时执行或先后执行或按照任意顺序执行均可，只要能够实现对配用电多源异构数据的采集即可。

具体的，FTP接口：文档类文件传送，数据以CIM数据文件的格式传送给FTP服务器，如电网地理拓扑系统GIS中的电网地理拓扑数据通过CIM数据文件的格式进行同步，然后把电网地理拓扑数据以1m*1m的块进行切割形成单独的文件，以CIM格式的数据文件传递文档类文件数据。

数据库接口：采用数据库接口JDBC接口，连接不同的数据库，使数据集中到一个实时库里统一管理调度。数据库接口传输的数据有Oracle数据库数据、用户档案数据库数据。相关业务系统更新时，数据字段同步到中间库。

Webservice接口：其中XML是扩展型可标记语言，Web Service在允许重用代码的同时，可以重用代码背后的数据。Web Service接口传输的特点是系统通过接口发出请求，相关系统返回相关的请求数据。

文本类数据接口：传输非结构化文件，分布式电源数据、电动汽车充电桩数据、社会经济数据、城镇未来规划数据等文档类非结构化数据采用文本类数据接口传输。

需要说明的是，中间库是数据存储的一部分，数据由缓存区开始，经历初始库、中间库与结果库，最终数据都储存在结果库中，数据在这些数据库中数据的流转，进行着数据的清洗、去重等工作，最后存放在结果库中。

S207、将采集到的多源异构数据上传到所述配用电大数据平台中。

将采集到的多源异构数据存储至缓存区；

通过预设数据链路将所述缓存区中的多源异构数据导入所述配用电大数据平台的存储系统中的分布式存储系统和\或分布式数据库中。

其中缓存区具体为从数据库中专门开设一块储存区域作为数据缓存区来存放从各业务系统接入的原始数据。

导入所述配用电大数据平台具体是通过分布式消息队列、Sqoop、Flume等各种技术手段，从缓存区提取结构化数据、非结构化数据、海量/实时数据、空间数据以及各业务应用数据，主要有以下几种数据流转链路。

数据链路1：通过Sqoop将海量非实时明细数据/历史数据抽取至分布式文件存储(Hdfs)，经过离线计算后将结果数据写至关系型存储(Postgresql数据库)，同时，将分布式文件存储(Hdfs)里的数据加载至数据挖掘工具，分析建模后将结果数据写回至分布式文件存储(Hdfs)。

数据链路2：通过Flume将总数量和总容量都很大的非结构化数据(95598语音、视频、舆情等)及空间数据采集至分布式文件系统，并采用离线计算进行处理。

数据链路3：通过消息队列将需实时在线计算的数据(用电采集、SCADA等)读取至流计算框架进行处理，并将结果数据写至非关系型存储。

其中数据的存储过程主要包括结构化数据的存储模式和非结构化数据的存储模式。

至此，实现了将多源异构数据导入到配用电大数据平台的过程。

需要说明的是，针对结构化数据存储模式主要采用两种方式：

实时查询库采用HDFS+Hbase。

采用HDFS的分布式、高可用数据存储，结合HBase面向列的数据存储模型，从而解决大数据量存储的问题；结合HBase基于Rowkey自然序的存储，从而实现海量数据快速查询。这种模式只适用于结构型数据，而且只适用于历史数据查询。

需要说明的是，Hbase与源数据的关系数据看的对应存储映射方法。对于一张关系数据库表TableT<id,columnA,columnB>对应到HBase里，建立表T，rowId对应原始数据库表中的id，另外定义数据的列族column family为TableT:,然后以原有关系表中的各列，创建Habse对应表的列标志：TableT:columnA和TableT:columnB.这样就完成了原数据库表结构数据到Hbase的一一存储映射。

大数据仓库采用HDFS+Hive。

非结构化数据存储模式：采用HDFS进行存储。

根据上述技术方案可以看出，本发明预先确定输入数据，对于输入数据建立信息模型体系，针对信息模型确立接口及集成方式，以实现数据的最高效接入大数据平台。

针对将用电信息采集、营销业务、负荷管理、客户服务支撑、调度自动化、配电自动化、故障录波等各业务应用系统中的数据建立统一的集成和存储规范，方便数据存取和运算，提高数据利用效率。整合各业务应用系统中复杂繁多的数据，使得数据的分析利用过程更便捷、时效性更好。

通过统一的传输和存储规范，将各业务应用系统的数据进行集成，使得配用电的各相关业务应用系统的数据相互补充，整合业务闭环中的所有数据，形成标准统一的配用电全局全量海量数据集，以便基于集成的海量数据集进行大数据应用，使数据分析结果更精准、可用性更高。

本发明另一方面提供了一种配用电数据的处理系统，参见图3。

图3为本申请公开的一种配用电数据的处理系统的结构示意图，包括：

模型构建模块1，用于预先构建配用电多源异构信息模型，所述配用电多源异构信息模型用于确定数据采集标准；

接口匹配模块2，用于根据所述预先构建的配用电多源异构信息模型中的数据采集标准确定接入配用电大数据平台的数据接口；

数据采集模块3，用于通过所述数据接口采集与所述接口相匹配的业务系统中符合所述数据采集标准中数据类型的多源异构数据；

数据上传模块4，用于将采集到的多源异构数据上传到所述配用电大数据平台中，使得所述配用电大数据平台利用该多源异构数据进行数据集成。

可选的，所述接口包括FTP接口、数据库接口、Webservice接口以及文本类数据接口。

可选的，所述数据采集模块包括：

第一采集单元，用于通过所述FTP接口采集所述业务系统中的文档类文件数据；

第二采集单元，用于通过所述数据库接口采集所述业务系统中的数据库数据；

第三采集单元，用于通过所述Webservice接口采集所述业务系统中的XML数据；

第四采集单元，用于通过所述文本类数据接口采集所述业务系统中的非结构化文档数据。

可选的，所述数据上传模块包括：

缓存单元，用于将采集到的多源异构数据存储至缓存区；

导入单元，用于通过预设数据链路将所述缓存区中的多源异构数据导入所述配用电大数据平台的存储系统中的分布式存储系统和\或分布式数据库中。

需要说明的是，本实施例的一种配用电数据集成系统可以参照上述方法实施例中的一种配用电数据集成方法，用于实现上述方法实施例中的全部技术方案，其各个模块的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可参照上述实施例中的相关描述，此处不再赘述。

由上述方案可知，本发明提供了一种配用电数据集成系统，所述系统模型构建模块预先构建配用电多源异构信息模型，所述配用电多源异构信息模型用于确定数据采集标准；接口匹配模块根据所述预先构建的配用电多源异构信息模型中的数据采集标准确定接入配用电大数据平台的数据接口；数据采集模块通过所述数据接口采集与所述接口相匹配的业务系统中符合所述数据采集标准中数据类型的多源异构数据；将采集到的多源异构数据上传到所述配用电大数据平台中，数据上传模块使得所述配用电大数据平台利用该多源异构数据进行数据集成。由于采集多源异构数据的接口和数据类型是依据预先构建的配用电多源异构信息模型所得到的，因此，采集的多源异构数据是最符合需要的数据，提高了数据的可用性，并且数据接口方案是最优方案，提高了数据采集效率，进而提高了数据集成的效率。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种配用电数据的处理方法，其特征在于，包括：

预先构建配用电多源异构信息模型，所述配用电多源异构信息模型用于确定数据采集标准；

根据所述预先构建的配用电多源异构信息模型中的数据采集标准确定接入配用电大数据平台的数据接口；

通过所述数据接口采集与所述接口相匹配的业务系统中符合所述数据采集标准中数据类型的多源异构数据；

将采集到的多源异构数据上传到所述配用电大数据平台中，使得所述配用电大数据平台利用该多源异构数据进行数据集成。

2.根据权利要求1所述的配用电数据的处理方法，其特征在于，所述数据接口包括FTP接口、数据库接口、Webservice接口以及文本类数据接口。

3.根据权利要求2所述的配用电数据集成方法，其特征在于，所述通过所述数据接口采集与所述接口相匹配的业务系统中符合所述数据采集标准中数据类型的多源异构数据包括：

通过所述FTP接口采集所述业务系统中的文档类文件数据；

通过所述数据库接口采集所述业务系统中的数据库数据；

通过所述Webservice接口采集所述业务系统中的XML数据；

通过所述文本类数据接口采集所述业务系统中的非结构化文档数据。

4.根据权利要求1所述的配用电数据的处理方法，其特征在于，所述将采集到的多源异构数据上传到所述配用电大数据平台中包括：

将采集到的多源异构数据存储至缓存区；

通过预设数据链路将所述缓存区中的多源异构数据导入所述配用电大数据平台的存储系统中的分布式存储系统和\或分布式数据库中。

5.一种配用电数据的处理系统，其特征在于，包括：

模型构建模块，用于预先构建配用电多源异构信息模型，所述配用电多源异构信息模型用于确定数据采集标准；

接口匹配模块，用于根据所述预先构建的配用电多源异构信息模型中的数据采集标准确定接入配用电大数据平台的数据接口；

数据采集模块，用于通过所述数据接口采集与所述接口相匹配的业务系统中符合所述数据采集标准中数据类型的多源异构数据；

数据上传模块，用于将采集到的多源异构数据上传到所述配用电大数据平台中，使得所述配用电大数据平台利用该多源异构数据进行数据集成。

6.根据权利要求5所述的配用电数据的处理系统，其特征在于，所述接口包括FTP接口、数据库接口、Webservice接口以及文本类数据接口。

7.根据权利要求6所述的配用电数据集成系统，其特征在于，所述数据采集模块包括：

第一采集单元，用于通过所述FTP接口采集所述业务系统中的文档类文件数据；

第二采集单元，用于通过所述数据库接口采集所述业务系统中的数据库数据；

第三采集单元，用于通过所述Webservice接口采集所述业务系统中的XML数据；

第四采集单元，用于通过所述文本类数据接口采集所述业务系统中的非结构化文档数据。

8.根据权利要求5所述的配用电数据的处理系统，其特征在于，所述数据上传模块包括：

缓存单元，用于将采集到的多源异构数据存储至缓存区；

导入单元，用于通过预设数据链路将所述缓存区中的多源异构数据导入所述配用电大数据平台的存储系统中的分布式存储系统和\或分布式数据库中。