CN109492991B - 配电工程建设智能化综合管理系统 - Google Patents

Abstract

本发明公开了配电工程建设智能化综合管理系统，包括数据采集层、数据处理和存储层、应用层；其中，数据采集层对配电项目中所涉及单位的数据进行采集；数据处理和存储层负责对数据进行清洗、转换、入库和存储；应用层为配电项目智能化管理软件。本发明设计出一种结合了大数据云平台的科学安全高效的配电项目管理系统，能够在一个配电项目建设中智能化统筹管理各个项目参与方，实现各个参与方建设信息安全共享，高效推进项目建设进程。

Description

配电工程建设智能化综合管理系统

技术领域

本发明涉及配电工程领域，特别涉及配电工程建设智能化综合管理系统。

背景技术

现有的配电项目管理还处在人工管理阶段,项目各有关方基本上都是独立的，没有一个统一管理的平台。资源难于共享并难于统一管理统一调度统一处理问题。低质低效式管理且经常出现事故，造成经济损失。

现有的配电项目管理存在以下问题：

1、基本上都是人工管理。

2、所涉政府质量监督方、投资方、设计方、施工方、监理方、物资供应方及运行方等都是根据规程规范规则人工协调及管理。没有形成统一的智能化管理平台。

3、各方信息的共享性差。

4、客观上管理效率低，速度慢、质量差并容易出错、容易形成隐患和事故。

5、不能使配电项目实施真正做到安全可靠、经济合理。

因此，有必要提供一种新的配电工程管理系统来解决上述问题。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供配电工程建设智能化综合管理系统。

本发明的目的通过以下的技术方案实现：

配电工程建设智能化综合管理系统，包括数据采集层、数据处理和存储层、应用层；其中，数据采集层对配电项目中所涉及单位的数据进行采集；数据处理和存储层负责对数据进行清洗、转换、入库和存储；应用层为配电项目智能化管理软件；

所述数据采集层，用于对数据源进行导入，支持自定义数据表、字段及分隔符，采用分布式采集，针对异常数据提供存储查看；

所述对数据进行清洗，针对接入数据源配置技术元数据，在规则配置中选择技术元数据进行规则定制，确保在数据处理过程中无遗漏，支持所有接入数据源的规则定制；

所述对数据进行转换，使用UTF-8编码规则，在数据处理过程中统一按照UTF-8编码规则进行转换。

所述数据源包括FTP文件、关系库表、API数据、EPG实时数据、本地文件；对于FTP文件，通过配置FTP的IP和端口、数据目录规则、文件校验规则，实现对数据文件的自动化采集入库；对于关系库表，配置关系库表和采集sql，实现对关系库数据的采集入库，支持主流关系数据库，所述主流关系数据库包括oracle、mysql、mssql；对于API数据，支持web及socket接口的数据接收，支持自定义api采集组件的开发和扩展；对于EPG实时数据，支持EPG等数据接入，采用kafka分布式消息队列方式异步处理，避免实时数据流的瓶颈问题；对于本地文件，支持用户数据导入大数据环境，并自定义表及数据结构，实现用户数据的关联分析挖掘。

所述对数据进行转换，包括：

(1)自动化转换：接入数据非UTF-8格式的，在数据采集阶段添加编码转换处理过程；

(2)导入数据转换：用户导入数据默认按UTF-8格式进行转换。

所述数据处理和存储层，还用于数据合并及去重：

(1)去重：针对存储在hdfs中的数据剔重开发通用mapreduce程序，支持结构化和非结构化的数据剔重；

(2)合并：支持内、外关联合并，数据的行列合并。

所述数据处理和存储层，还用于数据去噪；对于结构化数据，支持二维数据表，即String类型的文件或消息数据；对于非结构化数据，支持xml、json格式数据。

所述数据处理和存储层，还用于数据脱敏。数据脱敏是为了确保在非生产环境下使用生产数据更加安全，但是其又与纯粹的数据加密不同，数据加密可能是将数据库中有意义的字符通过加密后转变成了无意义字符，而脱敏是将数据通过一定的算法变成另一种样式，而这种样式是可读的，并且与技术元数据是同一类。

所述数据脱敏，包括以下方式：

(1)替换；

(2)加密：对用户账号密码进行MD5加密保存，保证绝对安全；对敏感信息进行base64编码加密；

(3)日期编码：日期采用BASE64编码方式，例如20130520 12:30:45->4938539202342。

系统支持以上3种方式脱敏方式，通过对技术元数据列脱敏规则的设置实现数据的对隐私数据的保护。具体设计与清洗过滤类似。

所述替换，如统一将女性用户名替换为F，对内部人员可以完全保持信息完整性。

所述配电工程建设智能化综合管理系统，采用Hadoop的分布式平台架构，实现用户行为数据、C3数据的海量存储、清洗，以及对外提供数据查询计算能力。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明设计出一种结合了大数据云平台的科学安全高效的配电项目管理系统，能够在一个配电项目建设中智能化统筹管理各个项目参与方，实现各个参与方建设信息安全共享，高效推进项目建设进程。

2、配电项目的管理是一项需要政府质量监督方、投资方、设计方、施工方、监理方、物资供应方、运行方等多方紧密配合并有机协调才能完成的大工程，从项目的启动到竣工中间需要各方的无缝交流与沟通，现如今一些管理系统(如设计评审、基建管理系统)存在一定局限性。

3、本发明涉及一种配电项目智能化管理系统的研究与开发，包括客户端、平台服务单元、数据库单元、以及用户单元；客户端通过网络与平台服务单元连接；数据库单元和平台服务单元位于云服务器端，通过准确调用云服务器上的各种项目设计模块，智能调出设计图纸，同时输出材料信息表等，采用上述结构的配电项目智能化管理系统，具有提高配电项目系统化管理的工作效率，实现各有关环节都能够通过协同操作，大幅提高工作效率，同时增加用户端(含政府质量监督方、投资方、设计方、施工方、监理方、物质供应方、运行方等)即项目相关各方的信息及时准确无误的交流沟通，及时处理项目各个环节问题，提高工作速度和效率，节约时间和人力成本，消除事故隐患、杜绝事故发生，确保管理的高水平，确保项目实施的优质高效。

该系统建立后，对配电网络的运行管理和规划管理也能起到重要的作用。

研究开发成功后能够推广到电力系统、地方政府质量监督部门、社会工矿企业及大型民居项目(以上所述的配电项目投资方及管理方)等等。客户端采用手机APP、网页窗口和电脑客户端的形式，方便用户的使用。

3、本发明为配电项目的各方提供了一个交互平台，借助“云平台”技术构建电力项目的智能化管理系统能够整合项目各方成为一体,促进信息交流与资源共享(含静态和动态的)，能够提高项目管理效率10倍以上；对工程项目中遇到的各种问题能迅速处理并于完好解决，提高工程质量、加快工程进度，节约管理成本60％以上。使工程的实施全过程真正做到安全可靠、经济合理。

附图说明

图1是本发明所述配电工程建设智能化综合管理系统的框架图。

图2是本发明所述大数据平台的架构示意图。

图3是一个配电系统建设工程的主要建设流程图。

图4是统一权限管理示意图。

图5是角色管理示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1，配电工程建设智能化综合管理系统，包括数据采集层、数据处理和存储层、应用层；其中，数据采集层对配电项目中所涉及单位的数据进行采集；数据处理和存储层负责对数据进行清洗、转换、入库和存储；应用层为配电项目智能化管理软件；

所述数据采集层，用于对数据源进行导入，支持自定义数据表、字段及分隔符，采用分布式采集，针对异常数据提供存储查看；图2为大数据平台的架构示意图，管理系统对数据的处理分为三步骤，即三次处理，第一次处理在数据采集层进行粗处理，即对数据进行数据装载、数据转换和数据抽取，第二次处理在数据入库后，对数据进行数据合并、数据转换、数据统计、数据去重、数据关联、数据脱敏和数据安全处理，第三次处理结合智能大数据处理算法，对相应项目数据进行需求专项处理；

所述对数据进行清洗，针对接入数据源配置技术元数据，在规则配置中选择技术元数据进行规则定制，确保在数据处理过程中无遗漏，支持所有接入数据源的规则定制；

所述对数据进行转换，使用UTF-8编码规则，在数据处理过程中统一按照UTF-8编码规则进行转换。

所述数据源包括FTP文件、关系库表、API数据、EPG实时数据、本地文件；对于FTP文件，通过配置FTP的IP和端口、数据目录规则、文件校验规则，实现对数据文件的自动化采集入库；对于关系库表，配置关系库表和采集sql，实现对关系库数据的采集入库，支持主流关系数据库，所述主流关系数据库包括oracle、mysql、mssql；对于API数据，支持web及socket接口的数据接收，支持自定义api采集组件的开发和扩展；对于EPG实时数据，支持EPG等数据接入，采用kafka分布式消息队列方式异步处理，避免实时数据流的瓶颈问题；对于本地文件，支持用户数据导入大数据环境，并自定义表及数据结构，实现用户数据的关联分析挖掘。

所述对数据进行转换，包括：

(1)自动化转换：接入数据非UTF-8格式的，在数据采集阶段添加编码转换处理过程；

(2)导入数据转换：用户导入数据默认按UTF-8格式进行转换。

所述数据处理和存储层，还用于数据合并及去重：

(1)去重：针对存储在hdfs中的数据剔重开发通用mapreduce程序，支持结构化和非结构化的数据剔重；

(2)合并：支持内、外关联合并，数据的行列合并。

所述数据处理和存储层，还用于数据去噪；对于结构化数据，支持二维数据表，即String类型的文件或消息数据；对于非结构化数据，支持xml、json格式数据。

所述数据处理和存储层，还用于数据脱敏。数据脱敏是为了确保在非生产环境下使用生产数据更加安全，但是其又与纯粹的数据加密不同，数据加密可能是将数据库中有意义的字符通过加密后转变成了无意义字符，而脱敏是将数据通过一定的算法变成另一种样式，而这种样式是可读的，并且与技术元数据是同一类。

所述数据脱敏，包括以下方式：

(1)替换；

(2)加密：对用户账号密码进行MD5加密保存，保证绝对安全；对敏感信息进行base64编码加密；

(3)日期编码：日期采用BASE64编码方式，例如20130520 12:30:45->4938539202342。

系统支持以上3种方式脱敏方式，通过对技术元数据列脱敏规则的设置实现数据的对隐私数据的保护。具体设计与清洗过滤类似。

所述替换，如统一将女性用户名替换为F，对内部人员可以完全保持信息完整性。

所述配电工程建设智能化综合管理系统，采用Hadoop的分布式平台架构，实现用户行为数据、C3数据的海量存储、清洗，以及对外提供数据查询计算能力。

采用Hadoop的分布式平台架构，实现用户行为数据，C3数据的海量存储，清洗，和对外提供数据查询计算能力。

(1)计算能力组件

计算能力组件主要承接大数据收集平台经过ETL流程后的干净数据，用于复杂计算和分析的系列组件，高度的用户定制化，结合调度实现定期输出数据文件，为报表和外部查询能力提供支撑，组件可以通过拖拽方式组建工作流，实现数据源选择-分析挖掘-输出的流程自定义。

可提供开发接口进行定制化开发，所采用的组件类包括数据处理、数据输出、数据挖掘；其中

数据处理支持计算函数，并能够扩展组件，支持自定义函数，包括数据关联(多个导入的数据源关联处理)、数据合并(多个导入的数据源合并处理)、数据过滤(针对数据内容进行复杂条件过滤)、数据抓取(提取数据内信息，可通过正则或字符串操作)、统计函数(支持常用sum,max,min,avg,count,distinct,order等处理函数)、行转列(实现数据的行转列)、列转行(实现数据的列转行)。

数据输出采用并行输出，包括FTP目录(将数据输出到指定ftp目录)、关系库表(将数据输出到指定的关系库表)、HDFS/HIVE(将数据输出到指定HDFS目录或HIVE表)。

数据挖掘支持常用分析挖掘算法，根据用户配置完成分布式计算，包括协同过滤(用户可以配置参数，选择数据源进行协同过滤算法的计算输出)、聚类(用户可以配置参数，选择数据源进聚类算法的计算输出)、分类(用户可以配置参数，选择数据源进分类算法的计算输出)、决策树(用户可以配置参数，选择数据源进决策树算法的计算输出)、线性回归(线性回归算法)。

(2)处理流程

主要完成数据的复杂处理、分析挖掘等串并行复杂流程，这类流程针对存储数据源进行周期性的离线处理。

(3)流程管理

流程逻辑

任务依赖关系表如表1：

表1

串行条件，可以配置如果出现中间失败是否停止或者继续下一环节

并行条件，可以配置如果并行时单个节点出现异常是否继续合并执行下一环节

本流程设计过程中支持有向图的顺序遍历。

流程管理

1)新建流程，创建流程是选择流程类型；

2)删除流程，删除流程时检测流程是否运行，未运行则删除，同时删除调度任务；

3)流程修改，修改流程时检测流程是否运行，未运行则修改；

4)流程导出，流程模板可以导出备份；

5)流程导入，将备份的流程模板导入系统；

举例：

有一农村配电工程实施项目：涉及增容及改造配变台区180个；10kV线路10条，总长50公里。计划总工程量为5000万元。

常规管理方式

A)在经过招投标程序确定了设计方、施工方、监理方及设备供应商后：

设计方：现场勘察记录测量累计30个工日；各阶段设计30个工日，合计60个工日，折30天。

施工方：现场勘察了解复测量累计15个工日；制定施工方案及准备15个工日；各环节实施累计周期460个工日，合计490个工日，折98天。

监理方：各环节监理累计200个工日。

设备供应方：生产所需设备材料供至现场10个工日。

应急处理平均10个工日，折5天。

以上合计估算共需125天完成工程。

B)投资方对设计方、施工方、监理方、供应方等的互审、沟通、批文等共需105个工日(平均各方在15个工日)，管理成本在500万元。

进入本系统管理后设各方之自行工作周期与上相同，但：

设计仅需2个工日；

施工仅需2个工日；

监理仅需2个工日；

供方仅需2个工日；

应急处理仅需2个工日；

累计仅需10个工日，管理成本仅为50万元。

同时进入本系统管理后，各方之自行工作周期也会大大缩短，仅需原来的2/3工日，即仅需85天左右就能完工，并且节省工程成本1/10(即500万元)。

以上说明了采用本管理系统，能使工程成本节省500万元；管理成本节省450万元，总共节省了950万元，即节省了20％左右的工程开支并且提高了工作效率10倍以上。

对于本实施例所述配电工程建设智能化综合管理系统：

一、各参与方功能模块描述如下：

A、投资方(业主管理方)模板：

1、投资方可在客户端或网页上注册投资人账号，该账号信息数据进行数据提取，转换等一系列的操作后，被以固定格式的数字串存储在数据库中。

2、投资方登录账号后，可在可视化界面上查看项目具体情况和要求，并对项目进行审核。

3、投资方在可视化界面查看相关设计资料并提出更改及纠错等要求。

4、投资方在可视化界面中可以查看监理相关信息、对工程各个环节监理的进度并反映工程质量的情况。

5、投资方在可视化界面上可以查看设备供应商的设备信息，其中包括设备的图片，参数，上架时间等信息，设备运送信息

6、投资方可在可视化界面向施工方下单施工，通过阅读施工方定期上传至系统的施工情况报告，了解工程进度，监督工程的实施。

7、投资方可在可视化界面阅读监理方定期的工作报告，监督监理工作。

8、在投资方、监理方和施工方都确定工程的某一阶段完成后，投资方对该阶段各方的工作进行评价，上传系统，相关方可在可视化界面查看。

B、设计方模板：

1、设计方注册账号。

2、在可视化界面查看投资方的订单和要求(含各种文件)，设计样板，并结合项目实际情况按期做出设计文件上传至系统。

3、将已完成的设计文件上传至系统，供各有关方审定通过并获得批文。

4、项目实施过程中对各方提出的合理修正意见调整设计文件并及时处理实施过程中出现的问题。

C、施工方模板

1、施工方注册账号。

2、根据项目批文要求及审定的设计文件结合具体情况制订安全可靠、经济合理的施工方案上传系统，安排施工，并定期做出施工报告上传，将施工中遇到的实际情况反应给投资方、监理方以及相关各方。

3、对于施工中遇到问题需要处理，可据情提出处理建议方案上传各方及时形成统一意见。

D、供应方模板

1、供应方注册账号。

2、供应方在可视化界面上，按照给定的格式填写并上传项目所需设备的资料，包括图片，参数，上架时间等信息。

3、投资方按程序在向供应方下单后，系统会第一时间短信通知供应方确定。供应方在可视化界面可查看订单详细信息，设备开始运送后要在系统报告。

4、投资方收到设备并确认收货后订单完成。

5、项目实施中经过审批程序需要调整设备材料规格和数量的及时应对。

E、监理方模板

1、监理方注册账号。

2、通过可视化界面阅读投资方的工程要求，订出监理方案，上传至系统。

3、通过对工作量的评估，预计工作完成节点数，对各方工作进行监管，定期上传监管报告，向投资方反映各方工作的完成情况。

4、协同各方对项目实施的各个环节进行保质保量安全可靠的监督。

F、用电方模板

1、用电方注册账号。

2、从项目竣工后安全运行的角度及时监督并检查各个环节的质量可靠性，同时可在系统中反馈意见和建议。

3、在工程完成后，对工程进行评价，上传系统。

G、系统管理模板

1、各参与方注册账号，其信息数据以固定的格式存储在系统数据库中，其信息包括手机号，以支持相关参与方信息更新时的短信提醒功能。

2、各参与方通过登录各自账号上传数据至系统，各方数据被编以相应编号分类存储。

3、各方账号被分配不同的权限，可在可视化界面访问不同的文件。其中，不同项目的参与方之间一般没有相互访问各自上传文件的权限，但同一个角色参与建设不同项目时，其在项目中的文件访问权限会相应的更改。

4、用户通过阅读来自其他方的文件或评价，查询到工程进度，同时相关方确认后可反映在可视化界面上。

5、系统运行日志会被采集短期存储在数据库中，在经过数据清洗合并等操作后长期存储在数据库中。

6、当各方用户没有在规定的时间内上传报告时，系统会短信通知用户上传报告；若是系统没能在及时更新工程状态，则向管理员提交错误报告以系统维修。

二、权限描述

A、各参与方权限描述

1、只有注册并通过审核(如招投标确定)的用户才能以其账号登录系统。

2、注册后的账户在某一个工程中需要认证其在该工程中的参与角色，以分配相应角色的系统权限，不同角色在某一工程进行中的权限不同，可访问的系统文件也不相同。

3、一般情况下，不同项目角色之间没有访问对方项目文件的权限，但若出现同一账户同时参与两个或更多项目的情况时，该账户拥有相应项目的对应角色的文件访问权限。

4、各方角色的具体权限如下：

(1)投资方(业主管理方)：上传相关资料和对项目的要求；查看设计方的设计方案；查看监理信息及其各环节的工作报告；查看设备供应商的设备信息；对各方工作进行评价或做出相应的反馈。

(2)设计方：查看投资方的订单和要求；上传设计方案和阶段工作报告。

(3)施工方：查看投资方的订单和施工方案；上传施工报告。

(4)供应方：上传设备的资料；与投资方进行商业交易。

(5)监理方：查看投资方的工程要求；上传监理方案；查看各方的工作报告。

(6)用电方：查看各方的工作报告，反馈建设性意见和建议；按照规程规范对已完成的工程进行评价。

5、为保证各方能够在第一时间得知项目进行的质量和进度，提高项目的建设效率，各参与方都会在其参与的项目环节状态发生改变时的第一时间收到短信的通知，若该方未能及时处理，则会第二个短信通知；超过既定的时间节点，则相关方应负责。

B、统一权限管理

业务门户采用基于角色的权限模型和非侵入式授权，对包括业务构件、业务服务和业务数据在内的各种资源的权限进行多粒度的集中统一管理，并向外部业务系统提供认证、授权和不同权限模型映射服务。

如图4所示，业务门户的权限管理模型包括以下内容：

机构/部门：分层的组织机构信息。

用户：包含认证在内的基本信息。

资源：包括：WEB资源和功能模块

业务对象(服务、领域对象)

操作：对资源的细粒度划分

角色：资源及操作的集合。可通过共享的方式，在一定组织机构范围内规范化权限体系。

岗位：用户授权，包含：资源操作授权、数据权限授权。同时，岗位也可以作为对用户的业务考核基础。

超级管理员：对不同的角色设置不同模块的管理权限。

C、角色管理

按照供电局的组织架构及配电行业的角色分工，具有分级、分类别数据查询功能(即根据不同角色分配不同的数据查询权限)，保证数据的保密性和安全性。

系统通过角色来进行权限分配，角色是权限分配的组织单位。如图5，角色中包括用户和组，一个用户和组可以属于多个角色，一个角色也可以包括多个用户和组。角色中还可以包含机构，即该角色对哪些机构的数据具有权限。角色中可包含系统功能菜单，即通过授予角色系统功能菜单访问权限，来控制用户可以访问的系统功能。角色中还可包含数据属性描述，通过角色授予用户访问某些数据的权限。

角色中未授权的菜单、数据等信息，用户是不能访问的。系统管理员必须根据本系统的实际权限控制需求，设置不同的角色来满足系统对不能数据、功能的权限控制需要。

三、系统的安全描述

1、系统安全技术

(1)信息安全

1)信息安全应保障数据的机密性，数据不被外泄和篡改，可从如下几个方面考虑，但不限于此；

2)需要保护重要和敏感数据如用户信息、系统机密数据等应进行加密处理并有日志记录；

3)敏感数据应当在数据库和文件系统中进行加密或哈希处理；

4)数据传输和数据存储中使用行业标准加密算法对数据进行加密；

5)在将敏感或需保护数据的传输在网络传输过程中,应当首先对这些数据进行加密；

6)互联网访问需要通过VPN或对敏感数据通过加密通道进行传输,如采用SSL的HTTPS传输方式；

7)系统应该具有完备的信息安全策略，抵抗常见的黑客攻击手段，如SQL注入等。

(2)访问控制

1)登录会话过期,支持用户登录过期失效机制；

2)对于连续多次登录失败的用户进行锁定,可根据策略是指来对应处理,具备防止采用程序模拟登录机制,增加图形校验码；

3)密码策略参考IT审计部门制定的相应规范,与此规范保持一致；

4)对系统的管理访问应当采用可用验证方式加以保护；

5)在数据库级别以及应用程序接口实施基于职责的访问控制；

6)将未经适当授权而获取访问权限的收有尝试都记录下来；

7)提供数据或功能访问的每个组件都应该核实是否存在正确的验证凭证。

(3)数据安全

1)备份数据，根据业务确定数据备份的手段加密，关键数据数据库内加密、加密传输，3DES加密等；

2)应用程序可以接受外部来源的多点输入，如用户、客户端应用程序和数据传送；

3)应当对输入数据执行语法和语义有效性验证检查；

4)应当检查输入数据不违反底层组件或相关组件的限制，特别是字符串长度和字符集的限制；

5)所有用户提供的字段都应当在服务器端进行验证。

2、系统安全保障

1)系统可保证用户在整个局域网内部不同网段都能正常使用系统；并具备对不同网段、不同IP做访问权限控制的功能。对于系统可以在公网访问的部分，需要通过VPN或对敏感数据通过加密通道进行传输,如采用SSL的HTTPS传输方式，以保证系统的访问安全。

2)用户使用系统时，系统可保证数据在传输过程中的高度安全，不会出现因为使用该系统而发生系统信息泄露的情况。

3)系统具有完整的、统一的用户权限管理机制，防止非法访问、越级访问和非法操作。

4)系统开发中尽量使用现有的接口来实现与第三方系统实现数据交互。

5)系统在通过第三方接口进行数据交互时，通过采用安全认证和数据加密机制保证数据的安全性和接口的安全性。

6)系统对于操作日志，可提供安全日志审计功能。

四、系统性能描述

1、稳定性

稳定性是指在一定的环境下，在给定的时间内，系统不发生故障的概率。稳定的软件在正常情况下能够正常工作，在意外情况下亦能适当地处理以使软件故障可能导致的损失最小。在用户导致系统中断或因系统本身而中断时，系统可以很容易地通过工具和诊断恢复到以前的已知状态，而且不会丢失数据。系统可以按预期或承诺方式运行。具体体现在以下几个方面：

1)系统实现并对不同网段、不同IP做访问权限控制的功能；

2)系统应成为成熟的应用系统，必须提供稳定的7*24小时服务，具备灾难恢复机制；

3)对于出现的局部问题要求可30分钟以内恢复，对于30分钟无法恢复的问题，必须有一套切实可行的保障恢复机制；

4)系统应提供可靠、完备的数据备份和数据恢复解决方案，确保数据的安全和完整；

5)系统在提供给第三方接口调用时，或者调用第三方接口时，要求保证数据的稳定性和接口的稳定性；

6)提供解决方案对现在及将来数据存储需求的预估以及有数据压缩策略。

2、易用性

1)系统应在满足实现核心功能的前提下，能够提供用户简洁实用、友善的人机界面，操作简单、方便；

2)后台管理也应简洁方便，减少管理成本；

3)为方便用户使用，应尽量采用配置化方式，要求做到客户端一次安装终身使用，无需用户干预的自动更新；

3、开放性

1)系统开放性

系统采用功能模块化设计，可以在后期加入不同的功能模块。

2)数据库开放性

提供数据资源的集中化管理和对于云数据库资源的统一调配。

3)接口设计

以开放的数据及数据库接口支撑现有系统或未来系统的数据交换；

通过增加配置文件实现与第三方系统对接；

接口耦合度低，稳定性高，响应速度快等性能；

可通过配置文件对接口参数进行配置；

服务层、应用层均提供标准API接口及完备的SDK。

4、功能性

1)支持50个用户并发，在方案建议的资源下实现负载均衡。

2)大数据量简单查询的响应时间小于3秒。

3)复杂查询响应时间小于10秒。

4)系统运行安全可靠，具有动态负载均衡处理能力、容错能力，软件故障不应引起各类严重的系统再启动。除系统维护、数据备份等特殊情况之外，系统必须全天24小时安全可靠运行。

五、大数据云平台描述

1、云数据库设计原则描述

1)满足5年数据持久化存储的需求，持久化数据为：原始数据、清洗后数据、分析结果数据；

2)数据需采用高可靠性方式存储，避免因病毒、误操作、硬盘损坏等问题造成重要数据丢失，数据存储需达到N+2的副本数量；

3)对于数据处理系统应当采用非关系型数据库，对于展现层的数据可以使用关系型数据库。

4)主备数据库保持数据实时同步，当主用数据库出现故障能够即时切换到备数据库，切换时间小于60秒，数据库切换过程中应保证已经处理过的业务正常运行。

5)系统性能稳定，采用热备冗余方式，数据服务支持7×24小时工作，可用率达到99.99％；

6)根据设计容量，满负载情况下，所有硬件设备的CPU使用率须小于80％负载；

7)根据设计容量，数据系统的IO读写能力需满足数据分析的最低要求；

8)服务器设备需要具备可靠性保护能力、容错能力、故障恢复能力，避免单点故障，满足整体系统的可用性要求，保证服务质量；

9)系统具备可扩展性，能够平滑扩充处理能力、存储能力，包含但不仅限于IO读写能力、存储扩容、服务器扩容、数据库扩容及升级；

10)具备支撑能力的可扩展性，能够根据需求进行扩展，支撑能力、业务指标、业务纬度、数据接口调整的扩展不影响现有的系统架构和业务开展；

11)系统应能够通过远程对设备进行管理和维护，包括但不仅限于实时监控、远程重启等；

12)运维系统应支持对硬件、服务进程、业务进程的监控，包括但不仅限于系统CPU利用率、存储空间、IO读写情况等，提供告警管理，用于分析和测试、发现和定位故障，并通过相应的机制保证故障的隔离，如告警策略、告警等级的定义及告警统计查询，可采用开源软件实现功能。

13)系统应具有基本的防病毒能力、防攻击能力、具有安全报警能力。

2、大数据收集

大数据收集模块主要实现数据等ETL流程规划和调度，主要提供数据处理的各类组件，包括采集、清洗、转换、关联、汇总、分析挖掘、入库等，并能够达到行采集入库和分布式计算处理，支持负载均衡。数据ETL流程各步骤流程支持监控及状态告警，支持策略配置(如对文件校验，失败重采、补采等)。

详见前文描述。

3、大数据能力

采用Hadoop的分布式平台架构，实现用户行为数据，C3数据的海量存储，清洗，和对外提供数据查询计算能力。

详见前文描述。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.一种配电工程建设智能化资源综合管理系统，包括，客户端，平台服务单元，数据库单元，以及用户单元，客户端通过网络与平台服务单元连接；数据库单元和平台服务单元位于云服务器端，其特征在于：包括数据采集层、数据处理和存储层、应用层；其中，数据采集层对配电项目中所涉及单位的数据进行采集；数据处理和存储层负责对数据进行清洗、转换、入库和存储；应用层为配电项目智能化管理软件；所述管理系统采用分布式平台架构，对项目各方进行权限分配，通过智能化管理软件使项目各方进行信息交流和资源共享；管理系统对数据的处理分为三步骤，即三次处理，第一次处理在数据采集层进行粗处理，即对数据进行数据装载、数据转换和数据抽取，第二次处理在数据入库后，对数据进行数据合并、数据转换、数据统计、数据去重、数据关联、数据脱敏和数据安全处理，第三次处理结合智能大数据处理算法，对相应项目数据进行需求专项处理；

所述数据采集层，用于对数据源进行导入，支持自定义数据表、字段及分隔符，采用分布式采集，针对异常数据提供存储查看；所述数据源包括FTP文件、关系库表、API数据、EPG实时数据、本地文件；对于FTP文件，通过配置FTP的IP和端口、数据目录规则、文件校验规则，实现对数据文件的自动化采集入库；对于关系库表，配置关系库表和采集sql，实现对关系库数据的采集入库，支持主流关系数据库，所述主流关系数据库包括oracle、mysql、mssql；对于API数据，支持web及socket接口的数据接收，支持自定义api采集组件的开发和扩展；对于EPG实时数据，支持EPG等数据接入，采用kafka分布式消息队列方式异步处理；对于本地文件，支持用户数据导入大数据环境，并自定义表及数据结构，实现用户数据的关联分析挖掘；

所述数据处理和存储层，用于数据合并及去重：

(1)去重：针对存储在hdfs中的数据剔重开发通用mapreduce程序，支持结构化和非结构化的数据剔重；(2)合并：支持内、外关联合并，数据的行列合并；

所述数据处理和存储层，还用于数据去噪；对于结构化数据，支持二维数据表，即String类型的文件或消息数据；对于非结构化数据，支持xml、json格式数据；

所述对数据进行清洗，针对接入数据源配置技术元数据，在规则配置中选择技术元数据进行规则定制，支持所有接入数据源的规则定制；

所述对数据进行转换，使用UTF-8编码规则，在数据处理过程中统一按照UTF-8编码规则进行转换，具体包括：

(1)自动化转换：接入数据非UTF-8格式的，在数据采集阶段添加编码转换处理过程；

(2)导入数据转换：用户导入数据默认按UTF-8格式进行转换；

所述数据脱敏，包括以下方式：

(1)替换；

(2)加密：对用户账号密码进行MD5加密保存，对敏感信息进行base64编码加密；

(3)日期编码：日期采用BASE64编码方式。

2.根据权利要求1所述的配电工程建设智能化资源综合管理系统，其特征在于：采用Hadoop的分布式平台架构，实现用户行为数据、C3数据的海量存储、清洗，以及对外提供数据查询计算能力。

Images