CN112905685B - 一种面向信息化建设的架构管控系统及设备 - Google Patents
一种面向信息化建设的架构管控系统及设备 Download PDFInfo
- Publication number
- CN112905685B CN112905685B CN202110271287.1A CN202110271287A CN112905685B CN 112905685 B CN112905685 B CN 112905685B CN 202110271287 A CN202110271287 A CN 202110271287A CN 112905685 B CN112905685 B CN 112905685B
- Authority
- CN
- China
- Prior art keywords
- data
- architecture
- management
- module
- informationized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006870 function Effects 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000004458 analytical method Methods 0.000 claims abstract description 44
- 230000008569 process Effects 0.000 claims abstract description 36
- 238000010276 construction Methods 0.000 claims abstract description 26
- 238000011161 development Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000012800 visualization Methods 0.000 claims abstract description 7
- 238000000926 separation method Methods 0.000 claims abstract description 5
- 238000007726 management method Methods 0.000 claims description 88
- 238000005516 engineering process Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 23
- 238000012423 maintenance Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 18
- 230000008520 organization Effects 0.000 claims description 14
- 230000018109 developmental process Effects 0.000 claims description 11
- 238000012552 review Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 3
- 235000019580 granularity Nutrition 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000010076 replication Effects 0.000 claims description 3
- 238000012384 transportation and delivery Methods 0.000 claims description 3
- 238000011835 investigation Methods 0.000 claims description 2
- 238000011068 loading method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002195 synergetic effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
Abstract
一种面向信息化建设的架构管控系统及设备，涉及信息化管控系统及设备。为了解决目前电力领域无法对不同源系统中的数据进行处理，从而导致在信息化建设过程中存在数据的提取效率低、利用效率低等问题。本发明所述系统在技术架构上采用前后台分离开发、后台接口化、前台模块化方式体现微服务应用；其包括数据层、分析层和应用层；数据层用于将源系统中的数据抽取到数据中心；分析层包括知识智能搜索模块，所述知识智能搜索模块用于提供服务搜索、分析、可视化相关服务组件；应用层包括应用功能子单元，应用功能子单元通过云平台数据存储、计算、服务组件功能。主要用于电力系统的信息化管控。
Description
技术领域
本发明涉及信息化管控系统及设备。属于电力公司信息管理技术领域。
背景技术
针对于电力部门或电力公司而言，在实际的工作中会使用到各种系统，例如I6000系统、统一权限管理平台、营销业务应用系统、电网信息化管理工具等，同时还会用到公司内部的数据中台以及各种项目管理工具。目前的信息管理和控制工作都是依赖各自系统独立完成各自内部信息的处理。
但是目前市面上并没有一种架构管控系统或者管控装置，使得信息化架构标准不统一、标准执行不严、功能重复建设，从而信息化建设管理问题凸现，使得信息的管理通用性弱、信息应用效率低、管理效率低，例如涉及到某些信息的应用或共享，基本都是依赖于人工完成或者专门设置针对性的信息抽取工具，使得信息的获取、应用或共享效率低，耗时长；同时由于电力领域会涉及到不同类型的数据，不同系统的数据，这些不同类型的数据和不同系统的数据存在关联关系，使得数据在应用过程中需要更多的转换时间和抽取时间，更为重要的是由于目前公司信息系统数据庞杂，使得在抽取数据的过程中存在搜索效率低等问题，这都进一步降低了数据的获取、应用效率，从而增加了信息系统建设时的功能查重难度，而且还存在数据的利用率较低的问题。
上述问题使得电力系统的信息管控存在效率低问题。同时，针对于信息化项目管控方面还存在国网信息化项目管控规范制度不满足实际需求、缺少架构遵从管控、功能查重执行难度大、投资核算方式需要不完善等问题。
发明内容
本发明是为了解决目前电力领域无法对不同源系统中的数据进行处理，从而导致在信息化建设过程中存在数据的提取效率低、利用效率低等问题；同时也为了解决了现有技术无法进行功能自动查重、系统自动查重的问题。
一种面向信息化建设的架构管控系统，所述系统包括数据层、分析层和应用层；
所述系统在技术架构上采用前后台分离开发、后台接口化、前台模块化方式体现微服务应用；前台采用Web服务器部署运行，后台采用中间件服务器部署运行；
数据层用于将源系统中的数据抽取到数据中心，数据中心对抽取到的非结构化实体数据进行解构、清洗、转换和关联后，转化为结构化知识模型，并将其他的结构化数据形成知识串联成网，形成知识体系；
分析层包括知识智能搜索模块，所述知识智能搜索模块用于提供服务搜索、分析、可视化相关服务组件；知识智能搜索模块基于NLP+Elasticsearch技术实现数据的智能搜索；
应用层包括应用功能子单元，应用功能子单元通过云平台数据存储、计算、服务组件功能，提供应用层架构维护、架构地图展示、视图下钻、视图返回，查看架构遵从度分析、差异化分析、对比分析，统计架构资产信息，在线管理信息化项目架构的申请、评审、查重功能。
进一步地，所述数据层包括智能识别数据接入模块、ETL处理模块、OGG处理模块；
智能识别数据接入模块：采用BiSTLM+CRF实体识别算法抽取数据；
ETL处理模块：基于ETL技术按照要求将源系统中的数据抽取至目标数据库中，再对不完整数据、错误数据、重复数据进行清洗，清洗完成后，再将不一致数据、不同粒度数据、不同规则数据进行统一转换，完成数据整合后将其加载至数据仓库，实现分散、凌乱、标准不统一数据的整合；所述ETL是一种数据仓库技术；
OGG处理模块：基于OGG解析源数据库在线日志或归档日志获得数据的增量变化，再将所述增量变化应用到目标数据库，从而实现源数据库与目标数据库同步；OGG是一种基于日志的结构化数据复制软件。
进一步地，所述智能识别数据接入模块采用BiSTLM+CRF实体识别算法抽取数据的过程包括以下步骤：
首先通过BiSTLM中前向的LSTM与后向的LSTM相结合的方式充分获取字向量信息，完成整个序列信息的获取；然后把正向和反向两个方向计算的值同时输出，经过Softmax层时，经过softmax函数转换后，到达最终的CRF层，CRF将输出层面的关联性分离出来，并通过训练语料学习训练稳定的模型，并辅助规则配置，可以得到一些基于全局的约束信息，从而能够准确的识别出所需的非结构化数据，最后从源系统中完成所需数据的抽取及分类。
进一步地，所述OGG处理模块的具体工作流程包括以下步骤：
利用捕捉进程在源系统端读取在线日志或归档日志，进行解析，然后通过ETL处理模块提取其中数据的变化如增、删、改操作，并将相关信息清洗转换为自定义的中间格式存放在队列文件中，再利用传送进程将队列文件通过TCP/IP传送到目标系统；
捕捉进程在每次读完log中的数据变化并在数据传送到目标系统后，会写检查点，记录当前完成捕捉的log位置，检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续复制；目标系统接受数据变化并缓存到队列中，队列为一系列临时存储数据变化的文件，等待投递进程读取数据；应用进程从队列中读取数据变化并创建对应的SQL语句，通过数据库的本地接口执行，提交到数据库成功后更新自己的检查点，记录已经完成复制的位置。
进一步地，所述的源系统包括I6000系统、数据中台、统一权限管理平台。
进一步地，前台、后台的访问通过使用SG-UAP统一开发平台提供的RESTful请求方式实现。
进一步地，基于NLP+Elasticsearch技术实现数据的智能搜索的过程包括以下步骤：
首先将输入的搜索结果进行标签分析，将其分成短语+短语或者短语+实体属性的类型，然后通过NLP技术，进行用户意图分析，对标签数据进行分词、分句，并进行语义标签分析，用于查询实体的属性值，接下来应用Elasticsearch技术，根据当前规则重写搜索，匹配需要搜索的实体，并进行相关性、图关系搜索，搜索出与之相关的内容，然后按照优先搜索实体属性，次搜索短语的顺序，开展智能搜索查询，并将搜索的结果进行API封装，最后以知识卡片的形式输出用户想要的“答案”，实现数据的智能搜索。
进一步地，所述应用功能子单元包括信息化架构维护功能模块、信息化架构地图功能模块、信息计划架构管控功能模块、架构统计与分析功能模块；
信息化架构维护功能模块：用于业务、数据、应用、技术、安全架构资产维护、系统参数维护和审批流程配置；
信息化架构地图功能模块：用于业务域、业务职能、业务流程信息可视化架构展现，并分级展现查看架构关联关系，分级统计应用系统支撑业务职能情况、统计业务职能分布情况；
信息化架构管控功能模块：用于系统的统一管理；
架构统计与分析功能模块：用于将设计态系统、建设态系统和运行态系统进行统计，统计不同系统状态时期的架构数量、软硬件情况、里程碑进度情况，然后运用图形化插件ECharts，将统计结果进行可视化展示。
进一步地，所述信息化架构管控功能模块包括：管控组织子模块、管控审批子模块、管控查重子模块；
管控组织子模块，用于展示目前系统组织架构、岗位具体工作职责及负责人、系统清单、建设状态、架构遵从度；
管控审批子模块，用于将信息化项目管理过程中的可研、概设、测评、验收、后评估管控节点申请和审批工作迁移至线上，实现在线化流程管理；
管控查重子模块，对上传的可研、概设、详细设计材料，建设的功能、业务域、业务应用重复的系统进行查重。
一种面向信息化建设的架构管控设备，用于存储和/或运行所述的一种面向信息化建设的架构管控系统。
有益效果：
本发明采用基于NLP+Elasticsearch技术实现数据的智能搜索，不仅能够提高对不同源系统的搜索效率，而且搜索结果的准确性更高。本发明采用BiSTLM+CRF实体识别的算法抽取数据，也提高数据抽取的效率，提高整体的系统的工作效率。同时本发明采用智能搜索技术构建统一的搜索、分析、流程以及可视化服务，支撑信息化架构维护、架构地图、架构管控、架构统计与分析应用等技术，实现了数据架构、技术架构、系统应用架构上的配合，能够解决现有技术中不能对不同的源系统中的数据进行处理，从而导致的数据的提取效率低、利用效率低的问题，同时还能够解决现有技术中提取数据的冗余度高的问题。所以本发明不仅能够充分保证操作的便利性，而且能够保证前后台各自的工作效率，从而保证系统各个的模块各自的工作效率，进而能够保证各个模块之间的协同作用，提升系统的整体运行效率，同时还能够保证系统的稳定性。
利用本发明不仅能够实现无纸化办公，有利于减轻线下工作量；而且有利于进行系统、功能查重，减少系统、功能重复建设，节约公司资源；同时能够严格项目建设节点和流程，规范信息化项目建设；此外利用本发明可以明确公司信息系统家底，有利于后期信息化项目规划建设。
附图说明
图1为总体架构框架图；
图2为技术架构下各层级的结构关系示意图；
图3为实体识别算法结构示意图；
图4为知识智能搜索流程示意图；
图5为数据架构单元的处理结构示意图。
具体实施方式
本发明全面盘点公司各业务域信息系统现状，并结合公司现有需求和信息化建管要求，从业务、技术、数据、应用和安全五大架构来开展信息系统建设，其中业务、技术、数据、应用属于功能层面，安全属于非功能层面。总体架构如图1所示。
业务架构：基于业务发展和需求，定义符合公司发展和创新所要求的业务目标、业务职能、组织单元和业务流程等要素，为应用架构和数据架构提供关键输入窗口，体现结构化的业务剖析。
数据架构：根据业务架构和信息化需求，从跨组织、业务的视角定义企业级的数据组织和管理，包括覆盖数据处理、存储、转换、整合、分布的策略、模型和流程，描述公司数据资产的逻辑结构和数据管理资源等，体现规范化的数据建模。
应用架构：根据业务架构和信息化需求，定义业务应用以及业务应用所包含的自嵌套功能的集合，描述了功能的层级、交互和分布，表征业务架构所对应的自动化作业和分析逻辑，体现信息化的功能逻辑。
技术架构：定义支持应用架构、数据架构的信息技术实现。描述支撑应用架构和数据架构所需的软硬件逻辑能力，定义技术组件之间的关系以及技术组件与应用和数据的关系，为应用和数据提供一个可实现的基础平台；制订信息技术标准体系；根据企业或组织的需要定义安全能力和功能，在业务安全需求和信息安全需求之间建立联系，体现了标准化的技术支撑。
安全架构：基于信息化系统建设需求，定义了系统安全防护方面需要遵从国家电网公司信息安全防护总体框架体系，遵循国家信息系统安全等级保护要求和Q/GDW 1594—2014《国家电网公司管理信息系统安全防护技术要求》，制订了安全防护红线，体现信息化对安全的要求。
本发明面向信息化建设的架构管控系统基于国网云平台建设，依托云平台的ECS阿里云服务器、RDS关系型数据库、EDAS容器部署等公用组件，通过智能识别、ETL工具、SDK、WebService等多种技术形式将电网内部与外部、结构化与非结构化数据接入系统，采用智能搜索技术构建统一的搜索、分析、流程以及可视化服务，支撑信息化架构维护、架构地图、架构管控、架构统计与分析应用。各层级的具体描述如图2所示。
为了详细说明本发明的内在处理逻辑和工作流程，下面对本发明进行具体说明，在说明过程中主要针对本发明的重点内容和对现有技术改进的内容进行详细说明。
具体实施方式一：
本实施方式为一种面向信息化建设的架构管控系统，所述系统包括三个层级，数据层、分析层、应用层分别对应图2中的数据接入单元、分析服务单元和应用管控单元；
所述系统在技术架构上采用前后台分离开发、后台接口化、前台模块化等方式体现微服务应用、信息化架构地图功能模块，为后续系统微服务化做好平滑过渡准备：
前后台分离开发，单独部署；前台采用Web服务器(Nginx)部署运行(知识智能搜索模块、信息化架构维护功能模块、信息化架构地图功能模块、信息化架构管控功能模块、架构统计与分析功能模块)，后台使用中间件服务器(Tomcat)部署运行(智能识别数据接入模块、ETL处理模块、OGG处理模块、国网云平台子单元)；
后台接口化：采用SG-UAP3.1.8开发平台，将后台服务接口化；
前台模块化：采用VUE前台开发框架，结合CSS3技术实现；
前后台访问使用SG-UAP统一开发平台提供的RESTful请求方式实现。
这样不仅能够充分保证操作的便利性，而且能够保证前后台各自的工作效率，从而保证系统各模块各自的工作效率，进而能够保证各模块之间的协同作用，提升系统的整体运行效率，同时还能够保证系统的稳定性。
数据层在数据架构上以云平台为基础，依托MySQL、Redis等支撑，通过智能识别识别多种类别的实体，通过ETL、OGG、NLP模型与规则相结合的方式将I6000系统、数据中台、统一权限管理平台等源系统中的数据抽取到数据中心，数据中心对抽取到的非结构化实体数据进行解构、清洗、转换和关联后，转化为结构化知识模型，并将其他的结构化数据形成知识串联成网，形成知识体系。数据架构图如图5所示。所述的源系统包括但不限于I6000系统、数据中台、统一权限管理平台，其还可以包括SG-ISC、SG-IRS等。
数据层包括智能识别数据接入模块、ETL处理模块、OGG处理模块；
智能识别数据接入模块：采用BiSTLM+CRF实体识别的算法抽取数据，首先通过前向的LSTM(长短期记忆网络)与后向的LSTM相结合的方式(形成BiSTLM)充分获取字向量信息，完成整个序列信息的获取，然后把正向和反向两个方向计算的值同时输出，经过Softmax层时，经过softmax函数转换后，到达最终的CRF层，CRF将输出层面的关联性分离出来，并通过训练语料学习训练稳定的模型，并辅助规则配置，可以得到一些基于全局的约束信息，从而能够准确的识别出所需的非结构化数据，最后从I6000系统、SG-ISC、SG-IRS(该系统为公知的)、数据中台等源系统中完成所需数据的抽取及分类，以供后期应用。实体识别算法结构图如图3所示。能识别数据接入模块实际上是数据层这个层级中的一种能力，用于实现数据识别并完成数据抽取。
ETL处理模块：ETL是一种数据仓库技术，能够按照一定的标准要求将I6000系统、SG-ISC、SG-IRS、数据中台等源系统中的数据抽取至目标数据库中，再对不完整数据、错误数据、重复数据进行清洗，清洗完成后，再将不一致数据、不同粒度数据、不同规则数据进行统一转换，完成数据整合后将其加载至数据仓库，实现分散、凌乱、标准不统一数据的有机整合。
OGG处理模块：OGG是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。可以利用捕捉进程在源系统端读取在线日志或归档日志，进行解析，然后通过ETL处理模块提取其中数据的变化如增、删、改操作，并将相关信息清洗转换为自定义的中间格式存放在队列文件中，再利用传送进程将队列文件通过TCP/IP传送到目标系统。捕捉进程在每次读完log中的数据变化并在数据传送到目标系统后，会写检查点，记录当前完成捕捉的log位置，检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续复制；目标系统接受数据变化并缓存到队列中，队列为一系列临时存储数据变化的文件，等待投递进程读取数据；应用进程从队列中读取数据变化并创建对应的SQL语句，通过数据库的本地接口执行，提交到数据库成功后更新自己的检查点，记录已经完成复制的位置。OGG还可以在异构的IT基础结构包括几乎所有常用操作系统平台和数据库平台之间实现大量数据亚秒一级的实时复制，从而可以更好的满足企业海量结构化数据的接入需求。
分析层包括知识智能搜索模块，所述知识智能搜索模块用于提供服务搜索、分析、可视化相关服务组件。
知识智能搜索模块基于NLP+Elasticsearch技术实现数据的智能搜索，如图4所示，首先将输入的搜索结果进行标签分析，将其分成短语+短语或者短语+实体属性的类型，然后通过NLP技术，进行用户意图分析，对标签数据进行分词、分句，并进行语义标签分析，用于查询实体的属性值，接下来应用Elasticsearch技术，根据当前规则重写搜索，匹配需要搜索的实体，并进行相关性、图关系搜索，搜索出与之相关的内容，然后按照优先搜索实体属性，次搜索短语的顺序，开展智能搜索查询，并将搜索的结果进行API封装，最后以知识卡片的形式输出用户想要的“答案”，实现数据的智能搜索。
应用层在系统应用架构上分为国网云平台子单元和应用功能子单元。国网云平台子单元通过云平台的服务网关组件，提供统一应用服务；应用功能子单元通过云平台数据存储、计算、服务等组件功能，提供应用层架构维护、架构地图展示、视图下钻、视图返回，查看架构遵从度分析、差异化分析、对比分析，统计架构资产信息，在线管理信息化项目架构的申请、评审、查重等功能。
应用功能子单元主要包括信息化架构维护功能模块、信息化架构地图功能模块、信息计划架构管控功能模块、架构统计与分析功能模块；
信息化架构维护功能模块：主要用于业务、数据、应用、技术、安全架构资产维护、系统参数维护和审批流程配置。能够维护系统架构信息，和配置系统运行、系统初始化、功能维护所需要的基础数据参数及审批流程，其可以为供用户进行信息维护的功能。
信息化架构地图功能模块：主要用于业务域、业务职能、业务流程等信息可视化架构展现，并分级展现查看架构(业务架构、应用架构、技术架构、数据架构、安全架构)关联关系，分级统计应用系统支撑业务职能情况、统计业务职能分布情况等。
信息化架构管控功能模块：主要用于系统的统一管理，具体包括：管控组织、管控审批、管控查重子模块。
管控组织子模块，用于展示目前系统组织架构、岗位具体工作职责及负责人、系统清单、建设状态、架构遵从度等。
管控审批子模块，用于将信息化项目管理过程中的可研、概设、测评、验收、后评估等管控节点申请和审批工作迁移至线上，实现在线化流程管理。需求提报部门提交可研报告后，信息化项目管理人员将其上传至架构管控工具中，然后组织专家组进行线上评审、线上批示，同时需求提报部门根据意见组织修改完善，待评审专家组可研评审通过后，将流程提交至项目管理人员，经审核通过后才能立项，并进行项目建设。项目建设过程中，进行概设评审，管理人员审批通过后流转至测评环节，项目建设完成后，提交验收申请，信息化管理部门组织进行项目验收，验收完成才能进行线上流程审批，最后流转至后评估环节，完成整个项目建设。
管控查重子模块，对上传的可研、概设、详细设计等材料，建设的功能、业务域、业务应用重复的系统进行查重。
架构统计与分析功能模块：主要用于将设计态系统、建设态系统和运行态系统进行统计，统计不同系统状态时期的架构数量、软硬件情况、里程碑进度情况等，然后运用图形化插件ECharts，将统计结果进行可视化展示。该过程按照现有技术处理即可，信息化架构维护和统计分析功能是电力系统中信息化软件的基础功能，很多系统上都有，所以该模块和应用功能子单元的其他模块采用现有技术实现即可。
具体实施方式二：
本实施方式为一种面向信息化建设的架构管控设备，所述设备用于存储和/或运行所述的一种面向信息化建设的架构管控系统。
本实施方式所述设备包括但不限于用于存储所述的一种面向信息化建设的架构管控系统的硬盘等存储设备、用于存储和/或运行所述的一种面向信息化建设的架构管控系统的PC机、工作站、移动端等设备。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (10)
1.一种面向信息化建设的架构管控系统，其特征在于，所述系统包括数据层、分析层和应用层；
所述系统在技术架构上采用前后台分离开发、后台接口化、前台模块化方式体现微服务应用；前台采用Web服务器部署运行，后台采用中间件服务器部署运行；
数据层用于将源系统中的数据抽取到数据中心，数据中心对抽取到的非结构化实体数据进行解构、清洗、转换和关联后，转化为结构化知识模型，并将其他的结构化数据形成知识串联成网，形成知识体系；
分析层包括知识智能搜索模块，所述知识智能搜索模块用于提供服务搜索、分析、可视化相关服务组件；知识智能搜索模块基于NLP+Elasticsearch技术实现数据的智能搜索；
应用层包括应用功能子单元，应用功能子单元通过云平台数据存储、计算、服务组件功能，提供应用层架构维护、架构地图展示、视图下钻、视图返回，查看架构遵从度分析、差异化分析、对比分析，统计架构资产信息，在线管理信息化项目架构的申请、评审、查重功能。
2.根据权利要求1所述的一种面向信息化建设的架构管控系统，其特征在于，所述数据层包括智能识别数据接入模块、ETL处理模块、OGG处理模块；
智能识别数据接入模块：采用BiSTLM+CRF实体识别算法抽取数据；
ETL处理模块：基于ETL技术按照要求将源系统中的数据抽取至目标数据库中，再对不完整数据、错误数据、重复数据进行清洗，清洗完成后，再将不一致数据、不同粒度数据、不同规则数据进行统一转换，完成数据整合后将其加载至数据仓库，实现分散、凌乱、标准不统一数据的整合；所述ETL是一种数据仓库技术；
OGG处理模块：基于OGG解析源数据库在线日志或归档日志获得数据的增量变化，再将所述增量变化应用到目标数据库，从而实现源数据库与目标数据库同步；OGG是一种基于日志的结构化数据复制软件。
3.根据权利要求2所述的一种面向信息化建设的架构管控系统，其特征在于，所述智能识别数据接入模块采用BiSTLM+CRF实体识别算法抽取数据的过程包括以下步骤：
首先通过BiSTLM中前向的LSTM与后向的LSTM相结合的方式充分获取字向量信息，完成整个序列信息的获取；然后把正向和反向两个方向计算的值同时输出，经过Softmax层时，经过softmax函数转换后，到达最终的CRF层，CRF将输出层面的关联性分离出来，并通过训练语料学习训练稳定的模型，并辅助规则配置，可以得到一些基于全局的约束信息，从而能够准确的识别出所需的非结构化数据，最后从源系统中完成所需数据的抽取及分类。
4.根据权利要求3所述的一种面向信息化建设的架构管控系统，其特征在于，所述OGG处理模块的具体工作流程包括以下步骤：
利用捕捉进程在源系统端读取在线日志或归档日志，进行解析，然后通过ETL处理模块提取其中数据的变化如增、删、改操作，并将相关信息清洗转换为自定义的中间格式存放在队列文件中，再利用传送进程将队列文件通过TCP/IP传送到目标系统；
捕捉进程在每次读完log中的数据变化并在数据传送到目标系统后，会写检查点，记录当前完成捕捉的log位置，检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续复制；目标系统接受数据变化并缓存到队列中，队列为一系列临时存储数据变化的文件，等待投递进程读取数据；应用进程从队列中读取数据变化并创建对应的SQL语句，通过数据库的本地接口执行，提交到数据库成功后更新自己的检查点，记录已经完成复制的位置。
5.根据权利要求4所述的一种面向信息化建设的架构管控系统，其特征在于，所述的源系统包括I6000系统、数据中台、统一权限管理平台。
6.根据权利要求5所述的一种面向信息化建设的架构管控系统，其特征在于，前台、后台的访问通过使用SG-UAP统一开发平台提供的RESTful请求方式实现。
7.根据权利要求1至6之一所述的一种面向信息化建设的架构管控系统，其特征在于，基于NLP+Elasticsearch技术实现数据的智能搜索的过程包括以下步骤：
首先将输入的搜索结果进行标签分析，将其分成短语+短语或者短语+实体属性的类型，然后通过NLP技术，进行用户意图分析，对标签数据进行分词、分句，并进行语义标签分析，用于查询实体的属性值，接下来应用Elasticsearch技术，根据当前规则重写搜索，匹配需要搜索的实体，并进行相关性、图关系搜索，搜索出与之相关的内容，然后按照优先搜索实体属性，次搜索短语的顺序，开展智能搜索查询，并将搜索的结果进行API封装，最后以知识卡片的形式输出用户想要的“答案”，实现数据的智能搜索。
8.根据权利要求7所述的一种面向信息化建设的架构管控系统，其特征在于，所述应用功能子单元包括信息化架构维护功能模块、信息化架构地图功能模块、信息计划架构管控功能模块、架构统计与分析功能模块；
信息化架构维护功能模块：用于业务、数据、应用、技术、安全架构资产维护、系统参数维护和审批流程配置；
信息化架构地图功能模块：用于业务域、业务职能、业务流程信息可视化架构展现，并分级展现查看架构关联关系，分级统计应用系统支撑业务职能情况、统计业务职能分布情况；
信息化架构管控功能模块：用于系统的统一管理；
架构统计与分析功能模块：用于将设计态系统、建设态系统和运行态系统进行统计，统计不同系统状态时期的架构数量、软硬件情况、里程碑进度情况，然后运用图形化插件ECharts，将统计结果进行可视化展示。
9.根据权利要求8所述的一种面向信息化建设的架构管控系统，其特征在于，所述信息化架构管控功能模块包括：管控组织子模块、管控审批子模块、管控查重子模块；
管控组织子模块，用于展示目前系统组织架构、岗位具体工作职责及负责人、系统清单、建设状态、架构遵从度；
管控审批子模块，用于将信息化项目管理过程中的可研、概设、测评、验收、后评估管控节点申请和审批工作迁移至线上，实现在线化流程管理；
管控查重子模块，对上传的可研、概设、详细设计材料，建设的功能、业务域、业务应用重复的系统进行查重。
10.一种面向信息化建设的架构管控设备，其特征在于，所述设备用于存储和/或运行权利要求1至9之一所述的一种面向信息化建设的架构管控系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110271287.1A CN112905685B (zh) | 2021-03-12 | 2021-03-12 | 一种面向信息化建设的架构管控系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110271287.1A CN112905685B (zh) | 2021-03-12 | 2021-03-12 | 一种面向信息化建设的架构管控系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112905685A CN112905685A (zh) | 2021-06-04 |
| CN112905685B true CN112905685B (zh) | 2023-11-28 |
Family
ID=76104939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110271287.1A Active CN112905685B (zh) | 2021-03-12 | 2021-03-12 | 一种面向信息化建设的架构管控系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112905685B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256264A (zh) * | 2021-06-07 | 2021-08-13 | 国网安徽省电力有限公司 | 架构全流程管控的管理系统、方法、设备及可读存储介质 |
| CN113452790A (zh) * | 2021-06-29 | 2021-09-28 | 国家电网有限公司大数据中心 | 基于数据中台的大数据应用共享平台 |
| CN113706101B (zh) * | 2021-08-24 | 2023-08-18 | 国家电网有限公司 | 电网项目管理智能系统架构及方法 |
| CN113987185A (zh) * | 2021-11-03 | 2022-01-28 | 国网天津市电力公司 | 面向国网云架构的html数据的自动分类方法 |
| CN114493535B (zh) * | 2022-01-28 | 2022-09-06 | 北京乐开科技有限责任公司 | 一种基于资产模型的数据驱动用数据中台系统 |
| CN115481158B (zh) * | 2022-09-22 | 2023-05-30 | 北京泰策科技有限公司 | 一种数据分布式缓存自动加载与转换方法 |
| CN116628284B (zh) * | 2023-07-19 | 2023-10-20 | 益企商旅(山东)科技服务有限公司 | 一种基于记忆网络的客户信息管理方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010139167A1 (zh) * | 2009-06-05 | 2010-12-09 | 深圳市脑库计算机系统有限公司 | 用于政务商务决策的专家支持应用系统平台及其建构方法 |
| CN109189752A (zh) * | 2018-10-12 | 2019-01-11 | 国网山东省电力公司电力科学研究院 | 基于智能检索技术的电力营销知识库系统 |
| CN112102111A (zh) * | 2020-09-27 | 2020-12-18 | 华电福新广州能源有限公司 | 一种发电厂数据智能处理系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150095303A1 (en) * | 2013-09-27 | 2015-04-02 | Futurewei Technologies, Inc. | Knowledge Graph Generator Enabled by Diagonal Search |
-
2021
- 2021-03-12 CN CN202110271287.1A patent/CN112905685B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010139167A1 (zh) * | 2009-06-05 | 2010-12-09 | 深圳市脑库计算机系统有限公司 | 用于政务商务决策的专家支持应用系统平台及其建构方法 |
| CN109189752A (zh) * | 2018-10-12 | 2019-01-11 | 国网山东省电力公司电力科学研究院 | 基于智能检索技术的电力营销知识库系统 |
| CN112102111A (zh) * | 2020-09-27 | 2020-12-18 | 华电福新广州能源有限公司 | 一种发电厂数据智能处理系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于大数据技术的电力全业务数据运营管理平台研究;江樱;黄慧;卢文达;骆伟艺;;自动化技术与应用(09);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112905685A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112905685B (zh) | 一种面向信息化建设的架构管控系统及设备 | |
| CN106296378B (zh) | 基于xbrl的智能财务云平台系统、构建方法及业务实现方法 | |
| US20150339369A1 (en) | Generating partitioned hierarchical groups based on data sets for business intelligence data models | |
| CN107256247A (zh) | 大数据数据治理方法和装置 | |
| CN103473672A (zh) | 企业级数据中心的元数据质量稽核系统、方法及平台 | |
| CN103825755A (zh) | 电力二次系统的建模方法与系统 | |
| CN112241402A (zh) | 一种空管数据供应链系统及数据治理方法 | |
| CN112651218A (zh) | 一种标书自动生成方法、管理方法、介质以及计算机 | |
| CN104899143A (zh) | 提供数据挖掘的软件同行评审系统实现装置 | |
| Bodas-Sagi et al. | Using GDELT data to evaluate the confidence on the spanish government energy policy | |
| CN111859969A (zh) | 数据分析方法及装置、电子设备、存储介质 | |
| CN114880405A (zh) | 一种基于数据湖的数据处理方法及系统 | |
| AU2012244271B2 (en) | Associative memory-based project management system | |
| CN112817958A (zh) | 电力规划数据采集方法、装置及智能终端 | |
| CN116383193A (zh) | 一种数据管理方法、装置、电子设备和存储介质 | |
| CN110597796B (zh) | 基于全生命周期的大数据实时建模方法及系统 | |
| CN115270947A (zh) | 标准化能效服务模型构建方法、系统、终端及存储介质 | |
| CN112380264A (zh) | 一种基于个人全生命周期的政策解析和匹配的方法及装置 | |
| Wang | RETRACTED: Research on Big Data Integration Method for Investment Statistics Based on Artificial Intelligence Technology | |
| CN113868322B (zh) | 一种语义结构解析方法、装置、设备及虚拟化系统、介质 | |
| Xing et al. | Study on the Impact of Big Data Technology on the Audit and its Application | |
| Wang et al. | An intelligent DevOps platform research and design based on machine learning | |
| CN113377746B (zh) | 一种试验报告数据库构建和智能诊断分析系统 | |
| Wang et al. | Research on Intelligent Power Marketing Inspection Model Based on Knowledge Graph | |
| Yin | Design and Implementation of Accounting Information System Based on Decision Tree Classification Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |