CN107273515A - 基于多形态数据索引技术的电网数据资产资源检索及展示 - Google Patents

基于多形态数据索引技术的电网数据资产资源检索及展示 Download PDF

Info

Publication number
CN107273515A
CN107273515A CN201710477185.9A CN201710477185A CN107273515A CN 107273515 A CN107273515 A CN 107273515A CN 201710477185 A CN201710477185 A CN 201710477185A CN 107273515 A CN107273515 A CN 107273515A
Authority
CN
China
Prior art keywords
data
electric network
retrieval
assets
network data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710477185.9A
Other languages
English (en)
Inventor
刘世民
朱继阳
刘海波
任春雷
郭立勇
范秉旭
肖海龙
刘春宇
高敏
袁野
王�华
张梦梦
吴小锋
刘阜阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
East Inner Mongolia Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
East Inner Mongolia Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, East Inner Mongolia Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201710477185.9A priority Critical patent/CN107273515A/zh
Publication of CN107273515A publication Critical patent/CN107273515A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results

Abstract

本发明涉及一种基于多形态数据索引技术的电网数据资产资源检索及展示,所述基于多形态数据索引的电网数据资产资源检索及展示包括以下步骤:(1)开展电网数据资产资源梳理,形成电网数据资产台账手册;(2)制定电网数据资产检索的概念数据模型和逻辑数据模型;(3)确定电网数据资产资源检索方式;(4)完成电网数据资产检索功能设计;(5)进行电网数据资产界面设计,功能展示。

Description

基于多形态数据索引技术的电网数据资产资源检索及展示
技术领域
本发明涉及一种基于多形态数据索引技术的电网数据资产资源检索及展示。
背景技术
伴随着大数据时代的悄然来临,对数据的重视提到了前所未有的高度。套上大数据的光环后,原本那些存放在服务器上平淡无奇的陈年旧数一夜之间身价倍增。按照世界经济论坛报告的看法,“大数据为新财富,价值堪比石油”。大数据之父维克托则乐观预测,数据列入企业资产负债表只是时间问题。但是,数据和资产不能直接划上等,在获得高度重视的同时,很多企业对数据资产的看法陷入误区。事实上,数据有可能成为资产,但不是所有数据都能具备资产的属性。比如石油,在工业化时代来临前的很长一段时间里,也只是一种无用的黑色液体。数据是信息的载体,具有可控、增值等潜在特征,如何把公司数据有效的转化为公司“资产”进行规范化管理,已经成为衡量一个企业是否为现代化企业的必要条件。
同时,随着电网企业经营业务发展及信息化水平的不断提高,亟需通过高效管理、分析和利用不断产生的各类海量业务数据,深入挖掘数据资产价值。通过实现数据资产化的管理是提高数据共享应用、数据质量管控,促进运营的整体提升的重要前提。实现电网企业数据资产化管理,更有利于提升数据的价值,实现数据转换为智慧。
发明内容
本发明的目的在于提供一种基于多形态数据索引技术的电网数据资产资源检索及展示法,本发明所采用的技术方案是:本发明的基于多形态数据索引技术的电网数据资产资源检索及展示包括以下步骤:
(1)开展电网数据资产资源梳理,形成电网数据资产台账手册;
(2)制定电网数据资产检索的概念数据模型和逻辑数据模型;
(3)确定电网数据资产资源检索方式;
(4)完成电网数据资产检索功能设计
(5)进行电网数据资产界面设计,功能展示。
步骤(1)中,所述电网数据资产资源梳理方法包括:明确梳理范围、设计梳理模板、开展数据资源梳理、梳理结果审核确认四个过程。
步骤(3)中,所述数据资产资源检索方式为基于多形态索引的数据资产资源检索;主要为以SOLR搜索引擎为基础开展多形态数据资产索引技术建设,实现多源数据资产的智能索引。
步骤(4)中,完成的数据资产资源检索功能设计包括数据搜索引擎、数据搜索快照、我的搜索痕迹、搜索关联推荐、访问权限控制5个功能模块设计。
步骤(5)中,数据资产界面展示实现数据资产分类展现,全面剖析公司数据资产分布情况,及时有效监控数据资源使用情况。
本发明的有益效果如下:
强化数据资产管理意识:数据是企业重要的无形资产,通过将企业核心的数据纳入无形资产管理范畴,使公司决策层、管理层、操作层充分认识数据资产的价值,从而加强企业数据资产管理,促进公司将数据作为重要的资产加以开发和运营。
稳固公司基层管理根基:地市、县公司等基层单位既是公司业务的执行层,也是公司数据资产产生的源头。其数据资产是基层单位运营状况的客观量化记录,通过强化基层单位执行过程中数据的核查、分析与利用,可及时发现和纠错工作偏差,真正了解基层业务实际,推动公司管理末梢水平的提升,推动公司政策管理向一线倾斜。
加快公司精益化管理模式转型:公司决策需要掌握全面、真实、有效的数据与信息,通过对数据进行资产化管理,并基于公司运营数据进行全局性、跨专业的企业级综合数据分析,可及时研判公司运营中的规律性、趋势性信息,促进公司管理模式由“业务驱动”向“数据驱动”转变,充分发掘和利用数据资产价值,找出公司运营、管理过程中的薄弱点,加快公司精益化管理模式转型。
推动公司信息化价值提升:当前,随着公司“三集五大”管理体系和信息化建设的推进,信息系统已融入公司生产经营管理的方方面面,积累并正在生成大量的电网运营数据,已具备开展公司数据资产管理的基础。但数据的重要性还未得到凸显,仍存在重建设,轻应用、重系统、轻数据的问题。加强公司数据资产管理,规范数据的产生、共享和质量管理,带动业务管理深化、系统建设实用化和数据应用价值提升,推动公司信息核心架构演进,引导从产生数据向数据综合分析与利用、从无序到有序,从分散到整合、从不可用到高效利用的变革,实现对公司信息化投资价值更高层次的激活与应用。
促进公司智能电网建设:智能电网建设能够实现电网资产高效利用和全寿命周期管理、实现电网管理信息化和精益化以及实现电力用户与电网之间的便捷互动等多方面意义,而实现这些的基础是信息和数据,因此只有将电网运行和管理的数据资源进行资产化管理,提高企业数据共享交换范围和效率,才能真正满足智能电网建设和发展要求。
提升公司运营效率和效益:数据是公司运营分析和有效管理的核心资源,将数据进行资产化并进行有效管理,是后续数据分析、挖掘的基础,通过数据的分析挖掘可有效发现公司生产、运行及管理过程规律,为公司做出有效决策提供有利依据,因此通过数据资产化管理有利于提升企业运营效率和效益。
推进公司大数据发展:大数据时代的生产原材料是数据,生产工具则是大数据技术,是对信息时代所产生的海量数据的挖掘和分析。在数据资产化的过程中,可使企业对数据价值进行充分评估和应用,使数据价值体现最大化,从而进一步促进公司大数据的发展。
实现对电网数据资产资源的全局搜索,使用户能够更为方便快捷的查询企业现有数据资产情况,支撑企业数据资产化管理级数据资产应用构建。
附图说明
图1是概念数据模型
图2是本发明的数据资产资源检索及展示总体流程图。
图3是本发明的企业数据资产资源梳理流程图。
具体实施方式
以下结合附图的具体实施例对本发明进一步说明.(但不是对本发明的限制)。
本发明的基于多形态数据索引技术的电网数据资产资源检索及展示的方法包括以下步骤:
(1)开展电网数据资产资源梳理,形成电网数据资产台账手册;
(2)制定电网数据资产检索的概念数据模型和逻辑数据模型;
(3)确定电网数据资产资源检索方式;
(4)完成电网数据资产检索功能设计
(5)进行电网数据资产界面设计,功能展示。
步骤(1)中,所述电网数据资产资源梳理方法包括:明确梳理范围、设计梳理模板、开展数据资源梳理、梳理结果审核确认四个过程。
步骤(3)中,所述数据资产资源检索方式为基于多形态索引的数据资产资源检索;主要为以SOLR搜索引擎为基础开展多形态数据资产索引技术建设,实现多源数据资产的智能索引。
步骤(4)中,完成的数据资产资源检索功能设计包括数据搜索引擎、数据搜索快照、我的搜索痕迹、搜索关联推荐、访问权限控制5个功能模块设计。
步骤(5)中,数据资产界面展示实现数据资产分类展现,全面剖析公司数据资产分布情况,及时有效监控数据资源使用情况。
由上述技术方案可知,本发明结合数据索引技术,构建数据资源索引库,提供数据资源的检索功能,实现搜索结果的统一展示。实现对企业数据资产的全文搜索,支撑企业数据资产化管理,提升企业运营效率和效益。
基于多种形态数据的综合索引技术,实现数据资产多源数据的智能索引,其总体流程图见附图1。
1、企业数据资产资源梳理的流程图见附图2,具体过程如下:
数据资产资源梳理是数据资产资源检索及展示的基础工作,梳理对象为企业各业务系统的数据资产。通过梳理形成统一的企业级数据资产资源手册,为企业数据资产“一本帐”的管理模式奠定基础,达到公司对数据资产的可知、可看、可查、可管的目的。
(1)明确梳理范围
根据企业各业务系统数据现状,全面梳理覆盖公司所有信息系统数据字典和数据资源。数据资产资源梳理可遵循先利用率高后利用率低的原则,通过循序渐进的方式逐步开展数据资产资源梳理工作。数据资产梳理范围要覆盖企业各类信息化系统、包括结构化、非结构化、地理信息等各个类型的数据中心。
(2)设计梳理模板
结合企业对数据资产管理元素要求,明确数据资产梳理对象、属性和关联关系,设计覆盖公司数据资产管理各个元素的梳理模板。数据资产梳理内容具体包括业务系统数据字典和数据资源,其中业务系统数据字典梳理包括数据库信息、物理实体信息及实体属性信息;数据资源梳理包括指标资源信息(包括基础及应用信息、物理实体存储信息)、明细资源信息(包括基础信息、应用信息)和数据接口资源信息。
(3)开展数据资源梳理
组织相关业务部门、业务系统建设运维厂商等召开数据资产管理工作启动会,部署数据资产梳理相关工作要求、工作职责及工作计划。根据数据资源梳理模板,开展数据资源梳理工作。
(4)梳理结果审核确认
对数据资产管理梳理情况进行归集整理,并将归集整理后的数据资源(如统计口径、计算方法、数据解释等)交由业务部门负责审核确认,将归集整理后的数据字典(如物理存储位置、技术实现方式、数据格式等)由信息部门负责审核确认。
2、确定企业数据资产资源概念数据模型及逻辑数据模型
根据企业数据资产资源梳理结果,进行概念数据模型及逻辑数据模型的构建。
3、确定数据资产资源检索方式
随着公司信息化建设步伐的加快,以计算机存储设备为载体的电子信息愈来愈多,产生了以传统结构化数据、非结构化数据、海量历史数据及GIS空间数据等四类数据。这些信息数据量大、存储结构多样、实时性高。分析、处理、关联这些数据是本项目的关键。传统的全文检索技术,难以支持大数据量、跨数据源的加载和检索。另一方面,基于实现的搜索引擎具有高级的全文搜索功能、专为高通量的网络流量进行的优化、基于开放接口的标准、综合的管理界面、可伸缩性-能够有效地复制到另外一个搜索服务器、使用配置达到灵活性和适配性、可扩展的插件体系等特性。因此,以开源企业搜索引擎SOLR为基础,建立多种形态数据的综合索引,在数据资产管理平台中实现多源数据的智能索引。检索的流程主要为以下内容:
1) 第一步:搜索引擎规划设计:定制好业务模型;定制好索引结构;定制好搜索策略;配置文件;
2) 第二步:搜索引擎配置:
根据搜索引擎的规划,配置文件;
3) 第三步:构建索引并定时更新索引:
通过调用索引接口进行索引的构建与更新;
4) 第三步:搜索:
通过调用搜索接口进行搜索。
4、完成数据资产检索功能设计
描述
支持对企业数据资产的统一搜索,支持搜索结果快照展现,实现对搜索的内容进行缓存处理,支持对搜索的关键词用亮色进行显示,支持对搜索的相关度及排名等级,根据关联度高低,按顺序将相关数据链接返回给用户,支持对搜索结果的权限控制。
1)数据资产搜索引擎,分词和索引方面,采用多重分词引擎,进行交叉索引,支持多维度检索。结果排序方面,采用可插件化的积分排序算法,检索结果可以根据用户访问的情况自动更新和完善,不断优化搜索结果。性能方面,对水平扩展提供良好的支持,提供高并发的能力和高效的检索效率。
2)数据资产搜索快照,支持用户将搜索到的页面作为快照保存到本地,并提供快照查询和导出PDF的功能。
3)我的搜索痕迹,保存用户搜索的历史,用户可以查询到自己搜索过的历史记录。
4)搜索关联推荐,支持基于内容关联推荐,根据用户过去的搜索记录来向用户推荐用户没有接触过的推荐项,支持对搜索的数据进行相关度排名,根据关联度高低,按顺序将相关数据链接推荐给用户。
5)访问权限控制,提供完善的数据资产级别的权限控制,结果检索、搜索快照、关联推荐等功能,在查看搜索结果时,对敏感数据资产的详细查看,通过授予权限控制用户对敏感数据访问,支持基于用户,群组,角色多层面的控制访问设置,保证公司数据资产访问的保密性和安全性。
5、进行数据资产界面设计,功能展示
通过步骤4所设计的数据资产检索功能,设计数据资产资源展示布局,配置数据资产资源展示方式,实现数据资产分类展现,全面剖析公司数据资产分布情况,及时有效监控数据资源使用情况。授权用户可通过数据资产检索功能,实现对基础数据的全局检索、各类资源关联分析、数据活跃度分析等,为不同层级的管理人员提供数据资源“驾驶舱”导航管理。

Claims (1)

1.基于多形态数据索引的电网数据资产资源检索及展示,其特征在于,所述基于多形态数据索引的电网数据资产资源检索及展示包括以下步骤:
(1)开展电网数据资产资源梳理,形成电网数据资产台账手册;
(2)制定电网数据资产检索的概念数据模型和逻辑数据模型;
(3)确定电网数据资产资源检索方式;
(4)完成电网数据资产检索功能设计
(5)进行电网数据资产界面设计,功能展示;
步骤(1)中,所述电网数据资产资源梳理方法包括:明确梳理范围、设计梳理模板、开展数据资源梳理、梳理结果审核确认四个过程;
步骤(3)中,所述数据资产资源检索方式为基于多形态索引的数据资产资源检索;主要为以SOLR搜索引擎为基础开展多形态数据资产索引技术建设,实现多源数据资产的智能索引;
步骤(4)中,完成的数据资产资源检索功能设计包括数据搜索引擎、数据搜索快照、我的搜索痕迹、搜索关联推荐、访问权限控制5个功能模块设计;
步骤(5)中,数据资产界面展示实现数据资产分类展现,全面剖析公司数据资产分布情况,及时有效监控数据资源使用情况。
CN201710477185.9A 2017-06-21 2017-06-21 基于多形态数据索引技术的电网数据资产资源检索及展示 Pending CN107273515A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710477185.9A CN107273515A (zh) 2017-06-21 2017-06-21 基于多形态数据索引技术的电网数据资产资源检索及展示

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710477185.9A CN107273515A (zh) 2017-06-21 2017-06-21 基于多形态数据索引技术的电网数据资产资源检索及展示

Publications (1)

Publication Number Publication Date
CN107273515A true CN107273515A (zh) 2017-10-20

Family

ID=60068942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710477185.9A Pending CN107273515A (zh) 2017-06-21 2017-06-21 基于多形态数据索引技术的电网数据资产资源检索及展示

Country Status (1)

Country Link
CN (1) CN107273515A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734226A (zh) * 2021-01-08 2021-04-30 国家电网有限公司客户服务中心 一种电力客服业务的数据资产管理方法
CN113240398A (zh) * 2021-05-25 2021-08-10 国网山西省电力公司信息通信分公司 一种基于大数据的电网数据资产管理系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789006A (zh) * 2010-01-29 2010-07-28 华东电网有限公司 基于智能搜索的电网企业信息集成系统的快速检索方法
CN102426609A (zh) * 2011-12-28 2012-04-25 厦门市美亚柏科信息股份有限公司 一种基于MapReduce编程架构的索引生成方法和装置
CN102685566A (zh) * 2012-05-28 2012-09-19 北京网尚数字电影院线有限公司 一种音视频节目推荐方法
CN103136286A (zh) * 2011-12-05 2013-06-05 上海特易信息科技有限公司 一种分布式搜索的架构
US20150120695A1 (en) * 2013-10-31 2015-04-30 Tata Consultancy Services Limited Indexing of file in a hadoop cluster
CN104796290A (zh) * 2015-04-24 2015-07-22 广东电网有限责任公司信息中心 一种数据安全管控方法及平台
CN105574079A (zh) * 2015-12-07 2016-05-11 安徽继远软件有限公司 一种企业数据资产的全景展示方法
CN106598964A (zh) * 2015-10-14 2017-04-26 阿里巴巴集团控股有限公司 页面加载方法及装置
CN106844755A (zh) * 2017-02-17 2017-06-13 山东浪潮商用系统有限公司 一种基于搜索引擎的数据资产快速检索方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789006A (zh) * 2010-01-29 2010-07-28 华东电网有限公司 基于智能搜索的电网企业信息集成系统的快速检索方法
CN103136286A (zh) * 2011-12-05 2013-06-05 上海特易信息科技有限公司 一种分布式搜索的架构
CN102426609A (zh) * 2011-12-28 2012-04-25 厦门市美亚柏科信息股份有限公司 一种基于MapReduce编程架构的索引生成方法和装置
CN102685566A (zh) * 2012-05-28 2012-09-19 北京网尚数字电影院线有限公司 一种音视频节目推荐方法
US20150120695A1 (en) * 2013-10-31 2015-04-30 Tata Consultancy Services Limited Indexing of file in a hadoop cluster
CN104796290A (zh) * 2015-04-24 2015-07-22 广东电网有限责任公司信息中心 一种数据安全管控方法及平台
CN106598964A (zh) * 2015-10-14 2017-04-26 阿里巴巴集团控股有限公司 页面加载方法及装置
CN105574079A (zh) * 2015-12-07 2016-05-11 安徽继远软件有限公司 一种企业数据资产的全景展示方法
CN106844755A (zh) * 2017-02-17 2017-06-13 山东浪潮商用系统有限公司 一种基于搜索引擎的数据资产快速检索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
王敏: "《国家电网公司标准化建设培训教材》", 28 February 2012 *
赵生让: "《信息检索与利用》", 31 August 2013 *
陆敏怡: "基于CIM的数据管理服务平台设计与实现", 《中国优秀硕士学位论文全文数据库(电子期刊)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734226A (zh) * 2021-01-08 2021-04-30 国家电网有限公司客户服务中心 一种电力客服业务的数据资产管理方法
CN113240398A (zh) * 2021-05-25 2021-08-10 国网山西省电力公司信息通信分公司 一种基于大数据的电网数据资产管理系统

Similar Documents

Publication Publication Date Title
Pan et al. Grey system theory trends from 1991 to 2018: a bibliometric analysis and visualization
CN110175788A (zh) 一种智慧城市能源云平台
CN109242170A (zh) 一种基于数据挖掘技术的城市道路管理系统及方法
CN114756563A (zh) 一种互联网多种复杂业务线并存的数据治理系统
CN113204329A (zh) 统一数据模型驱动业务应用的控制方法及其应用系统
CN115934856A (zh) 一种构造综合能源数据资产的方法和系统
CN107273515A (zh) 基于多形态数据索引技术的电网数据资产资源检索及展示
Zhang Evaluation and analysis of human resource management mode and its talent screening factors based on decision tree algorithm
Erdoğan et al. Selection of the best outsourcing firm for WEEE under hesitant fuzzy environment
Le Research on data resource management of biomass energy engineering based on data mining
CN111353085A (zh) 一种基于特征模型的云挖掘分析网络舆情方法
Jin et al. Financial management and decision based on decision tree algorithm
CN111581302A (zh) 一种基于数据仓库的辅助决策系统
Min et al. Data mining and economic forecasting in DW-based economical decision support system
Li et al. A distributed data fabric architecture based on metadate knowledge graph
Aktas et al. A hesitant fuzzy linguistic group decision making model for energy storage unit selection
Finogeev et al. Application of hyper-convergent platform for big data in exploring regional innovation systems
Hu Effects and Appraisal of Grain Subsidy Policy Based on Statistical Analysis
CN117076463B (zh) 一种智慧城市多源数据汇聚存储系统
Diao Tourism prediction based on multi-source big data fusion technology
CN117934209B (zh) 一种基于知识图谱的区域电力系统碳排放大数据分析方法
CN103093307A (zh) 基于本体和Blog的多学科产品设计知识表达及管理系统
Liu A public opinion monitoring system based on big data technology
Zhao Workflow-centric distribution of organizational knowledge: the case of document flow coordination
Wang A method study on the value chain optimisation of tourism industry based on big data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171020

WD01 Invention patent application deemed withdrawn after publication