CN113342798B - 一种基于数据融合的数据管理系统 - Google Patents

一种基于数据融合的数据管理系统 Download PDF

Info

Publication number
CN113342798B
CN113342798B CN202110770382.6A CN202110770382A CN113342798B CN 113342798 B CN113342798 B CN 113342798B CN 202110770382 A CN202110770382 A CN 202110770382A CN 113342798 B CN113342798 B CN 113342798B
Authority
CN
China
Prior art keywords
data
module
theme
model
business
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110770382.6A
Other languages
English (en)
Other versions
CN113342798A (zh
Inventor
梁盈威
江疆
杨秋勇
彭泽武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202110770382.6A priority Critical patent/CN113342798B/zh
Publication of CN113342798A publication Critical patent/CN113342798A/zh
Application granted granted Critical
Publication of CN113342798B publication Critical patent/CN113342798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于数据融合的数据管理系统,包括:数据整合模块、数据汇总模块和数据集市模块;所述数据整合模块与所述数据汇总模块连接,其中,所述数据整合模块用于实现营销数据的集中存储,并将营销数据传输至数据汇总模块,所述数据汇总模块用于实现对营销数据到的统一预处理和存储;所述数据汇总模块与所述数据集市模块连接,所述数据集市模块用于面向业务和应用场景进行营销数据的融合和共享。本发明采用数据融合技术搭建数据平台,通过各个模块数据的汇聚,实现全口径数据的采集和管理,解决了数据的供需问题。

Description

一种基于数据融合的数据管理系统
技术领域
本发明涉及营销数据管理技术领域,尤其涉及一种基于数据融合的数据管理系统。
背景技术
现有技术中通过建立大数据平台、数据仓库、海量准实时平台等数据存储及处理的平台,然而,目前的数据仍然以分散式主题的形式存储,上层数据应用仍然以烟囱式开展,底层基础数据与上层数据应用之间缺少中台数据集市,导致应用服务缺乏灵活性,响应周期长,数据价值难以深入挖掘。
发明内容
本发明目的在于,提供一种基于数据融合的数据管理系统,通过各个模块数据的汇聚,实现全口径数据的采集和管理,解决了数据的供需问题。
为实现上述目的,本发明实施例提供一种基于数据融合的数据管理系统,包括:数据整合模块、数据汇总模块和数据集市模块;
所述数据整合模块与所述数据汇总模块连接,其中,所述数据整合模块用于实现营销数据的集中存储,并将营销数据传输至数据汇总模块,所述数据汇总模块用于实现对营销数据到的统一预处理和存储;
所述数据汇总模块与所述数据集市模块连接,所述数据集市模块用于面向业务和应用场景进行营销数据的融合和共享。
优选地,还包括数据缓存模块,所述数据缓存模块和所述数据整合模块连接,用于接收数据源发送的数据并进行缓存。
优选地,还包括数据应用模块,所述数据应用模块与所述数据集市模块连接,用于实现营销数据的价值整合。
优选地,所述数据整合模块,还用于构建营销数据集市整合模型,所述营销数据集市整合模型采用面向主题域的设计方法,所述主题包括账户主题域、事件主题域、位置主题域和电网拓扑主题域。
优选地,所述数据整合模块还用于采用语义关系建模的设计方法,满足不断产生的业务发展需求,并采用一个模型框架满足不同的业务需求。
优选地,所述数据整合模块还采用粒度性根据不同的数据统计分析整合成不同的结果。
优选地,所述数据整合模块采用不同的时间戳保留历史数据信息。
优选地,所述数据整合模块中所述营销数据集市整合模型包括概念模型、逻辑模型和物理模型,其中,所述概念模型定义核心业务概念实体、实体之间的关键关联关系及相关的业务规则,所述逻辑模型根据所述概念模型描述实体、属性以及实体关系,所述物理模型定义为所述逻辑模型的具体实现。
优选地,所述数据汇总模块还用于以数据整合清洗、转换后的数据明细为基础,构建售电量、计量电费、客服工单和用电客户分析对象的统计模型,面向数据分析主题进行汇总统计。
优选地,所述数据集市模块还用于根据业务主题对汇总维度进行重组,根据所述数据汇总模块的业务需求,构建个性指标,并根据分析主题对所述个性指标进行重组,其中,所述主题包括客户关系主题、客户服务主题、服务渠道主题、客户停复电主题、售电量及抄表主题、电费电价主题、电费回收主题、业扩报装主题、用电检查主题、电力市场及需求侧主题。
本发明实施例采用数据整合模块、数据汇总模块和数据集市模块构建基于数据融合的数据管理系统,针对不同的模块设置不同的技术特征,将营销数据进行预处理、缓存、融合和共享,提高了系统的管控能力,从而解决了数据的供需问题。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明某一实施例提供的一种基于数据融合的数据管理系统的结构示意图;
图2是本发明另一实施例提供的一种基于数据融合的数据管理系统的结构示意图;
图3是本发明又一实施例提供的一种基于数据融合的数据管理系统的结构示意图;
图4是本发明某一实施例提供的一种基于数据融合的数据管理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,文中所使用的步骤编号仅是为了方便描述,不对作为对步骤执行先后顺序的限定。
应当理解,在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1,本发明实施例提供一种基于数据融合的数据管理系统,包括:数据整合模块11、数据汇总模块12和数据集市模块13,数据整合模块11与数据汇总模块12连接,其中,数据整合模块11用于实现营销数据的集中存储,并将营销数据传输至数据汇总模块12,数据汇总模块12用于实现对营销数据到的统一预处理和存储,数据汇总模块12与数据集市模块13连接,数据集市模块13用于面向业务和应用场景进行营销数据的融合和共享。
具体的,整体数据架构设计依据和营销数据集市的建设目标和系统总体架构,数据整合模块11设计,数据整合模块11用于构建营销数据集市整合模型,其中,营销数据集市整合模型采用面向主题域的设计方法,主题包括账户主题域、事件主题域、位置主题域和电网拓扑主题域。数据整合模块11还用于采用语义关系建模的设计方法,满足不断产生的业务发展需求,并采用一个模型框架满足不同的业务需求,还采用粒度性根据不同的数据统计分析整合成不同的结果。数据整合模块11采用不同的时间戳保留历史数据信息,数据整合模块11中营销数据集市整合模型包括概念模型、逻辑模型和物理模型,其中,概念模型定义核心业务概念实体、实体之间的关键关联关系及相关的业务规则,逻辑模型根据概念模型描述实体、属性以及实体关系,物理模型定义为逻辑模型的具体实现。
数据整合模块11实现营销域各业务系统明细数据的一致性集中存储,依据数据仓库的数据模型建设方法,“以业务对象来组织并存储数据”的原则,存储数据的最细粒度,以源系统为主要参照数据源,按照营销域的数据主题域进行实体关系模型的设计,形成广东电网营销域数据整合模块11。
数据整合模块11建模原则:营销数据集市数据整合模块模型采用面向主题的设计方法,有效组织来源多样的业务数据,使用统一的逻辑语言描述银行业务,保证了数据的一致性。在此基础上可以进行多种不同应用的开发设计,满足不同部门的业务需求和不同的数据访问方式,真正实现数据一次导入,多次使用。它所遵循的设计原则主要包括:
1)中性与共享性
为了满足不同的业务需求,数据整合模块中存储了广东电网有限公司的重要数据元素和关系,同时在模型设计中体现了高度的结构化、模块化设计思想,十四个主题域的提炼、主要的分类、相互之间的关系、历史信息的保存等,体现了一个清晰、严谨的模型架构。
具有中性特征的数据整合层能涵盖市场营销域的主要业务范围,未来能灵活扩展以覆盖广东电网全业务域(6+1)的业务,且满足不断产生的业务发展需求,选择了语义关系建模的设计方法,结合了业务角度建模方法和关系建模方法,以一种清晰的表达方式记录跟踪各级组织机构和活动的重要数据元素以及变动,而它们之间的各种可能的限制条件和关系能够表达重要的业务规则,如客户间关系(团体和个人团体)、排他分类(事件的分类)等。
2)模型的一致性
作为大数据云平台设计基础的逻辑数据模型必须在设计过程中保持一个统一的业务定义,比如渠道的定义、团体的分类等应该在整个企业内部保持一致,将来各种分析应用都使用同样的数据,这些数据应按照预先约定的规则进行刷新,保证同步和一致。如从第三方购买的客户信用等级和广东电网内部信用等级数据必须依照一套相同的存放规则进行处理,它们和其他数据的关联以及刷新的频率等都应该保持同步。
数据整合模块11中对广东电网的重要业务元素以及一些业务规则进行了规范化的处理,例如所关注的所有外部的个人和组织都统称为参与方(Party),它是一个中性的概念,可以包含所有的个体以及各种可能的组合,如客户、设备供应商、发电厂、合作伙伴等。统一这样的定义和概念,使得将来不同系统的开发人员在进行功能设计和展现时都使用同样的语言,方便大家的沟通和交流。
3)模型的灵活性
数据整合模块11是一个基本上满足第三范式要求的语义关系模型,定义“EveryNon-Key attribute is fully&directly functionally dependent on the candidatekeys.”,数据整合模块11以这种设计方法和维度建模方法不同,能最大程度上减少冗余,并保证结构具有足够的灵活性和扩展性。
如果有新的业务变化或新的系统加入整合,数据整合模块11的这种结构能够进行简单、自然的扩展,允许在设计过程“想大做小”,在有一个全局规划的同时,选定某些部分入手,然后再逐步进行完善。比如可以从通过一个客户的基本信息资料、用电户信息、结算账户信息、抄核收信息等入手进行简单的分析,然后补充客户和其他机构、客户的关系,并记录和南网的往来沟通历史,延伸至全面的360客户单一视图,以全面推进新型的客户关系管理,并促进客服方面的创新。
4)粒度性
为了满足将来不同的应用分析需要,数据整合模块11能够提供最小粒度的详细数据以支持各种可能的分析查询。以这些最小粒度的详细数据为基础,可以根据不同的统计分析口径汇总生成所需的各种结果,如果仅仅就目前的一些分析需求对数据进行筛选和加工,很难保证将来不确定的一些统计分析需求的实现。
此外,在进行各种统计分析时,分析人员往往会从汇总数据入手,分析人员通常只会就一些汇总数据进行分析,但是当某些问题出现以后,分析人员会非常希望能够向下钻取找到根本原因。对于这种对详细数据的查询分析需求的支持依赖于逻辑数据模型中数据粒度的大小。
5)历史性
数据整合模块11作为广东电网大数据云平台的逻辑数据模型,利用各种不同的时间戳保留大量的历史数据信息,如评估客户生命周期价值,除了客户现在的特征外,为了提升客户体验的可能性,或客户是否会有欺诈行为,可能还需要分析客户在过去一段时间内的各种行为。
数据模型根据应用层次的不同可分为概念模型、逻辑模型和物理模型,每类模型在遵循总体建模原则的基础上应遵循各自的建模原则。
概念模型设计,概念模型是指基础概念和含义,不涉及任何细节,如怎样表达和实现细节。概念模型的设计采用“自上而下设计,自下而上验证”的方法,同时在遵循行业模型设计原则的基础上,结合北京移动的实际情况进行相应的调整。概念模型定义核心业务概念实体、实体之间的关键关联关系及相关的业务规则,是业务视角的高层次的粗粒度的模型。首先针对需求涉及范围内的业务对象从高度抽象的概念层次归类,即划分主题域,再针对各个主题设计实体关系图。
主题域分类原则,主题域(Subject Area)提供业务模型的高阶视图,是数据实体的逻辑分组。根据业务要求将数据组织成一些独立完整的领域,每个主题域对应某一领域所涉及的数据实体对象,并在较高层次上对该领域内数据实体进行完整一致的描述。主题域扩展可以根据业务的兴趣、关注点定义数据对象范围,降低模型设计的复杂度、易于理解角度来进行。
定义主题域原则包括以下三点:
(1)同一主题下由反应相同业务相关性的内容聚合而成;
(2)同一层级的主题域具有互斥性,上级和下一级是父子关系;
(3)业务主题之间需要建立关联关系。
请参照图2,客户与财务主题域都由反应相同业务相关性的内容聚合而成,客户域财务域之间具有互斥性,但主题域之间又有关系,各个主体域命名规范包括,
主题域名称:以中文简洁概括主题的内容、范围,以2-6个汉字为宜。
主题域英文名称:以英文单词对主题域名称进行概括,以1-3个单词为宜,首字母大写。
主题域英文简称:取英文单词的缩写的两个字母,大写。如:EV。
数据整合模块11的数据模型主题域命名如表1:
表1数据整合模块的数据模型主题域命名
Figure BDA0003152185740000061
主题模型设计,内部组织和人员(Organization/Staff):是指广东电网的内部组织机构和人员,以及拥有南网内部信息系统登录账户的人员;内部组织机构支持各业务体系的虚拟组织,并支持多层级的组织形式。由于虚拟组织的存在,一个人员可以属于多个内部组织机构。
参与方(Party):是指除内部组织和员工(Internal Organization/Staff)对象以外,间接或直接参与广东电网业务过程和感兴趣进行分析的各种对象。如个人或公司客户、潜在客户、代理机构、合作伙伴、设备供应商、发电厂、工程实施单位等。一个参与方可以同时是这当中许多种角色,如一个设备供应商,也同时是广东电网的用电客户。借助参与方主题的建立既可以实现基于客户基本信息的分析,是实现以客户为中心的各种分析应用的重要基础;同时,也可以实现供应商的基本信息和支持供应商评级。第三方是指在参与方中,除了客户外的,其他组织或个人,如供应商、发电厂、代理机构、工程实施单位等。
事件(Event):是一个范围很广的概念,可以记录各种与南网业务相关业务活动的详细情况。既可以与资金相关,也可以与资金无关,既可以有客户参与,也可以没有客户参与,既可以与账户相关,也可以与账户无关,可以由客户发起,也可以由南网发起。总之它可以记录的范围非常广泛,可以记录所有业务相关的活动的详细情况,包括收费活动数据,比如实收、催收,也可记录业扩全过程数据,如业扩申请、现场派工、供电方案评审等,同时也包括南网内部的管理活动,如人员提拔、培训记录等。
合同/协议(Agreement):是南网与参与方之间针对某种特定产品或服务而签立的契约关系,它可以是多样化的,如客户和南网签订的供电合同、南网与供应商质检签署的采购合同等。当南网与参与方之间针对某种产品或服务的条款和条件达成协议时,一个合同/协议(AGREEMENT)就会被开立,因此协议是参与方和南网往来的重要载体。
渠道(Channel):渠道是南网与参与方进行交互和接触的手段和方法,通过它客户与南网进行接触、建立用电户、使用电力服务并交流信息。渠道一般包括营业厅、95598电话、呼叫中心、电视、广播、报纸、网络、信件等。
渠道未来也包括南网内部机构和人员之间的沟通和接触方式,如企业微信、OA办公系统等。
资产(Asset):描述南网自有和参与方中客户所有的资产。一个资产可以被南网和客户所拥有,一个客户和南网机构可以与多个资产有关。资产可分为实物资产、金融资产与无形资产。客户资产信息的来源很多情况下是在进行客户资产转移时所提供的各种信息。本次设计的资产,包括市场营销领域中运行在电网拓扑上的各种设备资产,以及工具类资产、营业厅资产、资产移交时客户提供的土地使用证等。
物资(Material):是指广东电网在经营生产中,所消耗、使用的各种物料。物资的概念大于资产,物资既包括资产域中南网拥有的所有资产,也包括不计入资产,但实际消耗的低值易耗品,如日常办公用品等。物资的消耗会在财务上有所体现,但不计入资产台账和资产负债表中;在管理上,物资的领用也通常没有严格规定。
电网拓扑(Topology):描述广东电网电力网络结构,它通过建立线路和资产的连接模型,即表达在电力网络上,资产是如何连接在一起的物理定义。另外它还建立拓扑模型,即设备是如何通过闭合的开关连接在一起的逻辑定义。电力拓扑结构与在拓扑节点上采用的某个具体的设备没有直接的关系。
财务(Finance):主要包括广东电网的总账信息,是描述科目组织、控制、内部核算等南网核心科目账务以及预算管理有关的内容。该主题抽象地描述了南网内部账务的组织模式,能够适应不同的科目组织体系。
地域(Location&Address):地域信息存储了希望观察和分析的任何区域,既包括传统类型的地址信息(如国家、地区、城市、区县、街道等),又包括经纬度等空间位置信息。
产品/服务(Product):指为满足客户更广泛需求而制定的可营销的交易品种的集合,产品是广东电网向用户销售的或提供给客户所使用的服务,也可以包括代理的产品等所提供的产品。产品/服务,通常具有价格特性,同时在合同/协议中约定。营销数据集市中涉及的产品主要是电价产品和业扩服务;传统的客户服务,如95598等,是提升客户在使用产品时的满意度的一种手段,并不是此主题定义的产品/服务;未来,该主题会包含积分商城中供客户选择的产品,也包含未来推出的供应链金融产品;
项目(Project):指南网为提升经营和服务能力,开展的一系列工程和项目,包括各类基建项目、电网建设项目、生技类项目等。
安全(Safe):电网安全是电力公司核心的工作,该主题域包括南网为安全生产管理开展的所有安全相关工作和规定,包括各类安全检查工作。
公共(Common):是指上述主题中公共使用的数据,如各种代码、以及工作流程模板等。
逻辑模型设计,逻辑模型是概念模型的延伸,以概念模型的设计作为基础,表达概念模型之间的逻辑次序,反映的是系统分析设计人员对数据存储的观点,是对概念数据模型进一步的分解和细化。逻辑模型的设计也采用“自上而下设计,自下而上验证”的方法,同时在遵循行业模型设计原则的基础上,结合北京移动的实际情况进行相应的调整。
逻辑模型设计的指导原则:对概念数据模型的进一步分解和细化,描述实体、属性以及实体关系,主要解决细节的业务问题,根据已有的概念模型,技术与业务人员一起,相互配合地进行逻辑模型设计。
逻辑模型的定义,基本词是组成数据对象中文名称的,具有一定程度独立完整的含义、最细的力度、正常惯用的词汇,是对数据对象命名规范管理的基础,所有数据对象的中文名称均由基本词和类词组合而成。
逻辑模型的目的,实现对“数据对象”(包括实体、属性)名称的全覆盖,即所有数据对象的名称均由基本词组合而成。(如果某词W无法由基本词组合而成,则增加相关基本词实现对W的覆盖,或直接将W加入词根)。
逻辑模型的用途,基本词是对数据对象命名规范管理的基础,避免非标准化、随意化的命名方式,以期实现实体和属性的标准、明晰命名。
通过基本词的英文名称、英文缩写,实现对实体、属性的英文名称和英文缩写的快速翻译。
通过基本词本身的定义,明确其中包含的业务含义,有利于对模型的理解。
物理模型设计,物理模型是逻辑模型的具体实现,直接部署到系统中,物理模型设计的指导原则:描述模型实体的细节,对数据冗余与性能进行平衡,主要解决细节的技术问题(数据库的物理实现),需要考虑所使用的数据库产品、字段类型、长度、索引等因素,必须首先确定数据库平台和应用程序的架构。
(1)更为清晰的ER关系和层次
进行逻辑模型设计时,虽然可以设计ER关系和层次,但是并无很好的展现方式,因此需要在ERWin中重新整理出整个主题所包含的表及ER关系。
(2)适当的逻辑表合并和冗余
逻辑模型设计较为偏向业务的表述和范式化的设计,而在现实情况中存在因为成本和效率的问题,需要对部分模型进行反范式化的处理,因此可以在物理化模型的时候完成此项工作。
(3)适当的物理化命名规范
逻辑模型的命名也偏向表述业务含义,因此采用标准的英文单词,但是在实体物理化键表的时候,需要考虑技术层面的开发和使用环境,采用较为简洁的方式对表和字段重新命名。
引入数据存储所需要素,实体进行物理化工作,最终需要在数据存储环境上实现该数据结构,因此需要增加数据存储有关的要素,例如表空间、分区键等。
引入数据处理所需要素,落地后的数据库表需要被ETL处理所使用,因此需要增加与ETL处理有关的属性字段,例如处理流水号,处理日期等。
数据仓库中数据库表采用表2命名规则,表名长度不能超过30个字符:
<TWB>_<主题域>_<实体名称>_<周期标识><抽取方式>
<TWC>_<业务域>_<一级主题域>[_二级主题域]_<实体名称>_S_[T]
表2数据仓库中数据库表
Figure BDA0003152185740000091
Figure BDA0003152185740000101
数据汇总模块12,用于以数据整合清洗、转换后的数据明细为基础,构建售电量、计量电费、客服工单和用电客户分析对象的统计模型,面向数据分析主题进行汇总统计。
数据汇总模块12是对数据的统一预处理并统一化存储,实现了数据多维度汇总、计算过程的集中,并形成集中的基础统计指标体系,数据汇总模块12与数据整合模块11连接,数据汇总模块12以数据整合模块11清洗、转换后的数据明细为基础,构建售电量、计量电费、客服工单、用电客户等分析对象的统计模型,面向数据分析主题进行常用维度的汇总统计,数据汇总模块12可直接为营销数据服务层提供面向主题的基础汇总指标和主题服务。
数据汇总模块12的公共指标和维度数据是为数据集市应用服务目标,由于每个数据分析应用对数据的分析周期并不相同,数据汇总模块12中各指标库的数据保存周期并不相同,建议统一保存3年,并根据需要调整。
数据集市模块13与数据汇总模块12连接,数据集市模块13用于根据业务主题对汇总维度进行重组,根据数据汇总模块12的业务需求,构建个性指标,并根据分析主题对所述个性指标进行重组,其中,主题包括客户关系主题、客户服务主题、服务渠道主题、客户停复电主题、售电量及抄表主题、电费电价主题、电费回收主题、业扩报装主题、用电检查主题、电力市场及需求侧主题。
数据集市模块13面向业务和应用场景进行数据融合和共享,实现数据的价值整合,完成营销数据集市的数据服务能力开放和业务服务能力开放,数据集市模块13可根据业务主题需要对汇总维度进行重组,对数据进行高度汇总,同时在数据集市层可根据具体的业务分析需求,在数据汇总层的基础指标上,进行个性指标的衍生和构建,面向分析主题开展进行指标的重新组合,包括:客户关系主题、客户服务主题、服务渠道主题、客户停复电主题、售电量及抄表主题、电费电价主题、电费回收主题、业扩报装主题、用电检查主题、电力市场及需求侧主题。经全面梳理、分析和归纳公司各部门、各分支机构、各地市局对营销市场化交易、客户服务、客户关系、收款、业扩、客户停电、用电检查、营销稽核等重点业务的数据应用需求。
在一实施例中,基于数据融合的数据管理系统还包括数据缓存模块10,数据缓存模块10与数据整合模块11连接,用于接收数据源发送的数据并进行缓存。
请参照图3,数据缓存模块10用于接收数据源,数据源包括营销管理数据、电力市场交易数据、语音质检数据、在线客服数据和互联网数据等,将这些数据以主题的形式架构进行传输至数据缓存模块10,数据缓存模块10包括与数据源一一对应的主题模块,用于对数据的分别存储。
在一实施例中,基于数据融合的数据管理系统还包括数据应用模块14,数据应用模块14与数据集市模块13连接,用于实现营销数据的价值整合。
请参照图4,数据应用模块14与数据集市模块13连接,用于接收到数据集市模块13输出的数据并进行分析,并分别按主题进行分析,包括业扩全流程分析、客户服务全流程分析、电力市场供需分析、充电桩业务分析和配网工程分析等,分别生成不同的展示曲线以供工作人员查看。
本发明实施例采用模块化的形式构建系统,经过数据缓存模块、数据整合模块、数据汇总模块、数据集市模块和数据应用模块依次连接构建系统,实现全口径数据的采集和管理,结合大数据、人工智能和物联网等成熟技术,吸收各行业数据中台建设方法,对应对日益变化的数据需求,解决长期存在的数据供需问题,融合电网各行业域数据,而专门构建的数据采集、开发、管控、运维、共享开放、服务一体化大数据平台。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.一种基于数据融合的数据管理系统,其特征在于,包括:数据整合模块、数据汇总模块和数据集市模块;
所述数据整合模块与所述数据汇总模块连接,其中,所述数据整合模块用于实现营销数据的集中存储,并将营销数据传输至数据汇总模块,所述数据汇总模块用于实现对营销数据到的统一预处理和存储;
所述数据汇总模块与所述数据集市模块连接,所述数据集市模块用于面向业务和应用场景进行营销数据的融合和共享;
其中,所述数据整合模块,还用于构建营销数据集市整合模型,所述营销数据集市整合模型采用面向主题域的设计方法,所述主题域包括账户主题域、事件主题域、位置主题域和电网拓扑主题域;所述营销数据集市整合模型组织来源多样的业务数据,并使用统一的逻辑语言描述银行业务;
所述数据整合模块中所述营销数据集市整合模型包括概念模型、逻辑模型和物理模型;其中,所述概念模型定义核心业务概念实体、实体之间的关键关联关系及相关的业务规则,所述逻辑模型根据所述概念模型描述实体、属性以及实体关系,所述物理模型定义为所述逻辑模型的具体实现;所述逻辑模型采用标准英文单词对实体物理化键表和字段重新命名,且对应数据库表的命名规则表示为:
<TWB>_<主题域>_<实体名称>_<周期标识><抽取方式>;或,
<TWC>_<业务域>_<一级主题域>[_二级主题域]_<实体名称>_S_[T];
所述数据汇总模块还用于以数据整合清洗、转换后的数据明细为基础,构建售电量、计量电费、客服工单和用电客户分析对象的统计模型,面向数据分析主题进行汇总统计,为营销数据服务层提供面向主题的基础汇总指标和主题服务;
所述数据集市模块还用于根据业务主题对汇总维度进行重组,根据所述数据汇总模块的业务需求,构建个性指标,并根据分析主题对所述个性指标进行重组,其中,所述分析主题包括客户关系主题、客户服务主题、服务渠道主题、客户停复电主题、售电量及抄表主题、电费电价主题、电费回收主题、业扩报装主题、用电检查主题、电力市场及需求侧主题;
所述系统,还包括数据缓存模块和数据应用模块;
所述数据缓存模块和所述数据整合模块连接,用于接收数据源发送的数据并进行缓存;所述数据源包括营销管理数据、电力市场交易数据、语音质检数据、在线客服数据和互联网数据,以主题的形式架构传输至所述数据缓存模块;所述数据缓存模块包括与数据源一一对应的主题模块,用于对数据的分别存储;
所述数据应用模块与所述数据集市模块连接,用于实现营销数据的价值整合;所述数据应用模块,具体用于接收所述数据集市模块输出的数据,并分别按主题进行主题分析,生成不同的展示曲线以供工作人员查看;所述主题分析包括业扩全流程分析、客户服务全流程分析、电力市场供需分析、充电桩业务分析和配网工程分析。
2.根据权利要求1所述的基于数据融合的数据管理系统,其特征在于,所述数据整合模块还用于采用语义关系建模的设计方法,满足不断产生的业务发展需求,并采用一个模型框架满足不同的业务需求。
3.根据权利要求2所述的基于数据融合的数据管理系统,其特征在于,所述数据整合模块还采用粒度性根据不同的数据统计分析整合成不同的结果。
4.根据权利要求3所述的基于数据融合的数据管理系统,其特征在于,所述数据整合模块采用不同的时间戳保留历史数据信息。
CN202110770382.6A 2021-07-07 2021-07-07 一种基于数据融合的数据管理系统 Active CN113342798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110770382.6A CN113342798B (zh) 2021-07-07 2021-07-07 一种基于数据融合的数据管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110770382.6A CN113342798B (zh) 2021-07-07 2021-07-07 一种基于数据融合的数据管理系统

Publications (2)

Publication Number Publication Date
CN113342798A CN113342798A (zh) 2021-09-03
CN113342798B true CN113342798B (zh) 2022-10-21

Family

ID=77483001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110770382.6A Active CN113342798B (zh) 2021-07-07 2021-07-07 一种基于数据融合的数据管理系统

Country Status (1)

Country Link
CN (1) CN113342798B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335822A (zh) * 2015-10-29 2016-02-17 中国电力科学研究院 一种面向大数据分析的智能电网统一数据模型建模方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8849862B2 (en) * 2004-05-21 2014-09-30 Rsvpro, Llc Architectural frameworks, functions and interfaces for relationship management (AFFIRM)
CN110349051A (zh) * 2019-06-26 2019-10-18 国家电网有限公司 一种电网设备nqi大数据系统
CN113064866B (zh) * 2021-03-02 2024-03-01 深圳供电局有限公司 一种电力业务数据整合系统
CN112988919A (zh) * 2021-04-30 2021-06-18 广东电网有限责任公司 一种电网数据集市构建方法、系统、终端设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335822A (zh) * 2015-10-29 2016-02-17 中国电力科学研究院 一种面向大数据分析的智能电网统一数据模型建模方法

Also Published As

Publication number Publication date
CN113342798A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
Tang et al. Consumer perceptions to support IoT based smart parcel locker logistics in China
CN110175788A (zh) 一种智慧城市能源云平台
CN104809634B (zh) 旅游数据调研与监测系统
CN110347719A (zh) 一种基于大数据的企业外贸风险预警方法及系统
CN108520008A (zh) 数据仓库模型的构建方法及构建装置
CN112988919A (zh) 一种电网数据集市构建方法、系统、终端设备及存储介质
CN111026801A (zh) 一种辅助保险类电商运营快速决策工作的方法及系统
CN104580446A (zh) 面向OpenStack开源云平台的云服务实时计费与管理系统
CN110390475A (zh) 一种基于集团大数据的预警与决策支持方法
CN115168460A (zh) 数据处理方法、数据交易系统、设备及存储介质
Otto et al. Toward a business model reference for interoperability services
Si Construction and application of enterprise internal audit data analysis model based on decision tree algorithm
CN114265576A (zh) 一种基于微服务架构的模型设计与验证方法
CN117217412B (zh) 一种基于资源化利用的无废城市建设管理系统
CN113342798B (zh) 一种基于数据融合的数据管理系统
Li et al. Research on visual logistics big data information service system
Wang et al. Application of Service Modular Design Based on a Fuzzy Design Structure Matrix: A Case Study from the Mining Industry
CN115239309A (zh) 内部市场化结算方法、装置和内部市场化结算平台
Fu et al. [Retracted] Design and Management of Electricity Marketing Information System Based on Multisensor Fusion
Zhang [Retracted] B/S‐Based Construction of a Big Data Logistics Platform
Liu [Retracted] Development and Application of Sales System Software Based on Computer Network
Li Analysis of the Mechanism of Cross-Border E-Commerce Multilateral Trade Integration from the Perspective of Big Data Collaboration Theory
Degaev Problems and prospects of billing systems in the housing and utilities sector of Russia
Yang et al. Research on importance evaluation of complex product parts based on multilayer complex network
Saadouli et al. Supply chain optimization: bibliometric analysis, research structure and future outlook

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant