CN112182089A - 基于数据仓库模型的报表生成方法、装置和设备 - Google Patents
基于数据仓库模型的报表生成方法、装置和设备 Download PDFInfo
- Publication number
- CN112182089A CN112182089A CN202011100309.XA CN202011100309A CN112182089A CN 112182089 A CN112182089 A CN 112182089A CN 202011100309 A CN202011100309 A CN 202011100309A CN 112182089 A CN112182089 A CN 112182089A
- Authority
- CN
- China
- Prior art keywords
- domain
- topic
- model
- subject
- model table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
- G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种基于数据仓库模型的报表生成方法、装置、设备和存储介质,包括:业务系统的源表缓存在贴源层中映射得到各数据仓库模型的模型表,其中,各数据仓库模型对应不同的主题域,因此,在生成针对某一个主题域的报表的时候,根据对应主题域的数据舱模型的模型表即可生成对应的报表,提高报表生成效率。并且,在确定目标主题域对应的数据仓库模型的模型表中没有生成待生成报表所需的模型表时,可以根据与目标主题域之间具有关联关系的关联主题域对应的数据仓库模型的模型表中,确定是否存在与所需的模型表匹配的模型表;如果存在匹配的模型表,则利用该匹配的模型表生成报表,提高报表的生成效率。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种基于数据仓库模型的报表生成方法、装置、计算机设备和存储介质。
背景技术
ETL(Extract-Transform-Load,数据仓库技术),是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将组织机构中的分散、零乱、标准不统一的数据整合到一起,便于组织机构进行决策分析。
组织机构一般具有多个业务系统,开发人员在进行报表开发的时候,需要对接各业务系统,从各渠道收集业务系统的数据,并对统计得到的数据进行调整,报表生成效率低下。
发明内容
基于此,有必要针对上述技术问题,提供一种基于数据仓库模型的报表生成方法、装置、计算机设备和存储介质。
一种基于数据仓库模型的报表生成方法,其中,不同数据仓库模型对应不同主题域,多个主题域中的任一个主题域与所述多个主题域中至少一个其他主题域具有关联关系;各数据仓库模型的模型表是对缓存在预设的贴源层中业务系统的源表进行映射得到的;
所述方法包括:
将待生成报表所对应的主题域作为目标主题域;
从所述目标主题域对应的数据仓库模型的模型表中,确定是否存在针对所述待生成报表进行报表生成所需的模型表;
若不存在所述所需的模型表,则基于所述关联关系,从所述多个主题域中确定与所述目标主题域关联的关联主题域;
从所述关联主题域对应的数据仓库模型的模型表中,确定是否存在与所述所需的模型表匹配的模型表;
若存在所述匹配的模型表,则基于所述匹配的模型表生成所述待生成报表;
若不存在所述匹配的模型表,则确定所述贴源层中缓存的与所述所需的模型表对应的源表,对与所述所需的模型表对应的源表进行映射得到所述所需的模型表,并基于映射得到的所述所需的模型表生成所述待生成报表。
一种基于数据仓库模型的报表生成装置,其中,不同数据仓库模型对应不同主题域,多个主题域中的任一个主题域与所述多个主题域中至少一个其他主题域具有关联关系;各数据仓库模型的模型表是对缓存在预设的贴源层中业务系统的源表进行映射得到的;
所述装置包括:
目标主题域确定模块,用于将待生成报表所对应的主题域作为目标主题域;
第一模型表确定模块,用于从所述目标主题域对应的数据仓库模型的模型表中,确定是否存在针对所述待生成报表进行报表生成所需的模型表;
关联主题域模块,用于若不存在所述所需的模型表,则基于所述关联关系,从所述多个主题域中确定与所述目标主题域关联的关联主题域;
第二模型表确定模块,用于从所述关联主题域对应的数据仓库模型的模型表中,确定是否存在与所述所需的模型表匹配的模型表;
第一报表生成模块,用于若存在所述匹配的模型表,则基于所述匹配的模型表生成所述待生成报表;
第二报表生成模块,用于若不存在所述匹配的模型表,则确定所述贴源层中缓存的与所述所需的模型表对应的源表,对与所述所需的模型表对应的源表进行映射得到所述所需的模型表,并基于映射得到的所述所需的模型表生成所述待生成报表。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行上述方法。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行上述方法。
上述基于数据仓库模型的报表生成方法、装置、计算机设备和存储介质,业务系统的源表缓存在贴源层中映射得到各数据仓库模型的模型表,其中,各数据仓库模型对应不同的主题域,因此,在生成针对某一个主题域的报表的时候,根据对应主题域的数据舱模型的模型表即可生成对应的报表,提高报表生成效率。并且,为了进一步提高报表生成的效率,上述方法在确定目标主题域对应的数据仓库模型的模型表中没有针对待生成报表进行报表生成所需的模型表时,可以根据与目标主题域之间具有关联关系的关联主题域对应的数据仓库模型的模型表中,确定是否存在与所需的模型表匹配的模型表;如果不存在匹配的模型表,则可以对贴源层中缓存的与所需的模型表对应的源表进行映射得到所需的模型表,基于映射得到的所需的模型表生成待生成报表,以保证正常生成对应的报表;如果存在匹配的模型表,则可以直接利用该匹配的模型表生成报表,提高报表的生成效率,避免还需对贴源层的源表进行映射生成对应的模型表的情况。
附图说明
图1为一个实施例中基于数据仓库模型的报表生成方法的流程示意图;
图2为一个实施例中各主题域之间的关联关系示意图;
图3为另一个实施例中基于数据仓库模型的报表生成方法的流程示意图;
图4为一个实施例中基于数据仓库模型的报表生成装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
数据仓库(Data Warehouse,可简写为DW或DWH),数据仓库的目的是构建面向分析的集成化数据环境,为组织机构提供决策支持(Decision Support)。数据仓库可以出于分析性报告和决策支持目的而创建。数据仓库中的数据可以按照不同主题域进行划分存储,因而,根据不同主题域可以在数据仓库中建立相应的数据仓库模型。
ETL(Extract-Transform-Load的缩写,数据仓库技术),是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将组织机构中的分散、零乱、标准不统一的数据整合到一起,为组织机构的决策提供分析依据,ETL是BI(BusinessIntelligence,商业智能)中一个重要的环节。
ESB(Enterprise Service Bus,企业服务总线),是组织机构SOA架构(Service-Oriented Architecture,面向服务的架构)落地的最佳实践,是实施SOA的切入点。
图1示出本申请提供的基于数据仓库模型的报表生成方法,其中,不同数据仓库模型对应不同主题域,多个主题域中的任一个主题域与多个主题域中至少一个其他主题域具有关联关系;各数据仓库模型的模型表是对缓存在预设的贴源层中业务系统的源表进行映射得到的。
以下结合图1介绍本申请提供的基于数据仓库模型的报表生成方法,该方法可以包括:
步骤S101,计算机设备将待生成报表所对应的主题域作为目标主题域;
步骤S102,计算机设备从目标主题域对应的数据仓库模型的模型表中,确定是否存在针对待生成报表进行报表生成所需的模型表;
示例性地,如果待生成报表对应的是当事人主题域,那么计算机设备在生成该报表时,确定当事人主题域中是否存在生成该报表所需的模型表。
步骤S103,若不存在所需的模型表,计算机设备则基于关联关系,从多个主题域中确定与目标主题域关联的关联主题域;
其中,各主题域之间的关联关系可以是预先设定的,且任一个主题域与至少一个其他主题域具有关联关系,例如,与当事人主题域具有关联关系的主题域至少为一个,通过设定至少一个关联主题域可以在其中一个关联的主题域的数据仓库模型不具有上述所需的模型表的情况下,可以在其他关联的主题域的数据仓库模型中确定是否有上述所需的模型表,以进一步确保报表的生成效率。
步骤S104,计算机设备从关联主题域对应的数据仓库模型的模型表中,确定是否存在与所需的模型表匹配的模型表;
步骤S105,若存在匹配的模型表,计算机设备则基于匹配的模型表生成待生成报表;
步骤S106,若不存在匹配的模型表,计算机设备则确定贴源层中缓存的与所需的模型表对应的源表,对与所需的模型表对应的源表进行映射得到所需的模型表,并基于映射得到的所需的模型表生成待生成报表。
仍以上述当事人主题域为目标主题域且与当事人主题域关联的主题域为内部机构主题域为例介绍上述步骤:计算机设备在根据预设的关联关系,确定与上述当事人关联的主题域为内部机构主题域后,可以判断内部机构主题域对应的数据仓库模型中是否存在与上述所需的模型表匹配的模型表。如果计算机设备确定内部机构主题域对应的数据仓库模型存在与上述所需的模型表匹配的模型表,那么可以基于该匹配的模型表生成对应的报表。如果计算机设备确定内部机构主题域对应的数据仓库模型不存在与上述所需的模型表匹配的模型表,那么可以对贴源层中与上述所需的模型表匹配的源表进行映射得到上述所需的模型表,进而根据映射得到的上述所需的模型表生成对应的报表。
上述基于数据仓库模型的报表生成方法中,业务系统的源表缓存在贴源层中映射得到各数据仓库模型的模型表,其中,各数据仓库模型对应不同的主题域,因此,在生成针对某一个主题域的报表的时候,根据对应主题域的数据舱模型的模型表即可生成对应的报表,提高报表生成效率。并且,为了进一步提高报表生成的效率,上述方法在确定目标主题域对应的数据仓库模型的模型表中没有针对待生成报表进行报表生成所需的模型表时,可以根据与目标主题域之间具有关联关系的关联主题域对应的数据仓库模型的模型表中,确定是否存在与所需的模型表匹配的模型表;如果不存在匹配的模型表,则可以对贴源层中缓存的与所需的模型表对应的源表进行映射得到所需的模型表,基于映射得到的所需的模型表生成待生成报表,以保证正常生成对应的报表;如果存在匹配的模型表,则可以直接利用该匹配的模型表生成报表,提高报表的生成效率,避免还需对贴源层的源表进行映射生成对应的模型表的情况。
在一个实施例中,上述主题域可以包括:表征客户方的当事人主题域、表征客户方所拥有资源的客户资源主题域、表征客户方所处地理区域的地理区域主题域、表征向客户方提供资源的服务方的内部机构主题域、表征服务方所拥有资源的服务资源主题域、表征服务方与客户方之间的资源处理协议的协议主题域、表征用于使客户方持续向服务方请求资源的资源营销事件的资源营销主题域、表征服务方与客户方之间存在的事件处理的事件主题域、表征服务方提供的对应不同资源类型的资源的多资源主题域、表征客户方与服务方之间的通信渠道的渠道主题域。
其中,客户方可以是个人或者组织机构(如金融机构);地理区域可以是根据客户方的物理地址或电子地址确定的;服务方的内部机构可以包括分支机构和对应的业务单元;服务方与客户方之间存在的事件处理可以是针对资源/非资源的事件处理,在某些事件处理中,服务方选择性地与客户方进行直接接触。
如图2所示,上述各主题域之间的关联关系可以包括如下:
①与当事人主题域具有关联关系的主题域包括:客户资源主题域、地理区域主题域、内部机构主题域、协议主题域、资源营销主题域、事件主题域;
②与客户资源主题域具有关联关系的主题域包括:协议主题域;
③与地理区域主题域具有关联关系的主题域包括:渠道主题域;
④与渠道主题域具有关联关系的主题域包括:事件主题域;
⑤与内部机构主题域具有关联关系的主题域包括:资源营销主题域、协议主题域和多资源主题域;
⑥与服务资源主题域具有关联关系的主题域包括:协议主题域、事件主题域;
⑦与协议主题域具有关联关系的主题域包括:事件主题域和多资源主题域;
⑧与事件主题域具有关联关系的主题域包括:渠道主题域。
需要说明的是,由于已在第⑤点介绍上述内部机构主题域和上述多资源主题域具有关联关系,因此,不赘述与多资源主题域具有关联关系的主题域包括内部机构主题域,其他各主题域之间的关联关系也适用上述说明。
在本实施例中,根据实际业务情况划分上述具有关联关系的多个主题域,可以进一步提高报表生成效率。
在一个实施例中,本申请提供的方法还包括:计算机设备通过预设的ETL抽取工具将业务系统的源表抽取至贴源层中;计算机设备基于预设的映射文档,将贴源层中的源表映射为各数据仓库模型的模型表。
其中,上述ETL抽取工具可以是kettle(数据迁移工具),以实现贴源层的数据落地。进一步地,上述映射文档(可以称为MAPPING文档)包括:各源表的主题域归属、模型表的表结构、各源表的表结构、源表之间的关联条件、以及源表映射至模型表的映射规则。
进一步地,计算机设备在基于预设的映射文档,将贴源层中的源表映射为各数据仓库模型的模型表时,可以进一步执行如下步骤:计算机设备将映射文档通过shell脚本解析为标准SQL语句,并利用预设的调度工具通过封装好的标准SQL语句对贴源层中的源表进行映射处理,得到各数据仓库模型的模型表,使得整个过程只需要开发一次,在调度工具上部署成功后任务会设置成自动调起,无需人为干预,只需监控跑批结果从而实现模型表的自动化批量生成。
在一个实施例中,计算机设备还可以执行如下步骤:计算机设备将匹配的模型表复制至目标主题域对应的数据仓库模型中;计算机设备生成包括用于表征目标主题域的主题域标识的表名称,并将表名称作为复制得到的模型表的表名称,以使开发人员基于表名称中的主题域标识确定复制得到的模型表归属目标主题域。
示例性地,上述内部机构主题域对应的数据仓库模型中包括与上述所需的模型表匹配的模型表,计算机设备可以将上述匹配的模型表复制至当事人主题域对应的数据仓库模型中,并将当事人主题域的主题域标识(如TO1)作为复制得到的模型表的表名称的一部分,进而得到的表名称为“TO1_当事人-财报表”。可见,通过上述主题域标识确定复制得到的模型表的表名称,可以使得开发人员明确上述复制得到的模型表是归属于当事人主题域。
为了更好地理解上述方法,以下详细阐述一个本申请基于数据仓库模型的报表生成方法的应用实例。如图3所示,本应用实例中,业务系统可以包括核心系统、信贷系统、票据系统以及其他系统。
本应用实例所针对的技术背景存在如下问题:①开发人员需要对接各个业务系统数据库,工作繁琐且工作量大;②数据量大,业务系统多,各业务系统数据库类型多样,导致业务数据标准不统一;③后续数据应用时,例如报表开发,接口开发费时费力。
基于此,本应用实例通过对各个上游的业务系统数据,进行ETL标准化之后,统一进行模型的设计,按照不同主题来划分:协议、当事人、产品(相当于多资源)、事件、内部机构等相关主题域。根据上述主题域,分别建立相应的数据仓库模型,并通过模型设计工具对各个主题域涵盖的内容进行报表定义,开发人员只需要对接模型层表即可开发报表,简化报表开发流程,并提高报表开发的工作效率及质量。
结合图3具体介绍本应用实例:本应用实例可以提供数据集成平台,该数据集成平台通过对接各个业务系统的数据,利用ETL工具将业务系统数据统一标准化之后,数据接入贴源层,通过设计的模型MAPPING文档将贴源层数据接入各个主题域的模型表中,形成模型层的各主题域的分类。
上游的业务系统提供数据集成平台标准化之后的表结构,包含表名称,字段名称,字段类型等相关内容。开发人员经过表调研和字段调研之后生成MAPPING文档,内容包含:各源表的主题域归属、模型表的表结构、各源表的表结构、源表之间的关联条件,源表映射至模型表的映射规则。
计算机设备可以利用ETL工具kettle实现贴源层的数据落地,再将MAPPING文档通过shell脚本解析为标准SQL语句并用调度工具执行封装好的SQL,从而实现按照MAPPING文档的映射关系加工出模型表,整个过程只需要开发一次,在调度工具上部署成功后任务会设置成自动调起,无需人为干预,只需监控跑批结果从而实现模型表的自动化批量生成数据。
以上提到的ETL除了完成常规的数据加载任务外,还完成其他的作业任务以配合数据加载。ETL任务可分为以下几类:1.数据加载任务,按照源系统本身的数据结构与格式完成数据向数据集市存储的加载,即从源数据文件向技术缓冲层加载数据;2.数据转换任务,根据源-目的映射完成数据从技术缓冲层到基础模型层的转换;3.数据汇总任务,用于完成从基础模型层到汇总加工层数据的转换;4.数据导出任务,用于将基础模型层和汇总加工层的数据导出,支持手工导出任意一天数据全量的方式;5.流程控制任务,用于完成ETL流程的总体控制以及后续的控制逻辑实现;6.数据备份任务,用于数据备份控制,包括源数据文件备份、数据库备份及相关脚本备份;7.数据检查任务,用于在ETL过程的不同环节对数据进行正确性检验。
另外,本应用实例在调度产品上可以包括负载均衡机制,充分利用调度产品的并行机制,在条件满足的情况下,配置自动触发执行,保证了作业只要满足执行条件,就可以利用现有空闲资源执行作业,自动的达到最大并行处理的性能。同时调度产品为了避免并行处理争夺资源本身带来的损耗,也提供了限制系统最大并行数量的机制。
主题反映业务分析主题所需的某一方面信息、是对业务数据需求的高度概括,如客户信息、产品信息、协议信息等。这些围绕金融机构业务分析主题自然汇集在一起的数据称之为主题。
在本应用实例中,各个主题域具体可以是:
当事人主题域:个人或组织机构的主题域;内部机构主题域:金融机构的分支机构及业务单元;资源营销主题域:为增加客户、保留客户、扩展业务而进行测量、规划或促销事件;协议主题域:金融机构与客户之间为某种产品或金融服务而设置的一种约定;客户资源主题域:当事人拥有的资产;多资源主题域:任何产品或服务,包括这些产品的条款和条件;服务资源主题域:金融机构内部的财务状况;事件主题域:一种资金或非资金的活动,可能需要金融机构与客户的直接接触;地理区域主题域:客户的地理区域,物理地址或电子地址;渠道主题域:金融机构与客户进行通信的各种渠道。
上述应用实例中,可以实现的效果包括:
①性能:实现快速查询所需要的数据,减少数据的I/O吞吐,提高使用数据的效率;
②成本:极大地减少不必要的数据冗余,也能实现计算结果复用,极大地降低存储和计算成本;
③效率:在业务或系统发生变化时,可以保持稳定或很容易扩展,提高数据稳定性和连续性;
④质量:改善数据统计口径的不一致性,减少数据计算错误的可能性,能够促进业务与技术进行有效沟通,形成对主要业务定义和术语的统一认识。
应该理解的是,虽然图1至图3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1至图3中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种基于数据仓库模型的报表生成装置,不同数据仓库模型对应不同主题域,多个主题域中的任一个主题域与多个主题域中至少一个其他主题域具有关联关系;各数据仓库模型的模型表是对缓存在预设的贴源层中业务系统的源表进行映射得到的;上述装置包括:
目标主题域确定模块401,用于将待生成报表所对应的主题域作为目标主题域;
第一模型表确定模块402,用于从目标主题域对应的数据仓库模型的模型表中,确定是否存在针对待生成报表进行报表生成所需的模型表;
关联主题域模块403,用于若不存在所需的模型表,则基于关联关系,从多个主题域中确定与目标主题域关联的关联主题域;
第二模型表确定模块404,用于从关联主题域对应的数据仓库模型的模型表中,确定是否存在与所需的模型表匹配的模型表;
第一报表生成模块405,用于若存在匹配的模型表,则基于匹配的模型表生成待生成报表;
第二报表生成模块406,用于若不存在匹配的模型表,则确定贴源层中缓存的与所需的模型表对应的源表,对与所需的模型表对应的源表进行映射得到所需的模型表,并基于映射得到的所需的模型表生成待生成报表。
在一个实施例中,上述主题域包括:表征客户方的当事人主题域、表征客户方所拥有资源的客户资源主题域、表征客户方所处地理区域的地理区域主题域、表征向客户方提供资源的服务方的内部机构主题域、表征服务方所拥有资源的服务资源主题域、表征服务方与客户方之间的资源处理协议的协议主题域、表征用于使客户方持续向服务方请求资源的资源营销事件的资源营销主题域、表征服务方与客户方之间存在的事件处理的事件主题域、表征服务方提供的对应不同资源类型的资源的多资源主题域、表征客户方与服务方之间的通信渠道的渠道主题域;
其中,与当事人主题域具有关联关系的主题域包括:客户资源主题域、地理区域主题域、内部机构主题域、协议主题域、资源营销主题域、事件主题域;
与客户资源主题域具有关联关系的主题域包括:协议主题域;
与地理区域主题域具有关联关系的主题域包括:渠道主题域;
与渠道主题域具有关联关系的主题域包括:事件主题域;
与内部机构主题域具有关联关系的主题域包括:资源营销主题域、协议主题域和多资源主题域;
与服务资源主题域具有关联关系的主题域包括:协议主题域、事件主题域;
与协议主题域具有关联关系的主题域包括:事件主题域和多资源主题域;
与事件主题域具有关联关系的主题域包括:渠道主题域。
在一个实施例中,上述装置还包括:模型表生成模块,用于通过预设的ETL抽取工具将业务系统的源表抽取至贴源层中;基于预设的映射文档,将贴源层中的源表映射为各数据仓库模型的模型表。
在一个实施例中,上述模型表生成模块,进一步用于将映射文档通过shell脚本解析为标准SQL语句,并利用预设的调度工具通过封装好的标准SQL语句对贴源层中的源表进行映射处理,得到各数据仓库模型的模型表。
在一个实施例中,上述映射文档包括:各源表的主题域归属、模型表的表结构、各源表的表结构、源表之间的关联条件、以及源表映射至模型表的映射规则。
在一个实施例中,上述装置还包括:模型表处理模块,用于将匹配的模型表复制至目标主题域对应的数据仓库模型中;生成包括用于表征目标主题域的主题域标识的表名称,并将表名称作为复制得到的模型表的表名称,以使开发人员基于表名称中的主题域标识确定复制得到的模型表归属目标主题域。
关于基于数据仓库模型的报表生成装置的具体限定可以参见上文中对于基于数据仓库模型的报表生成方法的限定,在此不再赘述。上述基于数据仓库模型的报表生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于数据仓库模型的报表生成数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于数据仓库模型的报表生成方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述各个方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上的实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于数据仓库模型的报表生成方法,其特征在于,不同数据仓库模型对应不同主题域,多个主题域中的任一个主题域与所述多个主题域中至少一个其他主题域具有关联关系;各数据仓库模型的模型表是对缓存在预设的贴源层中业务系统的源表进行映射得到的;
所述方法包括:
将待生成报表所对应的主题域作为目标主题域;
从所述目标主题域对应的数据仓库模型的模型表中,确定是否存在针对所述待生成报表进行报表生成所需的模型表;
若不存在所述所需的模型表,则基于所述关联关系,从所述多个主题域中确定与所述目标主题域关联的关联主题域;
从所述关联主题域对应的数据仓库模型的模型表中,确定是否存在与所述所需的模型表匹配的模型表;
若存在所述匹配的模型表,则基于所述匹配的模型表生成所述待生成报表;
若不存在所述匹配的模型表,则确定所述贴源层中缓存的与所述所需的模型表对应的源表,对与所述所需的模型表对应的源表进行映射得到所述所需的模型表,并基于映射得到的所述所需的模型表生成所述待生成报表。
2.根据权利要求1所述的方法,其特征在于,
所述主题域包括:表征客户方的当事人主题域、表征所述客户方所拥有资源的客户资源主题域、表征所述客户方所处地理区域的地理区域主题域、表征向所述客户方提供资源的服务方的内部机构主题域、表征所述服务方所拥有资源的服务资源主题域、表征所述服务方与所述客户方之间的资源处理协议的协议主题域、表征用于使所述客户方持续向所述服务方请求资源的资源营销事件的资源营销主题域、表征所述服务方与所述客户方之间存在的事件处理的事件主题域、表征所述服务方提供的对应不同资源类型的资源的多资源主题域、表征所述客户方与所述服务方之间的通信渠道的渠道主题域;
其中,与所述当事人主题域具有关联关系的主题域包括:所述客户资源主题域、所述地理区域主题域、所述内部机构主题域、所述协议主题域、所述资源营销主题域、所述事件主题域;
与所述客户资源主题域具有关联关系的主题域包括:所述协议主题域;
与所述地理区域主题域具有关联关系的主题域包括:所述渠道主题域;
与所述渠道主题域具有关联关系的主题域包括:所述事件主题域;
与所述内部机构主题域具有关联关系的主题域包括:所述资源营销主题域、所述协议主题域和所述多资源主题域;
与所述服务资源主题域具有关联关系的主题域包括:所述协议主题域、所述事件主题域;
与所述协议主题域具有关联关系的主题域包括:所述事件主题域和所述多资源主题域;
与所述事件主题域具有关联关系的主题域包括:所述渠道主题域。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过预设的ETL抽取工具将所述业务系统的源表抽取至所述贴源层中;
基于预设的映射文档,将所述贴源层中的源表映射为各数据仓库模型的模型表。
4.根据权利要求3所述的方法,其特征在于,
所述基于预设的映射文档,将所述贴源层中的源表映射为各数据仓库模型的模型表,包括:
将所述映射文档通过shell脚本解析为标准SQL语句,并利用预设的调度工具通过封装好的标准SQL语句对所述贴源层中的源表进行映射处理,得到各数据仓库模型的模型表。
5.根据权利要求3所述的方法,其特征在于,所述映射文档包括:各源表的主题域归属、模型表的表结构、各源表的表结构、源表之间的关联条件、以及源表映射至模型表的映射规则。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
将所述匹配的模型表复制至所述目标主题域对应的数据仓库模型中;
生成包括用于表征所述目标主题域的主题域标识的表名称,并将所述表名称作为复制得到的模型表的表名称,以使开发人员基于所述表名称中的主题域标识确定所述复制得到的模型表归属所述目标主题域。
7.一种基于数据仓库模型的报表生成装置,其特征在于,不同数据仓库模型对应不同主题域,多个主题域中的任一个主题域与所述多个主题域中至少一个其他主题域具有关联关系;各数据仓库模型的模型表是对缓存在预设的贴源层中业务系统的源表进行映射得到的;
所述装置包括:
目标主题域确定模块,用于将待生成报表所对应的主题域作为目标主题域;
第一模型表确定模块,用于从所述目标主题域对应的数据仓库模型的模型表中,确定是否存在针对所述待生成报表进行报表生成所需的模型表;
关联主题域模块,用于若不存在所述所需的模型表,则基于所述关联关系,从所述多个主题域中确定与所述目标主题域关联的关联主题域;
第二模型表确定模块,用于从所述关联主题域对应的数据仓库模型的模型表中,确定是否存在与所述所需的模型表匹配的模型表;
第一报表生成模块,用于若存在所述匹配的模型表,则基于所述匹配的模型表生成所述待生成报表;
第二报表生成模块,用于若不存在所述匹配的模型表,则确定所述贴源层中缓存的与所述所需的模型表对应的源表,对与所述所需的模型表对应的源表进行映射得到所述所需的模型表,并基于映射得到的所述所需的模型表生成所述待生成报表。
8.根据权利要求7所述的装置,其特征在于,
所述主题域包括:表征客户方的当事人主题域、表征所述客户方所拥有资源的客户资源主题域、表征所述客户方所处地理区域的地理区域主题域、表征向所述客户方提供资源的服务方的内部机构主题域、表征所述服务方所拥有资源的服务资源主题域、表征所述服务方与所述客户方之间的资源处理协议的协议主题域、表征用于使所述客户方持续向所述服务方请求资源的资源营销事件的资源营销主题域、表征所述服务方与所述客户方之间存在的事件处理的事件主题域、表征所述服务方提供的对应不同资源类型的资源的多资源主题域、表征所述客户方与所述服务方之间的通信渠道的渠道主题域;
其中,与所述当事人主题域具有关联关系的主题域包括:所述客户资源主题域、所述地理区域主题域、所述内部机构主题域、所述协议主题域、所述资源营销主题域、所述事件主题域;
与所述客户资源主题域具有关联关系的主题域包括:所述协议主题域和所述事件主题域;
与所述地理区域主题域具有关联关系的主题域包括:所述渠道主题域;
与所述渠道主题域具有关联关系的主题域包括:所述事件主题域;
与所述内部机构主题域具有关联关系的主题域包括:所述资源营销主题域、所述协议主题域和所述多资源主题域;
与所述服务资源主题域具有关联关系的主题域包括:所述协议主题域、所述事件主题域;
与所述协议主题域具有关联关系的主题域包括:所述事件主题域和所述多资源主题域;
与所述事件主题域具有关联关系的主题域包括:所述渠道主题域。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011100309.XA CN112182089B (zh) | 2020-10-15 | 2020-10-15 | 基于数据仓库模型的报表生成方法、装置和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011100309.XA CN112182089B (zh) | 2020-10-15 | 2020-10-15 | 基于数据仓库模型的报表生成方法、装置和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112182089A true CN112182089A (zh) | 2021-01-05 |
CN112182089B CN112182089B (zh) | 2023-01-20 |
Family
ID=73950270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011100309.XA Active CN112182089B (zh) | 2020-10-15 | 2020-10-15 | 基于数据仓库模型的报表生成方法、装置和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112182089B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113312350A (zh) * | 2021-05-27 | 2021-08-27 | 广东电网有限责任公司东莞供电局 | 仓储配送管理报表生成方法、装置和存储介质 |
CN113486096A (zh) * | 2021-06-21 | 2021-10-08 | 上海百秋电子商务有限公司 | 一种多库定时执行报表数据预处理及查询方法、系统 |
CN114936199A (zh) * | 2022-07-21 | 2022-08-23 | 平安银行股份有限公司 | 系统重构的数据处理方法、计算机设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101075304A (zh) * | 2006-05-18 | 2007-11-21 | 河北全通通信有限公司 | 电信行业基于数据仓库的决策支持系统的构造方法 |
US20090307257A1 (en) * | 2008-06-10 | 2009-12-10 | Oracle International Corporation | Techniques for creating reports using cached data |
US20120054249A1 (en) * | 2010-08-25 | 2012-03-01 | International Business Machines Corporation | Data warehouse data model adapters |
CN107918600A (zh) * | 2017-11-15 | 2018-04-17 | 泰康保险集团股份有限公司 | 报表开发系统及方法、存储介质和电子设备 |
CN108520008A (zh) * | 2018-03-15 | 2018-09-11 | 链家网(北京)科技有限公司 | 数据仓库模型的构建方法及构建装置 |
-
2020
- 2020-10-15 CN CN202011100309.XA patent/CN112182089B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101075304A (zh) * | 2006-05-18 | 2007-11-21 | 河北全通通信有限公司 | 电信行业基于数据仓库的决策支持系统的构造方法 |
US20090307257A1 (en) * | 2008-06-10 | 2009-12-10 | Oracle International Corporation | Techniques for creating reports using cached data |
US20120054249A1 (en) * | 2010-08-25 | 2012-03-01 | International Business Machines Corporation | Data warehouse data model adapters |
CN107918600A (zh) * | 2017-11-15 | 2018-04-17 | 泰康保险集团股份有限公司 | 报表开发系统及方法、存储介质和电子设备 |
CN108520008A (zh) * | 2018-03-15 | 2018-09-11 | 链家网(北京)科技有限公司 | 数据仓库模型的构建方法及构建装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113312350A (zh) * | 2021-05-27 | 2021-08-27 | 广东电网有限责任公司东莞供电局 | 仓储配送管理报表生成方法、装置和存储介质 |
CN113486096A (zh) * | 2021-06-21 | 2021-10-08 | 上海百秋电子商务有限公司 | 一种多库定时执行报表数据预处理及查询方法、系统 |
CN114936199A (zh) * | 2022-07-21 | 2022-08-23 | 平安银行股份有限公司 | 系统重构的数据处理方法、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112182089B (zh) | 2023-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112182089B (zh) | 基于数据仓库模型的报表生成方法、装置和设备 | |
US9053231B2 (en) | Systems and methods for analyzing operations in a multi-tenant database system environment | |
US10831910B2 (en) | Providing data protection and privacy as a service in a cloud platform | |
US10838798B2 (en) | Processing system for performing predictive error resolution and dynamic system configuration control | |
JP2017514218A (ja) | サードパーティアプリケーションの実行 | |
US20190377623A1 (en) | Processing System For Performing Predictive Error Resolution and Dynamic System Configuration Control | |
US20170237616A1 (en) | Network service provisioning tool and method | |
US20210286614A1 (en) | Causality determination of upgrade regressions via comparisons of telemetry data | |
CN110956269A (zh) | 数据模型的生成方法、装置、设备以及计算机存储介质 | |
CN107704369B (zh) | 一种操作日志的记录方法、电子设备、存储介质、系统 | |
US20230244687A1 (en) | Optimization of Virtual Warehouse Computing Resource Allocation | |
CN114817050A (zh) | 任务执行方法及装置、电子设备和计算机可读存储介质 | |
CN104317660B (zh) | 一种银行参数管理系统 | |
CN113191889A (zh) | 风控配置方法、配置系统、电子设备及可读存储介质 | |
CN113297081A (zh) | 一种持续集成流水线的执行方法和装置 | |
CN112131257B (zh) | 数据查询方法和装置 | |
CN113138772B (zh) | 数据处理平台的构建方法、装置、电子设备和存储介质 | |
CN110399296B (zh) | 测试客户端与服务端之间交互接口的方法、系统和介质 | |
CN113326052A (zh) | 业务组件的升级方法、装置、计算机设备和存储介质 | |
CN110874238A (zh) | 一种线上业务更新方法及其装置 | |
US11816621B2 (en) | Multi-computer tool for tracking and analysis of bot performance | |
US20230244538A1 (en) | Optimization of Virtual Warehouse Computing Resource Allocation | |
US11334823B2 (en) | Methods and systems for integrating business intelligence data into continuous integration environments | |
CN113419922A (zh) | 主机批量作业运行数据的处理方法及装置 | |
CN116257544A (zh) | Hive SQL语句拦截方法、装置、设备、介质和产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |