CN114253939A - 一种数据模型的构建方法、装置、电子设备及存储介质 - Google Patents

一种数据模型的构建方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114253939A
CN114253939A CN202011003757.8A CN202011003757A CN114253939A CN 114253939 A CN114253939 A CN 114253939A CN 202011003757 A CN202011003757 A CN 202011003757A CN 114253939 A CN114253939 A CN 114253939A
Authority
CN
China
Prior art keywords
model
data
standard
information
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011003757.8A
Other languages
English (en)
Inventor
杨泽森
王�华
周庭宇
李双义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Holding Co Ltd
Original Assignee
Jingdong Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Holding Co Ltd filed Critical Jingdong Technology Holding Co Ltd
Priority to CN202011003757.8A priority Critical patent/CN114253939A/zh
Publication of CN114253939A publication Critical patent/CN114253939A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management
    • G06F16/212Schema design and management with details for data modelling support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种数据模型的构建方法、装置、电子设备及存储介质。该方法包括:获取模型生成请求,所述模型生成请求携带模型信息,所述模型信息中包括模型类型;根据所述模型类型获取对应的目标数据源,以及与所述目标数据源相匹配的目标数据标准;根据所述目标数据标准对所述目标数据源的标准代码进行组装,得到建模程序脚本;根据所述建模程序脚本构建所述数据模型。本申请通过模型类型确定目标数据源,以及与所述目标数据源相匹配的目标数据标准;请解决了数据建模工具不支持企业数据标准化功能,不能实现智能数据标准定义的技术问题。

Description

一种数据模型的构建方法、装置、电子设备及存储介质
技术领域
本申请涉及数据模型领域,尤其涉及一种数据模型的构建方法、装置、电子设备及存储介质。
背景技术
目前行业中普遍采用Erwin、Power Designer这两款成熟的数据模型设计工具来实现数据模型设计。
发明人发现,上述Erwin、Power Designer是商业公司推出的商业化数据模型设计工具,存在非常高昂的费用成本,特别是中大型企业存在很多研发设计人员需要使用模型设计工具的情况下,此项费用就会变为非常巨大,严重影响正常的IT建设,同时对企业运营决策分析造成一定影响。且上述商业化数据建模工具不支持企业数据标准化功能,不能实现智能数据标准定义、数据标准加载、全局数据模型标准化。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种数据模型的构建方法、装置、电子设备及存储介质。
根据本申请实施例的一个方面,提供了一种数据模型的构建方法,包括:
获取模型生成请求,所述模型生成请求携带模型信息,所述模型信息中包括模型类型;
根据所述模型类型获取对应的目标数据源,以及与所述目标数据源相匹配的目标数据标准;
根据所述目标数据标准对所述目标数据源的标准代码进行组装,得到建模程序脚本;
根据所述建模程序脚本构建所述数据模型。
进一步的,所述方法还包括:
接收预先配置的数据源以及数据标准;
按照预设规则确定所述数据源与所述数据标准的映射关系。
进一步的,所述获取模型生成请求,包括:
获取模型类型标签列表,所述模型类型标签列表记录有至少两个用于指示业务的模型类型标签;
获取作用于所述模型类型标签列表的选中操作;
根据所述选中操作生成所述模型生成请求,所述模型生成请求包括:选中操作对应的模型类型,所述模型类型包括:关系型和维度型。
进一步的,当所述模型类型为关系型时,所述根据所述模型类型获取相应的业务数据,以及与所述业务数据相匹配的数据标准,包括:
确定用于构建关系型数据模型的数据表;
获取第一关键信息;
根据所述第一关键信息从预先配置的数据源中获取用于构建所述数据表的字段信息,并根据所述映射关系确定所述字段信息对应的数据标准。
进一步的,当所述模型类型为维度型时,所述根据所述模型类型获取相应的业务数据,以及与所述业务数据相匹配的数据标准,还包括:
确定用于构建维度型数据模型的事实表和维度表;
获取第二关键信息;
根据所述第二关键信息从预先配置的数据源中获取用于构建所述事实表和维度表的属性信息,并根据所述映射关系确定所述属性信息对应的数据标准。
进一步的,所述根据所述目标数据标准对所述目标数据源的标准代码进行组装,得到建模程序脚本,包括:
根据所述目标数据标准确定所述目标数据源的标准代码信息;
对所述标准代码信息进行组装得到建表语句;
将所述建表语句以及预设模型地图转换为建模程序脚本。
进一步的,所述方法还包括:
接收数据处理请求,所述数据处理请求用于获取至少一个数据模型的建模信息;
分析所述建模信息确定异常建模信息;
根据所述异常建模信息执行异常处理操作。
根据本申请实施例的再一个方面,还提供了一种数据模型的构建装置,包括:
获取模块,用于获取模型生成请求,所述模型生成请求携带模型信息,所述模型信息中包括模型类型;
处理模块,用于根据所述模型类型获取对应的目标数据源,以及与所述目标数据源相匹配的目标数据标准;
组装模块,用于根据所述目标数据标准对所述目标数据源的标准代码进行组装,得到建模程序脚本;
构建模块,用于根据所述建模程序脚本构建所述数据模型。
根据本申请实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,程序运行时执行上述的步骤。
根据本申请实施例的另一方面,还提供了一种电子装置,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:存储器,用于存放计算机程序;处理器,用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法中的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:在本申请实施例中,通过模型类型确定目标数据源,以及与所述目标数据源相匹配的目标数据标准;请解决了数据建模工具不支持企业数据标准化功能,不能实现智能数据标准定义的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据模型的构建平台的示意图;
图2为本申请实施例提供的业务术语的设计界面示意图;
图3为本申请实施例提供的命名标准的设计界面示意图;
图4为本申请实施例提供的标准代码的设计界面示意图;
图5为本申请实施例提供的一种数据模型的构建方法的流程图;
图6为本申请另一实施例提供的一种数据模型的构建的流程图;
图7为本申请实施例提供的一种数据模型的构建装置的框图;
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个类似的实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在实现本申请的过程中,发明人发现:现有数据模型建设工具存在如下弊端:(1)购买费用高昂。单台机器部署一个实例费用可能达到几十万,在数千、数万研发团队规模下,部署费用将达到数亿级。(2)商业化数据模型工具难以与企业数据标准对接,数据模型建设难以实现统一标准化建模。如:企业业务术语、企业数据字典、命名标准、数据架构标准、企业业务主题标准等。(3)商业化数据建模由于没有数据标准支持,造成企业相同的业务实体在不同的数据环境中存在多种定义,对此类数据的集成、清洗、分析造成很大的资源成本消耗。
为此本申请实施例提供提供了一种数据模型的构建平台,该平台包括:数据标准模块,模型引擎模块,运营模块,模型适配模块。
本实施例中的数据标准模块用于提供命名标准,数据字典,标准代码以及业务术语。
具体的,图2为本申请实施例提供的业务术语的设计界面示意图,如图2所示,业务术语用于实现企业内部形成共识的业务实体信息描述,如订单、商品等。
图3为本申请实施例提供的业务术语的设计界面示意图,如图3所示,命名标准,实现工程、项目、表、索引、过程、包等对象的命名规则和约束。命名规则示例:对象类型—业务领域简称—业务简称—其他附加特征关键字。对象类型对应如上对象范围,业务领域与企业的业务分类一致并提供业务分类代码,业务简称是指的该对象具体实现的业务,其他附加特征关键字为选填项。命名标准信息项,实现模型命名标准与各类不同数据库的字段类型、长度、精度的映射关系。
本申请实施例提供的数据模型的构建平台还提供了数据字典标准,该标准用于实现企业各类信息系统中自定义的枚举、代码值的成员值、含义的字典表管理。
图4为本申请实施例提供的业务术语的设计界面示意图,如图4所示,标准代码,实现企业内部通用的枚举类信息,如性别信息采用0、1表示,通常与国际、行业标准代码保持一致。
本实施例中的模型引擎模块用于进行模型可视化设计,数据源管理,模型变更以及模型构建。
本实施例中的模型运行模块用于进行工程管理,版本管理,日志管理等。
本实施例中的模型适配模块用于根据模型程序脚本构建数据模型。其中,模型适配模块包括:RDB适配器,NOSQL适配器以及SOL生成器。
本申请实施例基于上述数据模型的构建平台,提供了一种数据模型的构建方法。本发明实施例所提供的方法可以应用于任意需要的电子设备,例如,可以为服务器、终端等电子设备,在此不做具体限定,为描述方便,后续简称为电子设备。
图5为本申请实施例提供的一种数据模型的构建方法的流程图,如图5所示,该方法包括:
步骤S11,获取模型生成请求,模型生成请求携带模型信息,模型信息中包括模型类型;
在本实施例中,在获取模型生成请求之前还需要配置数据源以及数据标准,具体的,接收预先配置的数据源以及数据标准,按照预设规则确定数据源与数据标准的映射关系。可以理解的,数据源可以包括多个业务的业务数据,数据标准即包括:每个业务数据对应的命名标准,标准代码,业务术语等。
另外,还需要配置数据仓库,具体的,获取原始数据,然后对这些原始数据按模板中相应的内容定义及逻辑生成方法进行过程处理,从而得到初始数据仓库。在初始数据仓库中可以直接定义生成事实表、维表、以及表之间的关联关系。例如,在交易类业务对应的数据仓库中,可以交易主体数据构建交易事实表;同时,还可分别以订单维度、商品维度、买家维度、卖家维度的相关数据构建与交易事实表直接关联的一级维表;在这些一级维表下还可以构建与一级维表关联的二级维表,如在买家维度表的分支下还可以按买家所处地域的不同创建城市维度表。
在生成初始数据仓库后,如果没有特殊的建模需求,则可将初始数据仓库直接提供给需求用户;如果用户存在建模需求,则可在初始数据仓库的基础上进行迭代更新操作,比如增加和/或删减部分数据表、增加和/或删减数据表中的数据表字段、调整数据表之间的关联关系等,然后将更新后的数据仓库提供给需求用户。
另外,在生成数据仓库后,还可以对数据仓库中的数据进行汇总加工生成数据仓库对应的派生指标汇总表。在基于交易类业务生成的数据仓库中,以买家作为统计粒度、支付金额作为原子指标、无线类的网上交易作为业务限定、最近7天作为时间周期生成针对买家信息的派生指标,然后将这些派生指标进行汇总,生成买家汇总表。这些派生指标汇总表仍可以数据仓库的形式进行结构布局,以方便企业用户对自己业务的各项指标能够快速了解,从而基于派生指标做出合理决策。
在本步骤中,获取模型生成请求可以是,接收作用于数据模型的构建平台的登录操作,根据登录操作获取模型类型选择界面,其中模型类型选择界面包括:模型类型标签列表,模型类型标签列表记录有至少两个用于指示业务的模型类型标签,获取作用于模型类型标签列表的选中操作,根据选中操作确定数据模型的模型类型,模型类型包括:关系型和维度型。
步骤S12,根据模型类型获取对应的目标数据源,以及与目标数据源相匹配的目标数据标准;
需要说明的是,不同的模型类型所需要的数据源不同,关系型数据模型需要的数据源主要包括数据表的表结构,视图以及索引约束等等。维度型数据模型需要的数据源主要包括维度表以及事实表。
在本实施例中,当模型类型为关系型时,根据模型类型获取相应的业务数据,以及与业务数据相匹配的数据标准,包括:确定用于构建关系型数据模型的数据表,获取第一关键信息,根据第一关键信息从预先配置的数据源中获取用于构建数据表的字段信息,并根据映射关系确定字段信息对应的数据标准。
需要说明的是,第一关键信息可以是由客户端接收的输入信息获取。其中第一关键信息包括:数据表的表名称,数据库类型,虚拟组,字符集编码,以及业务体系。在本步骤中,主要通过虚拟组以及字符集编码进行查询,得到用于构建数据表的字段信息,字段信息可以包括主键,用户编号,用户身份证等等。主键对应的数据标准包括:命名为id,字段类型为bight,长度为10等等,用户编号对应的数据标准包括:命名为user_no,字段类型为varchar,长度为64等等。
在本实施例中,当模型类型为维度型时,根据模型类型获取相应的业务数据,以及与业务数据相匹配的数据标准,还包括:确定用于构建维度型数据模型的事实表和维度表,获取第二关键信息,根据第二关键信息从预先配置的数据源中获取用于构建事实表和维度表的属性信息,并根据映射关系确定属性信息对应的数据标准。
需要说明的是,第二关键信息可以是由客户端接收的输入信息获取。其中第二关键信息包括:事实表或者维度表的表名称,业务体系,所属集市,数据层次等等。在本步骤中,主要通过业务体系,所属集市,数据层次确定属性信息,属性信息可以是主键,证件类型代码,性别等等。其中主键对应的属性类型为事实,属性名称为id,数据类型为bight,证件类型代码对应的属性类型为维度,属性名称为cert_type,数据类型为string,性别对应的属性类型为维度,属性名称为sex_type,数据类型为string等等。
维度建模(dimensional modeling),是数据仓库建设中的一种数据建模方法,将数据结构化的逻辑设计方法,它将客观世界划分为度量和上下文,Kimball最先提出这一概念。简单的描述就是,按照事实表,维度表来构建数据仓库,数据集市等。数据集市(DataMart),也叫数据市场,数据集市就是满足特定的部门或者用户的需求,按照多维的方式进行存储,包括定义维度、需要计算的指标、维度的层次等,生成面向决策分析需求的数据立方体,是数据仓库的一个子集。
步骤S13,根据所述目标数据标准对所述目标数据源的标准代码进行组装,得到建模程序脚本;
在本实施例中,根据所述目标数据标准对所述目标数据源的标准代码进行组装,得到建模程序脚本,包括:根据目标数据标准确定目标数据源的标准代码信息,对标准代码信息进行组装得到建表语句,将建表语句以及预设模型地图转换为建模程序脚本。
例如,金额是一个浮点类型数据字段信息,在oracle数据库中其数据类型是FLOAT类型;在hive中是double数据类型。
RDB适配器-实现数据模型设计过程中(模型形成建表脚本),对关系型数据库mysql、oracle、SqlServer的支持。NOSQL适配器-实现数据模型设计过程中(模型形成建表脚本、mapping转换为模型程序脚本、数据库逆向工程等),对NOSQL类型Hive的支持。Sql生成器:对设计好的数据模型,生成器DDL建表语句,方便设计人员将模型物化到数据库。
需要说明的是,数据模型的mapping是指数据模型与目标数据源所属数据模型的映射关系,例如:商品数据模型包括的目标数据源有每日库存表以及商品-库存汇总表,其中每日库存表对应数据模型是库存统计模型,商品-库存汇总表对应的商品汇总模型。
步骤S14,根据建模程序脚本构建数据模型。
在本步骤中,在Power Designer中建立数据模型时,相应可以直接将建模程序脚本(SQL语言)在Power Designer中执行建立数据模型。
数据建模:指的是对现实世界各类数据的抽象组织,确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。将经过系统分析后抽象出来的概念模型转化为物理模型后,在visio或erwin等工具建立数据库实体以及各实体之间关系的过程。
在本申请实施例中,通过模型类型确定目标数据源,以及与所述目标数据源相匹配的目标数据标准;解决了数据建模工具不支持企业数据标准化功能,不能实现智能数据标准定义的技术问题。
图6为本申请实施例提供的一种数据模型的构建方法的流程图,如图6所示,该方法可以包括以下步骤:
步骤S21,接收数据处理请求,所述数据处理请求用于获取至少一个数据模型的建模信息;
步骤S22,分析所述建模信息确定异常建模信息;
步骤S23,根据所述异常建模信息执行异常处理操作。
本实施例通过分析所述建模信息确定异常建模信息能够对建模过程中用户的操作数据进行分析校验,例如:建模信息中数据类型错误,或者建表语句异常等等,通过分析校验能够对建模中出现的问题进行溯源。
图7为本申请实施例提供的一种数据模型的构建装置的框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图7所示,该装置包括:
获取模块31,用于获取模型生成请求,模型生成请求携带模型信息,模型信息中包括模型类型;
处理模块32,用于根据模型类型获取对应的目标数据源,以及与目标数据源相匹配的目标数据标准;
组装模块33,用于根据目标数据标准对目标数据源的标准代码进行组装,得到建模程序脚本;
构建模块34,用于根据建模程序脚本构建数据模型。
进一步的数据模型的构建装置还包括配置模块,用于接收预先配置的数据源以及数据标准;按照预设规则确定数据源与数据标准的映射关系。
进一步的获取模块31,具体用于获取模型类型标签列表,模型类型标签列表记录有至少两个用于指示业务的模型类型标签;获取作用于模型类型标签列表的选中操作;根据选中操作生成模型生成请求,模型生成请求包括:选中操作对应的模型类型,模型类型包括:关系型和维度型。
进一步的,当模型类型为关系型时,处理模块33,具体用于确定用于构建关系型数据模型的数据表;获取第一关键信息;根据第一关键信息从预先配置的数据源中获取用于构建数据表的字段信息,并根据映射关系确定字段信息对应的数据标准。
进一步的,当模型类型为维度型时,处理模块33,具体用于确定用于构建维度型数据模型的事实表和维度表;获取第二关键信息;根据第二关键信息从预先配置的数据源中获取用于构建事实表和维度表的属性信息,并根据映射关系确定属性信息对应的数据标准。
进一步的组装模块33,具体用于根据目标数据标准确定目标数据源的标准代码信息;对标准代码信息进行组装得到建表语句;将建表语句以及预设模型地图转换为建模程序脚本。
本申请实施例还提供一种电子设备,如图8所示,电子设备可以包括:处理器1501、通信接口1502、存储器1503和通信总线1504,其中,处理器1501,通信接口1502,存储器1503通过通信总线1504完成相互间的通信。
存储器1503,用于存放计算机程序;
处理器1501,用于执行存储器1503上所存放的计算机程序时,实现上述实施例的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的数据模型的构建方法。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的数据模型的构建方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk)等。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据模型的构建方法,其特征在于,包括:
获取模型生成请求,所述模型生成请求携带模型信息,所述模型信息中包括模型类型;
根据所述模型类型获取对应的目标数据源,以及与所述目标数据源相匹配的目标数据标准;
根据所述目标数据标准对所述目标数据源的标准代码进行组装,得到建模程序脚本;
根据所述建模程序脚本构建所述数据模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收预先配置的数据源以及数据标准;
按照预设规则确定所述数据源与所述数据标准的映射关系。
3.根据权利要求2所述的方法,其特征在于,所述获取模型生成请求,包括:
获取模型类型标签列表,所述模型类型标签列表记录有至少两个用于指示业务的模型类型标签;
获取作用于所述模型类型标签列表的选中操作;
根据所述选中操作生成所述模型生成请求,所述模型生成请求包括:选中操作对应的模型类型,所述模型类型包括:关系型和维度型。
4.根据权利要求3所述的方法,其特征在于,当所述模型类型为关系型时,所述根据所述模型类型获取相应的业务数据,以及与所述业务数据相匹配的数据标准,包括:
确定用于构建关系型数据模型的数据表;
获取第一关键信息;
根据所述第一关键信息从预先配置的数据源中获取用于构建所述数据表的字段信息,并根据所述映射关系确定所述字段信息对应的数据标准。
5.根据权利要求3所述的方法,其特征在于,当所述模型类型为维度型时,所述根据所述模型类型获取相应的业务数据,以及与所述业务数据相匹配的数据标准,还包括:
确定用于构建维度型数据模型的事实表和维度表;
获取第二关键信息;
根据所述第二关键信息从预先配置的数据源中获取用于构建所述事实表和维度表的属性信息,并根据所述映射关系确定所述属性信息对应的数据标准。
6.根据权利要求1所述的方法,其特征在于,所述根据所述目标数据标准对所述目标数据源的标准代码进行组装,得到建模程序脚本,包括:
根据所述目标数据标准确定所述目标数据源的标准代码信息;
对所述标准代码信息进行组装得到建表语句;
将所述建表语句以及预设模型地图转换为建模程序脚本。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收数据处理请求,所述数据处理请求用于获取至少一个数据模型的建模信息;
分析所述建模信息确定异常建模信息;
根据所述异常建模信息执行异常处理操作。
8.一种数据模型的构建装置,其特征在于,包括:
获取模块,用于获取模型生成请求,所述模型生成请求携带模型信息,所述模型信息中包括模型类型;
处理模块,用于根据所述模型类型获取对应的目标数据源,以及与所述目标数据源相匹配的目标数据标准;
组装模块,用于根据所述目标数据标准对所述目标数据源的标准代码进行组装,得到建模程序脚本;
构建模块,用于根据所述建模程序脚本构建所述数据模型。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至7中任一项所述的方法步骤。
10.一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:
存储器,用于存放计算机程序;
处理器,用于通过运行存储器上所存放的程序来执行权利要求1-7中任一项所述的方法步骤。
CN202011003757.8A 2020-09-22 2020-09-22 一种数据模型的构建方法、装置、电子设备及存储介质 Pending CN114253939A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011003757.8A CN114253939A (zh) 2020-09-22 2020-09-22 一种数据模型的构建方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011003757.8A CN114253939A (zh) 2020-09-22 2020-09-22 一种数据模型的构建方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114253939A true CN114253939A (zh) 2022-03-29

Family

ID=80788451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011003757.8A Pending CN114253939A (zh) 2020-09-22 2020-09-22 一种数据模型的构建方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114253939A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115617819A (zh) * 2022-12-19 2023-01-17 思创数码科技股份有限公司 数据存储方法、系统、计算机设备及存储介质
CN115934801A (zh) * 2022-12-12 2023-04-07 国家电网有限公司大数据中心 统计类数据模型构建方法、装置、电子设备及存储介质
CN116009851A (zh) * 2022-12-20 2023-04-25 浙江凌骁能源科技有限公司 目标模型集成与发布方法、装置、计算机设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115934801A (zh) * 2022-12-12 2023-04-07 国家电网有限公司大数据中心 统计类数据模型构建方法、装置、电子设备及存储介质
CN115617819A (zh) * 2022-12-19 2023-01-17 思创数码科技股份有限公司 数据存储方法、系统、计算机设备及存储介质
CN116009851A (zh) * 2022-12-20 2023-04-25 浙江凌骁能源科技有限公司 目标模型集成与发布方法、装置、计算机设备和存储介质
CN116009851B (zh) * 2022-12-20 2024-05-07 浙江凌骁能源科技有限公司 目标模型集成与发布方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
KR101758669B1 (ko) 매치를 특징화하는 규칙을 사용하는 메타데이터 소스의 매칭
US9152662B2 (en) Data quality analysis
CN108228817A (zh) 数据处理方法、装置和系统
CN111177231A (zh) 报表生成方法和报表生成装置
CN114253939A (zh) 一种数据模型的构建方法、装置、电子设备及存储介质
US20040133581A1 (en) Database management system, data structure generating method for database management system, and storage medium therefor
US20070239742A1 (en) Determining data elements in heterogeneous schema definitions for possible mapping
US20150006432A1 (en) Ontology-driven construction of semantic business intelligence models
CN109524070B (zh) 数据处理方法及装置、电子设备、存储介质
JPH06175906A (ja) 情報蓄積システム及び方法
US20150186808A1 (en) Contextual data analysis using domain information
CN112434024B (zh) 面向关系型数据库的数据字典生成方法、装置、设备及介质
US20160246705A1 (en) Data fabrication based on test requirements
JP2008511936A (ja) データ・システムにおける意味識別のための方法およびシステム
CN110990403A (zh) 业务数据的存储方法、系统、计算机设备及存储介质
CN112699151B (zh) 数据处理方法、装置、设备以及介质
US20070112886A1 (en) Method and apparatus for database change management
US8707262B2 (en) Code scoring
Parmar et al. MongoDB as an efficient graph database: An application of document oriented NOSQL database
CN113722600A (zh) 应用于大数据的数据查询方法、装置、设备及产品
US10241899B2 (en) Test input information search device and method
US11893008B1 (en) System and method for automated data harmonization
US20230066110A1 (en) Creating virtualized data assets using existing definitions of etl/elt jobs
US20190012361A1 (en) Highly atomized segmented and interrogatable data systems (hasids)
CN113934729A (zh) 一种基于知识图谱的数据管理方法、相关设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination