CN116126824A - 一种基于模型驱动的能力开放平台 - Google Patents

Abstract

本发明公开了一种基于模型驱动的能力开放平台，该平台执行一种数据管理方法，包括：建立第一逻辑模型，第一逻辑模型包括多个子模型，子模型包括至少一个字段，多个子模型通过字段匹配进行关联；根据第一逻辑模型建立物理模型，物理模型的类型与数据库管理系统的类型匹配；通过数据建模和源数据，在物理模型中对应字段填入具体数值；通过分析模型对物理模型中存储的数据执行分析算法任务，得到分析数据；根据场景模型和分析数据，执行场景算法任务，生成可视化数据。由此可实现基于接口化的通用模型、交互的数据处理模型、基于动态化的场合模型和灵活的业务分析模型的设计与开发，有效降低开发技术门槛以及开发和维护成本，提升模型构建能力。

Description

一种基于模型驱动的能力开放平台

技术领域

本申请涉及系统工程的技术领域，特别是一种基于模型驱动的能力开放平台。

背景技术

模型化思想已经成为解决系统复杂性、加速设计迭代、提高系统全生命周期的设计、开发、运行、维护的工作效率的重要方法手段。

企业同样面临复杂性剧增、决策迭代效率低、闭环管控缺乏有效抓手等突出问题。针对企业的数据资产建模是实现企业整体解决方案的重要工作之一，通过模型化赋能企业精细化决策与管控，已经成为大型企业升级发展不可或缺的战略性路径与手段。如何构建并应用企业数据资产模型以深度支撑全方位决策与管控，是新时期企业必须攻关破解的关键任务。

发明内容

本发明要解决的技术问题，在于提供一种基于模型驱动的能力开放平台，可实现基于接口化的通用模型、交互的数据处理模型、基于动态化的场合模型和灵活的业务分析模型的设计与开发，有效降低开发技术门槛以及开发和维护成本，提升模型构建能力，具有较强的开放性、可扩展性。

第一方面，提供了一种数据管理方法，包括：

建立第一逻辑模型，所述第一逻辑模型包括多个子模型，所述子模型包括至少一个字段，所述多个子模型通过字段匹配进行关联；

根据所述第一逻辑模型建立物理模型，所述物理模型的类型与数据库管理系统的类型匹配；

通过数据建模和源数据，在所述物理模型中对应所述字段填入具体数值；

根据所述物理模型中存储的数据执行数据分析。

结合第一方面，在第一方面的某些实现方式中，所述子模型为以下任一项：层次子模型，网状子模型，关系子模型，面向对象子模型。

结合第一方面，在第一方面的某些实现方式中，所述数据建模包括数据提取、数据转换和数据装载；

所述数据提取包括提取源数据中与所述字段相关的数据；

所述数据转换包括对数据颗粒度不一致的数据进行转换。

数据装载包括将所述数据提取、所述数据转换后的数据加载到所述物理模型中。

结合第一方面，在第一方面的某些实现方式中，所述根据所述物理模型中存储的数据执行数据分析，包括：

通过分析模型对所述物理模型中存储的数据执行分析算法任务，得到分析数据；

根据场景模型和所述分析数据，执行场景算法任务，生成可视化数据。

结合第一方面，在第一方面的某些实现方式中，所述方法还包括：

根据所述分析模型中执行的分析算法任务，建立第二逻辑模型，所述第二逻辑模型和所述第一逻辑模型的关联关系为所述分析算法任务；

根据所述场景模型中执行的场景算法任务，建立第三逻辑模型，所述第三逻辑模型和所述第二逻辑模型的关联关系为所述场景算法任务。

结合第一方面，在第一方面的某些实现方式中，所述源数据包括第一源数据值和第二源数据，所述第一源数据和所述第二源数据均包括第一字段和第二字段，所述第二字段为所述第一字段的时间戳；所述方法还包括：

如果所述第一源数据中第二字段的时间戳早于所述第二源数据中第二字段的时间戳，则提取所述第二源数据中第一字段的数值。

结合第一方面，在第一方面的某些实现方式中，所述源数据包括第一源数据值和第二源数据，所述第一源数据和所述第二源数据均包括第一字段；所述方法还包括：

如果所述第一源数据中第一字段属于所述物理模型中所述第一字段的历史值，所述第二源数据中第一字段不属于所述物理模型中所述第一字段的历史值，则提取所述第二源数据中第一字段的数值。

结合第一方面，在第一方面的某些实现方式中，所述源数据包括第一源数据值和第二源数据，所述第一源数据和所述第二源数据均包括第一字段；所述方法还包括：

如果所述第一源数据的优先级低于所述第二源数据的优先级，则提取所述第二源数据中第一字段的数值。

结合第一方面，在第一方面的某些实现方式中，所述源数据包括第一源数据值和第二源数据，所述第一源数据和所述第二源数据均包括第一字段；所述方法还包括：

提取所述第一字段对应的最高优先级源数据中所述第一字段的数值。

第二方面，提供了一种电子设备，所述电子设备用于执行如上述第一方面中的任意一种实现方式中所述的方法。

与现有技术相比，本申请提供的方案至少包括以下有益技术效果：

(1)完善的数据资产和模型管理体系

以模型为唯一数据源，搭建覆盖数据资产全生命周期、要素完备、类型多元、标准统一的数据体系，实现各类数据的有效集成、打通、挖掘、应用，发挥数据价值，实现数据赋能；

(2)数据资产和模型资产的信息化管控

构建数据资产和模型资产的信息化运行平台，实现对数据经营主要业务流程、管理事项的信息化支撑，实现流程信息化、模型全覆盖，提升数据资产经营协同能力，提高数据经营的效率；

(3)管理和决策的模型化支撑

厘清要素内在关联，实现敏捷建模，快速响应分析和决策支持需求，构建相关成熟的管理学模型，通过模型驱动、数据驱动推动管理效能提升，实现分析快捷化、决策智慧化、管控智能化。

附图说明

图1为本发明结构简图；

图2为本发明结构功能关系图；

图3为本发明概念模型功能图

图4为本发明数据建模功能图；

图5为本发明分析模型功能图；

图6为本发明分析模型中数据过滤算子功能配置图；

图7为本发明场景模型功能图。

具体实施方式

下面结合附图和具体实施例对本申请作进一步详细的描述。

如图1所示，本发明一种基于模型驱动的能力开放平台，包含数据模型、分析模型5、场景建模6，数据模型主要包括概念模型1、逻辑模型2、物理模型3、数据建模4。数据流向如图2所示。

概念模型1用于描述数据库的全部逻辑结构，是用户对数据存储的看法，反映了用户的综合性信息需求，与任何的软件或数据存储结构无关。基于所需的抽象水平和从普通的业务视图到信息架构的方法，概念模型1可以反复生成一个或多个逻辑或物理数据模型。系统支持构建E-R图，支持创建实体、编辑属性及表与表之间的联系。构建的E-R图最终可生成用UML标准描述的面向对象模型。

逻辑模型2是将概念模型1转化1为具体的数据模型的过程，即按照概念结构设计阶段建立的基本E-R图，选定支持的数据模型(层次/网状/关系/面向对象)，转换成相应的逻辑模型2，如图3所示。逻辑模型2模块提供独立于数据库的关系结构，以便设计人员进行优化和理解，可以独立开发或从概念模型1生成逻辑模型2，逻辑模型2可以生成一个或多个物理数据模型。

建立逻辑数据模型的第一步就是要进行业务分析，这一过程参与的人员主要是业务人员。在划定需求要求的业务范围之后，业务分析首先要弄清楚数据资产主要开展或参与哪些活动，每项活动涉及哪些对象和资源，为了开展这些活动需要哪些相关活动等等。通过分析这些情况，识别并列出业务活动中涉及的每一个实体及其主要属性，并逐步完善其属性。

如图3所示，用户可以根据业务需求建立逻辑模型2-1，逻辑模型2-1可以包括关系子模型a、关系子模型b、关系子模型c……每个关系子模型可以具有多个字段。例如，关系子模型a中具有字段a-1、字段a-2……、字段a-n_a，关系子模型b中具有字段b-1、字段b-2……、字段b-n_b，关系子模型c中具有字段c-1、字段c-2……、字段c-n_c。多个关系子模型之间可以通过字段之间的匹配关系建立关联关系。例如，关系子模型a中字段a-1可以与关系子模型a中字段b-1相同(如字段a-1和字段b-1均为员工姓名)。又如，关系子模型a中字段a-1可以与关系子模型a中字段b-2具有一对一的匹配关系(如字段a-1为员工姓名，字段b-2为员工编号)。

物理模型3可根据逻辑模型2确定的内容，创建多种不同类型的DBMS(数据库管理系统)，每种类型的DBMS都包含一个标准定义的文件来确定与物理模型3的关联，创建不同的DBMS可以生成不同的数据库脚本。业务人员在线运行业务事项的数据表和字段的创建、编辑、代码生成、数据备份等物理模型3构建功能，为数据准备提供相应的表和字段，支持在线建表和字段的代码生成，提供代码复用功能，提供表数据备份功能。如关系数据库中的对象为表、视图、字段、数据类型、长度、主键、外键、索引、约束、是否可为空、默认值。

如图4所示，数据建模4可实现数据在线ETL(Extract(提取)、Transform(转换)和Load(装载))数据处理逻辑，可将物理模型3中的数据生成数据集，作为分析模型和场景模型的数据基础。数据建模4支持同时从多个外部数据源中提取关联数据，经过抽取、转换和装载，将原系统中分散、零乱、标准不统一的数据系统进行整合，完成数据集的构建。

数据提取需要确定源数据中与分析主体相关的数据，从而确定需要提取的数据表、字段和数据记录。

数据转换是对数据颗粒度不一致的数据进行转换，将数据从业务模型变换到分析模型，将颗粒度较细的业务数据在数据装载前进行标准化。

数据装载是将提取、转换后的数据加载到数据仓库中，主键重复的数据，将会先删除，再装载。

通过对数据模型进行标准化设计，使其与整个企业数据应用架构保持一致，从源头上提高数据的一致性。

分析模型可实现各个模块与算法模型的自由组合使用，每次构建好的模型，又可作为其他模型的基石，建立复合模型，快速迭代开发出新型分析模型，大大提高工作效率。且本发明各个模块之间使用restful接口通讯，过程数据保存在分布式存储或分布式数据库上，保证各个模块的无状态性，方便分布式部署。

如图5所示，分析模型5内置大量常用算法模型，主要功能是以数据建模4过程构建好的数据集合输出作为分析的输入，进行快速的多维度深度挖掘计算，基本适用于所有数据分析任务。支持采用拖拽组件、连线、配置的方式来构建分析模型，集成多种统计分析算法，提供输入、输出、基础、算子、算法、数据转换等组件，支持用户在线完成对数据源的读取、对数据进行关联、过滤、格式转换、计算、统计、挖掘到不同的数据目标。系统支持基本统计分析也支持多种算法，如机器学习、算子中的回归、聚类、时间序列等。将所需算法拖入设计区，双击对算子进行配置即可。如图6所示，以“数据过滤”算子为列，将“数据处理”中“数据过滤”拖入设计区，选择即可进行配置。

数据建模4输出的数据集合和分析模型输出的分析数据可以作为场景模型的数据输入。场景模型可以通过简单的页面拖拽组合即可形成自定义的各种业务场景模型，高效、快速、简单的完成业务信息系统适配，并及时查看有效的数据分析结果。

场景模型内置了丰富的WEB交互组件，可以通过配置组件，完成复杂的数据交互类应用和报表、设计类excel的数据准备操作、拖拽式的智能场景设计，简单实现数据可视化分析展示，并提供饼图、柱图、折线图、漏斗图、雷达图、仪表盘、地图、散点图、矩阵树图等丰富的图形组件。如图7所示，用户可通过场景模型构建柱形图组件，可对组件外观进行配置，如：位置尺寸、是否进行3D转换、坐标轴、提示框、边框、背景等。最终使用者可以通过对模型的高效调用查看最及时有效的数据分析结果。

如上所述，通过数据建模4，可以根据源数据的字段，在逻辑模型2中各个字段的填入相应的数值，实现对复杂源数据的数据整理过程。在建立逻辑模型2时，还可以为逻辑模型2的各个字段赋予具体的更新规则，以便于在源数据发生更新时，按照更新规则更新逻辑模型2和物理模型3，以使分析模型和场景模型可以适应性调整更新。

在一些实施例中，当源数据中的A字段的值发生变化时，可以通过数据建模4的数据提取、转换和装载获取A字段的更新值，并通过覆盖A字段的原始值来完成更新。在一些可能的场景中，当源数据a和源数据b均包含字段A，但源数据a和元素数据2中的字段A的具体数值不同，则数据提取得到字段A的值不同，由此可能出现赋值错误的情况。因此需要相应设置更新规则以正确执行更新。

在一个实施例中，当更新源数据中的字段时，可以为该字段赋予时间戳。具体地，时间戳可以作为与A字段相关联的字段。如果源数据a中A字段相关联的时间戳早于源数据b中A字段相关联的时间戳，则可以提取源数据b中A字段的值进行装载，以完成A字段的更新。

在另一个实施例中，可以通过和物理模型3中已存储的A字段的历史值，判断应当提取的源数据。具体地，如果源数据a中A字段的值为Aa，源数据b中A字段的值为Ab，物理模型3中已存储的A字段的过去N个历史值包括Ab，但不包括Aa，N可以为正整数，那么意味着源数据a中A字段的值为Aa尚未被存储过，为最新值，因此可以提取源数据a中A字段的值进行装载，以完成A字段的更新。

在又一个实施例中，可以通过设定源数据a和源数据b的优先级，判断应当提取的源数据。具体地，如果源数据a的优先级高于源数据b的优先级，则提取源数据a中A字段的值进行装载，以完成A字段的更新。

在再一个实施例中，可以通过将字段和最高优先级源数据进行关联，判断应当提取的源数据。具体地，虽然源数据a和源数据b均包含字段A，但字段A的最高优先级源数据为源数据c。无论源数据a和源数据b中字段A的取值具体为哪一种，在数据建模4过程中仅提取源数据c中A字段的值进行装载，以完成A字段的更新。

当物理模型3中的数据通过数据建模4更新后，分析模型5和场景模型6也可以相应地发生变化。具体地，在用户根据需求设定分析模型5和场景模型6后，基于模型驱动的能力开放平台可以在图3所示的逻辑模型中建立新的逻辑模型2-2和逻辑模型2-3。逻辑模型2-2可以包含与前文中逻辑模型2-1对应的分析模型关系，该分析模型关系可以指示用户确定的常用算法模型、深度挖掘计算等数据分析任务，从而逻辑模型2-2可以根据更新后的逻辑模型2-1，生成更新后的分析模型数据。逻辑模型2-3与逻辑模型2-2对应的场景模型关系，该场景模型关系可以指示用户确定的可视化分析模型等交互任务，从而逻辑模型2-3可以根据更新后的逻辑模型2-2，生成更新后的场景模型数据。

本发明立足于强化数据管控能力，构建贯穿数据资产管理全周期的模型化、智能化平台，实现数据资产的体系化管理、决策支持的模型化支撑。严格按照模块化结构，研发基于微服务结构的底层平台，实现数据共享API格式化模型、交互的数据处理模型、基于动态化的场景模型和业务分析模型的设计与开发，有效降低开发门槛以及开发和维护成本，提升企业模型构建能力。

本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此，本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (10)

1.一种数据管理方法，其特征在于，包括：

建立第一逻辑模型，所述第一逻辑模型包括多个子模型，所述子模型包括至少一个字段，所述多个子模型通过字段匹配进行关联；

根据所述第一逻辑模型建立物理模型，所述物理模型的类型与数据库管理系统的类型匹配；

通过数据建模和源数据，在所述物理模型中对应所述字段填入具体数值；

根据所述物理模型中存储的数据执行数据分析。

2.根据权利要求1所述的方法，其特征在于，所述子模型为以下任一项：层次子模型，网状子模型，关系子模型，面向对象子模型。

3.根据权利要求1所述的方法，其特征在于，所述数据建模包括数据提取、数据转换和数据装载；

所述数据提取包括提取源数据中与所述字段相关的数据；

所述数据转换包括对数据颗粒度不一致的数据进行转换。

数据装载包括将所述数据提取、所述数据转换后的数据加载到所述物理模型中。

4.根据权利要求1所述的方法，其特征在于，所述根据所述物理模型中存储的数据执行数据分析，包括：

通过分析模型对所述物理模型中存储的数据执行分析算法任务，得到分析数据；

根据场景模型和所述分析数据，执行场景算法任务，生成可视化数据。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据所述分析模型中执行的分析算法任务，建立第二逻辑模型，所述第二逻辑模型和所述第一逻辑模型的关联关系为所述分析算法任务；

根据所述场景模型中执行的场景算法任务，建立第三逻辑模型，所述第三逻辑模型和所述第二逻辑模型的关联关系为所述场景算法任务。

6.根据权利要求1所述的方法，其特征在于，所述源数据包括第一源数据值和第二源数据，所述第一源数据和所述第二源数据均包括第一字段和第二字段，所述第二字段为所述第一字段的时间戳；所述方法还包括：

如果所述第一源数据中第二字段的时间戳早于所述第二源数据中第二字段的时间戳，则提取所述第二源数据中第一字段的数值。

7.根据权利要求1所述的方法，其特征在于，所述源数据包括第一源数据值和第二源数据，所述第一源数据和所述第二源数据均包括第一字段；所述方法还包括：

如果所述第一源数据中第一字段属于所述物理模型中所述第一字段的历史值，所述第二源数据中第一字段不属于所述物理模型中所述第一字段的历史值，则提取所述第二源数据中第一字段的数值。

8.根据权利要求1所述的方法，其特征在于，所述源数据包括第一源数据值和第二源数据，所述第一源数据和所述第二源数据均包括第一字段；所述方法还包括：

如果所述第一源数据的优先级低于所述第二源数据的优先级，则提取所述第二源数据中第一字段的数值。

9.根据权利要求1所述的方法，其特征在于，所述源数据包括第一源数据值和第二源数据，所述第一源数据和所述第二源数据均包括第一字段；所述方法还包括：

提取所述第一字段对应的最高优先级源数据中所述第一字段的数值。

10.一种电子设备，其特征在于，所述电子设备用于执行如权利要求1至9中任一项所述的方法。

Images