CN113361126A

CN113361126A - 一种基于大数据的业务建模分析方法

Info

Publication number: CN113361126A
Application number: CN202110703458.3A
Authority: CN
Inventors: 贾俊龙; 徐彬彬; 卢旭; 贤会利
Original assignee: Inspur Software Technology Co Ltd
Current assignee: Inspur Software Technology Co Ltd
Priority date: 2021-06-24
Filing date: 2021-06-24
Publication date: 2021-09-07

Abstract

本发明提供一种基于大数据的业务建模分析方法，属于大数据建模领域，对接入的数据按照业务逻辑规则进行配置构建实现规则计算，得出结果集的方法，同时还支持对于已建立的多个模型，按照工作流方式定制编排逻辑顺序，实现模型组合分析。简化开发步骤，降低成本。用户可以更多的投入到模型体系的建设中来，提升整体智慧的效能。

Description

一种基于大数据的业务建模分析方法

技术领域

本发明涉及大数据建模领域，尤其涉及一种基于大数据的业务建模分析方法。

背景技术

随着信息化程度不断深化，对于不断积累的海量数据，如何依托行业特点，挖掘价值，提升行业高质量发展，向智能化转换提出了迫切要求。建模是算法及需求的结合，是实现上述要求的基础支撑，好的模型能提升工作效率，产生巨大行业价值，潜能无限，如何构建好依托模型的知识库，是能否跟上信息化脚步的必经之路。然而数据的多元化、海量化的特点，对于数据的分析提出了更高的要求，首先繁杂的数据使用环境，需要统一标准及规则，运用大数据治理技术将数据进行整合，提高了使用成本；其次现在主流的建模工具更多的是针对数据间的碰撞组合，且有一定使用门槛，对主流用户使用并不友好；再次模型的使用相对单一，之间并不能相互关联，无法形成知识库体系、保障用户的高效使用；厂家的建模工具也只能自家技术框架下使用，对其他的技术、工具兼容性较差；运算效率低下，可用性较差。

发明内容

为了解决以上技术问题，本发明提供了一种基于大数据的业务建模分析方法。

本发明的技术方案是：

一种通过大数据环境，对接入的数据按照业务逻辑规则进行配置构建实现规则计算，得出结果集的方法，同时还支持对于已建立的多个模型，按照工作流方式定制编排逻辑顺序，实现模型组合分析。

该方法包括：入参配置、逻辑注入、输出映射、资源接入、模型实例、模型组合。

入参配置主要对模型输入参数进行设置，通过抽象技术将参数分为：对象、属性、值；

逻辑注入主要支撑模型逻辑的实现，针对大数据特点将注入方式分为SpEL SQL注入和服务接口注入；

输出映射主要是对结果集与逻辑输出的属性通过配置实现一对一关联；

资源接入是将真正要分析的数据集配置接入，通过统一格式进行转换；

模型实例是将模型的逻辑实例化并执行，产生结果集；

模型组合是对已配置完成的模型，进行流程式组合配置，构建模型与模型间的逻辑顺序，形成复杂逻辑的业务模型，并分析出结果。

进一步的，

入参配置通过抽象技术将参数分为：对象、属性、值。对象主要是针对各种数据源的抽象，支持分布式数据库(HBASE)、关系型数据库(oracle、Greenplum、mysql)、内存数据库(redis)、文件，接口等各种异构资源接入；

属性是各种资源的具体元素，如数据集的字段。值则是要传入模型的变量。三种类型的分类方式覆盖了模型参数的各种情况，将模型参数通过此方式提供给用户后续配置实例化模型使用，并为模型入参提供通道。

逻辑注入支持sql和服务两种方式，sql方式通过SpEL技术结合sql语言，实现类sql配置，将逻辑与具体实例分离，抽象模型规则；服务方式则是通过服务总线接入服务接口，将入参与出参与入参配置和输出映射进行关联，实现第三方业务逻辑模型化，提升模型构建的兼容性。

输出映射是对逻辑注入产生的结果集进行输出配置，设置输出属性、格式转化、排列顺序等，提升结果的使用价值。

以上三步完成了模型的构建，即业务规则落地。

资源接入是对接入资源的抽象管理，针对各类异构数据源、文件、接口进行统一管理，借助数据管道ETL抽取将数据进行整合；通过资源接入，将各类异构资源配置接入模型的入参配置。

用户具体使用模型则是通过模型实例完成，通过资源接入，将各类异构资源配置接入模型的入参配置，例如数据表对应对象，字段对应属性。设置完成实例化参数，即可执行模型规则，模型实例是逻辑实现的动态执行，借助数据通道ETL抽取、流式处理、分布式技术等，让资源经历校验、分析、路由、运算、产出等过程，最终将结果推送给用户。模型组合是建模的升华，将已有模型规则按照流程管理的方式，借助可视化组件实现配置，实现多个模型组合运算的能力，大大提升了模型的再利用以及模型之间的关联分析。

本发明的有益效果是

通过本发明可以为企业或部门提供一套完整、有效的模型构建解决方案。通过先进技术、实战化的业务积累、高效管理手段，为后续的信息化系统建设提供了坚实的基础，简化开发步骤，降低成本。用户可以更多的投入到模型体系的建设中来，提升整体智慧的效能，为进一步深化信息化进程，保驾护航。通过模型的积累，产生了上百个业务模型，每天可处理上百万数据，产生直接实战数据，大大提升了工作效率和能力。

附图说明

图1是逻辑架构示意图；

图2是入参配置示意图；

图3是逻辑注入-SQL类示意图；

图4是逻辑注入-服务类示意图；

图5是实例化过程示意图；

图6是模型组合效果示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明主要实现针对大数据环境的业务模型构建。包括入参配置、逻辑注入、输出映射、资源接入、模型实例、模型组合。借助主流的开源大数据技术，对数据集进行逻辑构建产生结果。

其中入参配置，通过提炼抽象数据源、文件、服务等，统一为对象，其中的字段统一为属性，将具体变量归为值，通过这种分类，将模型的参数与之对应，为用户后续实例化模型提供入口，通过黑盒方式将逻辑实现屏蔽，只需要用户了解模型规则就可通过入参配置运行模型。

逻辑注入是模型构建的核心，主要针对数据集的逻辑实现，两种方式，一种通过针对主流的数据库，借助类sql实现，其中增加了仿SpEL表达式语言，将传统sql中的表、字段等元素通过SpEL表达式与参数设置的内容进行关联，实现sql语言的动态注入，根据不同场景进行灵活配置，不需要明确指出sql中的元素，只是创建业务逻辑，实现模型逻辑与实例数据的分离，提升模型的复用性；另一种则是通过配置服务接口，将接口参数通过入参配置进行关联，实现接口服务模型化转换，其中运用了服务总线技术将服务进行统一注册调度、负载均衡、路由选取等，方便第三方服务接入使用，提升模型整合能力和兼容性。

输出映射主要是针对模型逻辑产生的结果集根据用户需求设置输出属性，以及与模型结果集的映射关系。资源接入是对接入资源的抽象管理，针对各类异构数据源，如分布式数据库(HBASE)、关系型数据库(oracle、Greenplum、mysql)、内存数据库(redis)、文件，接口等进行统一管理，借助数据管道ETL抽取将数据进行整合。模型实例是已构建模型的实例化使用，是通过数据资源接入，参数设置，按照模型逻辑进行运算，动态产生结果集的过程。整个实例化过程运用了分布式运算、sql注入、服务调度、数据管道、流式引擎等技术，将结果集产生落地。模型组合则是运用流程化配置方式，通过可视化组件实现流程配置，将多个发布的模型按照逻辑规则顺序进行组合，实现模型组合分析。

如图1所示，包括入参配置、逻辑注入、输出映射、资源接入、模型实例、模型组合。其中，入参配置、逻辑注入、输出映射是模型规则构建的三步；从纵向维度看，模型实例通过资源接入，参数设置完成模型规则的动态执行；从横向维度看，模型组合将多个模型进行流程化关联，实现模型间运算。

a)入参配置对模型参数进行抽象分类，分成对象、属性、值，如图2所示。涵盖了参数设置的各方面。对象对应接入资源，属性对接资源元素，值对应动态变量。通过这种分类方法，打通了用户使用模型的通道。

b)逻辑注入，是模型规则的依据，通过SQL和服务模式实现逻辑规则构建。如图1，sql模式，通过入参配置传递过来的参数，结合sql规则，利用SpEL表达式对语句进行重构，分离了逻辑与实例的关联，用户可以在实例化模型过程时再确定资源、属性、值等信息，提升模型规则的复用。如图2，服务模式，则是利用服务总线技术，将第三方的服务接口进行接入配置，结合入参及出参设置，完成服务模型化转换。通过这种方式，可以对已有的业务逻辑及规则进行融合，减少重复构建，拿来主义，提升模型规则的可扩展性。

c)资源接入采用数据通道ETL抽取技术，将配置的各类资源进行对接，保障数据的高效流传，接入模型。

d)模型实例是模型规则的动态执行，将实际的业务场景，通过参数设置，资源接入完成运算产生结果实现价值，如图5。模型实例经历校验、分析、路由、运算、产出过程，校验负责数据的合法性验证、用户权限验证、环境验证等；分析根据模型规则及数据情况选择合适的处理模式，如流式计算、分布式计算等；路由将数据按照规则及负载分配运算资源，实现实例化的智能化寻址；运算则是规则的真正执行，通过各种模式运算规则逻辑，得出运算结果；产出则是根据模型的输出规则对结果集进行组织，最终推送落地，服务实战化应用。

e)模型组合如图6，利用可视化组件实现流程管理，将不同的模型规则进行组合，按照流程图中的路径及关系进行执行，将模型与模型建立逻辑关联，实现复杂模型的规则。

以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种基于大数据的业务建模分析方法，其特征在于，

包括：入参配置、逻辑注入、输出映射、资源接入、模型实例、模型组合；

其中，入参配置、逻辑注入、输出映射是模型规则构建的三步；模型实例通过资源接入，参数设置完成模型规则的动态执行；模型组合将一个以上的模型进行流程化关联，实现模型间运算。

2.根据权利要求1所述的方法，其特征在于，

其中，

入参配置主要对模型输入参数进行设置；

逻辑注入，支撑模型逻辑的实现，针对大数据特点将注入方式分为SpEL SQL注入和服务接口注入；

输出映射，是对结果集与逻辑输出的属性通过配置实现一对一关联；

资源接入，将要分析的数据集配置接入，通过统一格式进行转换；

模型实例，将模型的逻辑实例化并执行，产生结果集；

模型组合，对已配置完成的模型，进行流程式组合配置，构建模型与模型间的逻辑顺序，形成复杂逻辑的业务模型，并分析出结果。

3.根据权利要求2所述的方法，其特征在于，

入参配置通过抽象技术将参数分为：对象、属性、值；

对象是针对各种数据源的抽象，支持分布式数据库(HBASE)、关系型数据库(oracle、Greenplum、mysql)、内存数据库(redis)、文件、各种异构资源接入；

属性是各种资源的具体元素；

值则是要传入模型的变量。

4.根据权利要求2所述的方法，其特征在于，

逻辑注入支持sql和服务两种方式；

sql方式通过SpEL技术结合sql语言，实现类sql配置，将逻辑与具体实例分离，抽象模型规则；

服务方式则是通过服务总线接入服务接口，将入参与出参与入参配置和输出映射进行关联，实现第三方业务逻辑模型化，提升模型构建的兼容性。

5.根据权利要求2所述的方法，其特征在于，

输出映射是对逻辑注入产生的结果集进行输出配置，设置输出属性、格式转化、排列顺序，提升结果的使用价值。

6.根据权利要求2所述的方法，其特征在于，

7.根据权利要求2所述的方法，其特征在于，

模型实例是逻辑实现的动态执行，借助数据通道ETL抽取、流式处理、分布式技术，让资源经历校验、分析、路由、运算、产出等过程，最终将结果推送给用户。

8.根据权利要求7所述的方法，其特征在于，

模型组合则是运用流程化配置方式，通过可视化组件实现流程配置，将一个以上发布的模型按照逻辑规则顺序进行组合，实现模型组合分析。