CN113420045B - 一种基于交互式分析的技战法模型构建方法及系统 - Google Patents
一种基于交互式分析的技战法模型构建方法及系统 Download PDFInfo
- Publication number
- CN113420045B CN113420045B CN202110826023.8A CN202110826023A CN113420045B CN 113420045 B CN113420045 B CN 113420045B CN 202110826023 A CN202110826023 A CN 202110826023A CN 113420045 B CN113420045 B CN 113420045B
- Authority
- CN
- China
- Prior art keywords
- model
- import
- data
- node
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于交互式分析的技战法模型构建方法及系统,包括:对数据检索表及其对应的字段进行绑定,并将所述数据检索表进行拆分得到特定标签表,并生成同步任务提取标签信息;基于所述同步任务提取标签信息进行流程构建,得到计算模型;对所述计算模型进行元件导入,保存模型定义;基于所述模型定义得到执行引擎,并生成流程实例;根据所述流程实例,进行结果展示;本发明提供一种基于交互式分析的技战法模型构建方法及系统,使得用户只对中文属性进行编辑,减低配置难度,并且避免了SQL编写,公式计算等繁琐开发流程,简化技战法构建,并且可以对复杂业务进行分析和拆分,降低技术难度和复杂度。
Description
技术领域
本发明涉及模型构建领域,特别涉及一种基于交互式分析的技战法模型构建方法及系统。
背景技术
现有的技战法模型构建方法为基于特定数据仓库,并配合大数据离线计算引擎,由指定数据开发人员进行业务梳理,然后进行SQL编写、针对有界数据集,定制化技战法模型。
如指标计算、数据排行、业务分析。需要数据开发人员熟悉数据表结构,并对数据内容进行业务理解,并按照指定业务逻辑进行SQL编写,最后进行数据结果和数据质量查看。
该类型平台以标准SQL的方式定制多个数据作业,并将数据作业进行模型串联。实现方式简单,但是维护成本高,数据开发本身也需要具备一定业务能力的限制,存在以下问题:
数据分层分级复杂,对开发人员的逻辑能力要求较高;
业务分析转为SQL编写需要一定的数据开发能力,不适合运维人员或者业主;
数据监控较弱,临时数据管理较为复杂;
数据仓库和数据计算引擎切换,技术难度大且复杂度较高;
业务上,原始的数据作业,对开发人员的业务要求极大,需要研发人员对业务本身和数据内容有极大的了解。才能完成一个任务或者作业的开发。
发明内容
本发明提供一种基于交互式分析的技战法模型构建方法及系统,通过对字段进行绑定,使得用户只对中文属性进行编辑,减低配置难度,更加直观展示业务内容和进行业务分析,降低对开发人员的业务需求,避免了SQL编写,公式计算等繁琐开发流程,简化技战法构建,并且可以对复杂业务进行分析和拆分,并且不需要数据仓库和数据计算引擎切换,降低技术难度和复杂度。
本发明提供一种基于交互式分析的技战法模型构建方法,包括:
步骤1:对数据检索表及其对应的字段进行绑定,并将所述数据检索表进行拆分得到特定标签表,并生成同步任务提取标签信息;
步骤2:基于所述同步任务提取标签信息进行流程构建,得到计算模型;
步骤3:对所述计算模型进行元件导入,保存模型定义;
步骤4:基于所述模型定义得到执行引擎,并生成流程实例;
步骤5:根据所述流程实例,进行结果展示。
在一种可能实现的方式中,
步骤1中,对数据检索表及其对应的字段进行绑定,并将所述数据检索表进行拆分得到特定标签表,并生成同步任务提取标签信息包括:
根据主体类型对基础元件进行分组,并根据分组结果设置所述基础元件的标签;
基于所述基础元件的属性,绑定数据检索表,并绑定所述属性在所述数据检索表中的字段;
对所述数据检索表进行拆分形成特定标签表,在拆分时,若所述数据检索表的频率超过预设频率,则对所述数据检索表进行缓存加速;
基于所述特定标签表,利用技战法对配置页面进行节点配置;
根据业务属性对所述基础元件进行定义,得到所述基础元件的元件类型;
根据所述元件类型对节点进行定义,得到同步任务提取标签信息。
在一种可能实现的方式中,
步骤2中,基于所述同步任务提取标签信息进行流程构建,得到计算模型包括:
拖动所述同步任务标签信息中的标签组件进行流程构建,具体为:
对每个标签组件进行基础筛选,确定每个标签组件的属性;
基于标签组件的属性,基于计算节点进行基础元件之间的运算,包括:交集运算、并集运算、差集运算、融合运算和统计运算;
基于技战法工厂,根据基础元件之间的运算,对所述计算节点进行参数编辑,并得到计算模型。
在一种可能实现的方式中,
步骤3中,对所述计算模型进行元件导入,保存模型定义包括:
对导入数据配置导入参数,所述导入参数包含表格导入字段行和属性行;
在所述计算模型的配置页面对所述表格导入字段行进行表头解析,选取导入字段;
匹配与所述导入字段对应的后端接口,利用所述后端接口进行元件导入;
在元件导入之前,对所述元件导入的规则进行校验,若校验失败,则停止元件导入;
若校验通过,根据所述导入参数生成表名、字段名称;
根据所述导入数据的大小和行数创建导入线程,根据所述表名创建源表;
启动所述导入线程,根据所述源表进行所述导入数据导入;
获取导入过程中的导入操作数据,并判断所述导入操作数据中是否包含导入操作ID;
若是,新增包含所述导入操作ID导入记录,并清除旧操作ID记录;
否则,新增导入记录;
在每一次操作线程结束后,保存导入条数,并使用插入ID和表名作为唯一验证码;
在所述导入数据导入成功后,根据导入结果得到模型定义,并保存。
在一种可能实现的方式中,
在所述计算模型进行元件导入的过程中,若要停止导入,则根据所述导入线程的ID、表名和操作ID调用线程中端接口,基于所述调用线程中端接口关闭所述导入线程;
在所述计算模型进行元件导入的过程中,若要进行导入进程查询,则输入所述唯一验证码调用查询接口进行导入进程查询。
在一种可能实现的方式中,
在所述导入数据导入成功后,根据导入结果得到模型定义包括:
运行导入数据导入成功后的计算模型,在所述计算模型的前端组装页面,包含节点的模型定义;
调用所述计算模型的后端的技战法模型发布接口,对节点进行拆分分析,并判断所述节点是否为自定义模型;
若是,创建所述节点的节点定义为自定义模型+自定义模型ID;
否则,创建所述节点的节点定义为节点类型+元件ID+筛选条件;
对所有节点进行模型定义,得到所述计算模型的模型定义。
在一种可能实现的方式中,
步骤4中,基于所述模型定义得到执行引擎,并生成流程实例包括:
根据所述模型定义调用执行引擎接口,并通过所述执行引擎获取数据仓数据源配置信息和解析模型信息;
按照数据仓类型对所述源配置信息和解析模型信息进行流程定义,其过程如下:
获取所述源配置信息和解析模型信息中的节点实例,并判断所述节点实例所包含的元件是否为基础元件;
若是,组装所述基础元件的SQL语句,并保存至所述节点实例,得到第一清单;
否则,判断所述元件是否为运算元件;
若是,组装所述运算元件的SQL语句,查询所述节点实例包含的表名,基于所述表明替换所述运算元件的SQL语句的动态SQL参数,并保存至所述节点实例,得到第二清单;
否则,表明所述元件是否为特殊元件,并判断所述特殊元件是否为数据库元件;
若是,组装所述数据库元件的SQL语句,并保存至所述节点实例,得到第三清单;
否则,表明所述特殊元件为外部导入元件,组装所述外部导入元件的SQL 语句,并保存至所述节点实例,得到第四清单;
基于所述第一清单、第二清单、第三清单和第四清单对对所述源配置信息和解析模型信息进行流程定义;
利用计算引擎,将所述流程定义转化为执行代码,并根据所述执行代码进行运行;
在所述执行代码运行成功后,根据业务数据,生成流程实例,并调用流程保存接口,保存所述流程实例。
在一种可能实现的方式中,
步骤5中,根据所述流程实例,进行结果展示包括:
根据所述流程实例创建流程执行表;
根据所述流程执行表获取对应的执行引擎分析接口,并根据所述执行引擎分析接口确定节点实例信息和SQL语句信息;
利用执行引擎执行接口,对所述节点实例信息和SQL语句信息进行执行,得到结果展示。
一种基于交互式分析的技战法模型构建系统,包括:
绑定模块,用于对数据检索表及其对应的字段进行绑定,并将所述数据检索表进行拆分得到特定标签表,并生成同步任务提取标签信息;
构建模块,用于基于所述同步任务提取标签信息进行流程构建,得到计算模型;
定义模块,用于对所述计算模型进行元件导入,保存模型定义;
实例生成模块,用于基于所述模型定义得到执行引擎,并生成流程实例;
展示模块,用于根据所述流程实例,进行结果展示。
本发明的技术优点:
1、屏蔽SQL编写,公式计算等繁琐开发流程,简化技战法构建;
2、屏蔽执行引擎,适配市面主流离线计算引擎,如sparksql、flinksql等;
3、保存后的模型定义,可作为后续模型编辑的子节点,该部分称为子模型;相对于传统离线计算方式,该过程更加适用于各种复杂模型构建过程。
本发明的关键点:
1、离线计算缓存加速,基于计算频次的方式,将宽表数据同步到缓存中,并且构建二级索引的,加速缓存查找,缓存方式分为列缓存、hash缓存、队列缓存,为后续计算过程中的复杂情况提供基础;
2、数据源屏蔽,屏蔽多种数据仓库;
3、屏蔽SQL执行引擎,构建自定义执行引擎,适配sparkSQL、flinkSQL 等多种执行引擎。
本发明的保护点:
1、元件构建,自动拆分临时表和数据标签;
2、子模型构建,用于二次分析和复杂业务拆分。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种基于交互式分析的技战法模型构建方法的流程图;
图2为本发明实施例中一种基于交互式分析的技战法模型构建系统的流程图;
图3为本发明实施例中交集运算的结构图;
图4为本发明实施例中并集运算的结构图;
图5为本发明实施例中差集运算的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1
本发明实施例提供一种基于交互式分析的技战法模型构建方法,如图1所示,包括:
步骤1:对数据检索表及其对应的字段进行绑定,并将所述数据检索表进行拆分得到特定标签表,并生成同步任务提取标签信息;
步骤2:基于所述同步任务提取标签信息进行流程构建,得到计算模型;
步骤3:对所述计算模型进行元件导入,保存模型定义;
步骤4:基于所述模型定义得到执行引擎,并生成流程实例;
步骤5:根据所述流程实例,进行结果展示。
在该实施例中,所述数据检索表及其对应的字段通过业务数据获得。
在该实施例中,所述特定标签表为中文标签,例如可以是人员标签表、车辆标签表、商品标签表。
在该实施例中,通常模型定义的过程通常以SQL为实体,本方案中的根据中文标签进行模型定义,简化技战法构建。
在该实施例中,所述流程实例例如可以是请假流程实例,首先确定请假者的姓名,然后创建一个请假表,最后,发起请假流程。
上述设计方案的有益效果是:通过对对数据检索表及其对应的字段进行绑定,并将所述数据检索表进行拆分得到特定标签表,并生成同步任务提取标签信息,通过对字段进行绑定,使得用户只对中文属性进行编辑,减低配置难度,更加直观展示业务内容和进行业务分析,降低对开发人员的业务需求,通过基于所述同步任务提取标签信息进行流程构建,得到计算模型,避免了SQL编写,公式计算等繁琐开发流程,简化技战法构建,通过对所述计算模型进行元件导入,保存模型定义,为后续在所述模型定义的基础上进行再次编辑提供了基础,降低了开发人员的逻辑能力要求,通过基于所述模型定义得到执行引擎,并生成流程实例,可以对复杂业务进行分析和拆分,并且不需要数据仓库和数据计算引擎切换,降低技术难度和复杂度。
实施例2
基于实施例1的基础上,本发明实施例提供一种基于交互式分析的技战法模型构建方法,步骤1中,对数据检索表及其对应的字段进行绑定,并将所述数据检索表进行拆分得到特定标签表,并生成同步任务提取标签信息包括:
根据主体类型对基础元件进行分组,并根据分组结果设置所述基础元件的标签;
基于所述基础元件的属性,绑定数据检索表,并绑定所述属性在所述数据检索表中的字段;
对所述数据检索表进行拆分形成特定标签表,在拆分时,若所述数据检索表的频率超过预设频率,则对所述数据检索表进行缓存加速;
基于所述特定标签表,利用技战法对配置页面进行节点配置;
根据业务属性对所述基础元件进行定义,得到所述基础元件的元件类型;
根据所述元件类型对节点进行定义,得到同步任务提取标签信息。
在该实施例中,所述主题类型例如可以是人员、车辆、商品,对应的标签为人员标签、车辆标签、商品标签。
在该实施例中,所述基础原件的属性例如年龄、性别,年龄对应的所在的字段为“25岁”,性别对应的属性为“女”。
在该实施例中,所述数据检索表的频率超过预设频率,则对所述数据检索表进行缓存加速具体为基于计算频次的方式,将宽表数据同步到缓存中,并且构建二级索引的,加速缓存查找,缓存方式分为列缓存、hash缓存、队列缓存,为后续计算过程中的复杂情况提供基础。
上述设计方案的有益效果是:用户只对中文属性进行编辑,降低配置难度,更加直观展示业务内容,进行业务分析,并在数据检索表的频率超过预设频率,则对所述数据检索表进行缓存加速,加速缓存查找,提高检索效率。
实施例3
基于实施例1的基础上,本发明实施例提供一种基于交互式分析的技战法模型构建方法,步骤2中,基于所述同步任务提取标签信息进行流程构建,得到计算模型包括:
拖动所述同步任务标签信息中的标签组件进行流程构建,具体为:
对每个标签组件进行基础筛选,确定每个标签组件的属性;
基于标签组件的属性,基于计算节点进行基础元件之间的运算,包括:交集运算、并集运算、差集运算、融合运算和统计运算;
基于技战法工厂,根据基础元件之间的运算,对所述计算节点进行参数编辑,并得到计算模型。
在该实施例中,所述基础筛选的操作包括为空、不为空、等于、不等于、在列表、不在列表、包含、不包含等。
在该实施例中,所述交集运算:
如图3所示交集运算为计算两个数据集的主体重合部分,字段则使用附加的形式全部输出也可在运算中配置制定输出字段。
使用innerjoin作为SQL操作。
所述并集运算:
如图4所示并集运算为计算两个数据集的主体全部部分,字段则使用附加的形式全部输出。也可在运算中配置制定输出字段。
Union所有节点的关联字段后,并附加所有节点字段的值(若存在重复字段,重复字段一个不为空则取不为空字段,若都为空,则取空,若两个字段都不为空,则取首个字段)作为SQL操作。
所述差集运算:
如图5所示差集运算为计算两个数据集中,以其中一个数据集为主数据集,去除主体的重合部分,字段则使用附加的形式全部输出。也可在运算中配置制定输出字段。
使用notin作为SQL操作。
所述融合运算:
融合运算是以其中一个数据集为主数据集,保留主数据集所有数据条目内容不变,附加后一个数据集中关联字段作为主数据集的扩充。
所述统计运算:
统计运算输出结果数据集中在字段条件下的结果总数。
在该实施例中,对所述计算节点进行参数编辑包括关联参数、碰撞参数等。
上述设计方案的有益效果是:通过基于所述同步任务提取标签信息进行流程构建,得到计算模型,避免了SQL编写,公式计算等繁琐开发流程,简化技战法构建,降低了对开发人员的业务要求。
实施例4
基于实施例1的基础上,本发明实施例提供一种基于交互式分析的技战法模型构建方法,步骤3中,对所述计算模型进行元件导入,保存模型定义包括:
对导入数据配置导入参数,所述导入参数包含表格导入字段行和属性行;
在所述计算模型的配置页面对所述表格导入字段行进行表头解析,选取导入字段;
匹配与所述导入字段对应的后端接口,利用所述后端接口进行元件导入;
在元件导入之前,对所述元件导入的规则进行校验,若校验失败,则停止元件导入;
若校验通过,根据所述导入参数生成表名、字段名称;
根据所述导入数据的大小和行数创建导入线程,根据所述表名创建源表;
启动所述导入线程,根据所述源表进行所述导入数据导入;
获取导入过程中的导入操作数据,并判断所述导入操作数据中是否包含导入操作ID;
若是,新增包含所述导入操作ID导入记录,并清除旧操作ID记录;
否则,新增导入记录;
在每一次操作线程结束后,保存导入条数,并使用插入ID和表名作为唯一验证码;
在所述导入数据导入成功后,根据导入结果得到模型定义,并保存。
上述设计方案的有益效果是:通过对件导入的规则进行校验,保证了模型的合规,通过保存模型定义,为后续在所述模型定义的基础上进行再次编辑提供了基础。
实施例5
基于实施例4的基础上,本发明实施例提供一种基于交互式分析的技战法模型构建方法,包括:
在所述计算模型进行元件导入的过程中,若要停止导入,则根据所述导入线程的ID、表名和操作ID调用线程中端接口,基于所述调用线程中端接口关闭所述导入线程;
在所述计算模型进行元件导入的过程中,若要进行导入进程查询,则输入所述唯一验证码调用查询接口进行导入进程查询。
上述设计方案的有益效果是:通过线程中端接口和唯一验证码在元件导入过程中进行停止和查询,方便及时了解导入元件进程,保证导入元件的正常运行,提高对数据的监控能力,降低管理复杂度。
实施例6
基于实施例4的基础上,本发明实施例提供一种基于交互式分析的技战法模型构建方法,其特征在于,在所述导入数据导入成功后,根据导入结果得到模型定义包括:
运行导入数据导入成功后的计算模型,在所述计算模型的前端组装页面,包含节点的模型定义;
调用所述计算模型的后端的技战法模型发布接口,对节点进行拆分分析,并判断所述节点是否为自定义模型;
若是,创建所述节点的节点定义为自定义模型+自定义模型ID;
否则,创建所述节点的节点定义为节点类型+元件ID+筛选条件;
对所有节点进行模型定义,得到所述计算模型的模型定义。
上述设计方案的有益效果是:通过对模型进行区分为自定义模型和非自定义模型来对模型进行定义,便于后续在所述模型定义的基础上进行再次编辑,降低对开发人员的逻辑能力要求。
实施例7
基于实施例1的基础上,本发明实施例提供一种基于交互式分析的技战法模型构建方法,步骤4中,基于所述模型定义得到执行引擎,并生成流程实例包括:
根据所述模型定义调用执行引擎接口,并通过所述执行引擎获取数据仓数据源配置信息和解析模型信息;
按照数据仓类型对所述源配置信息和解析模型信息进行流程定义,其过程如下:
获取所述源配置信息和解析模型信息中的节点实例,并判断所述节点实例所包含的元件是否为基础元件;
若是,组装所述基础元件的SQL语句,并保存至所述节点实例,得到第一清单;
否则,判断所述元件是否为运算元件;
若是,组装所述运算元件的SQL语句,查询所述节点实例包含的表名,基于所述表明替换所述运算元件的SQL语句的动态SQL参数,并保存至所述节点实例,得到第二清单;
否则,表明所述元件是否为特殊元件,并判断所述特殊元件是否为数据库元件;
若是,组装所述数据库元件的SQL语句,并保存至所述节点实例,得到第三清单;
否则,表明所述特殊元件为外部导入元件,组装所述外部导入元件的SQL 语句,并保存至所述节点实例,得到第四清单;
基于所述第一清单、第二清单、第三清单和第四清单对对所述源配置信息和解析模型信息进行流程定义;
利用计算引擎,将所述流程定义转化为执行代码,并根据所述执行代码进行运行;
在所述执行代码运行成功后,根据业务数据,生成流程实例,并调用流程保存接口,保存所述流程实例。
在该实施例中,通过根据元件的类型对所述节点实例进行保存,保证了流程定义的准确性。
上述设计方案的有益效果是:通过基于所述模型定义得到执行引擎,并生成流程实例,可以对复杂业务进行分析和拆分,并且不需要数据仓库和数据计算引擎切换,降低技术难度和复杂度。
实施例8
基于实施例1的基础上,本发明实施例提供一种基于交互式分析的技战法模型构建方法,步骤5中,根据所述流程实例,进行结果展示包括:
根据所述流程实例创建流程执行表;
根据所述流程执行表获取对应的执行引擎分析接口,并根据所述执行引擎分析接口确定节点实例信息和SQL语句信息;
利用执行引擎执行接口,对所述节点实例信息和SQL语句信息进行执行,得到结果展示。
上述设计方案的有益效果是:根据流程执行表来获取自定义的执行引擎分析接口,避免使用SQL执行引擎,降低操作难度,降低对工作人员的业务要求。
实施例9
一种基于交互式分析的技战法模型构建系统,包括:
绑定模块,用于对数据检索表及其对应的字段进行绑定,并将所述数据检索表进行拆分得到特定标签表,并生成同步任务提取标签信息;
构建模块,用于基于所述同步任务提取标签信息进行流程构建,得到计算模型;
定义模块,用于对所述计算模型进行元件导入,保存模型定义;
实例生成模块,用于基于所述模型定义得到执行引擎,并生成流程实例;
展示模块,用于根据所述流程实例,进行结果展示。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种基于交互式分析的技战法模型构建方法,其特征在于,包括:
步骤1:对数据检索表及其对应的字段进行绑定,并将所述数据检索表进行拆分得到特定标签表,并生成同步任务提取标签信息;
步骤2:基于所述同步任务提取标签信息进行流程构建,得到计算模型;
步骤3:对所述计算模型进行元件导入,保存模型定义;
步骤4:基于所述模型定义得到执行引擎,并生成流程实例,如下:
根据所述模型定义调用执行引擎接口,并通过所述执行引擎获取数据仓数据源配置信息和解析模型信息;
按照数据仓类型对所述源配置信息和解析模型信息进行流程定义,其过程如下:
获取所述源配置信息和解析模型信息中的节点实例,并判断所述节点实例所包含的元件是否为基础元件;
若是,组装所述基础元件的SQL语句,并保存至所述节点实例,得到第一清单;
否则,判断所述元件是否为运算元件;
若是,组装所述运算元件的SQL语句,查询所述节点实例包含的表名,基于所述表名替换所述运算元件的SQL语句的动态SQL参数,并保存至所述节点实例,得到第二清单;
否则,表明所述元件是否为特殊元件,并判断所述特殊元件是否为数据库元件;
若是,组装所述数据库元件的SQL语句,并保存至所述节点实例,得到第三清单;
否则,表明所述特殊元件为外部导入元件,组装所述外部导入元件的SQL语句,并保存至所述节点实例,得到第四清单;
基于所述第一清单、第二清单、第三清单和第四清单对对所述源配置信息和解析模型信息进行流程定义;
利用计算引擎,将所述流程定义转化为执行代码,并根据所述执行代码进行运行;
在所述执行代码运行成功后,根据业务数据,生成流程实例,并调用流程保存接口,保存所述流程实例;
步骤5:根据所述流程实例,进行结果展示。
2.根据权利要求1所述的一种基于交互式分析的技战法模型构建方法,其特征在于,步骤1中,对数据检索表及其对应的字段进行绑定,并将所述数据检索表进行拆分得到特定标签表,并生成同步任务提取标签信息包括:
根据主体类型对基础元件进行分组,并根据分组结果设置所述基础元件的标签;
基于所述基础元件的属性,绑定数据检索表,并绑定所述属性在所述数据检索表中的字段;
对所述数据检索表进行拆分形成特定标签表,在拆分时,若所述数据检索表的频率超过预设频率,则对所述数据检索表进行缓存加速;
基于所述特定标签表,利用技战法对配置页面进行节点配置;
根据业务属性对所述基础元件进行定义,得到所述基础元件的元件类型;
根据所述元件类型对节点进行定义,得到同步任务提取标签信息。
3.根据权利要求1所述的一种基于交互式分析的技战法模型构建方法,其特征在于,步骤2中,基于所述同步任务提取标签信息进行流程构建,得到计算模型包括:
拖动所述同步任务标签信息中的标签组件进行流程构建,具体为:
对每个标签组件进行基础筛选,确定每个标签组件的属性;
基于标签组件的属性,基于计算节点进行基础元件之间的运算,包括:交集运算、并集运算、差集运算、融合运算和统计运算;
基于技战法工厂,根据基础元件之间的运算,对所述计算节点进行参数编辑,并得到计算模型。
4.根据权利要求1所述的一种基于交互式分析的技战法模型构建方法,其特征在于,步骤3中,对所述计算模型进行元件导入,保存模型定义包括:
对导入数据配置导入参数,所述导入参数包含表格导入字段行和属性行;
在所述计算模型的配置页面对所述表格导入字段行进行表头解析,选取导入字段;
匹配与所述导入字段对应的后端接口,利用所述后端接口进行元件导入;
在元件导入之前,对所述元件导入的规则进行校验,若校验失败,则停止元件导入;
若校验通过,根据所述导入参数生成表名、字段名称;
根据所述导入数据的大小和行数创建导入线程,根据所述表名创建源表;
启动所述导入线程,根据所述源表进行所述导入数据导入;
获取导入过程中的导入操作数据,并判断所述导入操作数据中是否包含导入操作ID;
若是,新增包含所述导入操作ID导入记录,并清除旧操作ID记录;
否则,新增导入记录;
在每一次操作线程结束后,保存导入条数,并使用插入ID和表名作为唯一验证码;
在所述导入数据导入成功后,根据导入结果得到模型定义,并保存。
5.根据权利要求4所述的一种基于交互式分析的技战法模型构建方法,其特征在于,包括:
在所述计算模型进行元件导入的过程中,若要停止导入,则根据所述导入线程的ID、表名和操作ID调用线程中断接口,基于所述调用线程中断接口关闭所述导入线程;
在所述计算模型进行元件导入的过程中,若要进行导入进程查询,则输入所述唯一验证码调用查询接口进行导入进程查询。
6.根据权利要求4所述的一种基于交互式分析的技战法模型构建方法,其特征在于,在所述导入数据导入成功后,根据导入结果得到模型定义包括:
运行导入数据导入成功后的计算模型,在所述计算模型的前端组装页面,包含节点的模型定义;
调用所述计算模型的后端的技战法模型发布接口,对节点进行拆分分析,并判断所述节点是否为自定义模型;
若是,创建所述节点的节点定义为自定义模型+自定义模型ID;
否则,创建所述节点的节点定义为节点类型+元件ID+筛选条件;
对所有节点进行模型定义,得到所述计算模型的模型定义。
7.根据权利要求1所述的一种基于交互式分析的技战法模型构建方法,其特征在于,步骤5中,根据所述流程实例,进行结果展示包括:
根据所述流程实例创建流程执行表;
根据所述流程执行表获取对应的执行引擎分析接口,并根据所述执行引擎分析接口确定节点实例信息和SQL语句信息;
利用执行引擎执行接口,对所述节点实例信息和SQL语句信息进行执行,得到结果展示。
8.一种基于交互式分析的技战法模型构建系统,其特征在于,包括:
绑定模块,用于对数据检索表及其对应的字段进行绑定,并将所述数据检索表进行拆分得到特定标签表,并生成同步任务提取标签信息;
构建模块,用于基于所述同步任务提取标签信息进行流程构建,得到计算模型;
定义模块,用于对所述计算模型进行元件导入,保存模型定义;
实例生成模块,用于基于所述模型定义得到执行引擎,并生成流程实例,如下:
根据所述模型定义调用执行引擎接口,并通过所述执行引擎获取数据仓数据源配置信息和解析模型信息;
按照数据仓类型对所述源配置信息和解析模型信息进行流程定义,其过程如下:
获取所述源配置信息和解析模型信息中的节点实例,并判断所述节点实例所包含的元件是否为基础元件;
若是,组装所述基础元件的SQL语句,并保存至所述节点实例,得到第一清单;
否则,判断所述元件是否为运算元件;
若是,组装所述运算元件的SQL语句,查询所述节点实例包含的表名,基于所述表名替换所述运算元件的SQL语句的动态SQL参数,并保存至所述节点实例,得到第二清单;
否则,表明所述元件是否为特殊元件,并判断所述特殊元件是否为数据库元件;
若是,组装所述数据库元件的SQL语句,并保存至所述节点实例,得到第三清单;
否则,表明所述特殊元件为外部导入元件,组装所述外部导入元件的SQL语句,并保存至所述节点实例,得到第四清单;
基于所述第一清单、第二清单、第三清单和第四清单对对所述源配置信息和解析模型信息进行流程定义;
利用计算引擎,将所述流程定义转化为执行代码,并根据所述执行代码进行运行;
在所述执行代码运行成功后,根据业务数据,生成流程实例,并调用流程保存接口,保存所述流程实例;
展示模块,用于根据所述流程实例,进行结果展示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110826023.8A CN113420045B (zh) | 2021-07-21 | 2021-07-21 | 一种基于交互式分析的技战法模型构建方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110826023.8A CN113420045B (zh) | 2021-07-21 | 2021-07-21 | 一种基于交互式分析的技战法模型构建方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113420045A CN113420045A (zh) | 2021-09-21 |
CN113420045B true CN113420045B (zh) | 2022-02-18 |
Family
ID=77717993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110826023.8A Active CN113420045B (zh) | 2021-07-21 | 2021-07-21 | 一种基于交互式分析的技战法模型构建方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113420045B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
CN111369417A (zh) * | 2020-03-05 | 2020-07-03 | 青岛海信网络科技股份有限公司 | 一种基于技战法模型的案件线索获取方法及装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060173813A1 (en) * | 2005-01-04 | 2006-08-03 | San Antonio Independent School District | System and method of providing ad hoc query capabilities to complex database systems |
CN101034349A (zh) * | 2007-04-06 | 2007-09-12 | 西安万年科技实业有限公司 | 基于功能设计的数据库应用系统开发平台 |
CN106776962A (zh) * | 2016-12-05 | 2017-05-31 | 济南浪潮高新科技投资发展有限公司 | 一种通用的Excel数据导入多个数据库物理表方法 |
CN109993316B (zh) * | 2016-12-06 | 2023-08-29 | 第四范式(北京)技术有限公司 | 执行机器学习流程的方法及系统 |
CN108280291A (zh) * | 2018-01-22 | 2018-07-13 | 湖南和信智仿信息科技有限公司 | 可重用仿真模型接口设计与对接方法、装置和计算机设备 |
CN112685019A (zh) * | 2019-10-18 | 2021-04-20 | 广州天维信息技术股份有限公司 | 一种基于绩效考核系统的开发平台的设计方法及配置 |
CN111966738B (zh) * | 2020-08-20 | 2023-10-27 | 广东优触感科技有限公司 | 一种通过选择前端配置自动实现后端编程的系统 |
CN112949172B (zh) * | 2021-02-24 | 2023-07-04 | 重庆中科云从科技有限公司 | 一种数据处理方法、装置、机器可读介质及设备 |
-
2021
- 2021-07-21 CN CN202110826023.8A patent/CN113420045B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
CN111369417A (zh) * | 2020-03-05 | 2020-07-03 | 青岛海信网络科技股份有限公司 | 一种基于技战法模型的案件线索获取方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113420045A (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107147639B (zh) | 一种基于复杂事件处理的实时安全预警方法 | |
CN110292775B (zh) | 获取差异数据的方法及装置 | |
CN110597999A (zh) | 一种依存句法分析关系抽取模型的司法案件知识图谱构建方法 | |
CN107704265A (zh) | 一种面向业务流可配置的规则生成方法 | |
CN110750650A (zh) | 企业知识图谱的构建方法及装置 | |
CN113760891B (zh) | 一种数据表的生成方法、装置、设备和存储介质 | |
CN111191125A (zh) | 一种基于标签化的数据分析方法 | |
CN110427188A (zh) | 单测断言程序的配置方法、装置、设备及存储介质 | |
CN106446019A (zh) | 一种软件功能处理方法和装置 | |
CN116680839B (zh) | 一种基于知识驱动的发动机智能化工艺设计方法 | |
CN112883202A (zh) | 一种基于知识图谱的多组件建模方法和系统 | |
CN113157978B (zh) | 数据的标签建立方法和装置 | |
CN115438142B (zh) | 一种对话式交互数据分析报告系统 | |
CN113420045B (zh) | 一种基于交互式分析的技战法模型构建方法及系统 | |
CN115438995B (zh) | 一种基于知识图谱的服装定制企业的业务处理方法及设备 | |
CN111309773A (zh) | 一种车辆信息的查询方法、装置、系统及存储介质 | |
CN102486731B (zh) | 增强软件的软件调用栈的可视化的方法、设备和系统 | |
CN115469860B (zh) | 基于指令集的需求到软件领域模型的自动生成方法及系统 | |
CN111562937A (zh) | 一种代码方法级缺陷预警方法 | |
CN116303641A (zh) | 一种支持多数据源可视化配置的实验室报告管理方法 | |
CN116431481A (zh) | 一种基于多代码情况下的代码参数校验方法及装置 | |
CN115292370A (zh) | 一种业务单据数据处理方法、装置、介质 | |
CN115062023A (zh) | 宽表优化方法、装置、电子设备及计算机可读存储介质 | |
CN112347314A (zh) | 一种基于图数据库的数据资源管理系统 | |
CN109739835A (zh) | 一种数据版本保存方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |