CN112364290A - 一种基于流式计算的可视化计算模型构建方法和系统 - Google Patents

Abstract

本发明提供了一种基于流式计算的可视化计算模型构建方法和系统，该方法包括：步骤(1)，基于流式计算，构建基础算子；步骤(2)，根据基础算子的输入端与输出端的映射关系，对基础算子进行自定义组合，形成可拖拉拽的可视化计算模型；该系统包括：构建模块，用于基于流式计算，构建基础算子；组合模块，用于将构建模块中基础算子通过输入输出的映射关系进行自定义组合，形成可拖拉拽的可视化计算模型；本发明的有益效果为提高数据实时性，加强了系统的可操作性，极大的降低了以往系统中的算法比对异常，解决研发成本问题，使业务模型更加颗粒化、系统化。

Description

一种基于流式计算的可视化计算模型构建方法和系统

技术领域

本发明涉及计算机技术领域，特别涉及一种基于流式计算的可视化计算模型构建方法和系统。

背景技术

传统的可视化计算模型是基于离线计算的数据作业平台构建的，该类型平台以标准的SQL的方式定制多个数据作业，并将数据作业进行模型串联，可由于本身离线计算的限制，导致可视化计算模型在实际应用时的时效性弱，并随着数据量的增大，对内存的要求极高，且不适用实时场景以及时序要求高的场合，在数据作业时，数据需要优先持久化，成倍加大了读写IO；

因此，如何使可视化计算模型在应用时的时效性提高至秒或毫秒级，将数据处理的时序性优先级提高，减少计算过程中所需的数据量，数据计算先于数据持久化，降低硬盘或网络IO，计算过程中的缓存加速，最大化降低数据库检索成为一个亟待解决的问题。

发明内容

本发明提供一种基于流式计算的可视化计算模型构建方法和系统，用以实现可视化计算模型在应用时的时效性提高至秒或毫秒级，将数据处理的时序性优先级提高，减少计算过程中所需的数据量，数据计算先于数据持久化，降低硬盘或网络IO，计算过程中的缓存加速，最大化降低数据库检索。

本发明提供一种基于流式计算的可视化计算模型构建方法，包括如下步骤：

步骤(1)，基于流式计算，构建基础算子；

步骤(2)，根据所述基础算子的输入端与输出端的映射关系，对所述基础算子进行自定义组合，形成可拖拉拽的可视化计算模型。

作为本发明的一种实施例，在所述步骤(1)中，基于流式计算，构建基础算子，包括：

步骤(10)，构建比对对象；

步骤(11)，基于流式计算架构，根据所述比对对象，构建规则算子；

步骤(12)，基于流式计算，根据所述基础算子，构建计算规则，得到所述基础算子。

作为本发明的一种实施例，在所述步骤(10)中，构建比对对象，包括：

步骤(101)，创建对象，使所述对象绑定预设数据模型，并确定所述预设数据模型中的唯一标识和所述预设数据模型中的比对内容，得到模型对象；

步骤(102)，将所述模型对象绑定比对类型，得到所述比对对象；

其中，所述比对类型包括GIS规则对象、集合对象。

作为本发明的一种实施例，还包括：

基于key/value的缓存方式，将所述比对对象同步到key/value缓存中，实现缓存加速，使所述比对对象的更新修改实时生效；

根据所述比对对象的比对字段和比对内容，所述缓存方式分为列缓存、hash缓存、队列缓存。

作为本发明的一种实施例，在所述步骤(11)中，基于流式计算架构，根据所述比对对象，构建规则算子，包括：

步骤(111)，基于流式计算架构，构建规则算子库，使所述规则算子库中的算子绑定所述比对对象，获取所述比对对象中的唯一标识和比对内容，得到对象算子；

步骤(112)，将所述对象算子绑定算子类型并确定扩展字段，得到所述规则算子；

其中，所述算子类型包括：基础清洗规则算子、GIS规则算子、集合碰撞算子、函数碰撞算子、闯禁碰撞算子、关联碰撞算子和窗口统计算子。

作为本发明的一种实施例，在所述步骤(12)中，基于流式计算，根据所述规则算子，构建计算规则，得到所述基础算子，包括：

步骤(121)，基于流式计算，确定所述规则算子的输入端和输出端；

步骤(122)，根据所述规则算子的输入端和输出端绑定所述输入端和所述输出端的字段映射关系，得到所述基础算子。

作为本发明的一种实施例，还包括：

获取业务模型，基于所述规则算子库，将所述业务模型拆解为多个所述基础算子，并将多个所述基础算子进行有序排列组合，形成实时计算模型；

其中，所述有序排列组合的顺序为：基础清洗规则算子->集合碰撞规则算子->函数碰撞规则->GIS规则。

作为本发明的一种实施例，还包括：

所述基础算子的计算类型分为附加字段和数据筛选并可以选择是否持久化，所述计算类型为附加字段的基础算子可以进行二次计算；

所述二次计算为两个基础算子结合形成新的基础算子还可以和另一个基础算子相结合形成更大的基础算子。

作为本发明的一种实施例，还包括：

创建计算通道，将所述基础算子放入所述计算通道中，保障所述基础算子的数据接入与数据输出；

其中，所述基础算子和所述计算通道一一对应；

监测所述计算通道之间的数据流，保障所述计算通道中基础算子的最大输出率。

本发明提供一种基于流式计算的可视化计算模型构建系统，其特征在于，包括：

构建模块，用于基于流式计算，构建基础算子；

组合模块，用于将所述构建模块中基础算子通过输入输出的映射关系进行自定义组合，形成可拖拉拽的可视化计算模型。

本发明的有益效果为：

本发明提供了一种基于流式计算的可视化计算模型构建方法和系统，在流式计算引擎下，数据实时性得到极大提高，相对于离线计算，高时序性的计算方式更适用于预警、布控等场景；

本发明提供了一种基于流式计算的可视化计算模型构建方法和系统，通过集合结构化数据的通用处理方式，总结出的所述规则算子库，极大加强了该系统的可操作性，以及所述规则算子库与所述比对对象之间的关系通过所述预设数据模型和所述比对字段的关联，极大的降低了在以往系统中算法比对异常的概率；

本发明提供了一种基于流式计算的可视化计算模型构建方法和系统，通过页面化的计算模型构建方式，本质上解决了研发成本问题，并且所述计算模型是所述基础算子自定义组合，使得实际业务模型更加颗粒化、系统化。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于流式计算的可视化计算模型构建方法和系统的方法流程图；

图2为本发明实施例中一种基于流式计算的可视化计算模型构建方法和系统的一种有关交通类场景-路线偏移方案的数据流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

一种基于流式计算的可视化计算模型构建方法，其特征在于，包括如下步骤：

步骤(1)，基于流式计算，构建基础算子；

步骤(2)，根据所述基础算子的输入端与输出端的映射关系，对所述基础算子进行自定义组合，形成可拖拉拽的可视化计算模型；

上述技术方案的工作原理为：基于流式计算，构建基础算子，第一步构建比对对象，构建比对对象的过程为先创建对象，使对象绑定预设数据模型，并选择预设数据模型中的唯一标识和比对内容，使绑定了预设数据模型的对象再绑定比对类型，用于后续绑定算子类型做准备，如比对类型为区域，则用于绑定算子类型为区域闯禁的规则算子，将绑定好比对类型的对象与数据同步策略绑定，用于缓存加速，使用key/value的缓存方式，用于后续提高比对效率，还能实时更新比对对象，第二步构建规则算子，首先基于流式计算，构建规则算子库，使规则算子库中的算子绑定比对对象，并获取比对对象中的唯一标识和比对内容，用于后续计算规则的入参绑定，将绑定了比对对象的算子与算子类型进行绑定，用于绑定流式计算中的算子实现方式，为绑定了算子类型的算子选择扩展规则定义，如自定义脚步或自定义函数内容，第三步构建计算规则，首先选择规则算子的输入端和输出源，然后根据选择的输入端和输出端来确定要绑定的字段映射关系，基础算子构建完成后，每个基础算子的算子节点都要选择数据处理方式，如数据筛选或附加字段，且每个算子节点都可以选择是否持久化，当接收到一个业务模型时，基于规则算子库可以将业务模型拆解为多个基础算子，再根据有序排列顺序将得到的基础算子重新组合形成所需要的实时计算模型，排列顺序为基础清洗规则算子->集合碰撞规则算子->函数碰撞规则->GIS规则，并且因为每个基础算子都可以附加字段，所以每个基础算子都可以与另一个基础算子结合形成新的基础算子，新的基础算子也可以根据附加字段再与一个基础算子结合形成更大的基础算子，从而使基础算子可以自定义组合，最终形成需要的可拖拉拽的可视化计算模型；

上述技术方案的有益效果为：本发明提供了一种基于流式计算的可视化计算模型构建方法和系统，在流式计算引擎下，数据实时性得到极大提高，相对于离线计算，高时序性的计算方式更适用于预警、布控等场景；本发明提供了一种基于流式计算的可视化计算模型构建方法和系统，通过集合结构化数据的通用处理方式，总结出的所述规则算子库，极大加强了该系统的可操作性，以及所述规则算子库与所述比对对象之间的关系通过所述预设数据模型和所述比对字段的关联，极大的降低了在以往系统中算法比对异常的概率；本发明提供了一种基于流式计算的可视化计算模型构建方法和系统，通过页面化的计算模型构建方式，本质上解决了研发成本问题，并且所述计算模型是所述基础算子自定义组合，使得实际业务模型更加颗粒化、系统化。

在一个实施例中，在所述步骤(1)中，基于流式计算，构建基础算子具体包括：

步骤(10)，构建比对对象；

步骤(11)，基于流式计算架构，根据所述比对对象，构建规则算子；

步骤(12)，基于流式计算，根据所述规则算子，构建计算规则，得到所述基础算子；

上述技术方案的工作原理为：第一步构建比对对象，构建比对对象的过程为先创建对象，使对象绑定预设数据模型，并选择预设数据模型中的唯一标识和比对内容，使绑定了预设数据模型的对象再绑定比对类型，用于后续绑定算子类型做准备，如比对类型为区域，则用于绑定算子类型为区域闯禁的规则算子，第二步构建规则算子，首先基于流式计算，构建规则算子库，使规则算子库中的算子绑定比对对象，并获取比对对象中的唯一标识和比对内容，用于后续计算规则的入参绑定，将绑定了比对对象的算子与算子类型进行绑定，用于绑定流式计算中的算子实现方式，第三步构建计算规则，首先选择规则算子的输入端和输出源，然后根据选择的输入端和输出源确定要绑定的字段映射关系，基础算子构建完成；

上述技术方案的有益效果为：通过构建基础算子，极大的加强了该系统的可操作性，使得计算模型更加的颗粒化。

在一个实施例中，在所述步骤(10)中，构建比对对象具体包括：

步骤(101)，创建对象，使所述对象绑定预设数据模型，并确定所述预设数据模型中的唯一标识和所述预设数据模型中的比对内容，得到模型对象；

步骤(102)，将所述模型对象绑定比对类型，得到所述比对对象；

其中，所述比对类型包括GIS规则对象、集合对象；

上述技术方案的工作原理为：构建比对对象的过程为先创建对象，使对象绑定预设数据模型，并选择预设数据模型中的唯一标识和比对内容，使绑定了预设数据模型的对象再绑定比对类型，用于后续绑定算子类型做准备，构建比对对象完成，比对类型包括GIS规则对象、集合对象，其中GIS规则对象包含点对象、路线对象、区域对象等，如比对类型为区域，则用于绑定算子类型为区域闯禁的规则算子；

上述技术方案的有益效果为：通过构建比对对象，作为与其他任何不确定对象比对时的标准。

在一个实施例中，还包括：

基于key/value的缓存方式，将所述比对对象同步到key/value缓存中，实现缓存加速，使所述比对对象的更新修改实时生效；

根据所述比对对象的比对字段和比对内容，所述缓存方式分为列缓存、hash缓存、队列缓存；

上述技术方案的工作原理为：将比对对象与数据同步策略绑定，用于缓存加速，使用key/value的缓存方式，用于后续提高比对效率，还能实时更新比对对象，按照对象类型区分，则缓存方式包含列缓存、hash缓存、队列缓存；

上述技术方案的有益效果为：比对对象的更新修改实时生效使得数据的实时性得到极大提高。

在一个实施例中，在所述步骤(11)中，基于流式计算架构，根据所述比对对象，构建规则算子，包括：

步骤(111)，基于流式计算架构，构建规则算子库，使所述规则算子库中的算子绑定所述比对对象，获取所述比对对象中的唯一标识和比对内容，得到对象算子；

步骤(112)，将所述对象算子绑定算子类型并确定扩展字段，得到所述规则算子；

其中，所述算子类型包括：基础清洗规则算子、GIS规则算子、集合碰撞算子、函数碰撞算子、闯禁碰撞算子、关联碰撞算子和窗口统计算子；

上述技术方案的工作原理为：构建规则算子，首先基于流式计算，构建规则算子库，使规则算子库中的算子绑定比对对象，并获取比对对象中的唯一标识和比对内容，用于后续计算规则的入参绑定，将绑定了比对对象的算子与算子类型进行绑定，用于绑定流式计算中的算子实现方式，为绑定了算子类型的算子选择扩展规则定义，如自定义脚步或自定义函数内容构建规则算子完成，其中算子类型包括基础清洗规则算子、GIS规则算子、集合碰撞算子、函数碰撞算子、闯禁碰撞算子、关联碰撞算子和窗口统计算子；

上述技术方案的有益效果为：规则算子库与比对对象之间的关系通过所述预设数据模型和所述比对字段的关联，极大的降低了在以往系统中算法比对异常的概率。

在一个实施例中，在所述步骤(12)中，基于流式计算，根据所述规则算子，构建计算规则，得到所述基础算子，包括：

步骤(121)，基于流式计算，确定所述规则算子的输入端和输出端；

步骤(122)，根据所述规则算子的输入端和输出端绑定所述输入端和所述输出端的字段映射关系，得到所述基础算子；

上述技术方案的工作原理为：构建计算规则，首先选择规则算子的输入端和输出源，然后根据选择的输入端和输出源确定要绑定的字段映射关系，构建基础算子完成；

上述技术方案的有益效果为：使每个基础算子都有相对应的输出端和输入端，且每个基础算子的输出端和输入端都存在一个与之存在映射关系的基础算子的输入端和输出端，使得基础算子的灵活性更强。

在一个实施例中，还包括：

获取业务模型，基于所述规则算子库，将所述业务模型拆解为多个所述基础算子，并将多个所述基础算子进行有序排列组合，形成实时计算模型；

其中，所述有序排列组合的顺序为：基础清洗规则算子->集合碰撞规则算子->函数碰撞规则->GIS规则；

上述技术方案的工作原理为：接收到一个复杂的业务模型，基于规则算子库可以将业务模型拆解为多个基础算子，再根据有序排列顺序将得到的基础算子重新组合形成所需要的实时计算模型，有序排列组合的顺序为：基础清洗规则算子->集合碰撞规则算子->函数碰撞规则->GIS规则；

上述技术方案的有益效果为：计算模型是规则算子的自定义组合，将业务模型更加颗粒化、系统化。

在一个实施例中，还包括：

所述基础算子的计算类型分为附加字段和数据筛选并可以选择是否持久化，所述计算类型为附加字段的基础算子可以进行二次计算；

所述二次计算为两个基础算子结合形成新的基础算子还可以和另一个基础算子相结合形成更大的基础算子；

上述技术方案的工作原理为：基础算子的计算类型分为附加字段和数据筛选并可以选择是否持久化，若算子节点选择持久化，可用于后续数据计算的数据溯源，并因为每个基础算子都可以附加字段，所以每个基础算子都可以与另一个基础算子结合形成新的基础算子，新的基础算子也可以根据附加字段再与一个基础算子结合形成更大的基础算子，从而使基础算子可以自定义组合；

上述技术方案的有益效果为：数据计算优先持久化，降低了网络IO，每个基础算子可以二次计算，增强了基础算子的灵活性和功能性，使得业务模型更加颗粒化、系统化。

在一个实施例中，还包括：

创建计算通道，将所述基础算子放入所述计算通道中，保障所述基础算子的数据接入与数据输出；

其中，所述基础算子和所述计算通道一一对应；

监测所述计算通道之间的数据流，保障所述计算通道中基础算子的最大输出率；

上述技术方案的工作原理为：创建计算通道，用于存放基础算子，每个计算通道之间存在缓冲区域，用于对基础算子的保护，有效的保障了基础算子的数据接入和输出，同时监测缓冲区域的数据流，对异常进行监控处理，保障计算通道中基础算子的最大输出率；

上述技术方案的有益效果为：创建计算通道，增强了对基础算子的保护，保障基础算子的最大输出率。

一种基于流式计算的可视化计算模型构建系统，包括：

构建模块，用于基于流式计算，构建基础算子；

组合模块，用于将所述构建模块中基础算子通过输入输出的映射关系进行自定义组合，形成可拖拉拽的可视化计算模型；

上述技术方案的工作原理为：基于流式计算，构建基础算子，第一步构建比对对象，构建比对对象的过程为先创建对象，使对象绑定预设数据模型，并选择预设数据模型中的唯一标识和比对内容，使绑定了预设数据模型的对象再绑定比对类型，用于后续绑定算子类型做准备，如比对类型为区域，则用于绑定算子类型为区域闯禁的规则算子，将绑定好比对类型的对象与数据同步策略绑定，用于缓存加速，使用key/value的缓存方式，用于后续提高比对效率，还能实时更新比对对象，第二步构建规则算子，首先基于流式计算，构建规则算子库，使规则算子库中的算子绑定比对对象，并获取比对对象中的唯一标识和比对内容，用于后续计算规则的入参绑定，将绑定了比对对象的算子与算子类型进行绑定，用于绑定流式计算中的算子实现方式，为绑定了算子类型的算子选择扩展规则定义，如自定义脚步或自定义函数内容，第三步构建计算规则，首先选择规则算子的输入端和输出源，然后根据选择的输入端和输出端来确定要绑定的字段映射关系，基础算子构建完成后，每个基础算子的算子节点都要选择数据处理方式，如数据筛选或附加字段，且每个算子节点都可以选择是否持久化，当接收到一个业务模型时，基于规则算子库可以将业务模型拆解为多个基础算子，再根据有序排列顺序将得到的基础算子重新组合形成所需要的实时计算模型，排列顺序为基础清洗规则算子->集合碰撞规则算子->函数碰撞规则->GIS规则，并且因为每个基础算子都可以附加字段，所以每个基础算子都可以与另一个基础算子结合形成新的基础算子，新的基础算子也可以根据附加字段再与一个基础算子结合形成更大的基础算子，从而使基础算子可以自定义组合，最终形成需要的可拖拉拽的可视化计算模型；

上述技术方案的有益效果为：本发明提供了一种基于流式计算的可视化计算模型构建方法和系统，在流式计算引擎下，数据实时性得到极大提高，相对于离线计算，高时序性的计算方式更适用于预警、布控等场景；本发明提供了一种基于流式计算的可视化计算模型构建方法和系统，通过集合结构化数据的通用处理方式，总结出的所述规则算子库，极大加强了该系统的可操作性，以及所述规则算子库与所述比对对象之间的关系通过所述预设数据模型和所述比对字段的关联，极大的降低了在以往系统中算法比对异常的概率；本发明提供了一种基于流式计算的可视化计算模型构建方法和系统，通过页面化的计算模型构建方式，本质上解决了研发成本问题，并且所述计算模型是所述基础算子自定义组合，使得实际业务模型更加颗粒化、系统化。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于流式计算的可视化计算模型构建方法，其特征在于，包括如下步骤：

步骤(1)，基于流式计算，构建基础算子；

步骤(2)，根据所述基础算子的输入端与输出端的映射关系，对所述基础算子进行自定义组合，形成可拖拉拽的可视化计算模型。

2.如权利要求1所述的一种基于流式计算的可视化计算模型构建方法，其特征在于，所述步骤(1)，基于流式计算，构建基础算子，包括：

步骤(10)，构建比对对象；

步骤(11)，基于流式计算架构，根据所述比对对象，构建规则算子；

步骤(12)，基于流式计算，根据所述规则算子，构建计算规则，得到所述基础算子。

3.如权利要求2所述的一种基于流式计算的可视化计算模型构建方法，其特征在于，所述步骤(10)，构建比对对象，包括：

步骤(101)，创建对象，使所述对象绑定预设数据模型，并确定所述预设数据模型中的唯一标识和所述预设数据模型中的比对内容，得到模型对象；

步骤(102)，将所述模型对象绑定比对类型，得到所述比对对象；

其中，所述比对类型包括GIS规则对象、集合对象。

4.如权利要求3所述的一种基于流式计算的可视化计算模型构建方法，其特征在于，还包括：

基于key/value的缓存方式，将所述比对对象同步到key/value缓存中，实现缓存加速，使所述比对对象的更新修改实时生效；

根据所述比对对象的比对字段和比对内容，所述缓存方式分为列缓存、hash缓存、队列缓存。

5.如权利要求2、3所述的一种基于流式计算的可视化计算模型构建方法，其特征在于，所述步骤(11)，基于流式计算架构，根据所述比对对象，构建规则算子，包括：

步骤(111)，基于流式计算架构，构建规则算子库，使所述规则算子库中的算子绑定所述比对对象，获取所述比对对象中的唯一标识和比对内容，得到对象算子；

步骤(112)，将所述对象算子绑定算子类型并确定扩展字段，得到所述规则算子；

其中，所述算子类型包括：基础清洗规则算子、GIS规则算子、集合碰撞算子、函数碰撞算子、闯禁碰撞算子、关联碰撞算子和窗口统计算子。

6.如权利要求2、3、5所述的一种基于流式计算的可视化计算模型构建方法，其特征在于，所述步骤(12)，基于流式计算，根据所述规则算子，构建计算规则，得到所述基础算子，包括：

步骤(121)，基于流式计算，确定所述规则算子的输入端和输出端；

步骤(122)，根据所述规则算子的输入端和输出端绑定所述输入端和所述输出端的字段映射关系，得到所述基础算子。

7.如权利要求1所述的一种基于流式计算的可视化计算模型构建方法，其特征在于，还包括：

获取业务模型，基于所述规则算子库，将所述业务模型拆解为多个所述基础算子，并将多个所述基础算子进行有序排列组合，形成实时计算模型；

其中，所述有序排列组合的顺序为：基础清洗规则算子->集合碰撞规则算子->函数碰撞规则->GIS规则。

8.如权利要求7所述的一种基于流式计算的可视化计算模型构建方法，其特征在于，还包括：

所述基础算子的计算类型分为附加字段和数据筛选并可以选择是否持久化，所述计算类型为附加字段的基础算子可以进行二次计算；

所述二次计算为两个基础算子结合形成新的基础算子还可以和另一个基础算子相结合形成更大的基础算子。

9.如权利要求1所述的一种基于流式计算的可视化计算模型构建方法，其特征在于，还包括：

创建计算通道，将所述基础算子放入所述计算通道中，保障所述基础算子的数据接入与数据输出；

其中，所述基础算子和所述计算通道一一对应；

监测所述计算通道之间的数据流，保障所述计算通道中基础算子的最大输出率。

10.一种基于流式计算的可视化计算模型构建系统，其特征在于，包括：

构建模块，用于基于流式计算，构建基础算子；

组合模块，用于将所述构建模块中基础算子通过输入输出的映射关系进行自定义组合，形成可拖拉拽的可视化计算模型。

Images