CN105893116A - 一种面向实时数据流处理的可视化流程管理系统与方法 - Google Patents

Abstract

本发明公开一种面向实时数据流处理的面向实时数据流处理的可视化流程管理系统与方法，以所见即所得的方式，让用户通过拖动不同的数据模块、编辑模块属性、按序连接模块实现数据流处理和流程管理，有效将物理流程映射到虚拟环境，以实现对物理流程的仿真和模拟，加快流程设计。本发明不仅提供了一种流程管理的模拟环境，还提供了实时数据采集与处理的方法，通过模板的选择、组合和属性编辑，快速构建数据处理的逻辑，让业务逻辑更直观，便于服务的理解和实现，提高业务开发与发展能力。

Description

一种面向实时数据流处理的可视化流程管理系统与方法

技术领域

本发明属于计算机软件系统领域，尤其涉及一种面向实时数据流处理的可视化流程管理系统与方法。

背景技术

TCP–Transmission Control Protocol,传输控制协议。

MQ–Message Queue，消息队列。

AMQP-Advanced Message Queuing Protocol高级消息队列协议。

MQTT-Message Queuing Telemetry Transport，消息队列遥测传输协议。

Websocket–一种HTML5实时通信协议。

HTTP–HyperText Transmission Protocol，用户数据报协议。

API–Application Programming Interface应用程序接口。

随着计算机及其相关技术的发展,特别是物联网、大数据技术的发展，近年来出现了大量以数据流为信息承载模式的应用系统,这些数据流一般都具有实时性、连续性、顺序性以及数据量庞大等特点,使用传统的数据库管理系统已经不能满足数据流处理的要求，且离线的数据处理与管理方式也不再满足应用于服务的要求。各种适应于不同应用的系统也在不断涌现。当前，实时数据流处理与管理被广泛应用于工业生产、经济信息处理等领域。数据已不仅仅拘泥于文件、数据库等传统的静态形式,一种连续、无界、不定速度的流式数据(即数据流)已经出现在越来越多的应用领域。如:网络监控、网络流量管理、入侵检测、传感器的数据处理、生产线管理、股市预测、新闻发布等。

而流程管理(flow management)，是一种以规范化的组合构造端到端的业务和数据处理服务，以持续地提高工作效能与业务绩效为目的的系统化方法，除了常见面向商业管理和机构、组织的流程管理，还有很多与生产活动、科学研究活动等的流程管理。这些流程管理都包含操作性的定位描述，指的是流程分析、流程定义与重定义、资源分配、时间安排、流程质量与效率测评、流程优化等。因为流程管理是为了客户需求而设计的，因而这种流程会随着内外环境的变化而需要被优化。

但是目前，没有或缺少有效的面向实时数据流的流程管理，一些流程不可视或可视化没有与数据流对应起来，因此不能对工作人员形成直观的印象，这加大了流程优化的难度，也不适应物联网大数据的应用要求。

发明内容

为解决上述问题，本发明提供了一种面向实时数据流处理的可视化流程管理系统与方法。本发明通过设计实时数据处理的过程和系统，并让数据处理过程与可视化的流程实现映射，通过可视化、易操作的流程管理方法实现对物理流程的模拟和实际数据处理过程的创建，提高了业务的编辑能力。

为达到上述技术效果，本发明的技术方案是：

一种面向实时数据流处理的可视化流程管理系统，包括可视化数据处理单元；所述可视化数据处理单元包括可视化处理模块、数据源模块、数据处理模块组和数据输出模块；数据源模块连接数据处理模块组，数据处理模块组连接数据输出模块；数据源模块、数据处理模块组和数据输出模块形成一个流程；流程内的数据单向流通；数据处理模块组由串联或并联设置的数据处理模块组成，数据处理模块的数量≥1；数据源模块用于生成数据；数据处理模块用于处理数据；数据输出模块用于输出或展现数据；可视化处理模块用于生成数据源模块和/或数据处理模块和/或数据输出模块和/或整个流程的可视化界面。

进一步的改进，每个数据处理模块包括一个或多个数据输入接口和一个或多个数据输出接口；数据处理模块之间通过数据输入接口和数据输出接口串联或并联连接；数据源模块包括一个或多个数据输出接口；数据输出模块包括一个或多个数据输入接口。

进一步的改进，数据源模块与数据处理模块之间、数据处理模块之间及数据处理模块与数据输出模块之间的连接，均在各模块的对应程序通过消息协议与消息队列服务系统建立连接后的消息交互中形成。

进一步的改进，所述可视化界面包括流程编辑界面、数据源模块的属性编辑界面、数据处理模块的属性编辑界面和数据输出模块的属性编辑界面；数据源模块的属性、数据处理模块的属性和数据输出模块的属性均设有系统接入鉴权信息。

进一步的改进，数据源模块的属性包括数据源模块的数据源名称、数据源模板、应用标识、应用密钥、数据主题、数据输出、数据源内容编辑区；应用标识和应用密钥为一组系统接入鉴权信息，数据源模块对应的应用程序通过接入鉴权信息接入消息队列服务系统；用户需要填写正确的系统接入鉴权信息才能让相应的模块接入消息队列服务系统，获取数据、发布数据和进行相应的数据处理。

进一步的改进，数据处理模块的属性包括数据处理模块的单元名称、单元模板、系统接入鉴权信息、数据输入、数据输出和程序编辑区域；系统接入鉴权信息包括应用标识和应用密钥；数据处理模块对应的应用程序通过接入鉴权信息接入消息队列服务系统；用户需要填写正确的系统接入鉴权信息才能让相应的模块接入消息队列服务系统，获取数据、发布数据和进行相应的数据处理。

进一步的改进，数据输出模块的属性包括数据输出模块的单元名称、数据输出模板、系统接入鉴权信息、数据输入；系统接入鉴权信息包括应用标识和应用密钥；数据输出模块对应的应用程序通过接入鉴权信息接入消息队列服务系统；用户需要填写正确的系统接入鉴权信息才能让相应的模块接入消息队列服务系统，获取数据和进行相应的数据处理。

一种面向实时数据流处理的可视化流程管理方法，包括如下步骤：步骤一、数据源模块对应的应用程序接收实际的物理数据源的数据或自身生成数据；

步骤二、数据源模块将实际的物理数据源的数据或自身生成数据发布到与数据源模块相连数据处理模块；数据处理模块将实际的物理数据源的数据或自身生成数据单向依次传递到数据输出模块；

步骤三、可视化处理模块生成数据源模块和/或数据处理模块和/或数据输出模块和/或整个流程的可视化界面；可视化界面包括流程编辑界面、数据源模块的属性编辑界面、数据处理模块的属性编辑界面和数据输出模块的属性编辑界面

步骤四、在可视化界面编辑优化流程管理过程。

进一步的改进，所述步骤一中，数据源模块对应的应用程序接收实际的物理数据源是通过订阅了消息队列服务系统某个特定的消息主题；数据处理模块之间通过订阅与发布在可视化流程管理系统内唯一的同一随机消息主题的方式实现数据的单向流通。

进一步的改进，所述步骤三中，数据源模块的属性包括数据源模块的数据源名称、数据源模板、应用标识、应用密钥、数据主题、数据输出、数据源内容编辑区；应用标识和应用密钥为一组系统接入鉴权信息，数据源模块对应的应用程序通过接入鉴权信息接入消息队列服务系统；用户需要填写正确的系统接入鉴权信息才能让相应的模块接入消息队列服务系统，获取数据、发布数据和进行相应的数据处理；数据处理模块的属性包括数据处理模块的单元名称、单元模板、系统接入鉴权信息、数据输入、数据输出和程序编辑区域；系统接入鉴权信息包括应用标识和应用密钥；数据处理模块对应的应用程序通过接入鉴权信息接入消息队列服务系统；用户需要填写正确的系统接入鉴权信息才能让相应的模块接入消息队列服务系统，获取数据、发布数据和进行相应的数据处理；

数据输出模块的属性包括数据输出模块的单元名称、数据输出模板、系统接入鉴权信息、数据输入；系统接入鉴权信息包括应用标识和应用密钥；数据输出模块对应的应用程序通过接入鉴权信息接入消息队列服务系统；用户需要填写正确的系统接入鉴权信息才能让相应的模块接入消息队列服务系统，获取数据和进行相应的数据处理。

本发明提供了一种面向实时数据流的可视化的流程管理系统与服务，设计了实时数据处理的过程和系统，让数据处理过程与可视化的流程实现映射，通过可视化、易操作的流程管理服务实现对物理流程的模拟和实际数据处理过程的创建，提高业务的编辑能力，以所见即所得的方式，有效将物理流程映射到虚拟环境，实现对物理流程的仿真和模拟，加快流程设计；本发明不仅提供了一种流程管理的模拟环境，还提供了实时数据采集与处理的方法，通过模板的选择、组合和属性编辑，快速构建数据处理的逻辑，让业务逻辑更直观，便于服务的理解和实现。

附图说明

图1为本发明的流程结构示意图；

图2为流程对应的系统实现和数据处理过程示意图；

图3为上游的数据处理模块与下游的数据处理模块的连接方式示意图；

图4为可视化界面的结构示意图；

图5为数据源模块的属性编辑界面；

图6为数据处理模块的属性编辑界面；

图7为数据输出模块的属性编辑界面。

具体实施方式

以下通过具体实施方式并且结合附图对本发明的技术方案作具体说明。

实施例

如图1所示，本发明所涉及可视化流程为一系列的可视化数据处理模块的创建与组合，每个数据流程包含一个数据源(数据输入)模块/单元，一个或多个数据处理模块/单元和一个数据输出模块/单元，这些模块按顺序连接起来形成一个流程。每个模块以及模块所组成的流程呈现在一个可视化界面(UI)上，而该可视化界面的的实现方式包括但不限于HTML页面、运行在计算机终端上的视窗软件等形式。每个数据处理模块对应一个应用程序，该应用程序为一个消息队列(MQ)服务系统的客户端。如图2所示，一个流程的所有数据处理模块对应的应用程序通过系统实现所采用的消息协议与消息队列服务系统建立连接，系统实现的消息协议包括但不限于AMQP、MQTT、Websocket、TCP等。相连的两个数据处理模块通过发布和订阅同一个消息主题实现数据在两个模块间的流动，如图3所示，处于上游的数据处理模块将处理后的数据发布到某个主题Topic，而下游的数据处理模块订阅同一个主题Topic，该Topic在两个数据处理模块连接时随机生成，且该Topic在系统范围内是唯一的。

如图2所示，根据流程中各个模块被连接的顺序，每个模块对应的应用程序将按顺序逐一对数据进行处理。根据流程是否包含一个实际的物理数据源，整个流程的数据处理过程分如下两种情况：

A.有实际的物理数据源：

1.实际的物理数据源(一个运行在某种终端设备或计算机系统上的应用程序)与消息队列服务系统建立连接，并将数据发布(Pub)到某个主题Topic0，具体的主题内容和表达方式本发明不作限制；

2.数据源模块对应的应用程序订阅主题Topic0，并接收到物理数据源发布的数据；

3.数据源模块对应的应用程序将在第2步中接收到的数据发布到一个随机消息主题Topic，并由与其连接的下一个数据处理模块接收到；

4.数据处理模块对数据进行相应的处理并通过下一个随机消息主题Topic发布给与之连接的下一个数据处理模块，如此往复直到数据到达数据输出模块。

B.没有实际的物理数据源：

1.数据源模块对应的应用程序生成一个数据(按某种规则生成，或随机生成，或由用户指定，见5.2节)，并将其发布到与下一个数据处理模块连接时产生的消息主题Topic，并由与其连接的下一个数据处理模块接收到；

2.数据处理模块对数据进行相应的处理并通过下一个随机消息主题Topic发布给与之连接的下一个数据处理模块，如此往复直到数据到达数据输出模块。

可视化流程管理服务

在本发明所涉及系统与服务通过一个可视化界面提供给用户，如图4所示，在该服务界面内，提供了各种数据处理模块的模板，用户通过鼠标或手指拖动的方式(基于计算机屏幕或带触摸屏的电脑或手持终端)将相应的数据处理单元模板拖动到流程编辑区，实现一个数据处理模块/单元实例的创建。每个数据处理模块都包含一些列的属性，且有相应的属性编辑界面，数据处理模块的属性编辑界面可以通过鼠标双击对应的数据处理模块调出，或在拖动模板到编辑区域时自动出现，具体的属性界面出现方式，本发明不作规定。

图5为数据源模块的属性编辑界面示例，其属性包括但不限于：数据源名称、数据源模板、应用标识、应用密钥、数据主题、数据输出、数据源内容编辑区等。其中，用户可以通过列表选择数据源模板；应用标识和应用密钥为一组系统接入鉴权信息，数据源对应的应用程序需要这组系统接入鉴权信息接入消息队列服务系统，用户需要填写正确的系统接入鉴权信息才能让相应的模块接入消息队列服务系统，并获取数据和进行相应的数据处理。在本发明中，系统接入鉴权信息可以为一组应用标识和应用密钥，也可以为其他信息，这与具体系统实现有关，且与之相对应的认证鉴权方法不在本发明范围内。数据主题用于指定数据源希望接收的物理数据源相关信息；数据输出为一个已经与之连接的下一个数据处理模块的标识；数据源内容编辑区是一个可选区域，用户用于自定义模拟数据的生成。

图6为处于一个流程中间环节的数据处理模块的属性编辑界面示例，其属性包括但不限于：数据处理模块的单元名称、单元模板、系统接入鉴权信息、数据输入、数据输出、程序编辑区域等。其中，系统接入鉴权信息让数据处理模块接入消息队列服务系统，用户需要填写正确的系统接入鉴权信息才能让相应的模块接入消息队列服务系统，并获取数据和进行相应的数据处理。在本发明中，系统接入鉴权信息可以为一组应用标识和应用密钥，也可以为其他信息，这与具体系统实现有关，且与之相对应的认证鉴权方法不在本发明范围内。数据输入为与该数据处理模块连接的上游模块的标识；数据输出为与该数据处理模块连接的下游模块的标识；程序编辑区域为一个可选属性，用于编辑处理模块的业务逻辑，若包含了一段业务逻辑程序，则该程序将被系统提交给系统的逻辑引擎执行，通过相应的输入消息主题接收到数据，并处理后发布到输出消息主题。

图7为数据输出模块属性编辑界面示例，其属性包括但不限于：数据输出模块的单元名称、数据输出模板、系统接入鉴权信息、数据输入等。其中，系统接入鉴权信息让数据处理模块接入消息队列服务系统，用户需要填写正确的系统接入鉴权信息才能让相应的模块接入消息队列服务系统，并获取数据和进行相应的处理。在本发明中，系统接入鉴权信息可以为一组应用标识和应用密钥，也可以为其他信息，这与具体系统实现有关，且与之相对应的认证鉴权方法不在本发明范围内。数据输入为与之连接的上游模块的标识。

以上各模块属性中的系统接入鉴权信息可以由用户显性输入(如图5、6、7)，也可以由系统自动隐性生成。

数据源模块只包含一个或多个数据输出接口；数据处理模块包含一个或多个数据输入接口和数据输出接口；数据输出模块只包含一个或多个数据输入接口。所有模块中的数据输入接口和数据输入接口都具有相同的性质:一个模块的输出接口只能与下一个模块的输入接口连接(比如从一个模块的输出接口拖动一条曲线到另一个模块的输入接口)，当一个模块与另一个模块实现连接，系统将自动随机生成一个唯一的消息主题Topic，上游模块对应的应用程序将数据发布到该主题，而下游模块订阅该主题，以接收来自上游模块的数据，实现数据的按序流动。

本发明的效果

本发明提供一种面向实时数据流的可视化的流程管理系统与服务，设计了实时数据处理的过程和系统，让数据处理过程与可视化的流程实现映射，通过可视化、易操作的流程管理服务实现对物理流程的模拟和实际数据处理过程的创建，提高业务的编辑能力，以所见即所得的方式，有效将物理流程映射到虚拟环境，实现对物理流程的仿真和模拟，加快流程设计。本发明不仅提供了一种流程管理的模拟环境，还提供了实时数据采集与处理的方法，通过模板的选择、组合和属性编辑，快速构建数据处理的逻辑，让业务逻辑更直观，便于服务的理解和实现。

上述仅为本发明的一个具体导向实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明的保护范围的行为。

Claims (10)

1.一种面向实时数据流处理的可视化流程管理系统，其特征在于，包括可视化数据处理单元；所述可视化数据处理单元包括可视化处理模块、数据源模块、数据处理模块组和数据输出模块；数据源模块连接数据处理模块组，数据处理模块组连接数据输出模块；数据源模块、数据处理模块组和数据输出模块形成一个流程；流程内的数据单向流通；数据处理模块组由串联或并联设置的数据处理模块组成，数据处理模块的数量≥1；数据源模块用于生成数据；数据处理模块用于处理数据；数据输出模块用于输出或展现数据；可视化处理模块用于生成数据源模块和/或数据处理模块和/或数据输出模块和/或整个流程的可视化界面。

2.如权利要求1所述的面向实时数据流处理的可视化流程管理系统，其特征在于，每个数据处理模块包括一个或多个数据输入接口和一个或多个数据输出接口；数据处理模块之间通过数据输入接口和数据输出接口串联或并联连接；数据源模块包括一个或多个数据输出接口；数据输出模块包括一个或多个数据输入接口。

3.如权利要求1所述的面向实时数据流处理的可视化流程管理系统，其特征在于，数据源模块与数据处理模块之间、数据处理模块之间及数据处理模块与数据输出模块之间的连接，均在各模块的对应程序通过消息协议与消息队列服务系统建立连接后的消息交互中形成。

4.如权利要求1所述的面向实时数据流处理的可视化流程管理系统，其特征在于，所述可视化界面包括流程编辑界面、数据源模块的属性编辑界面、数据处理模块的属性编辑界面和数据输出模块的属性编辑界面；数据源模块的属性、数据处理模块的属性和数据输出模块的属性均设有系统接入鉴权信息。

5.如权利要求4所述的面向实时数据流处理的可视化流程管理系统，其特征在于，数据源模块的属性包括数据源模块的数据源名称、数据源模板、应用标识、应用密钥、数据主题、数据输出、数据源内容编辑区；应用标识和应用密钥为一组系统接入鉴权信息，数据源模块对应的应用程序通过接入鉴权信息接入消息队列服务系统；用户需要填写正确的系统接入鉴权信息才能让相应的模块接入消息队列服务系统，获取数据、发布数据和进行相应的数据处理。

6.如权利要求4所述的面向实时数据流处理的可视化流程管理系统，其特征在于，数据处理模块的属性包括数据处理模块的单元名称、单元模板、系统接入鉴权信息、数据输入、数据输出和程序编辑区域；系统接入鉴权信息包括应用标识和应用密钥；数据处理模块对应的应用程序通过接入鉴权信息接入消息队列服务系统；用户需要填写正确的系统接入鉴权信息才能让相应的模块接入消息队列服务系统，获取数据、发布数据和进行相应的数据处理。

7.如权利要求4所述的面向实时数据流处理的可视化流程管理系统，其特征在于，数据输出模块的属性包括数据输出模块的单元名称、数据输出模板、系统接入鉴权信息、数据输入；系统接入鉴权信息包括应用标识和应用密钥；数据输出模块对应的应用程序通过接入鉴权信息接入消息队列服务系统；用户需要填写正确的系统接入鉴权信息才能让相应的模块接入消息队列服务系统，获取数据和进行相应的数据处理。

8.一种面向实时数据流处理的可视化流程管理方法，其特征在于，包括如下步骤：

步骤一、数据源模块对应的应用程序接收实际的物理数据源的数据或自身生成数据；

步骤二、数据源模块将实际的物理数据源的数据或自身生成数据发布到与数据源模块相连数据处理模块；数据处理模块将实际的物理数据源的数据或自身生成数据单向依次传递到数据输出模块；

步骤三、可视化处理模块生成数据源模块和/或数据处理模块和/或数据输出模块和/或整个流程的可视化界面；可视化界面包括流程编辑界面、数据源模块的属性编辑界面、数据处理模块的属性编辑界面和数据输出模块的属性编辑界面

步骤四、在可视化界面编辑优化流程管理过程。

9.如权利要求8所述的面向实时数据流处理的可视化流程管理方法，其特征在于，所述步骤一中，数据源模块对应的应用程序接收实际的物理数据源是通过订阅了消息队列服务系统某个特定的消息主题；数据处理模块之间通过订阅与发布在可视化流程管理系统内唯一的同一随机消息主题的方式实现数据的单向流通。

10.如权利要求8所述的面向实时数据流处理的可视化流程管理方法，其特征在于，所述步骤三中，数据源模块的属性包括数据源模块的数据源名称、数据源模板、应用标识、应用密钥、数据主题、数据输出、数据源内容编辑区；应用标识和应用密钥为一组系统接入鉴权信息，数据源模块对应的应用程序通过接入鉴权信息接入消息队列服务系统；用户需要填写正确的系统接入鉴权信息才能让相应的模块接入消息队列服务系统，获取数据、发布数据和进行相应的数据处理；数据处理模块的属性包括数据处理模块的单元名称、单元模板、系统接入鉴权信息、数据输入、数据输出和程序编辑区域；系统接入鉴权信息包括应用标识和应用密钥；数据处理模块对应的应用程序通过接入鉴权信息接入消息队列服务系统；用户需要填写正确的系统接入鉴权信息才能让相应的模块接入消息队列服务系统，获取数据、发布数据和进行相应的数据处理；

数据输出模块的属性包括数据输出模块的单元名称、数据输出模板、系统接入鉴权信息、数据输入；系统接入鉴权信息包括应用标识和应用密钥；数据输出模块对应的应用程序通过接入鉴权信息接入消息队列服务系统；用户需要填写正确的系统接入鉴权信息才能让相应的模块接入消息队列服务系统，获取数据和进行相应的数据处理。