CN110007913A - 可视化的数据处理流程设置方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种可视化的数据处理流程设置方法、装置、设备及存储介质，包括：接收作用于数据管理界面的流程创建指令；根据流程创建指令建立目标流程，并在数据管理界面中创建对应的流程列表，流程列表包括目标流程的属性信息；接收作用于流程列表的第一编辑指令；根据第一编辑指令显示第一流程编辑界面，第一流程编辑界面包括多个目标组件，一个目标组件对应一种处理方式；接收作用于第一流程编辑界面的流程配置指令，流程配置指令用于选定目标流程所需的目标组件；根据流程配置指令确定目标流程的处理流程。上述优化了数据处理流程的设置过程。

Description

可视化的数据处理流程设置方法、装置、设备及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种可视化的数据处理流程设置方法、装置、设备及存储介质。

背景技术

为了更好的管理、使用各数据源提供的海量数据，通常会对数据进行一定的处理，并基于不同的维度对数据进行分类，以便于后续进行数据管理及数据查询。

现有技术中，通常由技术人员预先编写数据处理流程对应的程序，之后通过运行该程序实现数据处理流程。随着数据处理业务的发展以及用户的需求改变，需要及时地更新数据处理流程，以便更好的为用户提供服务。但是，更新数据处理流程时，通常需要技术人员更改对应的程序。这样会增加技术人员的工作量，同时对于非技术人员而言，由于专业技术水平的限制，因此无法执行数据处理流程的设计与更新。

发明内容

本发明提供了一种可视化的数据处理流程设置方法、装置、设备及存储介质，以优化数据处理流程的设置过程。

第一方面，本发明实施例提供了一种可视化的数据处理流程设置方法，包括：

接收作用于数据管理界面的流程创建指令；

根据所述流程创建指令建立目标流程，并在数据管理界面中创建对应的流程列表，所述流程列表包括所述目标流程的属性信息；

接收作用于所述流程列表的第一编辑指令；

根据所述第一编辑指令显示第一流程编辑界面，所述第一流程编辑界面包括多个目标组件，一个所述目标组件对应一种处理方式；

接收作用于所述第一流程编辑界面的流程配置指令，所述流程配置指令用于选定所述目标流程所需的目标组件；

根据流程配置指令确定目标流程的处理流程。

进一步的，所述根据流程配置指令确定目标流程的处理流程之后，还包括：

激活所述目标流程，以实现目标流程的数据处理任务。

进一步的，还包括：

接收作用于所述流程列表的第二编辑指令；

根据所述第二编辑指令显示第二流程编辑界面，所述第二流程编辑界面包括所述目标流程的处理流程；

接收作用于所述第二流程编辑界面的修改指令；

根据所述修改指令修改所述目标流程的处理流程。

进一步的，所述目标组件包括：数据源组件、清洗转换组件、关联融合组件、数据管道组件、数据落地组件、解析系统组件以及信息聚类引擎组件中的至少一项。

进一步的，所述目标流程包括数据采集流程、数据转换流程以及数据聚类流程。

进一步的，所述激活所述目标流程，以实现目标流程的数据处理任务之后，还包括：

按照设定数据维度对数据处理结果进行统计，并将统计结果保存至相应数据库。

进一步的，还包括：

接收查询页面设置指令；

根据所述查询页面设置指令显示查询设置页面；

接收作用于查询设置页面的查询设置指令；

根据所述查询设置指令生成目标查询页面，所述目标查询页面用于获取用户的数据查询指令以及显示所述数据查询指令对应的查询结果。

第二方面，本发明实施例还提供了一种可视化的数据处理流程设置装置，包括：

第一指令接收模块，用于接收作用于数据管理界面的流程创建指令；

流程创建模块，用于根据所述流程创建指令建立目标流程，并在数据管理界面中创建对应的流程列表，所述流程列表包括所述目标流程的属性信息；

第二指令接收模块，用于接收作用于所述流程列表的第一编辑指令；

第一界面显示模块，用于根据所述第一编辑指令显示第一流程编辑界面，所述第一流程编辑界面包括多个目标组件，一个所述目标组件对应一种处理方式；

第三指令接收模块，用于接收作用于所述第一流程编辑界面的流程配置指令，所述流程配置指令用于选定所述目标流程所需的目标组件；

流程确定模块，用于根据流程配置指令确定目标流程的处理流程。

第三方面，本发明实施例还提供了一种可视化的数据处理流程设置设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

显示屏，用于显示数据管理界面及第一流程编辑界面；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的可视化的数据处理流程设置方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的可视化的数据处理流程设置方法。

上述可视化的数据处理流程设置方法、装置、设备及存储介质，通过显示数据管理界面，并根据作用于数据管理界面的流程创建指令建立目标流程并创建流程列表，之后，根据作用于流程列表的第一编辑指令显示第一流程编辑界面，通过作用于第一流程编辑界面的流程配置指令确定目标流程的处理流程的技术手段，实现了在数据处理过程中，通过可视化的界面显示部署目标流程时的具体过程，便于用户明确目标流程的处理过程。同时，通过选定目标组件的方式确定目标流程的各处理节点，简化了目标流程的部署过程，降低了部署目标流程的难度，即使是非技术人员，也可以部署目标流程，提升了用户的使用体验。

附图说明

图1为本发明实施例提供的一种可视化的数据处理流程设置方法的流程图；

图2为本发明实施例提供的数据管理界面的示例图；

图3为本发明实施例提供的第一流程编辑界面的示意图；

图4为本发明实施例提供的第二流程编辑界面的局部示意图；

图5为本发明实施例提供的另一种可视化的数据处理流程设置方法的流程图；

图6为本发明实施例提供的查询设置页面的示例图；

图7为本发明实施例提供的完整的数据处理过程示意图；

图8为本发明实施例提供的一种可视化的数据处理流程设置装置的结构示意图；

图9为本发明实施例提供的一种可视化的数据处理流程设置设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例提供的一种可视化的数据处理流程设置方法的流程图。本实施例提供的可视化的数据处理流程设置方法可以由可视化的数据处理流程设置装置执行。该可视化的数据处理流程设置装置通过软件和/或硬件的方式实现，并集成在可视化的数据处理流程设置设备中。一般而言，可视化的数据处理流程设置设备为具有数据处理功能的设备，并且配置有显示屏，以便于通过显示屏显示部署过程中的相关界面以及用户输入的操作指令。实施例中，可视化的数据处理流程设置设备包括但不限定于：手机、台式电脑、笔记本电脑以及平板电脑等。

示例性的，本实施例提供的可视化的数据处理流程设置方法适用于为原始数据设计数据处理流程的情况。其中，原始数据可以是可视化的数据处理流程设置设备自身的数据，也可以是关联外部系统采集的数据。其中，数据的类型以及外部系统的类型实施例不作限定。例如，数据可以是视频数据、图像数据或者音频数据等。外部系统可以是人脸抓拍机系统、车辆抓拍机系统、人脸卡口系统、车库监控系统、门禁监控系统等。

具体的，参考图1，该可视化的数据处理流程设置方法具体包括：

步骤110、接收作用于数据管理界面的流程创建指令。

示例性的，数据管理界面可以理解为对数据处理流程进行管理的界面。当确定进行数据处理时，显示数据管理界面。数据管理界面包含的具体内容实施例不作限定。一般而言，用户可以通过对数据管理界面进行操作的方式实现数据处理流程的管理。通常，通过数据管理界面可以管理数据集成、管理服务编排器、设置数据处理流程的组件及插件以及实现数据洞察。

其中，数据管理界面在管理数据集成时，可以执行创建、修改、删除、上传、导出、复制以及刷新数据处理流程等操作。示例性的，图2为本发明实施例提供的数据管理界面的示例图。参考图2，数据管理界面至少包括各数据处理流程的流程列表。其中，流程列表包括数据处理流程的属性信息。属性信息的内容可以根据实际情况设定。例如，图2中属性信息至少包括：流程名称、流程ID、流程类型、业务类型、上次编排时间、状态以及操作等。通常，通过流程列表可以实现用户对数据处理流程的监控。一般而言，一个完整的数据处理过程中，可以包括一个或多个数据处理流程，如数据转换流程、数据聚类流程、结果分析流程等。此时，每个数据处理流程均可以通过数据管理界面设置。并且，每个数据处理流程对应一组流程列表。例如，图2中共有4个数据处理流程，分别为：人脸聚合-标准层整合层、Wifi标准采集流程、多度门禁采集流程以及AB停车场采集流程，且每个数据处理流程对应一组流程列表。

通常，通过数据管理界面管理一个数据处理流程时，第一步为创建数据处理流程。因此，本实施例中以创建数据处理流程为例进行描述。

具体的，接收用户作用于数据管理界面的流程创建指令。其中，流程创建指令用于指示可视化的数据流程设置设备创建数据处理流程，其具体的生成方式实施例不作限定。以图2为例，当检测到数据管理界面中新建按键被点击或选定时，确定接收到流程创建指令。

步骤120、根据所述流程创建指令建立目标流程，并在数据管理界面中创建对应的流程列表，所述流程列表包括所述目标流程的属性信息。

示例性的，目标流程为用户当前新建的数据处理流程，其可以是数据处理过程中任一数据处理流程。实施例中，设定目标流程包括数据采集流程、数据转换流程以及数据聚类流程。

进一步的，数据采集流程、数据转换流程以及数据聚类流程也可以认为是 ELT(Extract-Transform-Load)过程。ELT是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

其中，数据采集流程是指通过设备接入网关和/或第一Flume网关接收原始数据，并将原始数据落地到本地文件中，以实现数据对账和重跑，同时，将原始数据放至第一消息队列kafka中，以便于后续其他数据流程的使用。

数据转换流程一般作用于数据采集流程后。数据转换流程用于数据清洗。具体的，数据转换流程是指通过第二Flume网关消费第一消息队列kafka中的数据，并将数据转换为标准格式的数据，之后落地到设定存储模块中，同时将标准格式的数据放至第二消息队列kafka中，以便于后续其他数据流程的使用。其中，标准格式可以根据实际情况设定，例如标准格式为GA1400规范的格式。设置标准格式的好处是便于数据的识别及处理。进一步的，存储模块可以是 MPPDB数据库、ES数据库以及MySQL数据库等。该存储模块可以供WEB应用层的用户查询。如果原始数据为图像数据，则先对原始数据进行目标结构化，之后，再进行格式转换。

数据聚类流程一般作用于数据转换流程后。数据聚类流程用于关联融合。具体的，数据聚类流程是指通过第三Flume网关消费第二消息队列kafka中的数据，并对数据进行关联融合，之后，将关联融合的数据按照数据种类变为一张宽表，并落地到设定存储模块。同时，将宽表放至第三消息队列kafka中，以便于后续其他流程的使用。其中，存储模块可以是：hive或MySQL等。进一步的，关联融合时可以按照设定业务场景，根据预先配置对数据进行聚类分析，并与相应的基础数据进行关联。举例而言，业务场景为卡口过车监控场景，根据预先配置对数据进行聚类分析可以包括对卡口过车数据进行整合，如将同一车牌对应的数据整合在一起。与相应的基础数据进行关联可以包括根据车牌关联车档信息表，将车档信息表中的基础数据和车牌一同整合到卡口过车数据表。其中，车档信息表包括与车牌对应的车主姓名、身份证号、车主电话等基础数据。

需要说明的是，实际应用中，数据处理流程还可以包括其他内容。

进一步的，接收到流程创建指令后，建立对应的目标流程。此时，在数据管理界面显示流程列表的属性信息输入界面，以供用户输入目标流程的属性信息。并且，在得到属性信息后，显示包含属性信息的流程列表。此时，可视化的数据处理流程设置设备确定目标流程的属性信息设置完成。

步骤130、接收作用于所述流程列表的第一编辑指令。

具体的，目标流程的属性信息设置完成后，需要部署目标流程的具体处理流程，即部署目标流程各项处理内容以及处理顺序。此时，可以通过第一编辑指令指示启动部署处理流程。

示例性的，通过检测作用于流程列表的点击事件确定是否接收到第一编辑指令。例如，参考图2，当检测到流程列表中操作图标21接收到点击事件后，确定接收到第一编辑指令。可以理解的是，实际应用中还可以通过其他方式设置第一编辑指令。

步骤140、根据所述第一编辑指令显示第一流程编辑界面。

其中，所述第一流程编辑界面包括多个目标组件，一个所述目标组件对应一种处理方式。

具体的，确定启动部署处理流程后，在当前界面中显示第一流程编辑界面。流程编辑界面用于供用户部署目标流程的处理流程，处理流程也可以理解为具体处理内容。当目标流程首次被用户部署时，其显示的流程编辑页面记为第一流程编辑界面。进一步的，第一流程编辑界面至少显示有多个目标组件。其中，目标组件的显示方式、显示位置等实施例不作限定。一个目标组件对应一种处理方式，即不同目标组件具体执行的算法不同。同时，第一流程编辑界面显示有一块空白的编辑区域。用户可以通过在编辑区域内添加目标组件以及确定目标组件间的执行顺序的方式设置处理流程。

可选的，目标组件的具体内容可以根据实际情况设定。实施例中，设定目标组件包括：数据源组件、清洗转换组件、关联融合组件、数据管道组件、数据落地组件、解析系统组件以及信息聚类引擎组件中的至少一项。其中，数据源组件用于采集基本数据。清洗转换组件用于将数据转换为标准格式的数据，关联融合组件用于对数据进行关联融合。通常，数据处理流程需要的程序可能部署在多台服务器上，因此，通过数据管理组件可以实现各程序间的数据交换，其中，消息队列kafka为常用的数据管道组件。数据落地组件用于将处理后的数据写到存储模块上。其中，存储模块包括但不限定于hdfs、hive、MPPDB、ES以及MySQL等。解析系统组件用于将非结构数据经过AI智能算法转换为结构化数据。其中，AI智能算法可以是人脸结构化算法、人脸特征提取算法、车辆结构化算法等。信息聚类引擎组件是指将包含同一目标的不同数据聚类到一起，例如，人脸聚类引擎组件是指将抓拍到的人脸经过聚类后归到某一个人员档案里。可选的，每个目标组件可以包括多个类型。例如，数据源组件中，每个数据采集系统对应一个类型。数据落地组件中，每个存储模块对应一个类型。

可选的，第一流程编辑界面除提供上述目标组件外，还可以提供扩展接口，以使用户根据需求增加新的组件。

步骤150、接收作用于所述第一流程编辑界面的流程配置指令。

具体的，所述流程配置指令用于选定所述目标流程所需的目标组件。流程配置指令包括用户选定的至少一个目标组件以及各目标组件间的处理顺序，其中，处理顺序也可以理解为数据流向顺序。一般而言，流程配置指令的生成形式实施例不作限定。例如，用户通过选定、拖拽目标组件的方式发出流程配置指令。此时，一个目标组件也可以理解为处理流程中的一个节点。

进一步的，目标流程的处理流程配置过程中，可以多次接收流程配置指令。

通常，在编辑区域内设置某个目标组件后，可以在第一流程编辑界面的属性栏中设置该目标组件的属性信息。一般而言，属性信息包括基本数据和节点配置。其中，基本数据包括：组件标识、组件类型以及组件名称。编辑区域内的每个目标组件对应一个组件标识，组件标识用于区分目标组件。组件类型是指目标组件的具体类型。例如，目标组件为数据落地组件，且用于落地到hive，那么，组件类型由添加落地标识sink以及存储模块名称hive组成，以表示目标组件为落地到hive的数据落地组件。组件名称为目标标识对应的中文名称。节点配置可以设置目标组件处理数据时具体的处理类型、规则等。

步骤160、根据流程配置指令确定目标流程的处理流程。

示例性的，在第一流程编辑界面中显示根据流程配置指令得到的处理流程。例如，图3为本发明实施例提供的第一流程编辑界面的示意图。参考图3，用户已经在第一流程编辑界面中完成部署目标流程的处理流程。此时，由图3可知，编辑区域31内相同图标的节点为同一目标组件。图标下文字为目标组件的组件名称。同时，右侧的属性栏32中可以设置目标组件的组件类型及节点配置。

需要说明的是，当处理流程设置完毕后，保存该处理流程。之后，退出第一流程编辑界面，返回显示数据管理界面。

可选的，目标流程设置完毕后，需要对目标流程进行激活。通常，目标流程只有在激活后才会运行。

上述，通过显示数据管理界面，根据作用于数据管理界面的流程创建指令建立目标流程并创建流程列表，之后，根据作用于流程列表的第一编辑指令显示第一流程编辑界面，通过作用于第一流程编辑界面的流程配置指令确定目标流程的处理流程的技术手段，实现了在数据处理过程中，通过可视化的界面显示部署目标流程时的具体过程，便于用户明确目标流程的处理过程。同时，通过选定目标组件的方式确定目标流程的各处理节点，简化了目标流程的部署过程，降低了部署目标流程的难度，即使是非技术人员，也可以部署目标流程，提升了用户的使用体验。

在上述实施例的基础上，考虑到目标流程部署完成后，存在用户结合自身需求修改目标流程的情况。此时，设定可视化的数据处理流程设置方法还包括：

步骤170、接收作用于所述流程列表的第二编辑指令。

具体的，第二编辑指令与第一编辑指令的生成方式相同。第二编辑指令用于指示修改目标流程的处理流程。

步骤180、根据所述第二编辑指令显示第二流程编辑界面。

其中，所述第二流程编辑界面包括所述目标流程的处理流程。

具体的，确定修改目标流程的处理流程后，显示流程编辑界面。此时，流程编辑界面的编辑区域内显示有目标流程具体的目标组件及执行顺序。实施例中，将该流程编辑界面记为第二流程编辑界面。第二流程编辑界面也可以理解为最近一次退出流程编辑界面时保存的界面。实施例中，设定最近一次退出的流程编辑界面为第一流程编辑界面。即第二流程编辑界面开启时与第一流程编辑界面关闭时的显示内容相同。

步骤190、接收作用于所述第二流程编辑界面的修改指令。

其中，修改指令的生成方式与流程配置指令的生成方式相同。此外，修改指令还可以作用于编辑区域内的目标组件。例如，编辑区域内的某个目标组件对应的图标接收到单击操作后，弹出菜单栏，该菜单栏中显示可执行的修改指令，如增加节点指令和删除节点指令。进一步的，若确认菜单栏中某条修改指令接收到选定操作后，可以确定接收到修改指令。或者，若菜单栏中被选定的修改指令还包括对应的子菜单栏，此时，显示子菜单栏，并在确认子菜单栏中某项内容接收到选定操作后，确定接收到修改指令，该修改指令包含菜单栏中的修改指令及子菜单栏中的内容，且作用于目标组件。

举例而言，图4为本发明实施例提供的第二流程编辑界面的局部示意图。参考图4，当目标组件41接收到单击操作后弹出菜单栏42。之后，菜单栏42 的增加节点接收到选定操作后弹出子菜单栏43。子菜单栏43中显示可以新增的目标组件。之后，若子菜单栏43中某个目标组件接收到选定操作后，确定接收到修改指令。此时，修改指令内容为在目标组件41后新增选定的目标组件。

需要说明的是，上述修改指令的生成方式同样适用于流程配置指令。

步骤1100、根据所述修改指令修改所述目标流程的处理流程。

进一步的，修改目标流程后，退出第二流程编辑界面。典型的，新得到的目标流程同样需要激活后才会运行。

上述，通过第二流程编辑界面以及数据管理界面实现了对目标流程的可视化修改，且修改过程简单，即使非技术人员也可以很容易地对目标流程进行修改。

图5为本发明实施例提供的另一种可视化的数据处理流程设置方法的流程图。该可视化的数据处理流程设置方法是在上述可视化的数据处理流程设置方法的基础上进行具体化。参考图5，该可视化的数据处理流程设置方法具体包括：

步骤501、接收作用于数据管理界面的流程创建指令。

步骤502、根据所述流程创建指令建立目标流程，并在数据管理界面中创建对应的流程列表，所述流程列表包括所述目标流程的属性信息。

步骤503、接收作用于所述流程列表的第一编辑指令。

步骤504、根据所述第一编辑指令显示第一流程编辑界面。

所述第一流程编辑界面包括多个目标组件，一个所述目标组件对应一种处理方式。

步骤505、接收作用于所述第一流程编辑界面的流程配置指令。

所述流程配置指令用于选定所述目标流程所需的目标组件。

步骤506、根据流程配置指令确定目标流程的处理流程。

步骤507、激活所述目标流程，以实现目标流程的数据处理任务。

具体的，目标流程部署完成后，需要激活目标流程，才会使设备运行该目标流程，即实现目标流程执行相应的数据处理任务。其中，激活目标流程是指将目标流程的程序放至任务处理进程中，以使可视化的数据处理流程设置设备运行目标流程。

可选的，在数据处理过程包括的全部目标流程部署完成后，接收激活指令，并统一激活全部目标流程。其中，激活指令的具体形式实施例不作限定。

进一步的，目标流程处理完毕后，得到相应的数据处理结果，并将数据处理结果放至设定的存储模块中。

步骤508、按照设定数据维度对数据处理结果统计，并将统计结果保存至相应数据库。

考虑到实际应用的，目标流程得到的数据处理结果会被用户查询。因此，为了便于用户查询，设定目标流程运行完毕后，按照设定维度对数据处理结果进行统计。优选设定在全部目标流程运行完毕后，按照设定维度对数据处理结果进行统计。其中，设定维度可以根据实际情况设定。例如，数据处理结果为卡口过车数据，那么设定维度可以包括：时间维度、车牌信息维度、车主信息维度。进一步的，统计方式可以是SQL、机器学习等技术手段。按照设定维度进行数据统计的好处是，便于数据管理和查询。

进一步的，将统计得到的数据保存至对应的数据库中。其中，数据库可以是MPPDB数据库、ES数据库、MySQL数据库以及hive等。

进一步的，用户可以对数据库中的数据进行查询。具体的，用户可以通过设定查询APP进行查询。其中，查询APP可以访问上述提及的数据库。具体的，查询过程包括步骤509-步骤512：

步骤509、接收查询页面设置指令。

示例性的，为了便于用户进行数据查询，实施例中设定用户可以根据实际需求设置查询页面。其中，查询页面为用户输入数据查询指令以及显示查询结果的页面。

进一步的，查询页面设置指令用于通知可视化的数据处理流程设置设备进行查询页面的设置。查询页面设置指令的具体生成方式实施例不做限定。例如，查询APP的显示页面中包含设置按键，当检测到设置按键被点击后确定接收页面设置指令。

步骤510、根据所述查询页面设置指令显示查询设置页面。

示例性的，查询设置页面提供设置查询页面所需的页面设计工具。即查询设置页面中显示有页面设计工具。其中，页面设计工具至少包括基础组件和业务组件。其中，基础组件包括通用的页面组件，如页面文本布局模块、时间选择模块、下拉选择模块等。通过基础组件可以确定查询页面显示的具体模块。进一步的，业务组件包括各项备选查询条件，如人员分类选择、感知设备选择。业务组件主要是针对原始数据的选择封装的页面组件。通过业务组件可以确定查询页面中显示的查询条件。进一步的，查询设置页面还包括页面生成区域，页面生成区域用于显示生成的查询页面。

步骤511、接收作用于查询设置页面的查询设置指令。

具体的，查询设置指令用于选定需要的基础组件和业务组件，其具体生成方式实施例不作限定。

步骤512、根据所述查询设置指令生成目标查询页面，所述目标查询页面用于获取用户的数据查询指令以及显示所述数据查询指令对应的查询结果。

示例性的，根据查询设置指令在页面生成区域内显示对应的基础组件和业务组件，进而得到查询页面。进一步的，将该查询页面记为目标查询页面。

典型的，用户可以在目标查询页面中输入数据查询指令，之后，查询APP 根据查询指令在对应的数据库中进行查询，并获取查询结果。之后，在目标查询页面中显示该查询结果。其中，查询结果的具体显示方式实施例不作限定，如文本格式、数量列表格式、图表格式等。

举例而言，图6为本发明实施例提供的查询设置页面的示例图。由图6可知，查询设置页面包括页面生成区域61和组件显示区域62。其中，组件显示区域62包括基础组件和业务组件。基础组件包括基础元件和检索组件。基础元件用于设置文本显示格式，检索组件包括开始时间、结束时间、类型检索、类型-范围检索、下拉分类、日期选择、输入检索以及阈值检索等。进一步的，页面生成区域61中显示当前生成的目标查询页面。其中，该目标查询页面中包括：查询名称，即路人检索，用于说明对路人数据进行检索，隐含说明访问包含路人数据的数据库；开始时间；结束时间；感知设备，该栏中用于输入查询条件；检索查询按键，用于指示开始查询；查询结果条数统计。

上述，通过流程编辑界面以及数据管理界面实现了对目标流程的可视化部署，并在部署完成后，执行该目标流程。之后，通过查询设置页面实现了对目标查询页面的可视化布局，且上述过程操作简单，即使非技术人员也可以执行上述操作。同时，增加了数据处理及数据查询的灵活程度。

下面示例性说明一次完整的数据处理过程，设定数据处理过程的应用场景为小区监控场景。图7为本发明实施例提供的完整的数据处理过程示意图。参考图7，数据处理过程包括外部系统搜集数据、ELT过程、数据分析挖掘以及 WEB应用四个部分。

其中，外部系统搜集的数据记为原始数据(也称为源数据)。接口层/缓冲层对应数据采集流程，标准层对应数据转换流程，整合层对应数据聚类流程。整合层的数据按照种类/天的目标结构进行存储。进一步的，数据挖掘分析也可以理解为按照设定数据维度对数据处理结果进行统计的过程。数据分析挖掘包括中间层/轻度汇总层以及主题层。其中，中间层/轻度汇总层的数据处理流程为获取整合层的宽表，并根据业务场景进行分析得到通用的轻度汇总数据。通常，轻度汇总数据可以落地到hive或MySQL。例如，业务场景为统计小区内人员的行为轨迹，那么轻度汇总数据可以包括：每个人在小区内每天的出现次数，进、出小区次数以及早、晚出现次数等。可选的，数据分析的手段可以包括实时分析和离线分析。其中，实时分析是指对数据进行实时分析，以对当前发生的危险事件进行预警。离线分析是指用各个离线算法模块定期(如每天两点) 运行以挖掘数据的规律，如业务场景为小区人口管控时，根据人员出行规律，可以进行疑似小区实有人员分析以及小区登记搬离人员(已登记但搬离本小区的人员)分析。离线分析可以采用SQL、机器学习等手段。离线分析过程中得到的中间数据可以保存至hive，最终结果保存至MySQL中。进一步的，主题层是指根据业务场景，通过离线分析手段，对中间层/轻度汇总层得到的数据进行统计、分析、挖掘，并提供数据的报表及多维分析。即主题层得到即席查询需要得到的数据。

通常，中间层/轻度汇总层及主题层得到的数据可以供WEB应用直接查询。进一步的，中间层/轻度汇总层及主题层得到的数据对应的数据定义在元数据管理模块中管理。其中，元数据是用于定义数据结构的基础元素。通过元数据标准可以规范、统一定义平台中所有数据表的数据项的名称、类型、长度以及遵循的规范等内容，以为后续数据应用及数据服务提供标准参考。同时，规范数据采集、存储、共享过程，保证数据整合的一致性以及唯一性。进一步的，元数据管理模块提供针对数据源、数据集、代码字典的管理功能，并提供restful 服务功能。

WEB应用层面向用户，其可以以APP的形式体现。用户可以通过WEB应用层访问中间层以及主题层内的存储模块以实现数据查询。例如，通过查询APP 设置查询页面，并通过查询页面进行数据查询。其中，在进行数据查询时，WEB 应用通过API(ApplicationProgramming Interface，应用程序编程接口)或JDBC (Java DataBase Connectivity，java数据库连接)实现访问存储模块。

进一步的，为了保证处理及查询准确性，需要设定各数据库表命名规范、数据字段命名规范以及其他对象命名规范。

其中，数据库表命名规范的频度定义为：RL实时【明细数据】/D日/W周 /M月/Y年，RL实时表示明细数据，数据不经过汇总处理；数据库表命名规范的主题域为：人P、车V、码C、证I。

可选的，数据库表命名规范参考如表1：

表1、数据库表命名规范

进一步的，数据字段命名规范参考如表2。

表2、数据字段命名规范

进一步的，其它对象命名规范参考如表3。其中，其它对象是指数据分析中使用的临时表、备份表。

表3、其他对象命名规范

进一步的，数据处理过程中产生的数据按照上述命名规范进行存储。

在上述过程中，ELT过程以及WEB应用均可以通过可视化的方式呈现，以便于用户管理。

图8为本发明实施例提供的一种可视化的数据处理流程设置装置的结构示意图。参考图8，该可视化的数据处理流程设置装置包括：

第一指令接收模块801，用于接收作用于数据管理界面的流程创建指令；流程创建模块802，用于根据所述流程创建指令建立目标流程，并在数据管理界面中创建对应的流程列表，所述流程列表包括所述目标流程的属性信息；第二指令接收模块803，用于接收作用于所述流程列表的第一编辑指令；第一界面显示模块804，用于根据所述第一编辑指令显示第一流程编辑界面，所述第一流程编辑界面包括多个目标组件，一个所述目标组件对应一种处理方式；第三指令接收模块805，用于接收作用于所述第一流程编辑界面的流程配置指令，所述流程配置指令用于选定所述目标流程所需的目标组件；流程确定模块806，用于根据流程配置指令确定目标流程的处理流程。

进一步的，还包括：激活模块，用于根据流程配置指令确定目标流程的处理流程之后，激活所述目标流程，以实现目标流程的数据处理任务。

进一步的，还包括：第四指令接收模块，用于接收作用于所述流程列表的第二编辑指令；第二界面显示模块，用于根据所述第二编辑指令显示第二流程编辑界面，所述第二流程编辑界面包括所述目标流程的处理流程；第五指令接收模块，用于接收作用于所述第二流程编辑界面的修改指令；流程修改模块，用于根据所述修改指令修改所述目标流程的处理流程。

进一步的，目标组件包括：数据源组件、清洗转换组件、关联融合组件、数据管道组件、数据落地组件、解析系统组件以及信息聚类引擎组件中的至少一项。

进一步的，目标流程包括数据采集流程、数据转换流程以及数据聚类流程。

进一步的，还包括：结果统计模块，用于激活所述目标流程，以实现目标流程的数据处理任务之后，按照设定数据维度对数据处理结果进行统计，并将统计结果保存至相应数据库。

进一步的，还包括：第六指令接收模块，用于接收查询页面设置指令；第三页面显示模块，用于根据所述查询页面设置指令显示查询设置页面；第七指令接收模块，用于接收作用于查询设置页面的查询设置指令；页面生成模块，用于根据所述查询设置指令生成目标查询页面，所述目标查询页面用于获取用户的数据查询指令以及显示所述数据查询指令对应的查询结果。

本发明实施例提供的可视化的数据处理流程设置装置可用于执行上述任意可视化的数据处理流程设置方法，具备相应的功能和有益效果。

图9为本发明实施例提供的一种可视化的数据处理流程设置设备的结构示意图。如图9所示，该可视化的数据处理流程设置设备包括处理器90、存储器 91、输入装置92、输出装置93和显示屏94；可视化的数据处理流程设置设备中处理器90的数量可以是一个或多个，图9中以一个处理器90为例；可视化的数据处理流程设置设备中的处理器90、存储器91、输入装置92、输出装置 93和显示屏94可以通过总线或其他方式连接，图9中以通过总线连接为例。

存储器91作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的可视化的数据处理流程设置方法执行的对应的程序指令/模块(例如，可视化的数据处理流程设置装置中的第一指令接收模块801、流程创建模块802、第二指令接收模块803、第一界面显示模块 804、第三指令接收模块805和流程确定模块806)。处理器90通过运行存储在存储器91中的软件程序、指令以及模块，从而执行可视化的数据处理流程设置设备的各种功能应用以及数据处理，即实现上述的可视化的数据处理流程设置方法。

存储器91可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据可视化的数据处理流程设置设备的使用所创建的数据等。此外，存储器91可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器91可进一步包括相对于处理器90远程设置的存储器，这些远程存储器可以通过网络连接至可视化的数据处理流程设置设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置92可用于接收输入的数字或字符信息，以及产生与可视化的数据处理流程设置设备的用户设置以及功能控制有关的键信号输入。输出装置93可包括扬声器等设备。显示屏94，用于显示数据管理界面及第一流程编辑界面，还用于在可视化的数据处理流程设置方法的运行过程中，显示对应的界面及内容。

上述可视化的数据处理流程设置设备可以用于执行任意可视化的数据处理流程设置方法执行的相关操作，具备相应的功能和有益效果。

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由处理器执行时用于执行一种可视化的数据处理流程设置方法，该方法包括：

接收作用于数据管理界面的流程创建指令；

根据所述流程创建指令建立目标流程，并在数据管理界面中创建对应的流程列表，所述流程列表包括所述目标流程的属性信息；

接收作用于所述流程列表的第一编辑指令；

根据所述第一编辑指令显示第一流程编辑界面，所述第一流程编辑界面包括多个目标组件，一个所述目标组件对应一种处理方式；

接收作用于所述第一流程编辑界面的流程配置指令，所述流程配置指令用于选定所述目标流程所需的目标组件；

根据流程配置指令确定目标流程的处理流程。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的可视化的数据处理流程设置方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器 (Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory, RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种可视化的数据处理流程设置方法，其特征在于，包括：

接收作用于数据管理界面的流程创建指令；

根据所述流程创建指令建立目标流程，并在数据管理界面中创建对应的流程列表，所述流程列表包括所述目标流程的属性信息；

接收作用于所述流程列表的第一编辑指令；

根据所述第一编辑指令显示第一流程编辑界面，所述第一流程编辑界面包括多个目标组件，一个所述目标组件对应一种处理方式；

接收作用于所述第一流程编辑界面的流程配置指令，所述流程配置指令用于选定所述目标流程所需的目标组件；

根据流程配置指令确定目标流程的处理流程。

2.根据权利要求1所述的可视化的数据处理流程设置方法，其特征在于，所述根据流程配置指令确定目标流程的处理流程之后，还包括：

激活所述目标流程，以实现目标流程的数据处理任务。

3.根据权利要求1所述的可视化的数据处理流程设置方法，其特征在于，还包括：

接收作用于所述流程列表的第二编辑指令；

根据所述第二编辑指令显示第二流程编辑界面，所述第二流程编辑界面包括所述目标流程的处理流程；

接收作用于所述第二流程编辑界面的修改指令；

根据所述修改指令修改所述目标流程的处理流程。

4.根据权利要求1所述的可视化的数据处理流程设置方法，其特征在于，所述目标组件包括：数据源组件、清洗转换组件、关联融合组件、数据管道组件、数据落地组件、解析系统组件以及信息聚类引擎组件中的至少一项。

5.根据权利要求1所述的可视化的数据处理流程设置方法，其特征在于，所述目标流程包括数据采集流程、数据转换流程以及数据聚类流程。

6.根据权利要求2所述的可视化的数据处理流程设置方法，其特征在于，所述激活所述目标流程，以实现目标流程的数据处理任务之后，还包括：

按照设定数据维度对数据处理结果进行统计，并将统计结果保存至相应数据库。

7.根据权利要求6所述的可视化的数据处理流程设置方法，其特征在于，还包括：

接收查询页面设置指令；

根据所述查询页面设置指令显示查询设置页面；

接收作用于查询设置页面的查询设置指令；

根据所述查询设置指令生成目标查询页面，所述目标查询页面用于获取用户的数据查询指令以及显示所述数据查询指令对应的查询结果。

8.一种可视化的数据处理流程设置装置，其特征在于，包括：

第一指令接收模块，用于接收作用于数据管理界面的流程创建指令；

流程创建模块，用于根据所述流程创建指令建立目标流程，并在数据管理界面中创建对应的流程列表，所述流程列表包括所述目标流程的属性信息；

第二指令接收模块，用于接收作用于所述流程列表的第一编辑指令；

第一界面显示模块，用于根据所述第一编辑指令显示第一流程编辑界面，所述第一流程编辑界面包括多个目标组件，一个所述目标组件对应一种处理方式；

第三指令接收模块，用于接收作用于所述第一流程编辑界面的流程配置指令，所述流程配置指令用于选定所述目标流程所需的目标组件；

流程确定模块，用于根据流程配置指令确定目标流程的处理流程。

9.一种可视化的数据处理流程设置设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

显示屏，用于显示数据管理界面及第一流程编辑界面；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的可视化的数据处理流程设置方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的可视化的数据处理流程设置方法。