CN114721799B - 数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种数据处理方法、装置、设备及存储介质，涉及计算机技术领域，可以满足对海量车辆数据的处理需求。该方法包括：接收到kafka数据时，获取kafka数据对应的topic分区的第一标识；各topic分区对应不同的数据源，kafka数据为车辆数据；根据第一标识和第一对应关系确定至少一个第二标识和至少一个第三标识；第一对应关系中包括第一标识、第二标识以及第三标识三者的对应关系；第二标识为逻辑处理插件的标识，第三标识为flink slot的标识；基于至少一个第二标识对应的至少一种逻辑处理插件和至少一个第三标识对应的至少一个flink slot，对kafka数据进行处理。

Description

数据处理方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

目前，随着物联网技术的发展，可以基于物联网平台对机械车辆(比如，推土机、挖掘机等)的各种车辆数据进行处理。然而，随着数字化和信息化的高速发展，机械车辆的使用量快速增长，且车辆数据的数据类型也在不断增加。这样，现有的数据处理方法无法满足海量的车辆数据的处理需求。

发明内容

本申请提供一种数据处理方法、装置、设备及存储介质，可以满足对海量的车辆数据的处理需求。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种数据处理方法，包括：在接收到kafka数据的情况下，获取kafka数据对应的topic分区的第一标识；各topic分区对应不同的数据源，kafka数据为车辆数据；根据第一标识和第一对应关系确定至少一个第二标识和至少一个第三标识；第一对应关系中包括第一标识、第二标识以及第三标识三者的对应关系；第二标识为逻辑处理插件的标识，第三标识为flink slot的标识，一个第一标识至少对应一个第二标识，一个第三标识至少对应一个第二标识；基于至少一个第二标识对应的至少一种逻辑处理插件和至少一个第三标识对应的至少一个flink slot，对kafka数据进行处理。

本申请提供的技术方案中，可以结合开源流处理框架flink和开源流处理平台kafka对车辆数据进行处理，kafka平台可以中可以创建多个topic分区，不同的topic分区可以对应不同类型车辆数据的数据源。数据处理装置(基于开源流处理框架flink搭建)接收到kafka平台传入的kafka数据后，可以先根据该kafka数据的topic分区的第一标识以及事先确定的第一对应关系，确定对该kafka数据进行数据处理的算法逻辑对应的逻辑处理插件的第二标识，以及对处理该kafka数据的计算资源flink slot的第三标识。可以看出，本申请结合flink框架和kafka平台，通过流式处理方式，可以实现对不同数据源进行不同的逻辑处理，且可以实现采用不同的计算资源flink slot对不同的逻辑运算进行处理。这样，可以满足海量的车辆数据的处理需求。

可选的，在一种可能的设计方式中，上述“根据第一标识和第一对应关系确定至少一个第二标识和至少一个第三标识”之前，本申请提供的数据处理方法还可以包括：

实时对更新指令进行检测；

确定未检测到更新指令。

可选的，在另一种可能的设计方式中，更新指令为通过在用户端的配置界面中的第一配置操作触发的指令，第一配置操作至少包括：对新增控件的选择操作，对目标topic分区的第一标识的输入操作，对目标逻辑处理插件对应的文件包的上传操作，对计算资源的需求量的输入操作，以及对配置完成控件的选择操作；文件包包括目标逻辑处理插件的第二标识；

本申请提供的数据处理方法还可以包括：基于第一配置操作创建计算任务。

可选的，在另一种可能的设计方式中，更新指令为通过在用户端的配置界面中的第二配置操作触发的指令，第二配置操作至少包括：对目标计算任务的选择操作，对目标topic分区的第一标识、目标逻辑处理插件对应的文件包、计算资源的需求量中至少一项的修改操作，以及对配置完成控件的选择操作；

本申请提供的数据处理方法还可以包括：基于第二配置操作更新目标计算任务。

可选的，在另一种可能的设计方式中，更新指令为通过在用户端的配置界面中的第三配置操作触发的指令，第三配置操作至少包括对目标计算任务的删除操作或者对目标计算任务的启动状态的修改操作；

本申请提供的数据处理方法还可以包括：基于第三配置操作删除/关闭目标计算任务。

可选的，在另一种可能的设计方式中，本申请提供的数据处理方法还可以包括：

在确定检测到更新指令的情况下，基于更新指令重新确定第一对应关系；

根据第一标识和重新确定的第一对应关系确定至少一个第二标识和至少一个第三标识；

基于至少一个第二标识对应的至少一种逻辑处理插件和至少一个第三标识对应的至少一个flink slot，对kafka数据进行处理。

可选的，在另一种可能的设计方式中，逻辑处理插件的接口为基于Java SPI定义的标准化接口。

第二方面，本申请提供一种数据处理装置，包括：获取模块、确定模块以及处理模块；

获取模块，用于在接收到kafka数据的情况下，获取kafka数据对应的topic分区的第一标识；各topic分区对应不同的数据源，kafka数据为车辆数据；

确定模块，用于根据第一标识和第一对应关系确定至少一个第二标识和至少一个第三标识；第一对应关系中包括第一标识、第二标识以及第三标识三者的对应关系；第二标识为逻辑处理插件的标识，第三标识为flink slot的标识，一个第一标识至少对应一个第二标识，一个第三标识至少对应一个第二标识；

处理模块，用于基于至少一个第二标识对应的至少一种逻辑处理插件和至少一个第三标识对应的至少一个flink slot，对kafka数据进行处理。

可选的，在一种可能的设计方式中，本申请提供的数据处理方装置法还可以包括：检测模块；

检测模块，用于实时对更新指令进行检测；

确定模块，还用于确定未检测到更新指令。

可选的，在另一种可能的设计方式中，更新指令为通过在用户端的配置界面中的第一配置操作触发的指令，第一配置操作至少包括：对新增控件的选择操作，对目标topic分区的第一标识的输入操作，对目标逻辑处理插件对应的文件包的上传操作，对计算资源的需求量的输入操作，以及对配置完成控件的选择操作；文件包包括目标逻辑处理插件的第二标识；

本申请提供的数据处理装置还可以包括创建模块，用于基于第一配置操作创建计算任务。

可选的，在另一种可能的设计方式中，更新指令为通过在用户端的配置界面中的第二配置操作触发的指令，第二配置操作至少包括：对目标计算任务的选择操作，对目标topic分区的第一标识、目标逻辑处理插件对应的文件包、计算资源的需求量中至少一项的修改操作，以及对配置完成控件的选择操作；

本申请提供的数据处理装置还可以包括更新模块，用于基于第二配置操作更新目标计算任务。

可选的，在另一种可能的设计方式中，更新指令为通过在用户端的配置界面中的第三配置操作触发的指令，第三配置操作至少包括对目标计算任务的删除操作或者对目标计算任务的启动状态的修改操作；

本申请提供的数据处理装置还可以包括删除模块，用于基于第三配置操作删除/关闭目标计算任务。

可选的，在另一种可能的设计方式中，确定模块还用于，在确定检测到更新指令的情况下，基于更新指令重新确定第一对应关系；根据第一标识和重新确定的第一对应关系确定至少一个第二标识和至少一个第三标识；

处理模块，还用于基于至少一个第二标识对应的至少一种逻辑处理插件和至少一个第三标识对应的至少一个flink slot，对kafka数据进行处理。

可选的，在另一种可能的设计方式中，逻辑处理插件的接口为基于Java SPI定义的标准化接口。

第三方面，本申请提供一种数据处理设备，包括存储器、处理器、总线和通信接口；存储器用于存储计算机执行指令，处理器与存储器通过总线连接；当数据处理设备运行时，处理器执行存储器存储的计算机执行指令，以使数据处理设备执行如上述第一方面提供的数据处理方法。

可选的，该数据处理设备还可以包括收发器，该收发器用于在数据处理设备的处理器的控制下，执行收发数据、信令或者信息的步骤，例如，接收kafka数据。

进一步可选的，该数据处理设备可以是用于实现数据处理的物理机，也可以是物理机中的一部分装置，例如可以是物理机中的芯片系统。该芯片系统用于支持数据处理设备实现第一方面中所涉及的功能，例如，接收，发送或处理上述数据处理方法中所涉及的数据和/或信息。该芯片系统包括芯片，也可以包括其他分立器件或电路结构。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行指令时，使得计算机执行如第一方面提供的数据处理方法。

第五方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在计算机上运行时，使得计算机执行如第一方面提供的数据处理方法。

需要说明的是，上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中，计算机可读存储介质可以与数据处理设备的处理器封装在一起的，也可以与数据处理设备的处理器单独封装，本申请对此不做限定。

本申请中第二方面、第三方面、第四方面以及第五方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面、第四方面以及第五方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。

在本申请中，对于上述涉及到的设备或功能模块的名称不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似，均属于本申请权利要求及其等同技术的范围之内。

本申请的这些方面或其他方面在以下的描述中会更加简明易懂。

附图说明

图1为本申请实施例提供的一种数据处理方法的流程示意图；

图2为本申请实施例提供的一种第一对应关系的关系示意图；

图3为本申请实施例提供的一种配置界面的界面示意图；

图4为本申请实施例提供的另一种配置界面的界面示意图；

图5为本申请实施例提供的另一种数据处理方法的流程示意图；

图6为本申请实施例提供的一种数据处理装置的结构示意图；

图7为本申请实施例提供的一种数据处理设备的结构示意图。

具体实施方式

下面结合附图对本申请实施例提供的数据处理方法、装置、设备及存储介质进行详细地描述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。

此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括其他没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

目前，随着物联网技术的发展，可以基于物联网平台对机械车辆(比如，推土机、挖掘机等)的各种车辆数据进行处理。然而，随着数字化和信息化的高速发展，机械车辆的使用量快速增长，且车辆数据的数据类型也在不断增加。这样，现有的数据处理方法无法满足海量的车辆数据的处理需求。

针对上述现有技术中存在的问题，本申请实施例提供了一种数据处理方法，该方法通过结合flink框架(一种开源流处理框架)和kafka平台(一种开源流处理平台)，通过流式处理方式，可以实现对不同数据源进行不同的逻辑处理，且可以实现采用不同的计算资源flink slot(flink框架中的硬件资源)对不同的逻辑运算进行处理。这样，可以满足海量的车辆数据的处理需求。

本申请实施例提供的数据处理方法的执行主体可以是数据处理装置，数据处理装置可以是基于flink框架搭建的物理机(如服务器)，也可以为部署在物理机上的虚拟机(virtual machine，VM)。

下面结合附图对本申请实施例提供的数据处理方法进行说明。

参照图1，本申请实施例提供的数据处理方法包括S101-S103：

S101、在接收到kafka数据的情况下，获取kafka数据对应的topic分区的第一标识。

其中，各topic分区对应不同的数据源，kafka数据为车辆数据。示例性的，车辆数据可以为当前驾驶员的驾驶数据、整机状态、散热系统的数据、告警数据或传动液压系统的数据等。

本申请实施例提供的数据处理方法可以应用于对海量车辆数据进行处理的应用场景。示例性的，可以在kafka平台中分别创建驾驶数据、整机状态、散热系统的数据、告警数据以及传动液压系统的topic分区，不同topic分区用于对不同类型的车辆数据进行传输。比如，告警数据对应的topic分区在接收到告警数据后会将告警数据以及该topic分区的第一标识传入数据处理装置，由数据处理装置对告警数据进行处理。

S102、根据第一标识和第一对应关系确定至少一个第二标识和至少一个第三标识。

其中，第一对应关系中包括第一标识、第二标识以及第三标识三者的对应关系；第二标识为逻辑处理插件的标识，不同的逻辑处理插件对应不同的处理逻辑，第三标识为flink slot的标识，不同的flink slot对应不同的计算资源。一个第一标识至少对应一个第二标识，一个第三标识至少对应一个第二标识。

S103、基于至少一个第二标识对应的至少一种逻辑处理插件和至少一个第三标识对应的至少一个flink slot，对kafka数据进行处理。

示例性的，参照图2，提供了一种可能的第一对应关系的关系示意图，图2中连接线表示被连接的两个标识具有对应关系。如图2所示，topic分区A和topic分区B表示两个不同的第一标识，逻辑处理插件A、B、C、D、E和F表示两种不同的第二标识，flink slot A、flinkslot B和flink slot C表示三种不同的第三标识。其中，topic分区A分别与逻辑处理插件A、B、C、D、E和F对应，若topic分区A是为告警数据创建的topic分区的标识，则数据处理装置在接收到kafka平台传入的告警数据后，可以分别采用逻辑处理插件A、B、C、D、E和F对应的处理逻辑对告警数据进行处理。topic分区B分别与逻辑处理插件A、B、C、D、E和F对应，若topic分区B是为驾驶员的驾驶数据的topic分区的标识，则数据处理装置在接收到kafka平台传入的驾驶数据后，可以分别采用逻辑处理插件A、B、C、D、E和F对应的处理逻辑对驾驶数据进行处理。另外，逻辑处理插件A和D与flink slot A对应，则数据处理装置在基于逻辑处理插件A或D对kafka数据进行处理时，使用的计算资源为flink slot A对应的计算资源。逻辑处理插件B和E与flink slot B对应，则数据处理装置在基于逻辑处理插件B或E对kafka数据进行处理时，使用的计算资源为flink slot B对应的计算资源。逻辑处理插件C和F与flink slot C对应，则数据处理装置在基于逻辑处理插件C或F对kafka数据进行处理时，使用的计算资源为flink slot C对应的计算资源。

可选的，在根据第一标识和第一对应关系确定至少一个第二标识和至少一个第三标识之前，本申请实施例提供的数据处理方法还可以包括：实时对更新指令进行检测，确定未检测到更新指令。

其中，更新指令可以是用户在用户端的配置界面中的配置操作触发的指令。

由于在实际应用中，车辆数据的数据类型可能在不断的更新，对应的处理逻辑也可能在不断的更新。若在每次进行数据类型或处理逻辑更新时重新基于flink框架搭建新的数据处理装置，会影响对数据处理的效率。所以，本申请中，可以在用户端向用户提供一个供用户进行自主配置的配置界面，这样，用户可以根据数据类型或处理逻辑的更新需求在该配置界面中的配置操作触发更新指令，以实现对数据处理装置的更新，无需反复搭建新的数据处理装置，从而可以提高数据处理效率。

可选的，在一种可能的实现方式中，更新指令可以是用户通过在用户端的配置界面中的第一配置操作触发的指令，第一配置操作至少包括：对新增控件的选择操作，对目标topic分区的第一标识的输入操作，对目标逻辑处理插件对应的文件包的上传操作，对计算资源的需求量的输入操作，以及对配置完成控件的选择操作；文件包包括目标逻辑处理插件的第二标识；对应的，本申请实施例提供的数据处理方法还可以包括：基于第一配置操作创建计算任务。

示例性的，参照图3，提供了一种配置界面的界面示意图。如图3所示，该配置界面中包括有已创建计算任务的任务列表，包括计算任务A、计算任务B和计算任务C。不同的计算任务对应不同的第一对应关系，用于对不同数据类型的车辆数据做不同的逻辑处理。若机械车辆中新设了一个传感设备A，该传感设备A用于对车辆数据A进行采集，则可以先在kafka平台创建属于车辆数据A的目标topic分区，用于接收传感设备A传入的车辆数据A，并将车辆数据A以及目标topic分区的第一标识传入数据处理装置。然后，可以根据需求的处理逻辑对目标逻辑处理插件进行开发，得到目标逻辑处理插件对应的文件包。之后，可以对图3中的新增控件进行选择操作，触发显示如图4所示的配置界面。

如图4所示，用户可以在配置区A对目标topic分区的第一标识进行输入操作，还可以在配置区B对目标逻辑处理插件对应的文件包进行上传操作，还可以在配置区C对计算资源的需求量(比如，并发核数和内存)进行输入操作。之后，可以对配置完成控件进行选择操作，触发更新指令。另外，数据处理装置在检测到更新指令时，还可以根据更新指令对应的第一配置操作创建新的计算任务，添加在如图3所示的配置界面中。

可以看出，本申请实施例提供的数据处理方法中，可以支持用户根据需求在用户端进行计算任务的添加，并且在添加计算任务时，用户可以输入对计算资源的需求量。数据处理装置可以根据计算资源的需求量对计算资源flink slot进行灵活分配，相比现有的web服务扩/缩容的方式，可以简便快速的实现计算资源的灵活分配。

可选的，逻辑处理插件的接口为基于Java SPI定义的标准化接口。

本申请实施例中，可以采用flink框架和Java SPI插件化相结合的方式快速实现对数据处理装置的业务功能的开发。逻辑处理插件可以是用户根据需求单独开发的，用户可以在添加计算任务时，直接在配置页面中对开发好的逻辑处理插件的文件包进行上传操作。由于不同开发项目对开发人员的经验水平的要求不同，所以，本申请实施例中，基于flink框架开发数据处理装置的开发人员和逻辑处理插件的开发人员可以不同，这样，通过分项目开发的方式，可以进一步提高开发效率。另外，在工程机械领域，传统的微服务开发(比如，Spring Boot)需要依赖Spring框架，项目搭建比较繁琐，本申请实施例中，无需重新搭建繁琐的Java web项目，采用flink框架和Java SPI插件化相结合的方式，可以达到快速开发的目的。

可选的，在另一种可能的实现方式中，更新指令为通过在用户端的配置界面中的第二配置操作触发的指令，第二配置操作至少包括：对目标计算任务的选择操作，对目标topic分区的第一标识、目标逻辑处理插件对应的文件包、计算资源的需求量中至少一项的修改操作，以及对配置完成控件的选择操作；对应的，本申请实施例提供的数据处理方法还可以包括：基于第二配置操作更新目标计算任务。

为了进一步提高开发效率，从而提高数据处理的效率，当用户需要对目标计算任务的topic分区、目标逻辑处理插件或者计算资源的需求量进行修改时，本申请实施例中可以支持用户在配置页面中对目标topic分区的第一标识、目标逻辑处理插件对应的文件包、计算资源的需求量中至少一项进行修改操作。这样，就无需重新创建计算任务，直接根据需求对原计算任务进行修改即可。

示例性的，对目标计算任务的选择操作可以是对图3中计算任务A、计算任务B或计算任务C中任一个的选择操作。

可选的，在又一种可能的实现方式中，更新指令为通过在用户端的配置界面中的第三配置操作触发的指令，第三配置操作至少包括对目标计算任务的删除操作或者对目标计算任务的启动状态的修改操作；本申请实施例提供的数据处理方法还可以包括：基于第三配置操作删除/关闭目标计算任务。

为了节省计算资源，本申请实施例中，当机械车辆的某种传感设备在某段时间暂停工作时，可以对该车辆数据对应的目标计算任务的启动状态进行更改。示例性的，若图3中的计算任务A是为驾驶数据创建的计算任务，则用户对图3中的计算任务A的启动状态控件进行滑动操作，将计算任务A的启动状态修改为关闭状态，之后，数据处理装置将暂停对驾驶数据的处理。

需要说明的是，在实际应用中，图3中的任务列表中还可以显示各计算任务对应的第一标识、第二标识以及第三标识等，本申请实施例对此不做限定。

进一步的，本申请实施例中，当机械车辆不再使用某种传感设备采集车辆数据时，可以对该车辆数据对应的目标计算任务删除。示例性的，若图3中的计算任务A是为驾驶数据创建的计算任务，则用户对图3中的计算任务A进行删除操作，则配置界面中将不再显示计算任务A，数据处理装置将不再对驾驶数据进行处理。

可选的，本申请实施例提供的数据处理方法中，在确定检测到更新指令的情况下，可以基于更新指令重新确定第一对应关系；然后可以根据第一标识和重新确定的第一对应关系确定至少一个第二标识和至少一个第三标识；之后可以基于至少一个第二标识对应的至少一种逻辑处理插件和至少一个第三标识对应的至少一个flink slot，对kafka数据进行处理。

综合以上描述，本申请实施例提供的数据处理方法中，可以结合开源流处理框架flink和开源流处理平台kafka对车辆数据进行处理，kafka平台可以中可以创建多个topic分区，不同的topic分区可以对应不同类型车辆数据的数据源。数据处理装置(基于开源流处理框架flink搭建)接收到kafka平台传入的kafka数据后，可以先根据该kafka数据的topic分区的第一标识以及事先确定的第一对应关系，确定对该kafka数据进行数据处理的算法逻辑对应的逻辑处理插件的第二标识，以及对处理该kafka数据的计算资源flinkslot的第三标识。可以看出，本申请结合flink框架和kafka平台，通过流式处理方式，可以实现对不同数据源进行不同的逻辑处理，且可以实现采用不同的计算资源flink slot对不同的逻辑运算进行处理。这样，可以满足海量的车辆数据的处理需求。

可选的，如图5所示，本申请实施例还提供了一种数据处理方法，包括S501-S505：

S501、在接收到kafka数据的情况下，获取kafka数据对应的topic分区的第一标识。

S502、判断是否检测到更新指令。

在确定未检测到更新指令的情况下，执行步骤S504；在确定检测到更新指令的情况下，执行步骤S503。

S503、基于更新指令重新确定第一对应关系。

在步骤S503之后，执行步骤S504。

S504、根据第一标识和第一对应关系确定至少一个第二标识和至少一个第三标识。

S505、基于至少一个第二标识对应的至少一种逻辑处理插件和至少一个第三标识对应的至少一个flink slot，对kafka数据进行处理。

在步骤S505之后，返回继续执行步骤S501。

如图6所示，本申请实施例还提供了一种数据处理装置，该装置可以包括：获取模块11、确定模块12以及处理模块13。

其中，获取模块11执行上述方法实施例中的S101，确定模块12执行上述方法实施例中的S102，处理模块13执行上述方法实施例中的S103。

具体地，获取模块11，用于在接收到kafka数据的情况下，获取kafka数据对应的topic分区的第一标识；各topic分区对应不同的数据源，kafka数据为车辆数据；

确定模块12，用于根据第一标识和第一对应关系确定至少一个第二标识和至少一个第三标识；第一对应关系中包括第一标识、第二标识以及第三标识三者的对应关系；第二标识为逻辑处理插件的标识，第三标识为flink slot的标识，一个第一标识至少对应一个第二标识，一个第三标识至少对应一个第二标识；

处理模块13，用于基于至少一个第二标识对应的至少一种逻辑处理插件和至少一个第三标识对应的至少一个flink slot，对kafka数据进行处理。

可选的，在一种可能的设计方式中，本申请提供的数据处理方装置法还可以包括：检测模块；

检测模块，用于实时对更新指令进行检测；

确定模块12，还用于确定未检测到更新指令。

可选的，在另一种可能的设计方式中，更新指令为通过在用户端的配置界面中的第一配置操作触发的指令，第一配置操作至少包括：对新增控件的选择操作，对目标topic分区的第一标识的输入操作，对目标逻辑处理插件对应的文件包的上传操作，对计算资源的需求量的输入操作，以及对配置完成控件的选择操作；文件包包括目标逻辑处理插件的第二标识；

本申请提供的数据处理装置还可以包括创建模块，用于基于第一配置操作创建计算任务。

可选的，在另一种可能的设计方式中，更新指令为通过在用户端的配置界面中的第二配置操作触发的指令，第二配置操作至少包括：对目标计算任务的选择操作，对目标topic分区的第一标识、目标逻辑处理插件对应的文件包、计算资源的需求量中至少一项的修改操作，以及对配置完成控件的选择操作；

本申请提供的数据处理装置还可以包括更新模块，用于基于第二配置操作更新目标计算任务。

可选的，在另一种可能的设计方式中，更新指令为通过在用户端的配置界面中的第三配置操作触发的指令，第三配置操作至少包括对目标计算任务的删除操作或者对目标计算任务的启动状态的修改操作；

本申请提供的数据处理装置还可以包括删除模块，用于基于第三配置操作删除/关闭目标计算任务。

可选的，在另一种可能的设计方式中，确定模块12还用于，在确定检测到更新指令的情况下，基于更新指令重新确定第一对应关系；根据第一标识和重新确定的第一对应关系确定至少一个第二标识和至少一个第三标识；

处理模块13，还用于基于至少一个第二标识对应的至少一种逻辑处理插件和至少一个第三标识对应的至少一个flink slot，对kafka数据进行处理。

可选的，在另一种可能的设计方式中，逻辑处理插件的接口为基于Java SPI定义的标准化接口。

可选的，数据处理装置还可以包括存储模块，存储模块用于存储该数据处理装置的程序代码等。

如图7所示，本申请实施例还提供一种数据处理设备，包括存储器41、处理器42(42-1和42-2)、总线43和通信接口44；存储器41用于存储计算机执行指令，处理器42与存储器41通过总线43连接；当数据处理设备运行时，处理器42执行存储器41存储的计算机执行指令，以使数据处理设备执行如上述实施例提供的数据处理方法。

在具体的实现中，作为一种实施例，处理器42可以包括一个或多个中央处理器(central processing unit，CPU)，例如图7中所示的CPU0和CPU1。且作为一种实施例，数据处理设备可以包括多个处理器42，例如图7中所示的处理器42-1和处理器42-2。这些处理器42中的每一个CPU可以是一个单核处理器(single-CPU)，也可以是一个多核处理器(multi-CPU)。这里的处理器42可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

存储器41可以是只读存储器41(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器41可以是独立存在，通过总线43与处理器42相连接。存储器41也可以和处理器42集成在一起。

在具体的实现中，存储器41，用于存储本申请中的数据和执行本申请的软件程序对应的计算机执行指令。处理器42可以通过运行或执行存储在存储器41内的软件程序，以及调用存储在存储器41内的数据，数据处理设备的各种功能。

通信接口44，使用任何收发器一类的设备，用于与其他设备或通信网络通信，如控制系统、无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。通信接口44可以包括接收单元实现接收功能，以及发送单元实现发送功能。

总线43，可以是工业标准体系结构(industry standard architecture，ISA)总线、外部设备互连(peripheral component interconnect，PCI)总线或扩展工业标准体系结构(extended industry standard architecture，EISA)总线等。该总线43可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

作为一个示例，结合图6，数据处理装置中的获取模块实现的功能与图7中的接收单元实现的功能相同，数据处理装置中的处理模块实现的功能与图7中的处理器实现的功能相同。当数据处理装置包括有存储模块时，存储模块实现的功能与图7中的存储器实现的功能相同。

本实施例中相关内容的解释可参考上述方法实施例，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，使得计算机执行上述实施例提供的数据处理方法。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(erasable programmable read only memory，EPROM)、寄存器、硬盘、光纤、CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(application specificintegrated circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种数据处理方法，其特征在于，包括：

在接收到kafka数据的情况下，获取所述kafka数据对应的topic分区的第一标识；各topic分区对应不同的数据源，所述kafka数据为车辆数据；

实时对更新指令进行检测；

在确定未检测到所述更新指令的情况下，根据所述第一标识和第一对应关系确定至少一个第二标识和至少一个第三标识；所述第一对应关系中包括所述第一标识、所述第二标识以及所述第三标识三者的对应关系；所述第二标识为逻辑处理插件的标识，所述第三标识为flink slot的标识，一个所述第一标识至少对应一个所述第二标识，一个所述第三标识至少对应一个所述第二标识；在确定检测到所述更新指令的情况下，基于所述更新指令重新确定所述第一对应关系，并根据所述第一标识和重新确定的所述第一对应关系确定所述至少一个第二标识和所述至少一个第三标识；

基于所述至少一个第二标识对应的至少一种所述逻辑处理插件和所述至少一个第三标识对应的至少一个所述flink slot，对所述kafka数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述更新指令为通过在用户端的配置界面中的第一配置操作触发的指令，所述第一配置操作至少包括：对新增控件的选择操作，对目标topic分区的所述第一标识的输入操作，对目标逻辑处理插件对应的文件包的上传操作，对计算资源的需求量的输入操作，以及对配置完成控件的选择操作；所述文件包包括所述目标逻辑处理插件的所述第二标识；

所述方法还包括：基于所述第一配置操作创建计算任务。

3.根据权利要求1所述的方法，其特征在于，所述更新指令为通过在用户端的配置界面中的第二配置操作触发的指令，所述第二配置操作至少包括：对目标计算任务的选择操作，对目标topic分区的所述第一标识、目标逻辑处理插件对应的文件包、计算资源的需求量中至少一项的修改操作，以及对配置完成控件的选择操作；

所述方法还包括：基于所述第二配置操作更新所述目标计算任务。

4.根据权利要求1所述的方法，其特征在于，所述更新指令为通过在用户端的配置界面中的第三配置操作触发的指令，所述第三配置操作至少包括对目标计算任务的删除操作或者对目标计算任务的启动状态的修改操作；

所述方法还包括：基于所述第三配置操作删除/关闭所述目标计算任务。

5.根据权利要求1所述的方法，其特征在于，所述逻辑处理插件的接口为基于Java SPI定义的标准化接口。

6.一种数据处理装置，其特征在于，包括：

获取模块，用于在接收到kafka数据的情况下，获取所述kafka数据对应的topic分区的第一标识；各topic分区对应不同的数据源，所述kafka数据为车辆数据；

检测模块，用于实时对更新指令进行检测；

确定模块，用于在确定未检测到所述更新指令的情况下，根据所述第一标识和第一对应关系确定至少一个第二标识和至少一个第三标识；所述第一对应关系中包括所述第一标识、所述第二标识以及所述第三标识三者的对应关系；所述第二标识为逻辑处理插件的标识，所述第三标识为flink slot的标识，一个所述第一标识至少对应一个所述第二标识，一个所述第三标识至少对应一个所述第二标识；确定模块，还用于在确定检测到所述更新指令的情况下，基于所述更新指令重新确定所述第一对应关系，并根据所述第一标识和重新确定的所述第一对应关系确定所述至少一个第二标识和所述至少一个第三标识；

处理模块，用于基于所述至少一个第二标识对应的至少一种所述逻辑处理插件和所述至少一个第三标识对应的至少一个所述flink slot，对所述kafka数据进行处理。

7.一种数据处理设备，其特征在于，包括存储器、处理器、总线和通信接口；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接；

当所述数据处理设备运行时，处理器执行所述存储器存储的所述计算机执行指令，以使所述数据处理设备执行如权利要求1-5任意一项所述的数据处理方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当计算机执行所述指令时，使得所述计算机执行如权利要求1-5任意一项所述的数据处理方法。