CN114328501A - 一种数据处理方法、装置以及设备 - Google Patents

Abstract

一种数据处理方法、装置以及设备，本申请中，多个数据处理模块可以对数据进行协同处理，每个数据处理模块输出的数据存储在数据集合中，数据集合中包括多个数据，每个数据携带一个索引，索引用于指示生成数据的数据处理模块，该多个数据处理模块中的第一数据处理模块可以从数据集合中获取携带有第一索引的第一数据，第一索引指示生成第一数据的数据处理模块；之后，对第一数据进行处理，生成携带有第二索引的第二数据，第二索引指示第一数据处理模块；之后，第一数据处理模块将第二数据存储在数据集合中。数据处理模块可以对数据进行针对性的处理，提高了该多个数据处理模块对数据协同处理的灵活性。

Description

一种数据处理方法、装置以及设备

技术领域

本申请涉及通信技术领域，尤其涉及一种数据处理方法、装置以及设备。

背景技术

软件开发套件(software development kit，SDK)通常是以模块或插件的设计方式进行设计的，也即SDK包括多个软件模块，每个软件模块用于实现一种数据处理功能。该多个软件模块可以进行拼接，串行进行数据处理，也即每个软件模块对前一个软件模块输出的数据进行处理。

但这种多个软件模块进行串行的数据处理方式中，后一个软件模块获取前一个软件模块输出的数据，对前一个软件模块输出的数据中的部分数据进行更新，之后再输出数据。这种情况下，各个软件模块之间传递的数据的格式是固定的，只要前一个软件模块发生变更，输出的数据的格式发生变化，后一个软件模块可能存在无法准确识别前一个软件模块输出数据的情况，也就不能准确的定位到前一个软件模块输出的数据中需要更新的部分。

虽然软件模块之间可以通过拼接对数据进行串行处理，但是如果对其中一个软件模块进行变更，其他软件模块也需要做出相应的变更，这种多个软件模块对数据进行处理的方式，方式较为固定，灵活性较差。

发明内容

本申请提供一种数据处理方法、装置以及设备，用以提高数据处理模块对数据进行协同处理的灵活性。

第一方面，本申请实施例提供了一种数据处理方法，该方法应用于多个数据处理模块对数据进行协同处理的场景中，每个数据处理模块输出的数据存储在数据集合中，数据集合中包括多个数据，每个数据携带一个索引，索引用于指示生成数据的数据处理模块，该多个数据处理模块中的第一数据处理模块可以从数据集合中获取携带有第一索引的第一数据，第一索引指示生成第一数据的数据处理模块；第一数据处理模块在获取第一数据之后，可以对第一数据进行处理，生成携带有第二索引的第二数据，第二索引指示第一数据处理模块；之后，第一数据处理模块将第二数据存储在数据集合中。该多个数据处理模块中的其他数据处理模块也可以采用类似的方式对数据进行处理。

通过上述方法，该多个数据处理模块中的任一数据处理模块可以从数据集合中获取所需要的数据，只对获取的数据进行处理，不需要获取该数据处理模块之前的数据处理模块输出的全部数据，采用这种方式，数据处理模块可以对数据进行针对性的处理，提高了该多个数据处理模块对数据进行协同处理的灵活性。

在一种可能的实施方式中，数据集合中的数据还携带有指示信息，指示信息用于指示数据处理模块基于输入的数据生成数据时，生成输入的数据的数据处理模块。以第二数据为例，该第二数据可以携带有第一指示，该第一指示可以指示生成第一数据的数据处理模块。也即第一数据处理模块在生成第二数据时，将第一指示和第二索引添加到第二数据中。

通过上述方法，数据集合中的数据中携带的指示信息可以指示数据之间的关联关系，以便后续可以能够基于数据之间的关联关系对数据进行组合。

在一种可能的实施方式中，该多个数据处理模块中还可以包括用于对数据进行序列化的模块(也即序列化模块)，以第二数据处理模块为序列化模块，对数据处理模块对数据进行序列化的方式进行说明。第二数据处理模块从数据集合中选择多个数据，例如该多个数据为第二数据和第三数据，第二数据处理模块将第二数据和第三数据转换为序列化数据后，输出序列化数据，序列化数据为具备数据传输形态的数据，也即该序列化数据是可以进行数据传输的数据。

通过上述方式，序列化模块在对数据进行序列化时，并不需要从前一个数据处理模块获取数据，而是可以自行从数据集合中选择需要序列化的数据生成序列化数据，这种方式更加灵活。

在一种可能的实施方式中，第二数据处理模块从数据集合中选择多个数据时，该第二数据处理模块可以根据用户的操作，从数据集合中选择一个或多个数据，用户的操作为用户对多个数据处理模块的选择操作或用户对索引的配置操作，例如，第三数据携带有第三索引，第三索引用于指示第三数据处理模块，也即第三数据为第三数据处理模块生成的数据，当用户的操作为用户选择第一数据处理模块和第三数据处理模块的操作或用户配置第二索引或第三索引的操作时，第二数据处理模块从数据集合中选择第二数据和第三数据。第二数据处理模块也可以根据预先配置的一个或多个索引(如预先配置有第二索引和第三索引)，从该数据集合中选择一个或多个数据(如选择第二数据和第三数据)，其中，一个数据携带有该多个索引中的一个索引。之后，第二数据处理模块将一个或多个数据转换为序列化数据后，输出序列化数据。

通过上述方法，第二数据处理模块能够通过不同的方式灵活的从该数据集合中选择多个数据，适用于不同的场景。

在一种可能的实施方式中，第二数据处理模块在将一个或多个数据转换为序列化数据时，可以基于序列化规则集合，将一个或多个数据转换为序列化数据，序列化规则集合为预先配置的，序列化规则集合包括多个序列化规则，序列化规则为将数据转换为序列化数据的方法。

通过上述方法，第二数据处理模块基于序列化规则集合能够方便、快捷的实现多个数据的序列化，获得序列化数据。

在一种可能的实施方式中，第二数据处理模块基于序列化规则集合，将多个数据转换为序列化数据的方式有许多种，下面列举其中两种：

方式一、第二数据处理模块可以基于序列化规则集合和该多个数据之间的关联关系，将该多个数据转换为序列化数据，该多个数据之间的关联关系是基于该多个数据的指示信息确定的。示例性的，第二数据处理模块可以先基于序列化规则集合，将多个数据转换为多个候选序列化数据，也即每个数据转换为一个候选序列化数据，之后，再根据多个数据中的指示信息确定多个数据之间的关联关系，该多个数据之间的关联关系描述了该多个数据中一个数据是基于哪一个数据生成的；第二数据处理模块根据该多个数据之间的关联关系，将多个候选序列化数据进行嵌套，输出序列化数据。

以多个数据为第二数据和第三数据为例，第三数据还包括第二指示，第二指示用于指示生成第三数据时，生成第三数据处理模块的输入数据的数据处理模块，第二数据处理模块可以根据第一指示和第二指示确定第二数据和第三数据的关联关系之间的关联关系，之后，基于序列化规则集合、以及第二数据和第三数据的关联关系，将第二数据和第三数据转换为序列化数据。

方式二、第二数据处理模块可以先根据多个数据中的指示信息确定多个数据之间的关联关系；之后，再根据关联关系，将多个数据进行嵌套，获得嵌套后的数据，之后，基于序列化规则集合，将嵌套后的数据转换为多个序列化数据，并输出。

以多个数据为第二数据和第三数据为例，第三数据还包括第二指示，第二指示用于指示生成第三数据时，生成第三数据处理模块的输入数据的数据处理模块，第二数据处理模块根据第一指示和第二指示确定第二数据和第三数据的关联关系之间的关联关系后，根据关联关系，将多个数据进行嵌套；之后，再基于序列化规则集合，将嵌套后的数据转换为多个序列化数据。

通过上述方法，基于多个数据中每个数据中携带的指示信息可以便捷的确定出该多个数据之间的关联关系，便于实现候选序列化数据或多个数据的嵌套，能够较为快速的生成序列化数据。

在一种可能的实施方式中，该序列化规则集合中的序列化规则可以是根据用户的指示配置的。也就是说，用户可以自行定义序列化规则，例如定义数据格式以及该数据格式对应的序列化数据，生成序列化规则。例如，可以向用户展示的序列化规则集合的配置界面，用户可以在该配置界面上输入序列化规则，这样第二数据处理模块可以从该配置界面中接收序列化规则。

通过上述方法，用户自行定义序列化规则，使得在对多个数据进行序列化时，可以根据用户的需求获得序列化数据，使得数据序列化的方式更为方便，可以迎合用户的需求。

在一种可能的实施方式中，第一数据处理模块从数据集合中获取携带有第一索引的第一数据之前，第一数据处理模块获取用户配置的第一索引。例如，可以向用户展示该第一数据处理模块的配置界面，用户可以在该配置界面上键入第一索引，第一数据处理模块可以接收到该用户键入的第一索引。

通过上述方法，用户可以根据自身需求配置该第一数据处理模块获取的数据所携带的索引，这样能够使得第一数据处理模块在用户的配置下进行数据处理。

第二方面，本发明实施例提供了一种数据处理装置，具有实现上述方法实例中各个数据处理模块行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。装置包括至少一个数据处理模块，至少一个数据处理模块可以对数据进行协同处理，每个数据处理模块输出的数据存储在数据集合中，数据集合中包括多个数据，每个数据携带一个索引，索引用于指示生成数据的数据处理模块。

在一种可能的实施方式中，以多个数据处理模块中的第一数据处理模块为例，对数据处理模块进行数据处理的方式进行说明，第一数据处理模块可以从数据集合中获取携带有第一索引的第一数据，第一索引指示生成第一数据的数据处理模块；之后再对获取的第一数据进行处理，生成携带有第二索引的第二数据，第二索引指示第一数据处理模块；将第二数据存储在数据集合中。

在一种可能的实施方式中，数据集合中的数据还携带有指示信息，指示信息用于数据处理模块基于输入的数据生成数据时，生成输入的数据的数据处理模块。以第二数据为例，第一数据处理模块在生成第二数据时，可以将第一指示和第二索引添加到第二数据中。

在一种可能的实施方式中，以多个数据处理模块中的第二数据处理模块为例，对数据处理模块对数据进行序列化的方式进行说明。第二数据处理模块可以根据用户的操作，从数据集合中选择多个数据，用户的操作为用户对多个数据处理模块的选择操作，多个数据为用户选择的多个处理模块生成的数据，第二数据处理模块也可以根据预先配置的多个索引，从该数据集合中选择多个数据，该多个数据的一个数据携带有该多个索引中的一个索引。之后，第二数据处理模块可以将多个数据转换为序列化数据后，输出序列化数据。

在一种可能的实施方式中，第二数据处理模块在将多个数据转换为序列化数据时，可以基于序列化规则集合，将多个数据转换为序列化数据，序列化规则集合为预先配置的，序列化规则集合包括多个序列化规则，序列化规则为将数据转换为序列化数据所需遵循的规则。

在一种可能的实施方式中，第二数据处理模块在基于序列化规则集合，将多个数据转换为序列化数据的方式有许多种，第二数据处理模块可以确定该多个数据之间的关联关系，之后根据序列化规则集合和该关联关系，将该多个数据转换为序列化数据。例如，第二数据处理模块可以先基于序列化规则集合，将多个数据转换为多个候选序列化数据；之后，根据多个数据中的指示信息确定多个数据之间的关联关系；再根据关联关系，将多个候选序列化数据进行嵌套，输出序列化数据。又例如，第二数据处理模块可以先根据多个数据中的指示信息确定多个数据之间的关联关系；之后，再根据关联关系，将多个数据进行嵌套，获得嵌套后的数据，之后，基于序列化规则集合，将嵌套后的数据转换为多个序列化数据，并输出。

在一种可能的实施方式中，序列化规则为根据用户配置的。例如，可以向用户展示的序列化规则集合的配置界面，用户可以在该配置界面上输入序列化规则，这样第二数据处理模块可以从该配置界面中接收序列化规则。

在一种可能的实施方式中，第一数据处理模块在从数据集合中获取携带有第一索引的第一数据之前，还可以获取用户配置的第一索引。例如，可以向用户展示该第一数据处理模块的配置界面，用户可以在该配置界面上键入第一索引，第一数据处理模块可以接收到该用户键入的第一索引。

第三方面，本申请实施例还提供了一种计算设备，所述计算设备包括处理器和存储器，还可以包括通信接口。所述处理器执行所述存储器中的程序指令执行上述第一方面或第一方面任一可能的实现方式提供的方法。所述存储器与所述处理器耦合，其保存必要的程序指令和数据，如存储数据集合。所述通信接口，用于与其他设备进行通信，如接收第一索引或序列化规则等。

第四方面，本申请提供了一种计算设备集群，该计算设备集群包括至少一个计算设备。每个计算设备包括存储器和处理器。至少一个计算设备的处理器用于访问所述存储器中的代码以执行前述第一方面或第一方面的任意一种可能的实现方式提供的方法。

第五方面，本申请提供了一种非瞬态的可读存储介质，所述非瞬态的可读存储介质被计算设备执行时，所述计算设备执行前述第一方面或第一方面的任意可能的实现方式中提供的方法。该存储介质中存储了程序。该存储介质包括但不限于易失性存储器，例如随机访问存储器，非易失性存储器，例如快闪存储器、硬盘(hard disk drive，HDD)、固态硬盘(solid state drive，SSD)。

第六方面，本申请提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，在被计算设备执行时，所述计算设备执行前述第一方面或第一方面的任意可能的实现方式中提供的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述任一方面或任一方面的任意可能的实现方式中提供的方法的情况下，可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。

第七方面，本申请还提供一种计算机芯片，芯片与存储器相连，芯片用于读取并执行存储器中存储的软件程序，执行前述第一方面或第一方面的任意可能的实现方式中提供的方法。

附图说明

图1为本申请提供的一种系统的架构示意图；

图2为本申请提供的一种数据处理的方法示意图；

图3A为本申请提供的一种数据处理模块的数据处理流程图；

图3B为本申请提供的一种数据之间关联关系的示意图；

图3C为本申请提供的一种数据选择的示意图；

图4为本申请提供的一种数据处理的结构示意图；

图5为本申请提供的一种计算设备的结构示意图；

图6为本申请提供的一种计算设备集群的结构示意图。

具体实施方式

如图1所示，为本申请实施例提供的一种系统的结构示意图，该系统100中包括多个数据处理模块110以及数据存储模块120，该系统中仅示例性的绘制了其中三个数据处理模块，为了方便说明，将该三个数据处理模块分别命名为数据处理模块110A、数据处理模块110B以及数据处理模块110C。

该数据存储模块120用于存储数据集合，该数据集合中包括多个数据，每个数据为该多个数据处理模块110中的一个数据处理模块110生成的数据。每个数据中包括一个索引，该索引能够指示生成该数据的数据处理模块110。本申请实施例并不限定索引的具体表现形式，例如该索引可以为数据处理模块110的编号，也可以为数据处理模块110的名称，也可以其他能够指示数据处理模块110的信息。

每个数据处理模块110可以实现一种数据处理功能，能够对输入该数据处理模块110的数据(也即输入数据)进行特定处理，并生成数据。

每个数据处理模块110需要先从数据集合中获取输入数据，对于其中任一数据处理模块110，该数据处理模块110可以从数据集合中获取携带有特定索引的数据。该特定索引可以是预先配置给该数据处理模块110的，也可以是用户指示给数据处理模块110的。

该数据处理模块110在获取该携带有特定索引的数据后，可以对该携带有特定索引的数据进行处理，生成数据，该数据处理模块110生成的数据携带有能够指示该数据处理模块110的索引，该数据处理模块110在生成该数据后，可以将该数据存储在该数据集合，可选的，该数据处理模块110还可以在该数据中添加指示信息，用于指示生成该数据时，生成该数据处理模块110的输入数据的数据处理模块。

本申请实施例并不限定该多个数据处理模块110以及数据存储模块120所部署的位置，例如，该多个数据处理模块110以及数据存储模块120可以部署在同一计算设备中，该计算设备可以是位于云数据中心中的服务器，也可以是部署在边缘数据中心中的服务器。该多个数据处理模块110以及数据存储模块120可以分布在多个不同的计算设备中，该多个不同的计算设备可以是位于云数据中心中的服务器集群，也可以是部署在边缘数据中心中的服务器集群。例如，数据处理模块110以及数据存储模块120可以部署在不同计算设备，当数据处理模块110需要从数据集合中获取数据时，可以从数据存储模块120所在的计算设备请求配置特定索引的数据，获取该数据。当数据处理模块110生成数据后，可以将该数据发送给数据存储模块120所在的计算设备，请求将该数据存储在数据集合中。

本申请实施例并不限定该多个数据处理模块110的具体形态，例如该多个数据处理模块110可以为软件模块，也可以是硬件模块。

在本申请实施例中，该多个数据处理模块110对数据的处理操作并非是严格的串行处理过程，也就是说，该多个数据处理模块110对数据进行处理的前后顺序并非始终不变的，该多个数据处理模块110对数据进行处理的前后顺序可以根据数据处理场景进行设置的或由用户自行配置，以使得该多个数据处理模块110对数据进行处理的方式更加灵活。

下面以数据处理模块110A、数据处理模块110B以及数据处理模块110C对数据进行协同处理的方式为例，对多个数据处理模块110对数据进行协同处理的方式进行说明：

数据处理模块110A、数据处理模块110B以及数据处理模块110C可以配置有特定索引，该特定索引用于指示生成该数据处理模块110的输入数据的数据处理模块110。

举例来说，索引1指示数据处理模块110A，索引2指示数据处理模块110B，索引3指示数据处理模块110C。

为数据处理模块110A配置的索引为索引2，为数据处理模块110C配置的索引为索引1，为数据处理模块110B配置的索引为索引0，索引0为未被数据处理模块110处理的数据，也即原始数据。

本申请实施例并不限定为每个数据处理模块110配置索引的方式，例如，可以预先为数据处理模块110配置索引，将索引预先写入或发送至每个数据处理模块110。又例如，用户可以自行为每个数据处理模块110配置索引，这样用户可以根据需求为每个数据处理模块110配置索引，以使得每个数据处理模块110可以按照用户的配置从数据集合中获取携带有该索引的数据，并进行处理。这里并不限定用户配置索引的方式，例如用户可以将该索引写入到数据处理模块110的配置文件中，也可以在该数据处理模块110的配置界面中输入该索引。

依据为每个数据处理模块110配置的索引，可以确定该多个数据处理模块110的数据处理顺序，在本申请实施例中，数据处理模块110B先对原始数据进行处理，数据处理模块110A对数据处理模块110B生成的数据进行处理，数据处理模块110C对数据处理模块110B生成的数据进行处理。也即该多个数据处理模块110的数据处理顺序为：数据处理模块110B->数据处理模块110A->数据处理模块110C。

如图2所示，以数据处理模块110A、数据处理模块110B以及数据处理模块110C为例，对本申请实施例提供的一种数据处理方法进行说明，该方法包括：

步骤201：数据处理模块110B先从数据集合中获取索引为0的原始数据；

步骤202：数据处理模块110B对该原始数据进行处理，生成数据1，该数据1携带有数据处理模块110B的索引，也即携带索引2，指示该数据1为数据处理模块110B生成的。

步骤203：数据处理模块110B将该数据1存储至该数据集合中。

需要说明的是，数据处理模块110B将该数据1存储在该数据集合中，可以将该数据集合中的原始数据替换为数据1，也可以仅是该数据1存储在该数据集合中，该数据集合仍保存有该原始数据。前者为数据的替换，后者为数据的追加。前者适应于多个数据处理模块110为严格的串行处理的场景，也即不存在两个数据处理模块110对相同的数据进行处理的情况，后者适用的场景更多，不仅适用于串行处理场景，也适用于对数据进行并行处理(多个数据处理模块110对相同的数据进行处理)，还适用于串行和并行结合的场景。每个数据处理模块110均仅获取自己需要处理的数据，例如数据处理模块110B在获取原始数据时，也可以仅获取该原始数据中的部分数据。

步骤204：数据处理模块110A从数据集合中获取索引为2的数据。

步骤205：数据处理模块110A对该数据进行处理，生成数据2，该数据2携带有数据处理模块110A的索引，也即携带索引1，指示该数据2为数据处理模块110A生成的。

步骤206：数据处理模块110A将该数据2存储至该数据集合中。数据处理模块110A将该数据2存储至该数据集合中的方式与数据处理模块110B将该数据1存储至该数据集合中的方式类似，具体可参见前述说明。

步骤207：数据处理模块110C从数据集合中获取索引为1的数据。

步骤208：数据处理模块110C对该数据进行处理，生成数据3，该数据3携带有数据处理模块110C的索引，也即携带索引3，指示该数据3为数据处理模块110C生成的。

步骤209：数据处理模块110C将该数据3存储至该数据集合中。数据处理模块110C将该数据3存储至该数据集合中的方式与数据处理模块110B将该数据1存储至该数据集合中的方式类似，具体可参见前述说明。

在一种可能的实施方式中，数据处理模块110生成的数据中可以被拆分为多个子数据，其他数据处理模块110可以只对该数据处理模块110生成的数据中的部分子数据进行处理。当数据处理模块110在生成数据之后，除了在数据中携带索引，也可以为该数据的每个子数据设置标识。也即子数据对应一个标识和一个索引，该标识用于标识该子数据，该索引用于指示生成该子数据的数据处理模块110。这里并不限定该标识的具体表现形式，可以是数据处理模块110为子数据设置的编号，也可以是该数据处理模块110根据该子数据的类型设置的标识，例如该子数据为目标框(box)，则该子数据的标识即为box，若该数据处理模块110生成的多个子数据为多个目标框，为了区分不同的目标框，数据处理模块110可以为该多个目标框设置的标识可以为box+编号。第一个目标框即为box1，第二目标框即为box2。

在这种情况下，若其他数据处理模块110只对该数据处理模块110生成的数据中的部分子数据进行处理，该其他数据处理模块110除了配置该数据处理模块110的索引，还可以配置子数据的标识，以指示该其他数据处理模块110需要从数据集合中获取携带哪一个索引以及哪一个标识的子数据，该其他数据处理模块110基于配置的索引以及子数据的标识，可以从数据集合中获取对应的子数据，以进行处理。

从上述数据处理过程可知，该数据集合中的数据携带的索引可以指示生成该数据的数据处理模块110，为了能够在数据中体现出数据集合中数据之间的关联关系，可以在数据中携带指示信息，该指示信息能够指示该数据是基于哪一个数据处理模块110生成的数据生成的。

在前述数据处理模块110A、数据处理模块110B以及数据处理模块110C生成的数据中，数据处理模块110A生成的数据2是基于数据处理模块110B生成的数据1生成的，数据处理模块110B生成的数据1是基于原始数据生成的，数据处理模块110C生成的数据3是基于数据处理模块110A生成的数据2生成的。

数据之间的关联关系也可以理解为数据处理模块110之间的关联关系，数据处理模块110之间的关联关系指示数据处理模块110对数据进行处理的前后关系。

示例性的，数据2中可以携带的指示信息为第二指示，该第二指示用于指示数据处理模块110B，携带有第二指示的数据2即为基于数据处理模块110B生成的数据生成的，该数据2携带有索引1为数据处理模块110A生成的数据。数据处理模块110A与数据处理模块110B之间存在关联关系，数据处理模块110B在前，数据处理模块110A在后。

数据3中可以携带的指示信息为第一指示，该第一指示用于指示数据处理模块110A，携带有第一指示的数据3即为基于数据处理模块110A生成的数据生成的，该数据3携带有索引3为数据处理模块110C生成的数据。数据处理模块110C与数据处理模块110A之间存在关联关系，数据处理模块110A在前，数据处理模块110C在后。

数据1中可以携带的指示信息为第零指示，该第零指示用于指示原始数据，也即不指示任一数据处理模块110，携带有第零指示的数据1即为基于原始数据生成的，该数据1携带有索引2为数据处理模块110B生成的数据。数据处理模块110B是最先进行数据处理的数据处理模块110，数据处理模块110B在最开始的位置。

基于该数据集合中数据中携带的指示信息可以建立数据之间的关联关系，该数据之间的关联关系可以表现为有向图的形式。

以图像处理为例，如图3A所示，为图像处理过程中各个数据处理模块110之间的前后顺序，在本申请实施例中，以数据处理模块110前后顺序表征数据处理模块110对数据处理的先后顺序，位置在前的数据处理模块110对数据进行处理，之后的数据处理模块110对该数据处理模块110之前的数据处理模块110生成的数据进行处理。

如图3A中图像获取模块先获取图像(数据0)，之后将获取的图像传输给图像解码模块，图像解码模块对图像进行解码，生成解码后的图像(数据1)，目标检测模块获取解码后的图像，对该解码后的图像进行目标检测，确定该图像中的多个目标框，其中包括目标框1以及目标框2(数据2，该数据2中可以包括多个子数据，每个子数据为一个目标框)。

图像裁剪模块1获取目标框1，基于该目标框1对图像进行裁剪，获取只有目标框1的图像(数据3)；图像缩放模块1对只有该目标框1的图像进行放大，输出放大后的图像1(数据4)；图像分类模块1获取放大后的图像1，基于该放大后的图像1进行图像分类，确定该放大后的图像1的类别(数据5)；图像裁剪模块2获取目标框2，基于该目标框2对图像进行裁剪，获取只有目标框2的图像(数据6)。

图像缩放模块2对只有该目标框2的图像进行放大，输出放大后的图像2(数据7)；图像分类模块2获取放大后的图像2，基于该放大后的图像1进行图像分类，确定该放大后的图像2的类别(数据8)；同步等待模块汇总该放大后的图像2的类别和该放大后的图像2的类别，将该放大后的图像2的类别和该放大后的图像2的类别输入值序列化模块，序列化模块将该放大后的图像2的类别和该放大后的图像2的类别转换为序列化数据(数据9)。

数据1、数据2、……、数据9中携带有指示信息以指示生成该数据时的输入数据来自哪一个数据处理模块110。以数据2为例，数据2的指示信息可以指示该数据2是基于图片解码模块生成的数据生成的。

根据数据1、数据2、……、数据9携带的指示信息可以建立数据之间的关联关系，如图3B所示，为数据0、数据1、数据2、……、数据9之间的关联关系，图3B中以有向图的方式体现数据之间的关联关系，有向图的方式仅是举例，本申请实施例并不限定数据之间关联关系的表征方式，例如，还可以在数据之间建立映射，以表征数据之间的关联关系。

在上述说明中，数据之间的关联关系(也可以理解为数据处理模块110之间的前后顺序)是基于该数据中携带的指示信息确定的，之后，并基于该有向图的形式表征该数据之间的关联关系。在实际应用中，数据之间的关联关系(也可以理解为数据处理模块110之间的前后顺序)也可以采用其他方式确定，例如每个数据处理模块110中配置有关联信息，该关联信息指示了在所在数据处理模块110之后、处理所在数据处理模块110输出数据的数据处理模块110，该关联信息指示了数据处理模块110之间的前后顺序。基于配置在每个数据处理模块110中的关联信息可以确定出数据处理模块110的前后顺序进而可以确定出数据之间的关联关系，由此可以构建有向图以表征数据之间的关联关系。

对于一些数据处理模块110输出的数据，通常为源代码中的一个类或对象，并非是可以直接进行数据传输的数据形式，也即并非是序列化数据。为了能够这些数据处理模块110输出的数据转换为便于进行处理的序列化数据，该多个数据处理模块110还可以包括序列化模块，该序列化模块用于将数据转换为序列化数据。在本申请实施例中序列化数据是指具备数据传输形态的数据，也即是在数据传输时，所使用的数据。例如，该序列化数据可以为二进制数据，也可以为Json字符串。

该序列化模块在将数据转换为序列化数据时，需要先确定需要转换为序列化数据的数据。序列化模块可以在该数据集合中选择带有特定索引的数据，该特定索引可以是为序列化模块配置的，本申请实施例并不限定为该序列化模块配置的特定索引的数量，可以为一个，也可以为多个。为该序列化模块配置的特定索引的方式实质上也是为数据处理模块110配置索引，其配置方式可以参见前述说明，此处不再赘述。

该序列化模块也可以在用户的触发下，从该数据集合中选择一个或多个数据，例如用户可以从该多个数据处理模块110中选择一个或多个数据处理模块110，用户的操作可以指示序列化模块对选择的该一个或多个数据处理模块110生成的数据进行序列化，生成序列化数据。该序列化模块在检测到用户的操作后，可以从该数据集合中选择出该用户选择的一个或多个数据处理模块110生成的数据。

序列化模块在对多个数据进行序列化时，可以基于该序列化规则集合以及该多个数据之间的关联关系，将该多个数据转换为序列化数据，具体的，可以采用如下两种方式对该多个数据进行序列化。

方式一：序列化模块先对该多个数据进行序列化，生成多个候选序列化数据，之后，将该多个候选序列化数据整合为序列化数据，并输出。

当序列化模块确定了需要进行序列化的一个或多个数据后，可以对该一个或多个数据进行序列化，将该一个或多个数据转换为序列化数据，并输出该序列化数据。

序列化模块将该一个或多个数据转换为序列化数据时，可以是基于序列化规则集合进行的。

该序列化规则集合包括一个或多个序列化规则，一个序列化规则可以针对一种数据结构的数据，指示将具备该数据结构的数据为序列化数据的方法。序列化规则可以规定具备特定数据结构的数据与序列化数据之间的对应关系，指示该数据转换后的序列化数据的形式。

该序列化规则集合可以是预先配置的，且该序列化规则集合中的序列化规则可以进行更新，例如，修改该序列化规则集合中的序列化规则、增加序列化规则。

该序列化规则集合也可以是由用户配置的，例如可以为用户展示序列化规则集合的配置界面，用户可以在该配置界面中配置数据结构，以及对应的序列化数据，也即配置序列化规则。序列化模块可以接收该用户配置的序列化规则。

序列化规则集合的更新可以是用户触发的，例如用户可以查看该序列化规则集合，并可以指示该序列化模块对该序列化规则集合进行更新。序列化规则集合的更新也可以是其他设备指示的，例如其他设备可以发送序列化规则集合更新指示，该指示中可以携带需要增加的序列化规则，或修改后的序列化规则，序列化模块在接收到该指示后，可以根据该指示更新该序列化规则集合。

当该序列化模块需要对一个数据序列化时，可以直接基于该序列化规则集合进行转换，获取序列化数据。

当该序列化模块需要对多个数据序列化时，序列化模块基于该序列化规则集合，分别多该多个数据进行序列化，转换为多个候选序列化数据。之后，序列化模块还需要依据该多个数据中携带的指示信息确定该多个数据之间的关联关系，之后，根据该多个数据之间的关联关系，可以将该多个候选序列数据进行嵌套，输出序列化数据。这里并不限定嵌套的方式，嵌套包括但不限于：数据添加(例如，将一个候选序列化数据添加到另一个候选序列化数据中)、数据替换(例如，将一个候选序列化数据中部分或全部数据替换为另一个候选序列化数据)。

举例来说，对于数据1和数据2，数据2与数据1之间存在关联关系，数据2是基于数据1生成的，序列化模块可以将数据1和数据2分别进行序列化，转换为对应的候选序列化数据。之后，将数据2对应的候选序列化数据添加到数据1对应的候选序列化数据中，获得序列化数据。

以图3A和图3B所示的图像处理为例，若用户在该多个数据处理模块110中选择了目标检测模块、图像分类模块1和图像分类模块2，序列化模块可以基于用户的选择，从数据集合中选择数据2、数据5和数据8。如图3C所示，序列化模块可以将图3B的有向图转换为如图3C中最右侧的有向图，由此可以确定数据2、数据5和数据8之间的关联关系。

序列化模块基于序列化规则，将数据2、数据5和数据8进行序列化，转换为对应的候选序列化数据。之后基于数据2、数据5和数据8之间的关联关系，对数据2、数据5和数据8对应的候选序列化数据进行嵌套，序列化模块可以将数据5对应的候选序列化数据添加到数据2对应的候选序列化数据中目标框1所在的数据中，将数据8对应的候选序列化数据添加到数据2对应的候选序列化数据中目标框2所在的数据中。

方式二、序列化模块先对该多个数据进行嵌套，之后对嵌套后的数据进行序列化，输出序列化数据。

序列化模块可以先依据该多个数据中携带的指示信息确定该多个数据之间的关联关系，之后，根据该多个数据之间的关联关系，可以将该多个数据进行嵌套，这里并不限定嵌套的方式，嵌套包括但不限于：数据添加(例如，将一个数据添加到另一个数据中)、数据替换(例如，将一个数据中部分或全部数据替换为另一个数据)。

仍以图3A和图3B所示的图像处理为例，若用户在该多个数据处理模块110中选择了目标检测模块、图像分类模块1和图像分类模块2，序列化模块可以基于用户的选择，从数据集合中选择数据2、数据5和数据8。如图3C所示，序列化模块可以将图3B的有向图转换为如图3C中最右侧的有向图，由此可以确定数据2、数据5和数据8之间的关联关系。

序列化模块基于该数据2、数据5和数据8之间的关联关系，将数据5添加到数据2中目标框1所在的数据中，数据8添加到数据2中目标框2所在的数据中，获得嵌套后的数据，之后，序列化模块基于序列化规则，对嵌套后的数据进行序列化，转换为序列化数据。

基于与方法实施例同一发明构思，本申请实施例还提供了一种数据处理装置，用于执行上述方法实施例中多个数据处理模块所执行的方法，相关特征可参见上述方法实施例，此处不再赘述，如图4所示，该数据处理装置400包括多个数据处理模块，这里以该多个数据处理模块包括第一处理模块410和第二数据处理模块420为例。这里并不限定第一数据处理模块410和第二数据处理模块420的数量。

第一数据处理模块410可以从数据集合中获取携带有第一索引的第一数据，第一索引指示生成第一数据的数据处理模块；之后再对获取的第一数据进行处理，生成携带有第二索引的第二数据，第二索引指示第一数据处理模块；将第二数据存储在数据集合中。第一数据处理模块可以执行如图2所示的实施例中数据处理模块110A、数据处理模块110B、以及数据处理模块110C所执行的步骤。

第二数据处理模块420可以从数据集合中获取多个数据，将多个数据转换为序列化数据并输出。第二数据处理模块420可以执行上述实施例中序列化模块所执行的方法。

需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在本申请的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在一个简单的实施例中，本领域的技术人员可以想到上述实施例中的数据处理装置均可采用图5所示的形式。

如图5所示的计算设备500，包括至少一个处理器510、存储器520以及通信接口530，可选的，还可以显示器540。

处理器510可以由一个或者多个通用处理器构成，例如中央处理器(centralprocessing unit，CPU)，或者CPU和硬件芯片的组合。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)、可编程逻辑器件(programmablelogic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)、现场可编程逻辑门阵列(field-programmable gatearray，FPGA)、通用阵列逻辑(generic array logic，GAL)或其任意组合。

存储器520可以是易失性存储器，例如随机存取存储器；存储器也可以是非易失性存储器，例如只读存储器，快闪存储器，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器520是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器520可以是上述存储器的组合。存储器520中存储存可执行代码和数据集合。

本申请实施例中不限定上述处理器510以及存储器520之间的具体连接介质。

在如图5的设备中，还包括通信接口530，处理器510在与其他设备进行通信时，可以通过通信接口530获取第一索引或序列化规则。处理器510还可以触发显示器540向用户显示信息，如可以显示序列化数据，还可以显示提示用户配置第一索引或序列化规则集合的界面。

当数据处理装置采用图5所示的形式时，图5中的处理器510可以通过调用存储器520中存储的计算机执行指令，使得设备500可以执行上述任一方法实施例中该多个数据处理模块执行的方法；如该设备500可以执行图2所示的方法实施例中各个数据处理模块所执行的方法，还可以执行序列化模块所执行的方法。

具体的，图4中的第一数据处理模块以及第二数据处理模块的功能/实现过程均可以通过图5中的处理器510调用存储器520中存储的计算机执行指令来实现。

如图6所示，为本申请实施例提供的一种计算机集群，该计算机集群中包括至少一个计算设备600，每个计算设备600间通过通信网络建立通信通路。

每个计算设备600中包括处理器610、存储器620以及通信接口630，可选的，还可以包括显示器640，处理器602、存储器606和通信接口603之间可以进行通信。

其中，处理器610以及存储器620的说明参见处理器510以及存储器520的说明，此处不再赘述。

存储器620中存储存可执行代码和数据集合，处理器610可以读取存储器620中的该可执行代码实现功能，还可以通过通信接口630与其他计算设备进行通信，处理器610还可以触发显示器640向用户显示信息，如可以显示序列化数据，还可以显示提示用户配置第一索引或序列化规则集合的界面。

在本申请实施例中，处理器610可以通过调用存储器620中存储的计算机执行指令，使得设备600可以执行上述任一方法实施例中该一个或多个数据处理模块执行的方法；如该设备600可以执行图2所示的方法实施例中一个或多个数据处理模块所执行的方法，还可以执行序列化模块所执行的方法。

应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (21)

1.一种数据处理方法，其特征在于，所述方法包括：

第一数据处理模块从数据集合中获取携带有第一索引的第一数据，所述第一索引指示生成所述第一数据的数据处理模块；

所述第一数据处理模块对获取的所述第一数据进行处理，生成携带有第二索引的第二数据，所述第二索引指示所述第一数据处理模块；

所述第一数据处理模块将所述第二数据存储在所述数据集合中。

2.如权利要求1所述的方法，其特征在于，所述第一数据处理模块生成携带有第二索引的第二数据，包括：

所述第一数据处理模块将第一指示和所述第二索引添加在所述第二数据中，所述第一指示用于指示生成所述第一数据的数据处理模块。

3.如权利要求1或2所述的方法，其特征在于，所述数据集合中还包括第三数据，所述方法还包括：

第二数据处理模块从所述数据集合中选择所述第二数据和所述第三数据；

所述第二数据处理模块将所述第二数据和所述第三数据转换为序列化数据后，输出所述序列化数据。

4.如权利要求3所述的方法，其特征在于，所述第三数据携带有第三索引，所述第三索引用于指示第三数据处理模块，所述第二数据处理模块从所述数据集合中选择所述第二数据和所述第三数据，包括：

所述第二数据处理模块根据用户的操作，从所述数据集合中选择所述第二数据和所述第三数据，所述用户的操作为所述用户选择所述第一数据处理模块和所述第三数据处理模块的操作或所述用户配置所述第二索引或所述第三索引的操作。

5.如权利要求3或4所述的方法，其特征在于，所述第二数据处理模块将所述多个数据转换为序列化数据后，输出所述序列化数据，包括：

所述第二数据处理模块基于序列化规则集合，将所述第二数据和所述第三数据转换为序列化数据，所述序列化规则集合为预先配置的，所述序列化规则集合包括多个序列化规则，所述序列化规则用于指示将数据转换为序列化数据的方法。

6.如权利要求5所述的方法，其特征在于，所述第三数据还包括第二指示，所述第二指示用于指示生成所述第三数据时，生成所述第三数据处理模块的输入数据的数据处理模块，所述第二数据处理模块基于所述序列化规则集合，将所述第二数据和所述第三数据转换为序列化数据，包括：

所述第二数据处理模块基于所述序列化规则集合、以及所述第二数据和所述第三数据的关联关系，将所述第二数据和所述第三数据转换为序列化数据，所述第二数据和所述第三数据的关联关系是基于所述第一指示和所述第二指示确定的。

7.如权利要求5所述的方法，其特征在于，所述第二数据处理模块基于所述序列化规则集合，将所述多个数据转换为序列化数据，包括：

所述第二数据处理模块根据所述第一指示和所述第二指示确定所述第二数据和所述第三数据的关联关系之间的关联关系；

所述第二数据处理模块根据所述关联关系，将所述多个数据进行嵌套；

所述第二数据处理模块基于所述序列化规则集合，将嵌套后的数据转换为多个序列化数据。

8.如权利要求5～7任一所述的方法，其特征在于，所述方法还包括：

所述第二数据处理模块在向用户展示的所述序列化规则集合的配置界面中接收所述序列化规则。

9.如权利要求1～8任一所述的方法，其特征在于，第一数据处理模块从数据集合中获取携带有第一索引的第一数据，包括：

向用户展示所述第一数据处理模块的配置界面；

所述第一数据处理模块通过所述第一数据处理模块的配置界面接收所述用户键入的所述第一索引；

所述第一数据处理模块从数据集合中获取携带有第一索引的第一数据。

10.如权利要求1～9任一所述的方法，其特征在于，所述第一数据处理模块从数据集合中获取携带有第一索引的第一数据，包括：

所述第一数据处理模块从存储设备中获取所述第一数据，所述存储设备中存储有所述数据集合。

11.一种数据处理装置，其特征在于，所述装置包括至少一个数据处理模块；

所述至少一个数据处理模块中的第一数据处理模块，用于：从数据集合中获取携带有第一索引的第一数据，所述第一索引指示生成所述第一数据的数据处理模块；对获取的所述第一数据进行处理，生成携带有第二索引的第二数据，所述第二索引指示所述第一数据处理模块；将所述第二数据存储在所述数据集合中。

12.如权利要求11所述的装置，其特征在于，所述第一数据处理模块在生成携带有第二索引的第二数据，具体用于：

将第一指示和所述第二索引添加在所述第二数据中，所述第一指示用于指示生成所述第一数据的数据处理模块。

13.如权利要求11或12所述的装置，其特征在于，所述数据集合中还包括第三数据，所述至少一个数据处理模块中的第二数据处理模块，用于从所述数据集合中选择所述第二数据和所述第三数据；将所述第二数据和所述第三数据转换为序列化数据后，输出所述序列化数据。

14.如权利要求13所述的装置，其特征在于，所述第三数据携带有第三索引，所述第三索引用于指示第三数据处理模块，所述第二数据处理模块从所述数据集合中选择所述第二数据和所述第三数据时，具体用于：

根据用户的操作，从所述数据集合中选择所述第二数据和所述第三数据，所述用户的操作为所述用户选择所述第一数据处理模块和所述第三数据处理模块的操作或所述用户配置所述第二索引或所述第三索引的操作。

15.如权利要求13或14所述的装置，其特征在于，所述第二数据处理模块在将所述多个数据转换为序列化数据时，具体用于：

基于序列化规则集合，将所述第二数据和所述第三数据转换为序列化数据，所述序列化规则集合为预先配置的，所述序列化规则集合包括多个序列化规则，所述序列化规则用于指示将数据转换为序列化数据的方法。

16.如权利要求15所述的装置，其特征在于，所述第三数据还包括第二指示，所述第二指示用于指示生成所述第三数据时，生成所述第三数据处理模块的输入数据的数据处理模块，所述第二数据处理模块基于所述序列化规则集合，将所述第二数据和所述第三数据转换为序列化数据时，具体用于：

基于所述序列化规则集合、以及所述第二数据和所述第三数据的关联关系，将所述第二数据和所述第三数据转换为序列化数据，所述第二数据和所述第三数据的关联关系是基于所述第一指示和所述第二指示确定的。

17.如权利要求15所述的装置，其特征在于，所述第二数据处理模块在基于序列化规则集合，将所述多个数据转换为序列化数据时，具体用于：

根据所述第一指示和所述第二指示确定所述第二数据和所述第三数据的关联关系之间的关联关系；

根据所述关联关系，将所述多个数据进行嵌套；

基于所述序列化规则集合，将嵌套后的数据转换为多个序列化数据。

18.如权利要求14～16任一所述的装置，其特征在于，所述第二数据处理模块，还用于：在向用户展示的所述序列化规则集合的配置界面中接收所述序列化规则。

19.如权利要求10～17任一所述的装置，其特征在于，所述第一数据处理模块在从数据集合中获取携带有第一索引的第一数据时，具体用于：

向用户展示所述第一数据处理模块的配置界面；

通过所述第一数据处理模块的配置界面接收所述用户键入的所述第一索引；

从数据集合中获取携带有第一索引的第一数据。

20.如权利要求10～19任一所述的装置，其特征在于，所述第一数据处理模块从数据集合中获取携带有第一索引的第一数据，具体用于：

从存储设备中获取所述第一数据，所述存储设备中存储有所述数据集合。

21.一种计算设备，其特征在于，所述计算设备包括处理器和存储器；所述存储器，用于存储计算机程序指令；

所述处理器调用所述存储器中存储的计算机程序指令执行如权利要求1至10中任一项所述的方法。

Images