CN111913743A - 数据处理方法及装置 - Google Patents

Abstract

本申请公开了一种数据处理方法及装置，属于计算机技术领域。方法包括：基于数据处理指令提供多个子算法选项，多个子算法选项与算法仓库存储的多个子算法一一对应，数据处理指令用于指示待处理的数据；确定多个子算法选项中被选的多个目标子算法选项，获取多个目标子算法选项对应的多个目标子算法的执行顺序；根据多个目标子算法的执行顺序，对多个目标子算法进行编排，生成目标算法，目标算法用于对待处理的数据进行处理。本申请即使在未存储对应的算法包的情况下，也可以根据目标子算法的执行顺序生成对应的目标算法，进而可以基于该目标算法对待处理的数据进行处理，降低了对待处理的数据进行处理的局限性。

Description

数据处理方法及装置

技术领域

本申请涉及计算机技术领域，特别涉及一种数据处理方法及装置。

背景技术

随着计算机技术的发展，对于数据的处理需求越来越多样化。

相关技术中，数据处理设备仅可调用其中存储的算法包对待处理的数据进行处理。当用户需数据处理设备对待处理的数据进行某项处理时，若数据处理设备中并未存储该项处理对应的算法包，则数据处理设备无法对待处理的数据进行处理。

因此，相关技术中对待处理的数据进行处理的局限性较高。

发明内容

本申请提供了一种数据处理方法及装置，可以解决相关技术中的问题。所述技术方案如下：

一方面，提供了一种数据处理方法，所述方法包括：

基于数据处理指令提供多个子算法选项，所述多个子算法选项与算法仓库存储的多个子算法一一对应，所述数据处理指令用于指示待处理的数据；

确定所述多个子算法选项中被选的多个目标子算法选项，获取所述多个目标子算法选项对应的多个目标子算法的执行顺序；

根据所述多个目标子算法的执行顺序，对所述多个目标子算法进行编排，生成目标算法，所述目标算法用于对所述待处理的数据进行处理。

在本申请的示例性实施方式中，所述生成目标算法之后，还包括：

根据所述多个目标子算法的计算能力值和执行环境条件，对所述目标算法进行校验，所述目标算法在通过校验后，用于对所述待处理的数据进行处理，所述计算能力值用于指示执行子算法时的资源消耗，所述执行环境条件用于指示执行子算法所需的环境条件。

在本申请的示例性实施方式中，所述执行环境条件包括：执行子算法所需的芯片型号和系统环境信息，所述系统环境信息包括子算法所运行的芯片平台、系统位宽和内核版本。

在本申请的示例性实施方式中，所述根据所述多个目标子算法的计算能力值和执行环境条件，对所述目标算法进行校验，包括：当所述多个目标子算法的计算能力值之和小于或等于计算能力阈值，且所述多个目标子算法的执行环境条件相同时，确定所述目标算法通过校验。

在本申请的示例性实施方式中，对所述目标算法进行校验之后，还包括：

若所述目标算法通过校验，将所述目标算法存储于所述算法仓库中。

在本申请的示例性实施方式中，所述获取所述多个目标子算法选项对应的多个目标子算法的执行顺序，包括：

根据应用场景和数据处理需求中的一个或两个确定算法编排模式，基于所述算法编码模式获取所述多个目标子算法的执行顺序，所述算法编排模式用于指示具有因果逻辑关系的任两个目标子算法按照因果逻辑关系执行，不具有因果逻辑关系的任两个目标子算法支持串行执行或并行执行。

在本申请的示例性实施方式中，所述待处理的数据为视频数据或图像数据；

所述多个目标子算法包括：对象检测子算法、评分选优子算法、属性提取子算法、特征提取子算法和行为分析子算法；

所述算法编排模式包括：采用所述对象检测子算法对所述待处理的数据进行第一步处理，采用所述属性提取子算法和所述特征提取子算法对所述待处理的数据进行处理的前提均为：采用所述评分选优子算法对所述待处理的数据进行处理，多个所述属性提取子算法支持串行执行，多个所述特征提取子算法支持串行执行，所述属性提取子算法与所述特征提取子算法支持串行执行。

一方面，提供了一种数据处理装置，所述装置包括：

选项提供模块，用于基于数据处理指令提供多个子算法选项，所述多个子算法选项与算法仓库存储的多个子算法一一对应，所述数据处理指令用于指示待处理的数据；

确定模块，用于确定所述多个子算法选项中被选的多个目标子算法选项；

获取模块，用于获取所述多个目标子算法选项对应的多个目标子算法的执行顺序；

编排模块，用于根据所述多个目标子算法的执行顺序，对所述多个目标子算法进行编排，生成目标算法，所述目标算法用于对所述待处理的数据进行处理。

在本申请的示例性实施方式中，所述装置，还包括：

校验模块，用于根据所述多个目标子算法的计算能力值和执行环境条件，对所述目标算法进行校验，所述目标算法在通过校验后，用于对所述待处理的数据进行处理，所述计算能力值用于指示执行子算法时的资源消耗，所述执行环境条件用于指示执行子算法所需的环境条件。

在本申请的示例性实施方式中，所述执行环境条件包括：执行子算法所需的芯片型号和系统环境信息，所述系统环境信息包括子算法所运行的芯片平台、系统位宽和内核版本。

在本申请的示例性实施方式中，所述校验模块，用于当所述多个目标子算法的计算能力值之和小于或等于计算能力阈值，且所述多个目标子算法的执行环境条件相同时，确定所述目标算法通过校验。

在本申请的示例性实施方式中，所述装置还包括：

存储模块，用于若所述目标算法通过校验，将所述目标算法存储于所述算法仓库中。

在本申请的示例性实施方式中，所述获取模块，用于根据应用场景和数据处理需求中的一个或两个确定算法编排模式，基于所述算法编码模式获取所述多个目标子算法的执行顺序，所述算法编排模式用于指示具有因果逻辑关系的任两个目标子算法按照因果逻辑关系执行，不具有因果逻辑关系的任两个目标子算法支持串行执行或并行执行。

在本申请的示例性实施方式中，所述待处理的数据为视频数据或图像数据；

所述多个目标子算法包括：对象检测子算法、评分选优子算法、属性提取子算法、特征提取子算法和行为分析子算法；

所述算法编排模式包括：采用所述对象检测子算法对所述待处理的数据进行第一步处理，采用所述属性提取子算法和所述特征提取子算法对所述待处理的数据进行处理的前提均为：采用所述评分选优子算法对所述待处理的数据进行处理，多个所述属性提取子算法支持串行执行，多个所述特征提取子算法支持串行执行，所述属性提取子算法与所述特征提取子算法支持串行执行。

本申请实施例提供的技术方案带来的有益效果至少包括：

当需要对待处理的数据进行处理时，即使未存储对应的算法包，也可以根据目标子算法的执行顺序生成对应的目标算法，进而可以基于该目标算法对待处理的数据进行处理。因此，降低了对待处理的数据进行处理的局限性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种实施环境示意图；

图2是本申请实施例提供的一种数据处理方法的流程图；

图3是本申请实施例提供的一种数据处理方法的流程图；

图4是本申请实施例提供的一种界面示意图；

图5是本申请实施例提供的一种界面示意图；

图6是本申请实施例提供的一种界面示意图；

图7是本申请实施例提供的一种界面示意图；

图8是本申请实施例提供的一种数据处理装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1是本申请实施例提供的一种数据处理方法的实施环境示意图，如图1所示，该数据处理方法可以应用于数据处理系统10。该数据处理系统10包括算法仓库101、至少一个终端102和至少一个数据处理设备103，且算法仓库101、终端102和数据处理设备103均相互连接。

需要说明的是，图1中以数据处理系统10包括一个终端102和一个数据处理设备103为例，在本申请的示例性实施方式中，数据处理系统10中终端102和数据处理设备103的个数可以为任意正整数，如两个或三个，本申请实施例对此不作限定。算法仓库101、终端102和数据处理设备103之间，可以通过有线网络或者无线网络连接，其中，有线网络可以包括但不限于：通用串行总线(英文：Universal Serial Bus；简称：USB)，无线网络可以包括但不限于：无线保真(英文：Wireless Fidelity；简称：WIFI)、蓝牙、红外、紫蜂(英文：Zigbee)、数据网络等。

可选地，算法仓库101与数据处理设备103均可以为一个服务器，或者也可以为多个服务器组成的服务器集群。可选地，数据处理设备103也可以为终端，如手机、笔记本电脑、台式电脑、平板电脑、智能电视机等电子设备。

需要说明的是，本申请实施例以数据处理系统10中的算法仓库101、终端102与数据处理设备103均为独立的设备为例，可选地，算法仓库101、终端102与数据处理设备103也可以集成在一起，例如终端102上具有算法仓库101，具有数据处理功能，同时作为数据处理设备103。

算法仓库101中存储有多个算法和多个子算法。其中，每个算法可以通过多个子算法组合得到，每个算法用于实现一个完整的智能分析功能，算法中的每个子算法用于实现智能分析功能中的一个子功能。每个算法通过算法包的形式在算法仓库101中存储，算法包通过对一个算法对应的算法代码和算法库(将算法代码编译之后得到的库文件)进行打包得到，算法包为一个整体无法进行拆分。

示例地，算法仓库101中存储有车辆识别算法包，该车辆识别算法包对应的车辆识别算法用于实现对视频中车辆的识别。车辆识别算法可以包括：检测子算法、评分选优子算法和特征提取子算法，检测子算法用于检测视频中的目标车辆，评分选优子算法用于确定视频中目标车辆的显示效果最好(如占画面比例最多)的目标帧图像，特征提取子算法用于根据目标帧图像提取目标车辆的特征。

参见图2，本申请实施例提供了一种数据处理方法，该方法包括：

步骤11，基于数据处理指令提供多个子算法选项，多个子算法选项与算法仓库存储的多个子算法一一对应，数据处理指令用于指示待处理的数据；

步骤12，确定多个子算法选项中被选的多个目标子算法选项，获取多个目标子算法选项对应的多个目标子算法的执行顺序；

步骤13，根据多个目标子算法的执行顺序，对多个目标子算法进行编排，生成目标算法，目标算法用于对待处理的数据进行处理。

接下来，以上述数据处理方法应用于图1所示的数据处理系统10为例，对该方法进行说明。如图3所示，该数据处理方法包括：

步骤201，终端生成数据处理指令。

在用户需要通过数据处理系统对待处理的数据进行处理时，用户可以触发终端生成数据处理指令。可选地，该数据处理指令可以携带指示信息，该指示信息用于指示待处理的数据，以及针对待处理的数据的目标处理方式(也即是数据处理需求)。

步骤202，终端向数据处理设备发送数据处理指令。

步骤203，数据处理设备根据数据处理指令，向算法仓库发送算法请求指令。

数据处理设备可以根据数据处理指令携带的指示信息向算法仓库发送算法请求指令，以请求从算法仓库获取目标处理方式对应的算法包。可选地，数据处理设备还用于根据该指示信息获取待处理的数据。

当算法仓库中存储有目标处理方式对应的算法包时，算法仓库直接将该算法包发送至数据处理设备，进而数据处理设备采用该算法包对应的算法对待处理的数据进行目标处理。

可选地，算法仓库中可以存储有目标处理方式对应的多个版本的算法包，此时，发送至数据处理设备的算法包可以有多种确定方式。

示例地，算法请求指令还可以携带有数据处理设备的硬件信息，如芯片型号和系统环境信息等，算法仓库可以将该多个版本的算法包中，执行环境条件与数据处理设备的硬件信息匹配的算法包发送至数据处理设备；或者，算法仓库可以将该多个版本的算法包中，在执行时消耗运行资源最少的算法包发送至数据处理设备；或者算法仓库可以在该多个版本的算法包中任选一个算法包发送至数据处理设备，本申请实施例对此不做限定。

示例地，终端在用户触发下生成的数据处理指令携带的指示信息用于指示：待处理的数据为某监控设备拍摄的监控视频，目标处理方式为进行车辆识别。数据处理设备在接收到该数据处理指令后，向算法仓库发送算法请求指令，以请求获取车辆识别算法包，还可以获取该监控设备拍摄的监控视频。算法仓库可以直接将车辆识别算法包发送至数据处理设备，进而数据处理设备可以采用车辆识别算法对监控视频中的车辆进行识别。

步骤204，当算法仓库中未存储有目标处理方式对应的算法包时，向终端发送提示信息。

可选地，当算法仓库中未存储有目标处理方式对应的算法包时，算法仓库可以向数据处理设备或终端发送提示信息，以告知终端算法仓库中未存储有目标处理方式对应的算法包。

步骤205，终端根据提示信息生成选项请求指令。

可选地，终端在接收到提示信息后，可以在用户的触发下生成选项请求指令。其中，选项请求指令用于请求从算法仓库获取子算法选项。

可选地，本申请实施例中终端生成的选项请求指令可以携带有选项需求信息，该选项需求信息用于表征终端所需获取的子算法选项对应的子算法的类型；可选地，该选项请求指令也可以不携带选项需求信息。

可选地，终端在接收到提示信息后，可以向用户展示该提示信息，且同时展示询问信息及选择框，该询问信息用于询问用户是否实时生成目标处理方式对应的算法包，该选择框用于向用户提供可选的选项。当终端检测到指定操作时生成选项请求指令。例如，该提示信息为“算法仓库中未存储有目标处理方式对应的算法包”，该询问信息为“是否实时生成目标处理方式对应的算法包”，该选择框包括“确定”选择框和“取消”选择框。当终端检测到针对“确定”选择框的点击操作或选定操作，终端可以确定检测到指定操作，进而生成选项请求指令。当终端检测到针对“取消”选择框的点击操作或选定操作时，可以停止展示该提示信息、询问信息和选择框。

可选地，当终端检测到指定操作时还可以显示选项输入界面，以指示用户输入选项需求信息。

需要说明的是，本申请实施例以用户需通过数据处理系统对数据采用目标处理方式进行处理时，先向数据处理设备发送数据处理指令为例。可选地，用户也可以先触发终端向算法仓库发送查询指令，以确定算法仓库中是否存在目标处理方式对应的算法包。当确定算法仓库中存在目标处理方式对应的算法包时，再执行步骤201至203。当确定算法仓库101中不存在目标处理方式对应的算法包时，直接生成选项请求指令。

步骤206，终端向算法仓库发送选项请求指令。

步骤207，算法仓库根据选项请求指令，生成多个子算法选项。

算法仓库在接收到选项请求指令后，可以根据算法仓库中存储的子算法生成子算法选项。其中，每个子算法选项与一个子算法对应，且每个子算法选项可以指示对应的子算法实现的功能。例如，每个子算法选项可以携带有标识信息，该标识信息指示子算法选项对应的子算法实现的功能。

第一方面，算法仓库可以根据其中存储的所有子算法，生成该多个子算法选项，该多个子算法选项与算法仓库中存储的全部子算法一一对应。

示例地，算法仓库中存储的多个子算法包括：对象检测子算法、评分选优子算法、属性提取子算法、特征提取子算法和行为分析子算法。

其中，对象检测子算法用于确定图像或视频中的目标对象。评分选优子算法用于通过目标对象对应的评分标准确定优选图像；如在一张图像的分数高于分数阈值时，将该图像确定为优选图像，或者将一段视频中分数最高的至少一帧图像作为优选图像。属性提取子算法用于提取图像中目标对象的属性。特征提取子算法用于提取图像中目标对象的特征。行为分析子算法用于确定视频中目标对象的行为。

例如，通过对象检测子算法确定的目标对象可以为车辆、人、房屋等任意设定的对象。当目标对象为人时，评分选优子算法中的评分标准可以为人脸的完整度；通过属性提取子算法提取的目标对象的属性包括：人的身高和人脸的表情等；通过特征提取子算法提取的目标对象的特征包括人脸特征等；通过行为分析子算法确定的目标对象的行为包括奔跑或跳跃等。

第二方面，算法仓库接收的选项请求指令可以携带有选项需求信息，该选项需求信息用于表征终端所需获取的子算法选项对应的子算法的类型。算法仓库可以根据符合该类型的子算法，生成该多个子算法选项。

需要说明的是，符合该类型的子算法可以包括算法仓库中存储的全部子算法，或者也可以仅包括算法仓库中存储的部分子算法。

可选地，选项需求信息可以包括：用户需数据处理系统进行数据处理针对的待处理的数据的类型。此时，算法仓库可以确定终端所需获取的子算法选项对应的子算法包括：对该类型的数据进行处理能够采用的子算法。

可选地，选项需求信息还可以包括：针对待处理的数据的处理方式。此时，算法仓库可以确定终端所需获取的子算法选项对应的子算法包括：在该处理方式中所需采用的子算法。

示例地，用户需数据处理系统进行数据处理针对的待处理的数据的类型为视频，且需数据处理系统对视频进行车辆识别。算法仓库可以确定终端所需获取的子算法选项对应的子算法包括：对视频进行处理能够采用的子算法，以及进行车辆识别所需采用的子算法。

步骤208，算法仓库向终端发送多个子算法选项。

可选地，终端在接收到该多个子算法选项后，可以将该子算法选项显示在终端的显示界面上。例如，每个子算法选项以方框的形式显示，且每个方框中可以显示有对应的子算法选项的标识信息。

示例地，图4是本申请实施例提供的一种终端的显示界面示意图。若算法仓库生成的多个子算法选项包括：对象检测子算法选项、评分选优子算法选项、属性提取子算法选项、特征提取子算法选项和行为分析子算法选项，则终端在接收到该多个子算法选项后可以显示图4所示的显示界面。

步骤209，终端生成多个子算法选项中，多个目标子算法选项对应的多个目标子算法的执行顺序。

可选地，该执行顺序可以由终端根据用户的触发操作生成。

请继续参考图4，终端102的显示界面可以划分为选项显示区域A和逻辑排序区域B。选项显示区域A用于显示终端接收的多个子算法选项，逻辑排序区域B用于进行多个目标子算法选项的逻辑排序，以生成多个目标子算法选项对应的多个目标子算法的执行顺序。

终端在检测到针对选项显示区域A中显示的某个子算法选项的第一指定操作时，终端可以将该子算法选项确定为目标子算法选项，且在检测到针对两个目标子算法选项的第二指定操作时，生成该两个目标子算法选项对应的目标子算法的执行顺序。终端可以根据每两个目标子算法的执行顺序，确定所有目标子算法之间的执行顺序。

示例地，该第一指定操作可以为拖动操作或点击操作，该第二指定操作可以为连线操作。用户可以依次将多个目标子算法选项拖动至逻辑排序区域B中，且通过有向连接线连接各个目标子算法选项，进而形成一个执行顺序图。

其中，通过一条有向连接线连接的两个目标子算法选项对应的两个子算法具有因果逻辑关系，也即是该两个子算法中一个子算法的执行，需基于另一子算法执行后所得的结果。该执行顺序图中还可以存在一条有向连接线仅指向端连接有目标子算法选项，此时该有向连接线标识待处理的数据的输入端。例如，图3中靠近选项显示区域A的有向连接线仅指向端(也即是箭头所在端)连接有对象检测子算法选项，而该有向连接线的另一端未连接有子算法选项，此时该有向连接线标识待处理的数据的输入端，以指示采用对象检测子算法对待处理的数据进行第一步处理。

需要说明的是，该多个目标子算法选项对应的多个目标子算法按照该执行顺序图组合，可以形成一个完整的目标算法，该执行顺序图可以体现采用目标算法进行计算时的实施路径。在采用该执行顺序图中任一子算法选项对应的子算法进行数据处理后，采用该子算法选项连接的有向连接线所指向的下一个子算法选项对应的子算法进行下一步处理，且该下一步处理可以基于当前处理所得的处理结果。

例如，图4所示的执行顺序图中，对象检测子算法选项通过有向连接线连接至行为分析子算法选项和评分选优子算法选项，评分选优子算法选项通过有向连接线连接至属性提取子算法选项和特征提取子算法选项。假设待处理的数据为视频，根据图4所示的执行顺序图组合形成的目标算法在执行时，先采用对象检测子算法检测视频中的目标对象，得到检测结果。接着基于检测结果和原视频，同时采用行为分析子算法进行行为分析，以及采用评分选优子算法确定视频中的优选图像。在行为分析结束后，可以将得到的分析结果直接输出。在评分选优结束后可以基于确定的优选图像，同时采用属性提取子算法对优选图像中的目标对象进行属性提取，且采用特征提取子算法对优选图像中的目标对象进行特征提取。

可选地，终端可以根据子算法编排模式，生成多个目标子算法的执行顺序。

其中，子算法编排模式包括：具有因果逻辑关系的任两个目标子算法按照因果逻辑关系执行，不具有因果逻辑关系的任两个目标子算法支持串行执行与并行执行。

需要说明的是，对于不同类型的待处理的数据，以及不同的目标子算法选项，终端需基于不同的子算法编排模式，生成多个目标子算法的执行顺序。

示例地，待处理的数据为视频数据或图像数据，且多个目标子算法选项对应的多个目标子算法包括：对象检测子算法、评分选优子算法、属性提取子算法、特征提取子算法和行为分析子算法。此时，子算法编排模式可以包括：对象检测子算法对待处理的数据进行第一步处理，属性提取子算法和特征提取子算法对待处理的数据进行处理的前提均为：评分选优子算法对待处理的数据进行处理，多个属性提取子算法支持串行执行，多个特征提取子算法支持串行执行，属性提取子算法与特征提取子算法也支持串行执行。

可选地，多个目标子算法中存在至少两个目标子算法不具有因果逻辑关系。终端可以根据子算法编排模式，确定该至少两个目标子算法具有并行逻辑关系，生成该至少两个目标子算法的并行执行顺序。其中至少两个目标子算法的并行逻辑关系，指的是该至少两个目标子算法可以并行执行的关系。

可选地，在终端生成的执行顺序图中，执行顺序为并行执行顺序的该至少两个目标子算法对应的至少两个目标子算法选项，可以通过有向连接线与同一目标子算法选项连接，且该有向连接线指向该至少两个目标子算法选项。

例如，在图4所示的执行顺序图中，行为分析子算法与评分选优子算法之间的关系为并行逻辑关系，属性提取子算法与特征提取子算法之间的关系也为并行逻辑关系，行为分析子算法与评分选优子算法的执行顺序为并行执行顺序，属性提取子算法与特征提取子算法的执行顺序也为并行执行顺序。

需要说明的是，本申请实施例中使不具有因果逻辑关系的至少两个目标子算法并行执行，进而可以提高数据处理速率。

可选地，当待处理的数据为图像数据时，多个目标子算法可以不包括行为分析子算法。示例地，图5是本申请实施例提供的另一种终端的显示界面示意图其中，对象检测子算法、评分选优子算法、属性提取子算法和特征提取子算法之间的关系可以为并行逻辑关系，对象检测子算法、评分选优子算法、属性提取子算法和特征提取子算法的执行顺序为并行执行顺序。

可选地，当待处理的数据为图像数据，且该图像数据对应的图像中仅存在一个目标对象时，则该多个目标子算法可以仅包括评分选优子算法、属性提取子算法和特征提取子算法，进而可以组成图6示出的执行顺序图。可选地，该多个目标子算法可以仅包括属性提取子算法和特征提取子算法，进而可以组成图7示出的执行顺序图。

步骤210，终端向算法仓库发送多个目标子算法的执行顺序。

步骤211，算法仓库根据执行顺序，对多个目标子算法进行编排，生成目标算法。

可选地，算法仓库按照接收的执行顺序确定多个目标子算法，且将按照该执行顺序执行的该多个目标子算法组成的算法作为目标算法。

步骤212，算法仓库根据所述多个目标子算法的计算能力值和执行环境条件，对目标算法进行校验。

其中，子算法的执行环境条件包括：执行子算法所需的芯片型号和系统环境信息，该系统环境信息包括芯片平台、系统位宽和内核版本。

示例地，每个子算法对应的计算能力值为：数据处理设备执行该子算法所消耗的计算资源，该计算能力值以百分比的形式呈现。芯片型号包括中央处理单元(CentralProcessing Unit，CPU)型号和显卡型号等，系统位宽可以为32位、64位等。某些子算法对执行该子算法的芯片型号、系统位宽和内核版本有要求，这是编写子算法代码时决定的，当子算法代码固定之后，执行环境条件就固定。如果子算法对应的计算能力值过高，则数据处理设备无法执行子算法。子算法代码放在不匹配的执行环境中执行，可能会发生程序崩溃，或者运行错误。

可选地，可以选择一个基准设备，将基准设备在空闲并且没有存储任何数据的状态下的计算能力值设置为100％。本申请实施例中的计算能力阈值可以与该基准设备空闲时的计算能力值相等(也即是100％)。

需要说明的是，对目标算法进行校验，也即是确定组成目标算法的多个目标子算法对应的计算能力值之和，是否小于或等于计算能力阈值，且该多个目标子算法的执行环境条件是否相同，进而确定该目标算法是否能够正常执行。

多个目标子算法对应的计算能力值之和大于计算能力阈值，也即是目标算法对应的计算能力值过大，数据处理设备可能不具有足够的计算资源执行目标算法。一旦该多个目标子算法中存在执行环境条件不同的目标子算法时，该多个目标子算法中必然存在至少一个目标子算法无法执行，进而目标算法也无法正常执行。此时算法仓库可以确定目标算法未通过验证。

可选地，算法仓库可以向终端发送提示信息，以告知终端该目标算法未通过验证。

当多个目标子算法的计算能力值之和小于或等于计算能力阈值，且多个目标子算法的执行环境条件相同时，算法仓库确定目标算法通过验证，也即目标算法能够正常执行，能够用于对待处理的数据进行目标处理。

可选地，当目标算法通过验证时，算法仓库可以将目标算法存储于算法仓库中。可选地，算法仓库可以将目标算法进行打包得到目标算法包并存储，以便于后续用户需要对待处理的数据再次进行目标处理时，可以直接从算法仓库中获取目标算法包。

需要说明的是，本申请实施例以目标算法生成完毕后，再通过算法仓库对目标算法进行验证为例。

可选地，在步骤208中，算法仓库将多个子算法选项发送至终端时，可以将每个子算法对应的计算能力值和执行环境条件也一并发送至终端。在步骤209中，用户每对两个子算法选项进行连线时，终端均可以确定当前连接的目标子算法选项对应的目标子算法的计算能力值之和是否大于计算能力阈值，且确定当前连接的目标子算法选项对应的目标子算法的执行环境条件是否相同。当在连接某目标子算法选项时，确定计算能力值之和是否大于计算能力阈值，或该目标子算法选项对应的目标子算法的执行环境条件，与已经连接的目标子算法选项对应的目标子算法的执行环境条件不同，则可以禁止连接该目标子算法选项。

这样一来，在步骤211中算法仓库生成的目标算法直接为能够用于对待处理的数据进行处理的算法。无需再执行步骤212的验证过程。

步骤213，在目标算法通过验证时，算法仓库向数据处理设备发送目标算法。

可选地，算法仓库可以直接向数据处理设备发送目标算法，也可以向数据处理设备发送目标算法打包后得到的目标算法包。可选地，在目标算法通过验证时，算法仓库还可以向终端发送目标算法已成功生成的提示消息，且可以告知用户已将目标算法发送至数据处理设备。

可选地，算法仓库也可以将目标算法或目标算法包发送至终端，由终端将接收到的目标算法或目标算法包发送至数据处理设备。

步骤214，数据处理设备采用目标算法对待处理的数据进行目标处理。

需要说明的是，当算法仓库直接向数据处理设备发送目标算法时，数据处理设备可以直接采用接收的目标算法对待处理的数据进行目标处理。当算法仓库向数据处理设备发送目标算法包时，数据处理设备可以基于该目标算法包得到目标算法，进而采用得到的目标算法对待处理的数据进行目标处理。

本申请实施例中，数据处理设备在获取到终端发送的数据处理指令后，从算法仓库中获取对应的算法包，并采用该算法包对应的算法对待处理的数据进行目标处理。当算法仓库中未存储有目标处理对应的算法包时，终端可以向算法仓库发送选项请求指令，以请求获取多个子算法选项。当终端获取到多个子算法选项后，可以在用户的触发下对该多个子算法选项中的多个目标子算法选项进行逻辑排序，以触发终端生成多个目标子算法选项对应的多个目标子算法的执行顺序。终端可以将该执行顺序发送至算法仓库，以便于算法仓库按照该执行顺序图对多个目标子算法进行编排，形成一个目标算法。进而数据处理设备可以从算法仓库中获取到目标算法，对待处理的数据进行目标处理。

需要说明的是，本申请实施例中算法存储于算法仓库中，避免了过多算法对数据处理设备内存的占用，进而可以提高数据处理设备的数据处理速率。

相关技术中每个算法包仅可用于实现一个智能分析功能。而本申请实施例中，可以通过对不同算法包中的子算法进行组合编排，使得到的目标算法可以同时实现不同算法包实现的功能，提高了数据处理的灵活性。

相关技术中，完整的算法包无法拆分，数据处理设备在执行算法包时需执行该算法包中的所有子算法。即使用户所需数据处理设备仅实现该算法包具有的部分功能即可，但是数据处理设备仍需执行该算法包中的所有子算法，因此对数据处理设备的计算资源耗费较大。

而本申请实施例中，目标算法可以根据用户的需求实时生成。该目标算法仅包括实现用户所需的功能必要的子算法，故在实现用户所需的功能时无需耗费计算资源执行无用的子算法，因此减少了对数据处理设备计算资源的浪费。

相关技术中，数据处理设备进行数据处理所需的算法包均由开发人员编写，数据处理设备仅可采用已编写好的算法包对数据进行处理，而无法满足对数据进行用户自定义的个性化处理。

而本申请实施例中，用户在需数据处理设备对待处理的数据进行个性化处理时，仅需在终端上进行拖动及连线操作即可生成目标算法，无需用户具备较高的专业技术水平，目标算法的生成过程较为简单。且可以使数据处理设备根据该目标算法实现对待处理的数据的个性化处理。

综上所述，本申请实施例提供的数据处理方法中，当需要对待处理的数据进行处理时，即使未存储对应的算法包，也可以根据目标子算法的执行顺序生成对应的目标算法，进而可以基于该目标算法对待处理的数据进行处理。因此，降低了对待处理的数据进行处理的局限性。

基于相同技术构思，本申请实施例提供了一种数据处理装置，参见图8，装置包括：

选项提供模块801，用于基于数据处理指令提供多个子算法选项，多个子算法选项与算法仓库存储的多个子算法一一对应，数据处理指令用于指示待处理的数据；

确定模块802，用于确定多个子算法选项中被选的多个目标子算法选项；

获取模块803，用于获取多个目标子算法选项对应的多个目标子算法的执行顺序；

编排模块804，用于根据多个目标子算法的执行顺序，对多个目标子算法进行编排，生成目标算法，目标算法用于对待处理的数据进行处理。

可选地，数据处理装置还包括：

校验模块，用于根据多个目标子算法的计算能力值和执行环境条件，对目标算法进行校验，目标算法在通过校验后，用于对待处理的数据进行处理，计算能力值用于指示执行子算法时的资源消耗，执行环境条件用于指示执行子算法所需的环境条件。

可选地，执行环境条件包括：执行子算法所需的芯片型号和系统环境信息，系统环境信息包括子算法所运行的芯片平台、系统位宽和内核版本。

可选地，校验模块，用于当多个目标子算法的计算能力值之和小于或等于计算能力阈值，且多个目标子算法的执行环境条件相同时，确定目标算法通过校验。

可选地，装置还包括：

存储模块，用于若目标算法通过校验，将目标算法存储于算法仓库中。

可选地，获取模块803，用于根据应用场景和数据处理需求中的一个或两个确定算法编排模式，基于算法编码模式获取多个目标子算法的执行顺序，算法编排模式用于指示具有因果逻辑关系的任两个目标子算法按照因果逻辑关系执行，不具有因果逻辑关系的任两个目标子算法支持串行执行或并行执行。

可选地，待处理的数据为视频数据或图像数据；

多个目标子算法包括：对象检测子算法、评分选优子算法、属性提取子算法、特征提取子算法和行为分析子算法；

算法编排模式包括：采用对象检测子算法对待处理的数据进行第一步处理，采用属性提取子算法和特征提取子算法对待处理的数据进行处理的前提均为：采用评分选优子算法对待处理的数据进行处理，多个属性提取子算法支持串行执行，多个特征提取子算法支持串行执行，属性提取子算法与特征提取子算法支持串行执行。

需要说明的是：上述实施例提供的装置仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

此外，本申请实施例提供的方法实施例能够与相应的装置实施例相互参考，本申请实施例对此不做限定。本申请实施例提供的方法实施例步骤的先后顺序能够进行适当调整，步骤也能够根据情况进行相应增减，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。

在示例性实施例中，还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令。所述至少一条指令经配置以由一个或者一个以上处理器执行，以实现上述任一种数据处理方法。

在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令在被计算机设备的处理器执行时实现上述任一种数据处理方法。

可选地，上述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种数据处理方法，其特征在于，所述方法包括：

基于数据处理指令提供多个子算法选项，所述多个子算法选项与算法仓库存储的多个子算法一一对应，所述数据处理指令用于指示待处理的数据；

确定所述多个子算法选项中被选的多个目标子算法选项，获取所述多个目标子算法选项对应的多个目标子算法的执行顺序；

根据所述多个目标子算法的执行顺序，对所述多个目标子算法进行编排，生成目标算法，所述目标算法用于对所述待处理的数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述生成目标算法之后，还包括：

根据所述多个目标子算法的计算能力值和执行环境条件，对所述目标算法进行校验，所述目标算法在通过校验后，用于对所述待处理的数据进行处理，所述计算能力值用于指示执行子算法时的资源消耗，所述执行环境条件用于指示执行子算法所需的环境条件。

3.根据权利要求2所述的方法，其特征在于，所述执行环境条件包括：执行子算法所需的芯片型号和系统环境信息，所述系统环境信息包括子算法所运行的芯片平台、系统位宽和内核版本。

4.根据权利要求2所述的方法，其特征在于，所述根据所述多个目标子算法的计算能力值和执行环境条件，对所述目标算法进行校验，包括：

当所述多个目标子算法的计算能力值之和小于或等于计算能力阈值，且所述多个目标子算法的执行环境条件相同时，确定所述目标算法通过校验。

5.根据权利要求2所述的方法，其特征在于，对所述目标算法进行校验之后，还包括：

若所述目标算法通过校验，将所述目标算法存储于所述算法仓库中。

6.根据权利要求1-5任一所述的方法，其特征在于，所述获取所述多个目标子算法选项对应的多个目标子算法的执行顺序，包括：

根据应用场景和数据处理需求中的一个或两个确定算法编排模式，基于所述算法编码模式获取所述多个目标子算法的执行顺序，所述算法编排模式用于指示具有因果逻辑关系的任两个目标子算法按照因果逻辑关系执行，不具有因果逻辑关系的任两个目标子算法支持串行执行或并行执行。

7.根据权利要求6所述的方法，其特征在于，所述待处理的数据为视频数据或图像数据；

所述多个目标子算法包括：对象检测子算法、评分选优子算法、属性提取子算法、特征提取子算法和行为分析子算法；

所述算法编排模式包括：采用所述对象检测子算法对所述待处理的数据进行第一步处理，采用所述属性提取子算法和所述特征提取子算法对所述待处理的数据进行处理的前提均为：采用所述评分选优子算法对所述待处理的数据进行处理，多个所述属性提取子算法支持串行执行，多个所述特征提取子算法支持串行执行，所述属性提取子算法与所述特征提取子算法支持串行执行。

8.一种数据处理装置，其特征在于，所述装置包括：

选项提供模块，用于基于数据处理指令提供多个子算法选项，所述多个子算法选项与算法仓库存储的多个子算法一一对应，所述数据处理指令用于指示待处理的数据；

确定模块，用于确定所述多个子算法选项中被选的多个目标子算法选项；

获取模块，用于获取所述多个目标子算法选项对应的多个目标子算法的执行顺序；

编排模块，用于根据所述多个目标子算法的执行顺序，对所述多个目标子算法进行编排，生成目标算法，所述目标算法用于对所述待处理的数据进行处理。

9.根据权利要求8所述的装置，其特征在于，所述装置，还包括：

校验模块，用于根据所述多个目标子算法的计算能力值和执行环境条件，对所述目标算法进行校验，所述目标算法在通过校验后，用于对所述待处理的数据进行处理，所述计算能力值用于指示执行子算法时的资源消耗，所述执行环境条件用于指示执行子算法所需的环境条件。

10.根据权利要求9所述的装置，其特征在于，所述执行环境条件包括：执行子算法所需的芯片型号和系统环境信息，所述系统环境信息包括子算法所运行的芯片平台、系统位宽和内核版本。

11.根据权利要求9所述的装置，其特征在于，所述校验模块，用于当所述多个目标子算法的计算能力值之和小于或等于计算能力阈值，且所述多个目标子算法的执行环境条件相同时，确定所述目标算法通过校验。

12.根据权利要求9所述的装置，其特征在于，所述装置还包括：

存储模块，用于若所述目标算法通过校验，将所述目标算法存储于所述算法仓库中。

13.根据权利要求8-12任一所述的装置，其特征在于，所述获取模块，用于根据应用场景和数据处理需求中的一个或两个确定算法编排模式，基于所述算法编码模式获取所述多个目标子算法的执行顺序，所述算法编排模式用于指示具有因果逻辑关系的任两个目标子算法按照因果逻辑关系执行，不具有因果逻辑关系的任两个目标子算法支持串行执行或并行执行。

14.根据权利要求13所述的装置，其特征在于，所述待处理的数据为视频数据或图像数据；

所述多个目标子算法包括：对象检测子算法、评分选优子算法、属性提取子算法、特征提取子算法和行为分析子算法；

所述算法编排模式包括：采用所述对象检测子算法对所述待处理的数据进行第一步处理，采用所述属性提取子算法和所述特征提取子算法对所述待处理的数据进行处理的前提均为：采用所述评分选优子算法对所述待处理的数据进行处理，多个所述属性提取子算法支持串行执行，多个所述特征提取子算法支持串行执行，所述属性提取子算法与所述特征提取子算法支持串行执行。

Images