CN110659134A - 一种应用于人工智能平台的数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种应用于人工智能平台的数据处理方法及装置。所述方法包括：接收客户端发送的任务请求，所述任务请求包括待处理数据和任务标识；获取每个数据处理模块对应的运行状态信息和模型配置信息，所述模型配置信息表征运行于所述数据处理模块的神经网络模型；根据所述任务标识以及每个所述数据处理模块对应的所述运行状态信息和所述模型配置信息确定出目标数据处理模块；向所述目标数据处理模块发送所述待处理数据；接收所述目标数据处理模块返回的数据处理结果，所述数据处理结果为所述目标数据处理模块基于对应的所述神经网络模型处理所述待处理数据得到的。能够提高人工智能平台进行数据处理的灵活性和效率。

Description

一种应用于人工智能平台的数据处理方法及装置

技术领域

本发明涉及互联网通信技术领域，尤其涉及一种应用于人工智能平台的数据处理方法及装置。

背景技术

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用。

现有技术中，可以为涉及AI的相关数据处理过程部署云端服务器，服务器虽然性能强大但是价格昂贵，并且面临着延时大和信息泄漏等诸多问题。也可以将涉及AI的相关数据处理过程部署在终端设备(比如摄像机)上，然而终端设备的算力有限，并且缺乏深层次的数据融合的能力。因此，需要提供对涉及AI的相关数据更有效的数据处理方案。

发明内容

为了解决现有技术应用在对涉及AI的相关数据进行数据处理时，数据处理效果差等问题，本发明提供了一种应用于人工智能平台的数据处理方法及装置：

一方面，本发明提供了一种应用于人工智能平台的数据处理方法，所述方法包括：

接收客户端发送的任务请求，所述任务请求包括待处理数据和任务标识；

获取每个数据处理模块对应的运行状态信息和模型配置信息，所述模型配置信息表征运行于所述数据处理模块的神经网络模型；

根据所述任务标识以及每个所述数据处理模块对应的所述运行状态信息和所述模型配置信息确定出目标数据处理模块；

向所述目标数据处理模块发送所述待处理数据；

接收所述目标数据处理模块返回的数据处理结果，所述数据处理结果为所述目标数据处理模块基于对应的所述神经网络模型处理所述待处理数据得到的。

另一方面提供了一种应用于人工智能平台的数据处理装置，所述装置包括：

任务请求接收模块：用于接收客户端发送的任务请求，所述任务请求包括待处理数据和任务标识；

信息获取模块：用于获取每个数据处理模块对应的运行状态信息和模型配置信息，所述模型配置信息表征运行于所述数据处理模块的神经网络模型；

处理模块确定模块：用于根据所述任务标识以及每个所述数据处理模块对应的所述运行状态信息和所述模型配置信息确定出目标数据处理模块；

数据发送模块：用于向所述目标数据处理模块发送所述待处理数据；

结果接收模块：用于接收所述目标数据处理模块返回的数据处理结果，所述数据处理结果为所述目标数据处理模块基于对应的所述神经网络模型处理所述待处理数据得到的。

另一方面提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的应用于人工智能平台的数据处理方法。

另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的应用于人工智能平台的数据处理方法。

本发明提供的一种应用于人工智能平台的数据处理方法及装置，具有如下技术效果：

本发明结合待处理任务的性质，根据数据处理模块的运行状态以及所运行的神经网络模型，为待处理任务选择出目标数据处理模块，以及将待处理数据发送至该目标数据处理模块，进而得到对应的数据处理结果。能够提高人工智能平台进行数据处理的灵活性和效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例提供的一种应用环境的示意图；

图2是本发明实施例提供的一种应用于人工智能平台的数据处理方法的流程示意图；

图3也是本发明实施例提供的一种应用于人工智能平台的数据处理方法的流程示意图；

图4是本发明实施例提供的利用人工智能平台进行视频分析处理的流程示意图；

图5也是本发明实施例提供的一种应用于人工智能平台的数据处理方法的流程示意图；

图6是本发明实施例提供的由目标数据处理得到数据处理结果的一种流程示意图；

图7是本发明实施例提供的一种应用于人工智能平台的数据处理装置的组成框图；

图8也是本发明实施例提供的一种应用环境的示意图；

图9是本发明实施例提供的一种电子设备的结构示意图；

图10是本发明实施例提供的分布式系统应用于区块链系统的结构示意图；

图11是本发明实施例提供的区块结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本发明实施例提供的一种应用环境的示意图，可以包括客户端和服务端，客户端与服务端通过网络连接。通过客户端将待处理数据发送至服务端，服务端对接收到的待处理数据作数据处理，以得到对应的数据处理结果。需要说明的是，图1仅仅是一种示例。

具体的，客户端01可以包括运行于实体设备(比如智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等)中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。

具体的，所述服务端可以为上述客户端提供后台服务。所述服务端可以包括实体设备(比如智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等)中的主机和与该主机能够进行数据通信的各数据处理模块。所述服务端还可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器可以包括有网络通信单元、处理器和存储器等等。

以下介绍本发明一种应用于人工智能平台的数据处理方法的具体实施例，图2是本发明实施例提供的一种应用于人工智能平台的数据处理方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述方法可以包括：

S201：接收客户端发送的任务请求，所述任务请求包括待处理数据和任务标识；

在本发明实施例中，客户端发送的任务请求可以涉及AI的相关数据处理，所述任务请求包括待处理数据和任务标识，所述任务标识可以表征对所述待处理数据进行数据处理的任务类型，比如目标检测任务类型、特征提取任务类型、属性分析任务类型、跟踪任务类型等。所述任务标识也可以具体指示执行任务所采用的神经网络模型，比如利用YOLO(You Only Look Once，一种基于深度神经网络的对象识别和定位算法)模型进行目标检测任务、利用ResNet(Residual Network，残差网络)模型进行特征提取任务。

客户端发送的任务请求可以为至少两个，比如任务请求1、任务请求2和任务请求3。至少两个任务请求可以指向同一待处理数据，比如任务请求1对应对待处理数据1进行目标检测任务，任务请求2对应对待处理数据1进行聚类任务。至少两个任务请求可以指向同一任务标识，比如任务请求1对应对待处理数据1进行目标检测任务，任务请求2对应对待处理数据2进行目标检测任务。当然，至少两个任务请求可以指向不同的待处理数据以及不同的任务标识。

在实际应用中，该人工智能平台可以指向计算机视觉(Computer Vision,CV)应用。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical CharacterRecognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3 Dimensions，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。具体的，该人工智能平台可以进行视频分析处理，可参见图4，其中作为视频输入设备的硬件模块可以为摄像机，从视频输入设备取流得到的数据(比如视频帧)作为待处理数据输入之后的各神经网络模型。

在一个具体的实施例中，如图3所示，所述接收客户端发送的任务请求，之前包括：

S301：根据人工智能平台的业务属性，确定每个所述数据处理模块对应的所述模型配置信息；

人工智能平台可以基于不同类型的业务场景来设置，比如人工智能平台可以用于计算机视觉应用业务场景，可以用于语音技术(Speech Technology)应用业务场景，可以用于自然语言处理(Nature Language processing，NLP)应用业务场景等。

人工智能平台的业务属性可以表征该人工智能平台对应的数据量规模、进行数据处理的任务类型以及执行任务所采用的神经网络模型等。根据人工智能平台的业务属性，可以确定所采用的数据处理模块的数量，以及每个所述数据处理模块对应的所述模型配置信息。所有的数据处理模块可以对应相同的模型配置信息(比如，神经网络模型1——》神经网络模型2——》神经网络模型3)。所有的数据处理模块也可以在某一维度上作分组处理，同一小组(包括至少一个数据处理模块)对应相同的模型配置信息(比如，第一小组对应神经网络模型1；第三小组对应神经网络模型2——》神经网络模型5——》神经网络模型6)。当然，根据当前人工智能平台的性能需求可以对数据处理模块的数量进行增加或减少。

S302：根据每个所述数据处理模块对应的所述模型配置信息，分别向每个所述数据处理模块发送对应的所述神经网络模型的模型文件；

相应的，每个所述数据处理模块接收到对应的所述神经网络模型的模型文件，每个所述数据处理模块包括对应的所述模型文件的运行环境，进而在每个所述数据处理模块中加载并运行对应的所述模型文件，以实现各个数据处理模块的初始化。

S202：获取每个数据处理模块对应的运行状态信息和模型配置信息，所述模型配置信息表征运行于所述数据处理模块的神经网络模型；

在本发明实施例中，如图1、8所示，在服务端，主机与至少一个数据处理模块连接，数据处理模块可以通过高速串行计算机扩展总线标准(PCIE接口)或者通用串行总线接口(USB接口)作为一个可插拔设备接入到主机，这样能够便于对人工智能平台的计算性能进行扩展，可以根据性能需求来决定数据处理模块的数量，可以提高人工智能平台的灵活性。

主机可以由CPU(Central Processing Unit，中央处理器；比如来自Intel公司或者ARM公司的芯片)构成，并且具有常规的外设接口。数据处理模块可以是由Intel、华为等公司生产的AI芯片构成的加速卡。各加速卡之间可以独立运行，也可以横向扩展来形成一个复杂的深度学习网络模型以进行数据处理。

在一个具体的实施例中，可以确定监控时间段；在所述监控时间段分别向每个所述数据处理模块发送运行状态查询指令；接收每个所述数据处理模块返回的所述运行状态信息，所述运行状态信息包括从处理资源状态信息、内存状态信息和温度信息组成的群组中选择的至少一个。主机可以以一定时间间隔来查询各加速卡的运行状态，加速卡则将对应的运行状态信息返回给主机。处理资源状态信息可以加速卡当前处理资源(计算资源)的使用情况。内存状态信息可以表征加速卡当前内存空间的使用情况。温度信息可以表征加速卡当前温度值。

S203：根据所述任务标识以及每个所述数据处理模块对应的所述运行状态信息和所述模型配置信息确定出目标数据处理模块；

在一个具体的实施例中，如图5所示，当所述运行状态信息包括处理资源状态信息时，所述根据所述任务标识以及每个所述数据处理模块对应的所述运行状态信息和所述模型配置信息确定出目标数据处理模块，包括：

S501：根据所述任务标识和每个所述数据处理模块对应的所述模型配置信息确定出候选数据处理模块；

对于任务标识和模型配置信息的相关记载可参考步骤S201和S202，这里不再赘述。基于所述任务标识和模型配置信息确定出能够执行待处理任务的候选数据处理模块，候选数据处理模块中所运行的神经网络模型能够实现对待处理数据的处理。

S502：根据每个所述候选数据处理模块对应的所述处理资源状态信息得到每个所述候选数据处理模块对应的处理资源空闲信息；

可以根据每个所述候选数据处理模块当前处理资源(计算资源)的使用情况，得到各个所述候选数据处理模块对应的处理资源空闲信息，也就是该候选数据处理模块对应的处理资源空闲率。比如加速卡1对应的处理资源空闲率为90％，加速卡2对应的处理资源空闲率为30％，加速卡3对应的处理资源空闲率为60％。

S503：获取每个所述候选数据处理模块对应的历史数据处理信息，所述历史数据处理信息包括从模型处理时间、历史数据大小信息、历史数据传输信息和历史数据类型信息组成的群组中选择的至少一个；

每个所述候选数据处理模块对应的历史数据处理信息反映了该候选数据处理模块执行历史任务的情况。模型处理时间可以表征该候选数据处理模块对应的神经网络模型对历史数据进行处理的时间。当使用到多个神经网络模型共同执行历史任务时，模型处理时间可以表征每个神经网络模型执行分段历史任务的用时。

历史数据大小信息可以表征历史任务对应的待处理数据的大小。当使用到多个神经网络模型共同执行历史任务时，历史数据大小信息可以表征每个神经网络模型执行分段历史任务对应的输入数据大小和输出数据大小。

历史数据传输信息可以表征历史任务对应的待处理数据由主机至该候选数据处理模块的发送时间，以及历史任务对应的数据处理结果由该候选数据处理模块至主机的返回时间。当使用到多个神经网络模型共同执行历史任务时，历史数据传输信息可以表征执行相邻分段历史任务的神经网络模型之间的数据传输时间。

历史数据类型信息可以表征历史任务对应的待处理数据的类型。当使用到多个神经网络模型共同执行历史任务时，历史数据类型信息可以表征每个神经网络模型执行分段历史任务对应的输入数据类型和输出数据类型。

S504：根据每个所述候选数据处理模块对应的所述历史数据处理信息，确定在每个所述候选数据处理模块处理所述待处理数据的数据处理耗时；

根据每个所述候选数据处理模块对应的所述历史数据处理信息，可以对在每个所述候选数据处理模块处理所述待处理数据的数据处理耗时进行预先估计。比如加速卡1对应的数据处理耗时为时长A，加速卡2对应的数据处理耗时为时长B，加速卡3对应的数据处理耗时为时长C，时长A<时长B<时长C。

S505：根据每个所述候选数据处理模块对应的所述处理资源空闲信息和所述数据处理耗时，确定出所述目标数据处理模块。

进一步的，可以获取空闲率权重因子，基于所述空闲率权重因子和每个所述候选数据处理模块对应的所述处理资源空闲信息，得到每个所述候选数据处理模块对应的处理资源参考空闲率，比如空闲率权重因子为a(实数，>0)，加速卡1对应的处理资源参考空闲率为a*90％，加速卡2对应的处理资源参考空闲率为a*30％，加速卡3对应的处理资源参考空闲率为a*60％。

获取速率权重因子，基于所述速率权重因子和每个所述候选数据处理模块对应的所述数据处理耗时，得到每个所述候选数据处理模块对应的数据处理参考速率，比如速率权重因子为b(实数，>0)，加速卡1对应的数据处理参考速率为b/时长A，加速卡2对应的数据处理参考速率为b/时长B，加速卡3对应的数据处理参考速率为b/时长C。

然后，根据每个所述候选数据处理模块对应的所述处理资源参考空闲率和所述数据处理参考速率，得到每个所述候选数据处理模块对应的处理能力评估值。这样，加速卡1对应的处理能力评估值为a*90％+b/时长A，加速卡2对应的处理能力评估值为a*30％+b/时长B，加速卡3对应的处理能力评估值为a*60％+b/时长C。再对各个所述候选数据处理模块对应的所述处理能力评估值进行降序排列以得到排序结果。进而，将所述排序结果中最大处理能力评估值对应的所述候选数据处理模块确定为所述目标数据处理模块。

综合各数据处理模块的模型配置信息、处理资源空闲率以及数据处理耗时，确定得到目标数据处理模块，可以为待处理任务选择出合适的数据处理模块，高效处理待处理数据。保障人工智能平台的业务性能状态。

在另一个具体的实施例中，当所述运行状态信息包括温度信息时，可以先根据所述任务标识和每个所述数据处理模块对应的所述模型配置信息确定出第一候选数据处理模块(可参考步骤S501中的记载，不再赘述)。然后，根据温度阈值和每个所述第一候选数据处理模块对应的所述温度信息，得到对应的温度值符合所述温度阈值的要求的第二候选数据处理模块。对应的温度值符合所述温度阈值的要求可以表征加速卡当前温度值在一个正常工作的温度范围。因为计算越密集，芯片的结温就越高，超过温度范围芯片可能就不再工作了。所述温度阈值可以包括最低温度阈值-50摄氏度和最高温度阈值100摄氏度。符合所述温度阈值的要求可以指示温度值在-50摄氏度至100摄氏度的范围内。再对各个所述第二候选数据处理模块对应的所述温度值进行升序排列以得到排序结果。进而，将所述排序结果中最小温度值对应的所述第二候选数据处理模块确定为所述目标数据处理模块。

在能够正常工作的第二候选数据处理模块中，优先选择最小温度值对应的所述第二候选数据处理模块作为目标数据处理模块。当然，也可以设置温度权重因子，基于所述温度权重因子和每个所述第二候选数据处理模块对应的所述温度值，得到每个所述候选数据处理模块对应的温度参考值，进而将最小温度参考值对应的所述第二候选数据处理模块确定为所述目标数据处理模块，从而实现性能和功耗上的最优选择。

在另一个具体的实施例中，当所述运行状态信息包括内存状态信息时，可以先根据所述任务标识和每个所述数据处理模块对应的所述模型配置信息确定出第一候选数据处理模块(可参考步骤S501中的记载，不再赘述)。然后，根据内存空间阈值和每个所述第一候选数据处理模块对应的所述内存状态信息，得到对应的内存空间值符合所述内存空间阈值的要求的第二候选数据处理模块，对应的内存空间值符合所述内存空间阈值的要求可以表征加速卡当前内存空间在一个正常工作的内存空间范围。因为如果加速卡内存不足，可能由主机发送过去的数据就无法处理了。进而，在至少一个所述第二候选数据处理模块中确定处所述目标数据处理模块。在能够正常工作的第二候选数据处理模块中，可以优先选择最大内存空间值对应的所述第二候选数据处理模块作为目标数据处理模块，从而实现性能和功耗上的最优选择。

此外，需要说明的是，本发明实施例中，确定目标数据处理模块的方式并不仅限于上述基于处理资源状态信息(结合历史数据处理信息)、基于温度信息和基于内存状态信息的三种方式，还可以采用其他方式。当然，上述三种方式可以组合(比如两两组合或者三者组合)使用以确定目标数据处理模块。

S204：向所述目标数据处理模块发送所述待处理数据；

在本发明实施例中，主机可以将所述待处理数据发送给所述目标数据处理模块。

S205：接收所述目标数据处理模块返回的数据处理结果，所述数据处理结果为所述目标数据处理模块基于对应的所述神经网络模型处理所述待处理数据得到的。

在本发明实施例中，如图6所示，所述数据处理结果通过所述目标数据处理模块执行下述步骤得到：

S601：响应于接收到的指向至少两个所述任务请求的所述待处理数据，创建数据缓冲队列；

数据缓冲队列的设置，考虑到了接收任务请求至后续将待处理数据发送到目标数据处理模块的过程，其中将待处理数据发送到目标数据处理模块的步骤需要一定的时间以实现。这样“主机接收到待处理数据”和“目标数据处理模块接收到待处理数据”之间会存在一定的延时。

当所述目标数据处理模块运行有多个神经网络模型时，可以基于神经网络模型的维度设置对应的各个数据缓冲子队列。

S602：将所述至少两个所述任务请求对应的所述待处理数据插入所述数据缓冲队列中；

将所述至少两个所述任务请求对应的所述待处理数据插入所述数据缓冲队列时，可以基于接收任务请求的时间先后顺序进行数据插入；也可以在前述时间先后顺序的基础上，结合不同任务请求的优先级进行数据插入。

S603：当所述数据缓冲队列中的所述待处理数据符合待处理条件时，向对应的所述神经网络模型输入所述待处理数据，以及得到对应的所述数据处理结果；

当所述数据缓冲队列中的所述待处理数据符合待处理条件时，可以从所述数据缓冲队列抽取对应的所述待处理数据，再将所述待处理数据输入对应的所述神经网络模型。由于“主机接收到待处理数据”和“目标数据处理模块接收到待处理数据”之间会存在一定的延时，如果目标数据处理模块在这段时间出入空闲的话，会造成处理资源的浪费。在加速卡上设计一个数据缓冲队列，实现数据传输和数据处理的同时进行，可以较好的消除传输延时带来的影响。

其中，可以将所述数据处理结果存储于区块链节点中。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。

由以上本说明书实施例提供的技术方案可见，本说明书实施例结合待处理任务的性质，根据数据处理模块的运行状态以及所运行的神经网络模型，为待处理任务选择出目标数据处理模块，以及将待处理数据发送至该目标数据处理模块实现任务调度，进而得到对应的数据处理结果。合理的任务调度能够实现数据处理模块的性能和功耗上的最优选择，实现高性能和低功耗。数据处理模块采用的缓冲区设计可以很好的降低数据传输带来的处理延时。本说明书实施例能够提高人工智能平台进行数据处理的灵活性和效率。

本发明实施例还提供了一种应用于人工智能平台的数据处理装置，如图7所示，所述装置包括：

任务请求接收模块710：用于接收客户端发送的任务请求，所述任务请求包括待处理数据和任务标识；

信息获取模块720：用于获取每个数据处理模块对应的运行状态信息和模型配置信息，所述模型配置信息表征运行于所述数据处理模块的神经网络模型；

处理模块确定模块730：用于根据所述任务标识以及每个所述数据处理模块对应的所述运行状态信息和所述模型配置信息确定出目标数据处理模块；

数据发送模块740：用于向所述目标数据处理模块发送所述待处理数据；

结果接收模块750：用于接收所述目标数据处理模块返回的数据处理结果，所述数据处理结果为所述目标数据处理模块基于对应的所述神经网络模型处理所述待处理数据得到的。

在一个具体的实施例中，所述装置可以包括至少一个数据处理模块，数据处理模块可以是由Intel、华为等公司生产的AI芯片构成的加速卡。

在另一个具体的实施例中，如图8所示，服务端可以接入多个电子设备，形成一个小范围区域自治。服务端还可以接入多个电子设备和云端服务器，形成一个云+域+终端的分层次立体化的处理系统。这样可以弥补单一终端设备性能差的缺点。

需要说明的，所述装置实施例中的装置与方法实施例基于同样的发明构思。

本发明实施例提供的人工智能平台可以是由客户端、多个节点(接入网络中的任意形式的计算设备，如服务器、用户终端)通过网络通信的形式连接形成的分布式系统。

所述人工智能平台可以为区块链网络对应的分布式系统。以分布式系统为区块链系统为例，参见图10，图10是本发明实施例提供的分布式系统100应用于区块链系统的一个可选的结构示意图，由多个节点(接入网络中的任意形式的计算设备，如服务器、用户终端)和客户端形成，节点之间形成组成的点对点(P2P，Peer To Peer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission Control Protocol)协议之上的应用层协议。在分布式系统中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作系统层和应用层。

参见图10示出的区块链系统中各节点的功能，涉及的功能包括：

1)路由，节点具有的基本功能，用于支持节点之间的通信。

节点除具有路由功能外，还可以具有以下功能：

2)应用，用于部署在区块链中，根据实际业务需求而实现特定业务，记录实现功能相关的数据形成记录数据，在记录数据中携带数字签名以表示任务数据的来源，将记录数据发送到区块链系统中的其他节点，供其他节点在验证记录数据来源以及完整性成功时，将记录数据添加到临时区块中。

例如，应用实现的业务包括：

2.1)钱包，用于提供进行电子货币的交易的功能，包括发起交易(即，将当前交易的交易记录发送给区块链系统中的其他节点，其他节点验证成功后，作为承认交易有效的响应，将交易的记录数据存入区块链的临时区块中；当然，钱包还支持查询电子货币地址中剩余的电子货币；

2.2)共享账本，用于提供账目数据的存储、查询和修改等操作的功能，将对账目数据的操作的记录数据发送到区块链系统中的其他节点，其他节点验证有效后，作为承认账目数据有效的响应，将记录数据存入临时区块中，还可以向发起操作的节点发送确认。

2.3)智能合约，计算机化的协议，可以执行某个合约的条款，通过部署在共享账本上的用于在满足一定条件时而执行的代码实现，根据实际的业务需求代码用于完成自动化的交易，例如查询买家所购买商品的物流状态，在买家签收货物后将买家的电子货币转移到商户的地址；当然，智能合约不仅限于执行用于交易的合约，还可以执行对接收的信息进行处理的合约。

3)区块链，包括一系列按照产生的先后时间顺序相互接续的区块(Block)，新区块一旦加入到区块链中就不会再被移除，区块中记录了区块链系统中节点提交的记录数据。

参见图11，图11是本发明实施例提供的区块结构(Block Structure)一个可选的示意图，每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值，各区块通过哈希值连接形成区块链。另外，区块中还可以包括有区块生成时的时间戳等信息。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了相关的信息，用于验证其信息的有效性(防伪)和生成下一个区块。

本发明实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的应用于人工智能平台的数据处理方法。

进一步地，图9示出了一种用于实现本发明实施例所提供的方法的电子设备的硬件结构示意图，所述设备可以参与构成或包含本发明实施例所提供的装置。如图9所示，设备90可以包括一个或多个(图中采用902a、902b，……，902n来示出)处理器902(处理器902可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器904、以及用于通信功能的传输装置906。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备90还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。

应当注意到的是上述一个或多个处理器902和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到电子设备90(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器904可用于存储应用软件的软件程序以及模块，如本发明实施例中所述的方法对应的程序指令/数据存储装置，处理器902通过运行存储在存储器94内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种应用于人工智能平台的数据处理方法。存储器904可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器904可进一步包括相对于处理器902远程设置的存储器，这些远程存储器可以通过网络连接至电子设备90。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备90的通信供应商提供的无线网络。在一个实例中，传输装置906包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置906可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与电子设备90(或移动设备)的用户界面进行交互。

本发明的实施例还提供了一种存储介质，所述存储介质可设置于电子设备之中以保存用于实现方法实施例中一种应用于人工智能平台的数据处理方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的应用于人工智能平台的数据处理方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种应用于人工智能平台的数据处理方法，其特征在于，所述方法包括：

接收客户端发送的任务请求，所述任务请求包括待处理数据和任务标识；

获取每个数据处理模块对应的运行状态信息和模型配置信息，所述模型配置信息表征运行于所述数据处理模块的神经网络模型；

根据所述任务标识以及每个所述数据处理模块对应的所述运行状态信息和所述模型配置信息确定出目标数据处理模块；

向所述目标数据处理模块发送所述待处理数据；

接收所述目标数据处理模块返回的数据处理结果，所述数据处理结果为所述目标数据处理模块基于对应的所述神经网络模型处理所述待处理数据得到的。

2.根据权利要求1所述的方法，其特征在于，所述运行状态信息包括处理资源状态信息，所述根据所述任务标识以及每个所述数据处理模块对应的所述运行状态信息和所述模型配置信息确定出目标数据处理模块，包括：

根据所述任务标识和每个所述数据处理模块对应的所述模型配置信息确定出候选数据处理模块；

根据每个所述候选数据处理模块对应的所述处理资源状态信息得到每个所述候选数据处理模块对应的处理资源空闲信息；

获取每个所述候选数据处理模块对应的历史数据处理信息，所述历史数据处理信息包括从模型处理时间、历史数据大小信息、历史数据传输信息和历史数据类型信息组成的群组中选择的至少一个；

根据每个所述候选数据处理模块对应的所述历史数据处理信息，确定在每个所述候选数据处理模块处理所述待处理数据的数据处理耗时；

根据每个所述候选数据处理模块对应的所述处理资源空闲信息和所述数据处理耗时，确定出所述目标数据处理模块。

3.根据权利要求2所述的方法，其特征在于，所述根据每个所述候选数据处理模块对应的所述处理资源空闲信息和所述数据处理耗时，确定出所述目标数据处理模块，包括：

获取空闲率权重因子和速率权重因子；

基于所述空闲率权重因子和每个所述候选数据处理模块对应的所述处理资源空闲信息，得到每个所述候选数据处理模块对应的处理资源参考空闲率；

基于所述速率权重因子和每个所述候选数据处理模块对应的所述数据处理耗时，得到每个所述候选数据处理模块对应的数据处理参考速率；

根据每个所述候选数据处理模块对应的所述处理资源参考空闲率和所述数据处理参考速率，得到每个所述候选数据处理模块对应的处理能力评估值；

对各个所述候选数据处理模块对应的所述处理能力评估值进行降序排列以得到排序结果；

将所述排序结果中最大处理能力评估值对应的所述候选数据处理模块确定为所述目标数据处理模块。

4.根据权利要求1所述的方法，其特征在于，所述数据处理结果通过所述目标数据处理模块执行下述步骤得到：

响应于接收到的指向至少两个所述任务请求的所述待处理数据，创建数据缓冲队列；

将所述至少两个所述任务请求对应的所述待处理数据插入所述数据缓冲队列中；

当所述数据缓冲队列中的所述待处理数据符合待处理条件时，向对应的所述神经网络模型输入所述待处理数据，以及得到对应的所述数据处理结果。

5.根据权利要求1所述的方法，其特征在于，所述获取每个数据处理模块对应的运行状态信息，包括：

确定监控时间段；

在所述监控时间段分别向每个所述数据处理模块发送运行状态查询指令；

接收每个所述数据处理模块返回的所述运行状态信息；

其中，所述运行状态信息包括从处理资源状态信息、内存状态信息和温度信息组成的群组中选择的至少一个。

6.根据权利要求1所述的方法，其特征在于，所述接收客户端发送的任务请求，之前包括：

根据人工智能平台的业务属性，确定每个所述数据处理模块对应的所述模型配置信息；

根据每个所述数据处理模块对应的所述模型配置信息，分别向每个所述数据处理模块发送对应的所述神经网络模型的模型文件；

其中，每个所述数据处理模块包括对应的所述模型文件的运行环境。

7.根据权利要求1所述的方法，其特征在于，当所述运行状态信息包括温度信息时，所述根据所述任务标识以及每个所述数据处理模块对应的所述运行状态信息和所述模型配置信息确定出目标数据处理模块，包括：

根据所述任务标识和每个所述数据处理模块对应的所述模型配置信息确定出第一候选数据处理模块；

根据温度阈值和每个所述第一候选数据处理模块对应的所述温度信息，得到对应的温度值符合所述温度阈值的要求的第二候选数据处理模块；

对各个所述第二候选数据处理模块对应的所述温度值进行升序排列以得到排序结果；

将所述排序结果中最小温度值对应的所述第二候选数据处理模块确定为所述目标数据处理模块。

8.根据权利要求1所述的方法，其特征在于，当所述运行状态信息包括内存状态信息时，所述根据所述任务标识以及每个所述数据处理模块对应的所述运行状态信息和所述模型配置信息确定出目标数据处理模块，包括：

根据所述任务标识和每个所述数据处理模块对应的所述模型配置信息确定出第一候选数据处理模块；

根据内存空间阈值和每个所述第一候选数据处理模块对应的所述内存状态信息，得到对应的内存空间值符合所述内存空间阈值的要求的第二候选数据处理模块；

在至少一个所述第二候选数据处理模块中确定出所述目标数据处理模块。

9.根据权利要求1所述的方法，其特征在于，所述数据处理结果存储于区块链节点中。

10.一种应用于人工智能平台的数据处理装置，其特征在于，所述装置包括：

任务请求接收模块：用于接收客户端发送的任务请求，所述任务请求包括待处理数据和任务标识；

信息获取模块：用于获取每个数据处理模块对应的运行状态信息和模型配置信息，所述模型配置信息表征运行于所述数据处理模块的神经网络模型；

处理模块确定模块：用于根据所述任务标识以及每个所述数据处理模块对应的所述运行状态信息和所述模型配置信息确定出目标数据处理模块；

数据发送模块：用于向所述目标数据处理模块发送所述待处理数据；

结果接收模块：用于接收所述目标数据处理模块返回的数据处理结果，所述数据处理结果为所述目标数据处理模块基于对应的所述神经网络模型处理所述待处理数据得到的。

Images