CN105956666A - 一种机器学习方法及系统 - Google Patents

Abstract

本发明公开了一种机器学习方法及装置，其中，该方法包括：数据处理服务器将Spark数据处理算法及对应的待处理数据发送至FPGA异构加速计算装置，Spark数据处理算法为由Spark提供的数据处理算法；FPGA异构加速计算装置获取由FPGA算法库提供的与Spark数据处理算法对应的FPGA数据处理算法，并利用FPGA数据处理算法对待处理数据进行处理。由此，利用FPGA数据处理算法实现对于待处理数据的处理；而FPGA数据处理算法均为计算速度较Spark数据处理算法更快的数据处理算法，因此，缩短了大数据处理周期，提升了Spark机器学习性能。

Description

一种机器学习方法及系统

技术领域

本发明涉及机器学习技术领域，更具体地说，涉及一种机器学习方法及系统。

背景技术

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于HadoopMapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

相对于hadoop系统，Spark框架充分利用了内存计算技术，改进了IO的使用频度，有效的提升了大数据处理的性能。但是，随着更大规模海量数据的出现，对高性能数据分析处理的需求一直在增长。更多、更复杂及更多样化的数据正在不断出现，对计算性能的苛刻要求依然在增长。因此，有效提升Spark机器学习的性能，可以缩短大数据处理周期，缩短工作人员对于分析结果的等待时间。

综上所述，如何提供一种能够有效提升Spark机器学习性能的技术方案，是目前本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种机器学习方法及系统，以有效提升机器学习性能，缩短大数据处理周期。

为了实现上述目的，本发明提供如下技术方案：

一种机器学习方法，包括：

数据处理服务器将Spark数据处理算法及对应的待处理数据发送至FPGA异构加速计算装置，其中，所述Spark数据处理算法为由Spark提供的数据处理算法；

所述FPGA异构加速计算装置获取由FPGA算法库提供的与所述Spark数据处理算法对应的FPGA数据处理算法，并利用所述FPGA数据处理算法对所述待处理数据进行处理。

优选的，所述数据处理服务器将所述待处理数据发送至所述FPGA异构加速计算装置，包括：

判断所述FPGA异构加速计算装置的内存是否大于或等于所述待处理数据，如果是，则将所述待处理数据发送至所述FPGA异构加速计算装置，如果否，则将所述待处理数据分割成小于或等于所述FPGA异构加速计算装置的内存的待处理数据块，再依次发送至所述FPGA异构加速计算装置。

优选的，所述FPGA异构加速计算装置获取所述FPGA数据处理算法之后，还包括：

将所述FPGA数据处理算法进行存储；

对应的，所述FPGA异构加速计算装置获取所述FPGA数据处理算法，包括：

判断所述FPGA异构加速计算装置是否存储有所述FPGA数据处理算法，如果是，则直接采用所述FPGA数据处理算法，如果否，则由所述FPGA算法库获取所述FPGA数据处理算法。

优选的，还包括：

所述数据处理服务器将所述FPGA异构加速装置对所述待处理数据进行计算得到的计算结果返回给服务器主机，所述服务器主机为发送所述Spark数据处理算法至所述数据处理服务器的装置。

优选的，所述数据处理服务器将所述Spark数据处理算法发送至所述FPGA异构加速计算装置，包括：

所述数据处理服务器将所述Spark数据处理算法中计算性能要求大于预设值的部分算法发送至所述FPGA异构加速计算装置。

一种机器学习系统，包括：

数据处理服务器，用于将Spark数据处理算法及对应的待处理数据发送至FPGA异构加速计算装置，其中，所述Spark数据处理算法为由Spark提供的数据处理算法；

所述FPGA异构加速计算装置，用于获取由FPGA算法库提供的与所述Spark数据处理算法对应的FPGA数据处理算法，并利用所述FPGA数据处理算法对所述待处理数据进行处理；

所述FPGA算法库，用于提供FPGA数据处理算法。

优选的，所述数据处理服务器包括：

第一发送模块，用于判断所述FPGA异构加速计算装置的内存是否大于或等于所述待处理数据，如果是，则将所述待处理数据发送至所述FPGA异构加速计算装置，如果否，则将所述待处理数据分割成小于或等于所述FPGA异构加速计算装置的内存的待处理数据块，再依次发送至所述FPGA异构加速计算装置。

优选的，所述FPGA异构加速计算装置包括：

存储模块，用于将所述FPGA数据处理算法进行存储；

对应的，所述FPGA异构加速计算装置包括：

获取模块，用于判断所述FPGA异构加速计算装置是否存储有所述FPGA数据处理算法，如果是，则直接采用所述FPGA数据处理算法，如果否，则由所述FPGA算法库获取所述FPGA数据处理算法。

优选的，所述数据处理服务器包括：

反馈模块，用于将所述FPGA异构加速装置对所述待处理数据进行计算得到的计算结果返回给服务器主机，所述服务器主机为发送所述Spark数据处理算法至所述数据处理服务器的装置。

优选的，所述数据处理服务器包括：

第二发送模块，用于将所述Spark数据处理算法中计算性能要求大于预设值的部分算法发送至所述FPGA异构加速计算装置。

本发明提供的一种机器学习方法及装置，其中，该方法包括：数据处理服务器将Spark数据处理算法及对应的待处理数据发送至FPGA异构加速计算装置，其中，所述Spark数据处理算法为由Spark提供的数据处理算法；所述FPGA异构加速计算装置获取由FPGA算法库提供的与所述Spark数据处理算法对应的FPGA数据处理算法，并利用所述FPGA数据处理算法对所述待处理数据进行处理。本发明实施例提供的上述技术方案中，基于FPGA异构加速计算装置及FPGA算法库，利用FPGA数据处理算法实现对于待处理数据的处理。而FPGA数据处理算法均为计算性能较Spark数据处理算法更快的数据处理算法，因此，利用FPGA数据处理算法对待处理数据进行处理，能够缩短大数据处理周期，提升Spark机器学习性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种机器学习方法的流程图；

图2为本发明实施例提供的一种机器学习系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种机器学习方法的流程图，可以包括以下步骤：

S11：数据处理服务器将Spark数据处理算法及对应的待处理数据发送至FPGA异构加速计算装置，其中，Spark数据处理算法为由Spark提供的数据处理算法。

其中，需要说明的是，Spark数据处理算法为由Spark提供的经典Spark数据处理算法，该算法可以由服务器主机确定每个数据处理服务器需使用的Spark数据处理算法后通过任务分发机制向每个数据处理服务器发送该Spark数据处理算法。以K-mean聚类机器学习算法为例，将算法在Spark集群中启动，由服务器主机通过任务分发机制，将其发送至每个数据处理服务器。而待处理数据为数据处理服务器预先获取与服务器主机发送的Spark数据处理算法对应的数据。

另外，将待处理数据及Spark数据处理算法发送至FPGA异构加速计算装置中，具体可以是发送至FPGA异构加速计算装置的板载DDR内存中，该DDR内存可以是DDR3/DDR4。

S12：FPGA异构加速计算装置获取由FPGA算法库提供的与Spark数据处理算法对应的FPGA数据处理算法，并利用FPGA数据处理算法对待处理数据进行处理。

其中，FPGA异构加速计算装置具体可以为扩展卡式设计，采用PCIe3.0接口与其他装置进行连接，核心计算部件为FPGA(现场可编程门阵列)芯片。而FPGA算法库为机器学习专用算法库在FPGA芯片上的逻辑实现，经过对大数据算法的优化，较高的匹配FPGA算法库的硬件属性。具体来说，FPGA算法库具体可以包括协同过滤，隐性反馈vs显性反馈，梯度下降基础算法，二元分类，线性回归，聚类等。另外，为了使得数据处理服务器能够对上述装置进行应用，还可以包括FPGA加速装置接口，为对应服务器提供软件接口，对上层透明，与Spark的机器学习底层算法相配合，使得采用Spark平台的处理任务设计人员无需了解底层的FPGA算法库设计。

本发明实施例提供的上述技术方案中，基于FPGA异构加速计算装置及FPGA算法库，利用FPGA数据处理算法实现对于待处理数据的处理。而FPGA数据处理算法均为计算速度较Spark数据处理算法更快的数据处理算法，因此，利用FPGA数据处理算法对待处理数据进行处理，能够缩短大数据处理周期，提升Spark机器学习性能。

其中，FPGA异构加速计算装置为机器学习算法提供硬件加速平台，FPGA算法库在FPGA上进行加速优化实现，为Spark机器学习提供算法支持；且，上述两个装置实现的异构加速的机器学习算法与Spark上层应用松耦合，对上层透明，使用户无需关心底层实现。

本发明实施例提供的一种机器学习方法，数据处理服务器将待处理数据发送至FPGA异构加速计算装置，可以包括：

判断FPGA异构加速计算装置的内存是否大于或等于待处理数据，如果是，则将待处理数据发送至FPGA异构加速计算装置，如果否，则将待处理数据分割成小于或等于FPGA异构加速计算装置的内存的待处理数据块，再依次发送至FPGA异构加速计算装置。

其中，数据处理服务器将一个待处理数据块发送至FPGA异构加速计算装置后，FPGA异构加速计算装置对该数据块进行处理，然后返回处理完成信息至数据处理服务器，数据处理服务器再将下一个待处理数据块发送至FPGA异构加速计算装置，直至全部待处理数据块处理完成为止。并且，FPGA异构加速计算装置可以将每次计算完成的结果存储，以在对待处理数据全部计算完成后，将计算结果反馈给数据处理服务器。

本发明实施例提供的一种机器学习方法，FPGA异构加速计算装置获取FPGA数据处理算法之后，还可以包括：

将FPGA数据处理算法进行存储；

对应的，FPGA异构加速计算装置获取FPGA数据处理算法，可以包括：

判断FPGA异构加速计算装置是否存储有FPGA数据处理算法，如果是，则直接采用FPGA数据处理算法，如果否，则由FPGA算法库获取FPGA数据处理算法。

由此，能够在一定程序上避免FPGA异构加速计算装置由FPGA算法库中获取FPGA数据处理算法的次数，进一步提高了数据处理速度，提升了机器学习性能。

本发明实施例提供的一种机器学习方法，还可以包括：

数据处理服务器将FPGA异构加速装置对待处理数据进行计算得到的计算结果返回给服务器主机，服务器主机为发送Spark数据处理算法至数据处理服务器的装置。

将全部计算结果返回给服务器主机，以供服务器主机利用。

本发明实施例提供的一种机器学习方法，数据处理服务器将Spark数据处理算法发送至FPGA异构加速计算装置，可以包括：

数据处理服务器将Spark数据处理算法中计算性能要求大于预设值的部分算法发送至FPGA异构加速计算装置。

其中，预设值可以根据实际需要进行确定，由此，仅将Spark数据处理算法中计算性能要求大于预设值的部分算法，即计算性能要求较高的部分算法发送至FPGA异构加速计算装置，由该装置进行处理，而Spark数据处理算法中的其他算法，则直接利用Spark数据处理算法进行处理，实现了对于FPGA异构加速计算装置的合理利用。

与上述方法实施例相对应，本发明实施例还提供了一种机器学习系统，如图2所示，可以包括：

数据处理服务器11，用于将Spark数据处理算法及对应的待处理数据发送至FPGA异构加速计算装置12，其中，Spark数据处理算法为由Spark提供的数据处理算法；

FPGA异构加速计算装置12，用于获取由FPGA算法库13提供的与Spark数据处理算法对应的FPGA数据处理算法，并利用FPGA数据处理算法对待处理数据进行处理；

FPGA算法库13，用于提供FPGA数据处理算法。

本发明实施例提供的一种机器学习系统，数据处理服务器可以包括：

第一发送模块，用于判断FPGA异构加速计算装置的内存是否大于或等于待处理数据，如果是，则将待处理数据发送至FPGA异构加速计算装置，如果否，则将待处理数据分割成小于或等于FPGA异构加速计算装置的内存的待处理数据块，再依次发送至FPGA异构加速计算装置。

本发明实施例提供的一种机器学习系统，FPGA异构加速计算装置可以包括：

存储模块，用于将FPGA数据处理算法进行存储；

对应的，FPGA异构加速计算装置可以包括：

获取模块，用于判断FPGA异构加速计算装置是否存储有FPGA数据处理算法，如果是，则直接采用FPGA数据处理算法，如果否，则由FPGA算法库获取FPGA数据处理算法。

本发明实施例提供的一种机器学习系统，数据处理服务器可以包括：

反馈模块，用于将FPGA异构加速装置对待处理数据进行计算得到的计算结果返回给服务器主机，服务器主机为发送Spark数据处理算法至数据处理服务器的装置。

本发明实施例提供的一种机器学习系统，数据处理服务器可以包括：

第二发送模块，用于将Spark数据处理算法中计算性能要求大于预设值的部分算法发送至FPGA异构加速计算装置。

本发明实施例提供的一种机器学习系统中相关部分的说明请参见本发明实施例提供的一种机器学习方法中对应部分的详细说明，在此不再赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种机器学习方法，其特征在于，包括：

数据处理服务器将Spark数据处理算法及对应的待处理数据发送至FPGA异构加速计算装置，其中，所述Spark数据处理算法为由Spark提供的数据处理算法；

所述FPGA异构加速计算装置获取由FPGA算法库提供的与所述Spark数据处理算法对应的FPGA数据处理算法，并利用所述FPGA数据处理算法对所述待处理数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述数据处理服务器将所述待处理数据发送至所述FPGA异构加速计算装置，包括：

判断所述FPGA异构加速计算装置的内存是否大于或等于所述待处理数据，如果是，则将所述待处理数据发送至所述FPGA异构加速计算装置，如果否，则将所述待处理数据分割成小于或等于所述FPGA异构加速计算装置的内存的待处理数据块，再依次发送至所述FPGA异构加速计算装置。

3.根据权利要求1所述的方法，其特征在于，所述FPGA异构加速计算装置获取所述FPGA数据处理算法之后，还包括：

将所述FPGA数据处理算法进行存储；

对应的，所述FPGA异构加速计算装置获取所述FPGA数据处理算法，包括：

判断所述FPGA异构加速计算装置是否存储有所述FPGA数据处理算法，如果是，则直接采用所述FPGA数据处理算法，如果否，则由所述FPGA算法库获取所述FPGA数据处理算法。

4.根据权利要求3所述的方法，其特征在于，还包括：

所述数据处理服务器将所述FPGA异构加速装置对所述待处理数据进行计算得到的计算结果返回给服务器主机，所述服务器主机为发送所述Spark数据处理算法至所述数据处理服务器的装置。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述数据处理服务器将所述Spark数据处理算法发送至所述FPGA异构加速计算装置，包括：

所述数据处理服务器将所述Spark数据处理算法中计算性能要求大于预设值的部分算法发送至所述FPGA异构加速计算装置。

6.一种机器学习系统，其特征在于，包括：

数据处理服务器，用于将Spark数据处理算法及对应的待处理数据发送至FPGA异构加速计算装置，其中，所述Spark数据处理算法为由Spark提供的数据处理算法；

所述FPGA异构加速计算装置，用于获取由FPGA算法库提供的与所述Spark数据处理算法对应的FPGA数据处理算法，并利用所述FPGA数据处理算法对所述待处理数据进行处理；

所述FPGA算法库，用于提供FPGA数据处理算法。

7.根据权利要求6所述的系统，其特征在于，所述数据处理服务器包括：

第一发送模块，用于判断所述FPGA异构加速计算装置的内存是否大于或等于所述待处理数据，如果是，则将所述待处理数据发送至所述FPGA异构加速计算装置，如果否，则将所述待处理数据分割成小于或等于所述FPGA异构加速计算装置的内存的待处理数据块，再依次发送至所述FPGA异构加速计算装置。

8.根据权利要求6所述的系统，其特征在于，所述FPGA异构加速计算装置包括：

存储模块，用于将所述FPGA数据处理算法进行存储；

对应的，所述FPGA异构加速计算装置包括：

获取模块，用于判断所述FPGA异构加速计算装置是否存储有所述FPGA数据处理算法，如果是，则直接采用所述FPGA数据处理算法，如果否，则由所述FPGA算法库获取所述FPGA数据处理算法。

9.根据权利要求8所述的系统，其特征在于，所述数据处理服务器包括：

反馈模块，用于将所述FPGA异构加速装置对所述待处理数据进行计算得到的计算结果返回给服务器主机，所述服务器主机为发送所述Spark数据处理算法至所述数据处理服务器的装置。

10.根据权利要求6至9任一项所述的系统，其特征在于，所述数据处理服务器包括：

第二发送模块，用于将所述Spark数据处理算法中计算性能要求大于预设值的部分算法发送至所述FPGA异构加速计算装置。