CN103106183A - 基于mapreduce的大规模稀疏矩阵乘法运算的方法 - Google Patents

Abstract

本发明提供一种基于mapreduce的大规模稀疏矩阵乘法运算的方法，假设大规模稀疏矩阵为A和B，A和B的乘积矩阵为C，方法包括：步骤10、由一个mapreduce Job完成转置矩阵A，输出矩阵A’；步骤20、变换矩阵B，将矩阵B中以坐标点的存储方式变换为以稀疏向量的存储方式，输出矩阵B’；步骤30、连接矩阵A’与B’,计算乘积分量，通过连接操作，得到C_ij在矩阵A列号k与矩阵B行号k上的乘积分量；步骤40、合并乘积分量，通过累加乘积分量C_{ij_k}计算C_ij。将大规模矩阵乘法运算转换为转置、变换、连接与合并等适合mapreduce计算的基本操作，从而解决单机大矩阵乘法运算的资源限制问题。

Description

基于mapreduce的大规模稀疏矩阵乘法运算的方法

技术领域

本发明涉及一种基于mapreduce的大规模稀疏矩阵乘法运算的方法。

背景技术

矩阵乘法是线性代数中常见的问题之一，许多数值计算问题都包含着矩阵乘法的计算。因此，提高矩阵乘法算法运行速度问题，多年来一直引起算法研究者们的高度重视。在研究界主要通过两种方式来达到目的：改进算法降低矩阵乘法的算法复杂度和矩阵乘法的算法并行化。

第一种方法的研究成果表明，在矩阵规模不大情况下，降低算法复杂度的好处非常明显，对于n×n与n×n的矩阵乘法运算，最优方法的算法复杂度接近下限n×n。但在当今数据急剧膨胀的互联网时代，单纯的降低矩阵乘法的算法复杂度仍无法满足大规模矩阵乘法的存储和计算要求。

第二种方法通过对大矩阵进行分块，在不同的机器下并行地完成分块的矩阵乘法运算，然后合并分块的运算结果得到最终运算结果。mapreduce是一种基于函数的编程模型，具有接口简单，健壮容错的特点，因此mapreduce非常适合大规模数据的批量处理。

本发明将大矩阵乘法问题转换为适合mapreduce的操作，解决大规模矩阵乘法运算因为维度过大，在单机环境下因资源限制导致执行性能低下甚至无法执行的问题。

发明内容

本发明要解决的技术问题，在于提供一种基于mapreduce的大规模稀疏矩阵乘法运算的方法，将大规模矩阵乘法运算转换为转置、变换、连接与合并等适合mapreduce计算的基本操作，从而解决单机大矩阵乘法运算的资源限制问题，特别适用于大规模稀疏矩阵E级维度的矩阵。

本发明是这样实现的：一种基于mapreduce的大规模稀疏矩阵乘法运算的方法，假设大规模稀疏矩阵为A和B，A和B的乘积矩阵为C，

A={(i,k,A_ik)︱i∈[1,2…m],k∈[1,2…n],A_ik≠0},

B={(k,j,B_kj)︱k∈[1,2…n],j∈[1,2…l],B_kj≠0},

求矩阵C={(i,j,C_ij)︱i∈[1,2…m],j∈[1,2…l],C_ij≠0},

使得

i=1,2，...,m;j=1,2，...,l；

所述方法包括：

步骤10、由一个mapreduce Job完成转置矩阵A，输出矩阵A’；

步骤20、变换矩阵B，将矩阵B中以坐标点的存储方式变换为以稀疏向量的存储方式，输出矩阵B’；

步骤30、连接矩阵A’与B’,计算乘积分量，通过连接操作，得到C_ij在矩阵A列号k与矩阵B行号k上的乘积分量；

步骤40、合并乘积分量，通过累加乘积分量C_{ij_k}计算C_ij。

进一步的，所述步骤10的mapreduce的过程具体为：

步骤11、map函数读取矩阵A中的由记录位置与<i,k,A_ik>构成的key-value对,然后输出由列号k与对应的稀疏向量partColumnVector<i,A_ik>构成的key-value对到中间结果，其中partColumnVector由<i,A_ik>为元素构成的稀疏向量；

步骤12、combine函数合并mapper端的中间结果，输出格式与map函数输出一致；

步骤13、reduce函数进一步合并combine函数输出的结果，将来自不同mapper的key相同的partColumnVector合并成完整的列向量columnVector，然后将由列号与columnVector构成的key-value对写到矩阵A’对应的文件路径；

步骤14、最终输出转置后的矩阵A’，其内容是由矩阵A的列号与列向量构成。

进一步的，所述步骤20的mapreduce的过程具体为：

步骤21、map函数读取矩阵B中的由记录位置与<k,j,B_kj>构成的key-value对,然后输出由行号k与对应的稀疏向量partRowVector<j,B_kj>构成的key-value对到中间结果，其中partRowVector由<j,B_kj>为元素构成的稀疏向量；

步骤22、combine函数合并mapper端的中间结果，输出格式与map函数输出一致；

步骤23、reduce函数进一步合并combine函数输出的结果，将来自不同mapper的key相同的partRowVector合并成完整的行向量rowVector，然后将由行号与rowVector构成的key-value对写到矩阵B’对应的文件路径；

步骤24、最终输出转置后的矩阵B’，其内容是由矩阵B的行号与行向量构成。

进一步的，所述步骤30的mapreduce的过程具体为：

步骤31、map函数将接收的key-value对直接输出到中间结果文件；

步骤32、reduce函数接收到key为k的记录，解析value-list提取columnVector与rowVector，然后将两个向量中的元素进行笛卡尔积连接，计算C_ij在矩阵A列号k与矩阵B行号k上的乘积分量C_{ij_k}，最后将<i，j>作为key,C_{ij_k}作为value的键值对写到矩阵C’文件中。

进一步的，所述步骤40的mapreduce的过程具体为：

步骤41、map函数将接收的key-value对直接输出到中间结果文件；

步骤42、reduce函数接收到key为<i,j>的记录，对value-list中元素进行求和操作，所得到的和即为C_ij，最后将<i,j>作为key,C_ij作为value的键值对写到矩阵C文件中。

本发明具有如下优点：本发明提供了一种基于mapreduce的大稀疏矩阵乘法运算方法，将大矩阵乘法运算转换为转置、变换、连接与合并等适合mapreduce计算的基本操作。这种将矩阵计算问题转化为适合mapreduce的基本操作的方法，使其能够在mapreudce框架上的并行运行，降低了运行资源的限制，提高了计算速度；另外，本发明的方法采用稀疏矩阵与稀疏向量作为存储方式，不仅节约了存储空间，并且可以减少不必要的计算，提高运行速度。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明方法执行流程图。

具体实施方式

本发明是这样实现的：一种基于mapreduce的大规模稀疏矩阵乘法运算的方法，假设大规模稀疏矩阵为A和B，A和B的乘积矩阵为C，

A={(i,k,A_ik)︱i∈[1,2…m],k∈[1,2…n],A_ik≠0},

B={(k,j,B_kj)︱k∈[1,2…n],j∈[1,2…l],B_kj≠0},

求矩阵C={(i,j,C_ij)︱i∈[1,2…m],j∈[1,2…l],C_ij≠0},

使得

i＝1,2,..,m;j＝1,2，...,l；其中本发明特别适用于大规模稀疏矩阵E级维度的矩阵，即m、n、l的取值可在千万级。

所述方法包括：

步骤10、由一个mapreduce Job完成转置矩阵A，输出矩阵A’；其mapreduce的过程具体为：

步骤11、map函数读取矩阵A中的由记录位置与<i,k,A_ik>构成的key-value对,然后输出由列号k与对应的稀疏向量partColumnVector<i,A_ik>构成的key-value对到中间结果，使其更紧凑，其中partColumnVector由<i,A_ik>为元素构成的稀疏向量；

步骤12、combine函数合并mapper端的中间结果，输出格式与map函数输出一致；

步骤13、reduce函数进一步合并combine函数输出的结果，将来自不同mapper的具有相同键值的partColumnVector合并成完整的列向量columnVector，然后将由列号与columnVector构成的key-value对写到矩阵A’对应的文件路径；

步骤14、最终输出转置后的矩阵A’，其内容是由矩阵A的列号与列向量构成，形如k:columnVector。

步骤20、变换矩阵B，将矩阵B中以坐标点的存储方式变换为以稀疏向量的存储方式，输出矩阵B’；其mapreduce的过程具体为：

步骤21、map函数读取矩阵B中的由记录位置与<k,j,B_kj>构成的key-value对,然后输出由行号k与对应的稀疏向量partRowVector<j,B_kj>构成的key-value对到中间结果，其中partRowVector由<j,B_kj>为元素构成的稀疏向量；

步骤22、combine函数合并mapper端的中间结果使其更紧凑，输出格式与map函数输出一致；

步骤23、reduce函数进一步合并combine函数输出的结果，将来自不同mapper的key相同的partRowVector合并成完整的行向量rowVector，然后将由行号与rowVector构成的key-value对写到矩阵B’对应的文件路径；

步骤24、最终输出转置后的矩阵B’，其内容是由矩阵B的行号与行向量构成，形如k:rowVector。

步骤30、连接矩阵A’与B’,计算乘积分量，通过连接操作，得到C_ij在矩阵A列号k与矩阵B行号k上的乘积分量；该步骤目的是通过连接操作，将矩阵A’与B’中key相同的columnVector与rowVector进行笛卡尔积连接，得到C_ij在矩阵A列号k与矩阵B行号k上的乘积分量，其mapreduce的过程具体为：

步骤31、map函数将接收的key-value对直接输出到中间结果文件；

步骤32、reduce函数接收到key为k的记录，解析value-list提取columnVector与rowVector，然后将两个向量中的元素进行笛卡尔积连接，计算C_ij在矩阵A列号k与矩阵B行号k上的乘积分量C_{ij_k}，最后将<i,j>作为key,C_{ij_k}作为value的键值对写到矩阵C’文件中。

步骤40、合并乘积分量，通过累加乘积分量C_{ij_k}计算C_ij。该步骤目的是通过累加乘积分量C_{ij_k}计算C_ij，其mapreduce的过程具体为：

步骤41、map函数将接收的key-value对直接输出到中间结果文件；

步骤42、reduce函数接收到key为<i，j>的记录，对value-list中元素进行求和操作，所得到的和即为C_ij，最后将<i,j>作为key,C_ij作为value的键值对写到矩阵C文件中。

综上所述，本发明方法将大矩阵乘法运算转换为转置、变换、连接与合并等适合mapreduce计算的基本操作。这种将矩阵计算问题转化为适合mapreduce的基本操作的方法，使其能够在mapreudce框架上的并行运行，降低了运行资源的限制，提高了计算速度；另外，本发明的方法采用稀疏矩阵与稀疏向量作为存储方式，不仅节约了存储空间，并且可以减少不必要的计算，提高运行速度。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (5)

1.一种基于mapreduce的大规模稀疏矩阵乘法运算的方法，其特征在于：假设大规模稀疏矩阵为A和B，A和B的乘积矩阵为C，

A={(i,k,A_ik)︱i∈[1,2…m],k∈[1,2…n],A_ik≠0},

B={(k,j,B_kj)︱k∈[1,2…n],j∈[1,2…l],B_kj≠0},

求矩阵C={(i,j,C_ij)︱i∈[1,2…m],j∈[1,2…l],C_ij≠0},

使得

i=1,2,..,m;j=1,2，...,l；

所述方法包括：

步骤10、由一个mapreduce Job完成转置矩阵A，输出矩阵A’；

步骤20、变换矩阵B，将矩阵B中以坐标点的存储方式变换为以稀疏向量的存储方式，输出矩阵B’；

步骤30、连接矩阵A’与B’,计算乘积分量，通过连接操作，得到C_ij在矩阵A列号k与矩阵B行号k上的乘积分量；

步骤40、合并乘积分量，通过累加乘积分量C_{ij_k}计算C_ij。

2.根据权利要求1所述的基于mapreduce的大规模稀疏矩阵乘法运算的方法，其特征在于：所述步骤10的mapreduce的过程具体为：

步骤11、map函数读取矩阵A中的由记录位置与<i,k,A_ik>构成的key-value对,然后输出由列号k与对应的稀疏向量partColumnVector<i,A_ik>构成的key-value对到中间结果，其中partColumnVector由<i,A_ik>为元素构成的稀疏向量；

步骤12、combine函数合并mapper端的中间结果，输出格式与map函数输出一致；

步骤13、reduce函数进一步合并combine函数输出的结果，将来自不同mapper的key相同的partColumnVector合并成完整的列向量columnVector，然后将由列号与columnVector构成的key-value对写到矩阵A’对应的文件路径；

步骤14、最终输出转置后的矩阵A’，其内容是由矩阵A的列号与列向量构成。

3.根据权利要求1所述的基于mapreduce的大规模稀疏矩阵乘法运算的方法，其特征在于：所述步骤20的mapreduce的过程具体为：

步骤21、map函数读取矩阵B中的由记录位置与<k,j,B_kj>构成的key-value对,然后输出由行号k与对应的稀疏向量partRowVector<j,B_kj>构成的key-value对到中间结果，其中partRowVector由<j,B_kj>为元素构成的稀疏向量；

步骤22、combine函数合并mapper端的中间结果，输出格式与map函数输出一致；

步骤23、reduce函数进一步合并combine函数输出的结果，将来自不同mapper的key相同的partRowVector合并成完整的行向量rowVector，然后将由行号与rowVector构成的key-value对写到矩阵B’对应的文件路径；

步骤24、最终输出转置后的矩阵B’，其内容是由矩阵B的行号与行向量构成。

4.根据权利要求1所述的基于mapreduce的大规模稀疏矩阵乘法运算的方法，其特征在于：所述步骤30的mapreduce的过程具体为：

步骤31、map函数将接收的key-value对直接输出到中间结果文件；

步骤32、reduce函数接收到key为k的记录，解析value-list提取columnVector与rowVector，然后将两个向量中的元素进行笛卡尔积连接，计算C_ij在矩阵A列号k与矩阵B行号k上的乘积分量C_{ij_k}，最后将<i，j>作为key,C_{ij_k}作为value的键值对写到矩阵C’文件中。

5.根据权利要求1所述的基于mapreduce的大规模稀疏矩阵乘法运算的方法，其特征在于：所述步骤40的mapreduce的过程具体为：

步骤41、map函数将接收的key-value对直接输出到中间结果文件；

步骤42、reduce函数接收到key为<i,j>的记录，对value-list中元素进行求和操作，所得到的和即为C_ij，最后将<i,j>作为key,C_ij作为value的键值对写到矩阵C文件中。

Images