CN105913063A - 一种图像数据集的稀疏表示的加速方法及装置 - Google Patents

Abstract

本发明实施例公开一种图像数据集的稀疏表示的加速方法及装置，所述方法包括：获得图像数据集S，S＝{Y_i|1≤i≤s^Y_i∈R^n×N}；通过IK‑SVD算法训练所述S中的Y₁获得超完备字典D₁；根据Y₂、…、Y_s对所述超完备字典D₁进行S‑1次更新，其中，在每一次更新时通过GPU计算递归Cholesky分解中的矩阵运算，直到收敛。由于通过递归Cholesky分解来替换标准的Cholesky分解，减轻了对数据的依赖，从而使得递归Cholesky分解过程中的矩阵运算能够有效地使用GPU对其进行并行加速，从而提高了图像数据集的稀疏表示的处理速度，降低了图像数据集进行稀疏表示时耗费的时间。

Description

一种图像数据集的稀疏表示的加速方法及装置

技术领域

本发明涉及数据处理领域，尤其涉及一种图像数据集的稀疏表示的加速方法及装置。

背景技术

图像数据集的稀疏表示包括自学习方法，自学习方法不需任何预定的形式获取超完备字典，自学习方法的基本假设是：复杂的非相干特性的结构可以直接从数据提取，而不是使用一个数学表达描述。例如，给定一组图像向量，K-SVD(全称：K-Singular ValueDecomposition；中文：K-奇异值分解)方法能在严格的稀疏约束下寻找导致在该组中每个成员表示最好的字典。非参数贝叶斯字典学习使用一个截断的β-伯努利过程来学习相匹配的图像块的字典。

在当前大数据的时代，图像数据集的大小已经呈爆炸式的增长，而自学习的方法不能有效的处理非常大的数据集，因为每次学习迭代都需要访问整个数据集，处理速度较慢。

因此，现有技术中存在对图像数据集的稀疏表示的处理速度较慢的技术问题。

发明内容

本发明实施例通过提供一种图像数据集的稀疏表示的加速方法及装置，用以解决现有技术中存在的对图像数据集的稀疏表示的处理速度较慢的技术问题。

本发明实施例第一方面提供了一种图像数据集的稀疏表示的加速方法，所述方法包括：

获得图像数据集S，S＝{Y_i|1≤i≤s^Y_i∈R^n×N}；

通过IK-SVD算法训练所述S中的Y₁获得超完备字典D₁；

根据Y₂、...、Y_s对所述超完备字典D₁进行S-1次更新，其中，在每一次更新时通过GPU计算递归Cholesky分解中的矩阵运算，直到收敛。

可选地，所述S能够通过基于超完备字典D_s＝{d₁，…，d_n}的稀疏系数矩阵序列X_s＝{x₁，…，x_s}稀疏表示。

可选地，所述在每一次更新时通过GPU计算递归Cholesky分解的矩阵运算，包括：

选取新的更新原子；以及

通过GPU计算递归Cholesky分解中矩阵的左上角矩阵L^n-1更新；以及

通过GPU计算所述矩阵中子矩阵A和子矩阵B的顺序更新。

可选地，所述选取新的原子，具体包括：通过 和选取所述新的原子。

可选地，所述通过GPU计算递归Cholesky分解中矩阵的左上角矩阵L^n-1更新，具体为：

通过GPU计算L^n-1←K(Solve{L^n-1＝KDK^T}in parallel)。

可选地，所述通过GPU计算所述矩阵中子矩阵A和子矩阵B的顺序更新，包括：

通过GPU计算A←Temp(Temp＝AK^-T in parallel)和B←TempTemp^T in parallel。

本发明实施例第二方面还提供一种图像数据集的稀疏表示的加速装置，包括:

获得单元，用于获得图像数据集S，S＝{Y_i|1≤i≤s^Y_i∈R^n×N}；

训练单元，用于通过IK-SVD算法训练所述S中的Y₁获得超完备字典D₁；

更新单元，用于根据Y₂、…、Y_s对所述超完备字典D₁进行S-1次更新，其中，在每一次更新时通过GPU计算递归Cholesky分解中的矩阵运算，直到收敛。

可选地，所述S能够通过基于超完备字典D_s＝{d₁，…，d_n}的稀疏系数矩阵序列X_s＝{x₁，…，x_s}稀疏表示。

可选地，所述更新单元具体用于选取新的更新原子，以及通过GPU计算递归Cholesky分解中矩阵的左上角矩阵L^n-1更新，以及通过GPU计算所述矩阵中子矩阵A和子矩阵B的顺序更新。

可选地，所述更新单元具体用于通过GPU计算L^n-1←K(Solve{L^n-1＝KDK^T}inparallel)，以及通过GPU计算A←Temp(Temp＝AK^-T in parallel)和B←TempTemp^T inparallel。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

由于通过递归Cholesky分解来替换标准的Cholesky分解，减轻了对数据的依赖，从而使得递归Cholesky分解过程中的矩阵运算能够有效地使用GPU对其进行并行加速，从而提高了图像数据集的稀疏表示的处理速度，降低了图像数据集进行稀疏表示时耗费的时间。

附图说明

图1为本发明实施例提供的一种图像数据集的稀疏表示的加速方法的流程图；

图2为本发明实施例提供的BRC格式矩阵的表示示意图；

图3为本发明实施例提供的一种图像数据集的稀疏表示的加速装置的示意图。

具体实施方式

本发明实施例通过提供一种图像数据集的稀疏表示的加速方法及装置，解决了现有技术中存在的对图像数据集的稀疏表示的处理速度较慢的技术问题。

本发明实施例中的技术方案为解决上述技术问题，总体思路如下：

首先，获得图像数据集S，S＝{Y_i|1≤i≤s^Y_i∈R^n×N}；

然后，通过IK-SVD算法训练S中的Y₁获得超完备字典D₁；

最后，根据Y₂、…、Y_s对超完备字典D₁进行S-1次更新，其中，在每一次更新时通过GPU计算递归Cholesky分解中的矩阵运算，直到收敛。

可以看出，由于采用了根据Y₂、…、Y_s对超完备字典D₁进行S-1次更新，其中，在每一次更新时通过GPU(英文：Graphics Processing Unit；中文：图形处理器)计算递归Cholesky(中文：柯勒斯基)分解中的矩阵运算，直到收敛的技术方案，并且由于GPU天然的多线程并行处理方式对矩阵运算有着明显的加速作用，所以能够提高对图像数据集的稀疏表示的处理效率，减少对图像数据集的稀疏表示时所花费的时间。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

请参考图1，图1为本发明实施例提供的图像数据集的稀疏表示的加速方法，如图1所示，该方法包括：

S1：获得图像数据集S，S＝{Y_i|1≤i≤s^Y_i∈R^n×N}；

在本实施例中，图像数据集S为大规模图像数据集，具体地，S中图像数据Y_i的数量例如可以大于等于10000个，其中S能够通过基于超完备字典D_s＝{d₁，…，d_n}的稀疏系数矩阵序列X_s＝{x₁，…，x_s}稀疏表示。

所以，很明显地，对于下一张图像，需要找到一个新的字典D_s+1＝{d₁，…，d_n+1，…d_n+m｝获取Y_s＋1和X_s＋1的稀疏表达。也就是说，使用IK-SVD方法对大规模图像进行稀疏表示存在的处理速度优化问题。

S2：通过IK-SVD算法训练S中的Y₁获得超完备字典D₁；

在具体实施过程中，IK-SVD具体是Incremental K-SVD(增量K-SVD)算法，例如可以通过在线字典学习(英文全称：Online Dictionary Learning；简称：ODL)和递归最小二乘法字典(英文全称：Recursive least squares dictionary；简称：RLSD)训练S中的Y₁获得超完备字典D₁。

S3：根据Y₂、…、Y_s对超完备字典D₁进行S-1次更新，其中，在每一次更新时通过GPU计算递归Cholesky分解中的矩阵运算，直到收敛。

由于标准的Cholesky分解需要进行平方根运算，并且存在大数据依赖，这样不能直接使用GPU去实现。因此在本实施例中，递归Cholesky分解，这样减轻数据依赖，使之可应用与GPU计算。

在具体实施过程中，在每一次更新时通过GPU计算递归Cholesky分解的矩阵运算，包括：选取新的更新原子；以及通过GPU计算递归Cholesky分解中矩阵的左上角矩阵L^n-1更新；以及通过GPU计算矩阵中子矩阵A和子矩阵B的顺序更新。

在本实施例中，可以通过如下公式选取m个新的原子：

通过查找样本系数不够稀疏的新数据；

并且，通过和从候选样本中计算m个原子的最大熵。

在本实施例中，通过GPU计算递归Cholesky分解中矩阵的左上角矩阵L^n-1更新，具体为：通过GPU计算L^n-1←K(Solve{L^n-1＝KDK^T}in parallel)。

在本实施例中，通过GPU计算矩阵中子矩阵A和子矩阵B的顺序更新，包括：

通过GPU计算A←Temp(Temp＝AK^-T in parallel)和B←TempTemp^T in parallel。

在具体实施过程中，在IK-SVD方法中存在大量的矩阵矩阵相乘(SpMM)和矩阵向量相乘(SpMV)。基于GPU的Batch-OMP算法也主要依赖于矩阵运算。由于Coordinate(COO)、Compressed Sparse Row(CSR)、ELLPACK(ELL)和hybrid(HYB)格式的矩阵稀疏格式存在线程发散、冗余计算、数据传输、缺乏适应性等问题。

本发明采用一种自适应的稀疏矩阵格式——blocked row-column(BRC)。给定矩阵M：其基于BRC格式的表示方法如图2所示。B1为相邻行分块，其值设置成一个warp的大小(例如32)，块较长的行将会导致负载不平衡，然后对其进行列分块。每一个block具有相同的大小B1×T，具体可以通过以下两个公式进行限制：

B2＝min(C×[p+c]，MaxNZ)，其中C为一个常量，μ是每一行非零个数的平均值，σ为标准差，MaxNZ为最大非零个数的行。

在进行矩阵计算的时候，可以首先将矩阵按每一行非零元素个数大小进行排序。然后再根据设定的block的大小对其进行行和列划分，将空行处填零进行补充。最终可以通过5个数组来表示整个矩阵，其中Data由非零元素和填充元素组成，Column Index表示元素在原矩阵中所在的列，Row Perm表示重新排列后每一行所在原始矩阵的原始行，None-Zeros per block表示每一个block的每一行非零元素的个数，Block Begin表示每一个block的第一个元素所在Data的位置，Data位置从0开始计算。

可以看出，在上述过程中，由于通过递归Cholesky分解来替换标准的Cholesky分解，减轻了对数据的依赖，从而使得递归Cholesky分解过程中的矩阵运算能够有效地使用GPU对其进行并行加速，从而提高了图像数据集的稀疏表示的处理速度，降低了图像数据集进行稀疏表示时耗费的时间。

基于同一发明构思，本发明实施例另一方面还提供一种图像数据集的稀疏表示的加速装置，请参考图3，图3为本发明实施例提供的加速装置的示意图，如图3所示，该加速装置包括:

获得单元201，用于获得图像数据集S，S＝{Y_i|1≤i≤s^Y_i∈R^n×N}；

训练单元202，用于通过IK-SVD算法训练S中的Y₁获得超完备字典D₁；

更新单元203，用于根据Y₂、…、Y_s对超完备字典D₁进行S-1次更新，其中，在每一次更新时通过GPU计算递归Cholesky分解中的矩阵运算，直到收敛。

在具体实施过程中，S能够通过基于超完备字典D_s＝{d₁，…，d_n}的稀疏系数矩阵序列X_s＝{x₁，…，x_s}稀疏表示。

在具体实施过程中，更新单元203具体用于选取新的更新原子，以及通过GPU计算递归Cholesky分解中矩阵的左上角矩阵L^n-1更新，以及通过GPU计算矩阵中子矩阵A和子矩阵B的顺序更新。

在具体实施过程中，更新单元203具体用于通过GPU计算L^n-1←K(Solve{L^n-1＝KDK^T}in parallel)，以及通过GPU计算A←Temp(Temp＝AK^-T in parallel)和B←TempTemp^Tin parallel。

本发明实施例中的加速装置与前述部分介绍的加速方法是同一发明构思下的两个方面，在前述部分中已经详细地介绍了图像数据集的稀疏表示的加速方法的具体过程，本领域所属的技术人员能够根据前述部分的描述清楚地了解加速装置的结构以及处理过程，在此为了说明书的简洁，就不再赘述了。

上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：

由于通过递归Cholesky分解来替换标准的Cholesky分解，减轻了对数据的依赖，从而使得递归Cholesky分解过程中的矩阵运算能够有效地使用GPU对其进行并行加速，从而提高了图像数据集的稀疏表示的处理速度，降低了图像数据集进行稀疏表示时耗费的时间。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种图像数据集的稀疏表示的加速方法，其特征在于，所述方法包括：

获得图像数据集S，S＝{Y_i|1≤i≤s^Y_i∈R^n×N}；

通过IK-SVD算法训练所述S中的Y₁获得超完备字典D₁；

根据Y₂、…、Y_s对所述超完备字典D₁进行S-1次更新，其中，在每一次更新时通过GPU计算递归Cholesky分解中的矩阵运算，直到收敛。

2.如权利要求1所述的方法，其特征在于，所述S能够通过基于超完备字典D_s＝{d₁，…，d_n}的稀疏系数矩阵序列X_s＝{x₁，…，x_s}稀疏表示。

3.如权利要求2所述的方法，其特征在于，所述在每一次更新时通过GPU计算递归Cholesky分解的矩阵运算，包括：

选取新的更新原子；以及

通过GPU计算递归Cholesky分解中矩阵的左上角矩阵L^n-1更新；以及

通过GPU计算所述矩阵中子矩阵A和子矩阵B的顺序更新。

4.如权利要求3所述的方法，其特征在于，所述选取新的原子，具体包括：通过和选取所述新的原子。

5.如权利要求3所述的方法，其特征在于，所述通过GPU计算递归Cholesky分解中矩阵的左上角矩阵L^n-1更新，具体为：

通过GPU计算L^n-1←K(Solve{L^n-1＝KDK^T}in parallel)。

6.如权利要求3所述的方法，其特征在于，所述通过GPU计算所述矩阵中子矩阵A和子矩阵B的顺序更新，包括：

通过GPU计算A←Temp(Temp＝AK^-T in parallel)和B←TempTemp^T in parallel。

7.一种图像数据集的稀疏表示的加速装置，其特征在于，包括:

获得单元，用于获得图像数据集S，S＝{Y_i|1≤i≤s^Y_i∈R^n×N}；

训练单元，用于通过IK-SVD算法训练所述S中的Y₁获得超完备字典D₁；

更新单元，用于根据Y₂、…、Y_s对所述超完备字典D₁进行S-1次更新，其中，在每一次更新时通过GPU计算递归Cholesky分解中的矩阵运算，直到收敛。

8.如权利要求7所述的装置，其特征在于，所述S能够通过基于超完备字典D_s＝{d₁，…，d_n}的稀疏系数矩阵序列X_s＝{x₁，…，x_s}稀疏表示。

9.如权利要求8所述的装置，其特征在于，所述更新单元具体用于选取新的更新原子，以及通过GPU计算递归Cholesky分解中矩阵的左上角矩阵L^n-1更新，以及通过GPU计算所述矩阵中子矩阵A和子矩阵B的顺序更新。

10.如权利要求9所述的装置，其特征在于，所述更新单元具体用于通过GPU计算L^n-1←K(Solve{L^n-1＝KDK^T}in parallel)，以及通过GPU计算A←Temp(Temp＝AK^-T in parallel)和B←TempTemp^T in parallel。