CN104809695B - 一种数据去噪的方法及装置 - Google Patents

Abstract

本发明实施例公开了一种数据去噪的方法及装置，用于对大规模的数据集进行去噪，提高降噪处理速率，并适用于流处理等对处理速度要求较高的应用场景。本发明实施例包括：将需要去噪的数据作为输入，代入携带有全变差TV范数的模型；根据预置变量分解策略，将所述携带有全变差TV范数的模型进行变换；基于交替方向乘子法ADMM算法，将变换后的模型进行重构转换；迭代求解重构转换后的模型，得到去噪后的数据。

Description

一种数据去噪的方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种基于交替方向乘子法（ADMM，alternating direction method of multipliers）的全变差数据去噪方法及装置。

背景技术

目前，数据噪声是广泛存在的。例如，从Sensor Network（传感器网络）中获取的数据，往往因为传感器的采集精度，或者与数据采集设备的交互过程受到的外界干扰，所获取的数据往往包含有不但不可用，而且会影响，甚至于误导数据分析过程的噪声数据。例如，对于数字图像数据，噪声会造成图像模糊，影响图像质量。

一种常用的数据去噪的思路是引入基于数据内在结构的正则化项，并且，数据噪声的强弱可以用全变差（TV，Total Variation）的大小来反映。而现有技术中，Split-Bregman是一种灵活的算法，用于解决不可微凸最小化问题，对具有向量1-范数或TV范数正则化的问题尤为高效。可用于处理高斯噪声，并可扩张到其他的噪声模型的降噪处理中。

Split-Bregman算法中，全变差可以通过属性数据值的矢量大小加和近似的表示：

上述公式定义了多维变量u的TV范数。其中的指离散梯度。Split Bregman的思想在于使用分裂算子与Bregman迭代去求解约束最小化问题：

通过引入d，式中的第一部分与第二部分不再直接相关。则每次Bregman迭代解决的问题如下：

上述公式中b为与Bregman迭代算法关联的变量，惩罚参数γ为一个正常数。通过分别确定u与d进行上式的子问题求解，然后更新b的方式进行迭代。最终求出降噪的数据u。

可是，现有的该方法的计算复杂性通常较高，从而需要有更好的计算能力对计算过程予以支撑。随着数据集的不断扩大，所需的计算能力也随之变大，因此，现有的算法是不适用于大规模的数据集。另外，一些对计算能力要求不高的方法通常需要较长的时间才能收敛出最终结果。而在流处理系统中包含有前述背景技术中描述的类似场景，需要系统能够作为快速处理，使数据能够迅速的进入下一步的处理，现有的相关方法就不能提供很好的支撑，从而会影响整个流处理系统的实施效果。

发明内容

本发明实施例提供了一种数据去噪的方法及装置，用于对大规模的数据集进行去噪，提高降噪处理速率，并适用于流处理等对处理速度要求较高的应用场景。

有鉴于此，本发明第一方面提供一种数据去噪的方法，其中，可包括：

将需要去噪的数据作为输入，代入携带有全变差TV范数的模型；

根据预置变量分解策略，将所述携带有全变差TV范数的模型进行变换；

基于交替方向乘子法ADMM算法，将变换后的模型进行重构转换；

迭代求解重构转换后的模型，得到去噪后的数据。

在第一方面的第一种可能的实现方式中，所述将需要去噪的数据作为输入，代入携带有全变差TV范数的模型之前，包括：

将输入为矩阵表示的数据集转换为离散集表示；

将离散集表示的数据分解成若干个不存在交集的子集。

结合第一方面第一种的实现方式，在第二种可能的实现方式中：所述根据预置变量分解策略，将所述携带有全变差TV范数的模型进行变换，包括：

将所述携带有全变差TV范数的模型中的TV范数项分解为若干项，其中，每一项中的每个组成元素均不耦合于其所在所述子集中的其它组成元素；

将分解后的携带有全变差TV范数的模型进行变换。

结合第一方面或第一方面第一种的实现方式或第二种可能的实现方式，在第三种可能的实现方式中：所述迭代求解重构转换后的模型，得到去噪后的数据之前，包括：

将重构转换后的模型转换成相应的增广拉格朗日优化问题。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中：所述迭代求解重构转换后的模型，得到去噪后的数据，包括：

迭代求解转换后的所述增广拉格朗日优化问题，获取到相对应的输出矩阵，对所述输出矩阵进行格式转换，得到去噪后的数据。

结合第一方面的第三种可能的实现方式，在第五种可能的实现方式中：所述迭代求解重构转换后的模型，得到去噪后的数据，包括：

利用ADMM算法，迭代求解转换后的所述增广拉格朗日优化问题，并行求解出变量因子以及相对应的输出矩阵；

对所述输出矩阵进行格式转换，得到去噪后的数据。

本发明第二方面提供一种数据去噪的装置，其中，可包括：

输入模块，用于将需要去噪的数据作为输入，代入携带有全变差TV范数的模型；

变换模块，用于根据预置变量分解策略，将所述携带有全变差TV范数的模型进行变换；

重构模块，用于基于交替方向乘子法ADMM算法，将变换后的模型进行重构转换；

迭代输出模块，用于迭代求解重构转换后的模型，得到去噪后的数据。

在第二方面的第一种可能的实现方式中，所述装置还包括：

分解模块，用于将输入为矩阵表示的数据集转换为离散集表示，将离散集表示的数据分解成若干个不存在交集的子集。

结合第二方面第一种的实现方式，在第二种可能的实现方式中：所述变换模块具体用于：

将所述携带有全变差TV范数的模型中的TV范数项分解为若干项，其中，每一项中的每个组成元素均不耦合于其所在所述子集中的其它组成元素；将分解后的携带有全变差TV范数的模型进行变换。

结合第二方面或第二方面第一种的实现方式或第二种可能的实现方式，在第三种可能的实现方式中：所述重构模块还用于：

将重构转换后的模型转换成相应的增广拉格朗日优化问题。

结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中：所述迭代输出模块具体用于：

迭代求解转换后的所述增广拉格朗日优化问题，获取到相对应的输出矩阵，对所述输出矩阵进行格式转换，得到去噪后的数据。

结合第二方面的第三种可能的实现方式，在第五种可能的实现方式中：所述迭代输出模块具体用于：

利用ADMM算法，迭代求解转换后的所述增广拉格朗日优化问题，并行求解出变量因子以及相对应的输出矩阵；对所述输出矩阵进行格式转换，得到去噪后的数据。

从以上技术方案可以看出，本发明实施例提供的一种数据去噪的方法及装置具有以下优点：根据数据在空间或时间上存在的延续性，通过全变差作为正则化项以求解一个数学优化问题，从而可以高效地去除数据中的噪声；基于变量分解和ADMM算法可并行化地迭代求解模型，使得降噪处理的速度变得更快。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供了一种数据去噪的方法流程示意图；

图2a为本发明实施例提供的数据去噪的方法的实验验证示意图；

图2b为本发明实施例提供的数据去噪的方法的另一实验验证示意图；

图3为本发明实施例提供了一种数据去噪的装置结构示意图；

图4为本发明实施例提供了数据去噪的装置另一结构示意图。

具体实施方式

本发明实施例提供了一种数据去噪的方法及装置，用于对大规模的数据集进行去噪，提高降噪处理速率，并适用于流处理等对处理速度要求较高的应用场景。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，为了更好的理解本发明技术方案，以下对本发明思路进行简单描述：一种常用的数据去噪的思路是引入基于数据内在结构的正则化项。数据内在结构具有多种形式。最常见的是对于时空数据，可以观测到时间或者空间维度的某种连续性。例如，在无线通信领域中，可以依靠基站与设备间信号的强弱，对手机进行三角定位，从而得到某特定手机的运动轨迹。由于上述信号经常受到干扰，所估计的运动轨迹含有明显的噪声。在去噪的过程中，一种有用的信息是轨迹上时间临近的两个位置点应当是连续的。另外一个例子是图像去噪，图像具有严格的空间结构（二维栅格），相邻的两个像素通常表达了类似的内容（例如都描述了拍摄场景中的同一物体），造成其亮度值也具有某种连续性。这种信息可以作为正则化项（regularization）来取得更好的数据去噪效果。

下面通过具体实施例，分别进行详细的说明。

请参考图1，图1为本发明实施例提供了一种数据去噪的方法流程示意图；其中，所述数据去噪的方法可包括：

步骤101、将需要去噪的数据作为输入，代入携带有全变差TV范数的模型；

步骤102、根据预置变量分解策略，将所述携带有全变差TV范数的模型进行变换；

步骤103、基于交替方向乘子法ADMM算法，将变换后的模型进行重构转换；

步骤104、迭代求解重构转换后的模型，得到去噪后的数据。

可以理解的是，本发明实施例提供的数据去噪的方法，是一种基于交替方向乘子法（ADMM，Alternating Direction Method of Multipliers）的全变差快速数据去噪方法，尤其适用于具有时间延续性或空间连续性的一维或二维数据，本发明对数据的维度不作具体限定。

首先，本发明实施例中数据噪声的强弱可以用全变差的大小来反映。其中，全变差的数学定义可参考如下：

设f(x)为实数闭区间[a,b]的一个函数，而△：a=x₀<x₁<x₂<……x_n=b为闭区间[a,b]的任意一个分划，称

为函数f(x)在闭区间[a,b]的变差。称

为函数f(x)在闭区间[a,b]上的全变差。

对于前述的描述的移动设备运动轨迹数据、图像数据等，包含有噪声数据的原始数据意味着高的全变差，将原始噪声数据通过矩阵Y∈R^m*n（m,n均为正整数）则带有全变差正则化项（regularization）的数据去噪模型可表示为：

其中，上述模型中||.||_F与||.||_TV分别表示Frobenius范数与TV范数，λ为正参数，X∈R^m*n为待定的去噪后的数据矩阵。其中，TV范数的定义是前述定义的离散化表示。例如，对于二维栅格数据，TV范数的定义如下：

其中，D_i，jX＝((D₁X)_i，j，(D₂X)_i，j)^T，并且当i<m时，(D₁X)_i,j=x_i+1,j-x_i,j，否则为0。类似的，当j<n时，(D₂X)_i,j=x_i,j+1-x_i,j，否则为0。TV范数对于一维或者高维数据的定义类似可得。

进一步地，ADMM算法是结合了对偶上升（dual ascent）可分解性与乘子法较好的收敛性的算法。其中，该算法要解决的问题如下：

Minimize{f(x)+g(z)}；

s.t.Ax+Bz=c；

其中，x∈Rⁿ，z∈Rⁿ，A∈R^p×n，B∈R^p×m，c∈R^p；且函数f与g都是凸函数（convexfunction），其中R为实数。在乘子法中，增广拉格朗日函数（Augmented Lagrangian）为：

式中ρ>0为增广拉格朗日参数。

则ADMM由以下迭代构成：

y^k+1:=y^k+ρ(Ax^k+1+Bz^k+1-c)；

其中，ADMM方法各步骤的求解是可以并行计算的。

由上述可知，本发明实施例提供的一种数据去噪的方法具有以下优点：根据数据在空间或时间上存在的延续性，通过全变差作为正则化项以求解一个数学优化问题，从而可以高效地去除数据中的噪声；基于ADMM算法可并行化地迭代求解模型，使得降噪处理的速度变得更快。

在本发明一些实施例中，所述将需要去噪的数据作为输入，代入携带有全变差TV范数的模型（即步骤101）之前，可以包括：

将输入为矩阵表示的数据集转换为离散集表示；

将离散集表示的数据分解成若干个（例如，若二维数据为三个）不存在交集的子集。

进一步地，所述根据预置变量分解策略，将所述携带有全变差TV范数的模型进行变换（即步骤102），可以包括：

将所述携带有全变差TV范数的模型中的TV范数项分解为若干项，其中，每一项中的每个组成元素均不耦合于其所在所述子集中的其它组成元素；

将分解后的携带有全变差TV范数的模型进行变换。

在该实施例方式中，所述迭代求解重构转换后的模型，得到去噪后的数据（即步骤104）之前，可以包括：

将重构转换后的模型转换成相应的增广拉格朗日优化问题。

进而，所述迭代求解重构转换后的模型，得到去噪后的数据（即步骤104），可以包括：

迭代求解转换后的所述增广拉格朗日优化问题，获取到相对应的输出矩阵，对所述输出矩阵进行格式转换，得到去噪后的数据。

优选地，在一些实施方式中，可以利用ADMM算法对转换后模型进行求解，则所述迭代求解重构转换后的模型，得到去噪后的数据（即步骤104），可以包括：

利用ADMM算法，迭代求解转换后的所述增广拉格朗日优化问题，并行求解出变量因子以及相对应的输出矩阵；对所述输出矩阵进行格式转换，得到去噪后的数据。

为了更好地理解本发明技术方案，下面以一个具体例子对本发明数据去噪方法进行分析说明：其中，本发明数据去噪方法基于TV正则化的模型中的变量是高度耦合的。为简化计算，本发明数据去噪方法通过引入辅助变量，对其加以分离，使得模型优化计算的并行度可以得到提升。

以二维信号为例，对于一个用m*n的矩阵表示的数据集，将矩阵数据集表示为离散集D={(i,j):i=1,2,…,m,j=1,2,…,n}，然后将D分解为三个不存在交集的子集：

D_k={(i,j)∈D:mod(j-i,3)=k-1}；

其中，公式中k=1，2，3。那么全变差模型函数（即所述携带有全变差TV范数的模型）中的TV范数项||X||_TV可以相应的分解为三个部分：

这样对于每一项中的每一个||D_i,j||₂,(i,j)∈D_k均不同于D_k集中其他任何一项||D_i′,j′||_2′(i′,j′)∈D_k/(i,j)。

通过前述有分解策略，将全变差模型函数变换为：

基于ADMM方法，上式可重构变换为：

相应的增广拉格朗日优化问题为：

基于该增广拉格朗日优化问题，分别通过指定X，X₁,X₂,X₃，然后更新θ₁,θ₂,θ₃的迭代方式进行求解，最终获取得到相应的输出矩阵X，最后通过前述所提及的将原始数据表示为矩阵的方法的逆变化得到最终的输出数据。

可以理解的是，迭代求解优化的算法可参考如下：

Algorithm1FAD(Fast ADMM for TV Models)

Input:Y,λ,γ>0

for i=0to K do

end for

Return:X^k

进一步地，在该实施例中，可一并参考图2a和图2b所示的数据去噪的方法的系统实验验证示意图，图中示出了本发明的非并化FAD（fast ADMM，快速ADMM算法）方案，并行化pFAD（parallel fast ADMM，并行快速ADMM算法）方案，以及SplitBregman与MFISTA的计算时间效率对比，其中，图2a所示n代表算法合成（synthetic）得到的图像的边长，图2b所示λ（regularization parameter）为正则化参数。极端情形下，本方案所描述的基于变量分解，全变差TV范数和ADMM的算法的效果，与目前业界内最好的SplitBregman的算法的结果相近，并且本发明的分解计算策略的求解效率远远高于其它传统算法。

由上述可知，本发明实施例提供的一种数据去噪的方法，其主要思想是根据数据在空间或时间上存在的延续性，通过全变差作为正则化项以求解一个数学优化问题，从而可以高效地去除数据中的噪声。进一步地，提出了一种高度并行算法以求解大规模数据条件下的上述模型。这种高度并行性来自于两个方面。首先，变量分解策略的引入使得原模型中高度耦合的变量得到分离，这样可以大大降低优化问题的复杂度。其次，本发明采用了基于交替方向乘子法ADMM的优化算法，采用这一算法，原始的基于TV正则化的模型的问题域可被分解为多个小的且独立的子问题。每个子问题包括有少量的变量，且有显式（解析）的解，即这样可以使得原来需要解决的大问题能够了分解成为多个可并行化的解决的小问题。并且，ADMM适用于适合于并行化的实施应用，使降噪处理的速度变得更快，并适用于流处理等对处理速度要求较高的应用场景。

为便于更好的实施本发明实施例提供的数据去噪的方法，本发明实施例还提供一种基于上述数据去噪方法的装置。其中名词的含义与上述数据去噪方法中相同，具体实现细节可以参考方法实施例中的说明。

请参考图3，图3为本发明实施例提供了一种数据去噪的装置结构示意图；其中，所述数据去噪的装置可包括：

输入模块301，用于将需要去噪的数据作为输入，代入携带有全变差TV范数的模型；

变换模块302，用于根据预置变量分解策略，将所述携带有全变差TV范数的模型进行变换；

重构模块303，用于基于交替方向乘子法ADMM算法，将变换后的模型进行重构转换；

迭代输出模块304，用于迭代求解重构转换后的模型，得到去噪后的数据。

可以理解的是，本发明实施例提供的数据去噪的装置，是基于交替方向乘子法ADMM的全变差快速数据去噪方法，尤其适用于具有时间延续性或空间连续性的一维或二维数据，本发明对此不作具体限定。

其中，本发明实施例中数据噪声的强弱可以用全变差的大小来反映。全变差的数学定义可参考如下：

设f(x)为实数闭区间[a,b]的一个函数，而△：a=x₀<x₁<x₂<……x_n=b为闭区间[a,b]的任意一个分划，称

为函数f(x)在闭区间[a,b]的变差。称

为函数f(x)在闭区间[a,b]上的全变差。

对于前述的描述的移动设备运动轨迹数据、图像数据等，包含有噪声数据的原始数据意味着高的全变差，将原始噪声数据通过矩阵Y∈R^m*n（m,n均为正整数）表示，则带有全变差正则化项（regularization）的数据去噪模型可表示为：

其中，上述模型中||.||_F与||.||_TV分别表示Frobenius范数与TV范数，λ为正参数，X∈R^m*n为待定的去噪后的数据矩阵。其中，TV范数的定义是前述定义的离散化表示。例如，对于二维栅格数据，TV范数的定义如下：

其中，D_i,jX=((D₁X)_i,j,(D₂X)_i,j)^T，并且当i<m时，(D₁X)_i,j=x_i+1,j-x_i,j，否则为0。类似的，当j<n时，(D₂X)_i,j=x_i,j+1-x_i,j，否则为0。TV范数对于一维或者高维数据的定义类似可得。

进一步地，ADMM算法是结合了对偶上升（dual ascent）可分解性与乘子法较好的收敛性的算法。其中，该算法要解决的问题如下：

Minimize{f(x)+g(z)}；

s.t.Ax+Bz=c；

其中，x∈Rⁿ，z∈Rⁿ，A∈R^p×n，B∈R^p×m，c∈R^p；且函数f与g都是凸函数（convexfunction），其中R为实数。在乘子法中，增广拉格朗日函数（Augmented Lagrangian）为：

式中ρ>0为增广拉格朗日参数。

则ADMM由以下迭代构成：

其中，ADMM方法各步骤的求解是可以并行计算的。

优选地，所述数据去噪的装置还可以包括：

分解模块，用于将输入为矩阵表示的数据集转换为离散集表示，将离散集表示的数据分解成若干个不存在交集的子集。

在该实施方式下，所述变换模块302具体用于：

将所述携带有全变差TV范数的模型中的TV范数项分解为若干（二维数据为三项）项，其中，每一项中的每个组成元素均不耦合于其所在所述子集中的其它组成元素；将分解后的携带有全变差TV范数的模型进行变换。

进一步地，所述重构模块303还可以用于：

将重构转换后的模型转换成相应的增广拉格朗日优化问题。

进而，所述迭代输出模块304可以具体用于：

迭代求解转换后的所述增广拉格朗日优化问题，获取到相对应的输出矩阵，对所述输出矩阵进行格式转换，得到去噪后的数据。

优选地，在一些实施方式中，可以利用ADMM算法对转换后模型进行求解，则所述迭代输出模块304可以具体用于：

利用ADMM算法，迭代求解转换后的所述增广拉格朗日优化问题，并行求解出变量因子以及相对应的输出矩阵；对所述输出矩阵进行格式转换，得到去噪后的数据。

需要说明的是，本发明数据去噪装置用于数据去噪，基于TV正则化的模型中的变量是高度耦合的。为简化计算，可以通过引入辅助变量，对其加以分离，使得模型优化计算的并行度可以得到提升。

以二维信号为例，对于一个用m*n的矩阵表示的数据集，将矩阵数据集表示为离散集D={(i,j):i=1,2,…,m,j=1,2,…,n}，然后将D分解为三个不存在交集的子集：

D_k={(i,j)∈D:mod(j-i,3)=k-1}；

其中，公式中k=1，2，3。那么全变差模型函数（即所述携带有全变差TV范数的模型）中的TV范数项||X||_TV可以相应的分解为三个部分：

这样对于每一项中的每一个||D_i,j||₂,(i,j)∈D_k均不同于D_k集中其他任何一项||D_i′,j′||_2′(i′,j′)∈D_k/(i,j)。

通过前述有分解策略，将全变差模型函数变换为：

基于ADMM方法，上式可重构变换为：

相应的增广拉格朗日优化问题为：

基于该增广拉格朗日优化问题，分别通过指定X，X₁,X₂,X₃，然后更新θ₁,θ₂,θ₃的迭代方式进行求解，最终获取得到相应的输出矩阵X，最后通过前述所提及的将原始数据表示为矩阵的方法的逆变化得到最终的输出数据。

可一并参考图2a和图2b所示的数据去噪的方法的系统实验验证示意图，其中，本方案所描述的基于变量分解，全变差TV范数和ADMM的算法的效果，与目前业界内最好的SplitBregman的算法的结果相近，并且本发明的分解计算策略的求解效率远远高于其它传统算法。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

由上述可知，本发明实施例提供的一种数据去噪的方法，其主要思想是根据数据在空间或时间上存在的延续性，通过全变差作为正则化项以求解一个数学优化问题，从而可以高效地去除数据中的噪声。进一步地，提出了一种高度并行算法以求解大规模数据条件下的上述模型。这种高度并行性来自于两个方面。首先，变量分解策略的引入使得原模型中高度耦合的变量得到分离，这样可以大大降低优化问题的复杂度。其次，本发明采用了基于交替方向乘子法ADMM的优化算法，采用这一算法，原始的基于TV正则化的模型的问题可被分解为多个小的且独立的子问题。每个子问题包括有少量的变量，且有显式（解析）的解，即这样可以使得原来需要解决的大问题能够了分解成为多个可并行化的解决的小问题。并且，ADMM适用于适合于并行化的实施应用，使降噪处理的速度变得更快，并适用于流处理等对处理速度要求较高的应用场景。

请参考图4，图4为本发明实施例提供的下行自适应调制编码的装置另一结构示意图，其中，可包括至少一个处理器401（例如CPU，Central Processing Unit），至少一个网络接口或者其它通信接口，存储器402，和至少一个通信总线，用于实现这些装置之间的连接通信。所述处理器401用于执行存储器中存储的可执行模块，例如计算机程序。所述存储器402可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个网络接口（可以是有线或者无线）实现该系统网关与至少一个其它网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

如图4所示，在一些实施方式中，所述存储器402中存储了程序指令，程序指令可以被处理器401执行，所述处理器401具体执行以下步骤：

将需要去噪的数据作为输入，代入携带有全变差TV范数的模型；根据预置变量分解策略，将所述携带有全变差TV范数的模型进行变换；基于交替方向乘子法ADMM算法，将变换后的模型进行重构转换；迭代求解重构转换后的模型，得到去噪后的数据。

可以理解的是，本发明实施例提供的数据去噪的装置，是基于交替方向乘子法ADMM的全变差快速数据去噪方法，尤其适用于具有时间延续性或空间连续性的一维或二维数据，本发明对此不作具体限定。另容易想到的是，该实施例中涉及的全变差的数学定义，全变差正则化项（regularization）的数据去噪模型以及ADMM算法的迭代构成可以参考方法实施例中的相关描述，此处不作具体限定。

优选地，所述处理器401所述将需要去噪的数据作为输入，代入携带有全变差TV范数的模型之前，还用于：将输入为矩阵表示的数据集转换为离散集表示；将离散集表示的数据分解成若干个不存在交集的子集。

进一步地，所述处理器401根据预置变量分解策略，将所述携带有全变差TV范数的模型进行变换，可以具体用于：将所述携带有全变差TV范数的模型中的TV范数项分解为若干项，其中，每一项中的每个组成元素均不耦合于其所在的所述子集中的其它组成元素；将分解后的携带有全变差TV范数的模型进行变换。

在该实施例方式中，所述处理器401迭代求解重构转换后的模型，得到去噪后的数据（即步骤104）之前，还用于：将重构转换后的模型转换成相应的增广拉格朗日优化问题。

进而，所述处理器401迭代求解重构转换后的模型，得到去噪后的数据，可以具体用于：迭代求解转换后的所述增广拉格朗日优化问题，获取到相对应的输出矩阵，对所述输出矩阵进行格式转换，得到去噪后的数据。

优选地，在一些实施方式中，可以利用ADMM算法对转换后模型进行求解，则所述处理器401迭代求解重构转换后的模型，得到去噪后的数据（即步骤104），可以具体用于：利用ADMM算法，迭代求解转换后的所述增广拉格朗日优化问题，并行求解出变量因子以及相对应的输出矩阵；对所述输出矩阵进行格式转换，得到去噪后的数据。

由上述可知，本发明实施例提供的一种数据去噪的方法具有以下优点：根据数据在空间或时间上存在的延续性，通过全变差作为正则化项以求解一个数学优化问题，从而可以高效地去除数据中的噪声；基于ADMM算法可并行化地迭代求解模型，使得降噪处理的速度变得更快。

本发明数据去噪装置用于数据去噪，基于TV正则化的模型中的变量是高度耦合的。为简化计算，可以通过引入辅助变量，对其加以分离，使得模型优化计算的并行度可以得到提升。

以二维信号为例，对于一个用m*n的矩阵表示的数据集，将矩阵数据集表示为离散集D={(i,j):i=1,2,…,m,j=1,2,…,n}，然后将D分解为三个不存在交集的子集：

D_k={(i,j)∈D:mod(j-i,3)=k-1}；

其中，公式中k=1，2，3。那么全变差模型函数（即所述携带有全变差TV范数的模型）中的TV范数项||X||_TV可以相应的分解为三个部分：

这样对于每一项中的每一个||D_i,j||₂,(i,j)∈D_k均不同于D_k集中其他任何一项||D_i′,j′||_2′(i′,j′)∈D_k/(i,j)。

通过前述有分解策略，将全变差模型函数变换为：

基于ADMM方法，上式可重构变换为：

相应的增广拉格朗日优化问题为：

基于该增广拉格朗日优化问题，分别通过指定X，X₁,X₂,X₃，然后更新θ₁,θ₂,θ₃的迭代方式进行求解，最终获取得到相应的输出矩阵X，最后通过前述所提及的将原始数据表示为矩阵的方法的逆变化得到最终的输出数据。

可一并参考图2a和图2b所示的数据去噪的方法的系统实验验证示意图，其中，本方案所描述的基于变量分解，全变差TV范数和ADMM的算法的效果，与目前业界内最好的SplitBregman的算法的结果相近，并且本发明的分解计算策略的求解效率远远高于其它传统算法。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

由上述可知，本发明实施例提供的一种数据去噪的方法，其主要思想是根据数据在空间或时间上存在的延续性，通过全变差作为正则化项以求解一个数学优化问题，从而可以高效地去除数据中的噪声。进一步地，提出了一种高度并行算法以求解大规模数据条件下的上述模型。这种高度并行性来自于两个方面。首先，变量分解策略的引入使得原模型中高度耦合的变量得到分离，这样可以大大降低优化问题的复杂度。其次，本发明采用了基于交替方向乘子法ADMM的优化算法，采用这一算法，原始的基于TV正则化的模型的问题可被分解为多个小的且独立的子问题。每个子问题包括有少量的变量，且有显式（解析）的解，即这样可以使得原来需要解决的大问题能够了分解成为多个可并行化的解决的小问题。并且，ADMM适用于适合于并行化的实施应用，使降噪处理的速度变得更快，并适用于流处理等对处理速度要求较高的应用场景。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所描述的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本发明所提供的一种数据去噪的方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种数据去噪的方法，其特征在于，包括：

将输入为矩阵表示的数据集转换为离散集表示；

将离散集表示的数据分解成若干个不存在交集的子集；

将需要去噪的数据作为输入，代入携带有全变差TV范数的模型；

根据预置变量分解策略，将所述携带有全变差TV范数的模型进行变换；

基于交替方向乘子法ADMM算法，将变换后的模型进行重构转换；

并行化迭代求解重构转换后的模型，得到去噪后的数据；

其中，所述携带有全变差TV范数的模型如下：

其中，||.||_F与||.||_TV分别表示Frobenius范数与TV范数，λ为正参数，X∈R^m*n为待定的去噪后的数据矩阵，矩阵Y∈R^m*n为原始噪声数据，m,n均为正整数；

其中，所述根据预置变量分解策略，将所述携带有全变差TV范数的模型进行变换，包括：将所述携带有全变差TV范数的模型中的TV范数项分解为若干项，其中，每一项中的每个组成元素均不耦合于其所在所述子集中的其它组成元素；将分解后的携带有全变差TV范数的模型进行变换；所述若干项的数量与所述若干个的数量相同。

2.根据权利要求1所述的方法，其特征在于，所述并行化迭代求解重构转换后的模型，得到去噪后的数据之前，包括：

将重构转换后的模型转换成相应的增广拉格朗日优化问题。

3.根据权利要求2所述的方法，其特征在于，所述并行化迭代求解重构转换后的模型，得到去噪后的数据，包括：

迭代求解转换后的所述增广拉格朗日优化问题，获取到相对应的输出矩阵，对所述输出矩阵进行格式转换，得到去噪后的数据。

4.根据权利要求3所述的方法，其特征在于，所述并行化迭代求解重构转换后的模型，得到去噪后的数据，包括：

利用ADMM算法，迭代求解转换后的所述增广拉格朗日优化问题，并行求解出变量因子以及相对应的输出矩阵；

对所述输出矩阵进行格式转换，得到去噪后的数据。

5.一种数据去噪的装置，其特征在于，包括：

分解模块，用于将输入为矩阵表示的数据集转换为离散集表示，将离散集表示的数据分解成若干个不存在交集的子集；

输入模块，用于将需要去噪的数据作为输入，代入携带有全变差TV范数的模型；

变换模块，用于根据预置变量分解策略，将所述携带有全变差TV范数的模型进行变换；其中，所述变换模块具体用于：将所述携带有全变差TV范数的模型中的TV范数项分解为若干项，其中，每一项中的每个组成元素均不耦合于其所在所述子集中的其它组成元素；将分解后的携带有全变差TV范数的模型进行变换；所述若干项的数量与所述若干个的数量相同；

重构模块，用于基于交替方向乘子法ADMM算法，将变换后的模型进行重构转换；

迭代输出模块，用于并行化迭代求解重构转换后的模型，得到去噪后的数据；

其中，所述携带有全变差TV范数的模型如下：

其中，||.||_F与||.||_TV分别表示Frobenius范数与TV范数，λ为正参数，X∈R^m*n为待定的去噪后的数据矩阵，矩阵Y∈R^m*n为原始噪声数据，m,n均为正整数。

6.根据权利要求5所述的装置，其特征在于，所述重构模块还用于：

将重构转换后的模型转换成相应的增广拉格朗日优化问题。

7.根据权利要求6所述的装置，其特征在于，所述迭代输出模块具体用于：

迭代求解转换后的所述增广拉格朗日优化问题，获取到相对应的输出矩阵，对所述输出矩阵进行格式转换，得到去噪后的数据。

8.根据权利要求6所述的装置，其特征在于，所述迭代输出模块具体用于：

利用ADMM算法，迭代求解转换后的所述增广拉格朗日优化问题，并行求解出变量因子以及相对应的输出矩阵；对所述输出矩阵进行格式转换，得到去噪后的数据。