CN107451618A

CN107451618A - 一种密度峰值聚类算法的差分隐私保护方法

Info

Publication number: CN107451618A
Application number: CN201710680326.7A
Authority: CN
Inventors: 孟小峰; 郭胜娜
Original assignee: Renmin University of China
Current assignee: Renmin University of China
Priority date: 2017-08-10
Filing date: 2017-08-10
Publication date: 2017-12-08

Abstract

本发明涉及一种密度峰值聚类算法的差分隐私保护方法，其步骤：1)基于Voronoi图分割的方法对数据对象进行分组，并采用Map Reduce技术来并行计算，提高算法的效率；2)对数据集D中每一个点x_i计算局部密度2.1)需要从分组聚簇S_i复制四个点到S_j；2.2)往数据集中添加噪音；2.3)使得ρ'的计算满足ε‑差分隐私保护；3)对每一个点x_i计算密度距离在计算值时，为解决因分组导致的计算错误，采用复制过滤模型来保证聚类隐私保护的正确性。并将数据集中添加噪音，其处理方法与步骤2.1)至2.2)相同，使δ”的计算满足ε‑差分隐私。本发明能解决大数据背景下的新型密度峰值聚类算法的隐私保护，保证聚类的正确性。

Description

一种密度峰值聚类算法的差分隐私保护方法

技术领域

本发明涉及一种差分隐私保护方法，特别是关于一种密度峰值聚类算法的差分隐私保护方法。

背景技术

随着差分隐私保护的技术出现，对于传统的聚类算法，出现了很多差分隐私保护的聚类方法。但是对于大数据下新型的聚类算法还没提出相应的隐私保护方法。隐私保护k-means聚类和隐私保护DBSCAN已经被研究。不同于差分隐私，他们不能够对会潜在泄露个人信息的结果提供保护。聚类的结果中可能包含新的实体或结点之间未知的关系，因此聚类可能揭示敏感信息。

到目前为止，研究最多的是对k-means聚类算法的隐私保护。从2003到2008 年，大多数的k-means算法研究采用安全多方计算，其中数据的分布类型包括垂直数据，水平数据和混合数据。上述工作采用的是Yao协议和同态加密技术。隐私代价是通过计算和通信成本来衡量的，对比于同态加密技术的隐私代价，Yao 协议代价将更大，而且同态加密技术的加密成本也是不容忽视的。传统的基于分割的聚类算法(最常见的为k-means算法)不能够发现非球面形状的聚簇，基于密度的聚类方法可以识别，经典的基于密度的聚类算法为DBSCAN。对此聚类算法的一些隐私保护工作包括Kunar et al.(针对水平和垂直分布的数据)，以及 Jinfeiet.al(数据分布特征可以是任意分布的)，他们都是基于Pailler的加法同态加密技术的乘法协议。但是，这些安全函数保护协议都忽略了一个问题就是没有函数使用来保护隐私的，他们并不提供保护个人敏感信息不被泄露。自从差分隐私被提出并被数据库领域广泛接受后，隐私保护要求已经实现了从句法模型更严格的差分隐私模型。

当然，其中去多工作是针对k-means算法。例如，McSherry构建了PINQ系统，实现了差分隐私保护k-means聚类算法。Nissim et al.提出了抽样与聚合框架，并应用到了GUPT系统中，也实现了对k-means算法进行了隐私保护。Zhang et al. 提出了基于遗传算法的差分隐私模型拟合，也应用到了k-means算法。

在数据类型多样性的背景下，Alex Rodriguez和Alessandro Laio提出了快速搜索和发现密度峰值的聚类算法(DPC算法)。此聚类算法能够聚出任意形状和任意维度的数据集，它可以很好的应用于生物信息学、文献计量学、模式识别。据我们所知，目前关于此聚类算法还没有隐私保护的工作。

发明内容

针对上述问题，本发明的目的是提供一种密度峰值聚类算法的差分隐私保护方法，该方法能解决大数据背景下的新型密度峰值聚类算法的隐私保护，保证聚类的正确性。

为实现上述目的，本发明采取以下技术方案：一种密度峰值聚类算法的差分隐私保护方法，其特征在于包括以下步骤：1)基于Voronoi图分割的方法对数据对象进行分组；2)对数据集D中每一个点x_i计算局部密度2.1)需要从分组聚簇S_i复制四个点到S_j；2.2)往数据集中添加噪音：

式中，ρ'表示加入噪音后的局部密度值，表示点x_i和点x_j之间的距离，d_c表示阈值，Lap(β)表示加入的噪音，β表示加入的噪音量，χ()表示是一个函数，如果l＜0，则χ(l)＝1；否则χ(l)＝0，GS_ρ表示局部密度函数ρ的敏感度，ε₁表示第一阶段隐私预算；2.3)如果d_c满足如下不等式，则ρ'的计算满足ε-差分隐私保护：

3)对每一个点x_i计算密度距离并将数据集中添加噪音，其处理方法与步骤2.1)至2.2)相同，使δ”的计算满足ε-差分隐私。

进一步，所述步骤1)中，假设数据对象为数据集D，对于数据集D，挑选M 个点作为初始中心点集；然后根据垂直线，将数据集D分割成M个相互不相交的分组，数据集D中的每一个点被分配到最近的初始中心点所在的分组中。

进一步，所述步骤3)中，如果x_i应该从分组S_j复制到分组S_i中，复制后的分组满足如下等式：根据过滤冗余依赖模型对复制点过滤，如果满足s_j∈S_j，s_i∈S_i，|x_j，s_i|≤|s_j，s_i|-θ，则δ”的计算满足ε-差分隐私；其中，表示点s_i的局部密度值，δ”表示加噪音的密度距离次大值，θ＝{θ₁,θ₂}，θ₁＝max{|x_i,s_i|}+δ^s(S_i)，θ₂＝min{2|x_m,s_i|+|s_j,s_k|+|s_j,s_i|}，δ^s表示在分组中第二大密度距离。

进一步，所述过滤冗余依赖模型为：以δ^s表示在分组中第二大密度距离，S_i,S_j表示原始分组，s_i，x_i，x_m∈S_i；S_i≠S_j，有：

然后，对数据集添加噪音，使得添加的噪音量满足如下等式：

式中，表示两点之间的距离，表示点的局部密度值，ε₂表示第二阶段隐私预算。

本发明由于采取以上技术方案，其具有以下优点：本发明将差分隐私保护模型运用到新型的简洁的密度峰值聚类算法(Density peaks clustering，DPC)中，提出了一个新的隐私保护框架模型，为了避免直接对原始数据添加噪音而造成聚类结果严重失真，本发明采用Voronoi图分割的思想来降低噪音量，并采用 MapReduce并行计算加快算法的效率，同时通过复制过滤原则来保证聚类的正确性，并引入ε₁和ε₂分别保护聚类参数ρ和δ。

附图说明

图1是Voronoi图；

图2是数据复制；

图3是δ与δ'之间的关系；

图4是两点之间的依赖性；

图5是过滤冗余依赖点。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

在本发明中，出现的各符号含义如下：

D表示数据集，x_i是其中的任意一点。

S表示初始聚簇集，C是最终的聚簇集。

S_i∈S表示初始聚簇集中一个聚簇，且s_i是S_i的聚簇中心。

C_i∈C表示最终聚簇集中的一个聚簇，且C_i＝S_i+R_i，其中R_i是将要被复制的点集。

l表示Voronoi图的边界。

本发明提供一种密度峰值聚类算法的差分隐私保护方法，采用基于Voronoi 图分割的方法来解决基于DPC聚类算法的隐私保护问题。其包括以下步骤：

1)对数据对象进行预处理：基于Voronoi图分割的方法对数据对象进行分组；

分组过程为：假设数据对象为数据集D，对于数据集D，挑选M个点作为初始中心点集。然后根据垂直线，将数据集D分割成M个相互不相交的分组，数据集D中的每一个点被分配到最近的初始中心点所在的分组中，以提高DPC算法的效率和维持数据的可用性。

例如：如图1所示，将数据集分割成5个分组。首先通过MapReduce执行水库采样算法挑选初始中心点，然后计算每个点x_i到初始中心点s_i之间的距离，选择距离中心点最近的分组，将点x_i分配到此分组中。分组完成后，整个数据点集将被分成一系列不相交的分组。同时，采用水库采样方法采样任意两点之间的距离。

2)对数据集D中每一个点x_i计算局部密度

由于分组后，每一个分组是相对独立的，所以在计算每个分组内的数据点x_i的局部密度值时，点x_i的值可能会是一个错值。如图2所示，在分组S_j中，点 x_j的局部密度是8，然而它的真实值应该是12。

2.1)为了得到正确的局部密度ρ值，需要从分组聚簇S_i复制四个点到聚簇S_j (i、j为任意取值)。因此，每一个聚簇C_i不仅包含从Voronoi图分割得到的点集，还应包括复制到本组的其他分组中的点集即其中，如2所示，每一个分组包含两种类型的点，一个是从Voronoi图分割得到的原始点集，另一个是从其他分组复制过来的点集。

2.2)往数据集中添加噪音，以保证复制过程中数据隐私保护的正确性：

式中，ρ'表示加入噪音后的局部密度值；表示点x_i和点x_j之间的距离；d_c表示阈值；Lap(β)表示加入的噪音；β表示加入的噪音量；χ()表示是一个函数，如果l＜0，则χ(l)＝1；否则χ(l)＝0；，GS_ρ表示局部密度函数ρ的敏感度，ε₁表示第一阶段隐私预算。

2.3)如果d_c满足如下不等式，则ρ'的计算满足ε-差分隐私保护：

3)对每一个点x_i计算密度距离

点x_i的密度距离表示为点x_i到比局部密度大的点或是全局最大局部密度值的点的最近距离。因此，对于具有局部密度值最大的点，定义为

由于也是在每个分组内计算密度距离值，同样类似于计算局部密度值，其处理方法与步骤2.1)至2.2)相同，密度距离次大值δ'的值将会大于真实的密度距离值。例如，如图3所示，会出现计算错误的原因是，x_i和s_i位于不同的分组中，而他们应该放到同一个分组中。在分组S_j中，s_j是x_i的依赖点，然而实际情况，s_i是x_i的依赖点。

如果x_i应该从分组S_j复制到分组S_i中。显然，复制后的分组满足如下等式：但是这样将会产生许多冗余的依赖点，最后，根据过滤冗余依赖模型对复制点过滤，如果满足s_j∈S_j，s_i∈S_i，|x_j，s_i|≤|s_j，s_i|-θ，则δ”的计算满足ε-差分隐私。其中，表示点s_i的局部密度值，δ”表示加噪音的密度距离次大值，θ＝{θ₁,θ₂}，θ₁＝max{|x_i,s_i|}+δ^s(S_i)，θ₂＝min{2|x_m,s_i|+|s_j,s_k|+|s_j,s_i|}，δ^s表示在分组中第二大密度距离。

上述步骤3)中，过滤冗余依赖模型为：

以δ^s表示在分组中第二大密度距离，S_i,S_j表示原始分组。 s_i，x_i，x_m∈S_i；S_i≠S_j，有：

式中，表示x_ix_j之间的距离，表示聚簇中心的局部密度值，ε₂表示第二阶段隐私预算。

下面通过实施例来证明ρ'满足ε-差分隐私，δ”满足ε-差分隐私。

为证明ρ'满足ε-差分隐私，首先确保x_j的局部密度值的计算是正确的，其过程如下：

(1)证明局部密度ρ值计算的正确性。

如图4所示，h是三角形Δx_js_is_j从顶点x_j到边s_is_j的高，交点为t。

根据直角三角形的性质，有如下公式：

如果|x_i,l|≤d_c，那么点x_i和点x_j之间存在依赖性因此，x_i应该被移到S_j，这样就保证了的ρ值是正确的。

(2)假设参数Par(D₁)和Par(D₂)分别代表对数据集D₁和D₂添加噪音后的聚类结果。Parti代表任意的聚类算法。

对局部密度ρ添加拉普拉斯噪音后有如下等式：ρ'＝ρ+Lap(β)

|Parti-|Par(D₁)||≥|Parti-|Par(D₂)||-||Par(D₁)|-|Par(D₂)||

综上所述，差分隐私聚类算法满足ε-差分隐私。

为证明δ”满足ε-差分隐私，需要首先确保x_i的δ值的计算是正确的。

(1)证明δ值计算的正确性

如图5所示，使用反证法，如果s_i∈S_i，s_j∈S_j，|x_j，s_i|＜θ，其中，x_j＝x_i or x_m，θ＝θ₁ or θ₂，根据三角形的性质，即斜边大于直角边，有如下等式：

根据上述等式，对于有|x_j,s_i|＞|s_j,s_i|-θ。因此，根据复制模型，x_j应该过滤。

其中，复制模型为：

(1.1)以δ^s表示在分组中第二大密度距离，S_i,S_j表示原始分组。 s_i，x_i，x_m∈S_i；S_i≠S_j，有如下不等式成立：

(1.2)对数据集添加噪音，使得添加的噪音量满足如下等式：

(1.3)从两方面证明复制模型的正确性，以图5为例。

i)对于表示点x_m依附于点根据三角形性质以及密度峰值聚类的相关定义，有如下公式：

|s_i,x_m|≤min{|x_m,s_k|}

ii)对于δ^s是点集中第二大密度距离，且用δ'表示最大密度距离。即除了δ'，没有其他点的δ比δ^s更大。因此，有如下公式：

(2)因为|s_i,x_i|≤max{|x_i,s_i|}，且三角形不等式性质根据密度峰值聚类的相关定义，有如下公式：

因此，如果满足s_j∈S_j，s_i∈S_i，|x_j，s_i|≤|s_j，s_i|-θ，则δ”的计算满足ε-差分隐私。

上述各实施例仅用于说明本发明，各部件的结构、尺寸、设置位置及形状都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别部件进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims

1.一种密度峰值聚类算法的差分隐私保护方法，其特征在于包括以下步骤：

1)基于Voronoi图分割的方法对数据对象进行分组；

2)对数据集D中每一个点x_i计算局部密度

2.1)需要从分组聚簇S_i复制四个点到S_j；

2.2)往数据集中添加噪音：

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <mi>&rho;</mi> <mo>&prime;</mo> </msup> <mo>=</mo> <munder> <mi>&Sigma;</mi> <msub> <mi>x</mi> <mi>j</mi> </msub> </munder> <mi>&chi;</mi> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <msub> <mi>x</mi> <mi>j</mi> </msub> </mrow> </msub> <mo>-</mo> <msub> <mi>d</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mi>L</mi> <mi>a</mi> <mi>p</mi> <mrow> <mo>(</mo> <mi>&beta;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>L</mi> <mi>a</mi> <mi>p</mi> <mrow> <mo>(</mo> <mi>&beta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mo>|</mo> <mi>x</mi> <mo>|</mo> <mo>/</mo> <mi>&beta;</mi> <mo>,</mo> <mi>&beta;</mi> <mo>=</mo> <msub> <mi>GS</mi> <mi>&rho;</mi> </msub> <mo>/</mo> <msub> <mi>&epsiv;</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

式中，ρ'表示加入噪音后的局部密度值，表示点x_i和点x_j之间的距离，d_c表示阈值，Lap(β)表示加入的噪音，β表示加入的噪音量，χ()表示是一个函数，如果l＜0，则χ(l)＝1；否则χ(l)＝0，GS_ρ表示局部密度函数ρ的敏感度，ε₁表示第一阶段隐私预算；

<mrow> <msub> <mi>d</mi> <mi>c</mi> </msub> <mo>></mo> <mfrac> <mrow> <msup> <mrow> <mo>|</mo> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>s</mi> <mi>j</mi> </msub> </mrow> <mo>|</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <msup> <mrow> <mo>|</mo> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> </mrow> <mo>|</mo> </mrow> <mn>2</mn> </msup> </mrow> <mrow> <mn>2</mn> <mrow> <mo>|</mo> <mrow> <msub> <mi>s</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>s</mi> <mi>j</mi> </msub> </mrow> <mo>|</mo> </mrow> </mrow> </mfrac> <mo>,</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> <mo>&Element;</mo> <msub> <mi>S</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>s</mi> <mi>j</mi> </msub> <mo>&Element;</mo> <msub> <mi>S</mi> <mi>j</mi> </msub> <mo>;</mo> </mrow>

2.如权利要求1所述的一种密度峰值聚类算法的差分隐私保护方法，其特征在于：所述步骤1)中，假设数据对象为数据集D，对于数据集D，挑选M个点作为初始中心点集；然后根据垂直线，将数据集D分割成M个相互不相交的分组，数据集D中的每一个点被分配到最近的初始中心点所在的分组中。

3.如权利要求1所述的一种密度峰值聚类算法的差分隐私保护方法，其特征在于：所述步骤3)中，如果x_i应该从分组S_j复制到分组S_i中，复制后的分组满足如下等式：根据过滤冗余依赖模型对复制点过滤，如果满足则δ”的计算满足ε-差分隐私；其中，表示点s_i的局部密度值，δ”表示加噪音的密度距离次大值，θ＝{θ₁,θ₂}，θ₁＝max{|x_i,s_i|}+δ^s(S_i)，θ₂＝min{2|x_m,s_i|+|s_j,s_k|+|s_j,s_i|}，δ^s表示在分组中第二大密度距离。

4.如权利要求3所述的一种密度峰值聚类算法的差分隐私保护方法，其特征在于：所述过滤冗余依赖模型为：以δ^s表示在分组中第二大密度距离，S_i,S_j表示原始分组，s_i,x_i,x_m∈S_i；有：

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&rho;</mi> <msub> <mi>x</mi> <mi>m</mi> </msub> </msub> <mo>=</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mi>&rho;</mi> <mrow> <mo>(</mo> <msub> <mi>S</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&rho;</mi> <msub> <mi>s</mi> <msub> <mi>x</mi> <mi>m</mi> </msub> </msub> </msub> <mo>></mo> <msub> <mi>&rho;</mi> <msub> <mi>x</mi> <mi>m</mi> </msub> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mrow> <mo>|</mo> <mrow> <msub> <mi>s</mi> <msub> <mi>x</mi> <mi>m</mi> </msub> </msub> <mo>,</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> </mrow> <mo>|</mo> </mrow> <mo>&le;</mo> <msub> <mi>&theta;</mi> <mn>2</mn> </msub> <mo>=</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>{</mo> <mn>2</mn> <mrow> <mo>|</mo> <mrow> <msub> <mi>x</mi> <mi>m</mi> </msub> <mo>,</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> </mrow> <mo>|</mo> </mrow> <mo>+</mo> <mrow> <mo>|</mo> <mrow> <msub> <mi>s</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>s</mi> <mi>k</mi> </msub> </mrow> <mo>|</mo> </mrow> <mo>+</mo> <mrow> <mo>|</mo> <mrow> <msub> <mi>s</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> </mrow> <mo>|</mo> </mrow> <mo>}</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&rho;</mi> <msub> <mi>x</mi> <mi>i</mi> </msub> </msub> <mo>&NotEqual;</mo> <mi>max</mi> <mi>&rho;</mi> <mrow> <mo>(</mo> <msub> <mi>S</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&rho;</mi> <msub> <mi>s</mi> <msub> <mi>x</mi> <mi>i</mi> </msub> </msub> </msub> <mo>></mo> <mi>min</mi> <mi>&rho;</mi> <mrow> <mo>(</mo> <msub> <mi>S</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>|</mo> <mrow> <msub> <mi>s</mi> <msub> <mi>x</mi> <mi>i</mi> </msub> </msub> <mo>,</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> </mrow> <mo>|</mo> <mo>&le;</mo> <msub> <mi>&theta;</mi> <mn>1</mn> </msub> <mo>=</mo> <mi>max</mi> <mo>{</mo> <mo>|</mo> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> </mrow> <mo>|</mo> <mo>}</mo> <mo>+</mo> <msup> <mi>&delta;</mi> <mi>s</mi> </msup> <mrow> <mo>(</mo> <msub> <mi>S</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow> 1

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <mi>&delta;</mi> <mrow> <mo>&prime;</mo> <mo>&prime;</mo> </mrow> </msup> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mi>j</mi> </munder> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <msub> <mi>x</mi> <mi>j</mi> </msub> </mrow> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mi>L</mi> <mi>a</mi> <mi>p</mi> <mrow> <mo>(</mo> <mi>&beta;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>L</mi> <mi>a</mi> <mi>p</mi> <mrow> <mo>(</mo> <mi>&beta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mo>|</mo> <mi>x</mi> <mo>|</mo> <mo>/</mo> <mi>&beta;</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>&beta;</mi> <mo>=</mo> <msub> <mi>GS</mi> <msup> <mi>&delta;</mi> <mrow> <mo>&prime;</mo> <mo>&prime;</mo> </mrow> </msup> </msub> <mo>/</mo> <msub> <mi>&epsiv;</mi> <mn>2</mn> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <mi>&delta;</mi> <mrow> <mo>&prime;</mo> <mo>&prime;</mo> </mrow> </msup> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>:</mo> <msub> <mi>&rho;</mi> <msub> <mi>x</mi> <mi>j</mi> </msub> </msub> <mo>></mo> <msub> <mi>&rho;</mi> <msub> <mi>x</mi> <mi>i</mi> </msub> </msub> </mrow> </munder> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <msub> <mi>x</mi> <mi>j</mi> </msub> </mrow> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mi>L</mi> <mi>a</mi> <mi>p</mi> <mrow> <mo>(</mo> <mi>&beta;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>L</mi> <mi>a</mi> <mi>p</mi> <mrow> <mo>(</mo> <mi>&beta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mo>|</mo> <mi>x</mi> <mo>|</mo> <mo>/</mo> <mi>&beta;</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>&beta;</mi> <mo>=</mo> <msub> <mi>GS</mi> <msup> <mi>&delta;</mi> <mrow> <mo>&prime;</mo> <mo>&prime;</mo> </mrow> </msup> </msub> <mo>/</mo> <msub> <mi>&epsiv;</mi> <mn>2</mn> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>