CN108897990B - 面向大规模高维序列数据的交互特征并行选择方法 - Google Patents

Abstract

本发明提供一种面向大规模高维序列数据的交互特征并行选择方法，包括：对原始高维SNP数据进行编码；通过基于图论的块过滤，保留与目标类相关的编码后的SNP数据；将与目标类相关的SNP数据执行细粒度的特征过滤；以γ为粒度划分特征过滤后的序列数据集为若干块，并基于极大等位公共子序列MACS得到特征候选区域；对候选区域对应的数据集基于MapReduce进行特征区域的多样性选择，得到代表性特征区域；对代表性特征区域采用置换搜索的并行蚁群算法进行交互特征选择，得到显著性特征子集集合，即显著SNP位点集合。本发明为解决在大规模序列数据中进行交互特征选择提出一个全新的框架，使得特征选择更加高效、功能更为强大。

Description

面向大规模高维序列数据的交互特征并行选择方法

技术领域

本发明属于交互特征选择技术领域，具体是一种面向大规模高维序列数据的交互特征并行选择方法。

背景技术

随着数据挖掘、机器学习技术的不断推进和发展，特征选择技术受到了越来越多的关注，机器学习模型就学习效率和学习结果而言，在只使用相关数据上显著受益。而找出相关数据最广泛使用的技术便是特征选择，即是从原始特征集合中选择出一个特征子集。特征选择的成功应用同时也带来了新的挑战，其中之一便是找出潜在的交互特征子集，因为这些特征组合起来才是真正影响目标变量(类标签)的特征子集。因此交互特征选择算法研究也逐渐受到广大学者的关注与重视。

目前，对于多维交互特征选择的方法主要有三大类：枚举搜索、贪婪搜索以及随机搜索。其中，枚举搜索是将所有的特征组合进行检测，优点是结果准确，但计算量非常大，不能应用到大规模数据中，典型算法有多因子降维(MDR)、高阶非冗余交互特征选择(NIFS)等；贪婪搜索算法是在低阶交互特征范围进行高阶交互特征检测，优点是搜索的空间较小，但对边际作用的影响很敏感，典型算法有SNPRuler、分类退化树(CART)；随机搜索算法是通过启发式的规则，利用学习模型或者不利用模型在搜索空间中随机的进行搜索。优点是可应用于大规模数据集中，并且不受边际作用的影响，但是其性能表现不稳定，最终结果依赖于初始值和整个搜索空间的数据结构。典型算法有SNPHarvester、贝叶斯上位关联映射(BEAM)等。

发明内容

针对现有技术存在的不足，本发明提供一种面向大规模高维序列数据的交互特征并行选择方法。

本发明的技术方案如下：

面向大规模高维序列数据的交互特征并行选择方法，包括：

对原始高维序列数据进行编码；所述原始高维序列数据是生物信息领域中的原始单核苷酸多态性(Single Nucleotide Polymorphism，即SNP)数据；

通过基于图论的块过滤，保留与目标类相关的SNP数据；

将与目标类相关的SNP数据执行细粒度的特征过滤；

划分特征过滤后的SNP数据集为若干块，并基于极大等位公共子序列MACS得到特征候选区域；

所述极大等位公共子序列MACS具体定义如下：

假设给定任意k条序列S₁＝e₁₁e₁₂…e_1n1,S₂＝e₂₁e₂₂…e_2n2,…,S_k＝e_k1e_k2…e_knk，若序列S_α＝e_α1e_α2…e_αl，l≤min{n₁,n₂,...,n_k}，满足

1≤i≤k，e_α1＝e_ij1,e_α2＝e_ij2,…,e_αl＝e_ijl，则称其为S₁,S₂,...,S_k的等位公共子序列；进一步，如果S_α的任意真超序列

不是S₁,S₂,...,S_k的等位公共子序列，则称S_α为S₁,S₂,...,S_k的极大等位公共子序列(MaximalAllelic Common Subsequence，简称MACS)；

对候选区域对应的数据集基于MapReduce进行特征区域的多样性选择，得到代表性特征区域；

对代表性特征区域采用置换搜索的并行蚁群算法进行交互特征选择，得到显著性特征子集集合，即显著SNP位点集合。

所述通过基于图论的块过滤，保留与目标类相关的编码后的SNP数据，包括：

对编码后的SNP数据进行基于图论的块过滤，构建无向权重图；

找出无向权重图中的密集子图，将与目标类相关的SNP数据保留。

确定无向权重图中的密集子图，包括：

迭代地移除图中具有平均度数最小的顶点及相关的边并计算移除边后得到子图的密度，当子图顶点数量为1时迭代结束，将迭代过程中密度最大的子图作为密集子图输出。

所述将与目标类相关的SNP数据执行细粒度的特征过滤，包括：

计算与目标类相关的SNP数据区域内的所有特征，按照其与目标类标签的卡方值降序排列；

计算所有卡方值的间隔区，确定间隔区最大值；

将间隔区最大值所对应的特征在SNP数据区域中所在位置作为削减阈值进行特征削减，得到特征过滤后的SNP数据集和特征。

所述划分特征过滤后的SNP数据集为若干块，并基于极大等位公共子序列MACS得到特征候选区域，包括：

利用置换检验方法，确定特征过滤后的SNP数据集的支持度下界作为划分粒度；

基于极大等位公共子序列MACS，对特征过滤后的SNP数据集基于MapReduce并行划分成一系列低维序列数据，得到若干极大等位公共子序列构成的子序列集合作为区域划分后特征候选区域。

所述对候选区域对应的数据集基于MapReduce进行特征区域的多样性选择，得到代表性特征区域，包括：

步骤S1、对候选区域对应的数据集中的MACS为节点，构建无向图，将无向图中的每个MACS作为无向图中的一个顶点，如果MACS间的相似度大于给定阈值β，则两个顶点间有边存在；

步骤S2、选择无向图中连接边的数量最多的一个顶点所对应的极大等位公共子序列MACS子集加入到输出结果中，并在无向图中删除该顶点及其连接的边，更新无向图；

步骤S3、重复执行步骤S2，迭代至无向图为空为止，经过多样性选择后，输出结果即代表性特征区域。

所述对代表性特征区域采用置换搜索的并行蚁群算法进行交互特征选择，得到显著性特征子集集合，即显著SNP位点集合，包括：

在代表性特征区域中选择出单一显著性特征并移除；

基于并行置换的蚁群算法，从移除显著特征的数据集中选出显著交互的特征子集集合，将其加入到结果集合中，结果集合即交互特征的选择结果。

所述基于并行置换的蚁群算法，从移除显著特征的数据集中选出显著交互的特征子集集合，将其加入到结果集合中，包括：

确定移除显著特征的数据集中的并行的数据块个数；

初始化基于置换的蚁群算法参数；

从每块序列集合中选择出大小为k的特征子集；

采用并行置换搜索的思想迭代的从大小为k特征子集中选择出显著性交互的特征子集，并将其加入到显著性交互的特征子集集合即结果集合中；当已选显著性交互的特征子集之外没有使得该特征子集更显著的特征时迭代停止；

当所有的蚂蚁完成搜索时一代蚁群迭代结束，保留本次迭代中得到的大小为k的显著交互特征子集；

对显著交互特征子集进行特征的后向检测，删除掉冗余特征子集，最终得到不大于k阶的显著交互特征子集集合；

对显著交互特征子集集合中的每个显著特征进行信息素大小的更新操作，进入到下一次蚁群迭代中，直到迭代到指定代数时终止，并返回显著性特征子集集合。

本发明优点：

本发明在深入研究各种多维交互特征选择方法基础上，提出了一种在面向大规模高维特征数据进行交互特征选择研究领域中基于置换搜索的并行蚁群算法进行交互特征选择的全新框架。它是根据随着数据挖掘、机器学习技术的发展需要，以避免过度拟合、便于数据的可视化、降低存储要求以及减少模型训练时间等，提出的一种高效、多维、交互的特征选择方法；主要贡献在于：

(1)提出了一个解决面向大规模序列数据进行交互特征选择问题的全新框架。

(2)提出了一种基于MACS进行特征区域划分的思想，使划分后的特征交互作用只存在于区域内部，方便了数据并行化处理；

(3)设计并实现了一种基于置换思想的蚁群局部搜索算法RouteSearching，使蚁群算法在特征子集搜索过程中能够避免边际作用的影响；

(4)设计并实现了一种基于MapReduce模型的并行蚁群交互特征选择算法框架，提高了时间效率；

(5)通过将本发明和其他三个方法在糖尿病患者数据集和模拟数据集上进行测试分析，证明了高效性和生物有效性。

有益效果：

本发明利用基于置换搜索的并行蚁群算法进行交互特征选择，在特征子集搜索过程中能够避免边际作用的影响，避免过度拟合、便于数据的可视化、降低存储要求以及减少模型训练时间，提高了时间效率；基于MACS进行特征区域划分的思想，使划分后的特征交互作用只存在于区域内部，方便了数据并行化处理；不仅解决了密度计算的负担，而且一定程度上消除了显著特征边际作用的影响。为解决在大规模序列数据中进行交互特征选择提出一个全新的框架，利用Hadoop分布式计算的特点，将框架在MapReduce模型下并行化实现，使得特征选择更加高效、功能更为强大。

附图说明

图1为本发明一种实施例的方法流程图；

图2为本发明一种实施例的无向权重图；

图3为GRDC算法基于MapReduce模型下的执行流程；

图4为极大等位公共子序列示意图；

图5为基于置换搜索的蚁群交互特征选择算法的执行过程。

具体实施方式

下面结合附图对本发明实施例做进一步说明。

本实施方式以生物数据中的SNP(Single Nucleotide Polymorphism单核苷酸多态性，SNP)数据为实际应用背景进行举例说明。因为现阶段交互特征子集的验证工作是非常复杂的，而生物领域中目前已经有被证实的导致患病的SNP位点(特征)集合，这为最终的结果验证提供了方便。

面向大规模高维序列数据的交互特征并行选择方法，如图1所示，包括：

步骤1、对原始序列数据进行编码，得到数据集D。

本实施方式中的原始高维序列数据是生物信息中的原始SNP数据。原始SNP数据一般为两种形式：基因型或单体型数据。以某位点(特征)为例，若用A表示出现频率较高的等位基因，a表示出现频率较低的等位基因，则基因型数据有三种形式：AA、Aa或aa，单体型数据有两种形式：A或a。为便于计算机处理，通常需要先对原始SNP数据进行编码，前者的三种状态分别编码为0，1和2，后者的两种状态分别编码为0和1。本方法可同时兼容基因型数据和单体型数据。

为了方便算法后续挖掘流程，首先对原始SNP数据编码，SNP数据的其初始状态通常是用A、C、G或T来代表，以表1为例，编码前后的对照表如表2所示。

表1编码前数据集

表2编码后数据集

表中的每行S_i代表一个样本，每列SNP_j代表一个特征(即一个SNP位点)。SNP数据对应的取值表示某个样本在对应染色体上某个基因位点的变异状态，通常用0表示常态，1表示变异。最后一列class代表类别，即该样本是否患有某种疾病，0代表不患病，1代表患病。后续的处理流程都将在编码之后的0，1数据上进行挖掘分析。

本实施方式中对SNP数据进行{0,1}编码，因为它能够兼容单体型和基因型数据两种数据形式。编码后的SNP数据集为

其中，s_r为编码后的SNP数据集中的实例即SNP数据，f_s为第s个SNP数据的特征，M为SNP数据集中包含的实例总个数，N为每个实例包含的位点个数，即特征个数，C则为对应目标类标签。

步骤2、通过基于图论的块过滤，保留与目标类相关的SNP数据，记为D1。

步骤2具体按如下步骤执行：

步骤2-1、对编码后的SNP数据进行基于图论的块过滤，即根据划分后块内和块间存在的显著交互特征对的数量，构建如图2所示的无向权重图G＝(V,E)。输入序列被划分为n块，

k为交互阶数，取值范围是[2-N]，即交互特征的最小阶数是2，最大阶数是N，用户可以指定k值。N指的是原始SNP数据集中的位点数(即编码后的序列数据中的特征数)，前

块中每块包含k个特征，最后一块包含

个特征。V为图G中顶点的集合,V＝{v_n}，第i个序列块对应顶点v_i∈V。E为图G中边的集合，如果第i个序列块和第j个序列块之间存在显著交互的特征(位点)对，则存在边e_ij∈E。顶点v_i的权重w_i为块i内显著交互的特征对数，边e_ij的权重w_ij为块i和块j之间的显著交互特征对数。其中，块内与块间存在的显著交互位点对的数量可以通过卡方检验(χ²)来计算。

定义1(k阶交互特征)令F’为含有k个特征f₁,f₂,...,f_k的特征子集，C为某个特征或特征子集与目标变量(类标签)相关性的度量。若满足对F’的任一划分F’＝{F₁,F₂,...,F_l}，C(F’)＞C(F_i)，其中i∈[1,l]，l≥2且

则称f₁,f₂,...,f_k为k阶交互特征。

由定义1可知，如果f₁,f₂,...,f_k为k阶交互特征，当且仅当其对目标变量(类标签)的影响大于其任一子集对目标变量(类标签)的影响。

步骤2-2、采用密集子图发现算法(GREEDYVED)找出无向权重图G中的密集子图，将与目标类相关的SNP数据保留。

无向权重图G中密集子图对应的区域分块内部和相互之间都存在较多的显著交互位点对。因此，直观上可理解为与目标类存在显著关联的“热点”区域，问题被转化为密集子图发现问题。所述确定无向权重图中的密集子图，包括：迭代地移除图中具有平均度数最小的顶点及相关的边并计算移除边后得到子图的密度，当子图顶点数量为1时迭代结束，将迭代过程中密度d(G’)最大的子图G’(G’∈G)作为密集子图输出。

无向权重图G(V,E)的顶点集合记为{v_n}，n表示顶点个数即

{v_n}是包含v₁到v_n所有的顶点。i的初始赋值为n，循环移除当前子图G(v_i)(1≤i≤n)中具有最小平均度数的顶点v_x(1≤x≤i)及与其相关的边，并计算移除后得到的子图G'的密度，每循环一次执行后i进行自减1操作，当i＝1时循环结束。

所述的G(V_i)表示从顶点v₁到v_i组成的子图。

所述的平均度数

子图G'的密度：

其中，y表示从顶点1到顶点i中除去x之外的顶点。w_xy表示顶点x和顶点y之间的边e_xy的权重即块x和块y之间的显著交互特征个数。子图G'中的顶点个数和顶点之间存在的最大边数之和

|V_G'|为子图G'中的顶点数量，w_ij表示顶点i、j之间的边的权重，w_i和w_j表示顶点v_i和顶点v_j的权重。

将密度d(G')最大的子图作为密集子图输出。

本实施方式中，根据编码后数据集D所构建的无向权重图G中的密集子图G′，得到与目标变量(类标签)相关的位点(特征)集合N₁，作为保留区域中的序列数据，将处理后的数据集记为D₁。

步骤3、将与目标类相关的SNP数据执行细粒度的特征过滤。

步骤3-1、计算步骤2获取的与目标类相关的SNP数据区域(特征集合N₁)内的所有特征f_t，＝{f₁,f₂,…,f_N1},t＝{1,2,…N₁}，按照其与目标变量(类标签C)的卡方值χ²(f_t,C)降序排列；

步骤3-2、计算所有卡方值的间隔区，确定间隔区最大值；

本实施方式中与目标类相关的特征集合N₁中所有的位点f_t∈N₁，第t个位点与目标类C的卡方值为χ²(f_t,C)，求max(χ²(f_t,C)-χ²(f_t-1,C))，间隔区最大值所对应的位点在位点集合N₁中所在位置记为max_pos。

步骤3-3、将间隔区最大值所对应的特征在SNP数据区域中所在位置作为削减阈值进行特征削减，得到特征过滤后的SNP数据集D₂，特征为N₂。

本实施方式中，利用间隔区最大值所对应的位点在位点集合N₁中所在位置max_pos作为削减阈值，保留间隔区最大值所对应的位点之前的所有位点，对其后的位点f_u(u＞max_pos)，如果满足

且χ²(f_u,f_v,C)＞χ²(f_{max_pos},C)，则保留f_u和f_v；如果不满足，则删除f_u，最终得到位点子集N₂

特征过滤后的SNP数据集记为D₂，χ²(f_u,f_v,C)为位点f_u与位点f_v交互与目标类C的卡方值。

步骤4、划分特征过滤后的SNP数据集D₂为若干块，并基于极大等位公共子序列MACS得到特征候选区域。

步骤4-1、利用置换检验方法，确定特征过滤后的SNP数据集D₂的支持度下界作为划分粒度γ；

显著性P-value是Llinares等人在2015年提出了一种基于假设检验的高效显著模式挖掘算法FastWY，证明了显著模式支持度γ和P-value之间的对应关系。假设在一个给定数据集B中，如果一个特征子集对应正样本数n，以及负样本数n'已知时，那么就可以得出该特征子集的支持度γ只是和其对应显著性P-value存在关系。而本发明在进行交互特征选择时，通过将蚁群算法搜索得到的特征子集对应的显著性P-value与给定显著性阈值α进行比较，如果存在P-value<α，那么就可以认为该特征子集是和目标类标签存在显著关联的。因此，当一个特征子集的显著性P-value已知时，那么就可以推出其对应的支持度γ大小，利用上述思想来确定在给定显著性P-value的前提下特征子集所对应的支持度下界值，即是本发明在序列之间求特征子集时所对应的γ值大小。

步骤4-2、基于极大等位公共子序列MACS(图3)，对特征过滤后的SNP数据集D₂基于MapReduce并行划分成一系列低维序列数据，得到若干极大等位公共子序列构成的子序列集合作为区域划分后特征候选区域，区域划分后特征候选区域对应的数据集为D₃。

划分后的第D_2i块数据的特征为{f₁,f₂,...,f_N2}，1≤i≤[M/γ]，每块数据D_2i都包含γ行数据，[M/γ]为数据块数，N₂为数据块D_2i中的特征数。在MapReduce处理过程中，将数据集D₂设置为全局变量，对每一个Map函数求交集时会先读取全局变量中的数据集D₂，再和对应的输入数据D_2i之间求交并将结果作为一行数据输出。在Reduce阶段，将得到的极大等位公共子序列MACS构成的子序列集作为区域划分后特征候选区域，区域划分后特征候选区域合对应的数据集D₃输出，其特征数是N₃。

所述极大等位公共子序列MACS具体定义如下：

定义2(极大等位公共子序列)假设给定任意k条序列S₁＝e₁₁e₁₂…e_1n1,S₂＝e₂₁e₂₂…e_2n2,…,S_k＝e_k1e_k2…e_knk，若序列S_α＝e_α1e_α2…e_αl(l≤min{n₁,n₂,...,n_k})，满足

1≤i≤k，e_α1＝e_ij1,e_α2＝e_ij2,…,e_αl＝e_ijl，则称其为S₁,S₂,...,S_k的等位公共子序列。进一步，如果S_α的任意真超序列

不是S₁,S₂,...,S_k的等位公共子序列，则称S_α为S₁,S₂,...,S_k的极大等位公共子序列(MaximalAllelic Common Subsequence，简称MACS)。

极大等位公共子序列与广为熟知的最长公共子序列不同。如图3所示，若S₁＝100101和S₂＝101011为任意两条由0和1构成的序列，则序列S_α＝101为S₁和S₂的极大等位公共子序列，序列S_β＝10101为S₁和S₂的最长公共子序列。显然，S_α≠S_β。计算多序列的最长公共子序列是典型的NP-难问题，时间复杂度相对于序列数量N是指数级别的，而由图3不难得知，极大等位公共子序列通过简单的比特“与”计算即可获得，时间复杂度仅为O(N)。因此，极大等位公共子序列的计算量远小于最长公共子序列。

步骤5、对候选区域对应的数据集D₃基于MapReduce进行特征区域的多样性选择，得到代表性特征区域DS。

对特征候选区域基于MapReduce进行特征多样性选择的步骤包括Map阶段和Reduce阶段。Map阶段包含了步骤5-1和步骤5-2，Reduce阶段包含步骤5-3。

步骤5-1、对候选区域对应的数据集D₃中的MACS为节点，构建无向图G″。将无向图G″中的每个MACS作为无向图G″中的一个顶点，如果MACS间的相似度大于给定阈值β，则两个顶点间有边存在。

步骤5-2、采用基于MapReduce的贪心策略的GRDC算法，选择无向图中连接边的数量最多的一个顶点所对应的极大等位公共子序列MACS子集加入到输出结果中，并在无向图G″中删除该顶点及其连接的边，更新图G″，重复上述过程，迭代至图G″为空为止，经过多样性选择后，输出结果即代表性特征区域DS，特征个数记为N₄。

本发明实现了基于MapReduce的贪心策略(图4)，具体如下：

步骤5-2-1、在Map处理阶段，为了提高贪心算法的运行效率，先将每行数据的对应MACS集合进行特征区域多样性选择，得到若干代表此行序列的MACS子集。然后依次对原始数据集中每一行数据对应的MACS集合都执行此操作。当特征维数比较高时，每行数据对应求交得到的MACS数量相对也比较大，可以先在每行数据对应的集合内部进行多样性选择，使得最后进行多样性选择的MACS数量大大减少。

步骤5-2-2、在Reduce处理阶段，汇总对应Map任务处理的结果的MACS集合，对进行特征区域多样性选择，得到若干具有代表性的极大等位公共子序列MACS，将其写入到分布式文件存储系统HDFS中，即代表性特征区域DS。

步骤6、对代表性特征区域DS采用置换搜索的并行蚁群算法(图5)进行交互特征选择，得到显著性特征子集集合，即显著SNP位点集合。

步骤6-1、在代表性特征区域DS中选择出单一显著性特征并移除，得到的结果记为DS′；

代表性特征区域DS包含的特征集合为f_r＝{f₁,f₂,…f_N4}，r＝{1,2,…N₄}，DS的维数为N₄，计算DS中单一特征f_c(1≤c≤N₄)的Score(f_c,C)，选出显著性特征并移除，即(Score(f_c,C)＞显著性P-value的特征)，减少显著性特征所带来的边际作用的影响；移除显著特征的数据集为DS′，特征个数为N₅。

步骤6-2、基于并行置换的蚁群算法，从数据集DS′中选出显著交互的特征子集集合，将其加入到结果集合中，结果集合即交互特征的选择结果IF；

步骤6-2-1、确定数据集DS′中的并行的数据块个数q；

人工指定DS′划分成q块，记为∑DS′_q(1<q<M)。对每块数据采用MapReduce框架，分布的实现基于置换蚁群算法。

步骤6-2-2、初始化基于置换的蚁群算法参数。

移除显著性特征后的代表性特征区域(序列集合DS′)的维数为N₅，初始化一个长度为N₅的向量L来记录每个特征对应的信息素数据，L的长度是N₅，初始值为τ₀。根据公式(1)计算每个特征的访问概率，

表示第t次迭代访问特征f_w(1≤w≤N₅)的概率。概率

由信息素浓度大小(τ_w(t-1))^δ和启发式函数

共同决定。τ_w(t-1)表示第w个特征在t-1次迭代时的信息素浓度大小，δ表示影响信息素权重的参数。

则表示第w个特征的启发式函数值，β为期望启发因子。因为每个特征没有先验知识，所以设η＝1，β＝1。通过公式(2)可对特征进行信息素浓度的更新操作，其中ρ是信息素挥发系数，取值在0到1之间，Δτ_w表示第w个特征对应信息素的变化值。初始化种群大小为antNum，每个种群对应的迭代次数为iterNum。

步骤6-2-3从每块序列集合DS′_q中选择出大小为k的特征子集。

所述从每块序列集合DS′_q中选择出大小为k的位点子集是指依据步骤6-1计算DS′_q中每个位点的Score，采用

选择出包含k个位点的子集P_q。

步骤6-2-4、采用并行置换搜索的思想迭代的从大小为k个特征子集P_q中选择出显著性交互的特征子集，并将其加入到显著性交互的特征子集集合IF即结果集合中；当已选显著性交互的特征子集IF之外没有使得该特征子集更显著的特征时迭代停止。

所述的置换策略的思想为：保留上一步迭代过程中得到的显著性交互的特征子集，然后每次对集合内的一个特征进行置换。在选择下一个特征时，根据每个特征已置换次数选择集合外的一个特征与集合内的每个特征进行置换，从而减少特征的重复选择增加多样性。如果新的特征子集较原来的显著，就执行此次置换，否则不执行。这种方法，能够很好的利用高阶交互特征子集信息，有效防止低阶特征所带来的边际作用影响，从而得到显著的高阶交互特征子集。例如在序列集合DS′_q中选择大小为k的特征子集P_q：在初始特征子集P_q选择过程中根据计算每个位点对应的Score，选择出来的位点所对应的χ²统计值，计算出其对应的显著性P-value，最终选择出大小为k的特征子集P_q。

步骤6-2-5、当所有的蚂蚁完成搜索时一代蚁群迭代结束，保留本次迭代中得到的大小为k的显著交互特征子集。

步骤6-2-6、对显著交互特征子集进行特征的后向检测，删除掉冗余特征子集，最终得到不大于k阶的显著交互特征子集集合。

所述的后向检测就是判断如果从大小为k的特征子集P_q中删除特征X后，是否使得其Score变大。若变大，则删掉该特征。将原始的特征X从特征子集P_q中删除，后向检测后得到的特征子集加入结果集合IF中。

步骤6-2-7、对显著交互特征子集集合中IF中的每个显著特征用公式(2)进行信息素大小的更新操作。然后进入到下一次蚁群迭代中，直到迭代到指定代数iterNum时终止，并返回显著性特征子集集合。

τ_w(t+1)＝(1-ρ)τ_w(t)+Δτ_w(t) (2)

Δτ_w(t)代表第w个特征在t次迭代时信息素浓度大小变化值，此处设Δτ_w(t)＝1/(P-value({f_w}))，其中P-value({f_w})即为选择出的交互特征子集{f_w}对应的显著性P-vlaue。

所述的并行的方式指的是所述的并行方式是将整个蚁群中antNum中的每一个蚂蚁进行并行。采用的并行技术是基于Hadoop的MapReduce框架。在MapReduce框架中，置换的蚁群搜索的过程即对应着Map接口，全局信息素浓度大小更新操作即对应着Reduce接口。每个MapReduce Job即对应一次蚁群进行迭代搜索交互特征子集的过程，其中每个Mapper任务即对应着一组蚂蚁搜索交互特征子集的过程，有多少组蚂蚁就会对应多少个Mapper任务，每一个Reducer任务即是将Mapper任务结果汇总并写入到HDFS中以及信息素更新操作的过程，整个蚁群的迭代即是MapReduce Job的迭代。

Claims (8)

1.面向大规模高维序列数据的交互特征并行选择方法，其特征在于，包括：

对原始高维序列数据进行编码；所述原始高维序列数据是生物信息领域中的原始单核苷酸多态性Single Nucleotide Polymorphism，即SNP数据；

通过基于图论的块过滤，保留与目标类相关的SNP数据；

将与目标类相关的SNP数据执行细粒度的特征过滤；

划分特征过滤后的SNP数据集为若干块，并基于极大等位公共子序列MACS得到特征候选区域；

所述极大等位公共子序列MACS具体定义如下：

假设给定任意k条序列

若序列S_α＝e_α1e_α2…e_αl，l≤min{n₁,n₂,...,n_k}，满足

1≤i≤k，

则称其为S₁,S₂,...,S_k的等位公共子序列；进一步，如果S_α的任意真超序列

不是S₁,S₂,...,S_k的等位公共子序列，则称S_α为S₁,S₂,...,S_k的极大等位公共子序列MaximalAllelic CommonSubsequence，简称MACS；对候选区域对应的数据集基于MapReduce进行特征区域的多样性选择，得到代表性特征区域；

对代表性特征区域采用置换搜索的并行蚁群算法进行交互特征选择，得到显著性特征子集集合，即显著SNP位点集合。

2.根据权利要求l所述的面向大规模高维序列数据的交互特征并行选择方法，其特征在于，所述通过基于图论的块过滤，保留与目标类相关的编码后的SNP数据，包括：

对编码后的SNP数据进行基于图论的块过滤，构建无向权重图；

找出无向权重图中的密集子图，将与目标类相关的SNP数据保留。

3.根据权利要求2所述的面向大规模高维序列数据的交互特征并行选择方法，其特征在于，确定无向权重图中的密集子图，包括：

迭代地移除图中具有平均度数最小的顶点及相关的边并计算移除边后得到子图的密度，当子图顶点数量为1时迭代结束，将迭代过程中密度最大的子图作为密集子图输出。

4.根据权利要求l所述的面向大规模高维序列数据的交互特征并行选择方法，其特征在于，所述将与目标类相关的SNP数据执行细粒度的特征过滤，包括：

计算与目标类相关的SNP数据区域内的所有特征，按照其与目标类标签的卡方值降序排列；

计算所有卡方值的间隔区，确定间隔区最大值；

将间隔区最大值所对应的特征在SNP数据区域中所在位置作为削减阈值进行特征削减，得到特征过滤后的SNP数据集和特征。

5.根据权利要求l所述的面向大规模高维序列数据的交互特征并行选择方法，其特征在于，所述划分特征过滤后的SNP数据集为若干块，并基于极大等位公共子序列MACS得到特征候选区域，包括：

利用置换检验方法，确定特征过滤后的SNP数据集的支持度下界作为划分粒度；

基于极大等位公共子序列MACS，对特征过滤后的SNP数据集基于MapReduce并行划分成一系列低维序列数据，得到若干极大等位公共子序列构成的子序列集合作为区域划分后特征候选区域。

6.根据权利要求1所述的面向大规模高维序列数据的交互特征并行选择方法，其特征在于，所述对候选区域对应的数据集基于MapReduce进行特征区域的多样性选择，得到代表性特征区域，包括：

步骤S1、对候选区域对应的数据集中的MACS为节点，构建无向图，将无向图中的每个MACS作为无向图中的一个顶点，如果MACS间的相似度大于给定阈值β，则两个顶点间有边存在；

步骤S2、选择无向图中连接边的数量最多的一个顶点所对应的极大等位公共子序列MACS子集加入到输出结果中，并在无向图中删除该顶点及其连接的边，更新无向图；

步骤S3、重复执行步骤S2，迭代至无向图为空为止，经过多样性选择后，输出结果即代表性特征区域。

7.根据权利要求l所述的面向大规模高维序列数据的交互特征并行选择方法，其特征在于，所述对代表性特征区域采用置换搜索的并行蚁群算法进行交互特征选择，得到显著性特征子集集合，即显著SNP位点集合，包括：

在代表性特征区域中选择出单一显著性特征并移除；

基于并行置换的蚁群算法，从移除显著特征的数据集中选出显著交互的特征子集集合，将其加入到结果集合中，结果集合即交互特征的选择结果。

8.根据权利要求7所述的面向大规模高维序列数据的交互特征并行选择方法，其特征在于，所述基于并行置换的蚁群算法，从移除显著特征的数据集中选出显著交互的特征子集集合，将其加入到结果集合中，包括：

确定移除显著特征的数据集中的并行的数据块个数；

初始化基于置换的蚁群算法参数；

从每块序列集合中选择出大小为k的特征子集；

采用并行置换搜索的思想迭代的从大小为k特征子集中选择出显著性交互的特征子集，并将其加入到显著性交互的特征子集集合即结果集合中；当已选显著性交互的特征子集之外没有使得该特征子集更显著的特征时迭代停止；

当所有的蚂蚁完成搜索时一代蚁群迭代结束，保留本次迭代中得到的大小为k的显著交互特征子集；

对显著交互特征子集进行特征的后向检测，删除掉冗余特征子集，最终得到不大于k阶的显著交互特征子集集合；

对显著交互特征子集集合中的每个显著特征进行信息素大小的更新操作，进入到下一次蚁群迭代中，直到迭代到指定代数时终止，并返回显著性特征子集集合。

Images