CN103258147A - 一种基于gpu的并行演化超网络dna微阵列基因数据分类系统及方法 - Google Patents

Abstract

本发明提出了一种基于GPU的并行演化超网络DNA微阵列基因数据分类系统及其方法，涉及智能信息处理技术领域。对DNA微阵列数据进行预处理后，将经过处理后的二进制字符串作为超网络的输入信息，在主机的CPU上对超网络进行初始化，初始化后的超网络转交给GPU设备，将超边库分成多个组，分别在GPU上并行执行基于遗传算法的演化学习，获取先验知识，搜索具有决策能力的最佳超边，演化完成后的超网络利用大量超边共同对输入样本进行分类。本发明在GPU上实现了基于遗传算法的超网络并行演化学习，具有较短的学习和识别时间，系统执行效率较高。超网络能够利用大量具有决策能力的个体共同对样本进行分类，具有较高的系统识别率和泛化能力。

Description

一种基于GPU的并行演化超网络DNA微阵列基因数据分类系统及方法

技术领域

本发明涉及模式识别技术领域，尤其涉及采用一种基于GPU的并行演化超网络模式识别技术实现的DNA微阵列生物信息分类系统。

背景技术

癌症治疗是人类难以攻克的难题。近年大量研究表明，癌症是多因素的疾病，不仅与病人所处的环境和自身体征有关，还是多基因参与的一种渐进积累转化性疾病。肿瘤的产生是由于病变组织的相关的基因发生了基因突变，而突变基因的表达水平和正常基因的表达水平是不一样的。1999年，Golub等人已证明肿瘤亚型之间在基因表达上存在差异。利用基因表达谱可以对肿瘤做出早期诊断，提高肿瘤诊断的精度。DNA微阵列技术是融合了微电子学、生命科学、计算机科学和光电化学等多学科综合交叉形成的一项前沿生物技术，微阵列技术的出现为从分子水平研究癌症的发病机理和临床诊断提供了强有力的手段。随着微阵列技术的发展和完善，将产生海量数据，对于这些数据的快速、合理分析，发现其中所隐藏的信息，是一项重要而艰巨的任务。

由于微阵列数据具有高维度、小样本和高噪音等特点，维度和样本数之间的不平衡致使许多经典的模式识别和机器学习方法不能被直接应用。为了提高DNA微阵列数据分类的准确性及系统的稳定性，首先需要对DNA微阵列数据进行特征选择，找出与分类相关性强的基因，从而减少基因冗余、降低数据维度和噪音干扰；然后再对特征选择后的DNA微阵列数据采用模式识别技术对其进行分类。

目前对基因或样本进行分类的分为两类：监督和非监督算法。监督算法是在样本的先验知识已知的情况下建立模型，对新样本进行判断；非监督算法没有对样本的先验知识，而是根据向量间的相似性（或非相似性）对样本进行聚类。常用于微阵列数据分类的监督算法有：支持向量机、人工神经网络、贝叶斯网络分类器等；非监督算法有：系统聚类、分割聚类、自组织图及模糊聚类等。

超网络是受生物分子启发而产生的一种基于超图模型的认知学习模型，演化超网络最初是作为一种并行联想记忆模型被提出，并通过DNA计算实现(Zhang B T.Hypernetworks:A molecular evolutionary architecture for cognitivelearning and memory[J].IEEE Computational Intelligence Magazine,2008,3(3):49-63)。该模型由大量超边组成，超边可以存储训练集数据的部分信息，表达样本的特征和样本类别之间的关联程度，因此非常适用于解决高维数据的模式识别问题。目前超网络已被成功应用于解决各种模式识别问题，如文本分类、急性髓质白血病和急性淋巴细胞白血病分类、手写体数字光学识别数据集分类等。

传统的超网络基于DNA计算实现，超网络以大规模的并行方式演化学习。然而DNA计算对实验环境敏感，难以得到应用。演化学习是超网络的关键环节，其目标是从训练集中寻找包含最佳的特征组合的超边，演化学习的过程直接影响超网络的分类效果。传统超网络的学习方法主要包括两种，一种是梯度下降法，该方法对超边的搜索过度依赖超网络的随机初始化过程。另一种是超边替代法，采用随机搜索的方法搜索超边，搜索效率低下。

近年来，计算机图形处理器GPU(Graphics processing units)绘制流水线的高速度和并行性以及近年来发展起来的可编程功能，使其在通用计算领域的应用有着广阔的前景。作为并行处理器，GPU善于处理大量相似的数据，因为它能将数据划分成成千上万个部分，然后同时进行处理。与CPU相比，GPU具有更高的计算速度和存储器带宽，在那些能很好地映射到其编程模型的应用上，它极具潜力。

发明内容

本发明所要解决的技术问题是：针对传统模式识别方法不能适应高维度、高噪音、小样本的微阵列数据分类，以及传统演化超网络模式识别方法的学习和识别速度慢等问题。本发明提供了一种基于GPU的并行演化超网络DNA微阵列基因数据分类系统。该系统利用超网络分类器对DNA微阵列表达谱数据进行分类，从而实现癌症病变基因的识别，超网络在GPU上以并行方式实现基于遗传算法的演化学习，挖掘出癌症致病基因组合，有效提高了癌症分类精度和分类效率。易于生产一种使用方便、灵活的，具有较高准确率的诊断装置。

本发明解决上述技术问题的技术方案是，提出一种基于GPU的并行演化超网络DNA微阵列基因数据分类系统。将预处理后的微阵列数据作为超网络的输入信息，根据输入的训练集数据对超网络进行初始化，初始化超网络根据遗传算法进行演化学习并利用GPU辅助设备实现并行演化，演化学习后的超网络模型获取训练集数据中的先验知识，演化形成一个癌症分类器。该系统包括：

1)数据预处理单元：对微阵列数据进行信噪比特征选择，提取与微阵列数据分类相关的特征基因，将每个微阵列数据样本进行二值化，处理后数据作为超网络的输入信息。

2)初始化超网络模型：根据给定的经过预处理后DNA微阵列数据，从中抽取一部分作为训练集，根据输入的训练集样本产生超边，形成一个超边库，建立初始化超网络模型。

3)超网络演化学习单元：将初始化超网络的超边库平均分成多个组，分配给GPU的各个线程模块，各线程模块中的线程并行执行基于遗传算法的演化学习过程，完成演化学习后的超网络获取训练集数据的先验知识，得到具有决策能力的最佳超边，超边包含对癌症分类起关键作用的特征基因组合。

4)超网络分类器：超网络利用超边库中具有决策能力的超边与输入的待测DNA微阵列数据样本进行匹配运算，对待测样本的类别进行判断。

初始化超网络，是通过对每个训练集样本随机生成相同数量的超边，所有超边组成超网络的超边库。

超边是通过对训练样本的特征进行多次随机采样产生，超边包含样本的特征组合及样本的类别标识。

超边库的每组超边作为遗传算法中的一个子种群，每条超边对应子种群中一个个体，每个子种群通过GPU的一个线程模块并行完成演化学习过程。

演化学习过程包括步骤：训练集分类、适应值计算、选择、交叉和变异。

在GPU上的演化学习过程多代循环进行，直到超网络对训练集样本的类别完全正确分类为止。

演化学习过程中，超边的适应值是根据超网络对训练集样本分类正确与否计算的，适应值的计算根据公式：

，其中#_c为超边的匹配值，#_w表示超边的错误值，α为错误预期值；β为正确预期值。

遗传算法中的选择、交叉和变异算子分别采用锦标赛选择法、单点交叉法和基本位变异法。

锦标赛选择法是基于超边适应值的大小选择出优良的个体进入下一代的演化学习过程。

每完成一代演化，子种群间进行一次优秀个体迁移，子种群中适应值较大的超边向邻近子种群迁移，代替其中适应值较小的个体，形成一个定向迁移环。

超网络分类器对待测样本的分类，是根据超边库的所有超边与待测样本的匹配结果，将匹配成功次数最多的超边类别作为分类器的分类结果。

本发明还提出一种基于并行演化超网络的DNA微阵列基因数据分类方法，其特征在于，该方法包括：数据预处理单元对微阵列数据进行信噪比特征选择，得到的特征向量作为微阵列数据分类的样本数据库，将每个微阵列数据样本进行二值化，抽取一部分数据作为超网络的训练集；初始化超网络单元根据输入训练集样本数据产生超边，组成超网络超边库，构建初始化超网络模型；超网络演化学习单元将超网络超边库中的超边平均分组，将每条超边分配给GPU的各个线程模块，各线程模块中的线程并行执行基于遗传算法的演化学习，完成演化学习后的超网络获取训练集数据的先验知识，挖掘出癌症致病基因组合，从而得到具有决策能力的最佳超边；超网络分类器：利用超边库中具有决策能力的超边与输入的待测样本进行匹配，对待测样本的类别进行判断。

本发明具有以下技术效果：

1)提高诊断准确率。本发明采用的超网络模型存储并表达微阵列数据特征间的高阶关联关系，通过遗传算法训练超网络模型，有效挖掘训练集中与分类具有强相关性的致病基因组合，利用大量的具有决策能力的超边对样本进行分类，使分类结果更具稳定性，同时提高了癌症的诊断准确率。

2)提高分类速度。发明采用GPU辅助设备实现并行超网络的演化学习过程，GPU的每个线程模块完成一个子种群演化学习操作，多个线程模块同步进行，减少了超网络演化学习所消耗的时间，因而使系统的分类效率大幅度提高。

附图说明

图1是本发明的系统架构实现图；

图2是本发明的利用训练集初始化超网络的过程图；

图3是本发明的超网络分类器的演化流程图；

图4是本发明的超边编码和解码的示意图；

图5是本发明的超网络基于GPU并行演化流程图；

图6是本发明的GPU实现个体适应值计算的过程图；

图7是本发明的GPU实现个体选择及交叉的过程图；

图8是本发明的系统分类流程图。

具体实施方式

本发明提出了一种基于并行演化超网络的DNA微阵列基因数据分类系统。图1所示为系统的架构图。在CPU主机上实现对DNA微阵列数据进行预处理，将经过处理后的二进制字符串作为超网络的输入信息，对超网络进行初始化，初始化后的超边库转交给GPU设备，将超边库分成多个组，分别分配给GPU的各个线程模块，每条超边上一系列的演化学习过程由一个线程控制完成，演化学习后的超网络将超边库返回主机，通过大量超边共同对输入样本进行分类。本发明能够有效缩短分类器的训练时间，同时提高分类器的识别能力。

基于并行演化超网络的DNA微阵列基因数据分类系统包括：

1)数据预处理单元，对高维度、高噪音的DNA微阵列数据进行特征选择，然后对特征选择筛选的基因进行归一化、二值化处理，将每个样本处理为一个二进制字符串作为分类系统的输入信息；

2)初始化超网络模型，具体为：根据给定的经过预处理后DNA微阵列数据，从中抽取一部分作为训练集D，对其中每个样本的特征进行多次随机采样，依次为超边的各顶点赋值组成超网络的超边。每个样本产生一定数量的超边，初始化超边的适应值为0，大量超边组成一个超边库，构建初始化超网络模型。

训练集样本包括输入和输出，也可以说是与DNA微阵列数据分类相关的特征和目标类别的向量，D具有以下形式：

$D={\left\{(X_i,y_i)\right\}}_{i=1}^N---\left(1\right)$

X_i={x_i1,x_i2...,x_ij,...x_in}∈{0,1}ⁿ     (2)

y_i∈{0,1}                             (3)

其中，X_i为第i个训练样本，y_i为X_i的类别标识，N为训练集样本总数。x_ij表示第i个样本的第j维特征的表达值，n表示特征空间的维数。

对于训练集D中的每个样本X_i，从n个特征中随机抽取k个特征，组成一条k阶超边l_i，初始化超边的权值（即适应值）fit(l_i)=0。对每个样本生成T条超边，最终构成具有N×T条超边的超边库L。图2所示，训练集数据包含N个32维训练样本，从每个样本中随机抽取k=5个特征组成超边，每个样本生成T=100条超边，N×100条5阶超边构成了一个5阶初始化超网络模型。

3)超网络的演化学习，将初始化超网络的超边库平均分成多个组，分组数根据线程数确定，分配给GPU的各个线程模块，GPU的一个线程与一条超边对应，各线程并行执行基于遗传算法的演化学习过程，线程模块内部的线程通过访问共享存储器进行通信，各个线程模块通过访问GPU显存完成模块间通信。完成演化学习后，超网络存储训练集数据信息并搜索到具有决策能力的最佳超边。

图3所示为基于遗传算法的超网络演化学习，具体步骤如下：

1.超边的编码，对特征变量空间进行二进制遗传算法编码。将特征变量空间进行二进制遗传算法编码。初始化后，超边所包含的特征变量用二进制编码表示，得到的二进制串作为遗传算法染色体。在整个演化学习过程中，超边库中的超边以染色体编码串形式存在，超边顶点对应的属性值被隐藏。当特征空间大小为n时，每个特征需用t位二进制数进行编码表示，其中2^t≥n。具有k（k表示超边的阶数）个顶点的超边需要长度为kt+1的染色体来表示，其中最后一位用于表示超边的类别标识。如图4所示，给定样本X，样本包含32个特征，则每个特征需用5位二进制数进行编码。超边l={x₂=1,x₃₁=1,x₃₀=1,x₀=0,x₁=1,y=0}，对超边顶点的下标进行编码，得到一个遗传算法染色体l=00010 1111111110 00000 00001 0。通过交叉和变异操作得到的新染色体l，=00010 11111 0111001111 00000 0。

2.超网络对训练样本进行分类，将训练集作为待分类数据输入初始化超网络，每输入一个样本X，超网络将所有超边与X进行匹配，并将匹配的超边按类别进行划分。取匹配成功次数最多的超边类别作为该输入样本X的分类结果y^*=H(X)，比较训练样本的类别与分类结果，然后记下分类正确的样本数，和分类不正确的样本数。超边与样本的匹配定义为：超边包含的顶点特征值与样本的特征值对应相等，例如：对于一个k(k=5)阶超网络模型，输入样本X={x₁=1,x₂=0,x₃=0,x₄=1,x₅=0,x₆=1,y=0}。若一条超边e_i的顶点为x_i1=1,x_i3=0,x_i4=1,x_i5=0,x_i6=1，则称超边e_i与样本X匹配。

3.适应值的计算，根据上述步骤ii超网络对训练集的分类结果，计算超边的适应值，以评估其分类性能。个体适应值定义为：

，其中，α为错误预期值，取值为100；β为正确预期值，取值为1；#_c为超边的正确匹配值，#_w表示超边的错误匹配值。如果该超边与该样本正确匹配，即超边顶点的特征值与样本特征值对应相等且类别标识一致，则#_c加1，否则#_w加1。

4.锦标赛选择，根据上述步骤iii，每条超边都带有一定的适应值，每次从超边集合中随机抽取a个个体进行适应值对比，其中适应值最大的个体将被遗传到下一代演化中；重复以上过程次，就可得到下一代种群的m个个体（本发明最优可取a=2,m=380）。

5.单点交叉，以一定的交叉概率如最优取p_c=0.25随机选择类别相同的两条超边，在超边的某一顶点处进行单点交叉操作，产生两个新的个体。

6.基本位变异法，按一定的变异概率如最优取p_m=0.01随机指定某个体编码串中的一位基因进行变异操作。若被指定进行变异操作的二进制位为0，则将其变为1；反之，若为1，则将其变为0。

7.解码，在上述步骤i～vii的演化过程中，超边中的特征变量均以二进制串表示，其对应的属性值被隐藏。解码过程即通过二进制码从训练集中查询该二进制码对应的特征变量及其属性值，以完成后续的分类操作。如图4所示，演化结束后，对新超边l，=00010 11111 01110 01111 00000 0，根据样本X，查找每5位二进制码对应的特征变量，从而获得组成该染色体的属性及对应的属性值l，={x₂=1,x₃₁=1,x₁₄=1,x₁₅=1,x₀=0,y=0}。

8.重复上述步骤i～viii，直到演化超网络能够在步骤ii中完全正确对训练集样本进行分类或者迭代次数达到10为止。

图5所示为利用GPU实现超网络演化学习，具体操作：

将超网络的演化学习进程载入GPU设备，将CPU上初始化的超边库拷贝到GPU的显存中作为全局变量，超网络的演化学习进程分为多个并行线程块，分别分配给GPU的各个网格，将超网络的超边库平均分成M=50个组，每个组作为遗传算法的一个子种群，每条超边对应子种群中的一个个体，一个线程块控制一个子种群的演化学习，个体上的一系列演化操作均由相应的线程来完成。以下为一个子种群在GPU上实现基于遗传算法的超网络演化学习过程：

i.超边的编码，对每个样本包含的特征进行二进制编码，相应的超边个体中的特征以二进制编码表示，将个体编码后的二进制串保存到显存中。

ii.超网络对训练样本进行分类，各进程并行从显存中读取二进制编码串并获取特征对应的取值，将子种群中的每个个体与待分类训练样本进行匹配运算，并将子种群中每个个体与待分类样本的匹配情况及总匹配个体数存放于共享存储器中，统计各存储器中的匹配个体数，得出分类结果。

iii.适应值计算，超网络对训练样本进行分类的过程中，子种群中每个个体与训练集样本的正确匹配值#_c和错误匹配值#_w均保存在共享存储器中，线程通过读取共享存储器中的数据，计算每个个体在本代演化学习中的适应值，将适应值放入显存。个体适应值计算流程如图6所示.

iv.锦标赛选择，对于每一个个体，随机从显存中读取子种群中与该个体类别相同的a（a=2）个个体及其相应的适应值，比较适应值大小，将适应值较大的个体放入共享存储器中作为父代个体。重复执行上述步骤。

v.迁移，为保证各线程模块能够保持同步，同时保证优良个体及时扩散到其他子种群中，每一代演化完成后，子种群间进行优良个体迁移。对上述选择出的下一代子种群个体，根据适应值大小进行排序，将适应值较大的前q（q=10)个个体写入显存，同时并行从显存中获取其左临近子种群的待迁移个体，代替种群中适应值最小的q个个体。

vi.单点交叉，通过随机数发生器并行为每个父代个体产生一个随机数，与预先设定的交叉率比较，确定个体是否参与交叉操作。随机选择两个类别相同的待交叉个体执行交叉操作，完成交叉后的两个新个体存回显存中，具体操作如图7所示。

vii.基本位变异法，线程并行为每个个体产生一个随机数，读取显存中预先设定的变异率，若随机数大于变异率，则对该个体进行变异。随机产生一个随机数作为变异点，在对应基因位上的基因进行变异操作。

viii.满足结束条件后，超网络演化学习过程终止，GPU将各子种群中的个体进行解码并送回主机的CPU，得到一个演化超网络分类器。

4)演化超网络分类器对待测样本进行分类。通过演化学习，超网络模型发现DNA微阵列数据的分类规则，即对于某待分类样本，超网络分类器根据学习到的分类规则，判定该样本的类别。超网络分类器的分类过程如下（如图8）：

1输入待分类样本X；

2根据以下步骤对输入样本X进行分类：

a)将X与超边库中所有超边进行匹配运算，并将与X匹配的超边放入集合M中。

b)根据超边的类别标识，对集合M中的超边划分：如将类别为0的超边归类到集合M⁰中，将类别为1的超边归类到集合M¹中。

c)计算。其中|M^Y|表示与样本X匹配的且类别为Y={0,1}的超边的数量，|M|表示所有与样本X匹配的超边总数，取比值|M^Y|/M最大的类别Y作为函数的结果。

d)输出判断结果y^*，若y^*为1，则认为该样本类别为1；若为0，则类别为0。

超网络在GPU上以并行方式实现基于遗传算法的演化学习，有效提高了DNA微阵列数据的分类精度和分类效率。易于生产一种使用方便、灵活的，具有较高准确率的诊断装置。

Claims (10)

1.一种基于并行演化超网络的DNA微阵列基因数据分类系统，其特征在于，该系统包括：数据预处理单元：对微阵列数据进行信噪比特征选择，提取与微阵列数据分类相关的特征基因，将每个微阵列数据样本进行二值化，处理后数据作为超网络的输入信息；初始化超网络模型：根据给定的经过预处理后DNA微阵列数据，从中抽取一部分作为训练集，根据输入的训练集样本产生超边，形成一个超边库，建立初始化超网络模型；超网络演化学习单元：将初始化超网络的超边库平均分成多个组，分配给GPU的各个线程模块，各线程模块中的线程并行执行基于遗传算法的演化学习过程，完成演化学习后的超网络获取训练集数据的先验知识，得到具有决策能力的最佳超边，超边包含对癌症分类起关键作用的特征基因组合；超网络分类器：超网络利用超边库中具有决策能力的超边与输入的待测DNA微阵列数据样本进行匹配运算，对待测样本的类别进行判断。

2.根据权利要求1所述的分类系统，其特征在于，通过对训练样本的特征进行随机采样产生包含样本的特征组合及样本的类别标识的超边。

3.根据权利要求1或2所述的分类系统，其特征在于，超边库中的每组超边作为遗传算法中的一个子种群，每条超边对应子种群中的一个个体，每个子种群在GPU的一个线程模块上并行执行演化学习，演化学习过程包括：训练集分类、适应值计算、选择、交叉和变异。

4.根据权利要求1或2所述的分类系统，其特征在于，根据超网络对训练集样本分类正确与否，根据公式：

计算超边的适应值，其中，#_c为超边的匹配值，#_w表示超边的错误值，α为错误预期值；β为正确预期值。

5.根据权利要求3所述的分类系统，其特征在于，每完成一代演化，子种群间进行一次优秀个体迁移，子种群中适应值较大的超边向邻近子种群迁移，代替邻近子种群中适应值较小的超边，形成一个定向迁移环。

6.一种基于并行演化超网络的DNA微阵列基因数据分类方法，其特征在于，该方法包括：数据预处理单元对微阵列数据进行信噪比特征选择，得到的特征向量作为微阵列数据分类的样本数据库，将每个微阵列数据样本进行二值化，抽取一部分数据作为超网络的训练集；初始化超网络单元根据输入训练集样本数据产生超边，组成超网络超边库，构建初始化超网络模型；超网络演化学习单元将超网络超边库中的超边平均分组，将每条超边分配给GPU的各个线程模块，各线程模块中的线程并行执行基于遗传算法的演化学习，完成演化学习后的超网络获取训练集数据的先验知识，搜索到具有决策能力的最佳超边；超网络分类器：利用超边库中具有决策能力的超边与输入的待测样本进行匹配，对待测样本的类别进行判断。

7.根据权利要求6所述的分类方法，其特征在于，通过对训练样本的特征进行随机采样产生包含样本的特征组合及样本的类别标识的超边。

8.根据权利要求6或7所述的分类方法，其特征在于，超边库中的每组超边作为遗传算法中的一个子种群，每条超边对应子种群中的一个个体，每个子种群在GPU的一个线程模块上并行执行演化学习，演化学习过程包括：超网络的演化学习进程分为多个并行线程块，分别分配给GPU的各个网格，将超网络的超边库平均分组，每个组作为遗传算法的一个子种群，每条超边对应子种群中的一个个体，一个线程块控制一个子种群的演化学习，个体上的一系列演化操作均由相应的线程来完成。

9.根据权利要求6或7所述的分类方法，其特征在于，根据超网络对训练集样本分类正确与否，根据公式：

计算超边的适应值，其中，#_c为超边的匹配值，#_w表示超边的错误值，α为错误预期值；β为正确预期值。

10.根据权利要求8所述的分类方法，其特征在于，每完成一代演化，子种群间进行一次优秀个体迁移，子种群中适应值较大的超边向邻近子种群迁移，代替邻近子种群中适应值较小的超边，形成一个定向迁移环。

Images