CN109508746A - 基于卷积神经网络的脉冲星候选体识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的脉冲星候选体识别方法，主要解决现有脉冲星识别方法依靠人工耗时费力、传统的机器学习方法识别速度慢且准确率低的问题。其实现方案是：1、把巡天观测数据处理成图像并对每张图像进行二分类标记，建立脉冲星候选体和非脉冲星候选体图像的训练集合、验证集合和测试集合；2、搭建卷积神经网络模型；3、用训练集合对卷积神经网络模型进行训练并用验证集合评价模型；4、用训练好的卷积神经网络识别测试集合中的每张图像，输出每张图像的分类标记，即脉冲星候选体图像和非脉冲星候选体图像。本发明复杂度低、训练耗时少、识别速度快，识别准确率高，可用于对天文数据的处理。

Description

基于卷积神经网络的脉冲星候选体识别方法

技术领域

本发明属于图像处理技术领域，特别涉及是一种脉冲星候选体识别方法，可用于对天文数据的处理。

背景技术

随着科学技术的进步，射电望远镜具有更高的时间和频率分辨率，观测到的脉冲星数据量呈现爆炸增长趋势。如何有效快速的在海量的脉冲星观测数据中识别脉冲星候选体，是天文机构需要解决的问题。目前在脉冲星观测数据中识别脉冲星候选体主要有两种方法：

第一种方法是把观测数据处理成图像，人工逐张浏览图像，把脉冲星候选体识别出来。

第二种方法是把观测数据处理成图像，然后对图像进行预处理，放入训练好的机器学习模型中，对图像进行识别分类。

对于以上两种方法，第一种方法采用人工的方法识别，耗时费工，效率很低。第二种方法采用机器学习的方法识别，训练模型很费时，前期需要对要筛选的数据做预处理，模型识别准确率不高。

随着脉冲星巡天观测设备性能的不断提高，脉冲星巡天观测数据越来越多，现有的方法已经无法满足在海量观测数据中识别脉冲星候选体的要求。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于卷积神经网络的脉冲星候选体识别方法，以在海量脉冲星巡天观测数据中快速、准确的识别出脉冲星候选体。

为实现上述目的，本发明的技术方案包括如下：

(1)构建三种数据集：

1.1)从脉冲星巡天观测数据中，利用澳大利亚国家天文台CSIRO的开源软件tempo2生成M张图像，计算每张图像的相对强度h：

1.2)设置相对强度阈值ε，将每张图像的相对强度h与相对强度阈值ε进行比较：如果h大于ε，则将图像的理想标签值设置为1，反之设置为0，并令1代表脉冲星候选体图像，0代表是非脉冲星候选体图像；

1.3)根据1.2)的结果，将M张图像用集合C表示为：

C＝{(X₁,y₁),(X₂,y₂),...,(X_m,y_m),...,(X_M,y_M)}，

其中X_m代表第m张图像，y_m代表第m张图像的标签值，m＝1,2,...,M；

1.4)在集合C中随机选取E个元素作为训练集合T，再从集合C剩余部分选取R个元素作为验证集合D，再把剩余的N个元素作为测试集J，其中E+R+N＝M；

(2)在Google开源的深度学习框架tensorflow上搭建一个具有输入层、两个卷积池化层、两个全连接层及一个输出层的卷积神经网络模型；

(3)将卷积神经网络模型的两个卷积池化层、两个全连接层和输出层的可学习参数均用截断正态分布进行初始化；

(4)使用训练集合T对(2)搭建的卷积神经网络模型进行训练，得到训练好的卷积神经网络模型；

(5)对训练好的卷积神经网络模型进行评价，选出脉冲星候选体的识别模型：

5.1)把验证集合D中的图像依次输入到(4)中训练好的模型中，得到验证集合D的每张图像的实际标签值：

5.2)根据每张图像实际标签值和1.3)得到的理想标签值，计算验证集合的准确率accu_验，并将计算验证集合的准确率accu_验与设定的准确率阈值ε_验进行比较：若accu_验≥ε_验，则将当前模型作为脉冲星候选体的识别模型，执行(6)，否则，返回(3)继续训练模型；

(6)把测试集合J中的图像依次输入脉冲星候选体的识别模型中，得到测试集合J的每张图像的实际标签值：若实际标签值为1，则为是脉冲星候选体图像，否则，为是非脉冲星候选体图像。

本发明与现有技术相比具有以下优点：

1、本发明的卷积神经网络采用两层卷积池化层，相比机器学习方法，能提取脉冲星图像的抽象特征，提高了脉冲星图像的识别准确率。

2.本发明采用的卷积神经网络，相比机器学习方法，可学习参数少、模型复杂度低，减少了网络的训练时间，提高了识别海量脉冲星巡天观测数据的速度。

3.本发明由于在两个卷积池化层采用卷积操作对脉冲星图像提取有用特征，相比机器学习方法，避免了对脉冲星图像进行图像预处理操作，简化了提取有用信息的操作，进一步提高了识别海量脉冲星巡天观测数据的速度。

附图说明

图1为本发明的实现总流程图；

图2本发明中构建的卷积神经网络模型图；

图3为本发明中对卷积神经网络模型进行训练的子流程图。

具体实施方式

以下参照附图对本发明作进一步详细描述。

参照图1，本发明的实现步骤如下：

步骤1.构建三种数据集

1a)利用软件tempo2处理10万条脉冲星巡天观测数据，生成10万张大小为208×208的图像；

1b)计算每张图像的相对强度h，按如下公式计算：

其中，λ为图像的峰值强度，为图像的平均强度；

1c)设置相对强度阈值ε＝2，将每张图像的相对强度h与相对强度阈值ε进行比较，为每张图像贴上理想标签值，如果h大于ε，则将图像的理想标签值设置为1，反之设置为0，并令1代表脉冲星候选体图像，0代表是非脉冲星候选体图像；

1d)把10万张带有标签的图像组成数据集合，从数据集合中选取1000张脉冲星候选体图像和1000张非脉冲星候选体图像组成本实例所用的集合C：

C＝{(X₁,y₁),(X₂,y₂),...,(X_m,y_m),...,(X₂₀₀₀,y₂₀₀₀)}

其中X_m代表第m张图像，y_m代表第m张图像的标签值，m＝1,2,...,2000；

1e)从集合C中选取700张脉冲星候选体图像、700张非脉冲星候选体图像组成训练集合T，再从集合C剩余部分选取150张脉冲星候选体图像、150张非脉冲星候选体图像组成验证集合D，再用最后剩余的300张图像组成测试集合J。本发明中训练集合、验证集合、测试集合中图像张数不限于本实例所用的张数。

步骤2.搭建卷积神经网络模型。

在深度学习库tensorflow上搭建一个具有输入层、两个卷积池化层、两个全连接层及一个输出层的卷积神经网络模型，其结构关系如图2所示，各层参数如下：

输入层：由35×208×208的矩阵构成，其中35表示每次往卷积神经网络中输入图像的数目，两个208分别表示输入图像的宽、高；

第一卷积层：由16个可学习卷积核、16个可学习偏置和一个Relu激活函数构成，每个可学习卷积核是宽度为5、高度为5、通道为3的5×5×3的矩阵，16个可学习偏置组成16×1的矩阵，每个卷积核的移动步长为1；

第一池化层：由一个Max-pooling池化函数构成，Max-pooling池化函数是宽度为2、高度为2的2×2的矩阵，Max-pooling池化函数的移动步长为2；

第二卷积层：由16个可学习卷积核、16个可学习偏置和一个Relu激活函数构成，每个可学习卷积核是宽度为5、高度为5、通道为16的5×5×16的矩阵，16个可学习偏置组成16×1的矩阵，每个卷积核的移动步长为1；

第二池化层：由一个Max-pooling池化函数构成，该Max-pooling池化函数是宽度为2、高度为2的2×2的矩阵，Max-pooling池化函数的移动步长为1；

第一全连接层：由一个可学习权重矩阵、一个可学习偏置和一个Relu激活函数构成，其可学习权重为128×173056的矩阵，可学习偏置为128×1的矩阵；

第二全连接层：由一个可学习权重矩阵、一个可学习偏置和一个Relu激活函数构成，其可学习权重为128×128的矩阵，可学习偏置为128×1的矩阵；

输出层：由一个可学习权重矩阵、一个可学习偏置和一个SoftMax激活函数构成，其可学习权重为2×128的矩阵，可学习偏置为2×1的矩阵。

输入层的每张图像依次作为第一个卷积池化层的输入量，第一个卷积层的输出量经过Relu激活函数后作为第一个池化层输入量，第一个池化层输出量作为第二个卷积池化层的输入量，第二个卷积层的输出量经过Relu激活函数后作为第二个池化层输入量，第二个池化层的输出量经过一维展开后作为第一个全连接层的输入量，第一个全连接层的输入量加权、求和后经过Relu激活函数后的输出量作为第二个全连接层的输入量，第二个全连接层的输入量加权、求和后经过Relu激活函数后的输出量作为输出层的输入量，输出层的输入量加权、求和后经过SoftMax激活函数后，在输出层得到每张图像的实际标签值。

步骤3.训练卷积神经网络

参照图3，本步骤的具体实现如下：

3a)采用截断正态分布对卷积神经网络模型的两个卷积池化层、两个全连接层和输出层的可学习参数进行初始化

3b)在训练集合T中随机选取35张图像F₁,F₂...,F_d,...,F₃₅，其中F_d表示第d张图像，d＝1,2,...,35；

3c)将3a)中的35张图像F₁,F₂...,F_d,...,F₃₅分别通过卷积神经网络，在输出层分别输出其中，表示通过卷积神经网络后得到的实际标签值，d＝1,2,...,35；

3d)设置损失函数阈值ε_损失＝0.001，调用Google开源深度学习库tensorflow中的稀疏交叉损失函数，计算实际标签值和当前35张图像的理想标签值t₁,t₂...,t_d,...,t₃₅之间的交叉损失值loss：若loss＜ε_损失，停止训练，保存模型，反之，执行(3e)；

3e)调用Google开源深度学习库tensorflow中的AdamOptimizer优化器，把交叉损失值loss和学习率l＝0.1作为AdamOptimizer优化器的参数，对3a)中卷积神经网络的可学习参数进行更新，返回3b)继续模型训练。

步骤4.对训练好的卷积神经网络模型进行评价，选出脉冲星候选体的识别模型。

4a)把验证集合D中的300张图像，依次输入到步骤3中训练好的模型中，在输出层输出验证集合D中图像的实际标签其中，表示验证集合D中第r张图像的实际标签值，r＝1,2,...,300；

4b)根据4a)中得到的每张图像实际标签值和验证集合D中图像的理想标签值q₁,q₂,...,q_r,...,q₃₀₀，计算验证集合D的准确率accu_验：

若则否则，

其中，q_r表示验证集合D中第r张图像的理想标签值，表示验证集合D中第r张图像的实际标签值，r＝1,2,...,300，300是验证集合D中元素总个数；

4c)将4b)中计算得到的accu_验与设定的准确率阈值ε_验＝96％进行比较：若accu_验≥ε_验，则将当前模型作为脉冲星候选体的识别模型，否则，返回步骤3继续训练模型；

步骤5.使用脉冲星候选体的识别模型对未知图像进行识别

5a)将测试集合J中的300张图像依次输入到步骤4确定的脉冲星候选体的识别模型中，在输出层得到测试集合J中图像实际标签值其中，表示测试集合J中第s张图像的实际标签值，s＝1,2,...,300；

5b)根据的实际标签值确定第s张图像的类型：若的实际标签值为1，则认为第s张图像是脉冲星候选体图像，否则，为是非脉冲星候选体图像，完成对脉冲星候选的体识别，其中，表示测试集合J中第s张图像的输出量，s＝1,2,...,300。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行任何形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于卷积神经网络的脉冲星候选体识别方法，其特征在于，包括如下：

(1)构建三种数据集：

1.1)从脉冲星巡天观测数据中，利用联邦科学与工业研究组织CSIRO的开源软件tempo2生成M张图像，计算每张图像的相对强度h：

1.2)设置相对强度阈值ε，将每张图像的相对强度h与相对强度阈值ε进行比较：如果h大于ε，则将图像的理想标签值设置为1，反之设置为0，并令1代表脉冲星候选体图像，0代表是非脉冲星候选体图像；

1.3)根据1.2)的结果，将M张图像用集合C表示为：

C＝{(X₁,y₁),(X₂,y₂),...,(X_m,y_m),...,(X_M,y_M)}，

其中X_m代表第m张图像，y_m代表第m张图像的标签值，m＝1,2,...,M；

1.4)在集合C中随机选取E个元素作为训练集合T，再从集合C剩余部分选取R个元素作为验证集合D，再把剩余的N个元素作为测试集J，其中E+R+N＝M；

(2)在Google开源的深度学习框架tensorflow上搭建一个具有输入层、两个卷积池化层、两个全连接层及一个输出层的卷积神经网络模型；

(3)将卷积神经网络模型的两个卷积池化层、两个全连接层和输出层的可学习参数均用截断正态分布进行初始化；

(4)使用训练集合T对(2)搭建的卷积神经网络模型进行训练，得到训练好的卷积神经网络模型；

(5)对训练好的卷积神经网络模型进行评价，选出脉冲星候选体的识别模型：

5.1)把验证集合D中的图像依次输入到(4)中训练好的模型中，得到验证集合D的每张图像的实际标签值：

5.2)根据每张图像实际标签值和1.3)得到的理想标签值，计算验证集合的准确率accu_验，并将计算验证集合的准确率accu_验与设定的准确率阈值ε_验进行比较：若accu_验≥ε_验，则将当前模型作为脉冲星候选体的识别模型，执行(6)，否则，返回(3)继续训练模型；

(6)把测试集合J中的图像依次输入脉冲星候选体的识别模型中，得到测试集合J的每张图像的实际标签值：若实际标签值为1，则为是脉冲星候选体图像，否则，为是非脉冲星候选体图像。

2.根据权利要求1所述方法，其特征在于，步骤1.1)中计算图像的相对强度，按如下公式计算：

其中，λ为图像的峰值强度，为图像的平均强度。

3.根据权利要求1所述的方法，其特征在于，步骤(2)中搭建的卷积神经网络模型，各层结构如下：

输入层：由集合Q：{(Z₁,g₁),...,(Z_i,g_i),...,(Z_B,g_B)}中的{Z₁,...,Z_i,...,Z_B}构成，其中，Z_i代表集合Q中的第i张图像，g_i代表集合Q中的第i张图像的标签值，i＝1,2,...,B,B为任意大于1的整数；

两个卷积池化层：均由K个可学习的卷积核、K个可学习的偏置、一个Relu激活函数和一个Max-pooling池化函数构成，K为大于等于1的整数；

两个全连接层：均由一个可学习的权重矩阵、一个可学习的偏置和一个Relu激活函数构成；

输出层：由一个可学习的权重矩阵、一个可学习的偏置和一个SoftMax激活函数构成；

输入层的每张图像依次作为第一个卷积池化层的输入量，第一个卷积池化层输出量作为第二个卷积池化层的输入量，第二个卷积池化层的输出量经过一维展开后作为第一个全连接层的输入量，第一个全连接层的输出量作为第二全连接层的输入量，第二个全连接层的输出量作为输出层的输入量，输出层输出每张图像的实际标签值。

4.根据权利要求3所述的方法，其特征在于，所述两个卷积池化层，其第一个卷积池化层中的每个可学习卷积核是宽度为5、高度为5、通道为3的5×5×3的矩阵，每个可学习的偏置组成16×1的矩阵，Max-pooling池化函数是宽度为2、高度为2的2×2的矩阵；其第二个卷积池化层中的每个可学习卷积核是宽度为5、高度为5、通道为16的5×5×16的矩阵，每个可学习的偏置组成16×1的矩阵，Max-pooling池化函数是宽度为2、高度为2的2×2的矩阵。

5.根据权利要求3所述的方法，其特征在于，所述的两个全连接层，其第一个全连接层的可学习权重为128×L的矩阵，可学习的偏置为128×1的矩阵；其第二个全连接层的可学习权重为128×128的矩阵，可学习偏置为128×1的矩阵，L等于第二个卷积池化层的输出量展开成一维列向量的行数。

6.根据权利要求3所述的方法，其特征在于，所述输出层，其可学习权重为2×128的矩阵，可学习偏置为2×1的矩阵。

7.根据权利要求1所述的方法，其特征在于，步骤(3)中使用训练集合T对(2)搭建的卷积神经网络模型进行训练，其实现如下：

(3a)初始化卷积神经网络的学习率l＝0.1；

(3b)从训练集合T中随机选取S个元素组成集合U：{(F₁,t₁),...,(F_d,t_d),...,(F_S,t_S)}，其中F_d表示集合U中的第d张图像，t_d表示第d张图像的标签值，S为大于1的整数；

(3c)将集合U中的图像F₁,F₂...,F_d,...,F_S分别通过步骤(2)搭建的卷积神经网络模型，在输出层分别输出其中，表示通过卷积神经网络模型后得到的实际标签值，d＝1,2,...,S；

(3d)设置损失函数阈值ε_损失，调用Google开源深度学习库tensorflow中的稀疏交叉损失函数，计算实际标签值和理想标签值t₁,t₂...,t_d,...,t_S之间的交叉损失值loss：若loss＜ε_损失，停止训练，保存模型，反之，执行(3e)；

(3e)调用tensorflow中的自适应优化器，把交叉损失值loss和学习率l作为自适应优化器的参数，对卷积神经网络模型中参数更新，返回(3b)继续模型训练。

8.根据权利要求1所述方法，其特征在于，步骤5.2)中计算验证集合的准确率accu_验，按如下公式计算：

若则否则，

其中，q_r表示验证集合D中第r张图像的理想标签值，表示验证集合D中第r张图像的实际标签值，R是验证集合D中元素总个数，r＝1,2,...,R。