CN115731378A - 一种基于大数据技术的干涉阵列极化效应消除方法 - Google Patents

一种基于大数据技术的干涉阵列极化效应消除方法 Download PDF

Info

Publication number
CN115731378A
CN115731378A CN202211397642.0A CN202211397642A CN115731378A CN 115731378 A CN115731378 A CN 115731378A CN 202211397642 A CN202211397642 A CN 202211397642A CN 115731378 A CN115731378 A CN 115731378A
Authority
CN
China
Prior art keywords
polarization
image
interference array
layers
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211397642.0A
Other languages
English (en)
Other versions
CN115731378B (zh
Inventor
张利
唐远志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou University
Original Assignee
Guizhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou University filed Critical Guizhou University
Priority to CN202211397642.0A priority Critical patent/CN115731378B/zh
Publication of CN115731378A publication Critical patent/CN115731378A/zh
Application granted granted Critical
Publication of CN115731378B publication Critical patent/CN115731378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Eye Examination Apparatus (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于大数据技术的干涉阵列极化效应消除方法，涉及天文观测成像技术领域，其技术方案要点是：根据实际观测情况，进行全极化模拟观测，得到全极化可见度数据；将全极化可见度数据转换成全极化脏图；进一步形成由极化‑非极化脏图对组成的数据集；将极化‑非极化脏图对输入SE_CNN网络，当网络收敛时，得到相应网络参数模型；利用通用校准方法消除实际观测图像中的非极化仪器效应，从而使得图像中仅包含极化效应；利用训练好的网络参数模型，对校准后的实际观测图像进行极化消除。本申请提出的一种深度学习模型，利用其强大的特征抽取能力，应用到干涉阵列极化效应消除中，同时本发明既可用于地基干涉阵列也适合空间干涉阵列。

Description

一种基于大数据技术的干涉阵列极化效应消除方法
技术领域
本发明涉及天文观测成像技术领域，更具体地说，它涉及一种基于大数据技术的干涉阵列极化效应消除方法。
背景技术
在天文学许多领域，研究来自外层空间的极化辐射非常重要。极化主要存在于相干辐射天文源以及非相干辐射天文源。一般来说，极化可以用于探测星际磁场的法拉第旋转，而宇宙微波背景的极化则用于研究非常早期的宇宙物理学。射电天文研究中极化测量也非常重要，因为大多数银河系同步辐射都会表现出一定的弱极化特性，并且相关研究表明银河系同步辐射固有线极化。
极化效应是一种十分常见的方向相关效应，对于波束方向相关效应的校准，可以宽泛地分为两个方面，即图像平面的校准和傅里叶平面的校准。通用天文应用软件(CommonAstronomy Software Applications,CASA)官方关于3C286场的极化校准是通过对D-Johns矩阵进行校正，进而使得受极化效应影响的可见度数据得到优化为思路展开。因此，传统的极化校准(D-term校准)是通过观察已知光源的极化角，求解Johns矩阵(Johns矩阵可代表波相对天线的旋转，天线的响应主要是极化效应、以及接收机内到达相关器输入端之前的信号放大)中7个方向独立的项，并校正主波束的影响完成的极化校准。但是，在低频观测上缺乏合适的校准器，尤其是在阵列分辨率和灵敏度都较低的时候。
随着射电观测技术的进步，尤其是SKA阵列的建设，将使得对宇宙再电离的直接观测成像成为现实。但是，在探测宇宙再电离的过程中，由于干涉阵列复杂的仪器效应，如极化效应，对EoR信号和各前景信号(银河系同步辐射、银河系自由-自由辐射、河外点源以及星系团射电晕)的准确识别和扣除带来巨大的干扰。传统模型驱动的方法通常通过显式函数建模实现，这必然会导致较明显的逼近误差。特别是，在SKA等高灵敏观测中，极化消除误差对动态范围成像的影响会明显增加。并且，SKA阵列观测会产生海量的射电天文观测数据，面对这些海量的观测数据，传统的射电天文图像处理方法具有明显的局限性。因此，以深度学习为代表的大数据方法提供了一种从海量数据中自动提取特征的有效方式，能为诸多射电天文图像处理问题提供全新解决的思路。将大数据技术应用于干涉阵列极化效应消除这一具体问题上，开发基于大数据技术的干涉极化效应消除算法，通过本发明的开展可为SKA等干涉阵列的科学数据处理提供新的解决方案。。
发明内容
本发明的目的是提供一种基于大数据技术的干涉阵列极化效应消除方法，以解决上述技术问题。
本发明的上述技术目的是通过以下技术方案得以实现的：一种基于大数据技术的干涉阵列极化效应消除方法，包括如下步骤方法：
S1：观测模拟与数据集生成：根据实际观测情况，通过OSKAR软件进行全极化模拟观测，得到全极化可见度数据；通过WSClean软件将全极化可见度数据转换成全极化脏图；进一步形成由极化-非极化脏图对组成的数据集；
S2：网络参数模型训练：将极化-非极化脏图对输入SE_CNN网络，当网络收敛时，得到相应网络参数模型；
S3：实际观测图像预处理：利用通用校准方法消除实际观测图像中的非极化仪器效应，从而使得图像中仅包含极化效应；
S4：极化效应消除：利用训练好的网络参数模型，对校准后的实际观测图像进行极化消除。
本发明进一步设置为：所述SE_CNN网络由卷积层架构组成，并结合了注意力机制。
本发明进一步设置为：卷积层架构由若干层卷积层堆叠而成，卷积层之间设有SE模块。
本发明进一步设置为：所述积层架构由16层卷积层堆叠而成；其中第一层仅由卷积子层和ReLU激活函数组成，最后一层仅有卷积运算，中间的其它层由卷积子层、批归一化和ReLU激活函数组成。
综上所述，本发明具有以下有益效果：与传统方法相比，以深度学习为代表的大数据技术是一种数据驱动的方法，需要海量训练数据，并且可根据任务目标从训练数据中自动提取特征，在整个实验过程中不需要人工干预，并且还具有较好的模型迁移能力。
通过大数据技术对低频SKA极化效应的消除，相比较于传统的极化消除研究具备多方面优势。首先，大数据技术是具有非常强大的特征提取能力，可提供更好的优化模型；其次，对于使用者而言，大数据技术整个操作过程相对简单，并且随着计算机软硬件及GPU的发展，使得极化效应消除的实验过程将变得非常高效；最后大数据技术网络结构灵活且易于扩展，对于后续比较类似的射电天文图像处理问题可以很好的迁移应用。
本申请提出的一种深度学习模型，利用其强大的特征抽取能力，应用到干涉阵列极化效应消除中，同时本发明既可用于地基干涉阵列也适合空间干涉阵列。
附图说明
图1是本发明实施例中网络总体架构；
图2是本发明实施例中卷积层之间的SE模块；
图3是本发明实施例中现有的SE模块；
图4是本发明实施例中数据扩充方法；
图5是本发明实施例中EoR信号基于大数据技术极化效应消除结果；
图6是本发明实施例中银河系同步辐射基于大数据技术极化效应消除结果；
图7是本发明实施例中银河系自由-自由辐射基于大数据技术极化效应消除结果。
具体实施方式
以下结合附图1-7对本发明作进一步详细说明。
实施例：一种基于大数据技术的干涉阵列极化效应消除方法，如图1-7所示，包括如下步骤方法：
S1：观测模拟与数据集生成：根据实际观测情况，通过OSKAR软件进行全极化模拟观测，得到全极化可见度数据；通过WSClean软件将全极化可见度数据转换成全极化脏图；进一步形成由极化-非极化脏图对组成的数据集；
S2：网络参数模型训练：将极化-非极化脏图对输入SE_CNN网络，当网络收敛时，得到相应网络参数模型；
S3：实际观测图像预处理：利用通用校准方法消除实际观测图像中的非极化仪器效应，从而使得图像中仅包含极化效应；
S4：极化效应消除：利用训练好的网络参数模型，对校准后的实际观测图像进行极化消除。
进一步设置为：所述SE_CNN网络由卷积层架构组成，并结合了注意力机制。
进一步设置为：卷积层架构由若干层卷积层堆叠而成，卷积层之间设有SE模块。
进一步设置为：所述积层架构由16层卷积层堆叠而成；其中第一层仅由卷积子层和ReLU激活函数组成，最后一层仅有卷积运算，中间的其它层由卷积子层、批归一化和ReLU激活函数组成。
本发明所采用的网络结构SE_CNN主要由卷积层组成，并结合注意力机制。单从卷积层架构(图1)来看，是由多层卷积层堆叠而成，这种简单结构的有效性已在2016年提出的去噪卷积神经网络(De-noising Convolutional Neural Network,DnCNN)及大量后续工作得到了充分体现。同时，在卷积层之间由SE模块。
该网络的卷积层共有16层，其中第一层仅由卷积子层和ReLU激活函数组成，最后一层仅有卷积运算，其它层由卷积子层、批归一化和ReLU激活函数组成。
本发明使用的SE模块如图2所示：一般来说注意力机制可以分空间域、通道域和混合域为这三大注意力域。其原理是赋予空间种不同的通道或区域以不同的权重，从而使网络专注于更重要信息的提取。SENet(如图3)因其优秀的性能赢得ImageNet图像识别冠军。SENet的思路主要源于对CNN中的特征通道(Feature Channel)依赖性，SENet通过学习通道之间的相关性，进而筛选出针对通道的注意力。并且在本发明的背景下，我们对SE模块进行优化。在SENet网络中，由于SE模块的全局池化操作会损失空间信息，进而无法在空间维度进行更加精细的重新分配权重，因此本发明在此处去掉了SE模块原有的自适应全局平均池化，并且使用1×1卷积核代替SE模块中的两个全连接层，通过这个操作尽可能地保留特征在空间上的信息。最后经过Sigmoid激活函数得到在0到1之间的网络通道注意力特征值，再将通道注意力特征值进行向量点乘操作，最后传给网络的下一层。
射电天文观测成像数据一般以FITS(Flexible Image Transport System)格式存储的。FITS文件由文件头和数据单元两个部分组成。FITS文件中存储着一个或者多个HDU(Header和DataUnit)，文件头(Header)常包含一些强制关键字、文件信息关键字、射电望远镜参数关键字、光谱仪参数关键字、光谱仪分析结果关键字等。对于数据单元(DataUnit)包含的主要是图像的一些像素值数据等。因此本发明通过对FITS文件进行切片操作，直接将其生成为H5文件(Hierarchical Data Format,HDF5)，进而充分保留了FITS文件的多维度信息。
由于考虑到要尽量避免在实际过程中受到宇宙演化的影响，因此将发明的研究定在154MHz-162MHz这样一个宽度为8MHz的较小频带内，这可能导致数据样本不足。并且，前景信号沿频率维度显现出了对频率不敏感的状态，这使得各前景信号在不同频率点上的成像结果基本没多大差异，因此这会直接导致各前景信号的在进行大数据技术实验时数据样本不足。因此，本发明通过对每张天图裁剪成40×40大小的Patch，并对在不同极化方式下成像的结果中手动添加模拟噪声，进而对数据集进行扩充，最终训练集集脏图和干净图各有1171280个样本，测试集脏图和干净图各有292820个样本。
在评价指标上，选用峰值信噪比(PSNR)和结构相似性(SSIM)，根据这两种图像评价指标，并结合本文关于极化效应消除研究的实际情况，可以得出一般性结论：在低频SKA极化效应研究的实验中，图像的峰值信噪比越大，结构相似度越高，对于极化效应的消除效果就越好。并通过预实验后，本发明最终将网络深度定为16层，学习率为0.001，Epoch为10。
对于图5-图7，从左至右各子图分别对应为：干净图、脏图、基于DnCNN的重建图、基于SE_CNN的重建图。
由图5清晰可见，通过大数据技术对于水平极化(Q)消除具有非常好的结果，并且对两种网络的重建图像和干净图像进行评价指标计算。其中基于DnCNN网络的极化消除实验的结构相似为0.899，峰值信噪比为35.75dB；基于SE_CNN网络的极化消除实验其结构相似为0.905，峰值信噪比为36.34dB。对于图6，基于DnCNN网络的极化消除实验其结构相似为0.609，峰值信噪比为29.84dB；基于SE_CNN网络的极化消除实验其结构相似为0.747，峰值信噪比为30.51dB。对于图7，基于DnCNN网络的极化消除实验其结构相似为0.813，峰值信噪比为35.86dB；基于SE_CNN网络的极化消除实验其结构相似为0.849，峰值信噪比为39.35dB。通过我们的实验表明，本发明对于EoR信号、银河系同步辐射和银河系自由-自由辐射的水平极化消除具有较好的效果，其天图基本形态和评价指标均高于一般的方法。通过本发明“一种基于大数据技术的干涉阵列极化效应消除方法”更能实现低频干涉阵列受极化效应污染的射电天图的高保真重建恢复，以促进SKA对“宇宙黎明和再电离”科学目标的精准探测和研究。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (5)

1.一种基于大数据技术的干涉阵列极化效应消除方法，其特征是，包括如下步骤方法：
S1：观测模拟与数据集生成：根据实际观测情况，通过OSKAR软件进行全极化模拟观测，得到全极化可见度数据；通过WSClean软件将全极化可见度数据转换成全极化脏图；进一步形成由极化-非极化脏图对组成的数据集；
S2：网络参数模型训练：将极化-非极化脏图对输入SE_CNN网络，当网络收敛时，得到相应网络参数模型；
S3：实际观测图像预处理：利用通用校准方法消除实际观测图像中的非极化仪器效应，从而使得图像中仅包含极化效应；
S4：极化效应消除：利用训练好的网络参数模型，对校准后的实际观测图像进行极化消除。
2.根据权利要求1所述的一种基于大数据技术的干涉阵列极化效应消除方法，其特征是：所述SE_CNN网络由卷积层架构组成，并结合了注意力机制。
3.根据权利要求2所述的一种基于大数据技术的干涉阵列极化效应消除方法，其特征是：卷积层架构由若干层卷积层堆叠而成，卷积层之间设有SE模块。
4.根据权利要求3所述的一种基于大数据技术的干涉阵列极化效应消除方法，其特征是：所述积层架构由16层卷积层堆叠而成；其中第一层仅由卷积子层和ReLU激活函数组成，最后一层仅有卷积运算，中间的其它层由卷积子层、批归一化和ReLU激活函数组成。
5.根据权利要求3所述的一种基于大数据技术的干涉阵列极化效应消除方法，其特征是：所述SE模块去掉原有的自适应全局平均池化，使用1×1卷积核代替SE模块中的两个全连接层；最后经过Sigmoid激活函数得到在0到1之间的通道注意力特征值，将通道注意力特征值进行向量点乘操作，传给网络的下一层。
CN202211397642.0A 2022-11-09 2022-11-09 一种基于大数据技术的干涉阵列极化效应消除方法 Active CN115731378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211397642.0A CN115731378B (zh) 2022-11-09 2022-11-09 一种基于大数据技术的干涉阵列极化效应消除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211397642.0A CN115731378B (zh) 2022-11-09 2022-11-09 一种基于大数据技术的干涉阵列极化效应消除方法

Publications (2)

Publication Number Publication Date
CN115731378A true CN115731378A (zh) 2023-03-03
CN115731378B CN115731378B (zh) 2023-05-30

Family

ID=85294956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211397642.0A Active CN115731378B (zh) 2022-11-09 2022-11-09 一种基于大数据技术的干涉阵列极化效应消除方法

Country Status (1)

Country Link
CN (1) CN115731378B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111513716A (zh) * 2019-02-05 2020-08-11 通用电气精准医疗有限责任公司 使用扩展灵敏度模型和深度神经网络进行磁共振图像重建的方法和系统
US20200405175A1 (en) * 2019-06-25 2020-12-31 Siemens Healthcare Gmbh Mri image reconstruction using machine learning
US20210142887A1 (en) * 2019-11-07 2021-05-13 Siemens Healthcare Gmbh Artificial Intelligence for Basal and Apical Slice Identification in Cardiac MRI Short Axis Acquisitions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111513716A (zh) * 2019-02-05 2020-08-11 通用电气精准医疗有限责任公司 使用扩展灵敏度模型和深度神经网络进行磁共振图像重建的方法和系统
US20200405175A1 (en) * 2019-06-25 2020-12-31 Siemens Healthcare Gmbh Mri image reconstruction using machine learning
US20210142887A1 (en) * 2019-11-07 2021-05-13 Siemens Healthcare Gmbh Artificial Intelligence for Basal and Apical Slice Identification in Cardiac MRI Short Axis Acquisitions

Also Published As

Publication number Publication date
CN115731378B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
Zu et al. Hybrid-sparsity constrained dictionary learning for iterative deblending of extremely noisy simultaneous-source data
US5805098A (en) Method and system for forming image by backprojection
Sun et al. Automatic detection of volcanic surface deformation using deep learning
Zhao et al. Contrastive-regulated CNN in the complex domain: A method to learn physical scattering signatures from flexible PolSAR images
CN107544051A (zh) 嵌套阵列基于k‑r子空间的波达方向估计方法
CN103837889A (zh) 一种地震属性多源信息融合方法
CN103927551A (zh) 基于超像素相关矩阵的极化sar图像半监督分类方法
CN107742133A (zh) 一种用于极化sar图像的分类方法
CN112415583A (zh) 地震数据的重建方法、装置、电子设备及可读存储介质
Ma et al. A sequential approach for Sentinel-1 TOPS time-series co-registration over low coherence scenarios
Feeney et al. Hierarchical Bayesian detection algorithm for early-universe relics in<? format?> the cosmic microwave background
Battista et al. Inverse methods in aeroacoustic three-dimensional volumetric noise source localization and quantification
US8798359B2 (en) Systems and methods for image sharpening
Shangguan et al. GF-3 polarimetric data quality assessment based on automatic extraction of distributed targets
Li et al. Attention residual U-Net for building segmentation in aerial images
Wang et al. A multi‐data training method for a deep neural network to improve the separation effect of simultaneous‐source data
Pournaghshband et al. A novel block compressive sensing algorithm for SAR image formation
CN117471457A (zh) 基于深度展开复网络的稀疏sar学习成像方法、装置及介质
Pruente Application of compressed sensing to SAR/GMTI-data
CN115731378B (zh) 一种基于大数据技术的干涉阵列极化效应消除方法
Trianni et al. Damage detection from SAR imagery: Application to the 2003 Algeria and 2007 Peru earthquakes
CN116224265A (zh) 探地雷达数据反演方法、装置、计算机设备及存储介质
Yang et al. An adaptive clutter-immune method for pipeline detection with GPR
Li et al. A multispectral remote sensing data spectral unmixing algorithm based on variational Bayesian ICA
CN115267673A (zh) 考虑重建网格偏移的稀疏声源成像方法、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant