CN107798048A - 一种用于射电日像仪海量数据管理的负数据库管理方法 - Google Patents

Abstract

本发明涉及一种用于射电日像仪海量数据管理的负数据库管理方法，属于天文技术和海量数据管理技术领域。本发明包括步骤：负数据库的数据初始化；负数据库中数据的查询。负数据库的数据初始化包括步骤：读取射电日像仪原始数据文件中首尾帧的采样时间；判断原始数据文件是否丢帧；根据原始数据文件丢帧情况提出并构造文件中所有帧的元数据的补集信息；存储补集信息到底层数据库。负数据库中数据的查询包括步骤：根据条件检索出相应的补集信息；利用补集信息推导出所有帧的元数据；过滤出最终的元数据信息。本发明在底层数据库的基础上，采用补集的思想，不仅降低了存储空间而且也获得了与关系数据库管理系统相当的查询性能。

Description

一种用于射电日像仪海量数据管理的负数据库管理方法

技术领域

本发明涉及一种用于射电日像仪海量数据管理的负数据库管理方法，特别涉及一种结合利用射电日像仪观测产生的原始数据文件的数据组织特点、观测模式、波段以及极化特点，常用数据库作为负数据库的底层数据库、补集思想以及基于数据对的二分查找算法等来对射电日像仪海量原始数据中的元数据进行管理的方法，属于天文技术和海量数据管理领域。

背景技术

由于现代天文技术的发展以及信息技术的发展与进步，在过去的十几年间，国际上多个射电日像仪项目积累的数据已经从GB级跨越到了TB量级。还将会在今后的数年内从TB量级跨入PB量级。射电日像仪采集数据信息的天线数目越来越多，时间间隔越来越短，空间分辨率越来越高，时间分辨率也越来越高。这就导致射电日像仪的观测必然产生海量的原始数据。海量的原始数据必然会产生海量的元数据。海量的元数据必然会增加存储元数据所需的存储容量进而会影响到元数据的检索效率。由于像UVFITS文件的生成、积分等后期的数据处理都严重依赖数据管理系统，因此降低数据管理系统所需的存储容量以及获得与不使用负数据库管理系统一样的检索性能对其后续的科学数据处理以及科学研究具有重要的意义。

目前用于天文海量数据中元数据管理的方法主要基于两种数据库管理系统：一类是基于关系数据库管理系统（RDBMS）的方法对天文中海量的原始观测数据中的元数据进行管理；另一类是基于NoSQL(Not Only SQL)数据库管理系统的方法对天文中海量的原始观测数据中的元数据进行管理。其中基于RDBMS的方法是通过扫描海量的原始观测数据文件，依次提取出每个原始观测数据文件中的每个原始观测数据帧中的采样日期、采样时间、采样波段、采样波段的极化等元数据，并将提取到的每个原始数据帧中提取到的这些元数据逐条存入像Oracle、MySQL、Microsoft SQL Server、PostgreSQL、DB2这些RDBMS中来进行数据库的初始化工作。通过分析天文学家对海量原始观测数据文件中的原始观测数据帧的检索需求和其他数据处理需求，进而编写一些常用条件的查询程序来满足天文学家日常的对海量的原始数据文件中的原始观测数据帧的检索需求来满足对海量原始观测数据的检索需求。另一类基于NoSQL的方法虽然在检索性能上会略微优于基于RDBMS的方法，但是并不会降低这些元数据所占的存储容量。基于NoSQL的方法同样需要扫描海量的原始观测数据文件，并依次提取出原始观测数据文件中所有帧的元数据，并将提取到的元数据依次存储到像Redis、Fastbit、SciDB、MonetDB这些NoSQL数据库中来进行数据库的初始化工作。同样也是通过分析天文学家对海量原始观测数据的处理需求来编写相应的检索程序来满足天文学家对海量原始观测数据的检索性能需求。但是这些方法会随着天文原始观测数据的累积而需要增加大量的存储空间和给编程带来许多困难和巨大的挑战，同样也会降低对海量原始观测数据的检索性能，进而影响后续的科学数据处理和减少科学产出。

发明内容

本发明要解决的技术问题是提供一种用于射电日像仪海量数据管理的负数据库管理方法，根据原始观测数据文件中原始观测数据帧的元数据中的工作模式、波段、波段极化、观测日期、观测时间、每个数据帧有固定的观测时间间隔以及原始观测数据文件的组织方式等特征信息，采用补集的思想来表征原始观测数据文件中所有数据帧的逻辑关系以及所有数据帧的元数据信息，存储原始观测数据文件中的补集信息不仅保留了所有帧的元数据信息而且可以大大降级存储容量和原始数据帧的元数据的记录数和降低编程难度，同样也不会降低对元数据的检索性能。

本发明采用的技术方案是：一种用于射电日像仪海量数据管理的负数据库管理方法，包括如下步骤：

（1）负数据库的数据初始化：读取射电日像仪原始数据文件中首尾帧的采样时间；判断原始数据文件是否丢帧；根据原始数据文件丢帧情况提出并构造文件中所有帧的元数据的补集信息；存储补集信息到底层数据库；

（2）负数据库中数据的查询：根据条件检索出相应的补集信息；利用补集信息推导出所有帧的元数据；过滤出最终的元数据信息。

所述的负数据库的数据初始化，具体步骤如下：

Step1、找到要处理的原始数据文件所在的目录并提取所有原始数据文件的文件名；

Step2、取一个原始数据文件名并打开其对应的原始数据文件；

Step3、读取原始数据文件中第一帧和最后一帧中的元数据；

Step4、根据首尾两帧元数据中的观测时间判断有没有丢帧；

Step5、根据原始数据文件丢帧情况提取原始数据文件中所有帧的元数据信息并构建这些帧的元数据的补集信息；

Step6、将构建出来的所有帧的元数据的补集信息存入到底层数据库中；

Step7、重复Step2-Step6直到处理完所有的原始数据文件；

所述的负数据库中数据的查询，具体步骤如下：

Step1、拆分出查询条件中的时间信息、波段信息、极化信息；

Step2、利用拆分出来的时间跨度来构建所有可能包含查询结果信息的原始数据文件名；

Step3、取一个构造出来的原始数据文件名并从底层数据库中取出其对应的所有帧的元数据对应的补集信息；

Step4、若取出来的所有帧的元数据对应的补集信息不为空，将所有帧的元数据对应的补集信息转化成数据对的形式；若取出来的所有帧的元数据对应的补集信息为空，则跳过Step5-Step7；

Step5、利用二分查找算法得到更小范围的补集信息；

Step6、利用得到更小范围的补集信息推导出其对应范围帧的元数据信息；

Step7、通过拆分出来的时间信息、波段信息以及极化信息从这个推导出的元数据信息中过滤出属于此文件中包含的最终查询结果，所述的最终查询结果包括文件名、波段、极化、数据帧在文件中的偏移量；

Step8、重复Step3-Step7直到处理完所有构造出来原始数据文件，并得到所有文件中包含的最终查询结果。

本发明的有益效果是：

1、射电频谱日像仪观测得到的同一原始观测数据文件中的所有帧的观测模式都是一样的以及原始观测数据文件中帧的数量也是固定不变的。在循环观测模式下，原始观测数据文件中的波段和极化方式会随着时间在改变；在非循环观测模式下，原始观测数据文件中只存储一种特定波段的特定极化方式的观测数据。同时由于磁盘性能下降等原因会造成观测的原始数据帧会被随机丢弃。由于射电频谱日像仪的这些特征保证了使用原始数据文件中所有帧的元数据信息的补集可以准确地表征原始数据文件中的元数据信息，这就大大降低了要存储的记录数进而可以节省存储空间；

2、本发明由于大大降低了记录数和存储空间，这就可以不用去考虑数据库划分成子数据库等带来的编程困难，可以大大降低数据库管理人员的工作量和工作难度；

3、本发明由于降低了存储的记录数和存储空间，这就可以加大检索元数据补集信息的过程进而达到快速得到要查询的元数据信息。

附图说明

图1是本发明中负数据库的数据初始化的流程图；

图2为本发明中负数据库中数据的查询的流程图；

图3是本发明中MUSER-I的原始数据文件格式；

图4是本发明中用于初始化负数据库用到的原始数据文件；

图5是本发明中补集信息为空的表示形式；

图6是本发明中补集信息不为空的表示形式；

图7是本发明负数据库存储首尾帧观测时间、模式的形式及其记录数；

图8是本发明负数据库中补集信息形式及其记录数；

图9是本发明非负数据库中记录形式及其记录数；

图10是本发明重构元数据需要用到的循环模式集合；

图11是本发明非负数据库的检索结果及其所耗费的时间；

图12是本发明负数据库的检索结果及其所耗费的时间。

具体实施方式

下面结合附图和具体实施方式，对本发明作进一步的说明.

实施例1：如图1-12所示，一种用于射电日像仪海量数据管理的负数据库管理方法，包括如下步骤：

（1）负数据库的数据初始化：读取射电日像仪原始数据文件中首尾帧的采样时间；判断原始数据文件是否丢帧；根据原始数据文件丢帧情况提出并构造文件中所有帧的元数据的补集信息；存储补集信息到底层数据库；

（2）负数据库中数据的查询：根据条件检索出相应的补集信息；利用补集信息推导出所有帧的元数据；过滤出最终的元数据信息。

所述的负数据库的数据初始化，具体步骤如下：

Step1、找到要处理的原始数据文件所在的目录并提取所有原始数据文件的文件名；

Step2、取一个原始数据文件名并打开其对应的原始数据文件；

Step3、读取原始数据文件中第一帧和最后一帧中的元数据；

Step4、根据首尾两帧元数据中的观测时间判断有没有丢帧；

Step5、根据原始数据文件丢帧情况提取原始数据文件中所有帧的元数据信息并构建这些帧的元数据的补集信息；

Step6、将构建出来的所有帧的元数据的补集信息存入到底层数据库中；

Step7、重复Step2-Step6直到处理完所有的原始数据文件；

所述的负数据库中数据的查询，具体步骤如下：

Step1、拆分出查询条件中的时间信息、波段信息、极化信息；

Step2、利用拆分出来的时间跨度来构建所有可能包含查询结果信息的原始数据文件名；

Step3、取一个构造出来的原始数据文件名并从底层数据库中取出其对应的所有帧的元数据对应的补集信息；

Step4、若取出来的所有帧的元数据对应的补集信息不为空，将所有帧的元数据对应的补集信息转化成数据对的形式；若取出来的所有帧的元数据对应的补集信息为空，则跳过Step5-Step7；

Step5、利用二分查找算法得到更小范围的补集信息；

Step6、利用得到更小范围的补集信息推导出其对应范围帧的元数据信息；

Step7、通过拆分出来的时间信息、波段信息以及极化信息从这个推导出的元数据信息中过滤出属于此文件中包含的最终查询结果，所述的最终查询结果包括文件名、波段、极化、数据帧在文件中的偏移量；

Step8、重复Step3-Step7直到处理完所有构造出来原始数据文件，并得到所有文件中包含的最终查询结果。

下面结合具体例子对本发明的方案进行详细描述：

例1：所述用于射电日像仪海量原始数据管理的负数据库管理的方法的具体步骤如下：

（1）负数据库的数据初始化

Step1、找到要处理的原始数据文件所在的目录并提取所有原始数据文件的文件名；具体的：

通过文件定位操作定位到需要提取原始数据文件的目录“Astrodata/MUSER-I/20151101/”下（本例中的测试数据用到的是明安图超宽频射电日像仪（MUSER，原名为中国射电频谱日像仪CSRH）中低频阵观测产生的原始数据文件。MUSER低频阵MUSER-I（0.4-2GHz）有两个工作模式：循环模式和非循环模式，有0.4-0.8GHz，0.8-1.2GHz，1.2-1.6GHz，1.6-2GHz这四个波段，波段有左极化和右极化这两种极化方式。每个数据帧的采样间隔为固定的3.125ms和每个文件有19200个数据帧构成。MUSER-I的原始数据格式如图2所示），提取其目录下的406个原始数据文件的文件名并存入文件名列表中（目录下的406个原始数据文件名如图3所示）；

Step2、取一个原始数据文件名并打开其对应的原始数据文件；具体的：

从得到的原始数据文件名列表中取出一个原始数据文件名（例如取到的原始数据文件名为CSRH_20151101-163949_368400916），通过读取MUSER-I原始数据文件的函数打开取到的原始数据文件；

Step3、读取原始数据文件中第一帧和最后一帧中的元数据；具体的：

读取原始数据文件中第一帧的元数据，并假设读取到的第一帧的元数据为MetadataF；接着读取原始数据文件中最后一帧的元数据，并假设读取到的最后一帧的元数据为MetadataL；

Step4、根据首尾两帧元数据中的观测时间判断有没有丢帧；具体的：

MetadataF中的采样日期和时间为MetadataFT, MetadataL中的采样日期和时间为MetadataLT；如果MetadataLT减去MetadataFT的时间差刚好为1分钟，则原始观测数据文件没有丢帧；如果MetadataLT减去MetadataFT的时间大于1分钟，则原始观测数据文件中肯定存在丢帧；

Step5、根据原始数据文件丢帧情况提取原始数据文件中所有帧的元数据信息并构建这些帧的元数据的补集信息；具体的：

观测产生的原始数据文件中会存在随机丢帧现象，这就为用补集信息来表征整个原始数据文件中的所有帧的元数据信息提供了可能。如果原始文件中不存在丢帧，那么我们用首尾帧的位序、采样时间以及首帧的波段、首帧的波段对应的极化这些信息来表示文件中所有元数据信息的补集为空的这种情况（如图4所示）；如果原始数据文件中存在丢帧，那么文件中所有元数据信息的补集不为空，我们用丢帧处的元数据信息和首尾帧的元信息来表示文件中所有帧的元数据信息的补集信息（如图5所示，假设在只有一处丢帧且丢帧位于第4帧和第5帧之间，丢帧数目为3）；

Step6、将构建出来的所有帧的元数据的补集信息存入到底层数据库中；具体的：

将构造的出来的元数据补集信息通过SQL的插入语句，存入到底层数据库中（假设底层数据库使用关系数据库MySQL）；

Step7、重复Step2-Step6直到处理完所有的原始数据文件，其处理结果如图6和图7所示；

（2）负数据库中数据的查询

Step1、拆分出查询条件中的时间信息、波段信息、极化信息；具体的：

依次从查询条件中拆分出需要检索数据帧的开始日期时间DTF、需要检索数据帧的结束日期时间DTL、以及指定的波段信息Bands、波段对应的极化信息Polarization；

Step2、利用拆分出来的时间跨度来构建所有可能包含查询结果信息的原始数据文件名；具体的：

计算DTL与DTF之间包含的分钟数，构造每一分钟对应的可能包含要查询数据帧的原始数据文件名；

Step3、取一个构造出来的原始数据文件名并从底层数据库中取出其对应的所有帧的元数据对应的补集信息；具体的：

取一个构造出来的原始数据文件名并用其作为SQL的查询条件依次查询这个数据文件对应的首尾数据帧的采样日期和时间以及数据文件对应的补集信息；

Step4、若取出来的所有帧的元数据对应的补集信息不为空，将所有帧的元数据对应的补集信息转化成数据对的形式；若取出来的所有帧的元数据对应的补集信息为空，构造所有帧的元数据信息并跳过Step5-Step7;具体的：

若取出来的数据帧的补集信息不为空，将补集信息集合中的补集信息元素构造成数据对的形式；若取出来的数据帧的补集信息为空，通过相应的重构算法重构所有数据帧的元数据信息并跳过Step5-Step6；

Step5、利用二分查找算法得到更小范围的补集信息；具体的：

通过DTF以及DTL构造补集信息的筛选条件，将构造出来的筛选条件通过二分查找算法来缩小可能包含查询数据帧的补集信息范围并得到相应的补集信息范围。二分查找的算法的伪代码为：

Step6、利用得到更小范围的补集信息推导出其对应范围帧的元数据信息；具体的：

根据观测模式选择重构补集信息对应的数据帧的元数据的重构算法（循环观测模式和非循环观测模式所需的重构算法不一样），进而通过补集信息来重构补集范围对应的数据帧的元数据信息，图9表示循环观测模式下重构算法用到的标志信息；

Step7、通过拆分出来的时间信息、波段信息以及极化信息从这个推导出的元数据信息中过滤出属于此文件中包含的最终查询结果；具体的：

通过拆分出来的查询时间信息、波段信息以及极化信息依次判断推导出来的元数据信息是否符合查询条件；符合查询条件则保存，不符合查询条件则丢弃；

Step8、重复Step3-Step7直到处理完所有构造出来原始数据文件，并最终得到查询结果；具体的：

依次重复Step3-Step7直到处理完所有构造出来的原始数据文件，并得到最终的查询结果；图9表示查询条件为在2015年11月1日10点37分49秒2.885毫秒到2015年11月1日10点37分51秒2.885毫秒之间、循环观测模式下的MUSER-I的所有波段和所有极化的数据帧在所在的文件名和偏移量。图9和图10分别展示用非负数据库和负数据库管理方式查询到的结果。

本发明只需要存储原始观测数据中的相应补集信息而不需要像现有数据管理管理方法那样存储所有原始观测数据文件中的所有帧的元数据。这样不仅可以通过相应原始观测数据文件的补集信息来保存所有帧的元数据信息，而且会大大降级存储容量。同样数据库的初始化性能和数据的检索性能也会和现有数据管理方法的性能相当。进而达到不需要去解决存储容量和数据库的记录巨增带来的各种编程困难。

上面结合附图对本发明的具体实施方式作了详细说明。本发明的方法不仅适合明安图超宽高频射电日像仪（MUSER）的海量原始数据文件中的数据帧元数据信息的管理，也适合其他和MUSER有类似特征的其他射电日像仪产生的海量原始数据的管理。

以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (3)

1.一种用于射电日像仪海量数据管理的负数据库管理方法，其特征在于：包括如下步骤：

（1）负数据库的数据初始化：读取射电日像仪原始数据文件中首尾帧的采样时间；判断原始数据文件是否丢帧；根据原始数据文件丢帧情况提出并构造文件中所有帧的元数据的补集信息；存储补集信息到底层数据库；

（2）负数据库中数据的查询：根据条件检索出相应的补集信息；利用补集信息推导出所有帧的元数据；过滤出最终的元数据信息。

2.根据权利要求1所述的一种用于射电日像仪海量数据管理的负数据库管理方法，其特征在于：所述的负数据库的数据初始化，具体步骤如下：

Step1、找到要处理的原始数据文件所在的目录并提取所有原始数据文件的文件名；

Step2、取一个原始数据文件名并打开其对应的原始数据文件；

Step3、读取原始数据文件中第一帧和最后一帧中的元数据；

Step4、根据首尾两帧元数据中的观测时间判断有没有丢帧；

Step5、根据原始数据文件丢帧情况提取原始数据文件中所有帧的元数据信息并构建这些帧的元数据的补集信息；

Step6、将构建出来的所有帧的元数据的补集信息存入到底层数据库中；

Step7、重复Step2-Step6直到处理完所有的原始数据文件。

3.根据权利要求1或2所述的一种用于射电日像仪海量数据管理的负数据库管理方法，其特征在于：所述的负数据库中数据的查询，具体步骤如下：

Step1、拆分出查询条件中的时间信息、波段信息、极化信息；

Step2、利用拆分出来的时间跨度来构建所有可能包含查询结果信息的原始数据文件名；

Step3、取一个构造出来的原始数据文件名并从底层数据库中取出其对应的所有帧的元数据对应的补集信息；

Step4、若取出来的所有帧的元数据对应的补集信息不为空，将所有帧的元数据对应的补集信息转化成数据对的形式；若取出来的所有帧的元数据对应的补集信息为空，则跳过Step5-Step7；

Step5、利用二分查找算法得到更小范围的补集信息；

Step6、利用得到更小范围的补集信息推导出其对应范围帧的元数据信息；

Step7、通过拆分出来的时间信息、波段信息以及极化信息从这个推导出的元数据信息中过滤出属于此文件中包含的最终查询结果，所述的最终查询结果包括文件名、波段、极化、数据帧在文件中的偏移量；

Step8、重复Step3-Step7直到处理完所有构造出来原始数据文件，并得到所有文件中包含的最终查询结果。