CN112631508B - 射电天文数据存储性能优化方法、装置、服务器及存储介质 - Google Patents

射电天文数据存储性能优化方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN112631508B
CN112631508B CN202011333571.9A CN202011333571A CN112631508B CN 112631508 B CN112631508 B CN 112631508B CN 202011333571 A CN202011333571 A CN 202011333571A CN 112631508 B CN112631508 B CN 112631508B
Authority
CN
China
Prior art keywords
data
fits
performance
server
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011333571.9A
Other languages
English (en)
Other versions
CN112631508A (zh
Inventor
梅盈
王�锋
邓辉
刘应波
王金
戴伟
梁波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202011333571.9A priority Critical patent/CN112631508B/zh
Publication of CN112631508A publication Critical patent/CN112631508A/zh
Application granted granted Critical
Publication of CN112631508B publication Critical patent/CN112631508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种射电天文数据存储性能优化方法、装置、服务器及存储介质，所述方法包括：接收数据采集终端采集的射电天文原始数据；填充FITS头和数据段；合成为一个射电天文数据FITS文件；将FITS文件写入存储服务器；在写入过程中，动态监测采集服务器的网络输出性能；根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能；若是，则根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一；若是，则计算当前内存中FITS文件数据；根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一，若是，则返回计算当前内存中FITS文件数据，并执行后续操作。本发明能够大大降低性能优化门槛，而且可以避免随机I/O带来的性能开销。

Description

射电天文数据存储性能优化方法、装置、服务器及存储介质
技术领域
本发明涉及一种射电天文数据存储性能优化方法、装置、服务器及存储介质，属于天文技术和计算机应用技术领域。
背景技术
近几年来，中国射电观测设备的开发研制取得了较大的进展。每年成百上千TB的数据需要快速存储、管理和维护，并提供给科学家使用。海量数据的高速存储成为射电观测数据的一个显著特点。针对日益膨胀的海量天文数据，迫切需要有更好的解决方案对海量数据进行高速的存储、读取与处理。不但满足现阶段的需求而且考虑到未来的发展，提高观测结果的科研产出率和利用率，最终提高设备的使用价值。
海量数据存储是所有大型望远镜设备需要面对的问题和挑战，如何提高数据存储的性能，一直以来都是该领域数据存储关心的问题。但是在天文领域主要存在如何两个方面的问题：1)天文领域的计算机专业人才少，计算机人才对天文领域了解不够深入，导致该领域的数据存储专业人才缺乏，从而导致智能依靠现有、通用的存储技术；2)传统的性能优化都是基于底层软硬件系统的改进，这些优化依赖于计算机专业知识。
发明内容
有鉴于此，本发明提供了一种射电天文数据存储性能优化方法、装置、服务器及存储介质，其从应用层优化存储性能，能够大大降低性能优化门槛，而且依托射电天文数据本身的可以任意扩展特点，结合存储系统对流式数据性能搞的I/O特点，即尽量使用连续I/O，避免随机I/O带来的性能开销。
本发明的第一个目的在于提供一种射电天文数据存储性能优化方法。
本发明的第二个目的在于提供一种射电天文数据存储性能优化装置。
本发明的第三个目的在于提供一种射电天文数据采集系统。
本发明的第四个目的在于提供一种采集服务器。
本发明的第五个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种射电天文数据存储性能优化方法，所述方法包括：
接收数据采集终端采集的射电天文原始数据；
根据射电天文原始数据，填充FITS头和数据段；
将FITS头和数据段合成为一个射电天文数据FITS文件；
将FITS文件写入存储服务器；
在写入过程中，动态监测采集服务器的网络输出性能；
根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能；
若检测存储服务器的I/O性能，则根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一；
若FITS头分段数据加一，则计算当前内存中FITS文件数据；
根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一；
若将FITS头分段数据减一，则返回计算当前内存中FITS文件数据，并执行后续操作。
进一步的，所述根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能，具体包括：
将采集服务器的网络输出性能与最大网络带宽进行比较；
若采集服务器的网络输出性能等于最大网络带宽，则维持FITS头分段数据，返回填充FITS头和数据段，并执行后续操作；
若采集服务器的网络输出性能小于最大网络带宽，则将FITS头分段数据加一，并检测存储服务器的I/O性能。
进一步的，所述根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一，具体包括：
将存储服务器的I/O性能与最大I/O性能进行比较；
若存储服务器的I/O性能达到最大I/O性能，则维持FITS头分段数据，返回填充FITS头和数据段，并执行后续操作；
若存储服务器的I/O性能未达到最大I/O性能，则将FITS头分段数据加一。
进一步的，所述根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一，具体包括：
将当前内存中FITS文件数据与预设最大FITS文件数据进行比较；
若当前内存中FITS文件数据小于或等于预设最大FITS文件数据，则返回填充FITS头和数据段，并执行后续操作；
若当前内存中FITS文件数据大于预设最大FITS文件数据，则将FITS头分段数据减一。
进一步的，所述根据射电天文原始数据，填充FITS头和数据段之前，还包括：
根据射电天文原始数据，初始化内存空间，完成第一个FITS头分段的初始化。
本发明的第二个目的可以通过采取如下技术方案达到：
一种射电天文数据存储性能优化装置，所述装置包括：
接收模块，用于接收数据采集终端采集的射电天文原始数据；
填充模块，用于根据射电天文原始数据，填充FITS头和数据段；
合成模块，用于将FITS头和数据段合成为一个射电天文数据FITS文件；
写入模块，用于将FITS文件写入存储服务器；
动态监测模块，用于在写入过程中，动态监测采集服务器的网络输出性能；
第一判断模块，用于根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能；
第二判断模块，用于若检测存储服务器的I/O性能，则根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一；
计算模块，用于若FITS头分段数据加一，则计算当前内存中FITS文件数据；
第三判断模块，用于根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一；
返回模块，用于若将FITS头分段数据减一，则返回计算当前内存中FITS文件数据，并执行后续操作。
进一步的，所述填充模块之前，还包括：
初始化模块，用于根据射电天文原始数据，初始化内存空间，完成第一个FITS头分段的初始化。
本发明的第三个目的可以通过采取如下技术方案达到：
一种射电天文数据采集系统，其特征在于，所述系统包括数据采集终端、采集服务器和存储服务器，所述采集服务器分别与数据采集终端、存储服务器相连；
所述数据采集终端，用于采集射电天文原始数据；
所述存储服务器，用于存储采集服务器处理后的数据；
所述采集服务器，用于执行上述的射电天文数据存储性能优化方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种采集服务器，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的射电天文数据存储性能优化方法。
本发明的第五个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的射电天文数据存储性能优化方法。
本发明相对于现有技术具有如下的有益效果：
1、本发明方法在应用层的优化不需要涉及太多的底层计算机存储I/O优化，不需要改进I/O栈结构，只需要通过应用层实现可伸缩的数据大小；使用动态聚合的UVFITS数据大小的方法，能够改变UVFITS小文件随机I/O的不足，对于计算机存储来说，尤其是基于机械硬盘的方式，随机I/O需要大量移动机械装置，从而带来存储延迟，降低了存储性能。所以通过动态聚合UVFITS数据的方式能够改随机I/O为顺序I/O，避免了机械装置的大量移动，并且实现简单方便，技术人员在编写天文数据采集软件的时候就可以通过技术实现，因此能够大幅度提高天文UVFITS数据的存储性能，与传统的通用性存储优化方式相比，在可实施性、管理维护性、以及性能提高方面都具有明显的优势。
2、本发明按照UVFITS分段大小的方式进行优化，其中一个优点在于，UVFITS工具可以直接打开任意大小的UVFITS文件，不需要进行重组UVFITS文件，而这个聚合的文件可以使用天文图像处理软件直接处理，而无须任何转换，极大地方便了科学家处理UVFITS文件的移动、分享。
3、本发明利用UVFITS的动态增长特点结合分布式存储系统的性能和网络存储的特点，可以实时调整到分布式存储系统最合适的性能值，通常文件越大，I/O操作越小，性能就越好(修改UVFITS的大小就能发挥文件系统在特定文件大小上的性能优势，例如Lustre在大文件上的性能表现比小文件优秀。)。这种优化方式不需要涉及文件的底层，例如block大小。方便了采集软件编写人员，降低了存储性能优化的复杂性。
4、本发明的动态UVFITS图像存储性能优化能够适应分布式存储系统性能和容量的扩展，当增加分布式存储系统节点时，存储带宽和容量会增加，按照采用的扩展方法可以方便地提高UVFITS的写出性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的射电天文数据采集系统结构图。
图2为本发明实施例1的基于UVFITS扩展属性的动态文件合成示意图。
图3为本发明实施例1的射电天文数据存储性能优化方法的简易流程图。
图4为本发明实施例1的射电天文数据存储性能优化方法的具体流程图。
图5为本发明实施例1的在分布式存储系统上不同条带和不同负载的数据存储性能对比图。
图6为本发明实施例2的射电天文数据存储性能优化装置的结构框图。
图7为本发明实施例3的服务器的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本实施例提供了一种射电天文数据采集系统，该系统包括数据采集终端101、采集服务器102和存储服务器103。
数据采集终端101主要是与天文望远镜设备连接的数据采集设备，典型的如CCD(Charge Coupled Device，电荷耦合器件)或sCMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)观测相机，用于采集射电天文原始数据。
采集服务器102与数据采集终端101相连，通常包括数据采集终端101的驱动程序和数据采集程序等软件。
存储服务器103与采集服务器102相连，用于存储采集服务器102处理后的数据，进一步地，本实施例的存储服务器103采用分布式存储，构成分布式存储系统，可以理解存储服务器103也可以采用传统的集中式存储。
本实施例的射电天文数据采集系统的数据采集流程为：数据采集终端101采集基本的射电天文原始数据后，采集服务器102上的采集程序通过驱动程序与数据采集终端101相连，获得采集到的射电天文原始数据后，根据观测需要填入必要的元数据信息，然后生成射电天文UVFITS(Flexible Image Transport System，普适图像传输系统)图像，生成的图像再推送到分布式存储系统上。
本实施例还提供了一种射电天文数据存储性能优化方法，该方法依赖上述数据采集流程，重点关注于采集服务器102上的原始数据和元数据的聚合，这种聚合方式又重点依赖UVFITS图像自身的性质。
UVFITS是天文数据存储和管理的基本格式，该格式主要有如下特点，符合UVFITS标准的图像文件可由ASCII、表和图像三种数据类型组合构成，UVFITS文件也具有分段布局特性，文件大小由扩展的内容决定，因此可以利用这个特性聚合多副小UVFITS文件，从而构成为一个大型UVFITS文件，聚合方式如图2所示，UVFITS文件的分段布局中，各个段之间除了单幅文件的头和数据之间依赖性较强外，其他聚合的片段之间没有紧密的依赖关系，这就便于使用流式顺序I/O的方式进行存储以及共享大文件方式的并行存储。
根据数据采集流程以及UVFITS数据的特点，从应用层方面对FITS的动态聚合进行控制，达到尽量聚合成一个合适的大文件，如图3和图4所示，本实施例的射电天文数据存储性能优化方法基于采集服务器实现，包括以下步骤：
S301、接收数据采集终端采集的射电天文原始数据。
S302、根据射电天文原始数据，初始化内存空间，完成第一个FITS头分段的初始化。
具体地，采集服务器软件初始化内存空间S，内存空间S为一个CCD或SCMOS相机的图像大小。
S303、根据射电天文原始数据，填充FITS头和数据段。
具体地，将采集服务器软件将射电天文原始数据的观测时间、观测对象、拍照温度、曝光时间等信息写入FITS头(PH)，以及将射电天文原始数据的数据内容写入数据段(BD)。
S304、将FITS头和数据段合成为一个射电天文数据FITS文件。
S305、将FITS文件写入存储服务器。
具体地，FITS文件记为F，将F写入分布式存储系统。
S306、在写入过程中，动态监测采集服务器的网络输出性能。
S307、根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能。
具体地，将采集服务器的网络输出性能P2与最大网络带宽进行比较；若采集服务器的网络输出性能P2等于最大网络带宽，则维持FITS头分段数据，返回步骤S303；若采集服务器的网络输出性能P2小于最大网络带宽，则将FITS头分段数据加一，并检测存储服务器的I/O性能。
S308、若检测存储服务器的I/O性能，则根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一。
具体地，将存储服务器的I/O性能P3与最大I/O性能进行比较；若存储服务器的I/O性能P3达到最大I/O性能，则维持FITS头分段数据，返回步骤S303；若存储服务器的I/O性能P3未达到最大I/O性能，则将FITS头分段数据加一。
S309、若FITS头分段数据加一，则计算当前内存中FITS文件数据。
S310、根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一。
具体地，将当前内存中FITS文件数据与预设最大FITS文件数据进行比较；若当前内存中FITS文件数据小于或等于预设最大FITS文件数据，则返回步骤S303；若当前内存中FITS文件数据大于预设最大FITS文件数据，则将FITS头分段数据减一，返回步骤S309的计算当前内存中FITS文件数据。
通过上述射电天文数据存储性能优化方法，可以实现任意射电天文数据文件的聚合，特别是小文件(<1MB)的射电天文数据文件，这种聚合方式有别于通过压缩方式的聚合，压缩方式虽然也能够聚合文件，但是最大的不足在于当数据文件比较大的时候，当文件大小大于1GB的时候，解压缩过程非常慢，应用程序也不能直接打开这种文件，而使用本实施例的射电天文数据存储性能优化方法，在聚合为任意大小的UVFITS文件后，都可以使用射电天文数据UVFITS的处理工具进行处理，与小文件的处理方式很像，不需要依赖其他工具，这就极大的提高了这种方法的实用性。
如图5所示，在分布式存储系统Lustre集群上，配置为：Lustre存储集群采用曙光天阔620R，构建了10台OSS、1台MDS；OSS和OST，MDS和MDT部署在一起；每台服务器配备了4GDDR2内存，8 1.05GHz 4核的CPU，CPU缓存512KB，千兆PCI-E网卡，Seagate ST3250410AS7200RPM单硬盘，使用不同负载和不同Lustre条带(Stripe)的数据存性能，可以看出在给定条带大小的情况下，UVFITS文件大小越大，性能越好，如图中的21M负载，这个观察也是本实施例的射电天文数据存储性能优化方法使用聚合UVFITS大小的支撑。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图6所示，本实施例提供了一种射电天文数据存储性能优化装置，该装置应用于采集服务器，其包括接收模块601、初始化模块602、填充模块603、合成模块604、写入模块605、动态监测模块606、第一判断模块607、第二判断模块608、计算模块609、第三判断模块610和返回模块611，各个模块的具体功能如下：
接收模块601，用于接收数据采集终端采集的射电天文原始数据。
初始化模块602，用于根据射电天文原始数据，初始化内存空间，完成第一个FITS头分段的初始化。
填充模块603，用于根据射电天文原始数据，填充FITS头和数据段。
合成模块604，用于将FITS头和数据段合成为一个射电天文数据FITS文件。
写入模块605，用于将FITS文件写入存储服务器。
动态监测模块606，用于在写入过程中，动态监测采集服务器的网络输出性能。
第一判断模块607，用于根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能。
第二判断模块608，用于若检测存储服务器的I/O性能，则根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一。
计算模块609，用于若FITS头分段数据加一，则计算当前内存中FITS文件数据。
第三判断模块610，用于根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一。
返回模块611，用于若将FITS头分段数据减一，则返回计算当前内存中FITS文件数据，并执行后续操作。
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
可以理解，上述装置所使用的术语“第一”、“第二”等可用于描述各种模块，但这些模块不受这些术语限制。这些术语仅用于将第一个模块与另一个模块区分。举例来说，在不脱离本发明的范围的情况下，可以将第一判断模块称为第二判断模块，且类似地，可将第二判断模块称为第一判断模块，第一判断模块和第二判断模块两者都是判断模块，但不是同一判断模块。
实施例3：
如图7所示，本实施例提供了一种采集服务器，该采集服务器包括通过系统总线701连接的处理器702、存储器和网络接口703，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质704和内存储器705，该非易失性存储介质704存储有计算机程序和数据库，该内存储器705为非易失性存储介质中的计算机程序的运行提供环境，处理器702执行存储器存储的计算机程序时，实现上述实施例1的射电天文数据存储性能优化方法，如下：
接收数据采集终端采集的射电天文原始数据；
根据射电天文原始数据，初始化内存空间，完成第一个FITS头分段的初始化；
根据射电天文原始数据，填充FITS头和数据段；
将FITS头和数据段合成为一个射电天文数据FITS文件；
将FITS文件写入存储服务器；
在写入过程中，动态监测采集服务器的网络输出性能；
根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能；
若检测存储服务器的I/O性能，则根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一；
若FITS头分段数据加一，则计算当前内存中FITS文件数据；
根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一；
若将FITS头分段数据减一，则返回计算当前内存中FITS文件数据，并执行后续操作。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的射电天文数据存储性能优化方法，如下：
接收数据采集终端采集的射电天文原始数据；
根据射电天文原始数据，初始化内存空间，完成第一个FITS头分段的初始化；
根据射电天文原始数据，填充FITS头和数据段；
将FITS头和数据段合成为一个射电天文数据FITS文件；
将FITS文件写入存储服务器；
在写入过程中，动态监测采集服务器的网络输出性能；
根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能；
若检测存储服务器的I/O性能，则根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一；
若FITS头分段数据加一，则计算当前内存中FITS文件数据；
根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一；
若将FITS头分段数据减一，则返回计算当前内存中FITS文件数据，并执行后续操作。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读存储介质可以以一种或多种程序设计语言或其组合来编写用于执行本实施例的计算机程序，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Python、C++，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本发明方法在应用层的优化不需要涉及太多的底层计算机存储I/O优化，不需要改进I/O栈结构，只需要通过应用层实现可伸缩的数据大小；使用动态聚合的UVFITS数据大小的方法，能够改变UVFITS小文件随机I/O的不足，对于计算机存储来说，尤其是基于机械硬盘的方式，随机I/O需要大量移动机械装置，从而带来存储延迟，降低了存储性能。所以通过动态聚合UVFITS数据的方式能够改随机I/O为顺序I/O，避免了机械装置的大量移动，并且实现简单方便，技术人员在编写天文数据采集软件的时候就可以通过技术实现，因此能够大幅度提高天文UVFITS数据的存储性能，与传统的通用性存储优化方式相比，在可实施性、管理维护性、以及性能提高方面都具有明显的优势。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (9)

1.一种射电天文数据存储性能优化方法，其特征在于，所述方法包括：
接收数据采集终端采集的射电天文原始数据；
根据射电天文原始数据，填充FITS头和数据段；
将FITS头和数据段合成为一个射电天文数据FITS文件；
将FITS文件写入存储服务器；
在写入过程中，动态监测采集服务器的网络输出性能；
根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能；
若检测存储服务器的I/O性能，则根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一；
若FITS头分段数据加一，则计算当前内存中FITS文件数据；
根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一；
若将FITS头分段数据减一，则返回计算当前内存中FITS文件数据，并执行后续操作；
所述根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一，具体包括：
将存储服务器的I/O性能与最大I/O性能进行比较；
若存储服务器的I/O性能达到最大I/O性能，则维持FITS头分段数据，返回填充FITS头和数据段，并执行后续操作；
若存储服务器的I/O性能未达到最大I/O性能，则将FITS头分段数据加一。
2.根据权利要求1所述的射电天文数据存储性能优化方法，其特征在于，所述根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能，具体包括：
将采集服务器的网络输出性能与最大网络带宽进行比较；
若采集服务器的网络输出性能等于最大网络带宽，则维持FITS头分段数据，返回填充FITS头和数据段，并执行后续操作；
若采集服务器的网络输出性能小于最大网络带宽，则将FITS头分段数据加一，并检测存储服务器的I/O性能。
3.根据权利要求1所述的射电天文数据存储性能优化方法，其特征在于，所述根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一，具体包括：
将当前内存中FITS文件数据与预设最大FITS文件数据进行比较；
若当前内存中FITS文件数据小于或等于预设最大FITS文件数据，则返回填充FITS头和数据段，并执行后续操作；
若当前内存中FITS文件数据大于预设最大FITS文件数据，则将FITS头分段数据减一。
4.根据权利要求1-3任一项所述的射电天文数据存储性能优化方法，其特征在于，所述根据射电天文原始数据，填充FITS头和数据段之前，还包括：
根据射电天文原始数据，初始化内存空间，完成第一个FITS头分段的初始化。
5.一种射电天文数据存储性能优化装置，其特征在于，所述装置包括：
接收模块，用于接收数据采集终端采集的射电天文原始数据；
填充模块，用于根据射电天文原始数据，填充FITS头和数据段；
合成模块，用于将FITS头和数据段合成为一个射电天文数据FITS文件；
写入模块，用于将FITS文件写入存储服务器；
动态监测模块，用于在写入过程中，动态监测采集服务器的网络输出性能；
第一判断模块，用于根据采集服务器的网络输出性能的情况，判断是否检测存储服务器的I/O性能；
第二判断模块，用于若检测存储服务器的I/O性能，则根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一；
计算模块，用于若FITS头分段数据加一，则计算当前内存中FITS文件数据；
第三判断模块，用于根据当前内存中FITS文件数据，判断是否将FITS头分段数据减一；
返回模块，用于若将FITS头分段数据减一，则返回计算当前内存中FITS文件数据，并执行后续操作；
所述根据存储服务器的I/O性能的情况，判断是否将FITS头分段数据加一，具体包括：
将存储服务器的I/O性能与最大I/O性能进行比较；
若存储服务器的I/O性能达到最大I/O性能，则维持FITS头分段数据，返回填充FITS头和数据段，并执行后续操作；
若存储服务器的I/O性能未达到最大I/O性能，则将FITS头分段数据加一。
6.根据权利要求5所述的射电天文数据存储性能优化装置，其特征在于，所述填充模块之前，还包括：
初始化模块，用于根据射电天文原始数据，初始化内存空间，完成第一个FITS头分段的初始化。
7.一种射电天文数据采集系统，其特征在于，所述系统包括数据采集终端、采集服务器和存储服务器，所述采集服务器分别与数据采集终端、存储服务器相连；
所述数据采集终端，用于采集射电天文原始数据；
所述存储服务器，用于存储采集服务器处理后的数据；
所述采集服务器，用于执行权利要求1-4任一项所述的射电天文数据存储性能优化方法。
8.一种采集服务器，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-4任一项所述的射电天文数据存储性能优化方法。
9.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-4任一项所述的射电天文数据存储性能优化方法。
CN202011333571.9A 2020-11-25 2020-11-25 射电天文数据存储性能优化方法、装置、服务器及存储介质 Active CN112631508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011333571.9A CN112631508B (zh) 2020-11-25 2020-11-25 射电天文数据存储性能优化方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011333571.9A CN112631508B (zh) 2020-11-25 2020-11-25 射电天文数据存储性能优化方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN112631508A CN112631508A (zh) 2021-04-09
CN112631508B true CN112631508B (zh) 2023-04-07

Family

ID=75303824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011333571.9A Active CN112631508B (zh) 2020-11-25 2020-11-25 射电天文数据存储性能优化方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN112631508B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101554034A (zh) * 2006-12-05 2009-10-07 高通股份有限公司 用于请求无线通信设备性能数据并以最佳文件大小提供该数据的方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107317838B (zh) * 2017-05-24 2020-11-17 重庆邮电大学 一种基于流式数据处理架构的天文元数据归档方法及系统
JP7129234B2 (ja) * 2018-06-15 2022-09-01 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の制御方法
CN109932974B (zh) * 2019-04-03 2021-09-24 中国科学院国家天文台长春人造卫星观测站 精密测量型空间目标望远镜的嵌入式观测控制系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101554034A (zh) * 2006-12-05 2009-10-07 高通股份有限公司 用于请求无线通信设备性能数据并以最佳文件大小提供该数据的方法和装置

Also Published As

Publication number Publication date
CN112631508A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
US11093451B2 (en) Data fragmentation tuning and candidacy persistence
US8639909B2 (en) Management of low-paging space conditions in an operating system
US20140244603A1 (en) Multi-Level Memory Compression
US20240134523A1 (en) Data compression method and apparatus, computing device, and storage system
CN108027637A (zh) 用于使用前馈压缩统计来控制存储器频率的系统和方法
US8438275B1 (en) Formatting data for efficient communication over a network
US10992312B2 (en) Semiconductor device and operating method of matching hardware resource to compression/decompression algorithm
US9753983B2 (en) Data access using decompression maps
US20200183604A1 (en) Partitioning graph data for large scale graph processing
CN111126594A (zh) 基于边缘计算的神经网络模型动态切分方法及装置
CN109451317A (zh) 一种基于fpga的图像压缩系统及方法
US20150302022A1 (en) Data deduplication method and apparatus
US11755540B2 (en) Chunking method and apparatus
CN105068875A (zh) 一种智能数据处理方法及装置
WO2024094086A1 (zh) 图像处理方法、装置、设备、介质及产品
CN112631508B (zh) 射电天文数据存储性能优化方法、装置、服务器及存储介质
CN107179883B (zh) 一种基于SSD和HDD的混合存储系统的Spark架构优化方法
WO2021082926A1 (zh) 一种数据压缩的方法及装置
CN115525793A (zh) 由计算机实现的方法、系统及存储介质
CN112527950A (zh) 一种基于MapReduce的图数据删除方法及系统
CN117149777A (zh) 一种数据查询方法、装置、设备及存储介质
CN117114623A (zh) 一种园区内监控设备的智慧管理方法及系统
WO2019127926A1 (zh) 一种稀疏神经网络的计算方法及计算装置、电子装置、计算机可读存储介质以及计算机程序产品
EP4321981A1 (en) Data processing method and apparatus
CN109189763A (zh) 一种数据存储方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant