CN110109871A - 一种跨站点的高能物理数据访问方法及系统 - Google Patents

一种跨站点的高能物理数据访问方法及系统 Download PDF

Info

Publication number
CN110109871A
CN110109871A CN201810384327.1A CN201810384327A CN110109871A CN 110109871 A CN110109871 A CN 110109871A CN 201810384327 A CN201810384327 A CN 201810384327A CN 110109871 A CN110109871 A CN 110109871A
Authority
CN
China
Prior art keywords
site
data
sub
file
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810384327.1A
Other languages
English (en)
Other versions
CN110109871B (zh
Inventor
徐琪
程耀东
李海波
王聪
程振京
胡庆宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of High Energy Physics of CAS
Original Assignee
Institute of High Energy Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of High Energy Physics of CAS filed Critical Institute of High Energy Physics of CAS
Priority to CN201810384327.1A priority Critical patent/CN110109871B/zh
Publication of CN110109871A publication Critical patent/CN110109871A/zh
Application granted granted Critical
Publication of CN110109871B publication Critical patent/CN110109871B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/137—Hash-based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种跨站点的高能物理数据访问方法及系统。本方法为：在每一子站点上设置一元数据服务单元MetaD，各子站点的MetaD分别定期与主站点进行元数据同步更新并为每一元数据对应的文件开辟一物理空间；子站点的缓存模块CacheD根据更新后的元数据信息构造文件元数据信息列表，形成跨站点统一化文件视图；对于任意一子站点B的客户端发出访问请求时，子站点B的MetaD统一化文件视图判断主站点是否存储该访问请求所请求的目标数据块；如果不存在，则子站点B向数据传输模块TransferD发送数据拉取请求；该数据传输模块TransferD在主站点查找对应文件并对其进行数据分块、转码、多流传输至子站点B。

Description

一种跨站点的高能物理数据访问方法及系统
技术领域
本发明属于数据存储领域，具体涉及一种跨站点的高能物理数据访问方法及系统。
背景技术
高能物理作为依托大型实验装置的实验科学，具有实验数据量巨大、实验数据跨域共享的模式特点。面对海量实验数据的跨域共享，现今大多系统都采用全文件传输的模式，将数据所属文件全部传输至子站点进行数据分析，如网格计算系统WLCG、分布式文件系统EOS等。这些传统模式的跨域数据共享都受到了网络状况、子站点规模、客户端文件系统复杂语义等方面的限制，很难以低消耗的资源满足高能物理领域中的跨域数据共享，更无法做到高性能的实验数据跨域分析。
高能物理领域中，传统跨站点数据访问模型如图1所示。客户端挂载某文件系统后对目标数据进行请求，图中以Event3为例。在本地数据站点进行数据查询后，如果无相应的缓存数据需要从远程站点访问，则向对外接口资源管理层(RML)发出数据请求。系统采用广播(Broadcast)的模式向资源管理层记录的相关目标站点发送数据请求，目标站点确认数据所在文件路径后，将数据文件(File2)通过网格(GridFTP)等协议传输至本地站点。本地站点提交请求后开始等待，直至发现数据文件后，开始进行相应的科学计算。整个数据计算过程，客户端需要进行长时间的数据等待，文件传输在高网络延时下性能较差。长等待时间无法被一次完整的文件系统语义容忍，所以客户端无法通过实时交互的模式进行数据处理，只能通过批处理的模式进行实验数据分析等操作。整个过程中，消耗了较多的系统资源、网络带宽，且数据处理性能较差。且在实验中往往需要多次访问某一文件中的数据块，本地站点在缓存清理后可能需要多次拉取数据，更加大了本地站点的数据处理压力，浪费了更多的系统资源。
发明内容
针对现有技术中存在的技术问题，本发明的目的在于提供一种跨站点的高能物理数据访问方法及系统。
本发明的技术方案为：
一种跨站点的高能物理数据访问方法，其步骤包括：
在每一子站点上设置一元数据服务单元MetaD，各子站点的MetaD分别定期与主站点进行元数据同步更新，并根据每一元数据对应的文件大小在子站点的数据存储集群DataD中的目标存储点预开辟一物理空间，用于缓存对应文件；
子站点的缓存模块CacheD根据更新后的元数据信息构造文件元数据信息列表，形成跨站点统一化文件视图；
对于任意一子站点B的客户端发出访问请求时，子站点B的元数据服务单元MetaD根据子站点B的统一化文件视图判断主站点是否存储该访问请求所请求的目标数据块；如果存在，则查询该子站点B是否缓存该目标数据块；如果该子站点B缓存该目标数据块，则将其返回给该客户端；否则，该子站点B向子站点B的数据传输模块TransferD发送数据拉取请求；该数据传输模块TransferD根据该数据拉取请求在主站点查找对应文件并对其进行数据分块、转码、多流传输，将该目标数据块推送至子站点B，子站点B根据该目标数据的元数据将该目标数据块写入开辟的对应物理空间。
每个子站点的用户根据需求的数据不同，挂载主站点的数据源位置不同，各子站点分别从主站点获取设定的元数据，生成对应的统一化文件视图。
该客户端为XRootD客户端；所述数据存储集群DataD为多台XRootD服务器构成的数据存储集群。
所述缓存模块CacheD中设置一守护进程DP，该守护进程DP以服务的模式实时监控来自指定端口的访问请求。
通过基于HASH的并行分布式算法计算该目标数据块的散列位置，在子站点的数据存储集群DataD中的目标存储点以fallocate的方式预开辟该物理空间。
一种跨站点的高能物理数据访问系统，其特征在于，包括数据传输模块TransferD和缓存模块CacheD；缓存模块包括元数据服务单元MetaD和数据存储集群DataD；其中，
每一子站点上设置一所述元数据服务单元MetaD，各子站点的元数据服务单元MetaD分别定期与主站点进行元数据同步更新，并根据每一元数据对应的文件大小在子站点的数据存储集群DataD中的目标存储点预开辟一物理空间，用于缓存对应文件；
每一子站点上设置一所述缓存模块CacheD，用于根据更新后的元数据信息构造文件元数据信息列表，形成跨站点统一化文件视图；
对于任意一子站点B的客户端发出访问请求时，子站点B的元数据服务单元MetaD根据子站点B的统一化文件视图判断主站点是否存储该访问请求所请求的目标数据块；如果存在，则查询该子站点B是否缓存该目标数据块；如果该子站点B缓存该目标数据块，则将其返回给该客户端；否则，该子站点B向子站点B的数据传输模块TransferD发送数据拉取请求；该数据传输模块TransferD根据该数据拉取请求在主站点查找对应文件并对其进行数据分块、转码、多流传输，将该目标数据块推送至子站点B，子站点B根据该目标数据的元数据将该目标数据块写入开辟的对应物理空间。
本发明构建了一种新型的跨站点高能物理数据访问架构，提供实验数据的高效访问模式。本发明的具体实现是：1)通过缓存服务高性能数据库(元数据服务)提供主站点、本地缓存统一化文件视图。子站点的高性能数据库(元数据服务)定期与主站点进行元数据同步更新，元数据同步到Metad中并添加bitmap字段，然后通过HASH计算其存储位置并根据文件大小以fallocate模式预开辟物理空间，这样可以方便并加速该文件后续数据块的写入速度。缓存服务根据元数据信息构造文件元数据信息列表，形成跨站点统一化文件视图。2)采用流式传输，连续、实时传输数据块，用户不必等待文件下载完毕，快速获取数据流信息，之后以边处理边下载的模式获取后续的数据信息。实现了按需、实时响应传输目标数据块，流式传输模式有效的解决了全文件传输的慢响应问题。在数据传输服务中，文件实体数据经传输服务转码为二进制数据流并切分为小数据块，分块多流并发传输，在子站点进行数据块解码重组后交付缓存服务，从而提供高效的文件流式传输处理方式。3)客户端调用系统提供的POSIX API，将文件访问复杂语义同时转换为数据传输和数据处理，用户访问远程主站点完全透明化。用户依旧通过本地文件系统(FUSE)语义访问目标文件，FUSE文件系统调用本系统提供的POSIX API进行数据访问，系统接口POSIX API首先进行数据请求解析，然后将请求发送至缓存服务进行数据处理，若数据已经缓存至本地直接返回数据，若本地无数据则向远程主站点发送请求，远程主站点通过数据传输系统传输模块将数据传输至缓服务进行缓存并返回值客户端。在本系统中传输模块的服务端部署在主站点，它只负责传输数据、转码文件内容、分块传输等；传输模块的客户端部署在子站点，它负责发送子站点的数据请求、接收请求的数据块、解码文件内容等。4)使用基于哈希的并行分布式算法，将数据块散列至XRootD分布式存储服务器上，数据块使用Key-Value存储模型进行存储并使用fallocate模式预分配存储空间，加速数据块定位及访问。5)基于HTTP协议进行数据块多流传输，目标数据块传输时同步传输关联数据块，以预读模式加速数据二次访问速度，数据传输性能受网络时延影响较小。
与现有技术相比，本发明的积极效果为：
本发明采用流式传输，连续、实时传输数据块，用户不必等待文件下载完毕，只需要几秒时延便可以开始获取数据流信息，之后以边处理边下载的模式获取后续的数据信息，流式传输模式可以有效的解决全文件传输的慢响应问题。缓存模块用于加速数据二次访问，将客户端频繁访问的数据存储在离客户端较近、访问速度较快的系统中，以提高数据访问速度。流式传输与缓存都是加速数据跨域访问的有效方式，相比较于传统的全文件预传输，更加适合于数据分析实时性、高效性要求较高的计算模式。
附图说明
图1为传统高能物理跨站点数据访问模型；
图2为本发明的跨站点数据访问系统架构图；
图3为本发明的跨站点数据访问流程模块图；
图4为本发明的新型跨站点高能物理数据访问流程图。
具体实施方式
在下述具体实施示例中，结合附图对本发明进行进一步的详细说明。通过足够详细的描述这些实施示例，使得本领域技术人员能够实践本发明。在不脱离本发明的主旨和范围的情况下，可以对实施做出逻辑的、实现的和其他的改变。因此，以下详细说明不应该被理解为限制意义，本发明的范围仅仅由权利要求来限定。
本专利申请将流式传输与缓存技术融入高能物理数据管理中，可以有效解决高能物理计算中传统跨域数据访问存在的资源浪费、带宽占用、数据处理效率低下等问题，以其作为核心设计思想，本系统主要有包括三个核心模块：传输模块(TransferD)、缓存模块(CacheD)和客户端接口(FP，File Plugin)，架构如图2所示。传输模块采用Tornado框架，基于HTTP协议进行跨域数据传输，并应用了数据分块、多流等传输技术。缓存模块中设有一守护进程(DP，Daemon Process)、元数据服务(MetaD)、数据存储集群XRootD-Cluster(DataD)构成。
图3描述了整个跨站点数据访问系统的实现原理。子站点挂载XRootD客户端(XRootD Client)，XRootD客户端对文件内数据块的访问请求，通过调用File Plugin API本系统的访问请求将其转化本系统实现的文件系统相应原子操作getatte()、readdir()、open()、read()、close()等，并交付缓存服务的守护进程(DP，Daemon Process)。守护进程DP以服务的模式(Service)实时监控来自指定端口(Consol；端口的指定由系统部署时配置指定，系统部署运行后即为固定端口，端口为缓存服务器上的消息端口，负责接收来自客户端的请求信息)的数据访问请求，如图中使用5010端口。DP将请求处理转化为数据库操作，发送至MetaD查询后返回相应元数据信息。同时系统通过数据库标识(bitmap，每个主站点数据源位置的文件信息同步至子站点缓存服务中的元数据服务中后，每个文件的元数据对应一条数据库记录，每条数据库记录中除了文件在主站点的元数据信息外，还有自动生成的bitmap字段，用来辨识文件内数据块是否已经缓存至缓存服务，初始化为全0，每个0标示该文件的一个数据块，比如为1MB，相应位置的数据块缓存后，该文件对应位置的bitmap位修改为1标示已经缓存至缓存服务)判断数据块是否已缓存至数据存储集群XRootD-Cluster(DataD)，若无则在控制流处理的同时从主站点(数据源站点)拉取目标数据块，控制流为系统对于一次访问请求的响应操作指令集合，包括对于数据块缓存信息的元数据创建及修改、数据块散列存储位置计算、数据块散列存储位置空洞文件开辟、数据块写入对应的预开辟的空洞文件等。通过上述描述的系统逻辑，客户端的访问请求经过子站点缓存模块进行请求分析处理后，从数据类型角度将其转化为元数据业务逻辑和数据块业务逻辑，既数据块对应的目标文件元数据、数据块本身进行创建、修改、删除等操作。从操作内容角度将其转化为数据业务逻辑和数据下载逻辑，既缓存服务对访问请求进行处理后，将其转换为缓存服务上的MetaD查询、修改、插入和数据存储集群中数据块的读取、创建以及远程主站点上的目标数据块的读取、转码、传输和解码。传输模块(TransferD)提供了多流、高并发的数据块下载模式，请求的文件数据在主站点端由传输服务自动划分为多个数据块，数据块转码为二进制比特流的多个数据包，多数据包通过并发多流的模式，异步并发的将数据包发送至子站点缓存服务，到达缓存服务后由传输服务进行数据包解码。系统中采用上述流式、高并发的数据传输模式，传输性能受网络时延影响较小，并且客户端实现了数据块访问与传输的异步模式，不再需要等待全文件预传输便可进行数据访问，从而实现了高效的前端数据访问模式。数据存储集群服务(DataD)使用基于哈希的并行分布式算法，将数据散列存储至XRootD存储服务器中，每个文件路径对应一个唯一的哈希键值(Key)，提供高效的数据块访问速度，系统同时生成与远程数据源站点目标挂载点相同的统一文件视图，远程访问对客户端完全透明化。跨站点数据访问模式针对于数据块设计，系统按需传输、访问目标数据，无需全文件传输，很大程度上提高了数据跨站点访问性能。
本发明已经在跨域站点上部署测试，并获得实际效果。方法对跨站点的高能物理数据访问的改进主要集中在数据访问模式，不再使用传统的数据全文件传输后计算的模式。流式传输与缓存的结合使得数据跨域访问性能大幅提高：数据块缓存后，子站点数据访问速度接近本地化访问。数据块未缓存时，多流、高性能、稳定的数据传输与数据预传输方案，使得数据块访问响应时间远低于全文件传输处理。
本系统改变了高能物理中跨站点数据访问的原始文件传输模式，在客户端应用层文件系统复杂语义中融入了数据拉取(即将文件系统本地的数据读取，转变为向远程主站点发送请求，并通过广域网进行数据传输获取数据)、数据散列等操作，以完全透明化、不改变用户操作模式的方式完成数据跨站点访问流程，图4描述了高能物理数据跨站点访问处理流程。
实施测试时，系统的子站点与主站点由1000Mbps网络连接。系统通信协议采用HTTP协议，无需额外端口的配置，所有的数据访问请求均由子站点上挂载XRootD客户端的用户提交。实施例中数据源站点(即主站点)为A，子站点为B，用户为U，访问数据为File1中的Event5。子站点B上缓存服务(CacheD)由用户指定以文件系统挂载的模式(mount)将主站点A上目标数据集所在的文件夹挂载至缓存服务目录中，既将目标数据集所包含的文件命名空间同步至缓存服务元数据数据库(MetaD)中。站点B客户端所发出的访问请求，都查询缓存服务元数据数据库进行处理。主站点A部署系统传输服务后，进行访问请求监听。发现请求后根据请求，对目标数据所在文件进行分块、转码为二进制数据流、多流传输，加速数据的跨站点访问。之后在站点B由传输服务完成数据解码、重组后交付缓存服务进行后续的访问请求相应。系统部署后U访问数据Event5的具体过程如下：
1.站点B用户U通过XRootD客户端发出数据Event5访问请求---XrdPosix_Read()，其调用系统提供的POSIX API，发出数据read请求。
2.站点B上缓存服务守护进程Process Daemon通过端口(Consol：5010)监听到该数据请求，通过请求清洗、格式化处理，向MetaD发出元数据查询请求。请求清洗是指系统最初获取的数据请求后，去除一些逻辑错误的元数据请求，比如访问的文件路径不是正确的文件路径表达式。格式化处理是指将文件访问请求转换为数据库的增删改查查语句，然后再传输至元数据数据库。通过这两步骤来减少元数据数据库的压力，保证缓存服务的整体性能。最终的处理结果就是转换为简单的数据库操作。
3.MetaD对目标数据块进行元数据查询，若该数据块存在，进行bitmap查询判断数据块是否已经完成缓存，进行步骤4。若无该数据块存在信息，则返回错误码error，结束流程。由于每个子站点都维护自己的缓存服务，每个子站点的用户根据自己需求的数据不同，由自己选择挂载主站点的某个文件夹即数据源位置，所以各个子站点间的元数据不一定是相同的，即文件视图不一定相同。各个子站点挂载的文件视图都是主站点的一部分。子站点在挂载某个文件夹即数据源位置时，就将该文件夹下的文件元数据信息都同步至子站点缓存服务的元数据数据库(MetaD)了，如果MetaD没有查询到该文件信息，就说明主站点该文件夹目录即数据源位置没有该文件，用户查询的文件不存在，返回错误代码即可。
4.若数据块已经完成缓存，MetaD查询其HASH位置，并读取该数据返回客户端，完成数据访问。若数据块未进行缓存，则子站点B根据该数据的元数据将该数据块写入对应的物理空间；其中，子站点B的MetaD会定期与主站点进行元数据同步更新并添加bitmap字段，然后基于HASH的并行分布式算法计算其散列位置，并根据每一元数据对应的文件大小在子站点的数据存储集群DataD中的目标存储点预开辟一物理空间(加速同属文件的其他数据块的二次写入)，用于缓存对应文件。
5.向TransferD发送数据拉取请求，拉取请求信息中是包含数据块所在文件的目录位置、数据块在文件中的起始位置offset、数据块的大小size，请求用户的id，用户所在组的id等信息。由数据传输服务进行数据传输，包括在主站点A进行数据分块、转码、多流传输等，传输后数据推送至站点B缓存服务进行处理，将数据写入开辟的目标空间，修改MetaD中数据块bitmap位值。
6.站点B缓存服务将数据buffer返回客户端，实现XRootD客户端FUSE层完整语义，完成数据跨站点访问。
实施测试中，客户端以数据流模式访问目标数据，边传输边处理，无需等待数据所属文件本地化，数据处理效率得到有效提高。且整个数据跨站点访问流程完全透明化，客户端行为模式无任何改变。缓存的结合更使得子站点数据块二次访问性能近本地化。整个系统为高能物理计算，提供了一种新型、高效的跨站点数据访问方法。

Claims (10)

1.一种跨站点的高能物理数据访问方法，其步骤包括：
在每一子站点上设置一元数据服务单元MetaD，各子站点的MetaD分别定期与主站点进行元数据同步更新，并根据每一元数据对应的文件大小在子站点的数据存储集群DataD中的目标存储点预开辟一物理空间，用于缓存对应文件；
子站点的缓存模块CacheD根据更新后的元数据信息构造文件元数据信息列表，形成跨站点统一化文件视图；
对于任意一子站点B的客户端发出访问请求时，子站点B的元数据服务单元MetaD根据子站点B的统一化文件视图判断主站点是否存储该访问请求所请求的目标数据块；如果存在，则查询该子站点B是否缓存该目标数据块；如果该子站点B缓存该目标数据块，则将其返回给该客户端；否则，该子站点B向子站点B的数据传输模块TransferD发送数据拉取请求；该数据传输模块TransferD根据该数据拉取请求在主站点A查找对应文件并对其进行数据分块、转码、多流传输，将该目标数据块推送至子站点B，子站点B根据该目标数据的元数据将该目标数据块写入对应的物理空间。
2.如权利要求1所述的方法，其特征在于，每个子站点的用户根据需求的数据不同，挂载主站点的数据源位置不同，各子站点分别从主站点获取设定的元数据，生成对应的统一化文件视图。
3.如权利要求1所述的方法，其特征在于，该客户端为XRootD客户端；所述数据存储集群dataD为多台XRootD服务器构成的数据存储集群。
4.如权利要求1所述的方法，其特征在于，所述缓存模块CacheD中设置一守护进程DP，该守护进程DP以服务的模式实时监控来自指定端口的访问请求。
5.如权利要求1所述的方法，其特征在于，通过基于HASH的并行分布式算法计算该目标数据块的散列位置，在子站点的数据存储集群dataD中的目标存储点以fallocate的方式预开辟该物理空间。
6.一种跨站点的高能物理数据访问系统，其特征在于，包括数据传输模块TransferD和缓存模块CacheD；缓存模块包括元数据服务单元MetaD和数据存储集群dataD；其中，
每一子站点上设置一所述元数据服务单元MetaD，各子站点的元数据服务单元MetaD分别定期与主站点进行元数据同步更新，并根据每一元数据对应的文件大小在子站点的数据存储集群DataD中的目标存储点预开辟一物理空间，用于缓存对应文件；
每一子站点上设置一所述缓存模块CacheD，用于根据更新后的元数据信息构造文件元数据信息列表，形成跨站点统一化文件视图；
对于任意一子站点B的客户端发出访问请求时，子站点B的元数据服务单元MetaD根据子站点B的统一化文件视图判断主站点是否存储该访问请求所请求的目标数据块；如果存在，则查询该子站点B是否缓存该目标数据块；如果该子站点B缓存该目标数据块，则将其返回给该客户端；否则，该子站点B向子站点B的数据传输模块TransferD发送数据拉取请求；该数据传输模块TransferD根据该数据拉取请求在主站点A查找对应文件并对其进行数据分块、转码、多流传输，将该目标数据块推送至子站点B，子站点B根据该目标数据的元数据将该目标数据块写入对应的物理空间。
7.如权利要求6所述的系统，其特征在于，每个子站点的用户根据需求的数据不同，挂载主站点的数据源位置不同，各子站点分别从主站点获取设定的元数据，生成对应的统一化文件视图。
8.如权利要求6所述的系统，其特征在于，该客户端为XRootD客户端；所述数据存储集群dataD为多台XRootD服务器构成的数据存储集群。
9.如权利要求6所述的系统，其特征在于，所述缓存模块CacheD中设置一守护进程DP，该守护进程DP以服务的模式实时监控来自指定端口的访问请求。
10.如权利要求6所述的系统，其特征在于，子站点通过基于HASH的并行分布式算法计算该目标数据块的散列位置，在子站点的数据存储集群DataD中的目标存储点以fallocate的方式预开辟该物理空间。
CN201810384327.1A 2018-04-26 2018-04-26 一种跨站点的高能物理数据访问方法及系统 Expired - Fee Related CN110109871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810384327.1A CN110109871B (zh) 2018-04-26 2018-04-26 一种跨站点的高能物理数据访问方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810384327.1A CN110109871B (zh) 2018-04-26 2018-04-26 一种跨站点的高能物理数据访问方法及系统

Publications (2)

Publication Number Publication Date
CN110109871A true CN110109871A (zh) 2019-08-09
CN110109871B CN110109871B (zh) 2021-04-06

Family

ID=67483286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810384327.1A Expired - Fee Related CN110109871B (zh) 2018-04-26 2018-04-26 一种跨站点的高能物理数据访问方法及系统

Country Status (1)

Country Link
CN (1) CN110109871B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328560A (zh) * 2020-11-25 2021-02-05 北京无线电测量研究所 一种文件调度方法和系统
CN113312394A (zh) * 2021-06-15 2021-08-27 中国科学技术大学 数据获取系统的构建方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148383A (en) * 1998-07-09 2000-11-14 International Business Machines Corporation Storage system employing universal timer for peer-to-peer asynchronous maintenance of consistent mirrored storage
US20070113034A1 (en) * 2004-08-09 2007-05-17 Tetsuya Maruyama Storage remote copy system
CN102508740A (zh) * 2011-10-26 2012-06-20 上海文广互动电视有限公司 文件系统远程复制方法
CN104769579A (zh) * 2012-11-09 2015-07-08 微软公司 文档管理系统中的列表管理
US9582559B1 (en) * 2012-06-29 2017-02-28 EMC IP Holding Company LLC Multi-site storage system with replicated file system synchronization utilizing virtual block storage appliances
CN107908791A (zh) * 2017-12-12 2018-04-13 郑州云海信息技术有限公司 分布式存储系统中数据缓存方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148383A (en) * 1998-07-09 2000-11-14 International Business Machines Corporation Storage system employing universal timer for peer-to-peer asynchronous maintenance of consistent mirrored storage
US20070113034A1 (en) * 2004-08-09 2007-05-17 Tetsuya Maruyama Storage remote copy system
CN102508740A (zh) * 2011-10-26 2012-06-20 上海文广互动电视有限公司 文件系统远程复制方法
US9582559B1 (en) * 2012-06-29 2017-02-28 EMC IP Holding Company LLC Multi-site storage system with replicated file system synchronization utilizing virtual block storage appliances
CN104769579A (zh) * 2012-11-09 2015-07-08 微软公司 文档管理系统中的列表管理
CN107908791A (zh) * 2017-12-12 2018-04-13 郑州云海信息技术有限公司 分布式存储系统中数据缓存方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐琪: "高能物理实验数据跨域访问缓存方法", 《第十八届全国科学计算与信息化会议》 *
徐琪: "高能物理环境中混合存储系统的设计与优化", 《计算机科学》 *
程耀东等: "高能物理计算环境中存储系统的设计与优化", 《计算机科学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328560A (zh) * 2020-11-25 2021-02-05 北京无线电测量研究所 一种文件调度方法和系统
CN113312394A (zh) * 2021-06-15 2021-08-27 中国科学技术大学 数据获取系统的构建方法及装置
CN113312394B (zh) * 2021-06-15 2022-09-06 中国科学技术大学 数据获取系统的构建方法及装置

Also Published As

Publication number Publication date
CN110109871B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
US8024484B2 (en) Caching signatures
US20150237113A1 (en) Method and system for file transmission
US7254617B2 (en) Distributed cache between servers of a network
JP4489292B2 (ja) 高性能オブジェクト・キャッシュ
US7647417B1 (en) Object cacheability with ICAP
US8234327B2 (en) System and method for bandwidth optimization in a network storage environment
WO2019057212A1 (zh) Cdn节点内服务调度方法、装置、设备及存储介质
JP2001526814A (ja) 分散型キャッシュ、プリフェッチ、複写の方法およびそのシステム
WO2013075578A1 (zh) 网络资源文件的离线下载系统和方法
US20070088669A1 (en) Method and apparatus for accessing information based on distributed file system (DFS) paths
CN102904887A (zh) 一种Web客户端与服务器的数据同步方法和系统
CN109344122B (zh) 一种基于文件预创策略的分布式元数据管理方法及系统
WO2009115026A1 (zh) 多媒体文件的下载播放系统、客户端和方法
Shannigrahi et al. Named data networking in climate research and hep applications
CN110109871B (zh) 一种跨站点的高能物理数据访问方法及系统
CN111177159A (zh) 一种数据处理的系统、方法和数据更新设备
WO2024124663A1 (zh) 一种支持cdn缓存批量刷新的方法及装置
WO2013120412A1 (zh) 数据下载方法、终端、服务器和系统
CN107659626B (zh) 面向临时元数据的分离存储方法
WO2011110042A1 (zh) Web请求调度方法及系统
WO2019052299A1 (zh) 一种sdn交换机和sdn交换机的应用管理方法
CN117857637A (zh) 一种基于sdwan的跨境传输优化方法
WO2010031297A1 (zh) 一种wap网关提取业务的实现方法和系统
CN115811515A (zh) 一种边缘云环境下基于分片的文件存取方法及系统
CN116866429A (zh) 一种数据访问方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210406