CN105119978A - 一种元数据集群并行分发处理方法和系统 - Google Patents

一种元数据集群并行分发处理方法和系统 Download PDF

Info

Publication number
CN105119978A
CN105119978A CN201510432254.5A CN201510432254A CN105119978A CN 105119978 A CN105119978 A CN 105119978A CN 201510432254 A CN201510432254 A CN 201510432254A CN 105119978 A CN105119978 A CN 105119978A
Authority
CN
China
Prior art keywords
priority
queue
network message
message
subqueue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510432254.5A
Other languages
English (en)
Other versions
CN105119978B (zh
Inventor
李雪生
张延良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201510432254.5A priority Critical patent/CN105119978B/zh
Publication of CN105119978A publication Critical patent/CN105119978A/zh
Application granted granted Critical
Publication of CN105119978B publication Critical patent/CN105119978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
    • H04L47/6275—Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种元数据集群并行分发处理方法和系统，包括：并行接收元数据集群网络连接的网络报文，并将接收到的网络报文按照预先设置的优先级分发到元数据集群对应的优先级处理队列中，所述优先级处理队列包括具有不同优先级的处理子队列；根据优先级处理队列中处理子队列的优先级上送网络报文，且并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。通过本发明，提高了元数据集群控制报文处理实时性，实现了元数据集群高负载状态稳定运行。

Description

一种元数据集群并行分发处理方法和系统
技术领域
本发明涉及数据处理技术领域，尤指一种基于消息优先级队列的元数据集群并行分发处理方法和系统。
背景技术
随着非结构化数据的爆炸，分布式文件系统进入了发展的黄金时期，从高性能计算到数据中心，从数据共享到互联网应用，已经渗透到数据应用的各方各面。对于大多数分布式文件系统，或集群文件系统，或并行文件系统，通常将元数据与数据两者独立开来，即控制流与数据流进行分离，从而获得更高的系统扩展性和I/O并发性。因而，元数据管理模型显得至关重要，直接影响到系统的扩展性、性能、可靠性和稳定性等。
分布式的元数据集群系统具有良好的扩展性，能够利用分布式系统的特点解决文件系统扩展性差的问题，但是随着元数据集群规模的增大，系统状态控制变得更加困难，尤其在高负载场景下，元数据集群控制消息的延迟处理，会造成整个分布式元数据集群系统的震荡甚至系统瘫痪，另外，集群控制报文的特性是整体比例小但要求实时高，因此元数据集群控制消息优先级处理是非常有必要的。
发明内容
为了解决上述技术问题，本发明提供了一种元数据集群并行分发处理方法和系统，能够提高元数据集群控制报文处理的实时性，实现元数据集群高负载状态下的稳定运行。
为了达到本发明目的，本发明提供了一种元数据集群并行分发处理方法，包括：并行接收元数据集群网络连接的网络报文，并将接收到的网络报文按照预先设置的优先级分发到元数据集群对应的优先级处理队列中，所述优先级处理队列包括具有不同优先级的处理子队列；根据优先级处理队列中处理子队列的优先级上送网络报文，且并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。
进一步地，所述方法还包括：根据网络报文的类型，预先设置网络报文的优先级。
进一步地，所述网络报文的类型包括集群控制报文和文件操作请求报文，将所述集群控制报文的优先级设置为高，将所述文件操作请求报文的优先级设置为低。
进一步地，所述分布式文件系统中设置有队列优先级锁，所述队列优先级锁根据优先级处理队列中处理子队列的优先级控制上送网络报文，且控制并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。
进一步地，所述队列优先级锁记录优先级处理队列中处理子队列的引用计数；当有网络报文写入时，增加引用计数；当有网络报文读出时，减少引用计数；所述队列优先级锁控制上送引用计数非零的优先级处理队列中处理子队列网络报文。
进一步地，所述方法还包括：对上送的网络报文进行处理，且对上送的优先级相同的网络报文进行并发处理。
本发明还提供了一种元数据集群并行分发处理系统，包括：元数据集群报文分发模块，用于并行接收元数据集群网络连接的网络报文，并将接收到的网络报文按照预先设置的优先级分发到元数据集群对应的优先级处理队列中，所述优先级处理队列包括具有不同优先级的处理子队列；
元数据集群消息上送模块，用于根据优先级处理队列中处理子队列的优先级上送网络报文，且并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。
进一步地，所述元数据集群报文分发模块，还用于根据网络报文的类型，预先设置网络报文的优先级，其中，所述网络报文的类型包括集群控制报文和文件操作请求报文，将所述集群控制报文的优先级设置为高，将所述文件操作请求报文的优先级设置为低。
进一步地，所述系统还包括：队列优先级锁；所述队列优先级锁，用于根据优先级处理队列中处理子队列的优先级控制上送网络报文，且控制并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。
进一步地，所述队列优先级锁记录优先级处理队列中处理子队列的引用计数；当有网络报文写入时，增加引用计数；当有网络报文读出时，减少引用计数；所述队列优先级锁控制上送引用计数非零的优先级处理队列中处理子队列网络报文
与现有技术相比，本发明利用多优先级消息分发队列，处理元数据集群控制消息，提高元数据集群控制报文处理实时性，实现元数据集群高负载状态稳定运行。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1是本发明的一种实施例中元数据集群并行分发处理系统的架构示意图。
图2是本发明的一种实施例中元数据集群并行分发处理方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
元数据集群接收到的网络报文可以分为集群控制报文和文件操作请求报文两类，其中，集群控制报文的数量小，处理实时要求较高，直接影响系统运行；文件操作请求报文的数据量巨大，处理要求没有集群控制报文要求高，处理能力越强，用户体验越好。因此，本发明采用将集群控制报文和文件操作请求报文的优先级分离，相同级别报文按照网络连接并行处理请求，这样可以提高系统在高负载情况的稳定性，也能够提高系统的处理能力。
图1是本发明的一种实施例中元数据集群并行分发处理系统的架构示意图。本发明的元数据集群并行分发处理方法应用于如图1所示的系统中。图2是本发明的一种实施例中元数据集群并行分发处理方法的流程示意图，结合图1和图2，该方法包括：
步骤201，根据网络报文的类型，预先设置网络报文的优先级。
在本步骤中，网络报文的类型分为集群控制报文和文件操作请求报文，预先设置集群控制报文和文件操作请求报文的优先级，例如集群控制报文的优先级为高，文件操作请求报文的优先级为低。
步骤202，并行接收元数据集群网络连接的网络报文，并将接收到的网络报文按照预先设置的优先级分发到元数据集群对应的优先级处理队列中，该优先级处理队列包括具有不同优先级的处理子队列。
在本步骤中，分布式文件系统包括多个元数据集群，每个元数据集群对应有其自己的优先级处理队列，优先级处理队列中又包括具有不同优先级的处理子队列。
并行接收各元数据集群网络连接的网络报文，按照预先设置的优先级将各元数据集群接收到的网络报文分发到其自己的优先级处理队列中，例如心跳报文、集群状态控制报文进入该优先级处理队列中的高优先级处理子队列，客户请求报文进入该优先级处理队列中的低优先级处理子队列。
此外，除了根据网络报文类型设置的优先级进行网络报文的优先级分发，还可以根据网络报文类型以及网络连接的情况来进行网络报文的优先级分发。当然还可以有其它的情况综合考虑进行优先级分发，故在此赘述。
步骤203，根据优先级处理队列中处理子队列的优先级上送网络报文，且并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。
在本步骤中，分布式文件系统中设置有队列优先级锁，通过该队列优先级锁，根据优先级控制上送处理子队列的网络报文，且对不同优先级处理队列中优先级相同的处理子队列的网络报文可以控制并发上送。如此，通过控制该多个队列优先级锁，能够并发优先级处理的分发同步问题，当多网络连接进行并发处理时，如果有高优先级报文需要处理，所有系统连接都要等待高优级的报文处理完毕，例如，文件系统集群状态变迁等处理，只有处理处理完后，才能继续处理用户请求；如果不同的网络连接中有相同优先级报文需要处理，则可以并发上送进行处理。
队列优先级锁记录优先级处理队列中处理子队列的引用计数，当网络报文写入到处理子队列，在队列优先级锁中增加该处理子队列的引用计数；当从处理子队列中上送网络报文，在队列优先级锁中减少该处理子队列的引用计数。具体地，优先级写入，写入某一个优先级的队列，并增加优先级的引用计数；优先级读出，优先级读出操作，读取某一个优先级的队列的内容，并减少优先级的引用计数；获取锁状态，根据各级非零队列引用计数，优先级最大的是当前分发优先级。
步骤204，对上送的网络报文进行处理，且对上送的优先级相同的网络报文进行并发处理。
在本步骤中，优先对高优先级的处理子队列中的网络报文进行元数据处理，相同优先级的处理子队列中的网络报文可以并发进行元数据处理。
如图1所示的元数据集群并行分发处理系统，包括：
元数据集群报文分发模块，用于根据网络报文的类型，预先设置网络报文的优先级；并行接收元数据集群网络连接的网络报文，并将接收到的网络报文按照预先设置的优先级分发到元数据集群对应的优先级处理队列中，该优先级处理队列中包括具有不同优先级的处理子队列；
队列优先级锁，用于控制对应的优先级处理队列中处理子队列的网络报文的上送；
元数据集群消息上送模块，用于通过队列优先级锁，根据优先级处理队列中处理子队列的优先级上送网络报文，且并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。
元数据集群并行分发处理系统与元数据集群并行分发处理方法相对应，具体处理细节可参看元数据集群并行分发处理方法中的相应描述，故不再赘述。
本发明利用多优先级消息分发队列，处理元数据集群控制消息，提高元数据集群控制报文处理实时性，实现元数据集群高负载状态稳定运行。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种元数据集群并行分发处理方法，应用于分布式文件系统中，其特征在于，包括：
并行接收元数据集群网络连接的网络报文，并将接收到的网络报文按照预先设置的优先级分发到元数据集群对应的优先级处理队列中，所述优先级处理队列包括具有不同优先级的处理子队列；
根据优先级处理队列中处理子队列的优先级上送网络报文，且并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。
2.根据权利要求1所述的元数据集群并行分发处理方法，其特征在于，所述方法还包括：
根据网络报文的类型，预先设置网络报文的优先级。
3.根据权利要求2所述的元数据集群并行分发处理方法，其特征在于，所述网络报文的类型包括集群控制报文和文件操作请求报文，将所述集群控制报文的优先级设置为高，将所述文件操作请求报文的优先级设置为低。
4.根据权利要求1所述的元数据集群并行分发处理方法，其特征在于，所述根据优先级处理队列中处理子队列的优先级上送网络报文，且并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文，具体为：
分布式文件系统中设置有队列优先级锁，所述队列优先级锁根据优先级处理队列中处理子队列的优先级控制上送网络报文，且控制并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。
5.根据权利要求4所述的元数据集群并行分发处理方法，其特征在于，所述队列优先级锁记录优先级处理队列中处理子队列的引用计数；当有网络报文写入时，增加引用计数；当有网络报文读出时，减少引用计数；
所述队列优先级锁控制上送引用计数非零的优先级处理队列中处理子队列网络报文。
6.根据权利要求5所述的元数据集群并行分发处理方法，其特征在于，所述方法还包括：对上送的网络报文进行处理，且对上送的优先级相同的网络报文进行并发处理。
7.一种元数据集群并行分发处理系统，其特征在于，包括：
元数据集群报文分发模块，用于并行接收元数据集群网络连接的网络报文，并将接收到的网络报文按照预先设置的优先级分发到元数据集群对应的优先级处理队列中，所述优先级处理队列包括具有不同优先级的处理子队列；
元数据集群消息上送模块，用于根据优先级处理队列中处理子队列的优先级上送网络报文，且并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。
8.根据权利要求7所述的元数据集群并行分发处理系统，其特征在于，所述元数据集群报文分发模块，还用于根据网络报文的类型，预先设置网络报文的优先级，其中，所述网络报文的类型包括集群控制报文和文件操作请求报文，将所述集群控制报文的优先级设置为高，将所述文件操作请求报文的优先级设置为低。
9.根据权利要求8所述的元数据集群并行分发处理系统，其特征在于，所述系统还包括：队列优先级锁；
所述队列优先级锁，用于根据优先级处理队列中处理子队列的优先级控制上送网络报文，且控制并发上送不同优先级处理队列中优先级相同的处理子队列的网络报文。
10.根据权利要求9所述的元数据集群并行分发处理系统，其特征在于，所述队列优先级锁记录优先级处理队列中处理子队列的引用计数；当有网络报文写入时，增加引用计数；当有网络报文读出时，减少引用计数；
所述队列优先级锁控制上送引用计数非零的优先级处理队列中处理子队列网络报文。
CN201510432254.5A 2015-07-21 2015-07-21 一种元数据集群并行分发处理方法和系统 Active CN105119978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510432254.5A CN105119978B (zh) 2015-07-21 2015-07-21 一种元数据集群并行分发处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510432254.5A CN105119978B (zh) 2015-07-21 2015-07-21 一种元数据集群并行分发处理方法和系统

Publications (2)

Publication Number Publication Date
CN105119978A true CN105119978A (zh) 2015-12-02
CN105119978B CN105119978B (zh) 2019-05-24

Family

ID=54667861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510432254.5A Active CN105119978B (zh) 2015-07-21 2015-07-21 一种元数据集群并行分发处理方法和系统

Country Status (1)

Country Link
CN (1) CN105119978B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355777A (zh) * 2020-02-14 2020-06-30 西安奥卡云数据科技有限公司 一种分布式文件系统的管理方法装置及服务器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227350A (zh) * 2008-02-03 2008-07-23 中兴通讯股份有限公司 一种基于优先级调度的并行执行自动化测试系统及其方法
US20120051222A1 (en) * 2009-05-11 2012-03-01 Daisuke Ogura Communication apparatus and communication control method
CN103927225A (zh) * 2014-04-22 2014-07-16 浪潮电子信息产业股份有限公司 一种多核心架构的互联网信息处理优化方法
CN104391930A (zh) * 2014-11-21 2015-03-04 用友软件股份有限公司 分布式文件存储装置和方法
CN104410675A (zh) * 2014-11-12 2015-03-11 北京奇虎科技有限公司 数据传输方法、数据系统及相关装置
CN104714837A (zh) * 2013-12-11 2015-06-17 北京慧正通软科技有限公司 工作流引擎集群环境下实例并发处理的一种技术方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227350A (zh) * 2008-02-03 2008-07-23 中兴通讯股份有限公司 一种基于优先级调度的并行执行自动化测试系统及其方法
US20120051222A1 (en) * 2009-05-11 2012-03-01 Daisuke Ogura Communication apparatus and communication control method
CN104714837A (zh) * 2013-12-11 2015-06-17 北京慧正通软科技有限公司 工作流引擎集群环境下实例并发处理的一种技术方法
CN103927225A (zh) * 2014-04-22 2014-07-16 浪潮电子信息产业股份有限公司 一种多核心架构的互联网信息处理优化方法
CN104410675A (zh) * 2014-11-12 2015-03-11 北京奇虎科技有限公司 数据传输方法、数据系统及相关装置
CN104391930A (zh) * 2014-11-21 2015-03-04 用友软件股份有限公司 分布式文件存储装置和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355777A (zh) * 2020-02-14 2020-06-30 西安奥卡云数据科技有限公司 一种分布式文件系统的管理方法装置及服务器

Also Published As

Publication number Publication date
CN105119978B (zh) 2019-05-24

Similar Documents

Publication Publication Date Title
KR101885688B1 (ko) 낮은 지연속도 데이터 액세스를 위한 데이터 스트림의 분할
US10270726B2 (en) Selective distribution of messages in a scalable, real-time messaging system
Narayan et al. Hadoop acceleration in an openflow-based cluster
TW200915084A (en) Allocating network adapter resources among logical partitions
CN105577801B (zh) 一种业务加速方法及装置
US20150154297A1 (en) Real-time distributed in memory search architecture
US11068499B2 (en) Method, device, and system for peer-to-peer data replication and method, device, and system for master node switching
CN102891896B (zh) 用于物联网海量存储的云计算基础架构系统
US20130074091A1 (en) Techniques for ensuring resources achieve performance metrics in a multi-tenant storage controller
CN107729137B (zh) 服务器、区块链验签解密的方法及存储介质
CN110262754B (zh) 一种面向NVMe和RDMA的分布式存储系统及轻量级同步通信方法
US10146439B2 (en) System and method for high performance lockless scalable target
CN103067488A (zh) 一种统一存储的实现方法
CN102981973B (zh) 在存储系统中执行请求的方法
CN104216865A (zh) 映射和化简运算加速系统及方法
CN105302497A (zh) 一种缓存管理方法与系统
CN114675964A (zh) 基于联邦决策树模型训练的分布式调度方法、系统及介质
US10642520B1 (en) Memory optimized data shuffle
US20140012890A1 (en) Information processing system and control method thereof
EP3056988A1 (en) Method, apparatus and system for home management device virtualization
CN105119978A (zh) 一种元数据集群并行分发处理方法和系统
CN105162837B (zh) 海量数据存储环境下提升i/o吞吐率的方法及系统
US9990240B2 (en) Event handling in a cloud data center
CN104636206A (zh) 一种系统性能的优化方法和装置
US9503353B1 (en) Dynamic cross protocol tuner

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant