CN111491017B - Cors基准站数据分发系统、方法、装置 - Google Patents
Cors基准站数据分发系统、方法、装置 Download PDFInfo
- Publication number
- CN111491017B CN111491017B CN202010260224.1A CN202010260224A CN111491017B CN 111491017 B CN111491017 B CN 111491017B CN 202010260224 A CN202010260224 A CN 202010260224A CN 111491017 B CN111491017 B CN 111491017B
- Authority
- CN
- China
- Prior art keywords
- data
- reference station
- data receiving
- server cluster
- cors reference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1031—Controlling of the operation of servers by a load balancer, e.g. adding or removing servers that serve requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1034—Reaction to server failures by a load balancer
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种CORS基准站数据分发系统、方法、装置、负载均衡设备和存储介质,包括:负载均衡设备,用于获取CORS基准站发送的连接请求;对连接请求进行数据接收服务器的分配,并发送至数据接收层服务器集群;数据接收层服务器集群,根据负载均衡设备发送的连接请求,与对应的CORS基准站建立连接,获取CORS基准站数据;将CORS基准站数据发布至消息队列服务器集群;消息队列服务器集群,用于将获取到的CORS基准站数据根据预设的路由规则保存至对应的消息队列;数据应用层服务器集群,从消息队列获取CORS基准站数据,并对CORS基准站数据进行处理。本申请提高了数据中心进行CORS基准站数据分发的效率。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种CORS基准站数据分发系统、一种CORS基准站数据分发方法、一种CORS基准站数据分发装置、一种负载均衡设备和可读存储介质。
背景技术
随着GPS技术的飞速进步和应用普及,CORS基准站(Continuously OperatingReference Stations,连续运行卫星定位服务参考站)已成为城市GPS应用的发展热点之一。
在目前的CORS基准站数据处理技术上,由于“全国一张网”的概念提出,要求把全国的CORS站数据汇聚到数据中心,再根据用户的需求经过加工播发出去。
然而,数据中心内单台服务器支持的并发连接数是非常有限的,不足以面对高并发、海量数据的场景,数据中心进行CORS基准站数据分发的效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高数据中心进行CORS基准站数据分发效率的CORS基准站数据分发系统、一种CORS基准站数据分发方法、一种CORS基准站数据分发装置、一种负载均衡设备和可读存储介质。
一种CORS基准站数据分发系统,包括:负载均衡设备、数据接收层服务器集群、消息队列服务器集群以及数据应用层服务器集群;其中,所述负载均衡设备与所述数据接收层服务器集群通信连接,所述数据接收层服务器集群通过所述消息队列服务器集群与所述数据应用层服务器集群通信连接;所述数据接收层服务器集群包括至少两台数据接收服务器;所述数据应用层服务器集群包括至少两台解码服务器;
所述负载均衡设备,用于获取CORS基准站发送的连接请求;根据所述数据接收层服务器集群中各个数据接收服务器对应的权重值,对所述连接请求进行数据接收服务器的分配,并发送至所述数据接收层服务器集群;
所述数据接收层服务器集群,用于根据所述负载均衡设备发送的所述连接请求,与对应的所述CORS基准站建立连接,获取CORS基准站数据;将所述CORS基准站数据发布至所述消息队列服务器集群;
所述消息队列服务器集群,用于将获取到的所述CORS基准站数据根据预设的路由规则保存至与所述路由规则对应的消息队列;
所述数据应用层服务器集群,用于通过所述解码服务器,从所述消息队列获取所述CORS基准站数据,并对所述CORS基准站数据进行处理。
在一个实施例中,负载均衡设备还用于对所述数据接收服务器进行失效检测,得到检测结果;若所述数据接收服务器的所述检测结果为失效,则将所述数据接收服务器移出所述数据接收层服务器集群。
在一个实施例中,还包括:失效检测服务器、备用负载均衡设备以及交换机;所述CORS基准站通过所述交换机与当前生效的负载均衡设备进行通信;所述失效检测服务器,用于对所述负载均衡设备进行失效检测,得到检测结果;若所述负载均衡设备的所述检测结果为失效,则确定所述备用负载均衡设备为所述当前生效的负载均衡设备。
在一个实施例中,所述失效检测服务器,还用于:在所述当前生效的负载均衡设备上产生虚拟IP,并将所述虚拟IP与所述交换机绑定;所述交换机用于根据所述虚拟IP确定所述当前生效的负载均衡设备,并将所述连接请求发送至所述当前生效的负载均衡设备。
在一个实施例中,所述消息队列服务器集群,还用于:根据所述预设的路由规则,确定与所述CORS基准站数据对应的消息队列;所述预设的路由规则包含将属于设定区域内的多个CORS基准站的数据分配至多个不同的消息队列;将所述CORS基准站数据保存至所述对应的消息队列;所述消息队列与所述数据应用层服务器集群中的解码服务器一一对应;所述解码服务器用于从所述对应的消息队列获取所述CORS基准站数据,对所述CORS基准站数据进行处理。
一种CORS基准站数据分发方法,应用于负载均衡设备,所述方法包括:
获取CORS基准站发送的连接请求;
获取数据接收层服务器集群中各个数据接收服务器对应的权重值;所述数据接收层服务器集群包括至少两台数据接收服务器;
根据所述权重值对所述连接请求进行数据接收服务器的分配,并发送至所述数据接收层服务器集群;所述数据接收层服务器集群用于根据接收到的所述连接请求,与对应的所述CORS基准站建立连接,获取CORS基准站数据。
在一个实施例中,所述根据所述权重值,对所述连接请求进行数据接收服务器的分配,包括:根据所述数据接收层服务器集群中各个数据接收服务器的负载状态,确定与所述数据接收服务器对应的权重值;根据所述权重值,对所述连接请求进行所述数据接收服务器的分配。
一种CORS基准站数据分发装置,应用于负载均衡设备,所述装置包括:
连接请求获取模块,用于获取CORS基准站发送的连接请求;
权重值获取模块,用于获取数据接收层服务器集群中各个数据接收服务器对应的权重值;所述数据接收层服务器集群包括至少两台数据接收服务器;
连接请求分配模块,用于根据所述权重值对所述连接请求进行数据接收服务器的分配,并发送至所述数据接收层服务器集群;所述数据接收层服务器集群用于根据接收到的所述连接请求,与对应的所述CORS基准站建立连接,获取CORS基准站数据。
一种负载均衡设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取CORS基准站发送的连接请求;
获取数据接收层服务器集群中各个数据接收服务器对应的权重值;所述数据接收层服务器集群包括至少两台数据接收服务器;
根据所述权重值对所述连接请求进行数据接收服务器的分配,并发送至所述数据接收层服务器集群;所述数据接收层服务器集群用于根据接收到的所述连接请求,与对应的所述CORS基准站建立连接,获取CORS基准站数据。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取CORS基准站发送的连接请求;
获取数据接收层服务器集群中各个数据接收服务器对应的权重值;所述数据接收层服务器集群包括至少两台数据接收服务器;
根据所述权重值对所述连接请求进行数据接收服务器的分配,并发送至所述数据接收层服务器集群;所述数据接收层服务器集群用于根据接收到的所述连接请求,与对应的所述CORS基准站建立连接,获取CORS基准站数据。
上述CORS基准站数据分发系统、方法、装置、负载均衡设备和计算机可读存储介质,系统包括:负载均衡设备、数据接收层服务器集群、消息队列服务器集群以及数据应用层服务器集群;其中,负载均衡设备与数据接收层服务器集群通信连接,数据接收层服务器集群与数据应用层服务器集群通过消息队列服务器集群通信连接;数据接收层服务器集群包括至少两台数据接收服务器;数据应用层服务器集群包括至少两台解码服务器;负载均衡设备,用于获取CORS基准站发送的连接请求;根据数据接收层服务器集群中各个数据接收服务器对应的权重值,对连接请求进行数据接收服务器的分配,并发送至数据接收层服务器集群;数据接收层服务器集群,用于根据负载均衡设备发送的连接请求,与对应的CORS基准站建立连接,获取CORS基准站数据;将CORS基准站数据发布至消息队列服务器集群;消息队列服务器集群,用于将获取到的CORS基准站数据根据预设的路由规则保存至与路由规则对应的消息队列;数据应用层服务器集群,用于通过解码服务器,从消息队列获取CORS基准站数据,并对CORS基准站数据进行处理。本申请将高并发的连接请求根据数据接收服务器的权重值进行合理分配,提高了单台服务器的负载利用效率,降低了单台服务器的压力,提高了数据中心进行CORS基准站数据分发的效率。
附图说明
图1为一个实施例中CORS基准站数据分发系统的结构示意图;
图2为一个实施例中以5000个CORS基准站接入CORS基准站数据分发系统为例说明CORS基准站数据分发系统的流程示意图;
图3为一个实施例中CORS基准站数据分发方法的流程示意图;
图4为一个实施例中根据权重值,对连接请求进行数据接收服务器的分配步骤的方法的流程示意图;
图5为一个实施例中CORS基准站数据分发装置的结构框图;
图6为一个实施例中负载均衡设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,本申请实施例所涉及的术语“第一\第二”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换,以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例提供一种CORS基准站数据分发系统,以下分别对该系统的各组成部分进行详细说明。
本申请提供的CORS基准站数据分发系统,其结构示意图如图1所示,为一个实施例中CORS基准站数据分发系统的结构示意图,CORS基准站数据分发系统可以包括负载均衡设备11、数据接收层服务器集群12、消息队列服务器集群13以及数据应用层服务器集群14。负载均衡设备11与数据接收层服务器集群12通信连接,数据接收层服务器集群12通过消息队列服务器集群13与数据应用层服务器集群14通信连接;数据接收层服务器集群12包括至少两台数据接收服务器;数据应用层服务器集群14包括至少两台解码服务器。
其中,负载均衡设备11通过网络与数据接收层服务器集群12以及CORS基准站15进行通信,负载均衡设备11可以用独立的服务器或者是多个服务器组成的服务器集群来实现,数据接收层服务器集群12可以包括多种类型的服务器,用于接收CORS基准站15发送的CORS基准站数据,并发送至消息队列进行保存;数据应用层服务器集群14中可以包括多种类型的服务器,用于从消息队列服务器集群13提供的消息队列获取数据接收层服务器集群12发送的CORS基准站数据并进行处理;另外,消息队列服务器集群13也可以用独立的服务器或者是多个服务器组成的服务器集群来实现CORS基准站数据的接收、存储以及传输。
具体地,CORS基准站就是通过连续采集高质量的GNSS(全球导航卫星系统,GlobalNavigation Satellite System)的原始观测数据为各行业移动终端用户提供毫米级-厘米级高精度定位服务,具有全天候、全球覆盖、高精度、动态、实时定位的特点。
CORS基准站通过负载均衡设备连接到数据接收层服务器集群,负载均衡设备将CORS基准站发送的大量连接请求,根据数据接收层服务器集群中各个数据接收服务器对应的权重值,按照一定的规则将连接请求进行分配,并将分配后的连接请求发送至数据接收层服务器集群。权重值可以根据数据接收层服务器集群中数据接收服务器的处理能力计算得到,也可以利用提前预设好的固定权重值。权重值越大,该数据接收服务器被分配连接请求的比率越大;例如可以根据数据接收服务器的性能通过负载均衡设备设计轮询权重,负载均衡设备将全国所有的CORS基准站连接请求合理分配后发送到数据接收层服务器集群后进行处理。
数据接收层服务器集群由若干个数据接收服务器组成,可以通过增加数据接收服务器数量的方式提高数据接收层服务器集群整体的数据接收能力。数据接收服务器在收到负载均衡设备分发的连接请求后,根据连接请求中的参数与对应的CORS基准站建立连接,并获取CORS基准站的数据。数据接收层服务器集群将CORS基准站的数据发布至消息队列服务器集群所提供的指定的消息队列中,数据应用层服务器集群中每个解码服务器固定从消息队列服务器集群的一个消息队列中获取CORS基准站数据,以实现CORS基准站数据的定向发送。数据应用层服务器集群由若干个解码服务器组成,每个解码服务器对应处理某一设定区域内所有CORS基准站发送的CORS基准站数据。解码服务器和CORS基准站之间通过消息队列以及路由规则确定对应关系,能够实现将全国CORS基准站按照区域均匀分配至多个数据应用层服务器集群的解码服务器;若某个解码服务器故障,不会造成CORS基准站数据的区域集中性中断,降低了对CORS基准站数据分发的影响。
在一个实施例中,消息队列服务器集群,用于将获取到的CORS基准站数据根据预设的路由规则保存至与路由规则对应的消息队列。
其中,路由规则可以通过在数据接收层服务器集群和数据应用层服务器集群之间通过消息队列服务器集群设置消息队列的形式实现;数据接收层服务器集群将CORS基准站数据发送至消息队列服务器集群,消息队列服务器集群根据路由规则将CORS基准站数据保存在对应的消息队列中,数据应用层服务器集群再根据预先设置好的订阅规则对应获取指定消息队列中的CORS基准站数据。本实施例可采用搭载有RabbitMQ(高级消息队列协议(AMQP)的开源消息代理软件)的多个服务器组成消息队列服务器集群,保证了消息队列服务的高可用性。RabbitMQ是一个开源的,基于AMQP(Advanced Message Queuing Protocol,提供统一消息服务的应用层标准高级消息队列协议)的消息系统。
具体地,RabbitMQ作为面向消息的中间件,在本实施例中可用于数据接收层服务器集群和数据应用层服务器集群之间的解耦,数据接收层服务器集群在发送CORS基准站数据时无需得知数据应用层服务器集群的存在,反之亦然。RabbitMQ中的数据存储在消息队列中,消息队列服务器集群获取CORS基准站数据并通过RabbitMQ中的交换器(Exchange)路由到相应的消息队列中,CORS基准站数据通常携带有指定的路由规则(routing key),而RabbitMQ中也通过绑定键(Binding Key)将交换器与消息队列关联,当绑定键与路由规则相匹配时,CORS基准站数据将会被路由到指定的消息队列中,数据应用层服务器集群可以从预先选定好的消息队列中获取CORS基准站数据并进一步处理。需要说明的是,可以根据实际需要选取相应的路由规则。
如图2所示,以5000个CORS基准站接入CORS基准站数据分发系统为例对本申请进行说明:
5000个CORS基准站接入本系统,首先通过负载均衡设备将5000个连接请求按照指定权重分配到数据接收层服务器集群的数据接收服务器。该数据接收层服务器集群由四台数据接收服务器组成,权重值设置为均等,则每台数据接收服务器承载1250台CORS基准站的连接压力。消息队列服务器集群内设置10个消息队列,分别编号为00~09,获取到数据接收服务器发送的数据后,通过预设的路由规则,将CORS基准站数据分别发布至指定的消息队列,然后数据应用层服务器集群再通过解码服务器去对应的消息队列获取CORS基准站数据。
本发明还可以设置应用层服务器集群的多个数据获取节点与消息队列一一对应;通过数据获取节点与消息队列的关联关系,数据应用层服务器集群再根据数据获取节点分别获取相应数据,能够做到CORS基准站数据的定向播发,这样通过前期对路由规则的设计,能够实现将全国CORS基准站按照地理区域均匀分配至解码服务器进行处理。
上述CORS基准站数据分发系统、方法、装置、负载均衡设备和计算机可读存储介质,其中,该系统包括:负载均衡设备、数据接收层服务器集群、消息队列服务器集群以及数据应用层服务器集群;其中,负载均衡设备与数据接收层服务器集群通信连接,数据接收层服务器集群与数据应用层服务器集群通信连接;数据接收层服务器集群包括至少两台数据接收服务器;数据应用层服务器集群包括至少两台解码服务器;负载均衡设备,用于获取CORS基准站发送的连接请求;根据数据接收层服务器集群中各个数据接收服务器对应的权重值,对连接请求进行数据接收服务器的分配,并发送至数据接收层服务器集群;数据接收层服务器集群,用于根据负载均衡设备发送的连接请求,与对应的CORS基准站建立连接,获取CORS基准站数据;将CORS基准站数据发布至消息队列服务器集群;消息队列服务器集群,用于将获取到的CORS基准站数据根据预设的路由规则保存至与路由规则对应的消息队列;数据应用层服务器集群,用于通过解码服务器,从消息队列获取CORS基准站数据,并对CORS基准站数据进行处理。本申请将高并发的连接请求根据数据接收服务器的权重值进行合理分配,提高了单台服务器的负载利用效率,降低了单台服务器的压力,提高了数据中心进行CORS基准站数据分发的效率。
在一个实施例中,负载均衡设备还用于对数据接收服务器进行失效检测,得到检测结果;若数据接收服务器的检测结果为失效,则将数据接收服务器移出数据接收层服务器集群。
具体地,负载均衡设备在对数据接收服务器进行失效检测时,若数据接收服务器无响应或数据接收服务器返回的数据异常,则可确定所检测的数据接收服务器的检测结果为失效状态,并将该数据接收服务器暂时移出数据接收层服务器集群;移出后,负载均衡设备进行连接请求分配时会将原本该数据接收服务器处理的连接请求进行重新分配,交由其他未失效的数据接收服务器进行处理。持续对失效的数据接收服务器进行周期性的检测,若该数据接收服务器恢复生效状态正常运行,则将该数据接收服务器添加至数据接收层服务器集群。此外,还可以在检测出数据接收服务器为失效状态时,根据数据接收服务器的具体信息生成预警信息发送至相应维护人员的终端设备,提醒维护人员进行故障排查。
本实施例通过负载均衡设备对数据接收服务器进行失效检测,若某一数据接收服务器宕机,则连接请求不发送到这台数据接收服务器,同时自动切换到正常运行的数据接收服务器来继续接收CORS基准站上传的数据,若该数据接收服务器故障恢复,仍能加入数据接收层服务器集群,继续一起提供服务。保障了CORS基准站数据分发系统再接收数据方面的高可用性,做到无感知的故障摘除,提高了数据中心进行CORS基准站数据分发效率。
在一个实施例中,CORS基准站数据分发系统还包括失效检测服务器、备用负载均衡设备以及交换机;CORS基准站通过交换机与当前生效的负载均衡设备进行通信;失效检测服务器,还用于对负载均衡设备进行失效检测,得到检测结果;若负载均衡设备的检测结果为失效,则确定备用负载均衡设备为当前生效的负载均衡设备。
其中,失效检测服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现;可以通过实时的心跳检测,对包括但不限于本系统中数据接收服务器、解码服务器以及负载均衡设备进行失效检测;检测结果可以设置为生效以及失效。备用负载均衡设备可以承担与负载均衡设备同样的数据处理工作;当前在使用的负载均衡设备即为当前生效的;在备用负载均衡设备生效时,同样通过网络与数据接收层服务器集群以及数据应用层服务器集群进行通信,备用负载均衡设备可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
具体地,失效检测服务器对负载均衡设备进行失效检测,若检测结果是失效,则失效检测服务器确定备用负载均衡设备为当前生效的负载均衡设备;反之,失效检测服务器还可以通过对已失效的负载均衡设备进行检测,若负载均衡设备恢复正常功能,则失效检测服务器可以继续将负载均衡设备确定为当前生效的负载均衡设备,实现主负载均衡设备与备用负载均衡设备之间的切换。
本实施例通过失效检测服务器对负载均衡设备进行失效检测,确保了负载均衡设备的高可用性,进一步保障了CORS基准站数据分发系统的高可用性,做到无感知的负载均衡设备故障摘除,提高了数据中心进行CORS基准站数据分发效率。
在一个实施例中,失效检测服务器还用于:在当前生效的负载均衡设备上产生虚拟IP,并将虚拟IP与交换机绑定;交换机用于根据虚拟IP确定当前生效的负载均衡设备,并将连接请求发送至当前生效的负载均衡设备。
具体地,可以通过keepalived(集群管理中保证集群高可用的一个服务软件)的方式实现负载均衡设备和备用负载均衡设备之间的切换,即主备负载均衡设备的高可用。利用Keepalived在负载均衡设备的主机上产生一个虚拟的ip(以下简称为vip);keepalived会将这个vip与交换机互相绑定,当访问负载均衡设备的主机ip时,交换机会通过这个ip和vip的对应关系找到主机上的负载均衡设备。若主机的负载均衡设备失效,Keepalived会立即在安装有备用负载均衡设备的备机上生成一个相同的vip,当继续访问主机ip时,交换机检测到存在于备机上面的vip,可以直接将CORS基准站连接请求转发到备机上的备用负载均衡设备。通过对主机负载均衡设备进行持续的心跳检查,若发现主机及其负载均衡设备已经被修复,能够继续对外提供服务时,keepalived会在主机上继续生成这个vip,同时回收在备机上生成的vip,继续使用主机上的负载均衡设备作为当前生效的负载均衡设备。
本实施例通过keepalived在负载均衡设备以及备用负载均衡设备的主机上生成虚拟ip,实现对负载均衡设备的切换,也控制了交换机对连接请求的指向性传输方向,确保了CORS基准站数据分发系统的高可用性,做到无感知的负载均衡设备故障摘除,进一步提高了数据中心进行CORS基准站数据分发效率。
在一个实施例中,消息队列服务器集群,还用于:根据预设的路由规则,确定与CORS基准站数据对应的消息队列;预设的路由规则包含将属于设定区域内的多个CORS基准站的数据分配至多个不同的消息队列;将CORS基准站数据保存至对应的消息队列;消息队列与数据应用层服务器集群中的解码服务器一一对应;解码服务器用于从对应的消息队列获取CORS基准站数据,对CORS基准站数据进行处理。
其中,消息队列使得数据应用层服务器集群能够从指定的队列里获取CORS基准站数据,若有n个消息队列,则对应为n个解码服务器。预先根据CORS基准站所在的区域将CORS基准站进行分配,并与消息队列进行对应。
具体地,消息队列服务器集群在获取到CORS基准站数据后,从路由规则中确定CORS基准站数据应属于的消息队列,确定好后将CORS基准站数据对应保存至指定的消息队列。解码服务器也与消息队列存在对应关系,能够从与其对应的消息队列中获取CORS基准站数据后进行对应处理。例如,解码服务器A与消息队列a对应,且处理的是陕、甘、青三省区域内的所有CORS基准站发送的数据,可以在预设的路由规则中设定消息队列a接收陕、甘、青三省所有的CORS基准站数据;CORS基准站数据中携带有CORS基准站标识,数据接收层服务器集群在获取到CORS基准站数据后,根据携带的CORS基准站标识进行将数据对应分发。
另外,可以利用CORS基准站的源节点信息设计路由规则,实现将CORS基准站数据推送到指定的消息队列。源节点可以被设计成后四位为16进制字符,例如XXXXFFFF,首先获取源节点的后四位16进制数,对其进行哈希变换,获得源节点的哈希值,然后对哈希值进行取模运算,对消息队列的总数进行取模运;假设消息队列总数为20,则对哈希值进行20模运算,此时获得一个值作为路由值;每个消息队列也可以设置路由值作为自身的绑定值;消息队列服务器集群会将各个CORS基准站的数据发布至与其路由值相匹配或预先绑定的消息队列中。这样就可以通过CORS基准站的源节点信息后四位序进制数的设置,人为预先干预使CORS基准站数据定向播发至指定的数据应用层服务器集群中的解码服务器。
本实施例通过路由规则确定了CORS基准站数据分发的目标,能够实现CORS基准站数据的定向发送和定向处理,这样可以在全国网络设置之初,通过路由规则的设计,将各个区域内CORS基准站数据均分至n个消息队列中,即便某个解码服务器或者某个消息队列服务器失效,也只是造成区域中的小部分CORS基准站数据流中断,但系统仍能够为数据需求端提供该区域内的其他CORS基准站数据,替代服务中断的基准站继续为数据需求端提供服务,避免造成区域性服务瘫痪,提升了CORS基准站数据分发系统空间的高可用性,进一步提高了数据中心进行CORS基准站数据分发效率。
在一个实施例中,还提供了一种CORS基准站数据分发方法。本申请提供的CORS基准站数据分发方法,可以应用于如图1所示的应用环境中。该方法可以基于如上任一项实施例的CORS基准站数据分发系统的负载均衡设备实现,如图3所示,图3为一个实施例中CORS基准站数据分发方法的流程示意图,该方法可以包括如下步骤:
步骤S31,获取CORS基准站发送的连接请求;
步骤S32,获取数据接收层服务器集群中各个数据接收服务器对应的权重值;数据接收层服务器集群包括至少两台数据接收服务器;
步骤S33,根据权重值对连接请求进行数据接收服务器的分配,并发送至数据接收层服务器集群;数据接收层服务器集群用于根据接收到的连接请求,与对应的CORS基准站建立连接,获取CORS基准站数据。
上述CORS基准站数据分发方法,负载均衡设备连接到数据接收层服务器集群,负载均衡设备将CORS基准站发送过来的大量连接请求,根据数据接收层服务器集群中各个数据接收服务器对应的权重值的不同,按照一定的规则将连接请求进行分配,发送至数据接收层服务器集群。权重值可以根据数据接收层服务器集群中数据接收服务器的处理能力计算得到,也可以提前预设好固定的权重值。权重值越大,该数据接收服务器被分配连接请求的比率越大;例如可以根据数据接收服务器的性能通过负载均衡设备设计轮询权重,负载均衡设备将全国所有的CORS基准站连接请求合理分配后发送到数据接收层服务器集群后进行处理。将高并发的连接请求根据数据接收服务器的权重值进行合理分配,提高了单台服务器的负载利用效率,降低了单台服务器的压力,提高了数据中心进行CORS基准站数据分发的效率。
在一个实施例中,步骤S33,如图4所示,根据权重值,对连接请求进行数据接收服务器的分配,包括:
步骤S41,根据数据接收层服务器集群中各个数据接收服务器的负载状态,确定与数据接收服务器对应的权重值;
步骤S42,根据权重值,对连接请求进行数据接收服务器的分配。
其中,负载状态可以包括CPU使用率、内存使用率、网络使用率、磁盘使用率、CPU占用比例、内存占用比例、网络占用比例、磁盘占用比例等。
具体地,负载均衡设备根据返回的负载状态,为各个数据接收服务器设定合理的权重值,并根据权重值将从CORS基准站接收到的连接请求进行分配。例如,数据接收服务器A、B、C的CPU使用率分别为95%、50%以及0%,则可以将CPU使用率作为对负载状态的主要判断依据,分别设置数据接收服务器A、B、C的权重值为0、0.2以及0.8;之后,在数据接收服务器A、B、C的CPU使用率快接近时,再次调整权重值,总体保持平衡。
本实施例通过负载均衡设备对数据接收服务器的负载状态进行判断得到权重值,权重值能够调节连接请求的分配目标,达到数据接收层服务器集群中各个数据接收服务器负载均衡的效果。通过这种负载均衡的调度方式,只要横向扩展集群中数据接收服务器的数量,使数据接收服务器的负载压力不再成为整个网站的瓶颈,使得系统具备高度横向的可扩展性,提高了单台服务器的负载利用效率,降低了单台服务器的压力,提高了数据中心进行CORS基准站数据分发的效率。
应该理解的是,虽然图3-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图3-4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种CORS基准站数据分发装置,应用于负载均衡设备,包括:
连接请求获取模块51,用于获取CORS基准站发送的连接请求;
权重值获取模块52,用于获取数据接收层服务器集群中各个数据接收服务器对应的权重值;数据接收层服务器集群包括至少两台数据接收服务器;
连接请求分配模块53,用于根据权重值对连接请求进行数据接收服务器的分配,并发送至数据接收层服务器集群;数据接收层服务器集群用于根据接收到的连接请求,与对应的CORS基准站建立连接,获取CORS基准站数据。
在一个实施例中,权重值获取模块52,还用于根据数据接收层服务器集群中各个数据接收服务器的负载状态,确定与数据接收服务器对应的权重值;根据权重值,对连接请求进行数据接收服务器的分配。
关于CORS基准站数据分发装置的具体限定可以参见上文中对于CORS基准站数据分发方法的限定,在此不再赘述。上述CORS基准站数据分发装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种负载均衡设备,该负载均衡设备可以是服务器,其内部结构图可以如图6所示。该负载均衡设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该负载均衡设备的处理器用于提供计算和控制能力。该负载均衡设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该负载均衡设备的数据库用于存储CORS基准站数据分发数据。该负载均衡设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种CORS基准站数据分发方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种CORS基准站数据分发设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取CORS基准站发送的连接请求;
获取数据接收层服务器集群中各个数据接收服务器对应的权重值;数据接收层服务器集群包括至少两台数据接收服务器;
根据权重值对连接请求进行数据接收服务器的分配,并发送至数据接收层服务器集群;数据接收层服务器集群用于根据接收到的连接请求,与对应的CORS基准站建立连接,获取CORS基准站数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据数据接收层服务器集群中各个数据接收服务器的负载状态,确定与数据接收服务器对应的权重值;根据权重值,对连接请求进行数据接收服务器的分配。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取CORS基准站发送的连接请求;
获取数据接收层服务器集群中各个数据接收服务器对应的权重值;数据接收层服务器集群包括至少两台数据接收服务器;
根据权重值对连接请求进行数据接收服务器的分配,并发送至数据接收层服务器集群;数据接收层服务器集群用于根据接收到的连接请求,与对应的CORS基准站建立连接,获取CORS基准站数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据数据接收层服务器集群中各个数据接收服务器的负载状态,确定与数据接收服务器对应的权重值;根据权重值,对连接请求进行数据接收服务器的分配。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种CORS基准站数据分发系统,其特征在于,包括:负载均衡设备、数据接收层服务器集群、消息队列服务器集群以及数据应用层服务器集群;其中,所述负载均衡设备与所述数据接收层服务器集群通信连接,所述数据接收层服务器集群通过所述消息队列服务器集群与所述数据应用层服务器集群通信连接;所述数据接收层服务器集群包括至少两台数据接收服务器;消息队列服务器集群包括至少两台消息队列服务器;所述数据应用层服务器集群包括至少两台解码服务器;
所述负载均衡设备,用于获取CORS基准站发送的连接请求;根据所述数据接收层服务器集群中各个数据接收服务器对应的权重值,对所述连接请求进行数据接收服务器的分配,并发送至所述数据接收层服务器集群;
所述数据接收层服务器集群,用于根据所述负载均衡设备发送的所述连接请求,与对应的所述CORS基准站建立连接,获取CORS基准站数据;将所述CORS基准站数据发布至所述消息队列服务器集群;
所述消息队列服务器集群,用于将获取到的所述CORS基准站数据根据预设的路由规则保存至与所述路由规则对应的消息队列;将所述CORS基准站数据发布至与所述CORS基准站数据的路由值相匹配消息队列中;所述CORS基准站数据的路由值为根据所述CORS基准站数据对应的CORS基准站的源节点信息确定的;
所述数据应用层服务器集群,用于通过所述解码服务器,从所述消息队列获取所述CORS基准站数据,并对所述CORS基准站数据进行处理。
2.根据权利要求1所述的系统,其特征在于,所述负载均衡设备还用于对所述数据接收服务器进行失效检测,得到检测结果;若所述数据接收服务器的所述检测结果为失效,则将所述数据接收服务器移出所述数据接收层服务器集群。
3.根据权利要求1所述的系统,其特征在于,还包括:失效检测服务器、备用负载均衡设备以及交换机;所述CORS基准站通过所述交换机与当前生效的负载均衡设备进行通信;
所述失效检测服务器,用于对所述负载均衡设备进行失效检测,得到检测结果;若所述负载均衡设备的所述检测结果为失效,则确定所述备用负载均衡设备为所述当前生效的负载均衡设备。
4.根据权利要求3所述的系统,其特征在于,所述失效检测服务器,还用于:
在所述当前生效的负载均衡设备上产生虚拟IP,并将所述虚拟IP与所述交换机绑定;所述交换机用于根据所述虚拟IP确定所述当前生效的负载均衡设备,并将所述连接请求发送至所述当前生效的负载均衡设备。
5.根据权利要求1所述的系统,其特征在于,所述消息队列服务器集群,还用于:
根据所述预设的路由规则,确定与所述CORS基准站数据对应的消息队列;所述预设的路由规则包含将属于设定区域内的多个CORS基准站的数据分配至多个不同的消息队列;
将所述CORS基准站数据保存至所述对应的消息队列;所述消息队列与所述数据应用层服务器集群中的解码服务器一一对应;所述解码服务器用于从所述对应的消息队列获取所述CORS基准站数据,对所述CORS基准站数据进行处理。
6.一种CORS基准站数据分发方法,其特征在于,应用于负载均衡设备,所述方法包括:
获取CORS基准站发送的连接请求;
获取数据接收层服务器集群中各个数据接收服务器对应的权重值;所述数据接收层服务器集群包括至少两台数据接收服务器;
根据所述权重值对所述连接请求进行数据接收服务器的分配,并发送至所述数据接收层服务器集群;所述数据接收层服务器集群用于根据接收到的所述连接请求,与对应的所述CORS基准站建立连接,以使数据应用层服务器集群通过消息队列服务器集群获取CORS基准站数据;所述消息队列服务器集群,用于将获取到的所述CORS基准站数据根据预设的路由规则保存至与所述路由规则对应的消息队列;将所述CORS基准站数据发布至与所述CORS基准站数据的路由值相匹配消息队列中;所述CORS基准站数据的路由值为根据所述CORS基准站数据对应的CORS基准站的源节点信息确定的。
7.根据权利要求6所述的方法,其特征在于,所述根据所述权重值,对所述连接请求进行数据接收服务器的分配,包括:
根据所述数据接收层服务器集群中各个数据接收服务器的负载状态,确定与所述数据接收服务器对应的权重值;
根据所述权重值,对所述连接请求进行所述数据接收服务器的分配。
8.一种CORS基准站数据分发装置,其特征在于,应用于负载均衡设备,所述装置包括:
连接请求获取模块,用于获取CORS基准站发送的连接请求;
权重值获取模块,用于获取数据接收层服务器集群中各个数据接收服务器对应的权重值;所述数据接收层服务器集群包括至少两台数据接收服务器;
连接请求分配模块,用于根据所述权重值对所述连接请求进行数据接收服务器的分配,并发送至所述数据接收层服务器集群;所述数据接收层服务器集群用于根据接收到的所述连接请求,与对应的所述CORS基准站建立连接,以使数据应用层服务器集群通过消息队列服务器集群获取CORS基准站数据;所述消息队列服务器集群,用于将获取到的所述CORS基准站数据根据预设的路由规则保存至与所述路由规则对应的消息队列;将所述CORS基准站数据发布至与所述CORS基准站数据的路由值相匹配消息队列中;所述CORS基准站数据的路由值为根据所述CORS基准站数据对应的CORS基准站的源节点信息确定的。
9.一种负载均衡设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求6至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求6至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010260224.1A CN111491017B (zh) | 2020-04-03 | 2020-04-03 | Cors基准站数据分发系统、方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010260224.1A CN111491017B (zh) | 2020-04-03 | 2020-04-03 | Cors基准站数据分发系统、方法、装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111491017A CN111491017A (zh) | 2020-08-04 |
CN111491017B true CN111491017B (zh) | 2023-05-26 |
Family
ID=71798211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010260224.1A Active CN111491017B (zh) | 2020-04-03 | 2020-04-03 | Cors基准站数据分发系统、方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111491017B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112153697B (zh) * | 2020-09-03 | 2023-06-06 | 南方电网数字电网研究院有限公司 | 一种多基站、高并发场景下的cors解算方法、播发方法及系统、cors系统 |
CN112615666B (zh) * | 2020-12-19 | 2022-07-15 | 河南方达空间信息技术有限公司 | 基于RabbitMQ和HAProxy的微服务高可用性部署方法 |
CN113934214B (zh) * | 2021-10-22 | 2023-11-10 | 云南电网有限责任公司电力科学研究院 | 一种智能设备的巡检航迹管控系统及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104780210B (zh) * | 2015-04-13 | 2019-01-25 | 新华三技术有限公司 | 负载均衡方法以及装置 |
CN106059835B (zh) * | 2016-07-28 | 2019-02-12 | 北京优世互联智能技术有限公司 | 一种低能耗计算机集群节点的高可靠性控制方法 |
CN107959666B (zh) * | 2016-10-18 | 2020-11-03 | 千寻位置网络有限公司 | 大规模cors站播发系统中数据订阅、发布的方法及其装置 |
CN108200124B (zh) * | 2017-12-12 | 2021-02-12 | 武汉烽火众智数字技术有限责任公司 | 一种高可用应用程序架构及构建方法 |
CN109408484B (zh) * | 2018-10-11 | 2022-05-06 | 中国科学院国家天文台 | 一种基于数据驱动的组件式行星探测数据存档系统及方法 |
CN109660607B (zh) * | 2018-12-05 | 2021-08-27 | 北京金山云网络技术有限公司 | 一种业务请求分发方法、接收方法、装置及服务器集群 |
CN110837426B (zh) * | 2019-11-06 | 2024-01-30 | 腾讯科技(深圳)有限公司 | 消息处理方法、装置及系统、存储介质 |
-
2020
- 2020-04-03 CN CN202010260224.1A patent/CN111491017B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111491017A (zh) | 2020-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111491017B (zh) | Cors基准站数据分发系统、方法、装置 | |
US8321870B2 (en) | Method and system for distributed computation having sub-task processing and sub-solution redistribution | |
CN110737668B (zh) | 数据存储方法、数据读取方法、相关设备及介质 | |
CN106991008B (zh) | 一种资源锁管理方法、相关设备及系统 | |
CN108881512B (zh) | Ctdb的虚拟ip均衡分配方法、装置、设备及介质 | |
US20200050479A1 (en) | Blockchain network and task scheduling method therefor | |
CN109802986B (zh) | 设备管理方法、系统、装置及服务器 | |
KR20120113976A (ko) | 푸시 알림 서비스를 위한 서버 클러스터 및 방법 | |
CN110944044B (zh) | 一种分布式api网关系统及其实现方法 | |
EP4033719A1 (en) | System for providing exact communication delay protection of request response for distributed service | |
CN112153697B (zh) | 一种多基站、高并发场景下的cors解算方法、播发方法及系统、cors系统 | |
CN111858033A (zh) | 基于集群和多进程的负载均衡方法 | |
EP2439881B1 (en) | Cluster system and request message distribution method for processing multi-node transaction | |
EP3874833A1 (en) | Traffic indicator map for networks with multiple access points | |
CN111600929B (zh) | 传输线路探测方法、路由策略生成方法及代理服务器 | |
US20210185121A1 (en) | System and method for migrating an agent server to an agent client device | |
CN106209680A (zh) | 信息处理装置以及方法 | |
CN112491951A (zh) | 对等网络中的请求处理方法、服务器及存储介质 | |
CN112395313A (zh) | 全局序列生成方法、装置、电子设备及计算机存储介质 | |
US20230205418A1 (en) | Data processing system and operating method thereof | |
CN114827079B (zh) | 网络地址转换网关的扩容方法、设备及存储介质 | |
CN114024971B (zh) | 业务数据处理方法、Kubernetes集群及介质 | |
CN114124797B (zh) | 一种服务器路由方法、装置、电子设备及存储介质 | |
CA2986758C (en) | Systems and methods for server failover and load balancing | |
US20240176762A1 (en) | Geographically dispersed hybrid cloud cluster |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |