CN111880909A - 一种基于分布式的发布数据的方法及装置 - Google Patents

一种基于分布式的发布数据的方法及装置 Download PDF

Info

Publication number
CN111880909A
CN111880909A CN202010733532.1A CN202010733532A CN111880909A CN 111880909 A CN111880909 A CN 111880909A CN 202010733532 A CN202010733532 A CN 202010733532A CN 111880909 A CN111880909 A CN 111880909A
Authority
CN
China
Prior art keywords
data
server
lock
lock resource
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010733532.1A
Other languages
English (en)
Inventor
罗俊
邓远强
虞冬明
邓俊峰
郭祥军
吴龙生
廖贵祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010733532.1A priority Critical patent/CN111880909A/zh
Publication of CN111880909A publication Critical patent/CN111880909A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/465—Distributed object oriented systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1474—Saving, restoring, recovering or retrying in transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/466—Transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0611—Request for offers or quotes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请适用于计算机应用技术领域，提供了基于分布式的发布数据的方法及装置，包括：通过检测占有锁资源的第一服务器在发布数据过程中的状态，在第一服务器出现故障或超时，从第一服务器中释放所述锁资源，并生成锁超时释放信息，以同步锁资源超时释放信息至备用服务器中，使得备用服务器抢占锁资源，并将抢占到锁资源的备用服务器识别为第二服务器，以通过第二服务器发布数据至终端设备。本实施例基于多服务器分布式的方式实现了锁资源的持续性占用，确保了缓存中数据的完整性，并提高了数据公布的时效性。

Description

一种基于分布式的发布数据的方法及装置
技术领域
本申请属于计算机应用技术领域，尤其涉及一种基于分布式的发布数据的方法及装置。
背景技术
随着业务多样化发展、技术平台战略升级，在很多实时报价、高频报价业务处理系统中，都要求数据公布和更新频次高、时效无延迟、数据准确且不可丢失。因此，对系统的性能要求非常高。当在发布数据至终端设备时，若服务器故障宕机，传统的解决方案为采用双机冷备技术或双机热备技术。但是这些方式存在主从服务器切换时间长、丢失中间数据问题，进而降低数据公布的效率。
发明内容
本申请实施例提供了基于分布式的发布数据的方法及装置，可以解决数据公布的效率较低的问题。
第一方面，本申请实施例提供了一种基于分布式的发布数据的方法，包括：当占有锁资源的第一服务器在发布数据过程中超时或出现故障时，则从所述第一服务器中释放所述锁资源，并生成锁超时释放信息，其中，所述锁资源为基于分布式的方式生成的用于发布数据的事务锁；同步所述锁资源超时释放信息至备用服务器中，以使所述备用服务器抢占所述锁资源；将抢占到所述锁资源的备用服务器识别为第二服务器，以通过所述第二服务器发布数据至终端设备。
在第一方面的一种可能的实现方式中，所述当占有锁资源的第一服务器在发布数据过程中超时或出现故障时，则从所述第一服务器中释放所述锁资源之前，还包括：基于分布式的方式生成所述锁资源，并同步所述锁资源至各服务器中，以使所述各服务器抢占所述锁资源；将抢占到所述锁资源的服务器识别为所述第一服务器。
在第一方面的一种可能的实现方式中，将抢占到所述锁资源的服务器识别为所述第一服务器，包括：在所述第一服务器抢占到所述锁资源时，添加所述第一服务器的标识和超时释放时间在所述锁资源的属性中；根据所述超时释放时间，确定所述第一服务器释放所述锁资源的时间。
在第一方面的一种可能的实现方式中，通过所述第二服务器发布数据，包括：获取数据源发送的数据推送信息，所述数据推送信息包括数据标识和数据值；根据所述数据标识和所述数据值生成数据公布任务，所述数据公布任务组成远程字典；基于所述远程字典发布数据至所述终端设备。
在第一方面的一种可能的实现方式中，基于所述远程字典发布数据至所述终端设备，包括：从所述远程字典里获取所述第一服务器最后一次发布的数据对应的哈希值；在缓存队列中查找所述哈希值对应的数据地址；根据所述哈希值对应的数据地址，获取所述缓存队列中未发布的数据；根据队列先进先出原则，发布所述未发布的数据至所述终端设备。
在第一方面的一种可能的实现方式中，同步所述锁资源超时释放信息至备用服务器中，以使所述备用服务器抢占所述锁资源，包括：检测处于空闲状态中的备用服务器；广播所述锁资源超时释放信息至所述处于空闲状态中的备用服务器中，以使所述处于空闲状态中的备用服务器在检测到所述锁资源的状态为释放状态时，获取所述锁超时释放信息，并抢占所述锁资源。
在第一方面的一种可能的实现方式中，所述方法还包括：在基于区块链的分布式服务器系统中，基于锁资源对应的服务器的标识、所述服务器发布的数据，生成数据资源账本；在所述分布式服务器系统的服务器中共享所述数据资源账本。
第二方面，本申请实施例提供了一种基于分布式的发布数据的装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：当占有锁资源的第一服务器在发布数据过程中超时或出现故障时，则从所述第一服务器中释放所述锁资源，并生成锁超时释放信息，其中，所述锁资源为基于分布式的方式生成的用于发布数据的事务锁；同步所述锁资源超时释放信息至备用服务器中，以使所述备用服务器抢占所述锁资源；将抢占到所述锁资源的备用服务器识别为第二服务器，以通过所述第二服务器发布数据至终端设备。
第三方面，本申请实施例提供了一种基于分布式的发布数据的装置，包括：释放单元，用于当占有锁资源的第一服务器在发布数据过程中超时或出现故障时，则从所述第一服务器中释放所述锁资源，并生成锁超时释放信息，其中，所述锁资源为基于分布式的方式生成的用于发布数据的事务锁；抢占单元，用于同步所述锁资源超时释放信息至备用服务器中，以使所述备用服务器抢占所述锁资源；发布单元，用于将抢占到所述锁资源的备用服务器识别为第二服务器，以通过所述第二服务器发布数据至终端设备。
在第三方面的一种可能的实现方式中，所述基于分布式的发布数据的装置还包括：第一发布单元，用于基于分布式的方式生成所述锁资源，并同步所述锁资源至各服务器中，以使所述各服务器抢占所述锁资源；识别单元，用于将抢占到所述锁资源的服务器识别为所述第一服务器。
在第三方面的一种可能的实现方式中，所述识别单元具体包括：在所述第一服务器抢占到所述锁资源时，添加所述第一服务器的标识和超时释放时间在所述锁资源的属性中；根据所述超时释放时间，确定所述第一服务器释放所述锁资源的时间。
在第三方面的一种可能的实现方式中，所述发布单元包括：获取单元，用于获取数据源发送的数据推送信息，所述数据推送信息包括数据标识和数据值；组成单元，用于根据所述数据标识和所述数据值生成数据公布任务，所述数据公布任务组成远程字典；数据发布单元，用于基于所述远程字典发布数据至所述终端设备。
在第三方面的一种可能的实现方式中，所述数据发布单元具体包括：从所述远程字典里获取所述第一服务器最后一次发布的数据对应的哈希值；在缓存队列中查找所述哈希值对应的数据地址；根据所述哈希值对应的数据地址，获取所述缓存队列中未发布的数据；根据队列先进先出原则，发布所述未发布的数据至所述终端设备。
在第三方面的一种可能的实现方式中，所述抢占单元用于：检测处于空闲状态中的备用服务器；广播所述锁资源超时释放信息至所述处于空闲状态中的备用服务器中，以使所述处于空闲状态中的备用服务器在检测到所述锁资源的状态为释放状态时，获取所述锁超时释放信息，并抢占所述锁资源。
在第三方面的一种可能的实现方式中，所述基于分布式的发布数据的装置还包括：在基于区块链的分布式服务器系统中，基于锁资源对应的服务器的标识、所述服务器发布的数据，生成数据资源账本；在所述分布式服务器系统的服务器中共享所述数据资源账本。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的基于分布式的发布数据的方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：通过检测占有锁资源的第一服务器在发布数据过程中的状态，在第一服务器超时或出现故障时，从第一服务器中释放所述锁资源，并生成锁超时释放信息，以同步锁资源超时释放信息至备用服务器中，使得备用服务器抢占锁资源，并将抢占到锁资源的备用服务器识别为第二服务器，以通过第二服务器发布数据至终端设备，基于多服务器分布式的方式实现了锁资源的持续性占用，确保了缓存中数据的完整性，并提高了数据公布的时效性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于分布式的发布数据的方法的流程图；
图2是本申请实施例提供的一种锁资源的切换时序图；
图3是本申请实施例提供的一种分布式锁资源的示意图；
图4是本申请实施例提供的报价示意图；
图5是本申请实施例提供的基于分布式的发布数据的装置的示意图；
图6是本申请实施例提供的基于分布式的发布数据的装置的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
参见图1，图1是本申请实施例一提供的一种基于分布式的发布数据的方法的流程图。本实施例中基于分布式的发布数据的方法的执行主体为具有基于分布式的发布数据功能的装置，包括但不限于计算机、服务器、平板电脑或者终端等装置。如图所示的基于分布式的发布数据的方法可以包括步骤S101～S103，详细说明如下：
在步骤S101中，当占有锁资源的第一服务器在发布数据过程中超时或出现故障时，则从所述第一服务器中释放所述锁资源，并生成锁超时释放信息，其中，所述锁资源为基于分布式的方式生成的用于发布数据的事务锁。
本实施例中，锁资源为基于分布式的方式生成的用于发布数据的事务锁。具体的，本实施例中的事务锁是在数据发布的过程中，在事务获取数据块当前状态的依赖关系之前，如通过读取或修改数据，它必须保护自己不受其他事务对同一数据进行修改的影响，事务通过请求锁定数据块来达到此目的。在实际应用中，如果某个事务已获得特定数据的锁，则其他事务不能获得与该锁模式发生冲突的锁。如果事务请求的锁模式与已授予同一数据的锁发生冲突，则数据库引擎实例将暂停事务请求直到第一个锁被释放。通过上述方式来保证基于事务锁来发布数据的秩序和规则。
可选的，本实施例中每台服务器通过分布式事务锁命令setnx抢占锁资源，分布式事务锁命令setnx可保证在高并发的情形下，只有一台服务器能占有这个锁，并对应添加该服务器自身的标记和锁的超时释放时间。
在本实施例中，步骤S101之前，还可以包括：
基于分布式的方式生成所述锁资源，并同步所述锁资源至各服务器中，以使所述各服务器抢占所述锁资源；将抢占到所述锁资源的服务器识别为所述第一服务器。
本实施例中，在基于分布式的方式生成锁资源之后，同步锁资源至各服务器中，以使各服务器抢占锁资源，并将抢占到锁资源的服务器识别为第一服务器。具体的，在抢占锁资源的过程中，各个服务器获取锁资源的信息，在获取到锁资源的信息之后，第一时间对所述锁资源的信息进行标注，以注明该锁资源已被自己抢占，完成锁资源的抢占过程。
在本实施例中，步骤将抢占到所述锁资源的服务器识别为所述第一服务器，包括：在所述第一服务器抢占到所述锁资源时，添加所述第一服务器的标识和超时释放时间在所述锁资源的属性中；根据所述超时释放时间，确定所述第一服务器释放所述锁资源的时间。
具体的，本实施例中第一服务器通过setex命令确定超时释放时间，以根据超时释放时间确定第一服务器释放锁资源的时间。例如，基于超时释放时间对锁的时间进行延续，可以延长主服务器的锁释放时间，保证单台服务器执行，而其他服务器进行锁的等待。
示例性的，本实施例中有两个备选服务器A、B，此时备选服务器A抢到了锁，且设置自动过期时间为10s，即超时释放时间，而此刻10s后锁自动过期，服务器A释放锁资源。
图2为本申请实施例提供的一种锁资源的切换时序图。
如图2所示，备用服务器一直处在监控锁210的状态中，如果主服务器，即第一服务器发生宕机故障，则在锁超时释放220后，由备用服务器竞争锁资源，继续选出一台主服务器，接替原主服务器的业务处理。由于锁的时长为毫秒级别，例如图2中的0.5s，客户并不会察觉主从服务器的切换行为，从而实现无感切换。大大提升了项目的高可用性，相对传统手工切换，节省人力资源，并做到了不丢失报价。
如图2所示，在报价数据的发布过程中，报价数据订阅、发布、主备服务切换及管理等均通过内存模型存储和实现，以达到降低接口的输入输出，提升系统性能的目的。通过延长主服务续锁间隔时间，例如设置为500ms，基于毫秒级的心跳检测，快速的切换机制。提升了主备切换的效率，最长时间不超过3秒。以降低续锁消耗，缩短备用服务器的监控时间，保障业务连续性。
在步骤S102中，同步所述锁资源超时释放信息至备用服务器中，以使所述备用服务器抢占所述锁资源。
本实施例在第一服务器发生故障或者锁超时的情况下，广播锁资源超时释放信息至备用服务器中，以使备用服务器基于该锁资源超时释放信息来抢占锁资源。
本实施例中基于分布式数据公布方法可以通过集成基于REDIS的远程字典实现功能，主要利用了REDIS是基于内存，读写速度快，吞吐量大等特点。在多个备用服务器抢占锁资源的过程中，利用REDIS的分布式锁命令setnx配合超时机制，从备用服务器中选出主服务器。具体的，可以通过setex命令不断的刷新超时缓存来保证主服务器一直占有锁资源，在主服务器宕机后，多个备用服务器在竞态后，选出新的主服务器，从而实现了主备服务器之间的无感切换。
本实施例中，步骤S102中同步所述锁资源超时释放信息至备用服务器中，以使所述备用服务器抢占所述锁资源的过程，包括：
检测处于空闲状态中的备用服务器；
广播所述锁资源超时释放信息至所述处于空闲状态中的备用服务器中，以使所述处于空闲状态中的备用服务器在检测到所述锁资源的状态为释放状态时，获取所述锁超时释放信息，并抢占所述锁资源。
本实施例中通过各个服务器公平竞争REDIS分布式锁的方式，来确定主服务器。获得REDIS分布式锁的服务器标记为主服务器，其他服务器标记为备用服务器。主服务器接收数据源的数据，通过REDIS分布式锁发布数据，确保REDIS里面报价的唯一性。本实施例中的服务器集群通过REDIS分布式事务锁机制实现主备用服务器管理，只允许主服务器拥有数据发布、优先续约锁等权利；备服务禁止发布数据，只可监控分布式锁状态，通过主备用服务器管理机制实现数据公布的唯一性管理。
图3为本申请实施例提供的一种分布式锁资源的示意图。
如图3所示，在数据报价的应用场景中，本实施例中报价服务公平竞争REDIS分布式锁，通过公平竞争，即抢锁303，获得REDIS分布式锁301的报价服务器标记为主服务器；其他服务器标记为备用服务器。主服务器接收数据源的数据，例如报价源的报价，通过REDIS分布式锁发布数据，例如发布报价，确保REDIS里面报价的唯一性。
报价服务器集群通过REDIS分布式事务锁机制实现主备用服务器管理，只允许主服务器拥有报价发布、优先续约锁302等权利，并在释放锁资源之后断开服务304。备服务禁止发布报价，只可监控分布式锁状态305，通过主、备用服务器管理机制实现报价唯一性管理。
在步骤S103中，将抢占到所述锁资源的备用服务器识别为第二服务器，以通过所述第二服务器发布数据至终端设备。
本实施例中，当存在备用服务器抢占锁资源之后，将该服务器识别为第二服务器，即主服务器。第二服务器通过长连接从数据源获得实时数据信息后，将实时数据信息通过本地队列订阅发布的方式存储于服务器的本地内存中。具体的存储数据时绑定数据的哈希值，便于后续的查找及核对。通过设置本地数据存储队列大小，既能保障数据不丢失、又能保障内存不溢出。
本实施例中，步骤S103中通过所述第二服务器发布数据的过程，包括：获取数据源发送的数据推送信息，所述数据推送信息包括数据标识和数据值；根据所述数据标识和所述数据值生成数据公布任务，所述数据公布任务组成远程字典；基于所述远程字典发布数据至所述终端设备。
本实施例中，由于在发布数据过程中，需要按照一定的顺序进行发布。因此本实施例中通过远程字典，将数据在发布过程中的各数据任务组成的队列中各个数据对应的索引信息写入该字典中，以通过远程字典中的数据标识、数据发布顺序，以及各个数据对应的索引信息进行数据发布。具体的，本实施例中的数据对应的索引信息可以包括数据的存储位置、已发布的数据对应的队列位置、未发布的数据对应的队列位置等等。
可选的，本实施例中可以通过各个数据对应的哈希值与各个数据对应的数据地址建立关联关系，并将该关联关系存储至远程字典中，以通过远程字典确定当前发布的数据的哈希值对应的数据地址，并基于该数据地址确定下一次发布的数据。
本实施例中，基于所述远程字典发布数据至所述终端设备的过程的步骤，包括：从所述远程字典里获取所述第一服务器最后一次发布的数据对应的哈希值；在缓存队列中查找所述哈希值对应的数据地址；根据所述哈希值对应的数据地址，获取所述缓存队列中未发布的数据；根据队列先进先出原则，发布所述未发布的数据至所述终端设备。
进一步的，本实施例中，由于数据在不停的发布，也有新的数据在生成，因此本实施例中的远程字典是需要实时更新的，以删除已发布的数据对应的信息，并添加未发布的数据及其对应的信息。因此，本实施例中通过REDIS分布式锁的形式对远程字典进行缓存和更新，以保证远程字典信息的实时性和精确性。
具体的，当备用服务器基于REDIS分布式锁生成远程字典时，将该备用服务器提升为主服务器。在该备用服务器拥有主服务的权利之后，通过长连接从数据源获得实时数据信息，将实时数据信息通过本地队列订阅发布的方式缓存于服务器的本地内存中，并在缓存数据时绑定数据的哈希值，便于后续的查找及核对。在基于REDIS的远程字典的方式对数据进行发布时，首先从基于REDIS的远程字典里获取最后一次数据发布信息对应的哈希值，根据哈希值在本地缓存队列中进行查找；根据查找的结果获取本地缓存中的未发布的数据；根据队列先进先出原则发布未发布的数据到基于REDIS的远程字典中，以确保报价数据发布的完整性。
图4为本申请实施例提供的报价示意图。
如图4所示，在实时报价的应用场景中，通过报价源获取到价格数据，并将价格数据公布至终端设备中。因此，为了避免报价服务出现单点故障，所有报价服务器通过长连接401从报价源402接收报价信息，并将报价信息通过本地队列订阅发布的方式存储于服务器的本地内存中，生成报价服务403。每个报价服务器在实时地监控锁资源，并在抢占到锁资源之后，在对数据进行发布404时，首先从基于REDIS的远程字典(405)里获取最后一次报价发布信息对应的哈希值，根据哈希值在本地缓存队列中进行查找；根据查找的结果获取本地缓存中的未发布的数据，将交易服务对应的报价信息发送至对应的终端，完成交易服务406。
本实施例通过多路报价服务实时接收报价源的多路报价信息进行报价发布及存储。以此来保证报价数据在处理过程中不会出现单点故障的问题，提高报价数据的完整性。
除此之外，本实施例中还包括：在基于区块链的分布式服务器系统中，基于锁资源对应的服务器的标识、所述服务器发布的数据，生成数据资源账本；在所述分布式服务器系统的服务器中共享所述数据资源账本。
本实施例中的服务器可以为区块链系统中的分布式服务器，通过基于区块链的方式，将所有的服务器分布式的集合在一个系统中。进而基于各个锁资源对应的服务器的标识、该服务器发布的数据来生成数据资源账本，以在分布式服务器系统的服务器中共享该数据资源账本。通过上述方式，可以在服务器在进行资源抢占、或者公布数据时记录每个数据处理的过程，并进行同步，提高了资源抢占和公布数据的透明性，以及数据的安全性。
参见图5，图5是本申请实施例三提供的一种基于分布式的发布数据的装置的示意图。基于分布式的发布数据的装置500可以为服务器。本实施例的基于分布式的发布数据的装置500包括的各单元用于执行图1对应的实施例中的各步骤，具体请参阅图1及图1对应的实施例中的相关描述，此处不赘述。本实施例的基于分布式的发布数据的装置500包括：
释放单元501，用于当占有锁资源的第一服务器在发布数据过程中超时或出现故障时，则从所述第一服务器中释放所述锁资源，并生成锁超时释放信息，其中，所述锁资源为基于分布式的方式生成的用于发布数据的事务锁；抢占单元502，用于同步所述锁资源超时释放信息至备用服务器中，以使所述备用服务器抢占所述锁资源；发布单元503，用于将抢占到所述锁资源的备用服务器识别为第二服务器，以通过所述第二服务器发布数据至终端设备。
进一步的，所述基于分布式的发布数据的装置500还包括：第一发布单元，用于基于分布式的方式生成所述锁资源，并同步所述锁资源至各服务器中，以使所述各服务器抢占所述锁资源；识别单元，用于将抢占到所述锁资源的服务器识别为所述第一服务器。
进一步的，所述识别单元具体包括：在所述第一服务器抢占到所述锁资源时，添加所述第一服务器的标识和超时释放时间在所述锁资源的属性中；根据所述超时释放时间，确定所述第一服务器释放所述锁资源的时间。
进一步的，所述发布单元503包括：获取单元，用于获取数据源发送的数据推送信息，所述数据推送信息包括数据标识和数据值；组成单元，用于根据所述数据标识和所述数据值生成数据公布任务，所述数据公布任务组成远程字典；数据发布单元，用于基于所述远程字典发布数据至所述终端设备。
进一步的，所述数据发布单元具体包括：从所述远程字典里获取所述第一服务器最后一次发布的数据对应的哈希值；在缓存队列中查找所述哈希值对应的数据地址；根据所述哈希值对应的数据地址，获取所述缓存队列中未发布的数据；根据队列先进先出原则，发布所述未发布的数据至所述终端设备。
进一步的，所述抢占单元用于：检测处于空闲状态中的备用服务器；广播所述锁资源超时释放信息至所述处于空闲状态中的备用服务器中，以使所述处于空闲状态中的备用服务器在检测到所述锁资源的状态为释放状态时，获取所述锁超时释放信息，并抢占所述锁资源。
进一步的，所述基于分布式的发布数据的装置500还包括：在基于区块链的分布式服务器系统中，基于锁资源对应的服务器的标识、所述服务器发布的数据，生成数据资源账本；在所述分布式服务器系统的服务器中共享所述数据资源账本。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图6是本申请实施例提供的基于分布式的发布数据的装置的示意图。如图6所示，该实施例的基于分布式的发布数据的装置6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62。所述处理器60执行所述计算机程序62时实现上述各个基于分布式的发布数据的方法实施例中的步骤，例如图1所示的步骤。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图5所示各个单元的功能。
示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述基于分布式的发布数据的装置6中的执行过程。
所述基于分布式的发布数据的装置6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是基于分布式的发布数据的装置6的示例，并不构成对基于分布式的发布数据的装置6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述基于分布式的发布数据的装置6的内部存储单元，例如基于分布式的发布数据的装置6的硬盘或内存。所述存储器61也可以是所述基于分布式的发布数据的装置6的外部存储设备，例如所述基于分布式的发布数据的装置6上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card，FC)等。进一步地，所述存储器61还可以既包括所述基于分布式的发布数据的装置6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于分布式的发布数据的方法，其特征在于，包括：
当占有锁资源的第一服务器在发布数据过程中超时或出现故障时，从所述第一服务器中释放所述锁资源，并生成锁超时释放信息，其中，所述锁资源为基于分布式的方式生成的用于发布数据的事务锁；
同步所述锁资源超时释放信息至备用服务器中，以使所述备用服务器抢占所述锁资源；
将抢占到所述锁资源的备用服务器识别为第二服务器，以通过所述第二服务器发布数据至终端设备。
2.如权利要求1所述的基于分布式的发布数据的方法，其特征在于，在执行所述当占有锁资源的第一服务器在发布数据过程中超时或出现故障时，则从所述第一服务器中释放所述锁资源之前，还包括：
基于分布式的方式生成所述锁资源，并同步所述锁资源至各服务器中，以使所述各服务器抢占所述锁资源；
将抢占到所述锁资源的服务器识别为所述第一服务器。
3.如权利要求2所述的基于分布式的发布数据的方法，其特征在于，将抢占到所述锁资源的服务器识别为所述第一服务器，包括：
在所述第一服务器抢占到所述锁资源时，添加所述第一服务器的标识和超时释放时间在所述锁资源的属性中；
根据所述超时释放时间，确定所述第一服务器释放所述锁资源的时间。
4.如权利要求1所述的基于分布式的发布数据的方法，其特征在于，通过所述第二服务器发布数据至终端设备，包括：
获取数据源发送的数据推送信息，所述数据推送信息包括数据标识和数据值；
根据所述数据标识和所述数据值生成数据公布任务，所述数据公布任务组成远程字典，其中，所述远程字典包括所述数据公布任务的队列中各数据对应的索引信息；
基于所述远程字典发布数据至所述终端设备。
5.如权利要求4所述的基于分布式的发布数据的方法，其特征在于，基于所述远程字典发布数据至所述终端设备至终端设备，包括：
从所述远程字典里获取所述第一服务器最后一次发布的数据对应的哈希值；
在缓存队列中查找所述哈希值对应的数据地址；
根据所述哈希值对应的数据地址，获取所述缓存队列中未发布的数据；
根据队列先进先出原则，发布所述未发布的数据至所述终端设备。
6.如权利要求1所述的基于分布式的发布数据的方法，其特征在于，同步所述锁资源超时释放信息至备用服务器中，以使所述备用服务器抢占所述锁资源，包括：
检测处于空闲状态中的备用服务器；
广播所述锁资源超时释放信息至所述处于空闲状态中的备用服务器中，以使所述处于空闲状态中的备用服务器在检测到所述锁资源的状态为释放状态时，获取所述锁超时释放信息，并抢占所述锁资源。
7.如权利要求1所述的基于分布式的发布数据的方法，其特征在于，所述方法还包括：
在基于区块链的分布式服务器系统中，基于锁资源对应的服务器的标识、所述服务器发布的数据，生成数据资源账本；
在所述分布式服务器系统的服务器中共享所述数据资源账本。
8.一种基于分布式的发布数据的装置，其特征在于，包括：
释放单元，用于当占有锁资源的第一服务器在发布数据过程中超时或出现故障时，则从所述第一服务器中释放所述锁资源，并生成锁超时释放信息，其中，所述锁资源为基于分布式的方式生成的用于发布数据的事务锁；
抢占单元，用于同步所述锁资源超时释放信息至备用服务器中，以使所述备用服务器抢占所述锁资源；
发布单元，用于将抢占到所述锁资源的备用服务器识别为第二服务器，以通过所述第二服务器发布数据至终端设备。
9.一种基于分布式的发布数据的装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202010733532.1A 2020-07-27 2020-07-27 一种基于分布式的发布数据的方法及装置 Pending CN111880909A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010733532.1A CN111880909A (zh) 2020-07-27 2020-07-27 一种基于分布式的发布数据的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010733532.1A CN111880909A (zh) 2020-07-27 2020-07-27 一种基于分布式的发布数据的方法及装置

Publications (1)

Publication Number Publication Date
CN111880909A true CN111880909A (zh) 2020-11-03

Family

ID=73200895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010733532.1A Pending CN111880909A (zh) 2020-07-27 2020-07-27 一种基于分布式的发布数据的方法及装置

Country Status (1)

Country Link
CN (1) CN111880909A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590641A (zh) * 2021-08-06 2021-11-02 上海金仕达软件科技有限公司 一种银行债券自动报价系统的分布式处理方法及装置
CN113867129A (zh) * 2021-10-27 2021-12-31 珠海格力电器股份有限公司 一种冗余控制方法、装置、系统、计算机设备及存储介质
CN114978892A (zh) * 2022-07-04 2022-08-30 北京尽微致广信息技术有限公司 一种目标节点确定方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466926B1 (en) * 1996-03-06 2002-10-15 Hewlett-Packard Company Method for optimizing a recognition dictionary to distinguish between patterns that are difficult to distinguish
CN106649000A (zh) * 2017-01-03 2017-05-10 星环信息科技（上海）有限公司 实时处理引擎的故障恢复方法及相应的服务器
CN108874552A (zh) * 2018-06-28 2018-11-23 杭州云英网络科技有限公司 分布式锁执行方法、装置及系统、应用服务器和存储介质
CN110535939A (zh) * 2019-08-29 2019-12-03 深圳前海环融联易信息科技服务有限公司 一种服务发现与抢占方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466926B1 (en) * 1996-03-06 2002-10-15 Hewlett-Packard Company Method for optimizing a recognition dictionary to distinguish between patterns that are difficult to distinguish
CN106649000A (zh) * 2017-01-03 2017-05-10 星环信息科技（上海）有限公司 实时处理引擎的故障恢复方法及相应的服务器
CN108874552A (zh) * 2018-06-28 2018-11-23 杭州云英网络科技有限公司 分布式锁执行方法、装置及系统、应用服务器和存储介质
CN110535939A (zh) * 2019-08-29 2019-12-03 深圳前海环融联易信息科技服务有限公司 一种服务发现与抢占方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590641A (zh) * 2021-08-06 2021-11-02 上海金仕达软件科技有限公司 一种银行债券自动报价系统的分布式处理方法及装置
CN113867129A (zh) * 2021-10-27 2021-12-31 珠海格力电器股份有限公司 一种冗余控制方法、装置、系统、计算机设备及存储介质
CN114978892A (zh) * 2022-07-04 2022-08-30 北京尽微致广信息技术有限公司 一种目标节点确定方法及装置

Similar Documents

Publication Publication Date Title
CN111880909A (zh) 一种基于分布式的发布数据的方法及装置
US10853242B2 (en) Deduplication and garbage collection across logical databases
CN109840142B (zh) 基于云监控的线程控制方法、装置、电子设备及存储介质
EP3195117B1 (en) Automated configuration of log-coordinated storage groups
US10228977B2 (en) Managing distributed analytics on device groups
US11093484B2 (en) Data management method and data management system
US8751446B2 (en) Transference control method, transference control apparatus and recording medium of transference control program
WO2019057193A1 (zh) 数据删除方法及分布式存储系统
CN110119304B (zh) 一种中断处理方法、装置及服务器
US20230099664A1 (en) Transaction processing method, system, apparatus, device, storage medium, and program product
WO2022095366A1 (zh) 基于Redis的数据读取方法、装置、设备及可读存储介质
CN112307119A (zh) 数据同步方法、装置、设备及存储介质
CN113094434A (zh) 数据库同步方法、系统、装置、电子设备及介质
CN106095957A (zh) 分布式文件系统的跨域多副本文件同步方法及装置
WO2023159976A1 (zh) 数据分段写入方法、数据读取方法及装置
US20150112967A1 (en) Database management system, computer, and database management method
EP3811225A1 (en) Centralized storage for search servers
CN111552701A (zh) 确定分布式集群中数据一致性的方法及分布式数据系统
US10599472B2 (en) Information processing apparatus, stage-out processing method and recording medium recording job management program
CN110955461B (zh) 计算任务的处理方法、装置、系统、服务器和存储介质
CN115629822B (zh) 一种基于多核处理器的并发事务处理方法及其系统
CN114679464B (zh) 基于分布式锁的数据回滚方法、装置、设备和存储介质
CN111209263A (zh) 数据存储方法、装置、设备及存储介质
CN116547660A (zh) 使用全局时间戳的分布式数据库事务的方法和装置
CN113761051A (zh) 消息推送方法、数据获取方法、装置、系统、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination