CN110035132B - 数据同步方法、计算机装置及存储介质 - Google Patents

数据同步方法、计算机装置及存储介质 Download PDF

Info

Publication number
CN110035132B
CN110035132B CN201910364811.2A CN201910364811A CN110035132B CN 110035132 B CN110035132 B CN 110035132B CN 201910364811 A CN201910364811 A CN 201910364811A CN 110035132 B CN110035132 B CN 110035132B
Authority
CN
China
Prior art keywords
server
user equipment
state information
access server
convergence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910364811.2A
Other languages
English (en)
Other versions
CN110035132A (zh
Inventor
庞晓楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Onething Technology Co Ltd
Original Assignee
Shenzhen Onething Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Onething Technology Co Ltd filed Critical Shenzhen Onething Technology Co Ltd
Priority to CN201910364811.2A priority Critical patent/CN110035132B/zh
Publication of CN110035132A publication Critical patent/CN110035132A/zh
Application granted granted Critical
Publication of CN110035132B publication Critical patent/CN110035132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/30Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/133Protocols for remote procedure calls [RPC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/141Setup of application sessions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/143Termination or inactivation of sessions, e.g. event-controlled end of session
    • H04L67/145Termination or inactivation of sessions, e.g. event-controlled end of session avoiding end of session, e.g. keep-alive, heartbeats, resumption message or wake-up for inactive or interrupted session

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Technology Law (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephonic Communication Services (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种数据同步方法,包括:所述用户设备向所述接入服务器上报所述用户设备的状态信息;所述接入服务器与分布式可靠键值对存储系统ETCD建立连接,从所述ETCD中获取所述汇聚服务器的地址信息,并使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息;所述汇聚服务器使用所述gRPC向所述应用服务器同步所述用户设备的状态信息。本发明还公开了一种计算机装置及存储介质,能够稳定高效地传输数据,同时,确保实时数据的同步汇聚。

Description

数据同步方法、计算机装置及存储介质
技术领域
本发明涉及通信技术领域,尤其涉及一种数据同步方法、计算机装置及存储介质。
背景技术
随着用户设备的指数级增长,用户设备统一管理时的实时状态数据汇聚无法用一台服务器完成接入。目前,采用的策略通常是多级接入,终端设备根据域名解析将实时状态信息同步给接入服务器,再由接入服务器一层层转发,汇聚,最终汇聚到汇聚服务器后维护全量数据,由使用者定时拉取全量数据。
然而,在大量用户设备的情况下,虽然多层架构可以做到更多的用户设备接入,但是,各层数据的传输延时大,周期性汇聚/计算耗时长,无法做到实时数据的汇聚,应用端在使用这些数据时不能及时根据状态实时调度策略。
发明内容
本发明的主要目的在于提供一种数据同步方法、计算机装置及存储介质,能够稳定高效地传输数据,同时,确保实时数据的同步汇聚。
为实现上述目的,本发明提供一种数据同步方法,应用于数据同步系统,所述数据同步系统包括用户设备、接入服务器、汇聚服务器以及应用服务器,所述方法包括:
所述用户设备向所述接入服务器上报所述用户设备的状态信息;
所述接入服务器与分布式可靠键值对存储系统ETCD建立连接,从所述ETCD中获取所述汇聚服务器的地址信息,并使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息;
所述汇聚服务器使用所述gRPC向所述应用服务器同步所述用户设备的状态信息。
为实现上述目的,本发明提供一种数据同步方法,应用于接入服务器,所述方法包括:
接收用户设备上报的所述用户设备的状态信息;
与分布式可靠键值对存储系统ETCD建立连接,并从所述ETCD中获取汇聚服务器的地址信息;
使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息。
可选地,所述接收用户设备上报的所述用户设备的状态信息之后,所述方法还包括:
对所述用户设备的状态信息进行清洗,获得新增的有效状态信息;
通过第一接收线程,将所述有效状态信息存入所述接入服务器的缓冲池中;
所述使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息包括:
通过第一发送线程,从所述接入服务器的缓冲池中取出所述有效状态信息,并通过所述第一发送线程,使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述有效状态信息。
为实现上述目的,本发明提供一种数据同步方法,应用于汇聚服务器,所述方法包括:
接收第一接入服务器发送的用户设备新增的有效状态信息;
通过第二接收线程,将所述有效状态信息存入所述汇聚服务器的缓冲池中;
通过第二发送线程,从所述汇聚服务器的缓冲池中取出所述有效状态信息;
通过所述第二发送线程,使用远程过程调用框架gRPC向应用服务器同步所述有效状态信息。
可选地,所述方法还包括:
与分布式可靠键值对存储系统ETCD建立连接;
向所述ETCD监听服务器变更状态;
若所述服务器变更状态指示有新增的第二接入服务器,与所述第二接入服务器建立连接;或
若所述服务器变更状态指示有第三接入服务器注销,断开与所述第三接入服务器的连接。
可选地,所述方法还包括:
若在预设时间内未接收到目标用户设备新增的有效状态信息,删除预先存储的所述目标用户设备的全部状态信息。
可选地,所述汇聚服务器的每个所述缓冲池中的数据量是不同的,每个所述缓冲池对应的所述第二发送线程的发送周期也是不同的,所述缓冲池中的数据量以及所述第二发送线程的发送周期均受限于所述缓冲池对应的应用服务器的接收能力。
为实现上述目的,本发明进一步提供一种计算机装置,所述计算机装置包括存储器和处理器,所述存储器上存储有可由所述处理器执行的数据同步程序,所述数据同步程序被所述处理器执行时实现所述的数据同步方法。
可选地,所述计算机装置为组成内容分发网络或者区块链网络的节点。
为实现上述目的,本发明进一步提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据同步程序,所述数据同步程序可被一个或者多个处理器执行,以实现所述的数据同步方法。
为实现上述目的,本发明进一步提供一种计算机程序产品,包括计算机指令,当其在计算机上运行时,使得计算机可以执行所述的数据同步方法。
本发明所实现的有益效果:
本发明中,所述用户设备向所述接入服务器上报所述用户设备的状态信息,所述接入服务器与分布式可靠键值对存储系统ETCD建立连接,从所述ETCD中获取所述汇聚服务器的地址信息,并使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息,进一步地,所述汇聚服务器使用所述gRPC向所述应用服务器同步所述用户设备的状态信息。整个过程中,接入服务器、汇聚服务器以及应用服务器之间使用gRPC作为服务间数据传输通道,可以稳定高效地传输数据,同时,还可以确保实时数据的同步汇聚。
附图说明
图1为本发明一实施例公开的一种数据同步系统的系统架构图;
图2为本发明一实施例公开的一种数据同步方法的流程示意图;
图3为本发明一实施例公开的另一种数据同步方法的流程示意图;
图4为本发明一实施例公开的另一种数据同步方法的流程示意图;
图5为本发明一实施例公开的一种计算机装置的内部结构示意图;
图6为本发明一实施例公开的一种数据同步装置的功能模块示意图;
图7为本发明一实施例公开的另一种数据同步装置的功能模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在本发明中涉及“第一”、“第二”、“第三”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
参照图1,图1为本发明一实施例公开的一种数据同步系统的系统架构图。如图1所示,所述数据同步系统包括:多个用户设备、多个接入服务器、多个汇聚服务器以及应用服务器。其中,用户设备与接入服务器之间通过会话session传输数据,接入服务器、汇聚服务器以及应用服务器之间通过远程过程调用框架gRPC传输数据。
其中,用户设备为家庭网络中的小型计算机设备,如玩客云,赚钱宝。用户设备上会安装部署文件和请求文件的插件,其中,部署文件的插件可以用于存储数据,请求文件的插件可以用于对外提供数据请求的服务,进而提供计算、存储和带宽资源。
其中,接入服务器(Access Server)又称网络接入服务器NAS或远程接入服务器RAS,它是位于公用电话网(PSTN/ISDN)与IP网之间的一种远程访问接入设备。接入服务器主要用于接入服务,负责与用户设备连接,根据用户设备的数量进行多区域/机房分布式部署。
其中,汇聚服务器有多个,同时维护相同的数据,保证主备的容灾以及降低多访问情况下的单机负载。
其中,应用服务器为需要请求用户设备的大量数据的服务器,主要用于对用户设备的大量数据进行分析、处理,并输出给用户。
在图1所述的数据同步系统中,所述用户设备向所述接入服务器上报所述用户设备的状态信息;所述接入服务器与分布式可靠键值对存储系统ETCD建立连接,从所述ETCD中获取所述汇聚服务器的地址信息,并使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息;所述汇聚服务器使用所述gRPC向所述应用服务器同步所述用户设备的状态信息。整个过程中,接入服务器、汇聚服务器以及应用服务器之间使用gRPC作为服务间数据传输通道,可以稳定高效地传输数据,同时,还可以确保实时数据的同步汇聚。
参照图2,图2为本发明一实施例公开的一种数据同步方法的流程示意图。其中,所述数据同步方法应用于数据同步系统,所述数据同步系统包括用户设备、接入服务器、汇聚服务器以及应用服务器。如图2所示,该方法包括:
S201,用户设备向所述接入服务器上报所述用户设备的状态信息。
本发明实施例中,用户设备根据域名解析分配到某个接入服务器,并根据IP地址与所述接入服务器建立连接,向所述接入服务器发送登录请求,所述登录请求可以携带用户设备的身份标识,比如:所述用户设备的IP地址、设备ID,登录账号信息等。
其中,用户设备可以定时向所述接入服务器上报所述用户设备的状态信息,或者,用户设备可以在发生状态变更时向所述接入服务器上报所述用户设备的状态信息。其中,用户设备在状态不变更时,也需要定时心跳机制保持TCP连接状态。
举例来说,假设所述用户设备为玩客云,可以在玩客云中部署状态上报插件,玩客云与接入服务器建立连接并登录之后,当玩客云在提供直播服务时,可以由直播插件将玩客云的状态信息(比如客户端的连接数、视频流标识、服务质量、传输数据等状态)同步给状态上报插件。状态上报插件收到状态变更数据后,立即上传给接入服务器。
S202,接入服务器与分布式可靠键值对存储系统ETCD建立连接,从所述ETCD中获取所述汇聚服务器的地址信息,并使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息。
其中,分布式可靠键值对存储系统ETCD主要负责服务注册发现,基于ETCD的服务注册发现,可以方便的实现服务的无缝扩容/缩容。
本发明实施例中,接入服务器会向ETCD发起注册请求,并与ETCD建立连接。同时,接入服务器会向ETCD上报所述接入服务器的机器信息和监听信息,比如:主机名(hostname)、本机IP地址(可能有多个)、向外暴露的远程过程调用框架(google RemoteProcedure Call,gRPC)服务端口(port)。当接入服务器需要下线时,在关闭前接入服务器会向ETCD发送注销请求。
汇聚服务器也会向ETCD发起注册请求,并与ETCD建立连接。同时,汇聚服务器会向ETCD上报所述汇聚服务器的地址信息。此外,汇聚服务器会向ETCD监听接入服务器的变更状态,当有接入服务器上线/下线时,ETCD会主动通知给汇聚服务器。当汇聚服务器收到接入服务器的上线请求后,会将接入服务器的IP地址和汇聚服务器的IP地址做匹配,选择一个运营商(ISP)相同的地址,如果没有相同运营商地址,随机选择并建立连接,发起同步请求。当汇聚服务器收到接入服务器的下线请求后,会主动关闭与接入服务器的连接。而汇聚服务器不需要重启或者重新加载配置,就可以达到增加/删除接入服务器的目的,从而实现了服务的无缝扩容/缩容。
本发明中,接入服务器与汇聚服务器使用gRPC单向流通道传输数据。两个服务器之间通过gRPC建立数据通道,可以稳定高效的传输数据。此外,gRPC在与ETCD服务注册发现的结合下,可以做到快速连接、释放、保活,与传统TCP传输相比,稳定性大大提高。
其中,gRPC是一种远程过程调用框架,内部使用protobuf做数据序列化/反序列化,其序列化性能与JSON相当,反序列化性能是JSON的8倍,序列化后的二进制数据长度是JSON的1/5。在gRPC的protobuf协议使用中,可以实现内部数据的增加、删除、修改可以无缝兼容,例如终端设备需要增加一个数据,所有内部传输的协议都需要增加该字段,无法做到同时更新所有接入服务和汇聚服务,在使用protobuf后,可以做到部分服务字段升级后和未升级的服务相互兼容不会出错,做到整个系统的平滑升级。
此外,gRPC传输使用HTTP2.0协议,支持几乎所有主流编程语言,HTTP/2有连接复用特性,比传统的HTTP/1效率高,与TCP相当,内部有重连机制,不用应用层维护连接。
S203,汇聚服务器使用所述gRPC向所述应用服务器同步所述用户设备的状态信息。
本发明中,在数据传输过程中引入ETCD,可以做到服务的平滑扩容/缩容;引入gRPC,可以做到协议的平滑升级,整个系统的稳定性可以得到保证。
在图2所描述的方法流程中,所述用户设备向所述接入服务器上报所述用户设备的状态信息,所述接入服务器与分布式可靠键值对存储系统ETCD建立连接,从所述ETCD中获取所述汇聚服务器的地址信息,并使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息,进一步地,所述汇聚服务器使用所述gRPC向所述应用服务器同步所述用户设备的状态信息。整个过程中,接入服务器、汇聚服务器以及应用服务器之间使用gRPC作为服务间数据传输通道,可以稳定高效地传输数据,同时,还可以确保实时数据的同步汇聚。
参照图3,图3为本发明一实施例公开的另一种数据同步方法的流程示意图。其中,所述数据同步方法应用于接入服务器。如图3所示,该方法包括:
S301,接入服务器接收用户设备上报的所述用户设备的状态信息。
其中,所述用户设备的状态信息可以包括但不限于所述用户设备的IP地址、设备ID,登录账号信息等。以所述用户设备为玩客云为例,玩客云的状态信息可以为客户端的连接数、视频流标识、服务质量、传输数据等状态信息。
其中,接入服务器与用户设备之间采用session通道进行数据传输。一个接入服务器可以接收多个用户设备上报的状态信息。
其中,用户设备可以定时向所述接入服务器上报所述用户设备的状态信息,或者,用户设备可以在发生状态变更时向所述接入服务器上报所述用户设备的状态信息。其中,用户设备在状态不变更时,也需要定时心跳机制保持TCP连接状态。
S302,接入服务器与分布式可靠键值对存储系统ETCD建立连接,并从所述ETCD中获取汇聚服务器的地址信息。
其中,分布式可靠键值对存储系统ETCD主要负责服务注册发现,基于ETCD的服务注册发现,可以方便的实现服务的无缝扩容/缩容。
本发明实施例中,接入服务器会向ETCD发起注册请求,并与ETCD建立连接。同时,接入服务器会向ETCD上报所述接入服务器的机器信息和监听信息,比如:主机名(hostname)、本机IP地址(可能有多个)、向外暴漏的远程过程调用框架(google RemoteProcedure Call,gRPC)服务端口(port)。当接入服务器需要下线时,在关闭前接入服务器会向ETCD发送注销请求。
汇聚服务器也会向ETCD发起注册请求,并与ETCD建立连接。同时,汇聚服务器会向ETCD上报所述汇聚服务器的地址信息。
因此,ETCD存储有接入服务器和汇聚服务器的地址信息。
接入服务器与ETCD建立连接之后,即可从所述ETCD中获取汇聚服务器的地址信息。其中,所述汇聚服务器即当前处于在线状态的汇聚服务器。
S303,接入服务器使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息。
其中,远程过程调用框架(google Remote Procedure Call,gRPC)是一种远程过程调用框架,内部使用protobuf做数据序列化/反序列化,其序列化性能与JSON相当,反序列化性能是JSON的8倍,序列化后的二进制数据长度是JSON的1/5。在gRPC的protobuf协议使用中,可以实现内部数据的增加、删除、修改可以无缝兼容,例如终端设备需要增加一个数据,所有内部传输的协议都需要增加该字段,无法做到同时更新所有接入服务和汇聚服务,在使用protobuf后,可以做到部分服务字段升级后和未升级的服务相互兼容不会出错,做到整个系统的平滑升级。
本发明实施例中,接入服务器与汇聚服务器使用gRPC单向流通道传输所述用户设备的状态信息。两个服务器之间通过gRPC建立数据通道,可以稳定高效的传输数据。此外,gRPC在与ETCD服务注册发现的结合下,可以做到快速连接、释放、保活,与传统TCP传输相比,稳定性大大提高。
作为一种可选的实施方式,步骤S301所述接收用户设备上报的所述用户设备的状态信息之后,所述方法还包括:
对所述用户设备的状态信息进行清洗,获得新增的有效状态信息;
通过第一接收线程,将所述有效状态信息存入所述接入服务器的缓冲池中;
所述使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息包括:
通过第一发送线程,从所述接入服务器的缓冲池中取出所述有效状态信息,并通过所述第一发送线程,使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述有效状态信息。
在该可选的实施方式中,所述接收用户设备上报的所述用户设备的状态信息之后,不立即通过gRPC通道发送给汇聚服务器,而是对所述用户设备的状态信息进行清洗,获得新增的有效状态信息,具体的,可以根据关键字或用户设备特性对所述用户设备的状态信息进行筛选、去重、过滤,丢弃无用信息,以获得新增的有效状态信息。
之后,在通过第一接收线程,将所述有效状态信息存入所述接入服务器的每个缓冲池中;以及通过第一发送线程,从所述接入服务器的缓冲池中取出所述有效状态信息,并通过所述第一发送线程,使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述有效状态信息。其中,第一接收线程的数量与所述用户设备的数量匹配,假如有A个用户设备向所述接入服务器上报状态信息,则所述接入服务器会启动A个第一接收线程,同样,第一发送线程的数量与所述汇聚服务器的数量匹配,假如有A个汇聚服务器,则所述接入服务器会启动A个第一发送线程。所述接入服务器的缓冲池的数量与所述汇聚服务器的数量匹配,即所述接入服务器的缓冲池的数量与所述汇聚服务器的数量相等,所有缓冲池均同时存储本次上报的所述用户设备的有效状态信息。
其中,根据用户设备ID,相同的状态信息会被覆盖,即本次接收到的有效状态信息一定比上一次相同用户设备ID的状态信息要新。如果第一发送线程从所述接入服务器的缓冲池中没有取到数据,所述第一发送线程会进行毫秒级休眠,否则,如果第一发送线程从所述接入服务器的缓冲池中取到数据,两次发送之间没有间隔,即第一发送线程不间断的发送数据,以保证消息的及时性。此外,缓冲池中只保存两次上报之间新增的有效状态信息,对内存要求较低。
其中,接入服务器中设计多个缓冲池,可以有效的减少QPS(Query Per Second,每秒查询率)过高的情况下,增量数据太多导致服务间通信不及时,请求延迟和内耗增大的问题,此外,缓冲池可以根据两个服务之间的带宽,CPU性能,动态的调整缓存数据大小。对于低带宽弱计算能力的对端,缓冲池可以堆积/合并一些请求,以增大延时的方式兼容。对于高处理能力的对端,达到数据实时更新的能力,其中,每个对端独立处理。
在图3所描述的数据同步方法中,接入服务器与汇聚服务器使用gRPC单向流通道传输所述用户设备的状态信息,两个服务器之间通过gRPC建立数据通道,可以稳定高效的传输数据,同时,利用缓冲池来缓存数据,可以有效地减少服务间通信不及时,请求延迟和内耗增大的问题,还可以动态的调整缓存数据大小。
参照图4,图4为本发明一实施例公开的另一种数据同步方法的流程示意图。其中,所述数据同步方法应用于汇聚服务器。如图4所示,该方法包括:
S401,汇聚服务器接收第一接入服务器发送的用户设备新增的有效状态信息。
其中,所述用户设备新增的有效状态信息是相对于汇聚服务器上次接收的同一个用户设备的状态信息而言的,即汇聚服务器本次接收到的状态信息要比上次接收到的状态信息要新,即新增的有效状态信息。
其中,所述第一接入服务器即当前处于在线状态的所有接入服务器。
其中,汇聚服务器可以维护所有用户设备的实时数据,对内存要求较高。
S402,汇聚服务器通过第二接收线程,将所述有效状态信息存入所述汇聚服务器的缓冲池中。
本发明实施例中,汇聚服务器接收第一接入服务器发送的用户设备新增的有效状态信息之后,不立即通过gRPC通道发送给应用服务器,而是启动第二接收线程,通过第二接收线程,将所述有效状态信息存入所述汇聚服务器的每个缓冲池中。
S403,汇聚服务器通过第二发送线程,从所述汇聚服务器的缓冲池中取出所述有效状态信息。
具体的,在接收到应用服务器发送的服务请求时,汇聚服务器会启动第二发送线程,并通过第二发送线程,从所述汇聚服务器的缓冲池中取出所述有效状态信息。
其中,汇聚服务器中设计多个缓冲池,可以有效的减少QPS(Query Per Second,每秒查询率)过高的情况下,增量数据太多导致服务间通信不及时,请求延迟和内耗增大的问题,此外,缓冲池可以根据两个服务之间的带宽,CPU性能,动态的调整缓存数据大小。对于低带宽弱计算能力的对端,缓冲池可以堆积/合并一些请求,以增大延时的方式兼容。对于高处理能力的对端,达到数据实时更新的能力,其中,每个对端独立处理。
可选的,所述汇聚服务器的每个所述缓冲池中的数据量是不同的,每个所述缓冲池对应的所述第二发送线程的发送周期也是不同的,所述缓冲池中的数据量以及所述第二发送线程的发送周期均受限于所述缓冲池对应的应用服务器的接收能力。即如果应用服务器的接收能力强,则第二发送线程的发送周期就快,所述缓冲池中堆积的数据量就少,反之,如果应用服务器的接收能力弱,则第二发送线程的发送周期就慢,所述缓冲池中堆积的数据量就多,从而可以动态的调整缓存的数据的大小。此外,每个缓冲池中只保存数据的指针,对内存要求很低。
S404,汇聚服务器通过所述第二发送线程,使用远程过程调用框架gRPC向应用服务器同步所述有效状态信息。
其中,远程过程调用框架(google Remote Procedure Call,gRPC)是一种远程过程调用框架,内部使用protobuf做数据序列化/反序列化,其序列化性能与JSON相当,反序列化性能是JSON的8倍,序列化后的二进制数据长度是JSON的1/5。在gRPC的protobuf协议使用中,可以实现内部数据的增加、删除、修改可以无缝兼容,例如终端设备需要增加一个数据,所有内部传输的协议都需要增加该字段,无法做到同时更新所有接入服务和汇聚服务,在使用protobuf后,可以做到部分服务字段升级后和未升级的服务相互兼容不会出错,做到整个系统的平滑升级。
本发明实施例中,汇聚服务器与应用服务器之间使用gRPC单向流通道传输所述用户设备的有效状态信息。两个服务器之间通过gRPC建立数据通道,可以稳定高效的传输数据。
可选的,汇聚服务器第一次向所述应用服务器同步用户设备的全量状态信息,即所有的状态信息。后续在进行数据同步时,只需要将用户设备新增的有效状态信息同步至应用服务器即可。
作为一种可选的实施方式,所述方法还包括:
与分布式可靠键值对存储系统ETCD建立连接;
向所述ETCD监听服务器变更状态;
若所述服务器变更状态指示有新增的第二接入服务器,与所述第二接入服务器建立连接;或
若所述服务器变更状态指示有第三接入服务器注销,断开与所述第三接入服务器的连接。
在该可选的实施方式中,汇聚服务器会向分布式可靠键值对存储系统ETCD发起注册请求,并与ETCD建立连接。同时,汇聚服务器会向ETCD监听服务器变更状态,即第一接入服务器的地址是否发生变更。如果所述服务器变更状态指示有新增的第二接入服务器,汇聚服务器可以与所述第二接入服务器建立连接,如果所述服务器变更状态指示有第三接入服务器注销,汇聚服务器可以断开与所述第三接入服务器的连接。而汇聚服务器不需要重启或者重新加载配置,就可以达到增加/删除接入服务器的目的,从而实现了服务的无缝扩容/缩容。
作为一种可选的实施方式,所述方法还包括:
若在预设时间内未接收到目标用户设备新增的有效状态信息,删除预先存储的所述目标用户设备的全部状态信息。
在该可选的实施方式中,可以预设一个预设时间,通常该预设时间大于用户设备上报的时间,如果在预设时间内汇聚服务器未接收到目标用户设备新增的有效状态信息,表明所述目标用户设备在较长一段时间内,未更新状态了,这种情况很可能是所述目标用户设备处于下线状态了,此时,所述目标用户设备属于无效的用户设备,汇聚服务器需要过滤掉超时数据,即需要删除预先存储的所述目标用户设备的全部状态信息。
在图4所描述的数据同步方法中,汇聚服务器与应用服务器使用gRPC单向流通道传输所述用户设备的有效状态信息,两个服务器之间通过gRPC建立数据通道,可以稳定高效的传输数据,同时,利用缓冲池来缓存数据,可以有效地减少服务间通信不及时,请求延迟和内耗增大的问题,还可以动态的调整缓存数据大小。
参照图5,图5为本发明一实施例公开的一种计算机装置的内部结构示意图,如图5所示,所述计算机装置1可以包括存储器11、处理器12和总线13。
在本实施例中,所述计算机装置1可以是数据同步系统,所述数据同步系统集成有用户设备、接入服务器、汇聚服务器以及应用服务器,或者,所述计算机装置1可以是接入服务器或者汇聚服务器。具体的,该计算机装置1可以是组成内容分发网络或者区块链网络的节点。
其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是计算机装置1的内部存储单元,例如该计算机装置1的硬盘。存储器11在另一些实施例中也可以是计算机装置1的外部存储设备,例如计算机装置1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器11还可以既包括计算机装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于计算机装置1的应用软件及各类数据,例如数据同步程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行数据同步程序等。
该总线13可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。进一步地,计算机装置还可以包括网络接口,网络接口可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该计算机装置1与其他计算机装置之间建立通信连接。
可选地,该计算机装置1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在计算机装置1中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有组件11至13以及数据同步程序的计算机装置1,本领域技术人员可以理解的是,图5示出的结构并不构成对计算机装置1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
结合图3,所述计算机装置1中的所述存储器11存储多个指令以实现一种进程启动方法,所述处理器12可执行所述多个指令从而实现:
接收用户设备上报的所述用户设备的状态信息;
与分布式可靠键值对存储系统ETCD建立连接,并从所述ETCD中获取汇聚服务器的地址信息;
使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息。
在一种可选的实施方式中,在所述接收用户设备上报的所述用户设备的状态信息之后,所述处理器12可执行所述多个指令从而实现:
对所述用户设备的状态信息进行清洗,获得新增的有效状态信息;
通过第一接收线程,将所述有效状态信息存入所述接入服务器的缓冲池中;
所述使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息包括:
通过第一发送线程,从所述接入服务器的缓冲池中取出所述有效状态信息,并通过所述第一发送线程,使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述有效状态信息。
在一种可选的实施方式中,所述接入服务器的每个所述缓冲池中的数据量是不同的,每个所述缓冲池对应的所述第一发送线程的发送周期也是不同的,所述缓冲池中的数据量以及所述第一发送线程的发送周期均受限于所述缓冲池对应的应用服务器的接收能力。
结合图4,所述计算机装置1中的所述存储器11存储多个指令以实现一种进程启动方法,所述处理器12可执行所述多个指令从而实现:
接收第一接入服务器发送的用户设备新增的有效状态信息;
通过第二接收线程,将所述有效状态信息存入所述汇聚服务器的缓冲池中;
通过第二发送线程,从所述汇聚服务器的缓冲池中取出所述有效状态信息;
通过所述第二发送线程,使用远程过程调用框架gRPC向应用服务器同步所述有效状态信息。
在一种可选的实施方式中,所述处理器12可执行所述多个指令从而实现:
与分布式可靠键值对存储系统ETCD建立连接;
向所述ETCD监听服务器变更状态;
若所述服务器变更状态指示有新增的第二接入服务器,与所述第二接入服务器建立连接;或
若所述服务器变更状态指示有第三接入服务器注销,断开与所述第三接入服务器的连接。
在一种可选的实施方式中,所述处理器12可执行所述多个指令从而实现:
若在预设时间内未接收到目标用户设备新增的有效状态信息,删除预先存储的所述目标用户设备的全部状态信息。
具体地,所述处理器12对上述指令的具体实现方法可参考图3或图4对应实施例中相关步骤的描述,在此不赘述。
在图5所描述的计算机装置中,整个数据传输过程中,接入服务器、汇聚服务器以及应用服务器之间使用gRPC作为服务间数据传输通道,可以稳定高效地传输数据,同时,还可以确保实时数据的同步汇聚。
参照图6,图6为本发明一实施例公开的一种数据同步装置的功能模块示意图。其中,所述数据同步装置运行于接入服务器中。所述数据同步装置可以包括多个由程序代码段所组成的功能模块。所述数据同步装置中的各个程序段的程序代码可以存储于存储器中,并由至少一个处理器所执行,以执行图3所描述的数据同步方法中的部分或全部步骤,具体可以参照图3中的相关描述,在此不再赘述。
本实施例中,所述数据同步装置根据其所执行的功能,可以被划分为多个功能模块。所述功能模块可以包括:接收模块601、建立获取模块602以及发送模块603。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在一些实施例中,关于各模块的功能将在后续的实施例中详述。
如图6所示,所述数据同步装置包括:
接收模块601,用于接收用户设备上报的所述用户设备的状态信息;
建立获取模块602,用于与分布式可靠键值对存储系统ETCD建立连接,并从所述ETCD中获取汇聚服务器的地址信息;
发送模块603,用于使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息。
可选的,所述数据同步装置还包括:
清洗模块,用于在所述接收模块601接收用户设备上报的所述用户设备的状态信息之后,对所述用户设备的状态信息进行清洗,获得新增的有效状态信息;
存储模块,用于通过第一接收线程,将所述有效状态信息存入所述接入服务器的缓冲池中;
所述发送模块603使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息包括:
通过第一发送线程,从所述接入服务器的缓冲池中取出所述有效状态信息,并通过所述第一发送线程,使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述有效状态信息。
在图6描述的数据同步装置中,接入服务器与汇聚服务器使用gRPC单向流通道传输所述用户设备的状态信息,两个服务器之间通过gRPC建立数据通道,可以稳定高效的传输数据,同时,利用缓冲池来缓存数据,可以有效地减少服务间通信不及时,请求延迟和内耗增大的问题,还可以动态的调整缓存数据大小。
参照图7,图7为本发明一实施例公开的另一种数据同步装置的功能模块示意图。其中,所述数据同步装置运行于汇聚服务器中。所述数据同步装置可以包括多个由程序代码段所组成的功能模块。所述数据同步装置中的各个程序段的程序代码可以存储于存储器中,并由至少一个处理器所执行,以执行图4所描述的数据同步方法中的部分或全部步骤,具体可以参照图4中的相关描述,在此不再赘述。
本实施例中,所述数据同步装置根据其所执行的功能,可以被划分为多个功能模块。所述功能模块可以包括:接收模块701、存储模块702、取出模块703以及同步模块704。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在一些实施例中,关于各模块的功能将在后续的实施例中详述。
如图7所示,所述数据同步装置包括:
接收模块701,用于接收第一接入服务器发送的用户设备新增的有效状态信息;
存储模块702,用于通过第二接收线程,将所述有效状态信息存入所述汇聚服务器的缓冲池中;
取出模块703,用于通过第二发送线程,从所述汇聚服务器的缓冲池中取出所述有效状态信息;
同步模块704,用于通过所述第二发送线程,使用远程过程调用框架gRPC向应用服务器同步所述有效状态信息。
可选的,所述数据同步装置还包括:
建立模块,用于与分布式可靠键值对存储系统ETCD建立连接;
监听模块,用于向所述ETCD监听服务器变更状态;
所述建立模块,还用于若所述服务器变更状态指示有新增的第二接入服务器,与所述第二接入服务器建立连接;
断开模块,用于若所述服务器变更状态指示有第三接入服务器注销,断开与所述第三接入服务器的连接。
可选的,所述数据同步装置还包括:
删除模块,用于若在预设时间内未接收到目标用户设备新增的有效状态信息,删除预先存储的所述目标用户设备的全部状态信息。
可选的,所述汇聚服务器的每个所述缓冲池中的数据量是不同的,每个所述缓冲池对应的所述第二发送线程的发送周期也是不同的,所述缓冲池中的数据量以及所述第二发送线程的发送周期均受限于所述缓冲池对应的应用服务器的接收能力。
在图7描述的数据同步装置中,汇聚服务器与应用服务器使用gRPC单向流通道传输所述用户设备的有效状态信息,两个服务器之间通过gRPC建立数据通道,可以稳定高效的传输数据,同时,利用缓冲池来缓存数据,可以有效地减少服务间通信不及时,请求延迟和内耗增大的问题,还可以动态的调整缓存数据大小。
上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读存储介质中。其中,该计算机可读存储介质可以存储计算机程序,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种数据同步方法,应用于数据同步系统,所述数据同步系统包括用户设备、接入服务器、汇聚服务器以及应用服务器,其特征在于,所述方法包括:
所述用户设备通过会话session向所述接入服务器上报所述用户设备的状态信息;
所述接入服务器与分布式可靠键值对存储系统ETCD建立连接,从所述ETCD中获取所述汇聚服务器的地址信息,并使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息;所述汇聚服务器使用所述gRPC向所述应用服务器同步所述用户设备的状态信息;
所述方法还包括:
所述汇聚服务器与所述ETCD建立连接,向所述ETCD监听服务器变更状态,若所述服务器变更状态指示有新增的第二接入服务器,与所述第二接入服务器建立连接,或若所述服务器变更状态指示有第三接入服务器注销,断开与所述第三接入服务器的连接。
2.一种数据同步方法,应用于接入服务器,其特征在于,所述方法包括:
接收用户设备通过会话session上报的所述用户设备的状态信息;
与分布式可靠键值对存储系统ETCD建立连接,并从所述ETCD中获取汇聚服务器的地址信息;
使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息;
其中,所述汇聚服务器与所述ETCD建立连接,向所述ETCD监听服务器变更状态,若所述服务器变更状态指示有新增的第二接入服务器,与所述第二接入服务器建立连接,或若所述服务器变更状态指示有第三接入服务器注销,断开与所述第三接入服务器的连接。
3.如权利要求2所述的方法,其特征在于,所述接收用户设备上报的所述用户设备的状态信息之后,所述方法还包括:
对所述用户设备的状态信息进行清洗,获得新增的有效状态信息;
通过第一接收线程,将所述有效状态信息存入所述接入服务器的缓冲池中;
所述使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述用户设备的状态信息包括:
通过第一发送线程,从所述接入服务器的缓冲池中取出所述有效状态信息,并通过所述第一发送线程,使用远程过程调用框架gRPC向所述地址信息指示的所述汇聚服务器发送所述有效状态信息。
4.一种数据同步方法,应用于汇聚服务器,其特征在于,所述方法包括:
接收第一接入服务器发送的用户设备新增的有效状态信息,其中,所述用户设备通过会话session向所述接入服务器上报所述用户设备的状态信息,所述有效状态信息是对所述用户设备的状态信息进行清洗获得的;
通过第二接收线程,将所述有效状态信息存入所述汇聚服务器的缓冲池中;
通过第二发送线程,从所述汇聚服务器的缓冲池中取出所述有效状态信息;
通过所述第二发送线程,使用远程过程调用框架gRPC向应用服务器同步所述有效状态信息;
所述方法还包括:
与分布式可靠键值对存储系统ETCD建立连接;
向所述ETCD监听服务器变更状态;
若所述服务器变更状态指示有新增的第二接入服务器,与所述第二接入服务器建立连接;或
若所述服务器变更状态指示有第三接入服务器注销,断开与所述第三接入服务器的连接。
5.如权利要求4所述的方法,其特征在于,所述方法还包括:
若在预设时间内未接收到目标用户设备新增的有效状态信息,删除预先存储的所述目标用户设备的全部状态信息。
6.如权利要求4或5所述的方法,其特征在于,所述汇聚服务器的每个所述缓冲池中的数据量是不同的,每个所述缓冲池对应的所述第二发送线程的发送周期也是不同的,所述缓冲池中的数据量以及所述第二发送线程的发送周期均受限于所述缓冲池对应的应用服务器的接收能力。
7.一种计算机装置,其特征在于,所述计算机装置包括存储器和处理器,所述存储器上存储有可由所述处理器执行的数据同步程序,所述数据同步程序被所述处理器执行时实现如权利要求1、2-3或4-6中任一项所述的数据同步方法。
8.如权利要求7所述的计算机装置,其特征在于,所述计算机装置为组成内容分发网络或者区块链网络的节点。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据同步程序,所述数据同步程序可被一个或者多个处理器执行,以实现如权利要求1、2-3或4-6中任一项所述的数据同步方法。
CN201910364811.2A 2019-04-30 2019-04-30 数据同步方法、计算机装置及存储介质 Active CN110035132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910364811.2A CN110035132B (zh) 2019-04-30 2019-04-30 数据同步方法、计算机装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910364811.2A CN110035132B (zh) 2019-04-30 2019-04-30 数据同步方法、计算机装置及存储介质

Publications (2)

Publication Number Publication Date
CN110035132A CN110035132A (zh) 2019-07-19
CN110035132B true CN110035132B (zh) 2022-08-12

Family

ID=67241180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910364811.2A Active CN110035132B (zh) 2019-04-30 2019-04-30 数据同步方法、计算机装置及存储介质

Country Status (1)

Country Link
CN (1) CN110035132B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110851290A (zh) * 2019-11-01 2020-02-28 香港乐蜜有限公司 一种数据同步方法、装置、电子设备及存储介质
CN114168603A (zh) * 2021-11-01 2022-03-11 山东有人物联网股份有限公司 一种物联网设备状态同步方法、系统、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483297A (zh) * 2017-10-11 2017-12-15 飞思达技术(北京)有限公司 对嵌入式设备上所承载业务质量的主动监测系统及方法
CN108924237A (zh) * 2018-07-18 2018-11-30 深圳市网心科技有限公司 一种信息传输方法、服务器、系统及计算机存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150081774A1 (en) * 2013-09-13 2015-03-19 John Wason System and method for implementing augmented object members for remote procedure call
CN105187375B (zh) * 2015-06-16 2019-05-17 公安部交通管理科学研究所 基于代理服务的Hadoop生态组件调度服务实现方法及系统
CN107659557A (zh) * 2017-08-18 2018-02-02 成都优芯微电子技术有限公司 一种简单的大数据分布式调用计算方法
CN107670281A (zh) * 2017-10-26 2018-02-09 广州市雷军游乐设备有限公司 在游戏中控制道具模型抓取的方法、装置及存储介质
CN108270855B (zh) * 2018-01-15 2021-06-29 司中明 一种物联网平台接入设备的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483297A (zh) * 2017-10-11 2017-12-15 飞思达技术(北京)有限公司 对嵌入式设备上所承载业务质量的主动监测系统及方法
CN108924237A (zh) * 2018-07-18 2018-11-30 深圳市网心科技有限公司 一种信息传输方法、服务器、系统及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏斌等.甘肃电力专用通信网PCM设备升级改造.《电网技术》.2007,全文. *

Also Published As

Publication number Publication date
CN110035132A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN108696374B (zh) 更新客户端配置的方法和装置
CN110035132B (zh) 数据同步方法、计算机装置及存储介质
US10931529B2 (en) Terminal device management method, server, and terminal device for managing terminal devices in local area network
CN113625589B (zh) 一种设备控制方法、装置、电子设备和存储介质
CN112804289B (zh) 一种资源同步方法、装置、设备及存储介质
CN113031874B (zh) 基于Kubernetes集群的缓存处理方法、装置、设备及存储介质
CN109547524A (zh) 基于物理网的用户行为存储方法、装置、设备及存储介质
CN102763373A (zh) 基于远程访问使用本地网络装置的服务的方法和设备
CN103856793A (zh) 媒体内容缓冲
CN104320347B (zh) 一种主动更新lldp的方法及设备
CN112511598A (zh) 一种投屏显示方法、智能终端、存储介质
CN103634695A (zh) 一种智能电视接收Google GCM推送消息的方法及系统
CN113079098B (zh) 路由更新的方法、装置、设备和计算机可读介质
CN112838935A (zh) 一种电子数据交换方法和系统
CN113127923A (zh) 管理权限的方法和装置
CN102802041B (zh) 支持多个实时动态数据源的智能流媒体服务器的实现方法
CN114416508A (zh) 应用性能监控方法和装置、存储介质及电子设备
US20150295755A1 (en) Method and apparatus for periodical protocol packet transmission by network device
CN110418092B (zh) 视频录制管理系统、方法、控制管理节点以及录制节点
CN111767176B (zh) 一种远程控制终端设备的方法和装置
CN105516343B (zh) 一种网络动态自组织的文件共享实现方法
US20130227162A1 (en) Management of Data Upload Speed
JP3908589B2 (ja) 通信システム、コネクション管理サーバ装置及びプログラム
CN107968798A (zh) 一种网管资源标签获取方法、缓存同步方法、装置及系统
CN110324377B (zh) 一种推送交互方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant