CN104866339B - Fota数据的分布式持久化管理方法、系统和装置 - Google Patents

Fota数据的分布式持久化管理方法、系统和装置 Download PDF

Info

Publication number
CN104866339B
CN104866339B CN201510204906.XA CN201510204906A CN104866339B CN 104866339 B CN104866339 B CN 104866339B CN 201510204906 A CN201510204906 A CN 201510204906A CN 104866339 B CN104866339 B CN 104866339B
Authority
CN
China
Prior art keywords
data
fota
distributed
persistence
terminal user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510204906.XA
Other languages
English (en)
Other versions
CN104866339A (zh
Inventor
傅磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nubia Technology Co Ltd
Original Assignee
Nubia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nubia Technology Co Ltd filed Critical Nubia Technology Co Ltd
Priority to CN201510204906.XA priority Critical patent/CN104866339B/zh
Publication of CN104866339A publication Critical patent/CN104866339A/zh
Application granted granted Critical
Publication of CN104866339B publication Critical patent/CN104866339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种FOTA数据的分布式持久化管理方法、系统和装置,所述方法包括步骤:FOTA服务器获取各终端用户的唯一标识令牌,根据唯一标识令牌获取对应的分布式有序队列;分布式缓存装置将各终端用户的FOTA数据存储到对应的分布式有序队列中;分布式持久化管理装置从分布式有序队列中获取各终端用户的FOTA数据,并对FOTA数据进行合并处理;分布式持久化管理装置根据唯一标识令牌获取对应的分布式数据库,将处理后的FOTA数据存储到对应的分布式数据库中。采用本发明的技术方案,使得原本数据库的同步操作成为了异步操作,在FOTA升级的整个交互过程中,同步FOTA数据的操作在内存中完成,异步进行数据库的交互操作,极大提升了系统性能,使得FOTA服务器能够稳定高效的提供服务。

Description

FOTA数据的分布式持久化管理方法、系统和装置
技术领域
本发明涉及通信技术领域,尤其是涉及一种FOTA数据的分布式持久化管理方法、系统和装置。
背景技术
FOTA升级(Firmware Over-the-Air,固件空中升级)技术,主要是指一种通过空中接口远程管理、更新终端设备中固件的技术。通过FOTA升级操作,不仅仅可以下载升级应用软件,也可以更新设备的操作系统。这样,FOTA升级操作使设备制造商能够通过网络将升级包发送到用户的终端设备中,从而对固件、软件进行升级,不但方便了用户,也为设备制造商节约了成本。
在现有的终端设备的FOTA升级过程中,FOTA服务器会与终端设备进行多次的交互,并且会在交互的过程中对终端设备的相关信息进行多次的同步持久化存储。在大量的终端用户进行并发的FOTA升级时,由于持久化一般通过传统的数据库存储在硬盘中,而硬盘IO的性能瓶颈比较大,造成FOTA系统的处理压力增大,处理速度降低,响应效率急速下降,给用户体验带来了严重的影响。
发明内容
本发明的主要目的在于提供一种FOTA数据的分布式持久化管理方法、系统和装置,旨在提高FOTA升级时系统的处理速度和响应效率。
为达以上目的,本发明提出一种FOTA数据的分布式持久化管理方法,包括步骤:
FOTA服务器获取各终端用户的唯一标识令牌,根据所述唯一标识令牌获取对应的分布式有序队列;
分布式缓存装置将各终端用户的FOTA数据存储到对应的分布式有序队列中;
分布式持久化管理装置从所述分布式有序队列中获取各终端用户的FOTA数据,并对所述FOTA数据进行合并处理;
分布式持久化管理装置根据所述唯一标识令牌获取对应的分布式数据库,将处理后的FOTA数据存储到对应的分布式数据库中。
优选地,所述分布式持久化管理装置包括多个持久化处理器,所述分布式持久化管理装置根据所述唯一标识令牌获取对应的分布式数据库,将处理后的FOTA数据存储到对应的分布式数据库中,包括:
分布式持久化管理装置根据所述唯一标识令牌获取对应的分布式数据库所在的节点,调用所述节点处的持久化处理器存储对应的FOTA数据。
优选地,其特征在于,所述将处理后的FOTA数据存储到对应的分布式数据库中包括:当对应一分布式数据库的FOTA数据的数量达到预设阈值时,将所述FOTA数据批量存储到所述分布式数据库中。
优选地,所述分布式持久化管理装置包括数据合并处理模块和存储处理模块,所述对所述FOTA数据进行合并处理包括:
所述数据合并处理模块判断所述FOTA数据是否为终端用户最后一次交互的FOTA数据;
当所述FOTA数据不是终端用户最后一次交互的FOTA数据时,所述数据合并处理模块对所述FOTA数据进行缓存,并用后一次交互的FOTA数据覆盖前一次交互的FOTA数据;
当所述FOTA数据是终端用户最后一次交互的FOTA数据时,所述数据合并处理模块将所述FOTA数据发送给所述存储处理模块,以使所述存储处理模块将所述FOTA数据存储到对应的分布式数据库中。
本发明同时提出一种FOTA数据的分布式持久化管理系统,包括FOTA服务器、分布式缓存装置、分布式持久化管理装置和分布式数据库,其中:
所述FOTA服务器,用于获取各终端用户的唯一标识令牌,根据所述唯一标识令牌获取对应的分布式有序队列;
所述分布式缓存装置,用于将各终端用户的FOTA数据存储到对应的分布式有序队列中;
所述分布式持久化管理装置,用于从所述分布式有序队列中获取各终端用户的FOTA数据,并对所述FOTA数据进行合并处理;根据所述唯一标识令牌获取对应的分布式数据库,将处理后的FOTA数据存储到对应的分布式数据库中。
优选地,所述分布式持久化管理装置包括多个持久化处理器,所述分布式持久化管理装置用于:根据所述唯一标识令牌获取对应的分布式数据库所在的节点,调用所述节点处的持久化处理器存储对应的FOTA数据。
优选地,所述分布式持久化管理装置用于:当对应一分布式数据库的FOTA数据的数量达到预设阈值时,将所述FOTA数据批量存储到所述分布式数据库中。
优选地,所述分布式持久化管理装置包括数据合并处理模块和存储处理模块,所述数据合并处理模块用于:
判断所述FOTA数据是否为终端用户最后一次交互的FOTA数据;
当所述FOTA数据不是终端用户最后一次交互的FOTA数据时,对所述FOTA数据进行缓存,并用后一次交互的FOTA数据覆盖前一次交互的FOTA数据;
当所述FOTA数据是终端用户最后一次交互的FOTA数据时,将所述FOTA数据发送给所述存储处理模块,以使所述存储处理模块将所述FOTA数据存储到对应的分布式数据库中。
本发明还提出一种FOTA数据的分布式持久化管理装置,包括队列管理模块、数据合并处理模块和存储处理模块,其中:
所述队列管理模块,用于从各分布式有序队列中获取各终端用户的FOTA数据并发送给所述数据合并处理模块;
所述数据合并处理模块,用于对所述FOTA数据进行合并处理,并将处理后的FOTA数据发送给所述存储处理模块;
所述存储处理模块,用于根据终端用户的唯一标识令牌获取对应的分布式数据库,将处理后的FOTA数据存储到对应的分布式数据库中。
优选地,所述存储处理模块包括多个持久化处理器,所述存储处理模块用于:根据所述唯一标识令牌获取对应的分布式数据库所在的节点,调用所述节点处的持久化处理器存储对应的FOTA数据。
优选地,所述存储处理模块用于:当对应一分布式数据库的FOTA数据的数量达到预设阈值时,将所述FOTA数据批量存储到所述分布式数据库中。
优选地,所述数据合并处理模块用于:
判断所述FOTA数据是否为终端用户最后一次交互的FOTA数据;
当所述FOTA数据不是终端用户最后一次交互的FOTA数据时,对所述FOTA数据进行缓存,并用后一次交互的FOTA数据覆盖前一次交互的FOTA数据;
当所述FOTA数据是终端用户最后一次交互的FOTA数据时,将所述FOTA数据发送给所述存储处理模块。
本发明所提供的一种FOTA数据的分布式持久化管理方法,通过分布式有序队列对FOTA数据进行分布式部署,使得整体队列数据均匀分布,并且在队列中保持整个流程单个终端用户的访问时序,优化处理逻辑,将多次的数据库交互操作合并状态后进行一次处理,减少了多次数据库交互造成的瓶颈。采用本发明的技术方案,使得原本数据库的同步操作成为了异步操作,在FOTA升级的整个交互过程中,同步FOTA数据的操作在内存中完成,异步进行数据库的交互操作,实现了对FOTA数据的延迟异步处理,提高了处理速度和响应效率,极大的提升了系统性能,使得FOTA服务器能够稳定高效的提供服务。
附图说明
图1是本发明FOTA数据的分布式持久化管理方法一实施例的流程图;
图2是本发明实施例中FOTA数据的分布式持久化管理方法另一流程示意图;
图3是图1中步骤S13的具体流程图;
图4是本发明FOTA数据的分布式持久化管理系统一实施例的模块示意图;
图5是本发明FOTA数据的分布式持久化管理装置一实施例的模块示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参见图1、图2,提出本发明FOTA数据的分布式持久化管理方法一实施例,所述方法包括以下步骤:
步骤S11:FOTA服务器获取各终端用户的唯一标识令牌,根据唯一标识令牌获取对应的分布式有序队列。
本步骤S11中,由FOTA服务器的中间件客户端接口获取各终端用户的唯一标识令牌(tokenKey),再根据唯一标识令牌调用一致性的哈希(hash)算法找出该唯一标识令牌所代表的终端用户数据所对应的分布式有序队列(sub_queue)。当终端用户第一次访问FOTA服务器时,FOTA服务器调用中间件客户端接口,在调用的接口中,根据时间戳、FOTA服务器的ip和端口以及6位随机数生成字符串,再进行MD5的加密算法后生成终端用户访问FOTA服务器的唯一标识令牌,该终端用户后续再次访问FOTA服务器时则直接调用该唯一标识令牌。
步骤S12:分布式缓存装置将各终端用户的FOTA数据存储到对应的分布式有序队列中。
本步骤S12中,分布式缓存装置可以是一个如图2所示的Redis集群,用于将各终端用户的FOTA数据存储到对应的分布式有序队列中。如图2所示,分布式缓存装置从FOTA服务器1和FOTA服务器2(图2中示例性的列出两个FOTA服务器,本实施例对FOTA服务器的数量不做限制)的中间件客户端接口获取各终端用户的FOTA数据,并将其存储到对应的分布式有序队列中,如图2所示的sub_queue 1-sub_queue n,即分布式有序队列1-分布式有序队列n。
步骤S13:分布式持久化管理装置从分布式有序队列中获取各终端用户的FOTA数据,并对FOTA数据进行合并处理。
本实施例中,分布式持久化管理装置包括队列管理模块、数据合并处理模块和存储处理模块。
本步骤S13中,分布式持久化管理装置的队列管理模块启动各分布式有序队列独立的处理线程,如图2所示的sub_queue 1 thread-sub_queue n thread(即分布式有序队列1的处理线程-分布式有序队列n的处理线程),根据分布式有序队列的处理线程获取相应分布式有序队列中各终端用户的FOTA数据,并将FOTA数据发送给分布式持久化管理装置的数据合并处理模块。
数据合并处理模块接收到各终端用户的FOTA数据后,对FOTA数据进行合并处理。数据合并处理模块合并处理FOTA数据的具体流程如图3所示,包括以下步骤:
步骤S131:数据合并处理模块判断当前的FOTA数据是否为终端用户最后一次交互的FOTA数据。
步骤S132:数据合并处理模块对FOTA数据进行缓存,并用后一次交互的FOTA数据覆盖前一次交互的FOTA数据。
步骤S133:数据合并处理模块将FOTA数据发送给存储处理模块。
具体实现上,数据合并处理模块根据当前的FOTA数据携带的唯一标识令牌确定该FOTA数据为哪一终端用户的FOTA数据,并判断该终端用户与FOTA服务器的交互次数。当是第一次交互时,则将该FOTA数据推送回缓存,接下来依次进行终端用户交互次数的判断,不为最后一次交互时,都将上一次的缓存的FOTA数据清除,并存入最新的FOTA数据。当为终端用户的最后一次交互时,则清除缓存中的FOTA数据,并将这最后一次交互的FOTA数据推送到分布式持久化管理装置的存储处理模块进行存储,从而减少了数据库的读写次数,提升系统性能。
步骤S14:分布式持久化管理装置根据唯一标识令牌获取对应的分布式数据库,将处理后的FOTA数据存储到对应的分布式数据库中。
由于终端用户在与FOTA服务器交互的整个过程中,其所持有的唯一标识令牌是唯一的不变的。因此,在整个过程中,某一终端用户的FOTA数据进入的分布式有序队列始终是同一个,相应的处理线程也是同一个,从而保证了终端用户在与FOTA服务器交互的整个流程中,其所有的FOTA数据到达的处理路径是一致的,这样就为实现对各终端用户的FOTA数据进行合并处理后再分别存储提供了可能。
本步骤S14中,分布式持久化管理装置的存储处理模块根据各终端用户的唯一标识令牌调用一致性的哈希算法找出相应的分布式数据库,再将处理后的FOTA数据存储到对应的分布式数据库中。分布式数据库优选分布式关系型数据库(Mysql database),如图2所示的Mysql database 1-Mysql database n,即分布式关系型数据库1-分布式关系型数据库n。
优选地,存储处理模块接收到FOTA数据后,并不立即存储该FOTA数据,而是在对应某一分布式数据库的FOTA数据的数量达到预设阈值时,才将该FOTA数据批量存储到对应的分布式数据库中,即如图2所示,分别将batch process queue 1-batch process queue n(即批量存储队列1-批量存储队列n)的FOTA数据存储到Mysql database 1-Mysqldatabase 2(即分布式关系型数据库1-分布式关系型数据库n)中。从而进一步减少数据库的读写次数,提升系统性能。
优选地,存储处理模块包括多个持久化处理器,存储处理模块根据各终端用户的唯一标识令牌调用一致性的哈希算法找出相应的分布式数据库的节点,并调用该节点处的持久化处理器存储对应的FOTA数据。进一步地,持久化处理器并不立即存储该FOTA数据,而是待收集的FOTA数据的数量达到预设阈值时再进行批量存储,即如图2所示,分别将batchprocess queue 1-batch process queue n(即批量存储队列1-批量存储队列n)的FOTA数据存储到Mysql database 1-Mysql database 2(即分布式关系型数据库1-分布式关系型数据库n)中。以减少数据库的读写次数,提升系统性能。
从而,本发明FOTA数据的分布式持久化管理方法,通过分布式有序队列对FOTA数据进行分布式部署,使得整体队列数据均匀分布,并且在队列中保持整个流程单个终端用户的访问时序,优化处理逻辑,将多次的数据库交互操作合并状态后进行一次处理,减少了多次数据库交互造成的瓶颈。采用本发明的技术方案,使得原本数据库的同步操作成为了异步操作,在FOTA升级的整个交互过程中,同步FOTA数据的操作在内存中完成,异步进行数据库的交互操作,实现了对FOTA数据的延迟异步处理,提高了处理速度和响应效率,极大的提升了系统性能,使得FOTA服务器能够稳定高效的提供服务。
参见图4,提出本发明FOTA数据的分布式持久化管理系统一实施例,所述系统包括FOTA服务器、分布式缓存装置、分布式持久化管理装置和分布式数据库,其中:
FOTA服务器:用于获取各终端用户的唯一标识令牌,根据唯一标识令牌获取对应的分布式有序队列。
FOTA服务器可以是一个,也可以是两个或多个。FOTA服务器包括一中间件客户端接口,FOTA服务器通过中间件客户端接口获取各终端用户的唯一标识令牌(tokenKey),再根据唯一标识令牌调用一致性的哈希(hash)算法找出该唯一标识令牌所代表的终端用户数据所对应的分布式有序队列(sub_queue)。
当终端用户第一次访问FOTA服务器时,FOTA服务器调用中间件客户端接口,在调用的接口中,根据时间戳、FOTA服务器的ip和端口以及6位随机数生成字符串,再进行MD5的加密算法后生成终端用户访问FOTA服务器的唯一标识令牌,该终端用户后续再次访问FOTA服务器时则直接调用该唯一标识令牌。
分布式缓存装置:用于将各终端用户的FOTA数据存储到对应的分布式有序队列中。
分布式缓存装置可以是一个如图2所示的Redis集群,用于将各终端用户的FOTA数据存储到对应的分布式有序队列中。如图2所示,分布式缓存装置从FOTA服务器1和FOTA服务器2(图2中示例性的列出两个FOTA服务器,本实施例对FOTA服务器的数量不做限制)的中间件客户端接口获取各终端用户的FOTA数据,并将其存储到对应的分布式有序队列中,如图2所示的sub_queue 1-sub_queue n,即分布式有序队列1-分布式有序队列n。
分布式持久化管理装置:用于从分布式有序队列中获取各终端用户的FOTA数据,并对FOTA数据进行合并处理;根据唯一标识令牌获取对应的分布式数据库,将处理后的FOTA数据存储到对应的分布式数据库中。
如图5所示,为本发明FOTA数据的分布式持久化管理装置一实施例,所述装置包括队列管理模块、数据合并处理模块和存储处理模块,其中:
队列管理模块:用于从分布式有序队列中获取各终端用户的FOTA数据,并发送给数据合并处理模块。具体的,队列管理模块启动各分布式有序队列独立的处理线程,如图2所示的sub_queue 1 thread-sub_queue n thread,即分布式有序队列1的处理线程-分布式有序队列n的处理线程,根据分布式有序队列的处理线程获取相应分布式有序队列中各终端用户的FOTA数据,并将FOTA数据发送给数据合并处理模块。
数据合并处理模块:用于接收到各终端用户的FOTA数据后,对FOTA数据进行合并处理。在进行合并处理时,数据合并处理模块判断当前的FOTA数据是否为终端用户最后一次交互的FOTA数据;当不是终端用户最后一次交互的FOTA数据,则对FOTA数据进行缓存,并用后一次交互的FOTA数据覆盖前一次交互的FOTA数据;当是终端用户最后一次交互的FOTA数据,则将FOTA数据发送给存储处理模块。
具体实现上,数据合并处理模块根据当前的FOTA数据携带的唯一标识令牌确定该FOTA数据为哪一终端用户的FOTA数据,并判断该终端用户与FOTA服务器的交互次数。当是第一次交互时,则将该FOTA数据推送回缓存,接下来依次进行终端用户交互次数的判断,不为最后一次交互时,都将上一次的缓存的FOTA数据清除,并存入最新的FOTA数据。当为终端用户的最后一次交互时,则清除缓存中的FOTA数据,并将这最后一次交互的FOTA数据推送到存储处理模块进行存储,从而减少了数据库的读写次数,提升系统性能。
存储处理模块:用于根据唯一标识令牌获取对应的分布式数据库,将处理后的FOTA数据存储到对应的分布式数据库中。
由于终端用户在与FOTA服务器交互的整个过程中,其所持有的唯一标识令牌是唯一的不变的。因此,在整个过程中,某一终端用户的FOTA数据进入的分布式有序队列始终是同一个,相应的处理线程也是同一个,从而保证了终端用户在与FOTA服务器交互的整个流程中,其所有的FOTA数据到达的处理路径是一致的,这样就为实现对各终端用户的FOTA数据进行合并处理后再分别存储提供了可能。
存储处理模块根据各终端用户的唯一标识令牌调用一致性的哈希算法找出相应的分布式数据库,再将处理后的FOTA数据存储到对应的分布式数据库中。分布式数据库优选分布式关系型数据库(Mysql database),如图2所示的Mysql database 1-Mysqldatabase n,即分布式关系型数据库1-分布式关系型数据库n。
优选地,存储处理模块接收到FOTA数据后,并不立即存储该FOTA数据,而是在对应某一分布式数据库的FOTA数据的数量达到预设阈值时,才将该FOTA数据批量存储到对应的分布式数据库中,即如图2所示,分别将batch process queue 1-batch process queue n(即批量存储队列1-批量存储队列n)的FOTA数据存储到Mysql database 1-Mysqldatabase 2(即分布式关系型数据库1-分布式关系型数据库n)中。从而进一步减少数据库的读写次数,提升系统性能。
优选地,存储处理模块包括多个持久化处理器,存储处理模块根据各终端用户的唯一标识令牌调用一致性的哈希算法找出相应的分布式数据库的节点,并调用该节点处的持久化处理器存储对应的FOTA数据。进一步地,持久化处理器并不立即存储该FOTA数据,而是待收集的FOTA数据的数量达到预设阈值时再进行批量存储,即如图2所示,分别将batchprocess queue 1-batch process queue n(即批量存储队列1-批量存储队列n)的FOTA数据存储到Mysql database 1-Mysql database 2(即分布式关系型数据库1-分布式关系型数据库n)中。以减少数据库的读写次数,提升系统性能。
从而,本发明FOTA数据的分布式持久化管理系统,通过分布式有序队列对FOTA数据进行分布式部署,使得整体队列数据均匀分布,并且在队列中保持整个流程单个终端用户的访问时序,优化处理逻辑,将多次的数据库交互操作合并状态后进行一次处理,减少了多次数据库交互造成的瓶颈。采用本发明的FOTA数据的分布式持久化管理系统,使得原本数据库的同步操作成为了异步操作,在FOTA升级的整个交互过程中,同步FOTA数据的持久化操作在内存中完成,异步进行数据库的交互操作,实现了对FOTA数据的延迟异步处理,提高了处理速度和响应效率,极大的提升了系统性能,使得FOTA服务器能够稳定高效的提供服务。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分步骤可以通过程序来控制相关的硬件完成,所述的程序可以存储于一计算机可读取存储介质中,所述的存储介质可以是ROM/RAM、磁盘、光盘等。
应当理解的是,以上仅为本发明的优选实施例,不能因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种FOTA数据的分布式持久化管理方法,其特征在于,包括步骤:
FOTA服务器获取各终端用户的唯一标识令牌,根据所述唯一标识令牌获取对应的分布式有序队列;
分布式缓存装置将各终端用户的FOTA数据存储到对应的分布式有序队列中;
分布式持久化管理装置从所述分布式有序队列中获取各终端用户的FOTA数据,并对所述FOTA数据进行合并处理,包括:判断所述FOTA数据是否为终端用户最后一次交互的FOTA数据;当所述FOTA数据不是终端用户最后一次交互的FOTA数据时,数据合并处理模块对所述FOTA数据进行缓存,并用后一次交互的FOTA数据覆盖前一次交互的FOTA数据;当所述FOTA数据是终端用户最后一次交互的FOTA数据时,数据合并处理模块将所述FOTA数据发送给存储处理模块,以使存储处理模块将所述FOTA数据存储到对应的分布式数据库中;
分布式持久化管理装置根据所述唯一标识令牌获取对应的分布式数据库,将处理后的FOTA数据存储到对应的分布式数据库中。
2.根据权利要求1所述的FOTA数据的分布式持久化管理方法,其特征在于,所述分布式持久化管理装置包括多个持久化处理器,所述分布式持久化管理装置根据所述唯一标识令牌获取对应的分布式数据库,将处理后的FOTA数据存储到对应的分布式数据库中,包括:
分布式持久化管理装置根据所述唯一标识令牌获取对应的分布式数据库所在的节点,调用所述节点处的持久化处理器存储对应的FOTA数据。
3.根据权利要求1所述的FOTA数据的分布式持久化管理方法,其特征在于,所述将处理后的FOTA数据存储到对应的分布式数据库中包括:当对应一分布式数据库的FOTA数据的数量达到预设阈值时,将所述FOTA数据批量存储到所述分布式数据库中。
4.一种FOTA数据的分布式持久化管理系统,其特征在于,包括FOTA服务器、分布式缓存装置、分布式持久化管理装置和分布式数据库,其中:
所述FOTA服务器,用于获取各终端用户的唯一标识令牌,根据所述唯一标识令牌获取对应的分布式有序队列;
所述分布式缓存装置,用于将各终端用户的FOTA数据存储到对应的分布式有序队列中;
所述分布式持久化管理装置,用于从所述分布式有序队列中获取各终端用户的FOTA数据,并对所述FOTA数据进行合并处理;根据所述唯一标识令牌获取对应的分布式数据库,将处理后的FOTA数据存储到对应的分布式数据库中,其中,所述分布式持久化管理装置包括数据合并处理模块和存储处理模块,所述数据合并处理模块用于:判断所述FOTA数据是否为终端用户最后一次交互的FOTA数据;当所述FOTA数据不是终端用户最后一次交互的FOTA数据时,对所述FOTA数据进行缓存,并用后一次交互的FOTA数据覆盖前一次交互的FOTA数据;当所述FOTA数据是终端用户最后一次交互的FOTA数据时,将所述FOTA数据发送给所述存储处理模块,以使所述存储处理模块将所述FOTA数据存储到对应的分布式数据库中。
5.根据权利要求4所述的FOTA数据的分布式持久化管理系统,其特征在于,所述分布式持久化管理装置包括多个持久化处理器,所述分布式持久化管理装置用于:根据所述唯一标识令牌获取对应的分布式数据库所在的节点,调用所述节点处的持久化处理器存储对应的FOTA数据。
6.根据权利要求4所述的FOTA数据的分布式持久化管理系统,其特征在于,所述分布式持久化管理装置用于:当对应一分布式数据库的FOTA数据的数量达到预设阈值时,将所述FOTA数据批量存储到所述分布式数据库中。
7.一种FOTA数据的分布式持久化管理装置,其特征在于,包括队列管理模块、数据合并处理模块和存储处理模块,其中:
所述队列管理模块,用于从各分布式有序队列中获取各终端用户的FOTA数据并发送给所述数据合并处理模块;
所述数据合并处理模块,用于判断所述FOTA数据是否为终端用户最后一次交互的FOTA数据;当所述FOTA数据不是终端用户最后一次交互的FOTA数据时,对所述FOTA数据进行缓存,并用后一次交互的FOTA数据覆盖前一次交互的FOTA数据;当所述FOTA数据是终端用户最后一次交互的FOTA数据时,将所述FOTA数据发送给所述存储处理模块;
所述存储处理模块,用于根据终端用户的唯一标识令牌获取对应的分布式数据库,将处理后的FOTA数据存储到对应的分布式数据库中。
8.根据权利要求7所述的FOTA数据的分布式持久化管理装置,其特征在于,所述存储处理模块包括多个持久化处理器,所述存储处理模块用于:根据所述唯一标识令牌获取对应的分布式数据库所在的节点,调用所述节点处的持久化处理器存储对应的FOTA数据。
9.根据权利要求7所述的FOTA数据的分布式持久化管理装置,其特征在于,所述存储处理模块用于:当对应一分布式数据库的FOTA数据的数量达到预设阈值时,将所述FOTA数据批量存储到所述分布式数据库中。
CN201510204906.XA 2015-04-27 2015-04-27 Fota数据的分布式持久化管理方法、系统和装置 Active CN104866339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510204906.XA CN104866339B (zh) 2015-04-27 2015-04-27 Fota数据的分布式持久化管理方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510204906.XA CN104866339B (zh) 2015-04-27 2015-04-27 Fota数据的分布式持久化管理方法、系统和装置

Publications (2)

Publication Number Publication Date
CN104866339A CN104866339A (zh) 2015-08-26
CN104866339B true CN104866339B (zh) 2019-08-16

Family

ID=53912188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510204906.XA Active CN104866339B (zh) 2015-04-27 2015-04-27 Fota数据的分布式持久化管理方法、系统和装置

Country Status (1)

Country Link
CN (1) CN104866339B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550319B (zh) * 2015-12-12 2019-06-25 天津南大通用数据技术股份有限公司 一种集群一致性服务高并发下持久化的优化方法
CN106940660B (zh) * 2016-01-05 2020-08-14 阿里巴巴集团控股有限公司 缓存的实现的方法和装置
CN107391269B (zh) * 2016-03-28 2021-04-20 阿里巴巴集团控股有限公司 一种用于通过持久化队列处理消息的方法与设备
CN106130751B (zh) * 2016-05-27 2019-05-17 努比亚技术有限公司 一种升级状态数据管理装置、系统和方法
CN110213071B (zh) * 2018-04-16 2021-11-02 腾讯科技(深圳)有限公司 数据核对方法、装置、系统、计算机设备和存储介质
CN108804240B (zh) * 2018-04-25 2021-11-19 天津卓盛云科技有限公司 一种队列数据的分发和处理算法
CN110532111B (zh) * 2019-08-29 2023-07-28 深圳前海环融联易信息科技服务有限公司 高并发请求异步处理方法、装置、计算机设备及存储介质
CN113741796B (zh) * 2020-07-16 2024-04-16 北京沃东天骏信息技术有限公司 一种终端应用的数据持久化方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414295A (zh) * 2007-10-15 2009-04-22 北京瑞星国际软件有限公司 数据库的升级方法
CN102023973A (zh) * 2009-09-14 2011-04-20 中国移动通信集团公司 一种应用缓存服务器与数据库同步的方法、装置和系统
CN102024032A (zh) * 2010-11-29 2011-04-20 广州明朝网络科技有限公司 一种基于Erlang的分布式数据缓存和持久化的方法和系统
CN103475718A (zh) * 2013-09-11 2013-12-25 北京京东尚科信息技术有限公司 一种数据缓存的方法和系统
CN104537013A (zh) * 2014-12-18 2015-04-22 北京京东尚科信息技术有限公司 一种处理数据的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414295A (zh) * 2007-10-15 2009-04-22 北京瑞星国际软件有限公司 数据库的升级方法
CN102023973A (zh) * 2009-09-14 2011-04-20 中国移动通信集团公司 一种应用缓存服务器与数据库同步的方法、装置和系统
CN102024032A (zh) * 2010-11-29 2011-04-20 广州明朝网络科技有限公司 一种基于Erlang的分布式数据缓存和持久化的方法和系统
CN103475718A (zh) * 2013-09-11 2013-12-25 北京京东尚科信息技术有限公司 一种数据缓存的方法和系统
CN104537013A (zh) * 2014-12-18 2015-04-22 北京京东尚科信息技术有限公司 一种处理数据的方法和装置

Also Published As

Publication number Publication date
CN104866339A (zh) 2015-08-26

Similar Documents

Publication Publication Date Title
CN104866339B (zh) Fota数据的分布式持久化管理方法、系统和装置
CN106528229B (zh) 一种游戏热更新方法及装置
US10693951B2 (en) Decentralized, resource aware load distribution in a distributed system
CN103748555B (zh) 在云中基于多维用户请求模式快速供应虚拟机
CN105472002B (zh) 基于集群节点间即时拷贝的会话同步方法
CN108885568A (zh) 在按需代码执行环境处处理先已存在的数据集
CN105045871B (zh) 数据聚合查询方法及装置
CN109684358A (zh) 数据查询的方法和装置
CN107395659A (zh) 一种业务受理及共识的方法及装置
KR101781339B1 (ko) 클라이언트를 갱신하기 위한 방법 및 디바이스
CN105095313B (zh) 一种数据访问方法和设备
CN103391312B (zh) 资源离线下载方法及装置
CN110888858A (zh) 数据库的操作方法和装置、存储介质、电子装置
CN106254561A (zh) 一种网络资源文件的实时离线下载方法及系统
CN109981715A (zh) 一种会话管理的方法及装置
CN107026879A (zh) 一种数据缓存方法及后台应用系统
CN105327508B (zh) 网络游戏运行系统及方法
CN105224541B (zh) 数据的唯一性控制方法、信息存储方法及装置
CN108268497A (zh) 关系型数据库的数据同步方法及装置
CN111221861A (zh) 一种本地缓存与数据库数据同步方法和装置
CN103077174B (zh) 一种并发的资源更新方法与设备
CN108650306A (zh) 一种游戏视频缓存方法、装置及计算机存储介质
CN112804276B (zh) 虚拟化宽带远程接入服务器及其控制方法、通信系统
CN107424001A (zh) 产品销售额度的控制方法及系统
CN109284177B (zh) 一种数据更新方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant