CN103714059A - 一种更新数据的方法及装置 - Google Patents

一种更新数据的方法及装置 Download PDF

Info

Publication number
CN103714059A
CN103714059A CN201210370367.3A CN201210370367A CN103714059A CN 103714059 A CN103714059 A CN 103714059A CN 201210370367 A CN201210370367 A CN 201210370367A CN 103714059 A CN103714059 A CN 103714059A
Authority
CN
China
Prior art keywords
data
file
management system
type
intelligent pointer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210370367.3A
Other languages
English (en)
Other versions
CN103714059B (zh
Inventor
樊华
俞欢
王益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201210370367.3A priority Critical patent/CN103714059B/zh
Publication of CN103714059A publication Critical patent/CN103714059A/zh
Application granted granted Critical
Publication of CN103714059B publication Critical patent/CN103714059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种更新数据的方法及装置,属于计算机领域。所述方法包括:接收数据产生源发送的数据更新请求消息,所述数据更新请求消息携带某数据类型和所述数据类型对应的第一文件的存储地址,所述第一文件包括所述数据产生源产生所述数据类型对应的第一数据;根据所述第一文件的存储地址将所述第一数据加载到数据管理器的内存,如果加载成功,则创建智能指针指向所述第一数据;将数据目录中存储的所述数据类型对应的智能指针更新为指向所述第一数据的智能指针,所述数据目录用于存储数据类型与智能指针的对应关系。所述装置包括:第一接收模块、第一创建模块和第一更新模块。本发明能够减少对内存的消耗。

Description

一种更新数据的方法及装置
技术领域
本发明涉及计算机及通信领域,特别涉及一种更新数据的方法及装置。
背景技术
互联网服务后台包括数据产生源和数据管理器,数据产生源可以产生某数据类型对应的新数据,此时数据管理器需要将自身管理的该数据类型对应的数据更新为该数据类型对应的新数据。
现有技术提供了一种更新数据的方法,可以具体为:数据管理器包括两个buffer和一个读指针,读指针指向的buffer为读buffer,读指针未指向的另一个buffer为写buffer,当数据产生源产生某数据类型对应的新数据时,数据管理器将写buffer中存储的该数据类型对应的数据更新为该数据类型对应的新数据,设置读指针指向写buffer,此时写buffer变为读buffer,原来的读buffer变为写buffer,将变后的写buffer存储的该数据类型对应的数据更新为该数据类型对应的新数据,如此数据管理器完成数据更新。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
读写两个buffer都为内存中的两个存储队列,现有技术在更新数据时,将每个新数据都存储在两个buffer内,即每个新数据都在内存中存储两份,对内存消耗巨大。
发明内容
为了减少对内存的消耗,本发明提供了提供了一种更新数据的方法及装置。所述技术方案如下:
一种更新数据的方法,所述方法包括:
接收数据产生源发送的数据更新请求消息,所述数据更新请求消息携带某数据类型和所述数据类型对应的第一文件的存储地址,所述第一文件包括所述数据产生源产生所述数据类型对应的第一数据;
根据所述第一文件的存储地址将所述第一数据加载到数据管理器的内存,如果加载成功,则创建智能指针指向所述第一数据;
将数据目录中存储的所述数据类型对应的智能指针更新为指向所述第一数据的智能指针,所述数据目录用于存储数据类型与智能指针的对应关系。
所述根据所述第一文件的存储地址将所述第一数据加载到数据管理器的内存,如果加载成功,则创建智能指针指向所述第一数据,包括:
根据所述第一文件的存储地址,从文件系统中获取所述第一文件,所述文件系统用于存储所述数据产生源产生的文件;
将所述第一文件包括的第一数据加载到数据管理器的内存,如果加载成功,创建智能指针指向所述第一数据。
所述将所述第一文件包括的第一数据加载到数据管理器的内存,如果加载成功,创建智能指针指向所述第一数据,包括:
根据所述数据类型,从已存储的数据类型与加载函数的对应关系中获取对应的加载函数;
通过所述获取的加载函数将所述第一文件包括的第一数据加载到数据管理器的内存中;
如果加载成功,则创建智能指针指向所述第一数据。
所述将数据目录中存储的所述数据类型对应的智能指针更新为指向所述第一数据的智能指针,包括:
对读智能指针指向的数据目录进行复制,得到复制的数据目录;
根据所述数据类型,从所述复制的数据目录中查找所述数据类型对应的智能指针;
将所述数据类型对应的智能指针更新为指向所述第一数据的智能指针;
设置所述读智能指针指向所述复制的数据目录。
所述根据所述第一文件的存储地址将所述第一数据加载到数据管理器的内存之后,还包括:
如果加载成功,则发送加载成功通知消息给所述数据产生源,使所述数据产生源发送所述数据更新请求消息给未请求更新数据的数据管理器;
如果加载失败,则发送加载失败通知消息给所述数据产生源,使所述数据产生源重新产生所述数据类型对应的第一数据并封装成第一文件。
所述发送加载失败通知消息给所述数据产生源之后,还包括:
接收所述数据产生源发送的数据更新失败消息,所述数据更新失败消息携带所述数据类型和所述数据类型对应的第二文件的存储地址,所述第二文件包括所述数据类型对应的第二数据,所述第二数据为所述数据产生源在产生所述第一数据之前最近一次产生所述数据类型对应的数据;
根据所述第二文件的存储地址将所述第二数据加载到所述数据管理器的内存中,创建智能指针指向所述第二数据;
将所述数据目录中存储的所述数据类型对应的智能指针更新为指向所述第二数据的智能指针。
所述方法还包括:
接收数据使用方发送的数据请求消息,所述数据请求消息携带待请求的数据的数据类型;
根据所述待请求的数据的数据类型从所述数据目录中获取指向所述待请求的数据的智能指针;
发送指向所述待请求的数据的智能指针给所述数据使用方,使所述数据使用方根据指向所述待请求的数据的智能指针获取所述待请求的数据。
一种更新数据的方法,所述方法包括:
产生某数据类型对应的第一数据并封装成第一文件;
将所述第一文件存储在文件系统中并获取所述第一文件的存储地址;
发送数据更新请求消息给数据管理器,所述数据更新请求消息携带所述数据类型和所述第一文件的存储地址,以请求所述数据管理器更新数据。
所述发送数据更新请求消息给数据管理器之后,还包括:
接收所述数据管理器发送的加载成功通知消息,发送所述数据更新请求消息给未请求更新数据的数据管理器。
所述发送数据更新请求消息给数据管理器之后,还包括:
接收所述数据管理器发送的加载失败通知消息,重新产生所述数据类型对应的第一数据并封装成第一文件。
所述接收所述数据管理器发送的加载失败通知消息之后,还包括:
发送数据更新失败消息给已请求更新数据的数据管理器,所述数据更新失败消息携带所述数据类型和所述数据类型对应的第二文件的存储地址,所述第二文件包括所述数据类型对应的第二数据,所述第二数据为所述数据产生源在产生所述第一数据之前最近一次产生所述数据类型对应的数据。
一种更新数据的装置,所述装置包括:
第一接收模块,用于接收数据产生源发送的数据更新请求消息,所述数据更新请求消息携带某数据类型和所述数据类型对应的第一文件的存储地址,所述第一文件包括所述数据产生源产生所述数据类型对应的第一数据;
第一创建模块,用于根据所述第一文件的存储地址将所述第一数据加载到数据管理器的内存,如果加载成功,则创建智能指针指向所述第一数据;
第一更新模块,用于将数据目录中存储的所述数据类型对应的智能指针更新为指向所述第一数据的智能指针,所述数据目录用于存储数据类型与智能指针的对应关系。
所述第一创建模块包括:
获取单元,用于根据所述第一文件的存储地址,从文件系统中获取所述第一文件,所述文件系统用于存储所述数据产生源产生的文件;
创建单元,用于将所述第一文件包括的第一数据加载到数据管理器的内存,如果加载成功,创建智能指针指向所述第一数据。
所述创建单元包括:
获取子单元,用于根据所述数据类型,从已存储的数据类型与加载函数的对应关系中获取对应的加载函数;
加载子单元,用于通过所述获取的加载函数将所述第一文件包括的第一数据加载到数据管理器的内存中;
创建子单元,用于如果加载成功,则创建智能指针指向所述第一数据。
所述更新模块包括:
复制单元,用于对读智能指针指向的数据目录进行复制,得到复制的数据目录;
查找单元,用于根据所述数据类型,从所述复制的数据目录中查找所述数据类型对应的智能指针;
更新单元,用于将所述数据类型对应的智能指针更新为指向所述第一数据的智能指针;
设置单元,用于设置所述读智能指针指向所述复制的数据目录。
所述装置还包括:
第一发送模块,用于如果加载成功,则发送加载成功通知消息给所述数据产生源,使所述数据产生源发送所述数据更新请求消息给未请求更新数据的数据管理器;
第二发送模块,用于如果加载失败,则发送加载失败通知消息给所述数据产生源,使所述数据产生源重新产生所述数据类型对应的第一数据并封装成第一文件。
所述装置还包括:
第二接收模块,用于接收所述数据产生源发送的数据更新失败消息,所述数据更新失败消息携带所述数据类型和所述数据类型对应的第二文件的存储地址,所述第二文件包括所述数据类型对应的第二数据,所述第二数据为所述数据产生源在产生所述第一数据之前最近一次产生所述数据类型对应的数据;
第二创建模块,用于根据所述第二文件的存储地址将所述第二数据加载到所述数据管理器的内存中,创建智能指针指向所述第二数据;
第二更新模块,用于将所述数据目录中存储的所述数据类型对应的智能指针更新为指向所述第二数据的智能指针。
所述装置还包括:
第三接收模块,用于接收数据使用方发送的数据请求消息,所述数据请求消息携带待请求的数据的数据类型;
第一获取模块,用于根据所述待请求的数据的数据类型从所述数据目录中获取指向所述待请求的数据的智能指针;
第三发送模块,用于发送指向所述待请求的数据的智能指针给所述数据使用方,使所述数据使用方根据指向所述待请求的数据的智能指针获取所述待请求的数据。
一种更新数据的装置,所述装置包括:
第一产生模块,用于产生某数据类型对应的第一数据并封装成第一文件;
第二获取模块,用于将所述第一文件存储在文件系统中并获取所述第一文件的存储地址;
第四发送模块,用于发送数据更新请求消息给数据管理器,所述数据更新请求消息携带所述数据类型和所述第一文件的存储地址,以请求所述数据管理器更新数据。
所述装置还包括:
第四接收模块,用于接收所述数据管理器发送的加载成功通知消息,发送所述数据更新请求消息给未请求更新数据的数据管理器。
所述装置还包括:
第二产生模块,用于接收所述数据管理器发送的加载失败通知消息,重新产生所述数据类型对应的第一数据并封装成第一文件。
所述装置还包括:
第五发送模块,用于发送数据更新失败消息给已请求更新数据的数据管理器,所述数据更新失败消息携带所述数据类型和所述数据类型对应的第二文件的存储地址,所述第二文件包括所述数据类型对应的第二数据,所述第二数据为所述数据产生源在产生所述第一数据之前最近一次产生所述数据类型对应的数据。
在本发明实施例中,接收数据产生源发送的数据更新请求消息,该数据更新请求消息携带某数据类型和该数据类型对应的第一文件的存储地址,第一文件包括数据产生源产生所述数据类型对应的第一数据,根据第一文件的存储地址将第一数据加载到数据管理器的内存,如果加载成功,则创建智能指针指向第一数据,将数据目录中存储的该数据类型对应的智能指针更新为指向第一数据的智能指针,如此,只需要在内存中存储一份数据,而数据目录中的智能指针的容量都较小,从而减少对内存的消耗。
附图说明
图1是本发明实施例1提供的一种更新数据的方法流程图;
图2是本发明实施例2互联网服务后台的结构示意图;
图3是本发明实施例2提供的一种更新数据的方法流程图;
图4是本发明实施例3提供的一种更新数据的方法流程图;
图5是本发明实施例4提供的一种更新数据的装置结构示意图;
图6是本发明实施例5提供的一种更新数据的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
实施例1
如图1所示,本发明实施例提供了一种更新数据的方法,包括:
步骤101:接收数据产生源发送的数据更新请求消息,该数据更新请求消息携带某数据类型和该数据类型对应的第一文件的存储地址,第一文件包括数据产生源产生该数据类型对应的第一数据;
步骤102:根据第一文件的存储地址将第一数据加载到数据管理器的内存,如果加载成功,则创建智能指针指向第一数据;
步骤103:将数据目录中存储的该数据类型对应的智能指针更新为指向第一数据的智能指针,数据目录用于存储数据类型与智能指针的对应关系。
在本发明实施例中,接收数据产生源发送的数据更新请求消息,该数据更新请求消息携带某数据类型和该数据类型对应的第一文件的存储地址,第一文件包括数据产生源产生所述数据类型对应的第一数据,根据第一文件的存储地址将第一数据加载到数据管理器的内存,如果加载成功,则创建智能指针指向第一数据,将数据目录中存储的该数据类型对应的智能指针更新为指向第一数据的智能指针,如此,只需要在内存中存储一份数据,而数据目录中的智能指针的容量都较小,从而减少对内存的消耗。
实施例2
本发明实施例提供了一种更新数据的方法。
其中,本实施例应用于如图2所示的互联网服务后台,互联网服务后台包括数据产生源、一个或多个数据管理器和一个或多个数据使用方,数据产生源用于产生某数据类型对应的数据,数据管理器用于管理数据产生源产生的数据,数据使用方用于从数据管理器中获取需要使用的数据。
其中,当数据产生源产生某数据类型对应的数据,数据管理器需要通过本实施例提供的方法来将自身存储的该数据类型对应的数据更新该数据类型对应的数据。参见图3,该方法包括:
步骤201:数据产生源产生某数据类型对应的第一文件,第一文件中包括第一数据;
具体地,数据产生源产生某数据类型对应的第一数据,将该数据类型对应的第一数据封装成第一文件。
步骤202:数据产生源将第一文件存储在文件系统中,获取存储第一文件的存储地址;
具体地,数据产生源将第一文件推送给文件系统,文件系统存储第一文件,并将存储第一文件的存储地址发送给数据产生源。
其中,文件系统中还可能存在该数据类型对应的第二文件,第二文件包括第二数据;第二数据为数据产生源在产生第一数据之前最近一次产生该数据类型对应的数据,第二文件为数据产生源将第二数据封装形成的文件。
步骤203:数据产生源发送数据更新请求消息给数据管理器,该数据更新请求消息携带该数据类型和第一文件的存储地址;
其中,数据产生源内预先设置一个或多个数据管理器的地址,数据产生源产生该数据类型对应的第一数据后,首先选择一批数据管理器,根据选择的数据管理器的地址向选择的数据管理器发送数据更新请求消息,以请求选择的数据管理器更新数据。
步骤204:数据管理器接收该数据更新请求消息,根据该数据更新请求消息携带的第一文件的存储地址获取第一文件;
具体地,数据管理器接收该数据更新请求消息,根据该数据更新请求消息携带的第一文件的存储地址,从文件系统中获取第一文件。
其中,在本发明实施例中,数据产生源将该数据类型对应的第一文件存储在文件系统后,发送数据更新请求消息请求数据管理器进行数据更新;现有技术是数据管理器检测数据产生源是否有新数据需要更新,如果有,则从数据产生源拉取新数据并进行数据更新,而数据管理器检测数据产生源是否有新数据需要较长的检测时间,因此本发明实施例相比现有技术可以减少数据产生源产生数据到数据管理器进行数据更新之间的时间差,提高了数据更新的实时性。
步骤205:数据管理器加载第一文件包括的第一数据到内存中,如果加载成功,创建一个智能指针指向第一数据;
具体地,数据管理器根据该数据更新请求消息携带的数据类型,从已存储的数据类型与加载函数的对应关系中获取该数据类型对应的加载函数,通过该数据类型对应的加载函数将第一文件包括的第一数据加载到数据管理器的内存中,如果加载成功,则创建一个智能指针指向第一数据。
其中,每个数据类型对应一个加载函数,对于任一个数据类型,该数据类型对应的加载函数用于将该数据类型的数据加载到数据管理器的内存中。
其中,在本实施例中,事先将每个数据类型和每个数据类型对应的加载函数存储在数据类型与加载函数的对应关系中。
其中,数据管理器通过该数据类型对应的加载函数将第一文件包括的第一数据加载到数据管理器的内存中,且该数据类型对应的加载函数在加载第一文件包括的第一数据时,如果成功地将第一文件包括的第一数据加载到数据管理器的内存中,则该数据类型对应的加载函数向数据管理器返回加载成功消息,如果没有成功地将第一文件包括的第一数据加载到数据管理器的内存中,则该数据类型对应的加载函数向数据管理器返回加载失败消息。
其中,如果数据产生源产生该数据类型对应的第一数据存在问题,例如该数据类型对应的第一数据不完整,则该数据类型对应的加载函数无法成功地将该数据类型对应的第一数据加载到数据管理器的内存中;如果数据产生源产生该数据类型对应的第一数据不存在问题,则该数据类型对应的加载函数能够成功地将该数据类型对应的第一数据加载到数据管理器的内存中。
其中,如果成功地将该数据类型对应的第一数据加载到数据管理器的内存中,则数据管理器发送加载成功通知消息给数据产生源,数据产生源接收加载成功通知消息后再发送数据更新请求消息给其他数据管理器;如果没有成功地将该数据类型对应的第一数据加载到数据管理器的内存中,数据管理器发送加载失败通知消息给数据产生源,数据产生源接收加载失败通知消息后发送数据更新失败消息给数据产生源已请求数据更新的数据管理器,且该数据更新失败消息携带该数据类型和该数据类型对应的第二文件的存储地址。
其中,数据产生源接收加载失败通知消息后重新产生该数据类型对应的第一数据,并将重新产生的第一数据封装成第一文件,将第一文件存储在文件系统,并获取第一文件的存储地址,然后重新发送数据更新请求消息给数据管理器,该数据更新请求消息携带该数据类型和第一文件的存储地址。
其中,在本实施例中,数据产生源每次只向一批数据管理器发送数据更新请求消息,来请求该批数据管理器更新数据,当接收到数据管理器返回的加载成功通知消息,才向下一批数据管理器发送数据更新请求消息,来请求下一批数据管理器更新数据;当接收到数据管理器返回的加载失败通知消息,则重新产生该数据类型对应的第一数据,如此,当数据产生源产生存在问题的数据时,相比目前每个数据管理器同时向数据产生源拉取新数据的方式,本实施例可以避免每个数据管理器都同时获取到存在问题的数据,从而可以避免每个数据管理器因存在问题的数据而导致每个数据管理器服务异常退出。
步骤206:数据管理器对已存储的读智能指针指向的数据目录进行复制,得到复制的数据目录,其中,数据目录用于存储数据的数据类型与智能指针的对应关系;
其中,对于数据目录中的任一个智能指针,该智能指针内包括一个引用次数,该引用次数用于表示当前正在使用该智能指针的使用者的个数。当对读智能指针指向的数据目录进行复制得到复制的数据目录时,此时读智能指针指向的数据目录中包括的每个智能指针都增加了一个使用者,该使用者为复制的数据目录,且读智能指针指向的数据目录中包括的每个智能指针分别增加自身包括的引用次数。
步骤207:数据管理器在复制的数据目录中将该数据更新请求消息携带的数据类型对应的智能指针更新为指向第一数据的智能指针,并设置读智能指针指向复制的数据目录,如此实现更新该数据类型对应的数据;
具体地,根据该数据更新请求消息携带的数据类型从复制的数据目录中获取对应的智能指针,将获取的智能指针更新为指向第一数据的智能指针。
其中,将获取的智能指针更新为第一数据对应的智能指针后,复制的数据目录为第一数据对应的智能指针的一个使用者,且指向第一数据的智能指针增加自身包括的引用次数。
其中,将获取的智能指针更新为拽向第一数据的智能指针后,获取的智能指针就少了一个使用者,所以获取的智能指针会自动地减少自身包括的引用次数,且获取的智能指针判断减少的引用次数是否为零,如果零,则从内存中将自身指向的数据删除。
其中,数据管理器设置读智能指针指向复制的数据目录后,会将该读智能指针指向的原数据目录删除;此时原数据目录包括的智能指针都少了一个使用者,所以原数据目录中包括的每个智能指针分别减少自身包括的引用次数,且原数据目录中包括的智能指针判断减少的引用次数,如果为零,从内存中将自身指向的数据删除。
其中,需要说明的是:当数据管理器接收到数据产生源发送的数据更新失败消息,该数据更新失败消息携带数据类型和该数据类型对应的第二文件的存储地址,数据管理器根据第二文件的存储地址从文件系统中获取第二文件,将第二文件包括的第二数据加载到内存中,创建智能指针指向第二数据,对读智能指针指向的数据目录进行复制,得到复制的数据目录,根据该数据类型从复制的数据目录中查找对应的智能指针,将查找的智能指针更新为指向第二数据的智能指针,设置读智能指针指向复制的数据目录。
其中,当数据使用方需要使用数据时,数据使用方可以通过如下流程来向数据管理器请求待请求的数据,包括:
步骤208:数据管理器接收数据使用方发送的数据请求消息,该数据请求消息携带待请求的数据的数据类型;
其中,当数据使用方需要使用数据时,数据使用方发送数据请求消息给数据管理器,该数据请求消息携带待请求的数据的数据类型。
步骤209:数据管理器根据待请求的数据的数据类型从数据目录中获取指向待请求的数据的智能指针;
具体地,数据管理器查找已存储的读智能指针指向的数据目录,根据待请求的数据的数据类型,从查找的数据目录中获取指向待请求的数据的智能指针。
步骤210:数据管理器将指向待请求的数据的智能指针发送的给数据使用方。
其中,数据使用方接收数据管理器发送的指向待请求的数据的智能指针,根据指向待请求的数据的智能指针从数据管理器中获取待请求的数据;数据使用方当获取到待请求的数据后可以释放指向待请求的数据的智能指针。
其中,当数据使用方接收到指向待请求的数据的智能指针后,指向待请求的数据的智能指针增加自身包括的引用次数;当数据使用方释放指向待请求的数据的智能指针后,指向待请求的数据的智能指针减少自身包括的引用次数。
在本发明实施例中,接收数据产生源发送的数据更新请求消息,该数据更新请求消息携带某数据类型和该数据类型对应的第一文件的存储地址,第一文件包括数据产生源产生所述数据类型对应的第一数据,根据第一文件的存储地址将第一数据加载到数据管理器的内存,如果加载成功,则创建智能指针指向第一数据,将数据目录中存储的该数据类型对应的智能指针更新为指向第一数据的智能指针,如此,只需要在内存中存储一份数据,而数据目录中的智能指针的容量都较小,从而减少对内存的消耗;数据产生源将该数据类型对应的第一文件存储文件系统后,发送数据更新请求消息请求数据管理器进行数据更新;可以减少数据产生源产生数据到数据管理器进行数据更新之间的时间差,提高了数据更新的实时性。
实施例3
如图4所示,本发明实施例提供了一种更新数据的方法,包括:
步骤301:产生某数据类型对应的第一数据并封装成第一文件;
步骤302:将第一文件存储在文件系统中并获取第一文件的存储地址;
步骤303:发送数据更新请求消息给数据管理器,该数据更新请求消息携带该数据类型和第一文件的存储地址,以请求数据管理器更新数据。
在本发明实施例中,将产生某数据类型对应的第一数据并封装成第一文件,该数据类型对应的第一文件存储文件系统后,发送数据更新请求消息请求数据管理器进行数据更新,可以减少产生数据到数据管理器进行数据更新之间的时间差,提高了数据更新的实时性。
实施例4
如图5所示,本发明实施例提供了一种更新数据的装置,包括:
第一接收模块401,用于接收数据产生源发送的数据更新请求消息,该数据更新请求消息携带某数据类型和该数据类型对应的第一文件的存储地址,第一文件包括所述数据产生源产生该数据类型对应的第一数据;
第一创建模块402,用于根据第一文件的存储地址将第一数据加载到数据管理器的内存,如果加载成功,则创建智能指针指向所述第一数据;
第一更新模块403,用于将数据目录中存储的该数据类型对应的智能指针更新为指向第一数据的智能指针,数据目录用于存储数据类型与智能指针的对应关系。
其中,第一创建模块402包括:
获取单元,用于根据第一文件的存储地址,从文件系统中获取第一文件,文件系统用于存储数据产生源产生的文件;
创建单元,用于将第一文件包括的第一数据加载到数据管理器的内存,如果加载成功,创建智能指针指向所述第一数据。
其中,创建单元包括:
获取子单元,用于根据该数据类型,从已存储的数据类型与加载函数的对应关系中获取对应的加载函数;
加载子单元,用于通过获取的加载函数将第一文件包括的第一数据加载到数据管理器的内存中;
创建子单元,用于如果加载成功,则创建智能指针指向第一数据。
其中,更新模块403包括:
复制单元,用于对读智能指针指向的数据目录进行复制,得到复制的数据目录;
查找单元,用于根据该数据类型,从复制的数据目录中查找该数据类型对应的智能指针;
更新单元,用于将该数据类型对应的智能指针更新为指向第一数据的智能指针;
设置单元,用于设置读智能指针指向复制的数据目录。
进一步地,该装置还包括:
第一发送模块,用于如果加载成功,则发送加载成功通知消息给数据产生源,使数据产生源发送数据更新请求消息给未请求更新数据的数据管理器;
第二发送模块,用于如果加载失败,则发送加载失败通知消息给数据产生源,使数据产生源重新产生该数据类型对应的第一数据并封装成第一文件。
地一步地,该装置还包括:
第二接收模块,用于接收数据产生源发送的数据更新失败消息,数据更新失败消息携带该数据类型和该数据类型对应的第二文件的存储地址,第二文件包括该数据类型对应的第二数据,第二数据为数据产生源在产生第一数据之前最近一次产生数据类型对应的数据;
第二创建模块,用于根据第二文件的存储地址将第二数据加载到数据管理器的内存中,创建智能指针指向第二数据;
第二更新模块,用于将数据目录中存储的该数据类型对应的智能指针更新为指向第二数据的智能指针。
进一步地,该装置还包括:
第三接收模块,用于接收数据使用方发送的数据请求消息,该数据请求消息携带待请求的数据的数据类型;
第一获取模块,用于根据待请求的数据的数据类型从数据目录中获取指向待请求的数据的智能指针;
第三发送模块,用于发送指向待请求的数据的智能指针给数据使用方,使数据使用方根据指向待请求的数据的智能指针获取待请求的数据。
在本发明实施例中,接收数据产生源发送的数据更新请求消息,该数据更新请求消息携带某数据类型和该数据类型对应的第一文件的存储地址,第一文件包括数据产生源产生所述数据类型对应的第一数据,根据第一文件的存储地址将第一数据加载到数据管理器的内存,如果加载成功,则创建智能指针指向第一数据,将数据目录中存储的该数据类型对应的智能指针更新为指向第一数据的智能指针,如此,只需要在内存中存储一份数据,而数据目录中的智能指针的容量都较小,从而减少对内存的消耗。
实施例5
如图6所示,本发明实施例提供了一种更新数据的装置,包括:
第一产生模块501,用于产生某数据类型对应的第一数据并封装成第一文件;
第二获取模块502,用于将第一文件存储在文件系统中并获取第一文件的存储地址;
第四发送模块503,用于发送数据更新请求消息给数据管理器,该数据更新请求消息携带该数据类型和第一文件的存储地址,以请求数据管理器更新数据。
进一步地,该装置还包括:
第四接收模块,用于接收数据管理器发送的加载成功通知消息,发送该数据更新请求消息给未请求更新数据的数据管理器。
进一步地,该装置还包括:
第二产生模块,用于接收数据管理器发送的加载失败通知消息,重新产生该数据类型对应的第一数据并封装成第一文件。
进一步地,该装置还包括:
第五发送模块,用于发送数据更新失败消息给已请求更新数据的数据管理器,该数据更新失败消息携带该数据类型和该数据类型对应的第二文件,第二文件包括该数据类型对应的第二数据,第二数据为数据产生源在产生第一数据之前最近一次产生数据类型对应的数据。
在本发明实施例中,将产生某数据类型对应的第一数据并封装成第一文件,该数据类型对应的第一文件存储文件系统后,发送数据更新请求消息请求数据管理器进行数据更新,可以减少产生数据到数据管理器进行数据更新之间的时间差,提高了数据更新的实时性。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (22)

1.一种更新数据的方法,其特征在于,所述方法包括:
接收数据产生源发送的数据更新请求消息,所述数据更新请求消息携带某数据类型和所述数据类型对应的第一文件的存储地址,所述第一文件包括所述数据产生源产生所述数据类型对应的第一数据;
根据所述第一文件的存储地址将所述第一数据加载到数据管理器的内存,如果加载成功,则创建智能指针指向所述第一数据;
将数据目录中存储的所述数据类型对应的智能指针更新为指向所述第一数据的智能指针,所述数据目录用于存储数据类型与智能指针的对应关系。
2.如权利要求1所述的方法,其特征在于,所述根据所述第一文件的存储地址将所述第一数据加载到数据管理器的内存,如果加载成功,则创建智能指针指向所述第一数据,包括:
根据所述第一文件的存储地址,从文件系统中获取所述第一文件,所述文件系统用于存储所述数据产生源产生的文件;
将所述第一文件包括的第一数据加载到数据管理器的内存,如果加载成功,创建智能指针指向所述第一数据。
3.如权利要求2所述的方法,其特征在于,所述将所述第一文件包括的第一数据加载到数据管理器的内存,如果加载成功,创建智能指针指向所述第一数据,包括:
根据所述数据类型,从已存储的数据类型与加载函数的对应关系中获取对应的加载函数;
通过所述获取的加载函数将所述第一文件包括的第一数据加载到数据管理器的内存中;
如果加载成功,则创建智能指针指向所述第一数据。
4.如权利要求1所述的方法,其特征在于,所述将数据目录中存储的所述数据类型对应的智能指针更新为指向所述第一数据的智能指针,包括:
对读智能指针指向的数据目录进行复制,得到复制的数据目录;
根据所述数据类型,从所述复制的数据目录中查找所述数据类型对应的智能指针;
将所述数据类型对应的智能指针更新为指向所述第一数据的智能指针;
设置所述读智能指针指向所述复制的数据目录。
5.如权利要求1所述的方法,其特征在于,所述根据所述第一文件的存储地址将所述第一数据加载到数据管理器的内存之后,还包括:
如果加载成功,则发送加载成功通知消息给所述数据产生源,使所述数据产生源发送所述数据更新请求消息给未请求更新数据的数据管理器;
如果加载失败,则发送加载失败通知消息给所述数据产生源,使所述数据产生源重新产生所述数据类型对应的第一数据并封装成第一文件。
6.如权利要求5所述的方法,其特征在于,所述发送加载失败通知消息给所述数据产生源之后,还包括:
接收所述数据产生源发送的数据更新失败消息,所述数据更新失败消息携带所述数据类型和所述数据类型对应的第二文件的存储地址,所述第二文件包括所述数据类型对应的第二数据,所述第二数据为所述数据产生源在产生所述第一数据之前最近一次产生所述数据类型对应的数据;
根据所述第二文件的存储地址将所述第二数据加载到所述数据管理器的内存中,创建智能指针指向所述第二数据;
将所述数据目录中存储的所述数据类型对应的智能指针更新为指向所述第二数据的智能指针。
7.如权利要求1至6任一项权利要求所述的方法,其特征在于,所述方法还包括:
接收数据使用方发送的数据请求消息,所述数据请求消息携带待请求的数据的数据类型;
根据所述待请求的数据的数据类型从所述数据目录中获取指向所述待请求的数据的智能指针;
发送指向所述待请求的数据的智能指针给所述数据使用方,使所述数据使用方根据指向所述待请求的数据的智能指针获取所述待请求的数据。
8.一种更新数据的方法,其特征在于,所述方法包括:
产生某数据类型对应的第一数据并封装成第一文件;
将所述第一文件存储在文件系统中并获取所述第一文件的存储地址;
发送数据更新请求消息给数据管理器,所述数据更新请求消息携带所述数据类型和所述第一文件的存储地址,以请求所述数据管理器更新数据。
9.如权利要求8所述的方法,其特征在于,所述发送数据更新请求消息给数据管理器之后,还包括:
接收所述数据管理器发送的加载成功通知消息,发送所述数据更新请求消息给未请求更新数据的数据管理器。
10.如权利要求8所述的方法,其特征在于,所述发送数据更新请求消息给数据管理器之后,还包括:
接收所述数据管理器发送的加载失败通知消息,重新产生所述数据类型对应的第一数据并封装成第一文件。
11.如权利要求10所述的方法,其特征在于,所述接收所述数据管理器发送的加载失败通知消息之后,还包括:
发送数据更新失败消息给已请求更新数据的数据管理器,所述数据更新失败消息携带所述数据类型和所述数据类型对应的第二文件的存储地址,所述第二文件包括所述数据类型对应的第二数据,所述第二数据为所述数据产生源在产生所述第一数据之前最近一次产生所述数据类型对应的数据。
12.一种更新数据的装置,其特征在于,所述装置包括:
第一接收模块,用于接收数据产生源发送的数据更新请求消息,所述数据更新请求消息携带某数据类型和所述数据类型对应的第一文件的存储地址,所述第一文件包括所述数据产生源产生所述数据类型对应的第一数据;
第一创建模块,用于根据所述第一文件的存储地址将所述第一数据加载到数据管理器的内存,如果加载成功,则创建智能指针指向所述第一数据;
第一更新模块,用于将数据目录中存储的所述数据类型对应的智能指针更新为指向所述第一数据的智能指针,所述数据目录用于存储数据类型与智能指针的对应关系。
13.如权利要求12所述的装置,其特征在于,所述第一创建模块包括:
获取单元,用于根据所述第一文件的存储地址,从文件系统中获取所述第一文件,所述文件系统用于存储所述数据产生源产生的文件;
创建单元,用于将所述第一文件包括的第一数据加载到数据管理器的内存,如果加载成功,创建智能指针指向所述第一数据。
14.如权利要求13所述的装置,其特征在于,所述创建单元包括:
获取子单元,用于根据所述数据类型,从已存储的数据类型与加载函数的对应关系中获取对应的加载函数;
加载子单元,用于通过所述获取的加载函数将所述第一文件包括的第一数据加载到数据管理器的内存中;
创建子单元,用于如果加载成功,则创建智能指针指向所述第一数据。
15.如权利要求12所述的装置,其特征在于,所述更新模块包括:
复制单元,用于对读智能指针指向的数据目录进行复制,得到复制的数据目录;
查找单元,用于根据所述数据类型,从所述复制的数据目录中查找所述数据类型对应的智能指针;
更新单元,用于将所述数据类型对应的智能指针更新为指向所述第一数据的智能指针;
设置单元,用于设置所述读智能指针指向所述复制的数据目录。
16.如权利要求12所述的装置,其特征在于,所述装置还包括:
第一发送模块,用于如果加载成功,则发送加载成功通知消息给所述数据产生源,使所述数据产生源发送所述数据更新请求消息给未请求更新数据的数据管理器;
第二发送模块,用于如果加载失败,则发送加载失败通知消息给所述数据产生源,使所述数据产生源重新产生所述数据类型对应的第一数据并封装成第一文件。
17.如权利要求16所述的装置,其特征在于,所述装置还包括:
第二接收模块,用于接收所述数据产生源发送的数据更新失败消息,所述数据更新失败消息携带所述数据类型和所述数据类型对应的第二文件的存储地址,所述第二文件包括所述数据类型对应的第二数据,所述第二数据为所述数据产生源在产生所述第一数据之前最近一次产生所述数据类型对应的数据;
第二创建模块,用于根据所述第二文件的存储地址将所述第二数据加载到所述数据管理器的内存中,创建智能指针指向所述第二数据;
第二更新模块,用于将所述数据目录中存储的所述数据类型对应的智能指针更新为指向所述第二数据的智能指针。
18.如权利要求12至17任一项权利要求所述的装置,其特征在于,所述装置还包括:
第三接收模块,用于接收数据使用方发送的数据请求消息,所述数据请求消息携带待请求的数据的数据类型;
第一获取模块,用于根据所述待请求的数据的数据类型从所述数据目录中获取指向所述待请求的数据的智能指针;
第三发送模块,用于发送指向所述待请求的数据的智能指针给所述数据使用方,使所述数据使用方根据指向所述待请求的数据的智能指针获取所述待请求的数据。
19.一种更新数据的装置,其特征在于,所述装置包括:
第一产生模块,用于产生某数据类型对应的第一数据并封装成第一文件;
第二获取模块,用于将所述第一文件存储在文件系统中并获取所述第一文件的存储地址;
第四发送模块,用于发送数据更新请求消息给数据管理器,所述数据更新请求消息携带所述数据类型和所述第一文件的存储地址,以请求所述数据管理器更新数据。
20.如权利要求19所述的装置,其特征在于,所述装置还包括:
第四接收模块,用于接收所述数据管理器发送的加载成功通知消息,发送所述数据更新请求消息给未请求更新数据的数据管理器。
21.如权利要求19所述的装置,其特征在于,所述装置还包括:
第二产生模块,用于接收所述数据管理器发送的加载失败通知消息,重新产生所述数据类型对应的第一数据并封装成第一文件。
22.如权利要求21所述的装置,其特征在于,所述装置还包括:
第五发送模块,用于发送数据更新失败消息给已请求更新数据的数据管理器,所述数据更新失败消息携带所述数据类型和所述数据类型对应的第二文件的存储地址,所述第二文件包括所述数据类型对应的第二数据,所述第二数据为所述数据产生源在产生所述第一数据之前最近一次产生所述数据类型对应的数据。
CN201210370367.3A 2012-09-28 2012-09-28 一种更新数据的方法及装置 Active CN103714059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210370367.3A CN103714059B (zh) 2012-09-28 2012-09-28 一种更新数据的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210370367.3A CN103714059B (zh) 2012-09-28 2012-09-28 一种更新数据的方法及装置

Publications (2)

Publication Number Publication Date
CN103714059A true CN103714059A (zh) 2014-04-09
CN103714059B CN103714059B (zh) 2019-01-29

Family

ID=50407049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210370367.3A Active CN103714059B (zh) 2012-09-28 2012-09-28 一种更新数据的方法及装置

Country Status (1)

Country Link
CN (1) CN103714059B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740409A (zh) * 2016-01-29 2016-07-06 深圳市美贝壳科技有限公司 一种触发刷新缓存数据显示的方法
CN106325821A (zh) * 2015-07-07 2017-01-11 Tcl集团股份有限公司 一种指针管理方法及装置
CN109067562A (zh) * 2018-06-27 2018-12-21 武汉斗鱼网络科技有限公司 基于智能指针的动态配置更新方法及系统、服务器及介质
CN111949296A (zh) * 2020-08-07 2020-11-17 北京字节跳动网络技术有限公司 一种数据更新方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1632765A (zh) * 2004-12-31 2005-06-29 大唐微电子技术有限公司 一种闪存文件系统管理方法
CN101122885A (zh) * 2007-09-11 2008-02-13 腾讯科技(深圳)有限公司 一种数据缓存处理方法、系统及数据缓存装置
CN102024051A (zh) * 2010-12-17 2011-04-20 北京世纪互联工程技术服务有限公司 分布式内存数据库数据更新方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1632765A (zh) * 2004-12-31 2005-06-29 大唐微电子技术有限公司 一种闪存文件系统管理方法
CN101122885A (zh) * 2007-09-11 2008-02-13 腾讯科技(深圳)有限公司 一种数据缓存处理方法、系统及数据缓存装置
CN102024051A (zh) * 2010-12-17 2011-04-20 北京世纪互联工程技术服务有限公司 分布式内存数据库数据更新方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106325821A (zh) * 2015-07-07 2017-01-11 Tcl集团股份有限公司 一种指针管理方法及装置
CN106325821B (zh) * 2015-07-07 2018-11-06 Tcl集团股份有限公司 一种指针管理方法及装置
CN105740409A (zh) * 2016-01-29 2016-07-06 深圳市美贝壳科技有限公司 一种触发刷新缓存数据显示的方法
CN109067562A (zh) * 2018-06-27 2018-12-21 武汉斗鱼网络科技有限公司 基于智能指针的动态配置更新方法及系统、服务器及介质
CN109067562B (zh) * 2018-06-27 2021-07-30 武汉斗鱼网络科技有限公司 基于智能指针的动态配置更新方法及系统、服务器及介质
CN111949296A (zh) * 2020-08-07 2020-11-17 北京字节跳动网络技术有限公司 一种数据更新方法及装置

Also Published As

Publication number Publication date
CN103714059B (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
CN106708653B (zh) 一种基于纠删码与多副本的混合税务大数据安全保护方法
US20140181035A1 (en) Data management method and information processing apparatus
CN103812849A (zh) 一种本地缓存更新方法、系统、客户端及服务器
CN103095686B (zh) 热点元数据访问控制方法和服务器
JP2005276192A (ja) データ記憶容量を増大させるための方法及び装置
CN103392167A (zh) 分布式存储系统的缓存方法、节点和计算机可读介质
CN102265277A (zh) 数据存储系统的操作方法和装置
CN105556488A (zh) 存储器高速缓存的动态大小调整
CN108989432B (zh) 用户态的文件发送方法、文件接收方法和文件收发装置
CN103164523A (zh) 数据一致性检查方法、装置及系统
EP4213038A1 (en) Data processing method and apparatus based on distributed storage, device, and medium
CN113190384B (zh) 基于纠删码的数据恢复控制方法、装置、设备及介质
CN105095495B (zh) 一种分布式文件系统缓存管理方法和系统
CN103677674A (zh) 一种数据处理方法及装置
CN111416825A (zh) 线程间无锁日志管理方法和系统、终端、存储介质
CN108829342B (zh) 一种日志存储方法、系统及存储装置
CN103714059A (zh) 一种更新数据的方法及装置
CN115061630A (zh) 一种数据迁移方法、装置、设备及介质
CN110781137A (zh) 分布式系统的目录读取方法、装置、服务器和存储介质
CN111399753A (zh) 写入图片的方法和装置
CN104517067A (zh) 访问数据的方法、装置及系统
CN117492661A (zh) 数据写入方法、介质、装置和计算设备
CN116483543A (zh) 一种任务处理方法、装置、设备及存储介质
CN105068760A (zh) 数据存储方法、数据存储装置和存储设备
CN111694806A (zh) 一种事务日志的缓存方法、装置、设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190729

Address after: 518000 Guangdong city of Shenzhen province Futian District SEG Science Park 2 East Room 403

Co-patentee after: Tencent cloud computing (Beijing) limited liability company

Patentee after: Tencent Technology (Shenzhen) Co., Ltd.

Address before: 518000 Guangdong city of Shenzhen province Futian District SEG Science Park 2 East Room 403

Patentee before: Tencent Technology (Shenzhen) Co., Ltd.

TR01 Transfer of patent right