CN103841168B - 数据副本更新方法及元数据服务器 - Google Patents
数据副本更新方法及元数据服务器 Download PDFInfo
- Publication number
- CN103841168B CN103841168B CN201210490832.7A CN201210490832A CN103841168B CN 103841168 B CN103841168 B CN 103841168B CN 201210490832 A CN201210490832 A CN 201210490832A CN 103841168 B CN103841168 B CN 103841168B
- Authority
- CN
- China
- Prior art keywords
- data
- metadata
- liveness
- trnascription
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据副本更新方法及元数据服务器,数据副本更新方法包括:接收客户端发送的数据更新请求,并根据数据更新请求查询待更新的数据副本对应的元数据的活跃度;将元数据的活跃度与预设的活跃度阈值进行比较,如果超过预设的活跃度阈值,则为元数据对应的数据模块设置代表较高优先级的更新标记;查看元数据对应的数据模块的更新标记,如果更新标记所代表的优先级高于当前处理优先级,则查找元数据对应的数据模块的各个数据副本;按照各个数据副本的活跃度的大小顺序更新各个数据副本。本发明将元数据和对应的数据副本的活跃度作为优先更新的依据,使得被频繁访问的数据模块可以被及时的同步更新,从而不影响访问者获得数据的及时性。
Description
技术领域
本发明涉及云计算海量存储应用领域,尤其涉及一种数据副本更新方法及元数据服务器。
背景技术
在当今的信息社会,每天都产生大量的需要保存的数据,这使得云计算海量存储系统称为当前研究和应用中的热点问题。对于云计算平台的海量数据存储系统来说,其保存了大量的数据,并提供这些数据的访问接口,用户可以通过访问这些接口来进行数据读取和数据写入。
当云计算平台的海量数据存储系统中的数据被频繁访问时,原始数据会被复制出多个数据副本以提供给访问者。访问者可以对其所获取到的数据副本执行写入的更新操作。当这些数据副本被多次读写时,如果需要对某个数据副本更新,那么其他的数据副本也需要进行同步更新,而数据副本的同步更新则会耗费很多的时间,进而影响访问者获得数据的及时性。但目前尚缺乏能够及时更新数据副本的机制。
发明内容
本发明的目的是提出一种数据副本更新方法及元数据服务器,能够在海量数据存储体系中实现数据副本的及时更新。
为实现上述目的,本发明提供了一种数据副本更新方法,包括:
接收客户端发送的数据更新请求,并根据所述数据更新请求查询待更新的数据副本对应的元数据的活跃度;
将所述元数据的活跃度与预设的活跃度阈值进行比较,如果超过所述预设的活跃度阈值,则为所述元数据对应的数据模块设置代表较高优先级的更新标记;
查看所述元数据对应的数据模块的更新标记,如果所述更新标记所代表的优先级高于当前处理优先级,则查找所述元数据对应的数据模块的各个数据副本;
按照所述各个数据副本的活跃度的大小顺序更新所述各个数据副本。
进一步的,在接收到所述客户端发出的数据访问请求时,还包括:
查找希望访问的数据的元数据,并根据所述元数据查找对应的数据副本;
根据访问的频度计算所述元数据和数据副本的活跃度。
进一步的,如果所述元数据的活跃度未超过所述预设的活跃度阈值,则为所述元数据对应的数据模块设置代表较低优先级的更新标记。
进一步的,如果所述更新标记所代表的优先级未高于当前处理优先级,则暂不处理所述元数据对应的数据模块的更新。
进一步的,所述元数据和数据副本的活跃度采用以下公式进行计算:
其中,A表示元数据或数据副本的活跃度,fr表示元数据或数据副本在单位时间被访问的次数,t为当前时间,tc是元数据或数据副本创建的时间,t和tc均以天为计算单位。
为实现上述目的,本发明提供了一种实现数据副本更新的元数据服务器,包括:
活跃度查询模块,用于接收客户端发送的数据更新请求,并根据所述数据更新请求查询待更新的数据副本对应的元数据的活跃度;
优先级标记模块,用于将所述元数据的活跃度与预设的活跃度阈值进行比较,如果超过所述预设的活跃度阈值,则为所述元数据对应的数据模块设置代表较高优先级的更新标记;
数据更新模块,用于查看所述元数据对应的数据模块的更新标记,如果所述更新标记所代表的优先级高于当前处理优先级,则查找所述元数据对应的数据模块的各个数据副本,并按照所述各个数据副本的活跃度的大小顺序更新所述各个数据副本。
进一步的,还包括:
数据查找模块,用于在接收到所述客户端发出的数据访问请求时,查找希望访问的数据的元数据,并根据所述元数据查找对应的数据副本;
活跃度计算模块,用于根据访问的频度计算所述元数据和数据副本的活跃度。
进一步的,所述优先级标记模块还用于在所述元数据的活跃度未超过所述预设的活跃度阈值时,为所述元数据对应的数据模块设置代表较低优先级的更新标记。
进一步的,所述数据更新模块还用于在所述更新标记所代表的优先级未高于当前处理优先级时,暂不处理所述元数据对应的数据模块的更新。
进一步的,所述活跃度计算模块中元数据和数据副本的活跃度采用以下公式进行计算:
其中,A表示元数据或数据副本的活跃度,fr表示元数据或数据副本在单位时间被访问的次数,t为当前时间,tc是元数据或数据副本创建的时间,t和tc均以天为计算单位。
基于上述技术方案,本发明将元数据和对应的数据副本的活跃度作为优先更新的依据,对元数据对应的数据模块设置优先级的更新标记,并在更新过程中按照标记的优先级高低来进行元数据对应的数据副本的更新,而在同一个元数据对应的多个数据副本来说,则按照数据副本的活跃度大小依次进行更新。这样就使得被频繁访问的数据副本可以被及时的同步更新,从而不影响访问者获得数据的及时性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为应用本发明元数据服务器实施例的元计算平台的海量数据存储系统的示意图。
图2为本发明数据副本更新方法的一实施例的流程示意图。
图3为本发明数据副本更新方法的另一实施例的流程示意图。
图4为本发明元数据服务器的一实施例的结构示意图。
图5为本发明元数据服务器的另一实施例的结构示意图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
如图1所示,为应用本发明元数据服务器实施例的元计算平台的海量数据存储系统的示意图。在元计算平台的海量数据存储系统中,客户端1可以访问元数据服务器2,元数据服务器2中保存有元数据,即数据模块的描述信息,而数据模块由多个数据的复制版本,即数据副本3构成。客户端1可以对希望获取的数据的复制版本进行读写操作,当用户通过客户端1对数据副本3进行写操作时,需要对其他的数据副本3也进行更新。
基于上述系统,图2给出了本发明数据副本更新方法的一实施例的流程示意图。在本实施例中,数据副本更新方法包括:
步骤101、接收客户端发送的数据更新请求,并根据所述数据更新请求查询待更新的数据副本对应的元数据的活跃度;
步骤102、将所述元数据的活跃度与预设的活跃度阈值进行比较,如果超过所述预设的活跃度阈值,则为所述元数据对应的数据模块设置代表较高优先级的更新标记;
步骤103、查看所述元数据对应的数据模块的更新标记,如果所述更新标记所代表的优先级高于当前处理优先级,则查找所述元数据对应的数据模块的各个数据副本;
步骤104、按照所述各个数据副本的活跃度的大小顺序更新所述各个数据副本。
在上述技术方案中,活跃度是数据更新的优先程度的依据,而活跃度是由时间与访问频率两方面因素所影响的,如果某个数据被创建的时间比较新,或者某个数据单位时间里被访问的次数较多,则认为其活跃度较高,反之,如果某个数据属于比较老且很少被访问的数据,则认为其活跃度较低。
对于活跃度较高的元数据,则对其设置较高优先级的更新标记,以便在实际更新时能够及时对其对应的数据副本进行更新,而对于活跃度较低的元数据,则对其设置较低优先级的更新标记,当优先级较高的元数据对应的数据副本更新完毕后,则可以对这些优先级较低的元数据对应的数据副本进行更新。而由于这些数据副本被访问的频率较低,因此对用户的影响也比较小。
在对于某个待更新的元数据的数据副本来说,更新顺序可以根据数据副本的活跃度的大小顺序来安排,这样就可以使访问最频繁的数据副本最先被更新,从而满足用户的访问及时性需求。
在步骤103中,如果所述更新标记所代表的优先级未高于当前处理优先级,则暂不处理所述元数据对应的数据模块的更新,等到较高优先级的元数据对应的数据模块更新完毕后,再进行这些元数据对应的数据模块的更新。
如图3所示,为本发明数据副本更新方法的另一实施例的流程示意图。与上一实施例相比,本实施例在步骤201接收到所述客户端发出的数据访问请求时,还包括以下步骤:
步骤202、查找希望访问的数据的元数据,并根据所述元数据查找对应的数据副本;
步骤203、根据访问的频度计算所述元数据和数据副本的活跃度。
元数据和数据副本的活跃度计算均可以采用以下公式进行计算:
其中,A表示元数据或数据副本的活跃度,fr表示元数据或数据副本在单位时间被访问的次数,t为当前时间,tc是元数据或数据副本创建的时间,t和tc均以天为计算单位。
上面所示的公式只是一个说明性示例,其他利用时间和访问频率,且能够体现出时间和/或访问频率对活跃度的影响的公式也同样适用于本发明,这里就不再一一举例了。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图4所示,为本发明元数据服务器的一实施例的结构示意图。在本实施例中,实现数据副本更新的元数据服务器包括:活跃度查询模块21、优先级标记模块22和数据更新模块23。
活跃度查询模块21负责接收客户端发送的数据更新请求,并根据所述数据更新请求查询待更新的数据副本对应的元数据的活跃度。优先级标记模块22负责将所述元数据的活跃度与预设的活跃度阈值进行比较,如果超过所述预设的活跃度阈值,则为所述元数据对应的数据模块设置代表较高优先级的更新标记。优先级标记模块22还可以在所述元数据的活跃度未超过所述预设的活跃度阈值时,为所述元数据对应的数据模块设置代表较低优先级的更新标记。
数据更新模块23负责查看所述元数据对应的数据模块的更新标记,如果所述更新标记所代表的优先级高于当前处理优先级,则查找所述元数据对应的数据模块的各个数据副本,并按照所述各个数据副本的活跃度的大小顺序更新所述各个数据副本。数据更新模块23还可以在所述更新标记所代表的优先级未高于当前处理优先级时,暂不处理所述元数据对应的数据模块的更新。
如图5所示,为本发明元数据服务器的另一实施例的结构示意图。与上一实施例相比,本实施例还包括了数据查找模块24和活跃度计算模块25。其中,数据查找模块24负责在接收到所述客户端发出的数据访问请求时,查找希望访问的数据的元数据,并根据所述元数据查找对应的数据副本。活跃度计算模块25负责根据访问的频度计算所述元数据和数据副本的活跃度。
活跃度计算模块中元数据和数据副本的活跃度可以采用以下公式进行计算:
其中,A表示元数据或数据副本的活跃度,fr表示元数据或数据副本在单位时间被访问的次数,t为当前时间,tc是元数据或数据副本创建的时间,t和tc均以天为计算单位。
通过上述数据副本更新方法及元数据服务器实施例,可以看出本发明可以实现被频繁访问的数据副本的及时同步更新,使访问者可以及时获得更新后的数据,尤其对现有云计算平台的各类行业应用例如政务舆情监测、中小企业经营等所采用的海量数据存储提供合理有效的同步更新机制。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制;尽管参照较佳实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换;而不脱离本发明技术方案的精神,其均应涵盖在本发明请求保护的技术方案范围当中。
Claims (10)
1.一种数据副本更新方法,包括:
接收客户端发送的数据更新请求,并根据所述数据更新请求查询待更新的数据副本对应的元数据的活跃度;
将所述元数据的活跃度与预设的活跃度阈值进行比较,如果超过所述预设的活跃度阈值,则为所述元数据对应的数据模块设置代表较高优先级的更新标记;
查看所述元数据对应的数据模块的更新标记,如果所述更新标记所代表的优先级高于当前处理优先级,则查找所述元数据对应的数据模块的各个数据副本;
按照所述各个数据副本的活跃度的大小顺序更新所述各个数据副本。
2.根据权利要求1所述的数据副本更新方法,其中在接收到所述客户端发出的数据访问请求时,还包括:
查找希望访问的数据的元数据,并根据所述元数据查找对应的数据副本;
根据访问的频度计算所述元数据和数据副本的活跃度。
3.根据权利要求2所述的数据副本更新方法,其中如果所述元数据的活跃度未超过所述预设的活跃度阈值,则为所述元数据对应的数据模块设置代表较低优先级的更新标记。
4.根据权利要求2所述的数据副本更新方法,其中如果所述更新标记所代表的优先级未高于当前处理优先级,则暂不处理所述元数据对应的数据模块的更新。
5.根据权利要求2所述的数据副本更新方法,其中所述元数据和数据副本的活跃度采用以下公式进行计算:
<mrow>
<mi>A</mi>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>f</mi>
<mi>r</mi>
</msub>
</mfrac>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>t</mi>
<mo>-</mo>
<msub>
<mi>t</mi>
<mi>c</mi>
</msub>
</mrow>
</mfrac>
</mrow>
其中,A表示元数据或数据副本的活跃度,fr表示元数据或数据副本在单位时间被访问的次数,t为当前时间,tc是元数据或数据副本创建的时间,t和tc均以天为计算单位。
6.一种实现数据副本更新的元数据服务器,包括:
活跃度查询模块,用于接收客户端发送的数据更新请求,并根据所述数据更新请求查询待更新的数据副本对应的元数据的活跃度;
优先级标记模块,用于将所述元数据的活跃度与预设的活跃度阈值进行比较,如果超过所述预设的活跃度阈值,则为所述元数据对应的数据模块设置代表较高优先级的更新标记;
数据更新模块,用于查看所述元数据对应的数据模块的更新标记,如果所述更新标记所代表的优先级高于当前处理优先级,则查找所述元数据对应的数据模块的各个数据副本,并按照所述各个数据副本的活跃度的大小顺序更新所述各个数据副本。
7.根据权利要求6所述的元数据服务器,其中还包括:
数据查找模块,用于在接收到所述客户端发出的数据访问请求时,查找希望访问的数据的元数据,并根据所述元数据查找对应的数据副本;
活跃度计算模块,用于根据访问的频度计算所述元数据和数据副本的活跃度。
8.根据权利要求7所述的元数据服务器,其中所述优先级标记模块还用于在所述元数据的活跃度未超过所述预设的活跃度阈值时,为所述元数据对应的数据模块设置代表较低优先级的更新标记。
9.根据权利要求7所述的元数据服务器,其中所述数据更新模块还用于在所述更新标记所代表的优先级未高于当前处理优先级时,暂不处理所述元数据对应的数据模块的更新。
10.根据权利要求7所述的元数据服务器,其中所述活跃度计算模块中元数据和数据副本的活跃度采用以下公式进行计算:
<mrow>
<mi>A</mi>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>f</mi>
<mi>r</mi>
</msub>
</mfrac>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>t</mi>
<mo>-</mo>
<msub>
<mi>t</mi>
<mi>c</mi>
</msub>
</mrow>
</mfrac>
</mrow>
其中,A表示元数据或数据副本的活跃度,fr表示元数据或数据副本在单位时间被访问的次数,t为当前时间,tc是元数据或数据副本创建的时间,t和tc均以天为计算单位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210490832.7A CN103841168B (zh) | 2012-11-27 | 2012-11-27 | 数据副本更新方法及元数据服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210490832.7A CN103841168B (zh) | 2012-11-27 | 2012-11-27 | 数据副本更新方法及元数据服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103841168A CN103841168A (zh) | 2014-06-04 |
CN103841168B true CN103841168B (zh) | 2017-09-29 |
Family
ID=50804294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210490832.7A Active CN103841168B (zh) | 2012-11-27 | 2012-11-27 | 数据副本更新方法及元数据服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103841168B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106453597B (zh) * | 2016-10-25 | 2019-08-06 | Oppo广东移动通信有限公司 | 数据同步周期的调整方法、装置及系统 |
CN108122129B (zh) * | 2017-12-01 | 2022-02-22 | 上海子午线新荣科技有限公司 | 一种数据处理方法、装置及电子设备 |
CN112839067B (zh) * | 2019-11-22 | 2022-07-22 | 腾讯科技(深圳)有限公司 | 一种数据同步方法及装置 |
CN113487278B (zh) * | 2021-07-02 | 2023-05-09 | 深圳市顿泽慧科技有限公司 | 一种基于物联网的企业协同办公系统 |
CN113726845A (zh) * | 2021-07-14 | 2021-11-30 | 深圳市有为信息技术发展有限公司 | 车载终端的数据传输方法、装置、车载终端和商用车辆 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5761678A (en) * | 1996-06-26 | 1998-06-02 | International Business Machines Corporation | Creation of clone storage area with identification of base storage area and deferred cloning of metadata |
CN102035884B (zh) * | 2010-12-03 | 2013-01-23 | 华中科技大学 | 一种云存储系统及其数据部署方法 |
-
2012
- 2012-11-27 CN CN201210490832.7A patent/CN103841168B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN103841168A (zh) | 2014-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10831779B2 (en) | Seamless data migration across databases | |
US8555018B1 (en) | Techniques for storing data | |
US20160203135A1 (en) | In-memory latch-free index structure | |
CN103136243B (zh) | 基于云存储的文件系统去重方法及装置 | |
US9418094B2 (en) | Method and apparatus for performing multi-stage table updates | |
US9996557B2 (en) | Database storage system based on optical disk and method using the system | |
CN103841168B (zh) | 数据副本更新方法及元数据服务器 | |
CN110321344A (zh) | 关联数据的信息查询方法、装置、计算机设备及存储介质 | |
US20130117227A1 (en) | Cache based key-value store mapping and replication | |
CN102272751B (zh) | 在数据库环境通过背景同步的数据完整性 | |
CN103530387A (zh) | 一种hdfs针对小文件的改进方法 | |
CN104657500A (zh) | 一种基于key-value键值对的分布式存储方法 | |
CN103186622B (zh) | 一种全文检索系统中索引信息的更新方法以及装置 | |
US11048423B2 (en) | Method and system for synchronizing requests related to key-value storage having different portions | |
CN103425785A (zh) | 数据存储系统及其用户数据存储、读取方法 | |
CN102651008A (zh) | 在关系数据库中组织数据记录的方法和设备 | |
CN109189772A (zh) | 用于无文件系统存储介质的文件管理方法及系统 | |
CN102023816A (zh) | 一种对象存储系统的对象存放策略和访问方法 | |
US11748357B2 (en) | Method and system for searching a key-value storage | |
CN104536908B (zh) | 一种面向单机的海量小记录高效存储管理方法 | |
CN101963993B (zh) | 一种数据库单表记录快速查找的方法 | |
CN110134681A (zh) | 数据存储与查询方法、装置、计算机设备及存储介质 | |
CN105138649A (zh) | 数据的搜索方法、装置及终端 | |
CN107402982A (zh) | 数据写入、数据匹配方法、装置及计算设备 | |
CN113918535A (zh) | 一种数据读取方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |