CN108153492B - 数据处理方法、系统和电子设备 - Google Patents

数据处理方法、系统和电子设备 Download PDF

Info

Publication number
CN108153492B
CN108153492B CN201711416752.6A CN201711416752A CN108153492B CN 108153492 B CN108153492 B CN 108153492B CN 201711416752 A CN201711416752 A CN 201711416752A CN 108153492 B CN108153492 B CN 108153492B
Authority
CN
China
Prior art keywords
data
processing
predetermined operation
read
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711416752.6A
Other languages
English (en)
Other versions
CN108153492A (zh
Inventor
雷明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201711416752.6A priority Critical patent/CN108153492B/zh
Publication of CN108153492A publication Critical patent/CN108153492A/zh
Application granted granted Critical
Publication of CN108153492B publication Critical patent/CN108153492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/064Management of blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656Data buffering arrangements

Abstract

本公开提供了一种数据处理方法,包括在对第一数据执行预定操作之前,生成关于所述第一数据的第二数据,以及在获得对第一数据的读写请求的情况下,基于所述第二数据处理所述读写请求。本公开还提供了一种数据处理系统以及一种电子设备。

Description

数据处理方法、系统和电子设备
技术领域
本公开涉及一种数据处理方法、系统和电子设备。
背景技术
随着信息化和智能化的发展,数据越来越受到人们的重视。一方 面,人们为了实现电子设备智能化等需求,搜集了大量的数据,另一 方面,庞大数据的存储与处理成为重要的问题。发明人在实现本发明 的过程中发现,存储的数据在执行一定操作任务时,对外提供服务的 效率大幅降低。
发明内容
本公开的一个方面提供了一种数据处理方法,包括在对第一数据 执行预定操作之前,生成关于所述第一数据的第二数据,以及在获得 对第一数据的读写请求的情况下,基于所述第二数据处理所述读写请 求。
可选地,所述在对第一数据执行预定操作之前,生成关于所述第 一数据的第二数据包括响应于对所述第一数据执行预定操作的控制指 令,生成关于所述第一数据的所述第二数据。
可选地,所述在对第一数据执行预定操作之前,生成关于所述第 一数据的第二数据包括在对第一数据执行预定操作之前,生成所述第 一数据的备份作为作为第二数据。
可选地,所述在对第一数据执行预定操作之前,生成关于所述第 一数据的第二数据包括在对第一数据执行预定操作之前,在系统缓存 中生成关于所述第一数据的第二数据。
可选地,在所述基于所述第二数据处理所述读写请求时获得处理 结果,所述方法还包括以下至少一种,将所述处理结果同步到存储系 统,或者基于所述处理结果,更新第一结果数据,其中,所述第一结 果数据包括对第一数据执行预订操作后得到的数据。
可选地,所述基于所述处理结果,更新第一结果数据包括在对第 一结果数据的读写请求的频率低于第一阈值的情况下,基于所述处理 结果,更新第一结果数据。
可选地,所述基于所述处理结果,更新第一结果数据包括在处理 结果所占用的空间超过第二阈值的情况下,基于所述处理结果,更新 第一结果数据。
可选地,所述方法应用于分布式系统,所述预定操作包括以下至 少一种,将存储于不同节点的第一数据合并,或者将存储于同一节点 的第一数据拆分为多个子数据。
本公开的另一个方面提供了一种数据处理系统,包括生成模块和 处理模块。生成模块,用于在对第一数据执行预定操作之前,生成关 于所述第一数据的第二数据。处理模块,用于在获得对第一数据的读 写请求的情况下,基于所述第二数据处理所述读写请求。
可选地,所述生成模块包括第一生成子模块、第二生成子模块或 者第三生成子模块中的至少一种。第一生成子模块,用于响应于对所 述第一数据执行预定操作的控制指令,生成关于所述第一数据的所述 第二数据。第二生成子模块,用于在对第一数据执行预定操作之前, 生成所述第一数据的备份作为作为第二数据。第三生成子模块,用于 在对第一数据执行预定操作之前,在系统缓存中生成关于所述第一数 据的第二数据。
可选地,在所述基于所述第二数据处理所述读写请求时获得处理 结果,所述系统还包括同步模块或者更新模块中的至少一种。同步模 块,用于将所述处理结果同步到存储系统。更新模块,用于基于所述 处理结果,更新第一结果数据,其中,所述第一结果数据包括对第一 数据执行预订操作后得到的数据。
可选地,所述更新模块包括第一更新子模块或第二更新子模块中 的至少一种。第一更新子模块,用于在对第一结果数据的读写请求的 频率低于第一阈值的情况下,基于所述处理结果,更新第一结果数据。 第二更新子模块,用于在处理结果所占用的空间超过第二阈值的情况 下,基于所述处理结果,更新第一结果数据。
可选地,所述系统包括分布式系统,所述预定操作包括以下至少 一种,将存储于不同节点的第一数据合并,或者将存储于同一节点的 第一数据拆分为多个子数据。
本公开的另一个方面提供了一种电子设备,包括处理器以及存储 器,其上存储有计算机可读指令,所述指令被处理器执行时,使所述 处理器执行上述任意一项所述的方法。
本公开的另一方面提供了一种非易失性存储介质,存储有计算机 可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括 计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下 描述,其中:
图1示意性示出了根据本公开实施例的数据处理方法的应用场景;
图2示意性示出了根据本公开实施例的数据处理方法的流程图;
图3A~图3B示意性示出了根据本公开另一实施例的数据处理方法 的流程图;
图4A和图4B示意性示出了根据本公开另一实施例的数据处理方 法的流程图;
图5A和图5B示意性示出了根据本公开另一实施例的数据处理方 法的流程图;
图6示意性示出了根据本公开实施例的数据处理系统的框图;
图7示意性示出了根据本公开实施例的生成模块的框图;
图8示意性示出了根据本公开另一实施例的数据处理系统的框图;
图9示意性示出了根据本公开实施例的更新模块的框图;以及
图10示意性示出了根据本公开实施例的应用数据处理方法的电子 设备的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描 述只是示例性的,而并非要限制本公开的范围。此外,在以下说明中, 省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公 开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作 和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、 操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员 通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为 具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的 方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下, 一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释 (例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具 有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和 C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至 少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常 理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的 系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A 和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本 领域技术人员还应理解,实质上任意表示两个或更多可选项目的转折连 词和/或短语,无论是在说明书、权利要求书还是附图中,都应被理解为 给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例 如,短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的 可能性。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程 图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程 序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置 的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方 框图和/或流程图中所说明的功能/操作的装置。
因此,本公开的技术可以硬件和/或软件(包括固件、微代码等)的 形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读介 质上的计算机程序产品的形式,该计算机程序产品可供指令执行系统使 用或者结合指令执行系统使用。在本公开的上下文中,计算机可读介质 可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、 装置、器件或传播介质。计算机可读介质的具体示例包括:磁存储装置, 如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如 随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
本公开的实施例提供了一种数据处理方法,该方法通过使用生成的 第二数据处理对第一数据的读写请求,提高了在对第一数据执行预定操 作过程中的数据处理效率。
图1示意性示出了根据本公开实施例的数据处理方法的应用场景。 需要注意的是,图1所示仅为可以应用本公开实施例的场景的示例,以 帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施 例不可以用于其他设备、系统、环境或场景。
如图1所示,服务器集群100可以包括至少一个计算节点110以及 网络120。网络120用以在计算节点110之间提供通信链路的介质。网 络120可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆 等等。计算节点110可以是提供各种服务的服务器,例如存放数据表、 提供查询功能、修改功能等的服务器,但不限于此。服务器集群100可 以通过本公开实施例的方法提高了在对第一数据执行预定操作过程中 的数据处理效率。
应该理解,图1中的架构仅仅是示例,具体架构中包含的组件可以 根据具体情况调整,根据实现需要,可以具有任意数目的网络和计算节 点。
图2示意性示出了根据本公开实施例的数据处理方法的流程图。
如图2所示,该方法包括操作S210和S220。
在操作S210,在对第一数据执行预定操作之前,生成关于所述第 一数据的第二数据。
根据本公开实施例,所述预定操作包括在对第一数据执行该预定操 作时,影响处理对第一数据的读写请求的处理效率的各种操作,例如, 在分布式系统中,将存储于不同节点的第一数据合并的操作,或者,将 存储于同一节点的第一数据拆分为多个子数据。该些操作是用于优化数 据管理,提高读写效率的操作,但在执行完成前,会严重降低处理对第 一数据的读写请求的处理效率。应当理解的是,以上两种情况仅为示例, 本公开实施例的预定操作不应以此为限制。
根据本公开实施例,所述第二数据包括在所述预定操作执行时,能 够用于处理对第一数据的读写操作请求的各种数据。可选地,第二数据 还可以包括在所述预定操作完成后,能够用于正确更新第一数据的各种 数据。例如,第二数据可以是第一数据在其他位置的完整备份或者是关 键部分的备份,也可以是创建的一个新数据用于记录对第一数据的操作。
在操作S220,在获得对第一数据的读写请求的情况下,基于所述 第二数据处理所述读写请求。例如,可以通过在原有的系统中增加一些 用于调整执行逻辑的指令,使基于所述第二数据处理对第一数据的读写 请求。
该方法通过使用生成的第二数据处理对第一数据的读写请求,提高 了在对第一数据执行预定操作过程中的数据处理效率。
图3A示意性示出了根据本公开另一实施例的数据处理方法的流程 图。
如图3A所示,该方法包括操作S310和S220,其中,操作S220与 前述实施例类似,此处不再赘述。
在操作S310,响应于对所述第一数据执行预定操作的控制指令, 生成关于所述第一数据的所述第二数据。
根据本公开实施例,前述操作S210可以包括操作S310,即所述在 对第一数据执行预定操作之前可以是响应于对所述第一数据执行预定 操作的控制指令,例如,由用户操作所触发的控制指令,或者系统根据 预设的规则自动触发的控制指令等,在触发该控制指令时,生成关于所 述第一数据的所述第二数据。
图3B示意性示出了根据本公开另一实施例的数据处理方法的流程 图。
如图3B所示,该方法包括操作S320和S220,其中,操作S220与 前述实施例类似,此处不再赘述。
在操作S320,在对第一数据执行预定操作之前,在系统缓存中生 成关于所述第一数据的第二数据。
根据本公开实施例,前述操作S210可以包括操作S320,即所述生 成关于所述第一数据的第二数据可以是在系统缓存中生成关于所述第 一数据的第二数据,例如,个人计算机的缓存或者分布式系统的分布式 缓存等。
基于缓存中的第二数据处理读写请求,能够进一步提高系统的处理 效率。
图4A示意性示出了根据本公开另一实施例的数据处理方法的流程 图。
如图4A所示,该方法包括操作S210、S220和S410,其中,操作 S210、S220与前述实施例类似,此处不再赘述。
在操作S410,将处理结果同步到存储系统,其中,所述处理结果 包括在所述基于所述第二数据处理所述读写请求时获得的处理结果。由 于将在执行预定操作期间产生的处理结果存储在缓存中有丢失的风险, 因此,根据本公开实施例提供的方法还可以包括将处理结果同步到存储 系统,以防止数据丢失。
图4B示意性示出了根据本公开另一实施例的数据处理方法的流程 图。
如图4B所示,该方法包括操作S210、S220和S420,其中,操作 S210、S220与前述实施例类似,此处不再赘述。
在操作S420,基于所述处理结果,更新第一结果数据。以下结合 图5A和图5B对本公开实施例的操作S420进行描述。
图5A示意性示出了根据本公开另一实施例的数据处理方法的流程 图。
如图5A所示,该操作S420可以包括操作S510。
在操作S510,在对第一结果数据的读写请求的频率低于第一阈值 的情况下,基于所述处理结果,更新第一结果数据。
根据本公开实施例,在对第一数据的读写请求的频率较高时,所述 处理结果以同样的频率发生变化,此时基于处理结果更新第一结果数据 可能导致更新过程中处理请求产生的数据丢失。例如,在一段时间内, 对第一数据的读写请求的频率为500次/秒,而基于处理结果更新第一结 果数据需要0.1秒,可以预见的是,在更新第一结果数据的过程中所产 生的约50个请求将无法用于更新第一结果数据。因此,本公开实施例 提供的方法在对第一结果数据的读写请求的频率低于第一阈值的情况 下,基于所述处理结果,更新第一结果数据,能够有效地减少数据丢失 的情况。
图5B示意性示出了根据本公开另一实施例的数据处理方法的流程 图。
如图5B所示,该方法包括操作S210、S220和S520,其中,操作 S210、S220与前述实施例类似,此处不再赘述。
在操作S520,在处理结果所占用的空间超过第二阈值的情况下, 基于所述处理结果,更新第一结果数据。
根据本公开实施例,用于存储第二数据以及处理结果的存储区域, 例如缓存中的某一区域,其空间有限,为此分配更多的空间又会造成存 储资源的浪费。本公开实施例提供的方法在处理结果所占用的空间超过 第二阈值的情况下,基于所述处理结果,更新第一结果数据,能避免数 据溢出或者预留过多的空间造成存储资源浪费,同时保证对读写请求的 处理效率。
图6示意性示出了根据本公开实施例的数据处理系统600的框图。
如图6所示,该数据处理系统600包括生成模块610和处理模块620。
生成模块610,例如执行上文参考图2描述的操作S210,用于在对 第一数据执行预定操作之前,生成关于所述第一数据的第二数据。
处理模块620,例如执行上文参考图2描述的操作S220,用于在获 得对第一数据的读写请求的情况下,基于所述第二数据处理所述读写请 求。
图7示意性示出了根据本公开实施例的生成模块610的框图。
如图7所示,该生成模块610包括第一生成子模块710、第二生成 子模块720或者第三生成子模块730中的至少一种。
第一生成子模块710,例如执行上文参考图3A描述的操作S310, 用于响应于对所述第一数据执行预定操作的控制指令,生成关于所述第 一数据的所述第二数据。
第二生成子模块720,用于在对第一数据执行预定操作之前,生成 所述第一数据的备份作为作为第二数据。
第三生成子模块730,例如执行上文参考图3B描述的操作S320, 用于在对第一数据执行预定操作之前,在系统缓存中生成关于所述第一 数据的第二数据。
图8示意性示出了根据本公开另一实施例的数据处理系统800的框 图。
如图8所示,该数据处理系统800在前述实施例的基础上,还包括 同步模块810或者更新模块820中的至少一种。
同步模块810,例如执行上文参考图4A描述的操作S410,用于将 所述处理结果同步到存储系统。
更新模块820,例如执行上文参考图4B描述的操作S420,用于基 于所述处理结果,更新第一结果数据,其中,所述第一结果数据包括对 第一数据执行预订操作后得到的数据。
图9示意性示出了根据本公开实施例的更新模块820的框图。
如图9所示,该更新模块820包括第一更新子模块910或第二更新 子模块920中的至少一种。
第一更新子模块910,例如执行上文参考图5A描述的操作S510, 用于在对第一结果数据的读写请求的频率低于第一阈值的情况下,基于 所述处理结果,更新第一结果数据。
第二更新子模块920,例如执行上文参考图5B描述的操作S520, 用于在处理结果所占用的空间超过第二阈值的情况下,基于所述处理结 果,更新第一结果数据。
根据本公开实施例,所述系统包括分布式系统,所述预定操作包括 以下至少一种,将存储于不同节点的第一数据合并,或者将存储于同一 节点的第一数据拆分为多个子数据。
可以理解的是,上述模块可以合并在一个模块中实现,或者其中的 任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个 模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个 模块中实现。根据本发明的实施例,上述模块中的至少一个可以至少被 部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电 路(ASIC),或可以以对电路进行集成或封装的任何其他的合理方式等 硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合 来实现。或者,上述模块中的至少一个可以至少被部分地实现为计算机 程序模块,当该程序被计算机运行时,可以执行相应模块的功能。
图10示意性示出了根据本公开实施例的应用数据处理方法的电子 设备的框图。
如图10所示,电子设备1000包括处理器1010和计算机可读存储 介质1020该电子设备1000可以执行上面参考图2~图5B描述的方法, 以提高在对第一数据执行预定操作过程中的数据处理效率。
具体地,处理器1010例如可以包括通用微处理器、指令集处理器 和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)), 等等。处理器1010还可以包括用于缓存用途的板载存储器。处理器1010 可以是用于执行参考图2~图5B描述的根据本公开实施例的方法流程的 不同动作的单一处理单元或者是多个处理单元。
可读存储介质1020,例如可以是能够包含、存储、传送、传播或传 输指令的任意介质。例如,可读存储介质可以包括但不限于电、磁、光、 电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具 体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光 盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有 线/无线通信链路。
可读存储介质1020可以包括计算机程序1021,该计算机程序1021 可以包括代码/计算机可执行指令,其在由处理器1010执行时使得处理 器1010执行例如上面结合图2~图5B所描述的方法流程及其任何变形。
计算机程序1021可被配置为具有例如包括计算机程序模块的计算 机程序代码。例如,在示例实施例中,计算机程序1021中的代码可以 包括一个或多个程序模块,例如包括1021A、模块1021B、……。应当 注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据 实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被 处理器1010执行时,使得处理器1010可以执行例如上面结合图2~图 5B所描述的方法流程及其任何变形。
根据本公开的实施例,处理器1010可以执行上面结合图2~图5B 所描述的方法流程及其任何变形。
根据本发明的实施例,上文所述的模块中的至少一个可以实现为参 考图10描述的计算机程序模块,其在被处理器1010执行时,可以实现 上面描述的相应操作。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记 载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确 记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公 开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结 合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但 是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的 本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种 改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所 附权利要求来进行确定,还由所附权利要求的等同物来进行限定。

Claims (8)

1.一种数据处理方法,包括:
在对第一数据执行预定操作之前,生成关于所述第一数据的第二数据;以及
在获得对第一数据的读写请求的情况下,基于所述第二数据处理所述读写请求,以提高在对第一数据执行预定操作过程中的数据处理效率;
其中,所述预定操作包括影响对第一数据的读写请求的处理效率的操作,所述第二数据包括在所述预定操作执行时,用于处理对第一数据的读写操作请求的数据;
其中,所述在对第一数据执行预定操作之前,生成关于所述第一数据的第二数据包括以下至少一种:
响应于对所述第一数据执行预定操作的控制指令,生成关于所述第一数据的所述第二数据;或者
在对第一数据执行预定操作之前,生成所述第一数据的备份作为第二数据;或者
在对第一数据执行预定操作之前,在系统缓存中生成关于所述第一数据的第二数据。
2.根据权利要求1所述的方法,其中,在所述基于所述第二数据处理所述读写请求时获得处理结果,所述方法还包括以下至少一种:
将所述处理结果同步到存储系统;或者
基于所述处理结果,更新第一结果数据,其中,所述第一结果数据包括对第一数据执行预订操作后得到的数据。
3.根据权利要求2所述的方法,其中,所述基于所述处理结果,更新第一结果数据包括以下至少一种:
在对第一结果数据的读写请求的频率低于第一阈值的情况下,基于所述处理结果,更新第一结果数据;或者
在处理结果所占用的空间超过第二阈值的情况下,基于所述处理结果,更新第一结果数据。
4.根据权利要求1所述的方法,应用于分布式系统,其中,所述预定操作包括以下至少一种:
将存储于不同节点的第一数据合并;或者
将存储于同一节点的第一数据拆分为多个子数据。
5.一种数据处理系统,包括:
生成模块,用于在对第一数据执行预定操作之前,生成关于所述第一数据的第二数据;以及
处理模块,用于在获得对第一数据的读写请求的情况下,基于所述第二数据处理所述读写请求,以提高在对第一数据执行预定操作过程中的数据处理效率;
其中,所述预定操作包括影响对第一数据的读写请求的处理效率的操作,所述第二数据包括在所述预定操作执行时,用于处理对第一数据的读写操作请求的数据;
其中,所述生成模块包括以下至少一种:
第一生成子模块,用于响应于对所述第一数据执行预定操作的控制指令,生成关于所述第一数据的所述第二数据;
第二生成子模块,用于在对第一数据执行预定操作之前,生成所述第一数据的备份作为第二数据;或者
第三生成子模块,用于在对第一数据执行预定操作之前,在系统缓存中生成关于所述第一数据的第二数据。
6.根据权利要求5所述的系统,其中,在所述基于所述第二数据处理所述读写请求时获得处理结果,所述系统还包括以下至少一种:
同步模块,用于将所述处理结果同步到存储系统;或者
更新模块,用于基于所述处理结果,更新第一结果数据,其中,所述第一结果数据包括对第一数据执行预订操作后得到的数据。
7.根据权利要求6所述的系统,其中,所述更新模块包括以下至少一种:
第一更新子模块,用于在对第一结果数据的读写请求的频率低于第一阈值的情况下,基于所述处理结果,更新第一结果数据;或者
第二更新子模块,用于在处理结果所占用的空间超过第二阈值的情况下,基于所述处理结果,更新第一结果数据。
8.一种电子设备,包括:
至少一个处理器;以及
至少一个存储器,其上存储有计算机可读指令,所述指令被处理器执行时,使得处理器:
在对第一数据执行预定操作之前,生成关于所述第一数据的第二数据;以及
在获得对第一数据的读写请求的情况下,基于所述第二数据处理所述读写请求,以提高在对第一数据执行预定操作过程中的数据处理效率;
其中,所述预定操作包括影响对第一数据的读写请求的处理效率的操作,所述第二数据包括在所述预定操作执行时,用于处理对第一数据的读写操作请求的数据;
其中,所述在对第一数据执行预定操作之前,生成关于所述第一数据的第二数据包括以下至少一种:
响应于对所述第一数据执行预定操作的控制指令,生成关于所述第一数据的所述第二数据;或者
在对第一数据执行预定操作之前,生成所述第一数据的备份作为第二数据;或者
在对第一数据执行预定操作之前,在系统缓存中生成关于所述第一数据的第二数据。
CN201711416752.6A 2017-12-22 2017-12-22 数据处理方法、系统和电子设备 Active CN108153492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711416752.6A CN108153492B (zh) 2017-12-22 2017-12-22 数据处理方法、系统和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711416752.6A CN108153492B (zh) 2017-12-22 2017-12-22 数据处理方法、系统和电子设备

Publications (2)

Publication Number Publication Date
CN108153492A CN108153492A (zh) 2018-06-12
CN108153492B true CN108153492B (zh) 2021-09-14

Family

ID=62464446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711416752.6A Active CN108153492B (zh) 2017-12-22 2017-12-22 数据处理方法、系统和电子设备

Country Status (1)

Country Link
CN (1) CN108153492B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111897A (zh) * 2013-04-16 2014-10-22 华为技术有限公司 一种数据处理方法、装置及计算机系统
CN104813276A (zh) * 2012-11-26 2015-07-29 亚马逊科技公司 从备份系统流式恢复数据库
CN107391628A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 数据同步方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101529419B (zh) * 2006-10-17 2013-05-01 慷孚系统公司 用于对内容进行离线索引和对存储的数据进行分类的方法和系统
US8825758B2 (en) * 2007-12-14 2014-09-02 Microsoft Corporation Collaborative authoring modes
CN104573428B (zh) * 2013-10-12 2018-02-13 方正宽带网络服务股份有限公司 一种提高服务器集群资源有效性的方法及系统
US9183148B2 (en) * 2013-12-12 2015-11-10 International Business Machines Corporation Efficient distributed cache consistency
CN105446982A (zh) * 2014-06-30 2016-03-30 国际商业机器公司 用于管理数据存储系统的方法和装置
CN104281506B (zh) * 2014-07-10 2017-02-15 中国科学院计算技术研究所 一种文件系统的数据维护方法及系统
CN104133886A (zh) * 2014-07-30 2014-11-05 浪潮集团有限公司 一种分层数据复制的大数据一致性维护方法
US10740180B2 (en) * 2015-01-30 2020-08-11 Pure Storage, Inc. Storing and retrieving data using proxies
CN104615383A (zh) * 2015-02-06 2015-05-13 安一恒通(北京)科技有限公司 一种基于虚拟磁盘的软件运行方法及装置
CN105262835B (zh) * 2015-10-30 2019-08-02 北京奇虎科技有限公司 一种多机房中的数据存储方法和装置
US9501364B1 (en) * 2016-03-18 2016-11-22 Storagecraft Technology Corporation Hybrid image backup of a source storage
CN106775959B (zh) * 2016-12-06 2017-12-22 上海壹账通金融科技有限公司 分布式事务处理方法和系统
CN107291883B (zh) * 2017-06-20 2020-09-18 苏州浪潮智能科技有限公司 一种分布式存储系统的快照方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104813276A (zh) * 2012-11-26 2015-07-29 亚马逊科技公司 从备份系统流式恢复数据库
CN104111897A (zh) * 2013-04-16 2014-10-22 华为技术有限公司 一种数据处理方法、装置及计算机系统
CN107391628A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 数据同步方法及装置

Also Published As

Publication number Publication date
CN108153492A (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
US9722873B2 (en) Zero-downtime, reversible, client-driven service migration
CN108153849B (zh) 一种数据库表切分方法、装置、系统和介质
US20120311295A1 (en) System and method of optimization of in-memory data grid placement
US10983913B2 (en) Securing exclusive access to a copy of a metadata track via a process while the metadata track is held in a shared mode by another process
KR20140014273A (ko) 휴대용 컴퓨팅 디바이스의 스위치 패브릭들 내에서 그리고 스위치 패브릭들에 걸쳐 마스터-슬레이브 쌍들을 동적으로 생성하고 서비스하는 방법 및 시스템
US10126980B2 (en) Managing data operations in a quorum-based data replication system
US20170161352A1 (en) Scalable snapshot isolation on non-transactional nosql
US10671438B2 (en) Providing additional memory and cache for the execution of critical tasks by folding processing units of a processor complex
US10031948B1 (en) Idempotence service
US20170185636A1 (en) ORDER CONSTRAINT FOR TRANSACTION PROCESSING WITH SNAPSHOT ISOLATION ON NON-TRANSACTIONAL NoSQL SERVERS
US20140052734A1 (en) Computing device and method for creating data indexes for big data
CN111066005B (zh) 响应于经由总线接口上的i/o操作产生的高速缓存命中对元数据道的异步更新
CN110737402B (zh) 管理存储系统的方法、设备和计算机存储介质
US20190114260A1 (en) System, method and computer program product for accelerating iterative graph algorithms by memory layout optimization
US11526473B2 (en) Database upgrade in a distributed database cluster
US10565202B2 (en) Data write/import performance in a database through distributed memory
CN108153492B (zh) 数据处理方法、系统和电子设备
US20230014233A1 (en) Serverless Application Function Execution
CN109002984B (zh) 数字资产的管理方法、装置、介质和计算设备
US10713218B2 (en) System and method to optimally apply local retention in a remote repository
US10769566B2 (en) Managing process instances
KR102172321B1 (ko) 데이터 중복 제거 방법
US11809880B2 (en) Dynamically verifying ingress configuration changes
US9251101B2 (en) Bitmap locking using a nodal lock
US11442633B2 (en) Method, electronic device and computer program product for storage management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant