CN110955653A - 一种数据页面的处理方法、装置、设备及计算机系统 - Google Patents

一种数据页面的处理方法、装置、设备及计算机系统 Download PDF

Info

Publication number
CN110955653A
CN110955653A CN201811123424.1A CN201811123424A CN110955653A CN 110955653 A CN110955653 A CN 110955653A CN 201811123424 A CN201811123424 A CN 201811123424A CN 110955653 A CN110955653 A CN 110955653A
Authority
CN
China
Prior art keywords
modification
target page
page
log
modification log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811123424.1A
Other languages
English (en)
Inventor
张广舟
陈森
曹伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811123424.1A priority Critical patent/CN110955653A/zh
Publication of CN110955653A publication Critical patent/CN110955653A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例公开了一种数据页面的处理方法、装置、设备及计算机系统,所述方法包括:根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;存储所述修改日志,并将所述修改日志发送给所述目标页面所存储的存储层节点,以使所述存储层节点根据所述修改日志,对所述目标页面中的相应内容进行更新。

Description

一种数据页面的处理方法、装置、设备及计算机系统
技术领域
本说明书涉及计算机技术领域,尤其涉及一种数据页面的处理方法、装置、设备及计算机系统。
背景技术
在计算机系统中通常可以包括计算层和存储层,计算层可以用于执行对存储层中各存储节点中存储的数据页面进行内容添加、内容删减或内容更改等修改操作,存储层可以用于存储相应的数据,以及读取相应的数据等。
通常,会遇到需要对某文件进行修改的处理,计算机系统中,存储层和计算层之间通常是以数据页面为单位进行数据的读写操作,文件可以是由一个或多个数据页面组成。在对文件进行修改时,可以对该文件中的一个或多个数据页面进行修改,另外,对数据页面的修改往往不需要对该数据页面的全部内容进行修改,而仅是对其中的部分内容进行修改,例如,数据页面为16KByte,需要修改的数据是该数据页面中100Byte的数据等,此时,通常可以先对该数据页面中的相关内容进行修改,修改完成后,需要将整个数据页面的数据写入到存储层中的存储节点。
然而,通过上述处理过程,修改的数据仅是数据页面中的部分内容(即100Byte大小的数据),但是写入到存储层时却需要修改后的整个数据页面(约16KByte),从而导致出现存储写放大现象,由于存储层IO带宽有限,如果同一时刻需要进行多次数据修改及写入操作,则存储写放大现象将会比较突出、比较严重,此时,会在写入数据时浪费大量的IO带宽。
发明内容
本说明书实施例的目的是提供一种数据页面的处理方法、装置、设备及计算机系统,以解决现有技术中用户想要获取推送信息需要在页面的顶部和底部之间来回频繁的操作的问题。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例提供的一种数据页面的处理方法,所述方法包括:
根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
存储所述修改日志,并将所述修改日志发送给所述目标页面所存储的存储层节点,以使所述存储层节点根据所述修改日志,对所述目标页面中的相应内容进行更新。
可选地,所述存储所述修改日志,包括:
创建验证数据库;
获取所述目标页面的页面标识和所述修改日志的校验值;
将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中。
可选地,所述方法还包括:
当接收到所述存储层节点发送的更新成功的通知消息时,将所述修改日志删除。
本说明书实施例提供的一种数据页面的处理方法,所述方法包括:
接收计算层发送的目标文件中的目标页面的修改日志,所述修改日志用于记录所述目标页面的修改信息;
根据所述修改日志,对所述目标页面中的相应内容进行更新。
可选地,所述根据所述修改日志,对所述目标页面中的相应内容进行更新,包括:
获取所述修改日志对应的所述目标页面;
根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面;
向计算层发送所述目标页面更新成功的通知消息。
可选地,所述根据所述修改日志,对所述目标页面中的相应内容进行更新,包括:
获取所述修改日志对应的所述目标页面的页面标识和所述修改日志的校验值;
将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中,并将所述修改日志设置为所述目标页面的读取关联信息;
向计算层发送所述目标页面更新成功的通知消息。
可选地,所述方法还包括:
当接收到所述目标页面的读取请求时,根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面;
将所述修改后的目标页面发送给计算层;
删除所述修改日志。
本说明书实施例提供的一种数据页面的处理方法,所述方法包括:
根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
根据所述修改日志,对所述目标页面中的相应内容进行更新。
可选地,所述方法还包括:
创建验证数据库;
获取所述目标页面的页面标识和所述修改日志的校验值;
将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中。
可选地,所述根据所述修改日志,对所述目标页面中的相应内容进行更新,包括:
获取所述修改日志对应的所述目标页面;
根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面。
可选地,所述方法还包括:
删除所述修改日志。
本说明书实施例提供的一种计算层节点,所述计算层节点包括:
日志生成模块,用于根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
处理模块,用于存储所述修改日志,并将所述修改日志发送给所述目标页面所存储的存储层节点,以使所述存储层节点根据所述修改日志,对所述目标页面中的相应内容进行更新。
可选地,所述处理模块,包括:
数据库创建单元,用于创建验证数据库;
信息获取单元,用于获取所述目标页面的页面标识和所述修改日志的校验值;
存储单元,用于将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中。
可选地,所述计算层节点还包括:
删除模块,用于当接收到所述存储层节点发送的更新成功的通知消息时,将所述修改日志删除。
本说明书实施例提供的一种存储层节点,所述存储层节点包括:
日志接收模块,用于接收计算层发送的目标文件中的目标页面的修改日志,所述修改日志用于记录所述目标页面的修改信息;
部分内容更新模块,用于根据所述修改日志,对所述目标页面中的相应内容进行更新。
可选地,所述部分内容更新模块,包括:
页面获取单元,用于获取所述修改日志对应的所述目标页面;
部分内容修改单元,用于根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面;
消息发送单元,用于向计算层发送所述目标页面更新成功的通知消息。
可选地,所述部分内容更新模块,包括:
信息获取单元,用于获取所述修改日志对应的所述目标页面的页面标识和所述修改日志的校验值;
处理单元,用于将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中,并将所述修改日志设置为所述目标页面的读取关联信息;
消息发送单元,用于向计算层发送所述目标页面更新成功的通知消息。
可选地,所述存储层节点还包括:
部分内容修改模块,用于当接收到所述目标页面的读取请求时,根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面;
页面发送模块,用于将所述修改后的目标页面发送给计算层;
删除模块,用于删除所述修改日志。
本说明书实施例提供的一种数据页面的处理装置,所述装置包括:
日志生成模块,用于根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
部分内容更新模块,用于根据所述修改日志,对所述目标页面中的相应内容进行更新。
可选地,所述装置还包括:
数据库创建模块,用于创建验证数据库;
信息获取模块,用于获取所述目标页面的页面标识和所述修改日志的校验值;
存储模块,用于将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中。
可选地,所述部分内容更新模块,包括:
页面获取单元,用于获取所述修改日志对应的所述目标页面;
部分内容修改单元,用于根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面。
可选地,所述装置还包括:
删除模块,用于删除所述修改日志。
本说明书实施例提供的一种计算层节点,所述计算层节点包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
存储所述修改日志,并将所述修改日志发送给所述目标页面所存储的存储层节点,以使所述存储层节点根据所述修改日志,对所述目标页面中的相应内容进行更新。
本说明书实施例提供的一种存储层节点,所述存储层节点包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
接收计算层发送的目标文件中的目标页面的修改日志,所述修改日志用于记录所述目标页面的修改信息;
根据所述修改日志,对所述目标页面中的相应内容进行更新。
本说明书实施例提供的一种数据页面的处理设备,所述数据页面的处理设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
根据所述修改日志,对所述目标页面中的相应内容进行更新。
本说明书实施例提供的一种计算机系统,所述计算机系统包括至少一个如上述实施例提供的计算层节点和至少一个如上述实施例提供的存储层节点,所述每个计算层节点分别与所述每个存储层节点相连接。
由以上本说明书实施例提供的技术方案可见,本说明书实施例通过根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息,然后,可以存储该修改日志,并将该修改日志发送给目标页面所存储的存储层节点,以使该存储层节点根据该修改日志,对目标页面中的相应内容进行更新,这样,每当需要对某文件中的某个数据页面进行修改时,会创建一个修改日志,并通过该修改日志记录该页面的修改信息,以便存储层节点基于该修改日志中记录的修改信息对该页面中的相应内容进行修改,以更新该页面,由于修改日志仅记录该页面的修改信息(例如修改前和修改后该页面之间的差异的信息等),且存储层节点通过修改日志仅修改该页面中的相应内容(即部分内容),因此,可以有效避免出现存储写放大现象,从而,在写入数据时可以节省大量的IO带宽。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书一种数据页面的处理方法实施例;
图2为本说明书一种计算机系统的结构示意图;
图3为本说明书另一种数据页面的处理方法实施例;
图4为本说明书又一种数据页面的处理方法实施例;
图5为本说明书又一种数据页面的处理方法实施例;
图6为本说明书又一种数据页面的处理方法实施例;
图7为本说明书又一种数据页面的处理方法实施例;
图8为本说明书一种计算层节点实施例;
图9为本说明书一种存储层节点实施例;
图10为本说明书一种数据页面的处理装置实施例;
图11为本说明书一种数据页面的处理设备实施例;
图12为本说明书另一种计算机系统的结构示意图。
具体实施方式
本说明书实施例提供一种数据页面的处理方法、装置、设备及计算机系统。
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
实施例一
如图1所示,本说明书实施例提供一种数据页面的处理方法,该方法的执行主体可以为计算机系统中的计算层节点,其中,该计算层节点可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,还可以是服务器或服务器集群等,还可以是上述设备中的某个构成组件(如CPU等)。如果计算层节点为服务器,则该服务器可以是某项业务的后台服务器,也可以是某网站(如网络购物网站或支付应用等)的后台服务器等。该方法可以用于在计算层和存储层之间对数据页面进行修改等处理中。该方法具体可以包括以下步骤:
在步骤S102中,根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息。
其中,目标文件可以是任意文件,例如,某音频文件、某视频文件、某文本文档的文件或某网页的文件等。目标页面可以是目标文件中的任意数据页面,在计算机系统中,存储层(其中可以包括如机械磁盘、固态硬盘或网络存储装置等)和计算层之间通常是以数据页面为单位来进行数据的读写操作。修改日志可以是多种不同格式的日志,例如log格式的日志等,修改日志可以只用于记载页面中需要修改的部分内容,即可以记录修改后的页面和修改前的页面之间的差异,此差异的信息即可以为修改信息。
在实施中,在计算机系统中通常可以包括计算层和存储层,计算层可以用于执行对存储层中各存储节点中存储的数据页面进行内容添加、内容删减或内容更改等修改操作,存储层可以用于存储相应的数据,以及读取相应的数据等。在实际应用中,经常会遇到需要对某文件进行修改的处理,计算机系统中,存储层和计算层之间通常是以数据页面为单位进行数据的读写操作,文件可以是由一个或多个数据页面组成。在对文件进行修改时,可以对该文件中的一个或多个数据页面进行修改,另外,对数据页面的修改往往不需要对该数据页面的全部内容进行修改,而仅是对其中的部分内容进行修改,例如,某文件中的一个数据页面的大小为16KByte,如果需要对该数据页面进行修改,且需要修改该数据页面中100Byte大小的数据,则通常可以先对该数据页面中的相关内容进行修改(即修改上述100Byte大小的数据),修改完成后,需要将整个数据页面的数据写入到存储层中的存储节点,通过上述处理过程,修改的数据仅是数据页面中的部分内容(即100Byte大小的数据),但是写入到存储层时却需要修改后的整个数据页面(约16KByte),从而导致出现存储写放大现象,由于存储层IO带宽有限,如果同一时刻需要进行多次数据修改及写入操作,则存储写放大现象将会比较突出、比较严重,此时,会在写入数据时浪费大量的IO带宽。为此,本说明书实施例提供一种可以解决上述问题的技术方案,具体可以包括以下内容:
可以预先设置数据修改和数据写入机制,通过该机制可以使得在对数据页面进行修改时,实时生成修改日志,通过该修改日志可以用于记录本次修改的内容,即如上述示例中数据页面中的100Byte大小的数据内容等。具体地,当用户需要对数据库或存储在存储设备中的文件中的某数据页面(即目标文件中的目标页面)进行修改时,可以编写修改操作的程序代码或触发执行该修改操作的程序代码的按键或选项,然后,终端设备或服务器的计算层可以获取目标文件的标识、目标文件的存储路径和目标页面在目标文件中的位置等,同时,可以生成本次修改的修改日志,该修改日志中记录有目标页面的修改信息。
在步骤S104中,存储上述修改日志,并将该修改日志发送给目标页面所存储的存储层节点,以使该存储层节点根据该修改日志,对目标页面中的相应内容进行更新。
其中,存储层节点可以是存储层的存储节点,该存储层节点可以是存储系统中的某个存储设备等。
在实施中,预先设置的数据修改和数据写入机制可以使得在对数据页面进行修改时,实时生成修改日志,通过该修改日志可以用于记录本次修改的内容,在向存储层写入相应的修改内容时,可以结合该修改日志,只修改存储层中存储的原数据页面中修改日志中记录的部分内容,这样,修改数据页面中的部分数据内容的过程中不需要写入整个数据页面的数据,而只需要将修改日志中记录的部分内容进行修改即可,因此,当计算层节点生成相应的修改日之后,可以将该修改日志缓存到内存中,其中,缓存的过程中,可以将修改的目标页面的页面标识与修改日志的缓存路径对应存储,目标页面的页面标识可以通过目标文件的标识、目标文件的存储路径和目标页面在目标文件中的位置中的一项或多项表征。同时,如图2所示,还可以将该修改日志发送给目标页面所存储的存储层节点。目标页面所存储的存储层节点接收到该修改日志后,可以通过该修改日志确定目标文件的存储路径查找到目标文件,并通过目标页面在目标文件中的位置,在目标文件中查找到目标页面,然后,可以通过该修改日志中记录的修改信息对目标页面中的相应信息(或数据)进行修改,修改完成后,可以得到修改后的目标页面,以及目标文件,从而更新目标页面中的相应内容。
需要说明的是,存储层节点更新完成目标页面中需要修改的部分内容后,可以向计算层发送更新成功的通知消息,此时,计算层节点可以将该修改日志删除。如果存储层节点更新失败,则可以通过该修改日志重新对目标页面中的部分内容进行更新,或者,可以向计算层发送更新失败的通知消息,此时,计算层节点可以再次将该修改日志发送给存储层,以使存储层重新更新目标页面中的部分内容等。
如图3所示,本说明书实施例提供一种数据页面的处理方法,该方法的执行主体可以为计算机系统中的存储层节点,其中,该存储层节点可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,还可以是服务器或服务器集群等,还可以是上述设备中的某个构成组件(如CPU等)。如果存储层节点为服务器,则该服务器可以是某项业务的后台服务器,也可以是某网站(如网络购物网站或支付应用等)的后台服务器等。该方法可以用于在计算层和存储层之间对数据页面进行修改等处理中。该方法具体可以包括以下步骤:
在步骤S302中,接收计算层发送的目标文件中的目标页面的修改日志,该修改日志用于记录目标页面的修改信息。
其中,目标文件可以是任意文件,例如,某音频文件、某视频文件、某文本文档的文件或某网页的文件等。目标页面可以是目标文件中的任意数据页面,在计算机系统中,存储层(其中可以包括如机械磁盘、固态硬盘或网络存储装置等)和计算层之间通常是以数据页面为单位来进行数据的读写操作。修改日志可以是多种不同格式的日志,例如log格式的日志等,修改日志可以只用于记载页面中需要修改的部分内容,即可以记录修改后的页面和修改前的页面之间的差异,此差异的信息即可以为修改信息。
在实施中,计算层节点获取到对目标文件中的目标页面的修改操作后,可以根据对目标文件中的目标页面的修改操作,生成相应的修改日志。然后,可以存储该修改日志,并将该修改日志发送给目标页面所存储的存储层节点,从而,存储层节点可以接收到计算层发送的目标文件中的目标页面的修改日志。
在步骤S304中,根据上述修改日志,对目标页面中的相应内容进行更新。
在实施中,该修改日志中还可以记录有目标文件的标识、目标文件的存储路径和目标页面在目标文件中的位置等。存储层节点接收到该修改日志后,可以通过该修改日志确定目标文件的存储路径查找到目标文件,并通过目标页面在目标文件中的位置,在目标文件中查找到目标页面,然后,可以通过该修改日志中记录的修改信息对目标页面中的相应信息(或数据)进行修改,例如,目标文件中的目标页面的大小为16KByte,且需要修改目标页面中100Byte大小的数据,则可以只对目标页面中100Byte的相应数据内容进行修改,该目标页面中的其它数据保持不变。对目标页面的修改完成后,可以得到修改后的目标页面,以及目标文件,从而更新目标页面中的相应内容,这样,可以避免出现存储写放大现象,从而,在写入数据时节省了大量的IO带宽。
本说明书实施例提供一种数据页面的处理方法,通过根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息,然后,可以存储该修改日志,并将该修改日志发送给目标页面所存储的存储层节点,以使该存储层节点根据该修改日志,对目标页面中的相应内容进行更新,这样,每当需要对某文件中的某个数据页面进行修改时,会创建一个修改日志,并通过该修改日志记录该页面的修改信息,以便存储层节点基于该修改日志中记录的修改信息对该页面中的相应内容进行修改,以更新该页面,由于修改日志仅记录该页面的修改信息(例如修改前和修改后该页面之间的差异的信息等),且存储层节点通过修改日志仅修改该页面中的相应内容(即部分内容),因此,可以有效避免出现存储写放大现象,从而,在写入数据时可以节省大量的IO带宽。
实施例二
如图4所示,本说明书实施例提供一种数据页面的处理方法,该方法的执行主体可以为计算机系统中的计算层节点和存储层节点,其中,该计算层节点或存储层节点可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,还可以是服务器或服务器集群等,还可以是上述设备中的某个构成组件(如CPU等)。如果计算层节点或存储层节点为服务器,则该服务器可以是某项业务的后台服务器,也可以是某网站(如网络购物网站或支付应用等)的后台服务器等。该方法可以用于在计算层和存储层之间对数据页面进行修改等处理中。该方法具体可以包括以下步骤:
在步骤S402中,计算层节点根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息。
在实际应用中,为了保证对目标页面的某一次修改不会重复进行,可以在计算层节点生成相应的修改日志后,创建一个验证数据库,用于存储修改日志,并对每次生成和存储的修改日志进行校验或验证,具体可以参见以下步骤S404~步骤S408的内容。
在步骤S404中,计算层节点创建验证数据库。
其中,该验证数据库可以通过多种方式实现,例如可以通过键值对的方式构建验证数据库,或者通过哈希值(Hash值)或哈希表(Hash表)的方式构建验证数据库。
在实施中,以通过哈希值(Hash值)或哈希表(Hash表)的方式构建验证数据库为例,可以在内存中设置一个内存区域,并在此区域中创建一个Hash表,该Hash表中可以存储有数据页面的页面标识和相应的修改日志的校验值等。其中,目标页面的页面标识可以通过目标文件的标识、目标文件的存储路径和目标页面在目标文件中的位置中的一项或多项表征,修改日志的校验值可以是修改日志的Hash值。
在步骤S406中,计算层节点获取目标页面的页面标识和上述修改日志的校验值。
在步骤S408中,计算层节点将目标页面的页面标识和上述修改日志的校验值对应存储到验证数据库中。
在实施中,当需要对某数据页面(即目标页面)修改时,可以将生成的相应的修改日志,根据目标页面的页面标识,放入对应的Hash桶中。
在步骤S410中,计算层节点将上述修改日志发送给目标页面所存储的存储层节点。
在实施中,计算层节点可以将Hash表中的修改,根据目标页面的页面标识确定目标文件的存储路径,然后,可以通过目标文件的存储路径,将该修改日志发送到相应的存储层区域或节点。
在步骤S412中,存储层节点获取上述修改日志对应的目标页面。
其中,存储层节点获取修改日志对应的目标页面为修改前的目标页面。
在步骤S414中,存储层节点根据上述修改日志中记录的修改信息,对目标页面中的相应内容进行修改,得到修改后的目标页面。
在步骤S416中,存储层节点向计算层发送目标页面更新成功的通知消息。
在步骤S418中,计算层节点将上述修改日志删除。
需要说明的是,计算层节点将修改日志删除后,也可以将上述Hash表中存储的与修改日志相关的内容删除。
本说明书实施例提供一种数据页面的处理方法,通过根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息,然后,可以存储该修改日志,并将该修改日志发送给目标页面所存储的存储层节点,以使该存储层节点根据该修改日志,对目标页面中的相应内容进行更新,这样,每当需要对某文件中的某个数据页面进行修改时,会创建一个修改日志,并通过该修改日志记录该页面的修改信息,以便存储层节点基于该修改日志中记录的修改信息对该页面中的相应内容进行修改,以更新该页面,由于修改日志仅记录该页面的修改信息(例如修改前和修改后该页面之间的差异的信息等),且存储层节点通过修改日志仅修改该页面中的相应内容(即部分内容),因此,可以有效避免出现存储写放大现象,从而,在写入数据时可以节省大量的IO带宽。
实施例三
如图5所示,本说明书实施例提供一种数据页面的处理方法,该方法的执行主体可以为计算机系统中的计算层节点和存储层节点,其中,该计算层节点或存储层节点可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,还可以是服务器或服务器集群等,还可以是上述设备中的某个构成组件(如CPU等)。如果计算层节点或存储层节点为服务器,则该服务器可以是某项业务的后台服务器,也可以是某网站(如网络购物网站或支付应用等)的后台服务器等。该方法可以用于在计算层和存储层之间对数据页面进行修改等处理中。该方法具体可以包括以下步骤:
在步骤S502中,计算层节点根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息。
在步骤S504中,计算层节点创建验证数据库。
在步骤S506中,计算层节点获取目标页面的页面标识和上述修改日志的校验值。
在步骤S508中,计算层节点将目标页面的页面标识和上述修改日志的校验值对应存储到验证数据库中。
在步骤S510中,计算层节点将上述修改日志发送给目标页面所存储的存储层节点。
在实际应用中,存储层也可以是设置验证数据库,可以用于存储修改日志,具体可以参见以下步骤S512~步骤S516的内容。
在步骤S512中,存储层节点获取上述修改日志对应的目标页面的页面标识和该修改日志的校验值。
在实施中,可以通过多种方式创建验证数据库,例如可以通过键值对的方式构建验证数据库,或者通过哈希值(Hash值)或哈希表(Hash表)的方式构建验证数据库。以通过哈希值(Hash值)或哈希表(Hash表)的方式构建验证数据库为例,可以在内存中设置一个内存区域,并在此区域中创建一个Hash表,该Hash表中可以存储有数据页面的页面标识和相应的修改日志的校验值等。其中,目标页面的页面标识可以通过目标文件的标识、目标文件的存储路径和目标页面在目标文件中的位置中的一项或多项表征,修改日志的校验值可以是修改日志的Hash值。
在步骤S514中,存储层节点将目标页面的页面标识和上述修改日志的校验值对应存储到验证数据库中,并将该修改日志设置为目标页面的读取关联信息。
在实施中,存储层节点获取到修改日志对应的目标页面的页面标识和该修改日志的校验值后,可以将目标页面的页面标识和上述修改日志的校验值对应存储到验证数据库中。然后,为了使得后续再使用目标页面时提供给用户修改后的目标页面,可以将该修改日志设置为目标页面的读取关联信息,即当读写目标页面时,需要结合修改日志进行读写操作。
在步骤S516中,存储层节点向计算层发送目标页面更新成功的通知消息。
在步骤S518中,计算层节点将上述修改日志删除。
当计算层需要读取或修改目标页面时,可以结合修改日志对目标页面进行读写操作,具体可以包括以下步骤S520~步骤S524的处理。
在步骤S520中,当存储层节点接收到目标页面的读取请求时,根据上述修改日志中记录的修改信息,对目标页面中的相应内容进行修改,得到修改后的目标页面。
在步骤S522中,存储层节点将修改后的目标页面发送给计算层。
需要说明的是,通过上述步骤S520和步骤S522的处理,可以避免出现存储写放大现象,从而,在写入数据时节省了大量的IO带宽。
在步骤S524中,存储层节点删除上述修改日志。
需要说明的是,存储层节点将修改日志删除后,也可以将上述Hash表中存储的与修改日志相关的内容删除。
本说明书实施例提供一种数据页面的处理方法,通过根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息,然后,可以存储该修改日志,并将该修改日志发送给目标页面所存储的存储层节点,以使该存储层节点根据该修改日志,对目标页面中的相应内容进行更新,这样,每当需要对某文件中的某个数据页面进行修改时,会创建一个修改日志,并通过该修改日志记录该页面的修改信息,以便存储层节点基于该修改日志中记录的修改信息对该页面中的相应内容进行修改,以更新该页面,由于修改日志仅记录该页面的修改信息(例如修改前和修改后该页面之间的差异的信息等),且存储层节点通过修改日志仅修改该页面中的相应内容(即部分内容),因此,可以有效避免出现存储写放大现象,从而,在写入数据时可以节省大量的IO带宽。
实施例四
如图6所示,本说明书实施例提供一种数据页面的处理方法,该方法的执行主体可以为终端设备或服务器,其中,该终端设备可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,该终端设备可以为用户使用的终端设备。该服务器可以是独立的服务器,也可以是由多个服务器组成的服务器集群,而且,该服务器可以是某项业务的后台服务器,也可以是某网站(如网络购物网站或支付应用等)的后台服务器等。该方法可以用于在计算层和存储层之间对数据页面进行修改等处理中。该方法具体可以包括以下步骤:
在步骤S602中,根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息。
在步骤S604中,根据上述修改日志,对目标页面中的相应内容进行更新。
上述步骤S602和步骤S604的具体处理过程可以参见上述实施例中的相关内容,在此不再赘述。
本说明书实施例提供一种数据页面的处理方法,通过根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息,然后,可以根据该修改日志,对目标页面中的相应内容进行更新,这样,每当需要对某文件中的某个数据页面进行修改时,会创建一个修改日志,并通过该修改日志记录该页面的修改信息,以便存储层节点基于该修改日志中记录的修改信息对该页面中的相应内容进行修改,以更新该页面,由于修改日志仅记录该页面的修改信息(例如修改前和修改后该页面之间的差异的信息等),且存储层节点通过修改日志仅修改该页面中的相应内容(即部分内容),因此,可以有效避免出现存储写放大现象,从而,在写入数据时可以节省大量的IO带宽。
实施例五
如图7所示,本说明书实施例提供一种数据页面的处理方法,该方法的执行主体可以为终端设备或服务器,其中,该终端设备可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,该终端设备可以为用户使用的终端设备。该服务器可以是独立的服务器,也可以是由多个服务器组成的服务器集群,而且,该服务器可以是某项业务的后台服务器,也可以是某网站(如网络购物网站或支付应用等)的后台服务器等。该方法可以用于在计算层和存储层之间对数据页面进行修改等处理中。该方法具体可以包括以下步骤:
在步骤S702中,根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息。
在实际应用中,为了保证对目标页面的某一次修改不会重复进行,可以在生成相应的修改日志后,创建一个验证数据库,用于存储修改日志,并对每次生成和存储的修改日志进行校验或验证,具体可以参见以下步骤S704~步骤S708的内容。
在步骤S704中,创建验证数据库。
其中,该验证数据库可以通过多种方式实现,例如可以通过键值对的方式构建验证数据库,或者通过哈希值(Hash值)或哈希表(Hash表)的方式构建验证数据库。
在实施中,以通过Hash值或Hash表的方式构建验证数据库为例,可以在内存中设置一个内存区域,并在此区域中创建一个Hash表,该Hash表中可以存储有数据页面的页面标识和相应的修改日志的校验值等。其中,目标页面的页面标识可以通过目标文件的标识、目标文件的存储路径和目标页面在目标文件中的位置中的一项或多项表征,修改日志的校验值可以是修改日志的Hash值。
在步骤S706中,获取目标页面的页面标识和上述修改日志的校验值。
在步骤S708中,将目标页面的页面标识和上述修改日志的校验值对应存储到验证数据库中。
在实施中,当需要对目标页面修改时,可以将生成的相应的修改日志,根据目标页面的页面标识,放入对应的Hash桶中。
在步骤S710中,获取上述修改日志对应的目标页面。
其中,存储层节点获取修改日志对应的目标页面为修改前的目标页面。
在步骤S712中,根据上述修改日志中记录的修改信息,对目标页面中的相应内容进行修改,得到修改后的目标页面。
在步骤S714中,将上述修改日志删除。
需要说明的是,将修改日志删除后,也可以将上述Hash表中存储的与修改日志相关的内容删除。
本说明书实施例提供一种数据页面的处理方法,通过根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息,然后,可以根据该修改日志,对目标页面中的相应内容进行更新,这样,每当需要对某文件中的某个数据页面进行修改时,会创建一个修改日志,并通过该修改日志记录该页面的修改信息,以便存储层节点基于该修改日志中记录的修改信息对该页面中的相应内容进行修改,以更新该页面,由于修改日志仅记录该页面的修改信息(例如修改前和修改后该页面之间的差异的信息等),且存储层节点通过修改日志仅修改该页面中的相应内容(即部分内容),因此,可以有效避免出现存储写放大现象,从而,在写入数据时可以节省大量的IO带宽。
实施例六
以上为本说明书实施例提供的数据页面的处理方法,基于同样的思路,本说明书实施例还提供一种计算层节点,如图8所示。
该计算层节点包括:日志生成模块801和处理模块802,其中:
日志生成模块801,用于根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
处理模块802,用于存储所述修改日志,并将所述修改日志发送给所述目标页面所存储的存储层节点,以使所述存储层节点根据所述修改日志,对所述目标页面中的相应内容进行更新。
本说明书实施例中,所述处理模块802,包括:
数据库创建单元,用于创建验证数据库;
信息获取单元,用于获取所述目标页面的页面标识和所述修改日志的校验值;
存储单元,用于将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中。
本说明书实施例中,所述计算层节点还包括:
删除模块,用于当接收到所述存储层节点发送的更新成功的通知消息时,将所述修改日志删除。
本说明书实施例提供一种计算层节点,通过根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息,然后,可以存储该修改日志,并将该修改日志发送给目标页面所存储的存储层节点,以使该存储层节点根据该修改日志,对目标页面中的相应内容进行更新,这样,每当需要对某文件中的某个数据页面进行修改时,会创建一个修改日志,并通过该修改日志记录该页面的修改信息,以便存储层节点基于该修改日志中记录的修改信息对该页面中的相应内容进行修改,以更新该页面,由于修改日志仅记录该页面的修改信息(例如修改前和修改后该页面之间的差异的信息等),且存储层节点通过修改日志仅修改该页面中的相应内容(即部分内容),因此,可以有效避免出现存储写放大现象,从而,在写入数据时可以节省大量的IO带宽。
实施例七
基于同样的思路,本说明书实施例还提供一种存储层节点,如图9所示。
该存储层节点包括:日志接收模块901和部分内容更新模块902,其中:
日志接收模块901,用于接收计算层发送的目标文件中的目标页面的修改日志,所述修改日志用于记录所述目标页面的修改信息;
部分内容更新模块902,用于根据所述修改日志,对所述目标页面中的相应内容进行更新。
本说明书实施例中,所述部分内容更新模块902,包括:
页面获取单元,用于获取所述修改日志对应的所述目标页面;
部分内容修改单元,用于根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面;
消息发送单元,用于向计算层发送所述目标页面更新成功的通知消息。
本说明书实施例中,所述部分内容更新模块902,包括:
信息获取单元,用于获取所述修改日志对应的所述目标页面的页面标识和所述修改日志的校验值;
处理单元,用于将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中,并将所述修改日志设置为所述目标页面的读取关联信息;
消息发送单元,用于向计算层发送所述目标页面更新成功的通知消息。
本说明书实施例中,所述存储层节点还包括:
部分内容修改模块,用于当接收到所述目标页面的读取请求时,根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面;
页面发送模块,用于将所述修改后的目标页面发送给计算层;
删除模块,用于删除所述修改日志。
本说明书实施例提供一种存储层节点,通过计算层节点根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息,然后,可以存储该修改日志,并将该修改日志发送给目标页面所存储的存储层节点,以使该存储层节点根据该修改日志,对目标页面中的相应内容进行更新,这样,每当需要对某文件中的某个数据页面进行修改时,会创建一个修改日志,并通过该修改日志记录该页面的修改信息,以便存储层节点基于该修改日志中记录的修改信息对该页面中的相应内容进行修改,以更新该页面,由于修改日志仅记录该页面的修改信息(例如修改前和修改后该页面之间的差异的信息等),且存储层节点通过修改日志仅修改该页面中的相应内容(即部分内容),因此,可以有效避免出现存储写放大现象,从而,在写入数据时可以节省大量的IO带宽。
实施例八
基于同样的思路,本说明书实施例还提供一种数据页面的处理装置,如图10所示。
该数据页面的处理装置包括:日志生成模块1001和部分内容更新模块1002,其中:
日志生成模块1001,用于根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
部分内容更新模块1002,用于根据所述修改日志,对所述目标页面中的相应内容进行更新。
本说明书实施例中,所述装置还包括:
数据库创建模块,用于创建验证数据库;
信息获取模块,用于获取所述目标页面的页面标识和所述修改日志的校验值;
存储模块,用于将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中。
本说明书实施例中,所述部分内容更新模块1002,包括:
页面获取单元,用于获取所述修改日志对应的所述目标页面;
部分内容修改单元,用于根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面。
本说明书实施例中,所述装置还包括:
删除模块,用于删除所述修改日志。
本说明书实施例提供一种数据页面的处理装置,通过根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息,然后,可以根据该修改日志,对目标页面中的相应内容进行更新,这样,每当需要对某文件中的某个数据页面进行修改时,会创建一个修改日志,并通过该修改日志记录该页面的修改信息,以便存储层节点基于该修改日志中记录的修改信息对该页面中的相应内容进行修改,以更新该页面,由于修改日志仅记录该页面的修改信息(例如修改前和修改后该页面之间的差异的信息等),且存储层节点通过修改日志仅修改该页面中的相应内容(即部分内容),因此,可以有效避免出现存储写放大现象,从而,在写入数据时可以节省大量的IO带宽。
实施例九
以上为本说明书实施例提供的数据页面的处理装置,基于同样的思路,本说明书实施例还提供一种数据页面的处理设备,如图11所示。
所述数据页面的处理设备可以为上述实施例提供的计算层节点、存储层节点、数据页面的处理装置等。
数据页面的处理设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器1101和存储器1102,存储器1102中可以存储有一个或一个以上存储应用程序或数据。其中,存储器1102可以是短暂存储或持久存储。存储在存储器1102的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对数据页面的处理设备中的一系列计算机可执行指令。更进一步地,处理器1101可以设置为与存储器1102通信,在数据页面的处理设备上执行存储器1102中的一系列计算机可执行指令。数据页面的处理设备还可以包括一个或一个以上电源1103,一个或一个以上有线或无线网络接口1104,一个或一个以上输入输出接口1105,一个或一个以上键盘1106。
具体在本实施例中,数据页面的处理设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对数据页面的处理设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
存储所述修改日志,并将所述修改日志发送给所述目标页面所存储的存储层节点,以使所述存储层节点根据所述修改日志,对所述目标页面中的相应内容进行更新。
本说明书实施例中,所述存储所述修改日志,包括:
创建验证数据库;
获取所述目标页面的页面标识和所述修改日志的校验值;
将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中。
本说明书实施例中,所述方法还包括:
当接收到所述存储层节点发送的更新成功的通知消息时,将所述修改日志删除。
具体在本实施例中,数据页面的处理设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对数据页面的处理设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
接收计算层发送的目标文件中的目标页面的修改日志,所述修改日志用于记录所述目标页面的修改信息;
根据所述修改日志,对所述目标页面中的相应内容进行更新。
本说明书实施例中,所述根据所述修改日志,对所述目标页面中的相应内容进行更新,包括:
获取所述修改日志对应的所述目标页面;
根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面;
向计算层发送所述目标页面更新成功的通知消息。
本说明书实施例中,所述根据所述修改日志,对所述目标页面中的相应内容进行更新,包括:
获取所述修改日志对应的所述目标页面的页面标识和所述修改日志的校验值;
将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中,并将所述修改日志设置为所述目标页面的读取关联信息;
向计算层发送所述目标页面更新成功的通知消息。
本说明书实施例中,所述方法还包括:
当接收到所述目标页面的读取请求时,根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面;
将所述修改后的目标页面发送给计算层;
删除所述修改日志。
具体在本实施例中,数据页面的处理设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对数据页面的处理设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
根据所述修改日志,对所述目标页面中的相应内容进行更新。
本说明书实施例中,还包括:
创建验证数据库;
获取所述目标页面的页面标识和所述修改日志的校验值;
将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中。
本说明书实施例中,所述根据所述修改日志,对所述目标页面中的相应内容进行更新,包括:
获取所述修改日志对应的所述目标页面;
根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面。
本说明书实施例中,还包括:
删除所述修改日志。
本说明书实施例提供一种数据页面的处理设备,通过根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息,然后,可以根据该修改日志,对目标页面中的相应内容进行更新,这样,每当需要对某文件中的某个数据页面进行修改时,会创建一个修改日志,并通过该修改日志记录该页面的修改信息,以便存储层节点基于该修改日志中记录的修改信息对该页面中的相应内容进行修改,以更新该页面,由于修改日志仅记录该页面的修改信息(例如修改前和修改后该页面之间的差异的信息等),且存储层节点通过修改日志仅修改该页面中的相应内容(即部分内容),因此,可以有效避免出现存储写放大现象,从而,在写入数据时可以节省大量的IO带宽。
实施例十
基于同样的思路,本说明书实施例还提供一种计算机系统,如图12所示。
所述计算机系统可以包括至少一个如上述实施例一中所述的计算层节点1201和至少一个如上述实施例二中所述的存储层节点1202,所述每个计算层节点1201分别与所述每个存储层节点1202相连接。其中:
所述计算层节点1201,用于根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;存储所述修改日志,并将所述修改日志发送给所述目标页面所存储的存储层节点,以使所述存储层节点根据所述修改日志,对所述目标页面中的相应内容进行更新。
所述计算层节点1201,还用于创建验证数据库;获取所述目标页面的页面标识和所述修改日志的校验值;将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中。
所述计算层节点1201,还用于当接收到所述存储层节点发送的更新成功的通知消息时,将所述修改日志删除。
所述存储层节点1202,用于接收计算层发送的目标文件中的目标页面的修改日志,所述修改日志用于记录所述目标页面的修改信息;根据所述修改日志,对所述目标页面中的相应内容进行更新。
所述存储层节点1202,还用于获取所述修改日志对应的所述目标页面;根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面;向计算层发送所述目标页面更新成功的通知消息。
所述存储层节点1202,还用于获取所述修改日志对应的所述目标页面的页面标识和所述修改日志的校验值;将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中,并将所述修改日志设置为所述目标页面的读取关联信息;向计算层发送所述目标页面更新成功的通知消息。
所述存储层节点1202,还用于当接收到所述目标页面的读取请求时,根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面;将所述修改后的目标页面发送给计算层;删除所述修改日志。
本说明书实施例提供一种计算机系统,计算层节点通过根据对目标文件中的目标页面的修改操作,生成相应的修改日志,该修改日志用于记录目标页面的修改信息,然后,可以存储该修改日志,并将该修改日志发送给目标页面所存储的存储层节点,以使该存储层节点根据该修改日志,对目标页面中的相应内容进行更新,这样,每当需要对某文件中的某个数据页面进行修改时,会创建一个修改日志,并通过该修改日志记录该页面的修改信息,以便存储层节点基于该修改日志中记录的修改信息对该页面中的相应内容进行修改,以更新该页面,由于修改日志仅记录该页面的修改信息(例如修改前和修改后该页面之间的差异的信息等),且存储层节点通过修改日志仅修改该页面中的相应内容(即部分内容),因此,可以有效避免出现存储写放大现象,从而,在写入数据时可以节省大量的IO带宽。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书的实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

Claims (26)

1.一种数据页面的处理方法,所述方法包括:
根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
存储所述修改日志,并将所述修改日志发送给所述目标页面所存储的存储层节点,以使所述存储层节点根据所述修改日志,对所述目标页面中的相应内容进行更新。
2.根据权利要求1所述的方法,所述存储所述修改日志,包括:
创建验证数据库;
获取所述目标页面的页面标识和所述修改日志的校验值;
将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中。
3.根据权利要求2所述的方法,所述方法还包括:
当接收到所述存储层节点发送的更新成功的通知消息时,将所述修改日志删除。
4.一种数据页面的处理方法,所述方法包括:
接收计算层发送的目标文件中的目标页面的修改日志,所述修改日志用于记录所述目标页面的修改信息;
根据所述修改日志,对所述目标页面中的相应内容进行更新。
5.根据权利要求4所述的方法,所述根据所述修改日志,对所述目标页面中的相应内容进行更新,包括:
获取所述修改日志对应的所述目标页面;
根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面;
向计算层发送所述目标页面更新成功的通知消息。
6.根据权利要求4所述的方法,所述根据所述修改日志,对所述目标页面中的相应内容进行更新,包括:
获取所述修改日志对应的所述目标页面的页面标识和所述修改日志的校验值;
将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中,并将所述修改日志设置为所述目标页面的读取关联信息;
向计算层发送所述目标页面更新成功的通知消息。
7.根据权利要求6所述的方法,所述方法还包括:
当接收到所述目标页面的读取请求时,根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面;
将所述修改后的目标页面发送给计算层;
删除所述修改日志。
8.一种数据页面的处理方法,所述方法包括:
根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
根据所述修改日志,对所述目标页面中的相应内容进行更新。
9.根据权利要求8所述的方法,所述方法还包括:
创建验证数据库;
获取所述目标页面的页面标识和所述修改日志的校验值;
将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中。
10.根据权利要求8所述的方法,所述根据所述修改日志,对所述目标页面中的相应内容进行更新,包括:
获取所述修改日志对应的所述目标页面;
根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面。
11.根据权利要求10所述的方法,所述方法还包括:
删除所述修改日志。
12.一种计算层节点,所述计算层节点包括:
日志生成模块,用于根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
处理模块,用于存储所述修改日志,并将所述修改日志发送给所述目标页面所存储的存储层节点,以使所述存储层节点根据所述修改日志,对所述目标页面中的相应内容进行更新。
13.根据权利要求12所述的计算层节点,所述处理模块,包括:
数据库创建单元,用于创建验证数据库;
信息获取单元,用于获取所述目标页面的页面标识和所述修改日志的校验值;
存储单元,用于将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中。
14.根据权利要求13所述的计算层节点,所述计算层节点还包括:
删除模块,用于当接收到所述存储层节点发送的更新成功的通知消息时,将所述修改日志删除。
15.一种存储层节点,所述存储层节点包括:
日志接收模块,用于接收计算层发送的目标文件中的目标页面的修改日志,所述修改日志用于记录所述目标页面的修改信息;
部分内容更新模块,用于根据所述修改日志,对所述目标页面中的相应内容进行更新。
16.根据权利要求15所述的存储层节点,所述部分内容更新模块,包括:
页面获取单元,用于获取所述修改日志对应的所述目标页面;
部分内容修改单元,用于根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面;
消息发送单元,用于向计算层发送所述目标页面更新成功的通知消息。
17.根据权利要求15所述的存储层节点,所述部分内容更新模块,包括:
信息获取单元,用于获取所述修改日志对应的所述目标页面的页面标识和所述修改日志的校验值;
处理单元,用于将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中,并将所述修改日志设置为所述目标页面的读取关联信息;
消息发送单元,用于向计算层发送所述目标页面更新成功的通知消息。
18.根据权利要求17所述的存储层节点,所述存储层节点还包括:
部分内容修改模块,用于当接收到所述目标页面的读取请求时,根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面;
页面发送模块,用于将所述修改后的目标页面发送给计算层;
删除模块,用于删除所述修改日志。
19.一种数据页面的处理装置,所述装置包括:
日志生成模块,用于根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
部分内容更新模块,用于根据所述修改日志,对所述目标页面中的相应内容进行更新。
20.根据权利要求19所述的装置,所述装置还包括:
数据库创建模块,用于创建验证数据库;
信息获取模块,用于获取所述目标页面的页面标识和所述修改日志的校验值;
存储模块,用于将所述目标页面的页面标识和所述修改日志的校验值对应存储到所述验证数据库中。
21.根据权利要求19所述的装置,所述部分内容更新模块,包括:
页面获取单元,用于获取所述修改日志对应的所述目标页面;
部分内容修改单元,用于根据所述修改日志中记录的所述修改信息,对所述目标页面中的相应内容进行修改,得到修改后的目标页面。
22.根据权利要求21所述的装置,所述装置还包括:
删除模块,用于删除所述修改日志。
23.一种计算层节点,所述计算层节点包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
存储所述修改日志,并将所述修改日志发送给所述目标页面所存储的存储层节点,以使所述存储层节点根据所述修改日志,对所述目标页面中的相应内容进行更新。
24.一种存储层节点,所述存储层节点包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
接收计算层发送的目标文件中的目标页面的修改日志,所述修改日志用于记录所述目标页面的修改信息;
根据所述修改日志,对所述目标页面中的相应内容进行更新。
25.一种数据页面的处理设备,所述数据页面的处理设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
根据对目标文件中的目标页面的修改操作,生成相应的修改日志,所述修改日志用于记录所述目标页面的修改信息;
根据所述修改日志,对所述目标页面中的相应内容进行更新。
26.一种计算机系统,所述计算机系统包括至少一个如权利要求12-14中任一项所述的计算层节点和至少一个如权利要求15-18中任一项所述的存储层节点,所述每个计算层节点分别与所述每个存储层节点相连接。
CN201811123424.1A 2018-09-26 2018-09-26 一种数据页面的处理方法、装置、设备及计算机系统 Pending CN110955653A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811123424.1A CN110955653A (zh) 2018-09-26 2018-09-26 一种数据页面的处理方法、装置、设备及计算机系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811123424.1A CN110955653A (zh) 2018-09-26 2018-09-26 一种数据页面的处理方法、装置、设备及计算机系统

Publications (1)

Publication Number Publication Date
CN110955653A true CN110955653A (zh) 2020-04-03

Family

ID=69964362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811123424.1A Pending CN110955653A (zh) 2018-09-26 2018-09-26 一种数据页面的处理方法、装置、设备及计算机系统

Country Status (1)

Country Link
CN (1) CN110955653A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488150A (zh) * 2020-05-15 2020-08-04 网易(杭州)网络有限公司 页面处理的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222071A (zh) * 2010-04-16 2011-10-19 华为技术有限公司 数据同步处理方法、设备及系统
CN105122241A (zh) * 2013-03-15 2015-12-02 亚马逊科技公司 具有数据库引擎和独立分布式存储服务的数据库系统
CN106104511A (zh) * 2014-03-11 2016-11-09 亚马逊科技公司 基于块的存储的页面高速缓存存录
US9823857B1 (en) * 2015-03-27 2017-11-21 Veritas Technologies Llc Systems and methods for end-to-end quality of service control in distributed systems
CN107547632A (zh) * 2017-07-25 2018-01-05 广州爱九游信息技术有限公司 缓存数据同步方法、设备、服务中心及多中心服务系统
CN108073656A (zh) * 2016-11-17 2018-05-25 杭州华为数字技术有限公司 一种数据同步方法及相关设备
CN108399186A (zh) * 2018-01-12 2018-08-14 联动优势科技有限公司 一种数据采集方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222071A (zh) * 2010-04-16 2011-10-19 华为技术有限公司 数据同步处理方法、设备及系统
CN105122241A (zh) * 2013-03-15 2015-12-02 亚马逊科技公司 具有数据库引擎和独立分布式存储服务的数据库系统
CN106104511A (zh) * 2014-03-11 2016-11-09 亚马逊科技公司 基于块的存储的页面高速缓存存录
US9823857B1 (en) * 2015-03-27 2017-11-21 Veritas Technologies Llc Systems and methods for end-to-end quality of service control in distributed systems
CN108073656A (zh) * 2016-11-17 2018-05-25 杭州华为数字技术有限公司 一种数据同步方法及相关设备
CN107547632A (zh) * 2017-07-25 2018-01-05 广州爱九游信息技术有限公司 缓存数据同步方法、设备、服务中心及多中心服务系统
CN108399186A (zh) * 2018-01-12 2018-08-14 联动优势科技有限公司 一种数据采集方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈钧毅等: "《数据库系统原理》", 西安交通大学出版社, pages: 183 - 186 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488150A (zh) * 2020-05-15 2020-08-04 网易(杭州)网络有限公司 页面处理的方法和装置
CN111488150B (zh) * 2020-05-15 2024-01-23 网易(杭州)网络有限公司 页面处理的方法和装置

Similar Documents

Publication Publication Date Title
CN107562775B (zh) 一种基于区块链的数据处理方法及设备
CN108418851B (zh) 策略发布系统、方法、装置及设备
CN110298194B (zh) 基于区块链的文件处理方法、装置、设备及存储介质
CN108959341B (zh) 一种数据同步的方法、装置及设备
CN109284066B (zh) 一种数据处理方法、装置、设备及系统
CN110807013B (zh) 用于分布式数据存储集群的数据迁移方法和装置
CN111158597A (zh) 一种元数据读取方法、装置及电子设备和存储介质
CN110633096B (zh) 节点控制方法及装置、版本控制方法及装置、分布式系统
CN111752633A (zh) 代码加载方法、装置及设备
CN115617799A (zh) 一种数据存储的方法、装置、设备及存储介质
CN108536569B (zh) 一种业务行为跟踪方法、装置及设备
CN110602163B (zh) 文件上传方法及装置
CN116701317A (zh) 一种文件存储及下载方法、装置及设备
CN110955653A (zh) 一种数据页面的处理方法、装置、设备及计算机系统
US9262304B2 (en) Methods and systems for testing interactions between mobile applications
CN112596733B (zh) 编译和获取文件的方法、装置、存储介质、电子设备
CN112181798B (zh) 数据记录方法及装置
CN111339117B (zh) 数据处理方法、装置及设备
CN114594944A (zh) 一种应用构建系统以及设备
CN114238934A (zh) 一种设备信息获取方法、装置、设备及介质
CN112579117A (zh) 数据升级方法及装置
CN112019617B (zh) 一种数据存储方法、装置及设备
CN110175020B (zh) 框架属性信息扩展方法和装置、框架加载方法和装置
CN110674106B (zh) 保单数据的存储方法、装置、设备及计算机可读存储介质
CN112118235A (zh) 一种基于sftp的文件管理方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210902

Address after: Room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211230

Address after: 310000 No. 12, Zhuantang science and technology economic block, Xihu District, Hangzhou City, Zhejiang Province

Applicant after: Aliyun Computing Co.,Ltd.

Address before: 310000 room 508, 5th floor, building 4, No.699 Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: Alibaba (China) Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20200403

RJ01 Rejection of invention patent application after publication