CN110196681B - 业务写操作的磁盘数据写入控制方法及装置、电子设备 - Google Patents

业务写操作的磁盘数据写入控制方法及装置、电子设备 Download PDF

Info

Publication number
CN110196681B
CN110196681B CN201810319658.7A CN201810319658A CN110196681B CN 110196681 B CN110196681 B CN 110196681B CN 201810319658 A CN201810319658 A CN 201810319658A CN 110196681 B CN110196681 B CN 110196681B
Authority
CN
China
Prior art keywords
disk
writing
write
information
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810319658.7A
Other languages
English (en)
Other versions
CN110196681A (zh
Inventor
陈东东
洪志国
罗韩梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810319658.7A priority Critical patent/CN110196681B/zh
Publication of CN110196681A publication Critical patent/CN110196681A/zh
Application granted granted Critical
Publication of CN110196681B publication Critical patent/CN110196681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656Data buffering arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658Controller construction arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662Virtualisation aspects
    • G06F3/0665Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明揭示了一种业务写操作的磁盘数据写入控制方法及装置、电子设备、计算机可读存储介质,该方案包括:接收业务进程触发写操作发起的写缓存请求;根据写缓存请求获得业务进程的进程信息,并将进程信息写入业务进程指向的信息存储区域;在写缓存请求所请求缓存的数据内容触发磁盘写入时,根据信息存储区域写入的进程信息重定位至业务进程所属的资源控制子系统;在资源控制子系统的控制下,按照所分配磁盘写速度将缓存的数据内容写入磁盘。本发明实现了磁盘写速率的控制,避免了磁盘带宽资源饱和,由于无需改变业务进程,也无需周期性检测磁盘写速率,从而既保证了业务的正常运行,又无需增加额外的检测成本。

Description

业务写操作的磁盘数据写入控制方法及装置、电子设备
技术领域
本发明涉及计算机技术领域,特别涉及一种业务写操作的磁盘数据写入控制方法及装置、电子设备、计算机可读存储介质。
背景技术
Docker是一个开源的应用容器引擎,能够让开发者打包他们的应用及依赖包到一个可移植的容器中。使得容器中的进程看起来就像在一个独立环境中运行。但是,光有运行环境隔离还不够,因为这些进程还是可以不受限制地使用系统资源,比如网络、磁盘、CPU以及内存等。为了让容器中的进程更加可控,Docker使用Linux Cgroups来限制容器中的进程允许使用的系统资源。
Linux Cgroups是Linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如内存、cpu、磁盘读写速率)的机制。其中,进程写磁盘分为direct write(直接写)和buffer write(写缓存)。Direct write是直接写磁盘,而buffer write是先写内存,然后内核异步地将内存写到磁盘,这会大大提高磁盘写入效率,目前默认的写操作都是bufferwrite。
但是目前的Linux Cgroups只能控制direct write的磁盘写速率,无法控制buffer write的磁盘写速率。Linux Cgroups通过将进程的pid(标识符)与某个cgroup进行绑定,磁盘写入速率按照进程所属的cgroup设置的值进行控制。而buffer write过程是先写内存,后由linux内核线程将内容异步写到磁盘中,在内核重新发起写操作过程中,失去了原来进程和cgroup的绑定信息,由此无法控制内容写到磁盘中的速率,进而可能造成磁盘带宽资源饱和,影响其他进程的资源分配。
当业务采用buffer write方式时,现有技术主要通过周期性地检测磁盘写速率,若磁盘写速率达到阈值,便减少业务量或终止业务,以防止磁盘带宽资源饱和。但是周期性检测磁盘写速率,需要增加额外的检测成本,另外,在磁盘写速率达到阈值时减少业务量或终止业务也影响了业务的正常运行。
发明内容
由于目前的Linux Cgroups机制只能控制direct write的磁盘写速率,无法控制buffer write的磁盘写速率,为了解决现有通过周期性检测buffer write的磁盘写速率,需要增加额外的检测成本并且影响业务正常运行的问题,本发明提供了一种业务写操作的磁盘数据写入控制方法。
一方面,本发明提供了一种业务写操作的磁盘数据写入控制方法,所述方法包括:
接收业务进程触发写操作发起的写缓存请求;
根据所述写缓存请求获得所述业务进程的进程信息,并将所述进程信息写入所述业务进程指向的信息存储区域;
在所述写缓存请求所请求缓存的数据内容触发磁盘写入时,根据所述信息存储区域写入的进程信息重定位至所述业务进程所属的资源控制子系统;
在所述资源控制子系统的控制下,按照所分配磁盘写速度将缓存的所述数据内容写入磁盘。
另一方面,本发明还提供了一种业务写操作的磁盘数据写入控制装置,所述装置包括:
请求接收模块,用于接收业务进程触发写操作发起的写缓存请求;
信息写入模块,用于根据所述写缓存请求获得所述业务进程的进程信息,并将所述进程信息写入所述业务进程指向的信息存储区域;
重定位模块,用于在所述写缓存请求所请求缓存的数据内容触发磁盘写入时,根据所述信息存储区域写入的进程信息重定位至所述业务进程所属的资源控制子系统;
写入控制模块,用于在所述资源控制子系统的控制下,按照所分配磁盘写速度将缓存的所述数据内容写入磁盘。
进一步的,本发明还提供了一种电子设备,所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述业务写操作的磁盘数据写入控制方法。
另外,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序可由处理器执行完成上述业务写操作的磁盘数据写入控制方法。
本发明的实施例提供的技术方案可以包括以下有益效果:
本发明提供的技术方案,通过在信息存储区域写入进程信息,从而在缓存的数据内容触发磁盘写入时,可以根据信息存储区域写入的进程信息重新确定业务进程所属的资源控制子系统,进而按照资源控制子系统设置的磁盘写速度,将缓存的数据内容写入磁盘,由此实现了磁盘写速率的控制,避免了磁盘带宽资源饱和,由于无需改变业务进程,也无需周期性检测磁盘写速率,从而既保证了业务的正常运行,又无需增加额外的检测成本。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是根据本发明所涉及的实施环境的示意图;
图2是根据一示例性实施例示出的一种服务器的框图;
图3是根据一示例性实施例示出的一种业务写操作的磁盘数据写入控制方法的流程图;
图4是根据一示例性实施例示出的一种服务器内部框架图;
图5是根据一示例性实施例示出的内存资源隔离示意图;
图6是图4对应实施例中步骤330的细节流程图;
图7是根据一示例性实施例示出的一种业务写操作的磁盘数据写入控制装置的框图;
图8是图7对应实施例中重定位模块的细节框图;
图9是图7对应实施例中信息写入模块的细节框图。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据本发明所涉及的实施环境的示意图。该实施环境包括:多个服务器110。多个服务器110构成容器云平台,每个服务器110作为宿主机部署了多个用于运行业务进程的容器111。多个容器111共享宿主机上的资源,如cpu、内存、磁盘等。若某个业务进程需要进行大量的写操作,势必会占用大量的磁盘带宽资源,从而影响其他业务进程的正常运行。因此,有必要对业务进程的磁盘写带宽资源进行控制。
现有技术中服务器110内核通过Linux Cgroups机制来控制业务进程的资源使用,如内存、cpu和磁盘写速率。过程是将进程的pid(标识符)与某个cgroup(即资源控制子系统)进行绑定,资源分配按照该进程所属的cgroup设置的值进行分配。但是当发起的写操作是buffer write(写缓存)时,由于buffer write过程是先将数据内容写内存,后由内核线程将内存中缓存的数据内容异步写到磁盘中。在内核重新发起写操作过程中,失去了原来进程和cgroup的绑定信息,由此在内存到磁盘的写入过程中,内核无法控制磁盘写速率,影响业务的正常运行。
通过采用本发明提供的业务写操作的磁盘数据写入控制方法,服务器110的内核在接收到业务进程发起buffer write操作时,在文件中记录进程信息,从而在数据内容从内存到磁盘的写入过程中,可以依据文件中记录的进程信息,重新将进程绑定至相应的cgroup,根据cgroup为业务进程设置的磁盘写速率值,控制数据内容写入磁盘的速率,从而在写磁盘的过程中,不会超过这个速率,避免磁盘带宽资源饱和,影响其他业务的运行。
通过将本发明应用在容器云平台,可以实现对业务进行磁盘IO(输入输出)资源的隔离,在目前cpu(处理器)和内存隔离的基础上,更加有效的保证不同业务之间不会相互受影响,更好地共享宿主机的资源。
图2是根据一示例性实施例示出的一种服务器的框图。例如,参见图2,图2是本发明实施例提供的一种服务器结构示意图。该服务器200可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)222(例如,一个或一个以上处理器)和存储器232,一个或一个以上存储应用程序242或数据244的存储介质230(例如一个或一个以上海量存储设备)。其中,存储器232和存储介质230可以是短暂存储或持久存储。存储在存储介质230的程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对服务器200中的一系列指令操作。更进一步地,中央处理器222可以设置为与存储介质230通信,在服务器200上执行存储介质230中的一系列指令操作。服务器200还可以包括一个或一个以上电源226,一个或一个以上有线或无线网络接口250,一个或一个以上输入输出接口258,和/或,一个或一个以上操作系统241,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。下述图3、图6所示实施例中所述的由服务器内核所执行的步骤可以基于该图2所示的服务器结构。
本领域普通技术人员可以理解实现下述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
图3是根据一示例性实施例示出的一种业务写操作的磁盘数据写入控制方法的流程图。该业务写操作的磁盘数据写入控制方法的适用范围和执行主体,例如,该方法可以用于图1所示实施环境的服务器110中,执行主体可以是服务器110的内核。如图3所示,该控制方法可以由服务器110的内核执行,可以包括以下步骤。
在步骤310中,接收业务进程触发写操作发起的写缓存请求。
其中,业务进程是指某种应用程序运行过程,例如即时通信软件app的运行过程。在一种实施例中,业务进程接收到客户端发送的数据写入指令,业务进程触发执行写操作,向服务器110的内核发送写缓存请求。服务器110的内核接收该写缓存请求。
需要说明的是,写缓存请求指示需要将待写入的数据内容,先写入内存,在内存中进行缓存,之后由内核从内存中将数据内容写入磁盘。写缓存请求可以包括业务进程的进程信息和待写入磁盘的数据内容。
在步骤330中,根据写缓存请求获得业务进程的进程信息,并将进程信息写入业务进程指向的信息存储区域。
其中,进程信息可以包括进程标识符(pid)以及与进程标识符绑定的某个cgroup信息。信息存储区域是指业务进程所属的,用于存储进程信息的存储空间。信息存储区域位于内存中,作为将数据内容从内存写入磁盘的媒介。信息存储区域可以是内存中的inode结构体,inode结构体是Linux内核中对文件的具体表示,一个文件对应一个inode结构体。服务器110的内核可以根据接收到的写缓存请求,从写缓存请求中解析得到发送该写缓存请求的业务进程的进程信息。服务器110的内核将进程信息写入该业务进程所属的inode结构体中。当然,服务器110的内核在接收到写缓存请求后,还需要将写缓存请求所携带的数据内容写入内存。
需要说明的是,服务器110的内核根据写缓存请求所携带的数据内容和进程信息,将数据内容和进程信息写入内存。从而后续当需要将内存中缓存的数据内容写入磁盘时,可以根据内存中进程信息(包括进程pid和cgroup信息),重新找到与发起请求的业务进程绑定的cgroup,从而可以按照此cgroup设置的值控制将数据内容从内存写入磁盘的速率。
在步骤350中,在写缓存请求所请求缓存的数据内容触发磁盘写入时,根据信息存储区域写入的进程信息重定位至所述业务进程所属的资源控制子系统。
需要解释的是,由于现有技术在将内存中缓存的数据内容写入磁盘时,失去了进程与cgroup的绑定信息,由此内核无法按照cgroup设置的值,控制数据内容写入磁盘的速率。
本发明通过将进程信息写入信息存储区域,从而在将内存中缓存的数据内容写入磁盘时,内核可以从信息存储区域重新获得进程信息,进而从进程信息中获得业务进程所属的资源控制子系统(cgroup)。
其中,缓存的数据内容触发磁盘写入的条件可以是内存满,无法继续缓存新来的数据,从而触发内核进行磁盘写入。
在步骤370中,在资源控制子系统的控制下,按照所分配磁盘写速度将缓存的数据内容写入磁盘。
需要说明的是,cgroup是内核提供的一种可以限制、记录、隔离进程所使用的物理资源(如内存、cpu、磁盘读写速率)的机制。在步骤350根据信息存储区域的进程信息,确定业务进程所属的cgroup后,内核在cgroup机制的控制下,按照业务进程所属cgroup设置的磁盘写速度,将内存中缓存的数据内容顺序写入磁盘,进而可以防止磁盘带宽资源饱和,避免独自占用较多机器资源,影响其他业务进程的运行。
需要强调的是,目前的Linux内核只能控制direct write(直接写磁盘),而对buffer write失控,换句话说,在数据内容先写内存后,无法再控制数据内容从内存写入磁盘的速度,从而可能导致磁盘带宽资源饱和。由此,现有技术为了防止磁盘带宽资源饱和,业务只能采用直接写磁盘的方式;或者周期性检测磁盘写速率,在磁盘写速率达到阈值时,便减少业务量或终止业务;还有是通过控制数据内容写入内存的速率,进而降低从内存写入磁盘的速率。
上述三种方式,如果直接采用direct write的方式,写数据的效率大大降低,且实现数据的异步传输,可能影响业务的正常运行。如果周期性检测磁盘写速率,则需要增加额外的检测成本,并且在写速率达到阈值时便减少业务或终止业务,也影响了业务的正常运行。进一步的,如果控制业务数据内容写入内存的速率,进程的写速率虽然受到的控制,但是当从内存中将数据内容写入磁盘时,还是可能会造成磁盘带宽资源的饱和。
本发明上述实施例提供的技术方案,通过在信息存储区域写入进程信息,从而在缓存的数据内容触发磁盘写入时,可以根据信息存储区域写入的进程信息重新确定业务进程所属的资源控制子系统,进而按照资源控制子系统设置的磁盘写速度,将缓存的数据内容写入磁盘,由此实现了磁盘写速率的控制,避免了磁盘带宽资源饱和,由于无需改变业务进程,也无需周期性检测磁盘写速率,从而既保证了业务的正常运行,又无需增加额外的检测成本。
图4为本发明示例性实施例示出的一种服务器内部框架图。如图4所示,服务器分成用户态、内核态以及硬件层。用户态的用户程序(即业务进程)触发写操作发起写缓存请求,切换到内核态。内核态的虚拟文件层是Linux内核中的一个软件层,用于给用户程序提供接口,接收写缓存请求。虚拟文件层将写缓存请求所携带的数据内容写入内存,并在内存的inode结构体中记录当前进程信息。在数据内容触发磁盘写入时,内核态的通用块层根据inode结构体中记录的进程信息,重新将业务进程与所属的cgroup进行绑定,并按照cgroup设置的磁盘写速度,将内存中缓存的数据内容异步写入磁盘。
在一种示例性实施例中,在上述步骤350之前,本发明提供的业务写操作的磁盘数据写入控制还可能包括以下步骤:
将写缓存请求所携带的数据内容写入所述资源控制子系统为业务进程在内存分配的数据页。
其中,内存包括许多的数据页,本发明将内存由cgroup进行分配,cgroup为每个业务进程分配内存中不同的数据页。例如,业务进程1分配的数据页是1-10,业务进程2分配的数据页是11-20……,不同业务进程缓存的数据内容位于内存相应的数据页中,从而实现不同业务进程的内存资源隔离,保证不同业务之间不会相互影响,从而更好地在同一台宿主机共享资源。
进一步的,在将写缓存请求所携带的数据内容写入资源控制子系统为业务进程在内存分配的数据页之前,本发明提供的业务写操作的磁盘数据写入控制还可能包括以下步骤:
根据所述资源控制子系统为不同业务进程配置的资源比例,对所述内存进行资源分割,确定所述业务进程在内存分配的数据页。
Cgroup为不同业务进程配置了不同的内存资源占比,由此内核可以根据业务进程所属cgroup设置的内存资源占比,对内存进行资源分割,获得业务进程所属的数据页。之后,虚拟文件层可以将该业务进程需缓存的数据内存写入该业务进程所属的数据页。
更进一步的,上述步骤350具体包括:
判断数据内容在数据页中所产生的脏页数量是否大于阈值;
若脏页数量大于阈值,触发进行磁盘写入。
需要说明的是,在buffer write过程中,先将数据内容写入内存,这部分内容在内存中称为脏页。待数据内容写到磁盘后,脏页被清空。现有技术内核是否被触发进行磁盘写入,是根据整个内存中脏页的数量。当有多个业务进程发起写缓存请求时,若在这些脏页中,不同业务占的比例相差很大,则在写入磁盘过程中,占比例大的业务所对应的磁盘带宽资源会得到充分利用,达到上限。而占比例小的业务,由于脏页少,则磁盘带宽资源不能充分利用,这就会导致磁盘端的速率表现为不稳定,时高时低,波动很大。
本发明将内存按照cgroup设置的内存占比进行分割,为每个业务进程分配内存中相应的数据页。并将原先内核的写磁盘触发机制按照整块内存中脏页的数量,修改为按照业务进程所属数据页中脏页数量。具体的,当某个业务进程所属数据页的脏页数据量过多时,便会唤醒内核将脏页缓存的数据内容写入磁盘。由于内核可能被多种原因唤醒(例如sync写操作或周期性唤醒),本发明通过增加一种唤醒触发机制,即在进程所属数据页中脏页大于阈值时,才触发进行磁盘写入。由此每次在触发磁盘写入时,业务进程所产生的脏页数量都达到预设值,从而保证磁盘带宽资源被充分利用,保证磁盘写速率的稳定。
如图5所示,内存按照cgroup设置的值进行分割,每个业务进程都有对应的数据页。例如业务进程1对应数据页1,业务进程2对应数据页2,以此类推。虚拟文件层将需要缓存的数据内容写入内存,缓存的数据内容在内存中形成脏页。在某个进程所属的数据页中脏页数量过多时,通用块层可以将脏页异步写入磁盘。
在一种示例性实施例中,如图6所示,上述步骤330具体包括以下步骤:
在步骤331中,根据所述写缓存请求获得所述业务进程的进程标识信息以及与所述进程标识信息绑定的资源控制子系统信息。
其中,写缓存请求可以携带发送请求的业务进程的进程标识信息。内核通过解析写缓存请求获得业务进程的进程标识信息,进而获得与该进程标识信息绑定的资源控制子系统信息。
在步骤332中,将所述进程标识信息和资源控制子系统信息写入所述进程标识信息所映射的信息存储区域。
现有技术在将业务进程的数据内容写入内存后,再从内存写入磁盘时,失去了进程标识信息与资源控制子系统的绑定信息,而本发明将进程标识信息和与之绑定的资源控制子系统信息写入业务进程所属的信息存储区域,如inode结构体中,从而在触发将数据内容从内存写入磁盘时,可以根据inode结构体中已记录的进程标识信息以及资源控制子系统信息,找到与业务进程绑定的资源控制子系统,从而按照资源控制子系统设置的磁盘写速度控制数据内容从内存写入磁盘的速率。
其中,可以为每个业务进程分配信息存储区域,从而根据每个业务进程的进程标识信息可以映射得到对应的信息存储区域,进而可以将该业务进程的进程标识信息以及与该进程标识信息绑定的cgroup信息写入相应的信息存储区域。
进一步的,上述步骤350具体包括:
在缓存的所述数据内容触发磁盘写入时,根据所述信息存储区域写入的进程标识信息以及资源控制子系统信息,重新绑定所述业务进程所属的资源控制子系统。
具体的,当缓存的数据内容所产生的脏页数量大于预设值时,内核的通用块层从inode结构体中取出进程标识信息以及资源控制子系统信息,从而根据进程标识信息以及资源控制子系统信息,重新绑定业务进程和所属的资源控制子系统,由此克服了现有技术在从内存写入磁盘时,由于失去了进程和cgroup的绑定信息,从而无法控制磁盘写速率的问题。
进一步的,上述步骤370具体包括:
根据所述资源控制子系统为所述业务进程分配的磁盘写速度,将缓存的所述数据内容按照所述磁盘写速度异步写入所述磁盘。
具体的,在上述步骤已确定与业务进程绑定的资源控制子系统之后,可以根据资源控制子系统为该业务进程设置的磁盘写速度,将内存中缓存的数据内容按照该设置的磁盘写速度,异步写入磁盘,由此实现了对buffer write写操作的磁盘写入速率的控制。
下述为本发明装置实施例,可以用于执行本发明上述服务器110内核所执行的业务写操作的磁盘数据写入控制方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明业务写操作的磁盘数据写入控制方法实施例。
图7是根据一示例性实施例示出的一种业务写操作的磁盘数据写入控制装置的框图,该业务写操作的磁盘数据写入控制装置可以用于图1所示实施环境的服务器110中,执行图3、图6任一所示的业务写操作的磁盘数据写入控制方法的全部或者部分步骤。如图7所示,该装置包括但不限于:请求接收模块710、信息写入模块730、重定位模块750以及写入控制模块770。
请求接收模块710,用于接收业务进程触发写操作发起的写缓存请求;
信息写入模块730,用于根据所述写缓存请求获得所述业务进程的进程信息,并将所述进程信息写入所述业务进程指向的信息存储区域;
重定位模块750,用于在所述写缓存请求所请求缓存的数据内容触发磁盘写入时,根据所述信息存储区域写入的进程信息重定位至所述业务进程所属的资源控制子系统;
写入控制模块770,用于在所述资源控制子系统的控制下,按照所分配磁盘写速度将缓存的所述数据内容写入磁盘。
上述装置中各个模块的功能和作用的实现过程具体详见上述业务写操作的磁盘数据写入控制方法中对应步骤的实现过程,在此不再赘述。
请求接收模块710比如可以是图2中的某一个物理结构中央处理器222。
信息写入模块730、重定位模块750以及写入控制模块770也可以是功能模块,用于执行上述业务写操作的磁盘数据写入控制方法中的对应步骤。可以理解,这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时,这些模块可以实施为一个或多个硬件模块,例如一个或多个专用集成电路。当以软件方式实现时,这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序,例如图2的中央处理器222所执行的存储在存储器232中的程序。
在一种示例性实施例中,上述业务写操作的磁盘数据写入控制装置还可以包括但不限于:
数据写入模块,用于将所述写缓存请求所携带的数据内容写入所述资源控制子系统为所述业务进程在内存分配的数据页。
在一种示例性实施例中,上述业务写操作的磁盘数据写入控制装置还可以包括但不限于:
内存分割模块,用于根据所述资源控制子系统为不同业务进程配置的资源比例,对所述内存进行资源分割,确定所述业务进程在内存分配的数据页。
进一步的,如图8所示,上述重定位模块750可以包括但不限于:
脏页数量判断单元751,用于判断所述数据内容在所述数据页中所产生的脏页数量是否大于阈值;
触发单元752,用于所述脏页数量大于阈值,触发进行磁盘写入。
进一步的,如图9所示,所述信息写入模块730可以包括但不限于:
信息获得单元731,用于根据所述写缓存请求获得所述业务进程的进程标识信息以及与所述进程标识信息绑定的资源控制子系统信息;
信息写入单元732,用于将所述进程标识信息和资源控制子系统信息写入所述进程标识信息所映射的信息存储区域。
进一步的,所述重定位模块750可以包括但不限于:
重新绑定单元,用于在缓存的所述数据内容触发磁盘写入时,根据所述信息存储区域写入的进程标识信息以及资源控制子系统信息,重新绑定所述业务进程所属的资源控制子系统。
进一步的,上述写入控制模块770可以包括但不限于:
异步写入单元,用于根据所述资源控制子系统为所述业务进程分配的磁盘写速度,将缓存的所述数据内容按照所述磁盘写速度异步写入所述磁盘。
可选的,本发明还提供一种电子设备,该电子设备可以用于图1所示实施环境的服务器110中,执行图3、图6任一所示的业务写操作的磁盘数据写入控制方法的全部或者部分步骤。所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述示例性实施例所述的业务写操作的磁盘数据写入控制方法。
该实施例中电子设备的处理器执行操作的具体方式已经在有关该业务写操作的磁盘数据写入控制方法的实施例中执行了详细描述,此处将不做详细阐述说明。
在示例性实施例中,还提供了一种存储介质,该存储介质为计算机可读存储介质,例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质存储有计算机程序,所述计算机程序可由服务器200的中央处理器222执行以完成上述业务写操作的磁盘数据写入控制方法。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种业务写操作的磁盘数据写入控制方法,其特征在于,所述方法包括:
接收业务进程触发写操作发起的写缓存请求;其中,所述写缓存请求用于指示将待写入的数据内容先写入内存中进行缓存,并从内存中将所述数据内容写入磁盘中;
根据所述写缓存请求获得所述业务进程的进程信息,并将所述进程信息写入所述业务进程指向的信息存储区域;
根据资源控制子系统为不同业务进程配置的资源比例,对所述内存进行资源分割,确定所述业务进程在内存分配的数据页;
将所述写缓存请求所携带的数据内容写入所述资源控制子系统为所述业务进程在内存分配的数据页;
在所述写缓存请求所请求缓存的数据内容触发磁盘写入时,根据所述信息存储区域写入的进程信息重定位至所述业务进程所属的资源控制子系统;
在所述资源控制子系统的控制下,按照所分配磁盘写速度将缓存的所述数据内容写入磁盘。
2.根据权利要求1所述的方法,其特征在于,所述在所述写缓存请求所请求缓存的数据内容触发磁盘写入时,根据所述信息存储区域写入的进程信息重定位至所述业务进程所属的资源控制子系统,包括:
判断所述数据内容在所述数据页中所产生的脏页数量是否大于阈值;
若所述脏页数量大于阈值,触发进行磁盘写入。
3.根据权利要求1所述的方法,其特征在于,所述根据所述写缓存请求获得所述业务进程的进程信息,并将所述进程信息写入所述业务进程指向的信息存储区域,包括:
根据所述写缓存请求获得所述业务进程的进程标识信息以及与所述进程标识信息绑定的资源控制子系统信息;
将所述进程标识信息和资源控制子系统信息写入所述进程标识信息所映射的信息存储区域。
4.根据权利要求3所述的方法,其特征在于,所述在所述写缓存请求所请求缓存的数据内容触发磁盘写入时,根据所述信息存储区域写入的进程信息重定位至所述业务进程所属的资源控制子系统,包括:
在缓存的所述数据内容触发磁盘写入时,根据所述信息存储区域写入的进程标识信息以及资源控制子系统信息,重新绑定所述业务进程所属的资源控制子系统。
5.根据权利要求1所述的方法,其特征在于,所述在所述资源控制子系统的控制下,按照所分配磁盘写速度将缓存的所述数据内容写入磁盘,包括:
根据所述资源控制子系统为所述业务进程分配的磁盘写速度,将缓存的所述数据内容按照所述磁盘写速度异步写入所述磁盘。
6.一种业务写操作的磁盘数据写入控制装置,其特征在于,所述装置包括:
请求接收模块,用于接收业务进程触发写操作发起的写缓存请求;其中,所述写缓存请求用于指示将待写入的数据内容先写入内存中进行缓存,并从内存中将所述数据内容写入磁盘中;
信息写入模块,用于根据所述写缓存请求获得所述业务进程的进程信息,并将所述进程信息写入所述业务进程指向的信息存储区域;
内存分割模块,用于根据资源控制子系统为不同业务进程配置的资源比例,对所述内存进行资源分割,确定所述业务进程在内存分配的数据页;
数据写入模块,用于将所述写缓存请求所携带的数据内容写入所述资源控制子系统为所述业务进程在内存分配的数据页;
重定位模块,用于在所述写缓存请求所请求缓存的数据内容触发磁盘写入时,根据所述信息存储区域写入的进程信息重定位至所述业务进程所属的资源控制子系统;
写入控制模块,用于在所述资源控制子系统的控制下,按照所分配磁盘写速度将缓存的所述数据内容写入磁盘。
7.根据权利要求6所述的装置,其特征在于,所述重定位模块包括:
脏页数量判断单元,用于判断所述数据内容在所述数据页中所产生的脏页数量是否大于阈值;
触发单元,用于所述脏页数量大于阈值,触发进行磁盘写入。
8.根据权利要求6所述的装置,其特征在于,所述信息写入模块包括:
信息获得单元,用于根据所述写缓存请求获得所述业务进程的进程标识信息以及与所述进程标识信息绑定的资源控制子系统信息;
信息写入单元,用于将所述进程标识信息和资源控制子系统信息写入所述进程标识信息所映射的信息存储区域。
9.根据权利要求8所述的装置,其特征在于,所述重定位模块包括:
重新绑定单元,用于在缓存的所述数据内容触发磁盘写入时,根据所述信息存储区域写入的进程标识信息以及资源控制子系统信息,重新绑定所述业务进程所属的资源控制子系统。
10.根据权利要求6所述的装置,其特征在于,所述写入控制模块包括:
异步写入单元,用于根据所述资源控制子系统为所述业务进程分配的磁盘写速度,将缓存的所述数据内容按照所述磁盘写速度异步写入所述磁盘。
11.一种电子设备,所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-5任意一项所述的业务写操作的磁盘数据写入控制方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序可由处理器执行完成权利要求1-5任意一项所述的业务写操作的磁盘数据写入控制方法。
CN201810319658.7A 2018-04-11 2018-04-11 业务写操作的磁盘数据写入控制方法及装置、电子设备 Active CN110196681B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810319658.7A CN110196681B (zh) 2018-04-11 2018-04-11 业务写操作的磁盘数据写入控制方法及装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810319658.7A CN110196681B (zh) 2018-04-11 2018-04-11 业务写操作的磁盘数据写入控制方法及装置、电子设备

Publications (2)

Publication Number Publication Date
CN110196681A CN110196681A (zh) 2019-09-03
CN110196681B true CN110196681B (zh) 2022-02-25

Family

ID=67751075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810319658.7A Active CN110196681B (zh) 2018-04-11 2018-04-11 业务写操作的磁盘数据写入控制方法及装置、电子设备

Country Status (1)

Country Link
CN (1) CN110196681B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112748869B (zh) * 2019-10-31 2022-08-26 华为技术有限公司 一种数据处理方法及装置
CN112035071B (zh) * 2020-09-27 2023-06-06 万兴科技(湖南)有限公司 磁盘数据读取方法、装置、计算机设备及存储介质
CN113064553B (zh) * 2021-04-02 2023-02-17 重庆紫光华山智安科技有限公司 数据存储方法、装置、设备及介质
CN114296646B (zh) * 2021-12-24 2023-06-23 天翼云科技有限公司 基于io业务的缓存方法、装置、服务器和存储介质
CN115220648A (zh) * 2022-01-26 2022-10-21 广州汽车集团股份有限公司 数据写入流量统计方法、装置以及电子设备
CN114489513A (zh) * 2022-02-11 2022-05-13 上海驻云信息科技有限公司 一种基于本地磁盘中转的数据返回方法及系统
CN116204305B (zh) * 2022-12-21 2023-11-03 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种限制Docker容器inode数量的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899126A (zh) * 2015-06-12 2015-09-09 北京奇虎科技有限公司 对宿主机中容器进行本地实时监控的方法、装置及系统
CN106970822A (zh) * 2017-02-20 2017-07-21 阿里巴巴集团控股有限公司 一种容器创建方法及装置
CN107066242A (zh) * 2015-12-11 2017-08-18 国际商业机器公司 确定软件容器中软件的标识的方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9268702B2 (en) * 2013-04-11 2016-02-23 Institute of Computer Science (ICS) of the Foundation for Research and Technology—Hellas (FORTH) Storage I/O path partitioning to eliminate I/O interference in consolidated servers
US9703611B1 (en) * 2014-03-21 2017-07-11 Amazon Technologies, Inc. Isolating resources for utilization by tenants executing in multi-tenant software containers
US9898430B2 (en) * 2014-11-12 2018-02-20 Vmware, Inc. Tracking virtual machine memory modified by a single root I/O virtualization (SR-IOV) device
US9575658B2 (en) * 2015-03-12 2017-02-21 Vmware, Inc. Collaborative release of a virtual disk

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899126A (zh) * 2015-06-12 2015-09-09 北京奇虎科技有限公司 对宿主机中容器进行本地实时监控的方法、装置及系统
CN107066242A (zh) * 2015-12-11 2017-08-18 国际商业机器公司 确定软件容器中软件的标识的方法和系统
CN106970822A (zh) * 2017-02-20 2017-07-21 阿里巴巴集团控股有限公司 一种容器创建方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
kernel/git/stable/linux.git-Linux kernel stable tree;Linus Torvalds;《https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux.git/commit/?h=linux-4.2.y&id=e4bc13adfd016fc1036838170288b5680d1a98b0》;20150625;第1-82页 *

Also Published As

Publication number Publication date
CN110196681A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN110196681B (zh) 业务写操作的磁盘数据写入控制方法及装置、电子设备
JP5347061B2 (ja) フラッシュメモリデータストレージデバイスにデータを格納するための方法及び装置
US8688932B2 (en) Virtual computer system and method of controlling the same
US7529867B2 (en) Adaptive, scalable I/O request handling architecture in virtualized computer systems and networks
EP3796168A1 (en) Information processing apparatus, information processing method, and virtual machine connection management program
US10241550B2 (en) Affinity aware parallel zeroing of memory in non-uniform memory access (NUMA) servers
US9058212B2 (en) Combining memory pages having identical content
US9639459B2 (en) I/O latency and IOPs performance in thin provisioned volumes
US20080104589A1 (en) Adaptive, Scalable I/O Request Handling Architecture in Virtualized Computer Systems and Networks
US9081692B2 (en) Information processing apparatus and method thereof
KR20140034246A (ko) 새로운 애플리케이션을 위한 메모리 관리 모델 및 인터페이스
WO2021258881A1 (zh) 应用的数据管理方法、系统和计算机设备
US10620871B1 (en) Storage scheme for a distributed storage system
WO2008006674A1 (en) Reserve pool management in virtualized storage systems
CN115413338A (zh) 在计算环境中提供加速器与存储装置之间的直接数据访问
EP3865992A2 (en) Distributed block storage system, method, apparatus and medium
US10817205B2 (en) Computer system and storage device
US20080104590A1 (en) Adaptive, Scalable I/O Request Handling Architecture in Virtualized Computer Systems and Networks
US20140082275A1 (en) Server, host and method for reading base image through storage area network
US11675540B2 (en) In-line data flow for computational storage
CN113377545A (zh) 用于分配gpu物理内存的方法及装置
WO2021120843A1 (zh) 云主机内存分配方法及云主机、设备及存储介质
CN111767114B (zh) 创建云主机的方法和装置、计算机系统和可读存储介质
CN107209738B (zh) 储存存储器直接访问
CN106537321B (zh) 存取文件的方法、装置和存储系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant