CN113656184A - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN113656184A
CN113656184A CN202111017759.7A CN202111017759A CN113656184A CN 113656184 A CN113656184 A CN 113656184A CN 202111017759 A CN202111017759 A CN 202111017759A CN 113656184 A CN113656184 A CN 113656184A
Authority
CN
China
Prior art keywords
memory
memory data
data
present disclosure
image files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111017759.7A
Other languages
English (en)
Inventor
李洁
王兴达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202111017759.7A priority Critical patent/CN113656184A/zh
Publication of CN113656184A publication Critical patent/CN113656184A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608Saving storage space on storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0643Management of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022Mechanisms to release resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本公开提供了一种数据处理方法,可以应用于计算机技术领域。该数据处理方法包括:在内存剩余存储空间小于预设阈值的情况下,确定内存中待转存的内存数据;将内存数据划分为多个镜像文件;以及将多个镜像文件中的每个镜像文件并行存储至对应的存储设备。本公开还提供了一种数据处理装置、计算机系统和存储介质。

Description

数据处理方法及装置
技术领域
本公开涉及计算机技术领域,更具体地,涉及一种数据处理方法及装置。
背景技术
Linux内核为了提高读写效率与速度,会将文件在内存中进行缓存,这部分内存就是Cache Memory(缓存内存),即使在程序运行结束后,Cache Memory也不会自动释放,这样就会导致Linux系统中的程序在频繁读写文件后,可用的物理内存会变少,当系统的物理内存不够用的时候,就需要将物理内存中的一部分空间释放出来,以供当前运行的程序使用。
在实现本公开构思的过程中,发明人发现相关技术中至少存在释放物理内存的速度较慢的技术问题。
发明内容
有鉴于此,本公开提供了一种数据处理方法、数据处理装置、计算机系统和存储介质。
本公开的一个方面提供了一种数据处理方法,包括:
在内存剩余存储空间小于预设阈值的情况下,确定上述内存中待转存的内存数据;
将上述内存数据划分为多个镜像文件;以及
将上述多个镜像文件中的每个镜像文件并行存储至对应的存储设备。
根据本公开的实施例,数据处理方法还包括:
响应于针对上述多个镜像文件的调用请求,从多个上述存储设备中的每个上述存储设备中确定上述镜像文件;
将多个上述镜像文件并行存储至上述内存,以便应用程序从上述内存中调用上述多个镜像文件。
根据本公开的实施例,上述镜像文件具有与上述存储设备的第二映射关系;上述方法还包括:
解除上述镜像文件与上述存储设备的第二映射关系;
生成上述镜像文件与虚拟地址的第一映射关系,其中,上述虚拟地址包括上述内存中的虚拟地址。
根据本公开的实施例,上述确定上述内存中待转存的内存数据包括:
从上述内存中运行的至少一个应用程序中确定目标应用程序;
获取上述目标应用程序的内存描述信息,其中,上述内存描述信息包括至少一种类型的候选内存数据以及与上述候选内存数据对应的内存占用情况;
根据上述内存描述信息,从上述目标应用程序的候选内存数据中确定上述需要转存的内存数据。
根据本公开的实施例,上述根据上述内存描述信息,从上述目标应用程序的候选内存数据中确定上述需要换出的内存数据包括:
根据上述内存描述信息,从上述目标应用程序的候选内存数据中确定匿名私有内存数据,其中,上述匿名私有内存数据包括不与其它应用程序共享的内存数据;
将上述匿名私有内存数据确定为上述需要转存的内存数据。
根据本公开的实施例,上述将上述内存数据划分为多个镜像文件包括:
将上述内存数据平均地划分成多个镜像文件;或者
根据上述存储设备的存储空间的大小将上述内存数据划分为多个镜像文件。
根据本公开的实施例,上述镜像文件具有与虚拟地址的第一映射关系,其中,上述虚拟地址包括上述内存中的虚拟地址;上述方法还包括:
解除上述镜像文件与上述虚拟地址的上述第一映射关系;
生成上述虚拟地址与上述存储设备的第二映射关系,其中,上述存储设备包括与上述镜像文件相对应的存储设备。
本公开的另一个方面提供了一种数据处理装置,包括:
第一确定模块,用于在内存占用超过预设阈值的情况下,确定上述内存中待转存的内存数据;
分片模块,用于将上述内存数据划分为多个镜像文件;以及
第一换出模块,用于将上述多个镜像文件中的每个镜像文件并行存储至对应的存储设备。
本公开的另一方面提供了一种计算机系统,存储有计算机可执行指令,所述指令在被执行时用于实现本公开实施例所述的方法。
本公开的另一方面提供了一种计算机可读存储介质,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现本公开实施例所述的方法。
根据本公开的实施例,因为采用了将内存数据划分成多个镜像文件,并将多个镜像文件分别存储至对应的存储设备中的技术手段,所以至少部分地克服了相关技术中至少存在释放物理内存的速度较慢的技术问题,进而达到了加速了释放物理内存的速度的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的可以应用数据处理方法的示例性系统架构;
图2示意性示出了根据本公开实施例的数据处理方法的流程图;
图3示意性出了根据本公开实施例的数据处理方法的示意图;
图4示意性示出了根据本公开另一实施例的数据处理方法的流程图;
图5示意性示出了根据本公开另一实施例的数据处理方法的流程图;
图6示意性示出了根据本公开另一实施例的数据处理方法的流程图;
图7示意性示出了根据本公开实施例的确定所述内存中待转存的内存数据的流程图;
图8示意性示出了根据本公开实施例的根据所述内存描述信息,从所述目标应用程序的候选内存数据中确定所述需要换出的内存数据的流程图;
图9示意性示出了根据本公开的实施例的数据处理装置的框图;以及
图10示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
Swap交换分区是Linux下的虚拟内存分区,它的作用是在物理内存使用完之后,将虚拟存储空间当作内存来使用,虚拟存储空间使用的空间可以是磁盘等存储空间上的一块区域,可以是一个分区,也可以是一个文件,或者是它们的组合,当系统物理内存不够用时,Linux会将内存中不常访问的内存数据保存到swap交换分区上,这样系统就有更多的物理内存为各个进程服务,而当系统需要访问swap分区上存储的内容时,再将swap分区上的数据加载到内存中。
通常,swap技术包括换入和换出,其中,将内存数据从内存存储至虚拟存储空间的过程可以称之为换出(swap out)。相对的,将虚拟存储空间中的内存数据存储至内存中的过程可以称之为换入(swap in)。
然而,Linux内核swap技术在换出和换入的过程中只能单线程执行,并且磁盘的存取速度慢,而内核的swap技术无法避免随机存取,当系统内存很吃紧的时候,读写swap交换分区的频率会很高,这就导致了读写swap交换分区速度缓慢,在系统需要快速swap的场景下性能低下。
有鉴于此,为了至少部分地解决相关技术中释放物理内存的速度较慢的技术问题,本公开提供了一种数据处理方法,可以应用于计算机技术领域。该数据处理方法包括:在内存剩余存储空间小于预设阈值的情况下,确定内存中待转存的内存数据;将内存数据划分为多个镜像文件;以及将多个镜像文件中的每个镜像文件并行存储至对应的存储设备。本公开还提供了一种数据处理装置、计算机系统和存储介质。
图1示意性示出了根据本公开实施例的可以应用数据处理方法的示例性系统架构100。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的数据处理方法一般可以由服务器105执行。相应地,本公开实施例所提供的数据处理装置一般可以设置于服务器105中。本公开实施例所提供的数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的数据处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者,本公开实施例所提供的数据处理方法也可以由终端设备101、102、或103执行,或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地,本公开实施例所提供的数据处理装置也可以设置于终端设备101、102、或103中,或设置于不同于终端设备101、102、或103的其他终端设备中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的数据处理方法的流程图。
如图2所示,该方法包括操作S201~S203。
在操作S201,在内存剩余存储空间小于预设阈值的情况下,确定内存中待转存的内存数据。
在本公开的实施例中,内存可以包括随机存取存储器(Random-Acceee Memory,RAM)或高速缓冲存储器(Cache)。
根据本公开的实施例,预设阈值可以根据实际业务需求进行设定,例如可以为内存额定存储空间的20%,但不限于此,预设阈值还可以为内存额定存储空间的25%、30%、35%。
根据本公开的实施例,内存剩余空间的预设阈值可以由本领域技术人员按照实际应用的需要而进行灵活设置,本公开实施例不对预设阈值的取值及其范围进行具体限定。
根据本公开的实施例,内存中待转存的内存数据可以包括一个或多个应用程序中超过预设时间未被调用的内存数据。
根据本公开的实施例,内存数据可以是以内存页面为单位存储的内存数据,内存页面可以存储多个字节的数据。在本公开的实施例中,内存页面可以存储的数据量可以根据实际业务需求进行设定,例如一个内存页面可以存储4KB,也即4096个字节的数据,但不限于此,本领域技术人员可以使用命令$getconf PAGE_SIZE按照实际应用需求动态地调整每个内存页面可以存储的数据量。
根据本公开的实施例,确定内存中待转存的内存数据可以包括确定待转存的内存数据的存储地址和/或数据量大小。
在操作S202,将内存数据划分为多个镜像文件。
根据本公开的实施例,内存数据可以包括多个内存页面,将多个内存页面划分为多个镜像文件后,多个镜像文件中的每个镜像文件中可以均包括至少一个内存页面,并且,多个镜像文件中包括的内存页面的数量之和与内存数据包括的内存页面的数量相等。
在操作S203,将多个镜像文件中的每个镜像文件并行存储至对应的存储设备。
根据本公开的实施例,将镜像文件存储至存储设备可以是基于swap技术实现的。
根据本公开的实施例,在将内存数据划分为多个镜像文件后,可以获取与镜像文件的数量相匹配的多个存储设备,然后分别为多个镜像文件分配一个对应的存储设备。
根据本公开的实施例,存储设备可以包括磁盘或外部存储设备,外部存储设备可以包括U盘、移动硬盘等。
在本公开的实施例中,因为采用了将内存数据划分成多个镜像文件,并将多个镜像文件分别存储至对应的存储设备中的技术手段,所以至少部分地克服了相关技术中至少存在释放物理内存的速度较慢的技术问题,进而达到了加速了释放物理内存的速度的技术效果。
在本公开的实施例中,可以将内存数据平均地划分成多个镜像文件。
根据本公开的实施例,内存数据例如可以包括3000个内存页面,从而,可以将3000个内存页面平均地划分成3个镜像文件,其中,3个镜像文件中的每个镜像文件可以分别包括1000个内存页面。
根据本公开的实施例,通过将内存数据平均地划分成多个镜像文件,从而,每个镜像文件包括的内存页面的数量相等,在将多个镜像文件分别存储至对应的存储设备的过程中,每个存储设备换出消耗的时间接近或相同,进而可以保证释放物理内存的同步性。
在本公开的实施例中,可以根据存储设备的存储空间的大小将内存数据划分为多个镜像文件。
根据本公开的实施例,还可以在将内存数据划分为多个镜像文件之前先获取多个存储设备,其中,多个存储设备的存储空间大小可以不相同,从而,可以根据存储设备的存储空间的大小将内存数据划分为多个镜像文件。
根据本公开的实施例,内存数据例如可以包括10000个内存页面,在将内存数据划分成多个镜像文件之前,可以先获取5个存储设备,其中,5个存储设备的存储空间的大小的比值可以为1∶1∶2∶3∶3,因而,可以将内存数据划分为5个镜像文件,其中,五个镜像文件包括的内存页面的数量可以分别为1000个、1000个、2000个、3000个和3000个。
图3示意性出了根据本公开实施例的数据处理方法的示意图。
在图3中,301可以为经确定的内存中待转存的内存数据,在确定待转存的内存数据301后,可以将待转存的内存数据301划分成多个镜像文件302至30N,然后可以将多个镜像文件302至30N并行存储至对应的存储设备3021至30N1中。
根据本公开的实施例,通过根据存储设备的存储空间的大小将内存数据划分为多个镜像文件,可以在存储设备的数量或存储空间不足的情况下仍然可以释放物理内存,从而可以提高本公开实施例提供的数据处理方法的鲁棒性。
下面参考图4~图8,结合具体实施例对图2和图3所示的方法做进一步说明。
根据本公开的实施例,镜像文件具有与虚拟地址的第一映射关系,其中,虚拟地址包括内存中的虚拟地址。
根据本公开的实施例,可以将内存数据划分成多个镜像文件的同时,生成镜像文件与虚拟地址的第一映射关系。
根据本公开的实施例,第一映射关系表征镜像文件在内存中的存储位置。
根据本公开的实施例,例如镜像文件A与内存中的虚拟地址0×10001000具有第一映射关系,即表明在将镜像文件A换出至存储设备之前,镜像文件A存储于内存中0×10001000地址处。
图4示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图4所示,该方法包括操作S401~S402。
在操作S401,解除镜像文件与虚拟地址的第一映射关系。
在操作S402,生成虚拟地址与存储设备的第二映射关系,其中,存储设备包括与镜像文件相对应的存储设备。
根据本公开的实施例,在将多个镜像文件分别换出至对应的存储设备之前,可以先解除镜像文件与虚拟地址的第一映射关系,但是,解除第一映射关系并非删除该第一映射关系,解除第一映射关系后,可以将第一映射关系存储至映射关系表中,从而在需要将镜像文件从存储设备中换入至内存中时,可以从映射关系表中快速的获取该第一映射关系,以便从存储设备中将镜像文件恢复至内存的对应存储位置。
根据本公开的实施例,在解除镜像文件与虚拟地址的第一映射关系后,可以生成镜像文件与对应的存储设备的第二映射关系,其中,第二映射关系可以表征镜像文件在存储设备中的存储地址。
根据本公开的实施例,在分别生成每个镜像文件与对应的存储设备的第二映射关系后,可以根据第二映射关系将多个镜像文件并行换出至对应的存储设备中相应的存储位置。
根据本公开的实施例,通过根据表征存储位置的第二映射关系将镜像文件换出至存储设备中,可以明确每个镜像文件的存储位置,从而可以在需要调用相应的镜像文件时,快速的确定镜像文件的存储位置并将其换入至内存中。
图5示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图5所示,该方法包括操作S501~S502。
在操作S501,响应于针对多个镜像文件的调用请求,从多个存储设备中的每个存储设备中确定镜像文件。
在操作S502,将多个镜像文件并行存储至内存,以便应用程序从内存中调用多个镜像文件。
根据本公开的实施例,在应用系统缺页异常,即应用程序需要调用的内存页面存储于存储设备中的情况下,需要从存储设备中调用相应的镜像文件,将镜像文件换入至内存中,以便应用程序调用与镜像文件对应的内存数据。
根据本公开的实施例,镜像文件具有与存储设备的第二映射关系。
根据本公开的实施例,第二映射关系可以表征镜像文件在存储设备中的存储地址。
图6示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图6所示,该方法包括操作S601~S602。
在操作S601,解除镜像文件与存储设备的第二映射关系。
在操作S602,生成镜像文件与虚拟地址的第一映射关系,其中,虚拟地址包括内存中的虚拟地址。
根据本公开的实施例,可以从映射关系表中查找在将镜像文件换出至存储设备之前存储的第一映射关系,从而生成该第一映射关系。
根据本公开的实施例,还可以先获取内存中的空闲存储地址,然后根据该空闲存储地址生成第一映射关系。
根据本公开的实施例,在生成第一映射关系后,可以根据该第一映射关系将镜像文件换入至内存中的对应存储地址。
根据本公开的实施例,通过生成第一映射关系,并根据该第一映射关系将镜像文件换入至内存中,从而可以明确换入后的镜像文件的存储地址,以便应用程序根据该存储地址调用镜像文件中的内存页面。
图7示意性示出了根据本公开实施例的确定内存中待转存的内存数据的流程图。
如图7所示,该方法包括操作S701~S703。
在操作S701,从内存中运行的至少一个应用程序中确定目标应用程序。
根据本公开的实施例,可以根据应用程序的空闲时间从内存中运行的至少一个应用程序中确定目标应用程序。
根据本公开的实施例,由于处于空闲状态的应用程序不需要快速地调用内存页面,从而,可以将处于空闲状态的应用程序确定为目标应用程序。
根据本公开的实施例,例如内存中运行有A、B和C三个应用程序,其中C应用程序的空闲时间最长,从而可以将应用程序C确定为目标应用程序。
在操作S702,获取目标应用程序的内存描述信息,其中,内存描述信息包括至少一种类型的候选内存数据以及与候选内存数据对应的内存占用情况。
根据本公开的实施例,内存描述信息可以包括存储设备中存储的候选内存数据以及其内存占用情况、内存中与其他应用程序共享的内存数据、内存中存储的候选内存数据以及其内存占用情况、和其他应用程序共享的且未被改写的候选内存数据及其内存占用情况、匿名私有候选内存数据及其内存占用情况、和其他应用程序共享的被改写的候选内存数据及其内存占用情况等。
根据本公开的实施例,smaps内存描述信息包括的内存描述信息可以用表(1)表示。
表(1)
Figure BDA0003239028820000131
在操作S703,根据内存描述信息,从目标应用程序的候选内存数据中确定需要转存的内存数据。
图8示意性示出了根据本公开实施例的根据内存描述信息,从目标应用程序的候选内存数据中确定需要换出的内存数据的流程图。
如图8所示,该方法包括操作S801~S802。
在操作S801,根据内存描述信息,从目标应用程序的候选内存数据中确定匿名私有内存数据,其中,匿名私有内存数据包括不与其它应用程序共享的内存数据。
在操作S802,将匿名私有内存数据确定为需要转存的内存数据。
根据本公开的实施例,通过将不与其他应用程序共享的匿名私有内存数据确定为需要转存的内存数据,从而在对需要转存的内存数据换出的过程中不会影响其他应用程序对需要转存的内存数据的调用。
图9示意性示出了根据本公开的实施例的数据处理装置的框图。
如图9所示,数据处理装置900可以包括第一确定模块901、分片模块902和第一换出模块903。
第一确定模块901,用于在内存占用超过预设阈值的情况下,确定内存中待转存的内存数据。
分片模块902,用于将内存数据划分为多个镜像文件。
第一换出模块903,用于将多个镜像文件中的每个镜像文件并行存储至对应的存储设备。
需要说明的是,本公开装置部分的实施例与本公开方法部分的实施例对应相同或类似,本公开在此不再赘述。
根据本公开的实施例,数据处理装置900还包括第二确定模块、第一调用模块。
第二确定模块,用于响应于针对多个镜像文件的调用请求,从多个存储设备中的每个存储设备中确定镜像文件。
第一调用模块,用于将多个镜像文件并行存储至内存,以便应用程序从内存中调用多个镜像文件。
根据本公开的实施例,镜像文件具有与存储设备的第二映射关系。
根据本公开的实施例,数据处理装置900还包括第一解除模块、第一生成模块。
第一解除模块,用于解除镜像文件与存储设备的第二映射关系。
第一生成模块,用于生成镜像文件与虚拟地址的第一映射关系,其中,虚拟地址包括内存中的虚拟地址。
根据本公开的实施例,第一确定模块901包括第一确定单元、第一获取单元和第二确定单元。
第一确定单元,用于从内存中运行的至少一个应用程序中确定目标应用程序。
第一获取单元,用于获取目标应用程序的内存描述信息,其中,内存描述信息包括至少一种类型的候选内存数据以及与候选内存数据对应的内存占用情况。
第二确定单元,用于根据内存描述信息,从目标应用程序的候选内存数据中确定需要转存的内存数据。
根据本公开的实施例,第二确定单元包括第一确定子单元和第二确定子单元。
第一确定子单元,用于根据内存描述信息,从目标应用程序的候选内存数据中确定匿名私有内存数据,其中,匿名私有内存数据包括不与其它应用程序共享的内存数据;
第二确定子单元,用于将匿名私有内存数据确定为需要转存的内存数据。
根据本公开的实施例,分片模块902包括第一分片单元或第二分片单元。
第一分片单元,用于将内存数据平均地划分成多个镜像文件。
第二分片单元,用于根据存储设备的存储空间的大小将内存数据划分为多个镜像文件。
根据本公开的实施例,镜像文件具有与虚拟地址的第一映射关系,其中,虚拟地址包括内存中的虚拟地址。
根据本公开的实施例,数据处理装置900还包括第二解除模块和第二生成模块。
第二解除模块,用于解除镜像文件与虚拟地址的第一映射关系。
第二生成模块,用于生成虚拟地址与存储设备的第二映射关系,其中,存储设备包括与镜像文件相对应的存储设备。
根据本公开的实施例的模块、子模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,第一确定模块901、分片模块902和第一换出模块903中的任意多个可以合并在一个模块/单元/子单元中实现,或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者,这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合,并在一个模块/单元/子单元中实现。根据本公开的实施例,第一确定模块901、分片模块902和第一换出模块903中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一确定模块901、分片模块902和第一换出模块903中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图10示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的框图。图10示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示,根据本公开实施例的电子设备1000包括处理器1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1003中,存储有电子设备1000操作所需的各种程序和数据。处理器1001、ROM 1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM1003中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备1000还可以包括输入/输出(I/O)接口1005,输入/输出(I/O)接口1005也连接至总线1004。系统1000还可以包括连接至I/O接口1005的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种数据处理方法,包括:
在内存剩余存储空间小于预设阈值的情况下,确定所述内存中待转存的内存数据;
将所述内存数据划分为多个镜像文件;以及
将所述多个镜像文件中的每个镜像文件并行存储至对应的存储设备。
2.根据权利要求1所述的方法,还包括:
响应于针对所述多个镜像文件的调用请求,从多个所述存储设备中的每个所述存储设备中确定所述镜像文件;
将多个所述镜像文件并行存储至所述内存,以便应用程序从所述内存中调用所述多个镜像文件。
3.根据权利要求2所述的方法,其中,所述镜像文件具有与所述存储设备的第二映射关系;所述方法还包括:
解除所述镜像文件与所述存储设备的第二映射关系;
生成所述镜像文件与虚拟地址的第一映射关系,其中,所述虚拟地址包括所述内存中的虚拟地址。
4.根据权利要求1所述的方法,其中,所述确定所述内存中待转存的内存数据包括:
从所述内存中运行的至少一个应用程序中确定目标应用程序;
获取所述目标应用程序的内存描述信息,其中,所述内存描述信息包括至少一种类型的候选内存数据以及与所述候选内存数据对应的内存占用情况;
根据所述内存描述信息,从所述目标应用程序的候选内存数据中确定所述需要转存的内存数据。
5.根据权利要求4所述的方法,其中,所述根据所述内存描述信息,从所述目标应用程序的候选内存数据中确定所述需要换出的内存数据包括:
根据所述内存描述信息,从所述目标应用程序的候选内存数据中确定匿名私有内存数据,其中,所述匿名私有内存数据包括不与其它应用程序共享的内存数据;
将所述匿名私有内存数据确定为所述需要转存的内存数据。
6.根据权利要求1所述的方法,其中,所述将所述内存数据划分为多个镜像文件包括:
将所述内存数据平均地划分成多个镜像文件;或者
根据所述存储设备的存储空间的大小将所述内存数据划分为多个镜像文件。
7.根据权利要求1所述的方法,其中,所述镜像文件具有与虚拟地址的第一映射关系,其中,所述虚拟地址包括所述内存中的虚拟地址;所述方法还包括:
解除所述镜像文件与所述虚拟地址的所述第一映射关系;
生成所述虚拟地址与所述存储设备的第二映射关系,其中,所述存储设备包括与所述镜像文件相对应的存储设备。
8.一种数据处理装置,包括:
第一确定模块,用于在内存占用超过预设阈值的情况下,确定所述内存中待转存的内存数据;
分片模块,用于将所述内存数据划分为多个镜像文件;以及
第一换出模块,用于将所述多个镜像文件中的每个镜像文件并行存储至对应的存储设备。
9.一种计算机系统,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现权利要求1至7中任一项所述的方法。
CN202111017759.7A 2021-08-31 2021-08-31 数据处理方法及装置 Pending CN113656184A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111017759.7A CN113656184A (zh) 2021-08-31 2021-08-31 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111017759.7A CN113656184A (zh) 2021-08-31 2021-08-31 数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN113656184A true CN113656184A (zh) 2021-11-16

Family

ID=78482621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111017759.7A Pending CN113656184A (zh) 2021-08-31 2021-08-31 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN113656184A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102185774A (zh) * 2011-05-10 2011-09-14 中兴通讯股份有限公司 虚拟机无缝迁移的方法、管理器及系统
US20120303791A1 (en) * 2008-10-24 2012-11-29 Microsoft Corporation Load balancing when replicating account data
WO2015180601A1 (zh) * 2014-05-30 2015-12-03 阿里巴巴集团控股有限公司 WebApp启动运行、生成镜像文件的方法和装置
CN108984343A (zh) * 2018-07-10 2018-12-11 西北工业大学 一种基于内容分析的虚拟机备份及存储管理方法
CN109683983A (zh) * 2018-12-11 2019-04-26 青岛海信电器股份有限公司 一种镜像文件的生成及加载方法、设备
CN111290838A (zh) * 2020-05-09 2020-06-16 支付宝(杭州)信息技术有限公司 基于容器集群的应用访问请求处理方法及装置
US20200364148A1 (en) * 2019-05-15 2020-11-19 EMC IP Holding Company LLC Method, device and computer program product for implementing file system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120303791A1 (en) * 2008-10-24 2012-11-29 Microsoft Corporation Load balancing when replicating account data
CN102185774A (zh) * 2011-05-10 2011-09-14 中兴通讯股份有限公司 虚拟机无缝迁移的方法、管理器及系统
WO2015180601A1 (zh) * 2014-05-30 2015-12-03 阿里巴巴集团控股有限公司 WebApp启动运行、生成镜像文件的方法和装置
CN108984343A (zh) * 2018-07-10 2018-12-11 西北工业大学 一种基于内容分析的虚拟机备份及存储管理方法
CN109683983A (zh) * 2018-12-11 2019-04-26 青岛海信电器股份有限公司 一种镜像文件的生成及加载方法、设备
US20200364148A1 (en) * 2019-05-15 2020-11-19 EMC IP Holding Company LLC Method, device and computer program product for implementing file system
CN111290838A (zh) * 2020-05-09 2020-06-16 支付宝(杭州)信息技术有限公司 基于容器集群的应用访问请求处理方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JAN S. RELLERMEYER: "Container Density Improvements with Dynamic Memory Extension using NAND Flash", APSYS \'18: PROCEEDINGS OF THE 9TH ASIA-PACIFIC WORKSHOP ON SYSTEMS, 27 August 2018 (2018-08-27) *
张乾坤;李果;张福铮;: "基于OpenStack云平台的计算资源动态调度", 电子设计工程, no. 05, 5 March 2020 (2020-03-05) *
民工哥: "Linux 如何手动释放Swap、Buffer和Cache", pages 1 - 5, Retrieved from the Internet <URL:https://cloud.tencent.com/developer/article/1697709> *
陈国良;: "基于SDN网络构架的网络动态优化研究", 计算技术与自动化, no. 02, 15 June 2018 (2018-06-15) *

Similar Documents

Publication Publication Date Title
US9965392B2 (en) Managing coherent memory between an accelerated processing device and a central processing unit
US9933968B2 (en) Method, system, and device for modifying a secure enclave configuration without changing the enclave measurement
EP3260993A1 (en) File operation method and device
CN105335309B (zh) 一种数据传输方法及计算机
US20140040577A1 (en) Automatic Use of Large Pages
CN114089920B (zh) 数据存储方法、装置、可读介质及电子设备
CN109478171B (zh) 提高openfabrics环境中的吞吐量
CN113886019B (zh) 虚拟机创建方法、装置、系统、介质和设备
CN109062826B (zh) 数据传输方法及系统
US10062137B2 (en) Communication between integrated graphics processing units
WO2020154530A1 (en) Low latency swap device, system and method
CN110609708B (zh) 用于数据处理的方法、设备和计算机可读介质
US8751724B2 (en) Dynamic memory reconfiguration to delay performance overhead
US9697047B2 (en) Cooperation of hoarding memory allocators in a multi-process system
CN109923533B (zh) 在数据库中将计算与存储分离的方法及设备
CN116089321A (zh) 内存管理方法、装置、电子装置和存储介质
CN114064032A (zh) 源代码处理方法、装置、电子设备和存储介质
CN117093149A (zh) 内存管理方法、装置、介质及电子设备
US11960723B2 (en) Method and system for managing memory associated with a peripheral component interconnect express (PCIE) solid-state drive (SSD)
CN113656184A (zh) 数据处理方法及装置
US9405470B2 (en) Data processing system and data processing method
CN115562871A (zh) 内存分配管理的方法和装置
US11481255B2 (en) Management of memory pages for a set of non-consecutive work elements in work queue designated by a sliding window for execution on a coherent accelerator
US10853263B1 (en) Unified kernel virtual address space for heterogeneous computing
CN112114962A (zh) 一种内存分配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination