CN116302154A - 一种文件处理方法、装置、电子设备及其存储介质 - Google Patents
一种文件处理方法、装置、电子设备及其存储介质 Download PDFInfo
- Publication number
- CN116302154A CN116302154A CN202211567049.6A CN202211567049A CN116302154A CN 116302154 A CN116302154 A CN 116302154A CN 202211567049 A CN202211567049 A CN 202211567049A CN 116302154 A CN116302154 A CN 116302154A
- Authority
- CN
- China
- Prior art keywords
- file
- dependent
- latched
- dependent file
- physical memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 185
- 230000001419 dependent effect Effects 0.000 claims abstract description 167
- 230000008569 process Effects 0.000 claims abstract description 151
- 238000012545 processing Methods 0.000 claims abstract description 66
- 230000006870 function Effects 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004064 recycling Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000006386 memory function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种文件处理方法、装置、电子设备及其存储介质。包括:在检测到业务进程启动的情况下,确定业务进程的依赖文件;在各依赖文件已缓存至物理内存页的情况下,对物理内存页中缓存的各依赖文件进行锁存处理;以及,在对物理内存页进行内存回收处理的过程中,若任一缓存页文件被锁存,则跳过被锁存缓存页,以及对未被锁存的缓存页中的至少部分进行释放。利用文件处理方法,在业务进程启动的过程中,对业务进程的依赖文件缓存在物理内存页中并进行锁存处理,解决了进程在启动过程中出现所要访问文件在物理内存页中不存在的问题,减少了硬缺页异常问题的出现,避免了硬缺页异常所带来数据加载的等待,从而大幅度地提升系统的稳定性。
Description
技术领域
本发明涉及文件处理技术领域,尤其涉及一种文件处理方法、装置、电子设备及其存储介质。
背景技术
随着现代汽车工业和电子技术的发展,车辆导航、通信、移动办公、多媒体娱乐、安防辅助驾驶和远程故障诊断等功能电子系统可以通过网络技术联网集成在自动驾驶车载系统中。
自动驾驶车载系统中,应用程序启动过程中,车载操作系统会寻找出节点应用程序所依赖的所有动态库,依次从磁盘中读取动态库数据并加载写入物理内存页中,等所有动态库都加载完成后,程序将会开始运行。如果在应用程序启动过程中,出现空余内存不足的情况时,操作系统会启动内存页面回收功能,将长时间未使用的物理内存页帧腾空出来给其他进程使用。
基于上述的现有技术方案,在系统空余内存不足的情况下,操作系统启动内存页面回收功能,删除长时间未使用的物理内存页,导致在启动应用程序时出现需要访问的文件在物理内存页中不存在的问题,触发硬缺页异常。若想启动应用程序,则需要从磁盘中重新将需要的动态数据库数据读入到物理内存中。重新读取动态数据库的过程中,磁盘读写速度太慢,导致系统出现卡顿现象,影响系统性能问题。
发明内容
本发明提供了一种文件处理方法、装置、电子设备及其存储介质,以解决出现硬缺页异常的问题。
根据本发明的一方面,提供了一种文件处理方法,包括:
在检测到业务进程启动的情况下,确定业务进程的依赖文件;
在各依赖文件已缓存至物理内存页的情况下,对物理内存页中缓存的各依赖文件进行锁存处理;
以及,在对物理内存页进行内存回收处理的过程中,若任一缓存页文件被锁存,则跳过被锁存缓存页,以及对未被锁存的缓存页中的至少部分进行释放。
可选的,对物理内存页中缓存的各依赖文件进行锁存处理,包括:
对于任一依赖文件,在依赖文件未被锁存的情况下,对依赖文件进行锁存处理,并设置依赖文件的引用数加一;
在依赖文件已被锁存的情况下,设置依赖文件的引用数加一。
可选的,对依赖文件进行锁存处理,包括:
调用锁存函数,基于预先创建的锁存设备文件启动锁存内核模块中的锁存服务,对依赖文件进行锁存处理。
可选的,方法还包括:
在检测到任一业务进程退出的情况下,设置退出的业务进程对应的依赖文件的引用数减一;
以及,对引用数为零的依赖文件进行解锁处理。
可选的,方法还包括:
在系统启动的情况下,注册进程退出跟踪函数,进程退出跟踪函数用于对业务进程的退出进行捕获。
可选的,方法还包括:
基于各依赖文件的文件标识和引用数,形成基数树;
相应的,在对物理内存页进行内存回收处理的过程中,将基数树中引用数大于或等于1的文件确定为被锁存文件,被锁存文件中包括至少一个被锁存缓存页;
将基数树中引用数等于0的文件确定为未被锁存文件,未被锁存文件中分别包括至少一个未被锁存的缓存页。
可选的,对未被锁存的缓存页中的至少部分进行释放,包括:
确定未被锁存的缓存页的引用频次,根据引用频次确定被释放的缓存页。
根据本发明的另一方面,提供了一种文件处理装置,包括:
依赖文件确定模块,用于在检测到业务进程启动的情况下,确定业务进程的依赖文件;
依赖文件锁存模块,用于在各依赖文件已缓存至物理内存页的情况下,对物理内存页中缓存的各依赖文件进行锁存处理;
内存回收处理模块,用于以及,在对物理内存页进行内存回收处理的过程中,若任一缓存页文件被锁存,则跳过被锁存缓存页,以及对未被锁存的缓存页中的至少部分进行释放。
根据本发明的另一方面,提供了一种电子设备,电子设备包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行本发明任一实施例的文件处理方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行时实现本发明任一实施例的文件处理方法。
本发明实施例的技术方案,通过提出了一种高效的减少硬缺页异常出现的优化方法,利用该方法对每个节点应用程序和对应所依赖的动态库都锁存在物理内存页中,在系统出现空余内存不足的情况下,操作系统会跳过被锁存的缓存页而释放掉其他没有被锁存的缓存页,解决了进程在启动过程中出现需要访问的地址在物理内存页中不存在的问题,可以大幅度地减少硬缺页异常出现,避免了硬缺页异常所带来数据加载的等待,从而大幅地提升系统的稳定性。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种文件处理方法的流程图;
图2是本发明实施例二提供的文件处理方法的工作流程图;
图3是本发明实施例三提供的一种文件处理装置的结构示意图;
图4是实现本发明实施例的文件处理方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是本发明实施例一提供的一种文件处理方法的流程图,本实施例可适用于对应用程序在启动过程中依赖的文件进行锁存情况,该方法可以由文件处理装置来执行,该文件处理装置可以采用硬件和/或软件的形式实现,该文件处理装置可配置于车载系统中。如图1所示,该方法包括:
S110、在检测到业务进程启动的情况下,确定业务进程的依赖文件。
其中,依赖文件具体可以理解为业务进程运行时所需要的文件,该依赖文件包含可执行文件和动态数据库文件等。动态数据库是作为函数共享库的一种可执行文件,使进程可以调用不属于其可执行代码的函数。业务进程的启动依赖于大量的动态数据库,这些动态数据库存储在磁盘中并占有一定大小的空间。
可以通过操作系统检测业务进程是否启动,比如可以检测触控屏上的应用程序是否被选中并点击过,如检测到被点击的信号,则表示该应用程序需要启动,对应的业务进程也将被启动;比如可预先注册进程启动检测函数,通过进程启动检测函数可检测到启动的业务进程。依赖文件的确定方法是通过控制系统从业务进程所依赖的所有动态数据库中寻找而实现的,依次从磁盘中读取动态数据库并加载写入物理内存页中,当某项业务进程启动的情况下,对应的依赖文件将从物理内存页中被读取。可选的,可预先设置业务进程与依赖文件的对应列表,该列表中可存储业务进程标识与所依赖的文件标识之间的对应关系,相应的,在检测到某一业务进程启动的情况下,基于启动的业务进程的标识在上述列表中进行匹配,确定该业务进程对应的依赖文件。
具体的,当操作系统检测到业务进程启动的信号的情况下,操作系统会寻找出节点应用程序所依赖的所有动态库,依次从磁盘中读取动态库数据并加载写入物理内存页中,等所有动态库都加载完成后,业务进程将会开始运行,相应的,应用程序也将开始运行。可以理解的是,在从磁盘中读取动态库数据并加载写入物理内存页之前,确定物理内存页中已加载的文件中是否包括业务进程对应的依赖文件,对于已加载的依赖文件,无需重复加载,对于未加载的依赖文件进行从磁盘中读取并进行加载。其中,不同的业务进程所对应的依赖文件可存在重叠,同时处于启动状态的业务进程可以是多个。
示例性的,在自动驾驶的车载系统中,每个节点应用程序都依赖大量的动态库,这些动态库存储在磁盘中并占用一定大小的空间。每个节点应用程序又包含至少一个业务进程,当节点应用程序A被选中并点击后,操作系统从动态数据库中寻找所有业务进程所依赖的所有动态数据库,依次从系统磁盘中读取动态数据库,并将相应的依赖文件加载写入物理内存页中,等依赖文件加载完之后,应用程序调用这些依赖文件,所有业务进程完成启动,应用程序开始运行。
在本实施例中,通过操作系统检测到业务进程启动的情况,并确定业务进程对应的依赖文件,直接从物理内存页中获取依赖文件,减少了文件的加载时间,有利于提高系统的性能。
S120、在各依赖文件已缓存至物理内存页的情况下,对物理内存页中缓存的各依赖文件进行锁存处理。
其中,缓存就是将程序或系统经常要调用的文件数据存在内存中,通过缓存机制可以实现不同进程之间或者同一进程的前后不同部分之间对于数据的共享,使用页缓存(Page Cache)机制来对文件中的数据进行缓存。物理内存,也称为RAM主存,在计算机中以内存条的形式存在,嵌入在主板的内存槽中,用于加载各种各样的程序与数据以供处理器直接运行和使用。物理内存页具体可以理解为是对物理内存进行分页处理获得的,分页处理可以采用页面分配函数完成。锁存具体可以理解为是一种锁定内存页的方法,可以采用调用锁内存函数执行锁存处理等。
具体的,业务进程启动时,操作系统从动态数据库中检测业务进程所依赖的文件并缓存至物理内存中,依赖文件可以通过页缓存机制缓存在物理内存页中的,其中,页缓存机制是一种基于页的、面向文件的缓存机制。在将依赖文件缓存至物理内存的过程中,调用页面分配函数,完成物理内存的分页处理,再将依赖文件存储在分配好的物理内存页中,其中,任一依赖文件可对应至少一个缓存页。在各依赖文件均已缓存至物理内存页的情况下,采用锁内存函数执行对处于启动状态的业务进程对应的各依赖文件的锁存处理。
进一步的,对物理内存页中缓存的各依赖文件进行锁存处理,包括:
对于任一依赖文件,在依赖文件未被锁存的情况下,对依赖文件进行锁存处理,并设置依赖文件的引用数加一;
在依赖文件已被锁存的情况下,设置依赖文件的引用数加一。
其中,引用数具体可以理解为用于记录依赖文件被映射的次数,也就是说依赖文件被多少个处于启动状态的业务进程所共享,可以通过自定义一个参数来记录,也可以直接使用物理内存页对应的管理结构体中的参数,如_mapcount。依赖文件的引用数表征该文件当前被引用的次数,其中,该依赖文件可以同时被多个处于启动状态的业务进程所引用,在依赖文件的引用数大于或等于1的情况下,表征存在处于启动状态的业务进程引用该依赖文件,依赖文件的引用数等于0,表征当前不存在处于启动状态的业务进程引用该文件。
依赖文件锁存状态的判断可以通过控制系统获取物理内存页的当前状态来判断,比如对应的锁存状态值显示True,则表示当前物理内存页中的依赖文件被锁存了,反之,未被锁存。还可以通过使用键值对的形式设置依赖文件对应的锁存状态,比如依赖文件名称作为key,锁存状态使用value进行表示。
具体的,在对物理内存页中缓存的各依赖文件进行锁存处理的过程中,遍历所有的依赖文件及其数据信息,判断依赖文件的锁存状态,如果依赖文件未被锁存,那么对该依赖文件执行锁存处理,并设置该依赖文件的引用数加一;如果依赖文件已被锁存,那么对该依赖文件不用执行重复的锁存处理,只需要设置该依赖文件的引用数加一即可。
可选的,对依赖文件进行锁存处理,包括:调用锁存函数,基于预先创建的锁存设备文件启动锁存内核模块中的锁存服务,对依赖文件进行锁存处理。
其中,锁存函数具体可以是一种页锁定内存函数,如PageLocker,页锁定内存的重要属性是操作系统将不会对锁定内存进行分页和交换操作,确保该内存始终驻留在物理内存中。设备文件具体可以理解为是一个设备驱动程序的接口,并被存储在文件系统中,通常提供与标准设备(如打印机和串行端口)的简单接口,但也可用于访问这些设备(如磁盘分区)上的特定独特资源。相应的,锁存设备文件是一种用于锁存的驱动程序接口。锁存设备文件是可使用mknod命令进行创建。内核模块具体可以理解为是一个单独的非常大的程序。内核采用动态的方式加载每个硬件的模块,我们可以把这个动态模块想象成硬件的驱动,默认Linux硬件的驱动是不需要手工安装的,如果是重要的功能,则会直接编译到内核当中;如果是非重要的功能,比如硬件驱动会编译为模块,则在需要时由内核调用。锁存内核模块中存放着用于处理锁存的锁存服务。
具体的,操作系统可以通过执行mknod命令预先创建一个锁存设备文件,在锁存函数被调用的情况下,获取锁存设备文件,通过内核模块调取锁存内核模块中的锁存服务,对依赖文件进行锁存处理。
进一步的,对物理内存页中缓存的各依赖文件进行锁存处理,还包括:在检测到任一业务进程退出的情况下,设置退出的业务进程对应的依赖文件的引用数减一;以及,对引用数为零的依赖文件进行解锁处理。
其中,业务进程退出可以通过操作系统进行检测,比如检测是否接收到系统的关机指令、或者检测业务进程对应的关闭按钮是否有被点击等。
具体的,如果操作系统检测到任一业务进程退出的指令或者信号等,那么业务进程对应的依赖文件的引用数将会执行减一操作。如查询的依赖文件的引用数为0,则表示该依赖文件已经不被其他任一业务进程所引用,则对该依赖文件对应的物理内存页执行解锁处理,解除锁存。
可选的,在系统启动的情况下,注册进程退出跟踪函数,进程退出跟踪函数用于对业务进程的退出进行捕获。
其中,进程退出跟踪函数具体可以理解为是中止进程操作并跟踪中止操作的函数。在进程结束前,可以注册进程退出跟踪函数给进程,在进程结束时会自动调用注册的进程退出跟踪函数,可以通过atexit函数注册进程退出跟踪函数,在进程正常退出后再执行注册函数。注册的函数具体适用于捕获业务进程的退出处理操作。
进一步的,对物理内存页中缓存的各依赖文件进行锁存处理,方法还包括:基于各依赖文件的文件标识和引用数,形成基数树。
其中,文件标识具体可以理解为是对依赖文件设置的标识符,一个标识对应一个依赖文件,可以是通过设置相应的参数变量,比如文件名称等。页缓存指的是将一个文件在内存中的所有物理页所组成的一种树形结构,我们称之为基数树,用于管理属于同一个文件在内存中的缓存内容。一个文件在内存中对应的所有物理页可以组成一个基数树,基数树包含依赖文件的文件标识和引用数。使用键值(key-value)对的形式来保存依赖文件的文件标识和引用数,并且可以通过键值对快速查找到其对应的值,比如以文件标识作为键(key),引用数作为值(value),可以直接查找到对应的依赖文件等。
具体的,在对依赖文件进行锁存的情况下,采用基数树的数据结构记录依赖文对应的物理内存页的文件标识和引用数。
在本实施例中,通过在依赖文件缓存至物理内存页的情况下,采用页缓存机制都其进行缓存,将所有的依赖文件缓存到物理内存页后,将对所有的物理内存页进行锁存处理,设置引用数记录依赖文件被引用的次数,
S130、在对物理内存页进行内存回收处理的过程中,若任一缓存页文件被锁存,则跳过被锁存缓存页,以及对未被锁存的缓存页中的至少部分进行释放。
其中,回收处理具体可以理解为是删除对物理内存页中至少部分已加载的数据,释放掉该内存空间,将该内存空间腾空出来可以用于缓存数据的一种物理内存页处理方法。回收处理的触发条件可以是物理内存页中空白页的数量或占比小于预设阈值。本实施例中,回收处理的具体操作可以是对物理内存页中的未处于锁存状态的缓存页进行至少部分的释放处理。
可选的,在对物理内存页进行内存回收处理的过程中,将基数树中引用数大于或等于1的文件确定为被锁存文件,被锁存文件中包括至少一个被锁存缓存页;将基数树中引用数等于0的文件确定为未被锁存文件,未被锁存文件中分别包括至少一个未被锁存的缓存页。
具体的,根据上述步骤可以知道基数树包含依赖文件的文件标识和引用数。在进行内存回收的过程中,遍历所有的依赖文件,得到依赖文件对应的引用数。在引用数大于等于1的情况下,表示该依赖文件已经被锁存在物理内存页中,因此,可以确定该依赖文件已被锁存,即该依赖文件对应的缓存页被锁存。一个依赖文件可以被分页并缓存在一个或者多个物理内存页中,相应的,被锁存的文件中包含至少一个被锁存缓存页。当基数树中引用数等于0的文件,可以确定该文件没有被任何启动状态的业务进程所引用,未进行锁存处理,属于未被锁存文件,可以理解的是,未被锁存文件中分别包括至少一个未被锁存的缓存页。
本实施例中,在回收处理的过程中,对至少部分未被锁存的缓存页进行释放处理,不对被锁存的缓存页进行回收处理,其中,被锁存的缓存页被正在启动状态的业务进程所引用,相应的,可避免处于启动状态的业务进程无法继续运行的情况,在释放缓存页的同时,保证了业务进程的正常运行。
可选的,对未被锁存的缓存页中的至少部分进行释放,包括:确定未被锁存的缓存页的引用频次,根据引用频次确定被释放的缓存页。
其中,引用频次具体可以理解为是缓存页的引用次数,功能类同于依赖文件的引用数,可以通过设置对应的参数记录引用频次。未被锁存的缓存页是否应该被释放取决于引用频次,引用频次越低,被释放的概率就越大。
具体的,遍历所有的未被执行锁存处理的缓存页,确定每一个缓存页的引用频次,可以对引用频次进行升序排列,当系统处于需要进行回收处理的情况下,优先回收引用频次较少的缓存页,直到释放部分缓存页后的内存空间的大小满足系统运行所需要的空间。
在本实施例中,在物理内存页的回收过程中,遍历所有的缓存页,确定缓存页是否被锁存,对于锁存的缓存页,系统可以直接跳过,不对该缓存页进行回收处理,对于未被锁存的缓存页,可以根据被引用的频次确定缓存页被回收的优先级。通过这样的回收方法,可以避免对经常被引用的缓存页被回收的情况,减少频繁出现缺页异常的问题,提高了系统的性能。
本实施例的技术方案,通过在启动应用程序的情况下,对每一个业务进程执行过程中所依赖的文件进行锁存处理,并通过基数树的数据结构记录依赖文件被引用的次数,使得物理内存页在被回收的过程中,操作系统会跳过被锁存的缓存页而释放掉其他没有被锁存的缓存页,避免了过多出现硬缺页异常的问题,减少了因硬缺页异常带来的数据加载的等待,提高了系统的稳定性。
实施例二
图2是本发明实施例二提供的文件处理方法的工作流程图,本实施例是根据上述实施例的方法在车载系统中适用的工作流程图。如图2所示,该工作流程的步骤包括:
S201、车载系统启动。
当驾驶员点击车辆启动按钮启动车辆的情况下,车载系统也会随之启动。
S202、安装锁内核模块。
在车载系统启动的过程中,内置操作系统可以对锁内核模块的源代码进行编译,完成锁内核模块的安装。
S203、注册进程退出跟踪函数。
操作系统可以用过atexit函数注册进程退出跟踪函数,用于对业务进程在退出时进行捕获。
S204、创建锁存设备文件。
操作系统可以通过执行mknod命令创建锁存设备文件。
S205、判断是否有业务进程退出。
操作系统可以执行预设置的判断函数,根据接收的与业务进程相关的信息进行判断,业务进程的信息作为判断函数的输入参数,如果存在有业务进程退出,判断函数输出是,反之,输出否。也可以通过注册的进程退出跟踪函数判断,函数的输出也为是或者否。若输出是,则执行S211,若输出否,则执行S206。
S206、判断是否有业务进程启动锁存服务。
操作系统可以通过执行判断锁存服务是否被启动的程序代码完成判断过程,最终返回是或者否。若返回结果为是,则执行S207,若返回结果为否,则执行S205。
S207、更新业务进程数。
如果检测到有业务进程启动了锁存服务,那么可以确定有新的业务进程被启动,操作系统更新业务进程数。
S208、获取当前进程的依赖文件。
有新的业务进程启动的情况下,内核模块会寻找出该业务程序所依赖的所有动态库,依次从磁盘中读取动态库数据并加载写入物理内存页中,即将依赖文件读取出来并缓存在物理内存页中。
S209、采用基数树记录未保存的依赖文件,已保存的依赖文件的引用数加一。
通过基数树记录内核模块获取的依赖文件,基数树包含每一个依赖文件对应的文件标识和引用次数等变量。在未保存依赖文件之前,依赖文件对应的引用数均为0,当保存后,对应的依赖文件的引用数执行加一操作。
S210、对所获取的缓存页进行加锁。
业务进程调用锁存函数,如PageLocker,通过锁存设备文件去启动锁存内核模块(LoaderK)中的锁存服务。此时,内核模块会获取当前进程中的依赖文件,并保存在基数树中,接着对所有依赖文件缓存页进行加锁操作。接着执行S205。
S211、获取当前进程的依赖文件。
当检测到有业务进程退出的情况下,读取当前进程对应的所有依赖文件。
S212、依赖文件引用数减一。
对S211中获取的依赖文件对应的引用数执行减一操作。
S213、解锁引用数为0的依赖文件。
当依赖文件的引用数减至0的时候,表示该依赖文件不再被业务进程所依赖,将在回收处理流程中,对引用数为0的依赖文件执行解锁处理,释放依赖文件所占用的物理内存页。
本实施例的技术方案,通过在车载系统启动的情况下,安装锁存内核模块、注册进程退出跟踪函数、创建锁存设备文件等,利用上述步骤生成的锁存内核模块、函数、设备文件等,执行对业务进程对应的依赖文件的加锁处理和解锁处理,减少硬缺页异常问题的出现,也能够及时的解锁物理内存页,释放内存空间,降低出现内存空间不足的频率,提高了系统的性能。
实施例三
图3是本发明实施例三提供的一种文件处理装置的结构示意图。如图3所示,该装置包括:
依赖文件确定模块310,用于在检测到业务进程启动的情况下,确定业务进程的依赖文件;
依赖文件锁存模块320,用于在各依赖文件已缓存至物理内存页的情况下,对物理内存页中缓存的各依赖文件进行锁存处理;
内存回收处理模块330,用于以及,在对物理内存页进行内存回收处理的过程中,若任一缓存页文件被锁存,则跳过被锁存缓存页,以及对未被锁存的缓存页中的至少部分进行释放。
可选的,依赖文件锁存模块320,具体用于:
对物理内存页中缓存的各依赖文件进行锁存处理,包括:对于任一依赖文件,在依赖文件未被锁存的情况下,对依赖文件进行锁存处理,并设置依赖文件的引用数加一;在依赖文件已被锁存的情况下,设置依赖文件的引用数加一。
对依赖文件进行锁存处理,包括:调用锁存函数,基于预先创建的锁存设备文件启动锁存内核模块中的锁存服务,对依赖文件进行锁存处理。
对物理内存页中缓存的各依赖文件进行锁存处理,还包括:在检测到任一业务进程退出的情况下,设置退出的业务进程对应的依赖文件的引用数减一;以及,对引用数为零的依赖文件进行解锁处理。
在系统启动的情况下,注册进程退出跟踪函数,进程退出跟踪函数用于对业务进程的退出进行捕获。
对物理内存页中缓存的各依赖文件进行锁存处理,方法还包括:基于各依赖文件的文件标识和引用数,形成基数树。
可选的,内存回收处理模块330,具体用于:
在对物理内存页进行内存回收处理的过程中,将基数树中引用数大于或等于1的文件确定为被锁存文件,被锁存文件中包括至少一个被锁存缓存页;将基数树中引用数等于0的文件确定为未被锁存文件,未被锁存文件中分别包括至少一个未被锁存的缓存页。
对未被锁存的缓存页中的至少部分进行释放,包括:确定未被锁存的缓存页的引用频次,根据引用频次确定被释放的缓存页。
本发明实施例所提供的文件处理装置可执行本发明任意实施例所提供的文件处理方法,具备执行方法相应的功能模块和有益效果。
实施例四
图4是本发明实施例四提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如文件处理方法。
在一些实施例中,文件处理方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的文件处理方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行文件处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的文件处理方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
实施例五
本发明实施例五还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行一种文件处理方法,该方法包括:
在检测到业务进程启动的情况下,确定业务进程的依赖文件;
在各依赖文件已缓存至物理内存页的情况下,对物理内存页中缓存的各依赖文件进行锁存处理;
以及,在对物理内存页进行内存回收处理的过程中,若任一缓存页文件被锁存,则跳过被锁存缓存页,以及对未被锁存的缓存页中的至少部分进行释放。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种文件处理方法,其特征在于,包括:
在检测到业务进程启动的情况下,确定所述业务进程的依赖文件;
在各所述依赖文件已缓存至物理内存页的情况下,对所述物理内存页中缓存的各所述依赖文件进行锁存处理;
以及,在对物理内存页进行内存回收处理的过程中,若任一缓存页所述文件被锁存,则跳过被锁存缓存页,以及对未被锁存的缓存页中的至少部分进行释放。
2.根据权利要求1所述的方法,其特征在于,所述对所述物理内存页中缓存的各所述依赖文件进行锁存处理,包括:
对于任一所述依赖文件,在所述依赖文件未被锁存的情况下,对所述依赖文件进行锁存处理,并设置所述依赖文件的引用数加一;
在所述依赖文件已被锁存的情况下,设置所述依赖文件的引用数加一。
3.根据权利要求2所述的方法,其特征在于,所述对所述依赖文件进行锁存处理,包括:
调用锁存函数,基于预先创建的锁存设备文件启动锁存内核模块中的锁存服务,对所述依赖文件进行锁存处理。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在检测到任一业务进程退出的情况下,设置退出的业务进程对应的依赖文件的引用数减一;
以及,对引用数为零的依赖文件进行解锁处理。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在系统启动的情况下,注册进程退出跟踪函数,所述进程退出跟踪函数用于对业务进程的退出进行捕获。
6.根据权利要求2所述的方法,其特征在于,所述方法还包括:
基于各所述依赖文件的文件标识和引用数,形成基数树;
相应的,在对物理内存页进行内存回收处理的过程中,将所述基数树中引用数大于或等于1的文件确定为被锁存文件,所述被锁存文件中包括至少一个被锁存缓存页;
将所述基数树中引用数等于0的文件确定为未被锁存文件,所述未被锁存文件中分别包括至少一个未被锁存的缓存页。
7.根据权利要求6所述的方法,其特征在于,对未被锁存的缓存页中的至少部分进行释放,包括:
确定所述未被锁存的缓存页的引用频次,根据所述引用频次确定被释放的缓存页。
8.一种文件处理装置,其特征在于,包括:
依赖文件确定模块,用于在检测到业务进程启动的情况下,确定所述业务进程的依赖文件;
依赖文件锁存模块,用于在各所述依赖文件已缓存至物理内存页的情况下,对所述物理内存页中缓存的各所述依赖文件进行锁存处理;
内存回收处理模块,用于以及,在对物理内存页进行内存回收处理的过程中,若任一缓存页所述文件被锁存,则跳过被锁存缓存页,以及对未被锁存的缓存页中的至少部分进行释放。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的文件处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的文件处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211567049.6A CN116302154A (zh) | 2022-12-07 | 2022-12-07 | 一种文件处理方法、装置、电子设备及其存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211567049.6A CN116302154A (zh) | 2022-12-07 | 2022-12-07 | 一种文件处理方法、装置、电子设备及其存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116302154A true CN116302154A (zh) | 2023-06-23 |
Family
ID=86785749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211567049.6A Pending CN116302154A (zh) | 2022-12-07 | 2022-12-07 | 一种文件处理方法、装置、电子设备及其存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116302154A (zh) |
-
2022
- 2022-12-07 CN CN202211567049.6A patent/CN116302154A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110865888B (zh) | 一种资源加载方法、装置、服务器及存储介质 | |
CN106528216A (zh) | 一种启动应用程序的方法及终端 | |
US20220035655A1 (en) | Method and Device for Anonymous Page Management, Terminal Device, and Readable Storage Medium | |
CN109086141B (zh) | 内存管理方法和装置以及计算机可读存储介质 | |
CN113296786A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN113760306A (zh) | 安装软件的方法、装置、电子设备及存储介质 | |
CN104573112A (zh) | Oltp集群数据库中页面查询方法及数据处理节点 | |
CN111897493A (zh) | 存储空间管理方法、装置及电子设备、存储介质 | |
CN118193485A (zh) | 一种并发控制方法、装置、电子设备及存储介质 | |
CN111488316B (zh) | 文件缓存回收方法及装置 | |
CN117555816A (zh) | 内存回收方法、装置、计算设备及计算机存储介质 | |
CN116302154A (zh) | 一种文件处理方法、装置、电子设备及其存储介质 | |
CN116155604A (zh) | 一种容器网络微隔离防护方法、装置、设备及存储介质 | |
CN115599268A (zh) | 一种屏幕截图方法、计算设备和存储介质 | |
CN112035253B (zh) | 一种linux系统页缓存回收方法及相关装置 | |
CN112269768A (zh) | 一种页面缓存回收方法、装置、设备及存储介质 | |
CN114510334A (zh) | 类实例的调用方法、装置、电子设备及自动驾驶车辆 | |
CN115964061A (zh) | 插件更新方法、装置、电子设备和计算机可读存储介质 | |
CN113934692A (zh) | 文件清理方法、装置、存储介质及设备 | |
CN112463374A (zh) | 一种内存管理方法、装置、设备及存储介质 | |
CN111309507B (zh) | 内存泄露的检测方法、装置和机器可读存储介质 | |
CN117234431B (zh) | 缓存管理方法、装置、电子设备及存储介质 | |
US20240220472A1 (en) | Systems and methods for executing and hashing modeling flows | |
CN115292264A (zh) | 一种文件的锁操作方法、装置、设备和存储介质 | |
CN117008837A (zh) | 一种磁盘的分区挂载方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |