CN113760191B - 数据读取方法、装置、存储介质和程序产品 - Google Patents
数据读取方法、装置、存储介质和程序产品 Download PDFInfo
- Publication number
- CN113760191B CN113760191B CN202111015649.7A CN202111015649A CN113760191B CN 113760191 B CN113760191 B CN 113760191B CN 202111015649 A CN202111015649 A CN 202111015649A CN 113760191 B CN113760191 B CN 113760191B
- Authority
- CN
- China
- Prior art keywords
- data
- reading
- read
- memory
- time ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0613—Improving I/O performance in relation to throughput
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Telephone Function (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据读取方法、装置、存储介质和程序产品,属于计算机技术领域。该方法包括:接收用于请求读取文件系统中的数据的IO请求,文件系统中的数据是压缩存储。根据CPU负载信息和IO负载信息确定系统负载状态,且根据系统负载状态设置预读解压率,预读解压率是从文件系统预读数据至内存时对预读出的数据的解压率。之后,根据预读解压率从文件系统预读数据至内存,并在内存中访问该IO请求所请求的数据。如此,是根据系统负载状态来调整本次预读时需解压的数据量,因而可达到在系统重负载时解压较少的数据,在系统轻负载时解压较多的数据的效果,从而在保证预读效果的同时,保证了系统性能均衡稳定,进而保证了应用的正常运行。
Description
技术领域
本申请涉及计算机技术领域,特别涉及一种数据读取方法、装置、存储介质和程序产品。
背景技术
在应用启动、玩游戏等场景下,往往会生成多个输入输出(Input Output,IO)请求,该多个IO请求用于请求顺序读取文件系统中的数据。为了提高数据读取效率,设置了数据预读机制。具体地,每次接收到IO请求时,除了访问该IO请求所请求的数据外,还会在文件系统中按顺序继续读取后续数据到内存中,也就是预读后续数据到内存中。这样,在接收到下一个IO请求时,就可以直接在预读到内存的数据中访问这个IO请求所请求的数据,而无需从文件系统中读取,从而可以加快数据访问。
目前,终端中经常采用可扩展只读文件系统(extendable read-only filesystem,EROFS)。EROFS中的数据是压缩存放,如此可以减少数据占用空间,且可以提升随机读取性能。对EROFS中的数据的预读还伴随着对数据的解压操作。这种情况下,随着预读的数据的增多,需要解压的数据越来越多,从而会占用越来越多的中央处理器(centralprocessing unit,CPU)资源,进而会影响其他应用的正常运行。
发明内容
本申请提供了一种数据读取方法、装置、存储介质和程序产品,可以根据系统负载状态来调整本次预读时需解压的数据量,从而保证系统性能均衡稳定。所述技术方案如下:
第一方面,提供了一种数据读取方法。在该方法中,接收IO请求,该IO请求用于请求读取文件系统中的数据。之后,根据CPU负载信息和IO负载信息确定系统负载状态,且根据系统负载状态设置预读解压率,预读解压率是从文件系统预读数据至内存时对预读出的数据的解压率。最后,根据预读解压率从文件系统预读数据至内存,并在内存中访问该IO请求所请求的数据。
该IO请求可以是在目标业务运行过程中生成的。目标业务是在运行过程中需要顺序读取文件系统中的数据的业务,因而在目标业务运行过程中会生成一些IO请求,这些IO请求用于请求顺序读取文件系统中的数据。
文件系统中的数据是压缩存储,也即文件系统中存储的数据为压缩数据。比如,文件系统可以为EROFS,EROFS中存储的数据即为压缩数据。这种情况下,对文件系统中的压缩数据的预读还可以伴随着对压缩数据的解压操作。
CPU负载信息用于体现CPU负载情况。示例地,CPU负载信息可以包括系统丢帧率。系统丢帧率可以体现CPU负载的高低。也即,系统丢帧率越高,说明CPU负载越高;系统丢帧率越低,说明CPU负载越低。
IO负载信息用于体现IO负载情况。示例地,IO负载信息可以包括IO时间比率,IO时间比率是指周期内用于IO操作的时间比率,即指示一秒中有百分之多少的时间用于IO操作。IO时间比率可以体现IO负载的高低。也即,IO时间比率越高,说明IO负载越高;IO时间比率越低,说明IO负载越低。
系统负载状态用于体现系统整体的负载情况。系统负载状态可以为繁忙状态、正常状态或空闲状态。系统负载状态为繁忙状态时,说明系统负载较高;系统负载状态为正常状态时,说明系统负载适中;系统负载状态为空闲状态时,说明系统负载较低。
在本申请中,根据系统负载状态来调整本次预读时需解压的数据量,因而可达到在系统重负载时解压较少的数据,在系统轻负载时解压较多的数据的效果,从而在保证预读效果的同时,也保证了系统性能均衡稳定,进而保证了应用的正常运行。
可选地,根据CPU负载信息和IO负载信息确定系统负载状态的操作可以为:若系统丢帧率大于或等于第一丢帧率阈值,或者IO时间比率大于或等于第一时间比率阈值,则确定系统负载状态为繁忙状态;若系统丢帧率大于第二丢帧率阈值且小于第一丢帧率阈值,以及IO时间比率大于第二时间比率阈值且小于第一时间比率阈值,则确定系统负载状态为正常状态;若系统丢帧率小于或等于第二丢帧率阈值,或者IO时间比率小于或等于第二时间比率阈值,则确定系统负载状态为空闲状态。
第一丢帧率阈值和第二丢帧率阈值均可以预先进行设置,第一丢帧率阈值和第二丢帧率阈值是用来判断系统丢帧率的高低的阈值,第一丢帧率阈值大于第二丢帧率阈值。当系统丢帧率大于或等于第一丢帧率阈值时,说明系统丢帧率较高,即CPU负载较高。当系统丢帧率小于或等于第二丢帧率阈值时,说明系统丢帧率较低,即CPU负载较低。
第一时间比率阈值和第二时间比率阈值均可以预先进行设置,第一时间比率阈值和第二时间比率阈值是用来判断IO时间比率的高低的阈值,第一时间比率阈值大于第二时间比率阈值。当IO时间比率大于或等于第一时间比率阈值时,说明IO时间比率较高,即IO负载较高。当IO时间比率小于或等于第二时间比率阈值时,说明IO时间比率较低,即IO负载较低。
在本申请中,通过对系统丢帧率和IO时间比率设置相应的阈值,可以判断出系统负载的高低,继而就可以确定系统负载状态,从而便于后续根据系统负载状态设置在本次预读时使用的预读解压率,以使预读时需解压的数据量与系统负载状态匹配,从而保证在系统负载较高时预读不会过多占用CPU资源。
可选地,根据系统负载状态设置预读解压率的操作可以为:若系统负载状态为繁忙状态,则设置预读解压率为0;若系统负载状态为正常状态,则根据系统丢帧率和IO时间比率设置预读解压率;若系统负载状态为空闲状态,则设置预读解压率为1。
在本申请中,若系统负载状态为繁忙状态,说明系统负载较高,因而可以设置预读解压率为0,也即在本次预读时对预读出的所有数据都不解压,如此在系统重负载时,可以在预读时避免对CPU资源的额外占用,以保证应用的正常运行。
若系统负载状态为空闲状态,说明系统负载较低,因而可以设置预读解压率为1,也即在本次预读时对预读出的所有数据都解压,如此在系统轻负载时,即在CPU资源比较充足的情况下,可以正常对预读出的所有数据进行解压,在保证较好的预读效果的情况下,也不影响应用的正常运行。
若系统负载状态为正常状态,说明系统负载适中,因而可以根据系统丢帧率和IO时间比率设置预读解压率,此时预读解压率大于0且小于1,也即在本次预读时对预读出的所有数据中的一部分数据进行解压,如此在系统负载适中时,在预读时不会过多占用CPU资源,从而可以保证应用的正常运行。
可选地,在系统负载状态为正常状态时,根据系统丢帧率和IO时间比率设置预读解压率时,可以遵循系统丢帧率和IO时间比率整体与预读解压率呈负相关关系的原则来设置。也即,遵循系统丢帧率和IO时间比率越大,预读解压率越小,系统丢帧率和IO时间比率越小,预读解压率越大的原则来设置。这种情况下,系统丢帧率和IO时间比率越大,说明系统负载越高,则需使得预读解压率越小,以减小需解压的数据量,避免过多占用CPU资源。而系统丢帧率和IO时间比率越小,说明系统负载越低,则需使得预读解压率越大,以在不会过多占用CPU资源的情况下,增加需解压的数据量,提高预读效果。
作为一种示例,根据系统丢帧率和IO时间比率设置预读解压率的操作可以为:根据系统丢帧率和IO时间比率,通过如下公式得到预读解压率;
其中,D为预读解压率,F为系统丢帧率,F1为第一丢帧率阈值,F2为第二丢帧率阈值,第一丢帧率阈值大于第二丢帧率阈值,I为IO时间比率,I1为第一时间比率阈值,I2为第二时间比率阈值,第一时间比率阈值大于第二时间比率阈值,A为系统丢帧率的权重。
可选地,根据预读解压率从文件系统预读数据至内存的操作可以为:若预读解压率为0,则从文件系统预读数据至内存,且不对本次预读出的所有数据进行解压;若预读解压率大于0且小于1,则从文件系统预读数据至内存,且对本次预读出的所有数据中所占比例为预读解压率的一部分数据进行解压;若预读解压率为1,则从文件系统预读数据至内存,且对本次预读出的所有数据进行解压。
为了便于后续在IO请求到来时,能够对内存中存储的未解压的数据进行解压,根据预读解压率从文件系统预读数据至内存之后,还可以对本次预读出的所有数据中未解压的数据进行解压标记,该解压标记用于标记压缩数据,即该解压标记用于指示在内存中访问到所标记的数据时需要解压。
在本申请中,在IO请求到来时,若内存中存储的该IO请求所请求的数据带有解压标记,说明该数据是压缩数据,则先对该数据进行解压,得到解压数据,再访问该解压数据;若内存中存储的该IO请求所请求的数据未带有解压标记,说明该数据是解压数据,则直接访问该数据。如此,通过解压标记,可以保证准确访问到所需的数据。
可选地,由于同步预读出的数据在后续有很大可能会被访问到,所以在同步预读时可以直接对预读出的所有数据正常进行解压,而在异步预读时可以执行本申请提供的数据读取方法。也即,在接收到IO请求后,若本次进行的是异步预读,则执行根据CPU负载信息和IO负载信息确定系统负载状态的步骤及后续步骤。在接收IO请求后,若本次进行的是同步预读,则从文件系统预读数据至内存,且对本次预读出的所有的数据进行解压,此时内存中存储的数据是解压数据,因而可以直接在内存中访问IO请求所请求的数据。
第二方面,提供了一种数据读取装置,所述数据读取装置具有实现上述第一方面中数据读取方法行为的功能。所述数据读取装置包括至少一个模块,所述至少一个模块用于实现上述第一方面所提供的数据读取方法。
第三方面,提供了一种数据读取装置,所述数据读取装置的结构中包括处理器和存储器,所述存储器用于存储支持数据读取装置执行上述第一方面所提供的数据读取方法的程序,以及存储用于实现上述第一方面所述的数据读取方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述数据读取装置还可以包括通信总线,所述通信总线用于在所述处理器与所述存储器之间建立连接。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的数据读取方法。
第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的数据读取方法。
上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与上述第一方面中对应的技术手段获得的技术效果近似,在这里不再赘述。
附图说明
图1是本申请实施例提供的一种终端的结构示意图;
图2是本申请实施例提供的一种终端的软件系统的框图;
图3是本申请实施例提供的一种数据读取过程的示意图;
图4是本申请实施例提供的一种数据读取方法的流程图;
图5是本申请实施例提供的一种系统负载状态的示意图;
图6是本申请实施例提供的另一种数据读取方法的流程图;
图7是本申请实施例提供的一种启动音乐应用的界面示意图;
图8是本申请实施例提供的另一种数据读取过程的示意图;
图9是本申请实施例提供的一种数据读取装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。
应当理解的是,本申请提及的“多个”是指两个或两个以上。在本申请的描述中,除非另有说明,“/”表示或的意思,比如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,比如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,为了便于清楚描述本申请的技术方案,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
在对本申请实施例提供的数据读取方法进行详细地解释说明之前,先对本申请实施例涉及的终端予以说明。
图1是本申请实施例提供的一种终端的结构示意图。参见图1,终端100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中,传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对终端100的具体限定。在本申请另一些实施例中,终端100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,比如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是终端100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从该存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口,如可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C接口。处理器110可以通过不同的I2C接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。比如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C接口通信,实现终端100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S接口。处理器110可以通过I2S接口与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
UART接口是一种通用串行数据总线,用于异步通信。UART接口可以为双向通信总线。UART接口可以将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。比如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现终端100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现终端100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为终端100充电,也可以用于终端100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。USB接口130还可以用于连接其他终端,比如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对终端100的结构限定。在本申请另一些实施例中,终端100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过终端100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为终端100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
终端100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。终端100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。比如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在终端100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在终端100上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,终端100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得终端100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code divisionmultiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(globalnavigation satellite system,GLONASS),北斗卫星导航系统(beidou navigationsatellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
终端100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,终端100可以包括1个或N个显示屏194,N为大于1的整数。
终端100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。比如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,终端100可以包括1个或N个摄像头193,N为大于1的整数。
外部存储器接口120可以用于连接外部存储卡,比如Micro SD卡,实现扩展终端100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。比如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,计算机可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,来执行终端100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储终端100在使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,比如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
终端100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D以及应用处理器等实现音频功能,比如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
按键190包括开机键,音量键等。按键190可以是机械按键,也可以是触摸式按键。终端100可以接收按键输入,产生与终端100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。比如,作用于不同应用(比如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,也可对应不同的振动反馈效果。不同的应用场景(比如:时间提醒,接收信息,闹钟,游戏等),也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和终端100的接触和分离。终端100可以支持1个或N个SIM卡接口,N为大于1的整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。终端100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,终端100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在终端100中,不能和终端100分离。
接下来对终端100的软件系统予以说明。
终端100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的安卓(Android)系统为例,对终端100的软件系统进行示例性说明。
图2是本申请实施例提供的一种终端100的软件系统的框图。参见图2,分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统层,以及内核层。
应用程序层可以包括一系列应用程序包。如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,游戏,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问,这些数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。视图系统包括可视控件,比如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序的显示界面,显示界面可以由一个或多个视图组成,比如,包括显示短信通知图标的视图,包括显示文字的视图,以及包括显示图片的视图。电话管理器用于提供终端100的通信功能,比如通话状态的管理(包括接通,挂断等)。资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等。通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如,通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或滚动条文本形式出现在系统顶部状态栏的通知,比如后台运行的应用程序的通知。通知管理器还可以是以对话窗口形式出现在屏幕上的通知,比如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块,比如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(比如:OpenGL ES),2D图形引擎(比如:SGL)等。表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,比如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合游戏应用启动场景,示例性说明终端100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别原始输入事件所对应的控件。以该触摸操作是单击操作,该单击操作所对应的控件为游戏应用图标的控件为例,游戏应用调用应用程序框架层的接口,启动游戏应用,再调用内核层启动显示驱动,通过显示屏194显示游戏应用的应用界面。
接下来对本申请实施例提供的数据读取方法的应用场景予以说明。
在应用启动、玩游戏等场景下,数据读取量较大。而且,终端一般都是多任务运行,经常存在并发的IO请求,进一步加大了数据读取量。为了提高数据读取效率,诸如Android、Linux等操作系统中设置了数据预读机制。预读是指在接收到IO请求时,一次从文件系统中读出比所请求的数据更多的数据并缓存在内存中,这样在下一个IO请求到来时可以直接在内存中访问所请求的数据,从而可以加快数据访问。
目前,终端中经常采用EROFS。EROFS中的数据是压缩存放,如此可以减少数据占用空间,且可以提升随机读取性能。对EROFS中的数据的预读还伴随着对数据的解压操作,也即,从EROFS中预读数据至内存的同时,还会对预读出的数据进行解压。这种情况下,随着预读的数据的增多,需要解压的数据越来越多,从而会占用越来越多的CPU资源。在CPU性能较低的终端上,CPU资源比较紧张,若预读占用过多的CPU资源,将会导致应用运行缓慢,出现卡顿现象。
为此,本申请实施例提供了一种数据读取方法,可以根据系统负载状态来设置预读解压率,然后根据预读解压率从文件系统中预读数据至内存。如此,不需在每次预读时对预读出的所有数据进行解压,而是根据系统负载状态来调整需解压的数据量,在系统重负载时解压较少的数据,在系统轻负载时解压较多的数据,从而在保证预读效果的同时,也保证了系统性能均衡稳定,进而保证了应用的正常运行。
接下来对数据预读机制予以说明。
图3是本申请实施例提供的一种数据读取过程的示意图。参见图3,假设在启动应用的过程中,生成三个IO请求来顺序读取文件系统中的数据。具体读取过程如下:
操作系统接收在启动应用的过程中生成的第一个IO请求,第一个IO请求用于请求读取文件系统中的数据1。操作系统先在内存中查找数据1。因为是首次读取,所以在内存中查找不到数据1,此时触发一次同步预读。操作系统在进行同步预读时,先初始化一个预读窗口,预读窗口大小决定本次的预读数据量。假设初始化的预读窗口大小为4,则从文件系统中读取4个数据(即数据1~数据4)到内存中。可以看出,第一个IO请求所请求的是数据1,而操作系统从文件系统中一共读出数据1~数据4,其中的后3个数据(即数据2~数据4)均属于预读数据,此时操作系统在内存中访问第一个IO请求所请求的数据1。并且,这种情况下,操作系统为本次预读出的这3个预读数据中的第一个预读数据(即数据2)打上预读标记。当后续访问到内存中被打上预读标记的这个预读数据时,操作系统会进行一次异步预读,具体在下面说明。
操作系统接收在启动应用的过程中生成的第二个IO请求,第二个IO请求用于请求读取文件系统中的数据2和数据3。操作系统先在内存中查找数据2和数据3。因为之前已经从文件系统中将数据2和数据3预读到了内存中,所以可以在内存中查找到数据2和数据3,此时直接在内存中访问第二个IO请求所请求的数据2和数据3。这种情况下,由于数据2被打上了预读标记,所以在访问到数据2时,会触发一次异步预读。操作系统在进行本次异步预读时,将上次同步预读时使用的预读窗口大小增大后作为本次异步预读时所要使用的预读窗口大小,示例地,可以将2倍的上次同步预读时使用的预读窗口大小作为本次异步预读时所要使用的预读窗口大小,即本次异步预读时所要使用的预读窗口大小为8,则在上次同步预读的基础上,即从文件系统中位于上次预读出的最后一个数据(即数据4)的后一个数据(即数据5)开始,从文件系统中读取8个数据(即数据5~数据12)到内存中。可以看出,第二个IO请求所请求的是数据2和数据3,而操作系统从文件系统中一共读出数据5~数据12,数据5~数据12均属于预读数据。这种情况下,操作系统为本次预读出的这8个预读数据中的第一个预读数据(即数据5)打上预读标记。当后续访问到内存中被打上预读标记的这个预读数据时,操作系统会进行一次异步预读,具体在下面说明。
操作系统接收在启动应用的过程中生成的第三个IO请求,第三个IO请求用于请求读取文件系统中的数据4~数据9。操作系统先在内存中查找数据4~数据9。因为之前已经从文件系统中将数据4~数据9预读到了内存中,所以可以在内存中查找到数据4~数据9,此时直接在内存中访问第三个IO请求所请求的数据4~数据9。这种情况下,由于数据5被打上了预读标记,所以在访问到数据5时,会触发一次异步预读。操作系统在进行本次异步预读时,将上次异步预读时使用的预读窗口大小增大后作为本次异步预读时所要使用的预读窗口大小,示例地,可以将2倍的上次异步预读时使用的预读窗口大小作为本次异步预读时所要使用的预读窗口大小,即本次异步预读时所要使用的预读窗口大小为16,则在上次异步预读的基础上,即从文件系统中位于上次预读出的最后一个数据(即数据12)的后一个数据(即数据13)开始,从文件系统中读取16个数据(即数据13~数据28)到内存中。可以看出,第三个IO请求所请求的是数据4~数据9,而操作系统从文件系统中一共读出数据13~数据28,数据13~数据28均属于预读数据。这种情况下,操作系统为本次预读出的这16个预读数据中的第一个预读数据(即数据13)打上预读标记。当后续访问到内存中被打上预读标记的这个预读数据时,操作系统会进行一次异步预读。
值得注意的是,上述从文件系统预读数据至内存时,可以是将文件系统中的数据预读至内存中的page cache(页缓存)中,后续接收到IO请求时,可以在page cache中访问该IO请求所请求的数据。
由上述数据读取过程可知,操作系统每接收到一个IO请求,在访问这个IO请求所请求的数据的同时,还可以从文件系统中预读后续数据至内存中。并且,每次预读时使用的预读窗口大小会大于前一次预读时使用的预读窗口大小,如每次预读时使用的预读窗口大小可以以2倍的方式不断增大。这种情况下,随着不断接收到IO请求,每次预读时使用的预读窗口大小会越来越大,每次从文件系统预读至内存中的数据也就会越来越多。
对于诸如EROFS等文件系统,其中的数据是压缩存储。因而在从文件系统预读数据至内存的同时,还需要对预读出的数据进行解压,以将解压数据存储在内存中,如此后续可以直接在内存中访问解压数据。然而,随着每次从文件系统预读至内存中的数据的增多,每次预读时需解压的数据越来越多,这将会占用越来越多的CPU资源。在CPU资源比较紧张的情况下,若预读占用过多的CPU资源,将会导致应用运行缓慢,出现卡顿现象,影响用户体验。
为此,本申请实施例中提供的数据读取方法,不需要在每次预读时对预读出的所有数据进行解压,而是根据系统负载状态来调整需解压的数据量,在系统重负载时解压较少的数据,在系统轻负载时解压较多的数据,从而在保证预读效果的同时,也保证了系统性能均衡稳定,进而保证了应用的正常运行。
接下来对本申请实施例提供的数据读取方法予以说明。
图4是本申请实施例提供的一种数据读取方法的流程图,该方法应用于终端,具体可以应用于终端的操作系统。参见图4,该方法包括:
步骤401:终端接收IO请求,该IO请求用于请求读取文件系统中的数据。
该IO请求可以是在目标业务运行过程中生成的。目标业务是在运行过程中需要顺序读取文件系统中的数据的业务,因而在目标业务运行过程中会生成一些IO请求,这些IO请求用于请求顺序读取文件系统中的数据。例如,目标业务可以是启动应用、在应用内执行某些操作(如显示游戏界面)等,本申请实施例对此不作限定。
文件系统中的数据是压缩存储,也即文件系统中存储的数据为压缩数据。比如,文件系统可以为EROFS,EROFS中存储的数据即为压缩数据。这种情况下,对文件系统中的压缩数据的预读还可以伴随着对压缩数据的解压操作。由于解压操作会占用CPU资源,所以为了保证系统性能均衡稳定,在本申请实施例中,在预读的同时需要解压多少数据量可以根据系统负载状态来确定,具体在下面说明。
步骤402:终端根据CPU负载信息和IO负载信息确定系统负载状态。
CPU负载信息用于体现CPU负载情况。示例地,CPU负载信息可以包括系统丢帧率。系统丢帧率可以体现CPU负载的高低。也即,系统丢帧率越高,说明CPU负载越高;系统丢帧率越低,说明CPU负载越低。
在一些实施例中,终端可以通过SurfaceFlinger服务中用于获取帧信息的相关接口来获取系统丢帧率,当然,终端也可以通过其他方式来获取系统丢帧率,本申请实施例对此不作限定。
IO负载信息用于体现IO负载情况。示例地,IO负载信息可以包括IO时间比率,IO时间比率是指周期内用于IO操作的时间比率,即指示一秒中有百分之多少的时间用于IO操作。IO时间比率可以体现IO负载的高低。也即,IO时间比率越高,说明IO负载越高;IO时间比率越低,说明IO负载越低。
在一些实施例中,终端可以通过IO吞吐量统计服务来获取IO时间比率,当然,终端也可以通过其他方式来获取IO时间比率,本申请实施例对此不作限定。
系统负载状态用于体现系统整体的负载情况。系统负载状态可以为繁忙状态、正常状态或空闲状态。系统负载状态为繁忙状态时,说明系统负载较高;系统负载状态为正常状态时,说明系统负载适中;系统负载状态为空闲状态时,说明系统负载较低。
可选地,步骤402的操作可以为:若系统丢帧率大于或等于第一丢帧率阈值,或者IO时间比率大于或等于第一时间比率阈值,则终端确定系统负载状态为繁忙状态;若系统丢帧率大于第二丢帧率阈值且小于第一丢帧率阈值,以及IO时间比率大于第二时间比率阈值且小于第一时间比率阈值,则终端确定系统负载状态为正常状态;若系统丢帧率小于或等于第二丢帧率阈值,或者IO时间比率小于或等于第二时间比率阈值,则终端确定系统负载状态为空闲状态。
第一丢帧率阈值和第二丢帧率阈值均可以预先进行设置,第一丢帧率阈值和第二丢帧率阈值是用来判断系统丢帧率的高低的阈值,第一丢帧率阈值大于第二丢帧率阈值。比如,第一丢帧率阈值可以为1%、2%等,第二丢帧率阈值可以为0%、0.1%等。当系统丢帧率大于或等于第一丢帧率阈值时,说明系统丢帧率较高,即CPU负载较高。当系统丢帧率小于或等于第二丢帧率阈值时,说明系统丢帧率较低,即CPU负载较低。
第一时间比率阈值和第二时间比率阈值均可以预先进行设置,第一时间比率阈值和第二时间比率阈值是用来判断IO时间比率的高低的阈值,第一时间比率阈值大于第二时间比率阈值。比如,第一时间比率阈值可以为90%、85%等,第二时间比率阈值可以为40%、35%等。当IO时间比率大于或等于第一时间比率阈值时,说明IO时间比率较高,即IO负载较高。当IO时间比率小于或等于第二时间比率阈值时,说明IO时间比率较低,即IO负载较低。
这种情况下,若系统丢帧率大于或等于第一丢帧率阈值,或者IO时间比率大于或等于第一时间比率阈值,说明CPU负载较高或者IO负载较高,即说明系统负载较高,因而终端可以确定系统负载状态为繁忙状态。
若系统丢帧率大于第二丢帧率阈值且小于第一丢帧率阈值,以及IO时间比率大于第二时间比率阈值且小于第一时间比率阈值,说明CPU负载适中且IO负载适中,即说明系统负载适中,因而终端可以确定系统负载状态为正常状态。
若系统丢帧率小于或等于第二丢帧率阈值,或者IO时间比率小于或等于第二时间比率阈值,说明CPU负载较低或者IO负载较低,即说明系统负载较低,因而终端可以确定系统负载状态为空闲状态。
比如,假设第一丢帧率阈值为1%,第二丢帧率阈值为0,第一时间比率阈值为90%,第二时间比率阈值为40%。如图5所示,在系统负载状态处于空闲状态或正常状态时,若系统丢帧率持续升高至大于或等于1%,或者IO时间比率持续升高至大于或等于90%,说明系统负载增高,则系统负载状态从空闲状态或正常状态切换至繁忙状态。在系统负载状态处于繁忙状态或正常状态时,若系统丢帧率持续降低至等于0,或者IO时间比率持续降低至小于或等于40%,说明系统负载降低,则系统负载状态从繁忙状态或正常状态切换至空闲状态。在系统负载状态处于空闲状态时,若系统丢帧率持续升高至大于0且小于1%,并且IO时间比率持续升高至IO时间比率大于40%且小于90%,则系统负载状态从空闲状态切换为正常状态。在系统负载状态处于繁忙状态时,若系统丢帧率持续降低至大于0且小于1%,并且IO时间比率持续降低至IO时间比率大于40%且小于90%,则系统负载状态从繁忙状态切换为正常状态。
如此,通过对系统丢帧率和IO时间比率设置相应的阈值,可以判断出系统负载的高低,继而就可以确定系统负载状态,后续根据系统负载状态可以设置在本次预读时使用的预读解压率,以使预读时需解压的数据量与系统负载状态匹配,从而保证在系统负载较高时预读不会过多占用CPU资源。
步骤403:终端根据系统负载状态设置预读解压率。
预读解压率是从文件系统预读数据至内存时对预读出的数据的解压率,也即是,在本次预读时需解压的数据量占预读出的所有数据量的比例。
在一种可能的实现方式中,步骤403的操作可以为:若系统负载状态为繁忙状态,则终端设置预读解压率为0;若系统负载状态为正常状态,则终端根据系统丢帧率和IO时间比率设置预读解压率;若系统负载状态为空闲状态,则终端设置预读解压率为1。
若系统负载状态为繁忙状态,说明系统负载较高,因而终端可以设置预读解压率为0,也即在本次预读时对预读出的所有数据都不解压,如此在系统重负载时,可以在预读时避免对CPU资源的额外占用,以保证应用的正常运行。
若系统负载状态为空闲状态,说明系统负载较低,因而终端可以设置预读解压率为1,也即在本次预读时对预读出的所有数据都解压,如此在系统轻负载时,即在CPU资源比较充足的情况下,可以正常对预读出的所有数据进行解压,在保证较好的预读效果的情况下,也不影响应用的正常运行。
若系统负载状态为正常状态,说明系统负载适中,因而终端可以根据系统丢帧率和IO时间比率设置预读解压率,此时预读解压率大于0且小于1,也即在本次预读时对预读出的所有数据中的一部分数据进行解压,如此在系统负载适中时,在预读时不会过多占用CPU资源,从而可以保证应用的正常运行。
可选地,在系统负载状态为正常状态时,终端根据系统丢帧率和IO时间比率设置预读解压率时,可以遵循系统丢帧率和IO时间比率整体与预读解压率呈负相关关系的原则来设置。也即,遵循系统丢帧率和IO时间比率越大,预读解压率越小,系统丢帧率和IO时间比率越小,预读解压率越大的原则来设置。这种情况下,系统丢帧率和IO时间比率越大,说明系统负载越高,则需使得预读解压率越小,以减小需解压的数据量,避免过多占用CPU资源。而系统丢帧率和IO时间比率越小,说明系统负载越低,则需使得预读解压率越大,以在不会过多占用CPU资源的情况下,增加需解压的数据量,提高预读效果。
作为一种示例,终端根据系统丢帧率和IO时间比率设置预读解压率的操作可以为:终端根据系统丢帧率和IO时间比率,通过如下公式得到预读解压率。
其中,D为预读解压率;F为系统丢帧率;F1为第一丢帧率阈值;F2为第二丢帧率阈值;I为IO时间比率;I1为第一时间比率阈值;I2为第二时间比率阈值;A为系统丢帧率的权重。系统丢帧率的权重可以预先进行设置。在一些实施例中,在对预读解压率的计算中,系统丢帧率的权重可以大于IO时间比率的权重,即A可以大于50%,如A可以为80%等。
当然,终端根据系统丢帧率和IO时间比率,也可以通过其他方式设置预读解压率,只要使得系统丢帧率和IO时间比率整体与预读解压率呈负相关关系即可。
步骤404:终端根据预读解压率从文件系统预读数据至内存,并在内存中访问该IO请求所请求的数据。
由于预读解压率是根据系统负载状态确定的,所以根据预读解压率从文件系统中预读数据至内存时,是根据系统负载状态来调整本次预读时需解压的数据量,如此可达到在系统重负载时解压较少的数据,在系统轻负载时解压较多的数据的效果,从而在保证预读效果的同时,也保证了系统性能均衡稳定,进而保证了应用的正常运行。
在一种可能的实现方式中,终端根据预读解压率从文件系统预读数据至内存的操作可以为:若预读解压率为0,则终端从文件系统预读数据至内存,且不对本次预读出的所有数据进行解压。若预读解压率大于0且小于1,则终端从文件系统预读数据至内存,且对本次预读出的所有数据中所占比例为预读解压率的一部分数据进行解压,也即是,解压的这一部分数据占本次预读出的所有数据的比例为预读解压率,示例地,解压的这一部分数据可以是本次预读出的所有数据中排序在前的一部分数据。若预读解压率为1,则终端从文件系统预读数据至内存,且对本次预读出的所有数据进行解压。
这种情况下,将文件系统中的数据预读至内存后,后续IO请求到来时就可以直接在内存中访问到所请求的数据。在本申请实施例中,若内存中存储的该IO请求所请求的数据是解压数据,则直接访问即可;若内存中存储的该IO请求所请求的数据不是解压数据,则先对该数据进行解压,得到解压数据,再访问该解压数据即可。如此,在该IO请求到来时,可以直接在内存中访问所请求的数据,而无需从文件系统中读取,从而对该IO请求来说,加快了数据访问速度。
为了便于后续在IO请求到来时,能够对内存中存储的未解压的数据进行解压,终端根据预读解压率从文件系统预读数据至内存后,可以对本次预读出的所有数据中未解压的数据进行解压标记,该解压标记用于标记压缩数据,即该解压标记用于指示在内存中访问到所标记的数据时需要解压。也就是说,在后续IO请求到来时,若内存中存储的该IO请求所请求的数据带有解压标记,说明该数据是压缩数据,则先对该数据进行解压,得到解压数据,再访问该解压数据;若内存中存储的该IO请求所请求的数据未带有解压标记,说明该数据是解压数据,则直接访问该数据。如此,通过解压标记,可以保证准确访问到所需的数据。
在一些实施例中,终端在步骤401中接收到IO请求的情况下,无论本次进行的是同步预读还是异步预读均可以执行本申请实施例所述的数据读取方法,也即执行上述步骤402-步骤404。
这种情况下,对于在目标业务本次运行过程中生成的第一个IO请求来说,终端接收到该IO请求后,先在内存中查找该IO请求所请求的数据,由于是首次读取,所以在内存中查找不到该IO请求所请求的数据,此时终端可以进行在目标业务本次运行过程中的首次预读,也即是同步预读。这种情况下,终端先根据CPU负载信息和IO负载信息确定系统负载状态,再根据系统负载状态设置预读解压率,然后根据预读解压率从文件系统预读数据至内存,此时也会将该IO请求所请求的数据从文件系统读取至内存,因而可以在内存中访问该IO请求所请求的数据。其中,终端在内存中访问该IO请求所请求的数据时,若内存中存储的该IO请求所请求的数据带有解压标记,则先对该数据进行解压,得到解压数据,再访问该解压数据;若内存中存储的该IO请求所请求的数据未带有解压标记,则直接访问该数据。
对于在目标业务本次运行过程中生成的在第一个IO请求之后的其他IO请求来说,终端接收到该IO请求后,在内存中查找该IO请求所请求的数据,由于之前进行了数据预读,所以能够在内存中查找到该IO请求所请求的数据,此时终端可以进行异步预读。也即,终端可以直接在内存中访问该IO请求所请求的数据,并且,如果在该内存中访问的该IO请求所请求的数据中存在带有预读标记的数据,则终端可以先根据CPU负载信息和IO负载信息确定系统负载状态,再根据系统负载状态设置预读解压率,然后根据预读解压率从文件系统预读数据至内存。其中,终端在内存中访问该IO请求所请求的数据时,若内存中存储的该IO请求所请求的数据带有解压标记,则先对该数据进行解压,得到解压数据,再访问该解压数据;若内存中存储的该IO请求所请求的数据未带有解压标记,则直接访问该数据。
在另一些实施例中,由于同步预读出的数据在后续有很大可能会被访问到,所以在同步预读时可以直接对预读出的所有数据正常进行解压,而在异步预读时可以执行本申请实施例所述的数据读取方法。也即是,终端在步骤401中接收到IO请求的情况下,在本次进行的是异步预读的情况下执行本申请实施例所述的数据读取方法,也即执行上述步骤402-步骤404。
这种情况下,对于在目标业务本次运行过程中生成的第一个IO请求来说,终端接收到该IO请求后,先在内存中查找该IO请求所请求的数据,由于是首次读取,所以在内存中查找不到该IO请求所请求的数据,此时终端可以进行在目标业务本次运行过程中的首次预读,也即是同步预读。这种情况下,终端从文件系统预读数据至内存,且对预读出的所有数据进行解压,此时预读出的数据中包含该IO请求所请求的数据,且该数据已被解压,因而可以在内存中直接访问该IO请求所请求的数据。
对于在目标业务本次运行过程中生成的在第一个IO请求之后的其他IO请求来说,终端接收到该IO请求后,在内存中查找该IO请求所请求的数据,由于之前进行了数据预读,所以能够在内存中查找到该IO请求所请求的数据,此时终端可以进行异步预读。也即,终端可以直接在内存中访问该IO请求所请求的数据,并且,如果在该内存中访问的该IO请求所请求的数据中存在带有预读标记的数据,则终端可以先根据CPU负载信息和IO负载信息确定系统负载状态,再根据系统负载状态设置预读解压率,然后根据预读解压率从文件系统预读数据至内存。其中,终端在内存中访问该IO请求所请求的数据时,若内存中存储的该IO请求所请求的数据带有解压标记,则先对该数据进行解压,得到解压数据,再访问该解压数据;若内存中存储的该IO请求所请求的数据未带有解压标记,则直接访问该数据。
在本申请实施例中,终端接收用于请求读取文件系统中的数据的IO请求,文件系统中的数据是压缩存储。之后,终端根据CPU负载信息和IO负载信息确定系统负载状态,且根据系统负载状态设置预读解压率,预读解压率是从文件系统预读数据至内存时对预读出的数据的解压率。最后,终端根据预读解压率从文件系统预读数据至内存,并在内存中访问该IO请求所请求的数据。如此,是根据系统负载状态来调整本次预读时需解压的数据量,因而可达到在系统重负载时解压较少的数据,在系统轻负载时解压较多的数据的效果,从而在保证预读效果的同时,也保证了系统性能均衡稳定,进而保证了应用的正常运行。
下面结合图6来对上述数据读取方法进行举例说明。
图6是本申请实施例提供的一种数据读取方法的流程图。参见图6,该方法包括以下步骤:
步骤601:终端确定需要从文件系统预读数据至内存。
终端在接收到IO请求时,若该IO请求用于请求读取文件系统中的数据,则终端可以确定是否需要从文件系统预读数据至内存。该IO请求可以是在目标业务运行过程中生成的。目标业务是在运行过程中需要顺序读取文件系统中的数据的业务,因而在目标业务运行过程中会生成一些IO请求,这些IO请求用于请求顺序读取文件系统中的数据。例如,目标业务可以是启动应用、在应用内执行某些操作(如显示游戏界面)等,本申请实施例对此不作限定。
在一种可能的方式中,若该IO请求是在目标业务本次运行过程中生成的第一个IO请求,则终端接收到该IO请求后,先在内存中查找该IO请求所请求的数据,由于是首次读取,所以在内存中查找不到该IO请求所请求的数据,此时终端可以进行在目标业务本次运行过程中的首次预读,也即是同步预读。这种情况下,终端确定需要从文件系统预读数据至内存。
在另一种可能的方式中,若该IO请求是在目标业务本次运行过程中生成的在第一个IO请求之后的其他IO请求,则终端接收到该IO请求后,在内存中查找该IO请求所请求的数据,由于之前进行了数据预读,所以能够在内存中查找到该IO请求所请求的数据,终端可以直接在内存中访问该IO请求所请求的数据,并且,如果在该内存中访问的该IO请求所请求的数据中存在带有预读标记的数据,则终端可以进行异步预读。这种情况下,终端确定需要从文件系统预读数据至内存。
步骤602:终端判断文件系统是否为EROFS。
EROFS中存储的数据为压缩数据。
若文件系统不为EROFS,则终端可以直接从文件系统中预读数据至内存。
若文件系统为EROFS,则对文件系统中的压缩数据的预读还可以伴随着对压缩数据的解压操作。由于解压操作会占用CPU资源,所以为了保证系统性能均衡稳定,在本申请实施例中,在预读的同时需要解压多少数据量可以根据系统负载状态来确定,具体在下面说明。
步骤603:终端判断本次预读是否为异步预读。
若本次预读为同步预读,则继续执行如下步骤604;若本次预读为异步预读,则继续执行如下步骤605-步骤613。
步骤604:若本次预读为同步预读,则终端从文件系统预读数据至内存,且对预读出的所有数据进行解压。
这种情况下,预读出的数据中包含该IO请求所请求的数据,且该数据已被解压,因而可以在内存中直接访问该IO请求所请求的数据。
步骤605:若本次预读为异步预读,则终端确定需要设置预读解压率。
预读解压率是从文件系统预读数据至内存时对预读出的数据的解压率,也即是,在本次预读时需解压的数据量占预读出的所有数据量的比例。
步骤606:终端获取系统丢帧率和IO时间比率。
在一些实施例中,终端可以通过SurfaceFlinger服务中用于获取帧信息的相关接口来获取系统丢帧率,当然,终端也可以通过其他方式来获取系统丢帧率,本申请实施例对此不作限定。
在一些实施例中,终端可以通过IO吞吐量统计服务来获取IO时间比率,当然,终端也可以通过其他方式来获取IO时间比率,本申请实施例对此不作限定。
步骤607:终端根据系统丢帧率和IO时间比率确定系统负载状态。
系统负载状态用于体现系统整体的负载情况。系统负载状态可以为繁忙状态、正常状态或空闲状态。系统负载状态为繁忙状态时,说明系统负载较高;系统负载状态为正常状态时,说明系统负载适中;系统负载状态为空闲状态时,说明系统负载较低。
终端根据系统丢帧率和IO时间比率确定系统负载状态的操作已在上述步骤402中进行详细描述,本申请实施例对此不再赘述。
若系统负载状态为空闲状态,则继续执行如下步骤608;若系统负载状态为繁忙状态,则继续执行如下步骤609-步骤610;若系统负载状态为正常状态,则继续执行如下步骤611-步骤613。
步骤608:若系统负载状态为空闲状态,则终端设置预读解压率为1,此时终端从文件系统预读数据至内存时,对本次预读出的所有数据进行解压。
若系统负载状态为空闲状态,说明系统负载较低,因而终端可以设置预读解压率为1,也即在本次预读时对预读出的所有数据都解压,如此在系统轻负载时,即在CPU资源比较充足的情况下,可以正常对预读出的所有数据进行解压,在保证较好的预读效果的情况下,也不影响应用的正常运行。
步骤609:若系统负载状态为繁忙状态,则终端设置预读解压率为0,此时终端从文件系统预读数据至内存时,不对本次预读出的所有数据进行解压。
若系统负载状态为繁忙状态,说明系统负载较高,因而终端可以设置预读解压率为0,也即在本次预读时对预读出的所有数据都不解压,如此在系统重负载时,可以在预读时避免对CPU资源的额外占用,以保证应用的正常运行。
这种情况下,由于本次预读出的所有数据都未解压,则终端还可以执行步骤610:终端对本次预读出的所有数据均进行解压标记。
该解压标记用于标记压缩数据,即该解压标记用于指示在内存中访问到所标记的数据时需要解压。也就是说,在后续IO请求到来时,若内存中存储的该IO请求所请求的数据带有解压标记,说明该数据是压缩数据,则先对该数据进行解压,得到解压数据,再访问该解压数据;若内存中存储的该IO请求所请求的数据未带有解压标记,说明该数据是解压数据,则直接访问该数据。如此,通过解压标记,可以保证准确访问到所需的数据。
步骤611:若系统负载状态为正常状态,则终端根据系统丢帧率和IO时间比率设置预读解压率,此时预读解压率大于0且小于1。
若系统负载状态为正常状态,说明系统负载适中,因而终端可以根据系统丢帧率和IO时间比率设置预读解压率,此时预读解压率大于0且小于1,也即在本次预读时对预读出的所有数据中的一部分数据进行解压,如此在系统负载适中时,在预读时不会过多占用CPU资源,从而可以保证应用的正常运行。
终端根据系统丢帧率和IO时间比率设置预读解压率的操作已在上述步骤403中进行详细描述,本申请实施例对此不再赘述。
步骤612:终端从文件系统预读数据至内存时,对本次预读出的所有数据中所占比例为预读解压率的一部分数据进行解压。
本次预读出的所有数据中解压的这一部分数据占本次预读出的所有数据的比例为预读解压率。如此,在系统负载适中时,在本次预读时对预读出的所有数据中的一部分数据进行解压,从而在预读时不会过多占用CPU资源,进而可以保证应用的正常运行。
这种情况下,由于本次预读出的所有数据中的另一部分数据未解压,则终端还可以执行步骤613:终端对本次预读出的所有数据中未解压的另一部分数据进行解压标记。
值得注意的是,终端将文件系统中的数据预读至内存后,后续IO请求到来时就可以直接在内存中访问到所请求的数据。在本申请实施例中,若内存中存储的该IO请求所请求的数据是解压数据,则直接访问即可;若内存中存储的该IO请求所请求的数据不是解压数据,则先对该数据进行解压,得到解压数据,再访问该解压数据即可。如此,在该IO请求到来时,可以直接在内存中访问所请求的数据,而无需从文件系统中读取,从而对该IO请求来说,加快了数据访问速度。
在本申请实施例中,终端在每次需要从文件系统预读数据至内存时,均可以获取当前的系统丢帧率和IO时间比率,继而根据系统丢帧率和IO时间比率确定当前的系统负载状态。之后,根据系统负载状态来调整本次预读时需解压的数据量,以在系统重负载时解压较少的数据,在系统轻负载时解压较多的数据,如此在保证预读效果的同时,也保证了系统性能均衡稳定,进而保证了应用的正常运行。
下面结合图7和图8来对上述数据读取方法进行举例说明。
如图7中的a图所示,在手机主界面701上显示有多个应用的图标。用户点击其中的音乐应用的图标,以启动音乐应用。在启动音乐应用的过程中共生成三个IO请求来顺序读取文件系统中的数据。假设文件系统中存储的数据为压缩数据,且第一丢帧率阈值为1%,第二丢帧率阈值为0%,第一时间比率阈值为90%,第二时间比率阈值为40%。参见图8,启动音乐应用时的数据读取过程如下:
手机的操作系统接收在启动音乐应用的过程中生成的第一个IO请求,第一个IO请求用于请求读取文件系统中的数据1。操作系统先在内存中查找数据1。因为是首次读取,所以在内存中查找不到数据1,从而触发同步预读,同步预读时对预读出的所有数据均进行解压。
具体地,操作系统在进行同步预读时,先初始化一个预读窗口。假设初始化的预读窗口大小为4,则可以从文件系统中读取该预读窗口大小所指示的数据量(即4个数据,也即数据1~数据4)到内存中,并且对数据1~数据4进行解压,此时内存中存储的是数据1~数据4的解压数据。可以看出,第一个IO请求所请求的是数据1,而操作系统从文件系统中一共读出数据1~数据4,其中的后3个数据(即数据2~数据4)均属于预读数据。之后,操作系统在内存中访问第一个IO请求所请求的数据1的解压数据。并且,这种情况下,操作系统为本次预读出的这3个预读数据中的第一个预读数据(即数据2)打上预读标记。当后续访问到内存中被打上预读标记的这个预读数据时,操作系统会进行一次异步预读,具体过程在下面说明。
操作系统接收在启动音乐应用的过程中生成的第二个IO请求,第二个IO请求用于请求读取文件系统中的数据2和数据3。操作系统先在内存中查找数据2和数据3。因为之前已经从文件系统中将数据2和数据3预读到了内存中,所以可以在内存中查找到数据2和数据3,且由于数据2和数据3不带有解压标记,所以可以确定内存中存储的是数据2和数据3的解压数据,此时在内存中直接访问第二个IO请求所请求的数据2和数据3的解压数据。这种情况下,由于数据2被打上了预读标记,所以在访问到数据2时,会触发异步预读,异步预读时需要根据系统负载状态设置预读解压率。
具体地,操作系统在进行本次异步预读时,获取系统丢帧率和IO时间比率,假设系统丢帧率为0.5%、IO时间比率为50%。由于系统丢帧率(0.5%)小于第一丢帧率阈值(1%)且大于第二丢帧率阈值(0%),以及IO时间比率(50%)小于第一时间比率阈值(90%)且大于第二时间比率阈值(40%),所以可以确定系统负载状态为正常状态,此时可以通过如下公式得到预读解压率为56%。
之后,操作系统先确定本次异步预读时所要使用的预读窗口大小,示例地,可以将2倍的上次同步预读时使用的预读窗口大小作为本次异步预读时所要使用的预读窗口大小,即本次异步预读时所要使用的预读窗口大小为8。由于预读解压率为56%,所以本次异步预读时需解压的数据量为8×56%≈4,则确定需要对本次预读出的所有数据中的前4个数据进行解压,对其他数据不解压。这种情况下,操作系统在上次同步预读的基础上,即从文件系统中位于上次预读出的最后一个数据(即数据4)的后一个数据(即数据5)开始,从文件系统中读取该预读窗口大小所指示的数据量(即8个数据,也即数据5~数据12)到内存中,且对前四个数据(即数据5~数据8)进行解压,对其他数据(即数据9~数据12)不进行解压,此时内存中存储的是数据5~数据8的解压数据,而存储的数据9~数据12均为压缩数据,因而对数据9~数据12进行解压标记,以指示后续在内存中访问到数据9~数据12时需要解压。可以看出,第二个IO请求所请求的是数据2和数据3,而操作系统从文件系统中一共读出数据5~数据12,数据5~数据12均属于预读数据。这种情况下,操作系统为本次预读出的这8个预读数据中的第一个预读数据(即数据5)打上预读标记。当后续访问到内存中被打上预读标记的这个预读数据时,操作系统会进行一次异步预读,具体在下面说明。
操作系统接收在启动音乐应用的过程中生成的第三个IO请求,第三个IO请求用于请求读取文件系统中的数据4~数据9。操作系统先在内存中查找数据4~数据9。因为之前已经从文件系统中将数据4~数据9预读到了内存中,所以可以在内存中查找到数据4~数据9,且由于数据4~数据8不带有解压标记,数据9带有解压标记,所以可以确定内存中存储的是数据4~数据8的解压数据,而存储的数据9是压缩数据,此时在内存中直接访问数据4~数据8的解压数据,以及对内存中存储的数据9进行解压,访问数据9的解压数据。这种情况下,由于数据5被打上了预读标记,所以在访问到数据5时,会触发异步预读,异步预读时需要根据系统负载状态设置预读解压率。
具体地,操作系统在进行本次异步预读时,获取系统丢帧率和IO时间比率,假设系统丢帧率为2%、IO时间比率为40%,由于系统丢帧率(2%)大于第一丢帧率阈值(1%),所以可以确定系统负载状态为繁忙状态,则设置预读解压率为0。
之后,操作系统先确定本次异步预读时所要使用的预读窗口大小,示例地,可以将2倍的上次异步预读时使用的预读窗口大小作为本次异步预读时所要使用的预读窗口大小,即本次异步预读时所要使用的预读窗口大小为16。由于预读解压率为0,所以本次异步预读时需解压的数据量为0,即对本次预读出的所有数据都不需要解压。这种情况下,操作系统可以在上次异步预读的基础上,即从文件系统中位于上次预读出的最后一个数据(即数据12)的后一个数据(即数据13)开始,从文件系统中读取该预读窗口大小所指示的数据量(即16个数据,也即数据13~数据28)到内存中,且对数据13~数据28均不解压,此时内存中存储的数据13~数据28均为压缩数据,因而对数据13~数据28进行解压标记,以指示后续在内存中访问到数据13~数据28时需要解压。可以看出,第三个IO请求所请求的是数据4~数据9,而操作系统从文件系统中一共读出数据13~数据28,数据13~数据28均属于预读数据。这种情况下,操作系统为本次预读出的这16个预读数据中的第一个预读数据(即数据13)打上预读标记。当后续访问到内存中被打上预读标记的这个预读数据时,操作系统会进行一次异步预读。
当操作系统在内存中访问了第三个IO请求所请求的数据4~数据9的解压数据后,就完成了启动音乐应用的过程,此时手机会从图7中的a图所示的主界面701切换至显示图7中的b图所示的音乐应用的应用界面702。
在本次启动音乐应用的过程中,如图8所示,共生成三个IO请求来顺序读取文件系统中存储的数据。在接收到第一个IO请求后进行同步预读时,对预读出的所有数据进行解压。在接收到第二个IO请求后进行异步预读时,由于系统负载状态为正常状态,所以对预读出的一部分数据进行解压,以避免过多占用CPU资源。在接收到第三个IO请求后进行异步预读时,由于系统负载状态为繁忙状态,所以对预读出的所有数据均不进行解压,以避免对CPU资源的占用。如此,在每次异步预读时,均根据系统负载状态来调整本次预读时需解压的数据量,以在系统重负载时解压较少的数据,在系统轻负载时解压较多的数据,从而可在保证预读效果的同时,保证系统性能均衡稳定,进而保证了应用的正常运行。
图9是本申请实施例提供的一种数据读取装置的结构示意图,该数据读取装置可以由软件、硬件或者两者的结合实现成为计算机设备的部分或者全部,该计算机设备可以为图1所示的终端。参见图9,该装置包括:接收模块901、确定模块902、设置模块903和读取模块904。
接收模块901,用于执行上述图4实施例中的步骤401;
确定模块902,用于执行上述图4实施例中的步骤402;
设置模块903,用于执行上述图4实施例中的步骤403;
读取模块904,用于执行上述图4实施例中的步骤404。
可选地,CPU负载信息包括系统丢帧率,IO负载信息包括IO时间比率,系统负载状态为繁忙状态、正常状态或空闲状态。
可选地,确定模块902用于:
若系统丢帧率大于或等于第一丢帧率阈值,或者IO时间比率大于或等于第一时间比率阈值,则确定系统负载状态为繁忙状态;
若系统丢帧率大于第二丢帧率阈值且小于第一丢帧率阈值,以及IO时间比率大于第二时间比率阈值且小于第一时间比率阈值,则确定系统负载状态为正常状态;第一丢帧率阈值大于第二丢帧率阈值,第一时间比率阈值大于第二时间比率阈值;
若系统丢帧率小于或等于第二丢帧率阈值,或者IO时间比率小于或等于第二时间比率阈值,则确定系统负载状态为空闲状态。
可选地,设置模块903用于:
若系统负载状态为繁忙状态,则设置预读解压率为0;
若系统负载状态为正常状态,则根据系统丢帧率和IO时间比率设置预读解压率;
若系统负载状态为空闲状态,则设置预读解压率为1。
可选地,设置模块903用于:
根据系统丢帧率和IO时间比率,通过如下公式得到预读解压率;
其中,D为预读解压率,F为系统丢帧率,F1为第一丢帧率阈值,F2为第二丢帧率阈值,第一丢帧率阈值大于第二丢帧率阈值,I为IO时间比率,I1为第一时间比率阈值,I2为第二时间比率阈值,第一时间比率阈值大于第二时间比率阈值,A为系统丢帧率的权重。
可选地,读取模块904用于:
若预读解压率为0,则从文件系统预读数据至内存,且不对本次预读出的所有数据进行解压;
若预读解压率大于0且小于1,则从文件系统预读数据至内存,且对本次预读出的所有数据中所占比例为预读解压率的一部分数据进行解压;
若预读解压率为1,则从文件系统预读数据至内存,且对本次预读出的所有数据进行解压;
该装置还包括:
标记模块,用于对本次预读出的所有数据中未解压的数据进行解压标记,解压标记用于指示在内存中访问到所标记的数据时需要解压。
可选地,读取模块904用于:
若内存中存储的IO请求所请求的数据带有解压标记,则对内存中存储的IO请求所请求的数据进行解压,访问解压后的数据。
可选地,该装置还包括:
触发模块,用于在接收IO请求后,在本次进行的是异步预读的情况下,触发确定模块902执行上述图4实施例中的步骤402。
可选地,该装置还包括:
解压模块,用于在接收IO请求后,若本次进行的是同步预读,则从文件系统预读数据至内存,且对本次预读出的所有的数据进行解压;
读取模块904,还用于在内存中访问IO请求所请求的数据。
可选地,文件系统为EROFS。
在本申请实施例中,接收用于请求读取文件系统中的数据的IO请求,文件系统中的数据是压缩存储。之后,根据CPU负载信息和IO负载信息确定系统负载状态,且根据系统负载状态设置预读解压率,预读解压率是从文件系统预读数据至内存时对预读出的数据的解压率。最后,根据预读解压率从文件系统预读数据至内存,并在内存中访问该IO请求所请求的数据。如此,是根据系统负载状态来调整本次预读时需解压的数据量,因而可达到在系统重负载时解压较少的数据,在系统轻负载时解压较多的数据的效果,从而在保证预读效果的同时,也保证了系统性能均衡稳定,进而保证了应用的正常运行。
需要说明的是:上述实施例提供的数据读取装置在读取数据时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的数据读取装置与数据读取方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如:同轴电缆、光纤、数据用户线(Digital Subscriber Line,DSL))或无线(例如:红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质,或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如:软盘、硬盘、磁带)、光介质(例如:数字通用光盘(Digital Versatile Disc,DVD))或半导体介质(例如:固态硬盘(Solid State Disk,SSD))等。
以上所述为本申请提供的可选实施例,并不用以限制本申请,凡在本申请揭露的技术范围之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (11)
1.一种数据读取方法,其特征在于,所述方法包括:
接收输入输出IO请求,所述IO请求用于请求读取文件系统中的数据,所述文件系统中的数据是压缩存储;
根据系统丢帧率和IO时间比率确定系统负载状态,所述系统负载状态为繁忙状态、正常状态或空闲状态:
根据所述系统负载状态设置预读解压率,所述预读解压率是从所述文件系统预读数据至内存时对预读出的数据的解压率;
根据所述预读解压率从所述文件系统预读数据至所述内存,并在所述内存中访问所述IO请求所请求的数据;
其中,所述根据所述系统负载状态设置预读解压率,包括:
若所述系统负载状态为正常状态,则根据所述系统丢帧率和所述IO时间比率,通过如下公式得到所述预读解压率;
其中,所述D为所述预读解压率,所述F为所述系统丢帧率,所述F1为第一丢帧率阈值,所述F2为第二丢帧率阈值,所述第一丢帧率阈值大于所述第二丢帧率阈值,所述I为所述IO时间比率,所述I1为第一时间比率阈值,所述I2为第二时间比率阈值,所述第一时间比率阈值大于所述第二时间比率阈值,所述A为所述系统丢帧率的权重。
2.如权利要求1所述的方法,其特征在于,所述根据系统丢帧率和IO时间比率确定系统负载状态,包括:
若所述系统丢帧率大于或等于所述第一丢帧率阈值,或者所述IO时间比率大于或等于所述第一时间比率阈值,则确定所述系统负载状态为繁忙状态;
若所述系统丢帧率大于所述第二丢帧率阈值且小于所述第一丢帧率阈值,以及所述IO时间比率大于所述第二时间比率阈值且小于所述第一时间比率阈值,则确定所述系统负载状态为正常状态;
若所述系统丢帧率小于或等于所述第二丢帧率阈值,或者所述IO时间比率小于或等于所述第二时间比率阈值,则确定所述系统负载状态为空闲状态。
3.如权利要求1所述的方法,其特征在于,所述根据所述系统负载状态设置预读解压率,包括:
若所述系统负载状态为繁忙状态,则设置所述预读解压率为0;
若所述系统负载状态为空闲状态,则设置所述预读解压率为1。
4.如权利要求1-3任一所述的方法,其特征在于,所述根据所述预读解压率从所述文件系统预读数据至所述内存,包括:
若所述预读解压率为0,则从所述文件系统预读数据至所述内存,且不对本次预读出的所有数据进行解压;
若所述预读解压率大于0且小于1,则从所述文件系统预读数据至所述内存,且对本次预读出的所有数据中所占比例为所述预读解压率的一部分数据进行解压;
若所述预读解压率为1,则从所述文件系统预读数据至所述内存,且对本次预读出的所有数据进行解压;
所述根据所述预读解压率从所述文件系统预读数据至所述内存之后,还包括:
对本次预读出的所有数据中未解压的数据进行解压标记,所述解压标记用于指示在所述内存中访问到所标记的数据时需要解压。
5.如权利要求4所述的方法,其特征在于,所述在所述内存中访问所述IO请求所请求的数据,包括:
若所述内存中存储的所述IO请求所请求的数据带有所述解压标记,则对所述内存中存储的所述IO请求所请求的数据进行解压,访问解压后的数据。
6.如权利要求1-3任一所述的方法,其特征在于,所述根据系统丢帧率和IO时间比率确定系统负载状态之前,还包括:
在接收所述IO请求后,若本次进行的是异步预读,则执行所述根据系统丢帧率和IO时间比率确定系统负载状态的步骤及后续步骤。
7.如权利要求6所述的方法,其特征在于,所述方法还包括:
在接收所述IO请求后,若本次进行的是同步预读,则从所述文件系统预读数据至所述内存,且对本次预读出的所有的数据进行解压;
在所述内存中访问所述IO请求所请求的数据。
8.如权利要求1-3任一所述的方法,其特征在于,所述文件系统为可扩展只读文件系统EROFS。
9.一种数据读取装置,其特征在于,所述装置包括:
接收模块,用于接收输入输出IO请求,所述IO请求用于请求读取文件系统中的数据,所述文件系统中的数据是压缩存储;
确定模块,用于根据系统丢帧率和IO时间比率确定系统负载状态,所述系统负载状态为繁忙状态、正常状态或空闲状态;
设置模块,用于根据所述系统负载状态设置预读解压率,所述预读解压率是从所述文件系统预读数据至内存时对预读出的数据的解压率;
读取模块,用于根据所述预读解压率从所述文件系统预读数据至所述内存,并在所述内存中访问所述IO请求所请求的数据;
其中,所述设置模块用于:
若所述系统负载状态为正常状态,则根据所述系统丢帧率和所述IO时间比率,通过如下公式得到所述预读解压率:
其中,所述D为所述预读解压率,所述F为所述系统丢帧率,所述F1为第一丢帧率阈值,所述F2为第二丢帧率阈值,所述第一丢帧率阈值大于所述第二丢帧率阈值,所述I为所述IO时间比率,所述I1为第一时间比率阈值,所述I2为第二时间比率阈值,所述第一时间比率阈值大于所述第二时间比率阈值,所述A为所述系统丢帧率的权重。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1-8任意一项所述的方法。
11.一种包含指令的计算机程序产品,其特征在于,当其在计算机上运行时,使得计算机执行如权利要求1-8任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111015649.7A CN113760191B (zh) | 2021-08-31 | 2021-08-31 | 数据读取方法、装置、存储介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111015649.7A CN113760191B (zh) | 2021-08-31 | 2021-08-31 | 数据读取方法、装置、存储介质和程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113760191A CN113760191A (zh) | 2021-12-07 |
CN113760191B true CN113760191B (zh) | 2022-09-23 |
Family
ID=78792280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111015649.7A Active CN113760191B (zh) | 2021-08-31 | 2021-08-31 | 数据读取方法、装置、存储介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113760191B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116795877B (zh) * | 2023-08-23 | 2023-12-19 | 本原数据(北京)信息技术有限公司 | 数据库的预读方法和装置、计算机设备、存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102054038A (zh) * | 2010-12-30 | 2011-05-11 | 东莞宇龙通信科技有限公司 | 一种文件解压方法、装置及移动终端 |
CN103150186A (zh) * | 2013-03-15 | 2013-06-12 | 腾讯科技(深圳)有限公司 | 一种设备运行速度优化方法和装置 |
CN107480150A (zh) * | 2016-06-07 | 2017-12-15 | 阿里巴巴集团控股有限公司 | 一种文件加载方法和装置 |
CN108628550A (zh) * | 2018-04-28 | 2018-10-09 | 深信服科技股份有限公司 | 一种读取磁盘映射文件的方法、装置及系统 |
CN111400052A (zh) * | 2020-04-22 | 2020-07-10 | Oppo广东移动通信有限公司 | 解压缩方法、装置、电子设备及存储介质 |
CN111930513A (zh) * | 2020-08-31 | 2020-11-13 | Oppo(重庆)智能科技有限公司 | 文件预读的调整方法、装置、电子设备及存储介质 |
CN112445725A (zh) * | 2019-08-27 | 2021-03-05 | 华为技术有限公司 | 预读取文件页的方法、装置和终端设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11204873B2 (en) * | 2019-11-08 | 2021-12-21 | EMC IP Holding Company LLC | Pre-decompressing a compressed form of data that has been pre-fetched into a cache to facilitate subsequent retrieval of a decompressed form of the data from the cache |
-
2021
- 2021-08-31 CN CN202111015649.7A patent/CN113760191B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102054038A (zh) * | 2010-12-30 | 2011-05-11 | 东莞宇龙通信科技有限公司 | 一种文件解压方法、装置及移动终端 |
CN103150186A (zh) * | 2013-03-15 | 2013-06-12 | 腾讯科技(深圳)有限公司 | 一种设备运行速度优化方法和装置 |
CN107480150A (zh) * | 2016-06-07 | 2017-12-15 | 阿里巴巴集团控股有限公司 | 一种文件加载方法和装置 |
CN108628550A (zh) * | 2018-04-28 | 2018-10-09 | 深信服科技股份有限公司 | 一种读取磁盘映射文件的方法、装置及系统 |
CN112445725A (zh) * | 2019-08-27 | 2021-03-05 | 华为技术有限公司 | 预读取文件页的方法、装置和终端设备 |
CN111400052A (zh) * | 2020-04-22 | 2020-07-10 | Oppo广东移动通信有限公司 | 解压缩方法、装置、电子设备及存储介质 |
CN111930513A (zh) * | 2020-08-31 | 2020-11-13 | Oppo(重庆)智能科技有限公司 | 文件预读的调整方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113760191A (zh) | 2021-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3952263A1 (en) | Notification message preview method and electronic device | |
CN114816209A (zh) | 一种移动终端的全屏显示方法及设备 | |
CN113553130B (zh) | 应用执行绘制操作的方法及电子设备 | |
CN113556598A (zh) | 多窗口投屏方法及电子设备 | |
CN113254409A (zh) | 文件共享方法、系统及相关设备 | |
CN112615960A (zh) | 一种设备能力调度方法及电子设备 | |
CN113067940A (zh) | 一种电子设备在来电时呈现视频的方法和电子设备 | |
CN112527476A (zh) | 资源调度方法及电子设备 | |
CN112947947A (zh) | 安装包的下载方法、分发方法、终端设备、服务器及系统 | |
CN114461588A (zh) | 调节预读窗口的方法及电子设备 | |
CN114489529A (zh) | 电子设备的投屏方法及其介质和电子设备 | |
CN113805797A (zh) | 网络资源的处理方法、电子设备及计算机可读存储介质 | |
CN113688019B (zh) | 响应时长检测方法及装置 | |
CN113760191B (zh) | 数据读取方法、装置、存储介质和程序产品 | |
CN113760192B (zh) | 数据读取方法、装置、存储介质和程序产品 | |
CN112835610A (zh) | 一种构建应用程序资源包的方法、构建装置及终端设备 | |
CN114489469B (zh) | 一种数据读取方法、电子设备及存储介质 | |
CN112783418B (zh) | 一种存储应用程序数据的方法及移动终端 | |
CN114971107A (zh) | 一种隐私风险反馈方法、装置及第一终端设备 | |
WO2023051056A1 (zh) | 内存管理方法、电子设备、计算机存储介质和程序产品 | |
WO2023051036A1 (zh) | 加载着色器的方法和装置 | |
CN116700578B (zh) | 图层合成方法、电子设备以及存储介质 | |
WO2024032430A1 (zh) | 管理内存的方法和电子设备 | |
CN115840528A (zh) | 存储盘的水线设置方法、电子设备及存储介质 | |
CN115543496A (zh) | 消息处理方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |