CN114706820B - 异步i/o请求的调度方法、系统、电子设备及介质 - Google Patents

异步i/o请求的调度方法、系统、电子设备及介质 Download PDF

Info

Publication number
CN114706820B
CN114706820B CN202210536615.0A CN202210536615A CN114706820B CN 114706820 B CN114706820 B CN 114706820B CN 202210536615 A CN202210536615 A CN 202210536615A CN 114706820 B CN114706820 B CN 114706820B
Authority
CN
China
Prior art keywords
request
time
time information
target
expected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210536615.0A
Other languages
English (en)
Other versions
CN114706820A (zh
Inventor
李锐喆
赵彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Carpura Technology Co ltd
Original Assignee
Beijing Carpura Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Carpura Technology Co ltd filed Critical Beijing Carpura Technology Co ltd
Priority to CN202210536615.0A priority Critical patent/CN114706820B/zh
Publication of CN114706820A publication Critical patent/CN114706820A/zh
Application granted granted Critical
Publication of CN114706820B publication Critical patent/CN114706820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files

Abstract

本申请涉及I/O请求处理技术领域，提供了异步I/O请求的调度方法、装置、电子设备及计算机可读存储介质。该方法包括：响应于检测到新增I/O请求，生成新增I/O请求的I/O请求时间信息，其中，I/O请求时间信息包括预期停顿时间和预期处理时长；对新增I/O请求的预期停顿时间和预期处理时长进行预测及设定，并缓存新增I/O请求及I/O请求时间信息；响应于检测到I/O请求执行操作，从已缓存的至少一个I/O请求时间信息中筛选出目标I/O请求时间信息，并对目标I/O请求时间信息对应的目标I/O请求进行处理。本申请实施例通过上述步骤可以避免I/O请求在短时间大量运行时出现的处理效率降低及出现错误的技术问题。

Description

异步I/O请求的调度方法、系统、电子设备及介质
技术领域
本申请涉及I/O请求处理技术领域，尤其涉及异步I/O请求的调度方法、系统、电子设备及介质。
背景技术
随着应用需求的发展、计算机处理能力的提高，应用程序处理的数据规模不断变大，从文件读入或向文件写出的数据量急剧提高，数据输入/输出（I/O）的开销逐步成为应用程序的性能瓶颈。现有技术中包括异步I/O技术，即应用程序在启动数据I/O操作后，无需等待数据I/O操作的完成，就继续执行程序的其他计算，使得程序计算与数据I/O重叠进行。由于I/O请求的发出在实际时间上通常不是均匀的，因此会导致I/O请求在短时间内被多次执行时，会出现处理效率大大降低甚至处理出错的情况。
发明内容
有鉴于此，本申请实施例提供了异步I/O请求的调度方法、系统、电子设备及介质，以解决现有技术中I/O请求在短时间内被多次执行时，会出现处理效率大大降低甚至处理出错的情况的问题。
本申请实施例的第一方面，提供了一种异步I/O请求的调度方法，包括：响应于检测到新增I/O请求，生成所述新增I/O请求的I/O请求时间信息，其中，所述I/O请求时间信息包括预期停顿时间和预期处理时长；对所述新增I/O请求的预期停顿时间和预期处理时长进行预测及设定，并缓存所述新增I/O请求及所述I/O请求时间信息；响应于检测到I/O请求执行操作，从已缓存的至少一个I/O请求时间信息中筛选出目标I/O请求时间信息，并对所述目标I/O请求时间信息对应的目标I/O请求进行处理。
本申请实施例的第二方面，提供了一种异步I/O请求的调度系统，包括：管理模块，被配置为响应于检测到新增I/O请求，生成所述新增I/O请求的I/O请求时间信息，其中，所述I/O请求时间信息包括预期停顿时间和预期处理时长；对所述新增I/O请求的预期停顿时间和预期处理时长进行预测及设定，并缓存所述新增I/O请求及所述I/O请求时间信息；筛选模块，被配置为响应于检测到I/O请求执行操作，从已缓存的至少一个I/O请求时间信息中筛选出目标I/O请求时间信息，并对所述目标I/O请求时间信息对应的目标I/O请求进行处理。
本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
有益效果
本申请实施例与现有技术相比存在的有益效果至少包括：通过新增I/O请求生成对应的新增I/O请求时间信息并缓存至预设的I/O请求缓存池，最后从所述I/O请求缓存池中筛选出目标I/O请求进行处理，可以避免I/O请求在短时间大量运行时出现的处理效率降低及出现错误的技术问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是根据本申请实施例提供的异步I/O请求的调度方法的一个应场景的示意图；
图2是根据本申请实施例提供的一种异步I/O请求的调度方法的一些实施例的流程图；
图3是根据本申请实施例提供的另一种异步I/O请求的调度方法的另一些实施例的流程图；
图4是根据本申请实施例提供的一种异步I/O请求的调度系统的简易结构示意图；
图5是根据本申请实施例提供的电子设备的示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关本申请相关的部分。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要注意，本申请中提及的“第一”、“第二”等概念仅用于对不同的系统、装置、模块或单元进行区分，并非用于限定这些系统、装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本申请实施方式中的多个系统之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
应用程序在运行过程中，通常会不断发出数据I/O请求，但是I/O请求的发出在实际时间上通常不是均匀的。例如，天气预报程序每次启动运行后，会对未来几天的天气进行预报；在预报计算过程中，通常每隔几小时预报（例如3小时）就要把当前所预报出的大量天气要素分别输出到数据文件；即在进行几小时预报计算的过程中，不会产生数据输出请求，而在几小时预报计算完成时，会集中产生大量I/O请求。在上述情况下，如果异步I/O的技术实现要求在完成一个数据I/O请求后才能去接收应用程序发出的下一个I/O请求，这会使得应用程序集中发出的多个数据I/O请求无法取得异步I/O应有的加速效果。因此，异步I/O技术应该具有I/O请求池，实现对应用程序多个I/O请求的缓存，使得应用程序在集中发出多个I/O请求后能快速返回到计算状态。
应用程序对不同变量进行输入与输出的响应时间限制不同（从获得异步I/O请求到完成该请求之间的时间长度，被称为响应时间）。例如，对于上面所提到的天气预报程序，在采用带有请求池的异步I/O技术时，其变量的异步输出可以仅满足一个条件：在应用程序运行结束退出前完成写出，而变量的异步读入则需在使用该变量前完成。此外，应用程序输入与输出不同变量的频率可能不同。一般说来，一个变量的I/O频率越高，对应的响应时间应该越短，过大的响应时间安排可能会导致对内存资源的极大消耗，甚至造成堵塞出现故障。
在不同变量I/O的响应时间要求不同的情况下，想要尽可能发挥异步I/O的加速效果，就需要对请求池中I/O请求按照优先顺序进行调度，以尽早完成要求高的I/O请求。本申请针对异步I/O技术，设计了自动确定请求池中需要优先处理的I/O请求的调度系统，充分考虑不同变量I/O的不同响应时间要求，同时确保异步I/O不过大消耗内存资源。
下面将参考附图并结合实施例来详细说明本申请。
图1是根据本申请的一些实施例的异步I/O请求的调度方法的一个应用场景的示意图。
在图1的应用场景中，首先，响应于检测到新增I/O请求102，计算设备101可以生成所述新增I/O请求102的I/O请求时间信息103，其中，所述I/O请求时间信息103包括预期停顿时间104和预期处理时长105。其次，计算设备101可以对所述新增I/O请求102的所述预期停顿时间104和预期处理时长105进行预测及设定，并缓存所述新增I/O请求102及所述I/O请求时间信息103。最后，响应于检测到I/O请求执行操作106，计算设备101可以从已缓存的至少一个I/O请求时间信息103中筛选出目标I/O请求时间信息107，并对所述目标I/O请求时间信息107对应的目标I/O请求108进行处理。
需要说明的是，上述计算设备101可以是硬件，也可以是软件。当计算设备为硬件时，可以实现成多个服务器或终端设备组成的分布式集群，也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时，可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的计算设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的计算设备。
继续参考图2，示出了根据本申请的异步I/O请求的调度方法的一些实施例的流程200。该方法可以由图1中的计算设备101来执行。该异步I/O请求的调度的方法，包括以下步骤：
步骤201，响应于检测到新增I/O请求，生成所述新增I/O请求的I/O请求时间信息，其中，所述I/O请求时间信息包括预期停顿时间和预期处理时长。
在一些实施例中，异步I/O请求的调度方法的执行主体（如图1所示的计算设备101）可以通过有线连接方式或无线连接方式连接目标设备，然后，响应于检测到新增I/O请求，生成所述新增I/O请求的I/O请求时间信息，其中，所述I/O请求时间信息包括预期停顿时间和预期处理时长。
I/O请求时间信息可以指I/O请求从新建至处理结束期间内的与时间相关的信息。
在一些实施例的一些可选的实现方式中，I/O请求时间信息可以包括但不限于变量大小、I/O变量标记、发起时间、预期停顿时间、实际停顿时间、预期处理时长、实际处理时长，其中，所述变量大小和所述I/O变量标记根据所述新增I/O请求确定，所述预期停顿时间、所述实际停顿时间、所述预期处理时长和所述实际处理时长被设置为无效值，所述发起时间被设置为生成所述I/O请求时间信息的时间。
在一些实施例的一些可选的实现方式中，I/O请求时间信息可以包括但不限于变量大小、发起时间、实际停顿时间和实际处理时长，其中，所述变量大小和所述I/O变量标记根据所述新增I/O请求确定。
变量大小可以指I/O请求对应处理的变量的大小。I/O变量标记可以指I/O请求对应处理的变量的标识。该标识可以为英文、中文、数字、符号等的结合。需要指出的是，针对同一变量的不同操作对应不同的变量标记。应用程序在不断运行的过程中，会对一个变量进行多次输出，以记录该变量伴随计算过程的变化情况，科学计算程序尤其具有这样的需求。例如，针对某一变量的读操作和写操作对应不同的I/O变量标记；针对同一变量的不同类型的读操作也对应不同的变量标记。作为示例，变量标记A可以表示针对变量C的3次循环的读操作，变量标记B可以表示针对变量C的6次循环的读操作，则变量标记A和变量标记B不同。
发起时间可以指发起I/O请求的时间。预期处理时长可以指I/O请求在被调用执行时至调用执行结束时的预期时长。实际处理时长可以指I/O请求在被调用执行时至调用执行结束时的实际时长。
预期停顿时间可以指检测到针对该I/O请求时间对应的I/O请求的等待完成命令的预期时间。实际停顿时间可以指检测到针对该I/O请求时间对应的I/O请求的等待完成命令的实际时间。等待完成命令可以指上述执行主体检测到的针对已经生成的I/O请求的等待完成的命令。由于I/O请求被新建需要一定时长，因此上述执行主体会接收到针对新增I/O请求的两次命令，第一次为新增I/O请求命令，第二次为针对新增I/O请求的等待完成命令。作为一个具体示例，外部应用程序可以第一次发送针对某一变量的新增I/O请求。当新增I/O请求完成后，外部应用程序可以第二次发送针对该新增I/O请求的等待完成命令，此时外部程序会一直等待该新增I/O请求的处理，直至该新增I/O请求被处理完成。
上述执行主体可以根据新增I/O请求来确定对应的变量以及变量的变量大小和变量标记，并将该新增I/O请求的预期停顿时间、实际停顿时间、预期处理时长和实际处理时长设置为无效值，将该新增I/O请求的发起时间被设置为生成所述I/O请求时间信息的时间。
在一些实施例的一些可选的实现方式中，响应于检测到针对任一I/O请求的等待完成命令时，把任一I/O请求的所述实际停顿时间设置为当前时间。
需要指出的是，上述无线连接方式可以包括但不限于3G/4G/5G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB（ultra wideband）连接、以及其他现在已知或将来开发的无线连接方式。
步骤202，对所述新增I/O请求的预期停顿时间和预期处理时长进行预测及设定，并缓存所述新增I/O请求及所述I/O请求时间信息。
在一些实施例中，上述执行主体可以对所述新增I/O请求的预期停顿时间和预期处理时长进行预测及设定，并缓存所述新增I/O请求及所述I/O请求时间信息。
在一些实施例的一些可选的实现方式中，上述执行主体可以通过以下步骤对所述新增I/O请求的预期停顿时间和预期处理时长进行预测及设定：
第一步，上述执行主体可以获取与所述新增I/O请求对应的相似I/O请求，其中，所述相似I/O请求的所述I/O变量标记与所述新增I/O请求的所述I/O变量标记相同，且所述相似I/O请求的所述实际停顿时间和所述实际处理时长均为有效值。其中，实际停顿时间和实际处理时长均为有效值，表示该相似I/O请求已经处理完成。
第二步，上述执行主体可以将所述新增I/O请求的预期处理时长设置为所述相似I/O请求的实际处理时长。
第三步，上述执行主体可以基于所述相似I/O请求的发起时间和实际停顿时间，生成目标停顿时长。目标停顿时长可以指相似I/O请求的发起时间与实际停顿时间之间的时间长度。
第四步，上述执行主体可以基于所述目标停顿时长和所述新增I/O请求的发起时间，生成目标停顿时间并将所述目标停顿时间确定为所述新增I/O请求的预期停顿时间。将相似I/O请求的发起时间增加目标停顿时长后，可以计算出预期停顿时间。通过上述处理，可以大大提高I/O请求的处理时间预测精准度，以便于后续的调度处理。
在一些实施例的一些可选的实现方式中，上述执行主体缓存所述新增I/O请求及所述I/O请求时间信息时，可以将每一I/O请求缓存至预设的I/O请求缓存池，将每一I/O请求时间信息缓存至预设的I/O请求时间信息缓存池；或者，可以将每一I/O请求以及对应的I/O请求时间信息缓存至预设的I/O请求缓存池。I/O请求及I/O请求时间信息可以被分别存放至不同的缓存池，也可以同时存放在一个缓存池中，在此不作限制。
步骤203，响应于检测到I/O请求执行操作，从已缓存的至少一个I/O请求时间信息中筛选出目标I/O请求时间信息，并对所述目标I/O请求时间信息对应的目标I/O请求进行处理。
在一些实施例中，响应于检测到I/O请求执行操作，上述执行主体可以从已缓存的至少一个I/O请求时间信息中筛选出目标I/O请求时间信息，并对所述目标I/O请求时间信息对应的目标I/O请求进行处理。由于I/O请求在不断地生成、执行以及完成，因此I/O请求执行操作可以指筛选出一个I/O请求作为被执行I/O请求，并执行对应处理操作。
在一些实施例的一些可选的实现方式中，响应于检测到I/O请求执行操作，上述执行主体可以基于以下步骤从已缓存的至少一个I/O请求时间信息中筛选出目标I/O请求时间信息：
第一步，响应于检测到I/O请求执行操作，若存在处于等待完成状态的第一候选I/O请求时间信息，上述执行主体可以将任一所述第一候选I/O请求时间信息确定为所述目标I/O请求时间信息，其中，处于等待完成状态表示所述第一候选I/O请求时间信息的实际停顿时间为有效值且实际处理时长为无效值。
第二步，若不存所述第一候选I/O请求时间信息，上述执行主体可以判断是否存在至少一个预期停顿时间和实际处理时长均为无效值的第二候选I/O请求时间信息；若存在，上述执行主体可以将发起时间最早的第二候选I/O请求时间信息确定为所述目标I/O请求时间信息。
第三步，若不存在所述第一候选I/O请求时间信息和所述第二候选I/O请求时间信息，上述执行主体可以判断是否存在预期停顿时间为有效值、实际停顿时间和实际处理时长均为无效值的第三候选I/O请求时间信息，若存在，上述执行主体可以将所述预期停顿时间最早、发起时间最早、变量大小最大以及预期处理时长最长的第三候选I/O请求时间信息确定为所述目标I/O请求时间信息。通过上述处理，可以更为精准地筛选。
在一些实施例的一些可选的实现方式中，上述执行主体可以通过以下步骤对所述目标I/O请求时间信息对应的目标I/O请求进行处理：
第一步，上述执行主体可以获取所述目标I/O请求时间信息对应的目标I/O请求以及目标变量。
第二步，上述执行主体可以基于所述目标I/O请求对所述目标变量进行读写处理。
第三步，上述执行主体可以获取所述读写处理的处理时长，并将所述处理时长赋值于所述目标I/O请求的实际处理时长。
在一些实施例的一些可选的实现方式中，获取所述读写处理的处理时长，并将所述处理时长赋值于所述目标I/O请求的实际处理时长之后，上述执行主体可以获取与所述目标I/O请求的所述I/O变量标记相同的至少一个候选I/O请求时间信息，其中，所述候选I/O请求时间信息的请求停顿实际时间和实际处理时长均为有效值；保留发起时间最晚的候选I/O请求时间信息并删除其它候选I/O请求时间信息。除了保证各I/O变量标记对应的已完成I/O请求中，至少有一条I/O请求时间信息被缓存，其余已完成I/O请求的I/O请求时间信息均会被删除。通过删除多余的I/O请求时间信息，可以减少I/O请求时间占用的存储空间，增加运行效率。
在一些实施例的一些可选的实现方式中，响应于检测到应用程序退出操作，上述执行主体可以将已缓存的I/O请求时间信息以及对应的I/O请求写入目标文件，供所述应用程序启动时读取。将将已缓存的I/O请求时间信息以及对应的I/O请求写入目标文件，可以在转换运行环境时可以更快速的对I/O请求时间信息进行预测，提高了本申请的实用性。应当理解的是，本方法是在应用程序运行过程中执行的，在不断运行的过程中会对一个变量进行多次输出，通过I/O变量标记可以记录该变量随计算过程的变化情况。
本申请的上述各个实施例中的其中一个实施例的有益效果至少包括：通过新增I/O请求生成对应的新增I/O请求时间信息并缓存至预设的I/O请求缓存池，最后从所述I/O请求缓存池中筛选出目标I/O请求进行处理，可以避免I/O请求在短时间大量运行时出现的处理效率降低及出现错误的技术问题。
继续参考图3，示出了根据本申请的异步I/O请求的调度方法的另一些实施例的流程300，该方法可以由图1中的计算设备101来执行。该异步I/O请求的调度方法包括：
步骤301，响应于检测到新增I/O请求，生成所述新增I/O请求的I/O请求时间信息，其中，所述I/O请求时间信息包括变量大小、I/O变量标记、发起时间、预期停顿时间、实际停顿时间、预期处理时长、实际处理时长。
步骤302，获取与所述新增I/O请求对应的相似I/O请求，其中，所述相似I/O请求的所述I/O变量标记与所述新增I/O请求的所述I/O变量标记相同，且所述相似I/O请求的所述实际停顿时间和所述实际处理时长均为有效值。
步骤303，将所述新增I/O请求的预期处理时长设置为所述相似I/O请求的实际处理时长。
步骤304，基于所述相似I/O请求的发起时间和实际停顿时间，生成目标停顿时长。
步骤305，基于所述目标停顿时长和所述新增I/O请求的发起时间，生成目标停顿时间并将所述目标停顿时间确定为所述新增I/O请求的预期停顿时间。
步骤306，缓存所述新增I/O请求及所述I/O请求时间信息。
步骤307，响应于检测到I/O请求执行操作，从已缓存的至少一个I/O请求时间信息中筛选出目标I/O请求时间信息，并对所述目标I/O请求时间信息对应的目标I/O请求进行处理。
本申请的上述各个实施例中的其中一个实施例的有益效果至少包括：通过新增I/O请求生成对应的新增I/O请求时间信息并缓存至预设的I/O请求缓存池，最后从所述I/O请求缓存池中筛选出目标I/O请求进行处理，可以避免I/O请求在短时间大量运行时出现的处理效率降低及出现错误的技术问题。
在一些实施例中，步骤301-307的具体实现及所带来的技术效果可以参考图2对应的那些实施例中的步骤201-203，在此不再赘述。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本申请系统实施例，可以用于执行本申请方法实施例。对于本申请系统实施例中未披露的细节，请参照本申请方法实施例。
进一步参考图4，作为对上述各图上述方法的实现，本申请提供了异步I/O请求的调度系统的一些实施例，这些系统实施例与图2上述的那些方法实施例相对应。
如图4所示，一些实施例的异步I/O请求的调度系统400包括：
管理模块401，被配置为响应于检测到新增I/O请求，生成所述新增I/O请求的I/O请求时间信息，其中，所述I/O请求时间信息包括预期停顿时间和预期处理时长；对所述新增I/O请求的预期停顿时间和预期处理时长进行预测及设定，并缓存所述新增I/O请求及所述I/O请求时间信息。
筛选模块402，被配置为响应于检测到I/O请求执行操作，从已缓存的至少一个I/O请求时间信息中筛选出目标I/O请求时间信息，并对所述目标I/O请求时间信息对应的目标I/O请求进行处理。
在一些实施例的一些可选的实现方式中，所述I/O请求时间信息还包括：变量大小、I/O变量标记、发起时间、实际停顿时间、实际处理时长，其中，所述变量大小和所述I/O变量标记根据所述新增I/O请求确定，所述预期停顿时间、所述实际停顿时间、所述预期处理时长和所述实际处理时长被设置为无效值，所述发起时间被设置为生成所述I/O请求时间信息的时间。
在一些实施例的一些可选的实现方式中，异步I/O请求的调度系统400还包括：设置模块，被配置为响应于检测到针对任一I/O请求的等待完成命令时，把任一I/O请求的所述实际停顿时间设置为当前时间。
在一些实施例的一些可选的实现方式中，所述对所述新增I/O请求的预期停顿时间和预期处理时长进行预测及设定，包括：获取与所述新增I/O请求对应的相似I/O请求，其中，所述相似I/O请求的所述I/O变量标记与所述新增I/O请求的所述I/O变量标记相同，且所述相似I/O请求的所述实际停顿时间和所述实际处理时长均为有效值；将所述新增I/O请求的预期处理时长设置为所述相似I/O请求的实际处理时长；基于所述相似I/O请求的发起时间和实际停顿时间，生成目标停顿时长；基于所述目标停顿时长和所述新增I/O请求的发起时间，生成目标停顿时间并将所述目标停顿时间确定为所述新增I/O请求的预期停顿时间。
在一些实施例的一些可选的实现方式中，所述响应于检测到I/O请求执行操作，从已缓存的至少一个I/O请求时间信息中筛选出目标I/O请求时间信息，包括：响应于检测到I/O请求执行操作，若存在处于等待完成状态的第一候选I/O请求时间信息，将任一所述第一候选I/O请求时间信息确定为所述目标I/O请求时间信息，其中，处于等待完成状态表示所述第一候选I/O请求时间信息的实际停顿时间为有效值且实际处理时长为无效值。
在一些实施例的一些可选的实现方式中，所述响应于检测到I/O请求执行操作，从已缓存的至少一个I/O请求时间信息中筛选出目标I/O请求时间信息，还包括：若不存所述第一候选I/O请求时间信息，判断是否存在至少一个预期停顿时间和实际处理时长均为无效值的第二候选I/O请求时间信息；若存在，将发起时间最早的第二候选I/O请求时间信息确定为所述目标I/O请求时间信息。
在一些实施例的一些可选的实现方式中，所述响应于检测到I/O请求执行操作，从已缓存的至少一个I/O请求时间信息中筛选出目标I/O请求时间信息，还包括：若不存在所述第一候选I/O请求时间信息和所述第二候选I/O请求时间信息，判断是否存在预期停顿时间为有效值、实际停顿时间和实际处理时长均为无效值的第三候选I/O请求时间信息；若存在，将所述预期停顿时间最早、发起时间最早、变量大小最大以及预期处理时长最长的第三候选I/O请求时间信息确定为所述目标I/O请求时间信息。
在一些实施例的一些可选的实现方式中，所述对所述目标I/O请求时间信息对应的目标I/O请求进行处理，包括：获取所述目标I/O请求时间信息对应的目标I/O请求以及目标变量；基于所述目标I/O请求对所述目标变量进行读写处理；获取所述读写处理的处理时长，并将所述处理时长赋值于所述目标I/O请求的实际处理时长。
在一些实施例的一些可选的实现方式中，异步I/O请求的调度系统400还包括：获取模块，被配置为获取与所述目标I/O请求的所述I/O变量标记相同的至少一个候选I/O请求时间信息，其中，所述候选I/O请求时间信息的请求停顿实际时间和实际处理时长均为有效值。删除模块，被配置为保留发起时间最晚的候选I/O请求时间信息并删除其它候选I/O请求时间信息。
在一些实施例的一些可选的实现方式中，所述缓存所述新增I/O请求及所述I/O请求时间信息，包括：将每一I/O请求缓存至预设的I/O请求缓存池，将每一I/O请求时间信息缓存至预设的I/O请求时间信息缓存池，或者，将每一I/O请求以及对应的I/O请求时间信息缓存至预设的I/O请求缓存池。
在一些实施例的一些可选的实现方式中，异步I/O请求的调度系统400还包括：写入模块，被配置为响应于检测到应用程序退出操作，将已缓存的I/O请求时间信息以及对应的I/O请求写入目标文件，供所述应用程序启动时读取。
可以理解的是，该系统400中记载的诸模块与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于系统400及其中包含的模块，在此不再赘述。
如图5所示，电子设备500可以包括处理装置（例如中央处理器、图形处理器等）501，其可以根据存储在只读存储器（ROM）502中的程序或者从存储装置508加载到随机访问存储器（RAM）503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出（I/O）接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图5中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本申请的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本申请的一些实施例的方法中限定的上述功能。
需要说明的是，本申请的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP（HyperText TransferProtocol，超文本传输协议）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“LAN”），广域网（“WAN”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述装置中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：响应于检测到新增I/O请求，生成所述新增I/O请求的I/O请求时间信息，其中，所述I/O请求时间信息包括预期停顿时间和预期处理时长；对所述新增I/O请求的预期停顿时间和预期处理时长进行预测及设定，并缓存所述新增I/O请求及所述I/O请求时间信息；响应于检测到I/O请求执行操作，从已缓存的至少一个I/O请求时间信息中筛选出目标I/O请求时间信息，并对所述目标I/O请求时间信息对应的目标I/O请求进行处理。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LAN）或广域网（WAN）——连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请的一些实施例中的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：管理模块和筛选模块。例如，管理模块还可以被描述为“管理I/O请求和I/O请求时间信息的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、片上系统（SOC）、复杂可编程逻辑设备（CPLD）等等。
以上描述仅为本申请的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请的实施例中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (13)

1.一种异步I/O请求的调度方法，其特征在于，包括：
响应于检测到新增I/O请求，生成所述新增I/O请求的I/O请求时间信息，其中，所述I/O请求时间信息包括预期停顿时间、预期处理时长、实际停顿时间和实际处理时长；
对所述新增I/O请求的预期停顿时间和预期处理时长进行预测及设定，并缓存所述新增I/O请求及所述I/O请求时间信息；
响应于检测到I/O请求执行操作，从已缓存的至少一个I/O请求时间信息中筛选出目标I/O请求时间信息，并对所述目标I/O请求时间信息对应的目标I/O请求进行处理，其中，若已缓存的至少一个I/O请求时间信息中存在处于等待完成状态的第一候选I/O请求时间信息，将任一所述第一候选I/O请求时间信息确定为所述目标I/O请求时间信息，处于等待完成状态表示所述第一候选I/O请求时间信息的实际停顿时间为有效值且实际处理时长为无效值。
2.根据权利要求1所述的方法，其特征在于，所述I/O请求时间信息还包括：与所述新增I/O请求对应处理的变量的变量大小、I/O变量标记和发起时间其中，所述变量大小和所述I/O变量标记根据所述新增I/O请求确定，所述发起时间被设置为生成所述I/O请求时间信息的时间，在对所述新增I/O请求的预期停顿时间和预期处理时长进行预测及设定之前，所述预期停顿时间、所述实际停顿时间、所述预期处理时长和所述实际处理时长被设置为无效值。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
响应于检测到针对任一I/O请求的等待完成命令，将所述任一I/O请求的所述实际停顿时间设置为当前时间。
4.根据权利要求2所述的方法，其特征在于，所述对所述新增I/O请求的预期停顿时间和预期处理时长进行预测及设定，包括：
获取与所述新增I/O请求对应的相似I/O请求，其中，所述相似I/O请求的所述I/O变量标记与所述新增I/O请求的所述I/O变量标记相同，且所述相似I/O请求的所述实际停顿时间和所述实际处理时长均为有效值；
将所述新增I/O请求的预期处理时长设置为与所述相似I/O请求的实际处理时长相同；
基于所述相似I/O请求的发起时间和实际停顿时间，生成目标停顿时长；
基于所述目标停顿时长和所述新增I/O请求的发起时间，生成目标停顿时间并将所述目标停顿时间确定为所述新增I/O请求的预期停顿时间。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若不存所述第一候选I/O请求时间信息，判断是否存在至少一个预期停顿时间和实际处理时长均为无效值的第二候选I/O请求时间信息；
若存在，将发起时间最早的第二候选I/O请求时间信息确定为所述目标I/O请求时间信息。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
若不存在所述第一候选I/O请求时间信息和所述第二候选I/O请求时间信息，判断是否存在预期停顿时间为有效值，且实际停顿时间和实际处理时长均为无效值的第三候选I/O请求时间信息；
若存在，将所述预期停顿时间最早、发起时间最早、变量大小最大以及预期处理时长最长的第三候选I/O请求时间信息确定为所述目标I/O请求时间信息。
7.根据权利要求2所述的方法，其特征在于，所述对所述目标I/O请求时间信息对应的目标I/O请求进行处理，包括：
获取所述目标I/O请求时间信息对应的目标I/O请求以及目标变量；
基于所述目标I/O请求对所述目标变量进行读写处理；
获取所述读写处理的处理时长，并将所述处理时长赋值于所述目标I/O请求的实际处理时长。
8.根据权利要求7所述的方法，其特征在于，所述获取所述读写处理的处理时长，并将所述处理时长赋值于所述目标I/O请求的实际处理时长之后，还包括：
获取与所述目标I/O请求的所述I/O变量标记相同的至少一个候选I/O请求时间信息，其中，所述候选I/O请求时间信息的请求停顿实际时间和实际处理时长均为有效值；
保留发起时间最晚的候选I/O请求时间信息并删除其它候选I/O请求时间信息。
9.根据权利要求1所述的方法，其特征在于，所述缓存所述新增I/O请求及所述I/O请求时间信息，包括：
将每一I/O请求缓存至预设的I/O请求缓存池，将每一I/O请求时间信息缓存至预设的I/O请求时间信息缓存池，或者，
将每一I/O请求以及对应的I/O请求时间信息缓存至预设的I/O请求缓存池。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述方法还包括：
响应于检测到应用程序退出操作，将已缓存的I/O请求时间信息以及对应的I/O请求写入目标文件，供所述应用程序启动时读取。
11.一种异步I/O请求的调度系统，其特征在于，包括：
管理模块，被配置为响应于检测到新增I/O请求，生成所述新增I/O请求的I/O请求时间信息，其中，所述I/O请求时间信息包括预期停顿时间、预期处理时长、实际停顿时间和实际处理时长；对所述新增I/O请求的预期停顿时间和预期处理时长进行预测及设定，并缓存所述新增I/O请求及所述I/O请求时间信息；
筛选模块，被配置为响应于检测到I/O请求执行操作，并对目标I/O请求时间信息对应的目标I/O请求进行处理，其中，若已缓存的至少一个I/O请求时间信息中存在处于等待完成状态的第一候选I/O请求时间信息，将任一所述第一候选I/O请求时间信息确定为所述目标I/O请求时间信息，处于等待完成状态表示所述第一候选I/O请求时间信息的实际停顿时间为有效值且实际处理时长为无效值。
12.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述方法的步骤。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述方法的步骤。
CN202210536615.0A 2022-05-18 2022-05-18 异步i/o请求的调度方法、系统、电子设备及介质 Active CN114706820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210536615.0A CN114706820B (zh) 2022-05-18 2022-05-18 异步i/o请求的调度方法、系统、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210536615.0A CN114706820B (zh) 2022-05-18 2022-05-18 异步i/o请求的调度方法、系统、电子设备及介质

Publications (2)

Publication Number Publication Date
CN114706820A CN114706820A (zh) 2022-07-05
CN114706820B true CN114706820B (zh) 2022-09-06

Family

ID=82176703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210536615.0A Active CN114706820B (zh) 2022-05-18 2022-05-18 异步i/o请求的调度方法、系统、电子设备及介质

Country Status (1)

Country Link
CN (1) CN114706820B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115033529B (zh) * 2022-08-11 2022-12-06 北京卡普拉科技有限公司 一种异步i/o适配方法、系统、存储介质及电子设备
CN117251275B (zh) * 2023-11-17 2024-01-30 北京卡普拉科技有限公司 多应用异步i/o请求的调度方法及系统、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106034137A (zh) * 2015-03-09 2016-10-19 阿里巴巴集团控股有限公司 用于分布式系统的智能调度方法及分布式服务系统
CN111914149A (zh) * 2020-05-21 2020-11-10 北京大米科技有限公司 一种请求处理方法、装置、存储介质及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8504736B2 (en) * 2008-05-30 2013-08-06 Sony Computer Entertainment America Inc. File input/output scheduler
US9684455B2 (en) * 2013-03-04 2017-06-20 Seagate Technology Llc Method and apparatus for sequential stream I/O processing
US9158687B2 (en) * 2013-03-04 2015-10-13 Dot Hill Systems Corporation Method and apparatus for processing fast asynchronous streams
CN106293523A (zh) * 2016-08-04 2017-01-04 浪潮(北京)电子信息产业有限公司 一种对非易失性存储的io请求响应方法及装置
CN108009006B (zh) * 2016-11-02 2022-02-18 华为技术有限公司 I/o请求的调度方法及装置
CN108415765B (zh) * 2018-02-28 2022-06-24 百度在线网络技术（北京）有限公司 任务调度方法、装置及智能终端
WO2020157594A1 (en) * 2019-01-31 2020-08-06 International Business Machines Corporation Handling an input/output store instruction
CN112306927B (zh) * 2019-07-31 2023-03-03 华为技术有限公司 一种io请求的处理方法、装置及系统
CN110753098B (zh) * 2019-10-12 2022-11-08 北京达佳互联信息技术有限公司 下载请求执行方法及装置、服务器和存储介质
CN111913913B (zh) * 2020-08-07 2024-02-13 北京星辰天合科技股份有限公司 访问请求的处理方法和装置
CN112883314B (zh) * 2021-02-25 2024-05-07 北京城市网邻信息技术有限公司 一种请求处理方法及装置
CN113094618A (zh) * 2021-04-08 2021-07-09 中国工商银行股份有限公司 执行异步请求响应操作的方法、装置、设备及存储介质
CN113282407B (zh) * 2021-05-07 2023-01-03 华南师范大学 基于持久性内存的用户层异步io方法与系统
CN114489471B (zh) * 2021-08-10 2023-04-14 荣耀终端有限公司 一种输入输出处理方法和电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106034137A (zh) * 2015-03-09 2016-10-19 阿里巴巴集团控股有限公司 用于分布式系统的智能调度方法及分布式服务系统
CN111914149A (zh) * 2020-05-21 2020-11-10 北京大米科技有限公司 一种请求处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN114706820A (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN114706820B (zh) 异步i/o请求的调度方法、系统、电子设备及介质
US9389994B2 (en) Optimization of map-reduce shuffle performance through shuffler I/O pipeline actions and planning
US9298719B2 (en) On-demand caching in a WAN separated distributed file system or clustered file system cache
US8918795B2 (en) Handling and reporting of object state transitions on a multiprocess architecture
CN111340220B (zh) 用于训练预测模型的方法和装置
CN111367687A (zh) 进程间数据通信方法和装置
CN111383100A (zh) 基于风险模型的全生命周期管控方法和装置
CN115543965A (zh) 跨机房数据处理方法、设备、存储介质及程序产品
CN110851276A (zh) 一种业务请求处理方法、装置、服务器和存储介质
CN115185679A (zh) 人工智能算法的任务处理方法、装置、服务器及存储介质
CN111258800A (zh) 一种页面处理方法、装置和电子设备
US9513660B2 (en) Calibrated timeout interval on a configuration value, shared timer value, and shared calibration factor
CN113419841A (zh) 消息调度方法、装置、电子设备和计算机可读介质
CN113051055A (zh) 一种任务处理方法和装置
CN111898061B (zh) 搜索网络的方法、装置、电子设备和计算机可读介质
CN115061743A (zh) 接口调用方法及装置、计算机可读介质和电子设备
US9448842B1 (en) Selecting and resizing currently executing job to accommodate execution of another job
CN113127438B (zh) 用于存储数据的方法、装置、服务器和介质
US11366613B2 (en) Method and apparatus for writing data
CN113760176A (zh) 数据存储方法和装置
US20160110219A1 (en) Managing i/o operations in a shared file system
CN112732979A (zh) 信息写入方法、装置、电子设备和计算机可读介质
CN114924798B (zh) 针对异步i/o技术的数据预取方法、系统、电子设备及介质
CN116820539B (zh) 一种基于互联网的系统软件运行维护系统及方法
CN117076407A (zh) 信息处理方法、装置、终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant