CN116719628B - 一种并发任务抢占式调度方法、系统及介质 - Google Patents
一种并发任务抢占式调度方法、系统及介质 Download PDFInfo
- Publication number
- CN116719628B CN116719628B CN202310996676.XA CN202310996676A CN116719628B CN 116719628 B CN116719628 B CN 116719628B CN 202310996676 A CN202310996676 A CN 202310996676A CN 116719628 B CN116719628 B CN 116719628B
- Authority
- CN
- China
- Prior art keywords
- link
- transmitted
- subtasks
- concurrent
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000005540 biological transmission Effects 0.000 claims abstract description 196
- 239000013598 vector Substances 0.000 claims description 31
- 238000012163 sequencing technique Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 description 4
- 206010033799 Paralysis Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/484—Precedence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5017—Task decomposition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/508—Monitor
Abstract
本申请实施例提供了一种并发任务抢占式调度方法、系统及介质，该方法包括：获取任务数据库，将任务数据库内的数据进行分类，并生成多个待传输子任务；获取链路个数，将多个待传输子任务与链路进行匹配，生成并发传输信息；获取链路传输状态信息，将链路传输状态信息与预设的状态信息进行比较，得到状态偏差率；判断所述状态偏差率是否大于或等于预设的偏差率阈值；若大于或等于，则对同一链路内的待传输子任务进行优先度排序；若小于，则多个待传输子任务同时并发传输；通过链路配合使多个传输子任务并发进行，减少任务传输的等待时间，提高数据传输的吞吐量，实现多个并发任务同步进行读写操作的功能。
Description
技术领域
本申请涉及数据传输调度领域，具体而言，涉及一种并发任务抢占式调度方法、系统及介质。
背景技术
锁库锁表会限制并发性，因为当一个事务获取了锁后，其他事务必须等待该事务释放锁才能执行相应的操作。这可能导致大量的事务等待，造成系统的性能瓶颈，降低系统的吞吐量，使用锁库锁表的方式可能会增加死锁的风险。当多个事务同时竞争多个资源时，可能会出现循环等待的情况，导致死锁的发生。解决死锁问题需要谨慎的设计和管理锁的获取和释放顺序，增加了系统开发和维护的复杂性，锁库锁表的方式限制了同时进行读写操作的能力，因为当一个事务持有锁时，其他事务无法同时对相同的库或表进行读写操作。这可能导致一些并发性较高的场景受到限制，影响系统的并发处理能力，锁库锁表可能会导致长时间的阻塞问题。当一个事务持有锁并且执行时间较长时，其他事务可能需要等待很长时间才能获得所需的资源。这会导致事务的等待时间增加，响应时间延长，影响用户体验，使用锁库锁表的方式在面对大规模系统的扩展时可能会遇到问题。当并发请求增加时，需要增加更多的锁资源，这可能导致系统扩展性受限。此外，如果需要对数据库进行分片或分区，锁库锁表的方式可能会更加复杂和困难，针对上述问题，目前亟待有效的技术解决方案。
发明内容
本申请实施例的目的在于提供一种并发任务抢占式调度方法、系统及介质，可以通过链路配合使多个传输子任务并发进行，减少任务传输的等待时间，提高数据传输的吞吐量，实现多个并发任务同步进行读写操作的功能的技术。
本申请实施例还提供了一种并发任务抢占式调度方法，包括：
获取任务数据库，将任务数据库内的数据进行分类，并生成多个待传输子任务；
获取链路个数，将多个待传输子任务与链路进行匹配，生成并发传输信息；
获取链路传输状态信息，将链路传输状态信息与预设的状态信息进行比较，得到状态偏差率；
判断所述状态偏差率是否大于或等于预设的偏差率阈值；
若大于或等于，则对同一链路内的待传输子任务进行优先度排序；
若小于，则多个待传输子任务同时并发传输。
可选地，在本申请实施例所述的并发任务抢占式调度方法中，所述获取任务数据库，将任务数据库内的数据进行分类，并生成多个待传输子任务，具体为：
获取任务数据库，提取数据特征，并生成特征向量；
将特征向量与预设的向量进行夹角计算，得到向量角；
判断所述向量角是否满足角度范围；
若满足，则判定对应的数据为同一任务内的数据；
若不满足，则判定对应的数据为不同任务内的数据。
可选地，在本申请实施例所述的并发任务抢占式调度方法中，所述获取链路个数，将多个待传输子任务与链路进行匹配，生成并发传输信息，具体为：
获取链路数量与待传输子任务数量；将链路数量与待传输子任务数量进行比较，得到数量差值；
若链路数量大于待传输子任务数量，则获取链路传输标准信息与待传输子任务的占用资源信息；
根据链路传输标准信息与待传输子任务的占用资源信息进行匹配，将待传输子任务通过链路进行数据传输；
若链路数量小于待传输子任务数量，则根据待传输子任务的优先度与链路进行匹配，并获取并发子任务；
获取链路传输时间信息，根据链路传输时间信息生成链路空闲顺序，并对链路空间状态按照空闲时间进行排序；
根据链路空闲顺序对并发子任务进行链路分配。
可选地，在本申请实施例所述的并发任务抢占式调度方法中，所述获取链路传输时间信息，根据链路传输时间信息生成链路空闲顺序，并对链路空间状态按照空闲时间进行排序，具体为：
获取每一个链路占用时间信息，根据链路占用时间信息对链路并发任务分配进行排序；
获取每一个链路并发任务数量，判断所述并发任务数量是否大于预设的数量；
若大于，则计算并发任务数量的超量，根据超量将并发任务按照链路分配排序进行调整；
若小于或等于，则计算并发任务的预定传输时间。
可选地，在本申请实施例所述的并发任务抢占式调度方法中，若大于或等于，则对同一链路内的待传输子任务进行优先度排序，具体为：
获取待传输子任务，将待传输子任务输入预设的传输调度模型，生成子任务优先度信息；
根据子任务优先度信息对待传输子任务进行并发传输排序；
根据传输排序对待传输子任务进行数据传输，并生成链路传输状态；
将链路传输状态与预设的传输状态进行比较，得到链路负荷；
判断所述链路负荷是否大于预设的负荷；
若大于，则生成链路配合信息，根据链路配合信息对链路进行传输调度；
若小于，则将链路传输状态实时进行监控。
可选地，在本申请实施例所述的并发任务抢占式调度方法中，所述获取链路传输时间信息，根据链路传输时间信息生成链路空闲顺序，并对链路空间状态按照空闲时间进行排序，具体为：
获取链路传输时间，根据链路传输时间获取对应链路中并发任务的等待时间；
将等待时间与预设的等待时间进行比较，得到时间偏差率；
判断所述时间偏差率是否大于或等于预设的偏差率阈值；
若大于或等于，则将并发任务进行链路得重新分配；
若小于，则生成并发任务排序信息，并生成每一个并发任务的等待时间，并将等待时间传输至终端。
第二方面，本申请实施例提供了一种并发任务抢占式调度系统，该系统包括：存储器及处理器，所述存储器中包括并发任务抢占式调度方法的程序，所述并发任务抢占式调度方法的程序被所述处理器执行时实现以下步骤：
获取任务数据库，将任务数据库内的数据进行分类，并生成多个待传输子任务；
获取链路个数，将多个待传输子任务与链路进行匹配，生成并发传输信息；
获取链路传输状态信息，将链路传输状态信息与预设的状态信息进行比较，得到状态偏差率；
判断所述状态偏差率是否大于或等于预设的偏差率阈值；
若大于或等于，则对同一链路内的待传输子任务进行优先度排序；
若小于，则多个待传输子任务同时并发传输。
可选地，在本申请实施例所述的并发任务抢占式调度系统中，所述获取任务数据库，将任务数据库内的数据进行分类，并生成多个待传输子任务，具体为：
获取任务数据库，提取数据特征，并生成特征向量；
将特征向量与预设的向量进行夹角计算，得到向量角；
判断所述向量角是否满足角度范围；
若满足，则判定对应的数据为同一任务内的数据；
若不满足，则判定对应的数据为不同任务内的数据。
可选地，在本申请实施例所述的并发任务抢占式调度系统中，所述获取链路个数，将多个待传输子任务与链路进行匹配，生成并发传输信息，具体为：
获取链路数量与待传输子任务数量；将链路数量与待传输子任务数量进行比较，得到数量差值；
若链路数量大于待传输子任务数量，则获取链路传输标准信息与待传输子任务的占用资源信息；
根据链路传输标准信息与待传输子任务的占用资源信息进行匹配，将待传输子任务通过链路进行数据传输；
若链路数量小于待传输子任务数量，则根据待传输子任务的优先度与链路进行匹配，并获取并发子任务；
获取链路传输时间信息，根据链路传输时间信息生成链路空闲顺序，并对链路空间状态按照空闲时间进行排序；
根据链路空闲顺序对并发子任务进行链路分配。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中包括并发任务抢占式调度方法程序，所述并发任务抢占式调度方法程序被处理器执行时，实现如上述任一项所述的并发任务抢占式调度方法的步骤。
由上可知，本申请实施例提供的一种并发任务抢占式调度方法、系统及介质，通过获取任务数据库，将任务数据库内的数据进行分类，并生成多个待传输子任务；获取链路个数，将多个待传输子任务与链路进行匹配，生成并发传输信息；获取链路传输状态信息，将链路传输状态信息与预设的状态信息进行比较，得到状态偏差率；判断所述状态偏差率是否大于或等于预设的偏差率阈值；若大于或等于，则对同一链路内的待传输子任务进行优先度排序；若小于，则多个待传输子任务同时并发传输；通过链路配合使多个传输子任务并发进行，减少任务传输的等待时间，提高数据传输的吞吐量，实现多个并发任务同步进行读写操作的功能。
本申请的其他特征和优点将在随后的说明书阐述，本申请的目的和优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的并发任务抢占式调度方法的流程图；
图2为本申请实施例提供的并发任务抢占式调度方法的任务数据库分类流程图；
图3为本申请实施例提供的并发任务抢占式调度方法的并发任务链路分配流程图；
图4为本申请实施例提供的并发任务抢占式调度系统的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种并发任务抢占式调度方法的流程图。该并发任务抢占式调度方法用于终端设备中，该并发任务抢占式调度方法，包括以下步骤：
S101，获取任务数据库，将任务数据库内的数据进行分类，并生成多个待传输子任务；
S102，获取链路个数，将多个待传输子任务与链路进行匹配，生成并发传输信息；
S103，获取链路传输状态信息，将链路传输状态信息与预设的状态信息进行比较，得到状态偏差率；
S104，判断状态偏差率是否大于或等于预设的偏差率阈值；
S105，若大于或等于，则对同一链路内的待传输子任务进行优先度排序；若小于，则多个待传输子任务同时并发传输。
需要说明的是，通过对任务数据库内的数据进行分析，并进行分类，根据数据类别生成多个待传输子任务，不同的待传输子任务的数据类型不同，将待传输子任务与传输链路进行匹配，提高链路的传输速率，同时降低子任务的排队量，将出现子任务排队时，对待传输子任务进行优先度排序实现待传输子任务有序传输，提高传输效率。
请参照图2，图2是本申请一些实施例中的一种并发任务抢占式调度方法的任务数据库分类流程图。根据本发明实施例，获取任务数据库，将任务数据库内的数据进行分类，并生成多个待传输子任务，具体为：
S201，获取任务数据库，提取数据特征，并生成特征向量；
S202，将特征向量与预设的向量进行夹角计算，得到向量角；
S203，判断向量角是否满足角度范围；
S204，若满足，则判定对应的数据为同一任务内的数据；
S205，若不满足，则判定对应的数据为不同任务内的数据。
需要说明的是，通过分析任务数据库内的数据特征，并对特征进行分析比较，从而根据特征向量角的判断结果将数据进行类别分配，提高分类精度。
请参照图3，图3是本申请一些实施例中的一种并发任务抢占式调度方法的并发任务链路分配流程图。根据本发明实施例，获取链路个数，将多个待传输子任务与链路进行匹配，生成并发传输信息，具体为：
S301，获取链路数量与待传输子任务数量；将链路数量与待传输子任务数量进行比较，得到数量差值；
S302，若链路数量大于待传输子任务数量，则获取链路传输标准信息与待传输子任务的占用资源信息；
S303，根据链路传输标准信息与待传输子任务的占用资源信息进行匹配，将待传输子任务通过链路进行数据传输；
S304，若链路数量小于待传输子任务数量，则根据待传输子任务的优先度与链路进行匹配，并获取并发子任务；
S305，获取链路传输时间信息，根据链路传输时间信息生成链路空闲顺序，并对链路空间状态按照空闲时间进行排序，根据链路空闲顺序对并发子任务进行链路分配。
需要说明的是，通过判断待传输子任务的占用链路资源，进行判断链路是否满足该待传输子任务的数据传输，如果满足，则通过一条链路即可实现对应的子任务数据的传输，若不满足，则造成链路排队，并实时判断链路排队的情况，当链路排队严重时，对传输链路进行重新分配，保证待传输数据的等待时间不会过长。
根据本发明实施例，获取链路传输时间信息，根据链路传输时间信息生成链路空闲顺序，并对链路空间状态按照空闲时间进行排序，具体为：
获取每一个链路占用时间信息，根据链路占用时间信息对链路并发任务分配进行排序；
获取每一个链路并发任务数量，判断并发任务数量是否大于预设的数量；
若大于，则计算并发任务数量的超量，根据超量将并发任务按照链路分配排序进行调整；
若小于或等于，则计算并发任务的预定传输时间。
需要说明的是，根据待传输子任务的数据量进行判断链路的占用时间，并判断并发任务量是否大于链路数量，若大于，则计算并发任务量与链路数量的差值，该值为并发任务量的超量，并将超量按照链路的分配顺序进行调整，防止其中一条链路中的并发任务量较多，造成该链路排队严重，造成该链路数据传输瘫痪。
根据本发明实施例，若大于或等于，则对同一链路内的待传输子任务进行优先度排序，具体为：
获取待传输子任务，将待传输子任务输入预设的传输调度模型，生成子任务优先度信息；
根据子任务优先度信息对待传输子任务进行并发传输排序；
根据传输排序对待传输子任务进行数据传输，并生成链路传输状态；
将链路传输状态与预设的传输状态进行比较，得到链路负荷；
判断链路负荷是否大于预设的负荷；
若大于，则生成链路配合信息，根据链路配合信息对链路进行传输调度；
若小于，则将链路传输状态实时进行监控。
需要说明的是，根据待传输子任务的优先度进行并发传输排序，并将传输排序与链路的传输状态进行比较，如链路正在传输时，计算正在传输的数据剩余量，并根据剩余量计算链路剩余负荷，根据链路剩余负荷与下一个待传输子任务的负荷，进行判断链路负荷是否满足待传输子任务的负荷，若满足，则在链路传输过程中将下一个待传输任务进行同步传输，减少子任务的传输等待时间。
根据本发明实施例，获取链路传输时间信息，根据链路传输时间信息生成链路空闲顺序，并对链路空间状态按照空闲时间进行排序，具体为：
获取链路传输时间，根据链路传输时间获取对应链路中并发任务的等待时间；
将等待时间与预设的等待时间进行比较，得到时间偏差率；
判断时间偏差率是否大于或等于预设的偏差率阈值；
若大于或等于，则将并发任务进行链路得重新分配；
若小于，则生成并发任务排序信息，并生成每一个并发任务的等待时间，并将等待时间传输至终端。
需要说明的是，判断链路传输时间，并根据传输时间计算并发任务的等待时间，通过判断等待时间的长短，进行分析数据传输的有效性，如数据传输时间较长时，会造成部分数据的失效，此时需要对传输链路进行重新分配调整，提高数据的传输速率。
根据本发明实施例，还包括：
用户在客户端修改任务状态为待传输任务，并设定任务争夺标识（并发任务）；
查询数据库待传输任务列表, 按照状态修改时间和优先级排序规则排序, 取第一条数据行对象；
修改此数据行对象的争夺标识和任务状态,
重新查询数据库中行对象的任务争夺标识的数据行；
如果存在数据行则表明成功抢占任务, 开始执行任务, 如果不存在数据行则标识争夺任务失败 (即被其他服务器抢走任务)。
请参照图4，图4是本申请一些实施例中的一种并发任务抢占式调度系统的结构示意图。第二方面，本申请实施例提供了一种并发任务抢占式调度系统4，该系统包括：存储器41及处理器42，存储器41中包括并发任务抢占式调度方法的程序，并发任务抢占式调度方法的程序被处理器执行时实现以下步骤：
获取任务数据库，将任务数据库内的数据进行分类，并生成多个待传输子任务；
获取链路个数，将多个待传输子任务与链路进行匹配，生成并发传输信息；
获取链路传输状态信息，将链路传输状态信息与预设的状态信息进行比较，得到状态偏差率；
判断状态偏差率是否大于或等于预设的偏差率阈值；
若大于或等于，则对同一链路内的待传输子任务进行优先度排序；
若小于，则多个待传输子任务同时并发传输。
根据本发明实施例，获取任务数据库，将任务数据库内的数据进行分类，并生成多个待传输子任务，具体为：
获取任务数据库，提取数据特征，并生成特征向量；
将特征向量与预设的向量进行夹角计算，得到向量角；
判断向量角是否满足角度范围；
若满足，则判定对应的数据为同一任务内的数据；
若不满足，则判定对应的数据为不同任务内的数据。
根据本发明实施例，获取链路个数，将多个待传输子任务与链路进行匹配，生成并发传输信息，具体为：
获取链路数量与待传输子任务数量；将链路数量与待传输子任务数量进行比较，得到数量差值；
若链路数量大于待传输子任务数量，则获取链路传输标准信息与待传输子任务的占用资源信息；
根据链路传输标准信息与待传输子任务的占用资源信息进行匹配，将待传输子任务通过链路进行数据传输；
若链路数量小于待传输子任务数量，则根据待传输子任务的优先度与链路进行匹配，并获取并发子任务；
获取链路传输时间信息，根据链路传输时间信息生成链路空闲顺序，并对链路空间状态按照空闲时间进行排序；
根据链路空闲顺序对并发子任务进行链路分配。
需要说明的是，通过判断待传输子任务的占用链路资源，进行判断链路是否满足该待传输子任务的数据传输，如果满足，则通过一条链路即可实现对应的子任务数据的传输，若不满足，则造成链路排队，并实时判断链路排队的情况，当链路排队严重时，对传输链路进行重新分配，保证待传输数据的等待时间不会过长。
根据本发明实施例，获取链路传输时间信息，根据链路传输时间信息生成链路空闲顺序，并对链路空间状态按照空闲时间进行排序，具体为：
获取每一个链路占用时间信息，根据链路占用时间信息对链路并发任务分配进行排序；
获取每一个链路并发任务数量，判断并发任务数量是否大于预设的数量；
若大于，则计算并发任务数量的超量，根据超量将并发任务按照链路分配排序进行调整；
若小于或等于，则计算并发任务的预定传输时间。
需要说明的是，根据待传输子任务的数据量进行判断链路的占用时间，并判断并发任务量是否大于链路数量，若大于，则计算并发任务量与链路数量的差值，该值为并发任务量的超量，并将超量按照链路的分配顺序进行调整，防止其中一条链路中的并发任务量较多，造成该链路排队严重，造成该链路数据传输瘫痪。
根据本发明实施例，若大于或等于，则对同一链路内的待传输子任务进行优先度排序，具体为：
获取待传输子任务，将待传输子任务输入预设的传输调度模型，生成子任务优先度信息；
根据子任务优先度信息对待传输子任务进行并发传输排序；
根据传输排序对待传输子任务进行数据传输，并生成链路传输状态；
将链路传输状态与预设的传输状态进行比较，得到链路负荷；
判断链路负荷是否大于预设的负荷；
若大于，则生成链路配合信息，根据链路配合信息对链路进行传输调度；
若小于，则将链路传输状态实时进行监控。
需要说明的是，根据待传输子任务的优先度进行并发传输排序，并将传输排序与链路的传输状态进行比较，如链路正在传输时，计算正在传输的数据剩余量，并根据剩余量计算链路剩余负荷，根据链路剩余负荷与下一个待传输子任务的负荷，进行判断链路负荷是否满足待传输子任务的负荷，若满足，则在链路传输过程中将下一个待传输任务进行同步传输，减少子任务的传输等待时间。
根据本发明实施例，获取链路传输时间信息，根据链路传输时间信息生成链路空闲顺序，并对链路空间状态按照空闲时间进行排序，具体为：
获取链路传输时间，根据链路传输时间获取对应链路中并发任务的等待时间；
将等待时间与预设的等待时间进行比较，得到时间偏差率；
判断时间偏差率是否大于或等于预设的偏差率阈值；
若大于或等于，则将并发任务进行链路得重新分配；
若小于，则生成并发任务排序信息，并生成每一个并发任务的等待时间，并将等待时间传输至终端。
需要说明的是，判断链路传输时间，并根据传输时间计算并发任务的等待时间，通过判断等待时间的长短，进行分析数据传输的有效性，如数据传输时间较长时，会造成部分数据的失效，此时需要对传输链路进行重新分配调整，提高数据的传输速率。
本发明第三方面提供了一种计算机可读存储介质，可读存储介质中包括并发任务抢占式调度方法程序，并发任务抢占式调度方法程序被处理器执行时，实现如上述任一项的并发任务抢占式调度方法的步骤。
本发明公开的一种并发任务抢占式调度方法、系统及介质，通过获取任务数据库，将任务数据库内的数据进行分类，并生成多个待传输子任务；获取链路个数，将多个待传输子任务与链路进行匹配，生成并发传输信息；获取链路传输状态信息，将链路传输状态信息与预设的状态信息进行比较，得到状态偏差率；判断所述状态偏差率是否大于或等于预设的偏差率阈值；若大于或等于，则对同一链路内的待传输子任务进行优先度排序；若小于，则多个待传输子任务同时并发传输；通过链路配合使多个传输子任务并发进行，减少任务传输的等待时间，提高数据传输的吞吐量，实现多个并发任务同步进行读写操作的功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (5)
1.一种并发任务抢占式调度方法，其特征在于，包括：
获取任务数据库，将任务数据库内的数据进行分类，并生成多个待传输子任务；获取链路个数，将多个待传输子任务与链路进行匹配，生成并发传输信息；
获取链路传输状态信息，将链路传输状态信息与预设的状态信息进行比较，得到状态偏差率；
判断所述状态偏差率是否大于或等于预设的偏差率阈值；
若大于或等于，则对同一链路内的待传输子任务进行优先度排序；若小于，则多个待传输子任务同时并发传输；
所述获取任务数据库，将任务数据库内的数据进行分类，并生成多个待传输子任务，具体为：
获取任务数据库，提取数据特征，并生成特征向量；
将特征向量与预设的向量进行夹角计算，得到向量角；判断所述向量角是否满足角度范围；
若满足，则判定对应的数据为同一任务内的数据；
若不满足，则判定对应的数据为不同任务内的数据；
所述获取链路个数，将多个待传输子任务与链路进行匹配，生成并发传输信息，具体为：
获取链路数量与待传输子任务数量；将链路数量与待传输子任务数量进行比较，得到数量差值；
若链路数量大于待传输子任务数量，则获取链路传输标准信息与待传输子任务的占用资源信息；
根据链路传输标准信息与待传输子任务的占用资源信息进行匹配，将待传输子任务通过链路进行数据传输；
若链路数量小于待传输子任务数量，则根据待传输子任务的优先度与链路进行匹配，并获取并发子任务；
获取链路传输时间信息，根据链路传输时间信息生成链路空闲顺序，并对链路空间状态按照空闲时间进行排序；
根据链路空闲顺序对并发子任务进行链路分配；
若大于或等于，则对同一链路内的待传输子任务进行优先度排序，具体为：
获取待传输子任务，将待传输子任务输入预设的传输调度模型，生成子任务优先度信息；
根据子任务优先度信息对待传输子任务进行并发传输排序；
根据传输排序对待传输子任务进行数据传输，并生成链路传输状态；将链路传输状态与预设的传输状态进行比较，得到链路负荷；
判断所述链路负荷是否大于预设的负荷；
若大于，则生成链路配合信息，根据链路配合信息对链路进行传输调度；若小于，则将链路传输状态实时进行监控。
2.根据权利要求1所述的并发任务抢占式调度方法，其特征在于，所述获取链路传输时间信息，根据链路传输时间信息生成链路空闲顺序，并对链路空间状态按照空闲时间进行排序，具体为：
获取每一个链路占用时间信息，根据链路占用时间信息对链路并发任务分配进行排序；
获取每一个链路并发任务数量，判断所述并发任务数量是否大于预设的数量；
若大于，则计算并发任务数量的超量，根据超量将并发任务按照链路分配排序进行调整；
若小于或等于，则计算并发任务的预定传输时间。
3.根据权利要求1所述的并发任务抢占式调度方法，其特征在于，所述获取链路传输时间信息，根据链路传输时间信息生成链路空闲顺序，并对链路空间状态按照空闲时间进行排序，具体为：
获取链路传输时间，根据链路传输时间获取对应链路中并发任务的等待时间；将等待时间与预设的等待时间进行比较，得到时间偏差率；
判断所述时间偏差率是否大于或等于预设的偏差率阈值；若大于或等于，则将并发任务进行链路得重新分配；
若小于，则生成并发任务排序信息，并生成每一个并发任务的等待时间，并将等待时间传输至终端。
4.一种并发任务抢占式调度系统，其特征在于，该系统包括：存储器及处理器，所述存储器中包括并发任务抢占式调度方法的程序，所述并发任务抢占式调度方法的程序被所述处理器执行时实现以下步骤：
获取任务数据库，将任务数据库内的数据进行分类，并生成多个待传输子任务；获取链路个数，将多个待传输子任务与链路进行匹配，生成并发传输信息；
获取链路传输状态信息，将链路传输状态信息与预设的状态信息进行比较，得到状态偏差率；
判断所述状态偏差率是否大于或等于预设的偏差率阈值；
若大于或等于，则对同一链路内的待传输子任务进行优先度排序；若小于，则多个待传输子任务同时并发传输；
所述获取任务数据库，将任务数据库内的数据进行分类，并生成多个待传输子任务，具体为：
获取任务数据库，提取数据特征，并生成特征向量；
将特征向量与预设的向量进行夹角计算，得到向量角；判断所述向量角是否满足角度范围；
若满足，则判定对应的数据为同一任务内的数据；
若不满足，则判定对应的数据为不同任务内的数据；
所述获取链路个数，将多个待传输子任务与链路进行匹配，生成并发传输信息，具体为：
获取链路数量与待传输子任务数量；将链路数量与待传输子任务数量进行比较，得到数量差值；
若链路数量大于待传输子任务数量，则获取链路传输标准信息与待传输子任务的占用资源信息；
根据链路传输标准信息与待传输子任务的占用资源信息进行匹配，将待传输子任务通过链路进行数据传输；
若链路数量小于待传输子任务数量，则根据待传输子任务的优先度与链路进行匹配，并获取并发子任务；
获取链路传输时间信息，根据链路传输时间信息生成链路空闲顺序，并对链路空间状态按照空闲时间进行排序；
根据链路空闲顺序对并发子任务进行链路分配；
若大于或等于，则对同一链路内的待传输子任务进行优先度排序，具体为：
获取待传输子任务，将待传输子任务输入预设的传输调度模型，生成子任务优先度信息；
根据子任务优先度信息对待传输子任务进行并发传输排序；
根据传输排序对待传输子任务进行数据传输，并生成链路传输状态；将链路传输状态与预设的传输状态进行比较，得到链路负荷；
判断所述链路负荷是否大于预设的负荷；
若大于，则生成链路配合信息，根据链路配合信息对链路进行传输调度；若小于，则将链路传输状态实时进行监控。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括并发任务抢占式调度方法程序，所述并发任务抢占式调度方法程序被处理器执行时，实现如权利要求1至3中任一项所述的并发任务抢占式调度方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310996676.XA CN116719628B (zh) | 2023-08-09 | 2023-08-09 | 一种并发任务抢占式调度方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310996676.XA CN116719628B (zh) | 2023-08-09 | 2023-08-09 | 一种并发任务抢占式调度方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116719628A CN116719628A (zh) | 2023-09-08 |
| CN116719628B true CN116719628B (zh) | 2024-04-19 |
Family
ID=87871978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310996676.XA Active CN116719628B (zh) | 2023-08-09 | 2023-08-09 | 一种并发任务抢占式调度方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116719628B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103152382A (zh) * | 2013-01-15 | 2013-06-12 | 中国科学技术大学苏州研究院 | 面向多宿主网络的多文件并发传输控制方法 |
| CN104519075A (zh) * | 2013-09-26 | 2015-04-15 | 中兴通讯股份有限公司 | 一种数据传输方法及设备 |
| CN106126681A (zh) * | 2016-06-29 | 2016-11-16 | 泰华智慧产业集团股份有限公司 | 一种增量式流式数据聚类方法及系统 |
| WO2020000944A1 (zh) * | 2018-06-25 | 2020-01-02 | 星环信息科技（上海）有限公司 | 基于抢占式调度的资源共享使用方法、系统及设备 |
| CN114972335A (zh) * | 2022-07-20 | 2022-08-30 | 凌云光技术股份有限公司 | 一种用于工业检测的图像分类方法、装置及计算机设备 |
| CN116048745A (zh) * | 2022-11-08 | 2023-05-02 | 网易有道信息技术（北京）有限公司 | 多模块gpu的分时调度方法、系统、电子设备及存储介质 |
| CN116489019A (zh) * | 2023-06-02 | 2023-07-25 | 深圳市博思云为科技有限公司 | 一种智能视觉信令通道管理方法、系统及介质 |
-
2023
- 2023-08-09 CN CN202310996676.XA patent/CN116719628B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103152382A (zh) * | 2013-01-15 | 2013-06-12 | 中国科学技术大学苏州研究院 | 面向多宿主网络的多文件并发传输控制方法 |
| CN104519075A (zh) * | 2013-09-26 | 2015-04-15 | 中兴通讯股份有限公司 | 一种数据传输方法及设备 |
| CN106126681A (zh) * | 2016-06-29 | 2016-11-16 | 泰华智慧产业集团股份有限公司 | 一种增量式流式数据聚类方法及系统 |
| WO2020000944A1 (zh) * | 2018-06-25 | 2020-01-02 | 星环信息科技（上海）有限公司 | 基于抢占式调度的资源共享使用方法、系统及设备 |
| CN114972335A (zh) * | 2022-07-20 | 2022-08-30 | 凌云光技术股份有限公司 | 一种用于工业检测的图像分类方法、装置及计算机设备 |
| CN116048745A (zh) * | 2022-11-08 | 2023-05-02 | 网易有道信息技术（北京）有限公司 | 多模块gpu的分时调度方法、系统、电子设备及存储介质 |
| CN116489019A (zh) * | 2023-06-02 | 2023-07-25 | 深圳市博思云为科技有限公司 | 一种智能视觉信令通道管理方法、系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116719628A (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108595157B (zh) | 区块链数据的处理方法、装置、设备和存储介质 | |
| CN113641457A (zh) | 容器创建方法、装置、设备、介质及程序产品 | |
| US20080201712A1 (en) | Method and System for Concurrent Message Processing | |
| CN112256417B (zh) | 一种数据请求处理方法、装置及计算机可读存储介质 | |
| CN111708639A (zh) | 任务调度系统及方法、存储介质及电子设备 | |
| CN110751376B (zh) | 工单的分配调度方法、装置、计算机设备和存储介质 | |
| CN112181613A (zh) | 异构资源分布式计算平台批量任务调度方法及存储介质 | |
| CN113672500B (zh) | 深度学习算法的测试方法、装置、电子装置和存储介质 | |
| CN108628677A (zh) | 分布式任务处理系统、方法和装置 | |
| CN116719628B (zh) | 一种并发任务抢占式调度方法、系统及介质 | |
| Bommala et al. | Machine learning job failure analysis and prediction model for the cloud environment | |
| CN1783121A (zh) | 用于执行设计自动化的方法和系统 | |
| CN111752961A (zh) | 一种数据处理方法及装置 | |
| CN115543577B (zh) | 基于协变量的Kubernetes资源调度优化方法、存储介质及设备 | |
| CN116820714A (zh) | 一种算力设备的调度方法、装置、设备和存储介质 | |
| CN111737274B (zh) | 交易数据的处理方法、装置和服务器 | |
| CN116260876A (zh) | 基于K8s的AI应用调度方法、装置及电子设备 | |
| CN115168509A (zh) | 风控数据的处理方法及装置、存储介质、计算机设备 | |
| CN107247621B (zh) | 批处理任务的调度方法及装置 | |
| CN112631577A (zh) | 一种模型的调度方法、模型调度器以及模型安全测试平台 | |
| CN117742928B (zh) | 一种用于联邦学习的算法组件执行调度方法 | |
| TW201942741A (zh) | 資訊處理裝置、控制方法及程式產品 | |
| CN111800446A (zh) | 调度处理方法、装置、设备和存储介质 | |
| CN113110925A (zh) | 一种基于并行执行的区块打包方法、设备及储存介质 | |
| CN111949407B (zh) | 一种资源分配方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240321 Address after: No. 3, Jinshagang 1st Road, Dalang Town, Dongguan City, Guangdong Province, 523000 Applicant after: DONGGUAN BTL Inc. Country or region after: China Applicant after: Guangdong Xinbao Testing Co.,Ltd. Applicant after: Shanghai Xinbao Testing Co.,Ltd. Address before: No. 3, Jinshagang 1st Road, Dalang Town, Dongguan City, Guangdong Province, 523000 Applicant before: DONGGUAN BTL Inc. Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |