CN116339956A - 一种配置任务的分发方法、装置、电子设备及存储介质 - Google Patents
一种配置任务的分发方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116339956A CN116339956A CN202310614759.8A CN202310614759A CN116339956A CN 116339956 A CN116339956 A CN 116339956A CN 202310614759 A CN202310614759 A CN 202310614759A CN 116339956 A CN116339956 A CN 116339956A
- Authority
- CN
- China
- Prior art keywords
- task
- configuration
- target
- time
- issuing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 271
- 230000008569 process Effects 0.000 claims abstract description 197
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种配置任务的分发方法、装置、电子设备及存储介质，该方法包括拆分通用任务进程，得到至少三个目标任务进程；获取配置任务，确定配置任务的任务类别；对于任务类别为公用文件任务的配置任务，基于第一目标任务进程对配置任务进行单进程下发；对于任务类别为非公用文件任务的配置任务，基于第二目标任务进程下发不存在耗时任务标签的配置任务，基于第三目标任务进程下发存在耗时任务标签的配置任务。本申请实现对不同任务独立分配执行，使通用非公用文件任务不会再受前面耗时非公用文件任务阻塞的影响，能更高效和合理分配系统资源。
Description
技术领域
本申请涉及无线通信技术领域，具体而言，涉及一种配置任务的分发方法、装置、电子设备及存储介质。
背景技术
随着CDN系统的不断发展，配置任务的下发量呈几何式的增长。目前，对于CDN系统的每个agent节点，如果队列中有耗时任务，后面的非耗时任务会因为一直处于排队等待状态而得不到执行。同时，对于文件下发，因为涉及到命令集中的任何一条命令执行失败都要进行回滚策略，为了防止公用文件之间的相互覆盖或回滚导致的文件数据丢失，所有包含文件下发的任务都需要采用单进程，导致下发效率降低。因此，如何根据不同的文件特性，执行不同的下发策略从而实现配置任务的高效分发和命令集的高效执行是目前解决的问题。
发明内容
为了解决上述问题，本申请实施例提供了一种配置任务的分发方法、装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种配置任务的分发方法，所述方法包括：
拆分通用任务进程，得到至少三个目标任务进程，所述目标任务进程包括用于下发公用文件的第一目标任务进程、用于下发非公用文件中通用任务的第二目标任务进程和用于下发非公用文件中耗时任务的第三目标任务进程；
基于agent节点获取配置任务，确定所述配置任务的任务类别，所述任务类别包括公用文件任务和非公用文件任务；
对于任务类别为公用文件任务的所述配置任务，基于所述第一目标任务进程对所述配置任务进行单进程下发；
对于任务类别为非公用文件任务的所述配置任务，基于所述第二目标任务进程下发不存在耗时任务标签的所述配置任务，基于所述第三目标任务进程下发存在所述耗时任务标签的所述配置任务，所述第二目标任务进程和第三目标任务进程的下发方式包括单进程下发和多进程下发。
优选的，所述确定所述配置任务的任务类别，所述任务类别包括公用文件任务和非公用文件任务，包括：
确定所述配置任务的配置信息，并匹配所述配置信息与预设的公用文件配置信息，基于匹配结果确定所述配置任务的任务类别，所述公用文件配置信息包括文件路径正则信息、绝对路径信息与文件目录信息中的至少一种信息；
所述配置信息与预设的公用文件配置信息能够匹配时，所述任务类别为公用文件任务；
所述配置信息与预设的公用文件配置信息不能够匹配时，所述任务类别为非公用文件任务。
优选的，所述方法还包括：
对于从预设的上层文件路径获取到的所述配置任务，基于多进程对所述配置任务进行下发。
优选的，所述第二目标任务进程的默认进程数至少为两个，所述第三目标任务进程的默认进程数至少为两个。
优选的，所述目标任务进程至少有四个，所述目标任务进程还包括用于对其余目标任务进程进行任务监控的第四目标任务进程，所述耗时任务标签被标记于所述配置任务的路径关键词中；
所述方法还包括：
基于所述第四目标任务进程记录所述配置任务对应的所述路径关键词；
对于没有所述耗时任务标签的路径关键词，计算接下来获取的第一预设数量的各第一目标配置任务的平均执行时间，并在所述平均执行时间高于预设阈值的所述路径关键词中标记所述耗时任务标签，所述第一目标配置任务为没有所述耗时任务标签的路径关键词对应的配置任务。
优选的，所述方法还包括：
对于有所述耗时任务标签的路径关键词，确定接下来获取的第二预设数量的各第二目标配置任务的各任务执行时间，并在各所述任务执行时间均低于所述预设阈值时，移除所述路径关键词的所述耗时任务标签，所述第二目标配置任务为有所述耗时任务标签的路径关键词对应的配置任务。
优选的，所述方法还包括：
基于所述第四目标任务进程分别统计待统计目标任务进程的单位时间任务下发数，并基于所述单位时间任务下发数调整所述待统计目标任务进程的实时进程数，所述待统计目标任务进程包括第二目标任务进程和第三目标任务进程。
第二方面，本申请实施例提供了一种配置任务的分发装置，所述装置包括：
拆分模块，用于拆分通用任务进程，得到至少三个目标任务进程，所述目标任务进程包括用于下发公用文件的第一目标任务进程、用于下发非公用文件中通用任务的第二目标任务进程和用于下发非公用文件中耗时任务的第三目标任务进程；
获取模块，用于基于agent节点获取配置任务，确定所述配置任务的任务类别，所述任务类别包括公用文件任务和非公用文件任务；
第一分发模块，用于对于任务类别为公用文件任务的所述配置任务，基于所述第一目标任务进程对所述配置任务进行单进程下发；
第二分发模块，用于对于任务类别为非公用文件任务的所述配置任务，基于所述第二目标任务进程下发不存在耗时任务标签的所述配置任务，基于所述第三目标任务进程下发存在所述耗时任务标签的所述配置任务，所述第二目标任务进程和第三目标任务进程的下发方式包括单进程下发和多进程下发。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面的任意一种可能的实现方式提供的方法。
本发明的有益效果为：1.实现对耗时任务和公用文件任务的智能识别，动态识别公用文件任务、耗时非公用文件任务和通用非公用文件任务，对不同任务独立分配执行，使通用非公用文件任务不会再受前面耗时非公用文件任务阻塞的影响，能更高效和合理分配系统资源。
2.公用文件任务在单独的任务进程里以单进程的方式下发，避免了公用文件之间的相互覆盖或回滚导致文件数据丢失的情况，还使得非公用文件任务能够采用多进程下发，进一步提高了整体的下发效率。
3.能够动态化分配和调整各目标任务进程的任务进程数，最大化利用和分配系统进程资源，智能调度，高效执行分发。
4.业务方可根据自身业务同步设置公用文件配置信息，下发方式更加灵活自由。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种配置任务的分发方法的流程示意图；
图2为本申请实施例提供的一种配置任务的分发装置的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本申请的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。
参见图1，图1是本申请实施例提供的一种配置任务的分发方法的流程示意图。在本申请实施例中，所述方法包括：
S101、拆分通用任务进程，得到至少三个目标任务进程，所述目标任务进程包括用于下发公用文件的第一目标任务进程、用于下发非公用文件中通用任务的第二目标任务进程和用于下发非公用文件中耗时任务的第三目标任务进程。
本申请的执行主体可以是CDN系统，具体来说，可以是CDN中的agent系统，agent可以看作是一类在特定环境下能感知环境，并能灵活、自主地运行以实现一系列设计目标的、自主的计算实体或程序，在agent系统中设置有多个agent节点。
在本申请的一个实施例中，常规的agent节点在进行配置任务的下发时，使用的是一个通用任务进程，所有的配置任务都将在该通用任务进程中根据排队顺序下发与执行。又由于公用文件任务会涉及一些公用资源，如果使用多进程的方式来同时下发多个任务，可能会出现多个任务涉及同一公用资源的情况，进而造成文件之间的相互覆盖。可见，通用任务进程只能进行单进程的任务下发，这样对于通用任务进程的整体利用率是较低的，还容易因为耗时任务的处理而进一步降低整体的处理效率。因此，本申请考虑将通用任务进程进行拆分，将其拆分为至少三个目标任务进程，不同目标任务进程分别对不同的任务进行处理，使得对于不同类别的配置任务，能够在各目标任务进程中同时被处理，提高了整体的处理效率。其中，第一目标任务进程用于下发公用文件，第二目标任务进程用于下发非公用文件中的通用任务（即不耗时的任务），第三目标任务进程用于下发非公用任务中的耗时任务。
S102、基于agent节点获取配置任务，确定所述配置任务的任务类别，所述任务类别包括公用文件任务和非公用文件任务。
在本申请的一个实施例中，agent系统根据agent节点的任务拉取模式，能够获取到配置任务。通过对该配置任务的任务命令集进行解析识别，能够确定出该配置任务的任务类别，即确定出其是公用文件任务还是非公用文件任务。
在一种可实施方式中，所述确定所述配置任务的任务类别，所述任务类别包括公用文件任务和非公用文件任务，包括：
确定所述配置任务的配置信息，并匹配所述配置信息与预设的公用文件配置信息，基于匹配结果确定所述配置任务的任务类别，所述公用文件配置信息包括文件路径正则信息、绝对路径信息与文件目录信息中的至少一种信息；
所述配置信息与预设的公用文件配置信息能够匹配时，所述任务类别为公用文件任务；
所述配置信息与预设的公用文件配置信息不能够匹配时，所述任务类别为非公用文件任务。
在本申请的一个实施例中，配置任务的任务命令集中可以解析得到配置信息，并将该配置信息与预设的公用文件配置信息进行匹配比对。由于公用文件是从公共资源处获取的，其文件目录是已知的，只要配置任务对应的文件目录能够与公共资源对应的文件目录匹配，则认为该配置任务是公用文件任务，否则认为该配置任务是非公用文件任务。其中，业务方根据自己的实际情况和需要，可以自由选择配置信息中用来判断公用文件的方式，即除了文件目录信息外，也可以选择文件路径正则信息或绝对路径信息来进行匹配判断，还可以选择上述多个信息的组合来进行多重匹配判断。
S103、对于任务类别为公用文件任务的所述配置任务，基于所述第一目标任务进程对所述配置任务进行单进程下发。
在本申请的一个实施例中，确定了配置任务的任务类别为公用文件任务后，会将配置任务分配至第一目标任务进程，由第一目标任务进程对配置任务进行下发。由于第一目标任务进程处理的都是公用文件任务，为了避免文件之间的相互覆盖，将采用单进程的方式进行下发，即一次只下发一个任务。
S104、对于任务类别为非公用文件任务的所述配置任务，基于所述第二目标任务进程下发不存在耗时任务标签的所述配置任务，基于所述第三目标任务进程下发存在所述耗时任务标签的所述配置任务，所述第二目标任务进程和第三目标任务进程的下发方式包括单进程下发和多进程下发。
在本申请的一个实施例中，确定了配置任务的任务类别为非公用文件任务后，首先将确定配置任务是否存在耗时任务标签，存在耗时任务标签，即代表这个配置任务是耗时任务。耗时任务将会与不耗时的通用任务分开，分别在第二目标任务进程和第三目标任务进程中进行处理，使得耗时任务的处理不会占用通用任务的处理时间。此外，由于第二目标任务进程和第三目标任务进程不会处理公用文件任务，不会出现文件之间相互覆盖的问题，因此除了使用单进程下发外，还可以使用多进程下发，即同时下发多个配置任务，以提高整体的处理效率。在实际情况中，除非任务数量非常少，不然一般都会优先选择多进程下发的方式对配置任务进行下发。
在一种可实施方式中，所述方法还包括：
对于从预设的上层文件路径获取到的所述配置任务，基于多进程对所述配置任务进行下发。
在本申请的一个实施例中，业务方因为自身的实际业务情况，某些路径下的文件都是单独文件，必定不会出现公用任务。对于这些路径，可以预设为上层文件路径，从上层文件路径发送过来的配置任务会直接被识别为单独文件，进而直接通过多进程的方式对其进行任务下发，无需进行公用文件的判断过程，提高任务处理效率。其中，一般会选择第二目标任务进程来进行多进程任务的下发。
在一种可实施方式中，所述第二目标任务进程的默认进程数至少为两个，所述第三目标任务进程的默认进程数至少为两个。
在本申请的一个实施例中，为了让第二目标任务进程和第三目标任务进程能够实现多进程的下发，其默认进程数至少要有两个，四个最优。
在一种可实施方式中，所述目标任务进程至少有四个，所述目标任务进程还包括用于对其余目标任务进程进行任务监控的第四目标任务进程，所述耗时任务标签被标记于所述配置任务的路径关键词中；
所述方法还包括：
基于所述第四目标任务进程记录所述配置任务对应的所述路径关键词；
对于没有所述耗时任务标签的路径关键词，计算接下来获取的第一预设数量的各第一目标配置任务的平均执行时间，并在所述平均执行时间高于预设阈值的所述路径关键词中标记所述耗时任务标签，所述第一目标配置任务为没有所述耗时任务标签的路径关键词对应的配置任务。
在本申请的一个实施例中，配置任务的耗时任务标签一般被设置在其对应的路径关键词中。路径关键词中没有标记有耗时任务标签，即认为该配置任务不是耗时任务。但由于实际情况中由于任务数据的变动或者业务的调整，没有耗时任务标签的配置任务也可能会变的耗时，故需要通过第四目标任务进程对各配置任务进行监控。具体而言，预先设置有一个预设阈值（如5s），如果配置任务的执行时间大于该预设阈值，即认为该配置任务耗时。随着业务的进行，同一种类的配置任务，即路径关键词相同的配置任务还会被获取到，系统将计算接下来获取到的第一预设数量（例如3个）的这些第一目标配置任务的执行任务所花费时间的平均值，即平均执行时间。如果平均执行时间高于预设阈值，即确认该路径关键词所对应的配置任务变成了耗时任务，将会对该路径关键词标记耗时任务标签。其中，路径关键词可以根据人工预先设置的规则来确定。例如，假设某配置任务的路径为C:\Documents\Newsletters\Summer2018.pdf，便可以将路径的第三级路径，即Newsletters作为路径关键词，也可以将第二、三级路径，即Documents\Newsletters作为路径关键词。
在一种可实施方式中，所述方法还包括：
对于有所述耗时任务标签的路径关键词，确定接下来获取的第二预设数量的各第二目标配置任务的各任务执行时间，并在各所述任务执行时间均低于所述预设阈值时，移除所述路径关键词的所述耗时任务标签，所述第二目标配置任务为有所述耗时任务标签的路径关键词对应的配置任务。
在本申请的一个实施例中，同样的，对于有耗时任务标签的路径关键词所对应的配置任务，随着时间的变化，其也有可能变成不耗时的任务。因此，将会获取接下来第二预设数量（如3个）的第二目标配置任务，确定他们的任务执行时间。如果所有任务的任务执行时间都低于预设阈值，即认为该路径关键词下的配置任务已经不耗时，为该路径关键词移除耗时任务标签。
在一种可实施方式中，所述方法还包括：
基于所述第四目标任务进程分别统计待统计目标任务进程的单位时间任务下发数，并基于所述单位时间任务下发数调整所述待统计目标任务进程的实时进程数，所述待统计目标任务进程包括第二目标任务进程和第三目标任务进程。
在本申请的一个实施例中，根据单位时间内任务下发数的变动，系统还可以动态调整第二目标任务进程和第三目标任务进程的实时进程数，以保证第二目标任务进程和第三目标任务进程各自对应的实时进程数能够满足当下任务量的分配需求，提高任务下发效率。其中，可以预先设置一个对照表格，每一个单位时间任务下发数都对应设置有一个实时进程数，实际情况中只需要根据对照表格进行对照，即可得到待统计目标任务进程的实时进程数。
下面将结合附图2，对本申请实施例提供的配置任务的分发装置进行详细介绍。需要说明的是，附图2所示的配置任务的分发装置，用于执行本申请图1所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请图1所示的实施例。
请参见图2，图2是本申请实施例提供的一种配置任务的分发装置的结构示意图。如图2所示，所述装置包括：
拆分模块201，用于拆分通用任务进程，得到至少三个目标任务进程，所述目标任务进程包括用于下发公用文件的第一目标任务进程、用于下发非公用文件中通用任务的第二目标任务进程和用于下发非公用文件中耗时任务的第三目标任务进程；
获取模块202，用于基于agent节点获取配置任务，确定所述配置任务的任务类别，所述任务类别包括公用文件任务和非公用文件任务；
第一分发模块203，用于对于任务类别为公用文件任务的所述配置任务，基于所述第一目标任务进程对所述配置任务进行单进程下发；
第二分发模块204，用于对于任务类别为非公用文件任务的所述配置任务，基于所述第二目标任务进程下发不存在耗时任务标签的所述配置任务，基于所述第三目标任务进程下发存在所述耗时任务标签的所述配置任务，所述第二目标任务进程和第三目标任务进程的下发方式包括单进程下发和多进程下发。
在一种可实施方式中，获取模块202包括：
第一确定单元，用于确定所述配置任务的配置信息，并匹配所述配置信息与预设的公用文件配置信息，基于匹配结果确定所述配置任务的任务类别，所述公用文件配置信息包括文件路径正则信息、绝对路径信息与文件目录信息中的至少一种信息；
第一判断单元，用于所述配置信息与预设的公用文件配置信息能够匹配时，所述任务类别为公用文件任务；
第二判断单元，用于所述配置信息与预设的公用文件配置信息不能够匹配时，所述任务类别为非公用文件任务。
在一种可实施方式中，所述装置还包括：
多进程下发模块，用于对于从预设的上层文件路径获取到的所述配置任务，基于多进程对所述配置任务进行下发。
在一种可实施方式中，所述第二目标任务进程的默认进程数至少为两个，所述第三目标任务进程的默认进程数至少为两个。
在一种可实施方式中，所述目标任务进程至少有四个，所述目标任务进程还包括用于对其余目标任务进程进行任务监控的第四目标任务进程，所述耗时任务标签被标记于所述配置任务的路径关键词中；
所述装置还包括：
记录模块，用于基于所述第四目标任务进程记录所述配置任务对应的所述路径关键词；
第一统计模块，用于对于没有所述耗时任务标签的路径关键词，计算接下来获取的第一预设数量的各第一目标配置任务的平均执行时间，并在所述平均执行时间高于预设阈值的所述路径关键词中标记所述耗时任务标签，所述第一目标配置任务为没有所述耗时任务标签的路径关键词对应的配置任务。
在一种可实施方式中，所述装置还包括：
第二统计模块，用于对于有所述耗时任务标签的路径关键词，确定接下来获取的第二预设数量的各第二目标配置任务的各任务执行时间，并在各所述任务执行时间均低于所述预设阈值时，移除所述路径关键词的所述耗时任务标签，所述第二目标配置任务为有所述耗时任务标签的路径关键词对应的配置任务。
在一种可实施方式中，所述装置还包括：
第三统计模块，用于基于所述第四目标任务进程分别统计待统计目标任务进程的单位时间任务下发数，并基于所述单位时间任务下发数调整所述待统计目标任务进程的实时进程数，所述待统计目标任务进程包括第二目标任务进程和第三目标任务进程。
本领域的技术人员可以清楚地了解到本申请实施例的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是现场可编程门阵列（Field－ProgrammableGate Array，FPGA）、集成电路（IntegratedCircuit，IC）等。
本申请实施例的各处理单元和/或模块，可通过实现本申请实施例所述的功能的模拟电路而实现，也可以通过执行本申请实施例所述的功能的软件而实现。
参见图3，其示出了本申请实施例所涉及的一种电子设备的结构示意图，该电子设备可以用于实施图1所示实施例中的方法。如图3所示，电子设备300可以包括：至少一个中央处理器301，至少一个网络接口304，用户接口303，存储器305，至少一个通信总线302。
其中，通信总线302用于实现这些组件之间的连接通信。
其中，用户接口303可以包括显示屏（Display）、摄像头（Camera），可选用户接口303还可以包括标准的有线接口、无线接口。
其中，网络接口304可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
其中，中央处理器301可以包括一个或者多个处理核心。中央处理器301利用各种接口和线路连接整个电子设备300内的各个部分，通过运行或执行存储在存储器305内的指令、程序、代码集或指令集，以及调用存储在存储器305内的数据，执行终端300的各种功能和处理数据。可选的，中央处理器301可以采用数字信号处理（Digital SignalProcessing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（ProgrammableLogic Array，PLA）中的至少一种硬件形式来实现。中央处理器301可集成中央中央处理器（Central Processing Unit，CPU）、图像中央处理器（GraphicsProcessing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到中央处理器301中，单独通过一块芯片进行实现。
其中，存储器305可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-OnlyMemory）。可选的，该存储器305包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器305可用于存储指令、程序、代码、代码集或指令集。存储器305可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器305可选的还可以是至少一个位于远离前述中央处理器301的存储装置。如图3所示，作为一种计算机存储介质的存储器305中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。
在图3所示的电子设备300中，用户接口303主要用于为用户提供输入的接口，获取用户输入的数据；而中央处理器301可以用于调用存储器305中存储的配置任务的分发应用程序，并具体执行以下操作：
拆分通用任务进程，得到至少三个目标任务进程，所述目标任务进程包括用于下发公用文件的第一目标任务进程、用于下发非公用文件中通用任务的第二目标任务进程和用于下发非公用文件中耗时任务的第三目标任务进程；
基于agent节点获取配置任务，确定所述配置任务的任务类别，所述任务类别包括公用文件任务和非公用文件任务；
对于任务类别为公用文件任务的所述配置任务，基于所述第一目标任务进程对所述配置任务进行单进程下发；
对于任务类别为非公用文件任务的所述配置任务，基于所述第二目标任务进程下发不存在耗时任务标签的所述配置任务，基于所述第三目标任务进程下发存在所述耗时任务标签的所述配置任务，所述第二目标任务进程和第三目标任务进程的下发方式包括单进程下发和多进程下发。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统（包括分子存储器IC），或适合于存储指令和/或数据的任何类型的媒介或设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory，RAM）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（Read-Only Memory， ROM）、随机存取器（RandomAccessMemory，RAM）、磁盘或光盘等。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。
Claims (10)
1.一种配置任务的分发方法，其特征在于，所述方法包括：
拆分通用任务进程，得到至少三个目标任务进程，所述目标任务进程包括用于下发公用文件的第一目标任务进程、用于下发非公用文件中通用任务的第二目标任务进程和用于下发非公用文件中耗时任务的第三目标任务进程；
基于agent节点获取配置任务，确定所述配置任务的任务类别，所述任务类别包括公用文件任务和非公用文件任务；
对于任务类别为公用文件任务的所述配置任务，基于所述第一目标任务进程对所述配置任务进行单进程下发；
对于任务类别为非公用文件任务的所述配置任务，基于所述第二目标任务进程下发不存在耗时任务标签的所述配置任务，基于所述第三目标任务进程下发存在所述耗时任务标签的所述配置任务，所述第二目标任务进程和第三目标任务进程的下发方式包括单进程下发和多进程下发。
2.根据权利要求1所述的方法，其特征在于，所述确定所述配置任务的任务类别，所述任务类别包括公用文件任务和非公用文件任务，包括：
确定所述配置任务的配置信息，并匹配所述配置信息与预设的公用文件配置信息，基于匹配结果确定所述配置任务的任务类别，所述公用文件配置信息包括文件路径正则信息、绝对路径信息与文件目录信息中的至少一种信息；
所述配置信息与预设的公用文件配置信息能够匹配时，所述任务类别为公用文件任务；
所述配置信息与预设的公用文件配置信息不能够匹配时，所述任务类别为非公用文件任务。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于从预设的上层文件路径获取到的所述配置任务，基于多进程对所述配置任务进行下发。
4.根据权利要求1所述的方法，其特征在于，所述第二目标任务进程的默认进程数至少为两个，所述第三目标任务进程的默认进程数至少为两个。
5.根据权利要求1所述的方法，其特征在于，所述目标任务进程至少有四个，所述目标任务进程还包括用于对其余目标任务进程进行任务监控的第四目标任务进程，所述耗时任务标签被标记于所述配置任务的路径关键词中；
所述方法还包括：
基于所述第四目标任务进程记录所述配置任务对应的所述路径关键词；
对于没有所述耗时任务标签的路径关键词，计算接下来获取的第一预设数量的各第一目标配置任务的平均执行时间，并在所述平均执行时间高于预设阈值的所述路径关键词中标记所述耗时任务标签，所述第一目标配置任务为没有所述耗时任务标签的路径关键词对应的配置任务。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
对于有所述耗时任务标签的路径关键词，确定接下来获取的第二预设数量的各第二目标配置任务的各任务执行时间，并在各所述任务执行时间均低于所述预设阈值时，移除所述路径关键词的所述耗时任务标签，所述第二目标配置任务为有所述耗时任务标签的路径关键词对应的配置任务。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
基于所述第四目标任务进程分别统计待统计目标任务进程的单位时间任务下发数，并基于所述单位时间任务下发数调整所述待统计目标任务进程的实时进程数，所述待统计目标任务进程包括第二目标任务进程和第三目标任务进程。
8.一种配置任务的分发装置，其特征在于，所述装置包括：
拆分模块，用于拆分通用任务进程，得到至少三个目标任务进程，所述目标任务进程包括用于下发公用文件的第一目标任务进程、用于下发非公用文件中通用任务的第二目标任务进程和用于下发非公用文件中耗时任务的第三目标任务进程；
获取模块，用于基于agent节点获取配置任务，确定所述配置任务的任务类别，所述任务类别包括公用文件任务和非公用文件任务；
第一分发模块，用于对于任务类别为公用文件任务的所述配置任务，基于所述第一目标任务进程对所述配置任务进行单进程下发；
第二分发模块，用于对于任务类别为非公用文件任务的所述配置任务，基于所述第二目标任务进程下发不存在耗时任务标签的所述配置任务，基于所述第三目标任务进程下发存在所述耗时任务标签的所述配置任务，所述第二目标任务进程和第三目标任务进程的下发方式包括单进程下发和多进程下发。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310614759.8A CN116339956B (zh) | 2023-05-29 | 2023-05-29 | 一种配置任务的分发方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310614759.8A CN116339956B (zh) | 2023-05-29 | 2023-05-29 | 一种配置任务的分发方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116339956A true CN116339956A (zh) | 2023-06-27 |
| CN116339956B CN116339956B (zh) | 2023-10-10 |
Family
ID=86893315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310614759.8A Active CN116339956B (zh) | 2023-05-29 | 2023-05-29 | 一种配置任务的分发方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116339956B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0962517A (ja) * | 1995-08-21 | 1997-03-07 | Matsushita Electric Ind Co Ltd | タスク制御装置 |
| CN106027596A (zh) * | 2016-04-27 | 2016-10-12 | 乐视控股（北京）有限公司 | 一种任务分发方法和装置 |
| CN107357642A (zh) * | 2017-06-27 | 2017-11-17 | 北京奇艺世纪科技有限公司 | 一种计算任务调整方法及装置 |
| CN111813554A (zh) * | 2020-07-17 | 2020-10-23 | 济南浪潮数据技术有限公司 | 一种任务调度处理方法、装置及电子设备和存储介质 |
| CN112015525A (zh) * | 2019-05-29 | 2020-12-01 | 上海哔哩哔哩科技有限公司 | 任务进程阻塞管理方法 |
| CN114721743A (zh) * | 2022-04-15 | 2022-07-08 | 支付宝(杭州)信息技术有限公司 | 任务执行方法、装置和电子设备 |
| CN114840318A (zh) * | 2022-04-27 | 2022-08-02 | 中易通科技股份有限公司 | 一种多进程抢占硬件key加解密资源的调度方法 |
-
2023
- 2023-05-29 CN CN202310614759.8A patent/CN116339956B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0962517A (ja) * | 1995-08-21 | 1997-03-07 | Matsushita Electric Ind Co Ltd | タスク制御装置 |
| CN106027596A (zh) * | 2016-04-27 | 2016-10-12 | 乐视控股（北京）有限公司 | 一种任务分发方法和装置 |
| CN107357642A (zh) * | 2017-06-27 | 2017-11-17 | 北京奇艺世纪科技有限公司 | 一种计算任务调整方法及装置 |
| CN112015525A (zh) * | 2019-05-29 | 2020-12-01 | 上海哔哩哔哩科技有限公司 | 任务进程阻塞管理方法 |
| CN111813554A (zh) * | 2020-07-17 | 2020-10-23 | 济南浪潮数据技术有限公司 | 一种任务调度处理方法、装置及电子设备和存储介质 |
| CN114721743A (zh) * | 2022-04-15 | 2022-07-08 | 支付宝(杭州)信息技术有限公司 | 任务执行方法、装置和电子设备 |
| CN114840318A (zh) * | 2022-04-27 | 2022-08-02 | 中易通科技股份有限公司 | 一种多进程抢占硬件key加解密资源的调度方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116339956B (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108776934B (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
| EP3554009A1 (en) | Method and device for service deployment | |
| CN110753131A (zh) | 微服务分布式限流方法及装置、存储介质和电子设备 | |
| US8819220B2 (en) | Management method of computer system and management system | |
| US11489735B2 (en) | Dynamic network allocation apparatus, dynamic network allocation method and non-transitory computer-readable medium | |
| CN111694646A (zh) | 资源调度方法、装置、电子设备及计算机可读存储介质 | |
| CN112579622B (zh) | 业务数据的处理方法、装置及设备 | |
| CN109522115A (zh) | 资源配置方法、电子设备及存储介质 | |
| CN110784530A (zh) | 灰度的发布方法和服务器 | |
| CN115033352A (zh) | 多核处理器任务调度方法、装置及设备、存储介质 | |
| CN104579738B (zh) | 用以在网络中管理流量的计算机实施的方法、计算机系统、计算机程序产品 | |
| CN115439250A (zh) | 一种交易请求的处理方法及装置、存储介质、电子装置 | |
| CN116301568A (zh) | 一种数据访问方法、装置以及设备 | |
| CN114048033A (zh) | 跑批任务的负载均衡方法、装置及计算机设备 | |
| WO2010079535A1 (en) | Storage system having plural microprocessors, and processing allotment method for storage system having plural microprocessors | |
| CN114356516A (zh) | 资源调度方法及相关装置、设备和存储介质 | |
| CN113347238A (zh) | 基于区块链的消息分区方法及系统、设备、存储介质 | |
| CN116339956B (zh) | 一种配置任务的分发方法、装置、电子设备及存储介质 | |
| CN116089477B (zh) | 分布式训练方法及系统 | |
| CN108924128A (zh) | 一种移动终端及其进程间通信的限制方法、存储介质 | |
| US11995460B2 (en) | Resource determination device, method, and program | |
| CN109032814A (zh) | 一种移动终端及其进程间通信的监控方法、存储介质 | |
| CN115686746A (zh) | 访问方法、任务处理方法、计算设备及计算机存储介质 | |
| CN112114931B (zh) | 深度学习程序配置方法、装置、电子设备及存储介质 | |
| CN108399031A (zh) | 确定界面布局方式的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |