CN117971417A - 任务调度方法、装置、设备及存储介质 - Google Patents
任务调度方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117971417A CN117971417A CN202311797322.9A CN202311797322A CN117971417A CN 117971417 A CN117971417 A CN 117971417A CN 202311797322 A CN202311797322 A CN 202311797322A CN 117971417 A CN117971417 A CN 117971417A
- Authority
- CN
- China
- Prior art keywords
- execution
- task
- target
- utilization rate
- execution task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 4
- 238000012417 linear regression Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000700605 Viruses Species 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本公开提供一种任务调度方法、装置、设备及存储介质，涉及计算机技术领域，具体涉及神经网络、进程调度等技术领域，可应用于安全扫描、计算机任务处理等场景下。具体实现方案包括：获取至少两个执行任务的初始参数；将初始参数输入预设的检测模型中，通过检测模型输出处理执行任务需要的占用率；选取占用率与目标利用率差值最小的目标执行任务，目标利用率小于或等于处理器的剩余利用率；当目标执行任务的占用率小于目标利用率时，将目标执行任务添加至当前任务执行周期进行执行；当目标执行任务的占用率大于目标利用率时，将目标执行任务添加至下一任务执行周期进行执行。本公开可以根据执行任务的占用率分配资源，提高资源的利用率。
Description
技术领域
本公开涉及计算机技术领域，具体涉及神经网络、进程调度等技术领域，可应用于安全扫描、计算机任务处理等场景下，尤其涉及一种任务调度方法、装置、设备及存储介质。
背景技术
安全扫描检测指的是对文件进行扫描，并判断文件安全性的一种手段。在安全扫描检测中,当存在多个需要进行安全扫描的文件时，会涉及任务调度问题，也即文件的扫描顺序问题。对文件的扫描任务的耗时取决于许多因素，包括扫描任务的规模、复杂性以及所用的技术和资源等。因此对不同文件的扫描任务，会占用不同的资源。
现有技术中，一般是将按照文件上传的顺序作为对文件的扫描顺序，对文件进行检测，并输出文件的检测结果。
但是，现有的对文件进行扫描的方式会导致资源的分配不合理，从而导致资源的闲置或是资源利用率不高。
发明内容
本公开提供了一种任务调度方法、装置、设备及存储介质，可以根据执行任务的占用率分配资源，实现资源的合理利用，提高资源的利用率。
根据本公开的第一方面，提供了一种任务调度方法，该方法包括：获取至少两个执行任务的初始参数；将初始参数输入预设的检测模型中，通过检测模型输出处理执行任务需要的占用率；选取占用率与目标利用率差值最小的目标执行任务，目标利用率小于或等于处理器的剩余利用率；当目标执行任务的占用率小于目标利用率时，将目标执行任务添加至当前任务执行周期进行执行；当目标执行任务的占用率大于目标利用率时，将目标执行任务添加至下一任务执行周期进行执行。
根据本公开的第二方面，提供了一种检测模型训练方法，该方法包括：将执行任务的初始参数作为输入、将处理执行任务需要的占用率作为输出，对神经网络进行训练，得到检测模型。
根据本公开的第三方面，提供了一种任务调度装置，该装置包括：获取单元、确定单元。
获取单元，用于获取至少两个执行任务的初始参数；将初始参数输入预设的检测模型中，通过检测模型输出处理执行任务需要的占用率。
确定单元，用于选取占用率与目标利用率差值最小的目标执行任务，目标利用率小于或等于处理器的剩余利用率；当目标执行任务的占用率小于目标利用率时，将目标执行任务添加至当前任务执行周期进行执行；当目标执行任务的占用率大于目标利用率时，将目标执行任务添加至下一任务执行周期进行执行。
根据本公开的第四方面，提供了一种检测模型训练装置，该装置包括：训练单元。
训练单元，用于将执行任务的初始参数作为输入、将处理执行任务需要的占用率作为输出，对神经网络进行训练，得到检测模型。
根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面的方法。
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行根据第一方面或第二方面的方法。
根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据第一方面或第二方面的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开实施例提供的任务调度方法的流程示意图；
图2为本公开实施例提供的任务调度方法的另一流程示意图；
图3为本公开实施例提供的任务调度装置的组成示意图；
图4为本公开实施例提供的检测模型训练装置的组成示意图；
图5为本公开实施例提供的可以用来实施本公开的实施例的示例电子设备500的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
应当理解，在本公开各实施例中，字符“/”一般表示前后关联对象是一种“或”的关系。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
安全扫描检测指的是对文件进行扫描，并判断文件安全性的一种手段。在安全扫描检测中,当存在多个需要进行安全扫描的文件时，会涉及任务调度问题，也即文件的扫描顺序问题。对文件的扫描任务的耗时取决于许多因素，包括扫描任务的规模、复杂性以及所用的技术和资源等。因此对不同文件的扫描任务，会占用不同的资源。
示例性地，安全扫描时扫描的文件的类型可以包括：安卓、IOS、Jar包、exe安装包等文件。并且在安全扫描时，不同的用户关注的文件的检测项也是不同的，文件的扫描任务的耗时可以存在多种因素，例如文件的数量和规模、文件的复杂性、服务器的硬件性能、服务器的并行处理能力、服务器的网络状态、服务器的算法、扫描时资源竞争情况、错误处理和重试等。不同的因素会导致文件扫描时的耗时不同、占用不同的资源。
例如，A厂商更关注文件是否对客户端存在病毒危害，B厂商更加关注文件是否会异常读取客户端的隐私数据等。A文件扫描完成耗时50秒，在扫描时会占用服务器10％的CPU以及5％的GPU；B文件扫描完成耗时30秒，在扫描时会占用服务器6％的CPU以及3％的GPU。
现有技术中，一般是将按照文件上传的顺序作为对文件的扫描顺序，对文件进行检测，并输出文件的检测结果。
示例性地，在安全扫描之前，会将需要进行安全扫描的文件进行上传。当对文件进行安全扫描时，会将文件上传的先后顺序作为安全扫描的先后顺序，对每个文件依次进行安全扫描。
但是，现有的对文件进行扫描的方式会导致资源的分配不合理，从而导致资源的闲置或是资源利用率不高。
示例性地，将文件上传的先后顺序作为安全扫描的先后顺序，对每个文件依次进行安全扫描，会导致每个文件的扫描任务可能都需要一个处理周期，从而导致扫描任务的周期数量多，从而导致资源的闲置或是对资源的利用率不高。
在此背景技术下，本公开提供了一种任务调度方法，能够根据执行任务的占用率分配资源，实现资源的合理利用，提高资源的利用率。
示例性地，该任务调度方法的执行主体可以是计算机或服务器，或者还可以是其他具有数据处理能力的设备。在此对该方法的执行主体不作限制。
一些实施例中，服务器可以是单独的一个服务器，或者，也可以是由多个服务器构成的服务器集群。部分实施方式中，服务器集群还可以是分布式集群。本公开对服务器的具体实现方式也不作限制。
图1为本公开实施例提供的任务调度方法的流程示意图。如图1所示，该方法可以包括步骤S101-S105。
S101、获取至少两个执行任务的初始参数。
示例性地，执行任务的初始参数对应执行文件的初始参数，可以包括执行文件的大小、执行文件的复杂度等，在此不做具体限制。执行文件可以是需要进行安全扫描的文件。执行任务对应的执行文件可以是由用户上传的，也可以是由服务器在数据库中拉取的，在此对执行文件的获取方式不做限制。获取至少两个执行任务的初始参数，可以是用户将至少两个执行文件的初始参数进行上传，服务器通过获取用户上传的至少两个执行文件的初始参数来确定至少两个执行任务的初始参数。
例如，执行文件的类型可以包括但不限于文件夹、安卓安装包、IOS安装包、压缩文件、Jar包、exe安装包等。基于不同执行文件的初始参数，对应的执行任务的初始参数也不相同。
S102、将初始参数输入预设的检测模型中，通过检测模型输出处理执行任务需要的占用率。
示例性地，预设的检测模型可以是预先训练好的神经网络模型，可以将不同执行文件的不同初始参数作为输入，将不用执行文件对应的占用率作为输入，对神经网络进行训练，得到预设的检测模型。
例如，可以获取3个执行文件的初始参数，分别为执行文件A的初始参数、执行文件B的初始参数、执行文件C的初始参数，也即获取到执行任务A的初始参数、执行任务B的初始参数、执行任务C的初始参数。将3个执行文件的初始参数分别输入预设的检测模型中，通过检测模型输出处理执行任务A的占用率为10％、执行任务B的占用率为20％、执行任务C的占用率为50％。
S103、选取占用率与目标利用率差值最小的目标执行任务，目标利用率小于或等于处理器的剩余利用率。
示例性地，处理器的剩余利用率可以指的是处理器的极限利用率，也可以指的是为保证处理器正常工作，人为设定的处理器的可使用的利用率。目标利用率的大小可以小于或等于处理器的剩余利用率的大小。
例如，处理器的极限利用率可以为70％，对应的处理器的剩余利用的大小可以为70％，目标利用率的大小可以为70％，并且可以存在三个执行任务以及对应的占用率分别为执行任务A的占用率为10％、执行任务B的占用率为20％、执行任务C的占用率为50％。执行任务A的占用率与目标利用率70％的差值为60％，执行任务B的占用率与目标利用率70％的差值为50％，执行任务C的占用率与目标利用率70％的差值为20％。执行任务C与目标利用率的差值最小，因此选取的目标执行任务为执行任务C。
S104、当目标执行任务的占用率小于目标利用率时，将目标执行任务添加至当前任务执行周期进行执行。
示例性地，任务执行周期指的是服务器处理单个占用率小于或等于目标利用率所需要的时间。目标利用率的大小可以为处理器根据处理能力来设置，也可以根据用户根据处理器的处理能力来设置，在此对目标利用率的大小不做限制。将目标执行任务添加至当前任务执行周期进行执行，表示将目标执行任务添加至当前任务执行周期之后对目标任务进行处理。
例如，目标利用率的大小可以为70％，执行任务A的占用率为10％、执行任务B的占用率为20％、执行任务C的占用率为50％。处理器处理执行任务B的时间可以为一个任务执行周期，处理器处理执行任务A的时间也可以为一个任务执行周期。在此对当前任务执行周期的时间不作限制，只要满足单个占用率小于或等于目标利用率所需要的时间，均可以认为是一个任务执行周期。执行任务A的占用率为10％，小于目标利用率，可以将执行任务A添加至当前任务执行周期进行执行。
S105、当目标执行任务的占用率大于目标利用率时，将目标执行任务添加至下一任务执行周期进行执行。
例如，目标利用率的大小可以为70％，执行任务A的占用率为80％、执行任务B的占用率为80％、执行任务C的占用率为85％。可以将执行任务A、执行任务B、执行任务C均添加至下一任务执行周期进行执行。
本公开通过获取至少两个执行任务的初始参数，将初始参数输入预设的检测模型中，通过检测模型输出处理执行任务需要的占用率，可以确定出处理每个执行任务所需要的占用率，确保执行任务所需的资源占用率符合目标要求，避免过度占用或不足的情况发生，保证任务能够按时完成；选取占用率与目标利用率差值最小的目标执行任务，当目标执行任务的占用率小于目标利用率时，将目标执行任务添加至当前任务执行周期进行执行，并当目标执行任务的占用率大于目标利用率时，将目标执行任务添加至下一任务执行周期进行执行，可以根据执行任务对应的占用率确定执行任务的任务执行周期和执行顺序，将处理器资源的利用率最大化，使执行任务在不同任务执行周期之间灵活切换，以适应实际资源情况和任务调度的需要，实现执行任务的有序执行，减少等待时间，提高处理器的处理效率。
一些实施例中，该任务调度方法还包括：当目标执行任务的占用率大于目标利用率时，结束当前任务执行周期。
示例性地，结束当前任务执行周期，指的是将目标执行任务添加至当前任务执行周期之后对目标任务进行处理并结束当前任务执行周期，进入处理器处理执行任务的下一个任务执行周期。
例如，目标利用率的大小可以为70％，执行任务A的占用率为80％、执行任务B的占用率为80％。当执行任务A为目标执行任务时，执行任务A的占用率大于目标利用率，那么就结束当前任务执行周期。
本实施例当目标执行任务的占用率大于目标利用率时，结束当前任务执行周期，可以确保避免处理器的资源过度利用，从而确保目标利用率的稳定性，确保目标执行任务拥有足够的资源和时间来完成，并减少因处理器的资源不足导致任务执行质量下降的风险，避免资源冲突和任务中断的情况发生，保证任务执行的连续性和稳定性。
一些实施例中，该任务调度方法还包括：当目标执行任务的占用率大于目标利用率时，继续从除目标执行任务之外的执行任务中选取与目标利用率差值最小的执行任务作为新的目标执行任务；当至少两个执行任务中不存在占用率小于目标利用率的目标执行任务时，结束当前任务执行周期。
示例性地，任务执行周期指处理器处理执行任务所需要的时间，执行任务的数量在此不做限制。目标利用率可以随着执行任务的添加而不断变化。
例如，当没有在任务执行周期添加执行任务时，目标利用率的大小可以为80％，执行任务A的占用率为10％、执行任务B的占用率为20％、执行任务C的占用率为50％。在将一个占用率为50％的执行任务C(也即目标执行任务)添加至任务执行周期后，目标利用率的大小变化为30％，由没有在任务执行周期添加执行任务时的目标利用率80％减去执行任务C占用率30％得到。继续从除目标执行任务之外的执行任务中选取与目标利用率差值最小的执行任务作为新的目标执行任务，选取执行任务B为新的目标执行任务，目标利用率变化为10％。
又例如，当没有在任务执行周期添加执行任务时，目标利用率的大小可以为80％，执行任务A的占用率为90％、执行任务B的占用率为87％、执行任务C的占用率为81％，不存在占用率小于目标利用率的目标执行任务，因此结束当前任务执行周期。
本实施例中，当目标执行任务的占用率大于目标利用率时，继续从除目标执行任务之外的执行任务中选取与目标利用率差值最小的执行任务作为新的目标执行任务，可以最大程度地接近目标利用率，以实现处理器资源的最优化利用。这样可以平衡处理器资源的分配，避免处理器资源的过度占用或浪费，提高整体处理器资源利用率；当至少两个执行任务中不存在占用率小于目标利用率的目标执行任务时，结束当前任务执行周期，可以避免因任务占用率不足而导致任务无法正常执行或执行效果不佳的情况发生，保证系统的稳定性和可靠性，可以清晰地确定当前任务执行周期的结束，并为下一个任务执行周期的任务调度做好准备，简化任务调度的规划和决策过程。
一些实施例中，图1中步骤S101包括：针对每个执行任务，按照预设的参数条件对执行任务的执行文件进行预检测，得到执行任务的初始参数。
示例性地，执行任务的初始参数可以是服务器对执行文件处理所需要的默认参数，也可以是用户设置的满足用户实际需求的自定义参数，在此对默认参数不做具体限制。对执行任务的执行文件进行预检测，对执行任务的执行文件进行预检测，以获取预设参数条件的数值大小。
例如，预设的参数条件可以为大小、占用空间、文件类型。可以获取三个执行文件，分别为执行文件A、执行文件B、执行文件C，三个执行文件分别对应执行任务A、执行任务B、执行任务C。对执行文件A进行预检测，得到执行任务A的初始参数为：大小为50KB、占用空间为51KB、文件类型为安卓安装包，执行任务B的初始参数为：大小为60KB、占用空间为62KB、文件类型为安卓安装包，执行任务C的初始参数为：大小为50KB、占用空间为51KB、文件类型为IOS安装包。
本实施例中针对每个执行任务，按照预设的参数条件对执行任务的执行文件进行预检测，可以根据预设的参数条件进行调整和优化，可以确保执行任务在执行过程中具备最佳的配置和设置，以提高执行任务的效率和质量；得到执行任务的初始参数，通过对执行文件进行预检测，可以避免在执行任务时发现执行文件存在问题或无法满足执行要求，从而节省时间和资源。
图2为本公开实施例提供的任务调度方法的另一流程示意图。如图2所示，该方法可以包括步骤S201-S202。
S201、接收用户输入的参数条件配置信息。
S202、根据参数条件配置信息，更新预设的参数条件。
示例性地，用户可以根据实际需求，输入相应的参数条件配置信息，服务器可以根据用户输入的参数条件配置信息，对预设的参数条件进行更新。
例如，用户输入的参数条件配置信息可以为：大小、占用空间，服务器中的预设的参数条件可以为：大小、占用空间、文件类型。根据用户输入的参数条件配置信息，可以将服务器中预设的参数条件更新为：大小、占用空间。
本实施例通过接收用户输入的参数条件配置信息，并根据参数条件配置信息，更新预设的参数条件，可以使服务器更好地适应用户的需求，提供更加贴合用户期望的执行任务，进一步地，通过更新预设的参数条件，系统可以更加灵活地应对不同预设的参数条件下的处理执行任务的资源需求，提供更加适应的任务执行策略。
一些实施例中，该任务调度方法还包括：针对每个任务执行周期，按照任务执行周期内的任务执行顺序，对执行任务的执行文件进行安全性检测。
示例性地，对执行任务的执行文件进行安全性检测，指的是对执行文件进行全面的安全扫描和分析，以确定其中是否存在潜在的安全威胁或恶意代码。
例如，执行文件是否含有病毒、恶意软件、木马等恶意代码、执行文件是否存在安全漏洞、检验执行文件的完整性和真实性、执行文件是否可以在正确的权限和访问控制下运行、执行文件进行网络连接和通信时的安全性等，都可以认为是对执行文件进行安全性检测，在此对安全性检测的方式不做具体限制。
本实施例中针对每个任务执行周期，按照任务执行周期内的任务执行顺序，对执行任务的执行文件进行安全性检测，可以提前发现和解决潜在的安全风险，保障任务执行的安全性和可靠性，防止恶意代码传播和数据泄露，提高整个执行文件的安全性水平。
本公开还提供了一种检测模型训练方法，包括：将执行任务的初始参数作为输入、将处理所述执行任务需要的占用率作为输出，对神经网络进行训练，得到检测模型。
示例性地，神经网络可以选用线性回归的方式进行设计。
例如，线性回归的公式可以设置为：
y＝β0+β1x1+β2x2+β3x3+…+βnxn+∈ 公式(1)
公式(1)中，y表示处理执行任务需要的占用率，β0表示调整常数，n为正整数，βn表示第n个预设的参数条件对应的系数，xn表示第n个预设的参数条件对应的数值，∈表示误差常数。
在执行任务的初始参数作为输入，输入到神经网络之前，可以先对初始参数进行预处理，例如，可以使用One-hot编码或标签编码对非数值型初始参数(如“厂商”和“类型”)进行编码，可以规范化或标准化数值初始参数(如“文件大小”、“当前CPU使用情况”和“内存情况”)，可以确保每个初始参数的特征在模型训练中具有相同的尺度。
在神经网络构建时，可以使用scikit-learn的LinearRegression类来构建线性回归模型。
在构建完成神经网络之后，可以将执行任务的初始参数作为输入、将处理所述执行任务需要的占用率作为输出，对神经网络进行训练，得到检测模型。
在得到检测模型之后，可以使用验证数据集或交叉验证来评估检测模型的性能。例如，可以使用均方误差(MSE)或者平均绝对误差(MAE)来对检测模型进行评估。
本实施例通过将执行任务的初始参数作为输入、将处理所述执行任务需要的占用率作为输出，对神经网络进行训练，得到检测模型，可以准确地确定初始参数与所需占用率之间的关系，并优化任务调度、减少资源浪费、提高系统稳定性以及应对动态环境的变化，有助于提升系统的效率、性能和可靠性，满足不同执行任务需求的资源分配要求。
示例性实施例中，本公开实施例还提供一种任务调度装置，可以用于实现如前述实施例的任务调度方法。图3为本公开实施例提供的任务调度装置的组成示意图。如图3所示，该装置可以包括：获取单元301、确定单元302。
获取单元301，用于获取至少两个执行任务的初始参数；将初始参数输入预设的检测模型中，通过检测模型输出处理执行任务需要的占用率。
确定单元302，用于选取占用率与目标利用率差值最小的目标执行任务，目标利用率小于或等于处理器的剩余利用率；当目标执行任务的占用率小于目标利用率时，将目标执行任务添加至当前任务执行周期进行执行；当目标执行任务的占用率大于目标利用率时，将目标执行任务添加至下一任务执行周期进行执行。
可选地，确定单元302，还用于：当目标执行任务的占用率大于目标利用率时，结束当前任务执行周期。
可选地，确定单元302，还用于：当目标执行任务的占用率大于目标利用率时，继续从除目标执行任务之外的执行任务中选取与目标利用率差值最小的执行任务作为新的目标执行任务；当至少两个执行任务中不存在占用率小于目标利用率的目标执行任务时，结束当前任务执行周期。
可选地，获取单元301，具体用于：针对每个执行任务，按照预设的参数条件对执行任务的执行文件进行预检测，得到执行任务的初始参数。
可选地，获取单元301，还用于：接收用户输入的参数条件配置信息；根据参数条件配置信息，更新预设的参数条件。
可选地，该装置还包括：执行单元303，用于针对每个任务执行周期，按照任务执行周期内的任务执行顺序，对执行任务的执行文件进行安全性检测。
示例性实施例中，本公开实施例还提供一种检测模型训练装置，可以用于实现如前述实施例的检测模型训练方法。图4为本公开实施例提供的检测模型训练装置的组成示意图。如图4所示，该装置可以包括：训练单元401。
训练单元401，具体用于将执行任务的初始参数作为输入、将处理执行任务需要的占用率作为输出，对神经网络进行训练，得到检测模型。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质、一种计算机程序产品。
示例性实施例中，电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上实施例所述的方法。
示例性实施例中，可读存储介质可以是存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行根据以上实施例所述的方法。
示例性实施例中，计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据以上实施例所述的方法。
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示，电子设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储电子设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
电子设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许电子设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如任务调度方法。例如，在一些实施例中，任务调度方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到电子设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的任务调度方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行任务调度方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (17)
1.一种任务调度方法，所述方法包括：
获取至少两个执行任务的初始参数；
将所述初始参数输入预设的检测模型中，通过所述检测模型输出处理所述执行任务需要的占用率；
选取占用率与目标利用率差值最小的目标执行任务，所述目标利用率小于或等于处理器的剩余利用率；
当所述目标执行任务的占用率小于所述目标利用率时，将所述目标执行任务添加至当前任务执行周期进行执行；
当所述目标执行任务的占用率大于所述目标利用率时，将所述目标执行任务添加至下一任务执行周期进行执行。
2.根据权利要求1所述的方法，所述方法还包括：
当所述目标执行任务的占用率大于所述目标利用率时，结束所述当前任务执行周期。
3.根据权利要求1所述的方法，所述方法还包括：
当所述目标执行任务的占用率大于所述目标利用率时，继续从除所述目标执行任务之外的执行任务中选取与所述目标利用率差值最小的执行任务作为新的目标执行任务；
当所述至少两个执行任务中不存在占用率小于所述目标利用率的目标执行任务时，结束所述当前任务执行周期。
4.根据权利要求1-3任一项所述的方法，所述获取至少两个执行任务的初始参数，包括：
针对每个所述执行任务，按照预设的参数条件对所述执行任务的执行文件进行预检测，得到所述执行任务的初始参数。
5.根据权利要求4所述的方法，所述方法还包括：
接收用户输入的参数条件配置信息；
根据所述参数条件配置信息，更新所述预设的参数条件。
6.根据权利要求1-5任一项所述的方法，所述方法还包括：
针对每个任务执行周期，按照所述任务执行周期内的任务执行顺序，对所述执行任务的执行文件进行安全性检测。
7.一种检测模型训练方法，所述方法包括：
将执行任务的初始参数作为输入、将处理所述执行任务需要的占用率作为输出，对神经网络进行训练，得到检测模型。
8.一种任务调度装置，所述装置包括：
获取单元，用于获取至少两个执行任务的初始参数；将所述初始参数输入预设的检测模型中，通过所述检测模型输出处理所述执行任务需要的占用率；
确定单元，用于选取占用率与目标利用率差值最小的目标执行任务，所述目标利用率小于或等于处理器的剩余利用率；当所述目标执行任务的占用率小于所述目标利用率时，将所述目标执行任务添加至当前任务执行周期进行执行；当所述目标执行任务的占用率大于所述目标利用率时，将所述目标执行任务添加至下一任务执行周期进行执行。
9.根据权利要求8所述的装置，所述确定单元，还用于：
当所述目标执行任务的占用率大于所述目标利用率时，结束所述当前任务执行周期。
10.根据权利要求8所述的装置，所述确定单元，还用于：
当所述目标执行任务的占用率大于所述目标利用率时，继续从除所述目标执行任务之外的执行任务中选取与所述目标利用率差值最小的执行任务作为新的目标执行任务；
当所述至少两个执行任务中不存在占用率小于所述目标利用率的目标执行任务时，结束所述当前任务执行周期。
11.根据权利要求8-10任一项所述的装置，所述获取单元，具体用于：
针对每个所述执行任务，按照预设的参数条件对所述执行任务的执行文件进行预检测，得到所述执行任务的初始参数。
12.根据权利要求11所述的装置，所述获取单元，还用于：
接收用户输入的参数条件配置信息；
根据所述参数条件配置信息，更新所述预设的参数条件。
13.根据权利要求8-12任一项所述的装置，所述装置还包括：
执行单元，用于针对每个任务执行周期，按照所述任务执行周期内的任务执行顺序，对所述执行任务的执行文件进行安全性检测。
14.一种检测模型训练装置，所述装置包括：
训练单元，用于将执行任务的初始参数作为输入、将处理所述执行任务需要的占用率作为输出，对神经网络进行训练，得到预设的检测模型。
15.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6任一项所述的方法，或者，权利要求7所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行根据权利要求1-6任一项所述的方法，或者，权利要求7所述的方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6任一项所述的方法，或者，权利要求7所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311797322.9A CN117971417A (zh) | 2023-12-25 | 2023-12-25 | 任务调度方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311797322.9A CN117971417A (zh) | 2023-12-25 | 2023-12-25 | 任务调度方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117971417A true CN117971417A (zh) | 2024-05-03 |
Family
ID=90848787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311797322.9A Pending CN117971417A (zh) | 2023-12-25 | 2023-12-25 | 任务调度方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117971417A (zh) |
-
2023
- 2023-12-25 CN CN202311797322.9A patent/CN117971417A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114816393B (zh) | 信息生成方法、装置、设备以及存储介质 | |
| CN114924745A (zh) | 深度学习编译器的运行方法、装置及电子设备 | |
| CN108696554B (zh) | 负载均衡方法和装置 | |
| CN112817660A (zh) | 扩展小程序能力的方法、装置、设备以及存储介质 | |
| CN112671892A (zh) | 数据传输方法、装置、电子设备、介质和计算机程序产品 | |
| CN116301997A (zh) | 一种控制器的升级方法、装置、设备和介质 | |
| CN113377295B (zh) | 多生产者单消费者的数据存储和读取方法、装置、设备 | |
| CN116594563A (zh) | 分布式存储扩容方法、装置、电子设备和存储介质 | |
| CN117971417A (zh) | 任务调度方法、装置、设备及存储介质 | |
| CN114138358A (zh) | 应用程序的启动优化方法、装置、设备和存储介质 | |
| CN114021642A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| CN112559547A (zh) | 确定多存储对象副本之间一致性的方法及装置 | |
| CN112000354A (zh) | 版本信息更新方法、装置、设备及存储介质 | |
| CN113760484A (zh) | 数据处理的方法和装置 | |
| CN113468053B (zh) | 一种应用系统的测试方法和装置 | |
| CN114968170B (zh) | 浮点数的定和生成方法、相关装置及计算机程序产品 | |
| CN111179097B (zh) | 保单批改的方法、装置、电子设备和存储介质 | |
| CN114816758B (zh) | 资源分配方法和装置 | |
| CN113961263B (zh) | 小程序分发方法、装置、设备和存储介质 | |
| CN113220555B (zh) | 用于处理数据的方法、装置、设备、介质和产品 | |
| CN114546852B (zh) | 一种性能测试方法、装置、电子设备和存储介质 | |
| CN113760765B (zh) | 代码测试方法、装置、电子设备和存储介质 | |
| CN114327271B (zh) | 生命周期的管理方法、装置、设备以及存储介质 | |
| CN113900734B (zh) | 一种应用程序文件配置方法、装置、设备及存储介质 | |
| CN107944275B (zh) | 一种对计算机的固件进行度量的控制方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication |