CN116185772B - 文件批量检测方法及装置 - Google Patents

文件批量检测方法及装置 Download PDF

Info

Publication number
CN116185772B
CN116185772B CN202310118247.2A CN202310118247A CN116185772B CN 116185772 B CN116185772 B CN 116185772B CN 202310118247 A CN202310118247 A CN 202310118247A CN 116185772 B CN116185772 B CN 116185772B
Authority
CN
China
Prior art keywords
detection
file
task
file detection
monitoring period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310118247.2A
Other languages
English (en)
Other versions
CN116185772A (zh
Inventor
朱磊
姜向前
姚纪卫
张东升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anxin Wangdun Beijing Technology Co ltd
Original Assignee
Anxin Wangdun Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anxin Wangdun Beijing Technology Co ltd filed Critical Anxin Wangdun Beijing Technology Co ltd
Priority to CN202310118247.2A priority Critical patent/CN116185772B/zh
Publication of CN116185772A publication Critical patent/CN116185772A/zh
Application granted granted Critical
Publication of CN116185772B publication Critical patent/CN116185772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3017—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is implementing multitasking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例涉及一种文件批量检测方法及装置，所述方法包括：接收创建的文件检测任务，依据检测引擎的检测资源情况，对所述文件检测任务进行分配；根据定时器设置的第一监控周期，查询检测中的文件检测任务，并根据查询结果对文件检测任务进行第一处理；根据定时器设置的第二监控周期，筛选超时或者失败的文件检测任务，并根据筛选结果对文件检测任务进行第二处理；根据定时器设置的第三监控周期，筛选重检可疑的文件检测任务，并根据筛选结果对文件检测任务进行第三处理。本发明实施例提供的技术方案，通过有效利用文件检测引擎的忙闲状态，对其负荷执行削峰填谷，达到改善和优化文件批量检测结果的目的。

Description

文件批量检测方法及装置
技术领域
本发明实施例涉及互联网计算机技术领域，尤其涉及一种文件批量检测方法及装置。
背景技术
在当今大数据时代，流程并发管理、任务批量执行等特性是计算机文件检测、数据管理类系统的常见设计。一个好的系统不仅要求作业任务吞吐量高，还要求执行结果具有很高的准确性。
而实践中发现，很多系统在能力迭代的同时，流程体系会变得庞大和复杂，实现过程也很难做的面面俱到。有些技术指标之间存在着相互约束的情况，比如，单一的提升作业执行吞吐量会挤压每个作业占用的资源，从而增加运行超时、执行失败的概率。如果这些超时、失败的结果积存起来，会成为系统的沉重负担，严重影响系统效率。
发明内容
基于现有技术的上述情况，本发明实施例的目的在于提供一种文件批量检测方法及装置，通过有效利用文件检测引擎的忙闲状态，对其负荷执行削峰填谷，达到改善和优化文件批量检测结果的目的。
为达到上述目的，根据本发明的第一个方面，提供了一种文件批量检测方法，包括：
接收创建的文件检测任务，依据检测引擎的检测资源情况，对所述文件检测任务进行分配；
根据定时器设置的第一监控周期，查询检测中的文件检测任务，并根据查询结果对文件检测任务进行第一处理；
根据定时器设置的第二监控周期，筛选超时或者失败的文件检测任务，并根据筛选结果对文件检测任务进行第二处理；
根据定时器设置的第三监控周期，筛选重检可疑的文件检测任务，并根据筛选结果对文件检测任务进行第三处理；
所述第二监控周期在第一监控周期结束后开启，所述第三监控周期在第二监控周期结束后开启。
进一步的，所述依据检测引擎的检测资源情况，对所述文件检测任务进行分配，包括：
若检测引擎有空闲检测资源，则将该文件检测任务分配至空闲检测资源；
若检测引擎无空闲检测资源，则将该文件检测任务加入至等待队列。
进一步的，所述查询检测中的文件检测任务，并根据查询结果对文件检测任务进行第一处理，包括：
查询检测中的文件检测任务是否正在占用检测引擎；
若正在占用检测引擎，则等待检测结果；
若没有占用检测引擎，则查找检测引擎是否有检测结果文件产生；若有检测结果产生，则将该检测结果进行存储；若没有检测结果产生，则调用检测发起接口，根据检测引擎的检测资源情况来决定开始检测还是加入等待队列。
进一步的，所述筛选超时或者失败的文件检测任务，并根据筛选结果对文件检测任务进行第二处理，包括：
检查超时或者失败的文件检测任务在第一监控周期的执行后是否有检测结果产生；若有，则将该检测结果进行存储；若无，则将该文件检测任务加入重检队列。
进一步的，所述筛选重检可疑的文件检测任务，并根据筛选结果对文件检测任务进行第三处理，包括：
当优先队列中的文件检测任务已执行完毕时，对可疑的文件检测任务进行重检。
进一步的，新创建的文件检测任务的优先级高于查询检测中的文件检测任务的优先级，查询检测中的文件检测任务的优先级高于超时或者失败的文件检测任务，超时或者失败的文件检测任务的优先级高于重检可疑的文件检测任务的优先级。
根据本发明的第二个方面，提供了一种文件批量检测装置，包括：
任务分配模块，用于接收创建的文件检测任务，依据检测引擎的检测资源情况，对所述文件检测任务进行分配；
第一监控处理模块，用于根据定时器设置的第一监控周期，查询检测中的文件检测任务，并根据查询结果对文件检测任务进行第一处理；
第二监控处理模块，用于根据定时器设置的第二监控周期，筛选超时或者失败的文件检测任务，并根据筛选结果对文件检测任务进行第二处理；
第三监控处理模块，用于根据定时器设置的第三监控周期，筛选重检可疑的文件检测任务，并根据筛选结果对文件检测任务进行第三处理；
所述第二监控周期在第一监控周期结束后开启，所述第三监控周期在第二监控周期结束后开启。
进一步的，所述任务分配模块，依据检测引擎的检测资源情况，对所述文件检测任务进行分配，包括：
若检测引擎有空闲检测资源，则将该文件检测任务分配至空闲检测资源；
若检测引擎无空闲检测资源，则将该文件检测任务加入至等待队列。
进一步的，所述第一监控处理模块，查询检测中的文件检测任务，并根据查询结果对文件检测任务进行第一处理，包括：
查询检测中的文件检测任务是否正在占用检测引擎；
若正在占用检测引擎，则等待检测结果；
若没有占用检测引擎，则查找检测引用是否有检测结果文件产生；若有检测结果产生，则将该检测结果进行存储；若没有结果检测结果产，则调用检测发起接口，根据检测引擎的检测资源情况来决定开始检测还是加入等待队列。
进一步的，所述第二监控处理模块，筛选超时或者失败的文件检测任务，并根据筛选结果对文件检测任务进行第二处理，包括：
检查超时或者失败的文件检测任务在前一个监控周期的查询后是否有检测结果产生；若有，则将该检测结果进行存储；若无，则将该文件检测任务加入重检队列；
所述第三监控处理模块，筛选重检可疑的文件检测任务，并根据筛选结果对文件检测任务进行第三处理，包括：
当优先队列中的文件检测任务已执行完毕时，对可疑的文件检测任务进行重检。
综上所述，本发明实施例提供了一种文件批量检测方法及装置，所述方法包括：接收创建的文件检测任务，依据检测引擎的检测资源情况，对所述文件检测任务进行分配；根据定时器设置的第一监控周期，查询检测中的文件检测任务，并根据查询结果对文件检测任务进行第一处理；根据定时器设置的第二监控周期，筛选超时或者失败的文件检测任务，并根据筛选结果对文件检测任务进行第二处理；根据定时器设置的第三监控周期，筛选重检可疑的文件检测任务，并根据筛选结果对文件检测任务进行第三处理。本发明实施例提供的技术方案，针对不是紧急的文件检测任务，适度降权，针对检测引擎忙闲不均衡的问题，利用空闲检测资源重启那些处于超时状态、失败状态的作业，从而帮助提高整体系统的作业完成率和准确性。通过有效利用文件检测引擎的忙闲状态，对其负荷执行削峰填谷，达到改善和优化文件批量检测结果的目的。
附图说明
图1是本发明一个实施例提供的文件批量检测方法的流程图；
图2是采用本发明实施例提供的检测方法进行作业检测的流程示意图；
图3是本发明一个实施例提供的文件批量检测装置的构成框图；
图4是本发明一个实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
需要说明的是，除非另外定义，本发明一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本发明一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
下面结合附图对本发明的技术方案进行详细说明。本发明的实施例，提供了一种文件批量检测方法，图1中示出了该检测方法的流程图，如图1所示，该方法包括如下步骤：
S202、接收创建的文件检测任务，依据检测引擎的检测资源情况，对所述文件检测任务进行分配：若检测引擎有空闲检测资源，则将该文件检测任务分配至空闲检测资源；若检测引擎无空闲检测资源，则将该文件检测任务加入至等待队列。
S204、根据定时器设置的第一监控周期，查询检测中的文件检测任务，并根据查询结果对文件检测任务进行第一处理。该第一处理包括：查询检测中的文件检测任务是否正在占用检测引擎；若正在占用检测引擎，则等待检测结果；若没有占用检测引擎，则查找检测引用是否有检测结果文件产生；若有检测结果产生，则将该检测结果进行存储；若没有结果检测结果产，则调用检测发起接口，根据检测引擎的检测资源情况来决定开始检测还是加入等待队列。该步骤中，检测中的文件检测任务指文件检测任务已经上传但尚未有检测结果的记录。由于检测资源有限，并不能保证所有文件检测任务都能立即分配到资源。例如，同时上传10个文件检测任务，但只有五个行为沙盒可用，则只能分配给5个文件检测任务，其余5个排队等待。
S206、根据定时器设置的第二监控周期，筛选超时或者失败的文件检测任务，并根据筛选结果对文件检测任务进行第二处理。该第二处理包括：检查超时或者失败的文件检测任务在前一个监控周期的查询后是否有检测结果产生；若有，则将该检测结果进行存储；若无，则将该文件检测任务加入重检队列。由于存在检测结果文件落盘时间滞后于查询时间的情况，所以先检查超时或者失败的文件检测任务在前一个监控周期的查询后是否有检测结果产生，并根据是否有检测结果产生进行下一步操作。
S208、根据定时器设置的第三监控周期，筛选重检可疑的文件检测任务，并根据筛选结果对文件检测任务进行第三处理。该第三处理包括：当优先队列中的文件检测任务已执行完毕时，对可疑的文件检测任务进行重检。
上述第一监控周期、第二监控周期和第三监控周期，可以通过定时器(Cron Jobs)设置。由于事件触发类操作带有随机性，而且并发时容易产生竞争，并不利于检测节奏的控制。本发明实施例技术方案中采用定时器来负责文件检测任务的启动和其它关联作业的发起。该定时器并不是在每个约定的时间都会执行，下次作业的启动必须在上次作业完成之后才能开始。本发明实施例的技术方案中，所有文件检测作业是一个按照优先次序分段排序的链表式队列，只允许调度器安排的插队。系统会根据检测引擎的实际吞吐量来分批次消费队列中的任务。
其中，第二监控周期在第一监控周期结束后开启，所述第三监控周期在第二监控周期结束后开启。具体来说，在第一监控周期内，对所有检测中的文件检测任务进行查询，确保所有文件检测任务均得到过一次检测机会。在第一监控周期结束后开启第二监控周期，进行超时、失败或者自定义重检过程，即在第一监控周期结束时，所有常规的文件检测任务都已经完成，才开启第二监控周期。在第二监控周期对所有超时或者失败的文件检测任务进行筛选，直至无超时和失败任务，即第二监控周期结束，开启第三监控周期。可见，三个监控周期存在先后顺序和前置条件约束。
随着超时时长参数、重检特征(例如指定文件类型、分数低于特定值但有部分可疑行为)的调整，正常结果的检测任务、超时和失败的检测任务、可疑的文件检测任务等三种类型的结果也会发生不同程度的变化。比如，第二监控周期的时长设置短了，超时结果会增多；重检特征条件设置的少了，可疑的部分会增多。可见第一监控周期、第二监控周期和第三监控周期之间还存在衍生关系。三个监控周期的任务都是从同一检测列表中根据特定条件筛选出来的记录，其中超时、失败和可疑的记录均为完成态，都曾经历过一次以上的查询，但结果不可用或不可信，需依赖于下一次的重查或重新扫描。超时和失败记录随着反复等待会有正常结果，可疑文件在经过干预后也会有确定性的结论。
各任务的筛选可以通过筛选器(Filter)来执行，高层级任务执行剩余的资源才会交由下一级任务使用，依此类推，从而完成所有类型的扫描。筛选器是整个流程的核心，然而随着新的检测任务不断创建，不同层级的任务也在发生动态演变(比如有些检测中的任务状态变成了超时或失败，某些任务被人为调整为高优先级任务等)，每个层级不时都会增加新的任务。为了保证用户体验，完成关键任务的检测，低优任务不能阻塞高优任务，高优任务随时可以在低优任务执行过程中插队。一个有效的检测系统，超时和失败记录的数量会逐渐收敛，如果确实存在无法清除的此类记录则需要通知安全管理员处理，进行人工分析、标记或清除。而筛选器通过调整策略，如配置时效范围、检测次数限制，邮件自动通知备案，自动打标记等，来排除掉无效记录，动态调节系统负荷，从而保证筛选器维持高效运行的状态，这也是本方案的重点之一。
本发明实施例的技术方案中，还可以采用监视器监控定时器和筛选器执行环境的变化，其工作在定时器和筛选器流程的外部。可以监控系统外部的网络流量波动，检测引擎资源的增加或减少等环境因子的变化，当监测到这些变化时，判断是否需要通知调度器干预当前正在运行的定时器作业。
本发明实施例的技术方案中，还可以采用调度器发现系统中新增的高优先级任务，检查当前检测引擎的工作状态，若当前作业为低优先级的任务，则马上保存低优先级队列的状态，待已运行任务完成后马上开始执行高优先级任务。
本发明实施例的技术方案中，还可以设置分类存储层，用于分类存储不同状态的检测作业结果。经反复筛选后结果同步给文件检测数据信息持久层。
图2中示出了采用本发明实施例提供的检测方法进行作业检测的流程示意图。如图2所示，一个新的文件检测任务创建时，检查检测引擎有无检测资源，如有则直接分配，若没有则加入到等待队列。定时器周期运行到查询检测中的任务，判断是否在占用检测引擎，若占用中则等待结果，若没有在占用检测引擎，则直接去相关位置查找有无结果文件产生，有检测结果则直接入库存储，没有结果则直接调用检测发起接口，根据引擎资源使用情况来决定开始检测还是加入等待队列。定时器周期运行到筛选超时或失败任务时，先检查上次查询后本地有无结果文件产生，若有则返回结果，没有则加入重检队列。若分配到检测引擎则开始检测。重检队列可随时被更高优先级的任务插队中断。定时器周期运行到筛选重检可疑文件时，判断有限队列是否已执行完毕，若检测引擎空闲，则开始重检任务。重检队列可随时被更高优先级的任务插队中断。
本发明提供的技术方案，基于集群化的文件检测引擎环境，将基本检测过程分成了五种类型，包括检测发起、结果查询、超时重试、失败重试、自定义重检等，这五种类型根据以下所述的次序等待系统调度，执行相关作业。
(1)优先执行新建检测任务；
(2)次优执行结果查询任务；
(3)在有计算资源剩余的情况下，筛查超时任务和失败任务；
(4)对有些不确定的结果，由使用者自定义设置条件筛选(如在文件风险的模糊判断区域的结果)安排重检。
本发明技术方案具有如下有益的技术效果：
(1)不阻塞正常的检测：任务越优先权限越高，可以随时在次优任务前插队；
(2)检测计算资源得到充分利用：调度程序根据系统的实时运行状态进行任务调度。
本发明的实施例，还提供了一种文件批量检测装置，图3中示出了该检测装置的构成框图，该装置包括：
任务分配模块301，用于接收创建的文件检测任务，依据检测引擎的检测资源情况，对所述文件检测任务进行分配；
第一监控处理模块302，用于根据定时器设置的第一监控周期，查询检测中的文件检测任务，并根据查询结果对文件检测任务进行第一处理；
第二监控处理模块303，用于根据定时器设置的第二监控周期，筛选超时或者失败的文件检测任务，并根据筛选结果对文件检测任务进行第二处理；
第三监控处理模块304，用于根据定时器设置的第三监控周期，筛选重检可疑的文件检测任务，并根据筛选结果对文件检测任务进行第三处理；
所述第二监控周期在第一监控周期结束后开启，所述第三监控周期在第二监控周期结束后开启。
本发明上述实施例提供的文件批量检测装置中各个模块实现其功能的具体过程与本发明上述实施例提供的文件批量检测方法的各步骤相同，因此，此处将省略其重复描述。
本发明的实施例，还提供了一种电子设备，图4所示为本发明一实施例提供的电子设备的结构示意图。如图4所示，该电子设备包括：一个或多个处理器401和存储器402；以及存储在存储器402中的计算机程序指令，计算机程序指令在被处理器401运行时使得处理器401执行如上述任一实施例的文件批量检测方法。处理器401可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器402可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行程序指令，以实现上文的本发明的各个实施例的文件批量检测方法中的步骤以及/或者其他期望的功能。
在一些实施例中，电子设备还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构(图4中未示出)互连。例如，在该电子设备是单机设备时，该输入装置403可以是通信网络连接器，用于从外部的可移动设备接收所采集的输入信号。此外，该输入设备403还可以包括例如键盘、鼠标、麦克风等。该输出装置404可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等。
除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的文件批量检测方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本发明的各个实施例的文件批量检测方法中的步骤。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
应当理解的是，本发明实施例中的处理器可以为中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
综上所述，本发明实施例涉及一种文件批量检测方法及装置，所述方法包括：接收创建的文件检测任务，依据检测引擎的检测资源情况，对所述文件检测任务进行分配；根据定时器设置的第一监控周期，查询检测中的文件检测任务，并根据查询结果对文件检测任务进行第一处理；根据定时器设置的第二监控周期，筛选超时或者失败的文件检测任务，并根据筛选结果对文件检测任务进行第二处理；根据定时器设置的第三监控周期，筛选重检可疑的文件检测任务，并根据筛选结果对文件检测任务进行第三处理。本发明实施例提供的技术方案，针对不是紧急的文件检测任务，适度降权，针对检测引擎忙闲不均衡的问题，利用空闲检测资源重启那些处于超时状态、失败状态的作业，从而帮助提高整体系统的作业完成率和准确性。通过有效利用文件检测引擎的忙闲状态，对其负荷执行削峰填谷，达到改善和优化文件批量检测结果的目的。
应当理解的是，以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (8)

1.一种文件批量检测方法，其特征在于，包括：
接收创建的文件检测任务，依据检测引擎的检测资源情况，对所述文件检测任务进行分配；
根据定时器设置的第一监控周期，查询检测中的文件检测任务，并根据查询结果对文件检测任务进行第一处理，所述第一处理包括查询检测中的文件检测任务是否正在占用检测引擎；
根据定时器设置的第二监控周期，筛选超时或者失败的文件检测任务，并根据筛选结果对文件检测任务进行第二处理，所述第二处理包括检查超时或者失败的文件检测任务在第一监控周期的执行后是否有检测结果产生；
根据定时器设置的第三监控周期，筛选重检可疑的文件检测任务，并根据筛选结果对文件检测任务进行第三处理，所述第三处理包括当优先队列中的文件检测任务已执行完毕时，对可疑的文件检测任务进行重检；其中，优先队列的文件检测任务中，新创建的文件检测任务的优先级高于查询检测中的文件检测任务的优先级，查询检测中的文件检测任务的优先级高于超时或者失败的文件检测任务，超时或者失败的文件检测任务的优先级高于重检可疑的文件检测任务的优先级；
所述第二监控周期在第一监控周期结束后开启，所述第三监控周期在第二监控周期结束后开启。
2.根据权利要求1所述的方法，其特征在于，所述依据检测引擎的检测资源情况，对所述文件检测任务进行分配，包括：
若检测引擎有空闲检测资源，则将该文件检测任务分配至空闲检测资源；
若检测引擎无空闲检测资源，则将该文件检测任务加入至等待队列。
3.根据权利要求1所述的方法，其特征在于，所述查询检测中的文件检测任务，并根据查询结果对文件检测任务进行第一处理，还包括：若检测中的文件检测任务正在占用检测引擎，则等待检测结果；
若检测中的文件检测任务没有占用检测引擎，则查找检测引擎是否有检测结果文件产生；若有检测结果产生，则将该检测结果进行存储；若没有检测结果产生，则调用检测发起接口，根据检测引擎的检测资源情况来决定开始检测还是加入等待队列。
4.根据权利要求1所述的方法，其特征在于，所述筛选超时或者失败的文件检测任务，并根据筛选结果对文件检测任务进行第二处理，还包括：
若超时或者失败的文件检测任务在第一监控周期的执行后有检测结果产生，则将该检测结果进行存储；若超时或者失败的文件检测任务在第一监控周期的执行后无检测结果产生，则将该文件检测任务加入重检队列。
5.一种文件批量检测装置，其特征在于，包括：
任务分配模块，用于接收创建的文件检测任务，依据检测引擎的检测资源情况，对所述文件检测任务进行分配；
第一监控处理模块，用于根据定时器设置的第一监控周期，查询检测中的文件检测任务，并根据查询结果对文件检测任务进行第一处理，所述第一处理包括查询检测中的文件检测任务是否正在占用检测引擎；
第二监控处理模块，用于根据定时器设置的第二监控周期，筛选超时或者失败的文件检测任务，并根据筛选结果对文件检测任务进行第二处理，所述第二处理包括检查超时或者失败的文件检测任务在第一监控周期的执行后是否有检测结果产生；
第三监控处理模块，用于根据定时器设置的第三监控周期，筛选重检可疑的文件检测任务，并根据筛选结果对文件检测任务进行第三处理，所述第三处理包括当优先队列中的文件检测任务已执行完毕时，对可疑的文件检测任务进行重检；其中，优先队列的文件检测任务中，新创建的文件检测任务的优先级高于查询检测中的文件检测任务的优先级，查询检测中的文件检测任务的优先级高于超时或者失败的文件检测任务，超时或者失败的文件检测任务的优先级高于重检可疑的文件检测任务的优先级；
所述第二监控周期在第一监控周期结束后开启，所述第三监控周期在第二监控周期结束后开启。
6.根据权利要求5所述的装置，其特征在于，所述任务分配模块，依据检测引擎的检测资源情况，对所述文件检测任务进行分配，包括：
若检测引擎有空闲检测资源，则将该文件检测任务分配至空闲检测资源；
若检测引擎无空闲检测资源，则将该文件检测任务加入至等待队列。
7.根据权利要求5所述的装置，其特征在于，所述第一监控处理模块，查询检测中的文件检测任务，并根据查询结果对文件检测任务进行第一处理，还包括：
若检测中的文件检测任务正在占用检测引擎，则等待检测结果；
若检测中的文件检测任务没有占用检测引擎，则查找检测引擎是否有检测结果文件产生；若有检测结果产生，则将该检测结果进行存储；若没有检测结果产生，则调用检测发起接口，根据检测引擎的检测资源情况来决定开始检测还是加入等待队列。
8.根据权利要求5所述的装置，其特征在于，所述第二监控处理模块，筛选超时或者失败的文件检测任务，并根据筛选结果对文件检测任务进行第二处理，还包括：
若超时或者失败的文件检测任务在前一个监控周期的查询后有检测结果产生，则将该检测结果进行存储；若超时或者失败的文件检测任务在前一个监控周期的查询后无检测结果产生，则将该文件检测任务加入重检队列。
CN202310118247.2A 2023-02-10 2023-02-10 文件批量检测方法及装置 Active CN116185772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310118247.2A CN116185772B (zh) 2023-02-10 2023-02-10 文件批量检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310118247.2A CN116185772B (zh) 2023-02-10 2023-02-10 文件批量检测方法及装置

Publications (2)

Publication Number Publication Date
CN116185772A CN116185772A (zh) 2023-05-30
CN116185772B true CN116185772B (zh) 2023-09-19

Family

ID=86432276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310118247.2A Active CN116185772B (zh) 2023-02-10 2023-02-10 文件批量检测方法及装置

Country Status (1)

Country Link
CN (1) CN116185772B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106357426A (zh) * 2016-08-26 2017-01-25 东北大学 一种基于工业云的大规模分布式智能数据采集系统及方法
WO2018001048A1 (zh) * 2016-06-30 2018-01-04 中兴通讯股份有限公司 一种多进程监测方法、装置及服务系统
CN109669776A (zh) * 2018-12-12 2019-04-23 北京文章无忧信息科技有限公司 检测任务的处理方法、装置和系统
CN110377486A (zh) * 2019-07-09 2019-10-25 福建南威软件有限公司 基于 kafka 实现稳定的高吞吐量的异步任务处理方法
CN115168137A (zh) * 2022-06-17 2022-10-11 北京结慧科技有限公司 针对定时任务的监控方法及系统、计算机设备及存储介质
CN115470491A (zh) * 2022-09-29 2022-12-13 京东科技信息技术有限公司 文件检测方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018001048A1 (zh) * 2016-06-30 2018-01-04 中兴通讯股份有限公司 一种多进程监测方法、装置及服务系统
CN106357426A (zh) * 2016-08-26 2017-01-25 东北大学 一种基于工业云的大规模分布式智能数据采集系统及方法
CN109669776A (zh) * 2018-12-12 2019-04-23 北京文章无忧信息科技有限公司 检测任务的处理方法、装置和系统
CN110377486A (zh) * 2019-07-09 2019-10-25 福建南威软件有限公司 基于 kafka 实现稳定的高吞吐量的异步任务处理方法
CN115168137A (zh) * 2022-06-17 2022-10-11 北京结慧科技有限公司 针对定时任务的监控方法及系统、计算机设备及存储介质
CN115470491A (zh) * 2022-09-29 2022-12-13 京东科技信息技术有限公司 文件检测方法和装置

Also Published As

Publication number Publication date
CN116185772A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
WO2020000944A1 (zh) 基于抢占式调度的资源共享使用方法、系统及设备
US10037230B2 (en) Managing data processing resources
EP2176751B1 (en) Scheduling by growing and shrinking resource allocation
US20090300040A1 (en) Table partitioning and storage in a database
CN110633135A (zh) 异步任务分配方法、装置、计算机设备及存储介质
CN111324427B (zh) 一种基于dsp的任务调度方法及装置
US7681196B2 (en) Providing optimal number of threads to applications performing multi-tasking using threads
CN112286671B (zh) 一种容器化批处理作业调度方法、装置和计算机设备
US7920282B2 (en) Job preempt set generation for resource management
WO2020172852A1 (en) Computing resource scheduling method, scheduler, internet of things system, and computer readable medium
CN110837401A (zh) 一种java线程池分级处理方法和装置
US20110023044A1 (en) Scheduling highly parallel jobs having global interdependencies
CN111651595A (zh) 一种异常日志处理方法及装置
CN113886069A (zh) 一种资源分配方法、装置、电子设备及存储介质
CN111381961A (zh) 一种处理定时任务的方法、装置与电子设备
US20240061710A1 (en) Resource allocation method and system after system restart and related component
CN113391911B (zh) 一种大数据资源动态调度方法、装置和设备
JP6550945B2 (ja) 判定制御プログラム、判定制御方法及び仮想マシン管理装置
CN111124791A (zh) 一种系统测试方法及装置
CN116185772B (zh) 文件批量检测方法及装置
CN112307046A (zh) 数据采集方法和装置、计算机可读存储介质、电子设备
CN1825288A (zh) 嵌入式sram操作系统进程多队列调度的实现方法
CN116069500A (zh) 一种模型训练任务处理方法、装置、电子设备及可读介质
CN112685158B (zh) 一种任务调度方法、装置、电子设备及存储介质
CN115268713A (zh) 线程识别方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant