CN107800690B - 一种分布式漏洞扫描系统的任务分配方法 - Google Patents

一种分布式漏洞扫描系统的任务分配方法 Download PDF

Info

Publication number
CN107800690B
CN107800690B CN201710927009.0A CN201710927009A CN107800690B CN 107800690 B CN107800690 B CN 107800690B CN 201710927009 A CN201710927009 A CN 201710927009A CN 107800690 B CN107800690 B CN 107800690B
Authority
CN
China
Prior art keywords
scanning
tasks
engine
task
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710927009.0A
Other languages
English (en)
Other versions
CN107800690A (zh
Inventor
王志达
葛大伟
何建锋
程效波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Jiaotong University Jump Network Technology Co ltd
Original Assignee
Xi'an Jiaotong University Jump Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Jiaotong University Jump Network Technology Co ltd filed Critical Xi'an Jiaotong University Jump Network Technology Co ltd
Priority to CN201710927009.0A priority Critical patent/CN107800690B/zh
Publication of CN107800690A publication Critical patent/CN107800690A/zh
Application granted granted Critical
Publication of CN107800690B publication Critical patent/CN107800690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0209—Architectural arrangements, e.g. perimeter networks or demilitarized zones
    • H04L63/0218—Distributed architectures, e.g. distributed firewalls

Abstract

本发明属于网络安全领域，具体涉及分布式漏洞扫描系统的任务的分配方法，根据历史扫描任务确定每个扫描引擎的目标扫描个数，一级集中管理中心根据每个扫描引擎的目标扫描个数向其分配扫描任务，对所有扫描任务的历史扫描时间进行排序，依次取最长扫描时间和最短扫描时间的扫描任务，保证了每个扫描引擎分配到的扫描任务的执行时间总和比较接近，在第一次分配任务时，按照每个扫描引擎的核数分配扫描任务个数，若某个扫描引擎在执行扫描任务时的CPU使用率未超过第三阈值时，在下次分配扫描任务个数时，在其目标扫描任务个数的基础上增加一个扫描任务，本发明方法，经过大量数据统计分析发现，比现有的任务分配方法，扫描效率提升15％左右。

Description

一种分布式漏洞扫描系统的任务分配方法
技术领域
本发明属于网络安全技术领域，具体涉及一种分布式漏洞扫描系统的任务分配方法。
背景技术
随着企业信息化程度的不断深入，计算机网络在企业内部起着越来越重要的作用。但由于互联网典型的互连性、开放性特征，使得企业内部计算机网络系统极易成为恶意攻击的目标和载体。如何更好保护企业内部的计算机网络安全也正被越来越多的企业得到重视。
网络漏洞扫描在保障网络安全方面起到越来越重要的作用。借助网络漏洞扫描，人们可以发现网络和主机存在的对外开放的端口、提供的服务、某些系统信息、错误的配置、已知的安全漏洞等。面对互联网入侵，如果根据具体的应用环境，尽可能早地通过网络扫描来发现安全漏洞，并及时采取适当的处理措施进行修补，就可以有效地阻止入侵事件的发生。
随着电脑硬件和软件系统的不断升级，当今计算机科学发展趋势向微型化、网络化和智能化等多方面发展。在计算机应用中，通常会涉及到对各种扫描任务的分配处理。目前计算机处理扫描任务的分配方式主要包括单线程方式和多线程方式。在单线程方式中，计算机以单线程的方式逐个对单个扫描点进行扫描处理；在多线程方式中，计算机以多线程的方式同时对多个扫描点进行扫描处理。然而，对于单线程扫描方式，在同一时刻只能进行一个扫描任务，不能充分利用多核中央处理单元(CPU)的优势，因此扫描速度较慢，扫描效率低下。对于多线程扫描方式，虽然采用了多线程的方式，但是并没有做很好的任务分配，这样可能会导致其中某些线程执行了较多或者耗时较长的任务，而其它线程早早结束了任务，实际上没有充分利用多线程的优势，因此扫描效率也并不令人满意。
发明内容
为了解决现有技术中分布式扫描系统任务分配不均匀，导致扫描效率不高的技术问题，本发明提供一种分布式漏洞扫描系统的任务分配方法，具体通过以下技术方案予以实现：
一种分布式漏洞扫描系统的任务分配方法，所述的系统包括一级集中管理中心，所述的一级集中管理中心下可配置多个二级集中管理中心或者扫描引擎，所述的每个二级集中管理中心下也可配置一个或者多个扫描引擎；所述的方法包括：一级集中管理中心统计系统中每个扫描引擎的历史扫描任务，根据历史扫描任务确定每个扫描引擎的目标扫描个数，一级集中管理中心根据每个扫描引擎的目标扫描个数向其分配扫描任务。
其中，所述的一级集中管理中心统计系统中每个扫描引擎的历史扫描任务，根据历史扫描任务确定每个扫描引擎的目标扫描个数，具体包括，统计每个扫描引擎历史每次扫描任务的个数及该次扫描过程中CPU的平均负载值、内存使用值；找到CPU平均负载值最近接近第一阈值且内存使用值不超过第二阈值时该扫描引擎任务的个数，并将该任务个数作为该扫描引擎的目标扫描个数；所述的CPU平均负载值最近接近第一阈值是指，可以等于第一阈值但不超过第一阈值。
其中，所述的一级集中管理中心根据每个扫描引擎的目标扫描个数向其分配扫描任务包括以下步骤：
S1：计算每个待扫描任务的历史平均扫描时间；
S2：对所有的待扫描任务按照历史待扫描时间从小到大排序为q1,q2,…qn，其中n为任意正整数；
S3：对于任意一个扫描引擎，按照q1,qn,q2,q(n-1)…qm的顺序依次分配给该扫描引擎与其目标扫描个数相同数量的任务个数，其中m为任意正整数；
S4：重复步骤S3，完成对所有扫描引擎的扫描任务分配。
其中，首次给所述的扫描引擎分配扫描任务时，一级集中管理中心获取每个扫描引擎的CPU核数，每次给每个扫描引擎分配与其CPU核数相同多的扫描任务个数。
其中，所述的计算每个待扫描任务的历史平均扫描时间具体为：
对于每个扫描任务，分别获取该扫描任务历史执行次数为k次的每次扫描时间为t1,t2…tk，则该扫描任务的历史平均扫描时间ta＝(t1+t2+…tk)÷k，其中k为任意正整数。
其中，所述的方法还包括，对于任意一个扫描引擎，给其分配与其目标扫描任务个数相同数量的扫描任务后，执行扫描任务时，获取其CPU和内存使用信息，若其CPU的使用情况未超过第三阈值时，则下次给其分配扫描任务个数时，在其目标扫描任务个数的基础上增加一个扫描任务。
其中，所述的第一阈值和第二阈值均可取80％，所述的第三阈值可取75％。
以上技术方案与现有技术相比具有以下技术效果：
本发明针对现有的分布式漏洞扫描系统，提供了一种扫描任务的分配方法，获取每个扫描引擎的历史扫描信息，找到最合理的分配数量，即本发明中的目标分配个数，给每个扫描引擎分配与目标分配个数相同的扫描任务，使得扫描引擎的资源得到最大化的利用且不超出规定的阈值，避免影响其他进程；同时在给每个扫描引擎分配扫描任务时，对所有扫描任务的历史扫描时间进行排序，依次取最长扫描时间和最短扫描时间的扫描任务，保证了每个扫描引擎分配到的扫描任务的执行时间总和比较接近，加快了扫描速度；同时在第一次分配任务时，由于没有历史扫描时间参考，本发明提供了按照每个扫描引擎的核数分配扫描任务个数的方案，使得分配更加合理，同时若某个扫描引擎在执行扫描任务时的CPU使用率未超过第三阈值时，在下次分配扫描任务个数时，在其目标扫描任务个数的基础上增加一个扫描任务，本发明方法，经过大量数据统计分析发现，比现有的任务分配方法，扫描效率提升15％左右。
附图说明
图1是本发明的方法流程图；
图2为本发明分布式漏洞扫描系统的结构示意图。
具体实施方式
下面结合本发明的附图和实施例，对本发明的技术方案进行清楚、完整的描述，以下实施例只是本发明的优选实施例，而不是全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种分布式漏洞扫描系统的任务分配方法，如图1，所述的系统包括一级集中管理中心，所述的一级集中管理中心下可配置多个二级集中管理中心或者扫描引擎，所述的每个二级集中管理中心下也可配置一个或者多个扫描引擎。
如图2，所述的方法通过以下步骤予以实现：一级集中管理中心统计系统中每个扫描引擎的历史扫描任务，根据历史扫描任务确定每个扫描引擎的目标扫描个数，一级集中管理中心根据每个扫描引擎的目标扫描个数向其分配扫描任务。本发明获取每个扫描引擎的历史扫描信息，找到最合理的分配数量，即本发明中的目标分配个数，给每个扫描引擎分配与目标分配个数相同的扫描任务，使得扫描引擎的资源得到最大化的利用，提高了漏洞扫描效率。
其中，一级集中管理中心统计系统中每个扫描引擎的历史扫描任务，根据历史扫描任务确定每个扫描引擎的目标扫描个数，具体包括，统计每个扫描引擎历史每次扫描任务的个数及该次扫描过程中CPU的平均负载值、内存使用值；找到CPU平均负载值最近接近第一阈值且内存使用值不超过第二阈值时该扫描引擎任务的个数，并将该任务个数作为该扫描引擎的目标扫描个数；所述的CPU平均负载值最近接近第一阈值是指，可以等于第一阈值但不超过第一阈值。本发明在确定目标扫描个数时候，根据历史信息，找到CPU使用率最合适时对应的扫描任务个数，设置了第一阈值和第二阈值均为80％，即CPU的使用率不能高于百分之80％，一方面最大化的利用了系统资源，同时为了不影响扫描引擎的其他任务执行。
其中，一级集中管理中心根据每个扫描引擎的目标扫描个数向其分配扫描任务包括以下步骤：
S1：计算每个待扫描任务的历史平均扫描时间；
S2：对所有的待扫描任务按照历史待扫描时间从小到大排序为q1,q2,…qn，其中n为任意正整数；
S3：对于任意一个扫描引擎，按照q1,qn,q2,q(n-1)…qm的顺序依次分配给该扫描引擎与其目标扫描个数相同数量的任务个数，其中m为任意正整数；如某扫描引擎的目标扫描个数为5，则给其分配的扫描任务为q1,qn,q2,q(n-1),q3，对于下一个扫描引擎，同样按照此方法分配，保证了每个扫描引擎分配到的扫描任务需要扫描的总时间相近，使得系统更加均衡，提高了扫描效率。
S4：重复步骤S3，完成对所有扫描引擎的扫描任务分配。
其中，首次给所述的扫描引擎分配扫描任务时，一级集中管理中心获取每个扫描引擎的CPU核数，每次给每个扫描引擎分配与其CPU核数相同多的扫描任务个数。同时在第一次分配任务时，由于没有历史扫描时间参考，本发明提供了按照每个扫描引擎的核数分配扫描任务个数的方案，使得分配更加合理。
在给每个扫描引擎分配扫描任务时，对所有扫描任务的历史扫描时间进行排序，依次取最长扫描时间和最短扫描时间的扫描任务，保证了每个扫描引擎分配到的扫描任务的执行时间总和比较接近，加快了扫描速度。
其中，计算每个待扫描任务的历史平均扫描时间具体为：
对于每个扫描任务，分别获取该扫描任务历史执行次数为k次的每次扫描时间为t1,t2…tk，则该扫描任务的历史平均扫描时间ta＝(t1+t2+…tk)÷k，其中k为任意正整数。
其中，方法还包括，对于任意一个扫描引擎，给其分配与其目标扫描任务个数相同数量的扫描任务后，执行扫描任务时，获取其CPU和内存使用信息，若其CPU的使用情况未超过第三阈值时，则下次给其分配扫描任务个数时，在其目标扫描任务个数的基础上增加一个扫描任务。若某个扫描引擎在执行扫描任务时的CPU使用率未超过第三阈值时，在下次分配扫描任务个数时，在其目标扫描任务个数的基础上增加一个扫描任务，本发明方法，经过大量数据统计分析发现，比现有的任务分配方法，扫描效率提升15％左右。

Claims (6)

1.一种分布式漏洞扫描系统的任务分配方法，所述的系统包括一级集中管理中心，所述的一级集中管理中心下可配置多个二级集中管理中心或者扫描引擎，每个二级集中管理中心下也可配置一个或者多个扫描引擎；其特征在于，
一级集中管理中心统计系统中每个扫描引擎的历史扫描任务，根据历史扫描任务确定每个扫描引擎的目标扫描个数，具体包括，统计每个扫描引擎历史每次扫描任务的个数及该次扫描过程中CPU的平均负载值、内存使用值；找到CPU平均负载值最近接近第一阈值且内存使用值不超过第二阈值时该扫描引擎的任务个数，并将该任务个数作为该扫描引擎的目标扫描个数；所述的CPU平均负载值最近接近第一阈值是指，CPU平均负载值小于或等于第一阈值；
一级集中管理中心根据每个扫描引擎的目标扫描个数，分配给该扫描引擎与其目标扫描个数相同数量的任务个数。
2.如权利要求1所述的方法，其特征在于，所述的一级集中管理中心根据每个扫描引擎的目标扫描个数向其分配扫描任务包括以下步骤：
S1：计算每个待扫描任务的历史平均扫描时间；
S2：对所有的待扫描任务按照历史待扫描时间从小到大排序为q1,q2,…qn，其中n为任意正整数；
S3：对于任意一个扫描引擎，按照q1,qn,q2,q(n-1)…qm的顺序依次分配给该扫描引擎与其目标扫描个数相同数量的任务个数，其中m为任意正整数；
S4：重复步骤S3，完成对所有扫描引擎的扫描任务分配。
3.如权利要求1所述的方法，其特征在于，所述的方法还包括，首次给所述的扫描引擎分配扫描任务时，一级集中管理中心获取每个扫描引擎的CPU核数，每次给每个扫描引擎分配与其CPU核数相同多的扫描任务个数。
4.如权利要求2所述的方法，其特征在于，所述的计算每个待扫描任务的历史平均扫描时间具体为：
对于每个扫描任务，分别获取该扫描任务历史执行次数为k次的每次扫描时间为t1,t2…tk，则该扫描任务的历史平均扫描时间ta＝(t1+t2+…tk)÷k，其中k为任意正整数。
5.如权利要求1所述的方法，其特征在于，所述的方法还包括，对于任意一个扫描引擎，给其分配与其目标扫描任务个数相同数量的扫描任务后，执行扫描任务时，获取其CPU和内存使用信息，若其CPU的使用情况未超过第三阈值时，则下次给其分配扫描任务个数时，在其目标扫描任务个数的基础上增加一个扫描任务；第三阈值可取75％。
6.如权利要求1所述的方法，其特征在于，第一阈值和第二阈值均可取80％。
CN201710927009.0A 2017-10-09 2017-10-09 一种分布式漏洞扫描系统的任务分配方法 Active CN107800690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710927009.0A CN107800690B (zh) 2017-10-09 2017-10-09 一种分布式漏洞扫描系统的任务分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710927009.0A CN107800690B (zh) 2017-10-09 2017-10-09 一种分布式漏洞扫描系统的任务分配方法

Publications (2)

Publication Number Publication Date
CN107800690A CN107800690A (zh) 2018-03-13
CN107800690B true CN107800690B (zh) 2021-07-06

Family

ID=61533841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710927009.0A Active CN107800690B (zh) 2017-10-09 2017-10-09 一种分布式漏洞扫描系统的任务分配方法

Country Status (1)

Country Link
CN (1) CN107800690B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446837B (zh) * 2018-10-12 2022-04-26 深圳前海微众银行股份有限公司 基于敏感信息的文本审核方法、设备及可读存储介质
CN111355751A (zh) * 2018-12-20 2020-06-30 普天信息技术有限公司 任务调度方法及装置
CN113420302A (zh) * 2021-06-27 2021-09-21 杭州迪普科技股份有限公司 主机漏洞检测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559443A (zh) * 2013-11-01 2014-02-05 北京奇虎科技有限公司 多核设备的病毒扫描方法和装置
CN103870334A (zh) * 2012-12-18 2014-06-18 中国移动通信集团公司 一种大规模漏洞扫描的任务分配方法及装置
CN104811415A (zh) * 2014-01-23 2015-07-29 杭州迪普科技有限公司 分布式扫描系统负载均衡方法及装置
US9177113B2 (en) * 2011-10-05 2015-11-03 Zynga Inc. Methods and systems for automated network scanning in dynamic virtualized environments
CN105072089A (zh) * 2015-07-10 2015-11-18 中国科学院信息工程研究所 一种web恶意扫描行为异常检测方法与系统
CN105205399A (zh) * 2015-02-10 2015-12-30 中国移动通信集团广东有限公司 漏洞扫描工具的调度方法及其调度系统
CN106817362A (zh) * 2016-12-08 2017-06-09 西安交大捷普网络科技有限公司 一种基于分布式集群部署下的ip分发调度实现方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177113B2 (en) * 2011-10-05 2015-11-03 Zynga Inc. Methods and systems for automated network scanning in dynamic virtualized environments
CN103870334A (zh) * 2012-12-18 2014-06-18 中国移动通信集团公司 一种大规模漏洞扫描的任务分配方法及装置
CN103559443A (zh) * 2013-11-01 2014-02-05 北京奇虎科技有限公司 多核设备的病毒扫描方法和装置
CN104811415A (zh) * 2014-01-23 2015-07-29 杭州迪普科技有限公司 分布式扫描系统负载均衡方法及装置
CN105205399A (zh) * 2015-02-10 2015-12-30 中国移动通信集团广东有限公司 漏洞扫描工具的调度方法及其调度系统
CN105072089A (zh) * 2015-07-10 2015-11-18 中国科学院信息工程研究所 一种web恶意扫描行为异常检测方法与系统
CN106817362A (zh) * 2016-12-08 2017-06-09 西安交大捷普网络科技有限公司 一种基于分布式集群部署下的ip分发调度实现方法

Also Published As

Publication number Publication date
CN107800690A (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
Chai et al. Tifl: A tier-based federated learning system
US10037230B2 (en) Managing data processing resources
Tang et al. Dynamicmr: A dynamic slot allocation optimization framework for mapreduce clusters
CN107800690B (zh) 一种分布式漏洞扫描系统的任务分配方法
Mace et al. 2dfq: Two-dimensional fair queuing for multi-tenant cloud services
Esfandiari et al. Online allocation with traffic spikes: Mixing adversarial and stochastic models
Huang et al. Elastic resource allocation against imbalanced transaction assignments in sharding-based permissioned blockchains
Yao et al. LsPS: A job size-based scheduler for efficient task assignments in Hadoop
US20200341815A1 (en) Assignment of resources to database connection processes based on application information
US10558810B2 (en) Device monitoring policy
Liang et al. Mitigating cloud co-resident attacks via grouping-based virtual machine placement strategy
Natu et al. Secure virtual machine placement in infrastructure cloud services
Tavakoli et al. Log-assisted straggler-aware I/O scheduler for high-end computing
Agarwal et al. Co-location resistant virtual machine placement in cloud data centers
Zhu et al. SAQA: a self-adaptive QoS-aware scheduling algorithm for real-time tasks on heterogeneous clusters
Mashayekhy et al. A framework for data protection in cloud federations
Zhu et al. A two-phase scheduling strategy for real-time applications with security requirements on heterogeneous clusters
Guan et al. On max-min fair resource allocation for distributed job execution
CN111049758B (zh) 一种实现报文QoS处理的方法、系统及设备
JP2015228075A (ja) 計算機資源割当装置及び計算機資源割当プログラム
Jadhao et al. Performance Related Tradeoffs between Fairness and Throughput for Job Scheduling in Cloud Environment
Xie et al. A secure VM allocation strategy based on tenant behavior analysis and anomaly identification
Qi et al. A generic mitigation framework against cross-VM covert channels
US11233847B1 (en) Management of allocated computing resources in networked environment
Panneerselvam et al. Characterisation of hidden periodicity in large-scale cloud datacentre environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant