CN107800690A - 一种分布式漏洞扫描系统的任务分配方法 - Google Patents

一种分布式漏洞扫描系统的任务分配方法 Download PDF

Info

Publication number
CN107800690A
CN107800690A CN201710927009.0A CN201710927009A CN107800690A CN 107800690 A CN107800690 A CN 107800690A CN 201710927009 A CN201710927009 A CN 201710927009A CN 107800690 A CN107800690 A CN 107800690A
Authority
CN
China
Prior art keywords
task
scan
scanning engine
scan task
history
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710927009.0A
Other languages
English (en)
Other versions
CN107800690B (zh
Inventor
王志达
葛大伟
何建锋
程效波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiepu Network Science & Technology Co Ltd Xi'an Jiaoda
Original Assignee
Jiepu Network Science & Technology Co Ltd Xi'an Jiaoda
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiepu Network Science & Technology Co Ltd Xi'an Jiaoda filed Critical Jiepu Network Science & Technology Co Ltd Xi'an Jiaoda
Priority to CN201710927009.0A priority Critical patent/CN107800690B/zh
Publication of CN107800690A publication Critical patent/CN107800690A/zh
Application granted granted Critical
Publication of CN107800690B publication Critical patent/CN107800690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0209—Architectural arrangements, e.g. perimeter networks or demilitarized zones
    • H04L63/0218—Distributed architectures, e.g. distributed firewalls

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于网络安全领域，具体涉及分布式漏洞扫描系统的任务的分配方法，根据历史扫描任务确定每个扫描引擎的目标扫描个数，一级集中管理中心根据每个扫描引擎的目标扫描个数向其分配扫描任务，对所有扫描任务的历史扫描时间进行排序，依次取最长扫描时间和最短扫描时间的扫描任务，保证了每个扫描引擎分配到的扫描任务的执行时间总和比较接近，在第一次分配任务时，按照每个扫描引擎的核数分配扫描任务个数，若某个扫描引擎在执行扫描任务时的CPU使用率未超过第三阈值时，在下次分配扫描任务个数时，在其目标扫描任务个数的基础上增加一个扫描任务，本发明方法，经过大量数据统计分析发现，比现有的任务分配方法，扫描效率提升15％左右。

Description

一种分布式漏洞扫描系统的任务分配方法
技术领域
本发明属于网络安全技术领域，具体涉及一种分布式漏洞扫描系统的任务分配方法。
背景技术
随着企业信息化程度的不断深入，计算机网络在企业内部起着越来越重要的作用。但由于互联网典型的互连性、开放性特征，使得企业内部计算机网络系统极易成为恶意攻击的目标和载体。如何更好保护企业内部的计算机网络安全也正被越来越多的企业得到重视。
网络漏洞扫描在保障网络安全方面起到越来越重要的作用。借助网络漏洞扫描，人们可以发现网络和主机存在的对外开放的端口、提供的服务、某些系统信息、错误的配置、已知的安全漏洞等。面对互联网入侵，如果根据具体的应用环境，尽可能早地通过网络扫描来发现安全漏洞，并及时采取适当的处理措施进行修补，就可以有效地阻止入侵事件的发生。
随着电脑硬件和软件系统的不断升级，当今计算机科学发展趋势向微型化、网络化和智能化等多方面发展。在计算机应用中，通常会涉及到对各种扫描任务的分配处理。目前计算机处理扫描任务的分配方式主要包括单线程方式和多线程方式。在单线程方式中，计算机以单线程的方式逐个对单个扫描点进行扫描处理；在多线程方式中，计算机以多线程的方式同时对多个扫描点进行扫描处理。然而，对于单线程扫描方式，在同一时刻只能进行一个扫描任务，不能充分利用多核中央处理单元(CPU)的优势，因此扫描速度较慢，扫描效率低下。对于多线程扫描方式，虽然采用了多线程的方式，但是并没有做很好的任务分配，这样可能会导致其中某些线程执行了较多或者耗时较长的任务，而其它线程早早结束了任务，实际上没有充分利用多线程的优势，因此扫描效率也并不令人满意。
发明内容
为了解决现有技术中分布式扫描系统任务分配不均匀，导致扫描效率不高的技术问题，本发明提供一种分布式漏洞扫描系统的任务分配方法，具体通过以下技术方案予以实现：
一种分布式漏洞扫描系统的任务分配方法，所述的系统包括一级集中管理中心，所述的一级集中管理中心下可配置多个二级集中管理中心或者扫描引擎，所述的每个二级集中管理中心下也可配置一个或者多个扫描引擎；所述的方法包括：一级集中管理中心统计系统中每个扫描引擎的历史扫描任务，根据历史扫描任务确定每个扫描引擎的目标扫描个数，一级集中管理中心根据每个扫描引擎的目标扫描个数向其分配扫描任务。
其中，所述的一级集中管理中心统计系统中每个扫描引擎的历史扫描任务，根据历史扫描任务确定每个扫描引擎的目标扫描个数，具体包括，统计每个扫描引擎历史每次扫描任务的个数及该次扫描过程中CPU的平均负载值、内存使用值；找到CPU平均负载值最近接近第一阈值且内存使用值不超过第二阈值时该扫描引擎任务的个数，并将该任务个数作为该扫描引擎的目标扫描个数；所述的CPU平均负载值最近接近第一阈值是指，可以等于第一阈值但不超过第一阈值。
其中，所述的一级集中管理中心根据每个扫描引擎的目标扫描个数向其分配扫描任务包括以下步骤：
S1：计算每个待扫描任务的历史平均扫描时间；
S2：对所有的待扫描任务按照历史待扫描时间从小到大排序为q1,q2,…qn，其中n为任意正整数；
S3：对于任意一个扫描引擎，按照q1,qn,q2,q(n-1)…qm的顺序依次分配给该扫描引擎与其目标扫描个数相同数量的任务个数，其中m为任意正整数；
S4：重复步骤S3，完成对所有扫描引擎的扫描任务分配。
其中，首次给所述的扫描引擎分配扫描任务时，一级集中管理中心获取每个扫描引擎的CPU核数，每次给每个扫描引擎分配与其CPU核数相同多的扫描任务个数。
其中，所述的计算每个待扫描任务的历史平均扫描时间具体为：
对于每个扫描任务，分别获取该扫描任务历史执行次数为k次的每次扫描时间为t1,t2…tk，则该扫描任务的历史平均扫描时间ta＝(t1+t2+…tk)÷k，其中k为任意正整数。
其中，所述的方法还包括，对于任意一个扫描引擎，给其分配与其目标扫描任务个数相同数量的扫描任务后，执行扫描任务时，获取其CPU和内存使用信息，若其CPU的使用情况未超过第三阈值时，则下次给其分配扫描任务个数时，在其目标扫描任务个数的基础上增加一个扫描任务。
其中，所述的第一阈值和第二阈值均可取80％，所述的第三阈值可取75％。
以上技术方案与现有技术相比具有以下技术效果：
本发明针对现有的分布式漏洞扫描系统，提供了一种扫描任务的分配方法，获取每个扫描引擎的历史扫描信息，找到最合理的分配数量，即本发明中的目标分配个数，给每个扫描引擎分配与目标分配个数相同的扫描任务，使得扫描引擎的资源得到最大化的利用且不超出规定的阈值，避免影响其他进程；同时在给每个扫描引擎分配扫描任务时，对所有扫描任务的历史扫描时间进行排序，依次取最长扫描时间和最短扫描时间的扫描任务，保证了每个扫描引擎分配到的扫描任务的执行时间总和比较接近，加快了扫描速度；同时在第一次分配任务时，由于没有历史扫描时间参考，本发明提供了按照每个扫描引擎的核数分配扫描任务个数的方案，使得分配更加合理，同时若某个扫描引擎在执行扫描任务时的CPU使用率未超过第三阈值时，在下次分配扫描任务个数时，在其目标扫描任务个数的基础上增加一个扫描任务，本发明方法，经过大量数据统计分析发现，比现有的任务分配方法，扫描效率提升15％左右。
附图说明
图1是本发明的方法流程图；
图2为本发明分布式漏洞扫描系统的结构示意图。
具体实施方式
下面结合本发明的附图和实施例，对本发明的技术方案进行清楚、完整的描述，以下实施例只是本发明的优选实施例，而不是全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种分布式漏洞扫描系统的任务分配方法，如图1，所述的系统包括一级集中管理中心，所述的一级集中管理中心下可配置多个二级集中管理中心或者扫描引擎，所述的每个二级集中管理中心下也可配置一个或者多个扫描引擎。
如图2，所述的方法通过以下步骤予以实现：一级集中管理中心统计系统中每个扫描引擎的历史扫描任务，根据历史扫描任务确定每个扫描引擎的目标扫描个数，一级集中管理中心根据每个扫描引擎的目标扫描个数向其分配扫描任务。本发明获取每个扫描引擎的历史扫描信息，找到最合理的分配数量，即本发明中的目标分配个数，给每个扫描引擎分配与目标分配个数相同的扫描任务，使得扫描引擎的资源得到最大化的利用，提高了漏洞扫描效率。
其中，一级集中管理中心统计系统中每个扫描引擎的历史扫描任务，根据历史扫描任务确定每个扫描引擎的目标扫描个数，具体包括，统计每个扫描引擎历史每次扫描任务的个数及该次扫描过程中CPU的平均负载值、内存使用值；找到CPU平均负载值最近接近第一阈值且内存使用值不超过第二阈值时该扫描引擎任务的个数，并将该任务个数作为该扫描引擎的目标扫描个数；所述的CPU平均负载值最近接近第一阈值是指，可以等于第一阈值但不超过第一阈值。本发明在确定目标扫描个数时候，根据历史信息，找到CPU使用率最合适时对应的扫描任务个数，设置了第一阈值和第二阈值均为80％，即CPU的使用率不能高于百分之80％，一方面最大化的利用了系统资源，同时为了不影响扫描引擎的其他任务执行。
其中，一级集中管理中心根据每个扫描引擎的目标扫描个数向其分配扫描任务包括以下步骤：
S1：计算每个待扫描任务的历史平均扫描时间；
S2：对所有的待扫描任务按照历史待扫描时间从小到大排序为q1,q2,…qn，其中n为任意正整数；
S3：对于任意一个扫描引擎，按照q1,qn,q2,q(n-1)…qm的顺序依次分配给该扫描引擎与其目标扫描个数相同数量的任务个数，其中m为任意正整数；如某扫描引擎的目标扫描个数为5，则给其分配的扫描任务为q1,qn,q2,q(n-1),q3，对于下一个扫描引擎，同样按照此方法分配，保证了每个扫描引擎分配到的扫描任务需要扫描的总时间相近，使得系统更加均衡，提高了扫描效率。
S4：重复步骤S3，完成对所有扫描引擎的扫描任务分配。
其中，首次给所述的扫描引擎分配扫描任务时，一级集中管理中心获取每个扫描引擎的CPU核数，每次给每个扫描引擎分配与其CPU核数相同多的扫描任务个数。同时在第一次分配任务时，由于没有历史扫描时间参考，本发明提供了按照每个扫描引擎的核数分配扫描任务个数的方案，使得分配更加合理。
在给每个扫描引擎分配扫描任务时，对所有扫描任务的历史扫描时间进行排序，依次取最长扫描时间和最短扫描时间的扫描任务，保证了每个扫描引擎分配到的扫描任务的执行时间总和比较接近，加快了扫描速度。
其中，计算每个待扫描任务的历史平均扫描时间具体为：
对于每个扫描任务，分别获取该扫描任务历史执行次数为k次的每次扫描时间为t1,t2…tk，则该扫描任务的历史平均扫描时间ta＝(t1+t2+…tk)÷k，其中k为任意正整数。
其中，方法还包括，对于任意一个扫描引擎，给其分配与其目标扫描任务个数相同数量的扫描任务后，执行扫描任务时，获取其CPU和内存使用信息，若其CPU的使用情况未超过第三阈值时，则下次给其分配扫描任务个数时，在其目标扫描任务个数的基础上增加一个扫描任务。若某个扫描引擎在执行扫描任务时的CPU使用率未超过第三阈值时，在下次分配扫描任务个数时，在其目标扫描任务个数的基础上增加一个扫描任务，本发明方法，经过大量数据统计分析发现，比现有的任务分配方法，扫描效率提升15％左右。

Claims (7)

1.一种分布式漏洞扫描系统的任务分配方法，所述的系统包括一级集中管理中心，所述的一级集中管理中心下可配置多个二级集中管理中心或者扫描引擎，所述的每个二级集中管理中心下也可配置一个或者多个扫描引擎；其特征在于，一级集中管理中心统计系统中每个扫描引擎的历史扫描任务，根据历史扫描任务确定每个扫描引擎的目标扫描个数，一级集中管理中心根据每个扫描引擎的目标扫描个数向其分配扫描任务。
2.如权利要求1所述的方法，其特征在于，所述的一级集中管理中心统计系统中每个扫描引擎的历史扫描任务，根据历史扫描任务确定每个扫描引擎的目标扫描个数，具体包括，统计每个扫描引擎历史每次扫描任务的个数及该次扫描过程中CPU的平均负载值、内存使用值；找到CPU平均负载值最近接近第一阈值且内存使用值不超过第二阈值时该扫描引擎任务的个数，并将该任务个数作为该扫描引擎的目标扫描个数；所述的CPU平均负载值最近接近第一阈值是指，可以等于第一阈值但不超过第一阈值。
3.如权利要求1所述的方法，其特征在于，所述的一级集中管理中心根据每个扫描引擎的目标扫描个数向其分配扫描任务包括以下步骤：
S1：计算每个待扫描任务的历史平均扫描时间；
S2：对所有的待扫描任务按照历史待扫描时间从小到大排序为q1,q2,…qn，其中n为任意正整数；
S3：对于任意一个扫描引擎，按照q1,qn,q2,q(n-1)…qm的顺序依次分配给该扫描引擎与其目标扫描个数相同数量的任务个数，其中m为任意正整数；
S4：重复步骤S3，完成对所有扫描引擎的扫描任务分配。
4.如权利要求1所述的方法，其特征在于，所述的方法还包括，首次给所述的扫描引擎分配扫描任务时，一级集中管理中心获取每个扫描引擎的CPU核数，每次给每个扫描引擎分配与其CPU核数相同多的扫描任务个数。
5.如权利要求3所述的方法，其特征在于，所述的计算每个待扫描任务的历史平均扫描时间具体为：
对于每个扫描任务，分别获取该扫描任务历史执行次数为k次的每次扫描时间为t1,t2…tk，则该扫描任务的历史平均扫描时间ta＝(t1+t2+…tk)÷k，其中k为任意正整数。
6.如权利要求1所述的方法，其特征在于，所述的方法还包括，对于任意一个扫描引擎，给其分配与其目标扫描任务个数相同数量的扫描任务后，执行扫描任务时，获取其CPU和内存使用信息，若其CPU的使用情况未超过第三阈值时，则下次给其分配扫描任务个数时，在其目标扫描任务个数的基础上增加一个扫描任务。
7.如权利要求1或6所述的方法，其特征在于，所述的第一阈值和第二阈值均可取80％，所述的第三阈值可取75％。
CN201710927009.0A 2017-10-09 2017-10-09 一种分布式漏洞扫描系统的任务分配方法 Active CN107800690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710927009.0A CN107800690B (zh) 2017-10-09 2017-10-09 一种分布式漏洞扫描系统的任务分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710927009.0A CN107800690B (zh) 2017-10-09 2017-10-09 一种分布式漏洞扫描系统的任务分配方法

Publications (2)

Publication Number Publication Date
CN107800690A true CN107800690A (zh) 2018-03-13
CN107800690B CN107800690B (zh) 2021-07-06

Family

ID=61533841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710927009.0A Active CN107800690B (zh) 2017-10-09 2017-10-09 一种分布式漏洞扫描系统的任务分配方法

Country Status (1)

Country Link
CN (1) CN107800690B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446837A (zh) * 2018-10-12 2019-03-08 深圳前海微众银行股份有限公司 基于敏感信息的文本审核方法、设备及可读存储介质
CN111355751A (zh) * 2018-12-20 2020-06-30 普天信息技术有限公司 任务调度方法及装置
CN113420302A (zh) * 2021-06-27 2021-09-21 杭州迪普科技股份有限公司 主机漏洞检测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559443A (zh) * 2013-11-01 2014-02-05 北京奇虎科技有限公司 多核设备的病毒扫描方法和装置
CN103870334A (zh) * 2012-12-18 2014-06-18 中国移动通信集团公司 一种大规模漏洞扫描的任务分配方法及装置
CN104811415A (zh) * 2014-01-23 2015-07-29 杭州迪普科技有限公司 分布式扫描系统负载均衡方法及装置
US9177113B2 (en) * 2011-10-05 2015-11-03 Zynga Inc. Methods and systems for automated network scanning in dynamic virtualized environments
CN105072089A (zh) * 2015-07-10 2015-11-18 中国科学院信息工程研究所 一种web恶意扫描行为异常检测方法与系统
CN105205399A (zh) * 2015-02-10 2015-12-30 中国移动通信集团广东有限公司 漏洞扫描工具的调度方法及其调度系统
CN106817362A (zh) * 2016-12-08 2017-06-09 西安交大捷普网络科技有限公司 一种基于分布式集群部署下的ip分发调度实现方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177113B2 (en) * 2011-10-05 2015-11-03 Zynga Inc. Methods and systems for automated network scanning in dynamic virtualized environments
CN103870334A (zh) * 2012-12-18 2014-06-18 中国移动通信集团公司 一种大规模漏洞扫描的任务分配方法及装置
CN103559443A (zh) * 2013-11-01 2014-02-05 北京奇虎科技有限公司 多核设备的病毒扫描方法和装置
CN104811415A (zh) * 2014-01-23 2015-07-29 杭州迪普科技有限公司 分布式扫描系统负载均衡方法及装置
CN105205399A (zh) * 2015-02-10 2015-12-30 中国移动通信集团广东有限公司 漏洞扫描工具的调度方法及其调度系统
CN105072089A (zh) * 2015-07-10 2015-11-18 中国科学院信息工程研究所 一种web恶意扫描行为异常检测方法与系统
CN106817362A (zh) * 2016-12-08 2017-06-09 西安交大捷普网络科技有限公司 一种基于分布式集群部署下的ip分发调度实现方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446837A (zh) * 2018-10-12 2019-03-08 深圳前海微众银行股份有限公司 基于敏感信息的文本审核方法、设备及可读存储介质
CN111355751A (zh) * 2018-12-20 2020-06-30 普天信息技术有限公司 任务调度方法及装置
CN113420302A (zh) * 2021-06-27 2021-09-21 杭州迪普科技股份有限公司 主机漏洞检测方法及装置

Also Published As

Publication number Publication date
CN107800690B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
WO2020181813A1 (zh) 一种基于数据处理的任务调度方法及相关设备
CN107800690A (zh) 一种分布式漏洞扫描系统的任务分配方法
CN102722417A (zh) 一种扫描任务的分配方法和装置
CN106371918A (zh) 任务集群调度管理方法及装置
US8869149B2 (en) Concurrency identification for processing of multistage workflows
CN110990121B (zh) 一种基于应用画像的Kubernetes调度策略
CN106528853A (zh) 数据交互管理装置、跨库数据交互处理装置及方法
CN110058940A (zh) 一种多线程环境下的数据处理方法及装置
CN113010576A (zh) 云计算系统容量评估的方法、装置、设备和存储介质
CN102629220A (zh) 一种动态任务分配管理方法
CN113886034A (zh) 任务调度方法、系统、电子设备及存储介质
CN105468619A (zh) 用于数据库连接池的资源分配方法和装置
CN114661476A (zh) 一种任务处理方法、装置、设备以及存储介质
CN111415062A (zh) 众包任务分配方法、装置、电子设备及存储介质
Möllering et al. An optimal critical level policy for inventory systems with two demand classes
Zhu et al. SAQA: a self-adaptive QoS-aware scheduling algorithm for real-time tasks on heterogeneous clusters
Unsal An extended formulation of moldable task scheduling problem and its application to quay crane assignments
CN105320660B (zh) 数值模拟并行计算的作业自动提交方法及装置
CN116401024A (zh) 基于云计算的集群扩缩容方法、装置、设备及介质
Cao et al. Online cost-rejection rate scheduling for resource requests in hybrid clouds
CN114358508A (zh) 一种工单分配方法、装置、设备和介质
CN102571453B (zh) 设备资源池的管理方法和系统
CN107479977B (zh) 一种确定设备性能的方法和设备
CN112734359A (zh) 科技项目进度跟踪系统
CN104834570A (zh) 一种基于资源池的云计算平台资源管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant