CN113766047B - 一种任务分组方法、装置、计算机设备及存储介质 - Google Patents
一种任务分组方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113766047B CN113766047B CN202111087414.9A CN202111087414A CN113766047B CN 113766047 B CN113766047 B CN 113766047B CN 202111087414 A CN202111087414 A CN 202111087414A CN 113766047 B CN113766047 B CN 113766047B
- Authority
- CN
- China
- Prior art keywords
- scanning
- target
- port
- grouping
- total
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013500 data storage Methods 0.000 claims abstract description 136
- 238000004364 calculation method Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000002245 particle Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/50—Address allocation
- H04L61/5069—Address allocation for group communication, multicast communication or broadcast communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2101/00—Indexing scheme associated with group H04L61/00
- H04L2101/60—Types of network addresses
- H04L2101/677—Multiple interfaces, e.g. multihomed nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种任务分组方法、装置、计算机设备及存储介质。该方法包括：根据主任务中包括的IP地址的地址扫描范围，以及针对每个IP地址的端口扫描范围，计算得到总扫描IP数和总扫描端口数；根据总扫描IP数、总扫描端口数、预设的标准每组端口数和标准每组IP数，计算得到目标端口分组数和目标IP分组数；将主任务划分为多个扫描子任务，并获取扫描子任务总数量；根据扫描子任务总数量和预设的标准数据存储分组数，计算目标数据存储分组数以及扫描子任务分组数，并将各扫描子任务分组分别划分至各目标数据存储分组中。本发明实施例，解决了任务分布不均匀的问题，实现了能够降低整体任务执行的耗时，进而提高任务处理效率。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种任务分组方法、装置、计算机设备及存储介质。
背景技术
随着时代的不断进步，科学技术也不断发展。目前，在分布式网络探索扫描系统中，子任务切分的方法大多是是固定参数法。
发明人在发明过程中，发现现有技术的缺陷为：一旦在配置文件中定义好，对后面的扫描任务就都是按照这个参数进行切分，无论任务中包含的目标数量是多少，都会这么切分，那么对于目标数量极大和目标数量极小的任务，切分出的颗粒就不均匀。
发明内容
本发明实施例提供一种任务分组方法、装置、计算机设备及存储介质，能够降低整体任务执行的耗时，进而提高任务处理效率。
第一方面，本发明实施例提供了一种任务分组方法，其中，包括：
根据主任务中包括的IP(Internet Protocol，网际协议)地址的地址扫描范围，以及针对每个IP地址的端口扫描范围，计算得到与主任务匹配的总扫描IP数和总扫描端口数；
根据总扫描IP数、总扫描端口数、预设的标准每组端口数以及预设的标准每组IP数，计算得到目标端口分组数和目标IP分组数；
根据目标端口分组数和目标IP分组数，将主任务划分为多个扫描子任务，并获取扫描子任务总数量，每个扫描子任务中包括：对与一个目标IP分组中每个IP对应的一个目标端口分组中各的端口所进行的扫描任务；
根据扫描子任务总数量和预设的标准数据存储分组数，计算目标数据存储分组数以及与每个目标数据存储分组数对应的扫描子任务分组数，并将各扫描子任务分组分别划分至各目标数据存储分组中。
第二方面，本发明实施例还提供了一种任务分组装置，该任务分组装置包括：
总扫描IP数和总扫描端口数计算模块，用于根据主任务中包括的IP地址的地址扫描范围，以及针对每个IP地址的端口扫描范围，计算得到与主任务匹配的总扫描IP数和总扫描端口数；
目标端口分组数和目标IP分组数计算模块，用于根据总扫描IP数、总扫描端口数、预设的标准每组端口数以及预设的标准每组IP数，计算得到目标端口分组数和目标IP分组数；
扫描子任务总数量获取模块，用于根据目标端口分组数和目标IP分组数，将主任务划分为多个扫描子任务，并获取扫描子任务总数量，每个扫描子任务中包括：对与一个目标IP分组中每个IP对应的一个目标端口分组中各的端口所进行的扫描任务；
目标数据存储分组数和扫描子任务分组数计算模块，用于根据扫描子任务总数量和预设的标准数据存储分组数，计算目标数据存储分组数以及与每个目标数据存储分组数对应的扫描子任务分组数，并将各扫描子任务分组分别划分至各目标数据存储分组中。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如本发明任意实施例所述的任务分组方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如本发明任意实施例所述的任务分组方法。
本发明实施例所提供的技术方案，通过根据主任务中包括的IP地址的地址扫描范围，以及针对每个IP地址的端口扫描范围，计算得到与主任务匹配的总扫描IP数和总扫描端口数；根据总扫描IP数、总扫描端口数、预设的标准每组端口数以及预设的标准每组IP数，计算得到目标端口分组数和目标IP分组数；根据目标端口分组数和目标IP分组数，将主任务划分为多个扫描子任务，并获取扫描子任务总数量；根据扫描子任务总数量和预设的标准数据存储分组数，计算目标数据存储分组数以及与每个目标数据存储分组数对应的扫描子任务分组数，并将各扫描子任务分组分别划分至各目标数据存储分组中。解决了现在对于目标数量极大和目标数量极小的任务，切分出的颗粒就不均匀的问题，实现了根据实际任务中包括的总扫描IP数均衡的对该任务进行动态分组的效果，进而可以实现分布式节点扫描均衡的执行，充分地发挥资源的性能，并尽可能的降低了处理整体任务的时间。
附图说明
图1a是本发明实施例一提供的一种任务分组方法的流程图；
图1b是本发明实施例一提供的一种任务分组方法中的一个具体的应用场景的流程图；
图2是本发明实施例二提供的一种任务分组装置的结构示意图；
图3是本发明实施例三提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本发明实施例的说明书和权利要求书及附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
实施例一
图1a是本发明实施例一提供的一种任务分组方法的流程图。本实施例可适用于在分布式网络探索扫描系统中，根据任务中包括的总扫描IP数，动态、均衡的划分子任务的情况。本实施例的方法可以由任务分组装置执行，该装置可以通过软件和/或硬件的方式实现，该装置可配置于计算机设备中，该计算机设备可以是服务器或者终端设备等，本发明实施例并不对计算机设备的类型进行限定。
相应的，该方法具体包括如下步骤：
S110、根据主任务中包括的IP地址的地址扫描范围，以及针对每个IP地址的端口扫描范围，计算得到与主任务匹配的总扫描IP数和总扫描端口数。
其中，主任务可以是在网络探测中下发的一个主体任务，通常包含有以下元素：任务名称、IP地址的地址扫描范围以及每个IP地址的端口扫描范围。IP地址可以是IP协议提供的一种统一的地址格式，它为互联网上的每一个网络和每一台主机分配一个逻辑地址，以此来屏蔽物理地址的差异。地址扫描范围可以是IP地址的地址信息进行扫描的范围。端口扫描范围可以是IP协议中端口信息进行扫描的范围。总扫描IP数可以是一段时间内，扫描IP数的总和。总扫描端口数可以是一段时间内，扫描端口数的总和。
在本实施例中，在一定的时间周期内，通过根据主任务中包括的IP地址的地址扫描范围，以及针对每个IP地址的端口扫描范围，可以计算得到与主任务匹配的总扫描IP数和总扫描端口数。
S120、根据总扫描IP数、总扫描端口数、预设的标准每组端口数以及预设的标准每组IP数，计算得到目标端口分组数和目标IP分组数。
其中，预设的标准每组端口数可以是在每个IP组中，多少个端口号可以分成一个组。预设的标准每组IP数可以是一个组包含的最多IP个数。目标端口分组数可以是计算得出的端口分组的数量。目标IP分组数可以是计算得出的IP分组的数量。
在本实施例中，通过根据总扫描IP数、总扫描端口数、预设的标准每组端口数以及预设的标准每组IP数，可以计算得出目标端口分组数和目标IP分组数。相应的，可以根据目标端口分组数和目标IP分组数计算出相应的数据。
可选的，根据总扫描IP数、总扫描端口数、预设的标准每组端口数以及预设的标准每组IP数，计算得到目标端口分组数和目标IP分组数，包括：根据总扫描端口数以及所述标准每组端口数，计算得到目标端口分组数；根据总扫描IP数与预设的标准每组IP数间的数值关系，计算得到目标每组IP数；根据所述总扫描IP数以及所述目标每组IP数，计算得到目标IP分组数。
其中，目标每组IP数可以是计算得出的每组中IP的数量。
在本实施例中，通过根据总扫描端口数以及所述标准每组端口数，可以计算得到目标端口分组数；通过根据总扫描IP数与预设的标准每组IP数间的数值关系，可以计算得到目标每组IP数；通过根据所述总扫描IP数以及所述目标每组IP数，可以计算得到目标IP分组数。
这样设置的好处在于：可以更加清楚的计算出目标端口分组数、目标每组IP数和目标IP分组数。这样使得对扫描任务划分的更加均匀清晰，可以进一步提高扫描效率。
具体的，根据总扫描IP数与预设的标准每组IP数间的数值关系，计算得到目标每组IP数，包括：如果确定所述总扫描IP数大于所述标准每组IP数，则确定目标每组IP数为所述标准每组IP数；如果确定所述总扫描IP数小于或等于所述标准每组IP数，则确定目标每组IP数为1。
在本实施例中，通过判断总扫描IP数和标准每组IP数的数量大小的关系，来确定目标每组IP数的大小。具体的，如果确定总扫描IP数大于标准每组IP数，则确定目标每组IP数为标准每组IP数；如果确定总扫描IP数小于或等于标准每组IP数，则确定目标每组IP数为1。
示例性的，如果总扫描IP数为1000，标准每组IP数为100，则1000>100，目标每组IP数为100。如果总扫描IP数为100，标准每组IP数为1000，则100<1000，目标每组IP数为1。
这样设置的好处在于：在分布式扫描系统中，对于目标任务极大或者目标任务极小的情况，切分出的子任务不均匀的现象。可以通过判断总扫描IP数和标准每组IP数的数量大小的关系，来确定目标每组IP数的大小。这样可以很好地避免切分出的子任务不均匀的情况。因此，能够相对均衡分组任务，充分发挥资源性能。
具体的，根据总扫描端口数以及所述标准每组端口数，计算得到目标端口分组数，包括：将所述总扫描端口数除以所述标准每组端口数的商值进行向上取整，并将取整结果作为所述目标端口分组数；和/或根据所述总扫描IP数以及所述目标每组IP数，计算得到目标IP分组数，包括：将所述总扫描IP数除以所述目标每组IP数的商值进行向上取整，并将取整结果作为目标IP分组数。
其中，向上取整可以是取整函数只会对小数点后面的数字不为零的数进行操作，要是给它一个整数，它就返回整数本身，对小数不为零的数操作。示例性的，如果一个数为4.7，则可向上取整得到的数为5。
在本实施例中，可以通过总扫描端口数除以标准每组端口数的商值进行向上取整，并将取整结果作为目标端口分组数。可以通过总扫描IP数除以目标每组IP数的商值进行向上取整，并将取整结果作为目标IP分组数。这样当得到的结果是小数时，向上取整，可以进一步的确保任务分组的合理性和准确性。
示例性的，总扫描端口数设为A，标准每组端口数为B，则目标端口分组数C＝A/B，向上取整。同理，总扫描IP数为D，目标每组IP数为E，则目标IP分组数F＝D/E，向上取整。
这样设置的好处在于：更加合理化的实现了分布式扫描系统任务分布的情况。从而使得扫描任务在分布式节点均衡的执行，充分发挥资源的性能，能够更加准确的进行任务分组。
S130、根据目标端口分组数和目标IP分组数，将主任务划分为多个扫描子任务，并获取扫描子任务总数量，每个扫描子任务中包括：对与一个目标IP分组中每个IP对应的一个目标端口分组中各的端口所进行的扫描任务。
其中，子任务可以是将每一组任务包含的端口，按一定数量进行分片。例如每片100个端口，这分出来每一片构成一个子任务，同一组下的子任务具有相同的IP列表和不同的端口列表。扫描子任务总数量可以是需要进行扫描的子任务的总共的数量。
在本实施例中，通过根据目标端口分组数和目标IP分组数，可以将主任务划分为多个扫描子任务，进一步的，可以得到扫描子任务总数量。这样通过计算得到扫描子任务的总数量，使得任务分组更加准确并且更加具有合理性。
具体的，根据目标端口分组数和目标IP分组数，将主任务划分为多个扫描子任务，并获取扫描子任务总数量，包括：以标准每组端口数为单位，对所述端口扫描范围进行分组处理，得到与所述目标端口分组数匹配的多个目标端口分组；以目标每组IP数为单位，对所述地址扫描范围进行分组处理，得到与所述目标IP分组数匹配的多个目标IP分组；将每个目标IP分组与每个目标端口分组进行组合，得到多个扫描子任务；将所述目标端口分组数和目标IP分组数的乘积，作为扫描子任务总数量。
在本实施例中，根据目标端口分组数和目标IP分组数，可以获取扫描子任务总数量。其中可以包括：以标准每组端口数为单位，通过对端口扫描范围进行分组处理，可以得到与目标端口分组数匹配的多个目标端口分组；以目标每组IP数为单位，通过对地址扫描范围进行分组处理，得到与目标IP分组数匹配的多个目标IP分组；进一步的，将每个目标IP分组与每个目标端口分组进行组合，可以得到多个扫描子任务；相应的，将目标端口分组数和目标IP分组数的乘积，可以计算出扫描子任务总数量。
这样设置的好处在于：扫描子任务总数量是通过计算目标端口分组数和目标IP分组数的乘积而得到的。这样可以使得计算出的扫描子任务总数量更加精确，进一步的，对接下来的任务分组更加准确性，同样也可以提高工作效率，并且使得任务分布更加均衡。
S140、根据扫描子任务总数量和预设的标准数据存储分组数，计算目标数据存储分组数以及与每个目标数据存储分组数对应的扫描子任务分组数，并将各扫描子任务分组分别划分至各目标数据存储分组中。
其中，标准数据存储分组数可以是标准的数据以某种格式记录在计算机内部或外部存储介质上进行分组的数量。目标数据存储分组数可以是对一段时间内，对所有IP地址及其端口数进行任务分组的数量。扫描子任务分组数可以是对于每个目标数据存储的分组对应需要处理的子任务的数量。
在本实施例中，通过根据扫描子任务总数量和预设的标准数据存储分组数，可以计算得到目标数据存储分组数，以及与每个目标数据存储分组数相对应的扫描子任务分组数，相应的，可以将各扫描子任务分组分别划分至各目标数据存储分组中进行任务处理。
可选的，根据扫描子任务总数量和预设的标准数据存储分组数，计算目标数据存储分组数以及与每个目标数据存储分组数对应的扫描子任务分组数，包括：根据所述扫描子任务总数量的开平方值，计算得到均衡数据存储分组数；如果确定均衡数据存储分组数小于所述标准数据存储分组数，则将所述均衡数据存储分组数确定为目标数据存储分组数；如果确定均衡数据存储分组数大于或等于所述标准数据存储分组数，则将标准数据存储分组数确定为目标数据存储分组数；根据所述扫描子任务总数量以及所述目标数据存储分组数，计算得到扫描子任务分组数。
其中，均衡数据存储分组数可以是数据存储分组数处于相对稳定的数值，具体的，是通过扫描子任务总数量进行开平方可以得到。
在本实施例中，通过判断均衡数据存储分组数和标准数据存储分组数的数值大小，来确定目标数据存储分组数的数值。进一步的，根据扫描子任务总数量以及目标数据存储分组数，可以计算得到扫描子任务分组数。
示例性的，扫描子任务总数量设为G，则均衡数据存储分组数向上取整。标准数据存储分组数设为I。如果H<I，则目标数据存储分组数J＝H；反之，则目标数据存储分组数J＝I。
这样设置的好处在于：通过数值判断，进一步地确定目标数据存储分组数的数值，也可以相应的得到扫描子任务分组数。可以进一步的使得任务分组更加均衡，进而可以提高系统处理任务的工作效率，从而减少了时间成本。
可选的，在将各扫描子任务分组分别划分至各目标数据存储分组中之后，还包括：将各所述目标数据存储分组分别分发至分布式扫描系统中包括的各扫描节点中，以通过各扫描节点对接收到的扫描子任务分组中的各扫描子任务进行扫描处理。
其中，分布式扫描系统可以是在一个分布式系统中，一组独立的计算机展现给用户的是一个统一的整体，就好像是一个系统似的，系统拥有多种通用的物理和逻辑资源，可以动态的分配任务，分散的物理和逻辑资源通过计算机网络实现信息交换。扫描节点可以是在分布式扫描系统中，进行扫描的过程中包括多个再分发点。
在本实施例中，通过将各目标数据存储分组分别分发至分布式扫描系统中包括的各扫描节点中，并且可以对通过各扫描节点所接收到的扫描子任务分组中的各扫描子任务，进行扫描任务处理。
这样设置的好处在于：通过在将各扫描子任务分组分别划分至各目标数据存储分组中之后，可以通过各扫描节点对接收到的扫描子任务分组中的各扫描子任务进行扫描处理。这样可以使得各扫描节点可以有秩序的对接收到的各扫描子任务进行任务处理。使得提高了工作效率，减少了任务处理的所占用的时间。
本发明实施例所提供的技术方案，通过根据主任务中包括的IP地址的地址扫描范围，以及针对每个IP地址的端口扫描范围，计算得到与主任务匹配的总扫描IP数和总扫描端口数；根据总扫描IP数、总扫描端口数、预设的标准每组端口数以及预设的标准每组IP数，计算得到目标端口分组数和目标IP分组数；根据目标端口分组数和目标IP分组数，将主任务划分为多个扫描子任务，并获取扫描子任务总数量；根据扫描子任务总数量和预设的标准数据存储分组数，计算目标数据存储分组数以及与每个目标数据存储分组数对应的扫描子任务分组数，并将各扫描子任务分组分别划分至各目标数据存储分组中。解决了现在对于目标数量极大和目标数量极小的任务，切分出的颗粒就不均匀的问题，实现了根据实际任务中包括的总扫描IP数均衡的对该任务进行动态分组的效果，进而可以实现分布式节点扫描均衡的执行，充分地发挥资源的性能，并尽可能的降低了处理整体任务的时间。
具体的应用场景
图1b为一种任务分组方法中的一个具体的应用场景的流程图。其中，设TAN为总扫描IP数，TPN为总扫描端口数，PN为预设的标准每组端口数，XAN为预设的标准每组IP数，XTN为标准数据存储分组数，PG为目标端口分组数，IG为目标IP分组数，TST为扫描子任务总数量，TN为目标数据存储分组数，STN为扫描子任务分组数，AN为目标每组IP数，DGN为均衡数据存储分组数。
因此，对于分布式扫描系统进行任务分布时，具体的操作步骤如下：
1)计算目标端口分组数PG：PG＝TPN÷PN，向上取整。
2)计算目标每组IP数AN：当TAN>XAN时，AN＝XAN；否则AN＝1。
3)计算目标IP分组数IG：IG＝TAN÷AN，向上取整。
4)计算扫描子任务总数量TST：TST＝PG*IG。
5)计算均衡数据存储分组数DGN：
6)计算目标数据存储分组数TN：当DGN<XTN时，TN＝DGN；否则，TN＝XTN，也即
7)创建TN个数据库表，每个表内的扫描子任务分组数STN：STN＝TST÷TN。
因此，对于总扫描IP数为TAN，总扫描端口数为TPN，可以创建TN个存储表，并且每个表内有STN个子任务。
具体的，应用两个具体的场景，对于分布式扫描系统进行任务分布时，当任务为目标数量极大的情况时和目标数量极小的情况时，任务的具体分布情况。
当A任务为目标数量极大的情况时，设总扫描IP数TAN＝100000，总扫描端口数TPN＝10000，预设的标准每组端口数PN＝50，预设的标准每组IP数XAN＝1000，标准数据存储分组数XTN＝1000。具体的操作步骤如下：
1)计算目标端口分组数PG：PG＝10000÷50＝200。
2)计算目标每组IP数AN：由于100000>1000，AN＝1000。
3)计算目标IP分组数IG：IG＝100000÷1000＝100。
4)计算扫描子任务总数量TST：TST＝200*100＝20000。
5)计算均衡数据存储分组数DGN：向上取整为142。
6)计算目标数据存储分组数TN：由于142<1000，则TN＝142。
7)创建TN个数据库表，每个表内的扫描子任务分组数STN：STN＝20000÷142，向上取整得141。
因此，对于总扫描IP数为100000，总扫描端口数为10000，可以创建142个存储表，并且每个表内有141个子任务。
当B任务为目标数量极小的情况时，设总扫描IP数TAN＝10，总扫描端口数TPN＝100，预设的标准每组端口数PN＝50，预设的标准每组IP数XAN＝1000，标准数据存储分组数XTN＝1000。具体的操作步骤如下：
1)计算目标端口分组数PG：PG＝100÷50＝2。
2)计算目标每组IP数AN：由于10＜1000，所以AN＝1。
3)计算目标IP分组数IG：IG＝10÷1＝10。
4)计算扫描子任务总数量TST：TST＝2*10＝20。
5)计算均衡数据存储分组数DGN：向上取整为5。
6)计算目标数据存储分组数TN：由于5<1000，则TN＝5。
7)创建TN个数据库表，每个表内的扫描子任务分组数STN：STN＝20÷5＝4。
因此，对于总扫描IP数为10，总扫描端口数为100，可以创建5个存储表，并且每个表内有4个子任务。
实施例二
图2是本发明实施例二提供的一种任务分组装置的结构示意图，本实施例所提供的一种任务分组装置可以通过软件和/或硬件来实现，可配置于服务器中来实现本发明实施例中的一种任务分组方法。如图2所示，该装置具体可包括：总扫描IP数和总扫描端口数计算模块210、目标端口分组数和目标IP分组数计算模块220、扫描子任务总数量获取模块230和目标数据存储分组数和扫描子任务分组数计算模块240。
其中，总扫描IP数和总扫描端口数计算模块210，用于根据主任务中包括的IP地址的地址扫描范围，以及针对每个IP地址的端口扫描范围，计算得到与主任务匹配的总扫描IP数和总扫描端口数；
目标端口分组数和目标IP分组数计算模块220，用于根据总扫描IP数、总扫描端口数、预设的标准每组端口数以及预设的标准每组IP数，计算得到目标端口分组数和目标IP分组数；
扫描子任务总数量获取模块230，用于根据目标端口分组数和目标IP分组数，将主任务划分为多个扫描子任务，并获取扫描子任务总数量，每个扫描子任务中包括：对与一个目标IP分组中每个IP对应的一个目标端口分组中各的端口所进行的扫描任务；
目标数据存储分组数和扫描子任务分组数计算模块240，用于根据扫描子任务总数量和预设的标准数据存储分组数，计算目标数据存储分组数以及与每个目标数据存储分组数对应的扫描子任务分组数，并将各扫描子任务分组分别划分至各目标数据存储分组中。
本发明实施例所提供的技术方案，通过根据主任务中包括的IP地址的地址扫描范围，以及针对每个IP地址的端口扫描范围，计算得到与主任务匹配的总扫描IP数和总扫描端口数；根据总扫描IP数、总扫描端口数、预设的标准每组端口数以及预设的标准每组IP数，计算得到目标端口分组数和目标IP分组数；根据目标端口分组数和目标IP分组数，将主任务划分为多个扫描子任务，并获取扫描子任务总数量；根据扫描子任务总数量和预设的标准数据存储分组数，计算目标数据存储分组数以及与每个目标数据存储分组数对应的扫描子任务分组数，并将各扫描子任务分组分别划分至各目标数据存储分组中。解决了现在对于目标数量极大和目标数量极小的任务，切分出的颗粒就不均匀的问题，实现了根据实际任务中包括的总扫描IP数均衡的对该任务进行动态分组的效果，进而可以实现分布式节点扫描均衡的执行，充分地发挥资源的性能，并尽可能的降低了处理整体任务的时间。
在上述各实施例的基础上，目标端口分组数和目标IP分组数计算模块220，可以具体包括：目标端口分组数计算子单元，用于根据总扫描端口数以及所述标准每组端口数，计算得到目标端口分组数；目标每组IP数计算子单元，用于根据总扫描IP数与预设的标准每组IP数间的数值关系，计算得到目标每组IP数；目标IP分组数计算子单元，用于根据所述总扫描IP数以及所述目标每组IP数，计算得到目标IP分组数。
在上述各实施例的基础上，目标每组IP数计算子单元，可以具体用于：如果确定所述总扫描IP数大于所述标准每组IP数，则确定目标每组IP数为所述标准每组IP数；如果确定所述总扫描IP数小于或等于所述标准每组IP数，则确定目标每组IP数为1。
在上述各实施例的基础上，目标端口分组数计算子单元，可以具体用于：将所述总扫描端口数除以所述标准每组端口数的商值进行向上取整，并将取整结果作为所述目标端口分组数；和/或目标IP分组数计算子单元，可以具体用于：将所述总扫描IP数除以所述目标每组IP数的商值进行向上取整，并将取整结果作为目标IP分组数。
在上述各实施例的基础上，扫描子任务总数量获取模块230，可以具体用于：以标准每组端口数为单位，对所述端口扫描范围进行分组处理，得到与所述目标端口分组数匹配的多个目标端口分组；以目标每组IP数为单位，对所述地址扫描范围进行分组处理，得到与所述目标IP分组数匹配的多个目标IP分组；将每个目标IP分组与每个目标端口分组进行组合，得到多个扫描子任务；将所述目标端口分组数和目标IP分组数的乘积，作为扫描子任务总数量。
在上述各实施例的基础上，目标数据存储分组数和扫描子任务分组数计算模块240，可以具体用于：根据所述扫描子任务总数量的开平方值，计算得到均衡数据存储分组数；如果确定均衡数据存储分组数小于所述标准数据存储分组数，则将所述均衡数据存储分组数确定为目标数据存储分组数；如果确定均衡数据存储分组数大于或等于所述标准数据存储分组数，则将标准数据存储分组数确定为目标数据存储分组数；根据所述扫描子任务总数量以及所述目标数据存储分组数，计算得到扫描子任务分组数。
在上述各实施例的基础上，在还可以包括，扫描处理模块，可以用于：在将各扫描子任务分组分别划分至各目标数据存储分组中之后，将各所述目标数据存储分组分别分发至分布式扫描系统中包括的各扫描节点中，以通过各扫描节点对接收到的扫描子任务分组中的各扫描子任务进行扫描处理。
上述任务分组装置可执行本发明任意实施例所提供的任务分组方法，具备执行方法相应的功能模块和有益效果。
实施例三
图3是本发明实施例三提供的一种计算机设备的结构示意图。如图3所示，该设备包括处理器310、存储器320、输入装置330和输出装置340；设备中处理器310的数量可以是一个或多个，图3中以一个处理器310为例；设备中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的任务分组方法对应的程序指令/模块(例如，总扫描IP数和总扫描端口数计算模块210、目标端口分组数和目标IP分组数计算模块220、扫描子任务总数量获取模块230和目标数据存储分组数和扫描子任务分组数计算模块240)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的任务分组方法，该方法包括：根据主任务中包括的IP地址的地址扫描范围，以及针对每个IP地址的端口扫描范围，计算得到与主任务匹配的总扫描IP数和总扫描端口数；根据总扫描IP数、总扫描端口数、预设的标准每组端口数以及预设的标准每组IP数，计算得到目标端口分组数和目标IP分组数；根据目标端口分组数和目标IP分组数，将主任务划分为多个扫描子任务，并获取扫描子任务总数量，每个扫描子任务中包括：对与一个目标IP分组中每个IP对应的一个目标端口分组中各的端口所进行的扫描任务；根据扫描子任务总数量和预设的标准数据存储分组数，计算目标数据存储分组数以及与每个目标数据存储分组数对应的扫描子任务分组数，并将各扫描子任务分组分别划分至各目标数据存储分组中。
存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种任务分组方法，该方法包括：根据主任务中包括的IP地址的地址扫描范围，以及针对每个IP地址的端口扫描范围，计算得到与主任务匹配的总扫描IP数和总扫描端口数；根据总扫描IP数、总扫描端口数、预设的标准每组端口数以及预设的标准每组IP数，计算得到目标端口分组数和目标IP分组数；根据目标端口分组数和目标IP分组数，将主任务划分为多个扫描子任务，并获取扫描子任务总数量，每个扫描子任务中包括：对与一个目标IP分组中每个IP对应的一个目标端口分组中各的端口所进行的扫描任务；根据扫描子任务总数量和预设的标准数据存储分组数，计算目标数据存储分组数以及与每个目标数据存储分组数对应的扫描子任务分组数，并将各扫描子任务分组分别划分至各目标数据存储分组中。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的任务分组方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (6)
1.一种任务分组方法，其特征在于，包括：
根据主任务中包括的网际协议IP地址的地址扫描范围，以及针对每个IP地址的端口扫描范围，计算得到与主任务匹配的总扫描IP数和总扫描端口数；
根据总扫描IP数、总扫描端口数、预设的标准每组端口数以及预设的标准每组IP数，计算得到目标端口分组数和目标IP分组数；
根据目标端口分组数和目标IP分组数，将主任务划分为多个扫描子任务，并获取扫描子任务总数量，每个扫描子任务中包括：对与一个目标IP分组中每个IP对应的一个目标端口分组中各的端口所进行的扫描任务；
根据扫描子任务总数量和预设的标准数据存储分组数，计算目标数据存储分组数以及与每个目标数据存储分组数对应的扫描子任务分组数，并将各扫描子任务分组分别划分至各目标数据存储分组中；
其中，根据总扫描IP数、总扫描端口数、预设的标准每组端口数以及预设的标准每组IP数，计算得到目标端口分组数和目标IP分组数，包括：
根据总扫描端口数以及所述标准每组端口数，计算得到目标端口分组数；
根据总扫描IP数与预设的标准每组IP数间的数值关系，计算得到目标每组IP数；
根据所述总扫描IP数以及所述目标每组IP数，计算得到目标IP分组数；
其中，根据总扫描IP数与预设的标准每组IP数间的数值关系，计算得到目标每组IP数，包括：
如果确定所述总扫描IP数大于所述标准每组IP数，则确定目标每组IP数为所述标准每组IP数；
如果确定所述总扫描IP数小于或等于所述标准每组IP数，则确定目标每组IP数为1；
其中，根据总扫描端口数以及所述标准每组端口数，计算得到目标端口分组数，包括：
将所述总扫描端口数除以所述标准每组端口数的商值进行向上取整，并将取整结果作为所述目标端口分组数；和/或
根据所述总扫描IP数以及所述目标每组IP数，计算得到目标IP分组数，包括：
将所述总扫描IP数除以所述目标每组IP数的商值进行向上取整，并将取整结果作为目标IP分组数；
其中，根据扫描子任务总数量和预设的标准数据存储分组数，计算目标数据存储分组数以及与每个目标数据存储分组数对应的扫描子任务分组数，包括：
根据所述扫描子任务总数量的开平方值，计算得到均衡数据存储分组数；
如果确定均衡数据存储分组数小于所述标准数据存储分组数，则将所述均衡数据存储分组数确定为目标数据存储分组数；
如果确定均衡数据存储分组数大于或等于所述标准数据存储分组数，则将标准数据存储分组数确定为目标数据存储分组数；
根据所述扫描子任务总数量以及所述目标数据存储分组数，计算得到扫描子任务分组数。
2.根据权利要求1所述的方法，其特征在于，根据目标端口分组数和目标IP分组数，将主任务划分为多个扫描子任务，并获取扫描子任务总数量，包括：
以标准每组端口数为单位，对所述端口扫描范围进行分组处理，得到与所述目标端口分组数匹配的多个目标端口分组；
以目标每组IP数为单位，对所述地址扫描范围进行分组处理，得到与所述目标IP分组数匹配的多个目标IP分组；
将每个目标IP分组与每个目标端口分组进行组合，得到多个扫描子任务；
将所述目标端口分组数和目标IP分组数的乘积，作为扫描子任务总数量。
3.根据权利要求1或2任一项所述的方法，其特征在于，在将各扫描子任务分组分别划分至各目标数据存储分组中之后，还包括：
将各所述目标数据存储分组分别分发至分布式扫描系统中包括的各扫描节点中，以通过各扫描节点对接收到的扫描子任务分组中的各扫描子任务进行扫描处理。
4.一种任务分组装置，其特征在于，包括：
总扫描IP数和总扫描端口数计算模块，用于根据主任务中包括的网际协议IP地址的地址扫描范围，以及针对每个IP地址的端口扫描范围，计算得到与主任务匹配的总扫描IP数和总扫描端口数；
目标端口分组数和目标IP分组数计算模块，用于根据总扫描IP数、总扫描端口数、预设的标准每组端口数以及预设的标准每组IP数，计算得到目标端口分组数和目标IP分组数；
扫描子任务总数量获取模块，用于根据目标端口分组数和目标IP分组数，将主任务划分为多个扫描子任务，并获取扫描子任务总数量，每个扫描子任务中包括：对与一个目标IP分组中每个IP对应的一个目标端口分组中各的端口所进行的扫描任务；
目标数据存储分组数和扫描子任务分组数计算模块，用于根据扫描子任务总数量和预设的标准数据存储分组数，计算目标数据存储分组数以及与每个目标数据存储分组数对应的扫描子任务分组数，并将各扫描子任务分组分别划分至各目标数据存储分组中；
其中，所述目标端口分组数和目标IP分组数计算模块，包括：目标端口分组数计算子单元，用于根据总扫描端口数以及所述标准每组端口数，计算得到目标端口分组数；目标每组IP数计算子单元，用于根据总扫描IP数与预设的标准每组IP数间的数值关系，计算得到目标每组IP数；目标IP分组数计算子单元，用于根据所述总扫描IP数以及所述目标每组IP数，计算得到目标IP分组数；
其中，所述目标每组IP数计算子单元，包括：如果确定所述总扫描IP数大于所述标准每组IP数，则确定目标每组IP数为所述标准每组IP数；如果确定所述总扫描IP数小于或等于所述标准每组IP数，则确定目标每组IP数为1；
其中，所述目标端口分组数计算子单元，包括：将所述总扫描端口数除以所述标准每组端口数的商值进行向上取整，并将取整结果作为所述目标端口分组数；和/或所述目标IP分组数计算子单元，包括：将所述总扫描IP数除以所述目标每组IP数的商值进行向上取整，并将取整结果作为目标IP分组数；
其中，所述目标数据存储分组数和扫描子任务分组数计算模块，用于：根据所述扫描子任务总数量的开平方值，计算得到均衡数据存储分组数；如果确定均衡数据存储分组数小于所述标准数据存储分组数，则将所述均衡数据存储分组数确定为目标数据存储分组数；如果确定均衡数据存储分组数大于或等于所述标准数据存储分组数，则将标准数据存储分组数确定为目标数据存储分组数；根据所述扫描子任务总数量以及所述目标数据存储分组数，计算得到扫描子任务分组数。
5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-3中任一项所述的任务分组方法。
6.一种计算机可执行指令的存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的任务分组方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111087414.9A CN113766047B (zh) | 2021-09-16 | 2021-09-16 | 一种任务分组方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111087414.9A CN113766047B (zh) | 2021-09-16 | 2021-09-16 | 一种任务分组方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113766047A CN113766047A (zh) | 2021-12-07 |
| CN113766047B true CN113766047B (zh) | 2024-03-22 |
Family
ID=78796025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111087414.9A Active CN113766047B (zh) | 2021-09-16 | 2021-09-16 | 一种任务分组方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113766047B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114268497B (zh) * | 2021-12-22 | 2024-04-26 | 杭州安恒信息技术股份有限公司 | 一种网络资产扫描方法、装置、设备和介质 |
| CN114050940A (zh) * | 2022-01-10 | 2022-02-15 | 北京华云安信息技术有限公司 | 一种资产漏洞探测方法、装置和电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8516573B1 (en) * | 2005-12-22 | 2013-08-20 | At&T Intellectual Property Ii, L.P. | Method and apparatus for port scan detection in a network |
| CN110532096A (zh) * | 2019-08-28 | 2019-12-03 | 广东乐之康医疗技术有限公司 | 一种多节点分组并行部署的系统和方法 |
| CN110691072A (zh) * | 2019-09-11 | 2020-01-14 | 光通天下网络科技股份有限公司 | 分布式端口扫描方法、装置、介质、电子设备 |
| CN111580946A (zh) * | 2020-04-28 | 2020-08-25 | 北京达佳互联信息技术有限公司 | 端口扫描方法、装置、设备及存储介质 |
| CN111738591A (zh) * | 2020-06-19 | 2020-10-02 | 苏州浪潮智能科技有限公司 | 一种任务执行方法、装置、设备及可读存储介质 |
| CN112153135A (zh) * | 2020-09-18 | 2020-12-29 | 恒安嘉新（北京）科技股份公司 | 一种网络扫描方法、装置、设备及存储介质 |
| CN112398966A (zh) * | 2020-11-12 | 2021-02-23 | 北京知道创宇信息技术股份有限公司 | 测绘方法、装置、网络设备及可读存储介质 |
| CN113037765A (zh) * | 2021-03-23 | 2021-06-25 | 寇英翰 | 一种端口扫描装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8434140B2 (en) * | 2007-11-06 | 2013-04-30 | Barracuda Networks, Inc. | Port hopping and seek you peer to peer traffic control method and system |
| EP3319287A1 (en) * | 2016-11-04 | 2018-05-09 | Nagravision SA | Port scanning |
-
2021
- 2021-09-16 CN CN202111087414.9A patent/CN113766047B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8516573B1 (en) * | 2005-12-22 | 2013-08-20 | At&T Intellectual Property Ii, L.P. | Method and apparatus for port scan detection in a network |
| CN110532096A (zh) * | 2019-08-28 | 2019-12-03 | 广东乐之康医疗技术有限公司 | 一种多节点分组并行部署的系统和方法 |
| CN110691072A (zh) * | 2019-09-11 | 2020-01-14 | 光通天下网络科技股份有限公司 | 分布式端口扫描方法、装置、介质、电子设备 |
| CN111580946A (zh) * | 2020-04-28 | 2020-08-25 | 北京达佳互联信息技术有限公司 | 端口扫描方法、装置、设备及存储介质 |
| CN111738591A (zh) * | 2020-06-19 | 2020-10-02 | 苏州浪潮智能科技有限公司 | 一种任务执行方法、装置、设备及可读存储介质 |
| CN112153135A (zh) * | 2020-09-18 | 2020-12-29 | 恒安嘉新（北京）科技股份公司 | 一种网络扫描方法、装置、设备及存储介质 |
| CN112398966A (zh) * | 2020-11-12 | 2021-02-23 | 北京知道创宇信息技术股份有限公司 | 测绘方法、装置、网络设备及可读存储介质 |
| CN113037765A (zh) * | 2021-03-23 | 2021-06-25 | 寇英翰 | 一种端口扫描装置 |
Non-Patent Citations (1)
| Title |
|---|
| 分布式快速端口扫描的任务调度算法与协议研究;林培胜;王轶骏;薛质;;通信技术(第12期);151-157 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113766047A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113766047B (zh) | 一种任务分组方法、装置、计算机设备及存储介质 | |
| WO2022160886A1 (en) | Task allocation method, apparatus, storage medium, and electronic device | |
| US10412154B2 (en) | Configuration recommendation for a microservice architecture | |
| US20090070773A1 (en) | Method for efficient thread usage for hierarchically structured tasks | |
| Yousif et al. | Clustering cloud workload traces to improve the performance of cloud data centers | |
| CN111782404A (zh) | 一种数据处理方法及相关设备 | |
| CN111782383A (zh) | 任务分配方法、服务器、电子终端及计算机可读存储介质 | |
| CN108153494B (zh) | 一种io请求处理方法及装置 | |
| CN109800078B (zh) | 一种任务处理方法、任务分发终端及任务执行终端 | |
| CN103581273B (zh) | 一种分布式系统执行业务的方法、装置及系统 | |
| CN116708450A (zh) | 负载均衡方法、装置、电子设备及计算机可读存储介质 | |
| CN109558232B (zh) | 并行度的确定方法、装置、设备及介质 | |
| CN111400301A (zh) | 一种数据查询方法、装置及设备 | |
| CN116703071A (zh) | 资源共享方法、装置及设备和存储介质 | |
| JP6996341B2 (ja) | 見積り装置および見積り方法 | |
| CN115658263A (zh) | 一种云计算平台任务调度方法及系统 | |
| CN106446039B (zh) | 聚合式大数据查询方法及装置 | |
| CN114860460A (zh) | 一种数据库加速的方法、装置、计算机设备 | |
| CN112711588B (zh) | 多表连接的方法和装置 | |
| CN112153135B (zh) | 一种网络扫描方法、装置、设备及存储介质 | |
| CN114579311A (zh) | 执行分布式计算任务的方法、装置、设备以及存储介质 | |
| CN110046040B (zh) | 分布式任务处理方法及系统和存储介质 | |
| CN111553583A (zh) | 一种审计任务的协同作业人员匹配方法和装置 | |
| CN113204602B (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN113315709B (zh) | 地址缓存的创建方法、路由选址方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |