CN107526630A - 一种解决分布式引擎通信的方法 - Google Patents

一种解决分布式引擎通信的方法 Download PDF

Info

Publication number
CN107526630A
CN107526630A CN201710642071.5A CN201710642071A CN107526630A CN 107526630 A CN107526630 A CN 107526630A CN 201710642071 A CN201710642071 A CN 201710642071A CN 107526630 A CN107526630 A CN 107526630A
Authority
CN
China
Prior art keywords
engine
scanning
task
adapter
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710642071.5A
Other languages
English (en)
Inventor
吴作乾
范渊
黄进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN201710642071.5A priority Critical patent/CN107526630A/zh
Publication of CN107526630A publication Critical patent/CN107526630A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/465—Distributed object oriented systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/466—Transaction processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及信息技术领域，旨在提供一种解决分布式引擎通信的方法。该种解决分布式引擎通信的方法包括步骤：搭建消息服务器，接收各种平台下发的各种类型的任务；每个引擎的适配器根据引擎的类型，从消息服务器接收相应类型的任务；适配器对任务参数进行处理后下发给引擎；引擎执行扫描工作后，把扫描结果发送适配器；适配器把扫描结果进行处理后发送到消息服务器，扫描类平台即能从消息服务器获取所需的扫描结果。本发明能够使各种类型任务的下发不受引擎类型的影响，进行自动适配，多个引擎能够同时工作，并自动识别任务类型。

Description

一种解决分布式引擎通信的方法
技术领域
本发明是关于信息技术领域，特别涉及一种解决分布式引擎通信的方法。
背景技术
随着信息技术的发展，目前市场上出现了很多类型的扫描引擎。如网站扫描引擎、数据库扫描引擎、系统扫描引擎、弱口令扫描引擎、指纹识别引擎、app扫描引擎等。每种引擎都有自已的应用领域，都能扫描不同类型的系统。
目前存在的引擎主要是对某一类的任务进行扫描，随着信息技术的发展，数据信息变的越来越多，一个引擎的扫描能力有限，导致扫描用时越来越多。同时也需要多种类型的引擎协调工作。如何才能从一个系统同时下多种类型的任务？如何在数据变多的情况下，控制扫描时间？因为各类引擎的不同，各种引擎接收任务的方式各不相同、输出结果结构也是千差万别。这样就使得多种类型的引擎结合起来使用变得困难。
因此提供一种方法，能够使各种类型任务的下发不受引擎类型的影响，且具有进行自动适配的功能，多个引擎能够同时工作，市场前景看好。本发明。
发明内容
本发明的主要目的在于克服现有技术中的不足，提供一种使用自动识别任务类型、自动接收下发任务，能实现多任务分布式扫描的功能，降低使用多引擎的复杂度的方法。为解决上述技术问题，本发明的解决方案是：
提供一种解决分布式引擎通信的方法，具体包括下述步骤：
(1)搭建消息服务器；消息服务器用于接收各种扫描类平台下发的各种类型的任务，以及接收各种任务的扫描结果；
(2)每个引擎安装各自的适配器，然后引擎的适配器能根据引擎的类型，从消息服务器接收相应类型的任务；
(3)适配器接收到任务后，对任务的扫描id、扫描目标、策略参数进行分析并转化成引擎能识别的参数，然后下发给对应的引擎；
(4)引擎接收到适配器处理过的任务之后，执行扫描工作；
(5)引擎把步骤(4)获得的扫描结果发送适配器；
(6)适配器把扫描结果进行统一处理(分析、转化特定格式的扫描结果)，然后把统一处理后的扫描结果发送到消息服务器；
(7)扫描类平台即能从消息服务器获取所需的扫描结果。
在本发明中，所述扫描类平台包括综合扫描平台、监测平台。
在本发明中，所述步骤(1)中，扫描类平台下发的各种类型的任务包括网站扫描类的任务、系统扫描类的任务、数据库扫描类的任务、端口探测类的任务、指纹识别类的任务。
在本发明中，所述步骤(2)中，引擎的类型包含但不限于：网站扫描引擎、系统扫描引擎、数据库扫描引擎、端口探测引擎、指纹识别引擎。
在本发明中，所述引擎的适配器能自动监听识别任务。
所述步骤(1)以网站扫描为例，具体包括下述步骤：
步骤A：下载并安装ActiveMQ；ActiveMQ是JMS消息通信规范的一个实现,消息规范里面定义最常见的几种消息通信模式主要有发布-订阅、点对点这两种。
步骤B：启动ActiveMQ；
所述步骤(2)具体包括下述步骤：
步骤C：各平台以消息方式向ActiveMQ发送扫描任务的消息；
步骤D：适配器向ActiveMQ发送扫描结果；
所述步骤(3)具体包括下述步骤：
步骤E：网站适配器根据类型从ActiveMQ上只接收网站扫描的任务。
所述步骤(4)具体包括下述步骤：
步骤F：接收的任务的参数，重新组装成新参数，网站引擎可以新的参数去执行扫描任务。
所述步骤(5)具体包括下述步骤：
步骤G：接收的任务的参数，重新组装成新参数，网站引擎可以新的参数去执行扫描任务。
所述步骤(6)具体包括下述步骤：
步骤H：网站引擎把扫描的结果，发送给网站适配器。
所述步骤(7)具体包括下述步骤：
步骤I：网站适配器接收到网站引擎发送的结果之后，进行处理，然后把结果发送到ActiveMQ上。
所述步骤(8)具体包括下述步骤：
步骤J：平台从ActiveMQ获取任务的扫描结果。
在本发明中，所述引擎的适配器能自动监听识别任务。
与现有技术相比，本发明的有益效果是：
本发明能够使各种类型任务的下发不受引擎类型的影响，进行自动适配，多个引擎能够同时工作，并自动识别任务类型；本发明能实现多任务分布式扫描的功能，使数据、平台、引擎系统解耦，降低使用多引擎的复杂度，增加系统的扫描速度。
附图说明
图1为本发明的工作流程图。
具体实施方式
首先需要说明的是，本发明涉及消息通信术，是计算机技术在信息技术领域的一种应用。在本发明的实现过程中，会涉及到多个软件功能模块的应用。申请人认为，如在仔细阅读申请文件、准确理解本发明的实现原理和发明目的以后，在结合现有公知技术的情况下，本领域技术人员完全可以运用其掌握的软件编程技能实现本发明。凡本发明申请文件提及的均属此范畴，申请人不再一一列举。
下面结合附图与具体实施方式对本发明作进一步详细描述：
如图1所示，假设要对网站引擎为例，具体包括下述步骤：
步骤A：下载并安装ActiveMQ；ActiveMQ是JMS消息通信规范的一个实现,消息规范里面定义最常见的几种消息通信模式主要有发布-订阅、点对点这两种。
步骤B：启动ActiveMQ；
步骤C：各平台以消息方式向ActiveMQ发送扫描任务的消息；
步骤D：网站适配器监听ActiveMQ队列的消息；
步骤E：如果ActiveMQ队列中没有网站类的扫描任务，网站适配器继续监听；如果有网站类的扫描任务，获取一条任务，把任务的参数进行重新组装，然后下发给引擎；
步骤F：网站引擎把扫描的结果反馈给对应的网站适配器；
步骤G：网站适配器接收到网站引擎反馈的结果之后，经过处理，然后把结果发送到ActiveMQ队列上。
步骤H：平台从ActiveMQ队列获取任务的扫描结果。
最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (5)

1.一种解决分布式引擎通信的方法，其特征在于，具体包括下述步骤：
(1)搭建消息服务器；消息服务器用于接收各种扫描类平台下发的各种类型的任务，以及接收各种任务的扫描结果；
(2)每个引擎安装各自的适配器，然后引擎的适配器能根据引擎的类型，从消息服务器接收相应类型的任务；
(3)适配器接收到任务后，对任务的扫描id、扫描目标、策略参数进行分析并转化成引擎能识别的参数，然后下发给对应的引擎；
(4)引擎接收到适配器处理过的任务之后，执行扫描工作；
(5)引擎把步骤(4)获得的扫描结果发送适配器；
(6)适配器把扫描结果进行统一处理，然后把统一处理后的扫描结果发送到消息服务器；
(7)扫描类平台即能从消息服务器获取所需的扫描结果。
2.根据权利要求1所述的一种解决分布式引擎通信的方法，其特征在于，所述扫描类平台包括综合扫描平台、监测平台。
3.根据权利要求1所述的一种解决分布式引擎通信的方法，其特征在于，所述步骤(1)中，扫描类平台下发的各种类型的任务包括网站扫描类的任务、系统扫描类的任务、数据库扫描类的任务、端口探测类的任务、指纹识别类的任务。
4.根据权利要求1所述的一种解决分布式引擎通信的方法，其特征在于，所述步骤(2)中，引擎的类型包含但不限于：网站扫描引擎、系统扫描引擎、数据库扫描引擎、端口探测引擎、指纹识别引擎。
5.根据权利要求1所述的一种解决分布式引擎通信的方法，其特征在于，所述引擎的适配器能自动监听识别任务。
CN201710642071.5A 2017-07-31 2017-07-31 一种解决分布式引擎通信的方法 Pending CN107526630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710642071.5A CN107526630A (zh) 2017-07-31 2017-07-31 一种解决分布式引擎通信的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710642071.5A CN107526630A (zh) 2017-07-31 2017-07-31 一种解决分布式引擎通信的方法

Publications (1)

Publication Number Publication Date
CN107526630A true CN107526630A (zh) 2017-12-29

Family

ID=60680343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710642071.5A Pending CN107526630A (zh) 2017-07-31 2017-07-31 一种解决分布式引擎通信的方法

Country Status (1)

Country Link
CN (1) CN107526630A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111886582A (zh) * 2019-09-12 2020-11-03 创新先进技术有限公司 日志结构存储系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040216147A1 (en) * 2002-07-18 2004-10-28 Motorola, Inc. Component based application middleware framework
CN1570812A (zh) * 2003-07-18 2005-01-26 北京航空航天大学 组件适配器的实现方法
CN101232626A (zh) * 2008-02-01 2008-07-30 中兴通讯股份有限公司 一种基于企业业务开发平台的业务支撑系统和方法
CN101950300A (zh) * 2010-09-20 2011-01-19 华南理工大学 一种分层结构、分布式搜索引擎系统及其实现方法
CN102789502A (zh) * 2012-07-17 2012-11-21 北京奇虎科技有限公司 网站的扫描方法和装置
CN103020147A (zh) * 2012-11-22 2013-04-03 用友软件股份有限公司 数据集成系统和数据集成方法
CN103038606A (zh) * 2010-07-30 2013-04-10 埃森哲环球服务有限公司 智能核心引擎
CN103279336A (zh) * 2013-01-06 2013-09-04 北京慧正通软科技有限公司 工作流引擎多数据源处理方法
CN103617390A (zh) * 2013-11-06 2014-03-05 北京奇虎科技有限公司 一种恶意网页判断方法、装置和系统
CN103905521A (zh) * 2012-12-31 2014-07-02 中国移动通信集团公司 一种用于网络服务的信息处理系统和方法
CN106161455A (zh) * 2016-07-25 2016-11-23 恒安嘉新(北京)科技有限公司 一种多模块和引擎分布式云管理系统及检测方法
CN106453432A (zh) * 2016-12-20 2017-02-22 国网江西省电力公司信息通信分公司 基于漏洞扫描和威胁情报的统一漏洞管理与预警平台

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040216147A1 (en) * 2002-07-18 2004-10-28 Motorola, Inc. Component based application middleware framework
CN1570812A (zh) * 2003-07-18 2005-01-26 北京航空航天大学 组件适配器的实现方法
CN101232626A (zh) * 2008-02-01 2008-07-30 中兴通讯股份有限公司 一种基于企业业务开发平台的业务支撑系统和方法
CN103038606A (zh) * 2010-07-30 2013-04-10 埃森哲环球服务有限公司 智能核心引擎
CN101950300A (zh) * 2010-09-20 2011-01-19 华南理工大学 一种分层结构、分布式搜索引擎系统及其实现方法
CN102789502A (zh) * 2012-07-17 2012-11-21 北京奇虎科技有限公司 网站的扫描方法和装置
CN103020147A (zh) * 2012-11-22 2013-04-03 用友软件股份有限公司 数据集成系统和数据集成方法
CN103905521A (zh) * 2012-12-31 2014-07-02 中国移动通信集团公司 一种用于网络服务的信息处理系统和方法
CN103279336A (zh) * 2013-01-06 2013-09-04 北京慧正通软科技有限公司 工作流引擎多数据源处理方法
CN103617390A (zh) * 2013-11-06 2014-03-05 北京奇虎科技有限公司 一种恶意网页判断方法、装置和系统
CN106161455A (zh) * 2016-07-25 2016-11-23 恒安嘉新(北京)科技有限公司 一种多模块和引擎分布式云管理系统及检测方法
CN106453432A (zh) * 2016-12-20 2017-02-22 国网江西省电力公司信息通信分公司 基于漏洞扫描和威胁情报的统一漏洞管理与预警平台

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111886582A (zh) * 2019-09-12 2020-11-03 创新先进技术有限公司 日志结构存储系统

Similar Documents

Publication Publication Date Title
US20050262112A1 (en) Method and apparatus to convert project plans into workflow definitions
CN106104498B (zh) 信息处理系统、数据处理控制方法、程序和记录介质
CN102081759A (zh) 培训管理系统
US20150082320A1 (en) Apparatus, method, and computer-readable recording medium for processing data
CN110806954A (zh) 评估云主机资源的方法、装置、设备及存储介质
EP2902952A1 (en) Data processing apparatus, data processing system, and data processing method
CN111553485A (zh) 基于联邦学习模型的视图显示方法、装置、设备及介质
CN109614110A (zh) 一种消息中间件集中部署的方法和装置
CN114564294A (zh) 智能服务编排方法、装置、计算机设备及存储介质
CN107526630A (zh) 一种解决分布式引擎通信的方法
WO2022100075A1 (zh) 性能检测方法、装置、电子设备和计算机可读介质
CN113723926A (zh) 结合rpa和ai的银行流水处理方法、装置及电子设备
US20130339405A1 (en) Information processing system, information processing apparatus, control method therefor and computer-readable storage medium
CN111259882A (zh) 票据识别的方法、装置及计算机设备
KR20140013892A (ko) 복수의 정보 시스템에서의 출력 비교 방법
WO2023155274A1 (zh) 基于rpa和ai的招聘信息发布方法及装置
CN114415691A (zh) 一种机器人调度方法、调度平台及系统
CN107203847A (zh) 一种用于oa系统用户端的流程节点效率统计方法
KR20230100260A (ko) 업무 처리 자동화 시스템의 업무 처리 상황 관리 시스템 및 그 구동방법
CN110515864B (zh) 基于运维终端向大型主机自动提交作业的方法及装置
CN102523124A (zh) 一种cdn网络中批量处理大量主机的方法及装置
Unilab Your Next Generation LIMS
CN113888772B (zh) 一种基于mes的信息录入应急系统及其处理方法
US10142438B2 (en) Intermediate destination module for communication of interaction data with disparate intermediate destinations
CN203911987U (zh) 一种基于云计算的数据处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171229

RJ01 Rejection of invention patent application after publication