CN114070856A - 数据处理方法、装置、系统、运维审计设备和存储介质 - Google Patents
数据处理方法、装置、系统、运维审计设备和存储介质 Download PDFInfo
- Publication number
- CN114070856A CN114070856A CN202010740837.5A CN202010740837A CN114070856A CN 114070856 A CN114070856 A CN 114070856A CN 202010740837 A CN202010740837 A CN 202010740837A CN 114070856 A CN114070856 A CN 114070856A
- Authority
- CN
- China
- Prior art keywords
- message
- data processing
- processing device
- target
- maintenance auditing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 255
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 551
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000012550 audit Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 33
- 238000007726 management method Methods 0.000 description 15
- 238000009795 derivation Methods 0.000 description 10
- 238000013475 authorization Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/60—Business processes related to postal services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5061—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the interaction between service providers and their network customers, e.g. customer relationship management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Economics (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了数据处理方法、装置、系统、运维审计设备和存储介质,数据处理装置作为消息处理装置的消息消费者,从消息处理装置获取属于目标主题的消息;该目标主题下的消息来源于目标云服务器,目标云服务器为运维审计设备维护的对象;调用运维审计设备对消息进行处理,并控制运维审计设备在消息处理成功后,将消息处理结果存储至运维审计设备的设备数据库中,由上可知,本实施例的数据处理装置可实现目标云服务器和运维审计设备间的部分信息的传输和同步,相较于人工同步数据的方案,本发明可节约人力资源,降低对目标云服务器的人工操作,还扩大了运维审计设备对目标云服务器的管理范围,有利于提升运维审计系统对目标云服务器的维护力度。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种数据处理方法、装置、系统、运维审计设备和存储介质。
背景技术
随着公司集团的IT系统不断发展,网络规模和设备数量迅速扩大,日趋复杂的IT系统与不同背景的运维人员的行为给公司的信息系统安全带来较大风险。
相关技术中,运维设备通过切断终端计算机对网络和服务器资源的直接访问,而采用协议代理的方式,接管了终端计算机对网络和服务器的访问。因此运维设备能够拦截非法访问和恶意攻击,对不合法命令进行命令阻断,过滤掉所有对目标设备的非法访问行为,并对内部人员误操作和非法操作进行审计监控,以便事后责任追踪。
但是对于运维设备保护的平台而言,并不是平台上的所有信息都会被存储到运维设备中,为了运用运维设备的运维审计功能,可以通过人工手动将信息导入运维设备,但是这种方式对人力资源的需求较高,并且不适用于数据量大的平台。
发明内容
本发明实施例提供一种数据处理方法、装置、系统、运维审计设备和存储介质,可以自动将云服务器的一些信息同步到运维设备中,不仅加深了运维设备对平台的安全保障,还避免了相关技术中的人力资源需求高的问题,有利于节约运维成本。
本发明实施例提供一种数据处理方法,该数据处理方法包括:
数据处理装置作为消息处理装置的消息消费者,从消息处理装置获取属于目标主题的消息,其中,目标主题为消息处理装置的主题中被消息处理装置订阅的主题;消息处理装置中的目标主题下的消息由目标云服务器发送,目标云服务器为数据处理装置连接的运维审计设备所维护的对象;
所述数据处理装置基于所述消息所属的目标主题,调用所述运维审计设备对所述消息进行处理,并控制所述运维审计设备在所述消息处理成功后,将所述消息的消息处理结果存储至所述运维审计设备的设备数据库中。
另一方面,本申请还提供一种数据处理方法,该数据处理方法包括:
运维审计设备在数据处理装置的调用下对目标主题的消息进行处理,其中,消息是数据处理装置作为消息处理装置的消息消费者,从消息处理装置的目标主题下获取的,消息处理装置中的目标主题下的消息由目标云服务器发送,目标云服务器为运维审计设备维护的对象;
所述运维审计设备在所述消息处理成功后,将所述消息的消息处理结果,存储于所述运维审计设备的设备数据库中。
另一方面,本申请还提供一种数据处理装置,该数据处理装置包括:
消费者单元,用于作为消息处理装置的消息消费者,从所述消息处理装置获取属于目标主题的消息,其中,所述目标主题为所述消息处理装置的主题中被所述消息处理装置订阅的主题;所述消息处理装置中的所述目标主题下的消息由目标云服务器发送,所述目标云服务器为所述数据处理装置连接的运维审计设备所维护的对象;
控制单元,用于基于所述消息所属的目标主题,调用所述运维审计设备对所述消息进行处理,并控制所述运维审计设备在所述消息处理成功后,将所述消息的消息处理结果存储至所述运维审计设备的设备数据库中。
另一方面,本申请还提供一种运维审计设备,该运维审计设备包括:
消息处理单元,用于在数据处理装置的调用下对目标主题的消息进行处理,其中,所述消息是所述数据处理装置作为消息处理装置的消息消费者,从所述消息处理装置的所述目标主题下获取的,所述消息处理装置中的所述目标主题下的消息由目标云服务器发送,所述目标云服务器为所述运维审计设备维护的对象;
消息存储单元,用于在所述消息处理成功后,将所述消息的消息处理结果存储于所述运维审计设备的设备数据库中。
另一方面,本申请还提供一种数据处理系统,该系统包括如上所述的目标云服务器、消息处理装置、运维审计设备以及数据处理装置,其中,数据处理装置的数量为至少两个;
目标云服务器作为消息处理装置的消息生产者,用于向消息处理装置的目标主题发布消息;
各数据处理装置,作为消息处理装置的同一消息消费者组的消息消费者,用于从消息处理装置获取各自订阅的目标主题的消息;
各数据处理装置,还用于基于消息所属的目标主题,调用运维审计设备对消息进行处理;
所述运维审计设备,用于在数据处理装置的调用下对目标主题的消息进行处理,在所述消息处理成功后,将所述消息的消息处理结果存储于所述运维审计设备的设备数据库中。
另一方面,本申请还提供一种存储介质,其上存储有计算机程序,其中,计算机程序被处理器执行时实现如上的数据处理方法的步骤。
另一方面,本申请还提供一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,处理器执行程序时实现如上的数据处理方法的步骤。
本实施例公开了一种数据处理方法、装置、系统、运维审计设备和存储介质,数据处理装置作为消息处理装置的消息消费者,从消息处理装置获取属于目标主题的消息;消息处理装置中的目标主题下的消息由目标云服务器发送,目标云服务器为数据处理装置连接的运维审计设备所维护的对象;数据处理装置基于消息所属的目标主题,调用运维审计设备对消息进行处理,并控制运维审计设备在消息处理成功后,将消息的消息处理结果存储至运维审计设备的设备数据库中,由上可知,本实施例的数据处理装置可以实现目标云服务器和其运维审计设备之间的信息传输和同步,相对于相关技术中人工同步数据的方案,不仅可以节约人力资源,还可以降低工作人员对目标云服务器的人工操作,降低人工操作错误带来的系统问题,有利于提升运维审计系统对目标云服务器的维护力度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据处理方法的流程示意图;
图2是本发明实施例提供的数据处理系统的一个可选的结构示意图;
图3是本发明实施例提供的另一种数据处理方法的流程示意图;
图4是本发明实施例提供的一种数据处理装置的结构示意图;
图5是本发明实施例提供的一种运维审计设备的结构示意图;
图6是本发明实施例提供的数据处理系统的另一个可选的结构示意图;
图7是本发明实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本发明。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本发明的描述变得晦涩。因此,本发明并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
本实施例公开了一种数据处理方法、装置、系统、运维审计设、存储介质以及计算机设备,以下分别进行详细说明。
首先,本发明实施例提供了一种数据处理方法,该数据处理方法包括
数据处理装置作为消息处理装置的消息消费者,从所述消息处理装置获取属于目标主题的消息,其中,所述目标主题为所述消息处理装置的主题中被所述消息处理装置订阅的主题;所述消息处理装置中的所述目标主题下的消息由目标云服务器发送,所述目标云服务器为所述数据处理装置连接的运维审计设备所维护的对象;所述数据处理装置基于所述消息所属的目标主题,调用所述运维审计设备对所述消息进行处理,并控制所述运维审计设备在所述消息处理成功后,将所述消息的消息处理结果存储至所述运维审计设备的设备数据库中。
如图1所示,为本发明实施例中数据处理方法中一个实施例流程示意图,该数据处理方法应用于数据处理装置,该数据处理装置可以位于计算机设备中,该计算机设备可以为服务器等设备,其中,该服务器可以是单台服务器,也可以是由多个服务器组成的服务器集群。在终端性能允许的情况下,该计算机设备可以为终端设备,本实施例对此没有限制。参考图1,该数据处理方法可以包括:
101、数据处理装置作为消息处理装置的消息消费者,从消息处理装置获取属于目标主题的消息,其中,目标主题为消息处理装置的主题中被消息处理装置订阅的主题;消息处理装置中的目标主题下的消息由目标云服务器发送,目标云服务器为数据处理装置连接的运维审计设备所维护的对象。
本实施例中,运维审计设备是具有运维和安全审计功能的设备,可选的,运维审计设备可以是堡垒机。从技术实现上讲,堡垒机通过切断终端计算机对网络和服务器资源的直接访问,而采用协议代理的方式,接管了终端计算机对网络和服务器的访问,由此,终端计算机对网络和服务器的访问,均需要通过运维安全审计的翻译,所以,运维审计设备能够拦截非法访问和恶意攻击,对不合法的命令进行阻断。
本实施例中,目标云服务器为运维审计设备维护的对象,该目标云服务器是一种云平台,用户可以在目标云服务器中获取或购买任意需要的资源使用。云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,本实施例对此没有限制。用户可以根据需要在目标云服务器中构建为公司、集团等企业的IT系统,或者IT系统中的子系统,如IT系统中的服务器系统等等。
本实施例中,数据处理装置的数量可以为至少两个,多个数据处理装置有利于保障目标云服务器和运维审计设备之间的数据传输,不会因为数据处理装置的故障而中断。数据处理装置具体可以集成在终端或其他服务器上,可选的,该服务器可以是独立的服务器,也可是服务器组成的服务器网络或服务器集群。可以是实体的服务器也可以是虚拟的服务器等等。
本实施例中,消息处理装置可以是集成消息系统的装置,具体的,可以是集成kafka消息系统的装置,该消息处理装置可以由集群服务器构成,例如该消息处理装置可以是kafka集群服务器,本实施例对此没有限制。
为了便于理解本实施例,以下对本实施例中的一些概念进行解释说明。
本实施例中消息:类似于数据库的记录,由字节数组组成,消息里的数据可以没有特别的格式。
主题:即topic,是对一组消息的归纳,消息通过主题进行分类,主题类似于数据库的表,或文件系统的文件夹。
消息生产者:创建消息的对象。通常一个消息会被消息生产者发布到一个特定的主题上。
消息消费者:读取消息的对象,消息消费者可以订阅一个或多个主题,并按照消息生成的顺序从订阅的主题下读取它们。
本实施例中,目标云服务器和运维审计设备之间的数据传输基于消息处理装置和数据处理装置进行,例如,参考图2所示的数据处理系统的一个可选的结构示意图,图2示出的系统中,数据处理装置为集成有kafka消息系统的装置,运维审计设备为堡垒机,数据处理系统包括依次连接的目标云服务器201、消息处理装置202、数据处理装置203和堡垒机204。如图2所示,堡垒机连接有堡垒机的设备数据库,数据处理装置连接有对应的中间数据库。
本实施例中,消息处理装置中的主题的设置方式不限,参考图2,在一个示例中,消息处理装置的主题可以包括:租户、用户、用户组、系统、cvm实例、bms实例、访问授权等。
其中,租户对应堡垒机的“部门”,租户下可以创建其他各种对象,这些对象都具有“租户ID”的标签属性,本实施例中,租户下创建的对象包括但不限于用户、用户组、系统、cvm实例、bms实例以及访问授权等等,租户可以理解为这些对象的管理者,租户主题下的消息包括用于管理这些对象的消息。
用户,可以理解为目标云服务器的用户,对应堡垒机的“用户”;用户可以根据自身的权限,在目标云服务器中进行资源的创建、访问、删除、修改等操作;用户主题下的消息包括用户对目标云服务器进行操作时,触发的消息,该消息可以经过消息处理装置的发送至运维审计设备,由运维审计设备进行相应的处理,有利于保障目标云服务器的数据安全。
用户组,可以理解为目标云服务器的用户的集合,对应堡垒机的“用户组”;当管理人员或运维人员需要对用户组进行操作,如将某用户加入用户组,或者删除用户组中的用户,则用户组的操作消息需要先被目标云服务器发送至消息处理装置的用户组主题下,然后才被数据处理装置调用堡垒机进行处理该消息例如,调用堡垒机响应该消息对用户组中的成员进行添加或删除的操作。所以用户组主题下的消息包括用户组的操作消息。
又例如,若将某个用户组关联到系统,则该用户组下所有的用户都被关联到了该系统。
系统,即应用系统,由系统编码和系统名称构成其ID;在一个系统下关联的用户,将可以访问此系统关联的所有的系统;对应堡垒机的访问规则;本实施例的应用系统可以是目标云服务器中的一部分,例如,目标云服务器中设置的虚拟机等等,或者为目标云服务器本身。系统主题下的消息,可以包括对系统关联的用户组的操作消息。
cvm实例,用户创建的虚拟机实例,可以是linux或者windows系统中的虚拟机;对应堡垒机的资产配置;cvm实例主题下的消息,可以包括目标云服务器的用户对虚拟机的操作消息。例如目标云服务器的用户对虚拟机的创建、修改等操作的消息。
bms实例,用户创建的裸金属实例,可以是在linux系统中创建;根据用户属性,又分为TOB(To Business,面向企业)和TOC(To customer,面向消费者)两种,其处理方式不同;对应堡垒机的资产配置;本实施例中,bms实例主题下的消息,可以包括目标云服务器的用户对裸金属示例的操作消息。
访问授权,同步用户、用户组与系统的关联关系,将用户(组)关联到系统时,用户将有权限访问系统下所有的os;当将用户(组)从系统中取消关联时,用户(组)将不能再访问此系统下的os。本实施例中,访问授权可以理解为堡垒机中记录的(目标云服务器的)用户、(目标云服务器的)用户组和(目标云服务器中的)系统的关联关系,访问授权主题下的消息,可以包括对用户、用户组和系统之间的关联关系的修改操作触发的消息。
本实施例中,目标云服务器将属于各个目标主题的消息分别发布在所述消息处理装置的各个目标主题中,消息处理装置可将目标主题中的消息分发给数据处理装置,可以理解为是,数据处理装置订阅的目标主题可以有多个,消息处理装置可以按照目标主题下消息的存储顺序向数据处理装置分发消息。
本实施例中,消息处理装置中的每一个主题,可以对应运维审计设备管理的目标云服务器中的一种具体管理对象。该管理对象的类型不限,例如根据图2所示的系统,运维审计设备对于目标云服务器的具体管理对象包括目标云服务器的租户,用户,用户组(各个用户所属的用户组,当某个用户属于某个用户组的时候,该用户组具有的权限该用户也具有),系统,虚拟机,BMS,以及租户、用户、用户组和系统以及cvm之间的关联关系等等。
每个主题下发布的消息,可以是针对该主题的具体管理对象的请求事件的消息,该请求事件可以是针对该具体管理对象的任意事件。例如,在“用户组”主题下,可以是针对用户组中某用户的删除事件,或者增加用户到用户组的用户增加事件,在“访问授权”主题下,可以是针对已有的关联关系进行修改的事件。在“cvm”主题下,可以是新建虚拟机事件,或者还可以是删除虚拟机事件等等,本实施例对此没有限制。
可选的,本实施例中,运维审计设备中都存储有,云服务器中上述的租户,用户,用户组,系统,cvm实例,bms实例,访问授权等具体管理对象的信息。例如运维审计设备中存储有云服务器的用户的信息(如身份信息,比如账号,密码,默认IP地址等等),用户组的信息(各用户组的标识,以及各用户组包含的用户),以及已经创建的系统,和系统与用户和用户组的关联关系等等信息。
可选的,步骤“数据处理装置作为消息处理装置的消息消费者,从消息处理装置获取属于目标主题的消息”,可以包括:
数据处理装置作为消息处理装置的消息消费者,接收消息处理装置发送的属于目标主题的消息。
例如,目标云服务器将在用户组A中添加用户B的消息发布在用户组主题下,消息处理装置将该消息分发给订阅了用户组主题的数据处理装置。
可选的,数据处理装置在接收到目标主题的消息后,还可以将该消息存储至自身的中间数据库中,可选的,可以基于消息所属的目标主题将该消息存储至中间数据库。例如,将消息以及消息所属的目标主题对应存储在中间数据库中,或者,中间数据库中还可以包括各个目标主题对应的特定存储区域,数据处理装置将消息存储在消息所属的目标主题对应的特定存储区域中。
102、数据处理装置基于消息所属的目标主题,调用运维审计设备对消息进行处理,并控制运维审计设备在消息处理成功后,将消息的消息处理结果存储至运维审计设备的设备数据库中。
本实施例的一个示例中,目标主题下的消息可能只需要运维审计设备存储即可,在这种情况下,数据处理装置可以调用运维审计设备将消息存储于运维审计设备的设备数据库中。
本实施例的另一个示例中,目标主题下的消息,需要数据处理装置先进行一定的处理,再调用运维审计设备进行处理。运维审计设备可以在得到消息处理结果后,存储该消息和消息处理结果到自身的设备数据中。
可选的,在一个示例中,步骤“数据处理装置基于消息所属的目标主题,调用运维审计设备对消息进行处理,并控制运维审计设备在消息处理成功后,将消息的消息处理结果存储至运维审计设备的设备数据库中”,可以包括:
数据处理装置获取消息的请求用户以及消息中请求用户的请求事件,判断请求用户所需的权限信息是否存储于运维审计设备中,请求用户所需的权限信息用于指示请求用户具有执行请求事件的权限;
当运维审计设备中存储有请求用户所需的权限信息时,数据处理装置调用运维审计设备的目标功能模块执行消息中的请求事件,并控制所述运维审计设备在所述消息处理成功后,将消息以及消息处理结果(为区分,可命名为第一消息处理结果,该结果中包含指示消息处理成功的第一指示信息)存储到运维审计设备的设备数据库中,其中,目标功能模块为运维审计设备的功能模块中用于处理目标主题下的消息的功能模块。
本实施例中,运维审计设备对消息处理成功,指的是运维审计设备实现了消息中的请求事件,例如消息中的请求事件是在某个用户组中加入一个新的用户,则运维审计设备将该新的用户加入到该用户组中,则该消息处理成功。
本实施例中的请求用户的类型,可以是前述的租户,用户,以及用户组中的用户,可选的,该消息中携带有触发该消息的请求用户的身份信息,包括但不限于请求用户的账户,密码,以及IP地址等等。该消息中该可以携带该请求用户的请求事件,该请求事件可以理解为请求用户针对目标云服务器想要实现的操作,包括但不限于对各主题对应的具体管理对象的操作。
可选的,步骤“数据处理装置获取消息的请求用户以及消息中请求用户的请求事件,判断请求用户所需的权限信息是否存储于运维审计设备中”之前,还可以包括:
数据处理装置获取消息的请求用户的身份信息,基于身份信息进行身份校验,当检验通过时,继续数据处理装置获取消息的请求用户以及消息中请求用户的请求事件,判断请求用户所需的权限信息是否存储于运维审计设备中的步骤,否则,放弃该消息的执行,将该消息和消息的处理记录存储于数据处理装置的中间数据库中。
其中,该身份信息可以是用户的IP地址,数据处理装置可以获取该消息的请求用户的IP地址,将该IP地址与该用户的默认IP地址进行比对,比对通过,则用户身份验证通过,比对不通过,则用户身份验证不通过。
本实施例中,运维审计设备中包含有各个用户、用户组以及租户,与系统和虚拟机等之间的关联关系,数据处理装置可以基于该关联关系确定运维审计设备中是否存储有上述的请求用户所需的权限信息。也即确定请求用户是否具有实现请求事件的权限。
可选的,本实施例中,步骤“数据处理装置获取消息的请求用户以及消息中请求用户的请求事件,判断请求用户所需的权限信息是否存储于运维审计设备中”,可以包括:
数据处理装置获取运维审计设备中存储的关联关系,基于关联关系中请求用户与用户组,租户,系统,虚拟机等的关联关系,确定消息的请求用户是否具有实现该请求事件的权限,若是,则确定请求用户所需的权限信息存储于运维审计设备,否则,确定请求用户所需的权限信息不存储于运维审计设备。
根据前述描述可知,本实施例的运维审计设备的设备数据库可以存储云服务器中的租户,用户,用户组,系统,cvm实例,bms实例,访问授权等具体管理对象的信息,以及用户与用户组、租户、系统、虚拟机等的关联关系等等信息。本实施例中,当数据处理装置需要调用运维审计设备处理消息时,会查询运维审计设备的设备数据库,确定消息的请求用户所需的权限信息是否存储在该设备数据库中,当运维审计设备处理完消息之后,会在消息处理成功后,将消息和消息的处理结果都存储在设备数据库中。
本实施例的中间数据库,可以存储数据处理装置接收到的所有消息,以及所有的消息处理结果(包括处理成功的消息和处理失败的消息),还可以存储自身的程序的运行日志。
本实施例中的中间数据库和运维审计设备的设备数据库中存储的数据一部分是相同的,如消息和消息处理结果。鉴于运维审计设备一般是第三方提供的设备,其存储数据在管理方面存在便利性不足的问题,本实施例设置的中间数据库可以解决该问题,为目标云服务器的用户提供更为便利的数据获取方案。
例如,若用户(或用户组,或租户)与云服务器中的某系统或虚拟机有关联关系,则确定该用户(或用户组,或租户)具有对云服务器中的某系统或虚拟机有关联关系的操作权限。具体的,该关联关系中还可以限定用户(或用户组,或租户)对某系统或虚拟机等的操作权限的类型,例如该操作权限类型包括但不限于对虚拟机的增加,修改,删除等等。
一个示例中,确定消息的请求用户是否具有实现该请求事件的权限时,可以先从若运维审计设备存储的关联关系中,获取该用户的关联关系,若该用户与消息的请求事件涉及的具体管理对象不具有直接的关联关系,则确定该用户所属的用户组,确定该用户组是否与消息的请求事件涉及的具体管理对象具有关联关系,若用户和用户所属的用户组与消息的请求事件涉及的具体管理对象都不具有关联关系,则判断运维审计设备中未存储请求用户所需的权限信息。
本实施例的运维审计设备中针对各主题的消息设置有对应的功能模块处理该消息。
数据处理装置可以基于该目标主题的消息,生成调用请求,基于调用请求调用运维审计设备的目标功能模块执行消息中的请求事件。
可选的,该调用请求包括但不限于post请求。
本实施例以用户在云服务器中购买云虚拟机和销毁云虚拟机为例,对本实施例的数据处理方法进行示例说明,其中,运维审计设备假设为堡垒机。
步骤1、云服务器可以向用户提供的虚拟机购买页面,并接收用户通过该页面提交的虚拟机购买信息;
步骤2、云服务器可以根据虚拟机购买信息生成kafka消息,将该消息发送到消息处理装置中该消息指定的主题如topic1下;
步骤3、数据处理装置从topic1中读取该消息;
步骤4、数据处理装置调用堡垒机创建os资产以及授权请求用户访问概os资产的权限;
步骤5、数据处理装置作为kafka生产者将消息的处理结果返回给“cvm”对应的主题如topic2。
步骤6、用户可以从堡垒机访问该os。
在另一个示例中,步骤1中也可以由用户在云服务器的页面中提交虚拟机销毁请求信息,步骤2中,云服务器可以基于该信息生成kafka消息。
一个示例中,消息的包含的内容可以如下:
{"success":True,"message":"all kvm instance create succeed;",
"data":{"routing_key":"INSTANCE.CREATE","send_time":"2019-05-0610:42:40","data":[{'system_code':'******','ins_ip':'***.**.**.***','vmins_id':'ins-67c58y9d','create_src':'portal','ins_status':'runni ng','os_type':'1'}]}}
其中,在步骤4和步骤5中,数据处理装置的具体处理过程可以包括:
数据处理装置根据消息中的routing_key字段,判断请求事件是添加还是删除os资产。
若请求事件是添加os资产,则执行如下的步骤:
a1.数据处理装置判断消息的IP地址是否合法,若是,则执行步骤a2,否则,停止消息的处理,记录该消息的处理情况至中间数据库中。
例如从消息的“ins_ip”子段中读取消息的IP地址,判断该ip地址是否存储于堡垒机中(例如是否属于堡垒机中存储的云服务器的用户的IP地址),若是,则IP地址合法,若否,则IP地址不合法;
a2.数据处理装置判断消息的请求事件所需的权限信息,是否存在于堡垒机里面,若存在,执行步骤a3,若不存在,停止消息的处理,记录该消息的处理情况至中间数据库中。
例如,数据处理装置可以从消息的“system_code”中读取系统标识,如系统ID,若堡垒机中存储有该消息的请求用户与该系统标识的关联关系,则确定该请求用户具有在该系统ID指示的系统中创建os资产的权限,请求事件所需的权限信息存在于堡垒机中。
a3.数据处理装置判断请求事件请求创建的os资产是否已存在于堡垒机中,若不存在,执行步骤a4,若存在,停止消息的处理,确定该消息处理失败,基于处理结果生成kafka消息,奖该kafka消息发送给topic2,供云服务器的cvm实例取用,并将该处理结果存储至中间数据库中。
其中,数据处理装置可以从“vmins_id”字段中读取请求创建的os资产的资产标识信息,基于该资产标识信息,确定堡垒机中是否已经存在该os资产。
a4.数据处理装置根据消息中构建post请求的相关字段,构建post请求,基于该post请求调用堡垒机的api接口;
a5.数据处理装置通过api接口调用堡垒机创建os资产;
a6.数据处理装置将系统ID对应的系统账号和密码关联到该创建的os资产;
a7.数据处理装置将os资产关联给超级管理员;
该超级管理员可以是该系统ID对应的系统的超级管理员,该超级管理员可以是该系统的最高权限管理员,其中,超级管理员可以是该系统的创建用户等等。
a8.数据处理装置根据create_src字段,确定os资产的授权对象;
其中该授权对象可以是应用或者普通管理员,可以通过消息中的“portal”指定。
a9.数据处理装置根据上述流程处理情况,构建kafka消息,发送给topic2,供云服务器的cvm实例取用;
a10.数据处理装置将消息处理结果写入中间数据库。
若请求事件是添加os资产,则执行如下的步骤:
b1.数据处理装置判断消息的IP地址是否合法,若是,则执行步骤b2,否则,停止消息的处理,记录该消息的处理情况至中间数据库中。
其中,该判断的过程可以参考前述的相关描述。
b2.数据处理装置判断消息的请求事件所需的权限信息,是否存在于堡垒机里面,若存在,执行步骤b3,若不存在,停止消息的处理,记录该消息的处理情况至中间数据库中。
其中,步骤b2中的判断过程可以参考前述的相关描述。
b3.数据处理装置判断请求事件中请求删除的os资产是否已存在于堡垒机,若存在,执行步骤b4,若不存在,停止消息的处理,记录该消息的处理情况至中间数据库中。
b4.数据处理装置解除堡垒机中与os资产有关的所有关联关系;
其中,包括但不限于os资产与用户和系统的关联关系,如与超级管理员、应用或者普通管理员等等的关系,与系统的关联关系等等。
在解除之后,数据处理装置中也不包含被解除的关联关系。
b5.数据处理装置删除托管在此os资产的账号密码;
即,数据处理装置删除os资产与系统的账号和密码的关联关系,例如,删除上述步骤a6中os资产与系统ID对应的系统账号和密码的关联。
b6.数据处理装置更新os资产属性;
其中,os资产的属性信息包括但不限于os资产的名称,IP地址等等。
b7.数据处理装置将处理结果写入中间数据库。
其中,步骤b4-b6可以是数据处理装置调用堡垒机实现的。
在一个示例中,运维审计设备将消息以及消息处理结果存储在运维审计设备的设备数据库中,可以包括:运维审计设备将消息、消息处理结果以及消息所属的目标主题对应存储在设备数据库中。
在另一个示例中,运维审计设备的设备数据库中包括为各目标主题设置的专属存储区域,运维审计设备将消息以及消息处理结果存储在运维审计设备的设备数据库中,可以包括:运维审计设备将消息以及消息处理结果存储在消息所属的目标主题对应的专属存储区域中。
可选的,本实施例中,一个目标主题对应有一个目标功能模块,不同的目标主题的消息可以由不同的目标功能模块进行处理。
本实施例中,消息处理后,运维审计设备还可以将消息处理结果反馈给数据处理装置。
可选的,在数据处理装置作为消息处理装置的消息消费者,从消息处理装置获取属于目标主题的消息之后,还可以包括:数据处理装置将消息存储于自身的中间数据库中。
步骤“数据处理装置调用运维审计设备的目标功能模块执行消息中的请求事件”之后,还可以包括:
数据处理装置从运维审计设备获取该消息的消息处理结果;
数据处理装置将消息处理结果,存储至自身的中间数据库中。
本实施例中,可以将消息分为反馈消息和非反馈消息,反馈消息可以理解为目标云服务器想要获取消息处理结果的消息,非反馈消息与之相反,为目标云服务器不想获取消息处理结果的消息。
其中,反馈消息和非反馈消息可以预先设置,具体的,可以根据消息所属的主题,将消息设置为反馈消息和非反馈消息,例如,在云服务器生产的消息所属的主题中,设置其中一部分主题为特定主题,该特定主题下的消息均为本实施例的反馈消息,其他非特定主题下的消息均为非反馈消息。
其中,该特定主题可以在云服务器、消息处理装置或数据处理装置中设置,设置完成后,可以将特定主题的标识信息,如特定主题的名称,同步至云服务器、消息处理装置或数据处理装置和运维审计设备中未存储有特定主题标识信息的设备。
本实施例中,数据处理装置从运维审计设备中获取的消息处理结果,可以是反馈消息的消息处理结果。一个示例中,数据处理装置获取消息处理结果的方式可以是被动接收,即消息处理结果是运维审计设备在得到消息处理结果之后,判断该消息是否为反馈消息,并在判断结果为是的情况下,主动反馈给数据处理装置的;另一个示例中,数据处理装置获取消息处理结果的方式可以是主动请求,即数据处理装置发送消息处理结果获取请求给运维审计设备,运维审计设备在获取到消息处理结果之后,可以响应于该消息处理结果获取请求,发送该消息处理结果给数据处理装置。
可选的,步骤“数据处理装置从运维审计设备获取该消息的消息处理结果”,可以包括:数据处理装置接收运维审计设备反馈的消息处理结果。
可选的,步骤“数据处理装置将消息处理结果,存储至自身的中间数据库中”,可以包括:
数据处理装置将消息处理结果与其对应的消息对应存储在中间数据库中。
可选的,本实施例中,对于存储消息于中间数据库的时机,可以基于消息类型的不同而不同。数据处理装置可以在接收到消息后,先确定消息为反馈消息还是非反馈消息,对于非反馈消息,数据处理装置可以在接收到消息后,将其和对应的目标主题对应存储于中间数据库中,对于反馈消息,数据处理装置在接收到消息后,可以暂时先不存储,而是在接收到对应的消息处理结果之后,再将该消息和消息处理结果存储于中间数据库中。
可选的,消息和消息处理结果可以以键值对的形式对应地存储在中间数据库中,进一步的,还可以将目标主题的信息与消息和消息处理结果一起存储在中间数据库中。
可选的,本实施例中,在中间数据库中可以设置第一消息表,该第一消息表的作用包括:用于存储消息以及消息处理结果。
数据处理装置在接收到消息后,可以先将消息和目标主题存储在第一消息表中,在接收到消息处理结果后,可以将消息处理结果再存储在第一消息表中。可选的,第一消息表中的信息还可以包括,消息处理是否成功的结论信息,运维审计设备处理消息的时间等等信息。
本实施例中,可选的,在步骤“数据处理装置从运维审计设备获取消息处理结果”数之后,还可以包括:
若消息属于预设的反馈消息,则数据处理装置还以消息处理装置的消息生产者的身份,将消息处理结果转换为与消息类型相同的目标消息,将目标消息发布于消息处理装置的目标反馈主题下,以便目标云服务器以消息处理装置的消息消费者的身份,从目标反馈主题中获取目标消息,其中,目标反馈主题为目标主题对应的消息处理结果所属的主题。
本实施例中,目标云服务器在消息处理装置上订阅了目标反馈主题,并且目标云服务器、数据处理装置以及消息处理装置上存储有目标反馈主题和目标主题的对应关系,消息处理装置在接收到数据处理装置发送的目标反馈主题的目标消息后,可以将该目标消息分发给目标云服务器,以便目标云服务器知晓消息的处理情况,其中,目标主题和目标反馈主题对应于云服务器的同一具体管理对象。
本实施例中,可以预先设置反馈消息确定条件,该条件可以存储于数据处理装置和运维审计设备中,当运维审计设备接收到消息后,可以先根据消息确定条件确定消息是否为反馈消息。
其中,反馈消息确定条件可以根据实际情况而定,例如,反馈消息确定条件可以是根据消息指示的具体操作设置的,例如,反馈消息确定条件为:若消息指示的操作为特定操作,该消息为反馈消息,其中,特定操作可以根据需要设置,例如特定操作包括但不限于创建新用户的操作,或者申请新的cvm实例的操作等等。
或者,还可以通过设置目标主题为特定主题,而将特定主题下的消息设置为反馈消息。例如,预先将消息处理装置的目标主题中的某些主题设置为特定主题,则该特定主题下的所有消息均为反馈消息,运维审计设备在接收到消息后,可以先确定该消息的主题是否为预设的特定主题,若是,则确定该消息为反馈消息,若否,则确定该消息为非反馈消息。
其中,特定主题可以根据实际需要设置,例如将cvm实例主题设置为特定主题。运维审计设备在接收到消息后,若识别出该消息为cvm实例主题下的消息,则在对该消息进行处理,得到消息处理结果后,还将该消息反馈给数据处理装置,数据处理装置将该消息处理结果存储在数据表中,并且将该消息处理结果发布到消息处理装置的cvm实例主题对应的目标反馈主题下。消息处理装置在接收到消息处理结果后,向订阅了cvm实例主题对应的目标反馈主题的目标云服务器分发该消息处理结果。
由此,可以即时地将目标消息反馈给目标云服务器,便于目标云服务器实时知悉自己的请求是否成功。
本实施例的数据处理装置还提供了简便、准确的报表功能,可以为目标云服务器的用户输出其需要的报表如运营报表,相较于相关技术中需要人工生成报表的方案,本实施例降低了对人力资源的需求,简化了报表整理工作,还有助于通过报表找出问题。
可选的,本实施例中,还包括:
当满足表格导出条件时,数据处理装置从中间数据库中获取预设的消息导出时间段内存储的消息和对应的消息处理结果;
数据处理装置以消息和对应的消息处理结果作为表格内容来源,生成满足预设表格形式的表格。
其中,表格导出条件可以根据实际情况设置,例如将表格导出条件设置为,接收到用户触发的表格导出指令,或者,当前时刻为预设的表格导出时刻等等。
可选的,表格导出时刻可以设置为每天的早上八点,工作日的中午十二点等等时刻,本实施例对此没有限制。
其中,消息导出时间段可以为前一次导出表格的时刻到本次导出表格的时刻之间的时间段,消息导出时间段的时长可以根据表格导出条件的不同而不同,例如,表格导出条件为每天的固定时间点导出表格,则消息导出时间段为该固定的时间点之前的24小时,表格导出条件为接收到用户触发的表格导出指令,则消息导出时间段为前一次导出表格的时刻到当前时刻之间的时间段。
可选的,本实施例导出的表格的类型不限,各类表格的表格形式不限,对于不同表格类型的表格,可以设置不同的表格导出条件。
本实施例中,预设的表格形式中包含了表格的样式,以及表头信息,表头信息可以指示表格每一列的信息的内容和意义。
本实施例中,在生成满足预设表格形式的表格后,数据处理装置可以将该表格推送给对应的用户终端,或者可以将该表格存储在中间数据库中,在接收到用户针对该表格的查看指令时,将该表格发送给该用户的终端。
可能存在运维审计设备不能成功执行目标云服务器的消息的情况,参考图2,本实施例中的数据处理装置还与运维审计设备如堡垒机的设备数据库连接,数据处理装置可以直接对设备数据库中的数据进行操作。
本实施例的方法还包括:
若数据处理装置调用运维审计设备的目标功能模块执行消息中的请求事件的步骤失败,则数据处理装置访问运维审计设备的设备数据库,并通过对设备数据库中的数据进行修改,实现请求事件,得到消息处理结果。
其中,消息处理失败后,运维审计设备可以生成表示消息处理失败的消息处理结果,并将其发送给数据处理装置,在一些示例中,数据处理装置可以在接收到该消息处理结果后,访问运维审计设备的设备数据库,并以实现消息中的请求事件为目的对设备数据库中的数据进行修改,当该消息处理成功时,数据处理装置可以将消息处理成功时的消息处理结果(即第一消息处理结果)与该消息关联地存储在运维审计设备的设备数据库中,数据处理装置还可以从运维审计设备获取该消息的消息处理结果。
在另一个示例中,若在通过数据处理装置对运维审计设备的设备数据库中的数据进行修改,实现消息的处理的方案中,结果为消息处理失败,则数据处理装置可以生成消息处理结果(为区分,可命名为第二消息处理结果,该结果中包括指示消息处理失败的指示信息)。
可以理解的是,若该消息属于预设的反馈消息,则数据处理装置还会以消息处理装置的消息生产者的身份,将该消息处理结果(这里的消息处理结果可以为第一消息处理结果,也可以为第二消息处理结果)转换为与所述消息类型相同的目标消息,将目标消息发布于消息处理装置的目标反馈主题下,以便目标云服务器以消息处理装置的消息消费者的身份,从目标反馈主题中获取目标消息。
通过上述描述可知,反馈消息的消息处理结果是目标云服务器需要获取的信息,目标云服务器获取该消息处理结果之后,可以基于消息处理结果确定反馈消息是否成功执行,可选的,若是消息未成功执行,则目标云服务器可以记录该消息的处理结果,或者,目标云服务器可以重新生成与该反馈消息相同的消息,发布到目标主题下,触发数据处理装置执行该消息。
在一个示例中,数据处理装置通过API接口,可能并不能完全调用运维审计设备的所有功能模块,所以某些消息是无法通过对运维审计平台的调用进行处理的,数据处理装置可以在接收到目标主题下的消息后,先判断该消息是否可以通过调用运维审计设备进行处理,若否,则数据处理装置直接访问运维审计设备的设备数据库,并通过对设备数据库中的数据进行修改,实现对特定消息的成功处理,得到消息处理结果;若是,则数据处理装置调用运维审计设备的目标功能模块处理该目标主题的消息。
本实施例中,数据处理装置还用于在日志中记录自身的程序运行状态,以及消息处理状态等等信息,该日志可以存储于数据处理装置的中间数据库中。
一个示例中,该数据处理装置在日志中的记录可以划分为debug、info、error、critical这4个级别,debug级别的记录包括全部消息,info级别的记录包括执行成功的消息,error级别的记录包括执行失败的消息,critical级别的记录包括数据处理装置的程序异常消息。
本实施例中,数据处理装置在运行自身的程序时,可以从预设的程序配置文件中获取该程序的配置信息,以便成功运行该程序,可选的,程序配置文件可以存储在数据处理装置中,或者存储在数据处理装置的中间数据库中。
采用本实施例,数据处理装置作为消息处理装置的消息消费者,可以从消息处理装置获取属于目标主题的消息;消息处理装置中的目标主题下的消息由目标云服务器发送,目标云服务器为数据处理装置连接的运维审计设备所维护的对象;数据处理装置基于消息所属的目标主题,调用运维审计设备对消息进行处理,得到消息处理结果,并将消息处理结果存储至运维审计设备的设备数据库中,由上可知,本实施例的数据处理装置可以实现目标云服务器和其运维审计设备之间的信息同步,相对于相关技术中人工同步数据的方案,不仅可以节约人力资源,还可以降低工作人员对目标云服务器的人工操作,降低人工操作错误带来的系统问题,还扩大了运维审计设备对目标云服务器的管理范围,有利于提升运维审计系统对目标云服务器的维护力度。
本发明实施例还提供了另一种数据处理方法,如图3所示,为本发明实施例中数据处理方法中一个实施例流程示意图,该数据处理方法应用于数据处理装置,该数据处理装置可以位于上述的运维审计设备中,本实施例的运维审计设备为计算机设备,该计算机设备包括服务器,其中,该服务器可以是单台服务器,也可以是由多个服务器组成的服务器集群。在终端性能允许的情况下,该计算机设备可以为终端设备,本实施例对此没有限制。参考图3,该数据处理方法可以包括:
301、运维审计设备在数据处理装置的调用下对目标主题的消息进行处理,得到消息处理结果,其中,消息是数据处理装置作为消息处理装置的消息消费者,从消息处理装置的目标主题下获取的,消息处理装置中的目标主题下的消息由目标云服务器发送,目标云服务器为运维审计设备维护的对象;
302、运维审计设备在消息处理成功后,将消息的消息处理结果,存储于运维审计设备的设备数据库中。
其中,对于该运维审计设备以及数据处理装置、消息处理装置、目标云服务器等的描述可以参考图1对应示例中的相关描述,在此不再赘述。
本实施例中,步骤“运维审计设备在数据处理装置的调用下对目标主题的消息进行处理”,可以包括:
运维审计设备在数据处理装置的调用下,通过运维审计设备中的目标功能模块处理目标主题的消息,目标功能模块为运维审计设备的功能模块中用于处理目标主题的消息的功能模块;
方法还包括:
运维审计设备将消息存储在自身的设备数据库中。
其中,运维审计设备可以通过API接口接受数据处理装置的调用。
在一个示例中,运维审计设备将消息以及消息处理结果存储在运维审计设备的设备数据库中,可以包括:运维审计设备将消息、消息处理结果以及消息所属的目标主题对应存储在设备数据库中。
在另一个示例中,运维审计设备的设备数据库中包括为各目标主题设置的专属存储区域,运维审计设备将消息以及消息处理结果存储在运维审计设备的设备数据库中,可以包括:运维审计设备将消息以及消息处理结果存储在消息所属的目标主题对应的专属存储区域中。
在一个示例中,运维审计设备的设备数据库中可以包括第二消息表,运维审计设备可以将消息、消息处理结果以及目标主题等与消息相关的信息存储在第二消息表中。
在对消息进行处理得到消息处理结果后,运维审计设备还可以将消息处理结果发送给数据处理装置,
可选的,步骤“运维审计设备在数据处理装置的调用下对目标主题的消息进行处理”后,还可以包括:
运维审计设备将消息的消息处理结果发送给数据处理装置。
可选的,一个示例中,步骤“运维审计设备将消息的消息处理结果发送给数据处理装置”,可以包括:运维审计设备将反馈消息的消息处理结果发送给数据处理装置。
采用该示例的方案,运维审计设备可以获取目标云服务器中的消息,实现运维审计设备和目标云服务器的信息同步,降低相关技术中人工同步信息带来的人力资源需求大的问题,节约了大量的人力成本。
为了更好地实施以上方法,相应的,本发明实施例还提供一种数据处理装置,该数据处理装置可以集成在计算机设备中,参考图4该数据处理装置包括:
消费者单元401,用于作为消息处理装置的消息消费者,从消息处理装置获取属于目标主题的消息,其中,目标主题为消息处理装置的主题中被消息处理装置订阅的主题;消息处理装置中的目标主题下的消息由目标云服务器发送,目标云服务器为数据处理装置连接的运维审计设备所维护的对象;
控制单元402,用于基于消息所属的目标主题,调用运维审计设备对消息进行处理,并控制运维审计设备在消息处理成功后,将消息的消息处理结果存储至运维审计设备的设备数据库中。
可选的,控制单元402,包括:权限判断子单元和控制子单元。
权限判断子单元,用于获取消息的请求用户以及消息中请求用户的请求事件,判断请求用户所需的权限信息是否存储于运维审计设备中,请求用户所需的权限信息用于指示请求用户具有执行请求事件的权限。
控制子单元,用于当运维审计设备中存储有请求用户所需的权限信息时,数据处理装置调用运维审计设备的目标功能模块执行消息中的请求事件,并控制运维审计设备在消息处理成功后,将消息以及消息处理结果存储到运维审计设备的设备数据库中,其中,目标功能模块为运维审计设备的功能模块中用于处理目标主题下的消息的功能模块。
可选的,数据处理装置还包括:数据存储模块,用于将消息存储于自身的中间数据库中,以及从运维审计设备获取消息的消息处理结果;将消息处理结果,存储至自身的中间数据库中。
可选的,数据处理装置还包括:反馈模块,用于若消息属于预设的反馈消息,则以消息处理装置的消息生产者的身份,将消息处理结果转换为与消息类型相同的目标消息,将目标消息发布于消息处理装置的目标反馈主题下,以便目标云服务器以消息处理装置的消息消费者的身份,从目标反馈主题中获取目标消息,其中,目标反馈主题为目标主题对应的消息处理结果所属的主题。
可选的,数据处理装置还包括:表格生成模块,用于当满足表格导出条件时,从中间数据库中获取预设的消息导出时间段内存储的消息和对应的消息处理结果;以消息和对应的消息处理结果作为表格内容来源,生成满足预设表格形式的表格。
可选的,数据处理装置还包括数据库操作单元,用于若数据处理装置调用运维审计设备的目标功能模块执行消息中的请求事件的步骤失败,则数据处理装置访问运维审计设备的设备数据库,并通过对设备数据库中的数据进行修改,实现请求事件,得到消息处理结果。
采用该示例的方案,数据处理装置可以获取目标云服务器中的消息,并将其发送给运维审计设备,实现运维审计设备和目标云服务器的信息同步,降低相关技术中人工同步信息带来的人力资源需求大的问题,节约了大量的人力成本。
为了更好地实施以上方法,相应的,本发明实施例还提供一种运维审计设备,该运维审计设备可以集成在计算机设备中,参考图5该运维审计设备包括:
消息处理单元501,用于在数据处理装置的调用下对目标主题的消息进行处理,其中,消息是数据处理装置作为消息处理装置的消息消费者,从消息处理装置的目标主题下获取的,消息处理装置中的目标主题下的消息由目标云服务器发送,目标云服务器为运维审计设备维护的对象;
消息存储单元502,用于在消息处理成功后,将消息的消息处理结果,存储于运维审计设备的设备数据库中。
可选的,消息处理单元501,用于在数据处理装置的调用下,通过运维审计设备中的目标功能模块处理目标主题的消息,目标功能模块为运维审计设备的功能模块中用于处理目标主题的消息的功能模块。
消息存储单元502,还用于将消息存储在自身的设备数据库中。
采用该示例的方案,运维审计设备可以获取目标云服务器中的消息,实现运维审计设备和目标云服务器的信息同步,降低相关技术中人工同步信息带来的人力资源需求大的问题,节约了大量的人力成本。
为了更好地实施以上方法,相应的,本发明实施例还提供另一种数据处理系统,
参考图6,该数据处理系统包括:目标云服务器601、消息处理装置602、运维审计设备603以及数据处理装置604,其中,数据处理装置602的数量为至少两个;
目标云服务器601作为消息处理装置602的消息生产者,用于向消息处理装置的目标主题发布消息;其中,该目标主题为数据处理装置订阅的主题;
各数据处理装置604,作为消息处理装置602的同一消息消费者组的消息消费者,用于从消息处理装置602获取各自订阅的目标主题的消息;
各数据处理装置604,还用于基于消息所属的目标主题,调用运维审计设备对消息进行处理,得到消息处理结果;
运维审计设备603,用于在数据处理装置的调用下对目标主题的消息进行处理,在消息处理成功后,将消息的消息处理结果存储于运维审计设备的设备数据库中。
本实施例中,多个数据处理装置订阅的目标主题的数量可以相同或不同,多个数据处理装置订阅的目标主题可以相同或不同,本实施例对此没有限制。本实施例的多个数据处理装置属于同一个消息消费者组。
本实施例的数据处理装置运行有相同的应用程序,使用完全相同的配置文件和代码。
本实施例中,多个数据处理装置可以共用一个中间数据库,或者每个数据处理装置可以对应设置有一个中间数据库,本实施例中,中间数据库运行在一台独立的服务器上。
在一个示例中,数据处理装置的程序配置文件存储于数据处理装置的中间数据里中,数据处理装置可以共享存储于中间数据库的程序配置文件,从该程序配置文件中获取该程序的配置信息,以便成功运行自身的程序。
本发明实施例还提供一种计算机设备,其集成了本发明实施例所提供的任一种数据处理装置,计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中一个或多个应用程序被存储于存储器中,并配置为由处理器执行上述数据处理方法实施例中任一实施例中的数据处理方法中的步骤。
本发明实施例还提供一种计算机设备,其集成了本发明实施例所提供的任一种数据处理装置。如图7所示,其示出了本发明实施例所涉及的计算机设备的结构示意图,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解,图7中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器701是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器702内的软件程序和/或模块,以及调用存储在存储器702内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器701可包括一个或多个处理核心;优选的,处理器701可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器701中。
存储器702可用于存储软件程序以及模块,处理器701通过运行存储在存储器702的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器702还可以包括存储器控制器,以提供处理器701对存储器702的访问。
计算机设备还包括给各个部件供电的电源703,优选的,电源703可以通过电源管理系统与处理器701逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元704,该输入单元704可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器701会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中,并由处理器701来运行存储在存储器702中的应用程序,从而实现各种功能。
例如,若计算机设备为上述的数据处理装置,则计算机设备中的应用程序被执行时,实现如下的步骤:
数据处理装置作为消息处理装置的消息消费者,从消息处理装置获取属于目标主题的消息,其中,目标主题为消息处理装置的主题中被消息处理装置订阅的主题;消息处理装置中的目标主题下的消息由目标云服务器发送,目标云服务器为数据处理装置连接的运维审计设备所维护的对象;
数据处理装置基于消息所属的目标主题,调用运维审计设备对消息进行处理,并控制运维审计设备在消息处理成功后,将消息的消息处理结果存储至运维审计设备的设备数据库中。
例如,若计算机设备为上述的运维审计设备,则计算机设备中的应用程序被执行时,实现如下的步骤:
消息处理单元,用于在数据处理装置的调用下对目标主题的消息进行处理,其中,消息是数据处理装置作为消息处理装置的消息消费者,从消息处理装置的目标主题下获取的,消息处理装置中的目标主题下的消息由目标云服务器发送,目标云服务器为运维审计设备维护的对象;
消息存储单元,用于在消息处理成功后,将消息的消息处理结果存储于运维审计设备的设备数据库中。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种计算机可读存储介质,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。其上存储有计算机程序,计算机程序被处理器进行加载,以执行本发明实施例所提供的任一种数据处理方法中的步骤。例如,计算机程序被处理器进行加载可以执行如下步骤:
数据处理装置作为消息处理装置的消息消费者,从消息处理装置获取属于目标主题的消息,其中,目标主题为消息处理装置的主题中被消息处理装置订阅的主题;消息处理装置中的目标主题下的消息由目标云服务器发送,目标云服务器为数据处理装置连接的运维审计设备所维护的对象;
数据处理装置基于消息所属的目标主题,调用运维审计设备对消息进行处理,并控制运维审计设备在消息处理成功后,将消息的消息处理结果存储至运维审计设备的设备数据库中。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的方法实施例,在此不再赘述。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种数据处理方法、装置、系统、运维审计设备和存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种数据处理方法,其特征在于,包括:
数据处理装置作为消息处理装置的消息消费者,从所述消息处理装置获取属于目标主题的消息,其中,所述目标主题为所述消息处理装置的主题中被所述消息处理装置订阅的主题;所述消息处理装置中的所述目标主题下的消息由目标云服务器发送,所述目标云服务器为所述数据处理装置连接的运维审计设备所维护的对象;
所述数据处理装置基于所述消息所属的目标主题,调用所述运维审计设备对所述消息进行处理,并控制所述运维审计设备在所述消息处理成功后,将所述消息的消息处理结果存储至所述运维审计设备的设备数据库中。
2.根据权利要求1所述的数据处理方法,其特征在于,所述数据处理装置基于所述消息所属的目标主题,调用所述运维审计设备对所述消息进行处理,并控制所述运维审计设备在所述消息处理成功后,将所述消息的消息处理结果存储至所述运维审计设备的设备数据库中,包括:
所述数据处理装置获取所述消息的请求用户以及所述消息中所述请求用户的请求事件,判断所述请求用户所需的权限信息是否存储于所述运维审计设备中,所述请求用户所需的权限信息用于指示所述请求用户具有执行所述请求事件的权限;
当所述运维审计设备中存储有所述请求用户所需的权限信息时,所述数据处理装置调用所述运维审计设备的目标功能模块执行所述消息中的所述请求事件,并控制所述运维审计设备在所述消息处理成功后,将所述消息以及消息处理结果存储到所述运维审计设备的设备数据库中,其中,所述目标功能模块为所述运维审计设备的功能模块中用于处理所述目标主题下的消息的功能模块。
3.根据权利要求2所述的数据处理方法,其特征在于,在所述数据处理装置作为消息处理装置的消息消费者,从所述消息处理装置获取属于目标主题的消息之后,还包括:
数据处理装置将所述消息存储于自身的中间数据库中;
在所述数据处理装置调用所述运维审计设备的目标功能模块执行所述消息中的所述请求事件后,还包括:
所述数据处理装置从所述运维审计设备获取所述消息的消息处理结果;
所述数据处理装置将所述消息处理结果,存储至自身的中间数据库中。
4.根据权利要求3所述的数据处理方法,其特征在于,在所述数据处理装置从所述运维审计设备获取所述消息的消息处理结果之后,还包括:
若所述消息属于预设的反馈消息,则所述数据处理装置还以所述消息处理装置的消息生产者的身份,将所述消息处理结果转换为与所述消息类型相同的目标消息,将所述目标消息发布于所述消息处理装置的目标反馈主题下,以便所述目标云服务器以所述消息处理装置的消息消费者的身份,从所述目标反馈主题中获取所述目标消息,其中,所述目标反馈主题为所述目标主题对应的消息处理结果所属的主题。
5.根据权利要求3所述的数据处理方法,其特征在于,还包括:
当满足表格导出条件时,所述数据处理装置从所述中间数据库中获取预设的消息导出时间段内存储的消息和对应的消息处理结果;
所述数据处理装置以所述消息和对应的消息处理结果作为表格内容来源,生成满足预设表格形式的表格。
6.根据权利要求2所述的数据处理方法,其特征在于,还包括:
若所述数据处理装置调用所述运维审计设备的目标功能模块执行所述消息中的所述请求事件的步骤失败,则所述数据处理装置访问所述运维审计设备的设备数据库,并通过对所述设备数据库中的数据进行修改,实现所述请求事件,得到消息处理结果。
7.一种数据处理方法,其特征在于,包括:
运维审计设备在数据处理装置的调用下对目标主题的消息进行处理,其中,所述消息是所述数据处理装置作为所述消息处理装置的消息消费者,从所述消息处理装置的所述目标主题下获取的,所述消息处理装置中的所述目标主题下的消息由目标云服务器发送,所述目标云服务器为所述运维审计设备维护的对象;
所述运维审计设备在所述消息处理成功后,将所述消息的消息处理结果,存储于所述运维审计设备的设备数据库中。
8.根据权利要求7所述的数据处理方法,其特征在于,所述运维审计设备在数据处理装置的调用下对目标主题的消息进行处理,包括:
所述运维审计设备在所述数据处理装置的调用下,通过所述运维审计设备中的目标功能模块处理所述目标主题的消息,所述目标功能模块为所述运维审计设备的功能模块中用于处理所述目标主题的消息的功能模块;
所述方法还包括:
所述运维审计设备将所述消息存储在自身的设备数据库中。
9.一种数据处理装置,其特征在于,包括:
消费者单元,用于作为消息处理装置的消息消费者,从所述消息处理装置获取属于目标主题的消息,其中,所述目标主题为所述消息处理装置的主题中被所述消息处理装置订阅的主题;所述消息处理装置中的所述目标主题下的消息由目标云服务器发送,所述目标云服务器为所述数据处理装置连接的运维审计设备所维护的对象;
控制单元,用于基于所述消息所属的目标主题,调用所述运维审计设备对所述消息进行处理,并控制所述运维审计设备在所述消息处理成功后,将所述消息的消息处理结果存储至所述运维审计设备的设备数据库中。
10.一种运维审计设备,其特征在于,包括:
消息处理单元,用于在数据处理装置的调用下对目标主题的消息进行处理,其中,所述消息是所述数据处理装置作为消息处理装置的消息消费者,从所述消息处理装置的所述目标主题下获取的,所述消息处理装置中的所述目标主题下的消息由目标云服务器发送,所述目标云服务器为所述运维审计设备维护的对象;
消息存储单元,用于在所述消息处理成功后,将所述消息的消息处理结果存储于所述运维审计设备的设备数据库中。
11.一种数据处理系统,其特征在于,包括如权利要求1-10任一项所述的目标云服务器、消息处理装置、运维审计设备以及数据处理装置,其中,所述数据处理装置的数量为至少两个;
所述目标云服务器作为所述消息处理装置的消息生产者,用于向所述消息处理装置的目标主题发布消息;
各数据处理装置,作为所述消息处理装置的同一消息消费者组的消息消费者,用于从所述消息处理装置获取各自订阅的目标主题的消息;
各数据处理装置,还用于基于所述消息所属的目标主题,调用所述运维审计设备对所述消息进行处理;
所述运维审计设备,用于在数据处理装置的调用下对目标主题的消息进行处理,在所述消息处理成功后,将所述消息的消息处理结果存储于所述运维审计设备的设备数据库中。
12.一种存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-8任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010740837.5A CN114070856B (zh) | 2020-07-29 | 2020-07-29 | 数据处理方法、装置、系统、运维审计设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010740837.5A CN114070856B (zh) | 2020-07-29 | 2020-07-29 | 数据处理方法、装置、系统、运维审计设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114070856A true CN114070856A (zh) | 2022-02-18 |
CN114070856B CN114070856B (zh) | 2023-11-28 |
Family
ID=80226655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010740837.5A Active CN114070856B (zh) | 2020-07-29 | 2020-07-29 | 数据处理方法、装置、系统、运维审计设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114070856B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115879102A (zh) * | 2022-12-02 | 2023-03-31 | 首约科技(北京)有限公司 | 一种数据库审计方法、装置、电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107480509A (zh) * | 2017-09-22 | 2017-12-15 | 携程旅游网络技术(上海)有限公司 | 运维安全审计系统登录容器方法、系统、设备及存储介质 |
CN108021458A (zh) * | 2017-12-01 | 2018-05-11 | 天津麒麟信息技术有限公司 | 一种基于消息触发的多租户审计索引方法 |
US20200120169A1 (en) * | 2018-10-15 | 2020-04-16 | Citrix Systems, Inc. | Scalable message passing architecture a cloud environment |
-
2020
- 2020-07-29 CN CN202010740837.5A patent/CN114070856B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107480509A (zh) * | 2017-09-22 | 2017-12-15 | 携程旅游网络技术(上海)有限公司 | 运维安全审计系统登录容器方法、系统、设备及存储介质 |
CN108021458A (zh) * | 2017-12-01 | 2018-05-11 | 天津麒麟信息技术有限公司 | 一种基于消息触发的多租户审计索引方法 |
US20200120169A1 (en) * | 2018-10-15 | 2020-04-16 | Citrix Systems, Inc. | Scalable message passing architecture a cloud environment |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115879102A (zh) * | 2022-12-02 | 2023-03-31 | 首约科技(北京)有限公司 | 一种数据库审计方法、装置、电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114070856B (zh) | 2023-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11770381B2 (en) | Managing security groups for data instances | |
CN113169952B (zh) | 一种基于区块链技术的容器云管理系统 | |
US7133917B2 (en) | System and method for distribution of software licenses in a networked computing environment | |
US9571499B2 (en) | Apparatus and method of providing security to cloud data to prevent unauthorized access | |
US8590030B1 (en) | Credential seed provisioning system | |
US8346856B2 (en) | Client environment creation system, client environment creation method, client environment creation program and storage medium | |
US20240272915A1 (en) | Method and apparatus for generating image file and computer-readable storage medium | |
US11146560B1 (en) | Distributed governance of computing resources | |
CN115114305B (zh) | 分布式数据库的锁管理方法、装置、设备及存储介质 | |
CN110764871A (zh) | 一种基于云平台的拟态化应用封装与控制系统和方法 | |
CN105740047A (zh) | 一种基于云计算的虚拟机模板管理系统和方法 | |
EP3407240A1 (en) | Data protection method and associated apparatus | |
CN107133278A (zh) | 一种基于虚拟桌面环境的文档管理控制方法 | |
CN110221816A (zh) | 基于算法平台的算法运行方法、装置、介质及算法平台 | |
CN112506579A (zh) | 多服务多环境管理方法及系统 | |
CN108289074A (zh) | 用户账号登录方法及装置 | |
CN110061876B (zh) | 运维审计系统的优化方法及系统 | |
CN114070856B (zh) | 数据处理方法、装置、系统、运维审计设备和存储介质 | |
CN109460645A (zh) | 一种基于分布式架构的权限服务方法、装置及系统 | |
CN116070294B (zh) | 一种权限管理方法、系统、装置、服务器及存储介质 | |
US20060129685A1 (en) | Authenticating a node requesting another node to perform work on behalf of yet another node | |
CN115576626A (zh) | 一种usb设备安全挂载和卸载的方法、设备和存储介质 | |
CN114861160A (zh) | 提升非管理员账户权限的方法及装置、设备、存储介质 | |
CN115220871A (zh) | 一种虚拟机克隆方法、装置及存储介质 | |
CN115208689A (zh) | 基于零信任的访问控制方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |