CN110889105A - 数据处理方法、装置、系统及介质 - Google Patents
数据处理方法、装置、系统及介质 Download PDFInfo
- Publication number
- CN110889105A CN110889105A CN201911224057.9A CN201911224057A CN110889105A CN 110889105 A CN110889105 A CN 110889105A CN 201911224057 A CN201911224057 A CN 201911224057A CN 110889105 A CN110889105 A CN 110889105A
- Authority
- CN
- China
- Prior art keywords
- host
- job
- running
- host systems
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/44—Program or device authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/45—Structures or tools for the administration of authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
- G06F9/4482—Procedural
- G06F9/4484—Executing subprograms
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开提供了一种数据处理方法,应用于开放平台。所述数据处理方法包括:设置多个主机系统与所述开放平台的通信接口,其中所述多个主机系统属于多个站点,其中,每个站点内的主机系统构成封闭式系统,并且不同站点的主机系统之间相互隔离;以及基于所述开放平台经由所述通信接口与所述多个主机系统的交互,控制所述多个主机系统的运行。本公开还提供了一种数据处理装置、系统及介质。
Description
技术领域
本公开涉及互联网及大型机技术领域,更具体地,涉及一种数据处理方法、装置、系统及介质。
背景技术
目前通过IBM任务调度管理软件实现跨站点主机系统维护,是在其中一个站点的主机系统中安装控制节点,在其它的主机系统中安装跟踪节点,通过控制节点和跟踪节点的耦合来实现跨站点主机维护作业的控制和交互。这种维护策略功能有限,无法满足灵活易用、集成交互、验证支持、可视化、移动化的需求。例如,在进行作业任务编排期间,需分别登陆不同站点的主机系统进行操作,不能在统一的集中界面进行跨站点交互的要求,而且需要自动化专业运维人员才能胜任编排维护作业的运行流程工作,难以满足日常维护流程编排的灵活性、易用性要求等。
发明内容
有鉴于此,本公开提供了一种可以通过开放平台集中管理和控制跨站点主机系统的数据处理方法、装置、系统及介质。
本公开的一个方面,提供了一种数据处理方法,应用于开放平台。所述方法包括:设置多个主机系统与所述开放平台的通信接口,其中所述多个主机系统属于多个站点,其中,每个站点内的主机系统构成封闭式系统,并且不同站点的主机系统之间相互隔离;以及基于所述开放平台经由所述通信接口与所述多个主机系统的交互,控制所述多个主机系统的运行。
根据本公开的实施例,所述基于所述开放平台经由所述通信接口与所述多个主机系统的交互,控制所述多个主机系统的运行包括:接收第一用户的身份认证信息,其中,所述第一用户与所述多个主机系统被配置为具有对应关系;验证所述身份认证信息;在所述身份认证信息验证通过后,根据所述对应关系获取所述多个主机系统各自的登陆信息;以及利用所述多个主机系统各自的登陆信息分别登陆所述多个主机系统。
根据本公开的实施例,所述基于所述开放平台经由所述通信接口与所述多个主机系统的交互,控制所述多个主机系统的运,包括基于针对所述多个主机系统中各个主机系统的作业的交互操作,控制所述各个主机系统中的作业的运行,和/或基于针对与所述多个主机系统中各个主机系统的操作指令的交互,监控所述各个主机系统的指令执行,和/或基于针对所述多个主机系统中各个主机系统的文件的交互操作,操作所述各个主机系统中的文件,和/或获取所述多个主机系统中各个主机系统的地址空间的信息,以监控所述各个主机系统的运行状态。
根据本公开的实施例,所述基于针对所述多个主机系统中各个主机系统的作业的交互操作,控制所述各个主机系统中的作业的运行包括:编排作业的运行流程,所述作业的运行流程中设置了多个作业的属性及所述多个作业在所述各个主机系统中的运行先后顺序;以及按照所述作业的运行流程将所述多个作业提交至所述各个主机系统以使所述各个主机系统运行所述多个作业,并获取所述多个作业在对应的主机系统上的运行信息。
根据本公开的实施例,所述按照所述作业的运行流程将所述多个作业提交至所述各个主机系统以使所述各个主机系统运行所述多个作业,并获取所述多个作业在对应的主机系统上的运行信息,包括循环执行如下操作,直到在所述作业的运行流程运行完成或者所述作业的运行流程运行出现异常:首先以所述作业的运行流程中当前可提交的作业作为待运行作业,将待运行作业提交至第一主机系统,其中,所述第一主机系统为所述多个主机系统中运行所述待运行作业的主机系统,然后获取所述第一主机系统运行所述待运行作业而得到的第一运行信息,以及验证所述第一运行信息。其中,若所述第一运行信息验证通过,且所述作业的运行流程中还包括未运行的作业,则重新确定当前可提交的作业以进行再次循环;或者若所述第一运行信息验证通过,且所述作业的运行流程运行完成,则确定所述作业的运行流程运行完成以终止循环;或者若所述第一运行信息验证不通过,则确定所述作业的运行流程运行出现异常以终止循环。
根据本公开的实施例,所述验证所述第一运行信息包括:获取所述待运行作业的运行脚本;从所述运行脚本中提取文本特征;利用分类器对所述文本特征进行分类,以将所述待运行作业分类至第一类别,其中,所述第一类别为可供所述分类器分类的多个类别的其中之一,其中,所述分类器为预先训练得到的;从验证策略库中选择与所述第一类别相匹配的第一验证策略;以及利用所述第一验证策略验证所述第一运行信息。
根据本公开的实施例,所述方法还包括建立所述验证策略库。具体包括设置所述多个类别,以及对于所述多个类别中的每个类别,建立对该类别中的作业的运行信息的验证策略,所述验证策略被设置为包括对该类别中的作业的运行脚本的文本特征的提取规则、对运行该类别中的作业而得到的运行信息的提取规则、和/或对运行所述该类别中的作业而得到的运行信息的验证通过条件。
根据本公开的实施例,所述方法还包括在所述开放平台中展示表征所述多个主机系统的运行状态的信息。
本公开的另一方面,提供了一种数据处理装置,设置于开放平台。所述装置包括交互设置模块以及平台主机交互模块。所述交互设置模块用于设置多个主机系统与所述开放平台的通信接口,其中所述多个主机系统属于多个站点;其中,每个站点内的主机系统构成封闭式系统,并且不同站点的主机系统之间相互隔离。所述平台主机交互模块用于基于所述开放平台经由所述通信接口与所述多个主机系统的交互,控制所述多个主机系统的运行。
根据本公开的实施例,所平台主机交互模块包括主机用户集中认证子模块。所述主机用户集中认证子模块用于:接收第一用户的身份认证信息,其中,所述第一用户与所述多个主机系统被配置为具有对应关系;验证所述身份认证信息;在所述身份认证信息验证通过后,根据所述对应关系获取所述多个主机系统各自的登陆信息;以及利用所述多个主机系统各自的登陆信息分别登陆所述多个主机系统。
根据本公开的实施例,所述平台主机交互模块包括主机作业交互子模块、和/或主机指令交互子模块、和/或主机文件交互子模块、和/或主机地址空间交互子模块。所述主机作业交互子模块用于基于针对所述多个主机系统中各个主机系统的作业的交互操作,控制所述各个主机系统中的作业的运行。所述主机指令交互子模块用于基于针对与所述多个主机系统中各个主机系统的操作指令的交互,监控所述各个主机系统的指令执行。所述主机文件交互子模块用于基于针对所述多个主机系统中各个主机系统的文件的交互操作,操作所述各个主机系统中的文件。所述主机地址空间交互子模块用于获取所述多个主机系统中各个主机系统的地址空间的信息,以监控所述各个主机系统的运行状态。
根据本公开的实施例,所述主机作业交互子模块包括作业的运行流程编排单元、以及作业执行单元。所述作业的运行流程编排单元用于编排作业的运行流程,所述作业的运行流程中设置了多个作业的属性及所述多个作业在所述各个主机系统中的运行先后顺序。所述作业执行单元用于按照所述作业的运行流程将所述多个作业提交至所述各个主机系统以使所述各个主机系统运行所述多个作业,并获取所述多个作业在对应的主机系统上的运行信息。
根据本公开的实施例,所述作业执行单元包括变更执行引擎子单元和验证子单元。所述变更执行引擎子单元具体用于循环执行如下操作,直到在所述作业的运行流程运行完成或者所述作业的运行流程运行出现异常:以所述作业的运行流程当前可提交的作业作为待运行作业,将待运行作业提交至第一主机系统,其中,所述第一主机系统为所述多个主机系统中运行所述待运行作业的主机系统;获取所述第一主机系统运行所述待运行作业而得到的第一运行信息;通过所述验证子单元来验证所述第一运行信息;以及若所述第一运行信息验证通过,且所述作业的运行流程还包括未运行的作业,则重新确定当前可提交的作业以进行再次循环,或者所述第一运行信息验证通过,且所述作业的运行流程运行完成,则确定所述作业的运行流程运行完成以终止循环,或者若所述第一运行信息验证不通过,则确定所述作业的运行流程运行出现异常以终止循环。所述验证子单元用于验证所述第一运行信息。
根据本公开的实施例,所述验证子单元具体用于:获取所述待运行作业的运行脚本;从所述运行脚本中提取文本特征;利用分类器对所述文本特征进行分类,以将所述待运行作业分类至第一类别,其中,所述第一类别为可供所述分类器分类的多个类别的其中之一,其中,所述分类器为预先训练得到的;从验证策略库中选择与所述第一类别相匹配的第一验证策略;以及利用所述第一验证策略验证所述第一运行信息。
根据本公开的实施例,所述验证子单元还用于建立所述验证策略库,具体包括设置所述多个类别,以及对于所述多个类别中的每个类别,建立对该类别中的作业的运行信息的验证策略,所述验证策略被设置为包括对该类别中的作业的运行脚本的文本特征的提取规则、对运行该类别中的作业而得到的运行信息的提取规则、和/或对运行所述该类别中的作业而得到的运行信息的验证通过条件。
根据本公开的实施例,所述装置还包括结果展示模块。所述结果展示模块用于在所述开放平台中展示表征所述多个主机系统的运行状态的信息。
本公开实施例的另一方面,提供了一种数据处理系统。所述系统包括一个或多个存储器以及一个或多个处理器。所述一个或多个存储器存储有可执行指令。所述一个或多个处理器行所述可执行指令,以实现如上所述的方法。
本公开实施例的另一方面,提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行如上所述的方法。
根据本公开的实施例,通过开方平台集中管理和控制跨站点主机系统,可以至少部分地提升跨站点主机系统维护效率,提高用户体验。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开一实施例的数据处理方法和装置的应用场景;
图2示意性示出了根据本公开一实施例的数据处理方法的流程图;
图3示意性示出了根据本公开一实施例的数据处理方法中控制多个主机系统运行的方法流程图;
图4示意性示出了图3所示的通过用户集中认证登陆多个主机系统运行的一个应用实例的流程;
图5示意性示出了根据本公开另一实施例的数据处理方法中控制多个主机系统运行的流程图;
图6示意性示出了根据本公开再一实施例的数据处理方法中控制多个主机系统运行的方法流程图;
图7示意性示出了根据本公开一实施例的建立验证策略库的方法流程图;
图8示意性示出了根据本公开一实施例的验证第一运行信息的方法流程图;
图9示意性示出了根据本公开一实施例的建立验证策略库的一个应用实例的流程;
图10示意性示出了根据本公开一实施例的训练分类器的应用实例的流程;
图11示意性示出了根据本公开一实施例的匹配验证策略的应用实例的流程;
图12示意性示出了根据本公开一实施例的验证第一运行信息的应用实例的流程;
图13示意性示出了根据本公开另一实施的数据处理方法的流程图;
图14示意性示出了根据本公开实施例的数据处理装置的框图;
图15示意性示出了根据本公开实施例的数据处理装置中平台主机交互模块的框图;
图16示意性示出了根据本公开实施例的平台主机交互模块中主机作业交互子模块的框图;以及
图17示意性示出了适于实现根据本公开实施例的数据处理方法的计算机系统的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种数据处理方法、装置、系统及介质,应用于开放平台。所述方法包括首先设置多个主机系统与所述开放平台的通信接口,其中所述多个主机系统属于多个站点,其中,每个站点内的主机系统构成封闭式系统,并且不同站点的主机系统之间相互隔离;然后基于所述开放平台经由所述通信接口与所述多个主机系统的交互,控制所述多个主机系统的运行。
根据本公开的实施例,所述基于所述开放平台经由所述通信接口与所述多个主机系统的交互,控制所述多个主机系统的运行,包括基于针对所述多个主机系统中各个主机系统的作业的交互操作,控制所述各个主机系统中的作业的运行,和/或基于针对与所述多个主机系统中各个主机系统的操作指令的交互,监控所述各个主机系统的指令执行,和/或基于针对所述多个主机系统中各个主机系统的文件的交互操作,操作所述各个主机系统中的文件,和/或获取所述多个主机系统中各个主机系统的地址空间的信息,以监控所述各个主机系统的运行状态。
本公开的实施例的方法和装置,可以实现通过开放平台对跨站点主机系统进行集成式维护,可以建立标准化的平台主机交互框架,进而可以实现主机运维流程的快速定制和自动执行。
图1示意性示出了根据本公开一实施例的数据处理方法和装置的应用场景100。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,该应用场景100可以包括主机系统101、102、103开放平台106,其中开放平台106可以包括服务器104以及终端设备105,其中服务器104和终端设备105可以通信。
主机系统101、102、103分别属于不同的站点,其各自包括一个或多个IBM大型机。其中,同一个站点内(即不同主机系统内)的不同IBM大型机相互协作,共同执行本站点的任务。不同站点之间的主机系统之间相互隔离,即主机系统101、102、103相互之间隔离。
开放平台106例如可以Windows、Linux或是AIX。服务器104例如可以是web服务器,相应地终端设备105中可以安装有web应用客户端,例如浏览器。终端设备105例如可以是笔记本电脑、手机等。用户可以通过终端设备105的web应用客户端与服务器104进行数据交换。
根据本公开实施例,可以在主机系统101、102、103与开放平台106之间设置通信接口(例如,HTTP API)。这样,用户可以通过对在终端设备105的操作,经由该HTTP API来控制主机系统101、102、和/或103的运行。例如,用户可以通过在终端设备105中的web应用客户端中的操作向服务器104发送对主机系统101、和/或102、和/或103的操作请求,服务器104基于该操作请求经由HTTP API向主机系统101、和/或102、和/或103发送控制指令,并经由该HTTP API获取主机系统101、和/或102、和/或103执行控制指令后得到的反馈信息,然后将该反馈信息发送给终端设备105。以此方式,可以使用户通过终端设备105上的web应用的操作界面对主机系统101、和/或102、和/或103进行集中控制。
需要说明的是,本公开实施例所提供的数据处理方法一般可以由开放平台106执行,例如由服务器104执行,或者例如由服务器104和终端设备105共同执行,或者例如由与服务器104和终端设备105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的数据处理装置一般可以设置于开放平台106中,例如设置于服务器104中,或者例如一部分设置于服务器104中,另一部分设置于终端设备105中,或者设置于与服务器104和终端设备105通信的服务器或服务器集群中。
应该理解,图1中的主机个数、主机系统、终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的主机系统、主机个数、终端设备、网络和服务器。
图2示意性示出了根据本公开一实施例的数据处理方法的流程图。
如图2所示,该数据处理方法可以包括操作S210~操作S220。
在操作S210,设置多个主机系统101、102、103与所述开放平台106的通信接口,其中所述多个主机系统101、102、103属于多个站点;其中,每个站点内的主机系统构成封闭式系统,并且不同站点的主机系统之间相互隔离。
在操作S220,基于所述开放平台106经由所述通信接口与所述多个主机系统101、102、103的交互,控制所述多个主机系统101、102、103的运行。从而,可以通过开放平台对跨站点主机系统进行集成式维护,
根据本公开的实施例,可以搭建标准化的平台主机交互框架,来控制多个主机系统101、102、103的运行。例如,在操作S220中可以基于针对所述多个主机系统101、102、103中各个主机系统的作业的交互操作,控制所述各个主机系统101、102、103中的作业的运行。或者例如,在操作S220中可以基于针对与所述多个主机系统101、102、103中各个主机系统的操作指令的交互,监控所述各个主机系统的指令执行。或者例如,在操作S220中可以基于针对所述多个主机系统101、102、103中各个主机系统的文件的交互操作,操作所述各个主机系统中的文件。或者例如,在操作S220中可以获取所述多个主机系统101、102、103中各个主机系统的地址空间的信息,以监控所述各个主机系统的运行状态。
具体地,操作S220中基于针对所述多个主机系统101、102、103中各个主机系统的作业的交互操作,控制所述各个主机系统中的作业的运行可以包括,将作业提交至对应的主机系统、查看作业的运行状态、以及获取作业运行日志等。其中,将作业提交至对应的主机系统(例如主机系统101)时可以在终端设备105中输入站点信息、用户名、密码、以及作业库等,待经由通信接口提交到主机系统101后主机系统101会进行用户验证,然后提交作业,并向开方平台106返回作业的唯一编号。
作业在主机系统101中需要运行一段时间才会结束,其间用户如果想在在开放平台106侧(例如,终端设备105)查看作业的运行状态,可以通过开方平台106与主机系统101进行交互,输入站点信息、用户名、JOBID等信息来获取主机系统101反馈的作业运行状态。
用户如需要在开放平台106侧查看作业运行日志,则可以通过开方平台106与主机系统101进行交互来获取作业运行日志的标签列表、及指定标签列表的日志内容,并通过终端设备105进行查看。
或者,操作S220中针对与所述多个主机系统101、102、103中各个主机系统的操作指令的交互,监控所述各个主机系统的指令执行可以包括,接收用户指定的命令(例如包括站点信息、用户名、命令内容),然后将命令提交到指定主机系统(例如,主机系统101)进行执行,接着获取命令的返回结果,并经由通信接口发送给开放平台106。
或者,操作S220中基于针对所述多个主机系统101、102、103中各个主机系统的文件的交互操作,操作所述各个主机系统中的文件可以包括,文件列表获取、文件内容读取及文件下载和上传等。文件列表的获取可以是,首先用户在终端设备105中输入文件名,然后发送给服务器104后由服务器104经由通信接口从主机系统101、102、103中获取包含该文件名的所有文件列表,并反馈给终端设备105供用户选择。文件内容的读取可以是,通过用户在终端设备105中的操作来查看主机系统101、102、103中指定文件名的文件内容。文件上传可以是,用通过户在终端设备105中的操作,将开放平台106侧(例如存储在服务器104、或者终端设备105本地、或者与终端设备105和服务器104均通信的服务器集群或者云端)的作业(例如,动态脚本)上传到主机系统101、102、103,实现从开放平台106侧向主机系统101、102、103提交动态脚本的功能,而且还可实现作业报错后在开放平台106侧将作业修改后重新提交至主机系统101、102、103。
或者,操作S220中获取所述多个主机系统101、102、103中各个主机系统的地址空间的信息,以监控所述各个主机系统的运行状态可以是,在开放平台侧获取主机地址空间的标签列表、指定标签下的日志内容等,其中该指定标签下的日志内容用于某些维护操作实施后,检查指定地址空间的写出的日志内容是否符合预期。其中,地址空间可以是主机系统101、102、103中的系统程序的进程的信息。获取主机地址空间的标签列表例如可以是,用户在终端设备105中输入要获取的日志标签的站点信息、分区名,用户名、地址空间名等,经由开放平台106与主机系统101、102、103的交互,在终端设备105中展示该地址空间的日志标签列表。获取指定标签下的日志内容例如可以是,通过用户操作在终端设备105中输入要获取的日志内容的站点信息、分区名、用户名、地址空间名、标签名、以及获取方式等,经由开放平台106与主机系统101、102、103的交互,最后在终端设备105中展示该标签下的日志内容。
图3示意性示出了根据本公开一实施例的数据处理方法中操作S220控制多个主机系统运行的方法流程图。
如图3所示,根据本公开的实施例操作S220可以包括操作S301~操作S304。
首先在操作S301,接收第一用户的身份认证信息,其中,所述第一用户与所述多个主机系统被配置为具有对应关系。该对应关系例如可以如下表1所示。根据本公开的实施例,可以在开放平台106中预先设置如表1所示的对应关系列表。根据表1,第一用户与主机系统101、102、103对应,第二用户(例如与第一用户不同的用户)与主机系统101、103对应等。
表1
序号 | 用户信息 | 站点信息 | 主机系统编号 |
1 | 第一用户 | 1、2、3 | 101、102、103 |
2 | 第二用户 | 1、3 | 101、103 |
... | ... | ... | ... |
然后在操作S302,验证所述身份认证信息。
接着在操作S303,在所述身份认证信息验证通过后,根据所述对应关系获取所述多个主机系统各自的登陆信息。例如,根据表1的对应关系可以得到第一用户对应于主机系统101、102、103,从而可以获取主机系统101、102、103各自的登录信息。
之后在操作S304,利用所述多个主机系统各自的登陆信息分别登陆所述多个主机系统。例如,利用主机系统101、102、103各自的登录信息分别登录主机系统101、102、103。以此方式,可以通过用户集中认证,建立集成化的用户安全管控,来控制多个主机系统101、102、103的运行。
图4示意性示出了图3所示的通过用户集中认证登陆多个主机系统运行的一个应用实例的流程。
如图4所示,该应用实例可以包括操作S401~操作S405。
具体地,首先在操作S401中服务器104可以从用户在终端设备105中的web应用客户端登陆的会话中获取用户的身份认证信息(例如,统一认证号)。然后在操作S402,服务器104从表1所示的对应关系列表中获取该用户所授权的所有主机系统列表(例如,主机系统101、102、103)等。
该应用实例可以通过动态码的方式来验证用户操作的真实性。例如,可以在接收到终端设备105向服务器104发送登录请求时,服务器104向用户注册用的手机发送动态码等。然后在操作S403中服务器104接收用户在终端设备105中输入的动态码,之后在操作S404中服务器104可以将该用户的身份信息发送到统一用户管理系统(UCM)进行验证。统一用户管理系统(UCM)首先根据用户统一认证号、动态码来验证用户身份的真实性和正确性,如果用户身份真实正确,则根据表1的对应关系,向服务器104返回与用户对应的主机系统101、102、103各自的登录信息,否则返回动态码不正确。然后服务器104在获取到主机系统101、102、103各自的登录信息后可以通过与主机系统101、102、103的通信交互,利用主机系统101、102、103各自的登录信息分别登陆主机系统101、102、103。同时在操作S405中将用户的统一认证号以及对应的主机系统101、102、103的登录信息存储到数据库,这样下一次该用户进行登录时,在有效的认证时间范围内统一认证号验证通过之后,服务器104可以直接从数据库来获取与该用户对应的主机系统101、102、103的登录信息。如果超过有效认证时间范围,则要求用户重新通过统一认证号和动态码进行用户身份验证。待主机系统101、102、103向服务器104反馈登录状态(即,登录成功与否)的信息后,服务器104将登录状态信息反馈给终端设备105,以供用户查看。
根据本公开的实施例,可以在开放平台106上对管控跨站点的主机系统101、102、103的用户进行集中认证,通过在用户在终端设备105上一次输入身份认证信息(例如,统一认证号和动态密码),即可进行该用户对应的所有的主机系统的验签和登陆,这为对跨站点主机进行集成式维护提供了基础。
图5示意性示出了根据本公开另一实施例的数据处理方法中操作S220控制多个主机系统运行的流程图。
如图5所示,根据本公开的实施例操作S220可以包括操作S501和操作S502。
在操作S501,编排作业的运行流程,所述作业的运行流程中设置了多个作业的属性以及所述多个作业在所述各个主机系统101、102、103中的运行先后顺序,例如在所述各个主机系统中的每个主机系统运行的作业、以及不同作业的先后顺序。
作业的运行流程可以是具有先后顺序的多个作业形成的一组作业,其中,作业(即,JOB)为主机系统可执行的脚本单位。表2示意了一个作业的运行流程的示例。表2中每一行代表了为一个独立执行的单元,其中规定了一个作业、以及运行该作业的主机系统。
表2
序号 | 作业名称 | 主机系统 | 前项 |
1 | 作业1 | 主机系统101 | - |
2 | 作业2 | 主机系统102 | 1 |
3 | 作业3 | 主机系统103 | 2 |
如表2所示,该作业的运行流程中可以包括作业1、作业2和作业3,其中作业1在主机系统101中运行,作业2在主机系统102中运行,作业3在主机系统103中运行。可以通过前项来指定先后依赖关系,例如表2中,只有在作业1在主机系统101中运行完成后,才能向主机系统102提交作业2;同样只有在作业2在主机系统102运行完成后,才能向主机系统103提交作业3。
在操作S501中,可以在开放平台106中建立跨站点主机维护任务编排控制中心,通过该跨站点主机维护任务编排控制中心来实现对作业的运行流程的编排。例如,设定执行作业的主机系统、作业的前项、以及在各个主机系统中运行的作业的定时时间等。
在操作S502,按照所述作业的运行流程将所述多个作业提交至所述各个主机系统以使所述各个主机系统运行所述多个作业,并获取所述多个作业在对应的主机系统上的运行信息。例如可以在开放平台106中建立变更执行引擎,通过执行引擎来负责作业的运行流程在各个主机系统中的提交、以及作业的运行流程的运行信息获取等任务。
图6示意性示出了根据本公开再一实施例的数据处理方法中操作S220控制多个主机系统运行的方法流程图。
如图6所示,根据本公开的实施例操作S220可以包括操作S501、以及操作S601~操作S609中的部分或全部操作。
其中与图5相比,操作S501与前述一致,而操作S502可以被实现为操作S601~操作S609中的部分或全部。
在操作S601,建立所述验证策略库。具体可以参考图7的描述。
图7示意性示出了根据本公开一实施例的操作S601建立验证策略库的方法流程图。
如图7所示,根据本公开的实施例操作S601中建立验证策略库可以包括操作S611和操作S612。
在操作S611,设置所述多个类别。
在操作S612,对于所述多个类别中的每个类别,建立对该类别中的作业的运行信息的验证策略,所述验证策略被设置为包括对该类别中的作业的运行脚本的文本特征的提取规则、和/或对运行该类别中的作业而得到的运行信息的提取规则、和/或对运行所述该类别中的作业而得到的运行信息的验证通过条件。验证通过条件例如为等于、包含、介于等条件。
继续参考图6,操作S602~操作S607为循环操作,其中当操作S605中判断第一运行信息验证不通过时,循环终止并执行操作S608;或者当操作S606中判断作业的运行流程不包含未运行的作业时,循环终止并执行操作S609。
具体地,在操作S602,以所述作业的运行流程中当前可提交的作业作为待运行作业,将待运行作业提交至第一主机系统(例如,主机系统101),其中,所述第一主机系统为所述多个主机系统中运行所述待运行作业的主机系统。
在操作S603,获取所述第一主机系统运行所述待运行作业而得到的第一运行信息。
在操作S604,验证所述第一运行信息;
在操作S605,判断第一运行信息是否验证通过。若是,则执行操作S606;若否,则执行操作S608确定作业的运行流程运行出现异常并终止循环。
在操作S606,在第一运行信息验证通过的情况下,判断作业的运行流程是否还包括未运行内容。若是则执行操作S607;若否,则执行操作S609确定作业的运行流程运行完成并终止循环。
在操作S607,在第一运行信息验证通过,且作业的运行流程还包括为运行内容的情况下重新确定当前可提交的作业,然后从操作S602开始进行新一轮循环。
根据本公开的实施例,操作S220中当作业的运行流程包括多个作业时,按照所述作业的运行流程提交作业,每次提交当前的待执行作业至对应的主机系统,然后并且该待执行作业运行通过验证的情况下,再提交下一个待执行作业至对应的主机系统,直到所述作业的运行流程运行完成或者直到发现所述作业的运行流程运行出现异常而中断。
例如,当服务器104接收到用户在终端设备105中进行操作而启动作业的运行流程的运行信号后,将操作S501中通过跨站点主机维护任务编排控制中心编排的作业的运行流程加载到执行队列,并根据该运行流程分别向主机系统101、102、103提交作业。之后,服务器104可以通过轮询的方式从主机系统101、102、103获取每个主机系统运行对应的作业的运行信息(例如,返回码、作业日志、文件信息/内容、命令返回)并保存。在每个主机系统运行完成对应的作业后,服务器104将获取到的运行信息(例如,返回码、作业日志、文件信息/内容、命令返回),自动匹配验证策略库中的验证策略并进行验证,如图8所示。
图8示意性示出了根据本公开一实施例的操作S604中验证第一运行信息的方法流程图。
如图8所示,根据本公开的实施例操作S604可以包括操作S614~操作S654。
首先在操作S614,获取所述待运行作业的运行脚本。
然后在操作S624,从所述运行脚本中提取文本特征。
接着在操作S634,利用分类器对所述文本特征进行分类,以将所述待运行作业分类至第一类别,其中,所述第一类别为可供所述分类器分类的多个类别的其中之一;其中,所述分类器为预先训练得到的。
之后在操作S644,从验证策略库中选择与所述第一类别相匹配的第一验证策略。
最后在操作S654,利用所述第一验证策略验证所述第一运行信息。例如,按照第一验证策略的信息提取策略对第一运行信息进行自动化的信息提取,并根据提取的信息和第一验证策略中的验证条件,进行自动化验证。
相关技术中进行运行信息验证时,需编写复杂的代码,以实现自动验证结果是否符合预期,工作量大,耗时长,不能满足灵活、快速部署验证策略的需求。与此相比,根据本公开的实施例可以实现对各个主机系统101、102、103运行作业所得的运行信息的自动验证,提高验证效率和作业运行效率。更进一步地,根据本公开的实施例,基于不断积累的维护流程历史信息,结合机器学习方法不断完善验证策略库,可以提升了跨站点主机系统101、102、103的维护水平。
图9示意性示出了根据本公开一实施例的建立验证策略库的一个应用实例的流程。
如图9所示,该应用实例中建立验证策略库可以包括操作S901~操作S908。
首先在操作S901,获取作业的运行脚本样本,然后在操作S902通过人工对作业的功能进行分类。
并且在操作S903和操作S904,根据验证语料样本中需要抽取的关键信息,并提取得到正则表达式,进而在操作S905中进行信息抽取策略定义,以用于后续收集到作业验证所需数据的自动信息抽取。
接着在操作S906中可以根据验证语料样本及信息抽取策略,定义验证通过条件,该条件可以是等于、大于等于、小于等于、包含、介于等。
然后在操作S907中根据验证语料样本,定义从主机系统101、102、103获取的数据源类型或方式,例如可以为作业日志、命令的返回信息、文件信息/内容、地址空间日志等。最后在操作S908,将自动验证策略与作业的运行脚本的文本特征对应存储,以备在运行过程中自动匹配验证策略。
图10示意性示出了根据本公开一实施例的训练分类器的应用实例的流程。
如图10所示,该应用实例中训练分类器可以包括操作S1001~操作S1004。
首先在操作S1001中获取类别,例如可以通过人工对作业进行类别定义,以词典映射的方式确定分类器可以进行分类的类别。
然后在操作S1002获取训练样本(各种作业的运行脚本以及运行信息等),进行训练样本加载。
接着在操作S1003中通过特征提取将训练样本的文本信息转换为特征向量,例如可以采用TF-IDF(term frequency-inverse document frequency)词频-逆文档加权算法进行特征向量提取。由于作业的运行脚本中可能有些并不是频繁出现的关键字会对该作业的功能起到决定性的作用,因此,为了提高分类准确性,可以增加权重计算。例如,可以从训练样本中根据用户提供的关键字库提取出关键字,然后对文本分词结果中的关键字和各个词的权重进行设定,根据TF-IDF算法将所属文本的词语进行加权计算,实现文本词语的向量化。
之后在操作S1004中利用多项式朴素贝叶斯(Multinomial Naive Bayes)分类器进行训练分类,输出分类器。这样在操作S634中应用分类器时可以将需要分类的作业的运行脚本文本进行特征提取之后,有分类器输出分类。
图11示意性示出了根据本公开一实施例的匹配验证策略的应用实例的流程。
如图11所示,该匹配验证策略的应用实例可以包括操作S1101~操作S1106。
具体地,在操作S1101输入作业的运行脚本,然后经过操作S1102的特征提取和操作S1103的文本分类之后,在操作S1104输出类别。
接着在操作S1105从验证策略库中找到与作业所属类别对应得验证策略,并在操作S1106输出验证策略,从而实现根据作业的运行脚本自动生成验证策略的目的。
图12示意性示出了根据本公开一实施例的验证第一运行信息的应用实例的流程。
如图12所示,该验证第一运行信息的应用实例可以包括操作S1201~操作S1206。
在操作S1201,服务器104接收到指定维护作业的用户请求后,自动从主机系统101、102、103上读取作业实体数据。该作业的实体数据包括作业的运行脚本、以及作业运行后所得的运行信息(例如,返回码、作业日志、文件信息/内容、命令返回))。
接着在操作S1202,获取信息提取策略。然后在操作S1203中按照信息提取策略对作业的运行脚本进行特征提取,将文本转换为特征向量,然后送到分类器进行分类,输出作业的分类。
接着在操作S1204,从验证策略专家库获取该类别对应的验证策略,包括输出信息源、信息抽取策略、验证条件策略等。并在操作S1205,利用对应的验证策略对作业运行后所得的运行信息进行验证,并在操作S1206中输出验证结果。
图13示意性示出了根据本公开另一实施的数据处理方法的流程图。
如图13所示,根据本公开的另一实施例该数据处理方法除了包括操作S210和操作S220以外,还可以包括操作S230。
其中,操作S210和操作S220如前述一致。
在操作S230,在所述开放平台106(例如,终端设备105)中展示表征所述多个主机系统101、102、103运行状态的信息。从而可以通过网页、手机端实时、可视化地展示多个主机系统101、102、103中的作业的执行情况。例如,可视化地展示作业运行状态、返回码、结果验证数据、验证结果等数据;或者例如通过网页动态可视化展示当日作业的运行流程的执行情况;或者例如方便用户查看运维流程详情,动态可视化作业运行概要和详细情况等。
相关技术中跨站点主机系统的运行信息可视化程度低,往往需要登陆对应的主机来查看任务运行状态,不能满足可视化、移动化的需求。相较而言,本公开实施例的方法可以极大提升跨站点主机系统101、102、103维护的准备、实施及结果检查的自动化、可视化程度。
图14示意性示出了根据本公开实施例的数据处理装置1400的框图。
如图14所示,该数据处理装置1400设置于开方平台,可以包括交互设置模块1410和平台主机交互模块1420。根据本公开的另一些实施例,该数据处理装置1400还可以包括结果展示模块1430。根据本公开的实施例,该数据处理装置1400可以用于执行参考图2~图13所描述的数据处理方法。
交互设置模块1410用于设置多个主机系统101、102、103与所述开放平台106的通信接口,其中所述多个主机系统101、102、103属于多个站点;其中,每个站点内的主机系统构成封闭式系统,并且不同站点的主机系统之间相互隔离。
平台主机交互模块1420用于基于所述开放平台106经由所述通信接口与所述多个主机系统101、102、103的交互,控制所述多个主机系统101、102、103的运行。
结果展示模块1430用于在所述开放平台106中展示表征所述多个主机系统101、102、103的运行状态的信息。
图15示意性示出了根据本公开实施例的数据处理装置1400中平台主机交互模块1420的框图。
如图15所示,平台主机交互模块1420可以包括主机用户集中认证子模块1421、主机作业交互子模块1422、主机指令交互子模块1423、主机文件交互子模块1424、及主机地址空间交互子模块1425中的任意一个或多个。
主机用户集中认证子模块1421用于接收第一用户的身份认证信息,其中,所述第一用户与所述多个主机系统101、102、103被配置为具有对应关系;验证所述身份认证信息;在所述身份认证信息验证通过后,根据所述对应关系获取所述多个主机系统101、102、103各自的登陆信息;以及利用所述多个主机系统101、102、103各自的登陆信息分别登陆所述多个主机系统101、102、103。
主机作业交互子模块1422用于基于针对所述多个主机系统101、102、103中各个主机系统的作业的交互操作,控制所述各个主机系统中的作业的运行。
主机指令交互子模块1423用于基于针对与所述多个主机系统101、102、103中各个主机系统的操作指令的交互,监控所述各个主机系统的指令执行。
主机文件交互子模块1424用于基于针对所述多个主机系统101、102、103中各个主机系统的文件的交互操作,操作所述各个主机系统中的文件。
主机地址空间交互子模块1425用于获取所述多个主机系统101、102、103中各个主机系统的地址空间的信息,以监控所述各个主机系统的运行状态。
图16示意性示出了根据本公开实施例的平台主机交互模块1420中主机作业交互子模块1422的框图。
如图16,所述主机作业交互子模1422包括作业的运行流程编排单元1510以及作业执行单元1520。
作业的运行流程编排单元1510用于编排作业的运行流程,所述作业的运行流程中设置了多个作业的属性、以及所述多个作业在所述各个主机系统101、102、103中的运行先后顺序。
作业执行单元1520用于按照所述作业的运行流程将所述多个作业提交至所述各个主机系统101、102、103以使所述各个主机系统101、102、103运行所述多个作业,并获取所述多个作业在对应的主机系统101、102、103上的运行信息。
根据本公开的实施例,所述作业执行单元1520包括变更执行引擎子单元1521和验证子单元1522。
所述变更执行引擎子单元1521具体用于循环执行如下操作,直到在所述作业的运行流程运行完成或者所述作业的运行流程运行出现异常:以所述作业的运行流程中当前可提交的作业作为待运行作业,将待运行作业提交至第一主机系统,其中,所述第一主机系统为所述多个主机系统中运行所述待运行作业的主机系统;获取所述第一主机系统运行所述待运行作业而得到的第一运行信息;通过所述验证子单元来验证所述第一运行信息;以及若所述第一运行信息验证通过,且所述作业的运行流程中还包括未运行的作业,则重新确定当前可提交的作业以进行再次循环;或者所述第一运行信息验证通过,且所述作业的运行流程运行完成,则确定所述作业的运行流程运行完成以终止循环;或者若所述第一运行信息验证不通过,则确定所述作业的运行流程运行出现异常以终止循环。
所述验证子单元1522用于验证所述第一运行信息。
根据本公开的实施例,所述验证子单元1522具体用于:获取所述待运行作业的运行脚本;从所述运行脚本中提取文本特征;利用分类器对所述文本特征进行分类,以将所述待运行作业分类至第一类别,其中,所述第一类别为可供所述分类器分类的多个类别的其中之一,其中,所述分类器为预先训练得到的;从验证策略库中选择与所述第一类别相匹配的第一验证策略;以及利用所述第一验证策略验证所述第一运行信息。
根据本公开的实施例,所述验证子单元1522还用于建立所述验证策略库,具体包括设置所述多个类别,以及对于所述多个类别中的每个类别,建立对该类别中的作业的运行信息的验证策略,所述验证策略被设置为包括对该类别中的作业的运行脚本的文本特征的提取规则、对运行该类别中的作业而得到的运行信息的提取规则、和/或对运行所述该类别中的作业而得到的运行信息的验证通过条件。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,交互设置模块1410、平台主机交互模块1420、结果展示模块1430、主机用户集中认证子模块1421、主机作业交互子模块1422、主机指令交互子模块1423、主机文件交互子模块1424、主机地址空间交互子模块1425、作业的运行流程编排单元1510以及作业执行单元1520中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,交互设置模块1410、平台主机交互模块1420、结果展示模块1430、主机用户集中认证子模块1421、主机作业交互子模块1422、主机指令交互子模块1423、主机文件交互子模块1424、主机地址空间交互子模块1425、作业的运行流程编排单元1510以及作业执行单元1520中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,交互设置模块1410、平台主机交互模块1420、结果展示模块1430、主机用户集中认证子模块1421、主机作业交互子模块1422、主机指令交互子模块1423、主机文件交互子模块1424、主机地址空间交互子模块1425、作业的运行流程编排单元1510以及作业执行单元1520中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图17示意性示出了适于实现根据本公开实施例的数据处理方法的计算机系统的框图。图17示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图17所示,根据本公开实施例的计算机系统1700包括处理器1701,其可以根据存储在只读存储器(ROM)1702中的程序或者从存储部分1708加载到随机访问存储器(RAM)1703中的程序而执行各种适当的动作和处理。处理器1701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器1701还可以包括用于缓存用途的板载存储器。处理器1701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1703中,存储有系统1700操作所需的各种程序和数据。处理器1701、ROM1702以及RAM 1703通过总线1704彼此相连。处理器1701通过执行ROM 1702和/或RAM 1703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 1702和RAM 1703以外的一个或多个存储器中。处理器1701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,系统1700还可以包括输入/输出(I/O)接口1705,输入/输出(I/O)接口1705也连接至总线1704。系统1700还可以包括连接至I/O接口1705的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1707;包括硬盘等的存储部分1708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1709。通信部分1709经由诸如因特网的网络执行通信处理。驱动器1710也根据需要连接至I/O接口1705。可拆卸介质1711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1710上,以便于从其上读出的计算机程序根据需要被安装入存储部分1708。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1709从网络上被下载和安装,和/或从可拆卸介质1711被安装。在该计算机程序被处理器1701执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 1702和/或RAM 1703和/或ROM 1702和RAM 1703以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。
Claims (18)
1.一种数据处理方法,应用于开放平台,包括:
设置多个主机系统与所述开放平台的通信接口,其中所述多个主机系统属于多个站点;其中,每个站点内的主机系统构成封闭式系统,并且不同站点的主机系统之间相互隔离;以及
基于所述开放平台经由所述通信接口与所述多个主机系统的交互,控制所述多个主机系统的运行。
2.根据权利要求1所述的方法,其中,所述基于所述开放平台经由所述通信接口与所述多个主机系统的交互,控制所述多个主机系统的运行包括:
接收第一用户的身份认证信息,其中,所述第一用户与所述多个主机系统被配置为具有对应关系;
验证所述身份认证信息;
在所述身份认证信息验证通过后,根据所述对应关系获取所述多个主机系统各自的登陆信息;以及
利用所述多个主机系统各自的登陆信息分别登陆所述多个主机系统。
3.根据权利要求1所述的方法,其中,所述基于所述开放平台经由所述通信接口与所述多个主机系统的交互,控制所述多个主机系统的运行,包括:
基于针对所述多个主机系统中各个主机系统的作业的交互操作,控制所述各个主机系统中的作业的运行;和/或
基于针对与所述多个主机系统中各个主机系统的操作指令的交互,监控所述各个主机系统的指令执行;和/或
基于针对所述多个主机系统中各个主机系统的文件的交互操作,操作所述各个主机系统中的文件;和/或
获取所述多个主机系统中各个主机系统的地址空间的信息,以监控所述各个主机系统的运行状态。
4.根据权利要求3所述的方法,其中,所述基于针对所述多个主机系统中各个主机系统的作业的交互操作,控制所述各个主机系统中的作业的运行包括:
编排作业的运行流程,所述作业的运行流程中设置了多个作业的属性及所述多个作业在所述各个主机系统中的运行先后顺序;以及
按照所述作业的运行流程将所述多个作业提交至所述各个主机系统以使所述各个主机系统运行所述多个作业,并获取所述多个作业在对应的主机系统上的运行信息。
5.根据权利要求4所述的方法,其中,所述按照所述作业的运行流程将所述多个作业提交至所述各个主机系统以使所述各个主机系统运行所述多个作业,并获取所述多个作业在对应的主机系统上的运行信息,包括循环执行如下操作,直到所述作业的运行流程运行完成或者所述作业的运行流程运行出现异常:
以所述作业的运行流程中当前可提交的作业作为待运行作业,将所述待运行作业提交至第一主机系统,其中,所述第一主机系统为所述多个主机系统中运行所述待运行作业的主机系统;
获取所述第一主机系统运行所述待运行作业而得到的第一运行信息;
验证所述第一运行信息;
若所述第一运行信息验证通过,且所述作业的运行流程还包括未运行的作业,则重新确定当前可提交的作业以进行再次循环;或者若所述第一运行信息验证通过,且所述作业的运行流程运行完成,则确定所述作业的运行流程运行完成以终止循环;或者若所述第一运行信息验证不通过,则确定所述作业的运行流程运行出现异常以终止循环。
6.根据权利要求5所述的方法,其中,所述验证所述第一运行信息包括:
获取所述待运行作业的运行脚本;
从所述运行脚本中提取文本特征;
利用分类器对所述文本特征进行分类,以将所述待运行作业分类至第一类别,其中,所述第一类别为可供所述分类器分类的多个类别的其中之一;其中,所述分类器为预先训练得到的;
从验证策略库中选择与所述第一类别相匹配的第一验证策略;
利用所述第一验证策略验证所述第一运行信息。
7.根据权利要求6所述的方法,其中,所述方法还包括建立所述验证策略库,具体包括:
设置所述多个类别;以及
对于所述多个类别中的每个类别,建立对该类别中的作业的运行信息的验证策略,所述验证策略被设置为包括对该类别中的作业的运行脚本的文本特征的提取规则、和/或对运行该类别中的作业而得到的运行信息的提取规则、和/或对运行该类别中的作业而得到的运行信息的验证通过条件。
8.根据权利要求1所述的方法,其中,所述方法还包括:
在所述开放平台中展示表征所述多个主机系统的运行状态的信息。
9.一种数据处理装置,设置于开放平台,包括:
交互设置模块,用于设置多个主机系统与所述开放平台的通信接口,其中所述多个主机系统属于多个站点;其中,每个站点内的主机系统构成封闭式系统,并且不同站点的主机系统之间相互隔离;
平台主机交互模块,用于基于所述开放平台经由所述通信接口与所述多个主机系统的交互,控制所述多个主机系统的运行。
10.根据权利要求9所述的装置,其中,所平台主机交互模块包括主机用户集中认证子模块,所述主机用户集中认证子模块用于:
接收第一用户的身份认证信息,其中,所述第一用户与所述多个主机系统被配置为具有对应关系;
验证所述身份认证信息;
在所述身份认证信息验证通过后,根据所述对应关系获取所述多个主机系统各自的登陆信息;以及
利用所述多个主机系统各自的登陆信息分别登陆所述多个主机系统。
11.根据权利要求10所述的装置,其中,所述平台主机交互模块包括:
主机作业交互子模块,用于基于针对所述多个主机系统中各个主机系统的作业的交互操作,控制所述各个主机系统中的作业的运行;和/或
主机指令交互子模块,用于基于针对与所述多个主机系统中各个主机系统的操作指令的交互,监控所述各个主机系统的指令执行;和/或
主机文件交互子模块,用于基于针对所述多个主机系统中各个主机系统的文件的交互操作,操作所述各个主机系统中的文件;和/或
主机地址空间交互子模块,用于获取所述多个主机系统中各个主机系统的地址空间的信息,以监控所述各个主机系统的运行状态。
12.根据权利要求11所述的装置,其中,所述主机作业交互子模块包括:
作业的运行流程编排单元,用于编排作业的运行流程,所述作业的运行流程中设置了多个作业的属性及所述多个作业在所述各个主机系统中的运行先后顺序;
作业执行单元,用于按照所述作业的运行流程将所述多个作业提交至所述各个主机系统以使所述各个主机系统运行所述多个作业,并获取所述多个作业在对应的主机系统上的运行信息。
13.根据权利要求11所述的装置,其中,所述作业执行单元包括变更执行引擎子单元和验证子单元,其中:
所述变更执行引擎子单元具体用于循环执行如下操作,直到在所述作业的运行流程运行完成或者所述作业的运行流程运行出现异常:
以所述作业的运行流程中当前可提交的作业作为待运行作业,将待运行作业提交至第一主机系统,其中,所述第一主机系统为所述多个主机系统中运行所述待运行作业的主机系统;
获取所述第一主机系统运行所述待运行作业而得到的第一运行信息;
通过所述验证子单元来验证所述第一运行信息;以及
若所述第一运行信息验证通过,且所述作业的运行流程还包括未运行的作业,则重新确定当前可提交的作业以进行再次循环;或者若所述第一运行信息验证通过,且所述作业的运行流程运行完成,则确定所述作业的运行流程运行完成以终止循环;或者若所述第一运行信息验证不通过,则确定所述作业的运行流程运行出现异常以终止循环;
以及
所述验证子单元用于验证所述第一运行信息。
14.根据权利要求13所述的装置,其中,所述验证子单元具体用于:
获取所述待运行作业的运行脚本;
从所述运行脚本中提取文本特征;
利用分类器对所述文本特征进行分类,以将所述待运行作业分类至第一类别,其中,所述第一类别为可供所述分类器分类的多个类别的其中之一;其中,所述分类器为预先训练得到的;
从验证策略库中选择与所述第一类别相匹配的第一验证策略;
利用所述第一验证策略验证所述第一运行信息。
15.根据权利要求14所述的装置,其中,所述验证子单元还用于建立所述验证策略库,具体包括:
设置所述多个类别;以及
对于所述多个类别中的每个类别,建立对该类别中的作业的运行信息的验证策略,所述验证策略被设置为包括对该类别中的作业的运行脚本的文本特征的提取规则、和/或对运行该类别中的作业而得到的运行信息的提取规则、和/或对运行该类别中的作业而得到的运行信息的验证通过条件。
16.根据权利要求9所述的装置,还包括:
结果展示模块,用于在所述开放平台中展示表征所述多个主机系统的运行状态的信息。
17.一种数据处理系统,包括:
一个或多个存储器,存储有可执行指令;以及
一个或多个处理器,执行所述可执行指令,以实现根据权利要求1~8任一项所述的方法。
18.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911224057.9A CN110889105B (zh) | 2019-12-03 | 2019-12-03 | 数据处理方法、装置、系统及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911224057.9A CN110889105B (zh) | 2019-12-03 | 2019-12-03 | 数据处理方法、装置、系统及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110889105A true CN110889105A (zh) | 2020-03-17 |
CN110889105B CN110889105B (zh) | 2022-02-25 |
Family
ID=69750295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911224057.9A Active CN110889105B (zh) | 2019-12-03 | 2019-12-03 | 数据处理方法、装置、系统及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110889105B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112053132A (zh) * | 2020-09-07 | 2020-12-08 | 中国工商银行股份有限公司 | 主机变更方法及装置 |
CN113360558A (zh) * | 2021-06-04 | 2021-09-07 | 北京京东振世信息技术有限公司 | 数据处理方法、数据处理装置、电子设备及存储介质 |
CN112053132B (zh) * | 2020-09-07 | 2024-05-28 | 中国工商银行股份有限公司 | 主机变更方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101605031A (zh) * | 2008-06-13 | 2009-12-16 | 新奥特(北京)视频技术有限公司 | 一种面向电视台应用的跨域单点登陆系统 |
CN101632067A (zh) * | 2007-03-12 | 2010-01-20 | 思杰系统有限公司 | 用于终端用户体验监控的系统和方法 |
CN102226890A (zh) * | 2011-06-10 | 2011-10-26 | 中国工商银行股份有限公司 | 一种主机批量作业数据监控方法及装置 |
CN102682009A (zh) * | 2011-03-11 | 2012-09-19 | 腾讯科技(北京)有限公司 | 一种用户登录网页的方法及系统 |
CN102763368A (zh) * | 2009-12-23 | 2012-10-31 | 思杰系统有限公司 | 用于跨站点伪造保护的方法和系统 |
CN103179134A (zh) * | 2013-04-19 | 2013-06-26 | 中国建设银行股份有限公司 | 基于Cookie的单点登录方法、系统及其应用服务器 |
CN103634329A (zh) * | 2013-12-20 | 2014-03-12 | 百度在线网络技术(北京)有限公司 | 跨站点的登录方法、系统及装置 |
US20180212965A1 (en) * | 2017-01-24 | 2018-07-26 | Box, Inc. | Method and system for secure cross-domain login |
-
2019
- 2019-12-03 CN CN201911224057.9A patent/CN110889105B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101632067A (zh) * | 2007-03-12 | 2010-01-20 | 思杰系统有限公司 | 用于终端用户体验监控的系统和方法 |
CN101605031A (zh) * | 2008-06-13 | 2009-12-16 | 新奥特(北京)视频技术有限公司 | 一种面向电视台应用的跨域单点登陆系统 |
CN102763368A (zh) * | 2009-12-23 | 2012-10-31 | 思杰系统有限公司 | 用于跨站点伪造保护的方法和系统 |
CN102682009A (zh) * | 2011-03-11 | 2012-09-19 | 腾讯科技(北京)有限公司 | 一种用户登录网页的方法及系统 |
CN102226890A (zh) * | 2011-06-10 | 2011-10-26 | 中国工商银行股份有限公司 | 一种主机批量作业数据监控方法及装置 |
CN103179134A (zh) * | 2013-04-19 | 2013-06-26 | 中国建设银行股份有限公司 | 基于Cookie的单点登录方法、系统及其应用服务器 |
CN103634329A (zh) * | 2013-12-20 | 2014-03-12 | 百度在线网络技术(北京)有限公司 | 跨站点的登录方法、系统及装置 |
US20180212965A1 (en) * | 2017-01-24 | 2018-07-26 | Box, Inc. | Method and system for secure cross-domain login |
Non-Patent Citations (4)
Title |
---|
DRAGONWARRIOR: "《跨站(跨域)单点登录的实现(SSO)》", 《HTTPS://WWW.JIANSHU.COM/P/3B5CE6E25755》 * |
K. VIJAYALAKSHMI等: "《Extenuating web vulnerability with a detection and protection mechanism for a secure web access》", 《2017 FOURTH INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING》 * |
ZAXZD: "《跨站登录原理》", 《HTTPS://BLOG.CSDN.NET/ZAXZDQD/ARTICLE/DETAILS/54289027》 * |
韩梅: "《基于统一身份认证的权限管理在服务外包平台中的研究》", 《万方数据》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112053132A (zh) * | 2020-09-07 | 2020-12-08 | 中国工商银行股份有限公司 | 主机变更方法及装置 |
CN112053132B (zh) * | 2020-09-07 | 2024-05-28 | 中国工商银行股份有限公司 | 主机变更方法及装置 |
CN113360558A (zh) * | 2021-06-04 | 2021-09-07 | 北京京东振世信息技术有限公司 | 数据处理方法、数据处理装置、电子设备及存储介质 |
CN113360558B (zh) * | 2021-06-04 | 2023-09-29 | 北京京东振世信息技术有限公司 | 数据处理方法、数据处理装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110889105B (zh) | 2022-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11455234B2 (en) | Robotics application development architecture | |
CN113272825B (zh) | 通过模拟进行的强化学习模型训练 | |
US20200167686A1 (en) | Reinforcement learning model training through simulation | |
EP3030966B1 (en) | Virtual computing instance migration | |
US10402746B2 (en) | Computing instance launch time | |
US11216563B1 (en) | Security assessment of virtual computing environment using logical volume image | |
US11429762B2 (en) | Simulation orchestration for training reinforcement learning models | |
US10673712B1 (en) | Parallel asynchronous stack operations | |
US20200156243A1 (en) | Robotics application simulation management | |
CN109478266A (zh) | 对于数据库供应的资源分配 | |
US9978084B1 (en) | Configurable relevance service test platform | |
AU2021264961B2 (en) | Multi objective optimization of applications | |
CN108255689A (zh) | 一种基于历史任务分析的Apache Spark应用自动化调优方法 | |
US11221846B2 (en) | Automated transformation of applications to a target computing environment | |
KR102442694B1 (ko) | 인력 매칭 시스템 | |
CN110889105B (zh) | 数据处理方法、装置、系统及介质 | |
US10304349B1 (en) | Test environment | |
JP7252332B2 (ja) | ロボティクスアプリケーション開発のための方法及びシステム | |
US20220269744A1 (en) | Methods and systems for enabling dynamic filters for software search optimization | |
CN115705256A (zh) | 就服务事务达成共识的请求促进 | |
CN117716373A (zh) | 基于期望的度量值提供机器学习模型 | |
US20210271966A1 (en) | Transfer learning across automated machine learning systems | |
CN113093965A (zh) | 账户注册方法、装置、计算机系统及存储介质 | |
CN116097244A (zh) | 分析工作空间的物化 | |
US10268958B1 (en) | Recommended launch configuration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |