CN109783457B - Cgi接口管理方法、装置、计算机设备和存储介质 - Google Patents
Cgi接口管理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109783457B CN109783457B CN201811544311.9A CN201811544311A CN109783457B CN 109783457 B CN109783457 B CN 109783457B CN 201811544311 A CN201811544311 A CN 201811544311A CN 109783457 B CN109783457 B CN 109783457B
- Authority
- CN
- China
- Prior art keywords
- interface
- information
- cgi
- service
- cgi interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 41
- 230000004044 response Effects 0.000 claims abstract description 85
- 238000012360 testing method Methods 0.000 claims abstract description 42
- 238000012550 audit Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 26
- 238000004140 cleaning Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000006399 behavior Effects 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 241001481375 Heliconius melpomene Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种CGI接口管理方法、装置、计算机设备和存储介质,通过获取通过业务集群审计功能生成的日志文件;对所述日志文件进行信息提取,获得各业务相关的CGI接口信息;利用业务相关的各CGI接口信息在接口测试工具对应的业务CGI接口数据库中进行查找,获得查找结果;当查找结果为未发现相同CGI接口时,将CGI接口信息确定为各业务相关的新CGI接口信息。通过对业务集群所记录的数据进行处理,获取到CGI接口信息,将CGI接口信息与CGI接口数据库中CGI接口信息进行比较,得出是否有新的CGI接口信息,无需人工去获取接口的请求和响应数据,找出新的CGI接口信息,从而提高了工作效率。
Description
技术领域
本申请涉及互联网技术领域,特别是涉及一种CGI接口管理方法、装置、计算机设备和存储介质。
背景技术
随着互联网技术的不断发展,在系统上线之前,需要检测外部系统与系统之间以及内部各个子系统之间的交互点,从而需要接口测试工具和方法进行接口测试,而目前业内常见的接口测试测试工具和方法,都依赖于手工抓包的方式,去获取具体的请求接口,例如常见的postman、jmeter接口测试工具,都是依赖于手工方式,去获取接口的请求和响应数据,之后再进行接口测试。常见的接口测试工具,无法动态的识别到接口参数的变更或响应体的变更,后端接口变化后,依赖于人工的去检查和修改接口用例,导致工作效率低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高工作效率的CGI接口管理方法、装置、计算机设备和存储介质。
一种CGI接口管理方法,所述方法包括:
获取通过业务集群审计功能生成的日志文件;
对所述日志文件进行信息提取,获得各业务相关的CGI接口信息;
利用所述业务相关的各CGI接口信息在对应的业务CGI接口数据库中进行查找,获得查找结果;
当所述查找结果为未发现相同CGI接口时,将所述CGI接口信息确定为各业务相关的新CGI接口信息。
在其中一个实施例中,所述方法还包括:将所述新CGI接口信息发送至所述接口测试工具,使所述接口测试工具对对应的业务模块测试接口的请求和响应数据进行更新,并将所述新CGI接口信息保存至对应的业务CGI接口数据库中。
在其中一个实施例中,对所述日志文件进行信息提取,获得各业务相关的CGI接口信息,包括:
通过正则表达式对所述日志文件进行解析,获得数据信息;
对所述数据信息进行去重处理,获得各去重后的数据信息;
将所述去重后的数据信息进行聚类,获得接口列表、接口请求信息和响应数据;
对所述接口列表、所述接口请求信息和所述响应数据进行清洗和过滤,获得各业务相关的CGI接口信息。
在其中一个实施例中,将所述去重后的数据信息进行聚类,获得接口列表、接口请求信息和响应数据,包括:
将各所述去重后的数据信息进行预处理,获得数据信息的特征向量;
将所述数据信息的特征向量基于各业务的功能进行聚类,获得接口列表、接口请求信息和响应数据。
在其中一个实施例中,对所述接口列表、所述接口请求信息和所述响应数据进行清洗和过滤,获得各业务相关的CGI接口信息,包括:
获取预先设置关键字或特征值;
基于所述关键字或特征值对所述接口列表、所述接口请求信息和所述响应数据进行清洗和过滤,获得各业务相关的CGI接口信息。
在其中一个实施例中,所述利用所述业务相关的各CGI接口信息在对应的业务CGI接口数据库中进行查找,获得查找结果的步骤包括:
通过所述CGI接口信息在对应的业务CGI接口数据库进行查找,当在业务CGI接口数据库中未查找到相同的CGI接口信息,所述查找结果为:未发现相同CGI接口。
在其中一个实施例中,通过所述CGI接口信息在对应的业务CGI接口数据库进行查找,当在业务CGI接口数据库中查找到相同的CGI接口信息,所述查找结果为:已有CGI接口;
当查找结果为已有CGI接口时,将所述CGI接口信息删除。
一种CGI接口管理装置,所述装置包括:
日志文件获取模块,用于获取通过业务集群审计功能生成的日志文件;
信息提取模块,用于对所述日志文件进行信息提取,获得各业务相关的CGI接口信息;
接口信息查找模块,用于利用所述业务相关的各CGI接口信息在对应的业务CGI接口数据库中进行查找,获得查找结果;
新接口信息确定模块,用于当所述查找结果为未发现相同CGI接口时,将所述CGI接口信息确定为各业务相关的新CGI接口信息。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现所述方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的方法的步骤。
上述CGI接口管理方法、装置、计算机设备和存储介质,通过获取通过业务集群审计功能生成的日志文件;对日志文件进行信息提取,获得各业务相关的CGI接口信息;利用业务相关的各CGI接口信息在接口测试工具对应的业务CGI接口数据库中进行查找,获得查找结果;当查找结果为未发现相同CGI接口时,将CGI接口信息确定为各业务相关的新CGI接口信息。通过对业务集群所记录的数据进行处理,获取到CGI接口信息,将CGI接口信息与CGI接口数据库中CGI接口信息进行比较,得出是否有新的CGI接口信息,无需人工去获取接口的请求和响应数据,找出新的CGI接口信息,从而提高了工作效率。
附图说明
图1为一个实施例中CGI接口管理方法的应用场景图;
图2为一个实施例中CGI接口管理方法的流程示意图;
图3为一个实施例中CGI接口管理方法的其中一个步骤的流程示意图;
图4为一个实施例中CGI接口管理装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的CGI接口管理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104、Nginx服务器106通过网络进行通信。用户通过终端102CGI接口管理方法进行设置,使得服务器104自动获取Nginx服务器106的业务集群审计时生成的日志文件;服务器104对所述日志文件进行信息提取,获得各业务相关的CGI接口信息;利用业务相关的各CGI接口信息在接口测试工具对应的业务CGI接口数据库中进行查找,获得查找结果;当查找结果为未发现相同CGI接口时,将CGI接口信息确定为各业务相关的新CGI接口信息。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,Nginx服务器106、服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种CGI接口管理方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤S220至步骤S280:
步骤220,获取通过业务集群审计功能生成的日志文件。
其中,集群,业务集群可以是Nginx集群,也可以是其他业务集群;业务集群审计功能指的是在业务集群的流量结点上,对其请求的内容进行审计,如:内容审计、行为审计、流量审计和其它审计项。日志文件中至少包括:接口请求信息、响应数据、告警级别、操作类型、信息大小、结果信息、客户端执行命令等详细信息内容。以Nginx集群为例:在获取通过业务集群审计功能生成的日志文件的步骤之前,用户通过终端修改Nginx服务器的Nginx集群上的Nginx审计规则,使得Nginx服务器将接口请求信息和响应数据都审计下来生成日志文件。
步骤240,对日志文件进行信息提取,获得各业务相关的CGI接口信息。
其中,日志文件中有接口请求信息、响应数据、告警级别、操作类型、信息大小、结果信息、客户端执行命令等详细信息内容,而本方法目的在于获取CGI接口信息,因此,需要对日志文件进行解析,将日志文件解析后提取各业务相关的CGI接口信息,如:接口请求信息和响应数据。信息提取的方式可以用正则表达式,事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,用“规则字符串”来过滤日志文件中的详细信息内容,获得接口请求信息和响应数据;还可以是通过配置log4j.xml文件,然后直接在要输出的日志地方分别用info、debug、error、warn输出日志;还可以用String.substring(...)方法处理,获取接口请求信息和响应数据;还可以用--分割,获取接口请求信息和响应数据。各业务相关的CGI接口信息指的是对日志文件中所有的CGI接口信息经过去重处理,并标记所属业务场景的CGI接口信息。
步骤260,利用业务相关的各CGI接口信息在对应的业务CGI接口数据库中进行查找,获得查找结果。
其中,CGI接口数据库指的是:接口测试工具中不同的业务对应一个存储CGI接口信息的数据库,CGI接口数据库中存储的都是已有的CGI接口信息。通过日志文件获取的业务相关的CGI接口信息中,不一定都是新的CGI接口信息,需要对业务相关的CGI接口信息进行验证,将日志文件获取的业务相关的CGI接口信息与接口测试工具中对应的业务CGI接口数据库中进行对比,通过查找结果确定日志文件获取的业务相关的CGI接口信息中存在的新CGI接口信息。CGI接口指的是一个WEB服务器提供信息服务的标准接口,通过CGI接口,WEB服务器能够执行程序,并将程序输出的信息返回给浏览器,当客户端发送一个CGI请求给WEB服务器后,WEB服务器将根据CGI程序的类型决定数据向CGI程序的传送方式,一般来讲是通过标准输入/输出流和环境变量来与CGI程序间传递数据。
步骤S280,当查找结果为未发现相同CGI接口时,将CGI接口信息确定为各业务相关的新CGI接口信息。
其中,在CGI接口数据库中没有的CGI接口信息,为该业务新CGI接口信息。通过业务相关的CGI接口信息在对应的业务CGI接口数据库中查找,将未查找到相同的CGI接口信息的CGI接口信息确定为该业务相关的新CGI接口信息。如:业务相关的CGI接口信息有CGI接口“a”,需要说明的是,“a”是用于指代一个CGI接口信息,利用CGI接口“a”的特征去遍历对应的业务已有的CGI接口信息保存的数据库,当遍历完该业务已有的CGI接口信息保存的数据库后,没有相同的CGI接口信息,则确定CGI接口“a”为新的CGI接口信息,为该业务相关的新CGI接口信息。
上述CGI接口管理方法中,通过获取通过业务集群审计功能生成的日志文件;对所述日志文件进行信息提取,获得各业务相关的CGI接口信息;利用业务相关的各CGI接口信息在接口测试工具对应的业务CGI接口数据库中进行查找,获得查找结果;当查找结果为未发现相同CGI接口时,将CGI接口信息确定为各业务相关的新CGI接口信息。通过对业务集群所记录的数据进行处理,获取到CGI接口信息,将CGI接口信息与CGI接口数据库中CGI接口信息进行比较,得出是否有新的CGI接口信息,无需人工去获取接口的请求和响应数据,找出新的CGI接口信息,从而提高了工作效率。
在一个实施例中,CGI接口管理方法还包括:将新CGI接口信息发送至接口测试工具,使接口测试工具对对应的业务模块测试接口的请求和响应数据进行更新,并将新CGI接口信息保存至对应的业务CGI接口数据库中。
其中,接口测试工具指的是测试系统组件间接口的一种测试工具,主要用于检测外部系统与系统之间以及内部各个子系统之间的交互点,重点是要检查数据的交换,传递和控制管理过程,以及系统间的相互逻辑依赖关系等。如:常见的postman(Postman是谷歌的一款接口测试插件,它使用简单,支持用例管理,支持get、post、文件上传、响应验证、变量管理、环境参数管理等功能,可以批量运行,并支持用例导出、导入)、jmeter(是一款100%纯Java编写的免费开源的工具,它主要用来做性能测试)接口测试工具。在获得新CGI接口信息后,将新CGI接口信息发送至接口测试工具,使接口测试工具对对应的业务模块测试接口的请求和响应数据进行更新,无需用户手工方式,去获取接口的请求和响应数据,之后再进行接口测试;并将新CGI接口信息保存至接口测试工具对应的业务模块,在有新的CGI接口出现时,只需通过获取业务集群审计的日志文件,从日志文件中获取到新的CGI接口信息,并将新的CGI接口信息更新到对应的业务模块,也无需用户手工方式去检查和修改接口用例。
在一个实施例中,请参阅图3,对日志文件进行信息提取,获得各业务相关的CGI接口信息,包括步骤S242至步骤S248:
步骤S242,通过正则表达式对日志文件进行解析,获得数据信息。
其中,正则表达式指的是对字符串(包括普通字符(例如,a到z之间的字母)和特殊字符(称为“元字符”))操作的一种逻辑公式。日志文件中有接口请求信息、响应数据、告警级别、操作类型、信息大小、结果信息、客户端执行命令等详细信息内容,需要从日志文件中获取接口请求信息和响应数据,通过正则表达式,事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,用“规则字符串”来过滤日志文件中的详细信息内容,获得接口请求信息和响应数据。
步骤S244,对所述数据信息进行去重处理,获得各去重后的数据信息。
其中,通过正则表达式获得接口请求信息和响应数据后,获得的接口请求信息和响应数据是日志文件中所有的接口请求信息和响应数据,包含有通过一个接口进行多次访问的,因此会有多个相同的接口请求信息和响应数据。需要将重复的去掉,保留一个即可,去重处理的方式不做具体限定,只需将重复的接口请求信息和响应数据去掉,保留一个即可。
步骤S246,将去重后的数据信息进行聚类,获得接口列表、接口请求信息和响应数据。
其中,根据去重后的数据信息中的接口请求信息和响应数据,不能确定该接口请求信息和响应数据是属于哪个业务场景下的接口请求信息和响应数据,不能对应到对应的接口测试工具的业务模块中去,因此,需要对去重后的数据信息进行聚类,从而将各接口请求信息和各响应数据进行分类,将接口请求信息和响应数据根据各自的业务场景,确定各个业务的接口列表。
步骤S248,对接口列表、接口请求信息和响应数据进行清洗和过滤,获得各业务相关的CGI接口信息。
其中,通过聚类获得的接口列表、接口请求信息和响应数据中,会存在不是该业务的CGI接口信息,或一些类似CGI接口信息,需要通过对获得的接口列表、接口请求信息和响应数据进行清洗和过滤,从而确保获得的各业务相关的CGI接口信息的准确性。清洗指的是对数据进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并提供数据一致性。
在一个实施例中,将去重后的数据信息进行聚类,获得接口列表、接口请求信息和响应数据,包括:将各去重后的数据信息进行预处理,获得数据信息的特征向量;将数据信息的特征向量基于各业务的功能进行聚类,获得接口列表、接口请求信息和响应数据。
其中,将各去重后的数据信息进行预处理,获得数据信息的特征向量,根据各业务的功能进行聚类,根据衡量数据点间的相似度定义一个距离函数,将接口请求信息和响应数据根据各自的业务场景进行分类,并将各个类中的数据进行数据排列,从而得到接口列表,接口列表中包含了该类中的所有接口请求信息和响应数据。
在一个实施例中,对接口列表、接口请求信息和响应数据进行清洗和过滤,获得各业务相关的CGI接口信息,包括:获取预先设置关键字或特征值;基于关键字或特征值对接口列表、接口请求信息和响应数据进行清洗和过滤,获得各业务相关的CGI接口信息。
其中,预先设置关键字或特征值是用户在执行CGI接口管理方法之前通过终端发送的配置指令,据配置指令在终端生成配置界面,通过配置界面接收终端输入的配置信息,根据所述配置信息生成关键字或特征值。预先设置关键字或特征值是根据各业务场景下的各个CGI接口的特征设定的关键字或特征值。根据关键字或特征值对接口列表、接口请求信息和响应数据进行清洗和过滤,将不是该业务的CGI接口信息,或一些类似CGI接口信息,或错误的CGI接口信息清洗和过滤出去,获得各业务相关的CGI接口信息。通过清洗和过滤使得各业务相关的CGI接口信息更准确。
在一个实施例中,利用业务相关的各CGI接口信息在对应的业务CGI接口数据库中进行查找,获得查找结果的步骤包括:通过CGI接口信息在对应的业务CGI接口数据库进行查找,当在业务CGI接口数据库中未查找到相同的CGI接口信息,查找结果为:未发现相同CGI接口。
其中,通过CGI接口信息在对应的业务CGI接口数据库进行查找,当在业务CGI接口数据库中查找到相同的CGI接口信息,查找结果为:已有CGI接口;当查找结果为已有CGI接口时,将CGI接口信息删除。如:业务相关的CGI接口信息有CGI接口“a”,需要说明的是,“a”是用于指代一个CGI接口信息,利用CGI接口“a”的特征去遍历对应的业务已有的CGI接口信息保存的数据库,当遍历到与CGI接口“a”的特征相同的CGI接口信息,则确定CGI接口“a”是已有的CGI接口信息,则将CGI接口“a”删除。
上述CGI接口管理方法,通过对业务集群所记录的数据进行进行解析,获得数据信息,将重复的接口请求信息和响应数据去掉,通过聚类的方式将各个接口请求信息和响应数据进行分类,确定各自的所属的业务场景,并对获得的接口列表、接口请求信息和响应数据进行清洗和过滤,从而确保获得的各业务相关的CGI接口信息的准确性,将获取到CGI接口信息与CGI接口数据库中CGI接口信息进行比较,得出是否有新的CGI接口信息,无需人工去获取接口的请求和响应数据,找出新的CGI接口信息,从而提高了工作效率。
应该理解的是,虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种CGI接口管理装置,包括日志文件获取模块310、信息提取模块320、接口信息查找模块330和新接口信息确定模块340,其中:
日志文件获取模块310,用于获取通过业务集群审计功能生成的日志文件;
信息提取模块320,用于对日志文件进行信息提取,获得各业务相关的CGI接口信息;
接口信息查找模块330,用于利用业务相关的各CGI接口信息在对应的业务CGI接口数据库中进行查找,获得查找结果;
新接口信息确定模块340,用于当查找结果为未发现相同CGI接口时,将CGI接口信息确定为各业务相关的新CGI接口信息。
在一个实施例中,CGI接口管理装置还包括:CGI接口数据更新模块,用于将新CGI接口信息发送至接口测试工具,使接口测试工具对对应的业务模块测试接口的请求和响应数据进行更新,并将新CGI接口信息保存至对应的业务CGI接口数据库中。
在一个实施例中,信息提取模块320包括:解析单元,用于通过正则表达式对日志文件进行解析,获得数据信息;去重单元,用于对数据信息进行去重处理,获得各去重后的数据信息;聚类单元,用于将去重后的数据信息进行聚类,获得接口列表、接口请求信息和响应数据;清洗过滤单元,用于对接口列表、接口请求信息和响应数据进行清洗和过滤,获得各业务相关的CGI接口信息。
在一个实施例中,聚类单元用于:将各去重后的数据信息进行预处理,获得数据信息的特征向量;将数据信息的特征向量基于各业务的功能进行聚类,获得接口列表、接口请求信息和响应数据。
在一个实施例中,清洗过滤单元用于:获取预先设置关键字或特征值;基于关键字或特征值对接口列表、接口请求信息和响应数据进行清洗和过滤,获得各业务相关的CGI接口信息。
在一个实施例中,接口信息查找模块330包括:接口信息查找单元,用于通过CGI接口信息在对应的业务CGI接口数据库进行查找,当在业务CGI接口数据库中未查找到相同的CGI接口信息,查找结果为:未发现相同CGI接口。
在一个实施例中,接口信息查找模块330还用于:通过CGI接口信息在对应的业务CGI接口数据库进行查找,当在业务CGI接口数据库中查找到相同的CGI接口信息,查找结果为:已有CGI接口,当查找结果为已有CGI接口时,将CGI接口信息删除。
上述CGI接口管理装置,通过对业务集群所记录的数据进行进行解析,获得数据信息,将重复的接口请求信息和响应数据去掉,通过聚类的方式将各个接口请求信息和响应数据进行分类,确定各自的所属的业务场景,并对获得的接口列表、接口请求信息和响应数据进行清洗和过滤,从而确保获得的各业务相关的CGI接口信息的准确性,将获取到CGI接口信息与业务CGI接口数据库中CGI接口信息进行比较,得出是否有新的CGI接口信息,无需人工去获取接口的请求和响应数据,找出新的CGI接口信息,从而提高了工作效率。
关于CGI接口管理装置的具体限定可以参见上文中对于CGI接口管理方法的限定,在此不再赘述。上述CGI接口管理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储CGI接口信息数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种CGI接口管理方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取通过业务集群审计功能生成的日志文件;对日志文件进行信息提取,获得各业务相关的CGI接口信息;利用业务相关的各CGI接口信息在对应的业务CGI接口数据库中进行查找,获得查找结果;当查找结果为未发现相同CGI接口时,将CGI接口信息确定为各业务相关的新CGI接口信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将新CGI接口信息发送至接口测试工具,使接口测试工具对对应的业务模块测试接口的请求和响应数据进行更新,并将新CGI接口信息保存至对应的业务CGI接口数据库中。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对日志文件进行信息提取,获得各业务相关的CGI接口信息,包括:通过正则表达式对日志文件进行解析,获得数据信息;对数据信息进行去重处理,获得各去重后的数据信息;将去重后的数据信息进行聚类,获得接口列表、接口请求信息和响应数据;对接口列表、接口请求信息和响应数据进行清洗和过滤,获得各业务相关的CGI接口信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将去重后的数据信息进行聚类,获得接口列表、接口请求信息和响应数据,包括:将各去重后的数据信息进行预处理,获得数据信息的特征向量;将数据信息的特征向量基于各业务的功能进行聚类,获得接口列表、接口请求信息和响应数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对接口列表、接口请求信息和响应数据进行清洗和过滤,获得各业务相关的CGI接口信息,包括:获取预先设置关键字或特征值;基于关键字或特征值对接口列表、接口请求信息和响应数据进行清洗和过滤,获得各业务相关的CGI接口信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:利用业务相关的各CGI接口信息在对应的业务CGI接口数据库中进行查找,获得查找结果的步骤包括:通过CGI接口信息在对应的业务CGI接口数据库进行查找,当在业务CGI接口数据库中未查找到相同的CGI接口信息,查找结果为:未发现相同CGI接口。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:通过CGI接口信息在对应的业务CGI接口数据库进行查找,当在业务CGI接口数据库中查找到相同的CGI接口信息,查找结果为:已有CGI接口;当查找结果为已有CGI接口时,将CGI接口信息删除。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取通过业务集群审计功能生成的日志文件;对日志文件进行信息提取,获得各业务相关的CGI接口信息;利用业务相关的各CGI接口信息在对应的业务CGI接口数据库中进行查找,获得查找结果;当查找结果为未发现相同CGI接口时,将CGI接口信息确定为各业务相关的新CGI接口信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将新CGI接口信息发送至接口测试工具,使接口测试工具对对应的业务模块测试接口的请求和响应数据进行更新,并将新CGI接口信息保存至对应的业务CGI接口数据库中。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对日志文件进行信息提取,获得各业务相关的CGI接口信息,包括:通过正则表达式对日志文件进行解析,获得数据信息;对数据信息进行去重处理,获得各去重后的数据信息;将去重后的数据信息进行聚类,获得接口列表、接口请求信息和响应数据;对接口列表、接口请求信息和响应数据进行清洗和过滤,获得各业务相关的CGI接口信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将去重后的数据信息进行聚类,获得接口列表、接口请求信息和响应数据,包括:将各去重后的数据信息进行预处理,获得数据信息的特征向量;将数据信息的特征向量基于各业务的功能进行聚类,获得接口列表、接口请求信息和响应数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对接口列表、接口请求信息和响应数据进行清洗和过滤,获得各业务相关的CGI接口信息,包括:获取预先设置关键字或特征值;基于关键字或特征值对接口列表、接口请求信息和响应数据进行清洗和过滤,获得各业务相关的CGI接口信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:利用业务相关的各CGI接口信息在对应的业务CGI接口数据库中进行查找,获得查找结果的步骤包括:通过CGI接口信息在对应的业务CGI接口数据库进行查找,当在业务CGI接口数据库中未查找到相同的CGI接口信息,查找结果为:未发现相同CGI接口。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:通过CGI接口信息在对应的业务CGI接口数据库进行查找,当在业务CGI接口数据库中查找到相同的CGI接口信息,查找结果为:已有CGI接口;当查找结果为已有CGI接口时,将CGI接口信息删除。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种CGI接口管理方法,所述方法包括:
获取通过业务集群审计功能生成的日志文件;业务集群审计功能指的是在业务集群的流量结点上,对请求的内容进行审计,所述审计包括:内容审计、行为审计、流量审计;
对所述日志文件进行信息提取,获得各业务相关的CGI接口信息;所述各业务相关的CGI接口信息包括接口请求信息和响应数据;多个相同的所述接口请求信息和所述响应数据通过多次访问同一个接口得到;
利用所述业务相关的各CGI接口信息在接口测试工具对应的业务CGI接口数据库中进行查找,获得查找结果;
当所述查找结果为未发现相同CGI接口时,将所述CGI接口信息确定为各业务相关的新CGI接口信息;所述CGI接口指的是一个WEB服务器提供信息服务的标准接口。
2.根据权利要求1所述的CGI接口管理方法,其特征在于,所述方法还包括:
将所述新CGI接口信息发送至所述接口测试工具,使所述接口测试工具对对应的业务模块测试接口的请求和响应数据进行更新,并将所述新CGI接口信息保存至对应的业务CGI接口数据库中。
3.根据权利要求1或2所述的CGI接口管理方法,其特征在于,对所述日志文件进行信息提取,获得各业务相关的CGI接口信息,包括:
通过正则表达式对所述日志文件进行解析,获得数据信息;
对所述数据信息进行去重处理,获得各去重后的数据信息;
将所述去重后的数据信息进行聚类,获得接口列表、接口请求信息和响应数据;
对所述接口列表、所述接口请求信息和所述响应数据进行清洗和过滤,获得各业务相关的CGI接口信息。
4.根据权利要求3所述的CGI接口管理方法,其特征在于,将所述去重后的数据信息进行聚类,获得接口列表、接口请求信息和响应数据,包括:
将各所述去重后的数据信息进行预处理,获得数据信息的特征向量;
将所述数据信息的特征向量基于各业务的功能进行聚类,获得接口列表、接口请求信息和响应数据。
5.根据权利要求3所述的CGI接口管理方法,其特征在于,对所述接口列表、所述接口请求信息和所述响应数据进行清洗和过滤,获得各业务相关的CGI接口信息,包括:
获取预先设置关键字或特征值;
基于所述关键字或特征值对所述接口列表、所述接口请求信息和所述响应数据进行清洗和过滤,获得各业务相关的CGI接口信息。
6.根据权利要求1所述的CGI接口管理方法,其特征在于,所述利用所述业务相关的各CGI接口信息在对应的业务CGI接口数据库中进行查找,获得查找结果的步骤包括:
通过所述CGI接口信息在对应的业务CGI接口数据库进行查找,当在业务CGI接口数据库中未查找到相同的CGI接口信息,所述查找结果为:未发现相同CGI接口。
7.根据权利要求6所述的CGI接口管理方法,其特征在于,通过所述CGI接口信息在对应的业务CGI接口数据库进行查找,当在业务CGI接口数据库中查找到相同的CGI接口信息,所述查找结果为:已有CGI接口;
当查找结果为已有CGI接口时,将所述CGI接口信息删除。
8.一种CGI接口管理装置,其特征在于,所述装置包括:
日志文件获取模块,用于获取通过业务集群审计功能生成的日志文件;业务集群审计功能指的是在业务集群的流量结点上,对请求的内容进行审计,所述审计包括:内容审计、行为审计、流量审计;
信息提取模块,用于对所述日志文件进行信息提取,获得各业务相关的CGI接口信息;所述各业务相关的CGI接口信息包括接口请求信息和响应数据;多个相同的所述接口请求信息和所述响应数据通过多次访问同一个接口得到;
接口信息查找模块,用于利用所述业务相关的各CGI接口信息在对应的业务CGI接口数据库中进行查找,获得查找结果;
新接口信息确定模块,用于当所述查找结果为未发现相同CGI接口时,将所述CGI接口信息确定为各业务相关的新CGI接口信息;所述CGI接口指的是一个WEB服务器提供信息服务的标准接口。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811544311.9A CN109783457B (zh) | 2018-12-17 | 2018-12-17 | Cgi接口管理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811544311.9A CN109783457B (zh) | 2018-12-17 | 2018-12-17 | Cgi接口管理方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109783457A CN109783457A (zh) | 2019-05-21 |
CN109783457B true CN109783457B (zh) | 2024-02-02 |
Family
ID=66498044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811544311.9A Active CN109783457B (zh) | 2018-12-17 | 2018-12-17 | Cgi接口管理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109783457B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110188083B (zh) * | 2019-05-29 | 2020-11-03 | 口碑(上海)信息技术有限公司 | 接口信息挖掘方法及装置 |
CN113360363B (zh) * | 2020-03-04 | 2024-04-02 | 腾讯科技(深圳)有限公司 | 微服务系统的测试方法、装置、设备和计算机存储介质 |
CN111510330B (zh) * | 2020-04-10 | 2023-08-18 | 中国联合网络通信集团有限公司 | 接口管理装置、方法及存储介质 |
CN112948480B (zh) * | 2021-04-21 | 2023-11-14 | 平安好医投资管理有限公司 | 数据抽取方法、装置、电子设备及存储介质 |
CN113849404A (zh) * | 2021-09-23 | 2021-12-28 | 北京房江湖科技有限公司 | 对接口测试相关信息的管理方法、装置及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1505325A (zh) * | 2002-11-28 | 2004-06-16 | ��������ֽ�ɷ�����˾ | 网络接口管理系统及其方法 |
CN101207640A (zh) * | 2006-12-21 | 2008-06-25 | 国际商业机器公司 | 用于网络终端标识的方法和系统 |
CN102761432A (zh) * | 2011-04-29 | 2012-10-31 | 腾讯科技(深圳)有限公司 | Cgi监控方法及其装置和系统 |
CN107040504A (zh) * | 2016-02-04 | 2017-08-11 | 北京京东尚科信息技术有限公司 | 测试方法和装置 |
CN107463563A (zh) * | 2016-06-02 | 2017-12-12 | 腾讯科技(深圳)有限公司 | 一种浏览器的信息服务处理方法及装置 |
CN107862016A (zh) * | 2017-10-30 | 2018-03-30 | 江西博瑞彤芸科技有限公司 | 一种专题页面的配置方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020161903A1 (en) * | 2001-04-30 | 2002-10-31 | Besaw Lawrence M. | System for secure access to information provided by a web application |
-
2018
- 2018-12-17 CN CN201811544311.9A patent/CN109783457B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1505325A (zh) * | 2002-11-28 | 2004-06-16 | ��������ֽ�ɷ�����˾ | 网络接口管理系统及其方法 |
CN101207640A (zh) * | 2006-12-21 | 2008-06-25 | 国际商业机器公司 | 用于网络终端标识的方法和系统 |
CN102761432A (zh) * | 2011-04-29 | 2012-10-31 | 腾讯科技(深圳)有限公司 | Cgi监控方法及其装置和系统 |
CN107040504A (zh) * | 2016-02-04 | 2017-08-11 | 北京京东尚科信息技术有限公司 | 测试方法和装置 |
CN107463563A (zh) * | 2016-06-02 | 2017-12-12 | 腾讯科技(深圳)有限公司 | 一种浏览器的信息服务处理方法及装置 |
CN107862016A (zh) * | 2017-10-30 | 2018-03-30 | 江西博瑞彤芸科技有限公司 | 一种专题页面的配置方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109783457A (zh) | 2019-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109783457B (zh) | Cgi接口管理方法、装置、计算机设备和存储介质 | |
CN109034993B (zh) | 对账方法、设备、系统及计算机可读存储介质 | |
US20220206889A1 (en) | Automatic correlation of dynamic system events within computing devices | |
CN110569214B (zh) | 用于日志文件的索引构建方法、装置及电子设备 | |
US10417265B2 (en) | High performance parallel indexing for forensics and electronic discovery | |
US9223679B1 (en) | Lightweight, non-intrusive, and flexible apparatus to obtain system and process state | |
US12001452B2 (en) | Search and analytics for storage systems | |
CN112395157B (zh) | 审计日志的获取方法、装置、计算机设备和存储介质 | |
CN110659297A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN116383189A (zh) | 业务数据的处理方法、装置、计算机设备、存储介质 | |
CN113837584B (zh) | 业务处理系统和基于业务处理系统的异常数据处理方法 | |
CN111597422A (zh) | 埋点映射方法、装置、计算机设备和存储介质 | |
CN112579705A (zh) | 元数据采集方法、装置、计算机设备和存储介质 | |
Soltani et al. | Developing software signature search engines using paragraph vector model: a triage approach for digital forensics | |
CN115858471A (zh) | 业务数据变更记录方法、装置、计算机设备及介质 | |
CN110851437A (zh) | 一种存储方法、装置及设备 | |
CN114138552B (zh) | 数据动态重删方法、系统、终端及存储介质 | |
CN117389908B (zh) | 接口自动化测试用例的依赖关系分析方法、系统及介质 | |
CN117406967B (zh) | 组件识别方法、装置、电子设备及存储介质 | |
CN111723146B (zh) | 监测数据库的方法、管理系统及存储介质 | |
An et al. | Data reconstruction and recovery of deduplicated files having non-resident attributes in NTFS volume | |
US11138275B1 (en) | Systems and methods for filter conversion | |
CN117950942A (zh) | 日志管理方法、装置、设备、存储介质和程序产品 | |
CN114461572A (zh) | 用于分布式文件系统的元数据采集方法及装置 | |
Ni et al. | Sardine: A Threat-Aware Compression and Querying System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |