CN109885483A - 用于实时反馈游戏内运行状态的日志可视化方法和系统 - Google Patents

用于实时反馈游戏内运行状态的日志可视化方法和系统 Download PDF

Info

Publication number
CN109885483A
CN109885483A CN201910045486.3A CN201910045486A CN109885483A CN 109885483 A CN109885483 A CN 109885483A CN 201910045486 A CN201910045486 A CN 201910045486A CN 109885483 A CN109885483 A CN 109885483A
Authority
CN
China
Prior art keywords
log information
rank
log
server
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910045486.3A
Other languages
English (en)
Inventor
潘亚楠
孙国军
张经生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Xishan Mobile Game Technology Co Ltd
Zhuhai Kingsoft Online Game Technology Co Ltd
Original Assignee
Zhuhai Xishan Mobile Game Technology Co Ltd
Zhuhai Kingsoft Online Game Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Xishan Mobile Game Technology Co Ltd, Zhuhai Kingsoft Online Game Technology Co Ltd filed Critical Zhuhai Xishan Mobile Game Technology Co Ltd
Priority to CN201910045486.3A priority Critical patent/CN109885483A/zh
Publication of CN109885483A publication Critical patent/CN109885483A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

一种用于实时反馈游戏内运行状态的日志可视化方法,其特征在于,包括以下步骤:运行游戏客户端,对客户端后台的日志信息数据进行采集;将采集到的日志信息数据按照预定时间和业务进行聚合汇总;在游戏窗口上方生成日志显示窗口,实时显示日志信息数据。

Description

用于实时反馈游戏内运行状态的日志可视化方法和系统
技术领域
本发明涉及服务器日志领域,特别涉及一种用于实时反馈游戏内运行状态的日志可视化方法和系统。
背景技术
在游戏开发过程中,往往需要查看运行日志并根据运行日志找出游戏中错误位置,目前市场上主流的解决方案是游戏运行内的日志写入文件,当功能测试发现问题时才会去查看日志文件。现有技术中通用的可视化方案就是将本地的日志上传只服务器,然后在服务端进行二次分析提取,最后在HTML页面上展示,进行可视化,涉及的功能繁杂,且实时性差,日志与游戏的应用场景,无法将出现问题的游戏逻辑联系到一起,不能很好的给开发者提供具体的现场或者线索去定位问题原因。
因此,需要一种简单的实时可视化日志系统,来帮助功能测试发现游戏功能内隐藏的问题,实时提供出现问题的具体游戏场景和游戏逻辑,方便开发定位问题原因。
发明内容
本申请的目的是解决现有技术的不足,提供一种用于实时反馈游戏内运行状态的日志可视化方法和系统,能够实时告知测试和开发人员,当前的游戏逻辑是否正确。
为了实现上述目的,本申请采用以下的技术方案。
首先,本申请提出、一种用于实时反馈游戏内运行状态的日志可视化方法,其特征在于,包括以下步骤:
S100)运行游戏客户端,对客户端后台的日志信息数据进行采集;
S200)将采集到的日志信息数据按照预定时间和业务进行聚合汇总;
S300)在游戏窗口上方生成日志显示窗口,实时显示日志信息数据。
进一步地,在本申请的上述方法中,所述步骤S100还包括以下子步骤:
S101)采用Flume-ng技术,在本地收集日志信息,并发送至服务器;
S102)服务器接收原始的日志信息并存储;
S103)服务器进一步对日志信息整理生成用户可读数据并反馈至本地客户端。
进一步地,在本申请的上述方法中,所述步骤S300还包括以下子步骤:
S301)对汇总后的日志信息数据实时监测;
S302)根据监测结果对日志信息划分成不同的级别,包括Error级别、warn级别和Info级别;
S303)对不同级别的日志信息采用不同的颜色进行区别并在日志显示窗口中显示。
进一步地,在本申请的上述方法中,对于不同级别的日志信息,Error级别采用红色显示,warn级别采用黄色显示,Info级别采用绿色显示。
进一步地,在本申请的上述方法中,Error级别的日志信息显示时间比其他两个级别的显示时间长。
进一步地,在本申请的上述方法中,还包括通过响应截屏指令,对日志信息显示窗口进行截取并上传至服务器端。
进一步地,在本申请的上述方法中,还包括在游戏的GM面板内设置上传至服务端的按钮,支持日志上传到服务器。
其次,本申请还公开了一种用于实时反馈游戏内运行状态的日志可视化系统,其特征在于,包括以下模块:采集模块,用于运行游戏客户端,对客户端后台的日志信息数据进行采集;汇总模块,用于将采集到的日志信息数据按照预定时间和业务进行聚合汇总;显示模块,用于在游戏窗口上方生成日志显示窗口,实时显示日志信息数据。
进一步地,在本申请的上述系统中,所述采集模块还包括以下子模块:发送模块,用于通过Flume-ng技术在本地收集日志信息,并发送至服务器;接收模块,用于服务器接收原始的日志信息并存储;反馈模块,用于服务器进一步对日志信息整理生成用户可读数据并反馈至本地客户端。
进一步地,在本申请的上述系统中,所述显示模块还包括以下子模块:监测模块,用于对汇总后的日志信息数据实时监测;分级模块,根据监测结果对日志信息划分成不同的级别,包括Error级别、warn级别和Info级别;标记模块,用于对不同级别的日志信息采用不同的颜色进行区别并在日志显示窗口中显示。
最后,本申请还提出一种计算机可读存储介质,其上存储有计算机指令。上述指令被处理器执行时,执行如下步骤:
S100)运行游戏客户端,对客户端后台的日志信息数据进行采集;
S200)将采集到的日志信息数据按照预定时间和业务进行聚合汇总;
S300)在游戏窗口上方生成日志显示窗口,实时显示日志信息数据。
进一步地,在处理器执行上述指令时,所述步骤S100还包括以下子步骤:
S101)采用Flume-ng技术,在本地收集日志信息,并发送至服务器;
S102)服务器接收原始的日志信息并存储;
S103)服务器进一步对日志信息整理生成用户可读数据并反馈至本地客户端。
进一步地,在处理器执行上述指令时,所述步骤S300还包括以下子步骤:
S301)对汇总后的日志信息数据实时监测;
S302)根据监测结果对日志信息划分成不同的级别,包括Error级别、warn级别和Info级别;
S303)对不同级别的日志信息采用不同的颜色进行区别并在日志显示窗口中显示。
进一步地,在处理器执行上述指令时,对于不同级别的日志信息,Error级别采用红色显示,warn级别采用黄色显示,Info级别采用绿色显示。
进一步地,在处理器执行上述指令时,Error级别的日志信息显示时间比其他两个级别的显示时间长。
进一步地,在处理器执行上述指令时,还包括通过响应截屏指令,对日志信息显示窗口进行截取并上传至服务器端。
进一步地,在处理器执行上述指令时,还包括在游戏的GM面板内设置上传至服务端的按钮,支持日志上传到服务器。
本申请的有益效果为:解决以往的日志服务器以及HTML可视化日志系统的实时差的问题,可以在进行游戏测试的同时,可以实时告知测试和开发人员,在什么场景下,什么操作下会发生日志报错报警。
附图说明
图1所示为本申请所公开的用于实时反馈游戏内运行状态的日志可视化方法的流程图;
图2所示为在本申请所公开的一个方法实施例中的可视化界面实现示意图;
图3所示为在本申请的一个方法实施例中的子方法的流程图;
图4所示为在本申请的一个方法实施例中的子方法的流程图;
图5所示为本申请所公开的用于实时反馈游戏内运行状态的日志可视化系统的结构图。
具体实施方式
以下将结合实施例和附图对本申请的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本申请的目的、方案和效果。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,如无特殊说明,当某一特征被称为“固定”、“连接”在另一个特征,它可以直接固定、连接在另一个特征上,也可以间接地固定、连接在另一个特征上。此外,本申请中所使用的上、下、左、右等描述仅仅是相对于附图中本申请各组成部分的相互位置关系来说的。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
此外,除非另有定义,本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例,而不是为了限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解,尽管在本申请中可能采用术语第一、第二、第三等来描述各种元件,但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如,在不脱离本申请范围的情况下,第一元件也可以被称为第二元件,类似地,第二元件也可以被称为第一元件。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”。
参照图1所示的方法流程图,在本申请的一个或多个实施例中,本申请提出一种用于实时反馈游戏内运行状态的日志可视化方法,适用于在游戏测试时同步显示日志信息以便于实时告知开发人员当前的游戏逻辑是否正确。该方法包括以下步骤:
S100)运行游戏客户端,对客户端后台的日志信息数据进行采集;
S200)将采集到的日志信息数据按照预定时间和业务进行聚合汇总;
S300)在游戏窗口上方生成日志显示窗口,实时显示日志信息数据。
具体地,在进行游戏测试时,在后台服务器中会不断生成关于当前的游戏逻辑的日志信息,通过采集模块将这些日志信息数据采集并进一步发送至汇总模块进行聚合汇总,聚合汇总可以采用任意形式的聚合汇总,例如可以先对日志进行切分后重新映射,最后将整理好日志信息实时在游戏窗口上方的日志显示窗口中显示。
进一步地,如图2所示,在运行游戏客户端同时,加载UI控件Button或者Label在客户端界面1上方生成一个日志显示界面2,日志界面中显示的信息包括当前用户ID、日志描述、当前IP地址、MAC地址以及日期信息。
参考图3所示的子方法流程图,在本申请的一个或多个实施例中,上述步骤S100)可以通过以下子步骤实现:
S101)采用Flume-ng技术,在本地收集日志信息,并发送至服务器;
S102)服务器接收原始的日志信息并存储;
S103)服务器进一步对日志信息整理生成用户可读数据并反馈至本地客户端。
具体地,采集日志信息采用Flume-ng技术,包括代理层、收集层和存储层,代理层用于代理采集日志信息,收集层设置在后台服务器上,用于接收来自代理层的日志信息并进一步整理生成用户可读的数据,并将信息写入存储层,存储层用于存储日志信息。
参照图4所示的子方法流程图,在本申请的一个或多个实施例中,上述步骤S300还包括以下子步骤:
S301)对汇总后的日志信息数据实时监测;
S302)根据监测结果对日志信息划分成不同的级别,包括Error级别、warn级别和Info级别;
S303)对不同级别的日志信息采用不同的颜色进行区别并在日志显示窗口中显示。
具体地,监测过程使对新增的日志数据进行解析、过滤、屏蔽、派生告警、入库等操作,监测模块由数据源模块和日志处理模块构成,通过数据源模块从日志汇总模块处读取日志消息,日志处理模块将所有的日志消息处理逻辑进行封装,处理输入的数据流,并产生输出新的数据流。根据所述分析结果,确定当前是否存在故障,基于故障的严重程度对日志信息分成三个级别:Error级别、warn级别和Info级别。对于不同级别的日志信息,设置不同的显示时间,对于Error级别的日志信息,其显示时间比warn级别和Info级别的日志信息的显示时间要长,例如,Error级别的日志信息显示时间为3秒,warn级别日志信息显示时间为2秒,Info级别日志信息显示时间为1秒,使得开发人员更容易注意到故障信息的发生。
进一步地,对于不同级别的日志信息,将信息用不同的颜色进行标识,例如,Error级别采用红色,warn级别采用黄色,Info级别采用绿色等等。同时在显示窗口中设置一个截屏按钮,当出现红色的日志信息时,测试人员或开发人员能够实时截图并保存,用于后续在日志文件中根据角色以及日志时间找出错误的日志原文件。再进一步地,对于红色的Error级别和warn级别的日志信息,系统自动识别并分别保存到一个新的文件或文件夹中。
参照图5所示的模块结构图,在本申请的一个或多个实施例中,本申请还公开了一种用于实时反馈游戏内运行状态的日志可视化系统,包括以下模块:采集模块,用于运行游戏客户端,对客户端后台的日志信息数据进行采集;汇总模块,用于将采集到的日志信息数据按照预定时间和业务进行聚合汇总;显示模块,用于在游戏窗口上方生成日志显示窗口,实时显示日志信息数据。
具体地,在进行游戏测试时,在后台服务器中会不断生成关于当前的游戏逻辑的日志信息,通过采集模块将这些日志信息数据采集并进一步发送至汇总模块进行聚合汇总,聚合汇总可以采用任意形式的聚合汇总,例如可以先对日志进行切分后重新映射,最后将整理好日志信息实时在游戏窗口上方的日志显示窗口中显示。
进一步地,在本申请的上述系统中,采集模块还包括以下子模块:发送模块,用于通过Flume-ng技术在本地收集日志信息,并发送至服务器;接收模块,用于服务器接收原始的日志信息并存储;反馈模块,用于服务器进一步对日志信息整理生成用户可读数据并反馈至本地客户端。
具体地,采集日志信息采用Flume-ng技术,包括代理层、收集层和存储层,代理层用于代理采集日志信息,收集层设置在后台服务器上,用于接收来自代理层的日志信息并进一步整理生成用户可读的数据,并将信息写入存储层,存储层用于存储日志信息。
进一步地,在本申请的上述系统中,显示模块还包括以下子模块:监测模块,用于对汇总后的日志信息数据实时监测;分级模块,根据监测结果对日志信息划分成不同的级别,包括Error级别、warn级别和Info级别;标记模块,用于对不同级别的日志信息采用不同的颜色进行区别并在日志显示窗口中显示。
具体地,监测模块对新增的日志数据进行解析、过滤、屏蔽、派生告警、入库等操作,监测模块由数据源模块和日志处理模块构成,通过数据源模块从日志汇总模块处读取日志消息,日志处理模块将所有的日志消息处理逻辑进行封装,处理输入的数据流,并产生输出新的数据流。根据所述分析结果,分级模块确定当前是否存在故障,基于故障的严重程度对日志信息分成三个级别:Error级别、warn级别和Info级别。对于不同级别的日志信息,设置不同的显示时间,对于Error级别的日志信息,其显示时间比warn级别和Info级别的日志信息的显示时间要长,例如,Error级别的日志信息显示时间为3秒,warn级别日志信息显示时间为2秒,Info级别日志信息显示时间为1秒,使得开发人员更容易注意到故障信息的发生。
进一步地,对于不同级别的日志信息,将信息用不同的颜色进行标识,例如,Error级别采用红色,warn级别采用黄色,Info级别采用绿色等等。同时在显示窗口中设置一个截屏按钮,当出现红色的日志信息时,测试人员或开发人员能够实时截图并保存,用于后续在日志文件中根据角色以及日志时间找出错误的日志原文件。再进一步地,对于红色的Error级别和warn级别的日志信息,系统自动识别并分别保存到一个新的文件或文件夹中。
应当认识到,本申请的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。该方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
进一步地,该方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本申请的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文该步骤的指令或程序时,本文所述的申请包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本申请所述的方法和技术编程时,本申请还包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本申请优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。
因此,应以说明性意义而不是限制性意义来理解本说明书和附图。然而,将明显的是:在不脱离如权利要求书中阐述的本申请的更宽广精神和范围的情况下,可以对本申请做出各种修改和改变。
其他变型在本申请的精神内。因此,尽管所公开的技术可容许各种修改和替代构造,但在附图中已示出并且在上文中详细描述所示的其某些实施例。然而,应当理解,并不意图将本申请局限于所公开的一种或多种具体形式;相反,其意图涵盖如所附权利要求书中所限定落在本申请的精神和范围内的所有修改、替代构造和等效物。

Claims (10)

1.一种用于实时反馈游戏内运行状态的日志可视化方法,其特征在于,包括以下步骤:
S100)运行游戏客户端,对客户端后台的日志信息数据进行采集;
S200)将采集到的日志信息数据按照预定时间和业务进行聚合汇总;
S300)在游戏窗口上方生成日志显示窗口,实时显示日志信息数据。
2.根据权利要求1所述的方法,其特征在于,所述步骤S100还包括以下子步骤:
S101)采用Flume-ng技术,在本地收集日志信息,并发送至服务器;
S102)服务器接收原始的日志信息并存储;
S103)服务器进一步对日志信息整理生成用户可读数据并反馈至本地客户端。
3.根据权利要求1所述的方法,其特征在于,所述步骤S300还包括以下子步骤:
S301)对汇总后的日志信息数据实时监测;
S302)根据监测结果对日志信息划分成不同的级别,包括Error级别、warn级别和Info级别;
S303)对不同级别的日志信息采用不同的颜色进行区别并在日志显示窗口中显示。
4.根据权利要求3所述的方法,其特征在于,对于不同级别的日志信息,Error级别采用红色显示,warn级别采用黄色显示,Info级别采用绿色显示。
5.根据权利要求4所述的方法,其特征在于,Error级别的日志信息显示时间比其他两个级别的显示时间长。
6.根据权利要求1所述的方法,其特征在于,还包括通过响应截屏指令,对日志信息显示窗口进行截取并上传至服务器端。
7.根据权利要求1至6中任意一项所述的方法,其特征在于,还包括在游戏的GM面板内设置上传至服务端的按钮,支持日志上传到服务器。
8.一种用于实时反馈游戏内运行状态的日志可视化系统,其特征在于,包括以下模块:
采集模块,用于运行游戏客户端,对客户端后台的日志信息数据进行采集;
汇总模块,用于将采集到的日志信息数据按照预定时间和业务进行聚合汇总;
显示模块,用于在游戏窗口上方生成日志显示窗口,实时显示日志信息数据。
9.根据权利要求7所述的系统,其特征在于,所述采集模块还包括以下子模块:
发送模块,用于通过Flume-ng技术在本地收集日志信息,并发送至服务器;
接收模块,用于服务器接收原始的日志信息并存储;
反馈模块,用于服务器进一步对日志信息整理生成用户可读数据并反馈至本地客户端。
10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于该指令被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
CN201910045486.3A 2019-01-17 2019-01-17 用于实时反馈游戏内运行状态的日志可视化方法和系统 Pending CN109885483A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910045486.3A CN109885483A (zh) 2019-01-17 2019-01-17 用于实时反馈游戏内运行状态的日志可视化方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910045486.3A CN109885483A (zh) 2019-01-17 2019-01-17 用于实时反馈游戏内运行状态的日志可视化方法和系统

Publications (1)

Publication Number Publication Date
CN109885483A true CN109885483A (zh) 2019-06-14

Family

ID=66926215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910045486.3A Pending CN109885483A (zh) 2019-01-17 2019-01-17 用于实时反馈游戏内运行状态的日志可视化方法和系统

Country Status (1)

Country Link
CN (1) CN109885483A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112642151A (zh) * 2020-12-18 2021-04-13 咪咕互动娱乐有限公司 一种游戏攻略确定方法、装置、电子设备和存储介质
CN113495828A (zh) * 2020-03-20 2021-10-12 腾讯科技(深圳)有限公司 日志展示方法、装置及电子设备
CN115086206A (zh) * 2022-06-14 2022-09-20 工银科技有限公司 一种客户端软件调试方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426292A (zh) * 2015-10-29 2016-03-23 网易(杭州)网络有限公司 一种游戏日志实时处理系统及方法
CN105868075A (zh) * 2016-03-31 2016-08-17 浪潮通信信息系统有限公司 一种实时监控分析大量日志的系统及方法
CN107071569A (zh) * 2016-12-30 2017-08-18 武汉斗鱼网络科技有限公司 一种安卓电视上调试应用的方法及系统
CN107357804A (zh) * 2017-05-24 2017-11-17 上海你我贷互联网金融信息服务有限公司 互联网金融海量日志的分析系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426292A (zh) * 2015-10-29 2016-03-23 网易(杭州)网络有限公司 一种游戏日志实时处理系统及方法
CN105868075A (zh) * 2016-03-31 2016-08-17 浪潮通信信息系统有限公司 一种实时监控分析大量日志的系统及方法
CN107071569A (zh) * 2016-12-30 2017-08-18 武汉斗鱼网络科技有限公司 一种安卓电视上调试应用的方法及系统
CN107357804A (zh) * 2017-05-24 2017-11-17 上海你我贷互联网金融信息服务有限公司 互联网金融海量日志的分析系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUXP370: "GT性能测试Android版使用说明", 《HTTPS://BLOG.CSDN.NET/HUXP370/ARTICLE/DETAILS/80655322》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113495828A (zh) * 2020-03-20 2021-10-12 腾讯科技(深圳)有限公司 日志展示方法、装置及电子设备
CN112642151A (zh) * 2020-12-18 2021-04-13 咪咕互动娱乐有限公司 一种游戏攻略确定方法、装置、电子设备和存储介质
CN115086206A (zh) * 2022-06-14 2022-09-20 工银科技有限公司 一种客户端软件调试方法和装置

Similar Documents

Publication Publication Date Title
US20230104928A1 (en) Executable network troubleshooting procedure
CN109344170B (zh) 流数据处理方法、系统、电子设备及可读存储介质
US20090271351A1 (en) Rules engine test harness
CN109885483A (zh) 用于实时反馈游戏内运行状态的日志可视化方法和系统
US20140280831A1 (en) Sample driven visual programming system for network management
US20080046299A1 (en) Methods and tools for creating and evaluating system blueprints
CN103038752A (zh) 漏洞清理所
CN109240688A (zh) 界面开发方法、电子装置及可读存储介质
CN103631713A (zh) Erp软件自动化测试系统及方法
CN109491860A (zh) 应用程序的异常检测方法、终端设备及介质
CN111694752B (zh) 应用测试方法、电子设备及存储介质
WO2014145818A1 (en) A graphic user interface based network management system to define and execute troubleshooting procedure
CN106411637A (zh) 物联网设备场景测试方法
CN112579455B (zh) 一种接口自动化测试方法、装置、电子设备及存储介质
CN109656767A (zh) 一种cpld状态信息的获取方法、系统及相关组件
CN113312260B (zh) 一种接口测试方法、装置、设备及存储介质
CN108228173A (zh) 一种可视化的数据接口开发系统和方法
CN112380255A (zh) 一种业务处理方法、装置、设备和存储介质
CN107423223A (zh) 测试管理系统
CN116955097A (zh) 测试流程的展示方法、装置和测试流程展示系统
CN113467782B (zh) 一种确定业务流程的方法、装置及设备
CN102945628A (zh) 事故后果信息获取方法、装置及培训系统
CN102571424A (zh) 一种工程事件处理方法、装置和系统
US7802235B2 (en) System and method for tracing and/or evaluating the exchange of information
CN105227407B (zh) 一种协议调试方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190614