CN106407078A - 基于信息交互的客户端性能监控装置及方法 - Google Patents

基于信息交互的客户端性能监控装置及方法 Download PDF

Info

Publication number
CN106407078A
CN106407078A CN201610851382.8A CN201610851382A CN106407078A CN 106407078 A CN106407078 A CN 106407078A CN 201610851382 A CN201610851382 A CN 201610851382A CN 106407078 A CN106407078 A CN 106407078A
Authority
CN
China
Prior art keywords
performance
client
information
model
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610851382.8A
Other languages
English (en)
Other versions
CN106407078B (zh
Inventor
白翠琴
金晖
熊小庆
杨卓俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN201610851382.8A priority Critical patent/CN106407078B/zh
Publication of CN106407078A publication Critical patent/CN106407078A/zh
Application granted granted Critical
Publication of CN106407078B publication Critical patent/CN106407078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques

Abstract

一种基于信息交互的客户端性能监控装置及方法,所述装置具体包含客户端浏览器监控模块、日志推送模块、日志处理模块、模型分析模块和结果推送模块;客户端浏览器模块抓取并保存客户端浏览器上关于信息交互的性能日志;日志推送模块将性能日志输出;日志处理模块读取和解析性能日志后,存储性能日志;模型分析模块通过预定模型分析解析后的性能日志,获得性能日志中的可疑交易信息,根据可疑交易信息建立分析结果表并通过分析结果表利用机器学习技术改进预定模型的规则和/或阀值;结果推送模块根据客户端的分析结果表确定客户端的可疑交易信息以及可疑交易信息所对应的测试人员,并将可疑交易信息发送至测试人员修改。

Description

基于信息交互的客户端性能监控装置及方法
技术领域
本发明涉及计算机性能监控领域,尤指一种基于信息交互的客户端性能监控装置及方法。
背景技术
随着银行等领域的应用系统在业务品种和业务量方面的不断发展,用户对业务系统的使用日益频繁,这就对业务系统的用户体验提出了更高的要求。
目前,在性能监控领域主要以应用服务器、数据库服务器以及网络传输等方面的性能为监控对象,然而在客户端性能监控领域依然缺少成熟的自动化工具,传统的客户端性能监控工具在信息抓取、收集、分析、验证、展现等环节仍存在以下问题:信息抓取粒度较粗,不能完整反映用户在使用时的真实体验;性能信息的抓取往往以人工为主,自动化程度不高,不能做到在用户操作时自动记录性能日志;日志的收集技术比较传统,无法很好的支持目前大范围应用的分布式环境;日志分析往往也是通过人工分析的途径,主要依靠测试人员以往的经验,在自动化与命中率方面均有所欠缺;在问题验证方面,也是以人工比对为主,在一定程度上增加了测试人员的工作量;由于传统性能监控在数据积累方面的缺失,往往不能全面的做到图形化的展现客户端性能的整体情况。以上问题也是导致客户端性能监控成本较高、效率较低的主要原因。
随着系统对客户端性能的要求越来越高,在人力资源有限的情况下,需要使用相关的技术工具来进一步提升客户端性能监控的效率和质量。
发明内容
为了解决现有技术中的上述问题,实现性能监控、日志收集、日志保存、模型分析、问题验证、图形展示的全流程自动化解决方案,弥补目前客户端性能监控的短板,本发明目的在于提供了一种基于信息交互的客户端性能监控装置及方法。
为达上述目的,本发明所提供的基于信息交互的客户端性能监控装置,具体包含客户端和服务端;所述客户端包含客户端浏览器监控模块和日志推送模块;所述服务端包含日志处理模块、模型分析模块和结果推送模块;所述客户端浏览器模块用于抓取并保存客户端浏览器上关于信息交互的性能日志;所述日志推送模块与所述客户端浏览器相连,用于将所述性能日志输出;所述日志处理模块与所述日志推送模块相连,用于读取和解析所述性能日志后,存储所述性能日志;所述模型分析模块与所述日志处理模块相连,用于通过预定模型分析解析后的所述性能日志,获得所述性能日志中的可疑交易信息,根据所述可疑交易信息建立分析结果表并通过所述分析结果表利用机器学习技术改进所述预定模型的规则和/或阀值;所述结果推送模块与所述模型分析模块相连,用于根据所述客户端的分析结果表确定客户端的可疑交易信息以及所述可疑交易信息所对应的测试人员,并将所述可疑交易信息发送至所述测试人员修改。
在上述基于信息交互的客户端性能监控装置中,优选的,所述客户端浏览器监控模块包含监控控制单元、信息记录单元和日志保存单元;所述监控控制单元用于监听客户端浏览器的运行状态,并根据监听到的特定条件输出记录客户端浏览器的性能信息的控制指令或保存客户端浏览器的性能日志的控制指令;所述信息记录单元用于根据所述监控控制单元输出的控制指令,记录客户端浏览器的性能信息,并以场景、功能、请求的层级结构将结果存储为性能日志;所述日志保存单元用于根据所述监控控制单元输出的控制指令,将性能日志保存为符合统一规范的HAR文件。
在上述基于信息交互的客户端性能监控装置中,优选的,所述日志推送模块包含日志传输单元和日志清理单元;所述日志传输单元用于将所述性能日志传输至服务端;所述日志清理单元用于在所述性能日志传输完毕后,删除客户端存储的所述性能日志。
在上述基于信息交互的客户端性能监控装置中,优选的,所述日志处理模块包含日志读取单元、日志解析单元和日志保存单元;所述日志读取单元用于打开并读取性能日志;所述日志解析单元用于解析所述性能日志,获取客户端浏览器页面的运行状态信息,并将所述运行状态信息以链表的结构,按请求发起的顺序存储至所述日志保存单元;所述日志保存单元用于将存储的所述运行状态信息保存至分布式数据库。
在上述基于信息交互的客户端性能监控装置中,优选的,所述模型分析模块包含模型匹配单元、结果保存单元和模型优化单元;所述模型匹配单元用于将解析后的所述性能信息与预定模型中的请求超时分析模型、重复请求分析模型、资源缺失分析模型相匹配,过滤出符合模型的可疑交易信息并记录模型信息,通过所述模型信息和所述可疑交易信息确认所述客户端的性能瓶颈;所述结果保存单元用于将过滤出的可疑交易信息记录到分析结果表中;所述模型优化单元用于分析可疑交易信息的特点,利用决策树学习方法,针对不同分析模型,根据性能日志和分析结果表抽取样本数据并构建决策树,通过所述决策树修改对应分析模型的规则和/或阀值。
在上述基于信息交互的客户端性能监控装置中,优选的,所述结果推送模块包含结果分配单元和结果发送单元;所述结果分配单元用于根据所述分析结果表中的可疑交易信息定位对应的测试人员;所述结果发送单元用于将所述可疑交易信息发送至对应的测试人员修改。
在上述基于信息交互的客户端性能监控装置中,优选的,所述服务端还包含问题验证模块,所述问题验证模块与所述结果推送模块相连,用于将所述问题交易清单存储至历史数据,以及将所述历史数据与后续获得的问题交易清单相比对验证,判断所述历史数据中交易问题是否被修改并输出验证结果。
在上述基于信息交互的客户端性能监控装置中,优选的,所述服务端还包含图形展示模块,所述图形展示模块与所述问题验证模块相连,用于根据预定模板于所述服务端获得对应数据并显示输出。
本发明还提供一种基于信息交互的客户端性能监控方法,所述方法包含:监控客户端浏览器,抓取并保存客户端浏览器上关于信息交互的性能日志;将客户端的性能日志输出至服务端;于所述服务端读取和解析所述性能日志后,将解析后的所述性能信息存储到分布式数据库中;通过预定模型分析所述性能日志,获得所述性能日志中的可疑交易信息,根据所述可疑交易信息建立分析结果表并通过所述分析结果表利用机器学习技术改进所述预定模型的规则和/或阀值;根据所述客户端的分析结果表确定客户端的可疑交易信息以及所述可疑交易信息所对应的测试人员,并将所述可疑交易信息发送至所述测试人员修改。
在上述基于信息交互的客户端性能监控方法中,优选的,所述监控客户端浏览器,抓取并保存客户端浏览器上关于信息交互的性能日志包含:当客户端浏览器打开时启动监听,并根据监听到的特定条件输出记录客户端浏览器的性能信息的控制指令或保存客户端浏览器的性能日志的控制指令;当监听到所述客户端浏览器进入业务系统时,记录当前页面的性能信息;当监听到所述客户端浏览器退出业务系统时,将所述性能信息以HAR日志的形式保存。
在上述基于信息交互的客户端性能监控方法中,优选的,所述将客户端的性能日志输出至服务端包含:当客户端监控到新的性能日志时,与服务器建立FTP连接;将性能日志与客户端地址通过FTP方式发送至服务端;当性能日志传输完毕后断开与服务器的连接,删除所述性能日志并将传输文件清单记录到传输日志中。
在上述基于信息交互的客户端性能监控方法中,优选的,所述于所述服务端读取和解析所述性能日志后,将各级性能信息存储到分布式数据库中包含:将所述客户端地址与所述性能日志关联后存储;读取并解析所述性能日志,获得所述性能日志中场景级信息;将所述场景级信息存储到分布式数据库中。
在上述基于信息交互的客户端性能监控方法中,优选的,所述通过预定模型分析所述性能日志,获得所述性能日志中的可疑交易信息,根据所述可疑交易信息建立分析结果表并通过所述分析结果表利用机器学习技术改进所述预定模型的规则和/或阀值包含:获取所述场景级信息,并通过请求超时分析模型、重复请求分析模型、资源缺失分析模型分析所述场景级信息,获得可疑交易信息;根据所述可疑交易信息建立分析结果表;通过所述分析结果表构建各模型的决策树,通过构建后的各模型的决策树修改所述预定模型的规则和/或阀值。
本发明实现了客户端性能监控的全流程自动化,覆盖了性能监控、日志收集、日志保存、模型分析、问题验证、图形展示的客户端性能监控的各个环节。通过采集渲染时间、页面加载时间等与信息交互息息相关的性能信息以及请求级的数据信息,不仅能够获取到更贴近用户真实体验的性能数据,也能够更加精准的定位性能瓶颈,实现具体到请求级的性能分析。另外,通过结合分布式存储与机器学习技术,能够利用大数据技术对海量性能信息进行统计与分析,实现更精确的模型分析与更全面的图形展示。本发明从整体上减少了人工干预的程度和精力投入,降低了客户端性能监控成本,弥补了目前客户端自动化性能监控方面的短板。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1为本发明所提供的客户端性能监控装置结构图;
图2为本发明所提供的客户端浏览器监控装置内部结构图示意图;
图3为本发明所提供的日志推送装置内部结构图示意图;
图4为本发明所提供的日志处理装置内部结构图示意图;
图5为本发明所提供的模型分析装置内部结构图示意图;
图6为本发明所提供的结果推送装置内部结构图示意图;
图7为本发明所提供的问题验证装置内部结构图示意图;
图8为本发明所提供的图形展示装置内部结构图示意图;
图9为本发明所提供的客户端浏览器监控的流程;
图10为本发明所提供的日志推送的流程;
图11为本发明所提供的日志处理的流程;
图12为本发明所提供的模型分析的流程;
图13为本发明所提供的结果推送的流程;
图14为本发明所提供的问题验证的流程;
图15为本发明所提供的图形展示的流程。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
请参考图1所示,本发明所提供的基于信息交互的客户端性能监控装置,具体包含客户端和服务端;所述客户端包含客户端浏览器监控模块1和日志推送模块2;所述服务端包含日志处理模块3、模型分析模块4和结果推送模块5;所述客户端浏览器模块1用于抓取并保存客户端浏览器上关于信息交互的性能日志;所述日志推送模块2与所述客户端浏览器1相连,用于将所述性能日志输出;所述日志处理模块3与所述日志推送模块2相连,用于读取和解析所述性能日志后,存储所述性能日志;所述模型分析模块4与所述日志处理模块3相连,用于通过预定模型分析解析后的所述性能日志,获得所述性能日志中的可疑交易信息,根据所述可疑交易信息建立分析结果表并通过所述分析结果表利用机器学习技术改进所述预定模型的规则和/或阀值;所述结果推送模块5与所述模型分析模块4相连,用于根据所述客户端的分析结果表确定客户端的可疑交易信息以及所述可疑交易信息所对应的测试人员,并将所述可疑交易信息发送至所述测试人员修改。
在本发明一优选的实施例中,所述服务端还包含问题验证模块6和图形展示模块7,所述问题验证模块6与所述结果推送模块5相连,用于将所述问题交易清单存储至历史数据,以及将所述历史数据与后续获得的问题交易清单相比对验证,判断所述历史数据中交易问题是否被修改并输出验证结果;所述图形展示模块7与所述问题验证模块6相连,用于根据预定模板于所述服务端获得对应数据并显示输出。
在实际工作中,客户端浏览器监控装置1:实现针对客户端浏览器的性能信息抓取与保存,记录与信息交互相关的性能日志。日志推送装置2:实现分布式的日志推送,将客户端的性能日志传输至服务器端。日志处理装置3:实现对由客户端收集而来的日志的读取、解析,并将性能信息存储到分布式数据库中。模型分析装置4:实现对性能日志进行批量分析,通过请求超时、重复请求、资源缺失等模型的分析,得出性能瓶颈,并且根据机器学习技术自动的持续的优化改进模型规则与阀值,不断提高模型的准确性与命中率。结果推送装置5:实现问题交易与负责人员的匹配,将问题交易清单推送至相应的开发及测试人员。问题验证装置6:实现对问题交易的验证,根据问题修改前后性能日志分析结果的比对来对问题进行验证。图形展示装置7:实现以图形化的方式直观的展示分析结果、历史数据、动态变化等维度的信息。
请参考图2所示,在本发明一优选实施例中,所述客户端浏览器监控模块1包含监控控制单元11、信息记录单元12和日志保存单元13;所述监控控制单元11用于监听客户端浏览器的运行状态,并根据监听到的特定条件输出记录客户端浏览器的性能信息的控制指令或保存客户端浏览器的性能日志的控制指令;所述信息记录单元12用于根据所述监控控制单元输出的控制指令,记录客户端浏览器的渲染时间、页面展示时间、请求级的详细信息等性能信息,并以场景、功能、请求的层级结构将结果存储为性能日志;所述日志保存单元13用于根据所述监控控制单元输出的控制指令,将性能日志保存为符合统一规范的HAR文件,暂存在客户端指定目录内。其中,特定条件可为预定的浏览器事件,当客户端浏览器发生预定事件时,则输出记录客户端浏览器的性能信息的控制指令或保存客户端浏览器的性能日志的控制指令,至于具体输出记录性能信息还是输出保存性能日志可根据情况自行设定,本发明在此不做限制。
请参考图3所示,在本发明一优选的实施例中,所述日志推送模块2包含日志传输单元21和日志清理单元22;所述日志传输单元21用于将所述性能日志传输至服务端的指定目录下;所述日志清理单元22用于在所述性能日志传输完毕后,删除客户端存储的所述性能日志,以此消除日志文件对客户端磁盘空间的影响;该日志推送模块2在该实施例中可用常见的数据推送结构替代,其目的在于及时推送日志和消除本地客户端的磁盘空间的不必要的日志,降低内存浪费。
请参考图4所示,在本发明一优选的实施例中,所述日志处理模块3包含日志读取单元31、日志解析单元32和日志保存单元33;所述日志读取单元31用于打开并读取性能日志,该性能日志可为前述的HAR格式的文件;所述日志解析单元32用于解析所述性能日志,获取客户端浏览器页面的运行状态信息,并将所述运行状态信息以链表的结构,按请求发起的顺序存储至所述日志保存单元;所述日志保存单元33用于将存储的所述运行状态信息保存至分布式数据库;其中,解析性能日志更包含采用JSON格式的解析方法来解析性能日志,获取渲染时间、页面加载时间、页面展示时间,以及请求级的URL地址、请求响应时间、请求方法、请求数据、返回状态、返回内容等信息,并将这些信息以链表的结构,按请求发起的顺序临时存储在内存中。在实际工作中,上述日志保存单元33将存储的所述运行状态信息保存至分布式数据库中,该分布式数据库具体可包含:1)日志信息表,用于保存文件名、文件路径、文件大小、文件来源、应用名、应用版本、监控日期、批次号、客户端机器名等;2)场景信息表,用于保存测试场景名称、场景耗时、上传数据量、下载数据量、阻塞时间、连接时间、等待时间、接收时间、网络时间、错误信息、警告信息等;3)功能信息表,用于保存功能序号、请求数量、起始时间、功能耗时、上传数据量、下载数据量、阻塞时间、连接时间、等待时间、接收时间、网络时间、渲染开始事件时间、页面加载完成事件时间、资源文件数量、错误信息、警告信息等;4)请求信息表,用于保存请求地址、请求耗时、请求方法、发送数据量、接收数据量、请求结果、起始时间、请求字符串、发送数据、接收数据类型、接收数据内容、是否使用缓存、重定向地址等。
请参考图5所示,所述模型分析模块4包含模型匹配单元41、结果保存单元42和模型优化单元43;所述模型匹配单元41用于将解析后的所述性能信息与预定模型中的请求超时分析模型、重复请求分析模型、资源缺失分析模型等相关分析模型相匹配,过滤出符合模型的可疑交易信息并记录模型信息,通过所述模型信息和所述可疑交易信息确认所述客户端的性能瓶颈;所述结果保存单元42用于将过滤出的可疑交易信息记录到分析结果表中;其中,分析结果表主要用于保存可疑交易信息的问题序号、应用名、文件名、文件路径、文件来源、分析结果、分析标识、分析时间等信息;所述模型优化单元43用于分析可疑交易信息的特点,利用决策树学习方法,针对不同分析模型,根据性能日志和分析结果表来抽取样本数据并构建决策树,通过所述决策树修改对应分析模型的规则和/或阀值,以此优化分析模型。
请参考图6所示,所述结果推送模块5包含结果分配单元51和结果发送单元52;所述结果分配单元51用于根据所述分析结果表中的可疑交易信息定位对应的测试人员;所述结果发送单元52用于将所述可疑交易信息发送至对应的测试人员修改。其中,所述测试人员包含可修改客户端浏览器的测试人员或开发人员,该些工作人员根据可疑交易信息中对应数据可直接定位,在此不再详细解释。
请参考图7所示,所述问题验证模块6包含日志比对单元61、特征值比对单元62和结果输出单元63;所述日志比对单元61用于比对接收到的多个可疑交易信息中各个可疑交易信息的问题交易的菜单、请求等信息,再从问题交易修改之后的性能日志中得出相同位置的交易日志;所述分析结果比对单元62用于根据分析结果表,将存在性能问题的日志的所属模型信息,与修改后的日志的所属模型信息进行比对;所述结果输出单元63用于在验证所述日志比对单元61和所述分析结果比对单元62的比对结果,若新的分析结果表中无之前的可疑交易信息,即相同位置的交易日志不存在问题,则表示问题已修改,在验证结果表中作出对应标识“验证通过”;若分析结果表中存在该对比日志的信息且分析模型与之前的可疑交易信息的分析模型相同,则表示问题未修改,在验证结果表中作出对应标识“验证不通过”;若分析结果表中存在该对比日志的信息但分析模型与之前可疑交易信息的分析模型不相同,则表示问题已修改,但存在新的问题,则在验证结果表中作出对应标识“验证通过”。
请参考图8所示,所述图形展示装置7包含系统设置单元71、数据读取单元72和数据展示单元73,所述图形设置单元71用于获取用户或系统对于图形的设置,包括图形类别、展示参数、更新频率、数据片段等信息;所述数据读取单元72用于根据系统设置单元71获取的用户设置,从数据库中获取相应数据,并以规定格式封装后传输至数据展示单元73;所述数据展示单元73用于将图像模板与数据结合,绘制并展示图形。
在本发明的另一方面上还提供一种基于信息交互的客户端性能监控方法,所述方法包含:监控客户端浏览器,抓取并保存客户端浏览器上关于信息交互的性能日志;将客户端的性能日志输出至服务端;于所述服务端读取和解析所述性能日志后,将解析后的所述性能信息存储到分布式数据库中;通过预定模型分析所述性能日志,获得所述性能日志中的可疑交易信息,根据所述可疑交易信息建立分析结果表并通过所述分析结果表利用机器学习技术改进所述预定模型的规则和/或阀值;根据所述客户端的分析结果表确定客户端的可疑交易信息以及所述可疑交易信息所对应的测试人员,并将所述可疑交易信息发送至所述测试人员修改。
在上述实施例中,进一步还包含对后续客户端浏览器性能日志的验证和显示过程,如比对问题修改前后性能日志的分析结果,验证问题的修改结果;以图形化的方式展示分析结果、历史数据、动态变化等维度的信息,具体请参考后续说明。
在上述监控客户端浏览器步骤中,抓取并保存客户端浏览器上关于信息交互的性能日志中还包含:当客户端浏览器打开时启动监听,并根据监听到的特定条件输出记录客户端浏览器的性能信息的控制指令或保存客户端浏览器的性能日志的控制指令;当监听到所述客户端浏览器进入业务系统时,记录当前页面的性能信息;当监听到所述客户端浏览器退出业务系统时,将所述性能信息以HAR日志的形式保存;具体请参考图9所示,在实际工作中步骤如下:
步骤S101:监控控制单元11在客户端浏览器打开时便启动监听,并根据不同的浏览器事件选择相应的处理分支;
步骤S102:当监控控制单元11监听到进入业务系统的事件时,会绑定当前浏览器的Tab页,将当前页面与信息记录单元12相关联;
步骤S103:信息记录单元12开始记录性能信息,记录当前页面发生的渲染时间、页面展示时间、请求级的详细信息等性能信息;
步骤S104:当监控控制单元11监听到退出业务系统的事件时,会将信息记录单元12监控到的所有信息以HAR日志的形式保存到客户端的本地磁盘上。
在上述日志推送步骤中,所述将客户端的性能日志输出至服务端还包含:当客户端监控到新的性能日志时,与服务器建立FTP连接;将性能日志与客户端地址通过FTP方式发送至服务端;当性能日志传输完毕后断开与服务器的连接,删除所述性能日志并将传输文件清单记录到传输日志中;具体请参考图10所示,在实际工作中步骤如下:
步骤S201:当日志传输单元21监控到日志存放目录有文件变化时,会发起向服务器的连接请求并建立彼此的连接;
步骤S202:与服务器建立FTP连接,将日志目录中的存量日志与客户端机器名一起通过FTP方式发送至服务器端;
步骤S203:当日志传输完成时断开与服务器的连接;
步骤S204:当日志传输成功时,删除本地的日志文件,并将传输文件清单记录到传输日志中。
在上述日志处理流程中,所述于所述服务端读取和解析所述性能日志后,将各级性能信息存储到分布式数据库中还包含:将所述客户端地址与所述性能日志关联后存储;读取并解析所述性能日志,获得所述性能日志中场景级信息;将所述场景级信息存储到分布式数据库中;具体请参考图11所示,在实际工作中步骤如下:
步骤S301:由日志读取单元31从日志文件列表中读取并打开日志文件;
步骤S302:由日志解析单元32以JSON方式解析HAR日志,获取其中的场景级信息,包括菜单名,场景耗时,上传、下载数据量,阻塞、连接、发送、等待、接收时间等信息;
步骤S303:由日志解析单元32获取场景中包含的功能级信息,包括:功能序号,渲染时间,页面展示时间,上传、下载数据量,阻塞、连接、发送、等待、接收时间等信息;
步骤S304:由日志解析单元32获取功能中包含的请求级信息,包括:请求地址,请求耗时,请求方法,发送、接收数据,阻塞、连接、发送、等待、接收时间,是否缓存、重定向地址等信息;
步骤S305:将日志传输单元21发送的客户端机器名与当前日志关联;
步骤S306:将上述流程获取到的信息保存到数据库的相应表中;
步骤S307:将已解析的日志文件保存到指定路径下作为存档。
在上述模型分析流程中,所述通过预定模型分析所述性能日志,获得所述性能日志中的可疑交易信息,根据所述可疑交易信息建立分析结果表并通过所述分析结果表利用机器学习技术改进所述预定模型的规则和/或阀值还包含:获取所述场景级信息,并通过请求超时分析模型、重复请求分析模型、资源缺失分析模型分析所述场景级信息,获得可疑交易信息;根据所述可疑交易信息建立分析结果表;通过所述分析结果表构建各模型的决策树,通过构建后的各模型的决策树修改所述预定模型的规则和/或阀值;具体请参考图12所示,在实际工作中步骤如下:
步骤S401:从数据库的相应表中读取所需要的数据,并进行一定的预处理;
步骤S402:根据模型算法对处理后的数据进行筛选;
步骤S403:将模型筛选出的符合模型的数据存入结果表中;
步骤S404:从数据库中读取输出单元63记录的结果表中的数据;
步骤S405:重新构建各模型的决策树,以优化分析模型的命中率。
在本发明所提供的基于信息交互的客户端性能监控方法中,所述根据所述客户端的分析结果表确定客户端的可疑交易信息以及所述可疑交易信息所对应的测试人员,并将所述可疑交易信息发送至所述测试人员修改的具体流程请参考图13所示,其步骤具体如下:
步骤S501:读取结果保存单元42输出的结果表中的数据;
步骤S502:将结果表中数据与日志保存单元33中的日志信息表、功能信息表、人员信息表进行匹配,获取分析结果表中对应的测试人员及开发人员的邮箱;
步骤S503:以邮件的方式将问题交易清单发送至测试人员及开发人员的邮箱。
在上述实施例中,所述比对问题修改前后性能日志的分析结果,验证问题的修改结果的具体流程请参考图14所示,其步骤如下:
步骤S601:根据问题交易的菜单、请求等信息进行比对,从问题交易修改之后的日志中得出相同交易场景的日志;
步骤S602:使用模型分析装置4分析对比日志;
步骤S603:获取结果保存单元42中输出的问题交易结果表中对比日志的相关信息;
步骤S604:将比对结果保存至验证结果表。
在上述实施例中,所述以图形化的方式展示分析结果、历史数据、动态变化等维度的信息的具体流程请参考图15所示,其步骤如下:
步骤S701:获取用户或系统对于图形的设置,包括图形类别、展示参数、更新频率、数据片段等信息;
步骤S702:获取设置的图形对应的后台数据,并按照要求更改数据格式;
步骤S703:将数据与图形框架进行关联,将数据按照格式填充到图形框架的数据块中;
步骤S704:对页面进行重绘,构建并显示完整的图形。
本发明通过抓取渲染时间、页面展示时间、请求级的详细信息等数据来反映用户的真实体验;通过监控客户端浏览器行为来实现自动化的记录性能信息,在对人工测试进行监控时做到对测试人员完全透明,在测试人员无感知的情况下进行实时的信息收集;通过利用分布式日志收集技术,能够实现分布式性能日志收集;通过建立请求超时、重复请求、资源缺失等分析模型,可以对性能日志进行批量分析,进而得出性能瓶颈,并且根据大数据分析技术自动的持续的优化改进模型规则与阀值,真正做到自动化分析;通过利用图形化展示技术,将分析结果、历史数据、动态变化等维度的信息以图形化的方式直观的展示出来。
以此实现了客户端性能监控的全流程自动化,覆盖了性能监控、日志收集、日志保存、模型分析、问题验证、图形展示的客户端性能监控的各个环节。通过采集渲染时间、页面加载时间等与信息交互息息相关的性能信息以及请求级的数据信息,不仅能够获取到更贴近用户真实体验的性能数据,也能够更加精准的定位性能瓶颈,实现具体到请求级的性能分析。另外,通过结合分布式存储与机器学习技术,能够利用大数据技术对海量性能信息进行统计与分析,实现更精确的模型分析与更全面的图形展示。本发明从整体上减少了人工干预的程度和精力投入,降低了客户端性能监控成本,弥补了目前客户端自动化性能监控方面的短板。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (13)

1.一种基于信息交互的客户端性能监控装置,其特征在于,所述装置包含客户端和服务端;
所述客户端包含客户端浏览器监控模块和日志推送模块;
所述服务端包含日志处理模块、模型分析模块和结果推送模块;
所述客户端浏览器模块用于抓取并保存客户端浏览器上关于信息交互的性能日志;
所述日志推送模块与所述客户端浏览器相连,用于将所述性能日志输出;
所述日志处理模块与所述日志推送模块相连,用于读取和解析所述性能日志后,存储所述性能日志;
所述模型分析模块与所述日志处理模块相连,用于通过预定模型分析解析后的所述性能日志,获得所述性能日志中的可疑交易信息,根据所述可疑交易信息建立分析结果表并通过所述分析结果表利用机器学习技术改进所述预定模型的规则和/或阀值;
所述结果推送模块与所述模型分析模块相连,用于根据所述客户端的分析结果表确定客户端的可疑交易信息以及所述可疑交易信息所对应的测试人员,并将所述可疑交易信息发送至所述测试人员修改。
2.根据权利要求1所述的基于信息交互的客户端性能监控装置,其特征在于,所述客户端浏览器监控模块包含监控控制单元、信息记录单元和日志保存单元;
所述监控控制单元用于监听客户端浏览器的运行状态,并根据监听到的特定条件输出记录客户端浏览器的性能信息的控制指令或保存客户端浏览器的性能日志的控制指令;
所述信息记录单元用于根据所述监控控制单元输出的控制指令,记录客户端浏览器的性能信息,并以场景、功能、请求的层级结构将结果存储为性能日志;
所述日志保存单元用于根据所述监控控制单元输出的控制指令,将性能日志保存为符合统一规范的HAR文件。
3.根据权利要求1所述的基于信息交互的客户端性能监控装置,其特征在于,所述日志推送模块包含日志传输单元和日志清理单元;
所述日志传输单元用于将所述性能日志传输至服务端;
所述日志清理单元用于在所述性能日志传输完毕后,删除客户端存储的所述性能日志。
4.根据权利要求1所述的基于信息交互的客户端性能监控装置,其特征在于,所述日志处理模块包含日志读取单元、日志解析单元和日志保存单元;
所述日志读取单元用于打开并读取性能日志;
所述日志解析单元用于解析所述性能日志,获取客户端浏览器页面的运行状态信息,并将所述运行状态信息以链表的结构,按请求发起的顺序存储至所述日志保存单元;
所述日志保存单元用于将存储的所述运行状态信息保存至分布式数据库。
5.根据权利要求1所述的基于信息交互的客户端性能监控装置,其特征在于,所述模型分析模块包含模型匹配单元、结果保存单元和模型优化单元;
所述模型匹配单元用于将解析后的所述性能信息与预定模型中的请求超时分析模型、重复请求分析模型、资源缺失分析模型相匹配,过滤出符合模型的可疑交易信息并记录模型信息,通过所述模型信息和所述可疑交易信息确认所述客户端的性能瓶颈;
所述结果保存单元用于将过滤出的可疑交易信息记录到分析结果表中;
所述模型优化单元用于分析可疑交易信息的特点,利用决策树学习方法,针对不同分析模型,根据性能日志和分析结果表抽取样本数据并构建决策树,通过所述决策树修改对应分析模型的规则和/或阀值。
6.根据权利要求5所述的基于信息交互的客户端性能监控装置,其特征在于,所述结果推送模块包含结果分配单元和结果发送单元;
所述结果分配单元用于根据所述分析结果表中的可疑交易信息定位对应的测试人员;
所述结果发送单元用于将所述可疑交易信息发送至对应的测试人员修改。
7.根据权利要求1所述的基于信息交互的客户端性能监控装置,其特征在于,所述服务端还包含问题验证模块,所述问题验证模块与所述结果推送模块相连,用于将所述问题交易清单存储至历史数据,以及将所述历史数据与后续获得的问题交易清单相比对验证,判断所述历史数据中交易问题是否被修改并输出验证结果。
8.根据权利要求1所述的基于信息交互的客户端性能监控装置,其特征在于,所述服务端还包含图形展示模块,所述图形展示模块与所述问题验证模块相连,用于根据预定模板于所述服务端获得对应数据并显示输出。
9.一种基于信息交互的客户端性能监控方法,其特征在于,所述方法包含:
监控客户端浏览器,抓取并保存客户端浏览器上关于信息交互的性能日志;
将客户端的性能日志输出至服务端;
于所述服务端读取和解析所述性能日志后,将解析后的所述性能信息存储到分布式数据库中;
通过预定模型分析所述性能日志,获得所述性能日志中的可疑交易信息,根据所述可疑交易信息建立分析结果表并通过所述分析结果表利用机器学习技术改进所述预定模型的规则和/或阀值;
根据所述客户端的分析结果表确定客户端的可疑交易信息以及所述可疑交易信息所对应的测试人员,并将所述可疑交易信息发送至所述测试人员修改。
10.根据权利要求9所述的基于信息交互的客户端性能监控方法,其特征在于,所述监控客户端浏览器,抓取并保存客户端浏览器上关于信息交互的性能日志包含:
当客户端浏览器打开时启动监听,并根据监听到的特定条件输出记录客户端浏览器的性能信息的控制指令或保存客户端浏览器的性能日志的控制指令;
当监听到所述客户端浏览器进入业务系统时,记录当前页面的性能信息;
当监听到所述客户端浏览器退出业务系统时,将所述性能信息以HAR日志的形式保存。
11.根据权利要求9所述的基于信息交互的客户端性能监控方法,其特征在于,所述将客户端的性能日志输出至服务端包含:
当客户端监控到新的性能日志时,与服务器建立FTP连接;
将性能日志与客户端地址通过FTP方式发送至服务端;
当性能日志传输完毕后断开与服务器的连接,删除所述性能日志并将传输文件清单记录到传输日志中。
12.根据权利要求10所述的基于信息交互的客户端性能监控方法,其特征在于,所述于所述服务端读取和解析所述性能日志后,将各级性能信息存储到分布式数据库中包含:
将所述客户端地址与所述性能日志关联后存储;
读取并解析所述性能日志,获得所述性能日志中场景级信息;
将所述场景级信息存储到分布式数据库中。
13.根据权利要求12所述的基于信息交互的客户端性能监控方法,其特征在于,所述通过预定模型分析所述性能日志,获得所述性能日志中的可疑交易信息,根据所述可疑交易信息建立分析结果表并通过所述分析结果表利用机器学习技术改进所述预定模型的规则和/或阀值包含:
获取所述场景级信息,并通过请求超时分析模型、重复请求分析模型、资源缺失分析模型分析所述场景级信息,获得可疑交易信息;
根据所述可疑交易信息建立分析结果表;
通过所述分析结果表构建各模型的决策树,通过构建后的各模型的决策树修改所述预定模型的规则和/或阀值。
CN201610851382.8A 2016-09-26 2016-09-26 基于信息交互的客户端性能监控装置及方法 Active CN106407078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610851382.8A CN106407078B (zh) 2016-09-26 2016-09-26 基于信息交互的客户端性能监控装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610851382.8A CN106407078B (zh) 2016-09-26 2016-09-26 基于信息交互的客户端性能监控装置及方法

Publications (2)

Publication Number Publication Date
CN106407078A true CN106407078A (zh) 2017-02-15
CN106407078B CN106407078B (zh) 2019-06-25

Family

ID=57997510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610851382.8A Active CN106407078B (zh) 2016-09-26 2016-09-26 基于信息交互的客户端性能监控装置及方法

Country Status (1)

Country Link
CN (1) CN106407078B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107402969A (zh) * 2017-06-28 2017-11-28 郑州云海信息技术有限公司 一种存储性能统计方法及系统
CN107798529A (zh) * 2017-03-28 2018-03-13 平安壹钱包电子商务有限公司 交易数据监控方法及装置
CN107809337A (zh) * 2017-11-17 2018-03-16 深圳泉眼体育运营管理有限公司 一种日志上传方法及装置
CN108449237A (zh) * 2018-05-23 2018-08-24 平安壹钱包电子商务有限公司 网络性能监测方法、装置、计算机设备和存储介质
CN109284429A (zh) * 2018-08-16 2019-01-29 京信通信系统(中国)有限公司 新闻数据推送方法、装置、系统和存储介质
CN110941543A (zh) * 2019-11-26 2020-03-31 太平金融科技服务(上海)有限公司 日志处理方法、装置、计算机设备和存储介质
CN111639022A (zh) * 2020-05-16 2020-09-08 中信银行股份有限公司 交易测试方法及装置、存储介质、电子装置
WO2020211359A1 (zh) * 2019-04-19 2020-10-22 平安科技(深圳)有限公司 系统性能瓶颈定位方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102684934A (zh) * 2011-03-17 2012-09-19 阿里巴巴集团控股有限公司 监控web应用程序性能的方法、系统和web服务器
CN102981945A (zh) * 2012-12-31 2013-03-20 北京京东世纪贸易有限公司 一种可靠性能监控系统及方法
CN103178988A (zh) * 2013-02-06 2013-06-26 中电长城网际系统应用有限公司 一种性能优化的虚拟化资源的监控方法和系统
CN103389715A (zh) * 2013-07-26 2013-11-13 浪潮电子信息产业股份有限公司 一种高性能的分布式数据中心监控架构
US20150081881A1 (en) * 2013-09-17 2015-03-19 Stackdriver, Inc. System and method of monitoring and measuring cluster performance hosted by an iaas provider by means of outlier detection
CN104754608A (zh) * 2013-12-25 2015-07-01 腾讯科技(深圳)有限公司 实现移动终端性能监控的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102684934A (zh) * 2011-03-17 2012-09-19 阿里巴巴集团控股有限公司 监控web应用程序性能的方法、系统和web服务器
CN102981945A (zh) * 2012-12-31 2013-03-20 北京京东世纪贸易有限公司 一种可靠性能监控系统及方法
CN103178988A (zh) * 2013-02-06 2013-06-26 中电长城网际系统应用有限公司 一种性能优化的虚拟化资源的监控方法和系统
CN103389715A (zh) * 2013-07-26 2013-11-13 浪潮电子信息产业股份有限公司 一种高性能的分布式数据中心监控架构
US20150081881A1 (en) * 2013-09-17 2015-03-19 Stackdriver, Inc. System and method of monitoring and measuring cluster performance hosted by an iaas provider by means of outlier detection
CN104754608A (zh) * 2013-12-25 2015-07-01 腾讯科技(深圳)有限公司 实现移动终端性能监控的方法和系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798529A (zh) * 2017-03-28 2018-03-13 平安壹钱包电子商务有限公司 交易数据监控方法及装置
CN107402969A (zh) * 2017-06-28 2017-11-28 郑州云海信息技术有限公司 一种存储性能统计方法及系统
CN107809337A (zh) * 2017-11-17 2018-03-16 深圳泉眼体育运营管理有限公司 一种日志上传方法及装置
CN108449237A (zh) * 2018-05-23 2018-08-24 平安壹钱包电子商务有限公司 网络性能监测方法、装置、计算机设备和存储介质
CN109284429A (zh) * 2018-08-16 2019-01-29 京信通信系统(中国)有限公司 新闻数据推送方法、装置、系统和存储介质
CN109284429B (zh) * 2018-08-16 2021-12-28 京信网络系统股份有限公司 新闻数据推送方法、装置、系统和存储介质
WO2020211359A1 (zh) * 2019-04-19 2020-10-22 平安科技(深圳)有限公司 系统性能瓶颈定位方法及系统
CN110941543A (zh) * 2019-11-26 2020-03-31 太平金融科技服务(上海)有限公司 日志处理方法、装置、计算机设备和存储介质
CN111639022A (zh) * 2020-05-16 2020-09-08 中信银行股份有限公司 交易测试方法及装置、存储介质、电子装置

Also Published As

Publication number Publication date
CN106407078B (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
CN106407078A (zh) 基于信息交互的客户端性能监控装置及方法
CN103186600B (zh) 互联网舆情的专题分析方法和装置
CN102075963A (zh) 一种移动业务数据采集分析方法及系统
CN102833111B (zh) 一种可视化http数据监管方法及装置
CN104346480A (zh) 信息挖掘方法和装置
CN105405221A (zh) 一种自动化测试的方法及装置
WO2022151815A1 (zh) 一种终端设备的安全状态判断方法及装置
CN114648393A (zh) 一种应用于招投标的数据挖掘方法、系统及设备
CN103490978A (zh) 终端、服务器和消息监视方法
CN101354706A (zh) 一种收集网页信息的方法及装置
CN102271331B (zh) 一种检测业务提供商sp站点可靠性的方法及系统
CN113221535B (zh) 情报处理方法、装置、计算机设备和存储介质
CN106330661A (zh) 一种数据集中处理方法
CN111666193A (zh) 基于实时日志解析的终端功能监控与测试的方法与系统
CN113469704A (zh) 一种自动推荐客户服务策略的系统和方法
CN107734534B (zh) 一种网络负荷评估方法及装置
CN202535378U (zh) 一种检化验数据处理装置
CN111652399A (zh) 一种办税服务厅人脸识别无感刷脸取号的实现系统
CN105491136A (zh) 消息发送方法和装置
CN110442799B (zh) 基于数据管理平台的方案推送方法、装置及设备
CN113158842A (zh) 一种识别方法、系统、设备及介质
CN112579391A (zh) 一种基于人工智能的分布式数据库自动运维方法及系统
CN110515955A (zh) 数据的存储、查询方法、系统、电子设备和存储介质
CN111143688A (zh) 一种基于移动新闻客户端的评估方法及其系统
CN115630170B (zh) 一种文档推荐方法、系统、终端机及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant