CN114020565A - 日志智能采集处理方法、装置、电子设备及存储介质 - Google Patents

日志智能采集处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114020565A
CN114020565A CN202111266289.8A CN202111266289A CN114020565A CN 114020565 A CN114020565 A CN 114020565A CN 202111266289 A CN202111266289 A CN 202111266289A CN 114020565 A CN114020565 A CN 114020565A
Authority
CN
China
Prior art keywords
log
intelligent
page
user
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111266289.8A
Other languages
English (en)
Inventor
李安冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen One Account Technology Co ltd
Original Assignee
Shenzhen One Account Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen One Account Technology Co ltd filed Critical Shenzhen One Account Technology Co ltd
Priority to CN202111266289.8A priority Critical patent/CN114020565A/zh
Publication of CN114020565A publication Critical patent/CN114020565A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3051Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种日志智能采集处理方法、装置、电子设备及存储介质。所述方法包括:在确定用户访问页面出现页面反馈时,向用户提示是否开启日志上报功能;若确定开启日志上报功能,则提示用户重试访问页面出现页面反馈时对应的页面操作路径,并启动网页应用中预添加的日志采集点;在重试页面操作路径时,通过启动的日志采集点执行日志采集操作,并将采集的日志信息上报给日志服务器。采用本申请方案,根据用户需求来适应性开启日志上报功能,用户未反馈时不开启智能采集点,不影响用户体验性,当用户反馈时适时开启智能采集点;且,通过在使用前向网页应用中预添加智能采集点能保证后续日志采集的全面性,能减少出现日志采集遗漏。

Description

日志智能采集处理方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及数据处理技术领域,尤其涉及一种日志智能采集处理方法、装置、电子设备及存储介质。
背景技术
日志在数据处理技术领域是一个很宽泛的概念,通过浏览器可以采集与上报日志到服务器。但是,现有日志采集比较固化,主要是通过研发人员在代码中配置采集点,但存在一部分生产环境出现异常而未配置相关采集点,导致研发、测试人员无法通过日志进行快速定位异常问题所产生原因。因此,如何获取到全面的日志信息以准确定位到异常问题成了迫切解决的问题。
发明内容
本发明实施例中提供了一种日志智能采集处理方法、装置、电子设备及存储介质,以实现对日志采集点进行启动控制进行日志全面采集上报。
第一方面,本发明实施例中提供了一种日志智能采集处理方法,应用于网页应用设备,所述方法包括:
在确定用户访问页面出现页面反馈时,向用户提示是否开启日志上报功能;
若确定开启日志上报功能,则提示用户重试访问页面出现页面反馈时对应的页面操作路径,并启动网页应用中预添加的日志采集点;
在重试页面操作路径时,通过启动的日志采集点执行日志采集操作,并将采集的日志信息上报给日志服务器。
第二方面,本发明实施例中还提供了一种日志智能采集处理装置,配置于网页应用设备,所述装置包括:
日志上报提示模块,用于在确定用户访问页面出现页面反馈时,向用户提示是否开启日志上报功能;
智能采集启动模块,用于若确定开启日志上报功能,则提示用户重试访问页面出现页面反馈时对应的页面操作路径,并启动网页应用中预添加的智能日志采集点;
日志智能采集模块,用于在重试页面操作路径时,通过启动的智能日志采集点执行日志采集操作,并将采集的日志信息上报给日志服务器。
第三方面,本发明实施例中还提供了一种电子设备,包括:
一个或多个处理装置;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现如本发明任意实施例中提供的所述日志智能采集处理方法。
第四方面,本发明实施例中还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理装置执行时实现如本发明任意实施例中提供的所述日志智能采集处理方法。
本发明实施例中提供了一种日志智能采集处理方法,当确定用户访问页面出现页面反馈时,会向用户提示询问是否开启日志上报功能,如果确定用户开启日志上报功能,则提示用户重试访问页面出现页面反馈时对应的页面操作路径,并启动网页应用中预添加的智能日志采集点;会根据用户的需求来适应性开启日志上报功能,用户未反馈时预先添加的智能采集点未开启,不影响用户体验性,当用户反馈时适时开启智能采集点,能够帮助开发、测试人员定位还原解决问题,对用户问题做出积极有效反馈;同时,通过启动的日志采集点执行日志采集操作,并将采集的日志信息上报给日志服务器,通过在使用前向网页应用中预添加智能采集点可以保证后续日志采集的全面性,尽可能减少出现日志采集遗漏的情况。
上述发明内容仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明实施例中提供的一种日志智能采集处理方法的流程图;
图2是本发明实施例中提供的一种日志智能采集处理中新增智能采集点的流程图;
图3是本发明实施例中提供的另一种日志智能采集处理方法的流程图;
图4是本发明实施例中提供的一种日志智能采集处理中日志上报的流程图;
图5是本发明实施例中提供的一种日志智能采集处理装置的结构框图;
图6是本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前,应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
下面通过以下各个实施例及其可选方案对本申请中提供的日志智能采集处理方法、装置、电子设备及存储介质进行详细阐述。
图1是本发明实施例中提供的一种日志智能采集处理方法的流程图。本发明实施例可适用于在使用网页应用访问页面时进行日志采集的情况。该方法可由日志智能采集处理装置来执行,该装置可以采用软件和/或硬件的方式实现,并集成在任何具有网络通信功能的电子设备上,该电子设备可以为网页应用设备,比如安装有浏览器应用的设备。
如图1所示,本申请实施例中提供的日志智能采集处理方法,可包括以下步骤:
S110、在确定用户访问页面出现页面反馈时,向用户提示是否开启日志上报功能。
用户可通过网页应用访问页面(比如网页应用可为浏览器应用),并在页面操作时确定是否进行页面反馈。例如,用户访问页面的页面反馈可以包括但不限于用户对访问的页面时主动反馈或页面操作出现问题时的异常反馈。
在通过网页应用收到用户访问页面出现的页面反馈后,可以向用户使用的网页应用设备发送页面反馈处理通知,通过页面反馈处理通知可以询问提示用户是否需要开启日志上报功能。例如,可以根据页面反馈处理通知在网页应用设备的显示屏幕上显示询问用户是否开启日志上报功能的内容;或者,根据页面反馈处理通知在网页应用设备上生成弹窗来询问用户是否开启日志上报功能。
S120、若确定开启日志上报功能,则提示用户重试访问页面出现页面反馈时对应的页面操作路径,并启动网页应用中预添加的智能日志采集点。
若确定不开启日志上报功能,表明用户没有进行日志采集的需求,此时将用户的页面反馈信息提交到日志服务器,且不启动智能日志采集点。若确定开启日志上报功能,表明用户有进行日志采集的需求,此时可以向用户发送异常重试提示信息,通过异常重试提示信息提示按照用户刚刚访问页面出现页面反馈时对应执行的页面操作路径,重新尝试执行一遍页面操作。
同时,可以启动在网页应用的源文件中所预添加的智能日志采集点,以实现日志采集点的补充,避免因存在一部分生产环境出现异常而未配置相关的采集点。这样,根据用户的需求来适应性开启日志上报功能,当用户反馈时适时才开启智能采集点,能够帮助开发、测试人员定位还原解决问题,而用户未反馈时预先添加的智能采集点未开启,不影响用户体验性。
在本实施例的一种可选方案中,网页应用中预添加的智能日志采集点包括在向代码仓库提交网页应用的源文件时,通过启动预配置的智能采集点工具对源文件进行检测并提示新增的日志采集点,尽可能避免由于研发人员对代码配置时存在一部分生产环境出现异常而遗漏配置相关的采集点。
在本实施例的一种可选方案中,在检测到网页应用的源文件向代码仓库提交时,启动预配置的智能采集点工具;采用智能采集点工具对提交的源文件进行扫描,确定提交的源文件中是否需要新增日志采集点;若确定则在源文件中新增添加能够执行日志采集逻辑的智能日志采集点,并将添加有新增的智能日志采集点的源文件上传到代码仓库,供用户下载包括源文件的网页应用。
在本实施例的一种可选方案中,启动网页应用中预添加的智能日志采集点,可以包括以下步骤A1-A2:
步骤A1、对网页应用中进行日志采集点检测,确定在网页应用的源文件中预添加的智能日志采集点并开启。
步骤A2、将用户访问页面出现的页面反馈信息上报给日志服务器,并备注已开启的智能日志采集点等待执行日志采集操作。
检测网页应用中源文件中是否存在预添加的智能日志采集点,若检测到的预添加的智能日志采集点则对智能日志采集点进行启动。将用户反馈的用户访问页面出现的页面反馈信息提交到服务器,并通知日志服务器对已开启的智能日志采集点进行状态备注。
在本实施例的一种可选方案中,通过预设智能采集点工具对源文件进行检测并提示新增的日志采集点,可包括以下步骤中一项或多项:
步骤B1、检测源文件中是否有新增接口;如果有则添加新增接口,以生成新增的日志采集点。
步骤B2、检测源文件中是否有新增功能函数;如果有则添加新增功能函数调用时机以及函数使用前后数据变更的采集点,以生成新增的日志采集点。
步骤B3、检测源文件中是否有新增状态数据或对状态数据的操作变更;如果有则添加数据变更前后的采集点,以生成新增的日志采集点。
步骤B4、检测源文件中是否有对window以及document的全局变量变更操作;如果有则添加window以及documnet变更前后的采集点,以生成新增的日志采集点。
参见图2,在研发人员向代码仓库提交网页应用的源文件时,启动预先配置的智能采集点工具,通过智能采集点工具动态扫描检测提交的网页应用的源文件,判断是否需要向源文件中新增日志采集点。比如,检测提交的源文件是否有新增接口,有则添加接口返回数据采集点;检测提交的源文件是否有新增功能方法,有则添加功能方法调用时机、方法使用前后数据变更的采集点;检测提交的源文件是否有新增状态数据或对状态数据的变更,有则添加数据变更采集点;检测提交的源文件是否有对window、document等的全局变量变更,有则添加window、documnet等变更前后的采集点等。
参见图2,智能采集点工具提示研发人员是否新增智能采集。若研发人员同意新增智能采集点,则提交包含新增智能采集点的源文件到代码仓库。若研发人员不同意新增智能采集点,则提示研发人员是否将智能采集点添加到本地。若确定将智能采集点添加到本地,则将不包含新增智能采集点的源文件上传到代码仓库,并将新增智能采集点数据添加到本地,以便研发人员修改;若不将智能采集点添加到本地,则对不包含新增智能采集点的源文件打标签并提交到代码仓库。
S130、在重试页面操作路径时,通过启动的智能日志采集点执行日志采集操作,并将采集的日志信息上报给日志服务器。
在用户按照页面操作路径重现尝试执行页面访问时,可以通过启动的日志采集点执行日志采集操作,实现有目标的进行日志采集,通过在使用前向网页应用中预添加智能采集点可以保证后续日志采集的全面性,尽可能减少出现日志采集遗漏的情况,避免存在一部分生产环境出现异常而未配置相关的采集点。
在本实施例的一种可选方案中,通过启动的智能日志采集点执行日志采集操作,可以包括以下步骤:
执行智能志采集点的日志采集逻辑,对网页数据进行采集生成日志信息;
其中,网页数据包括网页中数据的变更过程、方法的访问次序、网页的渲染过程以及接口的访问数据。
当用户上报异常页面反馈时,通过启动的智能日志采集点,将网页中数据的变更过程、方法的访问次序、网页的渲染过程、接口的访问等数据采集成日志并发送给服务器,提高研发、测试人员快速定位问题的速度,能够帮助开发人员、测试人员定位还原解决问题,对用户的问题做出积极有效反馈。
根据本发明实施例中提供的日志智能采集处理方法,根据用户的需求来适应性开启日志上报功能,用户未反馈时预先添加的智能采集点未开启,不影响用户体验性,当用户反馈时适时开启智能采集点,能够帮助开发、测试人员定位还原解决问题,对用户问题做出积极有效反馈;同时,通过启动在使用前向网页应用中预添加智能采集点可以保证后续日志采集的全面性,尽可能减少出现日志采集遗漏的情况。
在上述实施例的基础上,可选地,在通过启动的智能日志采集点执行日志采集操作之后,还包括以下步骤:
向用户提示是否已经执行完成所述访问页面出现页面反馈时对应的页面操作路径的重试过程。若确定未执行完成,则通过启动的智能日志采集点持续进行日志采集操作并上报生成的日志信息,直至用户或后台主动关闭。若确定已经执行完成,则关闭已经启动的智能日志采集点不再进行日志采集,避免因智能采集点的开启占用资源,影响用户页面访问体验。
图3是本发明实施例中提供的另一种日志智能采集处理方法的流程图,本发明实施例在上述实施例的基础上对前述实施例进行进一步优化,本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图3所示,本申请实施例中提供的日志智能采集处理方法,可包括以下步骤:
S310、在确定用户访问页面出现页面反馈时,向用户提示是否开启日志上报功能。
其中,网页应用中预添加的智能日志采集点包括在向代码仓库提交网页应用的源文件时,通过启动预配置的智能采集点工具对源文件进行检测并提示新增的日志采集点。
S320、若确定开启日志上报功能,则提示用户重试访问页面出现页面反馈时对应的页面操作路径,并启动网页应用中预添加的智能日志采集点。
S330、在重试页面操作路径时,通过启动的智能日志采集点执行日志采集操作,得到采集生成的日志信息。
S340、将采集的日志信息记录在网页应用本地数据库。
网页应用(比如浏览器)收到用户通过启动智能日志采集点执行日志采集操作采集的日志信息,并将采集的日志信息记录到本地数据库IndexDB。日志信息包括网页应用的版本、网页应用IP地址、日志采集起止时间以及日志采集类型。其中,日志采集类型包括用户反馈、主动上报以及异常上报等。
S350、将记录的日志信息同步到网页应用设备所属集群,以使网页应用设备所属集群中空闲的网页应用设备将日志信息统一上报给日志服务器。
考虑到网页应用日志上报的频率比较固化,无法实时更新,因此一种更灵活的日志上报方案,将多个网页应用构建成一个网页应用集群,浏览器日志同步到浏览器集群中。由网页应用集群统一调度分配,网页应用不再直接将采集的日志信息上报给日志服务器,而是让网页应用将采集的额日志信息同步给同属一个网页应用集群中的空闲网页应用设备,由网页应用集群中空闲的网页应用统一调度分配更新上报日志服务器。
上述方式能够实现日志的高可用、高效上传,保证日志能够以最优、最快的方式上传到服务器上,保证服务器上的日志能够是最新状态不仅可以提升日志的更新上报速率,而且能够保证最新日志能够上报到服务器。
在本实施例的一种可选方案中,网页应用设备所属集群中空闲的网页应用设备将所述日志信息统一上报给日志服务器,可包括以下步骤C1-C2:
步骤C1、网页应用设备所属集群中空闲的网页应用设备,根据日志信息的日志采集类型和/或日志内容细节信息,确定日志信息的上报紧急程度。
步骤C2、按照日志信息的上报紧急程度,依次序将从各个网络应用设备同步的日志信息统一上报给日志服务器。
其中,日志采集类型包括用户反馈、主动上报以及异常上报。
参见图4,网页应用集群同步到网页应用同步的日志信息,根据日志信息的内容以及日志采集类型,判定日志信息的紧急程度,初始紧急度为0。确定日志信息的上报紧急程度包括:如果日志为用户主动反馈,则为最紧急日志配置紧急度为1;如果是异常日志,则为次紧急日志,配置紧急度为1/2;如果日志在网页应用停留时间达到预设的临界值的n倍,则紧急度为n;同一紧急度下,按时间排序来分配紧急程度。网页应用设备所属集群中空闲的网页应用设备按日志紧急度排序上报服务器,上报成功后,同步删除集群日志信息。
根据本发明实施例中提供的日志智能采集处理方法,根据用户的需求来适应性开启日志上报功能,用户未反馈时预先添加的智能采集点未开启,不影响用户体验性,当用户反馈时适时开启智能采集点,能够帮助开发、测试人员定位还原解决问题,对用户问题做出积极有效反馈;同时,通过启动在使用前向网页应用中预添加智能采集点可以保证后续日志采集的全面性,尽可能减少出现日志采集遗漏的情况。同时,改进了目前浏览器日志上报频率比较固化,无法实时更新,浏览器关闭则日志无法继续上传等问题,能够实现日志的高可用以及高效上传,保证日志能够以最优、最快的方式上传到服务器上,保证服务器上的日志能够是最新状态。
图5是本发明实施例中提供的一种日志智能采集处理装置的结构框图。本发明实施例可适用于在使用网页应用访问页面时进行日志采集的情况。该装置可以采用软件和/或硬件的方式实现,并集成在任何具有网络通信功能的电子设备上,该电子设备可以为网页应用设备,比如安装有浏览器应用的设备。
如图5所示,本申请实施例中提供的日志智能采集处理装置,可包括:日志上报提示模块510、智能采集启动模块520以及日志智能采集模块530。其中:
日志上报提示模块510,用于在确定用户访问页面出现页面反馈时,向用户提示是否开启日志上报功能;
智能采集启动模块520,用于若确定开启日志上报功能,则提示用户重试访问页面出现页面反馈时对应的页面操作路径,并启动网页应用中预添加的智能日志采集点;
日志智能采集模块530,用于在重试页面操作路径时,通过启动的智能日志采集点执行日志采集操作,并将采集的日志信息上报给日志服务器。
在上述实施例的基础上,可选地,智能采集启动模块520包括:
对网页应用中进行日志采集点检测,确定在网页应用的源文件中预添加的智能日志采集点并开启;
将用户访问页面出现的页面反馈信息上报给日志服务器,并备注已开启的智能日志采集点等待执行日志采集操作。
在上述实施例的基础上,可选地,日志智能采集模块530包括:
执行智能志采集点的日志采集逻辑,对网页数据进行采集生成日志信息;
其中,所述网页数据包括网页中数据的变更过程、方法的访问次序、网页的渲染过程以及接口的访问数据。
在上述实施例的基础上,可选地,在通过启动的智能日志采集点执行日志采集操作之后,所述装置还包括:
向用户提示是否已经执行完成所述访问页面出现页面反馈时对应的页面操作路径的重试过程;
若确定未执行完成,则通过启动的智能日志采集点持续进行日志采集操作并上报生成的日志信息,直至用户或后台主动关闭。
在上述实施例的基础上,可选地,网页应用中预添加的智能日志采集点包括在向代码仓库提交网页应用的源文件时,通过启动预配置的智能采集点工具对源文件进行检测并提示新增的日志采集点。
在上述实施例的基础上,可选地,通过预设智能采集点工具对源文件进行检测并提示新增的日志采集点,包括:
检测源文件中是否有新增接口;如果有则添加新增接口,以生成新增的日志采集点;
检测源文件中是否有新增功能函数;如果有则添加新增功能函数调用时机以及函数使用前后数据变更的采集点,以生成新增的日志采集点;
检测源文件中是否有新增状态数据或对状态数据的操作变更;如果有则添加数据变更前后的采集点,以生成新增的日志采集点;
检测源文件中是否有对window以及document的全局变量变更操作;如果有则添加window以及documnet变更前后的采集点,以生成新增的日志采集点。
在上述实施例的基础上,可选地,日志智能采集模块530包括:
将采集的日志信息记录在网页应用本地数据库;
将记录的所述日志信息同步到所述网页应用设备所属集群,以使网页应用设备所属集群中空闲的网页应用设备将所述日志信息统一上报给日志服务器。
在上述实施例的基础上,可选地,所述日志信息包括网页应用的版本、网页应用IP地址、日志采集起止时间以及日志采集类型。
在上述实施例的基础上,可选地,网页应用设备所属集群中空闲的网页应用设备将所述日志信息统一上报给日志服务器,包括:
网页应用设备所属集群中空闲的网页应用设备,根据日志信息的日志采集类型和/或日志内容细节信息,确定所述日志信息的上报紧急程度;
按照所述日志信息的上报紧急程度,依次序将从各个网络应用设备同步的日志信息统一上报给日志服务器;
其中,所述日志采集类型包括用户反馈、主动上报以及异常上报。
本发明实施例中所提供的日志智能采集处理装置可执行上述本发明任意实施例中所提供的日志智能采集处理方法,具备执行该日志智能采集处理方法相应的功能和有益效果,详细过程参见前述实施例中日志智能采集处理方法的相关操作。
图6是本发明实施例中提供的一种电子设备的结构示意图。如图6所示结构,本发明实施例中提供的电子设备包括:一个或多个处理器610和存储装置620;该电子设备中的处理器610可以是一个或多个,图6中以一个处理器610为例;存储装置620用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器610执行,使得所述一个或多个处理器610实现如本发明实施例中任一项所述的日志智能采集处理方法。
该电子设备还可以包括:输入装置630和输出装置640。
该电子设备中的处理器610、存储装置620、输入装置630和输出装置640可以通过总线或其他方式连接,图6中以通过总线连接为例。
该电子设备中的存储装置620作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本发明实施例中所提供的日志智能采集处理方法对应的程序指令/模块。处理器610通过运行存储在存储装置620中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述方法实施例中日志智能采集处理方法。
存储装置620可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储装置620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置620可进一步包括相对于处理器610远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
并且,当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器610执行时,程序进行如下操作:
在确定用户访问页面出现页面反馈时,向用户提示是否开启日志上报功能;
若确定开启日志上报功能,则提示用户重试访问页面出现页面反馈时对应的页面操作路径,并启动网页应用中预添加的智能日志采集点;
在重试页面操作路径时,通过启动的智能日志采集点执行日志采集操作,并将采集的日志信息上报给日志服务器。
当然,本领域技术人员可以理解,当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器610执行时,程序还可以进行本发明任意实施例中所提供的日志智能采集处理方法中的相关操作。
本发明实施例中提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时用于执行日志智能采集处理方法,该方法包括:
在确定用户访问页面出现页面反馈时,向用户提示是否开启日志上报功能;
若确定开启日志上报功能,则提示用户重试访问页面出现页面反馈时对应的页面操作路径,并启动网页应用中预添加的智能日志采集点;
在重试页面操作路径时,通过启动的智能日志采集点执行日志采集操作,并将采集的日志信息上报给日志服务器。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read Only Memory,ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于:电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、无线电频率(RadioFrequency,RF)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种日志智能采集处理方法,其特征在于,应用于网页应用设备,所述方法包括:
在确定用户访问页面出现页面反馈时,向用户提示是否开启日志上报功能;
若确定开启日志上报功能,则提示用户重试访问页面出现页面反馈时对应的页面操作路径,并启动网页应用中预添加的智能日志采集点;
在重试页面操作路径时,通过启动的智能日志采集点执行日志采集操作,并将采集的日志信息上报给日志服务器。
2.根据权利要求1所述的方法,其特征在于,启动网页应用中预添加的智能日志采集点,包括:
对网页应用中进行日志采集点检测,确定在网页应用的源文件中预添加的智能日志采集点并开启;
将用户访问页面出现的页面反馈信息上报给日志服务器,并备注已开启的智能日志采集点等待执行日志采集操作。
3.根据权利要求1所述的方法,其特征在于,通过启动的智能日志采集点执行日志采集操作,包括:
执行智能志采集点的日志采集逻辑,对网页数据进行采集生成日志信息;
其中,所述网页数据包括网页中数据的变更过程、方法的访问次序、网页的渲染过程以及接口的访问数据。
4.根据权利要求1所述的方法,其特征在于,在通过启动的智能日志采集点执行日志采集操作之后,还包括:
向用户提示是否已经执行完成所述访问页面出现页面反馈时对应的页面操作路径的重试过程;
若确定未执行完成,则通过启动的智能日志采集点持续进行日志采集操作并上报生成的日志信息,直至用户或后台主动关闭。
5.根据权利要求1-4中任一所述的方法,其特征在于,网页应用中预添加的智能日志采集点包括在向代码仓库提交网页应用的源文件时,通过启动预配置的智能采集点工具对源文件进行检测并提示新增的日志采集点。
6.根据权利要求5所述的方法,其特征在于,通过预设智能采集点工具对源文件进行检测并提示新增的日志采集点,包括:
检测源文件中是否有新增接口;如果有则添加新增接口,以生成新增的日志采集点;
检测源文件中是否有新增功能函数;如果有则添加新增功能函数调用时机以及函数使用前后数据变更的采集点,以生成新增的日志采集点;
检测源文件中是否有新增状态数据或对状态数据的操作变更;如果有则添加数据变更前后的采集点,以生成新增的日志采集点;
检测源文件中是否有对window以及document的全局变量变更操作;如果有则添加window以及documnet变更前后的采集点,以生成新增的日志采集点。
7.根据权利要求1所述的方法,其特征在于,将采集的日志信息上报给日志服务器,包括:
将记录的所述日志信息同步到所述网页应用设备所属集群,以使网页应用设备所属集群中空闲的网页应用设备执行以下操作:根据日志信息的日志采集类型和/或日志内容细节信息,确定所述日志信息的上报紧急程度,以及按照所述日志信息的上报紧急程度,依次序将从各个网络应用设备同步的日志信息统一上报给日志服务器。
8.一种日志智能采集处理装置,其特征在于,配置于网页应用设备,所述装置包括:
日志上报提示模块,用于在确定用户访问页面出现页面反馈时,向用户提示是否开启日志上报功能;
智能采集启动模块,用于若确定开启日志上报功能,则提示用户重试访问页面出现页面反馈时对应的页面操作路径,并启动网页应用中预添加的智能日志采集点;
日志智能采集模块,用于在重试页面操作路径时,通过启动的智能日志采集点执行日志采集操作,并将采集的日志信息上报给日志服务器。
9.一种电子设备,其特征在于,包括:
一个或多个处理装置;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现权利要求1-7中任一所述的日志智能采集处理方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现权利要求1-7中任一所述的日志智能采集处理方法。
CN202111266289.8A 2021-10-28 2021-10-28 日志智能采集处理方法、装置、电子设备及存储介质 Pending CN114020565A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111266289.8A CN114020565A (zh) 2021-10-28 2021-10-28 日志智能采集处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111266289.8A CN114020565A (zh) 2021-10-28 2021-10-28 日志智能采集处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114020565A true CN114020565A (zh) 2022-02-08

Family

ID=80058621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111266289.8A Pending CN114020565A (zh) 2021-10-28 2021-10-28 日志智能采集处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114020565A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506685A (zh) * 2019-09-16 2021-03-16 浙江宇视科技有限公司 日志存储方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506685A (zh) * 2019-09-16 2021-03-16 浙江宇视科技有限公司 日志存储方法及装置

Similar Documents

Publication Publication Date Title
CN110069572B (zh) 基于大数据平台的hive任务调度方法、装置、设备及存储介质
CN107040578B (zh) 数据同步方法、装置和系统
CN109561117B (zh) 数据采集方法及装置
CN110955428A (zh) 一种页面显示方法、装置、电子设备及介质
CN113687974B (zh) 客户端日志处理方法、装置及计算机设备
JP2020013400A (ja) 装置およびコンピュータプログラム
CN110851324B (zh) 基于日志的巡检处理方法、装置以及电子设备、存储介质
CN107644075B (zh) 收集页面信息的方法和装置
US10855750B2 (en) Centralized management of webservice resources in an enterprise
US20220138074A1 (en) Method, electronic device and computer program product for processing data
CN112199567A (zh) 一种分布式数据采集方法、系统、服务器和存储介质
CN111552521A (zh) 应用数据上报方法、装置、服务器及存储介质
CN114020565A (zh) 日志智能采集处理方法、装置、电子设备及存储介质
CN110716804A (zh) 无用资源的自动删除方法、装置、存储介质及电子设备
CN109144809B (zh) 一种焦点变化监控方法、存储介质、电子设备及系统
CN112685370B (zh) 一种日志采集方法、装置、设备和介质
CN112416698B (zh) 监控系统的扩展方法及装置、存储介质及电子设备
CN114611483A (zh) 核电dcs控制逻辑图和功能图关联自动升版的方法及装置
CN113434473A (zh) 一种分布式日志的处理方法、装置、介质及电子设备
CN111026466A (zh) 文件处理方法、装置、计算机可读存储介质及电子设备
CN111163155A (zh) 对账文件传输方法、系统、服务器及存储介质
CN110515803A (zh) 针对日志消息的处理方法、装置以及电子设备
CN103488773A (zh) 一种网站数据获取方法及装置
CN111324374A (zh) 基于应用性能管理系统的应用程序的注册方法和装置
US20230185691A1 (en) Differential logging of computing processes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination