CN111680008A - 日志处理方法、系统、可读存储介质及智能设备 - Google Patents

日志处理方法、系统、可读存储介质及智能设备 Download PDF

Info

Publication number
CN111680008A
CN111680008A CN202010804350.9A CN202010804350A CN111680008A CN 111680008 A CN111680008 A CN 111680008A CN 202010804350 A CN202010804350 A CN 202010804350A CN 111680008 A CN111680008 A CN 111680008A
Authority
CN
China
Prior art keywords
log
information
log information
target application
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010804350.9A
Other languages
English (en)
Other versions
CN111680008B (zh
Inventor
吴景行
董红苹
卢超
李海荣
陈永辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xuanwu Wireless Technology Co Ltd
Original Assignee
Guangzhou Xuanwu Wireless Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xuanwu Wireless Technology Co Ltd filed Critical Guangzhou Xuanwu Wireless Technology Co Ltd
Priority to CN202010804350.9A priority Critical patent/CN111680008B/zh
Publication of CN111680008A publication Critical patent/CN111680008A/zh
Application granted granted Critical
Publication of CN111680008B publication Critical patent/CN111680008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1744Redundancy elimination performed by the file system using compression, e.g. sparse files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志处理方法、系统、可读存储介质及智能设备,应用于多租户平台的移动终端,所述方法包括:通过日志采集系统判断目标应用是否开启日志采集权限;当目标应用开启日志采集权限时,将获取的目标应用的日志信息写入磁盘映射缓存,根据日志信息的紧急程度进行分时压缩;通过调用发送队列将压缩后的所述日志信息上传至云服务器,并在上传成功后删除磁盘映射缓存中对应的日志信息。本发明能够解决现有应用出现逻辑错误,无法完成数据的采集工作时,通常是采用屏幕截图加文字留意的方法,通过第三方反馈给客服人员,再由客服人员反馈到项目经理或开发人员,通常会存信息的不完整或偏差,从而造成错误难以追查或排查效率低下的问题。

Description

日志处理方法、系统、可读存储介质及智能设备
技术领域
本发明涉及数据处理技术领域,特别是涉及一种日志处理方法、系统、可读存储介质及智能设备。
背景技术
随着网络技术的快速发展,移动通信产业将走向真正的移动信息时代,移动终端也从简单的通话工具变为一个综合信息处理平台。APP作为移动终端的重要组成部分,在实际应用中起着至关重要的作用。
众所周知的,用户在使用APP的过程中,因应业务的需要,会在各种复杂的环境下进行不同类型的数据采集。若在数据采集的过程中,App出现了逻辑错误,无法完成数据的采集工作时,通常是采用屏幕截图加文字留意的方法,通过第三方App反馈给客服人员,再由客服人员反馈到项目经理或开发人员。
然而,由于用户在屏幕截图加文字留意的过程中通常会存信息的不完整或偏差,从而造成错误难以追查或排查效率低下的问题。
发明内容
为了解决上述问题,本发明的目的是提供一种通过提高日志采集效率及准确性来降低应用错误追查难度,提高错误排查效率的日志处理方法、系统、可读存储介质及智能设备。
一种日志处理方法,应用于多租户平台的移动终端,所述方法包括:
通过日志采集系统判断目标应用是否开启日志采集权限;
当所述目标应用开启日志采集权限时,将获取的所述目标应用的日志信息写入磁盘映射缓存,根据所述日志信息的紧急程度进行分时压缩;
通过调用发送队列将压缩后的所述日志信息上传至云服务器,并在上传成功后删除所述磁盘映射缓存中对应的日志信息。
根据本发明提供的日志处理方法,首先通过日志采集系统判断目标应用是否开启日志采集权限,以避免在关闭采集逻辑的情况下依旧进行信息的采集,且此时采集到的信息通常会丢弃而不上传云服务器,从而造成资源的浪费;当所述目标应用开启日志采集权限时,将获取的所述目标应用的日志信息写入磁盘映射缓存,根据所述日志信息的紧急程度进行分时压缩,避免了由于网络抖动或应用崩溃,从而使当前采集数据完全丢失,造成二次逻辑错误,加深问题排查难度,此外本申请能够避免在瞬间大量写入字节数较少的内容,而造应用界面的明显卡顿;通过调用发送队列将压缩后的所述日志信息上传至云服务器,并在上传成功后删除所述磁盘映射缓存中对应的日志信息,提高信息的可追溯性,不影响本地端日志的采集,且能对用户信息进行单独的压缩和加密,既保证采集系统能识别用户,又防止用户信息被窥探。本发明提供的日志处理方法,解决了现有的应用出现逻辑错误,无法完成数据的采集工作时,通常是采用屏幕截图加文字留意的方法,通过第三方App反馈给客服人员,再由客服人员反馈到项目经理或开发人员,通常会存信息的不完整或偏差,从而造成错误难以追查或排查效率低下的问题。
另外,根据本发明上述的日志处理方法,还可以具有如下附加的技术特征:
进一步地,所述方法还包括:
当所述日志信息未上传成功,则调用并更新定时任务,将未上传成功的所述日志信息交由定时任务进行管理;
当所述目标应用重启时,获取所述磁盘映射缓存中未上传的日志信息,并分批次上传。
进一步地,所述通过日志采集系统判断目标应用是否开启日志采集权限的方法包括:APP业务逻辑调动日志采集接口,日志采集接口通过内部逻辑判断所述目标应用是否开启日志采集权限。
进一步地,所述日志信息包括用户信息及日志数据,所述方法还包括:
当所述日志信息为新增用户的日志信息时,则将该用户的用户信息取出并生成用户ID保存在日志采集系统中;
通过非对称加密算法对所述用户信息进行加密得到用户密文,将所述用户ID及用户密文发送至云服务器。
进一步地,所述方法还包括:将存储器中的日志信息映射到内存,同时对映射后的内存进行反序列化,构建二维定长存取空间。
进一步地,所述构建二维定长存取空间的方法包括:
将所述内存的存储空间划分为若干子存储空间,且相邻两个存储空间中设有校对索引;
通过位图记录每个子存储空间的存储状态;
当当前存储空间中子存储空间的日志存储量小于预设日志存储量,且在当前存储周期内未被访问,则将所述子存储空间中的日志信息删除或转存至其他子存储空间,并对当前子存储空间进行压缩及回收。
进一步地,所述子存储空间包括地址存储区及数据存储区,所述地址存储区用于存储日志地址,所述数据存储区用于存储日志数据所述方法还包括:
当当前日志地址所对应的日志信息被其他任一日志地址所引用,则判断访问周期内该日志信息被其他日志地址所引用的引用计数是否小于预设值;
若是,则将其他日志地址及被引用的所述日志信息同时删除。
本发明的另一实施例提出一种日志处理系统,解决了现有的App出现逻辑错误,无法完成数据的采集工作时,通常是采用屏幕截图加文字留意的方法,通过第三方App反馈给客服人员,再由客服人员反馈到项目经理或开发人员,通常会存信息的不完整或偏差,从而造成错误难以追查或排查效率低下的问题。
根据本发明实施例的日志处理系统,包括:
判断模块,用于通过日志采集系统判断目标应用是否开启日志采集权限;
写入模块,用于当所述目标应用开启日志采集权限时,将获取的所述目标应用的日志信息写入磁盘映射缓存,根据所述日志信息的紧急程度进行分时压缩;
传输模块,用于通过调用发送队列将压缩后的所述日志信息上传至云服务器,并在上传成功后删除所述磁盘映射缓存中的日志信息。
本发明的另一个实施例还提出一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述方法的步骤。
本发明的另一个实施例还提出一种智能设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实施例了解到。
附图说明
图1是本发明第一实施例提出的日志处理方法的流程图;
图2本发明第二实施例提出的日志处理系统的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明第一实施例提出的一种日志处理方法,应用于多租户平台的移动终端,其中,包括步骤S101~S103:
步骤S101,通过日志采集系统判断目标应用是否开启日志采集权限。
其中,本实施例提供的方法,其执行主体为移动终端,移动终端例如为手机、笔记本电脑、平板电脑、便携式可穿戴设备,该移动终端与云服务器通过互联网进行通信,云服务器能够对移动端采集的日志信息进行存储与错误排查,实现了日志信息的可追溯性与批量错误的远程处理,从而提高了错误的排查及处理效率。
具体的,APP业务逻辑调动日志采集接口,日志采集接口通过内部逻辑判断所述目标应用是否开启日志采集权限。可以理解的,当所述目标应用开启日志采集权限时,则所述日志采集接口反向调用APP业务逻辑,并进行采集信息的构建及获取。最终将组装完成的日志信息返回至所述日志采集接口的内部,以进行日志信息的上传。同时本申请能够在所述目标应用未开启日志采集权限时,直接退出该目标应该的日志采集接口。避免了采集系统在关闭采集逻辑的情况下,依旧进行信息的采集,且采集完的信息只能丢弃,无法上传云服务器,造成了资源的浪费。其中,所述日志采集接口可以为单个以对接多个动终端的目标应用,也可为多个日志采集接口分别与对应移动终端的目标应用对接,再此不做限制。
步骤S102,当所述目标应用开启日志采集权限时,将获取的所述目标应用的日志信息写入磁盘映射缓存,根据所述日志信息的紧急程度进行分时压缩。其中,所述日志信息包括用户信息及日志数据,
进一步地,当所述日志信息为新增用户的日志信息时,则将该用户的用户信息取出并生成用户ID保存在日志采集系统中;通过非对称加密算法对所述用户信息进行加密得到用户密文,将所述用户ID及用户密文发送至云服务器。可以理解的,本申请能够云服务器获得用户的ID的同时,还能够对用户的信息进行加密,避免了由于多租户平台的运行环境复杂,而造成用户信息的泄露。
具体的,日志采集系统在采集到第一条日志数据的时候,会优先把第一条日志数据中用户信息取出并生成用户ID,保存在日志采集系统中,同时通过非对称加密算法,对用户信息进行加密得到用户密文,最后把用户ID和用户密文发送到云服务器保存。在其他实施例中,由于用户信息在内存中都是以字符串的形式存储,同时,每个字符对应的字符编码都唯一,且在任何时候都一致,故可取出字符串中所有字符的字符编码进行相加操作,得到加密及压缩后的用户ID。可理解的,通过特定的简易变换压缩算法对用户信息进行处理,保证系统能对用户的识别,又能防止信息泄露,保证了多租户平台用户端的安全性。
具体实施时,根据地域信息将工作区域划分为多个管理区,每个管理区具有多个云服务器,多个云服务器形成一目标应用的多租户平台,本申请中的目标应用如为玄讯应用。根据各云服务器的地址信息构建地址结构表,并通过所述地址结构表判断进行访问的移动端的地址是否为当前管理区的地址,若所述移动终端的地址信息属于当前管理区的地址,则根据访问时间及当前管理区中各云服务器的状态获得目标云服务器的地址,并建立连接,以实现同一区域多个云服务器之间的资源合理分配。此外,若移动终端的地址信息不属于当前管理区的地址时,向所述移动端发起重新定向指令,即断开与当前云服务器的连接,并将连接信息转发至目标云服务器。可以理解的,通过管理区、云服务器及移动终端的划分,以提高日志信息的处理效率,且能够对相同日志错误进行批量的管理与处理,提高了用户日志错误排查体验的满意度,满足了实际应用需求。
进一步地,所述将获取的所述目标应用的日志信息写入磁盘映射缓存的步骤之前,所述方法包括:将存储器中的日志信息映射到内存,同时对映射后的内存进行反序列化,构建二维定长存取空间。
具体的,将所述内存的存储空间划分为若干子存储空间,且相邻两个存储空间中设有校对索引,以提高数据存储及索引的可靠性;通过位图记录每个子存储空间的存储状态;当当前存储空间中的子存储空间的日志存储量小于预设日志存储量,且在当前存储周期内未被访问,则将所述子存储空间中的日志信息删除或转存至其他子存储空间,并对当前子存储空间进行压缩及回收。
其中,所述子存储空间包括地址存储区及数据存储区,所述地址存储区用于存储日志地址,所述数据存储区用于存储日志数据所述方法还包括:当当前日志地址所对应的日志信息被其他任一日志地址所引用,则判断访问周期内该日志信息被其他日志地址所引用的引用计数是否小于预设值;若是,则将其他日志地址及被引用的所述日志信息同时删除。可以理解的,将存储设备内存存储空间的子存储区划分为地址存储区及数据存储区,将写入数据的地址(索引)与实际存储的数据内容分开管理,从而实现了写入数据的去重,提高了数据的存储空间与写入效率。
具体实施时,由于日志存储中,数据块的大小固定,并且是大小对齐的。因此,为了更准确的确定各子存储空间的存储状态,可将每个存储空间地址存储区划分为多个小部分,可均匀划分也可非均匀划分,并通过位图记录每个部分的访问状态及该部分的数据的存储状态,当所述当前存储空间中的子存储空间的日志存储量小于预设日志存储量,且在当前存储周期内未被访问,则将所述子存储空间中的日志信息删除或转存至其他子存储空间,并对当前子存储空间进行压缩及回收,以提高日志存储的可靠性。在其他实施例中,当当前日志地址所对应的日志信息被其他任一日志地址所引用,且访问周期内该日志信息被其他日志地址所引用的引用计数是否小于预设值,则将其他日志地址及被引用的所述日志信息同时删除,避免了日志数据溢出,影响关键日志信息的写入与上传。
此外,在其他实施例中,将获取的所述目标应用的日志信息写入磁盘映射缓存的方法还包括,设第一维的内存起止地址为0,长度为4096,在该长度内划分出4段存取空间,分别为:首索引,作为每一条日志数据的序号;从索引,作为用于保存每一条日志数据的分段序号;日志数据存取区域,日志数据的主要存取区域;下一从索引,当当前区域不足以保存完整的日志数据时,通过该区域指向下一段存取空间,继续保存日志数据。写入日志数据时,首先通过查找指针找到索引的最大值及下一段空闲空间,通过拷贝指针偏移的方式,直接拷贝日志数据到存取区域,若写入过程中,发现当前定长存取空间已满,则继续分配倍数的定长存取空间;删除某条日志数据时,通过查找指针找出日志数据所占用的首索引及从索引,对首索引及从索引存在区域加上删除标记。
本实施例中,通过在目标应用开启日志采集权限时,将获取的目标应用的日志信息写入磁盘映射缓存,并根据日志信息的紧急程度进行分时压缩,避免了由于网络抖动或应用崩溃,从而使当前采集数据完全丢失,造成二次逻辑错误,加深问题排查难度,此外本申请能够避免在瞬间大量写入字节数较少的内容,而造应用界面的明显卡顿,满足了实际应用需求。
步骤S103,通过调用发送队列将压缩后的所述日志信息上传至云服务器,并在上传成功后删除所述磁盘映射缓存中的日志信息。
如上所述,将采集的日志按紧急程度分为紧急日志和非紧急日志,若为紧急日志,在写入磁盘映射缓存后,马上进行压缩发送;若否,则保存在磁盘映射缓存,待磁盘映射缓存达到指定最大值时,一并取出所有日志,进行压缩发送。当所述日志信息未上传成功,则调用并更新定时任务,将未上传成功的所述日志信息交由定时任务进行管理。具体的,根据未上传成功的日志信息的紧急程度及数据大小将其插入对应的日志上传队列,并对该日志信息进行定时,当预设时间内或预设上传次数后仍未上传成功,获取当前移动终端的工作状态及操作数据信息,对其进行分析,并根据分析结果对所述目标应用进行调试,以避免由于目标应用内部逻辑错误而因此的数据信息上传失败。
进一步地,当所述目标应用重启时,获取所述磁盘映射缓存中尚未上传的日志信息,并分批次上传。具体的,当目标应用由于错误或突发事件关闭重启时,在加载应用程序的同时,获取所述磁盘映射缓存中尚未上传的日志信息,并根据该日志信息的紧急程度进行日志的分批次上传,以避免关键日志信息的遗漏而影响应用错误的追查难度,提高了错误排查效率,满足了实际应用需求。
本实施例中,通过调用发送队列将压缩后的日志信息上传至云服务器,并在上传成功后删除该磁盘映射缓存中对应的日志信息,提高信息的可追溯性,不影响本地端日志的采集,且能对用户信息进行单独的压缩和加密,既保证采集系统能识别用户,又防止用户信息被窥探。解决了现有的应用出现逻辑错误,无法完成数据的采集工作时,通常是采用屏幕截图加文字留意的方法,通过第三方App反馈给客服人员,再由客服人员反馈到项目经理或开发人员,通常会存信息的不完整或偏差,从而造成错误难以追查或排查效率低下的问题,满足了实际应用需求。
在此还需要说明的是,在本发明其他实施中,所述方法还包括:当预设时间内接收到获取所述移动终端内部的应用数据时,记录当前时间为第一时间,同时获取到所述移动终端内部的应用数据的第二时间,判断所述第一时间与所述第二时间的时间差是否大于预设时间值。其中两次的时间差例如是24小时,而预设时间例如是12小时,由于时间差大于预设时间值,说明所述移动终端的目标应用存在运行逻辑错误或数据溢出的情况,因此需要对其进行目标应用运行情况的检测,避免应用由于累积错误而出现崩溃的情况。
根据本发明提供的日志处理方法,首先通过日志采集系统判断目标应用是否开启日志采集权限,以避免在关闭采集逻辑的情况下依旧进行信息的采集,且此时采集到的信息通常会丢弃而不上传云服务器,从而造成资源的浪费;当所述目标应用开启日志采集权限时,将获取的所述目标应用的日志信息写入磁盘映射缓存,根据所述日志信息的紧急程度进行分时压缩,避免了由于网络抖动或应用崩溃,从而使当前采集数据完全丢失,造成二次逻辑错误,加深问题排查难度,此外本申请能够避免在瞬间大量写入字节数较少的内容,而造应用界面的明显卡顿;通过调用发送队列将压缩后的所述日志信息上传至云服务器,并在上传成功后删除所述磁盘映射缓存中对应的日志信息,提高信息的可追溯性,不影响本地端日志的采集,且能对用户信息进行单独的压缩和加密,既保证采集系统能识别用户,又防止用户信息被窥探。本发明提供的日志处理方法,解决了现有的应用出现逻辑错误,无法完成数据的采集工作时,通常是采用屏幕截图加文字留意的方法,通过第三方App反馈给客服人员,再由客服人员反馈到项目经理或开发人员,通常会存信息的不完整或偏差,从而造成错误难以追查或排查效率低下的问题。
请参阅图2,基于同一发明构思,本发明第二实施例提供的日志处理系统,包括:
判断模块10,用于通过日志采集系统判断目标应用是否开启日志采集权限。
具体的,APP业务逻辑调动日志采集接口,日志采集接口通过内部逻辑判断所述目标应用是否开启日志采集权限。
写入模块20,用于当所述目标应用开启日志采集权限时,将获取的所述目标应用的日志信息写入磁盘映射缓存,根据所述日志信息的紧急程度进行分时压缩。
其中,所述日志信息包括用户信息及日志数据,当所述日志信息为新增用户的日志信息时,则将该用户的用户信息取出并生成用户ID保存在日志采集系统中;通过非对称加密算法对所述用户信息进行加密得到用户密文,将所述用户ID及用户密文发送至云服务器。
进一步地,所述写入模块20还用于将存储器中的日志信息映射到内存,同时对映射后的内存进行反序列化,构建二维定长存取空间。
具体的,将所述内存的存储空间划分为若干子存储空间,且相邻两个存储空间中设有校对索引;通过位图记录每个子存储空间的存储状态;当当前存储空间中的子存储空间的日志存储量小于预设日志存储量,且在当前存储周期内未被访问,则将所述子存储空间中的日志信息删除或转存至其他子存储空间,并对当前子存储空间进行压缩及回收。
其中,所述子存储空间包括地址存储区及数据存储区,所述地址存储区用于存储日志地址,所述数据存储区用于存储日志数据,当当前日志地址所对应的日志信息被其他任一日志地址所引用,则判断访问周期内该日志信息被其他日志地址所引用的引用计数是否小于预设值;若是,则将其他日志地址及被引用的所述日志信息同时删除。
传输模块30,用于通过调用发送队列将压缩后的所述日志信息上传至云服务器,并在上传成功后删除所述磁盘映射缓存中对应的日志信息。
进一步地,当所述日志信息未上传成功,则调用并更新定时任务,将未上传成功的所述日志信息交由定时任务进行管理;当所述目标应用重启时,获取所述磁盘映射缓存中未上传的日志信息,并分批次上传。
根据本发明提供的日志处理系统,首先通过日志采集系统判断目标应用是否开启日志采集权限,以避免在关闭采集逻辑的情况下依旧进行信息的采集,且此时采集到的信息通常会丢弃而不上传云服务器,从而造成资源的浪费;当所述目标应用开启日志采集权限时,将获取的所述目标应用的日志信息写入磁盘映射缓存,根据所述日志信息的紧急程度进行分时压缩,避免了由于网络抖动或应用崩溃,从而使当前采集数据完全丢失,造成二次逻辑错误,加深问题排查难度,此外本申请能够避免在瞬间大量写入字节数较少的内容,而造应用界面的明显卡顿;通过调用发送队列将压缩后的所述日志信息上传至云服务器,并在上传成功后删除所述磁盘映射缓存中对应的日志信息,提高信息的可追溯性,不影响本地端日志的采集,且能对用户信息进行单独的压缩和加密,既保证采集系统能识别用户,又防止用户信息被窥探。本发明提供的日志处理方法,解决了现有的应用出现逻辑错误,无法完成数据的采集工作时,通常是采用屏幕截图加文字留意的方法,通过第三方App反馈给客服人员,再由客服人员反馈到项目经理或开发人员,通常会存信息的不完整或偏差,从而造成错误难以追查或排查效率低下的问题。
本发明实施例提出的日志处理系统的技术特征和技术效果与本发明实施例提出的方法相同,在此不予赘述。
此外,本发明的实施例还提出一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述方法的步骤。
此外,本发明的实施例还提出一种智能设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现上述方法的步骤。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种日志处理方法,应用于多租户平台的移动终端,其特征在于,所述方法包括如下步骤:
通过日志采集系统判断目标应用是否开启日志采集权限;
当所述目标应用开启日志采集权限时,将获取的所述目标应用的日志信息写入磁盘映射缓存,根据所述日志信息的紧急程度进行分时压缩;
通过调用发送队列将压缩后的所述日志信息上传至云服务器,并在上传成功后删除所述磁盘映射缓存中对应的日志信息。
2.根据权利要求1所述的日志处理方法,其特征在于,所述方法还包括:
当所述日志信息未上传成功,则调用并更新定时任务,将未上传成功的所述日志信息交由定时任务进行管理;
当所述目标应用重启时,获取所述磁盘映射缓存中未上传的日志信息,并分批次上传。
3.根据权利要求1所述的日志处理方法,其特征在于,所述通过日志采集系统判断目标应用是否开启日志采集权限的方法包括:APP业务逻辑调动日志采集接口,日志采集接口通过内部逻辑判断所述目标应用是否开启日志采集权限。
4.根据权利要求1所述的日志处理方法,其特征在于,所述日志信息包括用户信息及日志数据,所述方法还包括:
当所述日志信息为新增用户的日志信息时,则将该用户的用户信息取出并生成用户ID保存在日志采集系统中;
通过非对称加密算法对所述用户信息进行加密得到用户密文,将所述用户ID及用户密文发送至云服务器。
5.根据权利要求1所述的日志处理方法,其特征在于,所述方法还包括:将存储器中的日志信息映射到内存,同时对映射后的内存进行反序列化,构建二维定长存取空间。
6.根据权利要求5所述的日志处理方法,其特征在于,所述构建二维定长存取空间的方法包括:
将所述内存的存储空间划分为若干子存储空间,且相邻两个存储空间中设有校对索引;
通过位图记录每个子存储空间的存储状态;
当当前存储空间中子存储空间的日志存储量小于预设日志存储量,且在当前存储周期内未被访问,则将所述子存储空间中的日志信息删除或转存至其他子存储空间,并对当前子存储空间进行压缩及回收。
7.根据权利要求6所述的日志处理方法,其特征在于,所述子存储空间包括地址存储区及数据存储区,所述地址存储区用于存储日志地址,所述数据存储区用于存储日志数据,所述方法还包括:
当当前日志地址所对应的日志信息被其他任一日志地址所引用,则判断访问周期内该日志信息被其他日志地址所引用的引用计数是否小于预设值;
若是,则将其他日志地址及被引用的所述日志信息同时删除。
8.一种日志处理系统,其特征在于,所述系统包括:
判断模块,用于通过日志采集系统判断目标应用是否开启日志采集权限;
写入模块,用于当所述目标应用开启日志采集权限时,将获取的所述目标应用的日志信息写入磁盘映射缓存,根据所述日志信息的紧急程度进行分时压缩;
传输模块,用于通过调用发送队列将压缩后的所述日志信息上传至云服务器,并在上传成功后删除所述磁盘映射缓存中对应的日志信息。
9.一种可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至7任意一项所述的方法。
10.一种智能设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
CN202010804350.9A 2020-08-12 2020-08-12 日志处理方法、系统、可读存储介质及智能设备 Active CN111680008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010804350.9A CN111680008B (zh) 2020-08-12 2020-08-12 日志处理方法、系统、可读存储介质及智能设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010804350.9A CN111680008B (zh) 2020-08-12 2020-08-12 日志处理方法、系统、可读存储介质及智能设备

Publications (2)

Publication Number Publication Date
CN111680008A true CN111680008A (zh) 2020-09-18
CN111680008B CN111680008B (zh) 2020-11-27

Family

ID=72458294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010804350.9A Active CN111680008B (zh) 2020-08-12 2020-08-12 日志处理方法、系统、可读存储介质及智能设备

Country Status (1)

Country Link
CN (1) CN111680008B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148279A (zh) * 2020-09-27 2020-12-29 北京百度网讯科技有限公司 日志信息处理方法、装置、电子设备和存储介质
CN112612677A (zh) * 2020-12-28 2021-04-06 北京天融信网络安全技术有限公司 日志存储方法、装置、电子设备及可读存储介质
CN112988549A (zh) * 2021-04-27 2021-06-18 湖北亿咖通科技有限公司 基于车机系统获取日志的方法及电子设备
CN113064869A (zh) * 2021-03-23 2021-07-02 网易(杭州)网络有限公司 日志处理方法、装置、发送端、接收端设备及存储介质
CN115333800A (zh) * 2022-07-27 2022-11-11 中国第一汽车股份有限公司 一种车载车云一体化日志采集分析方法、车辆和云服务器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101094007A (zh) * 2007-07-10 2007-12-26 马建国 一种可以近距离直接通信的手机及其工作方法
CN101415166A (zh) * 2007-10-19 2009-04-22 康佳集团股份有限公司 一种股票分时图的处理方法
CN105049357A (zh) * 2015-06-18 2015-11-11 华北科技学院 基于北斗报文的物联网实时监测远程传输有效性优化方法
CN107045472A (zh) * 2017-05-04 2017-08-15 武汉轻工大学 移动设备信息采集系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101094007A (zh) * 2007-07-10 2007-12-26 马建国 一种可以近距离直接通信的手机及其工作方法
CN101415166A (zh) * 2007-10-19 2009-04-22 康佳集团股份有限公司 一种股票分时图的处理方法
CN105049357A (zh) * 2015-06-18 2015-11-11 华北科技学院 基于北斗报文的物联网实时监测远程传输有效性优化方法
CN107045472A (zh) * 2017-05-04 2017-08-15 武汉轻工大学 移动设备信息采集系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李杰: "一种基站告警的预处理方法", 《电子技术与软件工程》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148279A (zh) * 2020-09-27 2020-12-29 北京百度网讯科技有限公司 日志信息处理方法、装置、电子设备和存储介质
CN112612677A (zh) * 2020-12-28 2021-04-06 北京天融信网络安全技术有限公司 日志存储方法、装置、电子设备及可读存储介质
CN113064869A (zh) * 2021-03-23 2021-07-02 网易(杭州)网络有限公司 日志处理方法、装置、发送端、接收端设备及存储介质
CN113064869B (zh) * 2021-03-23 2023-06-13 网易(杭州)网络有限公司 日志处理方法、装置、发送端、接收端设备及存储介质
CN112988549A (zh) * 2021-04-27 2021-06-18 湖北亿咖通科技有限公司 基于车机系统获取日志的方法及电子设备
CN115333800A (zh) * 2022-07-27 2022-11-11 中国第一汽车股份有限公司 一种车载车云一体化日志采集分析方法、车辆和云服务器

Also Published As

Publication number Publication date
CN111680008B (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN111680008B (zh) 日志处理方法、系统、可读存储介质及智能设备
CN111563368B (zh) 报表生成方法、装置、计算机设备和存储介质
US20160283357A1 (en) Call stack relationship acquiring method and apparatus
KR20150076230A (ko) 응용 프로그램의 관리방법, 장치, 서버, 단말기기, 프로그램 및 기록매체
CN109885577B (zh) 数据处理方法、装置、终端及存储介质
CN110413282B (zh) 一种冗余资源处理方法、装置、设备及存储介质
CN110362547B (zh) 日志文件的编码、解析、存储方法和装置
WO2020232883A1 (zh) 脚本缺陷扫描方法、装置、计算机设备和存储介质
CN109710185A (zh) 数据处理方法及装置
CN111290956A (zh) 基于脑图的测试方法、装置、电子设备及存储介质
CN112256675A (zh) 数据迁移方法、装置、终端设备及存储介质
US9104567B2 (en) Memory-leak identification
CN111177113A (zh) 数据迁移方法、装置、计算机设备和存储介质
CN113704790A (zh) 一种异常日志信息汇总方法及计算机设备
CN110990346A (zh) 基于区块链的文件数据处理方法、装置、设备及存储介质
CN108446224B (zh) 移动端上应用程序的性能分析方法、存储介质
CN108228611B (zh) 单据信息抄写方法和装置
US11467896B2 (en) Sections in crash dump files
CN111046393B (zh) 漏洞信息上传方法、装置、终端设备及存储介质
CN109656936A (zh) 数据同步方法、装置、计算机设备和存储介质
CN112153375B (zh) 基于视频信息的前端性能测试方法、装置、设备及介质
Xu et al. A Reconstructing Android User Behavior Approach based on YAFFS2 and SQLite.
CN113110846A (zh) 一种环境变量的获取方法及装置
CN109491699B (zh) 应用程序的资源检查方法、装置、设备及存储介质
CN112699129A (zh) 一种数据处理系统、方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 510000 room 23bd, No. 109, TIYU West Road, Tianhe District, Guangzhou City, Guangdong Province

Patentee after: GUANGZHOU XUANWU WIRELESS TECHNOLOGY Co.,Ltd.

Address before: 32B, no.103b, TianLiHe Road, Guangzhou, 510000

Patentee before: GUANGZHOU XUANWU WIRELESS TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder