CN110263008A

CN110263008A - 终端离线日志管理系统、方法、设备及存储介质

Info

Publication number: CN110263008A
Application number: CN201910538458.5A
Authority: CN
Inventors: 胡珀; 章伟; 陈传爱
Original assignee: Jiangsu Manyun Software Technology Co Ltd
Current assignee: Jiangsu Manyun Software Technology Co Ltd
Priority date: 2019-06-20
Filing date: 2019-06-20
Publication date: 2019-09-20
Anticipated expiration: 2039-06-20
Also published as: CN110263008B

Abstract

本发明提供了一种终端离线日志管理系统、方法、设备及存储介质，该系统包括：日志采集子系统，用于接收到用户服务异常通知时，获取异常服务类别，并根据所述异常服务类别从用户所对应的终端采集对应的终端离线日志；日志存储子系统，用于存储采集到的终端离线日志，并将存储的终端离线日志按照服务类别进行分类；日志访问子系统，用于接收到日志访问请求时，获取请求端的服务类别权限，从所述日志存储子系统读取与请求端的服务类别权限一致的被请求的终端离线日志。通过采用本发明的方案，使用独立的日志管理系统来完成日志文件的存储和管理，日志管理系统负责文件的存储和权限管理，更适合终端的离线日志采集、存储和访问。

Description

终端离线日志管理系统、方法、设备及存储介质

技术领域

本发明涉及日志处理技术领域，尤其涉及一种终端离线日志管理系统、方法、设备及存储介质。

背景技术

随着互联网技术的发展，终端中的应用为用户提供了越来越多便捷的服务。在应用出现问题时，日志作为应用运行过程的记录可以作为问题分析的有效工具。因此，现有的应用服务商多采用在终端上离线记录日志的方式，在需要时用于日志分析。

现有技术中已经出现了一种用于服务器的离线日志收集方法，用于获取节点服务器上的日志，并对服务器日志的目录进行监控，在监控的日志文件发生变化时，进行日志更新。现有该种方法主要是针对服务器日志的收集和日志内容的同步，并不适用于终端的日志收集管理。并且，现有的方法中并没有对日志的分析访问进行系统隔离和权限隔离，存在越权操作的风险。此外，现有的方法中实时地对日志内容进行解析，对于日志格式的统一有很高的要求，难以应用到不同业务下格式差异较大的终端离线日志的采集和分析。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种终端离线日志管理系统、方法、设备及存储介质，更适用于终端离线日志的采集、存储和访问管理。

本发明实施例提供一种终端离线日志管理系统，所述系统包括：

日志采集子系统，用于接收到用户服务异常通知时，获取异常服务类别，并根据所述异常服务类别从用户所对应的终端采集对应的终端离线日志；

日志存储子系统，用于存储采集到的终端离线日志，并将存储的终端离线日志按照服务类别进行分类；

日志访问子系统，用于接收到日志访问请求时，获取请求端的服务类别权限，从所述日志存储子系统读取与请求端的服务类别权限一致的被请求的终端离线日志。

可选地，所述日志采集子系统于接收到用户服务异常通知时，判断是否获得用户日志采集授权，如果是，则所述日志采集子系统根据所述服务异常信息从用户所对应的终端采集对应的终端离线日志。

可选地，所述日志采集子系统还用于接收用户主动上传的终端离线日志，并对用户身份进行鉴权，于鉴权成功时，将用户上传的终端离线日志发送至所述日志存储子系统。

可选地，所述系统还包括日志分析子系统，用于从所述日志访问子系统获取与请求端的服务类别权限一致的被请求的终端离线日志，对所述终端离线日志以预设的组合方式进行调整，得到终端离线日志的可视化分析界面。

可选地，所述日志采集子系统采集的终端离线日志为由终端加密的终端离线日志，所述日志分析子系统获取终端离线日志后，还用于对所述终端离线日志进行解密。

可选地，所述日志分析子系统对所述终端离线日志以预设的组合方式进行调整，包括所述日志分析子系统将同一终端的不同服务类别的终端离线日志进行组合，或所述日志分析子系统将不同终端的同一服务类别的终端离线日志进行组合。

可选地，所述日志采集子系统还用于记录终端离线日志的采集操作。

可选地，所述日志访问子系统还用于记录终端离线日志的访问操作。

可选地，所述日志存储子系统还用于将存储的终端离线日志按照文件格式进行分类。

本发明实施例还提供一种终端离线日志管理方法，采用所述的终端离线日志管理系统，所述方法包括：

所述日志采集子系统接收到用户服务异常通知时，获取异常服务类别，并根据所述异常服务类别从用户所对应的终端采集对应的终端离线日志；

所述日志存储子系统存储采集到的终端离线日志，并将存储的终端离线日志按照服务类别进行分类；

所述日志访问子系统接收到日志访问请求时，获取请求端的服务类别权限，从所述日志存储子系统读取与请求端的服务类别权限一致的被请求的终端离线日志。

本发明实施例还提供一种终端离线日志管理设备，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行所述的终端离线日志管理方法的步骤。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的终端离线日志管理方法的步骤。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

本发明所提供的终端离线日志管理系统、方法、设备及存储介质具有下列优点：

本发明解决了现有技术中的问题，使用独立的日志管理系统来完成日志文件的采集、存储和访问管理，日志采集子系统负责在用户服务出现异常时采集终端离线日志，日志存储子系统负责日志文件的存储，日志访问子系统负责对请求获取终端离线日志的请求端进行权限管理，从而最大程度地保障用户终端离线日志的安全性和隐秘性；该日志管理系统将文件的存储和解析做分离，且不需要解析日志文件就可以进行存储，此方案可以容纳一切不同终端的不同格式的日志文件，更适合终端的离线日志采集、存储和访问。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明一实施例的终端离线日志管理系统的结构示意图；

图2是本发明一具体实例的终端离线日志管理系统的结构示意图；

图3是本发明一实施例的终端离线日志管理方法的流程图；

图4是本发明一实施例的终端离线日志管理方法增加日志分析后的流程图；

图5是本发明一实施例的终端离线日志管理设备的示意图；

图6是本发明一实施例的计算机可读存储介质的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

为了解决现有技术中的问题，本发明提供了一种用于不同终端的离线日志进行采集、存储和访问的日志管理系统。由于本发明与现有技术中的不同在于：现有技术中主要用于服务器日志的采集，本发明主要用于不同终端的日志的采集。由于终端离线日志的所有权在用户手中，并且终端离线日志可能会涉及到很多与用户隐私相关的数据，因此，本发明的终端离线日志采集、存储和访问过程中需要更多地考虑终端离线日志的安全性和隐秘性问题，避免终端离线日志被非法窃取而泄露用户隐私数据。

如图1所示，为本发明一实施例一种终端离线日志管理系统的结构示意图，所述系统包括：

日志采集子系统M100，用于接收到用户服务异常通知时，获取异常服务类别，并根据所述异常服务类别从用户所对应的终端采集对应的终端离线日志；此处服务类别即指的是服务所对应的功能类别，例如存文档服务、存图片服务、存储字体文件服务等等；进一步地，在接收到用户服务异常通知时，日志采集子系统M100还获取服务异常时间，根据用户信息和服务异常通知查询到用户使用的终端，从对应的终端采集对应的服务异常时间的与异常服务类别相对应的终端离线日志；

日志存储子系统M200，用于存储采集到的终端离线日志，并将存储的终端离线日志按照服务类别进行分类；日志存储子系统M200向日志采集子系统M100开放离线终端离线日志文件的写权限；

日志访问子系统M300，用于接收到日志访问请求时，获取请求端的服务类别权限，从所述日志存储子系统读取与请求端的服务类别权限一致的被请求的终端离线日志。日志存储子系统M200向日志访问子系统M300开放终端离线日志的读权限。此处请求端可以是服务开发商或服务维护商的工作人员端，通过日志访问子系统M300对请求端的服务类别权限的管理，保证工作人员只能访问自己负责的服务类别的终端离线日志。

因此，本发明通过使用独立的日志管理系统来完成日志文件的采集、存储和访问管理，日志采集子系统M100负责在用户服务出现异常时采集终端离线日志，日志存储子系统M200负责日志文件的存储，日志访问子系统M300负责对请求获取终端离线日志的请求端进行权限管理，从而最大程度地保障用户终端离线日志的安全性和隐秘性。

进一步地，如图2所示，在该实施例中，所述终端离线日志管理系统还可以包括日志分析子系统M400，用于从所述日志访问子系统M300获取与请求端的服务类别权限一致的被请求的终端离线日志，对所述终端离线日志以预设的组合方式进行调整，得到终端离线日志的可视化分析界面。具体地，日志分析子系统M400与日志访问子系统M300通过内网网关进行通信。日志访问子系统M300向内网提供日志的访问接口，并且可以进行不同工作人员访问不同服务类别的权限设定，限制每个内网工作人员只能访问自己负责的服务类别的终端离线日志。

所述日志分析子系统M400对所述终端离线日志以预设的组合方式进行调整，可以是所述日志分析子系统M400将同一终端的不同服务类别的终端离线日志进行组合，也可以是所述日志分析子系统M400将不同终端的同一服务类别的终端离线日志进行组合，从而优化展示效果，提供给工作人员更直观的故障分析界面。

因此，在该实施例中，日志采集子系统M100、日志存储子系统M200、日志访问子系统M300和日志分析子系统M400各个系统协同配合，通过相互之间的交互、日志采集子系统M100与外网终端的交互、日志访问子系统M300与内网工作人员端的交互实现不同终端离线日志的采集、存储、访问和分析。

其中，日志采集子系统M100向通过外网网关向外网提供终端离线日志上传接口。日志采集子系统M100采集终端离线日志主要有两种方式：

一种方式为日志采集子系统M100主动采集终端离线日志，所述日志采集子系统M100于接收到用户服务异常通知时，判断是否获得用户日志采集授权，如果是，则所述日志采集子系统根据所述服务异常信息从用户所对应的终端采集对应的终端离线日志。

另一种方式是用户终端主动上传终端离线日志，在该种方式下，所述日志采集子系统M100接收用户主动上传的终端离线日志，并对用户身份进行鉴权，于鉴权成功时，将用户上传的终端离线日志发送至所述日志存储子系统。通过用户身份的鉴权，保证终端离线日志的真实性。鉴权的方式可以采用用户名、密码的验证方式，或者采用用户名、短信验证码的验证方式等等，避免有其他人恶意上传文件。

在该实施例中，为了进一步保障终端离线日志的安全性和隐秘性，所述日志采集子系统M100采集的终端离线日志为由终端加密的终端离线日志，即使终端离线日志被他人截获也无法得到泄露用户隐私的任何数据。所述日志分析子系统M300获取终端离线日志后，还用于对所述终端离线日志进行解密。终端对终端离线日志的加密方式可以相同也可以不同，在不同终端采用不同的加密方式时，终端可以采用特有的加密算法和加密密钥对自身的终端离线日志进行加密，而日志分析子系统M300存储各个终端所对应的加密算法和解密密钥，从而可以对终端离线日志进行解密。

进一步地，为了保障终端离线日志的安全性和采集可追溯性，在该实施例中，所述日志采集子系统M100还用于记录终端离线日志的采集操作。即日志采集子系统M100对于主动采集终端离线日志的操作以及终端主动上传终端离线日志的操作均进行完整记录，例如记录采集时间、服务类别、终端信息等，根据记录可以完整还原终端离线日志的采集过程。

进一步地，为了保障终端离线日志的安全性和采集可追溯性，在该实施例中，所述日志访问子系统M300还用于记录终端离线日志的访问操作，即记录请求端信息、被请求的日志信息、请求时间等等，根据记录可以完整还原终端离线日志被访问的过程，并且可以准确记录都有哪些工作人员对哪些日志进行了访问。

在该实施例中，所述日志存储子系统M200还用于将存储的终端离线日志按照文件格式进行分类，从而可以将相同文件格式的日志存储在一起。

进一步地，日志存储子系统M200还可以设定文件大小限制，超出文件大小限制的终端离线日志则不进行存储，从而防止有用户恶意上传过大的文件来占用日志存储子系统M200的存储空间。此外，日志存储子系统M200还可以设定敏感文件过滤策略，并且可以通过哈希值对终端离线日志完整性进行验证，从而保证存储的终端离线日志的完整性，并且保证存储的终端离线日志是所需要采集的文件。

如图3所示，本发明实施例还提供一种终端离线日志管理方法，采用所述的终端离线日志管理系统，所述方法包括：

S100：所述日志采集子系统进行日志采集，包括如下子步骤：

S110：所述日志采集子系统接收到用户服务异常通知时，获取异常服务类别；

S120：所述日志采集子系统根据所述异常服务类别从用户所对应的终端采集对应的终端离线日志；

S200：所述日志存储子系统存储采集到的终端离线日志，并将存储的终端离线日志按照服务类别进行分类；

S300：所述日志访问子系统进行日志访问，包括如下子步骤：

S301：所述日志访问子系统接收到日志访问请求时，获取请求端的服务类别权限；

S302：所述日志访问子系统从所述日志存储子系统读取与请求端的服务类别权限一致的被请求的终端离线日志。

因此，本发明通过使用独立的日志管理系统来完成日志文件的采集、存储和访问管理，通过步骤S100负责在用户服务出现异常时采集终端离线日志，通过步骤S200进行日志文件的分类存储，通过步骤S300在请求端请求访问终端离线日志时，对请求获取终端离线日志的请求端进行权限管理，从而最大程度地保障用户终端离线日志的安全性和隐秘性。

如图4所示，进一步地，还可以增加日志分析的步骤，即所述终端离线日志管理方法还包括如下步骤：

S400：所述日志分析子系统进行日志分析，包括如下子步骤：

S401：所述日志分析子系统从所述日志访问子系统获取与请求端的服务类别权限一致的被请求的终端离线日志:；

S402：对所述终端离线日志以预设的组合方式进行调整，得到终端离线日志的可视化分析界面，从而优化日志访问结果的查询界面显示效果。

因此，在该实施例中，日志采集子系统、日志存储子系统、日志访问子系统和日志分析子系统各个系统通过上述步骤S100～S400的实现协同配合，通过相互之间的交互、日志采集子系统与外网终端的交互、日志访问子系统与内网工作人员端的交互实现不同终端离线日志的采集、存储、访问和分析。

在步骤S200中，日志存储子系统存储采集到的终端离线日志时，还可以对采集到的终端离线日志根据文件格式进行分类，并且可以通过文件大小限制过滤掉过大的文件，设定敏感文件过滤策略过滤掉不需要的文件等，进一步优化日志文件的存储。

本发明实施例还提供一种终端离线日志管理设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的终端离线日志管理方法的步骤。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

下面参照图5来描述根据本发明的这种实施方式的电子设备600。图5显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，电子设备600以通用计算设备的形式表现。电子设备600的组合可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组合(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图3中所示的步骤。

所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的终端离线日志管理方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上所述，与现有技术相比，本发明所提供的终端离线日志管理系统、方法、设备及存储介质具有下列优点：

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种终端离线日志管理系统，其特征在于，包括：

2.根据权利要求1所述的终端离线日志管理系统，其特征在于，所述日志采集子系统于接收到用户服务异常通知时，判断是否获得用户日志采集授权，如果是，则所述日志采集子系统根据所述服务异常信息从用户所对应的终端采集对应的终端离线日志。

3.根据权利要求1所述的终端离线日志管理系统，其特征在于，所述日志采集子系统还用于接收用户主动上传的终端离线日志，并对用户身份进行鉴权，于鉴权成功时，将用户上传的终端离线日志发送至所述日志存储子系统。

4.根据权利要求1所述的终端离线日志管理系统，其特征在于，所述系统还包括日志分析子系统，用于从所述日志访问子系统获取与请求端的服务类别权限一致的被请求的终端离线日志，对所述终端离线日志以预设的组合方式进行调整，得到终端离线日志的可视化分析界面。

5.根据权利要求4所述的终端离线日志管理系统，其特征在于，所述日志采集子系统采集的终端离线日志为由终端加密的终端离线日志，所述日志分析子系统获取终端离线日志后，还用于对所述终端离线日志进行解密。

6.根据权利要求4所述的终端离线日志管理系统，其特征在于，所述日志分析子系统对所述终端离线日志以预设的组合方式进行调整，包括所述日志分析子系统将同一终端的不同服务类别的终端离线日志进行组合，或所述日志分析子系统将不同终端的同一服务类别的终端离线日志进行组合。

7.根据权利要求1所述的终端离线日志管理系统，其特征在于，所述日志采集子系统还用于记录终端离线日志的采集操作。

8.根据权利要求1所述的终端离线日志管理系统，其特征在于，所述日志访问子系统还用于记录终端离线日志的访问操作。

9.根据权利要求1所述的终端离线日志管理系统，其特征在于，所述日志存储子系统还用于将存储的终端离线日志按照文件格式进行分类。

10.一种终端离线日志管理方法，其特征在于，采用权利要求1至9中任一项所述的终端离线日志管理系统，所述方法包括如下步骤：

11.一种终端离线日志管理设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求10所述的终端离线日志管理方法的步骤。

12.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求10所述的终端离线日志管理方法的步骤。