CN111367873A - 日志数据的存储方法、装置、终端及计算机存储介质 - Google Patents

Abstract

本发明适用于计算机应用技术领域，提供了一种日志数据的存储方法、装置、终端及计算机存储介质，该方法包括：获取应用运行时产生的日志数据，并将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列；读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录；将所述包含多个字段的日志记录存储到数据库MongoDB；提高了日志数据的写入效率，有效地避免了日志数据量大且并发性高导致业务运行受到影响的问题；同时，还提高了日志的查询效率和分析效率。

Description

日志数据的存储方法、装置、终端及计算机存储介质

技术领域

本发明属于计算机技术领域，尤其涉及一种日志数据的存储方法、装置、终端及计算机存储介质。

背景技术

日志数据记录的是程序行为数据，可以用于分析各应用的运行状态，并且对系统的稳定运行也起着至关重要的作用。

目前，通常将日志数据存储在本地文件或数据库中，在日志数据量大且并发性高的情况下，对日志数据进行实时存储有可能会影响业务的正常运行，并且，这种日志的存储方式也不利于对日志进行分析。

发明内容

有鉴于此，本发明实施例提供了一种日志数据的存储方法、装置、终端及计算机存储介质，能够解决日志数据量巨大、并发性高的情况下，对日志数据进行实时存储导致业务运行受到影响的技术问题。

本发明实施例的第一方面提供了一种日志数据的存储方法，包括：

获取应用运行时产生的日志数据，并将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列；

读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录；

将所述包含多个字段的日志记录存储到数据库MongoDB。

本发明实施例的第二方面提供了日志数据的存储装置，包括：

第一存储单元，用于获取应用运行时产生的日志数据，并将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列；

转换单元，用于读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录；

第二存储单元，用于将所述包含多个字段的日志记录存储到数据库MongoDB。

本发明实施例的第三方面提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。

本发明实施例的第四方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述所述方法的步骤。

本发明实施例中，采用异步处理的方式将应用运行时产生的日志数据存储到消息系统RocketMQ的消息队列中，提高了日志数据的写入效率，并且，由于RocketMQ的高吞吐量和可扩展性，有效地避免了日志数据量大且并发性高导致业务运行受到影响的问题；同时，本发明还通过微服务读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录之后，再将所述日志记录存储到数据库MongoDB中，提高了日志的查询效率和分析效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种日志数据的存储方法的实现流程示意图；

图2是本发明实施例提供的一种日志数据的存储方法步骤101的具体实现流程示意图；

图3是本发明实施例提供的RocketMQ的日志数据存储示意图；

图4是本发明实施例提供的对日志数据的完整性进行检测的具体实现流程示意图；

图5是本发明实施例提供的一种日志数据的存储方法步骤103的具体实现流程示意图；

图6是本发明实施例提供的一种日志数据的存储装置的示意图；

图7是本发明实施例提供的一种终端的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“所述”意在包括复数形式。

具体实现中，本发明实施例中描述的终端可以为服务器、机器人、智能手机、平板电脑等终端设备，该终端设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

终端设备上的各种应用程序运行时会产生出大量的日志数据，这些日志数据通常存储在本地文件或数据库中，在日志数据量大且并发性高的情况下，这种存储方式有可能会影响业务的正常运行，并且，这种日志的存储方式也不利于对日志进行分析。

本发明实施例中，采用异步处理的方式将应用运行时产生的日志数据存储到消息系统RocketMQ的消息队列中，提高了日志数据的写入效率，并且，由于RocketMQ的高吞吐量和可扩展性，有效地避免了日志数据量大且并发性高导致业务运行受到影响的问题；同时，本发明还通过微服务读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录之后，再将所述日志记录存储到数据库MongoDB中，提高了日志的查询效率和分析效率。

请参见图1，图1是本发明实施例提供的一种日志数据的存储方法的实现流程示意图。本实施例中的存储方法的执行主体为日志数据的存储装置，该装置可以由软件和/或硬件实现，集成于终端中，适用于需要进行日志数据的存储的情形。如图1所示的日志数据的存储方法，可以包括：步骤101至步骤103。

步骤101，获取应用运行时产生的日志数据，并将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列。

本发明实施例中，所述日志数据可以是多种类型的应用运行时产生的日志数据。例如，该应用可以为社交类应用、支付类应用、游戏类应用、搜索引擎等等，本发明对此不做限制。

所述异步处理是指终端调用IO操作时，不必等IO操作完成就返回的调用方式，这种处理方式可以提高设备的使用率，并在宏观上提升应用的运行效率。

所述消息系统RocketMQ为一款高性能、高吞吐量的分布式消息中间件，可以向一个或多个微服务发布订阅消息，微服务也可以主动从RocketMQ的消息队列中主动读取数据。

在本发明实施例中，所述订阅消息为日志数据，所述微服务为供应用进行调用的函数接口。

在本发明的一些实施方式中，该微服务在被调用时用于对所述消息队列中的日志数据进行转换，得到包含多个字段的日志记录。

可选的，如图2所示，所述步骤101中，将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列可以具体包括：步骤201至步骤202。

步骤201，获取所述日志数据的主题信息；所述主题信息携带有应用名称信息和/或日志数据的类型信息；

步骤202，将所述日志数据采用异步处理的方式存储到与所述主题信息对应的消息队列。

日志数据通常可以包括多个字段的数据，并且可以包括用于标识日志数据的主题的主题字段，该主题字段用于存储日志数据的主题信息，所述主题信息可以携带有应用名称信息和/或日志数据的类型信息。

本发明实施例中，通过获取所述日志数据的主题信息，使得所述日志数据可以采用异步处理的方式存储到与所述主题信息对应的消息队列，以便微服务可以根据主题信息读取相应的日志数据，并存储到MongoDB中，提高了日志的查询效率和分析效率。

具体地，如图3所示为RocketMQ的日志数据存储示意图，RocketMQ可以包括用于存储携带不同主题信息的日志数据的多个消息队列，并且，该消息队列可以根据主题信息进行扩展。

消息系统RocketMQ在获取到应用A运行时产生的日志数据之后，可以将所述日志数据采用异步处理的方式存储到RocketMQ中用于存储主题A的日志数据的消息队列中。消息系统RocketMQ在获取到应用B运行时产生的日志数据之后，可以将所述日志数据采用异步处理的方式存储到RocketMQ中用于存储主题B的日志数据的消息队列中。

在本发明实施例中，所述主题信息可以携带有应用名称信息与日志数据的类型信息中的一种或两种。

例如，所述主题信息携带有应用名称信息和日志数据的类型信息，所述日志数据的类型信息包括操作类和非操作类，在将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列时，可以将所述日志数据采用异步处理的方式存储到与日志数据的应用名称信息和日志数据的类型信息对应的消息队列中。

又例如，消息队列1，可以用于存储应用名称为A的操作类日志数据；消息队列2，可以用于读取应用名称为A的非操作类日志数据；消息队列3，可以用于读取应用名称为B的操作类日志数据；消息队列4，可以用于读取应用名称为B的非操作类日志数据。

步骤102，读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录。

当应用运行时产生的日志数据存储到RocketMQ的消息队列之后，微服务将读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录，以利于日志数据的查询和分析。

例如，需要存储到RocketMQ的消息队列中的日志数据为：

127.0.0.1-frank[10/Oct/2000:13:55:36-0700]"GET/apache_pb.gif HT TP/1.0"200 2326"[http://www.example.com/start.html](http://www.example.com/start.html)""Mozilla/4.08[en](Win98；I；Nav)"；

若将其直接存储至MongoDB中时，其将形成如下日志记录：

{_id:ObjectId('4f442120eb03305789000000')，

line:'127.0.0.1-frank[10/Oct/2000:13:55:36-0700]"GET/apache_pb.gifHTTP/1.0"200 2326"[http://www.example.com/start.html](http://www.example.com/start.html)""Mozilla/4.08[en](Win98；I；Nav)"'}；

由于该日志记录为一长串的日志数据，用户无法对其进行筛选和查找，因此，将所述日志数据直接存储至MongoDB中进行存储的方式，不利于日志数据的查询和分析。

本发明实施例中，通过对所述日志数据进行转换，得到包含多个字段的日志记录，使得用户可以使用查询语句对日志数据进行查询，提高了日志的查询效率和分析效率。

例如，将上述日志数据转换为如下包括id字段、host字段、user字段、time字段、path字段、request字段、status字段、response_size字段、referrer字段和user_agent字段的日志记录：

{_id:ObjectId('4f442120eb03305789000000'),

host:"127.0.0.1",

user:'frank',

time:ISODate("2018-10-10T20:55:36Z"),

path:"/apache_pb.gif",

request:"GET/apache_pb.gif HTTP/1.0",

status:200,

response_size:2326,

referrer:"[http://www.example.com/start.html](http://www.example.com/start.html)",

user_agent:"Mozilla/4.08[en](Win98；I；Nav)"}；

当用户需要对某个字段的日志数据进行查询时，可以直接使用查询语句对日志数据进行查询。

例如，用户需要对2018年12月1日的日志数据进行查询时，只需要输入：db.events.find({'time':{'$gte':ISODate("2018-12-1T00:00:00.00Z"),'$lt':ISODate("2018-12-2T00:00:00.00Z")}})，即可筛选出2018年12月1日的日志数据。

可选的，如图4所示，所述对所述日志数据进行转换之前，可以包括：步骤401至步骤403。

步骤401，对日志数据的完整性进行检测，判断所述日志数据是否存在缺失字段；

步骤402，若所述日志数据存在缺失字段，则删除所述日志数据；

步骤403，若所述日志数据不存在缺失字段，则对所述日志数据进行转换，得到包含多个字段的日志记录。

由于存在缺失字段的日志数据有可能无法真实地反映出应用的运行情况，因此，在对日志数据进行存储时，可以先判断该日志数据是否为存在缺失字段的日志数据，若所述日志数据存在缺失字段，则删除所述日志数据，不对该日志数据进行存储，以节约日志数据的存储空间。

可选的，在本发明的一些实施方式中，所述读取所述消息队列中的日志数据可以根据所述日志数据的有应用名称信息和日志数据的类型信息进行读取。

例如，如图3所示，微服务A-1可以用于读取应用名称为A的操作类日志数据，微服务A-2可以用于读取应用名称为A的非操作类日志数据；其中，操作类日志数据可以是指由用户的触发操作产生的日志数据；所述非操作类日志数据可以是应用运行出现错误时产生的日志数据。

本发明实施例中，当微服务完成对所述日志数据的转换时，即可执行步骤103，将所述包含多个字段的日志记录存储到数据库MongoDB。

所述MongoDB是一个基于分布式文件存储的数据库，可以为不同类型的应用提供可扩展的高性能数据存储解决方案，具有高性能、易部署、易使用，存储数据方便的特点。

可选的，所述将所述包含多个字段的日志记录存储到数据库MongoDB可以包括：将所述包含多个字段的日志记录存储到所述MongoDB中与所述主题信息对应的存储节点。

也就是说，微服务根据日志数据的主题信息读取到与所述主题信息对应的消息队列中存储的日志数据，并且对该日志数据进行转换后，可以将所述包含多个字段的日志记录存储到所述MongoDB中与所述主题信息对应的存储节点。

例如，所述MongoDB中可以包括多个存储节点，一个存储节点可以仅用于存储对应的应用产生的日志数据。

可选的，当所述主题信息携带有应用名称信息和日志数据的类型信息；并且，所述日志数据的类型信息包括操作类和非操作类时，所述将所述包含多个字段的日志记录存储到所述MongoDB中与所述主题信息对应的存储节点，可以包括：将所述操作类的日志数据的存储到所述MongoDB中与所述应用名称信息对应的存储节点，将所述非操作类的日志数据存储至文本中。

也就是说，只将操作类的日志数据的存储到所述MongoDB中，并且是将操作类的日志数据的存储到所述MongoDB中与所述应用名称信息对应的存储节点，而将非操作类的日志数据单独存储至txt格式的文本或者其它存储格式的文本中，便于用户对非操作类的日志数据进行分析和维护，同时，有利于MongoDB中日志数据的管理。

可选的，当所述主题信息仅携带有应用名称信息，而没有携带日志数据的类型信息，则所述微服务在读取所述消息队列中的日志数据时，可以根据所述日志数据的应用名称信息进行读取，所述将所述包含多个字段的日志记录存储到数据库MongoDB可以包括：将所述包含多个字段的日志记录存储到数据库MongoDB与所述日志数据的主题信息应用名称信息对应的存储节点。即，不根据日志数据的类型信息进行存储。

可选的，当所述主题信息仅携带有日志数据的类型信息，而没有携带应用名称信息，则所述微服务在读取所述消息队列中的日志数据时，可以根据所述日志数据的类型信息进行读取，所述将所述包含多个字段的日志记录存储到数据库MongoDB可以包括：根据日志数据的类型信息将包含多个字段的日志记录存储到数据库MongoDB中操作类日志数据对应的存储节点或非操作类日志数据对应的存储节点。即，不根据日志数据的应用名称信息进行存储。

可选的，为了提高日志数据在MongoDB中的存储效率，如图5所示，步骤103中，将所述包含多个字段的日志记录存储到数据库MongoDB，还可以包括：步骤501至步骤502。

步骤501，动态生成随机数。

步骤502，将所述包含多个字段的日志记录存储到MongoDB中与所述随机数对应的存储节点。

本发明实施例中，所述动态生成随机数可以是利用随机函数在预设数值范围内生成随机数。

例如，所述MongoDB包括100个存储节点，并且使用数字1-100对其进行编号，当需要将日志记录存储到MongoDB中时，可以利用随机函数动态生成100以内的任意一个整数，并将所述日志记录存储到MongoDB中编号为该整数的存储节点中。例如，该整数为55，则将所述日志记录存储至编号为55的存储节点，从而将日志记录分散地存储到MongoDB中的不同存储节点，避免了将日志记录依次存储到MongoDB中的同一个存储节点时，存储效率较低的问题。

可选的，在上述描述的实施方式中，所述步骤103之后，还可以包括：创建MongoDB的TTL索引，以将所述MongoDB中存储时长大于预设时长的日志记录删除。

本发明实施例中，上述预设时长可以为根据实际应用场景设置的时长，例如，该预设时长可以为3个月，从而实现将所述MongoDB中存储时长大于3个月的日志记录进行自动删除，以提高存储空间的利用率。

可选的，在上述描述的实施方式中，所述步骤103之后，还可以包括：创建Restful接口，并利用所述Restful接口对所述MongoDB中存储的日志记录进行查询，并将查询结果缓存到Redis缓存。

本发明实施例中，通过在所述日志记录存储到数据库MongoDB之后，创建Restful接口，使得所述MongoDB中存储的日志记录可以支持不同终端的日志查询服务，并可以通过Web终端展示对日志的查询和分析结果，同时可以将该查询结果缓存到Redis缓存中，使得短时间内对同一个日志记录进行查询时，可以直接在Redis缓存中获取，而不需要从MongoDB中获取，提高了日志记录的查询效率。

本发明实施例还提供一种日志数据的存储装置，该装置包括用于执行前述的日志数据的存储方法中的各步骤的模块，该装置可集成于上述终端。该装置中未详细描述之处请详见前述方法的描述。

参见图6，图6是本发明实施例提供的一种日志数据的存储装置的示意框图。本实施例的日志数据的存储装置6包括：第一存储单元61、转换单元62和第二存储单元63。

第一存储单元61，用于获取应用运行时产生的日志数据，并将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列；

转换单元62，用于读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录；

第二存储单元63，用于将所述包含多个字段的日志记录存储到数据库MongoDB。

可选的，第一存储单元61，还用于获取所述日志数据的主题信息；所述主题信息携带有应用名称信息和/或日志数据的类型信息；将所述日志数据采用异步处理的方式存储到与所述主题信息对应的消息队列；所述第二存储单元63，还用于将所述包含多个字段的日志记录存储到所述MongoDB中与所述主题信息对应的存储节点。

可选的，所述主题信息携带有应用名称信息和日志数据的类型信息；所述日志数据的类型信息包括操作类和非操作类；所述第二存储单元63，还用于将所述操作类的日志数据的存储到所述MongoDB中与所述应用名称信息对应的存储节点，将所述非操作类的日志数据存储至txt文本中。

可选的，所述第二存储单元63，还用于动态生成随机数；将所述包含多个字段的日志记录存储到MongoDB中与所述随机数对应的存储节点。

可选的，所述存储装置还包括检测单元，用于在对所述日志数据进行转换之前，对日志数据的完整性进行检测，判断所述日志数据是否存在缺失字段；若所述日志数据存在缺失字段，则删除所述日志数据；若所述日志数据不存在缺失字段，则对所述日志数据进行转换，得到包含多个字段的日志记录。

可选的，所述存储装置还包括第一创建单元，用于创建MongoDB的TTL索引，以将所述MongoDB中存储时长大于预设时长的日志记录删除。

可选的，所述存储装置还包括第二创建单元，用于创建Restful接口，并利用所述Restful接口对所述MongoDB中存储的日志记录进行查询，并将查询结果缓存到Redis缓存。

图7是本发明实施例提供的终端的示意图。如图7所示，该实施例的终端7包括：处理器70、存储器71以及存储在存储器71中并可在处理器70上运行的计算机程序72，例如，日志数据的存储程序。处理器70执行计算机程序72时实现上述日志数据的存储方法实施例中的步骤，例如图1所示的步骤101至步骤103。或者，处理器70执行计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图6所示单元61至63的功能。

示例性的，计算机程序72可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器71中，并由处理器70执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序72在终端7中的执行过程。例如，计算机程序72可以被分割成第一存储单元、转换单元以及第二存储单元(虚拟装置中的单元)，各模块具体功能如下：

第一存储单元，用于获取应用运行时产生的日志数据，并将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列；

转换单元，用于读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录；

第二存储单元，用于将所述包含多个字段的日志记录存储到数据库MongoDB。

终端7可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端7的示例，并不构成对终端7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器71可以是终端7的内部存储单元，例如终端7的硬盘或内存。存储器71也可以是终端7的外部存储设备，例如终端7上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器71还可以既包括终端7的内部存储单元也包括外部存储设备。存储器71用于存储计算机程序以及终端设备所需的其他程序和数据。存储器71还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种日志数据的存储方法，其特征在于，包括：

获取应用运行时产生的日志数据，并将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列；

读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录；

将所述包含多个字段的日志记录存储到数据库MongoDB。

2.如权利要求1所述的存储方法，其特征在于，所述将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列包括：

获取所述日志数据的主题信息；所述主题信息携带有应用名称信息和/或日志数据的类型信息；

将所述日志数据采用异步处理的方式存储到与所述主题信息对应的消息队列；

所述将所述包含多个字段的日志记录存储到数据库MongoDB包括：

将所述包含多个字段的日志记录存储到所述MongoDB中与所述主题信息对应的存储节点。

3.如权利要求2所述的存储方法，其特征在于，

所述主题信息携带有应用名称信息和日志数据的类型信息；

所述日志数据的类型信息包括操作类和非操作类；

所述将所述包含多个字段的日志记录存储到所述MongoDB中与所述主题信息对应的存储节点，包括：

将所述操作类的日志数据的存储到所述MongoDB中与所述应用名称信息对应的存储节点，将所述非操作类的日志数据存储至文本中。

4.如权利要求1所述的存储方法，其特征在于，所述将所述包含多个字段的日志记录存储到数据库MongoDB，包括：

动态生成随机数；

将所述包含多个字段的日志记录存储到MongoDB中与所述随机数对应的存储节点。

5.如权利要求1-4任意一项所述的存储方法，其特征在于，所述对所述日志数据进行转换之前，包括：

对日志数据的完整性进行检测，判断所述日志数据是否存在缺失字段；

若所述日志数据存在缺失字段，则删除所述日志数据；

若所述日志数据不存在缺失字段，则对所述日志数据进行转换，得到包含多个字段的日志记录。

6.如权利要求1所述的存储方法，其特征在于，所述将所述包含多个字段的日志记录存储到数据库MongoDB之后，包括：

创建MongoDB的TTL索引，以将所述MongoDB中存储时长大于预设时长的日志记录删除。

7.如权利要求1所述的存储方法，其特征在于，所述将所述包含多个字段的日志记录存储到数据库MongoDB之后，包括：

创建Restful接口，并利用所述Restful接口对所述MongoDB中存储的日志记录进行查询，并将查询结果缓存到Redis缓存。

8.一种日志数据的存储装置，其特征在于，包括：

第一存储单元，用于获取应用运行时产生的日志数据，并将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列；

转换单元，用于读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录；

第二存储单元，用于将所述包含多个字段的日志记录存储到数据库MongoDB。

9.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。

Images