CN108197015A - 以消息的方式写入日志数据的方法及装置 - Google Patents

Abstract

本发明涉及一种以消息的方式写入日志数据的方法及装置，其中的所述方法包括：定义服务器的日志缓存地址；对对象标记的参数进行定义；通过定义后的对象标记向服务器发送消息；结合服务器的日志缓存地址，通过对对象标记的参数指定的方式在服务器的一个分区写入日志。本发明的有益效果为：通过消息的方式快速而且不会造成宕机地将日志数据写入Kafka服务器，解决对Kafka服务器中快速而且不会造成宕机地写入日志信息的问题题，实现对Kafka服务器中快速而且不会造成宕机地写入日志信息的效果。

Description

以消息的方式写入日志数据的方法及装置

技术领域

本发明实施例涉及互联网信息技术领域，尤其涉及一种以消息的方式写入日志数据的方法及装置。

背景技术

随着电子商务技术的发展，网络的后端服务器承载的压力也越来越大，同时需要处理的“数据”也呈几何级增长，实时准确的收集、传输、计算海量日志随之成为电子商务中的迫切要求，而日志数据对于服务器而言是一项重要的数据，如何能够在对Kafka服务器中快速而且不会造成宕机地写入日志信息，成为目前业内需要解决的一个技术问题。

发明内容

为了克服相关技术中存在的问题，本发明提供一种以消息的方式写入日志数据的方法及装置，以实现通过消息的方式快速而且不会造成宕机地将日志数据写入Kafka服务器。

第一方面，本发明实施例提供了一种以消息的方式写入日志数据的方法，所述方法包括：

定义服务器的日志缓存地址；

对对象标记的参数进行定义；

通过定义后的对象标记向服务器发送消息；

结合服务器的日志缓存地址，通过对对象标记的参数指定的方式在服务器的一个分区写入日志。

结合另一方面，在另一方面的一种可能的实施方式中，所述对对象标记的参数进行定义，包括：

将对象标记转换为字符串；

在所述服务器中定义消息的写入路由；

在通过定义后的对象标记向服务器发送消息时，包括：

在定义后的对象标记的其中一个参数为空时，在一段时间内向所述服务器的同一个物理分组写入日志；

在定义后的对象标记的其中一个参数为忙时，指定服务器的一个路由用于通过消息的方式写入日志信息。

结合另一方面，在另一方面的一种可能的实施方式中，所述方法还包括：

当服务器用于通过消息的方式写入日志信息的路由发生改变时，根据改变后的路由更新所述写入服务器的物理分组。

结合另一方面，在另一方面的一种可能的实施方式中，所述方法还包括：

对于获取的日志消息，通过对象标识配置所述日志消息，将配置项以对象标记文件的形式缓存至服务器的目标日志缓存地址；

获取目标日志缓存地址中的修改后的对象标记文件，将对象标识恢复为日志消息，并在所述服务器的一个物理分组存储所述恢复后的日志消息。

第二方面，本发明还提供了一种以消息的方式写入日志数据的装置，所述装置包括：

第一定义模块，用于定义服务器的日志缓存地址；

第二定义模块，用于对对象标记的参数进行定义；

发送模块，用于通过定义后的对象标记向服务器发送消息；

写入模块，用于结合服务器的日志缓存地址，通过对对象标记的参数指定的方式在服务器的一个分区写入日志。

上述的装置，所述第二定义模块，包括：

转换子模块，用于将对象标记转换为字符串；

路由写入子模块，用于在所述服务器中定义消息的写入路由；

发送模块，包括：

第一发送子模块，用于在定义后的对象标记的其中一个参数为空时，在一段时间内向所述服务器的同一个物理分组写入日志；

第二发送子模块，用于在定义后的对象标记的其中一个参数为忙时，指定服务器的一个路由用于通过消息的方式写入日志信息。

上述的装置，所述装置还包括：

更新模块，用于当服务器用于通过消息的方式写入日志信息的路由发生改变时，根据改变后的路由更新所述写入服务器的物理分组。

上述的装置，所述装置还包括：

缓存模块，用于对于获取的日志消息，通过对象标识配置所述日志消息，将配置项以对象标记文件的形式缓存至服务器的目标日志缓存地址；

恢复模块，用于获取目标日志缓存地址中的修改后的对象标记文件，将对象标识恢复为日志消息，并在所述服务器的一个物理分组存储所述恢复后的日志消息。

本发明通过消息的方式快速而且不会造成宕机地将日志数据写入Kafka服务器，解决对Kafka服务器中快速而且不会造成宕机地写入日志信息的问题题，实现对Kafka服务器中快速而且不会造成宕机地写入日志信息的效果。

在本发明示例性实施例的另一实施场景中，

本发明的实施例提供的技术方案可以包括以下有益效果：

结合另一方面，在另一方面的一种可能出现的实现方式中，

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种以消息的方式写入日志数据的方法的基本流程示意图。

图2是根据一示例性实施例示出的一种以消息的方式写入日志数据的装置的基本框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图中将各步骤描述成顺序的处理，但是其中的许多步骤可以并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排，当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图内的其它步骤。处理可以对应于方法、函数、规程、子例程、子程序等。

本发明涉及一种以消息的方式写入日志数据的方法及装置，其主要运用于需要Kafka服务器快速且不会造成宕机地以消息的方式写日志数据的场景中，其基本思想是：定义服务器的日志缓存地址；对对象标记的参数进行定义；通过定义后的对象标记向服务器发送消息；结合服务器的日志缓存地址，通过对对象标记的参数指定的方式在服务器的一个分区写入日志，从而实现通过消息的方式快速而且不会造成宕机地将日志数据写入Kafka服务器，解决对Kafka服务器中快速而且不会造成宕机地写入日志信息的问题题，实现对Kafka服务器中快速而且不会造成宕机地写入日志信息的效果。

图1为本发明实施例一提供的流程图，本发明的方法可以由服务器来执行，具体包括如下步骤：

在步骤110中，定义服务器的日志缓存地址；

在步骤120中，对对象标记的参数进行定义；

在步骤130中，通过定义后的对象标记向服务器发送消息；

在步骤140中，结合服务器的日志缓存地址，通过对对象标记的参数指定的方式在服务器的一个分区写入日志。

通过本发明的方法，通过定义服务器的日志缓存地址；对对象标记的参数进行定义；通过定义后的对象标记向服务器发送消息；结合服务器的日志缓存地址，通过对对象标记的参数指定的方式在服务器的一个分区写入日志，从而实现通过消息的方式快速而且不会造成宕机地将日志数据写入Kafka服务器，解决对Kafka服务器中快速而且不会造成宕机地写入日志信息的问题题，实现对Kafka服务器中快速而且不会造成宕机地写入日志信息的效果。

在本发明示例性实施例的另一种实施场景中，所述对对象标记的参数进行定义，包括：

将对象标记转换为字符串；

在所述服务器中定义消息的写入路由；

在通过定义后的对象标记向服务器发送消息时，包括：

在定义后的对象标记的其中一个参数为空时，在一段时间内向所述服务器的同一个物理分组写入日志；

在定义后的对象标记的其中一个参数为忙时，指定服务器的一个路由用于通过消息的方式写入日志信息。

在Kafka处理的消息源(feeds of messages)的不同分类时采用TOPIC表明，而对于Topic物理上的分组，一个topic可以分为多个partition(分组、部分)，当一个Topic中消息过多时，会对Topic进行分区处理，把消息分到不同的Partition中。

日志数据在写入时通过指定其中的一个partition的方式(round-robin、hash等)，将日志数据写入到指定topic的partition里面。kafka集群接收到Producer发过来的消息后，将其持久化到硬盘，并保留消息指定时长(可配置)，而不关注消息本身。

在本发明示例性实施例的另一种实施场景中，所述方法还包括：

当服务器用于通过消息的方式写入日志信息的路由发生改变时，根据改变后的路由更新所述写入服务器的物理分组。

在本发明示例性实施例的另一种实施场景中，所述方法还包括：

对于获取的日志消息，通过对象标识配置所述日志消息，将配置项以对象标记文件的形式缓存至服务器的目标日志缓存地址；

获取目标日志缓存地址中的修改后的对象标记文件，将对象标识恢复为日志消息，并在所述服务器的一个物理分组存储所述恢复后的日志消息。

在对所述日志消息进行配置的过程中，由于路由的变更，可能导致目标日志缓存地址以及分配后的物理分组的变更，此时需要重新指定目标地址，并对对象标识(json)轻量化数据对象在地址修改、存储到服务器的指定分组后恢复为日志数据。

本发明涉及的部分代码包括如下：

图2为本发明实施例提供的一种以消息的方式写入日志数据的装置的信令流程图/结构示意图，该装置可由软件和/或硬件实现，一般地集成于移动终端中，可通过以消息的方式写入日志数据的方法来实现。如图所示，本实施例可以以上述实施例为基础，提供了一种以消息的方式写入日志数据的装置，其主要包括了第一定义模块210、第二定义模块220、发送模块230以及写入模块240。

其中的第一定义模块210，用于定义服务器的日志缓存地址；

第二定义模块220，用于对对象标记的参数进行定义；

发送模块230，用于通过定义后的对象标记向服务器发送消息；

写入模块240，用于结合服务器的日志缓存地址，通过对对象标记的参数指定的方式在服务器的一个分区写入日志。

在本发明示例性实施例的另一种实施场景中，所述第二定义模块，包括：

转换子模块，用于将对象标记转换为字符串；

路由写入子模块，用于在所述服务器中定义消息的写入路由；

发送模块，包括：

第一发送子模块，用于在定义后的对象标记的其中一个参数为空时，在一段时间内向所述服务器的同一个物理分组写入日志；

第二发送子模块，用于在定义后的对象标记的其中一个参数为忙时，指定服务器的一个路由用于通过消息的方式写入日志信息。

在本发明示例性实施例的另一种实施场景中，所述装置还包括：

更新模块，用于当服务器用于通过消息的方式写入日志信息的路由发生改变时，根据改变后的路由更新所述写入服务器的物理分组。

在本发明示例性实施例的另一种实施场景中，所述装置还包括：

缓存模块，用于对于获取的日志消息，通过对象标识配置所述日志消息，将配置项以对象标记文件的形式缓存至服务器的目标日志缓存地址；

恢复模块，用于获取目标日志缓存地址中的修改后的对象标记文件，将对象标识恢复为日志消息，并在所述服务器的一个物理分组存储所述恢复后的日志消息。

上述实施例中提供各模块两两之间均可实现通讯连接，且各模块均可与平台的中心控制装置通讯连接，上述实施例中提供的通过指纹识别快速录音装置可执行本发明中任意实施例中所提供的通过指纹识别快速录音的方法，具备执行该方法相应的功能模块和有益效果，未在上述实施例中详细描述的技术细节，可参见本发明任意实施例中所提供的快速录音的方法。

将意识到的是，本发明也扩展到适合于将本发明付诸实践的计算机程序，特别是载体上或者载体中的计算机程序。程序可以以源代码、目标代码、代码中间源和诸如部分编译的形式的目标代码的形式，或者以任何其它适合在按照本发明的方法的实现中使用的形式。也将注意的是，这样的程序可能具有许多不同的构架设计。例如，实现按照本发明的方法或者系统的功能性的程序代码可能被再分为一个或者多个子例程。

用于在这些子例程中间分布功能性的许多不同方式将对技术人员而言是明显的。子例程可以一起存储在一个可执行文件中，从而形成自含式的程序。这样的可执行文件可以包括计算机可执行指令，例如处理器指令和/或解释器指令(例如，Java解释器指令)。可替换地，子例程的一个或者多个或者所有子例程都可以存储在至少一个外部库文件中，并且与主程序静态地或者动态地(例如在运行时间)链接。主程序含有对子例程中的至少一个的至少一个调用。子例程也可以包括对彼此的函数调用。涉及计算机程序产品的实施例包括对应于所阐明方法中至少一种方法的处理步骤的每一步骤的计算机可执行指令。这些指令可以被再分成子例程和/或被存储在一个或者多个可能静态或者动态链接的文件中。

另一个涉及计算机程序产品的实施例包括对应于所阐明的系统和/或产品中至少一个的装置中每个装置的计算机可执行指令。这些指令可以被再分成子例程和/或被存储在一个或者多个可能静态或者动态链接的文件中。

计算机程序的载体可以是能够运载程序的任何实体或者装置。例如，载体可以包含存储介质，诸如(ROM例如CDROM或者半导体ROM)或者磁记录介质(例如软盘或者硬盘)。进一步地，载体可以是可传输的载体，诸如电学或者光学信号，其可以经由电缆或者光缆，或者通过无线电或者其它手段传递。当程序具体化为这样的信号时，载体可以由这样的线缆或者装置组成。可替换地，载体可以是其中嵌入有程序的集成电路，所述集成电路适合于执行相关方法，或者供相关方法的执行所用。

应该留意的是，上文提到的实施例是举例说明本发明，而不是限制本发明，并且本领域的技术人员将能够设计许多可替换的实施例，而不会偏离所附权利要求的范围。在权利要求中，任何放置在圆括号之间的参考符号不应被解读为是对权利要求的限制。动词“包括”和其词形变化的使用不排除除了在权利要求中记载的那些之外的元素或者步骤的存在。在元素之前的冠词“一”或者“一个”不排除复数个这样的元素的存在。本发明可以通过包括几个明显不同的组件的硬件，以及通过适当编程的计算机而实现。在列举几种装置的装置权利要求中，这些装置中的几种可以通过硬件的同一项来体现。在相互不同的从属权利要求中陈述某些措施的单纯事实并不表明这些措施的组合不能被用来获益。

如果期望的话，这里所讨论的不同功能可以以不同顺序执行和/或彼此同时执行。此外，如果期望的话，以上所描述的一个或多个功能可以是可选的或者可以进行组合。

如果期望的话，上文所讨论的各步骤并不限于各实施例中的执行顺序，不同步骤可以以不同顺序执行和/或彼此同时执行。此外，在其他实施例中，以上所描述的一个或多个步骤可以是可选的或者可以进行组合。

虽然本发明的各个方面在独立权利要求中给出，但是本发明的其它方面包括来自所描述实施方式的特征和/或具有独立权利要求的特征的从属权利要求的组合，而并非仅是权利要求中所明确给出的组合。

这里所要注意的是，虽然以上描述了本发明的示例实施方式，但是这些描述并不应当以限制的含义进行理解。相反，可以进行若干种变化和修改而并不背离如所附权利要求中所限定的本发明的范围。

本领域普通技术人员应该明白，本发明实施例的装置中的各模块可以用通用的计算装置来实现，各模块可以集中在单个计算装置或者计算装置组成的网络组中，本发明实施例中的装置对应于前述实施例中的方法，其可以通过可执行的程序代码实现，也可以通过集成电路组合的方式来实现，因此本发明并不局限于特定的硬件或者软件及其结合。

本领域普通技术人员应该明白，本发明实施例的装置中的各模块可以用通用的移动终端来实现，各模块可以集中在单个移动终端或者移动终端组成的装置组合中，本发明实施例中的装置对应于前述实施例中的方法，其可以通过编辑可执行的程序代码实现，也可以通过集成电路组合的方式来实现，因此本发明并不局限于特定的硬件或者软件及其结合。

注意，上述仅为本发明的示例性实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种以消息的方式写入日志数据的方法，其特征在于，所述方法包括：

定义服务器的日志缓存地址；

对对象标记的参数进行定义；

通过定义后的对象标记向服务器发送消息；

结合服务器的日志缓存地址，通过对对象标记的参数指定的方式在服务器的一个分区写入日志。

2.根据权利要求1所述的方法，其特征在于，所述对对象标记的参数进行定义，包括：

将对象标记转换为字符串；

在所述服务器中定义消息的写入路由；

在通过定义后的对象标记向服务器发送消息时，包括：

在定义后的对象标记的其中一个参数为空时，在一段时间内向所述服务器的同一个物理分组写入日志；

在定义后的对象标记的其中一个参数为忙时，指定服务器的一个路由用于通过消息的方式写入日志信息。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当服务器用于通过消息的方式写入日志信息的路由发生改变时，根据改变后的路由更新所述写入服务器的物理分组。

4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

对于获取的日志消息，通过对象标识配置所述日志消息，将配置项以对象标记文件的形式缓存至服务器的目标日志缓存地址；

获取目标日志缓存地址中的修改后的对象标记文件，将对象标识恢复为日志消息，并在所述服务器的一个物理分组存储所述恢复后的日志消息。

5.一种以消息的方式写入日志数据的装置，其特征在于，所述装置包括：

第一定义模块，用于定义服务器的日志缓存地址；

第二定义模块，用于对对象标记的参数进行定义；

发送模块，用于通过定义后的对象标记向服务器发送消息；

写入模块，用于结合服务器的日志缓存地址，通过对对象标记的参数指定的方式在服务器的一个分区写入日志。

6.根据权利要求5所述的装置，其特征在于，所述第二定义模块，包括：

转换子模块，用于将对象标记转换为字符串；

路由写入子模块，用于在所述服务器中定义消息的写入路由；

发送模块，包括：

第一发送子模块，用于在定义后的对象标记的其中一个参数为空时，在一段时间内向所述服务器的同一个物理分组写入日志；

第二发送子模块，用于在定义后的对象标记的其中一个参数为忙时，指定服务器的一个路由用于通过消息的方式写入日志信息。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

更新模块，用于当服务器用于通过消息的方式写入日志信息的路由发生改变时，根据改变后的路由更新所述写入服务器的物理分组。

8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：

缓存模块，用于对于获取的日志消息，通过对象标识配置所述日志消息，将配置项以对象标记文件的形式缓存至服务器的目标日志缓存地址；

恢复模块，用于获取目标日志缓存地址中的修改后的对象标记文件，将对象标识恢复为日志消息，并在所述服务器的一个物理分组存储所述恢复后的日志消息。