CN110727641B - 一种日志的查找方法及装置 - Google Patents

一种日志的查找方法及装置 Download PDF

Info

Publication number
CN110727641B
CN110727641B CN201911001719.6A CN201911001719A CN110727641B CN 110727641 B CN110727641 B CN 110727641B CN 201911001719 A CN201911001719 A CN 201911001719A CN 110727641 B CN110727641 B CN 110727641B
Authority
CN
China
Prior art keywords
log
target
feature code
stored
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911001719.6A
Other languages
English (en)
Other versions
CN110727641A (zh
Inventor
刘彦汝
杨毅
刘蓓
许宪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Travelsky Technology Co Ltd
Original Assignee
China Travelsky Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Travelsky Technology Co Ltd filed Critical China Travelsky Technology Co Ltd
Priority to CN201911001719.6A priority Critical patent/CN110727641B/zh
Publication of CN110727641A publication Critical patent/CN110727641A/zh
Application granted granted Critical
Publication of CN110727641B publication Critical patent/CN110727641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种日志的查找方法,包括:当接收到对目标日志的查找指令时,获取与所述查找指令对应的目标特征码;依据所述目标特征码在采用预设的存储方式进行存储得到的日志存储系统中查找与所述目标特征码匹配的目标日志。上述的方法中,查找指令中包含有目标特征码,所述日志存储系统中的目标日志也包含有目标特征码,通过目标特征码将查找指令和目标日志进行了关联,查找结果准确且查找速度快。

Description

一种日志的查找方法及装置
技术领域
本发明涉及数据处理技术领域,尤其涉及一种日志的查找方法及装置。
背景技术
如今,由于互联网技术的飞速发展,用户在通过网络浏览网站的过程中会生成大量的日志,日志会生成在集群中,即多台服务器里,每当日志文件的大小超过对应的阈值就会累加文件名的ID域,在新的文件中继续存储,简言之,会生成多个日志文件,如何对日志进行数字化、智能化分析的需求也越来越高,在日志检索及问题定位的场景下,存储成本压力很大,属于典型的“写多查少”场景。
以航空系统为例,查找日志的方式是需要用户提供pid和执行请求时间,技术人员需要逐一在每台服务器上,根据以上信息查找相应的日志,若想获取准确有效的日志,就需要用户提供非常精准的信息,对用户的要求极高,如果用户提供的信息不准确完整,就会找不到相应的日志,如果日志被打包,更是增加了技术人员查找日志的难度,上述的日志查找过程不仅耗时耗力,也可能获取到不准确的日志信息。
发明内容
有鉴于此,本发明提供了一种日志的查找方法及装置,用以解决现有的日志查找过程中,查找日志的方式是需要用户提供pid和执行请求时间,技术人员需要逐一在每台服务器上,根据以上信息查找相应的日志,若想获取准确有效的日志,就需要用户提供非常精准的信息,对用户的要求极高,如果用户提供的信息不准确完整,就会找不到相应的日志,如果日志被打包,更是增加了技术人员查找日志的难度,上述的日志查找过程不仅耗时耗力,也可能获取到不准确的日志信息的问题。具体方案如下:
一种日志的查找方法,包括:
当接收到对目标日志的查找指令时,获取与所述查找指令对应的目标特征码;
依据所述目标特征码在采用预设的存储方式进行存储得到的日志存储系统中查找与所述目标特征码匹配的目标日志。
上述的方法,可选的,当接收到对目标日志的查找指令时,获取与所述查找指令对应的目标特征码,包括:
解析所述查找指令的级别;
若所述查找指令属于一级指令,获取所述查找指令中包含的目标特征码;
若所述查找指令属于二级指令,获取所述查找指令对应的第一目标特征码;
依据所述第一目标特征码确定与所述查找指令对应的一级指令中目标特征码。
上述的方法,可选的,采用预设的存储方式进行存储得到的日志存储系统,其中,所述日志存储系统包括:目标计算组件、日志存储触发组件、特征码生成组件、索引生成及更新组件、日志原文存储组件和索引存储组件,所述预设的存储方式包括:
当所述目标计算组件接收到待存储日志时,依据所述待存储日志的类型,所述日志存储触发组件将所述待存储日志存储到所述日志原文存储组件对应的集群中,并触发所述特征码生成组件生成与所述待存储日志对应的待存储特征码;
所述特征码生成组件依据所述待存储日志生成所述待存储特征码,将所述待存储特征码发送给所述索引生成及更新组件,所述索引生成及更新组件获取所述待存储日志的存储路径,依据所述存储路径和所述待存储特征码生成日志索引;
将所述日志索引存储至所述索引存储组件中。
上述的方法,可选的,所述日志原文存储组件包括:热数据集群和冷数据集群,其中:
若所述待存储日志存储在所述热数据集群时,统计所述待存储日志在所述热数据集群中存储的累计时长和数据量;
若所述累积时长达到预设的热周期或者所述数据量达到预设的数据量阈值时,将所述待存储日志存储至所述冷数据集群。
上述的方法,可选的,还包括:
获取所述待存储日志对应的待存储特征码;
更新所述待存储特征码在所述冷数据集群的日志索引。
上述的方法,可选的,依据所述目标特征码在采用预设的存储方式存储的日志存储系统查找与所述目标特征码匹配的目标日志,包括:
依据所述目标特征码,在所述索引生成及更新组件查找与所述目标特征码匹配的目标索引;
获取所述目标索引中包含的所述目标日志的存储路径;
依据所述存储路径,获取所述目标日志。
一种日志的查找装置,包括:
获取模块,用于当接收到对目标日志的查找指令时,获取与所述查找指令对应的目标特征码;
查找模块,用于依据所述目标特征码在采用预设的存储方式进行存储得到的日志存储系统中查找与所述目标特征码匹配的目标日志。
上述的装置,可选的,所述获取模块包括:
解析单元,用于解析所述查找指令的级别;
第一获取单元,用于若所述查找指令属于一级指令,获取所述查找指令中包含的目标特征码;
第二获取单元,用于若所述查找指令属于二级指令,获取所述查找指令对应的第一目标特征码;
确定单元,用于依据所述第一目标特征码确定与所述查找指令对应的一级指令中目标特征码。
上述的装置,可选的,所述查找模块中采用预设的存储方式进行存储得到的日志存储系统,其中,所述日志存储系统包括:目标计算组件、日志存储触发组件、特征码生成组件、索引生成及更新组件、日志原文存储组件和索引存储组件,所述预设的存储方式包括:
存储和触发单元,用于当所述目标计算组件接收到待存储日志时,依据所述待存储日志的类型,所述日志存储触发组件将所述待存储日志存储到所述日志原文存储组件对应的集群中,并触发所述特征码生成组件生成与所述待存储日志对应的待存储特征码;
生成单元,用于所述特征码生成组件依据所述待存储日志生成所述待存储特征码,将所述待存储特征码发送给所述索引生成及更新组件,所述索引生成及更新组件获取所述待存储日志的存储路径,依据所述存储路径和所述待存储特征码生成日志索引;
存储单元,用于将所述日志索引存储至所述索引存储组件中。
上述的装置,可选的,所述查找模块包括:
查找单元,用于依据所述目标特征码,在所述索引生成及更新组件查找与所述目标特征码匹配的目标索引;
路径获取单元,用于获取所述目标索引中包含的所述目标日志的存储路径;
日志获取单元,用于依据所述存储路径,获取所述目标日志。
与现有技术相比,本发明包括以下优点:
本发明公开了一种日志的查找方法,包括:当接收到对目标日志的查找指令时,获取与所述查找指令对应的目标特征码;依据所述目标特征码在采用预设的存储方式进行存储得到的日志存储系统中查找与所述目标特征码匹配的目标日志。上述的方法中,查找指令中包含有目标特征码,所述日志存储系统中的目标日志也包含有目标特征码,通过目标特征码将查找指令和目标日志进行了关联,查找结果准确且查找速度快。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术中的一种日志的查找方法示意图;
图2为本申请实施例公开的一种日志的查找方法流程图;
图3为本申请公开的一种全日志存储系统结构框图;
图4为本申请实施例公开的一种日志的查找装置结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
本发明实施例公开了一种日志的查找方法及装置,应用在日志的查找过程中,现有技术中,日志存储成本压力很大,属于典型的“写多查少”场景。查找日志的方式是需要用户提供pid和执行请求时间,如图1所示流程,包含多台日志存储服务器,技术人员需要逐一在每台日志存储服务器上,根据以上信息查找相应的日志,这样不仅耗时耗力,也可能获取到不准确的日志,若想获取准确有效的日志,就需要用户提供非常精准的信息,对用户的要求极高;如果用户提供的信息不准确完整,就会找不到相应的日志,如果日志被打包,更是增加了技术人员查找日志的难度,从而无法更好的解答用户的疑点,进而无法更好的服务用户。本发明提供了一种日志的查找方法,用以解决上述问题,所述查找方法的执行流程如图2所示,包括步骤:
S101、当接收到对目标日志的查找指令时,获取与所述查找指令对应的目标特征码;
本发明实施例中,所述查找指令可以是一级指令或者二级指令,当接收到对所述目标日志的查找指令时,解析所述查找指令的级别,其中,可以依据所述查找指令的标识、所述查找指令的长度或者其它信息判定所述查找指令为一级指令或者二级指令,若所述查找指令属于一级指令,获取所述查找指令中包含的目标特征码;其中,所述目标特征码是采用预设的方法进行构建的,所述目标特征码包含时间信息,日志的类型信息和业务过程级别信息等,当构建完成时,所述目标特征码分别发送给目标日志和返回给终端的结果中,无论所述查找指令为一级指令还是二级指令,其对应的特征码均包含在所述查找指令中。若所述查找指令属于二级指令,获取所述查找指令对应的第一目标特征码,依据所述第一目标特征码确定与所述查找指令对应的一级指令中目标特征码。其中,所述第一目标特征码与所述目标特征码之间存在关联关系,依据所述关联关系确定与所述第一目标特征码对应的目标特征码,其中,所述关联关系可以为特征码在预设位置的预设数量的编码相同或者命名规则具有延续性等,本发明实施例中对所述关联关系不进行限定。
进一步的,针对所述一级指令和所述二级指令,在所述查找指令为一级指令的情况下,会将一级指令中包含的对应的目标特征码进行存储,在所述查找指令为二级指令的情况下,将一级指令对应的目标特征码打印到对应的日志中,以便于后期问题排查。所以上述是可以通过提取日志,可以查到一级指令对应的目标特征码。
S102、依据所述目标特征码在采用预设的存储方式进行存储得到的日志存储系统中查找与所述目标特征码匹配的目标日志。
本发明实施例中,依据所述目标特征码,确定与所述目标特征码匹配的目标索引,其中,所述目标索引基于所述目标特征码和所述目标日志的存储路径生成,获取所述目标索引中包含的所述目标日志的存储路径,依据所述存储路径,获取所述目标日志。
本发明公开了一种日志的查找方法,包括:当接收到对目标日志的查找指令时,获取与所述查找指令对应的目标特征码;依据所述目标特征码在采用预设的存储方式进行存储得到的日志存储系统中查找与所述目标特征码匹配的目标日志。上述的方法中,查找指令中包含有目标特征码,所述日志存储系统中的目标日志也包含有目标特征码,通过目标特征码将查找指令和目标日志进行了关联,查找结果准确且查找速度快。
本发明实施例中,所述目标特征码的构建过程如下:用户通过eterm终端发送请求时,获取请求的到达时间,并保留微妙的精度单位,通过自创编码设计得到一个长度为12的包含时间信息的编码字符串,其中,自创编码设计得到所述编码字符串的过程为:
1)首先获取请求到达的时间,并到保留微秒的精度单位,然后使用6.5个字节(即52个bits(位))来上溢保存时间信息。
2)然后在(0-255)之间取一个随机数m,并使用1BYTE(字节)存储,取该BYTE的高4bits m1来填补6.5BYTES的高位到7BYTES,低4bitsm0留着待用。加入随机数是由于每台机器会启动数百个服务进程,尽可能消除两个进程在同一微秒接到请求造成的不唯一性。如果直接使用进程ID取代随机数,最终会增加编码字符串的程度,影响用户的视觉效果,所以选择了随机数的方案。
3)然后对前7个BYTES求和s,上溢存储到1BYTE s,并定义s的低4bits为s0,高4bits为s1待用。
4)然后使用m0和s0的组合填补第8个BTYE。
5)最后使用大写字母(A-Z)加数字(1-6)组成32个字符来编码这8个BYTES,最终得到一个长度为12的包含时间信息的编码字符串。
并把机器码明文拼接到编码字符串的后边,组成所述目标特征码。其中,所述机器码明文包含所述目标日志存储的服务器信息。
本发明实施例中,采用预设的存储方式进行存储得到的日志存储系统,其中,所述日志存储系统的示意图如图3所示,包括:目标计算组件、日志存储触发组件、特征码生成组件、索引生成及更新组件、日志原文存储组件和索引存储组件,其中:
所述目标计算组件:用于根据用户请求,实现查找及计算,监听查找与计算过程,生成不同类型的待存储日志。
所述日志存储触发组件:接收所述目标计算组件生成的所述待存储日志,根据所述待存储日志的类型自动将不同的日志分别发送到冷热日志集群中,同时,将包括发送至不同数据集群的所述待存储日志的目标存储机器代码等多个维度的日志信息发送至特征码生成组件,触发待存储特征码的生成。其中,热日志集群是经常被查看或者检索的日志存放的地方,冷日志集群是像一些启动服务的日志等不太影响业务的日志存放的地方。
所述特征码生成组件:由所述日志存储触发组件的完成来触发,负责所述待存储日志的特征的逻辑处理,并将生成的包含特殊特征值的字符串插入到所述目标计算组件返回给用户的结果中,同时发送到索引生成组件中。
所述索引生成及更新组件:基于所述待存储日志的存储路径及特征码,生成日志索引,当热数据储存时间超过预设的热周期变为冷数据、转存至冷数据集群时,更新特征码对应的冷数据集群中的日志索引,其中,当所述待存储日志存储在所述热数据集群时,统计所述待存储日志在所述热数据集群中存储的累计时长和数据量,若所述累积时长达到预设的热周期或者所述数据量达到预设的数据量阈值时,将所述待存储日志存储至所述冷数据集群,本发明实施例中,对所述预设的热周期和所述预设的数量阈值可以依据经验取值或者实际情况进行取值,对两者的具体取值不进行限定。
所述日志原文存储组件:根据所述待存储日志的类型,实现日志原文的分级存储,其中,所述待存储日志的类型包括:业务常规过程,业务过程中的报错信息,业务过程中上下游系统之间的交互信息,还有一些中间件的日志和服务启动的日志等,所述日志原文存储组件中包含冷数据集群和热数据集群,所述冷数据集群和热数据集群中包含多个日志存储节点,每一个日志存储节点对应一个服务器或者存储设备。
所述索引存储组件:根据索引类型,实现日志索引的分类存储,接收索引更新组件的请求,更新对应的日志索引。
所述预设的存储方式包括:
当所述目标计算组件接收到待存储日志时,依据所述待存储日志的类型,所述日志存储触发组件将所述待存储日志存储到所述日志原文存储组件对应的集群中,并触发所述特征码生成组件生成与所述待存储日志对应的待存储特征码;
所述特征码生成组件依据所述待存储日志生成所述待存储特征码,将所述待存储特征码发送给所述索引生成及更新组件,所述索引生成及更新组件获取所述待存储日志的存储路径,依据所述存储路径和所述待存储特征码生成日志索引;
将所述日志索引存储至所述索引存储组件中。
进一步的,为了减少存储量,所述日志原文存储组件中的日志和所述索引存储组件中的索引,可以间隔预设的时长对两者进行删除,其中,所述预设的时长可以依据经验或者具体情况进行设定,本发明实施例中,对所述预设的时长和取值和删除的规则不进行限定。
本发明实施例中,基于上述的方法,用户在遇到问题时,可直接据所述目标特征码,查找对应日志索引,实现该笔交易的详细计算过程快速定位、快速查询,直接用于问题分析。如果用户提供的是二级指令,因为二级指令是依赖一级指令的,用户也只需提供当前指令的第一目标特征码,查找到相应的一级指令请求的所有交易信息。以所述查找指令为二级指令为例进行说明,例如:所述查找指令对应的第一目标特征码为:1UX6ADF2RC1TW33,由所述第一目标特征码可知:服务器标识:3请求接收时间:20190513094400:882645,通过以上信息,可以直接到机器标识为3的服务器查找时间是201905130944的日志,从而可以快速的提取出该请求的所有交易内容。可以查到一级指令的目标特征码,PARENTTRANSACTIONID:J5PP3CV2RAKRI1,根据所述目标特征码,可以精准提取到一级指令的所有交易内容,从而可以很方便快捷的进行日志的分析。
进一步的,若上述的第一特征码对应的日志由热数据集群切换至冷数据集群时,若切换成功,所述第一目标特征码中标识日志存储服务器的标志位失效。反之,若切换失败,由于热数据集群和冷数据集群之间有对应关系,可以依据所述第一目标特征码中标识日志存储服务器的标志位查找到对应的冷数据集群。
本发明实施例中,在日志查找中对每一笔交易带上一个全局唯一的目标特征码;同时,该目标特征码自带有效性校验防篡改功能,能够唯一标识每一笔交易在集群中的具体坐标,可以实现日志的快速提取,对于多机器多文件日志,可快速定位到文件名,提高查找效率。例如日志存储系统中每当日志文件超过预设的阈值就会累加文件名的ID域,在新的文件中继续存储,通过目标特征码中包含的交易时间信息和日志文件的文件创建时间信息,可快速定位到文件,另外,每一条日志记录都会包含该交易的目标特征码,所以可迅速过滤出该交易的日志记录。
基于上述的一种日志的查找方法,本发明实施例中,还提供了一种日志的查找装置,所述查找装置的结构框图如图4所示,包括:
获取模块201和查找模块202。
其中,
所述获取模块201,用于当接收到对目标日志的查找指令时,获取与所述查找指令对应的目标特征码;
所述查找模块202,用于依据所述目标特征码在采用预设的存储方式进行存储得到的日志存储系统中查找与所述目标特征码匹配的目标日志。
本发明公开了一种日志的查找装置,包括:当接收到对目标日志的查找指令时,获取与所述查找指令对应的目标特征码;依据所述目标特征码在采用预设的存储方式进行存储得到的日志存储系统中查找与所述目标特征码匹配的目标日志。上述的装置中,查找指令中包含有目标特征码,所述日志存储系统中的目标日志也包含有目标特征码,通过目标特征码将查找指令和目标日志进行了关联,查找结果准确且查找速度快。
本发明实施例中,所述获取模块201包括:
解析单元203、第一获取单元204、第二获取单元205和确定单元206。
其中,
所述解析单元203,用于解析所述查找指令的级别;
所述第一获取单元204,用于若所述查找指令属于一级指令,获取所述查找指令中包含的目标特征码;
所述第二获取单元205,用于若所述查找指令属于二级指令,获取所述查找指令对应的第一目标特征码;
所述确定单元206,用于依据所述第一目标特征码确定与所述查找指令对应的一级指令中目标特征码。
本发明实施例中,所述查找模块202中采用预设的存储方式进行存储得到的日志存储系统,其中,所述日志存储系统包括:目标计算组件、日志存储触发组件、特征码生成组件、索引生成及更新组件、日志原文存储组件和索引存储组件,所述预设的存储方式包括:
存储和触发单元207、生成单元208和存储单元209。
其中,
所述存储和触发单元207,用于当所述目标计算组件接收到待存储日志时,依据所述待存储日志的类型,所述日志存储触发组件将所述待存储日志存储到所述日志原文存储组件对应的集群中,并触发所述特征码生成组件生成与所述待存储日志对应的待存储特征码;
所述生成单元208,用于所述特征码生成组件依据所述待存储日志生成所述待存储特征码,将所述待存储特征码发送给所述索引生成及更新组件,所述索引生成及更新组件获取所述待存储日志的存储路径,依据所述存储路径和所述待存储特征码生成日志索引;
所述存储单元209,用于将所述日志索引存储至所述索引存储组件中。
本发明实施例中,所述查找模块202包括:
查找单元210、路径获取单元211和日志获取单元212。
其中,
所述查找单元210,用于依据所述目标特征码,在所述索引生成及更新组件查找与所述目标特征码匹配的目标索引;
所述路径获取单元211,用于获取所述目标索引中包含的所述目标日志的存储路径;
所述日志获取单元212,用于依据所述存储路径,获取所述目标日志。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种日志的查找方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种日志的查找方法,其特征在于,包括:
当接收到对目标日志的查找指令时,获取与所述查找指令对应的目标特征码;
依据所述目标特征码在采用预设的存储方式进行存储得到的日志存储系统中查找与所述目标特征码匹配的目标日志;
其中,所述目标特征码是采用预设的方法进行构建的,所述目标特征码能够唯一标识每一笔交易在集群中的具体坐标,当构建完成时,所述目标特征码分别发送给目标日志和返回给终端的结果中;
其中,所述目标特征码的构建过程包括:
用户通过eterm终端发送请求时,获取请求的到达时间,并保留微秒的精度单位,通过自创编码设计得到一个长度为12的包含时间信息的编码字符串,把机器码明文拼接到编码字符串的后边,组成所述目标特征码,其中,所述机器码明文包含所述目标日志存储的服务器信息;
其中,自创编码设计得到所述编码字符串的过程为:
获取请求到达的时间,并到保留微秒的精度单位,然后使用6.5个字节来上溢保存时间信息;
在0-255之间取一个随机数m,并使用1BYTE存储,取该BYTE的高4bits m1来填补6.5BYTES的高位到7BYTES,低4bits m0留着待用,加入随机数的目的是由于每台机器会启动数百个服务进程,消除两个进程在同一微秒接到请求造成的不唯一性;
对前7个BYTES求和s,上溢存储到1BYTEs,并定义s的低4bits为s0,高4bits为s1待用;
使用m0和s0的组合填补第8个BTYE;
使用大写字母A-Z加数字1-6组成32个字符来编码这8个BYTES,最终得到一个长度为12的包含时间信息的编码字符串。
2.根据权利要求1所述的方法,其特征在于,当接收到对目标日志的查找指令时,获取与所述查找指令对应的目标特征码,包括:
解析所述查找指令的级别;
若所述查找指令属于一级指令,获取所述查找指令中包含的目标特征码;
若所述查找指令属于二级指令,获取所述查找指令对应的第一目标特征码;
依据所述第一目标特征码确定与所述查找指令对应的一级指令中目标特征码。
3.根据权利要求1所述的方法,其特征在于,采用预设的存储方式进行存储得到的日志存储系统,其中,所述日志存储系统包括:目标计算组件、日志存储触发组件、特征码生成组件、索引生成及更新组件、日志原文存储组件和索引存储组件,所述预设的存储方式包括:
当所述目标计算组件接收到待存储日志时,依据所述待存储日志的类型,所述日志存储触发组件将所述待存储日志存储到所述日志原文存储组件对应的集群中,并触发所述特征码生成组件生成与所述待存储日志对应的待存储特征码;
所述特征码生成组件依据所述待存储日志生成所述待存储特征码,将所述待存储特征码发送给所述索引生成及更新组件,所述索引生成及更新组件获取所述待存储日志的存储路径,依据所述存储路径和所述待存储特征码生成日志索引;
将所述日志索引存储至所述索引存储组件中。
4.根据权利要求3所述的方法,其特征在于,所述日志原文存储组件包括:热数据集群和冷数据集群,其中:
若所述待存储日志存储在所述热数据集群时,统计所述待存储日志在所述热数据集群中存储的累计时长和数据量;
若所述累计时长达到预设的热周期或者所述数据量达到预设的数据量阈值时,将所述待存储日志存储至所述冷数据集群。
5.根据权利要求4所述的方法,其特征在于,还包括:
获取所述待存储日志对应的待存储特征码;
更新所述待存储特征码在所述冷数据集群的日志索引。
6.根据权利要求3所述的方法,其特征在于,依据所述目标特征码在采用预设的存储方式存储的日志存储系统查找与所述目标特征码匹配的目标日志,包括:
依据所述目标特征码,在所述索引生成及更新组件查找与所述目标特征码匹配的目标索引;
获取所述目标索引中包含的所述目标日志的存储路径;
依据所述存储路径,获取所述目标日志。
7.一种日志的查找装置,其特征在于,包括:
获取模块,用于当接收到对目标日志的查找指令时,获取与所述查找指令对应的目标特征码;
查找模块,用于依据所述目标特征码在采用预设的存储方式进行存储得到的日志存储系统中查找与所述目标特征码匹配的目标日志;
其中,所述目标特征码是采用预设的方法进行构建的,所述目标特征码能够唯一标识每一笔交易在集群中的具体坐标,当构建完成时,所述目标特征码分别发送给目标日志和返回给终端的结果中;
其中,所述目标特征码的构建过程包括:
用户通过eterm终端发送请求时,获取请求的到达时间,并保留微秒的精度单位,通过自创编码设计得到一个长度为12的包含时间信息的编码字符串,把机器码明文拼接到编码字符串的后边,组成所述目标特征码,其中,所述机器码明文包含所述目标日志存储的服务器信息;
其中,自创编码设计得到所述编码字符串的过程为:
获取请求到达的时间,并到保留微秒的精度单位,然后使用6.5个字节来上溢保存时间信息;
在0-255之间取一个随机数m,并使用1BYTE存储,取该BYTE的高4bits m1来填补6.5BYTES的高位到7BYTES,低4bits m0留着待用,加入随机数的目的是由于每台机器会启动数百个服务进程,消除两个进程在同一微秒接到请求造成的不唯一性;
对前7个BYTES求和s,上溢存储到1BYTEs,并定义s的低4bits为s0,高4bits为s1待用;
使用m0和s0的组合填补第8个BTYE;
使用大写字母A-Z加数字1-6组成32个字符来编码这8个BYTES,最终得到一个长度为12的包含时间信息的编码字符串。
8.根据权利要求7所述的装置,其特征在于,所述获取模块包括:
解析单元,用于解析所述查找指令的级别;
第一获取单元,用于若所述查找指令属于一级指令,获取所述查找指令中包含的目标特征码;
第二获取单元,用于若所述查找指令属于二级指令,获取所述查找指令对应的第一目标特征码;
确定单元,用于依据所述第一目标特征码确定与所述查找指令对应的一级指令中目标特征码。
9.根据权利要求7所述的装置,其特征在于,所述查找模块中采用预设的存储方式进行存储得到的日志存储系统,其中,所述日志存储系统包括:目标计算组件、日志存储触发组件、特征码生成组件、索引生成及更新组件、日志原文存储组件和索引存储组件,所述预设的存储方式包括:
存储和触发单元,用于当所述目标计算组件接收到待存储日志时,依据所述待存储日志的类型,所述日志存储触发组件将所述待存储日志存储到所述日志原文存储组件对应的集群中,并触发所述特征码生成组件生成与所述待存储日志对应的待存储特征码;
生成单元,用于所述特征码生成组件依据所述待存储日志生成所述待存储特征码,将所述待存储特征码发送给所述索引生成及更新组件,所述索引生成及更新组件获取所述待存储日志的存储路径,依据所述存储路径和所述待存储特征码生成日志索引;
存储单元,用于将所述日志索引存储至所述索引存储组件中。
10.根据权利要求9所述的装置,其特征在于,所述查找模块包括:
查找单元,用于依据所述目标特征码,在所述索引生成及更新组件查找与所述目标特征码匹配的目标索引;
路径获取单元,用于获取所述目标索引中包含的所述目标日志的存储路径;
日志获取单元,用于依据所述存储路径,获取所述目标日志。
CN201911001719.6A 2019-10-21 2019-10-21 一种日志的查找方法及装置 Active CN110727641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911001719.6A CN110727641B (zh) 2019-10-21 2019-10-21 一种日志的查找方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911001719.6A CN110727641B (zh) 2019-10-21 2019-10-21 一种日志的查找方法及装置

Publications (2)

Publication Number Publication Date
CN110727641A CN110727641A (zh) 2020-01-24
CN110727641B true CN110727641B (zh) 2023-10-27

Family

ID=69220505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911001719.6A Active CN110727641B (zh) 2019-10-21 2019-10-21 一种日志的查找方法及装置

Country Status (1)

Country Link
CN (1) CN110727641B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193022A (zh) * 2006-11-20 2008-06-04 中兴通讯股份有限公司 宽带接入网设备中用户上网日志的读取方法
CN101620617A (zh) * 2009-07-28 2010-01-06 中兴通讯股份有限公司 日志文件的查询和处理的方法及装置
CN101944115A (zh) * 2010-09-14 2011-01-12 杭州海康威视数字技术股份有限公司 一种日志搜索方法和系统
CN104714946A (zh) * 2013-12-11 2015-06-17 田鹏 一种基于NoSQL的大规模Web日志分析系统
CN104834648A (zh) * 2014-02-12 2015-08-12 华为技术有限公司 日志查询方法和装置
CN106055621A (zh) * 2016-05-26 2016-10-26 浪潮电子信息产业股份有限公司 一种日志检索方法及装置
CN107622084A (zh) * 2017-08-10 2018-01-23 深圳前海微众银行股份有限公司 日志管理方法、系统以及计算机可读存储介质
CN108268485A (zh) * 2016-12-30 2018-07-10 亿阳安全技术有限公司 一种日志实时分析方法及系统
CN108427705A (zh) * 2018-01-17 2018-08-21 平安科技(深圳)有限公司 电子装置、分布式系统日志查询方法及存储介质
CN108763582A (zh) * 2018-06-11 2018-11-06 腾讯科技(深圳)有限公司 文件搜索方法、装置、终端及存储介质
CN109800223A (zh) * 2018-12-12 2019-05-24 平安科技(深圳)有限公司 日志处理方法、装置、电子设备及存储介质
CN110309150A (zh) * 2019-06-14 2019-10-08 杭州迪普科技股份有限公司 一种日志存储、查询方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100347669C (zh) * 2003-12-30 2007-11-07 佳能株式会社 运行日志取得方法
US20080065617A1 (en) * 2005-08-18 2008-03-13 Yahoo! Inc. Search entry system with query log autocomplete

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193022A (zh) * 2006-11-20 2008-06-04 中兴通讯股份有限公司 宽带接入网设备中用户上网日志的读取方法
CN101620617A (zh) * 2009-07-28 2010-01-06 中兴通讯股份有限公司 日志文件的查询和处理的方法及装置
CN101944115A (zh) * 2010-09-14 2011-01-12 杭州海康威视数字技术股份有限公司 一种日志搜索方法和系统
CN104714946A (zh) * 2013-12-11 2015-06-17 田鹏 一种基于NoSQL的大规模Web日志分析系统
CN104834648A (zh) * 2014-02-12 2015-08-12 华为技术有限公司 日志查询方法和装置
CN106055621A (zh) * 2016-05-26 2016-10-26 浪潮电子信息产业股份有限公司 一种日志检索方法及装置
CN108268485A (zh) * 2016-12-30 2018-07-10 亿阳安全技术有限公司 一种日志实时分析方法及系统
CN107622084A (zh) * 2017-08-10 2018-01-23 深圳前海微众银行股份有限公司 日志管理方法、系统以及计算机可读存储介质
CN108427705A (zh) * 2018-01-17 2018-08-21 平安科技(深圳)有限公司 电子装置、分布式系统日志查询方法及存储介质
WO2019140828A1 (zh) * 2018-01-17 2019-07-25 平安科技(深圳)有限公司 电子装置、分布式系统日志查询方法及存储介质
CN108763582A (zh) * 2018-06-11 2018-11-06 腾讯科技(深圳)有限公司 文件搜索方法、装置、终端及存储介质
CN109800223A (zh) * 2018-12-12 2019-05-24 平安科技(深圳)有限公司 日志处理方法、装置、电子设备及存储介质
CN110309150A (zh) * 2019-06-14 2019-10-08 杭州迪普科技股份有限公司 一种日志存储、查询方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Abdus Satter ; Kazi Sakib."search log mining based query expansion technique to improve effectiveness in code search".《2016 19th International Conference on Computer and Information Technology (ICCIT)》.2016,全文. *
Web日志分析中数据预处理的设计与实现;黄健青等;《河南科技大学学报(自然科学版)》;20091015(第05期);全文 *
利用Elastic Stack构建集中运维日志分析平台;张鹏;《电子技术与软件工程》;20180810(第15期);全文 *

Also Published As

Publication number Publication date
CN110727641A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
CN110362370B (zh) 一种网页语言的切换方法、装置及终端设备
RU2671047C2 (ru) Понимание таблиц для поиска
CN109726274B (zh) 问题生成方法、装置及存储介质
CN108959244B (zh) 地址分词的方法和装置
US20070162847A1 (en) Spell checking in network browser based applications
KR20180011254A (ko) 웹페이지 트레이닝 방법 및 기기, 그리고 검색 의도 식별 방법 및 기기
CN105354251B (zh) 电力系统中基于Hadoop的电力云数据管理索引方法
CN102959542A (zh) 用于管理视频内容的方法和装置
CN111881011A (zh) 日志管理方法、平台、服务器及存储介质
CN107085568B (zh) 一种文本相似度判别方法及装置
CN106959976B (zh) 一种搜索处理方法以及装置
KR101652358B1 (ko) 평가 정보 생성 방법 및 시스템, 및 컴퓨터 저장 매체
CN110533456A (zh) 一种优惠券信息推送方法、系统及服务器
CN114564930A (zh) 文档信息整合方法、装置、设备、介质和程序产品
CN111708942A (zh) 多媒体资源推送方法、装置、服务器及存储介质
CN109947730A (zh) 元数据恢复方法、装置、分布式文件系统及可读存储介质
CN112434250B (zh) 一种基于在线网站的cms识别特征规则提取方法
CN110727641B (zh) 一种日志的查找方法及装置
CN116226494B (zh) 一种用于信息搜索的爬虫系统及方法
CN110413307B (zh) 代码功能的关联方法、装置及电子设备
CN108170867B (zh) 一种元数据服务系统
CN110955757A (zh) 光伏电站设备日志检索方法和系统
CN109829043A (zh) 词性确认方法、装置、电子设备及存储介质
CN114064606A (zh) 数据库迁移方法、装置、设备、存储介质和系统
US10810236B1 (en) Indexing data in information retrieval systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant