CN107992538A - 报文日志生成方法、装置、查询方法及信息处理系统 - Google Patents

报文日志生成方法、装置、查询方法及信息处理系统 Download PDF

Info

Publication number
CN107992538A
CN107992538A CN201711192732.5A CN201711192732A CN107992538A CN 107992538 A CN107992538 A CN 107992538A CN 201711192732 A CN201711192732 A CN 201711192732A CN 107992538 A CN107992538 A CN 107992538A
Authority
CN
China
Prior art keywords
daily record
hashed value
message
information processing
object message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711192732.5A
Other languages
English (en)
Other versions
CN107992538B (zh
Inventor
谢群松
吴宇晖
陈泽赢
杨继业
于卫国
孙毅
邓福平
林贵祥
陈铁
蔡朝辉
饶奋兴
郭宇
吕奔
王俊
李科云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unionpay Business Ltd By Share Ltd
Original Assignee
Unionpay Business Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unionpay Business Ltd By Share Ltd filed Critical Unionpay Business Ltd By Share Ltd
Priority to CN201711192732.5A priority Critical patent/CN107992538B/zh
Publication of CN107992538A publication Critical patent/CN107992538A/zh
Application granted granted Critical
Publication of CN107992538B publication Critical patent/CN107992538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • G06F16/137Hash-based
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems

Abstract

本发明提供一种报文日志生成方法、装置、查询方法及信息处理系统,所述信息处理系统包括多个信息处理节点,所述方法包括:接收待处理的第一目标报文,生成第一日志;根据所述第一目标报文的内容得到第一散列值,并将所述第一散列值作为所述第一日志的第一标识;获得对所述第一目标报文进行处理得到的待发送的第二目标报文,根据所述第二目标报文的内容得到第二散列值;发送所述第二目标报文,生成第二日志,并将所述第二散列值作为所述第二日志的第二标识;将所述第一散列值与所述第二散列值关联。如此,在不需要对现有信息处理节点进行较大改动的情况下实现了不同信息处理节点间的日志关联。

Description

报文日志生成方法、装置、查询方法及信息处理系统
技术领域
本发明涉及信息处理技术领域,具体而言,涉及一种报文日志生成方法、装置、查询方法及信息处理系统。
背景技术
在对信息处理的过程中,信息处理节点常会根据事件的处理过程生成日志,不同及信息处理节点可能采用不同的方式记录日志,生成的日志具有不同的日志标识用于查找日志。当某个事件涉及到多个信息处理节点的交互处理时,在每个信息处理节点会产生相应的日志,但由于不同信息处理节点生成的日志标识不同,无法相互关联,在需要对某个事件处理过程的日志进行查找时,或无法跨越不同信息处理节点查找相关日志,导致维护工作困难;或需要对各个信息处理节点进行统一改造,规定日志生成的格式或生成方式,导致改造成本太高。
发明内容
为了克服现有技术中的上述不足,本发明的目的在于提供一种报文日志生成方法,应用于信息处理节点,所述信息处理节点包含通过记录接收到的报文进行的处理过程而生成的日志,所述日志包括日志标识,所述日志标识包括第一标识和/或第二标识,所述方法包括:
接收待处理的第一目标报文,生成第一日志;
根据所述第一目标报文的内容得到第一散列值,并将所述第一散列值作为所述第一日志的第一标识;
获得对所述第一目标报文进行处理得到的待发送的第二目标报文,根据所述第二目标报文的内容得到第二散列值;
发送所述第二目标报文,生成第二日志,并将所述第二散列值作为所述第二日志的第二标识;
将所述第一散列值与所述第二散列值关联。
可选地,在上述方法中,所述将所述第一散列值与所述第二散列值关联,包括:
将所述第一散列值作为所述第二日志的第一标识,以使所述第一散列值与所述第二日志的所述第二标识中的第二散列值相关联。
可选地,在上述方法中,所述获得对所述第一目标报文进行处理得到的待发送的第二目标报文的步骤之前,所述方法还包括:
根据对所述第一目标报文的处理过程,生成至少一个第三日志,并将所述第一散列值作为所述至少一个第三日志的第一标识。
可选地,在上述方法中,所述日志标识还包括第三标识;所述获得对所述第一目标报文进行处理得到的待发送的第二目标报文的步骤之前,所述方法还包括:
根据对所述第一目标报文的处理过程,生成多条第四日志;
将所述第一散列值作为所述多条第四日志中的第一条第四日志的第一标识,并生成一个集群内编号作为所述第一条第四日志的第三标识,以使所述第一散列值与所述集群内编号相关联;
将所述集群内编号作为所述多条第四日志中除所述第一条第四日志外的每条第四日志的第三标识。
可选地,在上述方法中,所述将所述第一散列值与所述第二散列值关联的步骤,包括:
将所述集群内编号作为所述第二日志的第三标识,以使所述集群内编号与该第二日志的第二标识中的第二散列值相关联,从而使所述第一散列值与所述第二散列值相关联。
可选地,在上述方法中,所述根据所述第一目标报文的内容得到第一散列值的步骤,包括:
根据所述第一目标报文的内容进行哈希计算,得到第一预设长度的二进制计算结果,并将所述计算结果处理为第二预设长度的字符串作为所述第一散列值;
所述根据所述第二目标报文的内容得到第二散列值的步骤,包括:
根据所述第二目标报文的内容进行哈希计算,得到第一预设长度的二进制计算结果,并将所述计算结果处理为第二预设长度的字符串作为所述第二散列值。
本发明的另一目的在于提供一种报文日志查询方法,所述报文日志查询方法用于对本发明提供的所述的报文日志生成方法产生的日志进行查询;所述报文日志查询方法包括:
确定一条日志作为基准日志;
在产生该基准日志的信息处理节点内,根据所述基准日志的日志标识,查询与该基准日志关联且日志产生时间不早于所述基准日志的日志;
获得该基准日志的信息处理节点内与该基准日志关联的第二日志的第二标识;
将所述第二标识作为查询值,在其他信息处理节点内查询第一标识与所述查询值相同的且日志产生时间不早于所述第二日志的日志中,日志产生时间最早的一条作为新的基准日志,并继续查询相关联的日志。
本发明的另一目的在于提供一种报文日志查询方法,所述报文日志查询方法用于对本发明提供的所述的报文日志生成方法产生的日志进行查询;所述报文日志查询方法包括:
确定一条日志作为基准日志;
在产生该基准日志的信息处理节点内,根据所述基准日志的日志标识,查询与该基准日志关联且日志产生时间不晚于所述基准日志的日志;
获得该基准日志的信息处理节点内与该基准日志关联的第一日志的第一标识;
将所述第一标识作为查询值,在其他信息处理节点内查询第二标识与所述查询值相同的且日志产生时间不晚于所述第二日志的日志中,日志产生时间最晚的一条作为新的基准日志,并继续查询相关联的日志。
本发明的另一目的在于提供一种报文日志生成装置,应用于信息处理节点,所述信息处理节点包含通过记录接收到的报文进行的处理过程而生成的日志,所述日志包括日志标识,所述日志标识包括第一标识和/或第二标识,所述装置包括:
第一生成模块,用于接收待处理的第一目标报文,生成第一日志;
第一标识模块,用于根据所述第一目标报文的内容得到第一散列值,并将所述第一散列值作为所述第一日志的第一标识;
第二生成模块,用于获得对所述第一目标报文进行处理得到的待发送的第二目标报文,根据所述第二目标报文的内容得到第二散列值;
第二标识模块,用于发送所述第二目标报文,生成第二日志,并将所述第二散列值作为所述第二日志的第二标识;
关联模块,将所述第一散列值与所述第二散列值关联。
本发明的另一目的在于提供信息处理系统,所述信息处理系统包括至少一个信息处理节点,所述信息处理节点包含通过记录接收到的报文进行的处理过程而生成的日志,所述日志包括日志标识,所述日志标识包括第一标识和/或第二标识;所述信息处理节点包括:
第一生成模块,用于接收待处理的第一目标报文,生成第一日志;
第一标识模块,用于根据所述第一目标报文的内容得到第一散列值,并将所述第一散列值作为所述第一日志的第一标识;
第二生成模块,用于获得对所述第一目标报文进行处理得到的待发送的第二目标报文,根据所述第二目标报文的内容得到第二散列值;
第二标识模块,用于发送所述第二目标报文,生成第二日志,并将所述第二散列值作为所述第二日志的第二标识;
关联模块,将所述第一散列值与所述第二散列值关联。
相对于现有技术而言,本发明具有以下有益效果:
本发明提供的报文日志生成方法、装置、查询方法及信息处理系统,通过将报文的散列值作为日志标识对日志进行标记,利用信息处理节点间传递的报文的内容不会发生改变的特性,在不需要对现有信息处理节点进行较大改动的情况下实现了不同信息处理节点间的日志关联。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的信息处理系统的示意图之一;
图2为本发明实施例提供的信息处理系统的示意图之二;
图3为本发明实施例提供的报文日志生成方法的步骤流程示意图;
图4为本发明实施例提供的信息处理节点日志关联示意图之一;
图5为本发明实施例提供的信息处理节点日志关联示意图之二;
图6为本发明实施例提供的报文日志查询方法的示意图之一;
图7为本发明实施例提供的报文日志查询方法的示意图之二;
图8为本发明实施例提供的报文日志生成装置的示意图。
图标:10-信息处理系统;100-信息处理节点;110-子节点;111-第一生成模块;112-第一标识模块;113-第二生成模块;114-第二标识模块;115-关联模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
第一实施例
经发明人大量研究发现,不同信息处理节点100间对同一事件的处理过程不同,记录的日志也不同,因此不同信息处理节点100日志可能无法相关联。
信息处理节点100间通过报文传递事件的信息,而报文在两个信息处理节点100之间传递时是不会发送变化的,即前一信息处理节点100发送的报文内容,与下一信息处理节点100接收的报文内容总是相同的。故在本实施例中,发明人设计将信息处理节点100间传递的报文的散列值作为处理该报文过程中产生的日志的日志标识。如此,前一信息处理节点100发送报文的日志与下一信息节点接收报文的日志具有相同的日志标识,再在两个各节点中分别将这个散列值与其他处理过程产生的日志相关联,就实现了两个信息处理节点100间相关时间的日志关联。下面对本实施例的方案进行详细阐述。
请参照图1,图1是本发明较佳实施例提供的信息处理系统10的示意图,所述信息处理系统10包括至少两个信息处理节点100。其中,所述信息处理节点100包含通过记录接收到的报文进行的处理过程而生成的日志,所述日志包括日志标识,所述日志标识包括第一标识和/或第二标识。
可选地,在本实施例中,如图1所示,所述信息处理节点100可以为具有信息处理能力的独立电子设备。
可选地,在本实施例中,如图2所示,所述信息处理节点100也可以为由多个具有信息处理能力的子节点110组成的集群系统。
请参照图3,图3为应用于图1所示的信息处理节点100的一种报文日志生成方法的流程图,以下将对所述方法包括各个步骤进行详细阐述。
步骤S110,接收待处理的第一目标报文,生成第一日志。
在本实施例中,所述信息处理节点100将接收到的待处理的报文作为所述第一目标报文,记录生成第一日志。
步骤S120,根据所述第一目标报文的内容得到第一散列值,并将所述第一散列值作为所述第一日志的第一标识。
在本实施例中,为了方便日志标识的记录,所述信息处理节点100可以根据所述第一目标报文的内容进行哈希计算,得到一个第一预设长度的二进制计算结果,并将所述计算结果处理为一个第二预设长度的字符串作为所述第一散列值。然后将所述第一散列值写入所述第一日志,作为该第一日志的第一标识。
例如,所述第一预设长度可以为256位,所述第二预设长度可以为32字节,在对所述第一目标报文进行处理时,先将所述第一目标报文进行SHA256计算,得到256位的二进制计算结果,然后将所述计算结果处理为32字节的字符串作为所述第一散列值。
步骤S130,获得对所述第一目标报文进行处理得到的待发送的第二目标报文,根据所述第二目标报文的内容得到第二散列值。
所述信息处理节点100根据所述第一目标报文进行处理后,得到将要传递到下一信息处理节点100的第二目标报文。然后对根据所述第二目标报文的内容进行同样的哈希计算,得到所述第二散列值。例如,根据所述第二目标报文的内容进行哈希计算,得到第一预设长度的二进制计算结果,并将所述计算结果处理为第二预设长度的字符串作为所述第二散列值。
步骤S140,发送所述第二目标报文,生成第二日志,并将所述第二散列值作为所述第二日志的第二标识。
所述信息处理节点100发送所述第二目标报文,并生成第二日志。然后将所述第二散列值写入所述第二日志,作为该第二日志的第二标识。
步骤S150,将所述第一散列值与所述第二散列值关联。
请参照图4,通过一假设场景说明本实施例中不同信息处理节点100间进行日志关联的步骤。
假设所述信息处理系统10至少包括信息处理节点A、信息处理节点B及信息处理节点C。
所述信息处理节点A先执行步骤S110及步骤S120得到第一日志A,所述第一日志A的第一标识为vvv。然后,所述信息处理节点A执行步骤S130及步骤S140得到第二日志A,所述第二日志A的第二标识为www,所述信息处理节点A将报文发送给信息处理节点B。同时,所述信息处理节点A执行步骤S150将vvv与www相关联。
所述信息处理节点B同样先执行步骤S110得到第一日志B,由于信息处理节点A发送的报文与所述信息处理节点B接收到的报文内容相同,所以信息处理节点B执行步骤S120后得到所述第一日志B的第一标识也为www。然后,所述信息处理节点B执行步骤S130及步骤S140得到第二日志B,所述第二日志B的第二标识为xxx,所述信息处理节点A将报文发送给信息处理节点B。同时,所述信息处理节点A执行步骤S150将www与xxx相关联。
同理,在信息处理节点C得到第一日志C,第一日志C的第一标识为xxx。并得到第二日志C,第二日志C的第二标识为yyy。并且xxx与yyy向关联。
基于上述设计,在生成日志时,根据信息处理节点100间传递报文的散列值将个信息节点的报文关联起来了。在进行日志查找时,可以根据任意一条日志,得到相关所有的处理过程的日志。
例如,在上述场景中,查找与第一日志B相关的日志时,通过第一日志B的第一标识www在所述信息处理节点B中可以查找到与其相关的yyy,得到第二日志B。在通过第二日志B的第二标识yyy可以在信息处理节点C中查找到具有与yyy值相关的第一日志C。同样,在查找与通过第一日志B相关的日志时,还可以根据第一日志B的第一标识www,在信息处理节点A中查找到与www值相关的第二日志A。
如此依次查询,可以获得整个所述信息处理系统10中与第二日志A相关的所有日志。
进一步地,在本实施例中,针对不同的信息处理节点100,在将所述第一散列值与所述第二散列值向关联时采用的方式可能不同。
可选地,在本实施例一种可能的实施方式中,所述信息处理节点100可以仅在接收报文与发送报文时产生日志,例如图5中的信息处理节点D,所述信息处理节点D可以为通信层节点。
所述信息处理节点D执行步骤S110和步骤S120,生成第一日志D,并得到第一散列值ppp作为所述第一日志D的第一标识。
接着,所述信息处理节点D执行步骤S130及步骤S140,生成第二日志D,并得到第二散列值qqq作为所述第二日志D的第二标识。
然后,所述信息处理节点D在执行步骤S150时,将所述第一散列值作为所述第二日志的第一标识。将ppp作为所述第二日志D的第一标识写入该第二日志D,如此,使所述第一散列值与所述第二日志的所述第二标识中的第二散列值相关联。
可选地,在本实施例的另一种实施方式中,所述信息处理节点100可以对接收到的报文进行一些处理,并将处理过程记录为至少一个第三日志,,并将所述第一散列值作为所述至少一个第三日志的第一标识,例如图5中的信号节点E,所述信息处理节点E可以为应用层节点。
所述信息处理节点E执行步骤S110和步骤S120,生成第一日志E,并得到第一散列值qqq作为所述第一日志D的第一标识。
接着,所述信息处理节点E根据对接收到的报文的处理过程,生成至少一个第三日志E,并将所述第一散列值qqq作为所述至少一个第三日志的第一标识。
接着,所述信号处理节E点执行步骤S130及步骤S140,生成第二日志E,并得到第二散列值rrr作为所述第二日志D的第二标识。所述信息处理节点E在执行步骤S150时,将所述第一散列值rrr作为所述第二日志E的第一标识写入该第二日志E,如此,使所述第一散列值与所述第二日志的所述第二标识中的第二散列值相关联。
基于上述设计,在进行日志查找时,可以根据所述第一标识,查找到具有与该第一标识相关的第二标识的日志。同样,也可以根据所述第二标识,查找到具有与该第二标识相关的第一标识的日志。
可选地,在本实施例的另一种实施方式中,所述信息处理节点100可以对接收到的报文进行一些处理,处理过程中生成具有相同集群ID的多条第四日志。然后将所述第一散列值作为所述多条第四日志中的第一条第四日志的第一标识,并生成一个集群内编号作为所述第一条第四日志的第三标识,以使所述第一散列值与所述集群内编号相关联。并将所述集群内编号作为所述多条第四日志中除所述第一条第四日志外的每条第四日志的第三标识。例如图5中的信号节点F,所述信息处理节点F可以为应用层节点。
所述信息处理节点F执行步骤S110和步骤S120,生成第一日志F,并得到第一散列值rrr作为所述第一日志F的第一标识。
接着,所述信息处理节点F根据对接收到报文的处理过程,生成多条第四日志F。
接着,将所述第一散列值rrr作为所述多条第四日志中的第一条第四日志的第一标识,生成一个集群内编号sss作为所述第一条第四日志F的第三标识,以使所述第一散列值rrr与所述集群内编号sss相关联。并将所述集群内编号sss作为所述多条第四日志中除所述第一条第四日志外的每条第四日志的第三标识。
接着,所述信号处理节F点执行步骤S130及步骤S140,生成第二日志F,并得到第二散列值ttt作为所述第二日志F的第二标识。所述信息处理节点F在执行步骤S150时,
将所述集群内编号sss作为所述第二日志的第三标识,以使所述集群内编号sss与该第二日志的第二标识中的第二散列值ttt相关联。如此,第一散列值rrr与所述集群内编号sss关联,所述集群内编号sss又与所述第二散列值ttt相关联,从而使所述第一散列值rrr与所述第二散列值ttt相关联。
基于上述设计,在进行日志查找时,可以根据所述第一标识,查找到具有与该第一标识相关的第三标识的日志,再查找到与具有该第三标识相关的第二标识的日志。同样,也可以根据所述第二标识,查找到具有与该第二标识相关的第三标识的日志,再查找到具有与该第三标识相关的第一标识的日志。
值得说明的是,本实施例采用的通过报文哈希散列值作为日志标识实现不同信息处理节点间日志关联的方式,同样也适合在不同信息处理节点间进行其他业务关联时使用,例如,相关业务的埋点分析、系统检测等。
第二实施例
基于第一实施例提供的报文日志生成方法,本实施例提供另一种报文查询方法,用于对所述报文日志生成方法产生的日志进行查询。下面对所述报文日志查询方法进行详细阐述。
首先,确定一条日志作为基准日志。
接着,在产生该基准日志的信息处理节点100内,根据所述基准日志的日志标识查询与该基准日志关联且日志产生时间不早于所述基准日志的日志。
然后,获得该基准日志的信息处理节点100内与该基准日志关联的第二日志的第二标识。将所述第二标识作为查询值,在其他信息处理节点100内查询第一标识与所述查询值相同的且日志产生时间不早于所述第二日志的日志中,日志产生时间最早的一条作为新的基准日志,并继续查询相关联的日志。
进一步地,在本实施例中,所述日志还可以具有A/Q标识(请求/应答标识),在处理一个事件的请求和应答时产生日志A/Q标识不同。根据不同的A/Q标识实现查询日志时请求和应答流向的切换。
具体地,请参照图6,在本实施例一种可能的实施方式中,所述报文查询方法可以包括步骤S211至S225。
步骤S211,确定一条日志作为基准日志。
步骤S212,判断该基准日志是否有第一标识。
若该基准日志有第一标识,则进入步骤S213;若该基准日志没有第一标识,则进入步骤S224。
步骤S213,将基准日志的第一标识作为第一查询值。
步骤S214,在同一信息处理节点100中查询第一标识等于所述第一查询值的下一条日志。
步骤S215,判断本次查询出的日志中是否存在具有第三标识的日志。
若存在则进入步骤S216,若不存在则进入步骤S218。
步骤S216,将该日志的第三标识作为第三查询值。
步骤S217,在同一信息处理节点100中查询第三标识等于所述第三查询值,且A/Q标识相同的下一条日志。
步骤S218,判断本次查询出的日志中是否存在具有第二标识的日志。
若存在则进入步骤S219,若不存在则结束。
步骤S219,将该日志的第二标识作为新的第二查询值,在其他信息处理节点100中查询第一标识等于第二查询值的下一条日志。然后进入步骤S220。
步骤S220,判断本次是否查找到日志。
若未查找到则进入步骤S221;若查找到则进入步骤S223。
步骤S221,在同一信息处理节点100中查询第三标识等于第三查询值,A/Q标识不同的下一条日志。
由于同一时间在一个信息处理节点100中,会分配相同的第三标识,则根据所述第三标识可以建立请求流向和应答流向关联,实现查询日志从请求流向专向应答流向。
步骤S222,判断本次是否查找到日志。
若查找到则进入步骤S216;若未查找到则结束。
步骤S223,将查找到的日志作为新的基准日志。
步骤S224,判断该基准日志是否有第三标识
若存在则进入步骤S225,若不存在则结束。
步骤S225,将该基准日志的第三标识作为第三查询值,然后进入步骤S216。
可选地,在本实施例中,所述日志查询可以采用ELK(Elasticsearch、Logstash、Kibana)开源框架实现。在各信息处理节点100部署filebeat等抽取agent,日志在实时产生后由filebeat送logstash节点解析日志解析,解析后的结果存入elasticsearch中,由kibana程序进行查询和展示。
第三实施例
基于第一实施例提供的报文日志生成方法,本实施例提供另一种报文查询方法,用于对所述报文日志生成方法产生的日志进行查询。下面对所述报文日志查询方法进行详细阐述。
首先,确定一条日志作为基准日志。
接着,在产生该基准日志的信息处理节点100内,根据所述基准日志的日志标识查询与该基准日志关联且日志产生时间不晚于所述基准日志的日志。
然后,获得该基准日志的信息处理节点100内与该基准日志关联的第一日志的第一标识。将所述第一标识作为查询值,在其他信息处理节点100内查询第二标识与所述查询值相同的且日志产生时间不晚于所述第二日志的日志中,日志产生时间最晚的一条作为新的基准日志,并继续查询相关联的日志。
进一步地,在本实施例中,所述日志还可以具有A/Q标识(请求/应答标识),在处理一个事件的请求和应答时产生日志A/Q标识不同。根据不同的A/Q标识实现查询日志时请求和应答流向的切换。
具体地,请参照图7,在本实施例一种可能的实施方式中,所述报文查询方法可以包括步骤S311至S324。
步骤S311,确定一条日志作为基准日志。
步骤S312,判断该基准日志是否有第三标识。
若有则进入步骤S313,若没有则进入步骤S323。
步骤S313,在同一信息处理节点100中查询第三标识等于第三查询值,A/Q标识相同的上一条日志。
步骤S314,将该日志的第三标识作为第三查询值。
步骤S315,判断本次查询出的日志中是否存在具有第一标识的日志。
若有则进入步骤S316,若没有则结束。
步骤S316,将该日志的第一标识作为第一查询值。
步骤S317,在同一信息处理节点100中查询第一标识等于第一查询值,A/Q标识相同的上一条日志。
步骤S318,在其他信息处理节点100中查询第二标识等于第一查询值,A/Q标识相同的下一条日志。
步骤S319,判断本次是否查找到日志。
若查找到则进入步骤S322;若未查找到则进入步骤S320。
步骤S320,在同一信息处理节点100中查询第三标识等于第三查询值,且A/Q标识不同的的日志。
步骤S321,判断本次是是否查找到日志。
若查找到则进入步骤S322;若未查找到则结束。
步骤S322,将查找到的日志作为新的基准日志。
步骤S323,判断该基准日志是否有第一标识。
若有则进入步骤S324,若没有则结束。
步骤S324,将基准日志的第一标识作为第一查询值,然后进入步骤S317。
第四实施例
请参照图8,本实施例提供一种应用于图1所示信息处理节点100的信息处理装置,所述信息处理装置包括第一生成模块111、第一标识模块112、第二生成模块113、第二标识模块114及关联模块115。
所述第一生成模块111,用于接收待处理的第一目标报文,生成第一日志。
本实施例中,所述第一生成模块111可用于执行图3所示的步骤S110,关于所述第一生成模块111的具体描述可参对所述步骤S110的描述。
所述第一标识模块112,用于根据所述第一目标报文的内容得到第一散列值,并将所述第一散列值作为所述第一日志的第一标识。
本实施例中,所述第一标识模块112可用于执行图3所示的步骤S120,关于所述第一标识模块112的具体描述可参对所述步骤S120的描述。
所述第二生成模块113,用于获得对所述第一目标报文进行处理得到的待发送的第二目标报文,根据所述第二目标报文的内容得到第二散列值。
本实施例中,所述第二生成模块113可用于执行图3所示的步骤S130,关于所述第二生成模块113的具体描述可参对所述步骤S130的描述。
所述第二标识模块114,用于发送所述第二目标报文,生成第二日志,并将所述第二散列值作为所述第二日志的第二标识。
本实施例中,所述第二标识模块114可用于执行图3所示的步骤S140,关于所述第二标识模块114的具体描述可参对所述步骤S140的描述。
所述关联模块115,将所述第一散列值与所述第二散列值关联。
本实施例中,所述关联模块115可用于执行图3所示的步骤S150,关于所述关联模块115的具体描述可参对所述步骤S150的描述。
值得说明的是,本实施例中的第一生成模块111及第二生成模块113,同样适用于生成不同信息处理节点间需要进行关联的其他业务信息,例如,相关业务的埋点分析的信息或系统检测信息等。
综上所述,本发明提供的报文日志生成方法、装置、查询方法及信息处理系统10,通过将报文的散列值作为日志标识对日志进行标记,利用信息处理节点100间传递的报文的内容不会发生改变的特性,在不需要对现有信息处理节点100进行较大改动的情况下实现了不同信息处理节点100间的日志关联。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种报文日志生成方法,其特征在于,应用于信息处理节点,所述信息处理节点包含通过记录接收到的报文进行的处理过程而生成的日志,所述日志包括日志标识,所述日志标识包括第一标识和/或第二标识,所述方法包括:
接收待处理的第一目标报文,生成第一日志;
根据所述第一目标报文的内容得到第一散列值,并将所述第一散列值作为所述第一日志的第一标识;
获得对所述第一目标报文进行处理得到的待发送的第二目标报文,根据所述第二目标报文的内容得到第二散列值;
发送所述第二目标报文,生成第二日志,并将所述第二散列值作为所述第二日志的第二标识;
将所述第一散列值与所述第二散列值关联。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一散列值与所述第二散列值关联,包括:
将所述第一散列值作为所述第二日志的第一标识,以使所述第一散列值与所述第二日志的所述第二标识中的第二散列值相关联。
3.根据权利要求1所述的方法,其特征在于,所述获得对所述第一目标报文进行处理得到的待发送的第二目标报文的步骤之前,所述方法还包括:
根据对所述第一目标报文的处理过程,生成至少一个第三日志,并将所述第一散列值作为所述至少一个第三日志的第一标识。
4.根据权利要求1所述的方法,其特征在于,所述日志标识还包括第三标识;所述获得对所述第一目标报文进行处理得到的待发送的第二目标报文的步骤之前,所述方法还包括:
根据对所述第一目标报文的处理过程,生成多条第四日志;
将所述第一散列值作为所述多条第四日志中的第一条第四日志的第一标识,并生成一个集群内编号作为所述第一条第四日志的第三标识,以使所述第一散列值与所述集群内编号相关联;
将所述集群内编号作为所述多条第四日志中除所述第一条第四日志外的每条第四日志的第三标识。
5.根据权利要求4所述的方法,其特征在于,所述将所述第一散列值与所述第二散列值关联的步骤,包括:
将所述集群内编号作为所述第二日志的第三标识,以使所述集群内编号与该第二日志的第二标识中的第二散列值相关联,从而使所述第一散列值与所述第二散列值相关联。
6.根据权利要求1-5中任意一项所述的方法,其特征在于,
所述根据所述第一目标报文的内容得到第一散列值的步骤,包括:
根据所述第一目标报文的内容进行哈希计算,得到第一预设长度的二进制计算结果,并将所述计算结果处理为第二预设长度的字符串作为所述第一散列值;
所述根据所述第二目标报文的内容得到第二散列值的步骤,包括:
根据所述第二目标报文的内容进行哈希计算,得到第一预设长度的二进制计算结果,并将所述计算结果处理为第二预设长度的字符串作为所述第二散列值。
7.一种报文日志查询方法,其特征在于,所述报文日志查询方法用于对采用权利要求1-6中任意一所述的报文日志生成方法产生的日志进行查询;所述报文日志查询方法包括:
确定一条日志作为基准日志;
在产生该基准日志的信息处理节点内,根据所述基准日志的日志标识,查询与该基准日志关联且日志产生时间不早于所述基准日志的日志;
获得该基准日志的信息处理节点内与该基准日志关联的第二日志的第二标识;
将所述第二标识作为查询值,在其他信息处理节点内查询第一标识与所述查询值相同的且日志产生时间不早于所述第二日志的日志中,日志产生时间最早的一条作为新的基准日志,并继续查询相关联的日志。
8.一种报文日志查询方法,其特征在于,所述报文日志查询方法用于对采用权利要求1-6中任意一所述的报文日志生成方法产生的报文进行查询;所述报文日志查询方法包括:
确定一条日志作为基准日志;
在产生该基准日志的信息处理节点内,根据所述基准日志的日志标识,查询与该基准日志关联且日志产生时间不晚于所述基准日志的日志;
获得该基准日志的信息处理节点内与该基准日志关联的第一日志的第一标识;
将所述第一标识作为查询值,在其他信息处理节点内查询第二标识与所述查询值相同的且日志产生时间不晚于所述第二日志的日志中,日志产生时间最晚的一条作为新的基准日志,并继续查询相关联的日志。
9.一种报文日志生成装置,其特征在于,应用于信息处理节点,所述信息处理节点包含通过记录接收到的报文进行的处理过程而生成的日志,所述日志包括日志标识,所述日志标识包括第一标识和/或第二标识,所述装置包括:
第一生成模块,用于接收待处理的第一目标报文,生成第一日志;
第一标识模块,用于根据所述第一目标报文的内容得到第一散列值,并将所述第一散列值作为所述第一日志的第一标识;
第二生成模块,用于获得对所述第一目标报文进行处理得到的待发送的第二目标报文,根据所述第二目标报文的内容得到第二散列值;
第二标识模块,用于发送所述第二目标报文,生成第二日志,并将所述第二散列值作为所述第二日志的第二标识;
关联模块,将所述第一散列值与所述第二散列值关联。
10.一种信息处理系统,其特征在于,所述信息处理系统包括至少一个信息处理节点,所述信息处理节点包含通过记录接收到的报文进行的处理过程而生成的日志,所述日志包括日志标识,所述日志标识包括第一标识和/或第二标识;所述信息处理节点包括:
第一生成模块,用于接收待处理的第一目标报文,生成第一日志;
第一标识模块,用于根据所述第一目标报文的内容得到第一散列值,并将所述第一散列值作为所述第一日志的第一标识;
第二生成模块,用于获得对所述第一目标报文进行处理得到的待发送的第二目标报文,根据所述第二目标报文的内容得到第二散列值;
第二标识模块,用于发送所述第二目标报文,生成第二日志,并将所述第二散列值作为所述第二日志的第二标识;
关联模块,将所述第一散列值与所述第二散列值关联。
CN201711192732.5A 2017-11-24 2017-11-24 报文日志生成方法、装置、查询方法及信息处理系统 Active CN107992538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711192732.5A CN107992538B (zh) 2017-11-24 2017-11-24 报文日志生成方法、装置、查询方法及信息处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711192732.5A CN107992538B (zh) 2017-11-24 2017-11-24 报文日志生成方法、装置、查询方法及信息处理系统

Publications (2)

Publication Number Publication Date
CN107992538A true CN107992538A (zh) 2018-05-04
CN107992538B CN107992538B (zh) 2021-10-01

Family

ID=62031972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711192732.5A Active CN107992538B (zh) 2017-11-24 2017-11-24 报文日志生成方法、装置、查询方法及信息处理系统

Country Status (1)

Country Link
CN (1) CN107992538B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109639809A (zh) * 2018-12-20 2019-04-16 上海拍拍贷金融信息服务有限公司 一种业务数据请求链路监控的方法及装置
CN113726830A (zh) * 2020-05-25 2021-11-30 网联清算有限公司 一种报文标识生成方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288441A1 (en) * 2004-07-09 2007-12-13 Wolff Gregory J Synchronizing distributed work through document logs
CN102868936A (zh) * 2012-09-06 2013-01-09 北京邮电大学 存储视频日志的方法和系统
CN105847062A (zh) * 2016-05-06 2016-08-10 汉柏科技有限公司 日志聚合方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288441A1 (en) * 2004-07-09 2007-12-13 Wolff Gregory J Synchronizing distributed work through document logs
CN102868936A (zh) * 2012-09-06 2013-01-09 北京邮电大学 存储视频日志的方法和系统
CN105847062A (zh) * 2016-05-06 2016-08-10 汉柏科技有限公司 日志聚合方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109639809A (zh) * 2018-12-20 2019-04-16 上海拍拍贷金融信息服务有限公司 一种业务数据请求链路监控的方法及装置
CN113726830A (zh) * 2020-05-25 2021-11-30 网联清算有限公司 一种报文标识生成方法及装置
CN113726830B (zh) * 2020-05-25 2023-09-12 网联清算有限公司 一种报文标识生成方法及装置

Also Published As

Publication number Publication date
CN107992538B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
US20220006825A1 (en) Cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion
CN105095211B (zh) 多媒体数据的获取方法和装置
TW200723042A (en) Method and system to determine a user specific relevance score of a message within a messaging system
WO2005024598A3 (en) Method and system for securing and monitoring a wireless network
CN108052408A (zh) 基于告警信息内容的告警工单快速提交方法及系统
CN109448231A (zh) 一种故障信息的上报、处理方法及系统
GB2406465B (en) System and method of network fault monitoring
CN107992538A (zh) 报文日志生成方法、装置、查询方法及信息处理系统
CN112906806A (zh) 一种基于神经网络的数据优化方法及装置
CN111083179A (zh) 物联网云平台、基于物联网云平台的设备交互方法及装置
CN117173613B (zh) 一种工程建设项目全过程信息化智能管理系统及方法
CN111784453B (zh) 基于区块链的跨平台医药集采价格同步方法及相关装置
CN112925899A (zh) 排序模型建立方法、案件线索推荐方法、装置及介质
CN204790548U (zh) 一种舞台运行安全监测系统
CN110852520A (zh) 一种基于区块链的看护方法和装置
CN109961320A (zh) 一种基于计算机网络开发运营意见反馈收集系统
SE9503047D0 (sv) Sätt för övervakning av ett datorsystem
CN112417462B (zh) 一种网络安全漏洞追踪方法及系统
CN117118761B (zh) 一种贯穿智能汽车信息安全的纵深防御系统和方法
CN110288230A (zh) 一种批量关联产品信息的方法及装置
CN113993001B (zh) 一种基于滑动数据窗口的实时流式分析告警方法
CN106502683A (zh) 一种实时告警的动态定制分类展示方法及装置
CN106059820A (zh) 一种网络监控方法
Indrakumari et al. Affiliation of Blockchain, IoT, and Big Data: Demystified
CN117591711A (zh) 提问请求处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Xie Qunsong

Inventor after: Cai Chaohui

Inventor after: Rao Fenxing

Inventor after: Guo Yu

Inventor after: Lv Ben

Inventor after: Wang Jun

Inventor after: Li Keyun

Inventor after: Wu Yuhui

Inventor after: Chen Zeying

Inventor after: Yang Jiye

Inventor after: Yu Weiguo

Inventor after: Sun Yi

Inventor after: Deng Fuping

Inventor after: Lin Guixiang

Inventor after: Chen Tie

Inventor before: Xie Qunsong

Inventor before: Cai Chaohui

Inventor before: Rao Fenxing

Inventor before: Guo Yu

Inventor before: Lv Ben

Inventor before: Wang Jun

Inventor before: Li Keyun

Inventor before: Wu Yuhui

Inventor before: Chen Zeying

Inventor before: Yang Jiye

Inventor before: Yu Weiguo

Inventor before: Sun Yi

Inventor before: Deng Fuping

Inventor before: Lin Guixiang

Inventor before: Chen Tie