CN102902764A - 一种日志记录的方法和装置 - Google Patents

一种日志记录的方法和装置 Download PDF

Info

Publication number
CN102902764A
CN102902764A CN2012103618844A CN201210361884A CN102902764A CN 102902764 A CN102902764 A CN 102902764A CN 2012103618844 A CN2012103618844 A CN 2012103618844A CN 201210361884 A CN201210361884 A CN 201210361884A CN 102902764 A CN102902764 A CN 102902764A
Authority
CN
China
Prior art keywords
daily record
configuration file
record data
sign
rank
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103618844A
Other languages
English (en)
Other versions
CN102902764B (zh
Inventor
柴昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201610237814.6A priority Critical patent/CN105868391B/zh
Priority to CN201210361884.4A priority patent/CN102902764B/zh
Publication of CN102902764A publication Critical patent/CN102902764A/zh
Application granted granted Critical
Publication of CN102902764B publication Critical patent/CN102902764B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志记录的方法及装置,所述方法包括:获取日志数据,所述日志数据中包括日志级别和特征信息标识;当存在某个日志级别对应的预置配置文件时,将相应日志级别的日志数据写入该配置文件中;所述配置文件用于由预设进程进行扫描,以进行异常日志提醒处理;在所述配置文件中按特征信息标识组织对应的日志数据,本发明可以在减少日志数据存储资源占用的基础上,提高定位日志及报告异常日志的效率。

Description

一种日志记录的方法和装置
技术领域
本发明涉及文件处理技术领域,具体涉及一种日志记录的方法,一种日志记录的装置,以及,一种日志记录的系统。
背景技术
网络设备、系统及服务程序等,在运作时都会产生一个叫日志(log)的事件记录;每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。日志是查看系统运行状态和排查问题的主要依据。日志可以用来对线上业务运行过程的记录和运行程序的监控,通过分析记录的日志可以为出现和可能出现的错误进行提示、警告,还可以统计业务标识信息,为业务逻辑改进和应用程序升级提供可靠的依据。例如,某个软件中应用程序出现崩溃情况,那么可以从程序事件日志中找到相应的记录,从而帮助分析并解决问题。
现有技术中,日志记录的内容通常是海量的,以诸如电子支付系统等线上系统的日志记录为例,一笔支付交易,往往会产生多条日志记录,并且,并发的多笔交易产生的记录往往会交错层叠的记录下来,在这种情况下,相关技术人员如果想要查询系统中某个或某几个功能模块的运行情况,或对某个出错的问题排查的效率是比较低的,比如,用户需要查询在一段时间内系统调用了哪些服务,服务的调用顺序是怎样的?系统抛出的出错报警涉及的模块有哪些?这些模块都是采取的哪种恢复操作?在日志量较大的情况,要从系统日志繁杂的信息中查询出上述信息,显然是一个非常耗时耗力的过程。
因此,目前需要本领域技术人员迫切解决的一个技术问题就是:如何能够创新地提出一种日志记录的方法,用以在减少日志数据存储资源占用的基础上,提高定位日志及报告异常日志的效率。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种日志记录的方法,相应的一种日志记录的装置。
依据本发明的一个方面,提供了一种日志记录的方法,包括:
获取日志数据,所述日志数据中包括日志级别和特征信息标识;
当存在某个日志级别对应的预置配置文件时,将相应日志级别的日志数据写入该配置文件中;所述配置文件用于由预设进程进行扫描,以进行异常日志提醒处理;
在所述配置文件中按特征信息标识组织对应的日志数据。
可选地,所述日志数据中还包括记录时间;所述的方法还包括:
将所述按特征信息标识组织的日志数据,按照所述记录时间进行排序。
可选地,所述方法用于交易平台的日志记录,所述特征信息标识为交易平台中每笔交易的交易流水号。
可选地,所述日志级别具有标识,所述预置配置文件为文件名中包含所述日志级别标识的配置文件;
所述当存在某个日志级别对应的预置配置文件时,将相应日志级别的日志数据写入对应的配置文件中的步骤包括:
检查指定目录下是否存在具有包含相应日志级别标识的文件名的配置文件;
若是,则将相应日志级别的日志数据写入对应的配置文件中。
可选地,所述日志数据中还包括业务标识信息,所述日志级别具有标识,所述预置配置文件为文件名包含所述业务标识信息日志级别标识的配置文件;
所述当存在某个日志级别对应的预置配置文件时,将相应日志级别的日志数据写入对应的配置文件中的步骤包括:
检查指定目录下是否存在具有包含相应业务标识信息和日志级别标识的文件名的配置文件;
若是,则将相应日志级别的日志数据写入对应的配置文件中。
可选地,所述日志数据中还包括进程信息和/或线程信息,和/或,业务操作信息。
根据本发明的另一方面,提供了一种日志记录的装置,包括:
日志数据获取模块,用于获取日志数据,所述日志数据中包括日志级别和特征信息标识;
日志文件检测模块,用于判断是否存在某个日志级别对应的预置配置文件,若是,则调用日志写入模块;
日志写入模块,用于将相应日志级别的日志数据写入该配置文件中;所述配置文件用于由预设进程进行扫描,以进行异常日志提醒处理;
日志数据组织模块,用于在所述配置文件中按特征信息标识组织对应的日志数据。
可选地,所述日志数据中还包括记录时间;所述的装置还包括:
排序模块,用于将所述按特征信息标识组织的日志数据,按照所述记录时间进行排序。
可选地,所述装置用于交易平台的日志记录,所述特征信息标识为交易平台中每笔交易的交易流水号。
可选地,所述日志级别具有标识,所述预置配置文件为文件名中包含所述日志级别标识的配置文件。
可选地,所述日志数据中还包括业务标识信息,所述日志级别具有标识,所述预置配置文件为文件名包含所述业务标识信息日志级别标识的配置文件。
可选地,所述日志数据中还包括进程信息和/或线程信息,和/或,业务操作信息。
本发明在日志记录的过程中,将满足日志级别条件的日志数据写入对应的配置文件中,预设的进程可以对所述配置文件进行扫描并发起异常日志的提醒处理,同时所有的日志数据将按照特征信息标识进行组织,从而提高定位日志及报告异常日志的效率。
在只针对所有日志级别中的某一个或某几个日志级别设置配置文件的情况下,本发明实施例可以有效减少日志文件所占用的存储空间。并通过日志文件动态配置的方式,使得日志的管理更加灵活,从而保证在日志文件中所储存的信息大部分是有价值的信息,对于用户查询日志的操作而言,也有利于用户操作效率的提高。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的一种日志记录的方法实施例1的步骤流程图;
图2示出了根据本发明一个实施例的一种日志记录的方法实施例2的步骤流程图;
图3示出了根据本发明一个实施例的一种日志记录的装置实施例的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例的核心构思之一,在日志记录的过程中,将满足日志级别条件的日志数据写入对应的配置文件中,预设的进程可以对所述配置文件进行扫描并发起异常日志的提醒处理,同时所有的日志数据将按照特征信息标识进行组织,从而提高定位日志及报告异常日志的效率。
参照图1,其示出了本发明的一种日志记录的方法实施例1的步骤流程图,具体可以包括如下步骤:
步骤101,获取日志数据,所述日志数据中包括日志级别和特征信息标识;
在本发明的一种优选实施例中,所述日志级别可以由本领域技术人员根据实际情况进行设置。例如,配置日志所有可用的级别为:INFO,DEBUG,ERROR,WARN,FATAL;其中,INFO是指所有关键的动作点以及结果;DEBUG是指为了调试整个系统而打开的一些调试信息,在系统稳定运行的时候,可以关闭该信息;ERROR表示系统发生了一些错误,将错误的信息记录下来;WARN是指为了记录当系统接近一些资源临界值或者已经出现了一些资源不够用或者系统错误,暂时还不至于影响整个系统的运行但需要引起关注的信息;FATAL表示已经出现了很严重的问题,需要停止系统的信息。或如,配置一种半导体工厂设备控制系统日志所有可用的级别为:Verbose(详细信息),Event(事件),Problem(问题),Error(错误),Fatal(致命错误)五个级别。
作为本发明实施例在交易平台中具体应用的一种示例,所述特征信息标识可以为交易平台中每笔交易的交易流水号。
公知的是,交易平台通常用于消费者、商家和金融机构之间使用安全电子手段交换商品或服务,即把新型支付手段(包括电子现金(E-CASH)、信用卡(CREDIT CARD)、借记卡(DEBIT CARD)、智能卡等)的支付信息通过网络安全传送到银行或相应的处理机构,以实现电子支付。
基于以上交易平台的特点,本专利发明人发现交易平台的日志需要满足以下的需求:
1、信息覆盖点需要全面:因为交易平台涉及到钱,那么对于安全性的要求就会很高,由于交易平台会以电子货币的方式来记录资金的流向的,所以,系统应该对每个关键位置的操作过程和结果都进行记录,以便能够支持对交易整个过程的检索,一旦某个环节发生了问题,可以很清晰快捷地定位问题,寻找失败或者错误的发生点。
2、日志记录需要尽量精简:过于详细的日志记录,会带来较大的读写磁盘的I/O开销,这样会对整个交易平台带来影响,造成用户等待时间过长,用户体验很差,所以日志同时需要满足尽量精简的要求。
3、日志记录需要主线:一条交易的完成通常会有多次交互,往往会产生多条日志记录,这些记录往往不是连续性记录的,会被穿插记录在日志文件里面,尤其在支持高并发需求的设计下,支付系统往往采用的是多线程I/O复用的架构模型,同时并发的多笔交易产生的记录往往会交错层叠的记录下来。
由于一条交易的多条日志记录会被穿插记录在日志文件里面,所以需要有唯一的序列号来标识当前交易。在本发明的一种优选实施例中,所述特征信息标识可以为当前交易的流水号,因为每笔交易需要有自己在交易平台内唯一的一个流水号来进行标识,而伴随该交易产生的每一笔日志也需要唯一的一个特征信息标识号来进行标识,它们具有相同的需求和特点,故在本发明实施例中,使用交易平台的交易流水号作为日志数据中的特征信息标识。所述交易流水号的产生有其相应的规则,例如,所述交易流水号可以依据服务器网卡的MAC地址,记录时间和随机数生成。从而保证交易流水号具有相对的唯一性,在一段时间内、在不同的机器上不会重复。
在具体实现中,所述日志数据可以采用逐行记录的方式,在本发明实施例中,每行日志数据都至少包括日志级别和特征信息标识。
步骤102,当存在某个日志级别对应的预置配置文件时,将相应日志级别的日志数据写入该配置文件中;所述配置文件用于由预设进程进行扫描,以进行异常日志提醒处理。
在本发明的一种优选实施例中,所述日志级别具有标识,所述预置配置文件可以为根据所述日志级别标识设置文件名的配置文件;在这种情况下,所述步骤102可以包括如下子步骤:
子步骤S11,检查指定目录下是否存在具有包含相应日志级别标识的文件名的配置文件;若是,则执行子步骤S12,否则执行子步骤S13;
子步骤S12,将相应日志级别的日志数据写入对应的配置文件中;
子步骤S13,不在配置文件中写入所述日志数据。
例如,假设日志所有可用的级别为:INFO,DEBUG,ERROR,WARN,FATAL,对应的日志级别标识为:INFO,DEBUG,ERROR,WARN,FATAL,预置的配置文件包括ERROR.xxx,WARN.xxx,FATAL.xxx,假设当前一条日志数据中包括日志级别INFO,检查发现没有对应文件名的配置文件,于是不需要在配置文件中记录这条日志数据。假设当前又一条日志数据中包括日志级别ERROR,检索发现存在对应文件名的配置文件ERROR.xxx,于是将这条日志数据写入ERROR.xxx这个文件中。
在本发明的另一种优选实施例中,所述日志数据中还可以包括业务标识信息,所述日志级别具有标识,所述预置配置文件可以为文件名包含所述业务标识信息日志级别标识的配置文件。在这种情况下,所述步骤102可以包括如下子步骤:
子步骤S21,检查指定目录下是否存在具有包含相应日志级别标识的文件名的配置文件;若是,则执行子步骤S22,否则执行子步骤S23;
子步骤S22,将相应日志级别的日志数据写入对应的配置文件中。
子步骤S23,不在配置文件中写入所述日志数据。
例如,假设日志所有可用的级别包括:INFO,DEBUG,ERROR,WARN,FATAL,对应的日志级别标识为:INFO,DEBUG,ERROR,WARN,FATAL,可用的业务标识信息包括:收款业务RecvService,预置的配置文件包括RecvService_WARN_log.xxx,RecvService_FATAL_log.xxx,假设当前一条日志数据中包括业务标识信息RecvService和日志级别INFO,检查发现没有对应文件名的配置文件,于是不需要在配置文件中记录这条日志数据。假设当前又一条日志数据中包括业务标识信息RecvService和日志级别WARN,检索发现存在对应文件名的配置文件RecvService_WARN_log.xxx,于是将这条日志数据写入RecvService_WARN_log.xxx这个文件中。
根据上述示例可以理解,所述日志数据是否需要写入配置文件中是可以配置的。在具体实现中,可以在指定目录下创建采用业务标识信息和日志级别标识为文件名的配置文件,即在指定目录下存在相应业务和日志级别的配置文件,那么就进行这条日志数据的记录;反之则不记录。举个例子而言:假如业务标识信息为service,指定的日志目录是/log/service/,如果在这个目录下存在service_INFO_log.xxxx文件,那么具有INFO日志级别的日志数据就会被写入service_INFO_log.xxxx文件中;如果在这个目录下存在service_ERROR_log.xxxx文件,那么具有error日志级别的日志数据就会被写入service_ERROR_log.xxxx文件中。也就是说,是否存在与某个日志级别同名的配置文件,或者,是否存在与某个业务标识信息和日志级别同名的配置文件,就是是否记录该级别的日志数据的开关,系统会在每次记录日志的时候对其进行判断,从而实现动态的日志配置功能。
当然,上述配置文件的设置方式仅仅用作示例,在实际中,还可以采用其它方式设置所述配置文件,例如,在指定目录下创建包括业务标识信息,日志级别标识和记录日期的文件名的配置文件,在这种情况下,则将满足所述业务标识信息,日志级别标识和记录日期的日志数据记录在相应的配置文件中;本领域技术人员依据实际情况采用设置均是可行的,本发明对此无需加以限制。
在只针对所有日志级别中的某一个或某几个日志级别设置配置文件的情况下,本发明实施例可以有效减少日志文件所占用的存储空间。并通过这样一种灵活配置的方式,使得日志的管理更加灵活,从而保证在日志文件中所储存的信息大部分是有价值的信息,对于用户查询日志的操作而言,也有利于用户操作效率的提高。
在具体实现中,可以设置一个独立的进程(预设进程)去扫描所述配置文件。所述预设进程可以为一个精灵进程,精灵进程是生存期长的一种进程。它们常常在系统引导装入时起动,在系统关闭时终止。是一种在后台运行的没有控制终端的进程。
精灵进程可以定时扫描配置文件,然后根据重要级别去进行报警以提示用户发生异常日志的情形。例如,当扫描出错误日志时,发出邮件进行报警;当扫描出警告日志或者指明日志时,发出邮件和短信进行报警。因为精灵进程在定时扫描日志的配置文件,所以它会发现失败交易,发出告警,告警信息中可以包括发生错误的机器IP、日志名称和发生错误的交易单号。运维人员得到告警信息后,可以迅速找到该错误日志,因为错误日志往往较少,可以很快从错误日志中找到记录该笔交易失败的地方,然后根据日志信息可以定位是哪个步骤发生问题。
当然,以上仅对所述异常日志的处理方式进行示例说明,本领域技术人员依据实际情况任意设置均可,本发明对此不作限制。
步骤103,在所述配置文件中按特征信息标识组织对应的日志数据。
本专利的发明人还注意到,日志的记录方式会在很大程度上影响用户对所关注信息的获取。一种格式明晰的日志记录方式能让用户快速定位其所关注的信息,而杂乱无章的记录格式则会让用户花费很多时间,从而降低用户的工作效率。为建立一种格式明晰的日志记录方式,本发明实施例的日志记录方式要求在所述配置文件中按特征信息标识组织对应的日志数据,以在交易平台的应用为例,按交易流水号组织对应的日志数据则可以将杂乱无章的同笔交易的多笔日志数据整理在一起。
具体而言,可以将交易流水号列为纵轴上的字段,将其它数据如日志级别,记录时间等列为横轴上的字段,在用户进行查询的时候,则可以通过横轴和纵轴等多个关键字段来进行查询,因为横轴上具有多列,可以使用列分析工具awk等进行过滤分析,也可以导入数据库后再进行分析,因为日志数据已有对应的字段,如日志级别,记录时间等,所以导入数据库的工作也非常简单。应用本发明实施例,使得用户可以在查询某笔上下文关联的特征信息时,可以更快更准地定位查询,从而进一步提高了用户查询日志的效率。
参照图2,其示出了本发明的一种日志记录的方法实施例2的步骤流程图,具体可以包括如下步骤:
步骤201,获取日志数据,所述日志数据为逐行记录的日志数据,每行日志数据具体包括如下信息:进程信息和/或线程信息,业务标识信息,特征信息标识(如交易流水号),记录时间,日志级别,和/或,业务操作信息。
例如,一条日志数据记录的内容为:
[10910][1166063936][1************145] 20120810 00:00:07.995INFO********success!
其中,[10910]为进程号(进程信息),[1166063936]为线程号(线程信息),所述进程号和线程号分别记录了系统运行时的一些信息,具体可以通过系统提供的API接口获得。[1************145]是特征信息标识,如交易平台中的交易流水号,20120810 00:00:07.995为记录时间,具体可以采用时间戳来记录,时间戳的精度可以达到毫秒级,在高并发的情况下,时间戳可以用来更清楚地区分每一条日志数据。INFO表示日志级别,********success!记录的是执行业务的实际操作信息,包括系统的具体一个进程(线程)在这个时间点到底做了什么事情,做的这个事情是否成功等内容。
步骤202,当存在某个日志级别对应的预置配置文件时,将相应日志级别的日志数据写入该配置文件中;所述配置文件用于由预设进程进行扫描,以进行异常日志提醒处理;
步骤203,在所述配置文件中按特征信息标识组织对应的日志数据;
步骤204,将所述按特征信息标识组织的日志数据,按照所述记录时间进行排序。
为使本领域技术人员更好地理解本发明,以下通过一个具体示例进行说明。
例如,2012年8月30日用户在交易平台提交了一个充值申请,第一步,所述交易平台的前端系统先判断该用户提交的请求属于哪个业务(在实际中,业务可以包括多种,如收款、付款、交易等业务),假设这里调用的是registerReceivable(登记收款单),系统是根据业务来分目录分文件记录日志数据,当前是收款业务,则选择收款业务的日志目录RecvService;第二步,获取当前的系统时间,系统可以为一天记录一个日志文件,则系统定位当前的日志目录【20120829】并写入;第三步,系统判断日志级别,充值申请是个正常的日志,级别是INFO,则选择RecvService_INFO_log.20120829文件,没有则不写入该配置文件;第四步,系统获取交易流水号0AA00005EC38B2012082900221487185,获取进程ID号,和线程ID号;第五步,将当前业务操作信息,如接收到请求,将请求的原始报文记录下来,到此,所有信息收集完毕,在RecvService_INFO_log.20120829文件中生成如下所示的日志记录:
[21646][1148803392][0AA00005EC38B2012082800221487185]20120829 10:17:37.080 INFO  input para:inRecv.userId=247156217333,inRecv.subAccountType=0,inRecv.recvType=96,inRecv.state=2,inRecv.bankUserId=46912518488200,XXX。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
参照图3,示出了根据本发明一个实施例的一种日志记录的装置实施例的结构框图,具体可以包括以下模块:
日志数据获取模块301,用于获取日志数据,所述日志数据中包括日志级别和特征信息标识;
日志文件检测模块302,用于判断是否存在某个日志级别对应的预置配置文件,若是,则调用日志写入模块303;
日志写入模块303,用于将相应日志级别的日志数据写入该配置文件中;所述配置文件用于由预设进程进行扫描,以进行异常日志提醒处理;
日志数据组织模块304,用于在所述配置文件中按特征信息标识组织对应的日志数据。
在本发明的一种优选实施例中,所述日志数据中还可以包括记录时间;所述的装置还可以包括如下模块:
排序模块,用于将所述按特征信息标识组织的日志数据,按照所述记录时间进行排序。
作为本发明实施例具体应用的一种示例,所述装置用于交易平台的日志记录,所述特征信息标识可以为交易平台中每笔交易的交易流水号。
在本发明的一种优选实施例中,所述日志级别具有标识,所述预置配置文件可以为文件名中包含所述日志级别标识的配置文件。
在本发明的另一种优选实施例中,所述日志数据中还包括业务标识信息,所述日志级别具有标识,所述预置配置文件可以为文件名包含所述业务标识信息日志级别标识的配置文件。
在具体实现中,所述日志数据中还可以包括进程信息和/或线程信息,和/或,业务操作信息。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的文件保护处理设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (12)

1.一种日志记录的方法,包括:
获取日志数据,所述日志数据中包括日志级别和特征信息标识;
当存在某个日志级别对应的预置配置文件时,将相应日志级别的日志数据写入该配置文件中;所述配置文件用于由预设进程进行扫描,以进行异常日志提醒处理;
在所述配置文件中按特征信息标识组织对应的日志数据。
2.如权利要求1所述的方法,所述日志数据中还包括记录时间;所述的方法还包括:
将所述按特征信息标识组织的日志数据,按照所述记录时间进行排序。
3.如权利要求2所述的方法,所述方法用于交易平台的日志记录,所述特征信息标识为交易平台中每笔交易的交易流水号。
4.如权利要求1或2或3所述的方法,所述日志级别具有标识,所述预置配置文件为文件名中包含所述日志级别标识的配置文件;
所述当存在某个日志级别对应的预置配置文件时,将相应日志级别的日志数据写入对应的配置文件中的步骤包括:
检查指定目录下是否存在具有包含相应日志级别标识的文件名的配置文件;
若是,则将相应日志级别的日志数据写入对应的配置文件中。
5.如权利要求1或2或3所述的方法,所述日志数据中还包括业务标识信息,所述日志级别具有标识,所述预置配置文件为文件名包含所述业务标识信息日志级别标识的配置文件;
所述当存在某个日志级别对应的预置配置文件时,将相应日志级别的日志数据写入对应的配置文件中的步骤包括:
检查指定目录下是否存在具有包含相应业务标识信息和日志级别标识的文件名的配置文件;
若是,则将相应日志级别的日志数据写入对应的配置文件中。
6.如权利要求1或2或3所述的方法,所述日志数据中还包括进程信息和/或线程信息,和/或,业务操作信息。
7.一种日志记录的装置,包括:
日志数据获取模块,用于获取日志数据,所述日志数据中包括日志级别和特征信息标识;
日志文件检测模块,用于判断是否存在某个日志级别对应的预置配置文件,若是,则调用日志写入模块;
日志写入模块,用于将相应日志级别的日志数据写入该配置文件中;所述配置文件用于由预设进程进行扫描,以进行异常日志提醒处理;
日志数据组织模块,用于在所述配置文件中按特征信息标识组织对应的日志数据。
8.如权利要求7所述的装置,所述日志数据中还包括记录时间;所述的装置还包括:
排序模块,用于将所述按特征信息标识组织的日志数据,按照所述记录时间进行排序。
9.如权利要求8所述的装置,所述装置用于交易平台的日志记录,所述特征信息标识为交易平台中每笔交易的交易流水号。
10.如权利要求7或8或9所述的装置,所述日志级别具有标识,所述预置配置文件为文件名中包含所述日志级别标识的配置文件。
11.如权利要求7或8或9所述的装置,所述日志数据中还包括业务标识信息,所述日志级别具有标识,所述预置配置文件为文件名包含所述业务标识信息日志级别标识的配置文件。
12.如权利要求7或8或9所述的装置,所述日志数据中还包括进程信息和/或线程信息,和/或,业务操作信息。
CN201210361884.4A 2012-09-25 2012-09-25 一种日志记录的方法和装置 Expired - Fee Related CN102902764B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610237814.6A CN105868391B (zh) 2012-09-25 2012-09-25 一种日志记录的方法和装置
CN201210361884.4A CN102902764B (zh) 2012-09-25 2012-09-25 一种日志记录的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210361884.4A CN102902764B (zh) 2012-09-25 2012-09-25 一种日志记录的方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610237814.6A Division CN105868391B (zh) 2012-09-25 2012-09-25 一种日志记录的方法和装置

Publications (2)

Publication Number Publication Date
CN102902764A true CN102902764A (zh) 2013-01-30
CN102902764B CN102902764B (zh) 2016-05-11

Family

ID=47574996

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201210361884.4A Expired - Fee Related CN102902764B (zh) 2012-09-25 2012-09-25 一种日志记录的方法和装置
CN201610237814.6A Active CN105868391B (zh) 2012-09-25 2012-09-25 一种日志记录的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610237814.6A Active CN105868391B (zh) 2012-09-25 2012-09-25 一种日志记录的方法和装置

Country Status (1)

Country Link
CN (2) CN102902764B (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152391A (zh) * 2013-01-31 2013-06-12 杭州华三通信技术有限公司 一种日志输出方法和装置
CN103337113A (zh) * 2013-07-17 2013-10-02 广州广电运通金融电子股份有限公司 电子流水日志智能分析方法、装置及处理器
CN103984621A (zh) * 2014-04-01 2014-08-13 广州杰赛科技股份有限公司 日志分离方法和系统
CN104144071A (zh) * 2013-05-10 2014-11-12 北京新媒传信科技有限公司 系统日志的处理方法和系统日志的处理平台
CN104298586A (zh) * 2014-10-15 2015-01-21 青岛海尔软件有限公司 一种基于系统日志的Web系统异常分析方法和装置
CN104572781A (zh) * 2013-10-29 2015-04-29 中国银联股份有限公司 一种交易日志产生方法和装置
CN105119762A (zh) * 2015-09-23 2015-12-02 普元信息技术股份有限公司 云平台基于日志实现交易回放和重做的系统及方法
CN106161066A (zh) * 2015-04-13 2016-11-23 中国移动通信集团福建有限公司 一种日志采集方法及服务器
CN106161087A (zh) * 2016-06-28 2016-11-23 浪潮(北京)电子信息产业有限公司 一种Linux系统的网卡错误事件收集方法及系统
CN106296400A (zh) * 2016-08-10 2017-01-04 中国农业银行股份有限公司 一种日志记录的方法及系统
CN106383781A (zh) * 2016-09-05 2017-02-08 中国银行股份有限公司 一种实现代码分析的方法及装置
CN106484742A (zh) * 2015-09-01 2017-03-08 北京国双科技有限公司 日志处理方法和装置
CN106484593A (zh) * 2016-09-29 2017-03-08 北京小米移动软件有限公司 日志处理方法、装置及电子设备
CN106776255A (zh) * 2016-12-20 2017-05-31 Tcl集团股份有限公司 智能电视系统的日志提取方法及装置
CN107103470A (zh) * 2017-03-03 2017-08-29 九次方大数据信息集团有限公司 一种提高现货交易过程中信息安全的方法和系统
CN107153695A (zh) * 2017-05-05 2017-09-12 恒生电子股份有限公司 日志记录方法及装置、电子设备、存储介质
CN107229555A (zh) * 2017-05-04 2017-10-03 北京小度信息科技有限公司 标识生成方法和装置
CN107273280A (zh) * 2017-06-30 2017-10-20 百度在线网络技术(北京)有限公司 一种日志处理方法、装置、电子设备和存储介质
CN107315779A (zh) * 2017-06-05 2017-11-03 海致网络技术(北京)有限公司 日志分析方法和系统
CN107332680A (zh) * 2016-04-28 2017-11-07 苏宁云商集团股份有限公司 一种系统监控方法及装置
CN107577579A (zh) * 2017-09-15 2018-01-12 通鼎互联信息股份有限公司 一种日志记录方法及装置
CN107729172A (zh) * 2017-10-31 2018-02-23 北京酷我科技有限公司 一种生成分级调试日志的方法
CN107733709A (zh) * 2017-10-17 2018-02-23 北京奇虎科技有限公司 数据存储方法、装置及电子设备
CN108446370A (zh) * 2018-03-15 2018-08-24 苏州思必驰信息科技有限公司 语音数据统计方法和系统
CN109525448A (zh) * 2019-01-10 2019-03-26 北京智信未来信息技术有限公司 日志数据采集系统及方法
CN109766323A (zh) * 2018-12-17 2019-05-17 深圳壹账通智能科技有限公司 贷款交易全链路监控方法、装置、计算机设备和存储介质
CN110020041A (zh) * 2017-08-21 2019-07-16 北京国双科技有限公司 一种跟踪爬取过程的方法及装置
WO2019136812A1 (zh) * 2018-01-10 2019-07-18 平安科技(深圳)有限公司 电子装置、数据调用日志生成及查询方法及存储介质
CN110473100A (zh) * 2019-08-15 2019-11-19 深圳前海微众银行股份有限公司 一种基于区块链系统的交易处理方法及装置
CN112069143A (zh) * 2020-08-11 2020-12-11 烽火通信科技股份有限公司 日志级别调整方法、装置、设备及可读存储介质
CN112540808A (zh) * 2019-09-23 2021-03-23 腾讯科技(深圳)有限公司 一种程序行为层级调用关系的记录方法及相关设备
CN112631873A (zh) * 2020-12-30 2021-04-09 平安证券股份有限公司 日志监控方法、装置、计算机设备和存储介质
US11068510B2 (en) 2014-09-26 2021-07-20 Oracle International Corporation Method and system for implementing efficient classification and exploration of data

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062323B (zh) * 2016-11-08 2021-10-15 北京国双科技有限公司 一种日志读取方法及装置
CN111694704B (zh) * 2019-03-12 2023-10-10 杭州海康威视数字技术股份有限公司 调试信息输出方法、装置、电子设备及存储介质
CN112286791A (zh) * 2020-09-27 2021-01-29 长沙市到家悠享网络科技有限公司 一种业务系统测试方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339531A (zh) * 2008-08-12 2009-01-07 杭州华三通信技术有限公司 一种处理日志文件的方法及装置
US20090198707A1 (en) * 2008-02-06 2009-08-06 Electronic Data Systems Corporation System and method for managing firewall log records
CN101753971A (zh) * 2008-12-22 2010-06-23 中兴通讯股份有限公司 一种统一视讯管理平台中内容管理系统中的日志系统及日志记录方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1159649C (zh) * 2000-12-28 2004-07-28 中兴通讯股份有限公司 一种日志信息的自动循环存储方法
CN100547563C (zh) * 2007-12-12 2009-10-07 腾讯科技(深圳)有限公司 一种调试程序的日志输出方法、装置和系统
CN101320348A (zh) * 2008-06-25 2008-12-10 中兴通讯股份有限公司 一种嵌入式系统的日志功能实现方法
CN101464908A (zh) * 2009-01-14 2009-06-24 北京北方微电子基地设备工艺研究中心有限责任公司 一种日志记录的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090198707A1 (en) * 2008-02-06 2009-08-06 Electronic Data Systems Corporation System and method for managing firewall log records
CN101339531A (zh) * 2008-08-12 2009-01-07 杭州华三通信技术有限公司 一种处理日志文件的方法及装置
CN101753971A (zh) * 2008-12-22 2010-06-23 中兴通讯股份有限公司 一种统一视讯管理平台中内容管理系统中的日志系统及日志记录方法

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152391A (zh) * 2013-01-31 2013-06-12 杭州华三通信技术有限公司 一种日志输出方法和装置
CN103152391B (zh) * 2013-01-31 2016-08-10 杭州华三通信技术有限公司 一种日志输出方法和装置
CN104144071A (zh) * 2013-05-10 2014-11-12 北京新媒传信科技有限公司 系统日志的处理方法和系统日志的处理平台
CN104144071B (zh) * 2013-05-10 2018-02-06 北京新媒传信科技有限公司 系统日志的处理方法和系统日志的处理平台
CN103337113A (zh) * 2013-07-17 2013-10-02 广州广电运通金融电子股份有限公司 电子流水日志智能分析方法、装置及处理器
CN103337113B (zh) * 2013-07-17 2015-05-13 广州广电运通金融电子股份有限公司 电子流水日志智能分析方法、装置及处理器
CN104572781A (zh) * 2013-10-29 2015-04-29 中国银联股份有限公司 一种交易日志产生方法和装置
CN104572781B (zh) * 2013-10-29 2018-10-23 中国银联股份有限公司 一种交易日志产生方法和装置
CN103984621A (zh) * 2014-04-01 2014-08-13 广州杰赛科技股份有限公司 日志分离方法和系统
US11734315B2 (en) 2014-09-26 2023-08-22 Oracle International Corporation Method and system for implementing efficient classification and exploration of data
US11068510B2 (en) 2014-09-26 2021-07-20 Oracle International Corporation Method and system for implementing efficient classification and exploration of data
CN104298586A (zh) * 2014-10-15 2015-01-21 青岛海尔软件有限公司 一种基于系统日志的Web系统异常分析方法和装置
CN106161066A (zh) * 2015-04-13 2016-11-23 中国移动通信集团福建有限公司 一种日志采集方法及服务器
CN106484742A (zh) * 2015-09-01 2017-03-08 北京国双科技有限公司 日志处理方法和装置
CN105119762A (zh) * 2015-09-23 2015-12-02 普元信息技术股份有限公司 云平台基于日志实现交易回放和重做的系统及方法
CN107332680A (zh) * 2016-04-28 2017-11-07 苏宁云商集团股份有限公司 一种系统监控方法及装置
CN106161087A (zh) * 2016-06-28 2016-11-23 浪潮(北京)电子信息产业有限公司 一种Linux系统的网卡错误事件收集方法及系统
CN106296400A (zh) * 2016-08-10 2017-01-04 中国农业银行股份有限公司 一种日志记录的方法及系统
CN106383781B (zh) * 2016-09-05 2020-02-14 中国银行股份有限公司 一种实现代码分析的方法及装置
CN106383781A (zh) * 2016-09-05 2017-02-08 中国银行股份有限公司 一种实现代码分析的方法及装置
CN106484593A (zh) * 2016-09-29 2017-03-08 北京小米移动软件有限公司 日志处理方法、装置及电子设备
CN106776255A (zh) * 2016-12-20 2017-05-31 Tcl集团股份有限公司 智能电视系统的日志提取方法及装置
CN106776255B (zh) * 2016-12-20 2020-09-04 Tcl科技集团股份有限公司 智能电视系统的日志提取方法及装置
CN107103470A (zh) * 2017-03-03 2017-08-29 九次方大数据信息集团有限公司 一种提高现货交易过程中信息安全的方法和系统
CN107103470B (zh) * 2017-03-03 2021-08-13 九次方大数据信息集团有限公司 一种提高现货交易过程中信息安全的方法和系统
CN107229555B (zh) * 2017-05-04 2021-07-20 北京星选科技有限公司 标识生成方法和装置
CN107229555A (zh) * 2017-05-04 2017-10-03 北京小度信息科技有限公司 标识生成方法和装置
CN107153695A (zh) * 2017-05-05 2017-09-12 恒生电子股份有限公司 日志记录方法及装置、电子设备、存储介质
CN107315779A (zh) * 2017-06-05 2017-11-03 海致网络技术(北京)有限公司 日志分析方法和系统
CN107273280A (zh) * 2017-06-30 2017-10-20 百度在线网络技术(北京)有限公司 一种日志处理方法、装置、电子设备和存储介质
CN107273280B (zh) * 2017-06-30 2021-02-09 百度在线网络技术(北京)有限公司 一种日志处理方法、装置、电子设备和存储介质
CN110020041A (zh) * 2017-08-21 2019-07-16 北京国双科技有限公司 一种跟踪爬取过程的方法及装置
CN107577579A (zh) * 2017-09-15 2018-01-12 通鼎互联信息股份有限公司 一种日志记录方法及装置
CN107577579B (zh) * 2017-09-15 2020-10-27 通鼎互联信息股份有限公司 一种日志记录方法及装置
CN107733709A (zh) * 2017-10-17 2018-02-23 北京奇虎科技有限公司 数据存储方法、装置及电子设备
CN107729172A (zh) * 2017-10-31 2018-02-23 北京酷我科技有限公司 一种生成分级调试日志的方法
WO2019136812A1 (zh) * 2018-01-10 2019-07-18 平安科技(深圳)有限公司 电子装置、数据调用日志生成及查询方法及存储介质
CN108446370A (zh) * 2018-03-15 2018-08-24 苏州思必驰信息科技有限公司 语音数据统计方法和系统
CN109766323A (zh) * 2018-12-17 2019-05-17 深圳壹账通智能科技有限公司 贷款交易全链路监控方法、装置、计算机设备和存储介质
CN109525448A (zh) * 2019-01-10 2019-03-26 北京智信未来信息技术有限公司 日志数据采集系统及方法
CN110473100A (zh) * 2019-08-15 2019-11-19 深圳前海微众银行股份有限公司 一种基于区块链系统的交易处理方法及装置
CN110473100B (zh) * 2019-08-15 2023-07-11 深圳前海微众银行股份有限公司 一种基于区块链系统的交易处理方法及装置
CN112540808A (zh) * 2019-09-23 2021-03-23 腾讯科技(深圳)有限公司 一种程序行为层级调用关系的记录方法及相关设备
CN112540808B (zh) * 2019-09-23 2023-10-13 腾讯科技(深圳)有限公司 一种程序行为层级调用关系的记录方法及相关设备
CN112069143A (zh) * 2020-08-11 2020-12-11 烽火通信科技股份有限公司 日志级别调整方法、装置、设备及可读存储介质
CN112631873A (zh) * 2020-12-30 2021-04-09 平安证券股份有限公司 日志监控方法、装置、计算机设备和存储介质
CN112631873B (zh) * 2020-12-30 2023-11-21 平安证券股份有限公司 日志监控方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN102902764B (zh) 2016-05-11
CN105868391B (zh) 2019-06-04
CN105868391A (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
CN102902764A (zh) 一种日志记录的方法和装置
CN102831052B (zh) 测试用例自动化生成装置及方法
CN101625686B (zh) 一种监控多数据库之间数据一致性的方法及系统
CN100375038C (zh) 重定序两阶段提交中的资源的最后代理优化方法和系统
CN107123047B (zh) 基于债券交易的数据采集系统及其数据采集方法
US20050234787A1 (en) Enterprise service architecture platform architecture for multi-application computer system
JP2019500680A (ja) データ処理方法及び装置
CN105978723A (zh) 网络信息管理方法及装置
CN106294101A (zh) 页面打点测试方法和装置
CN105119762A (zh) 云平台基于日志实现交易回放和重做的系统及方法
CN112506743A (zh) 一种日志监控方法、装置和服务器
CN103077108A (zh) 一种对浏览器崩溃进行预警的方法和系统
CN105224542A (zh) 一种将业务对象数据导入平台的方法和装置
CN103678314B (zh) 基于关联规则提取的海量数据处理系统、设备及方法
CN111865673A (zh) 一种自动化故障管理方法、装置及系统
CN103810099A (zh) 代码跟踪方法及其系统
CN104123104B (zh) 日志控制系统及方法
CN105573872A (zh) 数据存储系统的硬盘维护方法和装置
CN105590259A (zh) 交易系统的诊断装置和方法
CN103347005A (zh) 一种控制数据上报的方法以及客户端设备和服务器设备
CN105512829A (zh) 基于webservice协议的卡片价值多维度成本归集方法
CN115794545A (zh) 运维数据的自动化处理方法及其相关设备
CN113934595A (zh) 数据分析方法及系统、存储介质及电子终端
US9471569B1 (en) Integrating information sources to create context-specific documents
CN102279798A (zh) 一种基于点功能驱动的软件测试方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160511