CN107622068A - 一种基于json格式的日志管理方法及装置 - Google Patents
一种基于json格式的日志管理方法及装置 Download PDFInfo
- Publication number
- CN107622068A CN107622068A CN201610556324.2A CN201610556324A CN107622068A CN 107622068 A CN107622068 A CN 107622068A CN 201610556324 A CN201610556324 A CN 201610556324A CN 107622068 A CN107622068 A CN 107622068A
- Authority
- CN
- China
- Prior art keywords
- log information
- file
- log
- json forms
- write
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于JSON格式的日志管理方法及装置,该方法包括:将日志信息转换为JSON格式,并将所述日志信息以JSON格式存储于数据库中;将所述日志信息写入至文件中;于所述文件中管理所述日志信息。该发明的有益效果为:减少开发运维人员工作量,日志能够进行高效地配置;该方法及装置提供丰富方便的查找功能,从而能够快速获取所需的信息,并且能够方便的进行日志统计分析。
Description
技术领域
本发明涉及日志管理技术领域,尤其涉及一种基于JSON格式的日志管理方法及装置。
背景技术
在软件系统开发和运行维护中,日志输出无处不在,日志能够帮助我们发现程序中的一些问题、也可以对系统的运行状况进行监控,还可以通过日志分析进行数据统计。通常的日志输出以纯文本格式存储,将每条按照特定的字符串拼接格式存入文本文件中。需要从日志中获取信息时,需要使用日志分析工具。但是,目前很多日志分析工具,所能提供的无论是本地分析工具还是在线分析服务,虽然具备丰富的的统计分析功能,可以做一定程度的配置,但是依然存在以下缺点:
1、日志信息搜索麻烦,对于要查找特定条件的日志信息存在瓶颈,一般需手动分析。
2、难以对日志信息进行统计分析,或者对于日志统计分析的方法难以进行有效的过滤筛选。
发明内容
本发明要解决的技术问题在于,针对上述现有技术日志信息搜索麻烦、统计分析困难的问题,提供一种基于JSON格式的日志管理方法及装置。
本发明解决其技术问题所采用的技术方案是:
一方面,构造一种基于JSON格式的日志管理方法,包括:
将日志信息转换为JSON格式,并将所述日志信息以JSON格式存储于数据库中;
将所述日志信息写入至文件中;
于所述文件中管理所述日志信息。
在本发明所述的日志管理方法中,所述将日志信息转换为JSON格式,并将所述日志信息以JSON格式存储于数据库中的步骤包括以下子步骤:
将日志信息转换为JSON格式;
将所述日志信息以JSON格式存储于所述数据库中。
在本发明所述的日志管理方法中,所述将所述日志信息写入至文件中的步骤包括以下子步骤:
将所述日志信息按照预设的级别进行分级;
依据所述日志信息的级别是否大于预设的阈值判断是否输出所述日志信息至所述文件中,若是,则依据JSON格式输出所述日志信息;
判断是否存在文件;若是,则将所述日志信息写入至所述文件中;若否,则生成所述文件,将所述日志信息写入至所述文件中。
在本发明所述的日志管理方法中,所述于所述文件中管理所述日志信息的步骤包括以下子步骤:
于所述文件中查找所述日志信息;
于所述文件中统计所述日志信息;
于所述文件中导出所统计的日志信息的统计报表;
将所述日志信息转换为预设格式。
在本发明所述的日志管理方法中,所述数据库为Sqlite数据库。
另一方面,提供一种基于JSON格式的日志管理装置,包括:
格式处理模块,用于将日志信息转换为JSON格式,并将所述日志信息以JSON格式存储于数据库中;
文件写入模块,用于将所述日志信息写入至文件中;
日志管理模块,用于在所述文件中管理所述日志信息。
在本发明所述的日志管理装置中,所述格式处理模块包括:
格式转换子模块,用于将日志信息转换为JSON格式;
日志存储子模块,用于将所述日志信息以JSON格式存储于所述数据库中。
在本发明所述的日志管理装置中,所述文件写入模块包括:
日志分级子模块,用于将所述日志信息按照预设的级别进行分级;
级别判断子模块,用于依据所述日志信息的级别是否大于预设的阈值判断是否输出所述日志信息至所述文件中,若是,则依据JSON格式输出所述日志信息;
文件判断子模块,用于判断是否存在文件;若是,则将所述日志信息写入至所述文件中;若否,则生成所述文件,将所述日志信息写入至所述文件中。
在本发明所述的日志管理装置中,所述日志管理模块包括:
日志查找子模块,用于在所述文件中查找所述日志信息;
日志统计子模块,用于在所述文件中统计所述日志信息;
报表导出子模块,用于在所述文件中导出所统计的日志信息的统计报表;
日志转换子模块,用于将所述日志信息转换为预设格式。
在本发明所述的日志管理装置中,所述数据库为Sqlite数据库。
上述公开的一种基于JSON格式的日志管理方法及装置:减少开发运维人员工作量,日志能够进行高效地配置;该方法及装置提供丰富方便的查找功能,从而能够快速获取所需的信息,并且能够方便的进行日志统计分析。
附图说明
图1为本发明提供的一种基于JSON格式的日志管理方法的流程图;
图2为本发明一实施例提供的日志管理的功能示意图;
图3为本发明提供的一种基于JSON格式的日志管理装置框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明提供了一种基于JSON格式的日志管理方法及装置,其目的在于,通过JSON格式存储并管理日志信息,帮助开发/运维人员将精力专注于日志 信息的分析中,而不需要花太多时间在信息的查找和定位上。本发明还可以使开发人员能够动态地修改日志字段内容,无需过多的改动其他内容。本技术提供了一种基于轻量数据库的JSON(JavaScriptObject Notation,轻量级的数据交换格式)格式日志方案,来帮助查找分析日志,减少开发和维护人员从日志中提取有效信息的时间,提高工作效率。
参见图1,图1为本发明提供的一种基于JSON格式的日志管理方法的流程图,该日志管理方法包括步骤S1-S3:
S1、将日志信息转换为JSON格式,并将所述日志信息以JSON格式存储于数据库中;所述数据库为Sqlite数据库,提供SQL语言(数据库结构化查询语言)以及JSON格式支持。该步骤S1包括子步骤S11-S12:
S11、将日志信息转换为JSON格式;即提供JSON数据格式转换,解析功能;JSON格式数据比较简单,易于读写,易于解析,而且支持多语言。
S12、将所述日志信息以JSON格式存储于所述数据库中。一般的,轻量数据数据库组件:采用Sqlite数据库(Sqlite 3.9及以上版本);Sqlite:一种轻量级别的关系型数据库;Sqlite具有操作简单,无需安装,无需管理员,能够不同平台上通用。Sqlite3.9以上版本数据库字段支持JSON格式,而且Sqlite提供公共接口操作JSON格式数据,可以很方便的插入、修改和删除JSON数据。从而实现以JSON格式将日志信息存储于Sqlite数据库文件中。
S2、将所述日志信息写入至文件中;该步骤S2包括子步骤S21-S23:
S21、将所述日志信息按照预设的级别进行分级;例如,先调用预设的日志驱动模块,以判断日志级别。
S22、依据所述日志信息的级别是否大于预设的阈值判断是否输出所述日志信息至所述文件中,若是,则依据JSON格式输出所述日志信息;根据日志的级别判断是否输出日志信息,若是,则组织JSON数据并调用Sqlite驱动程序以按照JSON格式输出日志信息。
S23、判断是否存在文件;若是,则将所述日志信息写入至所述文件中;若否,则生成所述文件,将所述日志信息写入至所述文件中。日志需要写入文件中,该步骤主要判断是否存在日志数据库文件(即文件),若存在,则直接 将日志写入至文件,若不存在,则生产一新的日志数据库文件,并将日志写入至该新的日志数据库文件。
S3、于所述文件中管理所述日志信息。该步骤S3包括子步骤S31-S34:
S31、于所述文件中查找所述日志信息;
S32、于所述文件中统计所述日志信息;
S33、于所述文件中导出所统计的日志信息的统计报表;
S34、将所述日志信息转换为预设格式。将日志信息转为外部装置可用的格式。
参见图2,图2为本发明一实施例提供的日志管理的功能示意图,日志管理包括三大部分:软件系统、日志文件及日志分析工具。
软件系统:需要用到日志的软件系统,产生日志文件,记录日志信息,通过日志驱动模块将日志信息输出到轻量数据库文件中。
日志文件:轻量数据库存储文件,日志信息以JSON格式存储于其中。
日志分析工具:提供日志查找定位功能、日志统计分析功能、日志格式转换功能等。
参见图3,图3为本发明提供的一种基于JSON格式的日志管理装置100框图,该日志管理装置100通过设置相应程序实现,具体的该日志管理装置100包括:
格式处理模块1,用于将日志信息转换为JSON格式,并将所述日志信息以JSON格式存储于数据库中;
文件写入模块2,用于将所述日志信息写入至文件中;
日志管理模块3,用于在所述文件中管理所述日志信息。
优选的,所述格式处理模块1包括:
格式转换子模块,用于将日志信息转换为JSON格式;
日志存储子模块,用于将所述日志信息以JSON格式存储于所述数据库中。
优选的,所述文件写入模块2包括:
日志分级子模块,用于将所述日志信息按照预设的级别进行分级;
级别判断子模块,用于依据所述日志信息的级别是否大于预设的阈值判断 是否输出所述日志信息至所述文件中,若是,则依据JSON格式输出所述日志信息;
文件判断子模块,用于判断是否存在文件;若是,则将所述日志信息写入至所述文件中;若否,则生成所述文件,将所述日志信息写入至所述文件中。
优选的,所述日志管理模块3包括:
日志查找子模块,用于在所述文件中查找所述日志信息;
日志统计子模块,用于在所述文件中统计所述日志信息;
报表导出子模块,用于在所述文件中导出所统计的日志信息的统计报表;
日志转换子模块,用于将所述日志信息转换为预设格式。
本文提供了实施例的各种操作。在一个实施例中,所述的一个或操作可以构成一个或计算机可读介质上存储的计算机可读指令,其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且,应当理解,不是所有操作必需在本文所提供的每个实施例中存在。
而且,本文所使用的词语“优选的”意指用作实例、示例或例证。奉文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反,词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即,除非另外指定或从上下文中清楚,“X使用A或B”意指自然包括排列的任意一个。即,如果X使用A;X使用B;或X使用A和B二者,则“X使用A或B”在前述任一示例中得到满足。
而且,尽管已经相对于一个或实现方式示出并描述了本公开,但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型,并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能,用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示),即使在结构上与执行本文所示的本公开的示范性实现 方式中的功能的公开结构不等同。此外,尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开,但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且,就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言,这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器,磁盘或光盘等。上述的各装置或系统,可以执行相应方法实施例中的方法。
综上所述,虽然本发明已以优选实施例揭露如上,但上述优选实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。
Claims (10)
1.一种基于JSON格式的日志管理方法,其特征在于,包括:
将日志信息转换为JSON格式,并将所述日志信息以JSON格式存储于数据库中;
将所述日志信息写入至文件中;
于所述文件中管理所述日志信息。
2.根据权利要求1所述的日志管理方法,其特征在于,所述将日志信息转换为JSON格式,并将所述日志信息以JSON格式存储于数据库中的步骤包括以下子步骤:
将日志信息转换为JSON格式;
将所述日志信息以JSON格式存储于所述数据库中。
3.根据权利要求2所述的日志管理方法,其特征在于,所述将所述日志信息写入至文件中的步骤包括以下子步骤:
将所述日志信息按照预设的级别进行分级;
依据所述日志信息的级别是否大于预设的阈值判断是否输出所述日志信息至所述文件中,若是,则依据JSON格式输出所述日志信息;
判断是否存在文件;若是,则将所述日志信息写入至所述文件中;若否,则生成所述文件,将所述日志信息写入至所述文件中。
4.根据权利要求1所述的日志管理方法,其特征在于,所述于所述文件中管理所述日志信息的步骤包括以下子步骤:
于所述文件中查找所述日志信息;
于所述文件中统计所述日志信息;
于所述文件中导出所统计的日志信息的统计报表;
将所述日志信息转换为预设格式。
5.根据权利要求1所述的日志管理方法,其特征在于,所述数据库为Sqlite数据库。
6.一种基于JSON格式的日志管理装置,其特征在于,包括:
格式处理模块,用于将日志信息转换为JSON格式,并将所述日志信息以JSON格式存储于数据库中;
文件写入模块,用于将所述日志信息写入至文件中;
日志管理模块,用于在所述文件中管理所述日志信息。
7.根据权利要求6所述的日志管理装置,其特征在于,所述格式处理模块包括:
格式转换子模块,用于将日志信息转换为JSON格式;
日志存储子模块,用于将所述日志信息以JSON格式存储于所述数据库中。
8.根据权利要求7所述的日志管理装置,其特征在于,所述文件写入模块包括:
日志分级子模块,用于将所述日志信息按照预设的级别进行分级;
级别判断子模块,用于依据所述日志信息的级别是否大于预设的阈值判断是否输出所述日志信息至所述文件中,若是,则依据JSON格式输出所述日志信息;
文件判断子模块,用于判断是否存在文件;若是,则将所述日志信息写入至所述文件中;若否,则生成所述文件,将所述日志信息写入至所述文件中。
9.根据权利要求6所述的日志管理装置,其特征在于,所述日志管理模块包括:
日志查找子模块,用于在所述文件中查找所述日志信息;
日志统计子模块,用于在所述文件中统计所述日志信息;
报表导出子模块,用于在所述文件中导出所统计的日志信息的统计报表;
日志转换子模块,用于将所述日志信息转换为预设格式。
10.根据权利要求6所述的日志管理装置,其特征在于,所述数据库为Sqlite数据库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610556324.2A CN107622068A (zh) | 2016-07-14 | 2016-07-14 | 一种基于json格式的日志管理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610556324.2A CN107622068A (zh) | 2016-07-14 | 2016-07-14 | 一种基于json格式的日志管理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107622068A true CN107622068A (zh) | 2018-01-23 |
Family
ID=61087549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610556324.2A Pending CN107622068A (zh) | 2016-07-14 | 2016-07-14 | 一种基于json格式的日志管理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107622068A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108763044A (zh) * | 2018-05-30 | 2018-11-06 | 中国建设银行股份有限公司 | 一种日志处理方法及装置 |
CN108920659A (zh) * | 2018-07-03 | 2018-11-30 | 广州唯品会信息科技有限公司 | 数据处理系统及其数据处理方法、计算机可读存储介质 |
CN110399350A (zh) * | 2018-04-19 | 2019-11-01 | 沪江教育科技(上海)股份有限公司 | 日志信息的处理方法、装置、存储介质及电子设备 |
CN110874350A (zh) * | 2019-10-14 | 2020-03-10 | 支付宝(杭州)信息技术有限公司 | 结构化日志数据的加工方法和装置 |
CN110990223A (zh) * | 2019-11-27 | 2020-04-10 | 中诚信征信有限公司 | 一种基于系统日志的监控告警方法及装置 |
CN111061584A (zh) * | 2019-11-21 | 2020-04-24 | 浪潮电子信息产业股份有限公司 | 一种故障诊断方法、装置、设备及可读存储介质 |
CN111782474A (zh) * | 2020-06-30 | 2020-10-16 | 广东小天才科技有限公司 | 日志处理方法、装置、电子设备和介质 |
CN114793193A (zh) * | 2022-04-22 | 2022-07-26 | 深圳市东晟数据有限公司 | 一种网络安全日志的快速关联分类及分级存储方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103944973A (zh) * | 2014-04-02 | 2014-07-23 | 北京中交兴路车联网科技有限公司 | 一种日志采集方法及装置 |
CN105701122A (zh) * | 2014-11-28 | 2016-06-22 | 深圳市腾讯计算机系统有限公司 | 一种日志收集方法、装置及系统 |
-
2016
- 2016-07-14 CN CN201610556324.2A patent/CN107622068A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103944973A (zh) * | 2014-04-02 | 2014-07-23 | 北京中交兴路车联网科技有限公司 | 一种日志采集方法及装置 |
CN105701122A (zh) * | 2014-11-28 | 2016-06-22 | 深圳市腾讯计算机系统有限公司 | 一种日志收集方法、装置及系统 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110399350A (zh) * | 2018-04-19 | 2019-11-01 | 沪江教育科技(上海)股份有限公司 | 日志信息的处理方法、装置、存储介质及电子设备 |
CN108763044A (zh) * | 2018-05-30 | 2018-11-06 | 中国建设银行股份有限公司 | 一种日志处理方法及装置 |
CN108920659A (zh) * | 2018-07-03 | 2018-11-30 | 广州唯品会信息科技有限公司 | 数据处理系统及其数据处理方法、计算机可读存储介质 |
CN110874350A (zh) * | 2019-10-14 | 2020-03-10 | 支付宝(杭州)信息技术有限公司 | 结构化日志数据的加工方法和装置 |
CN111061584A (zh) * | 2019-11-21 | 2020-04-24 | 浪潮电子信息产业股份有限公司 | 一种故障诊断方法、装置、设备及可读存储介质 |
CN110990223A (zh) * | 2019-11-27 | 2020-04-10 | 中诚信征信有限公司 | 一种基于系统日志的监控告警方法及装置 |
CN111782474A (zh) * | 2020-06-30 | 2020-10-16 | 广东小天才科技有限公司 | 日志处理方法、装置、电子设备和介质 |
CN114793193A (zh) * | 2022-04-22 | 2022-07-26 | 深圳市东晟数据有限公司 | 一种网络安全日志的快速关联分类及分级存储方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107622068A (zh) | 一种基于json格式的日志管理方法及装置 | |
CN102270225B (zh) | 数据变更日志监控方法和数据变更日志监控装置 | |
JP5298117B2 (ja) | 分散コンピューティングにおけるデータマージング | |
CN101719149B (zh) | 数据同步方法及装置 | |
CN112000773B (zh) | 基于搜索引擎技术的数据关联关系挖掘方法及应用 | |
CN106341257B (zh) | 一种自定义日志解析规则并自动解析日志的装置 | |
US20150046423A1 (en) | Refining Search Query Results | |
CN104536987B (zh) | 一种查询数据的方法及装置 | |
CN111506559A (zh) | 数据存储方法、装置、电子设备及存储介质 | |
US8745062B2 (en) | Systems, methods, and computer program products for fast and scalable proximal search for search queries | |
CN109344374B (zh) | 基于大数据的报表生成方法及装置、电子设备、存储介质 | |
CN110399377A (zh) | Sql的优化方法、装置、电子设备及计算机可读存储介质 | |
US7797325B2 (en) | Lightweight generic report generation tool | |
KR20220088958A (ko) | 확장 가능한 클러스터에서 연결을 관리하기 위한 시스템 및 방법 | |
US20210004385A1 (en) | System and method for analysis of one or more unstructured data | |
KR20180077830A (ko) | 비공유 아키텍처 기반의 분산 스트림 처리 엔진에서 관계형 질의를 처리하는 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
CN117708884A (zh) | 基于字段标签化的数据权限数据库中间件 | |
CN110874366A (zh) | 数据处理、查询方法和装置 | |
CN117667841A (zh) | 一种企业数据管理平台及方法 | |
US10296496B2 (en) | Data editing device and data editing method | |
CN115905371A (zh) | 数据趋势分析方法、装置、设备及计算机可读存储介质 | |
US20070179922A1 (en) | Apparatus and method for forecasting control chart data | |
CN109033133A (zh) | 基于特征项权重增长趋势的事件检测与跟踪方法 | |
CN104331426A (zh) | 一种基于浏览器的电力系统检索器的快速检方法 | |
CN113342844A (zh) | 工业智能搜索系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180123 |