CN106874354A - 一种日志数据筛选方法及装置 - Google Patents

一种日志数据筛选方法及装置 Download PDF

Info

Publication number
CN106874354A
CN106874354A CN201611235601.6A CN201611235601A CN106874354A CN 106874354 A CN106874354 A CN 106874354A CN 201611235601 A CN201611235601 A CN 201611235601A CN 106874354 A CN106874354 A CN 106874354A
Authority
CN
China
Prior art keywords
screening
daily record
record data
rule
selection instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611235601.6A
Other languages
English (en)
Inventor
付奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 58 Information Technology Co Ltd
Original Assignee
Beijing 58 Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 58 Information Technology Co Ltd filed Critical Beijing 58 Information Technology Co Ltd
Priority to CN201611235601.6A priority Critical patent/CN106874354A/zh
Publication of CN106874354A publication Critical patent/CN106874354A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90344—Query processing by using string matching techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明旨在解决现有技术中对用户的筛选效率较低的问题，提出了一种日志数据筛选方法及装置，其中，日志数据筛选方法，包括：接收筛选参数以及筛选规则的选择指令；接收日志数据；使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选，该方案提高了日志数据筛选的效率。

Description

一种日志数据筛选方法及装置
技术领域
本发明涉及通信技术领域，尤其涉及一种日志数据筛选方法及装置。
背景技术
目前，随着app(应用程序，Application)数量的增长，app的用户越来越多，基于此，对用户的筛选也越来越重要。目前，一般在每次筛选用户时，均使用与产品经理事先约定的条件来开发程序，以进行用户的筛选。由于该方式是产品经理根据自身需求来进行用户筛选，这样则导致产品经理的筛选需求发生变化时，均需要调整筛选，从而需要专门开发一套程序来满足产品经理的筛选需求，这种方式显然需要程序开发人员进行大量重复性劳动，效率较低。
发明内容
本发明旨在解决现有技术中对用户的筛选效率较低的问题，提出了一种日志数据筛选方法及装置。
根据本发明的一个方面，提供了一种日志数据筛选方法，包括：接收筛选参数以及筛选规则的选择指令；接收日志数据；使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选。
可选的，上述方法还包括：在接收筛选参数之前，显示预设的筛选规则和/或显示预设的筛选规则的标识。
可选的，使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选，包括：如果选择指令表明当前有一个筛选规则被选择，则根据该被选择的筛选规则以及与该筛选规则对应的筛选参数对日志数据进行筛选；如果选择指令表明当前至少有两个筛选规则被选择，则将至少两个筛选规则以及与至少两个筛选规则分别对应的筛选参数进行组合，得到组合筛选条件；使用组合筛选条件对日志数据进行筛选。
可选的，上述方法还包括：在使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选之前，根据选择指令从数据库中获取预先存储的筛选规则。
可选的，上述预设的筛选规则包括：筛选存在与逻辑关系的日志数据和/或筛选存在或逻辑关系的日志数据和/或筛选存在非逻辑关系的日志数据的逻辑运算；
筛选出连续预设时间段内均出现预设信息的日志数据的计算方法；按照数值大小关系筛选日志数据的计算方法；筛选出包含预设字符串的日志数据的计算方法；筛选出指定时间段内的日志数据的计算方法。
根据本发明的第二个方面，提供了一种日志数据筛选装置，包括：第一接收模块，用于接收筛选参数以及筛选规则的选择指令；第二接收模块，用于接收日志数据；筛选模块，用于使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选。
可选的，上述装置还包括：显示模块，用于在接收筛选参数之前，显示预设的筛选规则和/或显示预设的筛选规则的标识。
可选的，上述筛选模块包括：第一筛选单元，用于如果选择指令表明当前有一个筛选规则被选择，则根据该被选择的筛选规则以及与该筛选规则对应的筛选参数对日志数据进行筛选；组合单元，用于如果选择指令表明当前至少有两个筛选规则被选择，则将至少两个筛选规则以及与至少两个筛选规则分别对应的筛选参数进行组合，得到组合筛选条件；第二筛选单元，用于使用组合筛选条件对日志数据进行筛选。
可选的，上述装置还包括：获取模块，用于在使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选之前，根据选择指令从数据库中获取预先存储的筛选规则。
可选的，上述预设的筛选规则包括：筛选存在与逻辑关系的日志数据和/或筛选存在或逻辑关系的日志数据和/或筛选存在非逻辑关系的日志数据的逻辑运算；筛选出连续预设时间段内均出现预设信息的日志数据的计算方法；按照数值大小关系筛选日志数据的计算方法；筛选出包含预设字符串的日志数据的计算方法；筛选出指定时间段内的日志数据的计算方法。
根据本发明实施例提供的日志数据的筛选方法，可以通过配置平台提供多种不同的筛选方案，通过读取配置信息来使用多种不同的筛选规则来筛选日志数据，无需根据不同的筛选需求专门开发筛选应用程序，提高了日志数据筛选的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的日志数据筛选方法的流程图；
图2是本发明第一实施例中涉及的数据结构示意图；
图3是本发明第二实施例中涉及到的系统的架构示意图；
图4是本发明第二实施例中涉及的日志数据筛选方法的流程图；
图5是本发明第三实施例中提供的日志数据筛选装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一实施例
本实施例提供了一种日志数据筛选方法，图1是该方法的流程图，如图1所示，该方法包括如下处理：
步骤101：接收筛选参数以及筛选规则的选择指令；
在该步骤101中，选择指令具体可以是用户发出的，用于选择指定的筛选规则，筛选参数可以是用户通过输入设备输入的，该参数可以是具体的数值、文本信息或字符串，其中，筛选规则具体可以包括以下几种：
筛选存在与逻辑关系的日志数据和/或筛选存在或逻辑关系的日志数据和/或筛选存在非逻辑关系的日志数据的逻辑运算，该处所涉及的逻辑运算为与、或、非逻辑运算，例如，指定筛选某个日志数据只能是abc或者bca不能是aaa。
筛选出连续预设时间段内均出现预设信息的日志数据的计算方法，提供连续出现的验证方法，例如，指定连续五个日期都出现abc的日志数据。
按照数值大小关系筛选日志数据的计算方法，即比较大小的筛选方法，例如，筛选大于或小于某一数值的数据。
筛选出包含预设字符串的日志数据的计算方法，即匹配指定的字符串，例如，筛选含有某一指定字符串的日志数据。
筛选出指定时间段内的日志数据的计算方法，即，提供根据时间段筛选的方法，例如：输入区分日、月、季度以及年的数据。
本发明实施例中所涉及的筛选规则可以是预先设置的，该筛选规则可以保存于数据库中。在执行筛选任务时，可以预先将预设的筛选规则以一定的方式被用户获知，以便用户根据筛选需求选择合适的筛选规则，基于此，在上述步骤101之前，本实施例提供的方法还可以包括：显示预设的筛选规则和/或显示预设筛选规则的标识，故，在使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选之前，需要根据选择指令从数据库中获取预先存储的筛选规则。
步骤102：接收日志数据；
如图2所示，在本实施例中，可以维护一个任务表、筛选参数表以及方法映射表，在开始一个筛选任务之前，可以在任务表中记录任务名称，以及本次筛选任务的日志输入路径；筛选参数表中记录本次筛选任务的筛选条件，该筛选条件包括：筛选参数、筛选规则的ID(身份标识)、筛选任务的ID以及参数的序号；方法映射表中记录预设筛选规则与调用筛选规则之间的映射关系。
步骤103：使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选。
具体的，使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选，包括：如果选择指令表明当前有一个筛选规则被选择，则根据该被选择的筛选规则以及与该筛选规则对应的参数对日志数据进行筛选；如果选择指令表明当前至少有两个筛选规则被选择，则将至少两个筛选规则以及与至少两个筛选规则分别对应的筛选参数进行组合，得到组合筛选条件；使用组合筛选条件对日志数据进行筛选。
根据本发明实施例提供的日志数据的筛选方法，可以通过配置平台提供多种不同的筛选方案，通过读取配置信息来使用多种不同的筛选规则来筛选日志数据，无需根据不同的筛选需求专门开发筛选应用程序，提高了日志数据筛选的效率。
第二实施例
本实施例以使用离线统计分析平台hadoop为例，对使用上述第一实施例中所提供的日志数据筛选方法对日志数据进行筛选的流程进行说明。
首先，结合附图3对本实施例中所涉及到的系统的架构进行简要说明：
其中，数据层包括应用程序(APP)以及日志服务器，传输层包括日志聚合系统以及分布式文件系统，计算层包括hadoop以及hbase，本实施例中所涉及到的筛选流程即在计算层中实现。
如图4所示，本实施例涉及的日志数据筛选流程包括：
步骤401：初始化筛选规则：在筛选计算开始时，先到数据库中读取预先存储的筛选规则；
步骤402：输入日志数据；
步骤403：筛选器使用读取到的筛选规则以及用户输入的筛选参数对输入的日志数据进行筛选；
步骤404：输出筛选出的符合条件的日志数据。
第三实施例
本实施例提供了一种日志数据筛选装置，如图5所示，该装置50包括如下组成部分：
第一接收模块51，用于接收筛选参数以及筛选规则的选择指令；
第二接收模块52，用于接收日志数据；
筛选模块53，用于使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选。
进一步的，上述装置50还可以包括：显示模块，用于在接收筛选参数之前，显示预设的筛选规则和/或显示预设筛选规则的标识。
其中，上述筛选模块53具体包括：
第一筛选单元，用于如果选择指令表明当前有一个筛选规则被选择，则根据该被选择的筛选规则以及与该筛选规则对应的参数对日志数据进行筛选；
组合单元，用于如果选择指令表明当前至少有两个筛选规则被选择，则将至少两个筛选规则以及与至少两个筛选规则分别对应的筛选参数进行组合，得到组合筛选条件；
第二筛选单元，用于使用组合筛选条件对日志数据进行筛选。
进一步的，上述装置50还可以包括：获取模块，用于在使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选之前，根据选择指令从数据库中获取预先存储的筛选规则。
其中，本实施例中所涉及到的预设筛选规则具体可以包括：筛选存在与逻辑关系的日志数据和/或筛选存在或逻辑关系的日志数据和/或筛选存在非逻辑关系的日志数据的逻辑运算；筛选出连续预设时间段内均出现预设信息的日志数据的计算方法；按照数值大小关系筛选日志数据的计算方法；筛选出包含预设字符串的日志数据的计算方法；筛选出指定时间段内的日志数据的计算方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种日志数据筛选方法，其特征在于，包括：
接收筛选参数以及筛选规则的选择指令；
接收日志数据；
使用与所述选择指令对应的筛选规则根据所述筛选参数对接收到的日志数据进行筛选。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在接收所述筛选参数之前，显示预设的筛选规则和/或显示所述预设的筛选规则的标识。
3.根据权利要求1所述的方法，其特征在于，所述使用与所述选择指令对应的筛选规则根据所述筛选参数对接收到的日志数据进行筛选，包括：
如果所述选择指令表明当前有一个筛选规则被选择，则根据该被选择的筛选规则以及与该筛选规则对应的筛选参数对所述日志数据进行筛选；
如果所述选择指令表明当前至少有两个筛选规则被选择，则将所述至少两个筛选规则以及与所述至少两个筛选规则分别对应的筛选参数进行组合，得到组合筛选条件；
使用所述组合筛选条件对所述日志数据进行筛选。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在使用与所述选择指令对应的筛选规则根据所述筛选参数对接收到的日志数据进行筛选之前，根据所述选择指令从数据库中获取预先存储的筛选规则。
5.根据权利要求1至4任意一项所述的方法，其特征在于，
所述预设的筛选规则包括：
筛选存在与逻辑关系的日志数据，和/或筛选存在或逻辑关系的日志数据，和/或筛选存在非逻辑关系的日志数据的逻辑运算；
筛选出连续预设时间段内均包含预设信息的日志数据的计算方法；
按照数值大小关系筛选日志数据的计算方法；
筛选出包含预设字符串的日志数据的计算方法；
筛选出指定时间段内的日志数据的计算方法。
6.一种日志数据筛选装置，其特征在于，包括：
第一接收模块，用于接收筛选参数以及筛选规则的选择指令；
第二接收模块，用于接收日志数据；
筛选模块，用于使用与所述选择指令对应的筛选规则根据所述筛选参数对接收到的日志数据进行筛选。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
显示模块，用于在接收所述筛选参数之前，显示预设的筛选规则和/或显示所述预设的筛选规则的标识。
8.根据权利要求6所述的装置，其特征在于，所述筛选模块包括：
第一筛选单元，用于如果所述选择指令表明当前有一个筛选规则被选择，则根据该被选择的筛选规则以及与该筛选规则对应的筛选参数对所述日志数据进行筛选；
组合单元，用于如果所述选择指令表明当前至少有两个筛选规则被选择，则将所述至少两个筛选规则以及与所述至少两个筛选规则分别对应的筛选参数进行组合，得到组合筛选条件；
第二筛选单元，用于使用所述组合筛选条件对所述日志数据进行筛选。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
获取模块，用于在使用与所述选择指令对应的筛选规则根据所述筛选参数对接收到的日志数据进行筛选之前，根据所述选择指令从数据库中获取预先存储的筛选规则。
10.根据权利要求6至9任意一项所述的装置，其特征在于，所述预设的筛选规则包括：
筛选存在与逻辑关系的日志数据和/或筛选存在或逻辑关系的日志数据和/或筛选存在非逻辑关系的日志数据的逻辑运算；
筛选出连续预设时间段内均出现预设信息的日志数据的计算方法；
按照数值大小关系筛选日志数据的计算方法；
筛选出包含预设字符串的日志数据的计算方法；
筛选出指定时间段内的日志数据的计算方法。
CN201611235601.6A 2016-12-28 2016-12-28 一种日志数据筛选方法及装置 Pending CN106874354A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611235601.6A CN106874354A (zh) 2016-12-28 2016-12-28 一种日志数据筛选方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611235601.6A CN106874354A (zh) 2016-12-28 2016-12-28 一种日志数据筛选方法及装置

Publications (1)

Publication Number Publication Date
CN106874354A true CN106874354A (zh) 2017-06-20

Family

ID=59164478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611235601.6A Pending CN106874354A (zh) 2016-12-28 2016-12-28 一种日志数据筛选方法及装置

Country Status (1)

Country Link
CN (1) CN106874354A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291942A (zh) * 2017-07-10 2017-10-24 国家电网公司 分布式日志的搜索方法和装置
CN109634818A (zh) * 2018-10-24 2019-04-16 中国平安人寿保险股份有限公司 日志分析方法、系统、终端及计算机可读存储介质
CN116069748A (zh) * 2021-11-04 2023-05-05 华青融天(北京)软件股份有限公司 日志增强配置信息的获取方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1925423A (zh) * 2005-08-30 2007-03-07 飞塔信息科技（北京）有限公司 具有对网络流量进行解析功能的日志装置、系统与方法
CN104410532A (zh) * 2014-12-12 2015-03-11 携程计算机技术（上海）有限公司 服务器及其日志过滤方法
CN105183768A (zh) * 2015-07-31 2015-12-23 华为数字技术（成都）有限公司 一种文件管理方法、装置和终端设备
CN105786950A (zh) * 2015-12-30 2016-07-20 北京锐安科技有限公司 一种处理数据的方法及装置
CN106168909A (zh) * 2016-06-30 2016-11-30 北京奇虎科技有限公司 一种日志的处理方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1925423A (zh) * 2005-08-30 2007-03-07 飞塔信息科技（北京）有限公司 具有对网络流量进行解析功能的日志装置、系统与方法
CN104410532A (zh) * 2014-12-12 2015-03-11 携程计算机技术（上海）有限公司 服务器及其日志过滤方法
CN105183768A (zh) * 2015-07-31 2015-12-23 华为数字技术（成都）有限公司 一种文件管理方法、装置和终端设备
CN105786950A (zh) * 2015-12-30 2016-07-20 北京锐安科技有限公司 一种处理数据的方法及装置
CN106168909A (zh) * 2016-06-30 2016-11-30 北京奇虎科技有限公司 一种日志的处理方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291942A (zh) * 2017-07-10 2017-10-24 国家电网公司 分布式日志的搜索方法和装置
CN109634818A (zh) * 2018-10-24 2019-04-16 中国平安人寿保险股份有限公司 日志分析方法、系统、终端及计算机可读存储介质
CN116069748A (zh) * 2021-11-04 2023-05-05 华青融天(北京)软件股份有限公司 日志增强配置信息的获取方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
US9760273B2 (en) Overview axis having a different graph element type
CN102104635B (zh) 一种更新互联网协议ip地址库的方法和装置
US8245153B2 (en) System and method for displaying gantt charts with other project management tools
US20160283561A1 (en) System and method for location monitoring based on organized geofeeds
EP3037991A1 (en) Systems and user interfaces for dynamic and interactive investigation of bad actor behavior based on automatic clustering of related data in various data structures
US20090319891A1 (en) Methods and systems of automatically generating marks in a graphical view
CN109582192B (zh) 一种层级菜单显示方法及装置
CN107506376B (zh) 获取区域内信息点数据的客户端
CN106874354A (zh) 一种日志数据筛选方法及装置
WO2016197857A1 (zh) 位置信息提供方法及装置
CN105975537A (zh) 一种应用程序的排序方法及装置
US20150089448A1 (en) Enterprise applications navigation using tile characteristics that change with applications data
CN104035991A (zh) 一种新闻标题的显示方法及用于提供新闻页面的服务器
CN106649376A (zh) 导航标签排序的方法及装置
CN105868216B (zh) 一种实现对象过期操作的方法、装置和设备
CN106790744A (zh) Ip调度方法及系统
CN110110950A (zh) 生成配送路区的方法、装置及计算机可读存储介质
CN104915345B (zh) 一种推荐服务信息的方法和终端
CN115668170A (zh) 时间序列预测
CN107168996B (zh) 一种第三方多媒体的推广方法及装置
CN107451204A (zh) 一种数据查询方法、装置及设备
CN103475532A (zh) 硬件检测方法和系统
US20140019537A1 (en) Configurable Community Platform
CN106910082A (zh) 一种调取广告进行推送的方法和装置
CN104123307A (zh) 数据加载方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170620