CN106294673A - 一种用户自定义规则实时解析日志数据的方法与系统 - Google Patents
一种用户自定义规则实时解析日志数据的方法与系统 Download PDFInfo
- Publication number
- CN106294673A CN106294673A CN201610637487.3A CN201610637487A CN106294673A CN 106294673 A CN106294673 A CN 106294673A CN 201610637487 A CN201610637487 A CN 201610637487A CN 106294673 A CN106294673 A CN 106294673A
- Authority
- CN
- China
- Prior art keywords
- rule
- daily record
- user
- resolution rules
- service end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及一种自定义规则实时解析日志数据的方法与系统，包括：用户通过可视化界面输入日志样例和解析规则；服务端解析接口对该自定义规则进行解析，生成并展示解析结果；用户对服务端生成的解析结果确认保存生成日志批量解析规则；服务端解析引擎通过服务端接口读取用户自定义规则，并用该规则批量解析日志信息。本发明采用可视化输入界面输入的方式接收用户提供的日志样例和解析规则请求，通过服务端解析接口对该自定义规则进行自动解析并向用户通过特定结构图展示解析结果，并通过服务端解析引擎读取用户保存的最终解析规则，采用该规则对日志信息进行实时解析并以特定结构图将解析结果展示给用户，不需要用户编写解析规则源码并对源码的解析效果进行测试，大大提高了可操作性。
Description
技术领域
本发明涉及一种用户自定义规则实时解析日志数据的方法与系统，尤其涉及一种大数据技术数据处理领域的用户自定义规则实时解析日志数据的方法与系统。
背景技术
在大数据技术领域，常常需要对日志信息进行分类解析，将非结构化的程序模式日志信息源语，按照特定规则解析成结构化的分类展示日志信息，便于统计分析。
然而，由于日志信息的来源和规模存在差异，造成日志信息中包含的信息类别和容量也各不相同，目前尚无一种简单易用的配置方案可以解析各种类型的日志信息。传统做法是有技术人员预先分析日志类型，然后编写相应解析规则代码，经过校验后应用于该类日志信息的批量解析。该方式不仅对编写规则代码的技术员提出很高的技术要求，而且需要作出大量的代码编写和测试工作才能应用于批量解析，此外解析结果展示也不够直观，更重要的是该解析规则往往只能针对本次解析，对于新的日志信息不具备通用性，需要编写新的解析规则，产生大量的重复工作。
发明内容
针对当前日志信息解析存在的问题，本发明提出一种可视化输入解析规则并图形化输出解析结果的新型自定义规则实时解析日志数据系统。该系统突破传统需要编写解析规则代码的思维模式，采用图形化解析规则选择模式向用户展示可选解析规则，并提供日志样例输入界面，用户通过输入日志样例并选择一种或者多种解析规则，该系统自动按照选定规则对日志样例进行解析并生成图形化解析结果图，当用户确定保存选择的解析规则后即可用于批量解析日志信息并得到图形化解析结果图，大大降低了对操作用户的技术要求，提高了解析结果的展示效果，提高了可操作性。
本发明解决其技术问题所采用的技术方案是：
输入信息获取步骤，用户通过交互系统输入日志样例和自定义解析规则请求。
优选的，输入信息获取步骤中，所述交互系统包括接收日志样例的输入栏和接收自定义解析规则的图形化按钮选择栏。
优选的，输入信息获取步骤中，所述的解析规则包括正则表达式、KeyValue解析、字段值拆分(split)、String类型转换成数值型、JSON解析、URL解码、时间戳识别和UserAgent解析，且根据解析需要可以选取其中的一种或者多种的组合。
解析规则应用步骤，服务端接口获取并解析用户自定义规则，采用该规则解析日志样例并通过可视化界面树状图展示解析结果。
优选的，所述解析规则应用步骤中，所述获取并解析用户自定义规则采用遍历的方式进行读取和解析所述规则，生成服务端解析器识别的解析规则，并采用该规则对用户输入的日志样例进行解析生成树状可视化结构图。
确认保存自定义规则步骤，用户确定自定义规则名称并保存生成最终解析规则。
优选的，确认保存自定义规则步骤中，用户根据日志样例解析结果，确认是否需要追加、修改或者删除自定义规则，并在修改完毕后保存选择结果，形成一条最终解析规则。
优选的，所述追加、修改或者删除自定义规则操作产生后，将会重新生成解析结果。
批量解析日志步骤，服务端解析引擎获取用户最终解析规则，并采用该规则批量解析日志信息，通过可视化界面树状图实时显示解析结果。
优选的，所述批量解析日志步骤中，所述服务端解析引擎自动读取服务端解析接口中的用户解析规则，并按所述规则对日志信息进行实时解析，通过显示界面树状图实时展示解析结果。
本发明还公开了一种自定义规则实时解析日志数据的系统，该系统包含以下模块：
用户交互模块，用于提供用户输入、规则选择界面以及规则追加、修改或者删除功能和确认保存自定义规则功能。
优选的，所述用户交互模块中，所述确认保存自定义规则是指用户根据日志样例解析结果显示判断是否需要重新选择自定义解析规则以达到更好的解析效果，并在获得理想解析效果后确定保存已选择的自定义规则。
规则生成模块，用于自动读取用户输入自定义规则，解析并应用该规则生成服务端解析引擎识别的规则，采用该规则解析日志样例。
服务端解析模块，用于自动读取解析规则，并应用该规则批量解析日志信息。
所述服务端解析模块中，所述自动读取解析规则是指服务端解析引擎从服务端解析接口自动读取其保存的解析规则，并按照该规则对日志信息进行批量解析。
结果展示模块，用于对日志样例解析结果和批量日志信息解析结果进行显示。
采用上述技术方案，本发明具有以下优点：
本发明所述的用户自定义规则实时解析日志数据的方法与系统，通过可视化界面输入的方式接收用户提供的日志样例以及选择的解析规则，并利用服务端解析接口对该自定义规则进行解析，生成并展示可视化树状结构解析结果，用户对可追加、编辑或者修改选择的解析规则至得到满意的解析结果并保存生成最终解析规则，服务端解析引擎通过服务端接口读取用户保存的规则，并用该规则批量解析日志信息，并采用可视化树状结构展示解析结果，无需用户编写解析规则源码并对源码的解析效果进行测试，大大降低了操作用户的技术要求并提高了解析结果的展示效果，提高了可操作性。
附图说明
图1为本发明较佳实施方式的用户自定义规则实时解析日志数据的方法与系统的步骤示意图。
图2为本发明较佳实施方式的用户自定义规则实时解析日志数据的方法与系统的系统模块图。
图3、4为本发明较佳实施方式的用户自定义规则实时解析日志数据的方法与系统的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一个实施例，而不是全部实施例。基于本发明中的实施例，本领域的一般技术人员在没有做出创造性劳动的前提下所获得的其他实施例，都属于本发明保护的范围。
本发明公开了一种用户自定义规则实时解析日志数据的方法，参见图1所示，该方法包含以下步骤：
步骤S101：用户通过可视化界面输入日志样例和解析规则；
步骤S102：服务端解析接口对自定义规则进行解析，生成并展示解析结果；
步骤S103：用户对服务端生成的解析结果确认保存生成日志批量解析规则；
步骤S104：服务端解析引擎通过服务端接口读取用户自定义规则，并用该规则批量解析日志信息。
本发明实施例中，通过可视化界面输入的方式接收用户提供的日志样例以及选择的解析规则，并利用服务端解析接口对该自定义规则进行解析，生成并展示可视化树状结构解析结果，用户对可追加、编辑或者修改选择的解析规则至得到满意的解析结果并保存生成最终解析规则，服务端解析引擎通过服务端接口读取用户保存的规则，并用该规则批量解析日志信息，并采用可视化树状结构展示解析结果。
可见，针对来源和规模不同的日志信息，操作用户无需按照传统模式编写解析规则代码，并对该规则代码做大量效果测试工作，而只需要在系统提供的图形化解析规则选择按钮中选择对应解析规则，便可通过服务端解析端口自动解析生成服务端解析引擎识别的解析规则，同时用户还可以通过系统提供的日志样例输入框输入日志样例获得树状结构的解析结果，针对结果选择追加、编辑或修改解析规则已达到预期解析效果，大大降低了操作用户的技术要求并提高了解析结果的展示效果，提高了可操作性。
本发明实施例公开了一种用户自定义规则实时解析日志数据的系统，参见图2。相对上一实施例，本实施例对技术方案做进一步的说明和优化。具体的，本实施例中用户自定义规则实时解析日志数据的系统包含以下模块：
S1：用户交互模块。
优选的，该模块用于提供用户输入、规则选择界面以及规则追加、修改或者删除功能和确认保存自定义规则功能。
优选的，所述确认保存自定义规则是指用户根据日志样例解析结果显示判断是否需要重新选择自定义解析规则以达到更好的解析效果，并在获得理想解析效果后确定保存已选择的自定义规则。
S2：规则生成模块。
优选的，该模块用于自动读取用户输入自定义规则，解析并应用该规则生成服务端解析引擎识别的规则，采用该规则解析日志样例。
S3：服务端解析模块。
优选的，该模块用于自动读取解析规则，并应用该规则批量解析日志信息。
优选的，所述自动读取解析规则是指服务端解析引擎从服务端解析接口自动读取其保存的解析规则，并按照该规则对日志信息进行批量解析。
S4：结果展示模块。
优选的，该模块用于对日志样例解析结果和批量日志信息解析结果进行显示。
本发明实施例公开了一种用户自定义规则实时解析日志数据的系统，参见图2、3，相对上一实施例，本实施例对技术方案作了更进一步的说明和优化。具体的，本实施例中用户自定义规则实时解析日志数据的系统包含以下处理流程：
S11：日志样例输入。
优选的，操作用户通过系统提供的可视化样例输入框输入日志样例，该样例应与目标表解析日志信息类型相同或者包含目标解析日志的信息类型。
S12：解析规则选择。
优选的，操作用户根据系统提供的可视化选择按钮，在可选解析规则中选择合适的解析规则，所述可选规则包括正则表达式、KeyValue解析、字段值拆分(split)、String类型转换成数值型、JSON解析、URL解码、时间戳识别和UserAgent解析。
S21：服务端解析接口。
优选的，当操作用户输入日志样例并选择解析规则后，服务端解析接口自动读取用户输入信息，采用递归遍历的方法解析用户输入的解析规则并生成服务端解析引擎识别的解析规则，应用该规则对用户输入的日志样例进行解析，得到结构化的分类解析结果。
S41：样例解析结果展示。
优选的，服务端解析根据用户输入的解析规则对日志样例解析得到的结果，以可视化树状结构图的方式展示给操作用户。
S13：判断解析结果。
优选的，操作用户根据解析结果的树状结构图，确定是否可以生成最终解析规则，若是，则执行S22，否则用户可选择追加、编辑或修改解析规则后执行S12。
S22：解析规则生成。
优选的，用户对解析结果满意则可保存选择的解析规则，并指定该规则的名称，形成一条最终的解析规则记录。
S31：解析规则读取。
优选的，服务端解析引擎从服务端接口获取用户保存的解析规则。
S32：批量日志解析。
优选的，服务端解析引擎根据从服务端接口读取到的解析规则，对日志信息进行实时批量解析，得到结构化的分类解析结果。
S42：批量解析结果展示。
优选的，服务端解析引擎将解析结果实时输送给显示模块，有显示模块处理形成可视化树状结构解析结果。
综上所述，通过可视化界面输入的方式接收用户提供的日志样例以及选择的解析规则，并利用服务端解析接口对该自定义规则进行解析，生成并展示可视化树状结构解析结果，用户对可追加、编辑或者修改选择的解析规则至得到满意的解析结果并保存生成最终解析规则，服务端解析引擎通过服务端接口读取用户保存的规则，并用该规则批量解析日志信息，并采用可视化树状结构展示解析结果，针对来源和规模不同的日志信息，操作用户无需按照传统模式编写解析规则代码，并对该规则代码做大量效果测试工作，而只需要在系统提供的图形化解析规则选择按钮中选择对应解析规则，便可通过服务端解析端口自动解析生成服务端解析引擎识别的解析规则，同时用户还可以通过系统提供的日志样例输入框输入日志样例获得树状结构的解析结果，针对结果选择追加、编辑或修改解析规则已达到预期解析效果，大大降低了操作用户的技术要求并提高了解析结果的展示效果，提高了可操作性。
以上所述仅为举例性，而非为限制性。本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种自定义规则实时解析日志数据的方法，其特征在于，该方法包含以下步骤：
输入信息获取步骤，用户通过交互系统输入日志样例和自定义解析规则请求；
解析规则应用步骤，服务端接口获取并解析用户自定义规则，采用该规则解析日志样例并通过可视化界面树状图展示解析结果；
确认保存自定义规则步骤，用户确定自定义规则名称并保存生成最终解析规则；
批量解析日志步骤，服务端解析引擎获取用户最终解析规则，并采用该规则批量解析日志信息，通过可视化界面树状图实时显示解析结果。
2.如权利要求1所述的一种自定义规则实时解析日志数据的方法，其特征在于，输入信息获取步骤中，所述交互系统包括接收日志样例的输入栏和接收自定义解析规则的图形化按钮选择栏。
3.如权利要求1所述的一种自定义规则实时解析日志数据的方法，其特征在于，输入信息获取步骤中，所述的解析规则包括正则表达式、KeyValue解析、字段值拆分(split)、String类型转换成数值型、JSON解析、URL解码、时间戳识别和UserAgent解析，且根据解析需要可以选取其中的一种或者多种的组合。
4.如权利要求1所述一种自定义规则实时解析日志数据的方法，其特征在于，所述解析规则应用步骤中，所述获取并解析用户自定义规则采用遍历的方式进行读取和解析所述规则，生成服务端解析器识别的解析规则，并采用该规则对用户输入的日志样例进行解析生成树状可视化结构图。
5.如权利要求1所述一种自定义规则实时解析日志数据的方法，其特征在于，确认保存自定义规则步骤中，用户根据日志样例解析结果，确认是否需要追加、修改或者删除自定义规则，并在修改完毕后保存选择结果，形成一条最终解析规则。
6.如权利要求5所述一种自定义规则实时解析日志数据的方法，其特征在于，所述追加、修改或者删除自定义规则操作产生后，将会重新生成解析结果。
7.如权利要求1所述一种自定义规则实时解析日志数据的方法，其特征在于，所述批量解析日志步骤中，所述服务端解析引擎自动读取服务端解析接口中的用户解析规则，并按所述规则对日志信息进行实时解析，通过显示界面树状图实时展示解析结果。
8.一种自定义规则实时解析日志数据的系统，其特征在于，该系统包含以下模块：
用户交互模块，用于提供用户输入、规则选择界面以及规则追加、修改或者删除功能和确认保存自定义规则功能；
规则生成模块，用于自动读取用户输入自定义规则，解析并应用该规则生成服务端解析引擎识别的规则，采用该规则解析日志样例；
服务端解析模块，用于自动读取解析规则，并应用该规则批量解析日志信息；
结果展示模块，用于对日志样例解析结果和批量日志信息解析结果进行显示。
9.如权利要求8所述的一种自定义规则实时解析日志数据的系统，其特征在于，所述用户交互模块中，所述确认保存自定义规则是指用户根据日志样例解析结果显示判断是否需要重新选择自定义解析规则以达到更好的解析效果，并在获得理想解析效果后确定保存已选择的自定义规则。
10.如权利要求8所述的一种自定义规则实时解析日志数据的系统，其特征在于，所述服务端解析模块中，所述自动读取解析规则是指服务端解析引擎从服务端解析接口自动读取其保存的解析规则，并按照该规则对日志信息进行批量解析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610637487.3A CN106294673B (zh) | 2016-08-08 | 2016-08-08 | 一种用户自定义规则实时解析日志数据的方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610637487.3A CN106294673B (zh) | 2016-08-08 | 2016-08-08 | 一种用户自定义规则实时解析日志数据的方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106294673A true CN106294673A (zh) | 2017-01-04 |
| CN106294673B CN106294673B (zh) | 2020-04-24 |
Family
ID=57665475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610637487.3A Active CN106294673B (zh) | 2016-08-08 | 2016-08-08 | 一种用户自定义规则实时解析日志数据的方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106294673B (zh) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909652A (zh) * | 2017-02-24 | 2017-06-30 | 太仓市同维电子有限公司 | 一种产品生产测试日志格式转换方法 |
| CN107577460A (zh) * | 2017-08-29 | 2018-01-12 | 苏州优圣美智能系统有限公司 | 一种从非结构化数据提取结构化数据的方法 |
| CN107622093A (zh) * | 2017-08-29 | 2018-01-23 | 苏州优圣美智能系统有限公司 | 一种从非结构化数据提取结构化数据的系统 |
| CN107871021A (zh) * | 2017-12-18 | 2018-04-03 | 杭州迪普科技股份有限公司 | 一种获得网页搜索关键字的标识特征的方法及装置 |
| CN107918865A (zh) * | 2017-12-08 | 2018-04-17 | 中国平安财产保险股份有限公司 | 保单数据批改处理方法、装置、服务器和存储介质 |
| CN108449222A (zh) * | 2017-02-15 | 2018-08-24 | 深圳市帝迈生物技术有限公司 | 一种医疗设备自定义通讯数据可视化解析系统及方法 |
| CN108563629A (zh) * | 2018-03-13 | 2018-09-21 | 北京仁和诚信科技有限公司 | 一种日志解析规则自动生成方法和装置 |
| CN109582551A (zh) * | 2018-10-11 | 2019-04-05 | 平安科技（深圳）有限公司 | 日志数据解析方法、装置、计算机设备和存储介质 |
| CN109614382A (zh) * | 2018-12-11 | 2019-04-12 | 杭州数梦工场科技有限公司 | 一种应用的日志分割方法及装置 |
| CN109656453A (zh) * | 2018-12-20 | 2019-04-19 | 树根互联技术有限公司 | 规则编辑方法、装置和设备 |
| CN109684374A (zh) * | 2018-11-28 | 2019-04-26 | 海南电网有限责任公司信息通信分公司 | 一种时间序列数据的键值对的提取方法及装置 |
| CN109711805A (zh) * | 2018-12-20 | 2019-05-03 | 惠州Tcl移动通信有限公司 | 一种自动化生成报表的系统及其方法 |
| CN109885537A (zh) * | 2019-02-22 | 2019-06-14 | 成都信息工程大学 | 一种日志显示方法、系统及计算机可读存储介质 |
| CN109885689A (zh) * | 2019-03-25 | 2019-06-14 | 山东浪潮云信息技术有限公司 | 一种基于规则引擎的实时分类统计日志的方法及系统 |
| CN110109990A (zh) * | 2019-03-18 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 时序数据处理方法、设备、数据处理设备及介质 |
| CN110309113A (zh) * | 2018-03-06 | 2019-10-08 | 阿里巴巴集团控股有限公司 | 日志解析方法、系统及设备 |
| CN110321457A (zh) * | 2019-04-19 | 2019-10-11 | 杭州玳数科技有限公司 | 访问日志解析规则生成方法及装置、日志解析方法及系统 |
| CN111190872A (zh) * | 2019-12-24 | 2020-05-22 | 杭州安恒信息技术股份有限公司 | 一种可继承可扩展的数据处理方法及其对解析日志的应用 |
| CN111459984A (zh) * | 2020-03-30 | 2020-07-28 | 北京邮电大学 | 基于流式处理的日志数据处理系统及方法 |
| CN112187530A (zh) * | 2020-09-15 | 2021-01-05 | 中信银行股份有限公司 | 一种日志解析方法、装置、电子设备及可读存储介质 |
| CN112597414A (zh) * | 2020-11-25 | 2021-04-02 | 中科三清科技有限公司 | 污染物观测数据的处理方法、系统、电子设备及存储介质 |
| CN112860965A (zh) * | 2020-12-31 | 2021-05-28 | 浙江大学 | 一种基于日志的网络模拟可视化仿真平台 |
| CN113032250A (zh) * | 2021-03-11 | 2021-06-25 | 中国工商银行股份有限公司 | 环境参数自动校验系统及方法 |
| CN113742192A (zh) * | 2021-09-13 | 2021-12-03 | 杭州安恒信息技术股份有限公司 | 日志规则质量分析方法、系统、电子装置和存储介质 |
| CN115460072A (zh) * | 2022-08-25 | 2022-12-09 | 浪潮云信息技术股份公司 | 集日志收集、解析、存储与服务为一体的日志处理系统 |
| CN116303322A (zh) * | 2023-05-19 | 2023-06-23 | 北京长亭科技有限公司 | 一种声明式日志泛化方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6789046B1 (en) * | 2000-12-05 | 2004-09-07 | Microsoft Corporation | Performance logging solution |
| CN101018121A (zh) * | 2007-03-15 | 2007-08-15 | 杭州华为三康技术有限公司 | 日志的聚合处理方法及聚合处理装置 |
| CN102768636A (zh) * | 2011-05-05 | 2012-11-07 | 阿里巴巴集团控股有限公司 | 一种日志解析方法及装置 |
| CN103929329A (zh) * | 2014-04-14 | 2014-07-16 | 百度在线网络技术（北京）有限公司 | 日志处理及配置方法、配置服务器、服务端设备和系统 |
| CN105183625A (zh) * | 2015-08-31 | 2015-12-23 | 北京奇虎科技有限公司 | 一种日志数据处理方法和装置 |
| CN105550325A (zh) * | 2015-12-16 | 2016-05-04 | 北京奇虎科技有限公司 | 一种数据管理方法和装置 |
-
2016
- 2016-08-08 CN CN201610637487.3A patent/CN106294673B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6789046B1 (en) * | 2000-12-05 | 2004-09-07 | Microsoft Corporation | Performance logging solution |
| CN101018121A (zh) * | 2007-03-15 | 2007-08-15 | 杭州华为三康技术有限公司 | 日志的聚合处理方法及聚合处理装置 |
| CN102768636A (zh) * | 2011-05-05 | 2012-11-07 | 阿里巴巴集团控股有限公司 | 一种日志解析方法及装置 |
| CN103929329A (zh) * | 2014-04-14 | 2014-07-16 | 百度在线网络技术（北京）有限公司 | 日志处理及配置方法、配置服务器、服务端设备和系统 |
| CN105183625A (zh) * | 2015-08-31 | 2015-12-23 | 北京奇虎科技有限公司 | 一种日志数据处理方法和装置 |
| CN105550325A (zh) * | 2015-12-16 | 2016-05-04 | 北京奇虎科技有限公司 | 一种数据管理方法和装置 |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108449222A (zh) * | 2017-02-15 | 2018-08-24 | 深圳市帝迈生物技术有限公司 | 一种医疗设备自定义通讯数据可视化解析系统及方法 |
| CN106909652A (zh) * | 2017-02-24 | 2017-06-30 | 太仓市同维电子有限公司 | 一种产品生产测试日志格式转换方法 |
| CN107577460A (zh) * | 2017-08-29 | 2018-01-12 | 苏州优圣美智能系统有限公司 | 一种从非结构化数据提取结构化数据的方法 |
| CN107622093A (zh) * | 2017-08-29 | 2018-01-23 | 苏州优圣美智能系统有限公司 | 一种从非结构化数据提取结构化数据的系统 |
| CN107918865A (zh) * | 2017-12-08 | 2018-04-17 | 中国平安财产保险股份有限公司 | 保单数据批改处理方法、装置、服务器和存储介质 |
| CN107871021A (zh) * | 2017-12-18 | 2018-04-03 | 杭州迪普科技股份有限公司 | 一种获得网页搜索关键字的标识特征的方法及装置 |
| CN110309113A (zh) * | 2018-03-06 | 2019-10-08 | 阿里巴巴集团控股有限公司 | 日志解析方法、系统及设备 |
| CN110309113B (zh) * | 2018-03-06 | 2023-05-26 | 阿里巴巴集团控股有限公司 | 日志解析方法、系统及设备 |
| CN108563629A (zh) * | 2018-03-13 | 2018-09-21 | 北京仁和诚信科技有限公司 | 一种日志解析规则自动生成方法和装置 |
| CN108563629B (zh) * | 2018-03-13 | 2022-04-19 | 北京仁和诚信科技有限公司 | 一种日志解析规则自动生成方法和装置 |
| CN109582551A (zh) * | 2018-10-11 | 2019-04-05 | 平安科技（深圳）有限公司 | 日志数据解析方法、装置、计算机设备和存储介质 |
| CN109684374A (zh) * | 2018-11-28 | 2019-04-26 | 海南电网有限责任公司信息通信分公司 | 一种时间序列数据的键值对的提取方法及装置 |
| CN109684374B (zh) * | 2018-11-28 | 2021-05-25 | 海南电网有限责任公司信息通信分公司 | 一种时间序列数据的键值对的提取方法及装置 |
| CN109614382B (zh) * | 2018-12-11 | 2020-10-23 | 杭州数梦工场科技有限公司 | 一种应用的日志分割方法及装置 |
| CN109614382A (zh) * | 2018-12-11 | 2019-04-12 | 杭州数梦工场科技有限公司 | 一种应用的日志分割方法及装置 |
| CN109711805A (zh) * | 2018-12-20 | 2019-05-03 | 惠州Tcl移动通信有限公司 | 一种自动化生成报表的系统及其方法 |
| CN109656453A (zh) * | 2018-12-20 | 2019-04-19 | 树根互联技术有限公司 | 规则编辑方法、装置和设备 |
| CN109885537A (zh) * | 2019-02-22 | 2019-06-14 | 成都信息工程大学 | 一种日志显示方法、系统及计算机可读存储介质 |
| CN109885537B (zh) * | 2019-02-22 | 2024-02-20 | 深圳市兴海物联科技有限公司 | 一种日志显示方法、系统及计算机可读存储介质 |
| CN110109990A (zh) * | 2019-03-18 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 时序数据处理方法、设备、数据处理设备及介质 |
| CN109885689A (zh) * | 2019-03-25 | 2019-06-14 | 山东浪潮云信息技术有限公司 | 一种基于规则引擎的实时分类统计日志的方法及系统 |
| CN110321457A (zh) * | 2019-04-19 | 2019-10-11 | 杭州玳数科技有限公司 | 访问日志解析规则生成方法及装置、日志解析方法及系统 |
| CN111190872A (zh) * | 2019-12-24 | 2020-05-22 | 杭州安恒信息技术股份有限公司 | 一种可继承可扩展的数据处理方法及其对解析日志的应用 |
| CN111190872B (zh) * | 2019-12-24 | 2023-06-02 | 杭州安恒信息技术股份有限公司 | 一种可继承可扩展的数据处理方法及其对解析日志的应用 |
| CN111459984A (zh) * | 2020-03-30 | 2020-07-28 | 北京邮电大学 | 基于流式处理的日志数据处理系统及方法 |
| CN112187530A (zh) * | 2020-09-15 | 2021-01-05 | 中信银行股份有限公司 | 一种日志解析方法、装置、电子设备及可读存储介质 |
| CN112597414A (zh) * | 2020-11-25 | 2021-04-02 | 中科三清科技有限公司 | 污染物观测数据的处理方法、系统、电子设备及存储介质 |
| CN112597414B (zh) * | 2020-11-25 | 2022-03-08 | 中科三清科技有限公司 | 污染物观测数据的处理方法、系统、电子设备及存储介质 |
| CN112860965B (zh) * | 2020-12-31 | 2022-07-19 | 浙江大学 | 一种基于日志的网络模拟可视化仿真平台 |
| CN112860965A (zh) * | 2020-12-31 | 2021-05-28 | 浙江大学 | 一种基于日志的网络模拟可视化仿真平台 |
| CN113032250A (zh) * | 2021-03-11 | 2021-06-25 | 中国工商银行股份有限公司 | 环境参数自动校验系统及方法 |
| CN113742192A (zh) * | 2021-09-13 | 2021-12-03 | 杭州安恒信息技术股份有限公司 | 日志规则质量分析方法、系统、电子装置和存储介质 |
| CN115460072A (zh) * | 2022-08-25 | 2022-12-09 | 浪潮云信息技术股份公司 | 集日志收集、解析、存储与服务为一体的日志处理系统 |
| CN116303322A (zh) * | 2023-05-19 | 2023-06-23 | 北京长亭科技有限公司 | 一种声明式日志泛化方法及装置 |
| CN116303322B (zh) * | 2023-05-19 | 2023-08-11 | 北京长亭科技有限公司 | 一种声明式日志泛化方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106294673B (zh) | 2020-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106294673A (zh) | 一种用户自定义规则实时解析日志数据的方法与系统 | |
| KR100857862B1 (ko) | 파일 영역 정보와 변이 규칙을 이용한 파일 변이 방법 및그 시스템 | |
| CN102135938B (zh) | 一种软件产品测试方法及系统 | |
| CN102915237B (zh) | 根据用户应用程序要求改写数据质量规则的方法和系统 | |
| CN108345532A (zh) | 一种自动化测试用例生成方法和装置 | |
| CN110990274B (zh) | 一种生成测试案例的数据处理方法、装置及系统 | |
| CN110737594B (zh) | 自动生成测试用例的数据库标准符合性测试方法及装置 | |
| CN101174237B (zh) | 一种自动化测试方法、系统及一种测试设备 | |
| CN107451112B (zh) | 表格工具数据检查方法、装置、终端设备及存储介质 | |
| WO2017090475A1 (ja) | 情報処理システム、関数作成方法および関数作成プログラム | |
| CN114201616A (zh) | 一种基于多源数据库的知识图谱构建方法及系统 | |
| CN109376153A (zh) | 一种基于NiFi的数据写入图数据库的系统及方法 | |
| CN111291025B (zh) | 逻辑模型支持多物理模型转换的方法及存储设备 | |
| CN105808772A (zh) | 一种数据定义文件生成方法及装置 | |
| CN106843872A (zh) | 赋值转换方法 | |
| CN113806429A (zh) | 基于大数据流处理框架的画布式日志分析方法 | |
| CN109408601B (zh) | 基于图数据的数据模型转换方法及图数据结构转换器 | |
| CN114090582A (zh) | 生成领域模型的方法、装置、设备、存储介质及程序产品 | |
| CN107766519B (zh) | 一种可视化配置数据结构的方法 | |
| CN106250390B (zh) | 一种分步自动生成sql语言的方法及装置 | |
| CN106980617B (zh) | 一种基于json语句操作数据库的方法和系统 | |
| CN109117173B (zh) | 一种基于项目版本开发的配制文件管理方法 | |
| CN112506769B (zh) | 基于接口文档的请求体生成方法、装置和计算机设备 | |
| CN115687356A (zh) | 实现自动化测试临床试验中数据核查的方法和系统 | |
| CN115454702A (zh) | 日志故障分析方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |