CN107330034A - 一种日志分析方法和装置、计算机设备、存储介质 - Google Patents
一种日志分析方法和装置、计算机设备、存储介质 Download PDFInfo
- Publication number
- CN107330034A CN107330034A CN201710495756.1A CN201710495756A CN107330034A CN 107330034 A CN107330034 A CN 107330034A CN 201710495756 A CN201710495756 A CN 201710495756A CN 107330034 A CN107330034 A CN 107330034A
- Authority
- CN
- China
- Prior art keywords
- business chain
- mark
- information
- digraph
- chain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 93
- 238000003860 storage Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 21
- 230000004044 response Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 230000006798 recombination Effects 0.000 claims description 5
- 238000005215 recombination Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 6
- 101000911390 Homo sapiens Coagulation factor VIII Proteins 0.000 abstract description 3
- 102000057593 human F8 Human genes 0.000 abstract description 3
- 229940047431 recombinate Drugs 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
- G06Q30/0635—Processing of requisition or of purchase orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/12—Hotels or restaurants
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了一种日志分析方法和装置、计算机设备、存储介质，方法包括：响应于日志分析请求，根据日志中的业务链标识埋点信息从日志中查找出与所述日志分析请求相对应的业务链日志信息组；依据预先定义的业务链有向图和日志中的重组业务链埋点信息，对所述业务链日志信息组中的日志信息进行重组，生成与所述日志分析请求相对应的目标业务链有向图；根据日志中的问题定位埋点信息，确定所述目标业务链有向图中的问题流程。本发明实施例基于业务链有向图及业务链标识埋点信息、用于重组日志和定位问题的埋点信息，在业务场景内进行日志分析，针对业务上下文场景分布在多个终端请求时的情形，简化了分析过程，实现高效的分析与问题定位。
Description
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种日志分析方法和装置、计算机设备、存储介质。
背景技术
当前的互联网服务通常都是使用大规模分布式集群来实现。而随着交互的深入、业务的高耦合，研发人员对于完整的业务场景把控变得愈加困难，尤其当线上出现异常时，对于准确定位异常环节并解决问题则变得愈加耗时。
现有技术中，Google开发并发布了分布式跟踪系统Dapper，基于调用链自动关联上下文并追踪的核心理论，能够清晰刻画一次服务端请求完整的内部RPC(RemoteProcedure Call Protocol，远程过程调用协议)调用关系，并可以基于此做网络拓扑、性能等分析工作。
但是，虽然Dapper提供了RPC接口调用层面的上下文串联与日志追踪方案，但是对于业务上下文场景分布在多个终端请求时的定位，尤其是其因果关系存在前后环节依赖时，还是需要结合各部分请求进行调用链二次搜集与分析，才能够进一步定位异常，过程非常繁琐。
发明内容
本发明实施例提供一种日志分析方法和装置、计算机设备、存储介质，以解决现有技术中通过分析日志定位异常的方法过程繁琐的问题。
第一方面，本发明实施例提供了一种日志分析方法，该方法包括：
响应于日志分析请求，根据日志中的业务链标识埋点信息从日志中查找出与所述日志分析请求相对应的业务链日志信息组；
依据预先定义的业务链有向图和日志中的重组业务链埋点信息，对所述业务链日志信息组中的日志信息进行重组，生成与所述日志分析请求相对应的目标业务链有向图；
根据日志中的问题定位埋点信息，确定所述目标业务链有向图中的问题流程。
第二方面，本发明实施例还提供了一种日志分析装置，该装置包括：
查找模块，用于响应于日志分析请求，根据日志中的业务链标识埋点信息从日志中查找出与所述日志分析请求相对应的业务链日志信息组；
重组模块，用于依据预先定义的业务链有向图和日志中的重组业务链埋点信息，对所述业务链日志信息组中的日志信息进行重组，生成与所述日志分析请求相对应的目标业务链有向图；
确定模块，用于根据日志中的问题定位埋点信息，确定所述目标业务链有向图中的问题流程。
第三方面，本发明实施例还提供了一种计算机设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的日志分析方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的日志分析方法。
本发明实施例将每个业务链的完整生命周期视为一个有向图，预先根据全部业务场景定义业务链有向图，串联业务场景上下文，并基于该业务链有向图及业务链标识埋点信息、用于重组日志和定位问题的埋点信息，在业务场景内进行日志分析，针对业务上下文场景分布在多个终端请求时的情形，无需进行调用链二次搜集与分析，简化了分析过程，实现高效的分析与问题定位。
附图说明
图1是本发明实施例一中的日志分析方法的流程图；
图2是本发明实施例二中的日志分析方法的流程图；
图3是本发明实施例三中的日志分析装置的结构示意图；
图4是本发明实施例四中的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的日志分析方法的流程图，本实施例可适用于对日志进行分析与问题定位的情况，该方法可以由日志分析装置来执行，该装置可以采用软件和/或硬件的方式实现。如图1所示，该方法具体包括：
S101、响应于日志分析请求，根据日志中的业务链标识埋点信息从日志中查找出与所述日志分析请求相对应的业务链日志信息组。
分析日志的目的之一是定位问题，以外卖订单系统为例，若用户反馈自己已经下了一个订单，但半小时后仍然查询不到配送纪录，则需要通过对该订单系统产生的日志进行分析，从而找到问题所在。通常，用户会提供订单有关的信息，例如订单号或用户ID等，这些信息会携带在所述日志分析请求中，以便有针对性的定位问题。
通常，日志信息是非常庞大的，因此，需要预设业务链标识埋点信息才能从庞大的日志信息中查找出与日志分析请求对应的业务链日志信息组，即与日志分析请求对应的多条日志信息，而所述业务链标识埋点信息即作为日志中的辅助字段，用于唯一标识业务链。并且这些预设的辅助字段是与日志分析请求中携带的信息类型是对应的。
具体的，业务链表明了一个完整生命周期的业务流程，仍以外卖订单系统为例，其订单业务链的生命周期包括：创建订单、生成预订单、生成订单、支付、商家确认、分配骑士、取餐、配送和订单完成。在上面用户反馈的例子中，可以将业务链标识埋点信息设置为订单号，那么当日志分析请求中携带有某目标订单号时，就可以根据业务链标识埋点信息从日志中查找出与该目标订单号相对应的业务链日志信息组。
还需要说明的是，在一种实施方式中，上述用于分析的日志可以是存储在ElasticSearch(是一个基于Lucene的搜索服务器，提供了一个分布式多用户能力的全文搜索引擎)中的规范化日志。具体的，线上各个服务器依据日志埋点产生日志，并写入HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)，之后利用Hadoop(分布式系统基础架构)每隔一定时间间隔进行新日志的汇总和日志原文的ETL(Extract-Transform-Load，用于描述将数据从来源端经过抽取、转换、加载至目的端的过程)进行规范化，然后将规范化后的日志信息存入ElasticSearch。当然，在其他实施方式中也可以采用其他方案来搜集日志，例如hadoop-hive方案、ELK日志搜集系统、flume-kafaka等，本发明对此不做任何限定。
S102、依据预先定义的业务链有向图和日志中的重组业务链埋点信息，对所述业务链日志信息组中的日志信息进行重组，生成与所述日志分析请求相对应的目标业务链有向图。
本发明实施例通过业务链有向图来刻画业务链，优选的，预先利用邻接矩阵根据全部业务场景来定义业务链有向图。定义的业务链有向图可以是订单业务链有向图，也可以是用户行为业务链有向图等，本发明实施例对此不作任何限定，可以根据场景的需要进行定义，并将定义的全部业务链有向图存储在数据库中，以便具体应用时随时调用。
邻接矩阵中包括邻接顶点和邻接边，其中，每条邻接边可理解是业务链里的一个流程，可以表征一次内部的RPC调用，也可以是某个函数到某个函数的一次处理操作；而对于邻接顶点，需要对业务链有向图预先指定根节点，表征业务链的开始流程，并对每个顶点定义其描述。一个顶点下如果存在多条邻接边，可理解是业务链里多个流程的汇聚，例如对于顶点表示创建订单的情形，其可以具有两条邻接边，分别表示业务链中查询库存和生成订单两个流程。而根据业务流程，同一父节点的邻接边的顺序关系可以通过组内顺序表示，例如从1开始，由小到大呈现。
因此，邻接顶点存储的内容包括节点标识、当前节点描述、根节点标识，邻接边存储的内容包括当前节点标识、后继节点标识、当前流程描述和组内顺序。需要说明的是，所述的“节点”是作为有向图中的节点，有向图是利用邻接矩阵来定义和存储，其中的节点与邻接顶点是一一对应的关系。
若module_cur表示当前节点标识、module_next表示后继节点标识、tag表示当前流程描述、span表示组内顺序、node表示节点标识、tag’表示当前节点描述、isroot是表示是否根节点的根节点标识，则邻接矩阵和邻接顶点的示例性存储内容可分别表示如下：
表1邻接矩阵的存储内容
表2邻接顶点的存储内容
这里需要说明的是，对于外卖订单系统的例子，用户反馈自己已经下了一个订单，但半小时后仍然查询不到配送纪录，在日志分析的过程中，如果按照现有技术中的调用链思路，我们很直观的会优先排查“查询配送”这个接口本身的调用链路有没有出现异常；如果没有异常，那么问题定位会变得不清晰，可能只能转向其他调用链继续搜集日志进行分析。但是实际的情况可能是这个接口本身确实没有任何问题，问题可能出在这个接口之前的任意一个端到服务接口的业务逻辑，例如原因可以是在最初创建订单的时候，因为选择的是物流单(非及时配送类型)、或是中间配送接口出现了异常，导致后面用户查询不到配送情况。而本发明实施例基于业务链进行日志分析，由于业务链包含了完整生命周期的业务流程，也即业务链的组成包含多个端到服务器的请求，能够刻画多个端到服务器请求的依赖关系，因此，对于上述这种情况，不需要重新搜集日志进行二次分析，就可以快速排查出问题环节。
具体的，在预先定义并存储业务链有向图之后，就可以依据预先定义的业务链有向图和日志中的重组业务链埋点信息，对所述业务链日志信息组中的日志信息进行重组，生成与所述日志分析请求相对应的目标业务链有向图。重组的目的即将查找出的业务链日志信息组的众多日志按照与日志分析请求对应的业务场景上下文串联起来，生成与日志分析请求对应的目标业务链有向图，以便基于此进行问题的定位。其中，重组业务链埋点信息可以与业务链有向图的邻接矩阵的存储内容相对应，这样就可以根据业务链有向图来比对业务链日志信息组中的重组业务链埋点信息内容，以生成目标业务链有向图。
S103、根据所述目标业务链有向图中的问题定位埋点信息，确定日志中的问题流程。
具体的，问题定位埋点信息作为日志中的辅助字段，用于标识业务链流程中的异常。通过问题定位埋点信息，可以将目标业务链有向图对应的日志中涉及到问题的流程找到，还可以显示给操作人员，例如高亮显示，或者将目标业务链有向图的全部信息可视化显示出来，并用颜色标出其中有问题的流程。这里关于确定问题流程后如何进行显示，本发明不作任何限定。此外，还可以对目标业务链有向图中各流程出现异常的次数进行自动统计，以便分析业务全流程中的高危薄弱环节。
本发明实施例将每个业务链的完整生命周期视为一个有向图，预先根据全部业务场景定义业务链有向图，串联业务场景上下文，并基于该业务链有向图及业务链标识埋点信息、用于重组日志和定位问题的埋点信息，在业务场景内进行日志分析，针对业务上下文场景分布在多个终端请求时的情形，无需进行调用链二次搜集与分析，简化了分析过程，实现高效的分析与问题定位。
实施例二
图2为本发明实施例二提供的日志分析方法的流程图，本实施例二在实施例一的基础上进行进一步地优化。如图2所示，所述方法包括：
S200、存储预先定义的业务链有向图。其中，所述业务链有向图是预先利用邻接矩阵根据全部业务场景定义的，该邻接矩阵中包括邻接顶点和邻接边，邻接顶点存储的内容包括节点标识、当前节点描述、根节点标识，邻接边存储的内容包括当前节点标识、后继节点标识、当前流程描述和组内顺序。
S201、响应于日志分析请求，从日志中查找业务链追踪标识和时间戳标识与所述日志分析请求中的信息相匹配的日志，作为与所述日志分析请求对应的业务链日志信息组。
在本发明实施例中，业务链追踪标识和时间戳标识作为业务链标识埋点信息，以用于唯一标识业务链。其中，业务链追踪标识是用于串联整条业务链的唯一索引，例如对于订单业务链，对应的追踪标识可以是订单号，而对于用户行为业务链，对应的追踪标识可以是用户ID。所述时间戳标识是用于区分不同业务链的唯一标识，实现时，可简单用unix时间戳来取值，例如，用户A在12:00:00发起了一次查询订单至取消订单的用户行为业务链，在14:00:01该用户又发起了一次查询订单至取消订单的用户行为业务链，为了区别两次业务链对应日志的归属，通过这两个时间来区分。显然，业务链追踪标识和时间戳标识可以作为二元组唯一标识具体某次业务链，并在业务链全流程中，这两个辅助字段可用于全局透传。
S202、依据预先定义的业务链有向图的节点和日志中的重组业务链埋点信息，遍历所述业务链日志信息组中的日志信息，在所述业务链日志信息组中确定根节点。
S203、从所述根节点出发，依据预先定义的业务链有向图的节点和日志中的重组业务链埋点信息，继续遍历所述业务链日志信息组中的日志信息，重组生成与所述日志分析请求相对应的目标业务链有向图。
其中，所述重组业务链埋点信息包括当前节点标识和后继节点标识。具体的，正如实施例一中提到，业务链有向图的邻接矩阵中存储有各个节点对应的标识，其中也包括是否根节点的标识，那么基于此即可通过遍历业务链日志信息组中的日志信息，将其中的重组业务链埋点信息与业务链有向图中的节点进行匹配，从而确定出根节点，然后从根节点出发，继续依据此方式确定出根节点下的全部节点以及各个节点之间的关系，从而将业务链日志信息组中的日志信息依据业务链有向图，重组成与日志分析请求相对应的目标业务链有向图，从而串联起该日志分析请求对应的业务场景上下文。
S204、根据所述业务链有向图的邻接矩阵中存储的组内顺序，对所述目标业务链有向图中同一节点下的至少两条邻接边进行顺序调整。
确定的所述目标业务链有向图中同一节点下若有多条邻接边，则需要根据组内顺序的存储内容进行顺序调整，从而准确的刻画出业务场景。
S205、根据所述目标业务链有向图中的问题定位埋点信息，确定日志中的问题流程。
其中，问题定位埋点信息作为日志中的辅助字段，用于标识业务链中的异常。优选的，问题定位埋点信息可以包括异常标识和过程数据。其中，异常标识用于表示当前流程是否出现异常，具体可以包括异常状态码和异常状态码描述，可以预先定义一种或多种异常状态，用异常状态码表示，如0表示正常，非0表示不正常，并通过异常状态码描述的埋点信息对这些状态码进行解释和说明。过程数据的埋点信息用于在定位问题时带出过程数据，例如当前流程的数据明细信息等，并可以将这些过程数据显示出来，以便工作人员进行查看和分析。
本发明实施例预先定义并存储业务链有向图，搜集依据埋点产生的日志，并依据业务链有向图和埋点信息对这些日志进行重组，以根据业务链串联业务场景上下文，并基于此确定问题流程，分析过程简单又高效。
实施例三
图3是本发明实施例三中的日志分析装置的结构示意图，本实施例可适用于对日志进行分析与问题定位的情况。如图3所示，日志分析装置3包括：
查找模块310，用于响应于日志分析请求，根据日志中的业务链标识埋点信息从日志中查找出与所述日志分析请求相对应的业务链日志信息组；
重组模块320，用于依据预先定义的业务链有向图和日志中的重组业务链埋点信息，对所述业务链日志信息组中的日志信息进行重组，生成与所述日志分析请求相对应的目标业务链有向图；
确定模块330，用于根据日志中的问题定位埋点信息，确定所述目标业务链有向图中的问题流程。
优选的，所述业务链标识埋点信息包括业务链追踪标识和时间戳标识，其中，业务链追踪标识是用于串联整条业务链的唯一索引，所述时间戳标识是用于区分不同业务链的唯一标识；
相应的，查找模块310具体用于：
响应于日志分析请求，从日志中查找业务链追踪标识和时间戳标识与所述日志分析请求中的信息相匹配的日志，作为与所述日志分析请求对应的业务链日志信息组。
进一步的，装置3还包括：
存储模块，用于存储所述预先定义的业务链有向图；
其中，所述业务链有向图是预先利用邻接矩阵根据业务场景定义的，该邻接矩阵中包括邻接顶点和邻接边，邻接顶点存储的内容包括节点标识、当前节点描述、根节点标识，邻接边存储的内容包括当前节点标识、后继节点标识、当前流程描述和组内顺序。
进一步的，所述重组业务链埋点信息包括当前节点标识和后继节点标识；
相应的，重组模块320包括：
根节点确定单元，用于依据预先定义的业务链有向图的节点和日志中的重组业务链埋点信息，遍历所述业务链日志信息组中的日志信息，在所述业务链日志信息组中确定根节点；
有向图确定单元，用于从所述根节点出发，依据预先定义的业务链有向图的节点和日志中的重组业务链埋点信息，继续遍历所述业务链日志信息组中的日志信息，重组生成与所述日志分析请求相对应的目标业务链有向图；
调整单元，用于根据所述业务链有向图的邻接矩阵中存储的组内顺序，对所述目标业务链有向图中同一节点下的至少两条邻接边进行顺序调整。
进一步的，所述问题定位埋点信息包括异常标识和过程数据。
本发明实施例所提供的日志分析装置可执行本发明任意实施例所提供的日志分析方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的日志分析方法。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的日志分析方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (12)
1.一种日志分析方法，其特征在于，包括：
响应于日志分析请求，根据日志中的业务链标识埋点信息从日志中查找出与所述日志分析请求相对应的业务链日志信息组；
依据预先定义的业务链有向图和日志中的重组业务链埋点信息，对所述业务链日志信息组中的日志信息进行重组，生成与所述日志分析请求相对应的目标业务链有向图；
根据日志中的问题定位埋点信息，确定所述目标业务链有向图中的问题流程。
2.根据权利要求1所述的方法，其特征在于，所述业务链标识埋点信息包括业务链追踪标识和时间戳标识，其中，业务链追踪标识是用于串联整条业务链的唯一索引，所述时间戳标识是用于区分不同业务链的唯一标识；
相应的，所述根据日志中的业务链标识埋点信息从日志中查找出与所述日志分析请求相对应的业务链日志信息组，具体为：
从日志中查找业务链追踪标识和时间戳标识与所述日志分析请求中的信息相匹配的日志，作为与所述日志分析请求对应的业务链日志信息组。
3.根据权利要求1所述的方法，其特征在于，在所述根据日志中的业务链标识埋点信息从日志中查找出与所述日志分析请求相对应的业务链日志信息组之前，所述方法还包括：
存储所述预先定义的业务链有向图；
其中，所述业务链有向图是预先利用邻接矩阵根据业务场景定义的，该邻接矩阵中包括邻接顶点和邻接边，邻接顶点存储的内容包括节点标识、当前节点描述、根节点标识，邻接边存储的内容包括当前节点标识、后继节点标识、当前流程描述和组内顺序。
4.根据权利要求3所述的方法，其特征在于，所述重组业务链埋点信息包括当前节点标识和后继节点标识；
相应的，所述依据预先定义的业务链有向图和日志中的重组业务链埋点信息，对所述业务链日志信息组中的日志信息进行重组，生成与所述日志分析请求相对应的目标业务链有向图，包括：
依据预先定义的业务链有向图的节点和日志中的重组业务链埋点信息，遍历所述业务链日志信息组中的日志信息，在所述业务链日志信息组中确定根节点；
从所述根节点出发，依据预先定义的业务链有向图的节点和日志中的重组业务链埋点信息，继续遍历所述业务链日志信息组中的日志信息，重组生成与所述日志分析请求相对应的目标业务链有向图；
根据所述业务链有向图的邻接矩阵中存储的组内顺序，对所述目标业务链有向图中同一节点下的至少两条邻接边进行顺序调整。
5.根据权利要求1所述的方法，其特征在于，所述问题定位埋点信息包括异常标识和过程数据。
6.一种日志分析装置，其特征在于，包括：
查找模块，用于响应于日志分析请求，根据日志中的业务链标识埋点信息从日志中查找出与所述日志分析请求相对应的业务链日志信息组；
重组模块，用于依据预先定义的业务链有向图和日志中的重组业务链埋点信息，对所述业务链日志信息组中的日志信息进行重组，生成与所述日志分析请求相对应的目标业务链有向图；
确定模块，用于根据日志中的问题定位埋点信息，确定所述目标业务链有向图中的问题流程。
7.根据权利要求6所述的装置，其特征在于，所述业务链标识埋点信息包括业务链追踪标识和时间戳标识，其中，业务链追踪标识是用于串联整条业务链的唯一索引，所述时间戳标识是用于区分不同业务链的唯一标识；
相应的，所述查找模块具体用于：
响应于日志分析请求，从日志中查找业务链追踪标识和时间戳标识与所述日志分析请求中的信息相匹配的日志，作为与所述日志分析请求对应的业务链日志信息组。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
存储模块，用于存储所述预先定义的业务链有向图；
其中，所述业务链有向图是预先利用邻接矩阵根据业务场景定义的，该邻接矩阵中包括邻接顶点和邻接边，邻接顶点存储的内容包括节点标识、当前节点描述、根节点标识，邻接边存储的内容包括当前节点标识、后继节点标识、当前流程描述和组内顺序。
9.根据权利要求8所述的装置，其特征在于，所述重组业务链埋点信息包括当前节点标识和后继节点标识；
相应的，所述重组模块包括：
根节点确定单元，用于依据预先定义的业务链有向图的节点和日志中的重组业务链埋点信息，遍历所述业务链日志信息组中的日志信息，在所述业务链日志信息组中确定根节点；
有向图确定单元，用于从所述根节点出发，依据预先定义的业务链有向图的节点和日志中的重组业务链埋点信息，继续遍历所述业务链日志信息组中的日志信息，重组生成与所述日志分析请求相对应的目标业务链有向图；
调整单元，用于根据所述业务链有向图的邻接矩阵中存储的组内顺序，对所述目标业务链有向图中同一节点下的至少两条邻接边进行顺序调整。
10.根据权利要求6所述的装置，其特征在于，所述问题定位埋点信息包括异常标识和过程数据。
11.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的日志分析方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的日志分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710495756.1A CN107330034B (zh) | 2017-06-26 | 2017-06-26 | 一种日志分析方法和装置、计算机设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710495756.1A CN107330034B (zh) | 2017-06-26 | 2017-06-26 | 一种日志分析方法和装置、计算机设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107330034A true CN107330034A (zh) | 2017-11-07 |
| CN107330034B CN107330034B (zh) | 2020-08-07 |
Family
ID=60197097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710495756.1A Active CN107330034B (zh) | 2017-06-26 | 2017-06-26 | 一种日志分析方法和装置、计算机设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107330034B (zh) |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108156236A (zh) * | 2017-12-22 | 2018-06-12 | 平安养老保险股份有限公司 | 业务请求处理方法、装置、计算机设备和存储介质 |
| CN108197200A (zh) * | 2017-12-27 | 2018-06-22 | 金蝶软件（中国）有限公司 | 日志追踪方法、装置、计算机设备和存储介质 |
| CN108599973A (zh) * | 2018-01-05 | 2018-09-28 | 阿里巴巴集团控股有限公司 | 一种日志关联方法、装置及设备 |
| CN109214725A (zh) * | 2018-11-26 | 2019-01-15 | 泰康保险集团股份有限公司 | 保险问题处理方法及装置 |
| CN109325010A (zh) * | 2018-09-26 | 2019-02-12 | 中国平安人寿保险股份有限公司 | 日志查看方法、装置、计算机设备和存储介质 |
| CN109460307A (zh) * | 2018-10-15 | 2019-03-12 | 厦门商集网络科技有限责任公司 | 基于日志埋点的微服务调用跟踪方法及其系统 |
| CN109525630A (zh) * | 2018-09-27 | 2019-03-26 | 中国平安人寿保险股份有限公司 | 发送数据分析委托请求的方法、装置、介质及电子设备 |
| CN109756482A (zh) * | 2018-12-11 | 2019-05-14 | 国网河北省电力有限公司电力科学研究院 | 一种基于机器学习的内网攻击检测模型构建方法 |
| CN109800098A (zh) * | 2018-12-13 | 2019-05-24 | 平安普惠企业管理有限公司 | 业务异常节点定位方法、装置、计算机设备及存储介质 |
| CN109885458A (zh) * | 2019-01-16 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 基于cat的监控方法、装置、计算机系统及存储介质 |
| CN109933508A (zh) * | 2019-03-25 | 2019-06-25 | 北京百度网讯科技有限公司 | 用于发送信息的方法和装置 |
| CN110020161A (zh) * | 2017-12-13 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 数据处理方法、日志处理方法和终端 |
| CN110297748A (zh) * | 2018-03-22 | 2019-10-01 | 财付通支付科技有限公司 | 一种定位调用出错的方法、装置和计算机可读存储介质 |
| CN110457277A (zh) * | 2019-08-19 | 2019-11-15 | 北京博睿宏远数据科技股份有限公司 | 业务处理性能分析方法、装置、设备及存储介质 |
| CN110569189A (zh) * | 2019-08-22 | 2019-12-13 | 浙江数链科技有限公司 | 回归测试的方法、装置、计算机设备和存储介质 |
| CN110580626A (zh) * | 2018-05-22 | 2019-12-17 | 北京京东尚科信息技术有限公司 | 用于生成信息的方法和装置 |
| CN110716837A (zh) * | 2018-07-12 | 2020-01-21 | 北京京东尚科信息技术有限公司 | 一种用于组件路由分析的方法和装置 |
| CN110795303A (zh) * | 2019-09-25 | 2020-02-14 | 北京文渊佳科技有限公司 | 一种日志输出方法、装置、存储介质以及终端 |
| CN110858163A (zh) * | 2018-08-22 | 2020-03-03 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置和机器可读介质 |
| CN110941528A (zh) * | 2019-11-08 | 2020-03-31 | 支付宝(杭州)信息技术有限公司 | 一种基于故障的日志埋点设置方法、装置及系统 |
| CN111198807A (zh) * | 2019-12-18 | 2020-05-26 | 中移（杭州）信息技术有限公司 | 数据流分析方法、装置、计算机设备及存储介质 |
| CN111324505A (zh) * | 2019-11-12 | 2020-06-23 | 杭州海康威视系统技术有限公司 | 一种日志采集方法、装置、电子设备及存储介质 |
| CN111339051A (zh) * | 2020-02-25 | 2020-06-26 | 江苏满运软件科技有限公司 | 日志处理方法、系统、设备及存储介质 |
| CN111427736A (zh) * | 2019-01-09 | 2020-07-17 | 北京嘀嘀无限科技发展有限公司 | 日志监控方法、装置、设备及计算机可读存储介质 |
| CN111680974A (zh) * | 2020-05-29 | 2020-09-18 | 泰康保险集团股份有限公司 | 电子化承保流程的问题定位方法及装置 |
| CN111782443A (zh) * | 2020-06-01 | 2020-10-16 | 中汇信息技术（上海）有限公司 | 数据处理的方法、装置及电子设备 |
| CN111814145A (zh) * | 2020-08-19 | 2020-10-23 | 深圳市富之富信息科技有限公司 | 基于日志采集的请求校验方法、装置及计算机设备 |
| CN111858527A (zh) * | 2020-06-22 | 2020-10-30 | 清华大学深圳国际研究生院 | 一种日志数据建模分析方法及计算机可读存储介质 |
| CN111966641A (zh) * | 2020-08-18 | 2020-11-20 | 国家工业信息安全发展研究中心 | 一种通用的日志范化模型配置方法和装置 |
| CN112596974A (zh) * | 2020-12-10 | 2021-04-02 | 长沙市到家悠享网络科技有限公司 | 一种全链路监控方法、装置、设备和存储介质 |
| CN112711496A (zh) * | 2020-12-31 | 2021-04-27 | 杭州未名信科科技有限公司 | 日志信息全链路追踪方法、装置、计算机设备和存储介质 |
| CN112823339A (zh) * | 2018-10-11 | 2021-05-18 | 日本电信电话株式会社 | 信息处理装置、日志分析方法及程序 |
| CN113157911A (zh) * | 2020-01-07 | 2021-07-23 | 北京沃东天骏信息技术有限公司 | 一种服务验证方法和装置 |
| CN113239000A (zh) * | 2021-05-13 | 2021-08-10 | 百果园技术(新加坡)有限公司 | 一种业务日志的管理系统以及处理方法、装置和服务器 |
| CN113360554A (zh) * | 2020-03-06 | 2021-09-07 | 深圳法大大网络科技有限公司 | 一种数据抽取、转换和加载etl的方法和设备 |
| CN113743975A (zh) * | 2021-01-29 | 2021-12-03 | 北京沃东天骏信息技术有限公司 | 一种广告效果处理方法和装置 |
| CN113762910A (zh) * | 2020-11-27 | 2021-12-07 | 北京京东振世信息技术有限公司 | 一种单据监控方法和装置 |
| CN115174366A (zh) * | 2022-05-30 | 2022-10-11 | 阿里巴巴（中国）有限公司 | 数据处理方法以及装置 |
| CN115190001A (zh) * | 2022-07-22 | 2022-10-14 | 天翼云科技有限公司 | 一种网络异常状态分析方法及装置 |
| CN115378997A (zh) * | 2022-08-19 | 2022-11-22 | 建信金融科技有限责任公司 | 业务路径的处理方法、装置及设备 |
| CN116107524A (zh) * | 2023-04-13 | 2023-05-12 | 杭州朗和科技有限公司 | 低代码应用日志处理方法、介质、装置和计算设备 |
| CN116882724A (zh) * | 2023-07-13 | 2023-10-13 | 北京优特捷信息技术有限公司 | 一种业务流程优化方案的生成方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8688729B2 (en) * | 2011-08-16 | 2014-04-01 | Ca, Inc. | Efficiently collecting transaction-separated metrics in a distributed enviroment |
| CN105224445A (zh) * | 2015-10-28 | 2016-01-06 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
| CN105933163A (zh) * | 2016-06-24 | 2016-09-07 | 微梦创科网络科技（中国）有限公司 | 一种实时分布式调试跟踪方法及系统 |
| CN106487596A (zh) * | 2016-10-26 | 2017-03-08 | 宜人恒业科技发展（北京）有限公司 | 分布式服务跟踪实现方法 |
-
2017
- 2017-06-26 CN CN201710495756.1A patent/CN107330034B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8688729B2 (en) * | 2011-08-16 | 2014-04-01 | Ca, Inc. | Efficiently collecting transaction-separated metrics in a distributed enviroment |
| CN105224445A (zh) * | 2015-10-28 | 2016-01-06 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
| CN105933163A (zh) * | 2016-06-24 | 2016-09-07 | 微梦创科网络科技（中国）有限公司 | 一种实时分布式调试跟踪方法及系统 |
| CN106487596A (zh) * | 2016-10-26 | 2017-03-08 | 宜人恒业科技发展（北京）有限公司 | 分布式服务跟踪实现方法 |
Non-Patent Citations (2)
| Title |
|---|
| BENJAMIN H. SIGELMAN ET.AL: "Dapper, a Large-Scale Distributed Systems Tracing Infrastructure", 《GOOGLE TECHNICAL REPORT DAPPER-2010-1》 * |
| 李健: "分布式环境下软件性能追踪工具的设计与实现", 《信息科技辑》 * |
Cited By (63)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110020161B (zh) * | 2017-12-13 | 2023-05-02 | 阿里巴巴集团控股有限公司 | 数据处理方法、日志处理方法和终端 |
| CN110020161A (zh) * | 2017-12-13 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 数据处理方法、日志处理方法和终端 |
| CN108156236A (zh) * | 2017-12-22 | 2018-06-12 | 平安养老保险股份有限公司 | 业务请求处理方法、装置、计算机设备和存储介质 |
| CN108197200B (zh) * | 2017-12-27 | 2021-06-15 | 金蝶软件（中国）有限公司 | 日志追踪方法、装置、计算机设备和存储介质 |
| CN108197200A (zh) * | 2017-12-27 | 2018-06-22 | 金蝶软件（中国）有限公司 | 日志追踪方法、装置、计算机设备和存储介质 |
| CN108599973A (zh) * | 2018-01-05 | 2018-09-28 | 阿里巴巴集团控股有限公司 | 一种日志关联方法、装置及设备 |
| CN108599973B (zh) * | 2018-01-05 | 2021-08-24 | 创新先进技术有限公司 | 一种日志关联方法、装置及设备 |
| CN110297748A (zh) * | 2018-03-22 | 2019-10-01 | 财付通支付科技有限公司 | 一种定位调用出错的方法、装置和计算机可读存储介质 |
| CN110580626A (zh) * | 2018-05-22 | 2019-12-17 | 北京京东尚科信息技术有限公司 | 用于生成信息的方法和装置 |
| CN110716837A (zh) * | 2018-07-12 | 2020-01-21 | 北京京东尚科信息技术有限公司 | 一种用于组件路由分析的方法和装置 |
| CN110858163A (zh) * | 2018-08-22 | 2020-03-03 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置和机器可读介质 |
| CN109325010A (zh) * | 2018-09-26 | 2019-02-12 | 中国平安人寿保险股份有限公司 | 日志查看方法、装置、计算机设备和存储介质 |
| CN109325010B (zh) * | 2018-09-26 | 2023-08-04 | 中国平安人寿保险股份有限公司 | 日志查看方法、装置、计算机设备和存储介质 |
| CN109525630A (zh) * | 2018-09-27 | 2019-03-26 | 中国平安人寿保险股份有限公司 | 发送数据分析委托请求的方法、装置、介质及电子设备 |
| CN112823339A (zh) * | 2018-10-11 | 2021-05-18 | 日本电信电话株式会社 | 信息处理装置、日志分析方法及程序 |
| CN109460307A (zh) * | 2018-10-15 | 2019-03-12 | 厦门商集网络科技有限责任公司 | 基于日志埋点的微服务调用跟踪方法及其系统 |
| CN109460307B (zh) * | 2018-10-15 | 2021-03-12 | 厦门商集网络科技有限责任公司 | 基于日志埋点的微服务调用跟踪方法及其系统 |
| CN109214725A (zh) * | 2018-11-26 | 2019-01-15 | 泰康保险集团股份有限公司 | 保险问题处理方法及装置 |
| CN109756482A (zh) * | 2018-12-11 | 2019-05-14 | 国网河北省电力有限公司电力科学研究院 | 一种基于机器学习的内网攻击检测模型构建方法 |
| CN109800098A (zh) * | 2018-12-13 | 2019-05-24 | 平安普惠企业管理有限公司 | 业务异常节点定位方法、装置、计算机设备及存储介质 |
| CN111427736B (zh) * | 2019-01-09 | 2024-03-12 | 北京嘀嘀无限科技发展有限公司 | 日志监控方法、装置、设备及计算机可读存储介质 |
| CN111427736A (zh) * | 2019-01-09 | 2020-07-17 | 北京嘀嘀无限科技发展有限公司 | 日志监控方法、装置、设备及计算机可读存储介质 |
| CN109885458A (zh) * | 2019-01-16 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 基于cat的监控方法、装置、计算机系统及存储介质 |
| CN109933508B (zh) * | 2019-03-25 | 2023-02-24 | 北京百度网讯科技有限公司 | 用于发送信息的方法和装置 |
| CN109933508A (zh) * | 2019-03-25 | 2019-06-25 | 北京百度网讯科技有限公司 | 用于发送信息的方法和装置 |
| CN110457277B (zh) * | 2019-08-19 | 2024-04-16 | 北京博睿宏远数据科技股份有限公司 | 业务处理性能分析方法、装置、设备及存储介质 |
| CN110457277A (zh) * | 2019-08-19 | 2019-11-15 | 北京博睿宏远数据科技股份有限公司 | 业务处理性能分析方法、装置、设备及存储介质 |
| CN110569189A (zh) * | 2019-08-22 | 2019-12-13 | 浙江数链科技有限公司 | 回归测试的方法、装置、计算机设备和存储介质 |
| CN110795303A (zh) * | 2019-09-25 | 2020-02-14 | 北京文渊佳科技有限公司 | 一种日志输出方法、装置、存储介质以及终端 |
| CN110941528B (zh) * | 2019-11-08 | 2022-04-08 | 支付宝(杭州)信息技术有限公司 | 一种基于故障的日志埋点设置方法、装置及系统 |
| CN110941528A (zh) * | 2019-11-08 | 2020-03-31 | 支付宝(杭州)信息技术有限公司 | 一种基于故障的日志埋点设置方法、装置及系统 |
| CN111324505A (zh) * | 2019-11-12 | 2020-06-23 | 杭州海康威视系统技术有限公司 | 一种日志采集方法、装置、电子设备及存储介质 |
| CN111198807A (zh) * | 2019-12-18 | 2020-05-26 | 中移（杭州）信息技术有限公司 | 数据流分析方法、装置、计算机设备及存储介质 |
| CN111198807B (zh) * | 2019-12-18 | 2023-10-27 | 中移（杭州）信息技术有限公司 | 数据流分析方法、装置、计算机设备及存储介质 |
| CN113157911A (zh) * | 2020-01-07 | 2021-07-23 | 北京沃东天骏信息技术有限公司 | 一种服务验证方法和装置 |
| CN111339051A (zh) * | 2020-02-25 | 2020-06-26 | 江苏满运软件科技有限公司 | 日志处理方法、系统、设备及存储介质 |
| CN111339051B (zh) * | 2020-02-25 | 2022-10-04 | 贵阳货车帮科技有限公司 | 日志处理方法、系统、设备及存储介质 |
| CN113360554A (zh) * | 2020-03-06 | 2021-09-07 | 深圳法大大网络科技有限公司 | 一种数据抽取、转换和加载etl的方法和设备 |
| CN113360554B (zh) * | 2020-03-06 | 2023-06-23 | 深圳法大大网络科技有限公司 | 一种数据抽取、转换和加载etl的方法和设备 |
| CN111680974B (zh) * | 2020-05-29 | 2023-09-22 | 泰康保险集团股份有限公司 | 电子化承保流程的问题定位方法及装置 |
| CN111680974A (zh) * | 2020-05-29 | 2020-09-18 | 泰康保险集团股份有限公司 | 电子化承保流程的问题定位方法及装置 |
| CN111782443A (zh) * | 2020-06-01 | 2020-10-16 | 中汇信息技术（上海）有限公司 | 数据处理的方法、装置及电子设备 |
| CN111782443B (zh) * | 2020-06-01 | 2024-07-23 | 中汇信息技术（上海）有限公司 | 数据处理的方法、装置及电子设备 |
| CN111858527A (zh) * | 2020-06-22 | 2020-10-30 | 清华大学深圳国际研究生院 | 一种日志数据建模分析方法及计算机可读存储介质 |
| CN111966641A (zh) * | 2020-08-18 | 2020-11-20 | 国家工业信息安全发展研究中心 | 一种通用的日志范化模型配置方法和装置 |
| CN111814145B (zh) * | 2020-08-19 | 2024-04-26 | 深圳市富之富信息科技有限公司 | 基于日志采集的请求校验方法、装置及计算机设备 |
| CN111814145A (zh) * | 2020-08-19 | 2020-10-23 | 深圳市富之富信息科技有限公司 | 基于日志采集的请求校验方法、装置及计算机设备 |
| CN113762910B (zh) * | 2020-11-27 | 2024-04-16 | 北京京东振世信息技术有限公司 | 一种单据监控方法和装置 |
| CN113762910A (zh) * | 2020-11-27 | 2021-12-07 | 北京京东振世信息技术有限公司 | 一种单据监控方法和装置 |
| CN112596974A (zh) * | 2020-12-10 | 2021-04-02 | 长沙市到家悠享网络科技有限公司 | 一种全链路监控方法、装置、设备和存储介质 |
| CN112711496A (zh) * | 2020-12-31 | 2021-04-27 | 杭州未名信科科技有限公司 | 日志信息全链路追踪方法、装置、计算机设备和存储介质 |
| CN113743975A (zh) * | 2021-01-29 | 2021-12-03 | 北京沃东天骏信息技术有限公司 | 一种广告效果处理方法和装置 |
| CN113239000A (zh) * | 2021-05-13 | 2021-08-10 | 百果园技术(新加坡)有限公司 | 一种业务日志的管理系统以及处理方法、装置和服务器 |
| CN115174366B (zh) * | 2022-05-30 | 2023-10-20 | 浙江天猫技术有限公司 | 数据处理方法以及装置 |
| CN115174366A (zh) * | 2022-05-30 | 2022-10-11 | 阿里巴巴（中国）有限公司 | 数据处理方法以及装置 |
| CN115190001B (zh) * | 2022-07-22 | 2024-03-08 | 天翼云科技有限公司 | 一种网络异常状态分析方法及装置 |
| CN115190001A (zh) * | 2022-07-22 | 2022-10-14 | 天翼云科技有限公司 | 一种网络异常状态分析方法及装置 |
| CN115378997B (zh) * | 2022-08-19 | 2023-07-04 | 建信金融科技有限责任公司 | 业务路径的处理方法、装置及设备 |
| CN115378997A (zh) * | 2022-08-19 | 2022-11-22 | 建信金融科技有限责任公司 | 业务路径的处理方法、装置及设备 |
| CN116107524B (zh) * | 2023-04-13 | 2023-07-18 | 杭州朗和科技有限公司 | 低代码应用日志处理方法、介质、装置和计算设备 |
| CN116107524A (zh) * | 2023-04-13 | 2023-05-12 | 杭州朗和科技有限公司 | 低代码应用日志处理方法、介质、装置和计算设备 |
| CN116882724A (zh) * | 2023-07-13 | 2023-10-13 | 北京优特捷信息技术有限公司 | 一种业务流程优化方案的生成方法、装置、设备及介质 |
| CN116882724B (zh) * | 2023-07-13 | 2024-06-11 | 北京优特捷信息技术有限公司 | 一种业务流程优化方案的生成方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107330034B (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107330034A (zh) | 一种日志分析方法和装置、计算机设备、存储介质 | |
| US20170060868A1 (en) | Automated management of natural language queries in enterprise business intelligence analytics | |
| US20170193016A1 (en) | Generation of a data model | |
| CN107273556A (zh) | 区块链数据索引方法和设备 | |
| CN111382214A (zh) | 一种基于3dgis bim的综合管廊运维管理系统 | |
| US20120099478A1 (en) | Method and Device for Auto-Generating Goose Signal Connection Topology from Substation Level | |
| CN107645403A (zh) | 终端规则引擎装置、终端规则运行方法 | |
| CN104216894A (zh) | 用于数据查询的方法和系统 | |
| Alam | Blockchain cities: the futuristic cities driven by Blockchain, big data and internet of things | |
| CN110688538B (zh) | 基于大数据的跨域业务全程路由贯穿方法以及装置 | |
| US11907184B1 (en) | Collaborative data mapping system | |
| CN104363072A (zh) | 一种错误信息传递转义方法、装置和系统 | |
| CN109358965A (zh) | 云计算集群资源调度方法、介质、装置和计算设备 | |
| CN110134702A (zh) | 数据流拼接方法、装置、设备和存储介质 | |
| CN104516730A (zh) | 一种数据处理方法和装置 | |
| US10042915B2 (en) | Semantic mapping of topic map meta-models identifying assets and events to include directionality | |
| CN104657411A (zh) | 用于信息技术资源管理的方法和系统 | |
| CN112102099B (zh) | 保单数据处理方法、装置、电子设备及存储介质 | |
| CN111699484A (zh) | 用于数据管理的系统和方法 | |
| CN108733724A (zh) | 一种跨异构数据源实时连接方法及装置 | |
| CN107733894A (zh) | 逻辑接口报文的比对方法、系统、设备及存储介质 | |
| CN112765368B (zh) | 基于工业app的知识图谱建立方法、装置、设备及介质 | |
| CN104408183A (zh) | 数据系统的数据导入方法和装置 | |
| CN105447032A (zh) | 用于处理消息与订阅信息方法和系统 | |
| CN103514224A (zh) | 数据库中的数据处理方法、数据查询方法和相应装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |