CN112559513A - 链路数据存取方法、装置、存储介质、处理器及电子装置 - Google Patents
链路数据存取方法、装置、存储介质、处理器及电子装置 Download PDFInfo
- Publication number
- CN112559513A CN112559513A CN201910855126.XA CN201910855126A CN112559513A CN 112559513 A CN112559513 A CN 112559513A CN 201910855126 A CN201910855126 A CN 201910855126A CN 112559513 A CN112559513 A CN 112559513A
- Authority
- CN
- China
- Prior art keywords
- service
- index
- link
- query
- queried
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000009471 action Effects 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 17
- 239000000203 mixture Substances 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种链路数据存取方法、装置、存储介质、处理器及电子装置。该方法包括：获取多个服务节点的业务日志数据，其中，业务日志数据中记录有不同类型业务动作对应的日志记录；根据日志记录解析成不同类型的多个业务事件；基于链路模板将不同类型的多个业务事件组成业务链路，并将业务链路存储至第一预设存储空间，其中，链路模板根据业务流程预先建立的树结构，第一预设存储空间为分布式图类型数据库；获取查询索引；根据查询索引对业务链路中的数据内容进行存取操作。本发明解决了相关技术中针对复杂且海量的链路数据存储和分析需求，无法提供有效的链路数据存取方式的技术问题。
Description
技术领域
本发明涉及计算机领域，具体而言，涉及一种链路数据存取方法、装置、存储介质、处理器及电子装置。
背景技术
目前，在相关技术所提供的全链路业务追踪系统中，太字节(TB)级链路数据的存储层通常会选用分布式列式存储数据库，以便于横向扩展存储新类型的事件信息。然而，在数据量规模较大、业务复杂程度较高的全链路业务追踪场景，链路的存储以及链路关系的分析需求将无法得到很好地满足。
由此可见，相关技术中针对复杂且海量的链路数据存储和分析需求，无法提供有效的链路数据存取方式。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明至少部分实施例提供了一种链路数据存取方法、装置、存储介质、处理器及电子装置，以至少解决相关技术中针对复杂且海量的链路数据存储和分析需求，无法提供有效的链路数据存取方式的技术问题。
根据本发明其中一实施例，提供了一种链路数据存取方法，包括：
获取多个服务节点的业务日志数据，其中，业务日志数据中记录有不同类型业务动作对应的日志记录；根据日志记录解析成不同类型的多个业务事件；基于链路模板将不同类型的多个业务事件组成业务链路，并将业务链路存储至第一预设存储空间，其中，链路模板根据业务流程预先建立的树结构，第一预设存储空间为分布式图类型数据库；获取查询索引；根据查询索引对业务链路中的数据内容进行存取操作。
可选地，获取所述多个服务节点的所述业务日志数据包括：从第二预设存储空间获取所述业务日志数据，其中，所述第二预设存储空间为分布式搜索引擎数据库。
可选地，根据查询索引对业务链路中的数据内容进行存取操作包括：当查询索引属于第一类索引时，通过查询索引确定待查询对象，其中，待查询对象为以下之一：第一类索引对应的业务事件，第一类索引对应的边；对待查询对象进行存取操作。
可选地，通过查询索引确定待查询对象包括：当查询索引为第一类索引中的节点标识组合索引时，通过节点标识组合索引查找到业务链路的起始节点，其中，起始节点用于记录业务链路中所包含的全部业务事件的摘要信息；从起始节点开始逐级遍历业务链路，直至查找到待查询对象。
可选地，通过查询索引确定待查询对象包括：当查询索引为第一类索引中的边标识组合索引时，通过边标识组合索引查找到业务链路中的对应边。
可选地，根据查询索引对业务链路中的数据内容进行存取操作包括：当查询索引属于第二类索引时，通过查询索引确定待查询对象，其中，第二类索引为范围查询索引，待查询对象为第二类索引对应范围内的至少一条业务链路；对待查询对象进行存取操作。
可选地，通过查询索引确定待查询对象包括：当查询索引为第二类索引中的全部混合索引时，通过全部混合索引中所包含的全部查询属性查找到待查询对象。
可选地，通过查询索引确定待查询对象包括：当查询索引为第二类索引中的时间戳与事件类型混合索引时，通过时间戳与事件类型混合索引中所包含的时间戳查询属性与事件类型查询属性查找到待查询对象。
可选地，对待查询对象进行存取操作包括：获取与待查询对象的第一主键对应的外键；基于外键查找关联的第二主键；采用第二主键从第二预设存储空间获取待查询的业务日志数据。
根据本发明其中一实施例，还提供了一种链路数据存取装置，包括：
第一获取模块，用于获取多个服务节点的业务日志数据，其中，业务日志数据中记录有不同类型业务动作对应的日志记录；解析模块，用于根据日志记录解析成不同类型的多个业务事件；组成模块，用于基于链路模板将不同类型的多个业务事件组成业务链路，并将业务链路存储至第一预设存储空间，其中，链路模板根据业务流程预先建立的树结构，第一预设存储空间为分布式图类型数据库；第二获取模块，用于获取查询索引；处理模块，用于根据查询索引对业务链路中的数据内容进行存取操作。
可选地，第一获取模块，用于从第二预设存储空间获取业务日志数据，其中，第二预设存储空间为分布式搜索引擎数据库。
可选地，处理模块包括：确定单元，用于当查询索引属于第一类索引时，通过查询索引确定待查询对象，其中，第一类索引为等值查询索引，待查询对象为以下之一：第一类索引对应的业务事件，第一类索引对应的边；处理单元，用于对待查询对象进行存取操作。
可选地，确定单元，用于当查询索引为第一类索引中的节点标识组合索引时，通过节点标识组合索引查找到业务链路的起始节点；以及从起始节点开始逐级遍历业务链路，直至查找到待查询对象。
可选地，确定单元，用于当查询索引为第一类索引中的边标识组合索引时，通过边标识组合索引查找到业务链路中的对应边。
可选地，确定单元，用于当查询索引属于第二类索引时，通过查询索引确定待查询对象，其中，第二类索引为范围查询索引，待查询对象为第二类索引对应范围内的至少一条业务链路；处理单元，用于对待查询对象进行存取操作。
可选地，确定单元，用于当查询索引为第二类索引中的全部混合索引时，通过全部混合索引中所包含的全部查询属性查找到待查询对象。
可选地，确定单元，用于当查询索引为第二类索引中的时间戳与事件类型混合索引时，通过时间戳与事件类型混合索引中所包含的时间戳查询属性与事件类型查询属性查找到待查询对象。
可选地，处理单元，用于获取与待查询对象的第一主键对应的外键；基于外键查找关联的第二主键；采用第二主键从第二预设存储空间获取待查询的业务日志数据。
根据本发明其中一实施例，还提供了一种存储介质，存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述任一项中的链路数据存取方法。
根据本发明其中一实施例，还提供了一种处理器，处理器用于运行程序，其中，程序被设置为运行时执行上述任一项中的链路数据存取方法。
根据本发明其中一实施例，还提供了一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述任一项中的链路数据存取方法。
在本发明至少部分实施例中，采用获取多个服务节点的业务日志数据，该业务日志数据中记录有不同类型业务动作对应的日志记录，根据日志记录解析成不同类型的多个业务事件，以及基于链路模板将不同类型的多个业务事件组成业务链路，并将业务链路存储至第一预设存储空间，该链路模板根据业务流程预先建立的树结构，第一预设存储空间为分布式图类型数据库的方式，通过获取查询索引以及根据查询索引对业务链路中的数据内容进行存取操作，达到了在数据量规模较大、业务复杂程度较高的全链路业务追踪场景下完成基于图类型数据库的链路数据存取的目的，从而实现了满足复杂且海量的链路数据存储与分析需求的技术效果，进而解决了相关技术中针对复杂且海量的链路数据存储和分析需求，无法提供有效的链路数据存取方式的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明其中一实施例的链路数据存取方法的流程图；
图2是根据本发明其中一可选实施例的模型对象之间关联关系的示意图；
图3是根据本发明其中一可选实施例的索引配置方式示意图；
图4是根据本发明其中一实施例的链路数据存取装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明其中一实施例，提供了一种链路数据存取方法的实施例，适用于存储图类型的业务链路所有相关数据内容。需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
该方法实施例可以在运行有全链路业务追踪系统的服务器中执行。服务器可以包括一个或多个处理器(处理器可以包括但不限于中央处理器(CPU)、图形处理器(GPU)、数字信号处理(DSP)芯片、微处理器(MCU)或可编程逻辑器件(FPGA)等的处理装置)和用于存储数据的存储器。可选地，上述服务器还可以包括用于通信功能的传输设备、输入输出设备以及显示设备。本领域普通技术人员可以理解，上述结构描述仅为示意，其并不对上述服务器的结构造成限定。例如，服务器还可包括比上述结构描述更多或者更少的组件，或者具有与上述结构描述不同的配置。
存储器可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的链路数据存取方法对应的计算机程序，处理器通过运行存储在存储器内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的链路数据存取方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器的通信供应商提供的无线网络。在一个实例中，传输设备包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
显示设备可以例如触摸屏式的液晶显示器(LCD)和触摸显示器(也被称为“触摸屏”或“触摸显示屏”)。该液晶显示器可使得用户能够与服务器的用户界面进行交互。在一些实施例中，上述服务器具有图形用户界面(GUI)，用户可以通过触摸触敏表面上的手指接触和/或手势来与GUI进行人机交互，此处的人机交互功能可选的包括如下交互：创建网页、绘图、文字处理、制作电子文档、游戏、视频会议、即时通信、收发电子邮件、通话界面、播放数字视频、播放数字音乐和/或网络浏览等、用于执行上述人机交互功能的可执行指令被配置/存储在一个或多个处理器可执行的计算机程序产品或可读存储介质中。
在本实施例中提供了一种运行于上述服务器的链路数据存取方法，图1是根据本发明其中一实施例的链路数据存取方法的流程图，如图1所示，该方法包括如下步骤：
步骤S10，获取多个服务节点的业务日志数据，其中，业务日志数据中记录有不同类型业务动作对应的日志记录；
步骤S12，根据日志记录解析成不同类型的多个业务事件；
步骤S14，基于链路模板将不同类型的多个业务事件组成业务链路，并将业务链路存储至第一预设存储空间，其中，链路模板根据业务流程预先建立的树结构，第一预设存储空间为分布式图类型数据库；
步骤S16，获取查询索引；
步骤S18，根据查询索引对业务链路中的数据内容进行存取操作。
通过上述步骤，可以采用获取多个服务节点的业务日志数据，该业务日志数据中记录有不同类型业务动作对应的日志记录，根据日志记录解析成不同类型的多个业务事件，以及基于链路模板将不同类型的多个业务事件组成业务链路，并将业务链路存储至第一预设存储空间，该链路模板根据业务流程预先建立的树结构，第一预设存储空间为分布式图类型数据库的方式，通过获取查询索引以及根据查询索引对业务链路中的数据内容进行存取操作，达到了在数据量规模较大、业务复杂程度较高的全链路业务追踪场景下完成基于图类型数据库的链路数据存取的目的，从而实现了满足复杂且海量的链路数据存储与分析需求的技术效果，进而解决了相关技术中针对复杂且海量的链路数据存储和分析需求，无法提供有效的链路数据存取方式的技术问题。
为了对经过数据分析的业务链路数据进行存储和查询，可以采用基于图类型数据库的链路数据存取方式来存储与读取相关分析后的业务链路数据。在一个可选实施例中，上述第一预设存储空间可以采用图类型数据库。上述业务链路的结构可以选用由“超级节点事件(SuperEvent)”作为根节点(即起始节点)的“树”状结构。超级根节点用于对整条业务链路中所包含的全部业务事件的摘要信息进行汇总描述，其余业务事件子节点则分别用于描述各服务节点的服务情况摘要信息。在建立业务链路过程中，超级根节点所记录的全部业务事件的摘要信息是通过从“树”状结构的叶子节点开始自下而上逐级传递至根节点所建立的。
上述链路模板是根据业务流程预先建立的树结构，用于描述业务流程。例如：针对用户网上购物的链路模板可以包括：确定用户选中的目标商品→确定用户选择的商品数量→确定用户下单→确定用户按照商品标价进行支付等一系列业务行为。
可选地，在步骤S10中，获取多个服务节点的业务日志数据可以包括以下执行步骤：
步骤S101，从第二预设存储空间获取所述业务日志数据，其中，所述第二预设存储空间为分布式搜索引擎数据库。
在组成业务链路的过程中所涉及到的模型对象可以包括但不限于：链路模板(TraceTemplate)一类的关系型数据结构以及事件(Event)一类的非关系型数据结构。模型对象之间为松散耦合关系，图2是根据本发明其中一可选实施例的模型对象之间关联关系的示意图，如图2所示，Event是由业务日志(Log)转换而来，用于描述一个业务动作。SuperEvent是一种特殊Event，其为整个树所有Event信息的总和，为此，在搜索具体Event的过程中，首先需要检索到SuperEvent，然后再遍历树状结构直至查找到对应节点上的Event。业务链路(Trace)由多个Event对象采用树状结构组成。TraceTemplate与Trace实例之间为一一对应的映射关系，以描述业务流程。
Log通常存储在分布式搜索引擎数据库(相当于上述第二预设存储空间)中，并且具有唯一主键(log_id)。Event通常存储在图类型数据库中，并且具有唯一主键(event_id)和外键(fk_log_id)，其中，fk_log_id用于关联到分布式搜索引擎数据库中的Log记录。Trace通常也是存储在图类型数据库中，Event集合以树状结构存储在数据库中即为Trace。TraceTemplate本身属于一种业务关系的描述，其为一种可穷举的枚举对象，以硬编码的方式来描述业务流程，属于程序代码中固化的配置信息。
在实际应用过程中，可以根据Event的元素构成(即五元组)对日志记录进行解析能够得到不同类型的多个Event。Event可以表示整个业务流程中的特定业务动作，负责存储串联模型相关的时间信息、线索信息、业务动作上下文摘要信息等内容。表1为Event内部具体存储的信息内容，如表1所示：
表1
| 字段 | 类型 | 字段含义 |
| Ts | 整型 | 事件发生时刻的时间戳 |
| EventType | 字符串 | 事件类型标识 |
| Udid | 字符串 | 串联线索，设备唯一号 |
| Sn | 字符串 | 串联线索，订单号 |
| RequestId | 字符串 | 串联线索，业务流程流水号 |
| Properties | 字典 | 事件额外的属性信息，业务动作的摘要信息 |
| fk_Log_id | 字符串 | 关联到日志数据库Log模型的外键 |
可选地，在步骤S18中，根据查询索引对业务链路中的数据内容进行存取操作可以包括以下执行步骤：
步骤S181，当查询索引属于第一类索引时，通过查询索引确定待查询对象，其中，第一类索引为等值查询索引，待查询对象为以下之一：第一类索引对应的业务事件，第一类索引对应的边；
步骤S182，对待查询对象进行存取操作。
图类型数据库支持对图中的节点、边建立索引以提升查询速度。索引通常分为两大类。第一类索引为组合索引(CompositeIndex)。CompositeIndex用于等值查询，此类索引通常存储在图类型数据库中的第一存储区域(例如：Hbase，其主要负责提供原始数据)中。CompositeIndex通常适用于用户通过节点标识(nodeId)、边标识(edgeId)、业务请求标识(requestId)进行等值查询的业务场景。
可选地，在步骤S181中，通过查询索引确定待查询对象可以包括以下执行步骤：
步骤S1811，当查询索引为第一类索引中的节点标识组合索引时，通过节点标识组合索引查找到业务链路的起始节点，其中，起始节点用于记录业务链路中所包含的全部业务事件的摘要信息；
步骤S1812，从起始节点开始逐级遍历业务链路，直至查找到待查询对象。
此处提到的起始节点即为上述超级根节点，即，在建立业务链路过程中，起始节点所记录的全部业务事件的摘要信息是通过从“树”状结构的叶子节点开始自下而上逐级传递至根节点所建立的。对于节点标识组合索引(nodeIdCompIndex)而言，可以根据nodeId快速定位到特定一个节点，在链路数据插入和查询时会用到该索引。图3是根据本发明其中一可选实施例的索引配置方式示意图，如图3所示，在查询过程中，先通过nodeIdCompIndex查找到业务链路的起始节点(即上述SuperEvent)，此时需要快速地返回该SuperEvent对应的整条链路信息，然后再从SuperEvent的nodeId直接命中到该节点后，便可以开始对业务链路进行遍历，直至查找到需要查询的业务节点。
可选地，在步骤S181中，通过查询索引确定待查询对象可以包括以下执行步骤：
步骤S1813，当查询索引为第一类索引中的边标识组合索引时，通过边标识组合索引查找到业务链路中的对应边。
仍然如图3所示，对于边标识组合索引(edgeIdCompIndex)而言，可以根据edgeId快速定位到特定一条边，在链路数据插入时会用到该索引。在插入数据过程中，为了确保同一个节点可被重复插入，在插入链路数据时需要判断节点与边是否已经存在，如果存在则采用最新的链路数据来覆盖原有的链路数据，如果不存在则直接插入节点和边信息。
可选地，步骤S18，根据查询索引对业务链路中的数据内容进行存取操作可以包括以下执行步骤：
步骤S183，当查询索引属于第二类索引时，通过查询索引确定待查询对象，其中，第二类索引为范围查询索引，待查询对象为第二类索引对应范围内的至少一条业务链路；
步骤S184，对待查询对象进行存取操作。
上述第二类索引为混合索引(MixedIndex)。MixedIndex用于范围查询，此类索引通常存储在图类型数据库中的第二存储区域(例如：分布式搜索引擎数据库，其主要负责提供索引数据)中。区别于CompositeIndex，MixedIndex通常适用于用户使用时间戳(timestamp)、事件类型(eventType)、游戏产品代号(gameid)、用户设备唯一标识(udid)等进行范围查询的业务场景。例如：追踪特定用户在过去一周内完成的所有下单行为。该索引机制是将一个节点的所有索引属性值抽取出来，构造成分布式搜索引擎数据库中的一个文档。然后，在查询过程中，首先通过分布式搜索引擎数据库来提取符合查询过滤条件的文档属性，然后再从Hbase中获取原始数据，因此分布式搜索引擎数据库中返回的数据量大小将会直接影响到查询的响应时长。
此外，若索引配置方式不当，将很有可能会导致图类型数据库选择一个不合适的索引。该索引由于无法利用所有的查询条件，因此并不能有效地对数据进行过滤。例如：对于时间戳字段所设置的数据类型通常为整型，而对于事件类型标识字段所设置的数据类型通常为字符串，然而，如果在索引配置过程中，将时间戳字段的数据类型设置为字符串以及将事件类型标识字段的数据类型设置为整型，那么便会引发上述索引配置方式不当的情形。
可选地，在步骤S183中，通过查询索引确定待查询对象可以包括以下执行步骤：
步骤S1831，当查询索引为第二类索引中的全部混合索引时，通过全部混合索引中所包含的全部查询属性查找到待查询对象。
仍然如图3所示，对于全部混合索引(allMixedIndex)而言，该索引建立在所有需要用于查询的属性字段，其包括但不限于：timestamp、eventType、udid、gameid。设置该超级索引的作用在于：使得分布式搜索引擎数据库能够命中所有可能的过滤查询条件，而分布式搜索引擎数据库所建立的倒排索引机制能够使得用户的过滤条件越丰富，则查询返回的结果集越少，从而能够极大地提升海量数据的查询效率。
可选地，在步骤S183中，通过查询索引确定待查询对象可以包括以下执行步骤：
步骤S1832，当查询索引为第二类索引中的时间戳与事件类型混合索引时，通过时间戳与事件类型混合索引中所包含的时间戳查询属性与事件类型查询属性查找到待查询对象。
仍然如图3所示，对于时间戳与事件类型混合索引(timestampEventTypeMixedIndex)而言，该索引建立在timestamp与eventType属性字段上。设置该超级索引的作用在于：由于在实际查询过程中存在用户只通过时间戳与事件类型进行查询的业务场景，因此，在此种场景下，通过命中该索引能够使得分布式搜索引擎数据库返回的数据比allMixedIndex更加精简，由此进一步地提高查询效率。即，采用时间戳与事件类型的粗粒度、定制化索引查询方式与上述属性字段复杂的allMixedIndex索引查询方式相比，响应时间更短、命中条目更加精简。
可选地，在步骤S182中，对待查询对象进行存取操作可以包括以下执行步骤：
步骤S1821，获取与待查询对象的第一主键对应的外键；
步骤S1822，基于外键查找关联的第二主键；
步骤S1823，采用第二主键从第二预设存储空间获取待查询的业务日志数据。
需要说明的是，上述步骤S184所执行的“对待查询对象进行存取操作”与步骤S182所执行的“对待查询对象进行存取操作”步骤相同，此处不再赘述。
如上所述，由于Log存储在分布式搜索引擎数据库中，而Event和Trace存储在图类型数据库中，即两者分离存储，因此，为了能够实现对待查询对象进行存取操作，在确定待查询对象(即特定Event)之后，可以通过待查询对象的第一主键(即event_id)查找该event_id对应的外键(即fk_log_id)，然后再通过fk_log_id所关联的第二主键(log_id)从分布式搜索引擎数据库中获取Log记录。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种链路数据存取装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明其中一实施例的链路数据存取装置的结构框图，如图4所示，该装置包括：第一获取模块10，用于获取多个服务节点的业务日志数据，其中，业务日志数据中记录有不同类型业务动作对应的日志记录；解析模块20，用于根据日志记录解析成不同类型的多个业务事件；组成模块30，用于基于链路模板将不同类型的多个业务事件组成业务链路，并将业务链路存储至第一预设存储空间，其中，链路模板根据业务流程预先建立的树结构，第一预设存储空间为分布式图类型数据库；第二获取模块40，用于获取查询索引；处理模块50，用于根据查询索引对业务链路中的数据内容进行存取操作。
可选地，第一获取模块10，用于从第二预设存储空间获取业务日志数据，其中，第二预设存储空间为分布式搜索引擎数据库。
可选地，处理模块50包括：确定单元(图中未示出)，用于当查询索引属于第一类索引时，通过查询索引确定待查询对象，其中，第一类索引为等值查询索引，待查询对象为以下之一：第一类索引对应的业务事件，第一类索引对应的边；处理单元(图中未示出)，用于对待查询对象进行存取操作。
可选地，确定单元(图中未示出)，用于当查询索引为第一类索引中的节点标识组合索引时，通过节点标识组合索引查找到业务链路的起始节点；以及从起始节点开始逐级遍历业务链路，直至查找到待查询对象。
可选地，确定单元(图中未示出)，用于当查询索引为第一类索引中的边标识组合索引时，通过边标识组合索引查找到业务链路中的对应边。
可选地，确定单元(图中未示出)，用于当查询索引属于第二类索引时，通过查询索引确定待查询对象，其中，第二类索引为范围查询索引，待查询对象为第二类索引对应范围内的至少一条业务链路；处理单元(图中未示出)，用于对待查询对象进行存取操作。
可选地，确定单元(图中未示出)，用于当查询索引为第二类索引中的全部混合索引时，通过全部混合索引中所包含的全部查询属性查找到待查询对象。
可选地，确定单元(图中未示出)，用于当查询索引为第二类索引中的时间戳与事件类型混合索引时，通过时间戳与事件类型混合索引中所包含的时间戳查询属性与事件类型查询属性查找到待查询对象。
可选地，处理单元(图中未示出)，用于获取与待查询对象的第一主键对应的外键；基于外键查找关联的第二主键；采用第二主键从第二预设存储空间获取待查询的业务日志数据。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取多个服务节点的业务日志数据，其中，业务日志数据中记录有不同类型业务动作对应的日志记录；
S2，根据日志记录解析成不同类型的多个业务事件；
S3，基于链路模板将不同类型的多个业务事件组成业务链路，并将业务链路存储至第一预设存储空间，其中，链路模板根据业务流程预先建立的树结构，第一预设存储空间为分布式图类型数据库；
S4，获取查询索引；
S5，根据查询索引对业务链路中的数据内容进行存取操作。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取多个服务节点的业务日志数据，其中，业务日志数据中记录有不同类型业务动作对应的日志记录；
S2，根据日志记录解析成不同类型的多个业务事件；
S3，基于链路模板将不同类型的多个业务事件组成业务链路，并将业务链路存储至第一预设存储空间，其中，链路模板根据业务流程预先建立的树结构，第一预设存储空间为分布式图类型数据库；
S4，获取查询索引；
S5，根据查询索引对业务链路中的数据内容进行存取操作。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (13)
1.一种链路数据存取方法，其特征在于包括：
获取多个服务节点的业务日志数据，其中，所述业务日志数据中记录有不同类型业务动作对应的日志记录；
根据所述日志记录解析成不同类型的多个业务事件；
基于链路模板将所述不同类型的多个业务事件组成业务链路，并将所述业务链路存储至第一预设存储空间，其中，所述链路模板根据业务流程预先建立的树结构，所述第一预设存储空间为分布式图类型数据库；
获取查询索引；
根据所述查询索引对所述业务链路中的数据内容进行存取操作。
2.根据权利要求1所述的方法，其特征在于，获取所述多个服务节点的所述业务日志数据包括：
从第二预设存储空间获取所述业务日志数据，其中，所述第二预设存储空间为分布式搜索引擎数据库。
3.根据权利要求1所述的方法，其特征在于，根据所述查询索引对所述业务链路中的数据内容进行存取操作包括：
当所述查询索引属于第一类索引时，通过所述查询索引确定待查询对象，其中，所述第一类索引为等值查询索引，所述待查询对象为以下之一：所述第一类索引对应的业务事件，所述第一类索引对应的边；
对所述待查询对象进行存取操作。
4.根据权利要求3所述的方法，其特征在于，通过所述查询索引确定所述待查询对象包括：
当所述查询索引为所述第一类索引中的节点标识组合索引时，通过所述节点标识组合索引查找到所述业务链路的起始节点，其中，所述起始节点用于记录所述业务链路中所包含的全部业务事件的摘要信息；
从所述起始节点开始逐级遍历所述业务链路，直至查找到所述待查询对象。
5.根据权利要求3所述的方法，其特征在于，通过所述查询索引确定所述待查询对象包括：
当所述查询索引为所述第一类索引中的边标识组合索引时，通过所述边标识组合索引查找到所述业务链路中的对应边。
6.根据权利要求1所述的方法，其特征在于，根据所述查询索引对所述业务链路中的数据内容进行存取操作包括：
当所述查询索引属于第二类索引时，通过所述查询索引确定待查询对象，其中，所述第二类索引为范围查询索引，所述待查询对象为所述第二类索引对应范围内的至少一条业务链路；
对所述待查询对象进行存取操作。
7.根据权利要求6所述的方法，其特征在于，通过所述查询索引确定所述待查询对象包括：
当所述查询索引为所述第二类索引中的全部混合索引时，通过所述全部混合索引中所包含的全部查询属性查找到所述待查询对象。
8.根据权利要求6所述的方法，其特征在于，通过所述查询索引确定所述待查询对象包括：
当所述查询索引为所述第二类索引中的时间戳与事件类型混合索引时，通过所述时间戳与事件类型混合索引中所包含的时间戳查询属性与事件类型查询属性查找到所述待查询对象。
9.根据权利要求3或6所述的方法，其特征在于，对所述待查询对象进行存取操作包括：
获取与所述待查询对象的第一主键对应的外键；
基于所述外键查找关联的第二主键；
采用所述第二主键从第二预设存储空间获取待查询的业务日志数据。
10.一种链路数据存取装置，其特征在于，包括：
第一获取模块，用于获取多个服务节点的业务日志数据，其中，所述业务日志数据中记录有不同类型业务动作对应的日志记录；
解析模块，用于根据所述日志记录解析成不同类型的多个业务事件；
组成模块，用于基于链路模板将所述不同类型的多个业务事件组成业务链路，并将所述业务链路存储至第一预设存储空间，其中，所述链路模板根据业务流程预先建立的树结构，所述第一预设存储空间为分布式图类型数据库；
第二获取模块，用于获取查询索引；
处理模块，用于根据所述查询索引对所述业务链路中的数据内容进行存取操作。
11.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至9任一项中所述的链路数据存取方法。
12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序被设置为运行时执行所述权利要求1至9任一项中所述的链路数据存取方法。
13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至9任一项中所述的链路数据存取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910855126.XA CN112559513A (zh) | 2019-09-10 | 2019-09-10 | 链路数据存取方法、装置、存储介质、处理器及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910855126.XA CN112559513A (zh) | 2019-09-10 | 2019-09-10 | 链路数据存取方法、装置、存储介质、处理器及电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112559513A true CN112559513A (zh) | 2021-03-26 |
Family
ID=75028927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910855126.XA Pending CN112559513A (zh) | 2019-09-10 | 2019-09-10 | 链路数据存取方法、装置、存储介质、处理器及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112559513A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113259981A (zh) * | 2021-06-01 | 2021-08-13 | 南京典格通信科技有限公司 | 基于ddr4的5g数据链路验证系统及其验证方法 |
| CN113342744A (zh) * | 2021-06-02 | 2021-09-03 | 北京优特捷信息技术有限公司 | 调用链的并行构建方法、装置、设备及存储介质 |
| CN113709059A (zh) * | 2021-08-27 | 2021-11-26 | 中国工商银行股份有限公司 | 一种链路流量录制方法及节点 |
| CN114629949A (zh) * | 2021-12-13 | 2022-06-14 | 美的网络信息服务(深圳)有限公司 | 业务监控方法、电子设备及计算机存储介质 |
| CN115712664A (zh) * | 2023-01-10 | 2023-02-24 | 无锡容智技术有限公司 | 基于日志数据根据时间帧筛选案例的方法与系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160048608A1 (en) * | 2014-08-15 | 2016-02-18 | Good Start Genetics, Inc. | Systems and methods for genetic analysis |
| CN106484815A (zh) * | 2016-09-26 | 2017-03-08 | 北京赛思信安技术股份有限公司 | 一种基于海量数据类sql检索场景的自动识别优化方法 |
| CN106886853A (zh) * | 2017-02-20 | 2017-06-23 | 广州支点网络科技股份有限公司 | 基于引用发起的工作流程关联方法及其系统 |
| CN107306196A (zh) * | 2016-04-20 | 2017-10-31 | 中兴通讯股份有限公司 | 虚拟化服务监控方法和装置 |
| CN107783993A (zh) * | 2016-08-25 | 2018-03-09 | 阿里巴巴集团控股有限公司 | 数据的存储方法和装置 |
| CN108228322A (zh) * | 2016-12-12 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 一种分布式链路跟踪、分析方法及服务器、全局调度器 |
| CN108874559A (zh) * | 2018-05-31 | 2018-11-23 | 康键信息技术（深圳）有限公司 | 电子装置、分布式系统业务链路分析方法及存储介质 |
| CN109284435A (zh) * | 2018-03-28 | 2019-01-29 | 北京航空航天大学 | 面向互联网的用户交互痕迹捕获、存储和检索的系统及方法 |
| CN109639809A (zh) * | 2018-12-20 | 2019-04-16 | 上海拍拍贷金融信息服务有限公司 | 一种业务数据请求链路监控的方法及装置 |
-
2019
- 2019-09-10 CN CN201910855126.XA patent/CN112559513A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160048608A1 (en) * | 2014-08-15 | 2016-02-18 | Good Start Genetics, Inc. | Systems and methods for genetic analysis |
| CN107306196A (zh) * | 2016-04-20 | 2017-10-31 | 中兴通讯股份有限公司 | 虚拟化服务监控方法和装置 |
| CN107783993A (zh) * | 2016-08-25 | 2018-03-09 | 阿里巴巴集团控股有限公司 | 数据的存储方法和装置 |
| CN106484815A (zh) * | 2016-09-26 | 2017-03-08 | 北京赛思信安技术股份有限公司 | 一种基于海量数据类sql检索场景的自动识别优化方法 |
| CN108228322A (zh) * | 2016-12-12 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 一种分布式链路跟踪、分析方法及服务器、全局调度器 |
| CN106886853A (zh) * | 2017-02-20 | 2017-06-23 | 广州支点网络科技股份有限公司 | 基于引用发起的工作流程关联方法及其系统 |
| CN109284435A (zh) * | 2018-03-28 | 2019-01-29 | 北京航空航天大学 | 面向互联网的用户交互痕迹捕获、存储和检索的系统及方法 |
| CN108874559A (zh) * | 2018-05-31 | 2018-11-23 | 康键信息技术（深圳）有限公司 | 电子装置、分布式系统业务链路分析方法及存储介质 |
| CN109639809A (zh) * | 2018-12-20 | 2019-04-16 | 上海拍拍贷金融信息服务有限公司 | 一种业务数据请求链路监控的方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| IT993: "hugegraph图数据库索引详解", 《HTTPS://BLOG.CSDN.NET/IT1993/ARTICLE/DETAILS/89492296》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113259981A (zh) * | 2021-06-01 | 2021-08-13 | 南京典格通信科技有限公司 | 基于ddr4的5g数据链路验证系统及其验证方法 |
| CN113259981B (zh) * | 2021-06-01 | 2021-10-01 | 南京典格通信科技有限公司 | 基于ddr4的5g数据链路验证系统及其验证方法 |
| CN113342744A (zh) * | 2021-06-02 | 2021-09-03 | 北京优特捷信息技术有限公司 | 调用链的并行构建方法、装置、设备及存储介质 |
| CN113709059A (zh) * | 2021-08-27 | 2021-11-26 | 中国工商银行股份有限公司 | 一种链路流量录制方法及节点 |
| CN113709059B (zh) * | 2021-08-27 | 2024-02-02 | 中国工商银行股份有限公司 | 一种链路流量录制方法及节点 |
| CN114629949A (zh) * | 2021-12-13 | 2022-06-14 | 美的网络信息服务(深圳)有限公司 | 业务监控方法、电子设备及计算机存储介质 |
| CN115712664A (zh) * | 2023-01-10 | 2023-02-24 | 无锡容智技术有限公司 | 基于日志数据根据时间帧筛选案例的方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112559513A (zh) | 链路数据存取方法、装置、存储介质、处理器及电子装置 | |
| US9348934B2 (en) | Systems and methods for facilitating open source intelligence gathering | |
| CN104699718B (zh) | 用于快速引入业务数据的方法和装置 | |
| US20130046771A1 (en) | Systems and methods for facilitating the gathering of open source intelligence | |
| CN104111941B (zh) | 信息展示的方法及设备 | |
| CN110647512B (zh) | 一种数据存储和分析方法、装置、设备和可读介质 | |
| US20140317117A1 (en) | Method, device and computer storage media for user preferences information collection | |
| CN104144181B (zh) | 一种网络视频终端聚合方法及系统 | |
| US20210185386A1 (en) | Video playing method and apparatus, electronic device, and storage medium | |
| CN106326391A (zh) | 多媒体资源推荐方法及装置 | |
| CN102999586A (zh) | 一种网站推荐的方法和装置 | |
| CN105721944A (zh) | 智能电视的新闻资讯推荐方法 | |
| US20170046447A1 (en) | Information Category Obtaining Method and Apparatus | |
| CN110727857A (zh) | 针对业务对象识别潜在用户的关键特征的方法及装置 | |
| CN103186595A (zh) | 音视频推荐方法及系统 | |
| CN108200070A (zh) | 一种生成榜单的方法及装置 | |
| CN105095436A (zh) | 数据源数据自动建模方法 | |
| CN105608158A (zh) | 一种瀑布流式显示图片的方法和装置 | |
| CN110727702A (zh) | 数据查询方法、装置、终端和计算机可读存储介质 | |
| CN103064908A (zh) | 一种通过内存快速去重名单的方法 | |
| CN105589935A (zh) | 社交群组识别方法 | |
| CN104965903A (zh) | 一种资源的推荐方法和装置 | |
| CN110347922A (zh) | 基于相似度的推荐方法、装置、设备和存储介质 | |
| CN113094444B (zh) | 数据处理方法、数据处理装置、计算机设备和介质 | |
| WO2023207451A1 (zh) | 一种搜索结果展示的方法、搜索请求处理方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210326 |
|
| RJ01 | Rejection of invention patent application after publication |