CN113709059B - 一种链路流量录制方法及节点 - Google Patents
一种链路流量录制方法及节点 Download PDFInfo
- Publication number
- CN113709059B CN113709059B CN202110996146.6A CN202110996146A CN113709059B CN 113709059 B CN113709059 B CN 113709059B CN 202110996146 A CN202110996146 A CN 202110996146A CN 113709059 B CN113709059 B CN 113709059B
- Authority
- CN
- China
- Prior art keywords
- file
- recording
- flow
- index information
- service node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 238000013507 mapping Methods 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000009434 installation Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 21
- 238000011835 investigation Methods 0.000 abstract description 10
- 239000003795 chemical substances by application Substances 0.000 description 18
- 230000006870 function Effects 0.000 description 15
- 230000006854 communication Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000004900 laundering Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供一种链路流量录制方法及节点,涉及金融领域,该方法包括:录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件;根据所述流量文件的存储信息生成正排索引信息;向流量录制管理节点传输所述正排索引信息,以使所述录制管理节点根据所述正排索引信息生成对应的倒排索引信息,并根据所述倒排索引信息拉取对应的流量文件。本申请可以根据需求保留相关业务的生产流量信息,缩小排查范围;同时基于倒排索引与拉取模式回放生产流量,提升查询性能,增强性能容量,解决性能瓶颈。
Description
技术领域
本申请涉及金融领域,具体涉及链路流量录制方法及节点。
背景技术
目前流量录制平台基于网络流量回放:采集操作系统系统网卡流量,解析出
交易要素进行回放,网卡流量是全量流量,最后通过推模式将流量推送到流量录制平台,但存在以下问题:
1、流量录制平台性能容量有压力、录放加载比较慢;
2、无法自定义流量,平台压力需处理大量冗余或无关信息。
发明内容
针对现有技术中的问题,本申请提供一种链路流量录制方法及节点,录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件;根据所述流量文件的存储信息生成正排索引信息;向流量录制管理节点传输所述正排索引信息,以使所述录制管理节点根据所述正排索引信息生成对应的倒排索引信息,并根据所述倒排索引信息拉取对应的流量文件。本发明可以根据需求保留相关业务的生产流量信息,缩小排查范围;同时基于倒排索引与拉取模式回放生产流量,提升查询性能,增强性能容量,解决性能瓶颈。
本发明的一方面,提供一种链路流量录制方法,所述链路包括一流量录制管理节点和至少一个业务服务节点,所述方法应用于业务服务节点,所述录制方法包括:
录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件;
根据所述流量文件的存储信息生成正排索引信息;
向流量录制管理节点传输所述正排索引信息,以使所述录制管理节点根据所述正排索引信息生成对应的倒排索引信息,并根据所述倒排索引信息拉取对应的流量文件。
在优选的实施例中,每个业务服务节点包括录制开关标识,所述方法还包括:
根据所述录制开关标识确定是否录制调用对应服务过程中产生的流量数据;其中,若确定为是,则执行所述录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件的步骤。
在优选的实施例中,所述确定所述录制开关标识,包括:
若相邻上一业务服务节点的录制开关标识为录制,则当前业务服务节点的录制开关标识确定为录制;
若相邻上一业务服务节点的录制开关标识为不录制,则当前业务服务节点的录制开关标识确定为不录制。
在优选的实施例中,所述录制该业务服务节点调用对应服务过程中产生的流量数据,包括:
在所述业务服务节点中安装agent流量录制插件;
通过所述agent流量录制插件,录制该业务服务节点调用对应服务过程中产生的流量数据。
在优选的实施例中,所述生成流量文件,包括:
每隔预设时长,生成一流量文件单元。
在优选的实施例中,所述向流量录制管理节点传输所述正排索引信息,包括:
当一流量文件单元生成之后,相邻下一流量文件单元生成之前,向流量录制管理节点传输所述正排索引信息。
本发明的又一方面,提供一种链路流量录制方法,所述链路包括一流量录制管理节点和至少一个业务服务节点,所述方法应用于流量录制管理节点,包括:
接收业务服务节点传输的正排索引信息;
根据所述正排索引信息,生成倒排索引信息;
根据倒排索引信息及待拉取文件特征信息,拉取相应的流量文件。
在优选的实施例中,所述根据所述正排索引信息,生成倒排索引信息,包括:
将所述正排索引信息存储至一预设的文件名称与文件特征的映射表中;
将所述文件名称与文件特征的映射表,按照文件特征进行分类,生成倒排索引信息。
在优选的实施例中,所述根据倒排索引信息及待拉取文件特征信息,拉取相应的流量文件,包括:
根据所述倒排索引信息和待拉取文件特征信息,索引出待拉取文件的文件路径信息;
从所述业务服务节点拉取对应的流量文件。
本发明的又一方面,提供一种业务服务节点,包括:
流量录制模块,录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件;
正排索引生成模块,根据所述流量文件的存储信息生成正排索引信息;
正排索引传输模块,向流量录制管理节点传输所述正排索引信息,以使所述录制管理节点根据所述正排索引信息生成对应的倒排索引信息,并根据所述倒排索引信息拉取对应的流量文件。
在优选的实施例中,所述业务服务节点还包括:
录制开关标识。
在优选的实施例中,还包括:
录制开关标识确定模块,若相邻上一业务服务节点的录制开关标识为录制,则当前业务服务节点的录制开关标识确定为录制,若相邻上一业务服务节点的录制开关标识为不录制,则当前业务服务节点的录制开关标识确定为不录制。
在优选的实施例中,所述流量录制模块,包括:
插件安装单元,在所述业务服务节点中安装agent流量录制插件;
流量录制单元,通过所述agent流量录制插件,录制该业务服务节点调用对应服务过程中产生的流量数据。
在优选的实施例中,所述流量录制模块,还包括:
流量文件单元生成单元,每隔预设时长,生成一流量文件单元。
在具体的实施例中,所述正排索引传输模块,包括:
传输时刻确定单元,当一流量文件单元生成之后,相邻下一流量文件单元生成之前,向流量录制管理节点传输所述正排索引信息。
本发明的又一方面,提供一种流量录制管理节点,包括:
正排索引接收模块,接收业务服务节点传输的正排索引信息;
倒排索引生成模块,根据所述正排索引信息,生成倒排索引信息;
流量文件拉取模块,根据倒排索引信息及待拉取文件特征信息,拉取相应的流量文件。
在优选的实施例中,所述倒排索引生成模块,包括:
正排索引映射单元,将所述正排索引信息存储至一预设的文件名称与文件特征的映射表中;
倒排索引生成单元,将所述文件名称与文件特征的映射表,按照文件特征进行分类,生成倒排索引信息。
在优选的实施例中,所述流量拉取模块,包括:
文件索引单元,根据所述倒排索引信息和待拉取文件特征信息,索引出待拉取文件的文件路径信息;
文件拉取单元,从所述业务服务节点拉取对应的流量文件。
本发明的又一方面,提供一种链路流量录制节点,包括:
风险名单获取模块,获取区块链上广播的洗钱风险名单;
比对模块,解密所述洗钱风险名单,并与当前进行业务办理的客户对应的身份信息进行比对;
预警监控模块,若所述身份信息处于所述洗钱风险名单中,生成监控预警信息。
在优选的实施例中,还包括:
身份信息获取模块,获取所述身份信息。
在优选的实施例中,所述身份信息获取模块,包括:
特征采集单元,采集所述客户进行业务办理过程中产生的特征信息;
身份信息确定单元,根据所述特征信息确定所述客户的身份信息。
在优选的实施例中,还包括:风险等级确定模块,若所述身份信息不处于所述洗钱风险名单,确定客户当前进行业务办理对应的操作的风险等级。
在优选的实施例中,还包括:
更新风险名单模块,若风险等级超过设定等级,则更新所述洗钱风险名单。
在优选的实施例中,还包括:
共识风险名单模块,将更新的洗钱风险名单广播至区块链,以连同所述区块链中的其他银行节点对所述洗钱风险名单进行共识,若共识通过,则所述区块链更新并存储所述洗钱风险名单。
在优选的实施例中,所述风险等级确定模块,包括:
信息匹配单元,将当前客户的身份信息与其操作的账户信息进行匹配;
统计匹配失败次数单元,若匹配失败,将当前客户对应的匹配失败次数加一;
风险等级确定单元,若所述匹配失败次数若大于第一预设阈值,则将客户的风险等级确定为高风险等级。
在优选的实施例中,所述风险等级确定模块,还包括:
交易频率获取单元,获取客户当前进行业务办理的IP地址的交易频率信息;
风险等级确定单元,若所述交易频率大于第二预设阈值,则将客户的风险等级确定为高风险等级。
在优选的实施例中,所述风险等级确定模块,还包括:
身份类别确定单元,根据当前客户的身份信息确定对应的身份类别,所述身份类别包括:公司类别和自然人类别;
风险等级确定单元,若公司类别与自然人类别之间的交易频率大于第三预设阈值且交易金额大于第四预设阈值,则将客户的风险等级确定为高风险等级。
在优选的实施例中,所述比对模块,包括:
零知识证明验证单元,通过验证所述当前进行业务办理的客户所对应的零知识证明,确定其是否处于所述洗钱风险名单。
在优选的实施例中,还包括:
零知识证明更新单元,每隔一预设时长更新所述零知识证明。
本发明的又一方面,本申请提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的链路流量录制方法。
本发明的又一方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的链路流量录制方法。
由上述技术方案可知,本申请提供的一种链路流量录制方法,方法包括:录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件;根据所述流量文件的存储信息生成正排索引信息;向流量录制管理节点传输所述正排索引信息,以使所述录制管理节点根据所述正排索引信息生成对应的倒排索引信息,并根据所述倒排索引信息拉取对应的流量文件。本发明可以根据需求保留相关业务的生产流量信息,缩小排查范围;同时基于倒排索引与拉取模式回放生产流量,提升查询性能,增强性能容量,解决性能瓶颈。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是应用于业务服务节点的链路流量录制方法流程示意图。
图2是流量录制流程示意图。
图3是一具体实施例中的服务链路示意图。
图4是应用于流量录制节点的链路流量录制方法流程示意图。
图5是倒排索引生成流程示意图。
图6是流量文件拉取流程示意图。
图7是业务服务节点的结构示意图。
图8是流量录制管理节点的结构示意图。
图9是本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请公开的链路流量录制方法及节点可用于金融领域,也可用于除金融领域之外的任意领域,本申请公开的链路流量录制方法及节点的应用领域不做限定。
目前流量录制平台基于网络流量回放:采集操作系统系统网卡流量,解析出
交易要素进行回放,网卡流量是全量流量,最后通过推模式将流量推送到流量录制平台,但存在以下问题:
1、流量录制平台性能容量有压力、录放加载比较慢;
2、无法自定义流量,平台压力需处理大量冗余或无关信息。
针对现有技术中的问题,本申请提供一种链路流量录制方法及节点,录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件;根据所述流量文件的存储信息生成正排索引信息;向流量录制管理节点传输所述正排索引信息,以使所述录制管理节点根据所述正排索引信息生成对应的倒排索引信息,并根据所述倒排索引信息拉取对应的流量文件,从而本发明可以根据需求保留相关业务的生产流量信息,缩小排查范围;同时基于倒排索引与拉取模式回放生产流量,提升查询性能,增强性能容量,解决性能瓶颈。
下面结合附图对本发明提供的链路流量录制方法及节点进行详细说明。
在具体的实施例中,本申请提供一种链路流量录制方法,所述链路包括一流量录制管理节点和至少一个业务服务节点,所述方法应用于业务服务节点,如图1,所述录制方法包括:
S1:录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件;
具体的,对于某一项具体业务而言,其过程会涉及到多个微服务,例如完成一个手机支付业务,需要手机端的微服务,支付银行的微服务,收款银行的微服务。这些微服务之间可以是存在先后的调用关系,也可以是同时运行的并列关系,形成了一个完整的链路,将链路中调用的每个微服务视为一个业务服务节点。每个业务服务节点所对应的微服务被调用时,都是需要通过网络进行通讯的,在通讯的过程中必然产生流量数据,对业务服务节点调用对应服务过程中产生的流量数据进行录制。
在具体的实施例中,每个业务服务节点包括录制开关标识,所述方法还包括:
根据所述录制开关标识确定是否录制调用对应服务过程中产生的流量数据;其中,若确定为是,则执行所述录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件的步骤。可以理解,在具体的实施例中,有时仅需要录制整个业务服务链路中部分业务服务节点的流量数据,故采用录制开关标识来对需要录制流量数据的业务服务节点进行标识,若录制开关标识为是,则进行对应的流量录制;若录制开关标识为否,则不进行对应的流量录制。
在具体的实施例中,所述录制该业务服务节点调用对应服务过程中产生的流量数据,如图2,包括:
S11:在所述业务服务节点中安装agent流量录制插件;
具体的,构建一个独立于应用程序的代理程序即为Agent,用来协助监测、运行甚至替换其他JVM上的程序。此类agent流量录制插件主要实现的功能为拦截流量数据,实质是一个dubbo拦截器,agent中封装一个公共方法:RpcContext.getRecordTag,该方法可以获取录制开关标识。
S12:通过所述agent流量录制插件,录制该业务服务节点调用对应服务过程中产生的流量数据。
具体的,agent流量录制插件可以拦截服务调用的输入输出参数、服务名、业务服务节点名、录制开关标识等,即所述流量数据。
在具体的实施例中,所述生成流量文件,包括:
每隔预设时长,生成一流量文件单元。
具体的,为了避免流量文件过大,可以将一个大的流量文件拆分为多个流量文件单元进行逐个保存,每隔预设时长,生成一流量文件单元,例如预设时长可以为1小时,以便控制它的大小和数量。
在具体的实施例中,所述确定所述录制开关标识,包括:
若相邻上一业务服务节点的录制开关标识为录制,则当前业务服务节点的录制开关标识确定为录制;若相邻上一业务服务节点的录制开关标识为不录制,则当前业务服务节点的录制开关标识确定为不录制。
具体的,如图3所示,若一个业务涉及到多个服务,包括:服务A、服务B、服务C、服务D。当服务A调服务B时,使用RpcContext.setRecordTag将录制开关标识进行初始化,使用dubbo的RpcContext可以将信息一直保存在链路中,在服务B中,可以使用RpcContext.getRecordTag获取录制开关标识的值。当B再调C时,该录制信息还是会保存,故能全链路获取并判断录制开关标识的值。
S2:根据所述流量文件的存储信息生成正排索引信息;
在具体的实施例中,所述正排索引是通过key找value,此时key是流量文件的文件名称,可通过文件名称搜索关联了文件名称的特征信息。例如一个流量文件的名称为name.dat,其关联的特征信息为服务名为A、业务服务节点名为A11、录制开关标识为true,故正排索引的key为name.dat,value为A,A11,true。
S3:向流量录制管理节点传输所述正排索引信息,以使所述录制管理节点根据所述正排索引信息生成对应的倒排索引信息,并根据所述倒排索引信息拉取对应的流量文件。
具体的,为了减轻录制管理节点的存储压力,当业务服务节点生成了录制的流量文件后,仅将流量文件对应的正排索引信息上传给流量录制管理节点。业务服务节点与流量录制管理节点之间的通讯方式可以是有线网络,也可以是无线网络。对于传输的正排索引信息可以为加密后的信息,然后通过公共网络进行上传,也可以通过录制管理节点与业务服务节点之间建立的私有网络进行上传。
在具体的实施例中,所述向流量录制管理节点传输所述正排索引信息,包括:
当一流量文件单元生成之后,相邻下一流量文件单元生成之前,向流量录制管理节点传输所述正排索引信息。
具体的,对于正排索引上传的时机,选择为当一个流量文件单元生成之后,相邻下一个流量文件单元生成之前。例如流量文件单元的生成时刻为9:00:00,相邻下一流量文件单元开始生成的时刻为9:00:02,则将流量文件对应的正排索引进行上传的时刻为9:00:01。
在具体的实施例中,本申请提供一种链路流量录制方法,所述链路包括一流量录制管理节点和至少一个业务服务节点,所述方法应用于流量录制管理节点,如图4,包括:
S101:接收业务服务节点传输的正排索引信息;
在具体的实施例中,流量录制管理节点接收到业务服务节点传输的正排索引信息。可以理解的是,业务服务节点传输的正排索引信息可以是不经过加密的,也可以是加密后的。若为加密后的信息,则在接收到正排索引密文后,需要对密文进行解密。
S102:根据所述正排索引信息,生成倒排索引信息;
具体的,倒排索引是指通过key找value,此时key是流量文件的特征信息,即可索引出对应的流量文件名称,该些流量文件名称即由key索引出的value。比如倒排索引中的key为录制开关标识为true,业务服务节点名为A11,索引出的value值由4条,分别为name1.dat,name2.dat,name3.dat和name4.dat。
在具体的实施例中,所述根据所述正排索引信息,生成倒排索引信息,如图5,包括:
S1021:将所述正排索引信息存储至一预设的文件名称与文件特征的映射表中;
具体的,将正排索引信息添加至一预设的文件名称与文件特征的映射表,例如预设的映射表包含了四项特征,分别为录制开关标识,业务服务节点名称,服务名称,文件路径,加上文件名称,映射表一共包含了五个项目,分别为文件名称,录制开关标识,业务服务节点名称,服务名称,文件路径。假设正排索引信息的key为name.dat,value为录制开关标识为true,业务服务节点名称为A11,服务名称为A,文件路径为d:/files则将该正排索引信息按照相应的内容添加至映射表中。
S1022:将所述文件名称与文件特征的映射表,按照文件特征进行分类,生成倒排索引信息。
具体的,映射表中包含了流量文件的多种特征信息,例如录制开关标识,业务服务节点名称,服务名称,文件路径等,根据这些文件特征对流量文件进行分类,例如根据录制开关标识进行分类,标识为true的流量文件归为一类,标识为false的流量文件归为一类,生成的倒排索引信息。生成的倒排索引信息例如第一条索引记录为key为录制开关标识true,value为业务服务节点名称A11,服务名称A,文件路径d:/truefiles,文件名称name.dat;第二条索引记录为key为录制开关标识true,value为业务服务节点名称A12,服务名称A,文件路径d:/truefiles,文件名称name2.dat;第三条索引记录为key为录制开关标识false,value为业务服务节点名称B12,服务名称B,文件路径为空,文件名称为空;第四条索引记录为key为录制开关标识false,value为业务服务节点名称B11,服务名称B,文件路径为空,文件名称为空。
S103:根据倒排索引信息及待拉取文件特征信息,拉取相应的流量文件。
在具体的实施例中,所述根据倒排索引信息及待拉取文件特征信息,拉取相应的流量文件,如图6,包括:
S1031:根据所述倒排索引信息和待拉取文件特征信息,索引出待拉取文件的文件路径信息;
具体的,在倒排索引信息中,key为文件的特征,value对应这文件的路径信息。所以明确了待拉取文件特征,即key的值,即可以通过key索引出对应的文件路径信息。例如需要拉取与服务A相关的所有流量文件,则索引倒排索引中key为服务A的所有记录,例如索引出一共有4条记录,分别为第一条记录为录制开关标识true,业务服务节点名称A11,文件路径d:/truefiles,文件名称name1.dat;第二条记录为录制开关标识true,业务服务节点名称A11,文件路径d:/truefiles,文件名称name2.dat;第三条记录为录制开关标识true,业务服务节点名称A12,文件路径d:/truefiles,文件名称name3.dat;第一条记录为录制开关标识false,业务服务节点名称A11,文件路径为空,文件名称为空。
S1032:从所述业务服务节点拉取对应的流量文件。
具体的,通过倒排索引信息和待拉取文件特征信息,索引出待拉取文件的文件路径信息后,即可从对应的业务服务节点处拉取对应的流量文件。例如拉取业务服务节点的d:/truefiles/name3.dat流量文件。
由以上描述可知,本发明提供的一种链路流量录制方法,录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件;根据所述流量文件的存储信息生成正排索引信息;向流量录制管理节点传输所述正排索引信息,以使所述录制管理节点根据所述正排索引信息生成对应的倒排索引信息,并根据所述倒排索引信息拉取对应的流量文件,从而本发明可以准确地反应真实运行环境中不同时间段的数据库语句执行情况,具有良好的通用性,可对不同类型的数据库语句进行检测。
从软件层面来说,本申请提供一种用于执行所述链路流量录制方法中全部或部分内容的业务服务节点的实施例,参见图7,所述业务服务节点具体包含有如下内容:
流量录制模块1,录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件;
正排索引生成模块2,根据所述流量文件的存储信息生成正排索引信息;
正排索引传输模块3,向流量录制管理节点传输所述正排索引信息,以使所述录制管理节点根据所述正排索引信息生成对应的倒排索引信息,并根据所述倒排索引信息拉取对应的流量文件。
由以上描述可知,本发明提供的业务服务节点,本节点录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件;根据所述流量文件的存储信息生成正排索引信息;向流量录制管理节点传输所述正排索引信息,以使所述录制管理节点根据所述正排索引信息生成对应的倒排索引信息,并根据所述倒排索引信息拉取对应的流量文件。本发明可以根据需求保留相关业务的生产流量信息,缩小排查范围;同时基于倒排索引与拉取模式回放生产流量,提升查询性能,增强性能容量,解决性能瓶颈。
另一方面,本申请提供一种用于执行所述链路流量录制方法中全部或部分内容的流量录制管理节点的实施例,参见图8,所述流量录制管理节点具体包含有如下内容:
正排索引接收模块4,接收业务服务节点传输的正排索引信息;
倒排索引生成模块5,根据所述正排索引信息,生成倒排索引信息;
流量文件拉取模块6,根据倒排索引信息及待拉取文件特征信息,拉取相应的流量文件。
由以上描述可知,本发明提供的流量录制管理节点,本节点接收业务服务节点传输的正排索引信息;根据所述正排索引信息,生成倒排索引信息;根据倒排索引信息及待拉取文件特征信息,拉取相应的流量文件。本发明可以根据需求保留相关业务的生产流量信息,缩小排查范围;同时基于倒排索引与拉取模式回放生产流量,提升查询性能,增强性能容量,解决性能瓶颈。
在具体的实施例中,提供一种业务服务节点,如图7,具体包括:
流量录制模块1:录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件;
具体的,对于某一项具体业务而言,其过程会涉及到多个微服务,例如完成一个手机支付业务,需要手机端的微服务,支付银行的微服务,收款银行的微服务。这些微服务之间可以是存在先后的调用关系,也可以是同时运行的并列关系,形成了一个完整的链路,将链路中调用的每个微服务视为一个业务服务节点。每个业务服务节点所对应的微服务被调用时,都是需要通过网络进行通讯的,在通讯的过程中必然产生流量数据,对业务服务节点调用对应服务过程中产生的流量数据进行录制。
在具体的实施例中,每个业务服务节点包括录制开关标识,所述方法还包括:
根据所述录制开关标识确定是否录制调用对应服务过程中产生的流量数据;其中,若确定为是,则执行所述录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件的步骤。可以理解,在具体的实施例中,有时仅需要录制整个业务服务链路中部分业务服务节点的流量数据,故采用录制开关标识来对需要录制流量数据的业务服务节点进行标识,若录制开关标识为是,则进行对应的流量录制;若录制开关标识为否,则不进行对应的流量录制。
在具体的实施例中,所述流量录制模块,包括:
插件安装单元:在所述业务服务节点中安装agent流量录制插件;
具体的,构建一个独立于应用程序的代理程序即为Agent,用来协助监测、运行甚至替换其他JVM上的程序。此类agent流量录制插件主要实现的功能为拦截流量数据,实质是一个dubbo拦截器,agent中封装一个公共方法:RpcContext.getRecordTag,该方法可以获取录制开关标识。
流量录制单元:通过所述agent流量录制插件,录制该业务服务节点调用对应服务过程中产生的流量数据。
具体的,agent流量录制插件可以拦截服务调用的输入输出参数、服务名、业务服务节点名、录制开关标识等,即所述流量数据。
在具体的实施例中,所述流量录制模块,包括:
流量文件单元生成单元:每隔预设时长,生成一流量文件单元。
具体的,为了避免流量文件过大,可以将一个大的流量文件拆分为多个流量文件单元进行逐个保存,每隔预设时长,生成一流量文件单元,例如预设时长可以为1小时,以便控制它的大小和数量。
在具体的实施例中,业务服务节点还包括录制开关标识确定模块,具体为:
若相邻上一业务服务节点的录制开关标识为录制,则当前业务服务节点的录制开关标识确定为录制;若相邻上一业务服务节点的录制开关标识为不录制,则当前业务服务节点的录制开关标识确定为不录制。
具体的,如图3所示,若一个业务涉及到多个服务,包括:服务A、服务B、服务C、服务D。当服务A调服务B时,使用RpcContext.setRecordTag将录制开关标识进行初始化,使用dubbo的RpcContext可以将信息一直保存在链路中,在服务B中,可以使用RpcContext.getRecordTag获取录制开关标识的值。当B再调C时,该录制信息还是会保存,故能全链路获取并判断录制开关标识的值。
正排索引生成模块2:根据所述流量文件的存储信息生成正排索引信息;
在具体的实施例中,所述正排索引是通过key找value,此时key是流量文件的文件名称,可通过文件名称搜索关联了文件名称的特征信息。例如一个流量文件的名称为name.dat,其关联的特征信息为服务名为A、业务服务节点名为A11、录制开关标识为true,故正排索引的key为name.dat,value为A,A11,true。
正排索引传输模块3:向流量录制管理节点传输所述正排索引信息,以使所述录制管理节点根据所述正排索引信息生成对应的倒排索引信息,并根据所述倒排索引信息拉取对应的流量文件。
具体的,为了减轻录制管理节点的存储压力,当业务服务节点生成了录制的流量文件后,仅将流量文件对应的正排索引信息上传给流量录制管理节点。业务服务节点与流量录制管理节点之间的通讯方式可以是有线网络,也可以是无线网络。对于传输的正排索引信息可以为加密后的信息,然后通过公共网络进行上传,也可以通过录制管理节点与业务服务节点之间建立的私有网络进行上传。
在具体的实施例中,所述正排索引传输模块,还包括:
传输时刻确定单元:当一流量文件单元生成之后,相邻下一流量文件单元生成之前,向流量录制管理节点传输所述正排索引信息。
具体的,对于正排索引上传的时机,选择为当一个流量文件单元生成之后,相邻下一个流量文件单元生成之前。例如流量文件单元的生成时刻为9:00:00,相邻下一流量文件单元开始生成的时刻为9:00:02,则将流量文件对应的正排索引进行上传的时刻为9:00:01。
由以上描述可知,本发明提供的一种业务服务节点,包括动态信息获取模块1,用于执行获取程序执行过程中数据库语句的动态信息,所述动态信息包括多个程序执行时数据库语句的调用特征数据;异常语句检测模块2,用于执行根据所述动态信息检测异常数据库语句。本发明可以根据需求保留相关业务的生产流量信息,缩小排查范围;同时基于倒排索引与拉取模式回放生产流量,提升查询性能,增强性能容量,解决性能瓶颈。
在具体的实施例中,本申请提供一种流量录制管理节点,如图8,包括:
正排索引接收模块4:接收业务服务节点传输的正排索引信息;
在具体的实施例中,流量录制管理节点接收到业务服务节点传输的正排索引信息。可以理解的是,业务服务节点传输的正排索引信息可以是不经过加密的,也可以是加密后的。若为加密后的信息,则在接收到正排索引密文后,需要对密文进行解密。
倒排索引生成模块5:根据所述正排索引信息,生成倒排索引信息;
具体的,倒排索引是指通过key找value,此时key是流量文件的特征信息,即可索引出对应的流量文件名称,该些流量文件名称即由key索引出的value。比如倒排索引中的key为录制开关标识为true,业务服务节点名为A11,索引出的value值由4条,分别为name1.dat,name2.dat,name3.dat和name4.dat。
在具体的实施例中,所述倒排索引生成模块,包括:
正排索引映射单元:将所述正排索引信息存储至一预设的文件名称与文件特征的映射表中;
具体的,将正排索引信息添加至一预设的文件名称与文件特征的映射表,例如预设的映射表包含了三项特征,分别为录制开关标识,业务服务节点名称,服务名称,加上文件名称,映射表一共包含了四个项目,分别为文件名称,录制开关标识,业务服务节点名称,服务名称。假设正排索引信息的key为name.dat,value为录制开关标识为true,业务服务节点名称为A11,服务名称为A,则将该正排索引信息按照相应的内容添加至映射表中。
倒排索引生成单元:将所述文件名称与文件特征的映射表,按照文件特征进行分类,生成倒排索引信息。
具体的,映射表中包含了流量文件的多种特征信息,按照文件特征进行分类,生成倒排索引信息。在具体的实施例中,映射表中包含了流量文件的多种特征信息,例如录制开关标识,业务服务节点名称,服务名称,文件路径等,根据这些文件特征对流量文件进行分类,例如根据录制开关标识进行分类,标识为true的流量文件归为一类,标识为false的流量文件归为一类,生成的倒排索引信息。生成的倒排索引信息例如第一条索引记录为key为录制开关标识true,value为业务服务节点名称A11,服务名称A,文件路径d:/truefiles,文件名称name.dat;第二条索引记录为key为录制开关标识true,value为业务服务节点名称A12,服务名称A,文件路径d:/truefiles,文件名称name2.dat;第三条索引记录为key为录制开关标识false,value为业务服务节点名称B12,服务名称B,文件路径为空,文件名称为空;第四条索引记录为key为录制开关标识false,value为业务服务节点名称B11,服务名称B,文件路径为空,文件名称为空。
流量文件拉取模块6:根据倒排索引信息及待拉取文件特征信息,拉取相应的流量文件。
在具体的实施例中,所述根据倒排索引信息及待拉取文件特征信息,拉取相应的流量文件,包括:
文件索引单元:根据所述倒排索引信息和待拉取文件特征信息,索引出待拉取文件的文件路径信息;
具体的,在倒排索引信息中,key为文件的特征,value对应这文件的路径信息。所以明确了待拉取文件特征,即key的值,即可以通过key索引出对应的文件路径信息。例如需要拉取与服务A相关的所有流量文件,则索引倒排索引中key为服务A的所有记录,例如索引出一共有4条记录,分别为第一条记录为录制开关标识true,业务服务节点名称A11,文件路径d:/truefiles,文件名称name1.dat;第二条记录为录制开关标识true,业务服务节点名称A11,文件路径d:/truefiles,文件名称name2.dat;第三条记录为录制开关标识true,业务服务节点名称A12,文件路径d:/truefiles,文件名称name3.dat;第一条记录为录制开关标识false,业务服务节点名称A11,文件路径为空,文件名称为空。
文件拉取单元:从所述业务服务节点拉取对应的流量文件。
具体的,通过倒排索引信息和待拉取文件特征信息,索引出待拉取文件的文件路径信息后,即可从对应的业务服务节点处拉取对应的流量文件。例如拉取业务服务节点的d:/truefiles/name3.dat流量文件。
由以上描述可知,本发明提供的一种流量录制管理节点,包括正排索引接收模块4,接收业务服务节点传输的正排索引信息;倒排索引生成模块5,根据所述正排索引信息,生成倒排索引信息;流量文件拉取模块6,根据倒排索引信息及待拉取文件特征信息,拉取相应的流量文件。本发明可以根据需求保留相关业务的生产流量信息,缩小排查范围;同时基于倒排索引与拉取模式回放生产流量,提升查询性能,增强性能容量,解决性能瓶颈。
从硬件层面来说,本申请提供一种用于实现链路流量录制方法中的全部或部分内容的电子设备的实施例,所述电子设备具体包含有如下内容:
图9为本申请实施例的电子设备9600的系统构成的示意框图。如图9所示,该电子设备9600可以包括中央处理器9100和存储器9140;存储器9140耦合到中央处理器9100。值得注意的是,该图9是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
在一实施例中,链路流量录制方法功能可以被集成到中央处理器中。其中,中央处理器可以被配置为进行如下控制:
S1:录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件;
S2:根据所述流量文件的存储信息生成正排索引信息;
S3:向流量录制管理节点传输所述正排索引信息,以使所述录制管理节点根据所述正排索引信息生成对应的倒排索引信息,并根据所述倒排索引信息拉取对应的流量文件。
从上述描述可知,本申请实施例提供的电子设备,可以根据需求保留相关业务的生产流量信息,缩小排查范围;同时基于倒排索引与拉取模式回放生产流量,提升查询性能,增强性能容量,解决性能瓶颈。
在另一个实施方式中,业务服务节点和流量录制管理节点可以与中央处理器9100分开配置,例如可以将业务服务节点配置为与中央处理器9100连接的芯片,通过中央处理器的控制来实现链路流量录制方法功能。
如图9所示,该电子设备9600还可以包括:通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是,电子设备9600也并不是必须要包括图9中所示的所有部件;此外,电子设备9600还可以包括图9中没有示出的部件,可以参考现有技术。
如图9所示,中央处理器9100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中,存储器9140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序,以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器9140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143,该数据存储部9143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块9110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132,以经由扬声器9131提供音频输出,并接收来自麦克风9132的音频输入,从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器9130还耦合到中央处理器9100,从而使得可以通过麦克风9132能够在本机上录音,且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的链路流量录制方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的链路流量录制方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
S1:录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件;
S2:根据所述流量文件的存储信息生成正排索引信息;
S3:向流量录制管理节点传输所述正排索引信息,以使所述录制管理节点根据所述正排索引信息生成对应的倒排索引信息,并根据所述倒排索引信息拉取对应的流量文件。
从上述描述可知,本申请实施例提供的计算机可读存储介质,可以根据需求保留相关业务的生产流量信息,缩小排查范围;同时基于倒排索引与拉取模式回放生产流量,提升查询性能,增强性能容量,解决性能瓶颈。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(节点)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (20)
1.一种链路流量录制方法,所述链路包括一流量录制管理节点和至少一个业务服务节点,所述方法应用于业务服务节点,其特征在于,所述录制方法包括:
录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件;
根据所述流量文件的文件名称,录制开关标识,业务服务节点名称以及服务名称生成正排索引信息;
向流量录制管理节点传输所述正排索引信息,以使所述录制管理节点根据所述正排索引信息以及待拉取文件的文件的路径信息生成对应的倒排索引信息,并根据所述倒排索引信息和待拉取文件特征信息索引出待拉取文件的文件路径信息,并拉取对应的流量文件。
2.根据权利要求1所述的一种链路流量录制方法,其特征在于,每个业务服务节点包括录制开关标识,所述方法还包括:
根据所述录制开关标识确定是否录制调用对应服务过程中产生的流量数据;其中,若确定为是,则执行所述录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件的步骤。
3.根据权利要求2所述的一种链路流量录制方法,其特征在于,所述确定所述录制开关标识,包括:
若相邻上一业务服务节点的录制开关标识为录制,则当前业务服务节点的录制开关标识确定为录制;
若相邻上一业务服务节点的录制开关标识为不录制,则当前业务服务节点的录制开关标识确定为不录制。
4.根据权利要求1所述的一种链路流量录制方法,其特征在于,所述录制该业务服务节点调用对应服务过程中产生的流量数据,包括:
在所述业务服务节点中安装agent流量录制插件;
通过所述agent流量录制插件,录制该业务服务节点调用对应服务过程中产生的流量数据。
5.根据权利要求1所述的一种链路流量录制方法,其特征在于,所述生成流量文件,包括:
每隔预设时长,生成一流量文件单元。
6.根据权利要求1所述的一种链路流量录制方法,其特征在于,所述向流量录制管理节点传输所述正排索引信息,包括:
当一流量文件单元生成之后,相邻下一流量文件单元生成之前,向流量录制管理节点传输所述正排索引信息。
7.一种链路流量录制方法,所述链路包括一流量录制管理节点和至少一个业务服务节点,所述方法应用于流量录制管理节点,其特征在于,包括:
接收业务服务节点传输的正排索引信息,所述正排索引信息根据流量文件的文件名称,录制开关标识,业务服务节点名称以及服务名称生成;
根据所述正排索引信息以及待拉取文件的文件的路径信息生成倒排索引信息;
根据倒排索引信息及待拉取文件特征信息索引出待拉取文件的文件路径信息,并拉取相应的流量文件。
8.根据权利要求7所述的一种链路流量录制方法,其特征在于,所述根据所述正排索引信息,生成倒排索引信息,包括:
将所述正排索引信息存储至一预设的文件名称与文件特征的映射表中;
将所述文件名称与文件特征的映射表,按照文件特征进行分类,生成倒排索引信息。
9.根据权利要求7所述的一种链路流量录制方法,其特征在于,所述根据倒排索引信息及待拉取文件特征信息,拉取相应的流量文件,包括:
根据所述倒排索引信息和待拉取文件特征信息,索引出待拉取文件的文件路径信息;
从所述业务服务节点拉取对应的流量文件。
10.一种业务服务节点,其特征在于,包括:
流量录制模块,录制该业务服务节点调用对应服务过程中产生的流量数据,生成流量文件;
正排索引生成模块,根据所述流量文件的文件名称,录制开关标识,业务服务节点名称以及服务名称生成正排索引信息;
正排索引传输模块,向流量录制管理节点传输所述正排索引信息,以使所述录制管理节点根据所述正排索引信息以及待拉取文件的文件的路径信息生成对应的倒排索引信息,并根据所述倒排索引信息和待拉取文件特征信息索引出待拉取文件的文件路径信息,并拉取对应的流量文件。
11.根据权利要求10所述的一种业务服务节点,其特征在于,所述业务服务节点还包括:
录制开关标识。
12.根据权利要求11所述的一种业务服务节点,其特征在于,还包括:
录制开关标识确定模块,若相邻上一业务服务节点的录制开关标识为录制,则当前业务服务节点的录制开关标识确定为录制,若相邻上一业务服务节点的录制开关标识为不录制,则当前业务服务节点的录制开关标识确定为不录制。
13.根据权利要求10所述的一种业务服务节点,其特征在于,所述流量录制模块,包括:
插件安装单元,在所述业务服务节点中安装agent流量录制插件;
流量录制单元,通过所述agent流量录制插件,录制该业务服务节点调用对应服务过程中产生的流量数据。
14.根据权利要求10所述的一种业务服务节点,其特征在于,所述流量录制模块,还包括:
流量文件单元生成单元,每隔预设时长,生成一流量文件单元。
15.根据权利要求10所述的一种业务服务节点,其特征在于,所述正排索引传输模块,包括:
传输时刻确定单元,当一流量文件单元生成之后,相邻下一流量文件单元生成之前,向流量录制管理节点传输所述正排索引信息。
16.一种流量录制管理节点,其特征在于,包括:
正排索引接收模块,接收业务服务节点传输的正排索引信息,所述正排索引信息根据流量文件的文件名称,录制开关标识,业务服务节点名称以及服务名称生成;
倒排索引生成模块,根据所述正排索引信息以及待拉取文件的文件的路径信息生成倒排索引信息;
流量文件拉取模块,根据倒排索引信息及待拉取文件特征信息索引出待拉取文件的文件路径信息,并拉取相应的流量文件。
17.根据权利要求16所述的一种流量录制管理节点,其特征在于,所述倒排索引生成模块,包括:
正排索引映射单元,将所述正排索引信息存储至一预设的文件名称与文件特征的映射表中;
倒排索引生成单元,将所述文件名称与文件特征的映射表,按照文件特征进行分类,生成倒排索引信息。
18.根据权利要求16所述的一种流量录制管理节点,其特征在于,所述流量拉取模块,包括:
文件索引单元,根据所述倒排索引信息和待拉取文件特征信息,索引出待拉取文件的文件路径信息;
文件拉取单元,从所述业务服务节点拉取对应的流量文件。
19.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至9任一项所述的链路流量录制方法。
20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至9任一项所述的链路流量录制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110996146.6A CN113709059B (zh) | 2021-08-27 | 2021-08-27 | 一种链路流量录制方法及节点 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110996146.6A CN113709059B (zh) | 2021-08-27 | 2021-08-27 | 一种链路流量录制方法及节点 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113709059A CN113709059A (zh) | 2021-11-26 |
CN113709059B true CN113709059B (zh) | 2024-02-02 |
Family
ID=78656046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110996146.6A Active CN113709059B (zh) | 2021-08-27 | 2021-08-27 | 一种链路流量录制方法及节点 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113709059B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114285774B (zh) * | 2021-12-09 | 2023-10-13 | 广州品唯软件有限公司 | 流量录制方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110784356A (zh) * | 2019-10-30 | 2020-02-11 | 北京蜜莱坞网络科技有限公司 | 一种流量自动回放方法 |
CN112559513A (zh) * | 2019-09-10 | 2021-03-26 | 网易(杭州)网络有限公司 | 链路数据存取方法、装置、存储介质、处理器及电子装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11645233B2 (en) * | 2019-07-26 | 2023-05-09 | International Business Machines Corporation | Distributed file cache |
CN113326095A (zh) * | 2021-05-26 | 2021-08-31 | 北京沃东天骏信息技术有限公司 | 一种佣金数据处理方法和装置 |
-
2021
- 2021-08-27 CN CN202110996146.6A patent/CN113709059B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112559513A (zh) * | 2019-09-10 | 2021-03-26 | 网易(杭州)网络有限公司 | 链路数据存取方法、装置、存储介质、处理器及电子装置 |
CN110784356A (zh) * | 2019-10-30 | 2020-02-11 | 北京蜜莱坞网络科技有限公司 | 一种流量自动回放方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113709059A (zh) | 2021-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190147864A1 (en) | Voice interaction based method and apparatus for generating multimedia playlist | |
CN110597918B (zh) | 一种账户管理方法、装置及计算机可读存储介质 | |
CN111782470B (zh) | 分布式容器日志数据处理方法及装置 | |
CN108572789B (zh) | 磁盘存储方法和装置、消息推送方法和装置及电子设备 | |
CN105224462A (zh) | 控件元素的识别方法和装置 | |
CN111341315B (zh) | 语音控制方法、装置、计算机设备和存储介质 | |
CN113709059B (zh) | 一种链路流量录制方法及节点 | |
CN111651498A (zh) | 一种区块链数据的高效检索方法及装置 | |
US11223692B2 (en) | Service execution methods and apparatuses | |
CN112187829B (zh) | 联机交易报文处理方法、装置及系统 | |
CN113672488A (zh) | 日志文本处理方法及装置 | |
CN110059087B (zh) | 一种块链式账本中的数据属性标识方法、装置及设备 | |
CN112463527A (zh) | 一种数据处理方法、装置、设备、系统及存储介质 | |
CN115129781A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN114490402A (zh) | 一种报文字段合法性检查方法及装置 | |
CN112597119A (zh) | 一种处理日志的生成方法、装置及存储介质 | |
CN111538660B (zh) | 云上容器内程序代码覆盖率统计方法及装置 | |
CN110555075B (zh) | 数据处理方法、装置、电子设备以及计算机可读存储介质 | |
CN111858765A (zh) | 应用于数据库扩容场景的数据处理方法、装置及系统 | |
CN108763425B (zh) | 存储和读取音频文件的方法和装置 | |
CN113435752B (zh) | 基于继承重载机制的规则匹配方法及装置 | |
CN112052026B (zh) | 系统间交互关系确定方法及装置 | |
KR102255156B1 (ko) | 복수의 음악 파일들을 관리하는 장치 및 방법 | |
CN116170539A (zh) | 一种基于智能语音交互的来电通话管理方法及系统 | |
CN115879103A (zh) | 一种用于敏感扫描的主机文件过滤方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |