CN115145910A - 一种协议数据的管理方法以及相关装置 - Google Patents
一种协议数据的管理方法以及相关装置 Download PDFInfo
- Publication number
- CN115145910A CN115145910A CN202110350146.9A CN202110350146A CN115145910A CN 115145910 A CN115145910 A CN 115145910A CN 202110350146 A CN202110350146 A CN 202110350146A CN 115145910 A CN115145910 A CN 115145910A
- Authority
- CN
- China
- Prior art keywords
- service
- data
- protocol
- database
- protocol data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
- G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Accounting & Taxation (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Computer Security & Cryptography (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Communication Control (AREA)
Abstract
本申请公开了一种协议数据的管理方法以及相关装置。通过获取目标数据库中的协议数据;然后进行数据提取得到各个业务的协议字段;并根据协议字段进行拼接生成各个业务所对应的数据库表;进一步的对协议数据进行解析并填充得到各个业务所对应的业务数据表;进而进行特征项进行参数统计,以对各个业务进行相应的管理操作。从而实现对于网络协议的自动解析并管理的过程,由于各个业务之间分别建表并储存,减少了数据之间的干扰,且全程为脚本化处理,可以快速的响应并满足海量网络协议的管理需求,提高了网络协议管理的准确性以及有效性。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种协议数据的管理方法以及相关装置。
背景技术
在对海量的业务进行风险控制分析的前景下,需要将业务数据传输给风控系统,故应用超文本传输协议(HyperText Transfer Protocol,http)协议数据将海量业务的生产数据传输至风控系统进行存储。http是互联网上应用最为广泛的一种网络协议。所有的互联网文件都必须遵守这个标准。
一般,可以通过技术人员去了解不同业务协议数据的字段并根据协议数据字段手动在数据库中建表,进而基于数据库中建表的信息进行质量管理或监控。
但是,由于网络协议特征的多样性,基于人工进行管理的过程耗时耗力,且对于海量网络协议输入管理的场景,无法对每个协议进行逐一处理,造成协议特征的缺失,影响网络协议管理的准确性及有效性。
发明内容
有鉴于此,本申请提供一种协议数据的管理方法,可以有效提高网络协议管理的准确性。
本申请第一方面提供一种协议数据的管理方法,可以应用于终端设备中包含协议数据的管理功能的系统或程序中,具体包括:
获取目标数据库中与多个业务相关联的协议数据;
基于预设规则对所述协议数据进行数据提取,以得到各个业务所对应的协议字段,所述预设规则基于不同的业务所对应的特征标识设定;
根据所述协议字段进行拼接得到数据库定义语言,并基于所述数据库定义语言生成各个业务所对应的数据库表;
确定所述数据库表对应的数据库操作语言,以对所述协议数据进行解析得到业务数据,并基于所述业务数据对所述数据库表进行填充得到各个业务所对应的业务数据表;
基于各个业务所对应的所述业务数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述获取目标数据库中与多个业务相关联的协议数据,包括:
获取所述目标数据库中基于数据传输而统计所得的汇总数据表;
确定所述汇总数据表中的指示业务代码;
基于所述业务代码进行业务识别,以确定各个业务所对应的所述协议数据。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
接收处理业务在执行过程中产生的传输数据;
确定所述处理业务对应的处理代码;
基于所述处理代码在所述汇总数据表中确定相应的统计项,并基于所述传输数据对所述统计项进行更新。
可选的,在本申请一些可能的实现方式中,所述基于预设规则对所述协议数据进行数据提取,以得到各个业务所对应的协议字段,包括:
基于所述预设规则确定对应各个业务所对应的特征标识;
根据所述特征标识对所述协议数据进行数据拆分,以得到拆分数据;
调用正则表达式对所述拆分数据进行数据提取,以得到各个业务所对应的所述协议字段。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
确定数据库表对应的项目统计方式;
基于所述项目统计方式对所述协议字段的排列方式进行更新,以使得所述协议字段与所述数据库表相匹配。
可选的,在本申请一些可能的实现方式中,所述根据所述协议字段进行拼接得到数据库定义语言,并基于所述数据库定义语言生成各个业务所对应的数据库表,包括:
获取标准化的输入格式以及所述目标数据库对应的配置语句;
基于所述输入格式对基于所述配置语句提取的所述协议字段进行拼接,以得到所述数据库定义语言;
基于所述数据库定义语言生成各个业务所对应的数据库表。
可选的,在本申请一些可能的实现方式中,所述确定所述数据库表对应的数据库操作语言,以对所述协议数据进行解析得到业务数据,并基于所述业务数据对所述数据库表进行填充得到各个业务所对应的业务数据表,包括:
确定所述数据库表对应的结构信息,并基于所述结构信息拼接得到所述数据库操作语言;
通过所述数据库操作语言将所述协议数据输入解码器,以得到所述业务数据;
确定所述业务数据对应的业务信息;
基于所述业务信息确定所述数据库表中的业务项;
根据所述业务数据对所述业务项进行填充得到各个业务所对应的业务数据表。
可选的,在本申请一些可能的实现方式中,所述基于各个业务所对应的所述业务数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作,包括:
确定各个业务所对应的所述业务数据表中的特征项的字段总数;
检测所述业务数据表中的特征项对应值的缺失数;
根据所述缺失数和所述字段总数确定缺失率,以对各个业务进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述根据所述缺失数和所述字段总数确定缺失率,以对各个业务进行相应的管理操作,包括:
根据所述缺失数和所述字段总数确定所述缺失率;
确定各个业务所对应的阈值信息;
基于所述阈值信息分别与各个业务对应的所述缺失率进行比较,以对各个业务进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述基于预设规则对所述协议数据进行数据提取,以得到各个业务所对应的协议字段,包括:
基于预设规则对所述协议数据进行数据提取,以得到各个业务所对应的协议字段;
为所述协议字段配置字段标识;
所述确定所述数据库表对应的数据库操作语言,以对所述协议数据进行解析得到业务数据,并基于所述业务数据对所述数据库表进行填充得到各个业务所对应的业务数据表,包括:
确定所述数据库表对应的数据库操作语言,以提取所述协议数据中的所述字段标识;
基于所述字段标识进行数据定位,以解析得到所述业务数据;
基于所述业务数据对所述数据库表进行填充得到各个业务所对应的业务数据表。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
获取参考业务数据;
基于所述协议字段提取所述参考业务数据对应的参考值;
根据所述参考值遍历所述业务数据表,以确定所述目标数据库中的风险业务。
可选的,在本申请一些可能的实现方式中,所述基于各个业务所对应的所述业务数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作,包括:
确定各个业务所对应的所述业务数据表中的特征集合;
获取所述特征集合中包含的特征项所对应的参考数值;
基于所述参考数值和所述特征集合中包含的特征项进行比对,以得到参数比对结果;
根据所述参数比对结果确定异常业务,以进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
调用各个业务所对应的历史管理数据;
确定所述历史管理数据中的所述特征项的异常概率;
基于所述异常概率对所述特征集合中包含的特征项进行加权计算,以得到加权特征值;
根据所述加权特征值对各个业务进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
提取所述业务数据表中的特征项进行参数统计的过程中的异常项;
对所述异常项进行标记,以确定特征标记项;
基于所述特征标记项指引所述协议数据进行数据提取,以得到各个业务所对应的特征字段;
基于所述特征字段生成各个业务所对应的特征数据表;
基于各个业务所对应的所述特征数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述协议数据为超文本传输协议数据,所述目标数据库分布式存储所述超文本传输协议数据,所述数据库定义语言采用python和SQL语句结合所得。
本申请第二方面提供一种协议数据的管理装置,包括:
获取单元,用于获取目标数据库中与多个业务相关联的协议数据;
提取单元,用于基于预设规则对所述协议数据进行数据提取,以得到各个业务所对应的协议字段,所述预设规则基于不同的业务所对应的特征标识设定;
确定单元,用于根据所述协议字段进行拼接得到数据库定义语言,并基于所述数据库定义语言生成各个业务所对应的数据库表;
所述确定单元,还用于确定所述数据库表对应的数据库操作语言,以对所述协议数据进行解析得到业务数据,并基于所述业务数据对所述数据库表进行填充得到各个业务所对应的业务数据表;
管理单元,用于基于各个业务所对应的所述业务数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述获取单元,具体用于获取所述目标数据库中基于数据传输而统计所得的汇总数据表;
所述获取单元,具体用于确定所述汇总数据表中的指示业务代码;
所述获取单元,具体用于基于所述业务代码进行业务识别,以确定各个业务所对应的所述协议数据。
可选的,在本申请一些可能的实现方式中,所述获取单元,具体用于接收处理业务在执行过程中产生的传输数据;
所述获取单元,具体用于确定所述处理业务对应的处理代码;
所述获取单元,具体用于基于所述处理代码在所述汇总数据表中确定相应的统计项,并基于所述传输数据对所述统计项进行更新。
可选的,在本申请一些可能的实现方式中,所述提取单元,具体用于基于所述预设规则确定对应各个业务所对应的特征标识;
所述提取单元,具体用于根据所述特征标识对所述协议数据进行数据拆分,以得到拆分数据;
所述提取单元,具体用于调用正则表达式对所述拆分数据进行数据提取,以得到各个业务所对应的所述协议字段。
可选的,在本申请一些可能的实现方式中,所述提取单元,具体用于确定数据库表对应的项目统计方式;
所述提取单元,具体用于基于所述项目统计方式对所述协议字段的排列方式进行更新,以使得所述协议字段与所述数据库表相匹配。
可选的,在本申请一些可能的实现方式中,所述确定单元,具体用于获取标准化的输入格式以及所述目标数据库对应的配置语句;
所述确定单元,具体用于基于所述输入格式对基于所述配置语句提取的所述协议字段进行拼接,以得到所述数据库定义语言;
所述确定单元,具体用于基于所述数据库定义语言生成各个业务所对应的数据库表。
可选的,在本申请一些可能的实现方式中,所述确定单元,具体用于确定所述数据库表对应的结构信息,并基于所述结构信息拼接得到所述数据库操作语言;
所述确定单元,具体用于通过所述数据库操作语言将所述协议数据输入解码器,以得到所述业务数据;
所述确定单元,具体用于确定所述业务数据对应的业务信息;
所述确定单元,具体用于基于所述业务信息确定所述数据库表中的业务项;
所述确定单元,具体用于根据所述业务数据对所述业务项进行填充得到各个业务所对应的业务数据表。
可选的,在本申请一些可能的实现方式中,所述管理单元,具体用于确定各个业务所对应的所述业务数据表中的特征项的字段总数;
所述管理单元,具体用于检测所述业务数据表中的特征项对应值的缺失数;
所述管理单元,具体用于根据所述缺失数和所述字段总数确定缺失率,以对各个业务进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述管理单元,具体用于根据所述缺失数和所述字段总数确定所述缺失率;
所述管理单元,具体用于确定各个业务所对应的阈值信息;
所述管理单元,具体用于基于所述阈值信息分别与各个业务对应的所述缺失率进行比较,以对各个业务进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述提取单元,具体用于基于预设规则对所述协议数据进行数据提取,以得到各个业务所对应的协议字段;
所述提取单元,具体用于为所述协议字段配置字段标识;
所述确定单元,具体用于确定所述数据库表对应的数据库操作语言,以提取所述协议数据中的所述字段标识;
所述确定单元,具体用于基于所述字段标识进行数据定位,以解析得到所述业务数据;
所述确定单元,具体用于基于所述业务数据对所述数据库表进行填充得到各个业务所对应的业务数据表。
可选的,在本申请一些可能的实现方式中,所述管理单元,具体用于获取参考业务数据;
所述管理单元,具体用于基于所述协议字段提取所述参考业务数据对应的参考值;
所述管理单元,具体用于根据所述参考值遍历所述业务数据表,以确定所述目标数据库中的风险业务。
可选的,在本申请一些可能的实现方式中,所述管理单元,具体用于确定各个业务所对应的所述业务数据表中的特征集合;
所述管理单元,具体用于获取所述特征集合中包含的特征项所对应的参考数值;
所述管理单元,具体用于基于所述参考数值和所述特征集合中包含的特征项进行比对,以得到参数比对结果;
所述管理单元,具体用于根据所述参数比对结果确定异常业务,以进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述管理单元,具体用于调用各个业务所对应的历史管理数据;
所述管理单元,具体用于确定所述历史管理数据中的所述特征项的异常概率;
所述管理单元,具体用于基于所述异常概率对所述特征集合中包含的特征项进行加权计算,以得到加权特征值;
所述管理单元,具体用于根据所述加权特征值对各个业务进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述管理单元,具体用于提取所述业务数据表中的特征项进行参数统计的过程中的异常项;
所述管理单元,具体用于对所述异常项进行标记,以确定特征标记项;
所述管理单元,具体用于基于所述特征标记项指引所述协议数据进行数据提取,以得到各个业务所对应的特征字段;
所述管理单元,具体用于基于所述特征字段生成各个业务所对应的特征数据表;
所述管理单元,具体用于基于各个业务所对应的所述特征数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作。
本申请第三方面提供一种计算机设备,包括:存储器、处理器以及总线系统;所述存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的协议数据的管理方法。
本申请第四方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面或第一方面任一项所述的协议数据的管理方法。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面或者第一方面的各种可选实现方式中提供的协议数据的管理方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
通过获取目标数据库中与多个业务相关联的协议数据;然后基于预设规则对协议数据进行数据提取,以得到各个业务所对应的协议字段,该预设规则基于不同的业务所对应的特征标识设定;并根据协议字段进行拼接得到数据库定义语言,并基于数据库定义语言生成各个业务所对应的数据库表;进一步的确定数据库表对应的数据库操作语言,以对协议数据进行解析得到业务数据,并基于业务数据对数据库表进行填充得到各个业务所对应的业务数据表;进而基于各个业务所对应的业务数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作。从而实现对于网络协议的自动解析并管理的过程,由于各个业务之间分别建表并储存,减少了数据之间的干扰,且全程为脚本化处理,可以快速的响应并满足海量网络协议的管理需求,提高了网络协议管理的准确性以及有效性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为协议数据的管理系统运行的网络架构图;
图2为本申请实施例提供的一种协议数据的管理的流程架构图;
图3为本申请实施例提供的一种协议数据的管理方法的流程图;
图4为本申请实施例提供的另一种协议数据的管理方法的流程图;
图5为本申请实施例提供的一种协议数据的管理方法的场景示意图;
图6为本申请实施例提供的另一种协议数据的管理方法的场景示意图;
图7为本申请实施例提供的另一种协议数据的管理方法的流程图;
图8为本申请实施例提供的另一种协议数据的管理方法的场景示意图;
图9为本申请实施例提供的一种协议数据的管理装置的结构示意图;
图10为本申请实施例提供的一种终端设备的结构示意图;
图11为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
本申请实施例提供了一种协议数据的管理方法以及相关装置,可以应用于终端设备中包含协议数据的管理功能的系统或程序中,通过获取目标数据库中与多个业务相关联的协议数据;然后基于预设规则对协议数据进行数据提取,以得到各个业务所对应的协议字段,该预设规则基于不同的业务所对应的特征标识设定;并根据协议字段进行拼接得到数据库定义语言,并基于数据库定义语言生成各个业务所对应的数据库表;进一步的确定数据库表对应的数据库操作语言,以对协议数据进行解析得到业务数据,并基于业务数据对数据库表进行填充得到各个业务所对应的业务数据表;进而基于各个业务所对应的业务数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作。从而实现对于网络协议的自动解析并管理的过程,由于各个业务之间分别建表并储存,减少了数据之间的干扰,且全程为脚本化处理,可以快速的响应并满足海量网络协议的管理需求,提高了网络协议管理的准确性以及有效性。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,对本申请实施例中可能出现的一些名词进行解释。
超文本传输协议(HyperText Transfer Protocol,http):用于从万维网服务器传输超文本到本地浏览器的传送协议。
TDW:一种分布式数据仓库。
数据定义语言(Data Definition Language,DDL):负责创建、修改、删除表、索引、视图、函数、存储过程和触发器等对象。
数据操作语言(Data Manipulation Language,DML):负责数据库中数据的插入、修改、删除等操作。
正则表达式(regular expression):描述了一种字符串匹配的模式(pattern),可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。
应理解,本申请提供的协议数据的管理方法可以应用于终端设备中包含协议数据的管理功能的系统或程序中,例如网络风险管理应用,具体的,协议数据的管理系统可以运行于如图1所示的网络架构中,如图1所示,是协议数据的管理系统运行的网络架构图,如图可知,协议数据的管理系统可以提供与多个信息源的协议数据的管理过程,即通过终端侧的业务操作产生对应的协议数据,从而服务器对协议数据进行收集并进行分析管理;可以理解的是,图1中示出了多种终端设备,终端设备可以为计算机设备,在实际场景中可以有更多或更少种类的终端设备参与到协议数据的管理的过程中,具体数量和种类因实际场景而定,此处不做限定,另外,图1中示出了一个服务器,但在实际场景中,也可以有多个服务器的参与,具体服务器数量因实际场景而定。
本实施例中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,终端以及服务器可以连接组成区块链网络,本申请在此不做限制。
可以理解的是,上述协议数据的管理系统可以运行于个人移动终端,例如:作为网络风险管理应用这样的应用,也可以运行于服务器,还可以作为运行于第三方设备以提供协议数据的管理,以得到信息源的协议数据的管理处理结果;具体的协议数据的管理系统可以是以一种程序的形式在上述设备中运行,也可以作为上述设备中的系统部件进行运行,还可以作为云端服务程序的一种,具体运作模式因实际场景而定,此处不做限定。
在对海量的业务进行风险控制分析的前景下,需要将业务数据传输给风控系统,故应用超文本传输协议(HyperText Transfer Protocol,http)协议数据将海量业务的生产数据传输至风控系统进行存储。http是互联网上应用最为广泛的一种网络协议。所有的互联网文件都必须遵守这个标准。
一般,可以通过技术人员去了解不同业务协议数据的字段并根据协议数据字段手动在数据库中建表,进而基于数据库中建表的信息进行质量管理或监控。
但是,由于网络协议特征的多样性,基于人工进行管理的过程耗时耗力,且对于海量网络协议输入管理的场景,无法对每个协议进行逐一处理,造成协议特征的缺失,影响网络协议管理的准确性及有效性。
为了解决上述问题,本申请提出了一种协议数据的管理方法,该方法应用于图2所示的协议数据的管理的流程框架中,如图2所示,为本申请实施例提供的一种协议数据的管理的流程架构图,通过终端侧的业务操作产生协议数据,然后在服务器侧通过自动解析脚本解析协议数据内容,生成相应的DDL及DML,从而实现http协议数据传入后自动解析数据内容并存储为标准格式的数据库表,并通过统计数据库表字段的缺失率实现http协议数据质量的监控和管理,提供了标准化的系统流程和架构。
可以理解的是,本申请所提供的方法可以为一种程序的写入,以作为硬件系统中的一种处理逻辑,也可以作为一种协议数据的管理装置,采用集成或外接的方式实现上述处理逻辑。作为一种实现方式,该协议数据的管理装置通过获取目标数据库中与多个业务相关联的协议数据;然后基于预设规则对协议数据进行数据提取,以得到各个业务所对应的协议字段,该预设规则基于不同的业务所对应的特征标识设定;并根据协议字段进行拼接得到数据库定义语言,并基于数据库定义语言生成各个业务所对应的数据库表;进一步的确定数据库表对应的数据库操作语言,以对协议数据进行解析得到业务数据,并基于业务数据对数据库表进行填充得到各个业务所对应的业务数据表;进而基于各个业务所对应的业务数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作。从而实现对于网络协议的自动解析并管理的过程,由于各个业务之间分别建表并储存,减少了数据之间的干扰,且全程为脚本化处理,可以快速的响应并满足海量网络协议的管理需求,提高了网络协议管理的准确性以及有效性。
结合上述流程架构,下面将对本申请中协议数据的管理方法进行介绍,请参阅图3,图3为本申请实施例提供的一种协议数据的管理方法的流程图,该管理方法可以是由终端执行的,也可以是由服务器执行的,还可以是由服务器与终端共同执行的,本申请实施例至少包括以下步骤:
301、获取目标数据库中与多个业务相关联的协议数据。
本实施例中,协议数据可以为超文本传输协议数据,即http,该协议数据包含了多个业务执行过程中涉及的http协议;而目标数据库分布式存储超文本传输协议数据,即海量业务http协议数据都统一存储至后台数据库的某一张数据表中以方便业务数据的统一管理并备份。
具体的,对于协议数据的确定过程,可以是基于业务代码关联所得,即首先获取目标数据库中基于数据传输而统计所得的汇总数据表;然后确定汇总数据表中的指示业务代码;进而基于业务代码进行业务识别,以确定各个业务所对应的协议数据,从而完成对协议数据中不同业务归属的划分,以便于后续数据表的生成。
可选的,本申请的协议数据可以是实时更新的数据,即不断有新的http协议传入目标数据库,对于新数据的传入过程可以首先接收处理业务在执行过程中产生的传输数据;然后确定处理业务对应的处理代码;进而基于处理代码在汇总数据表中确定相应的统计项,并基于传输数据对统计项进行更新,从而便于业务的划分。
302、基于预设规则对协议数据进行数据提取,以得到各个业务所对应的协议字段。
本实施例中,预设规则基于不同的业务所对应的特征标识设定;其中,特征标识可以是不同的字符,例如业务中的不同字段以“&”符号相连接,故可以将“&”符号作为特征标识,具体的标识类型因实际场景而定,此处不做限定。
具体的,对于协议字段的提取过程可以首先基于预设规则确定对应各个业务所对应的特征标识;然后根据特征标识对协议数据进行数据拆分,以得到拆分数据;进而调用正则表达式对拆分数据进行数据提取,以得到各个业务所对应的协议字段。
可选的,为了便于后续数据库定义语言的生成,可以对协议字段的格式进行调整,即确定数据库表对应的项目统计方式;然后基于项目统计方式对协议字段的排列方式进行更新,以使得协议字段与数据库表相匹配。
在一种可能的场景中,业务的不同字段以“&”符号相连接,此时程序自动将http协议数据通过此符号进行拆分,用正则表达式提取业务数据的字段,并将协议字段由一行排列转换为一列排列,以备后续自动生成数据库定义语言。
303、根据协议字段进行拼接得到数据库定义语言,并基于数据库定义语言生成各个业务所对应的数据库表。
本实施例中,通过协议字段进行拼接得到数据库定义语言,可以对表结构进行编辑,即协议数据中的特征项进行设定,以便于后续业务数据的统计,为结构化的编辑过程。
具体的,对于数据库表的构建,其中数据库定义语言可以采用过程语言,即首先获取标准化的输入格式以及目标数据库对应的配置语句;基于输入格式对基于配置语句提取的协议字段进行拼接,以得到数据库定义语言(过程语言);进而基于数据库定义语言生成各个业务所对应的数据库表。用于可以通过标准化的输入格式进行便捷的输入设定,并同时可以进行数据库中相关语句的调用。
在一种可能的场景中,数据库定义语言采用python和SQL语句结合所得,即数据库定义语言使用TDW/PL的TDW过程语言,该语言采用了python和SQL语句结合的方式实现,用户可以书写标准的Python代码,并在其中嵌入静态或者动态的SQL语句,利用该语言将用SQL提取出的字段再利用python语法进行拼接,从而实现自动生成DDL数据库定义语言并在tdw中生成某一业务的数据库表,提高了数据库表生成的便捷性。
304、确定数据库表对应的数据库操作语言,以对协议数据进行解析得到业务数据,并基于业务数据对数据库表进行填充得到各个业务所对应的业务数据表。
本实施例中,业务数据即为协议数据中包含的指示的字段的对应值或字符。
在一种可能的场景中,业务对应的http协议数据样例数据如下:http://a.cn/q?attach_1=1000&attach_2=dabsobak&attach_3=5&attach_4=100937483929&attach_5=&attach6=3&attach_6=10909102938&attach_7=100303948729202&attach_8=ABC&attach_9=2&attach_10=4&attach_11=abc,协议数据包含了业务数据的字段及其对应值,其中attach_1=1000的具体含义是attach_1字段对应值为1000,其余字段attach_2至attach_11为不同的业务字段及其对应的值。由于不同业务数据都以http协议数据的形式传入风控系统进行统一存储,而不同业务的http协议数据内容不同,需要将不同业务的http协议数据解析出来,存储为对应的单个业务的业务数据库表以供分析人员分析使用。
具体的,对于业务数据表的填充过程,即首先确定数据库表对应的结构信息,并基于结构信息拼接得到数据库操作语言;然后通过数据库操作语言将协议数据输入解码器,以得到业务数据;并确定业务数据对应的业务信息;基于业务信息确定数据库表中的业务项;进而根据业务数据对业务项进行填充得到各个业务所对应的业务数据表,从而实现数据库表的自动填充,保证了业务数据表的准确性。
可选的,在解析得到业务数据过程中,可以通过字段标识进行,该字段标识可以是划分得到协议字段的过程中标记的,即首先基于预设规则对协议数据进行数据提取,以得到各个业务所对应的协议字段;然后为协议字段配置字段标识,例如协议数据中包含attach_1=1000,attach_1为协议字段,则对attach_1进行标记,在数据值提取过程中直接识别attach_1的标记;进而确定数据库表对应的数据库操作语言,以提取协议数据中的字段标识;然后基于字段标识进行数据定位,以解析得到业务数据;从而基于业务数据对数据库表进行填充得到各个业务所对应的业务数据表,通过字段标识进行协议数据解析,提高了数据解析的效率以及准确性,避免了协议数据的重复划分。
305、基于各个业务所对应的业务数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作。
本实施例中,特征项即为协议字段对应的数值或字符的写入项,具体的参数统计可以为数值的比较(是否超过阈值),也可以是字符的比较(是否命中目标字符)等。
具体的,参数统计可以是数据整体维度的缺失率统计,即首先确定各个业务所对应的业务数据表中的特征项的字段总数;然后检测业务数据表中的特征项对应值的缺失数;进而根据缺失数和字段总数确定缺失率,以对各个业务进行相应的管理操作。
在一种可能的场景中,对该业务的数据库表进行数据质量管理的监控,定义数据字段的缺失率公式为:
其中,b为该字段对应的缺失数,a为该字段的总数。
可以理解的是,缺失率较大代表着http协议数据中缺少相关字段的次数较多,最后对这种缺失进行异动归因,查清这种缺失是正常现象还是数据传输中丢失了相关的数据,从而实现对http协议数据的质量进行管理和监控。
可选的,对于不同的业务可以存在不同的缺失率阈值,即首先根据缺失数和字段总数确定缺失率;然后确定各个业务所对应的阈值信息;进而基于阈值信息分别与各个业务对应的缺失率进行比较,以对各个业务进行相应的管理操作,从而实现了不同业务的针对性监控管理过程,提高了协议管理的有效性。
可选的,对于存在异常的协议数据的确定,还可以是通过特征项与参考业务数据的值进行比较所得,即首先获取参考业务数据,例如确定为存在交易或支付风险的业务数据;然后基于协议字段提取参考业务数据对应的参考值(包括但不限于缺失率范围、特定字符的出现情况、特定协议字段的取值等);进而根据参考值遍历业务数据表,从而比较确定目标数据库中的风险业务,保证了风险业务识别的准确性。
可选的,由于不同的业务对应的特征参数不同,即不同的业务对应了不同的特征集合,故对于根据业务数据表中的特征项进行参数统计的过程,还可以基于特征集合中的特征项进行针对性的参数统计过程。具体的,首先确定各个业务所对应的业务数据表中的特征集合,例如业务A对应的特征集合包含attach_3与attach_4,则参数统计的过程针对attach_3与attach_4对应的数值进行;然后获取特征集合中包含的特征项所对应的参考数值;并基于参考数值和特征集合中包含的特征项进行比对,以得到参数比对结果;进而根据参数比对结果确定异常业务,以进行相应的管理操作,例如attach_3与attach_4对应的参考数值均为100,而实际上attach_3与attach_4对应的数值为80,则参数比对结果指示业务异常,需要进行审核,并且可以直接定位到attach_3与attach_4的特征含义,例如attach_3对应转账数额,则可以快速确定业务异常为转账数额,从而迅速的进行转账限制的管理操作,保证业务的安全性。
可以理解的是,不同业务对应的特征集合可以是历史记录中记载的(业务的特征项统计记录),也可以是相关人员设定的,具体方式因实际场景而定。
进一步的,对于特征集合的统计过程,由于不同的参数之间可能存在数值误差范围,为了从业务整体的维度进行异常判断,可以对特征集合中的各个特征项进行加权,具体的首先调用各个业务所对应的历史管理数据,例如最近一个季度的金融风险报告;然后确定历史管理数据中的特征项的异常概率,例如业务A在attach_1与attach_3上的异常概率为0.2和0.3,说明attach_3更容易出现异常,对于数值异常的允许范围可以更大;故可以基于异常概率对特征集合中包含的特征项进行加权计算,以得到加权特征值,例如attach_1与attach_3的特征差异为10和30,加权特征值=10*0.2/(0.2+0.3)+30*0.3/(0.2+0.3)=22;进而根据加权特征值对各个业务进行相应的管理操作,例如设定加权特征值大于20的业务为异常业务,故将该业务进行标记以进行异常审核,从而保证了异常检测的准确性。
可以理解的是,本申请可以为实时检测的过程,故对于上述异常管理的结果可以进行标记,以指示后续的检测过程,即首先提取业务数据表中的特征项进行参数统计的过程中的异常项,例如attach_2标记为异常项;然后对异常项进行标记,以确定特征标记项,即标记后的attach_2;并基于特征标记项指引协议数据进行数据提取,以得到各个业务所对应的特征字段,即直接对attach_2进行检索,从而提升检索效率;进一步的基于特征字段生成各个业务所对应的特征数据表;进而基于各个业务所对应的特征数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作,从而实现实时检测更新的过程,在保证网络协议管理准确性的同时,提高了管理的效率。
结合上述实施例可知,通过获取目标数据库中与多个业务相关联的协议数据;然后基于预设规则对协议数据进行数据提取,以得到各个业务所对应的协议字段,该预设规则基于不同的业务所对应的特征标识设定;并根据协议字段进行拼接得到数据库定义语言,并基于数据库定义语言生成各个业务所对应的数据库表;进一步的确定数据库表对应的数据库操作语言,以对协议数据进行解析得到业务数据,并基于业务数据对数据库表进行填充得到各个业务所对应的业务数据表;进而基于各个业务所对应的业务数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作。从而实现对于网络协议的自动解析并管理的过程,由于各个业务之间分别建表并储存,减少了数据之间的干扰,且全程为脚本化处理,可以快速的响应并满足海量网络协议的管理需求,提高了网络协议管理的准确性以及有效性。
下面结合协议数据为http协议的场景进行说明,如图4所示,图4为本申请实施例提供的另一种协议数据的管理方法的流程图;图中示出了如下步骤:
401、不同业务数据以原始http协议数据的形式传入分布式数据库存储。
本实施例中,不同业务数据以原始http协议数据的形式传入tdw进行统一存储,其中tdw是腾讯的分布式存储系统,业务数据统一归纳到该系统的特定的一张数据库表中,该做法是为了对传来的海量业务的http协议数据进行统一的备份管理,并通过业务代码区分http协议数据归属于哪个具体的业务,在这一步中,所有的业务数据都存储在一起,并且协议数据还未解析,分析人员无法直接使用。
在一种可能的场景中,如图5所示,图5为本申请实施例提供的一种协议数据的管理方法的场景示意图;图中示出了海量业务http协议数据都统一存储至后台数据库的某一张数据表中以方便业务数据的统一管理,通过业务代码区分协议数据属于哪一具体业务,最终通过本技术自动检测http协议数据并自动生成对应业务的数据库表,将业务数据自动存储至业务对应的数据库表中。
通过上述场景即可实现http协议数据的自动解析、建表、数据存储的功能,而原始数据也被分拆到不同的数据库表中,以方便分析人员进行分析、建模等。
402、解析不同业务协议数据数据内容,提取各个业务的协议字段。
本实施例中,提取各个业务的协议字段的过程即利用自动化脚本传入需要解析的业务数据的业务代码参数,即可自动提取出此业务的所有业务数据。
在一种可能的场景中,由于业务http协议数据的样式具有一定规则,如http://a.cn/q?attach_1=1000&attach_2=dabsobak&attach_3=5&attach_4=100937483929&attach_5=&attach6=3&attach_6=10909102938&attach_7=100303948729202&attach_8=ABC&attach_9=2&attach_10=4&attach_11=abc,则根据规则,业务的不同字段以“&”符号相连接,此时程序自动将http协议数据通过此符号进行拆分,用正则表达式提取业务数据的字段,并将协议字段由一行排列转换为一列排列,以备后续自动生成数据库定义语言。
403、根据协议字段自动生成不同业务的数据库定义语言,并创建业务数据表。
本实施例中,根据提取出来的协议字段,自动拼接生成数据库定义语言,具体的,数据库定义语言使用TDW/PL即TDW过程语言,该语言采用了python和SQL语句结合的方式实现,用户可以书写标准的Python代码,并在其中嵌入静态或者动态的SQL语句,利用该语言将用SQL提取出的字段再利用python语法进行拼接,从而实现自动生成DDL数据库定义语言并在tdw中生成某一业务的数据库表。
404、自动生成数据库操作语言,并将解析好的协议数据存入对应的业务数据表中。
本实施例中,由于存储相应业务的数据库表已经生成,故需要将该业务的http协议数据从原始表中全部提取出来,并利用步骤403生成的表结构去自动拼接生成DML数据库操作语言,将原始的http协议数据通过urldecode解码解析、提取、存储至该数据库表中,从而最终实现不同业务数据单独解析、存储至对应业务的数据库表中。
405、根据业务数据表的数据质量监控http协议数据的质量。
本实施例中,数据质量监控可以包括特定字段数值的监控、特定字段字符的监控或数据整体维度的字段缺失率的监控中的一种或多种的结合,此处不做限定。
在一种可能的场景中,如图6所示,图6为本申请实施例提供的另一种协议数据的管理方法的场景示意图;图中示出了对于目标数据库中存储的http://a.cn/q?attach_1=1000&attach_2=dabsobak&attach_3=5&attach_4=100937483929&attach_5=&attach6=3&attach_6=10909102938&attach_7=100303948729202&attach_8=ABC&attach_9=2&attach_10=4&attach_11=abc,可以基于正则表达式提取出协议字段“attach_1、attach_2…attach_11”,并将协议字段由一行转换为一列,进而利用TDW/PL过程语言进行拼接得到DDL语言,从而进行业务数据的收集生成业务数据表,实现将原始数据也被分拆到不同的数据库表中,以方便分析人员进行分析、建模等管理过程。
通过上述实施例可以实现自动检测解析海量业务的http协议数据,并自动生成相应的数据库表存储解析后的业务数据,该系统提供了海量业务http协议数据统一存储、自动分拆解析建表、业务数据单独存储、http协议数据质量管理与监控的一套解决方案,由于全程为脚本自动化处理,可以快速响应将海量数据业务从原始http协议数据表中解析分拆的需求,并且系统化的规划了数据存储的方案和数据质量管理的监控。
下面结合交易场景中支付页面跳转过程进行说明。请参阅图7,图7为本申请实施例提供的另一种协议数据的管理方法的流程图,本申请实施例至少包括以下步骤:
701、响应于交易操作确定跳转页面,并获取跳转页面对应的协议数据。
本实施例中,协议数据可以是用户在进行交易操作时进行支付页面的跳转时产生的,通过对跳转页面的协议数据进行识别,从而保证交易操作的安全性。
702、对跳转页面对应的协议数据进行风险评估。
本实施例中,风险评估的过程即首先参见图3或图4实施例中进行业务数据表的生成过程,进而基于业务数据表进行风险评估,具体的业务数据表的生成过程参见图3或图4实施例,此处不做赘述。
可选的,风险评估也可以是该跳转页面的协议数据是否具有风险标记,该风险标记可以是通过对目标数据库海量的协议数据进行处理而标记的,即首先获取参考业务数据,然后基于协议字段提取参考业务数据对应的参考值;进而根据参考值遍历业务数据表,以确定目标数据库中的风险业务,从而对风险业务进行标记,并对风险业务传入的协议数据进行审核以确定风险标记的有效性,即提高了风险评估的效率。
703、基于风险评估的结果指示交易操作的进行。
本实施例中,基于风险评估的结果指示交易操作的进行即确定是否触发支付页面,如图8所示,图8为本申请实施例提供的另一种协议数据的管理方法的场景示意图;图中示出了在交易操作进行支付页面跳转时,会触发后台服务器进行跳转页面的协议数据的评估,若跳转页面的协议数据不存在异常,则展示支付界面,用户可以点击确定A1进行交易操作;若跳转页面的协议数据存在异常,则展示异常提示界面A2,交易操作无法进行。
通过上述实施例保证了用户交易过程中支付跳转过程的安全,且在其他设计协议数据的交易场景中亦可以采用上述风险管理的方法,具体交易操作因实际场景而定,此处不做限定。
为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关装置。请参阅图9,图9为本申请实施例提供的一种协议数据的管理装置的结构示意图,管理装置900包括:
获取单元901,用于获取目标数据库中与多个业务相关联的协议数据;
提取单元902,用于基于预设规则对所述协议数据进行数据提取,以得到各个业务所对应的协议字段,所述预设规则基于不同的业务所对应的特征标识设定;
确定单元903,用于根据所述协议字段进行拼接得到数据库定义语言,并基于所述数据库定义语言生成各个业务所对应的数据库表;
所述确定单元903,还用于确定所述数据库表对应的数据库操作语言,以对所述协议数据进行解析得到业务数据,并基于所述业务数据对所述数据库表进行填充得到各个业务所对应的业务数据表;
管理单元904,用于基于各个业务所对应的所述业务数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述获取单元901,具体用于获取所述目标数据库中基于数据传输而统计所得的汇总数据表;
所述获取单元901,具体用于确定所述汇总数据表中的指示业务代码;
所述获取单元901,具体用于基于所述业务代码进行业务识别,以确定各个业务所对应的所述协议数据。
可选的,在本申请一些可能的实现方式中,所述获取单元901,具体用于接收处理业务在执行过程中产生的传输数据;
所述获取单元901,具体用于确定所述处理业务对应的处理代码;
所述获取单元901,具体用于基于所述处理代码在所述汇总数据表中确定相应的统计项,并基于所述传输数据对所述统计项进行更新。
可选的,在本申请一些可能的实现方式中,所述提取单元902,具体用于基于所述预设规则确定对应各个业务所对应的特征标识;
所述提取单元902,具体用于根据所述特征标识对所述协议数据进行数据拆分,以得到拆分数据;
所述提取单元902,具体用于调用正则表达式对所述拆分数据进行数据提取,以得到各个业务所对应的所述协议字段。
可选的,在本申请一些可能的实现方式中,所述提取单元902,具体用于确定数据库表对应的项目统计方式;
所述提取单元902,具体用于基于所述项目统计方式对所述协议字段的排列方式进行更新,以使得所述协议字段与所述数据库表相匹配。
可选的,在本申请一些可能的实现方式中,所述确定单元903,具体用于获取标准化的输入格式以及所述目标数据库对应的配置语句;
所述确定单元903,具体用于基于所述输入格式对基于所述配置语句提取的所述协议字段进行拼接,以得到所述数据库定义语言;
所述确定单元903,具体用于基于所述数据库定义语言生成各个业务所对应的数据库表。
可选的,在本申请一些可能的实现方式中,所述确定单元903,具体用于确定所述数据库表对应的结构信息,并基于所述结构信息拼接得到所述数据库操作语言;
所述确定单元903,具体用于通过所述数据库操作语言将所述协议数据输入解码器,以得到所述业务数据;
所述确定单元903,具体用于确定所述业务数据对应的业务信息;
所述确定单元903,具体用于基于所述业务信息确定所述数据库表中的业务项;
所述确定单元903,具体用于根据所述业务数据对所述业务项进行填充得到各个业务所对应的业务数据表。
可选的,在本申请一些可能的实现方式中,所述管理单元904,具体用于确定各个业务所对应的所述业务数据表中的特征项的字段总数;
所述管理单元904,具体用于检测所述业务数据表中的特征项对应值的缺失数;
所述管理单元904,具体用于根据所述缺失数和所述字段总数确定缺失率,以对各个业务进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述管理单元904,具体用于根据所述缺失数和所述字段总数确定所述缺失率;
所述管理单元904,具体用于确定各个业务所对应的阈值信息;
所述管理单元904,具体用于基于所述阈值信息分别与各个业务对应的所述缺失率进行比较,以对各个业务进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述提取单元902,具体用于基于预设规则对所述协议数据进行数据提取,以得到各个业务所对应的协议字段;
所述提取单元902,具体用于为所述协议字段配置字段标识;
所述确定单元903,具体用于确定所述数据库表对应的数据库操作语言,以提取所述协议数据中的所述字段标识;
所述确定单元903,具体用于基于所述字段标识进行数据定位,以解析得到所述业务数据;
所述确定单元903,具体用于基于所述业务数据对所述数据库表进行填充得到各个业务所对应的业务数据表。
可选的,在本申请一些可能的实现方式中,所述管理单元904,具体用于获取参考业务数据;
所述管理单元904,具体用于基于所述协议字段提取所述参考业务数据对应的参考值;
所述管理单元904,具体用于根据所述参考值遍历所述业务数据表,以确定所述目标数据库中的风险业务。
可选的,在本申请一些可能的实现方式中,所述管理单元904,具体用于确定各个业务所对应的所述业务数据表中的特征集合;
所述管理单元904,具体用于获取所述特征集合中包含的特征项所对应的参考数值;
所述管理单元904,具体用于基于所述参考数值和所述特征集合中包含的特征项进行比对,以得到参数比对结果;
所述管理单元904,具体用于根据所述参数比对结果确定异常业务,以进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述管理单元904,具体用于调用各个业务所对应的历史管理数据;
所述管理单元904,具体用于确定所述历史管理数据中的所述特征项的异常概率;
所述管理单元904,具体用于基于所述异常概率对所述特征集合中包含的特征项进行加权计算,以得到加权特征值;
所述管理单元904,具体用于根据所述加权特征值对各个业务进行相应的管理操作。
可选的,在本申请一些可能的实现方式中,所述管理单元904,具体用于提取所述业务数据表中的特征项进行参数统计的过程中的异常项;
所述管理单元904,具体用于对所述异常项进行标记,以确定特征标记项;
所述管理单元904,具体用于基于所述特征标记项指引所述协议数据进行数据提取,以得到各个业务所对应的特征字段;
所述管理单元904,具体用于基于所述特征字段生成各个业务所对应的特征数据表;
所述管理单元904,具体用于基于各个业务所对应的所述特征数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作。
通过获取目标数据库中与多个业务相关联的协议数据;然后基于预设规则对协议数据进行数据提取,以得到各个业务所对应的协议字段,该预设规则基于不同的业务所对应的特征标识设定;并根据协议字段进行拼接得到数据库定义语言,并基于数据库定义语言生成各个业务所对应的数据库表;进一步的确定数据库表对应的数据库操作语言,以对协议数据进行解析得到业务数据,并基于业务数据对数据库表进行填充得到各个业务所对应的业务数据表;进而基于各个业务所对应的业务数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作。从而实现对于网络协议的自动解析并管理的过程,由于各个业务之间分别建表并储存,减少了数据之间的干扰,且全程为脚本化处理,可以快速的响应并满足海量网络协议的管理需求,提高了网络协议管理的准确性以及有效性。
本申请实施例还提供了一种终端设备,如图10所示,是本申请实施例提供的另一种终端设备的结构示意图,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(personal digital assistant,PDA)、销售终端(point of sales,POS)、车载电脑等任意终端设备,以终端为手机为例:
图10示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图10,手机包括:射频(radio frequency,RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity,WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解,图10中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图10对手机的各个构成部件进行具体的介绍:
RF电路1010可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1080处理;另外,将设计上行的数据发送给基站。通常,RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier,LNA)、双工器等。此外,RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystem of mobile communication,GSM)、通用分组无线服务(general packet radioservice,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。
存储器1020可用于存储软件程序以及模块,处理器1080通过运行存储在存储器1020的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作,以及在触控面板1031上一定范围内的隔空触控操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1080,并能接收处理器1080发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031,输入单元1030还可以包括其他输入设备1032。具体地,其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041,可选的,可以采用液晶显示器(liquidcrystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)等形式来配置显示面板1041。进一步的,触控面板1031可覆盖显示面板1041,当触控面板1031检测到在其上或附近的触摸操作后,传送给处理器1080以确定触摸事件的类型,随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图10中,触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1050,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1041和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1060、扬声器1061,传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号,传输到扬声器1061,由扬声器1061转换为声音信号输出;另一方面,传声器1062将收集的声音信号转换为电信号,由音频电路1060接收后转换为音频数据,再将音频数据输出处理器1080处理后,经RF电路1010以发送给比如另一手机,或者将音频数据输出至存储器1020以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图10示出了WiFi模块1070,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1020内的软件程序和/或模块,以及调用存储在存储器1020内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1080可包括一个或多个处理单元;可选的,处理器1080可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池),可选的,电源可以通过电源管理系统与处理器1080逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该终端所包括的处理器1080还具有执行如上述页面处理方法的各个步骤的功能。
本申请实施例还提供了一种服务器,请参阅图11,图11是本申请实施例提供的一种服务器的结构示意图,该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)1122(例如,一个或一个以上处理器)和存储器1132,一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中,存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1122可以设置为与存储介质1130通信,在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1100还可以包括一个或一个以上电源1126,一个或一个以上有线或无线网络接口1150,一个或一个以上输入输出接口1158,和/或,一个或一个以上操作系统1141,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由管理装置所执行的步骤可以基于该图11所示的服务器结构。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有协议数据的管理指令,当其在计算机上运行时,使得计算机执行如前述图2至图8所示实施例描述的方法中协议数据的管理装置所执行的步骤。
本申请实施例中还提供一种包括协议数据的管理指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图2至图8所示实施例描述的方法中协议数据的管理装置所执行的步骤。
本申请实施例还提供了一种协议数据的管理系统,所述协议数据的管理系统可以包含图9所描述实施例中的协议数据的管理装置,或图10所描述实施例中的终端设备,或者图11所描述的服务器。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,协议数据的管理装置,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (15)
1.一种协议数据的管理方法,其特征在于,包括:
获取目标数据库中与多个业务相关联的协议数据;
基于预设规则对所述协议数据进行数据提取,以得到各个业务所对应的协议字段,所述预设规则基于不同的业务所对应的特征标识设定;
根据所述协议字段进行拼接得到数据库定义语言,并基于所述数据库定义语言生成各个业务所对应的数据库表;
确定所述数据库表对应的数据库操作语言,以对所述协议数据进行解析得到业务数据,并基于所述业务数据对所述数据库表进行填充得到各个业务所对应的业务数据表;
基于各个业务所对应的所述业务数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作。
2.根据权利要求1所述的方法,其特征在于,所述获取目标数据库中与多个业务相关联的协议数据,包括:
获取所述目标数据库中基于数据传输而统计所得的汇总数据表;
确定所述汇总数据表中的指示业务代码;
基于所述业务代码进行业务识别,以确定各个业务所对应的所述协议数据。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
接收处理业务在执行过程中产生的传输数据;
确定所述处理业务对应的处理代码;
基于所述处理代码在所述汇总数据表中确定相应的统计项,并基于所述传输数据对所述统计项进行更新。
4.根据权利要求1所述的方法,其特征在于,所述基于预设规则对所述协议数据进行数据提取,以得到各个业务所对应的协议字段,包括:
基于所述预设规则确定对应各个业务所对应的特征标识;
根据所述特征标识对所述协议数据进行数据拆分,以得到拆分数据;
调用正则表达式对所述拆分数据进行数据提取,以得到各个业务所对应的所述协议字段。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
确定数据库表对应的项目统计方式;
基于所述项目统计方式对所述协议字段的排列方式进行更新,以使得所述协议字段与所述数据库表相匹配。
6.根据权利要求1所述的方法,其特征在于,所述根据所述协议字段进行拼接得到数据库定义语言,并基于所述数据库定义语言生成各个业务所对应的数据库表,包括:
获取标准化的输入格式以及所述目标数据库对应的配置语句;
基于所述输入格式对基于所述配置语句提取的所述协议字段进行拼接,以得到所述数据库定义语言;
基于所述数据库定义语言生成各个业务所对应的数据库表。
7.根据权利要求1所述的方法,其特征在于,所述确定所述数据库表对应的数据库操作语言,以对所述协议数据进行解析得到业务数据,并基于所述业务数据对所述数据库表进行填充得到各个业务所对应的业务数据表,包括:
确定所述数据库表对应的结构信息,并基于所述结构信息拼接得到所述数据库操作语言;
通过所述数据库操作语言将所述协议数据输入解码器,以得到所述业务数据;
确定所述业务数据对应的业务信息;
基于所述业务信息确定所述数据库表中的业务项;
根据所述业务数据对所述业务项进行填充得到各个业务所对应的业务数据表。
8.根据权利要求1所述的方法,其特征在于,所述基于各个业务所对应的所述业务数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作,包括:
确定各个业务所对应的所述业务数据表中的特征项的字段总数;
检测所述业务数据表中的特征项对应值的缺失数;
根据所述缺失数和所述字段总数确定缺失率,以对各个业务进行相应的管理操作。
9.根据权利要求8所述的方法,其特征在于,所述根据所述缺失数和所述字段总数确定缺失率,以对各个业务进行相应的管理操作,包括:
根据所述缺失数和所述字段总数确定所述缺失率;
确定各个业务所对应的阈值信息;
基于所述阈值信息分别与各个业务对应的所述缺失率进行比较,以对各个业务进行相应的管理操作。
10.根据权利要求1所述的方法,其特征在于,所述基于预设规则对所述协议数据进行数据提取,以得到各个业务所对应的协议字段,包括:
基于预设规则对所述协议数据进行数据提取,以得到各个业务所对应的协议字段;
为所述协议字段配置字段标识;
所述确定所述数据库表对应的数据库操作语言,以对所述协议数据进行解析得到业务数据,并基于所述业务数据对所述数据库表进行填充得到各个业务所对应的业务数据表,包括:
确定所述数据库表对应的数据库操作语言,以提取所述协议数据中的所述字段标识;
基于所述字段标识进行数据定位,以解析得到所述业务数据;
基于所述业务数据对所述数据库表进行填充得到各个业务所对应的业务数据表。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述方法还包括:
获取参考业务数据;
基于所述协议字段提取所述参考业务数据对应的参考值;
根据所述参考值遍历所述业务数据表,以确定所述目标数据库中的风险业务。
12.根据权利要求1所述的方法,其特征在于,所述协议数据为超文本传输协议数据,所述目标数据库分布式存储所述超文本传输协议数据,所述数据库定义语言采用python和SQL语句结合所得。
13.一种协议数据的管理装置,其特征在于,包括:
获取单元,用于获取目标数据库中与多个业务相关联的协议数据;
提取单元,用于基于预设规则对所述协议数据进行数据提取,以得到各个业务所对应的协议字段,所述预设规则基于不同的业务所对应的特征标识设定;
确定单元,用于根据所述协议字段进行拼接得到数据库定义语言,并基于所述数据库定义语言生成各个业务所对应的数据库表;
所述确定单元,还用于确定所述数据库表对应的数据库操作语言,以对所述协议数据进行解析得到业务数据,并基于所述业务数据对所述数据库表进行填充得到各个业务所对应的业务数据表;
管理单元,用于基于各个业务所对应的所述业务数据表中的特征项进行参数统计,以对各个业务进行相应的管理操作。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器以及存储器:
所述存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行权利要求1至12任一项所述的协议数据的管理方法。
15.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述权利要求1至12任一项所述的协议数据的管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110350146.9A CN115145910A (zh) | 2021-03-31 | 2021-03-31 | 一种协议数据的管理方法以及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110350146.9A CN115145910A (zh) | 2021-03-31 | 2021-03-31 | 一种协议数据的管理方法以及相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115145910A true CN115145910A (zh) | 2022-10-04 |
Family
ID=83404274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110350146.9A Pending CN115145910A (zh) | 2021-03-31 | 2021-03-31 | 一种协议数据的管理方法以及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115145910A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116055589A (zh) * | 2023-01-28 | 2023-05-02 | 北京国科天迅科技有限公司 | 数据管理方法、装置及计算机设备 |
-
2021
- 2021-03-31 CN CN202110350146.9A patent/CN115145910A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116055589A (zh) * | 2023-01-28 | 2023-05-02 | 北京国科天迅科技有限公司 | 数据管理方法、装置及计算机设备 |
CN116055589B (zh) * | 2023-01-28 | 2023-06-06 | 北京国科天迅科技有限公司 | 数据管理方法、装置及计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107480533B (zh) | 一种漏洞修复的方法、装置及存储介质 | |
CN106295353B (zh) | 一种引擎漏洞检测的方法以及检测装置 | |
CN111368290A (zh) | 一种数据异常检测方法、装置及终端设备 | |
CN110210605B (zh) | 硬件算子匹配方法及相关产品 | |
CN110704661A (zh) | 一种图像分类方法和装置 | |
CN109947650B (zh) | 脚本步骤处理方法、装置和系统 | |
CN110995810B (zh) | 一种基于人工智能的对象识别方法和相关装置 | |
CN112540996B (zh) | 一种业务数据的校验方法、装置、电子设备及存储介质 | |
CN105335653A (zh) | 一种异常数据检测方法及装置 | |
CN111222563A (zh) | 一种模型训练方法、数据获取方法以及相关装置 | |
CN116956080A (zh) | 一种数据处理方法、装置以及存储介质 | |
CN113010825A (zh) | 一种数据处理方法和相关装置 | |
CN115904950A (zh) | 一种测试用例生成方法、装置、设备及存储介质 | |
CN108984374A (zh) | 一种数据库性能的测试方法和系统 | |
CN110781274A (zh) | 一种问答对生成的方法与装置 | |
CN115145910A (zh) | 一种协议数据的管理方法以及相关装置 | |
CN112053216A (zh) | 一种金融产品的风险管理方法以及相关装置 | |
CN112859136A (zh) | 一种定位方法和相关装置 | |
CN109450853B (zh) | 恶意网站判定方法、装置、终端及服务器 | |
CN116303085A (zh) | 一种测试原因分析方法、装置、设备及存储介质 | |
CN117009328A (zh) | 一种基于噪声过滤的模型训练方法、装置以及存储介质 | |
CN112784185B (zh) | 一种基于信息点的信息管理方法以及相关装置 | |
CN114490307A (zh) | 一种单元测试方法、装置及存储介质 | |
CN109240986A (zh) | 一种日志处理方法、装置及存储介质 | |
CN118349481B (zh) | 一种java代码异常检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |