CN112165465B - 外发第三方平台的数据处理方法、装置和电子装置 - Google Patents

外发第三方平台的数据处理方法、装置和电子装置 Download PDF

Info

Publication number
CN112165465B
CN112165465B CN202010973390.6A CN202010973390A CN112165465B CN 112165465 B CN112165465 B CN 112165465B CN 202010973390 A CN202010973390 A CN 202010973390A CN 112165465 B CN112165465 B CN 112165465B
Authority
CN
China
Prior art keywords
data
outgoing
processing
party platform
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010973390.6A
Other languages
English (en)
Other versions
CN112165465A (zh
Inventor
周刚涛
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN202010973390.6A priority Critical patent/CN112165465B/zh
Publication of CN112165465A publication Critical patent/CN112165465A/zh
Application granted granted Critical
Publication of CN112165465B publication Critical patent/CN112165465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/03Protocol definition or specification 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08Protocols for interworking; Protocol conversion

Abstract

本申请涉及一种外发第三方平台的数据处理方法、装置和电子装置,其中,该外发第三方平台的数据处理方法包括:获取数据流量;对数据流量进行协议解析处理,以获取数据流量中的数据内容;根据预设规范化字段映射对数据内容进行规范化处理,得到规范化处理后的数据内容;将规范化处理后的数据内容发送至第三方平台。通过本申请,解决了相关技术中,无法有效地对外发第三方平台的数据进行规范化处理的问题。

Description

外发第三方平台的数据处理方法、装置和电子装置
技术领域
本申请涉及计算机技术领域,特别是涉及一种外发第三方平台的数据处理方法、装置和电子装置。
背景技术
随着互联网的兴起与信息技术的发展,云计算与大数据技术的应用范围越来越广泛。数字化、数据挖掘等数据分析与处理技术,越来越受各大企业的重视,大数据分析平台成为不可阻断的发展方向。与此同时,大数据分析平台与第三方平台的对接成为不可避免的事情。如何快速进行数据对接、数据转换以及对接多个第三方平台将成为亟待解决的技术问题。
在相关技术中,现有的流量分析系统及IDS设备,往往只能按照预先定义好的数据字段进行数据传输,这会导致第三方平台接收数据后,还需要通过其他数据规范化设备对接收到的数据进行规范化处理,这会大大增加第三方平台的硬件设备成本以及网络带宽压力。
目前针对相关技术中,无法有效地对外发第三方平台的数据进行规范化处理的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种外发第三方平台的数据处理方法、装置和电子装置,以至少解决相关技术中,无法有效地对外发第三方平台的数据进行规范化处理的问题。
第一方面,本申请实施例提供了一种外发第三方平台的数据处理方法,包括:
获取数据流量;
对所述数据流量进行协议解析处理,以获取所述数据流量中的数据内容;
根据预设规范化字段映射对所述数据内容进行规范化处理,得到规范化处理后的数据内容;
将所述规范化处理后的数据内容发送至第三方平台。
在其中一些实施例中,所述对所述数据流量进行协议解析处理,以获取所述数据流量中的数据内容包括:
确定所述数据流量的通讯协议类型;
根据所述通讯协议类型,确定协议解析策略;
根据所述协议解析策略对所述数据流量进行协议解析处理,得到所述数据流量中的数据内容。
在其中一些实施例中,所述根据预设规范化字段映射对所述数据内容进行规范化处理,得到规范化处理后的数据内容包括:
获取预设规范化字段映射;所述预设规范化字段映射包括多个规范化字段;
根据所述预设规范化字段映射,在所述数据内容中查找每一所述规范化字段对应的目标字段数据;
将所述目标字段数据赋值给对应的规范化字段,得到规范化处理后的数据内容。
在其中一些实施例中,所述将所述规范化处理后的数据内容发送至第三方平台包括:
定义所述第三方平台的配置信息;所述配置信息包括外发任务名称、外发字段列表、外发数据类型和外发字段名称;
定义数据外发策略;
根据所述配置信息对所述规范化处理后的数据内容进行配置处理,得到配置处理后的外发字段信息;
根据所述数据外发策略,将所述外发字段信息送到至所述第三方平台。
在其中一些实施例中,在所述定义所述第三方平台的配置信息之后,所述方法还包括:
根据所述配置信息,生成所述第三方平台的配置模板;
根据所述配置模板,对所述规范化处理后的数据内容进行配置处理,得到配置处理后的外发字段信息。
在其中一些实施例中,在将所述外发字段信息送到至所述第三方平台之前,所述方法还包括:
获取预设赋值规则;所述预设赋值规则与所述第三方平台的业务类型相对应;
根据所述预设赋值规则对所述外发字段信息进行赋值运算处理,得到赋值运算处理后的外发字段信息。
在其中一些实施例中,所述外发字段信息的赋值方式包括:静态值赋值方式、表达式赋值方式和条件判断赋值方式,其中:
所述静态值赋值方式表示赋值运算处理后的外发字段信息与赋值运算处理前的外发字段信息一致;
所述表达式赋值方式表示通过赋值表达式对所述外发字段信息进行赋值运算处理;
所述条件判断赋值方式表示通过条件判断语句对所述外发字段信息进行赋值运算处理。
第二方面,本申请实施例提供了一种外发第三方平台的数据处理装置,包括:
数据获取模块,用于获取数据流量;
协议解析模块,用于对所述数据流量进行协议解析处理,以获取所述数据流量中的数据内容;
规范处理模块,根据预设规范化字段映射对所述数据内容进行规范化处理,得到规范化处理后的数据内容;
数据传输模块,用于将所述规范化处理后的数据内容发送至第三方平台。
第三方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的外发第三方平台的数据处理方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的外发第三方平台的数据处理方法。
相比于相关技术,本申请实施例提供的外发第三方平台的数据处理方法、装置和电子装置,通过获取数据流量;对数据流量进行协议解析处理,以获取数据流量中的数据内容;根据预设规范化字段映射对数据内容进行规范化处理,得到规范化处理后的数据内容;将规范化处理后的数据内容发送至第三方平台,解决了相关技术中,无法有效地对外发第三方平台的数据进行规范化处理的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例的外发第三方平台的数据处理方法的流程图;
图2为本申请实施例中获取数据流量中的数据内容的流程图;
图3为本申请实施例中对数据内容进行规范化处理的流程图;
图4为本申请实施例中将规范化处理后的数据内容发送至第三方平台的流程图;
图5为本申请优选实施例的外发第三方平台的数据处理方法的流程图;
图6为本申请实施例的外发第三方平台的数据处理方法的终端的硬件结构框图;
图7为本申请实施例的外发第三方平台的数据处理装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本申请所描述的各种技术,可以但不仅限于应用于各种数据处理平台、设备以及系统。
图1为本申请实施例的外发第三方平台的数据处理方法的流程图,如图1所示,该流程包括如下步骤:
步骤S110,获取数据流量。
可以从主机网卡上采集数据流量,也可以获取交换机中的镜像流量作为数据流量,本实施例不限制获取数据流量的途径。
步骤S120,对数据流量进行协议解析处理,以获取数据流量中的数据内容。
步骤S130,根据预设规范化字段映射对数据内容进行规范化处理,得到规范化处理后的数据内容。
预设规范化字段映射为第三方平台根据实际应用需求自定义的。
步骤S140,将规范化处理后的数据内容发送至第三方平台。
通过上述步骤S110至步骤S140,获取数据流量;对数据流量进行协议解析处理,以获取数据流量中的数据内容;根据预设规范化字段映射对数据内容进行规范化处理,得到规范化处理后的数据内容;将规范化处理后的数据内容发送至第三方平台。本申请通过根据预设规范化字段映射对数据内容进行规范化处理,并将规范化处理后的数据内容发送至第三方平台,实现对外发第三方平台的数据格式的统一,可以避免由于接收到的数据的格式不一致,导致第三方平台无法直接进行数据分析处理的问题,解决了无法有效地对外发第三方平台的数据进行规范化处理的问题。同时,当第三方平台接收到规范化处理后的数据内容之后,可以直接通过规范化处理后的数据内容进行查询、统计、关联、可视化以及数据挖掘等数据分析处理,而不需要通过其他数据规范化设备对接收到的数据进行规范化处理,大大降低第三方平台的硬件设备成本以及网络带宽压力。
在其中一些实施例中,图2为本申请实施例中获取数据流量中的数据内容的流程图,如图2所示,该流程包括如下步骤:
步骤S210,确定数据流量的通讯协议类型。
通讯协议又称通信规程,是指通信双方对数据传送控制的一种约定。约定中包括对数据格式,同步方式,传送速度,传送步骤,检纠错方式以及控制字符定义等问题做出统一规定,通信双方必须共同遵守,它也叫做链路控制规程。
步骤S220,根据通讯协议类型,确定协议解析策略。
步骤S230,根据协议解析策略对数据流量进行协议解析处理,得到数据流量中的数据内容。
需要说明的是,不同的通讯协议在数据传输过程中,采用的数据格式不同,因此,需要根据每一种通讯协议中的数据格式,确定对应的协议解析策略,从而根据对应的协议解析策略,快速确定数据内容在数据流量包中的位置,以获取数据流量中的数据内容。
通过上述步骤S210至步骤S230,确定数据流量的通讯协议类型;根据通讯协议类型,确定协议解析策略;根据协议解析策略对数据流量进行协议解析处理,得到数据流量中的数据内容。本实施例通过针对不同通讯协议类型对应的数据流量,采用不同的协议解析策略,从而快速解析出数据流量中的数据内容,提高了数据流量的协议解析效率。
在其中一些实施例中,图3为本申请实施例中对数据内容进行规范化处理的流程图,如图3所示,该流程包括如下步骤:
步骤S310,获取预设规范化字段映射;预设规范化字段映射包括多个规范化字段。
可以根据第三方平台的实际需求进行设置预设规范化字段映射,也可以根据数据处理平台的统一标准设置预设规范化字段映射,本实施例不作限制。
步骤S320,根据预设规范化字段映射,在数据内容中查找每一规范化字段对应的目标字段数据。
预设规范化字段映射还包括每一规范化字段的属性信息以及每一规范化字段与其属性信息之间的映射关系。目标字段数据可以表示与其对应的规范化字段具有相同属性信息的目标字段以及目标字段的取值。
步骤S330,将目标字段数据赋值给对应的规范化字段,得到规范化处理后的数据内容。
具体地,可以每一规范化字段的属性信息,在数据内容中查找每一规范化字段对应的目标字段数据,并将该目标字段数据存储在对应规范化字段所在的位置,得到得到规范化处理后的数据内容。
通过上述步骤S310至步骤S330,获取预设规范化字段映射;预设规范化字段映射包括多个规范化字段;根据预设规范化字段映射,在数据内容中查找每一规范化字段对应的目标字段数据;将目标字段数据赋值给对应的规范化字段,得到规范化处理后的数据内容,提高了对外发第三方平台的数据进行规范化处理的效率,并且这种方法具有操作简单的优点,便于推广应用,具有广泛的应用前景。
在其中一些实施例中,预设规范化字段映射还包括每一规范化字段的属性信息与其标准名称之间的映射关系。
可以将预设规范化字段映射理解为一个映射集合,该映射集合包含多个规范化字段以及每一规范化字段的属性信息与其标准名称之间的映射关系。
具体地,可以根据每一规范化字段的属性信息,在数据内容中搜索与该规范化字段具有相同属性信息的目标字段数据,并将目标字段数据赋值给对应的规范化字段,得到规范化处理后的数据内容。
通过本实施例,根据每一规范化字段的属性信息,在数据内容中搜索与该规范化字段具有相同属性信息的目标字段数据,并将目标字段数据赋值给对应的规范化字段,通过自动赋值实现对外发第三方平台的字段名称的统一,提高了数据处理效率。
在其中一些实施例中,图4为本申请实施例中将规范化处理后的数据内容发送至第三方平台的流程图,如图4所示,该流程包括如下步骤:
步骤S410,定义第三方平台的配置信息;配置信息包括外发任务名称、外发字段列表、外发数据类型和外发字段名称。
配置信息还包括新增字段列表。可以根据外发的第三方平台所涉及的业务类型来确定外发任务名称、外发字段列表、外发数据类型、外发字段名称和新增字段列表。其中,外发字段列表表示从规范化处理后的数据内容中筛选出的第三方平台需要的字段。新增字段列表表示第三方平台需要但不在规范化处理后的数据内容中的其他字段的列表。也就是说,第三方平台所需的所有字段包括外发字段列表中的字段和新增字段列表中的字段。
步骤S420,定义数据外发策略。
数据外发策略包括时间触发策略和字段触发策略中的至少之一。时间触发策略可以表示通过预设外发时刻或者预设外发时间段进行数据传输。例如,可以在早上十点至十一点之间将数据发送至第三方平台。字段触发策略可以表示通过预设优先级、预设数据类型或者预设区域类别进行数据传输。例如,将外发数据分为中级数据和高级数据,设置预设优先级为高级,也就是说,只将高级数据发送至第三方平台,而将中级数据从数据发送列表中删除。
步骤S430,根据配置信息对规范化处理后的数据内容进行配置处理,得到配置处理后的外发字段信息。
具体地,建立数据外发任务,并根据配置信息中的外发任务名称对该数据外发任务进行命名。规范化处理后的数据内容中提取出外发字段列表中外发字段对应的字段信息,根据该外发字段名称对该外发字段进行命名。将命名后外发字段对应的数据类型转化为外发数据类型,从而得到配置处理后的外发字段信息。
步骤S440,根据数据外发策略,将外发字段信息送到至第三方平台。
通过上述步骤S410至步骤S440,定义第三方平台的配置信息;配置信息包括外发任务名称、外发字段列表、外发数据类型和外发字段名称;定义数据外发策略;根据配置信息对规范化处理后的数据内容进行配置处理,得到配置处理后的外发字段信息;根据数据外发策略,将外发字段信息送到至第三方平台。
在其中一些实施例中,根据配置信息,生成第三方平台的配置模板;根据配置模板,对规范化处理后的数据内容进行配置处理,得到配置处理后的外发字段信息。
需要说明的是,当发往同一第三方平台的数据量比较大时,往往需要将数据分为多个批次进行处理并发送,当同一第三方平台对于多个批次的配置要求一致,可以根据第一批次数据的配置信息,生成第三方平台的配置模板,从而可以直接根据第三方平台的配置模板对其他批次的数据进行配置处理,即通过一次配置即可重复使用。
通过上述实施例,根据配置信息,生成第三方平台的配置模板;根据配置模板,对规范化处理后的数据内容进行配置处理,得到配置处理后的外发字段信息,实现通过一次配置即可重复使用,从而可以节省出大量的时间进行其他数据处理,提高了数据处理效率。
在其中一些实施例中,获取预设赋值规则;预设赋值规则与第三方平台的业务类型相对应;根据预设赋值规则对外发字段信息进行赋值运算处理,得到赋值运算处理后的外发字段信息。
第三方平台接收到数据处理平台发送的外发字段信息之后,往往不能直接通过这些外发字段信息进行查询、统计、关联、可视化以及数据挖掘等数据分析处理,而是需要对这些外发字段信息作进一步的赋值处理。
本实施例通过根据第三方平台涉及的业务类型自定义预设赋值规则,从而根据自定义的预设赋值规则对外发字段信息进行赋值运算处理,从而可以使得从而使得第三方平台收到外发字段信息不要进行额外的赋值运算处理,可直接进行查询、统计、关联、可视化以及数据挖掘等数据分析处理,进一步降低了第三方平台的硬件设备成本以及网络带宽压力。
在其中一些实施例中,外发字段信息的赋值方式包括:静态值赋值方式、表达式赋值方式和条件判断赋值方式,其中:
静态值赋值方式表示赋值运算处理后的外发字段信息与赋值运算处理前的外发字段信息一致。
表达式赋值方式表示通过赋值表达式对外发字段信息进行赋值运算处理。
条件判断赋值方式表示通过条件判断语句对外发字段信息进行赋值运算处理。
需要说明的是,静态值赋值方式表示不对外发字段信息作任何处理,即赋值运算处理后的外发字段信息与赋值运算处理前的外发字段信息一致。在表达式赋值方式下,需要将外发字段信息输入至赋值表达式进行赋值运算处理,从而得到赋值运算处理后的外发字段信息。在条件判断赋值方式下,需要根据条件判断语句从外发字段信息中筛选出符合预设判断条件的字段信息,并将符合预设判断条件的字段信息作为赋值运算处理后的外发字段信息。
通过上述实施例,可以根据实际应用需求,选择合适的外发字段信息的赋值方式,从而根据静态值赋值方式、表达式赋值方式或者条件判断赋值方式,快速完成外发字段信息的赋值处理,进一步提高数据处理平台的处理效率,从而提高数据对接、数据转换的效率以及对接第三方平台的数量。
下面通过优选实施例对本申请实施例进行描述和说明。
图5为本申请优选实施例的外发第三方平台的数据处理方法的流程图,如图5所示,该外发第三方平台的数据处理方法包括如下步骤:
步骤S510,获取数据流量。
步骤S520,对数据流量进行协议解析处理,以获取数据流量中的数据内容。
步骤S530,根据预设规范化字段映射对数据内容进行规范化处理,得到规范化处理后的数据内容。
步骤S540,定义第三方平台的配置信息;配置信息包括外发任务名称、外发字段列表、外发数据类型和外发字段名称;定义数据外发策略。
步骤S550,根据配置信息对规范化处理后的数据内容进行配置处理,得到配置处理后的外发字段信息。
步骤S560,获取预设赋值规则;预设赋值规则与第三方平台的业务类型相对应;根据预设赋值规则对配置处理后的外发字段信息进行赋值运算处理,得到赋值运算处理后的外发字段信息。
步骤S570,根据数据外发策略,将赋值运算处理后的外发字段信息送到至第三方平台。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。例如,结合图4,步骤S410和步骤S420的执行顺序可以互换,即可以先执行步骤S410,然后执行步骤S420;也可以先执行步骤S420,然后执行步骤S410。再例如。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例,图6为本申请实施例的外发第三方平台的数据处理方法的终端的硬件结构框图。如图6所示,终端60可以包括一个或多个(图6中仅示出一个)处理器602(处理器602可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器604,可选地,上述终端还可以包括用于通信功能的传输设备606以及输入输出设备608。本领域普通技术人员可以理解,图6所示的结构仅为示意,其并不对上述终端的结构造成限定。例如,终端60还可包括比图6中所示更多或者更少的组件,或者具有与图6所示不同的配置。
存储器604可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本申请实施例中的外发第三方平台的数据处理方法对应的计算机程序,处理器602通过运行存储在存储器604内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器604可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器604可进一步包括相对于处理器602远程设置的存储器,这些远程存储器可以通过网络连接至终端60。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备606用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端60的通信供应商提供的无线网络。在一个实例中,传输设备606包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备606可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
本实施例还提供了一种外发第三方平台的数据处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图7为本申请实施例的外发第三方平台的数据处理装置的结构框图,如图7所示,该外发第三方平台的数据处理装置包括:
数据获取模块710,用于获取数据流量。
协议解析模块720,用于对数据流量进行协议解析处理,以获取数据流量中的数据内容。
规范处理模块730,根据预设规范化字段映射对数据内容进行规范化处理,得到规范化处理后的数据内容。
数据传输模块740,用于将规范化处理后的数据内容发送至第三方平台。
在其中一些实施例中,数据获取模块710包括第一确定单元、第二确定单元和协议解析单元,其中:
第一确定单元,用于确定数据流量的通讯协议类型。
第二确定单元,用于根据通讯协议类型,确定协议解析策略。
协议解析单元,用于根据协议解析策略对数据流量进行协议解析处理,得到数据流量中的数据内容。
在其中一些实施例中,规范处理模块730包括数据获取单元、数据查找单元和规范处理单元,其中:
数据获取单元,用于获取预设规范化字段映射;预设规范化字段映射包括多个规范化字段。
数据查找单元,用于根据预设规范化字段映射,在数据内容中查找每一规范化字段对应的目标字段数据。
规范处理单元,用于将目标字段数据赋值给对应的规范化字段,得到规范化处理后的数据内容。
在其中一些实施例中,数据传输模块740包括第一定义单元、第一定义单元、配置处理单元和数据发送单元,其中:
第一定义单元,用于定义第三方平台的配置信息;配置信息包括外发任务名称、外发字段列表、外发数据类型和外发字段名称。
第一定义单元,用于定义数据外发策略。
配置处理单元,用于根据配置信息对规范化处理后的数据内容进行配置处理,得到配置处理后的外发字段信息。
数据发送单元,用于根据数据外发策略,将外发字段信息送到至第三方平台。
在其中一些实施例中,规范处理模块730还包括模板生成单元,模板生成单元,用于根据配置信息,生成第三方平台的配置模板;配置处理单元还用于根据配置模板,对规范化处理后的数据内容进行配置处理,得到配置处理后的外发字段信息。
在其中一些实施例中,该外发第三方平台的数据处理装置还包括赋值处理模块,赋值处理模块包括规则获取模块和赋值处理单元,其中:
规则获取模块,用于获取预设赋值规则;预设赋值规则与第三方平台的业务类型相对应。
赋值处理单元,用于根据预设赋值规则对外发字段信息进行赋值运算处理,得到赋值运算处理后的外发字段信息。
在其中一些实施例中,外发字段信息的赋值方式包括:静态值赋值方式、表达式赋值方式和条件判断赋值方式,其中:
静态值赋值方式表示赋值运算处理后的外发字段信息与赋值运算处理前的外发字段信息一致。
表达式赋值方式表示通过赋值表达式对外发字段信息进行赋值运算处理。
条件判断赋值方式表示通过条件判断语句对外发字段信息进行赋值运算处理。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取数据流量。
S2,对数据流量进行协议解析处理,以获取数据流量中的数据内容。
S3,根据预设规范化字段映射对数据内容进行规范化处理,得到规范化处理后的数据内容。
S4,将规范化处理后的数据内容发送至第三方平台。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的外发第三方平台的数据处理方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种外发第三方平台的数据处理方法。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种外发第三方平台的数据处理方法,其特征在于,包括:
获取数据流量;
对所述数据流量进行协议解析处理,以获取所述数据流量中的数据内容;
根据预设规范化字段映射对所述数据内容进行规范化处理,得到规范化处理后的数据内容;
将所述规范化处理后的数据内容发送至第三方平台;
其中,所述将所述规范化处理后的数据内容发送至第三方平台包括:定义所述第三方平台的配置信息,根据所述第三方平台的配置信息,生成所述第三方平台的配置模板;根据所述配置模板,对所述规范化处理后的数据内容进行配置处理,得到配置处理后的外发字段信息;根据定义的数据外发策略,将所述外发字段信息送到至所述第三方平台,所述配置信息包括外发任务名称、外发字段列表、外发数据类型和外发字段名称。
2.根据权利要求1所述的方法,其特征在于,所述对所述数据流量进行协议解析处理,以获取所述数据流量中的数据内容包括:
确定所述数据流量的通讯协议类型;
根据所述通讯协议类型,确定协议解析策略;
根据所述协议解析策略对所述数据流量进行协议解析处理,得到所述数据流量中的数据内容。
3.根据权利要求1所述的方法,其特征在于,所述根据预设规范化字段映射对所述数据内容进行规范化处理,得到规范化处理后的数据内容包括:
获取预设规范化字段映射;所述预设规范化字段映射包括多个规范化字段;
根据所述预设规范化字段映射,在所述数据内容中查找每一所述规范化字段对应的目标字段数据;
将所述目标字段数据赋值给对应的规范化字段,得到规范化处理后的数据内容。
4.根据权利要求1所述的方法,其特征在于,在将所述外发字段信息送到至所述第三方平台之前,所述方法还包括:
获取预设赋值规则;所述预设赋值规则与所述第三方平台的业务类型相对应;
根据所述预设赋值规则对所述外发字段信息进行赋值运算处理,得到赋值运算处理后的外发字段信息。
5.根据权利要求4所述的方法,其特征在于,所述外发字段信息的赋值方式包括:静态值赋值方式、表达式赋值方式和条件判断赋值方式,其中:
所述静态值赋值方式表示赋值运算处理后的外发字段信息与赋值运算处理前的外发字段信息一致;
所述表达式赋值方式表示通过赋值表达式对所述外发字段信息进行赋值运算处理;
所述条件判断赋值方式表示通过条件判断语句对所述外发字段信息进行赋值运算处理。
6.一种外发第三方平台的数据处理装置,其特征在于,包括:
数据获取模块,用于获取数据流量;
协议解析模块,用于对所述数据流量进行协议解析处理,以获取所述数据流量中的数据内容;
规范处理模块,根据预设规范化字段映射对所述数据内容进行规范化处理,得到规范化处理后的数据内容;
数据传输模块,用于将所述规范化处理后的数据内容发送至第三方平台,其中,定义所述第三方平台的配置信息,根据所述第三方平台的配置信息,生成所述第三方平台的配置模板,根据所述配置模板,对所述规范化处理后的数据内容进行配置处理,得到配置处理后的外发字段信息,根据定义的数据外发策略,将所述外发字段信息送到至所述第三方平台,所述配置信息包括外发任务名称、外发字段列表、外发数据类型和外发字段名称。
7.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的外发第三方平台的数据处理方法。
8.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被处理器运行时执行权利要求1至5中任一项所述的外发第三方平台的数据处理方法。
CN202010973390.6A 2020-09-16 2020-09-16 外发第三方平台的数据处理方法、装置和电子装置 Active CN112165465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010973390.6A CN112165465B (zh) 2020-09-16 2020-09-16 外发第三方平台的数据处理方法、装置和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010973390.6A CN112165465B (zh) 2020-09-16 2020-09-16 外发第三方平台的数据处理方法、装置和电子装置

Publications (2)

Publication Number Publication Date
CN112165465A CN112165465A (zh) 2021-01-01
CN112165465B true CN112165465B (zh) 2023-04-07

Family

ID=73858029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010973390.6A Active CN112165465B (zh) 2020-09-16 2020-09-16 外发第三方平台的数据处理方法、装置和电子装置

Country Status (1)

Country Link
CN (1) CN112165465B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103036730A (zh) * 2011-09-29 2013-04-10 西门子公司 一种对协议实现进行安全测试的方法及装置
CN107071006A (zh) * 2017-03-27 2017-08-18 广州数字方舟信息技术股份有限公司 一种面向航道大数据的采集系统及采集方法
CN107370753A (zh) * 2017-08-23 2017-11-21 上海斐讯数据通信技术有限公司 一种数据包协议解析字段处理方法和系统
CN108512821A (zh) * 2017-02-28 2018-09-07 阿里巴巴集团控股有限公司 数据传输方法、装置和系统及网闸以及交易数据存储方法
CN108881251A (zh) * 2018-06-28 2018-11-23 广州大学 一种任意二进制设备接入解析与标准化的系统及方法
CN110162556A (zh) * 2018-02-11 2019-08-23 陕西爱尚物联科技有限公司 一种有效发挥数据价值的方法
CN110290135A (zh) * 2019-06-24 2019-09-27 四川新网银行股份有限公司 对复杂报文统一规范化处理方的方法及请求的数据流
CN110336872A (zh) * 2019-06-28 2019-10-15 上海指旺信息科技有限公司 第三方数据获取的方法、装置及系统
CN111339171A (zh) * 2020-02-07 2020-06-26 拉扎斯网络科技(上海)有限公司 数据查询的方法、装置及设备
CN111343201A (zh) * 2020-05-18 2020-06-26 成都数之联科技有限公司 一种快速适配协议变更的解析方法、装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170249595A1 (en) * 2016-02-29 2017-08-31 Linkedin Corporation Automatically creating handling strategy rules for a normalized question record

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103036730A (zh) * 2011-09-29 2013-04-10 西门子公司 一种对协议实现进行安全测试的方法及装置
CN108512821A (zh) * 2017-02-28 2018-09-07 阿里巴巴集团控股有限公司 数据传输方法、装置和系统及网闸以及交易数据存储方法
CN107071006A (zh) * 2017-03-27 2017-08-18 广州数字方舟信息技术股份有限公司 一种面向航道大数据的采集系统及采集方法
CN107370753A (zh) * 2017-08-23 2017-11-21 上海斐讯数据通信技术有限公司 一种数据包协议解析字段处理方法和系统
CN110162556A (zh) * 2018-02-11 2019-08-23 陕西爱尚物联科技有限公司 一种有效发挥数据价值的方法
CN108881251A (zh) * 2018-06-28 2018-11-23 广州大学 一种任意二进制设备接入解析与标准化的系统及方法
CN110290135A (zh) * 2019-06-24 2019-09-27 四川新网银行股份有限公司 对复杂报文统一规范化处理方的方法及请求的数据流
CN110336872A (zh) * 2019-06-28 2019-10-15 上海指旺信息科技有限公司 第三方数据获取的方法、装置及系统
CN111339171A (zh) * 2020-02-07 2020-06-26 拉扎斯网络科技(上海)有限公司 数据查询的方法、装置及设备
CN111343201A (zh) * 2020-05-18 2020-06-26 成都数之联科技有限公司 一种快速适配协议变更的解析方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Hadoop平台的数据规范化处理研究;郭闻博等;《空军预警学院学报》;20160615(第03期);全文 *

Also Published As

Publication number Publication date
CN112165465A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN108965484B (zh) 一种物联网数据的传输方法、系统及终端
US9445286B2 (en) Protocol version negotiation method, mobile terminal, base station and communications system
CN109388417B (zh) 一种通信协议的更新方法、系统及终端设备
CN110808948B (zh) 远程过程调用方法、装置及系统
EP3550886A1 (en) Wireless communication method and network device
US10341830B2 (en) Method and apparatus for sending or forwarding information
CN111294235A (zh) 数据处理方法、装置、网关及可读存储介质
CN111585815B (zh) 一种端口数据采集方法及装置
CN111741512B (zh) 一种专网接入方法及装置
CN112423322A (zh) 型号信息发送方法、装置、存储介质及电子装置
CN113965904A (zh) 设备注册方法、装置和存储介质
CN111884938B (zh) 路由器信息采集方法及装置
CN112165465B (zh) 外发第三方平台的数据处理方法、装置和电子装置
CN112422485B (zh) 一种传输控制协议的通信方法及装置
CN111064729B (zh) 报文的处理方法及装置、存储介质和电子装置
CN116192626A (zh) 设备访问方法及装置、计算机可读存储介质、电子设备
CN112039801B (zh) 设置ip信息的方法、系统和代理服务器
CN113190565B (zh) 数据更新方法及装置、存储介质及电子装置
CN107466018B (zh) 一种终端设备的数据传送方法和终端设备
CN113900937A (zh) 脚本调用方法、装置、电子装置和存储介质
CN110493818B (zh) 无线保真模块的检测方法、装置、存储介质及电子装置
CN111294414A (zh) 一种报文的处理方法、装置以及系统
CN107784006B (zh) 数据处理方法及装置
CN113453207B (zh) 身份类型确定方法、装置、存储介质及电子装置
US20240048644A1 (en) Message transmission method and system, and network device and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant