CN111698159A - 业务数据处理方法、装置及存储介质 - Google Patents

业务数据处理方法、装置及存储介质 Download PDF

Info

Publication number
CN111698159A
CN111698159A CN201910199666.7A CN201910199666A CN111698159A CN 111698159 A CN111698159 A CN 111698159A CN 201910199666 A CN201910199666 A CN 201910199666A CN 111698159 A CN111698159 A CN 111698159A
Authority
CN
China
Prior art keywords
data
forwarding
strategy
service data
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910199666.7A
Other languages
English (en)
Inventor
�金钟
蔡适择
陈敏
姚小龙
何畅
田炽招
王栎汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
SF Tech Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN201910199666.7A priority Critical patent/CN111698159A/zh
Publication of CN111698159A publication Critical patent/CN111698159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/302Route determination based on requested QoS
    • H04L45/306Route determination based on the nature of the carried application

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种业务数据处理方法、装置及存储介质。该业务数据处理方法包括:获取网络中第一网络设备上报的业务数据;利用预置的数据转发模块将业务数据转发到目标数据转发策略对应的多个数据平台,该目标数据转发策略为所述第一网络设备对应的数据转发策略。本发明实施例中业务数据处理方法中业务数据转发可以采用统一的数据转发模块进行统一转发,网络中多套网络设备不需要多次开发转发流程,可以节省时间成本,并且支持单任务多数据平台地转发,提高处理业务数据效率。

Description

业务数据处理方法、装置及存储介质
技术领域
本发明涉及计算机技术领域,具体涉及一种业务数据处理方法、装置及存储介质。
背景技术
随着云计算日益普及和人工智能技术日益成熟,推动着信息科技向物联网时代转变,设备和网关通过各种协议向服务端上报数据,再根据规则转发至多个目的地。
目前的网关或设备上报数据的方案是:每开发一个网关或设备,都要独立开发一套规则转发逻辑,实现复杂,开发成本高。
发明内容
本发明实施例提供一种业务数据处理方法、装置及存储介质,可以节省时间成本,支持单任务多数据平台地转发,提高处理业务数据效率。
第一方面,本申请提供一种业务数据处理方法,所述业务数据处理方法包括:
获取网络中第一网络设备上报的业务数据;
利用预置的数据转发模块将所述业务数据转发到目标数据转发策略对应的多个数据平台,所述目标数据转发策略为所述第一网络设备对应的数据转发策略。
进一步的,所述利用预置的数据转发模块将所述业务数据转发到目标数据转发策略对应的多个数据平台,包括利用预置的数据转发模块执行如下步骤:
根据预置的解析策略对所述业务数据进行解析过滤,得到过滤数据;
获取预先配置的与所述第一网络设备对应的目标数据转发策略;
根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台。
进一步的,所述根据预置的解析策略对所述业务数据进行解析过滤,得到过滤数据,包括:
根据预置的第一解析策略对所述业务数据进行解析过滤,得到第一过滤数据;
根据预置的第二解析策略对所述业务数据进行解析过滤,得到第二过滤数据。
进一步的,所述根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台,包括:
根据所述目标数据转发策略,将所述第一过滤数据分别转发到第一数据平台和第二数据平台,将所述第二过滤数据分别转发到第一数据平台和第二数据平台。
进一步的,所述根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台,包括:
根据所述目标数据转发策略,将所述第一过滤数据分别转发到第一数据平台,将所述第二过滤数据转发到第二数据平台。
进一步的,所述根据预置的解析策略对所述业务数据进行解析过滤,得到过滤数据,包括:
根据预置的解析策略对所述业务数据进行解析,得到解析数据;
按照预设的数据分类方法对所述解析数据中的数据进行分隔,得到所述过滤数据。
进一步的,所述目标数据转发策略中包括第一数据转发策略和第二数据转发策略;所述根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台,包括:
根据所述第一数据转发策略将所述过滤数据转发到所述第一数据转发策略对应的第一数据平台,以使得所述第一数据平台从所述过滤数据中提取需要类型的数据进行保存;
根据所述第二数据转发策略将所述过滤数据转发到所述第二数据转发策略对应的第二数据平台,以使得所述第二数据平台从所述过滤数据中提取需要类型的数据进行保存。
进一步的,所述方法还包括:
在所述网络中新增第二网络设备时,为所述第二网络设备配置对应的数据转发策略。
进一步的,所述方法还包括:
按照预设时间周期统计所述网络中各网络设备上传的数据总量;
将各网络设备上传的数据总量上报到管理设备。
第二方面,本申请提供一种业务数据处理装置,所述业务数据处理装置包括:
获取模块,用于获取网络中第一网络设备上报的业务数据;
数据转发模块,用于将所述业务数据转发到目标数据转发策略对应的多个数据平台,所述目标数据转发策略为所述第一网络设备对应的数据转发策略。
进一步的,所述数据转发模块具体用于:
根据预置的解析策略对所述业务数据进行解析过滤,得到过滤数据;
获取预先配置的与所述第一网络设备对应的目标数据转发策略;
根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台。
进一步的,所述数据转发模块具体用于:
根据预置的第一解析策略对所述业务数据进行解析过滤,得到第一过滤数据;
根据预置的第二解析策略对所述业务数据进行解析过滤,得到第二过滤数据。
进一步的,所述数据转发模块具体用于:
根据所述目标数据转发策略,将所述第一过滤数据分别转发到第一数据平台和第二数据平台,将所述第二过滤数据分别转发到第一数据平台和第二数据平台。
进一步的,所述数据转发模块具体用于:
根据所述目标数据转发策略,将所述第一过滤数据分别转发到第一数据平台,将所述第二过滤数据转发到第二数据平台。
进一步的,所述数据转发模块具体用于:
根据预置的解析策略对所述业务数据进行解析,得到解析数据;
按照预设的数据分类方法对所述解析数据中的数据进行分隔,得到所述过滤数据。
进一步的,所述目标数据转发策略中包括第一数据转发策略和第二数据转发策略;所述数据转发模块具体用于:
根据所述第一数据转发策略将所述过滤数据转发到所述第一数据转发策略对应的第一数据平台,以使得所述第一数据平台从所述过滤数据中提取需要类型的数据进行保存;
根据所述第二数据转发策略将所述过滤数据转发到所述第二数据转发策略对应的第二数据平台,以使得所述第二数据平台从所述过滤数据中提取需要类型的数据进行保存。
进一步的,所述业务数据处理装置还包括配置模块,所述配置模块具体用于:在所述网络中新增第二网络设备时,为所述第二网络设备配置对应的数据转发策略。
进一步的,所述业务数据处理装置还包括数据上报模块,所述数据上报模块具体用于:
按照预设时间周期统计所述网络中各网络设备上传的数据总量;
将各网络设备上传的数据总量上报到管理设备。
第三方面,本申请提供一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行第一方面中任一项所述的业务数据处理方法中的步骤。
本发明实施例通过获取网络中第一网络设备上报的业务数据;利用预置的数据转发模块将业务数据转发到目标数据转发策略对应的多个数据平台,该目标数据转发策略为所述第一网络设备对应的数据转发策略。本发明实施例中业务数据处理方法中业务数据转发可以采用统一的数据转发模块进行统一转发,网络中多套网络设备不需要多次开发转发流程,可以节省时间成本,并且支持单任务多数据平台地转发,提高处理业务数据效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中提供的业务数据处理的系统的架构示意图;
图2是本发明实施例中提供的业务数据处理方法的一个实施例流程示意图;
图3是本发明实施例中提供的业务数据处理方法的另一个实施例流程示意图;
图4是本发明实施例中提供的业务数据处理装置的一个实施例结构示意图;
图5是本发明实施例中提供的设备的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本发明。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本发明的描述变得晦涩。因此,本发明并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
本发明实施例提供一种业务数据处理方法、装置及存储介质,以下分别进行详细说明。
如图1所示,为本发明实施例中业务数据处理的系统架构示意图,在业务数据处理的系统中,包括至少一个网络设备101(图中示出两个网络设备仅为示例),以及与该至少一个网络设备101网络连接的服务器102,服务器102中集成有业务数据处理装置,网络设备101使用或者运行过程中会产生大量的业务数据,网络设备101可以按照设定要求上报业务数据(例如定期上报业务数据),集成有业务数据处理装置的服务器102根据可以对接收业务数据进行解析,并按照预先配置的转发规则转发到对应的数据平台103。
首先,本发明实施例中提供一种业务数据处理方法,该业务数据处理方法包括:获取网络中第一网络设备上报的业务数据;利用预置的数据转发模块将所述业务数据转发到目标数据转发策略对应的多个数据平台,所述目标数据转发策略为所述第一网络设备对应的数据转发策略。
如图2所示,为本发明实施例中业务数据处理方法的一个实施例流程示意图,该业务数据处理方法应用于业务数据处理装置,该业务数据处理装置可以位于网络中的服务器中,该业务数据处理方法包括:
S201、获取网络中第一网络设备上报的业务数据。
S202、利用预置的数据转发模块将业务数据转发到目标数据转发策略对应的多个数据平台,所述目标数据转发策略为所述第一网络设备对应的数据转发策略。
本发明实施例中,数据转发模块可以预先集成的用于业务数据转发的软件开发工具包(Software Development Kit,SDK)。
本发明实施例通过获取网络中第一网络设备上报的业务数据;利用预置的数据转发模块将业务数据转发到目标数据转发策略对应的多个数据平台,该目标数据转发策略为所述第一网络设备对应的数据转发策略。本发明实施例中业务数据处理方法中业务数据转发可以采用统一的数据转发模块进行统一转发,网络中多套网络设备不需要多次开发转发流程,可以节省时间成本,并且支持单任务多数据平台地转发,提高处理业务数据效率。
在本发明一些实施例中,所述利用预置的数据转发模块将所述业务数据转发到目标数据转发策略对应的多个数据平台,具体可以包括利用预置的数据转发模块执行如下步骤:根据预置的解析策略对所述业务数据进行解析过滤,得到过滤数据;获取预先配置的与所述第一网络设备对应的目标数据转发策略;根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台。
如图3所示,为本发明实施例中业务数据处理方法的另一个实施例流程示意图,该业务数据处理方法应用于业务数据处理装置,该业务数据处理装置可以位于网络中的服务器中,该业务数据处理方法包括:
S301、获取网络中第一网络设备上报的业务数据。
本发明实施例中,网络可以指的是某一地理区域内由多台网络设备互联成的局域网,也可以是多台网络设备组成的局域网。第一网络设备、服务器为已加入该网络中的网络设备。另外,本发明实施例中所提及的网络设备可以是网关设备或者其他可以网络通信的终端设备,例如物联网中的各种通信终端设备等,具体此处不作限定。
其中,第一网络设备上报的业务数据为第一网络设备在使用或运行中产生的业务数据。该第一网络设备上报的业务数据可以是第一网络设备在预设周期内产生的业务数据,预设周期可以是例如,5分钟,1小时,1天或者一个月等。可以理解的是,在本发明其他一些实施例中,该第一网络设备上报的业务数据还可以是第一网络设备中在产生预设规格数据量之后上报的业务数据,例如,当第一网络设备中产生100kb的业务数据之后,进行业务数据的上报。
S302、根据预置的解析策略对所述业务数据进行解析过滤,得到过滤数据。
本发明实施例中,解析策略可以是通用的解析策略,即对网络中所有网络设备预先预置同样的解析策略,即预置的解析策略只有一个解析策略。此时,根据预置的解析策略对业务数据进行解析过滤,得到过滤数据的步骤可以理解为是对业务数据进行清洗过滤,提取出符合要求的业务数据。例如可以是通过SQL引擎Aviator根据预置的SQL语句的WHERE条件过滤数据,通过表达式引擎Calcite根据该SQL语句中SELECT后的字段(筛选条件),提取满足筛选条件的业务数据,得到该过滤数据。
解析策略可以是网络设备预先配置的解析策略,即对网络中每个网络设备可以预先配置不一样的解析策略,例如一个网络设备可以配置第一解析策略和第二解析策略,另一个网路设备可以预先配置第二解析策略和第三解析策略,具体此处不作限定。
本发明实施例中,对业务数据进行解析过滤,即清洗业务数据采用统一流程,不需要为了清洗数据,而定制化开发组件,脱离业务,,提高了业务数据解析过滤的兼容性和效率,具体的,对业务数据进行解析过滤可以采用页面配置SQL语句实现。
S303、获取预先配置的与第一网络设备对应的目标数据转发策略。
本发明实施例中,对于加入网络中的网络设备,都会配置对应的数据转发策略,该数据转发策略中可以包括数据存储规范和业务数据转发的目的地(例如数据转发策略对应的一个或多个数据平台)等。当然,此处第一网络设备由于是网络中的设备,也会预先配置与第一网络设备对应的目标数据转发策略。
S304、根据目标数据转发策略,将过滤数据转发到目标数据转发策略对应的数据平台。
其中,本实施例中步骤S302~S304为利用图1所示实施例中预置数据转发模块完成。
本发明实施例中,由于预先配置好了第一网络设备对应的目标数据转发策略,可以直接根据该目标数据转发策略,将过滤数据转发到该目标数据转发策略对应的一个或多个数据平台,即支持多目的地转发,而不用像现有处理方法,向每个数据平台转发过滤数据时单独进行数据转发,提高了数据转发效率。
需要说明的是,本发明实施例中所提及的数据平台,可以是数据库或消息处理平台,例如分布式发布订阅消息系统kafka或mysql数据库等。需要说明的,该数据平台需要与业务数据对应,即该数据平台为能处理本发明实施例中业务数据的数据平台。一般情况下,数据平台包括关系型数据平台和非关系型数据平台,对于非关系型数据平台,如分布式发布订阅消息系统kafka,可以直接保存转发的业务数据,而对于关系型数据平台,例如mysql数据库,则需要在数据库中预先建立保存业务数据的表格,并配置好对应的映射关系,才可以保存对应的业务数据。
另外,不同的数据平台可以指的是同类型的数据平台,例如两个不同的mysql数据库,也可以指的是不同类型的数据平台,例如,分布式发布订阅消息系统kafka和mysql数据库等,具体此处不作限定。
本发明实施例获取网络中第一网络设备上报的业务数据;根据预置的解析策略对业务数据进行解析过滤,得到过滤数据;获取预先配置的与所述第一网络设备对应的目标数据转发策略;根据目标数据转发策略,将过滤数据转发到所述目标数据转发策略对应的数据平台。本发明实施例中业务数据处理方法可以实现网络专供业务数据统一解析转发,网络中多套网络设备不需要多次开发,可以节省时间成本,支持多目的地转发,以及可以高效处理数据。
在本发明实施例中,由于不同的网络设备对应的解析策略可能相同也可能不同,因此,根据预置的解析策略对所述业务数据进行解析过滤,得到过滤数据的步骤可以有多种实现方式。
在一种实施方式中,所述根据预置的解析策略对所述业务数据进行解析过滤,得到过滤数据,可以包括:根据预置的第一解析策略对业务数据进行解析过滤,得到第一过滤数据;根据预置的第二解析策略对业务数据进行解析过滤,得到第二过滤数据。其中,第一解析策略和第二解析策略不同,由于不同的数据库可能使用到的业务数据的数据内容不同,采用不同的解析策略可以对这些数据进行筛选后转发给对应的数据平台,举例来说,假设业务数据的数据结构中包括业务数据标识、字段A、字段B和字段C,第一解析策略为去除字段B(即保留业务数据标识、字段A和字段C),则第一过滤数据包括保留业务数据标识、字段A和字段C,第二解析策略为去除字段C(即保留业务数据标识、字段A和字段B),则第二过滤数据包括保留业务数据标识、字段A和字段B。
此时,根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台的步骤可以对应有多种实现方式,在本发明一些实施例中,所述根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台的步骤可以包括:根据所述目标数据转发策略,将所述第一过滤数据分别转发到第一数据平台和第二数据平台,将所述第二过滤数据分别转发到第一数据平台和第二数据平台。即分别将不同解析策略得到的过滤数据分别转发到网络设备对应的数据平台,例如第一数据平台和第二数据平台。在本发明另一些实施例中所述根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台的步骤可以包括:根据所述目标数据转发策略,将所述第一过滤数据分别转发到第一数据平台,将所述第二过滤数据转发到第二数据平台。即将不同解析策略解析的数据,分发不到不同的数据平台,例如当第一数据平台为kafka,第二数据平台为mysql数据库,则分发到kafka和mysql数据库,以供这两个不同的数据平台进行使用。
由于同一个网络设备会产生不同格式的数据,现有技术中,网络设备的业务数据上报,都是采用一个数据包的方式上报,后期分析很困难,因此本发明实施例中采用在接入端做到数据隔离的方式,避免后续分析处理的烦恼。
具体的,在另一种实施方式中,根据预置的解析策略对所述业务数据进行解析过滤,得到过滤数据的步骤可以包括:根据预置的解析策略对所述业务数据进行解析,得到解析数据;按照预设的数据分类方法对所述解析数据中的数据进行分隔,得到所述过滤数据。即将业务数据解析后得到的解析数据进行分隔,具体可以理解为将一个业务数据网络包按照不同类型不同格式分隔为各个子包数据(可以加入预设标识以区分),这样可以将整个业务数据网络包分别提供给后续多个kafka、mysql等数据平台使用,这些数据平台可以在其中选择需要的不同类型的数据进行保存。
此时,在本发明一些实施例中,所述目标数据转发策略中可以包括第一数据转发策略和第二数据转发策略;所述根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台,可以包括:根据所述第一数据转发策略将所述过滤数据转发到所述第一数据转发策略对应的第一数据平台,以使得所述第一数据平台从所述过滤数据中提取需要类型的数据进行保存;根据所述第二数据转发策略将所述过滤数据转发到所述第二数据转发策略对应的第二数据平台,以使得所述第二数据平台从所述过滤数据中提取需要类型的数据进行保存。
由于网络的拓展或设备更新,会在网络中加入新的网络设备,此时,在加入新的网络设备时,可以为网络设备配置对应的解析策略和/或数据转发策略,以便后续接收到该新增网络设备上报的业务数据时,采用对应的数据转发策略进行数据转发等。因此,本发明实施例中业务数据处理方法还可以包括:在所述网络中新增第二网络设备时,为所述第二网络设备配置对应的数据转发策略。
进一步的,在本发明实施例中,为了方便对网络设备中各网络设备上报的数据进行数据监控,本发明实施例中业务数据处理方法还包括:按照预设时间周期统计所述网络中各网络设备上传的数据总量;将各网络设备上传的数据总量上报到管理设备。其中,预设时间周期可以是1小时、1天、1周或者一个月等。管理设备可以是管理人员对应的设备,例如管理员对应的终端设备等。
为了更好实施本发明实施例中业务数据处理方法,在业务数据处理方法基础之上,本发明实施例中还提供一种业务数据处理装置,该业务数据处理装置可以位于服务器中,如图4所示,该业务数据处理装置400包括:
获取模块401,用于获取网络中第一网络设备上报的业务数据;
数据转发模块402,用于将所述业务数据转发到目标数据转发策略对应的多个数据平台,所述目标数据转发策略为所述第一网络设备对应的数据转发策略。
本发明实施例通过获取模块401获取网络中第一网络设备上报的业务数据;数据转发模块402将业务数据转发到目标数据转发策略对应的多个数据平台,该目标数据转发策略为所述第一网络设备对应的数据转发策略。本发明实施例中业务数据处理方法中业务数据转发可以采用统一的数据转发模块进行统一转发,网络中多套网络设备不需要多次开发转发流程,可以节省时间成本,并且支持单任务多数据平台地转发,提高处理业务数据效率。
进一步的,所述数据转发模块402具体用于:
根据预置的解析策略对所述业务数据进行解析过滤,得到过滤数据;
获取预先配置的与所述第一网络设备对应的目标数据转发策略;
根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台。
进一步的,所述数据转发模块402具体用于:
根据预置的第一解析策略对所述业务数据进行解析过滤,得到第一过滤数据;
根据预置的第二解析策略对所述业务数据进行解析过滤,得到第二过滤数据。
进一步的,所述数据转发模块402具体用于:
根据所述目标数据转发策略,将所述第一过滤数据分别转发到第一数据平台和第二数据平台,将所述第二过滤数据分别转发到第一数据平台和第二数据平台。
进一步的,所述数据转发模块402具体用于:
根据所述目标数据转发策略,将所述第一过滤数据分别转发到第一数据平台,将所述第二过滤数据转发到第二数据平台。
进一步的,所述数据转发模块402具体用于:
根据预置的解析策略对所述业务数据进行解析,得到解析数据;
按照预设的数据分类方法对所述解析数据中的数据进行分隔,得到所述过滤数据。
进一步的,所述目标数据转发策略中包括第一数据转发策略和第二数据转发策略;所述数据转发模块402具体用于:
根据所述第一数据转发策略将所述过滤数据转发到所述第一数据转发策略对应的第一数据平台,以使得所述第一数据平台从所述过滤数据中提取需要类型的数据进行保存;
根据所述第二数据转发策略将所述过滤数据转发到所述第二数据转发策略对应的第二数据平台,以使得所述第二数据平台从所述过滤数据中提取需要类型的数据进行保存。
进一步的,所述业务数据处理装置还包括配置模块,所述配置模块具体用于:在所述网络中新增第二网络设备时,为所述第二网络设备配置对应的数据转发策略。
进一步的,所述业务数据处理装置还包括数据上报模块,所述数据上报模块具体用于:
按照预设时间周期统计所述网络中各网络设备上传的数据总量;
将各网络设备上传的数据总量上报到管理设备。
本发明实施例还提供一种设备,该设备可以为服务器,其集成了本发明实施例所提供的任一种业务数据处理装置。如图5所示,其示出了本发明实施例所涉及的设备的结构示意图,具体来讲:
该设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解,图5中示出的设备结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器501是该设备的控制中心,利用各种接口和线路连接整个设备的各个部分,通过运行或执行存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行设备的各种功能和处理数据,从而对设备进行整体监控。可选的,处理器501可包括一个或多个处理核心;优选的,处理器501可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块,处理器501通过运行存储在存储器502的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器501对存储器502的访问。
设备还包括给各个部件供电的电源503,优选的,电源503可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该设备还可包括输入单元504,该输入单元504可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,设备中的处理器501会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中,并由处理器501来运行存储在存储器502中的应用程序,从而实现各种功能,如下:
获取网络中第一网络设备上报的业务数据;利用预置的数据转发模块将所述业务数据转发到目标数据转发策略对应的多个数据平台,所述目标数据转发策略为所述第一网络设备对应的数据转发策略。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
获取网络中第一网络设备上报的业务数据;利用预置的数据转发模块将所述业务数据转发到目标数据转发策略对应的多个数据平台,所述目标数据转发策略为所述第一网络设备对应的数据转发策略。
为此,本发明实施例还提供一种存储介质,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。该存储介质中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种数据存储方法中的步骤。例如,该指令可以执行如下步骤:
获取网络中第一网络设备上报的业务数据;利用预置的数据转发模块将所述业务数据转发到目标数据转发策略对应的多个数据平台,所述目标数据转发策略为所述第一网络设备对应的数据转发策略。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的方法实施例,在此不再赘述。
具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的方法实施例,在此不再赘述。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种业务数据处理方法、装置及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种业务数据处理方法,其特征在于,所述方法包括:
获取网络中第一网络设备上报的业务数据;
利用预置的数据转发模块将所述业务数据转发到目标数据转发策略对应的多个数据平台,所述目标数据转发策略为所述第一网络设备对应的数据转发策略。
2.根据权利要求1所述的业务数据处理方法,其特征在于,所述利用预置的数据转发模块将所述业务数据转发到目标数据转发策略对应的多个数据平台,包括利用预置的数据转发模块执行如下步骤:
根据预置的解析策略对所述业务数据进行解析过滤,得到过滤数据;
获取预先配置的与所述第一网络设备对应的目标数据转发策略;
根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台。
3.根据权利要求2所述的业务数据处理方法,其特征在于,所述根据预置的解析策略对所述业务数据进行解析过滤,得到过滤数据,包括:
根据预置的第一解析策略对所述业务数据进行解析过滤,得到第一过滤数据;
根据预置的第二解析策略对所述业务数据进行解析过滤,得到第二过滤数据。
4.根据权利要求3所述的业务数据处理方法,其特征在于,所述根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台,包括:
根据所述目标数据转发策略,将所述第一过滤数据分别转发到第一数据平台和第二数据平台,将所述第二过滤数据分别转发到第一数据平台和第二数据平台。
5.根据权利要求3所述的业务数据处理方法,其特征在于,所述根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台,包括:
根据所述目标数据转发策略,将所述第一过滤数据分别转发到第一数据平台,将所述第二过滤数据转发到第二数据平台。
6.根据权利要求2的业务数据处理方法,其特征在于,所述根据预置的解析策略对所述业务数据进行解析过滤,得到过滤数据,包括:
根据预置的解析策略对所述业务数据进行解析,得到解析数据;
按照预设的数据分类方法对所述解析数据中的数据进行分隔,得到所述过滤数据。
7.根据权利要求6的业务数据处理方法,其特征在于,所述目标数据转发策略中包括第一数据转发策略和第二数据转发策略;所述根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台,包括:
根据所述第一数据转发策略将所述过滤数据转发到所述第一数据转发策略对应的第一数据平台,以使得所述第一数据平台从所述过滤数据中提取需要类型的数据进行保存;
根据所述第二数据转发策略将所述过滤数据转发到所述第二数据转发策略对应的第二数据平台,以使得所述第二数据平台从所述过滤数据中提取需要类型的数据进行保存。
8.根据权利要求2所述的业务数据处理方法,其特征在于,所述方法还包括:
在所述网络中新增第二网络设备时,为所述第二网络设备配置对应的数据转发策略。
9.一种业务数据处理装置,其特征在于,所述业务数据处理装置包括:
获取模块,用于获取网络中第一网络设备上报的业务数据;
数据转发模块,用于将所述业务数据转发到目标数据转发策略对应的多个数据平台,所述目标数据转发策略为所述第一网络设备对应的数据转发策略。
10.根据权利要求9所述的业务数据处理装置,其特征在于,所述数据转发模块具体用于:
根据预置的解析策略对所述业务数据进行解析过滤,得到过滤数据;
获取预先配置的与所述第一网络设备对应的目标数据转发策略;
根据所述目标数据转发策略,将所述过滤数据转发到所述目标数据转发策略对应的数据平台。
CN201910199666.7A 2019-03-15 2019-03-15 业务数据处理方法、装置及存储介质 Pending CN111698159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910199666.7A CN111698159A (zh) 2019-03-15 2019-03-15 业务数据处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910199666.7A CN111698159A (zh) 2019-03-15 2019-03-15 业务数据处理方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN111698159A true CN111698159A (zh) 2020-09-22

Family

ID=72475563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910199666.7A Pending CN111698159A (zh) 2019-03-15 2019-03-15 业务数据处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111698159A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023056943A1 (zh) * 2021-10-09 2023-04-13 天翼物联科技有限公司 基于物联网规则引擎的终端控制方法、装置、设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272337A (zh) * 2007-12-27 2008-09-24 华为技术有限公司 业务数据处理方法与业务数据处理系统
CN101610178A (zh) * 2009-07-20 2009-12-23 南京联创科技股份有限公司 基于地址转发机制的物理层链路网络拓扑获得方法
US20100121960A1 (en) * 2008-06-05 2010-05-13 Camiant, Inc. Method and system for providing mobility management in network
US8305951B1 (en) * 2010-01-14 2012-11-06 Sprint Communications Company L.P. Conditional media access control address filtering
CN104468648A (zh) * 2013-09-13 2015-03-25 腾讯科技(深圳)有限公司 数据处理系统及方法
CN105228079A (zh) * 2014-05-30 2016-01-06 中兴通讯股份有限公司 M2m业务数据处理方法、装置及m2m终端设备
CN106846065A (zh) * 2017-02-07 2017-06-13 咪咕互动娱乐有限公司 一种数据处理方法及装置
CN107249033A (zh) * 2017-06-21 2017-10-13 深圳市盛路物联通讯技术有限公司 一种控制物联网中数据封装的方法及系统
CN108153828A (zh) * 2017-12-12 2018-06-12 顺丰科技有限公司 一种实时数据的持久化方法、装置及设备、存储介质
CN108540439A (zh) * 2018-02-01 2018-09-14 顺丰科技有限公司 数据解析方法及系统、设备和存储介质
CN108540453A (zh) * 2018-03-15 2018-09-14 新智数字科技有限公司 一种应用于PaaS的网络隔离方法、装置以及设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272337A (zh) * 2007-12-27 2008-09-24 华为技术有限公司 业务数据处理方法与业务数据处理系统
US20100121960A1 (en) * 2008-06-05 2010-05-13 Camiant, Inc. Method and system for providing mobility management in network
CN101610178A (zh) * 2009-07-20 2009-12-23 南京联创科技股份有限公司 基于地址转发机制的物理层链路网络拓扑获得方法
US8305951B1 (en) * 2010-01-14 2012-11-06 Sprint Communications Company L.P. Conditional media access control address filtering
CN104468648A (zh) * 2013-09-13 2015-03-25 腾讯科技(深圳)有限公司 数据处理系统及方法
CN105228079A (zh) * 2014-05-30 2016-01-06 中兴通讯股份有限公司 M2m业务数据处理方法、装置及m2m终端设备
CN106846065A (zh) * 2017-02-07 2017-06-13 咪咕互动娱乐有限公司 一种数据处理方法及装置
CN107249033A (zh) * 2017-06-21 2017-10-13 深圳市盛路物联通讯技术有限公司 一种控制物联网中数据封装的方法及系统
CN108153828A (zh) * 2017-12-12 2018-06-12 顺丰科技有限公司 一种实时数据的持久化方法、装置及设备、存储介质
CN108540439A (zh) * 2018-02-01 2018-09-14 顺丰科技有限公司 数据解析方法及系统、设备和存储介质
CN108540453A (zh) * 2018-03-15 2018-09-14 新智数字科技有限公司 一种应用于PaaS的网络隔离方法、装置以及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023056943A1 (zh) * 2021-10-09 2023-04-13 天翼物联科技有限公司 基于物联网规则引擎的终端控制方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN107454140A (zh) 一种基于大数据平台的Ceph集群自动化部署方法及系统
CN107016595B (zh) 一种信息推荐方法、装置和系统
CN109064243A (zh) 房源搜索方法
CN111814089A (zh) 一种页面渲染的方法、装置、渲染服务器和存储介质
CN109102273B (zh) 一种分布式智能支付路由的实现方法及系统
CN110519077A (zh) 一种日志采集系统、方法、装置、服务器及存储介质
CN111143167B (zh) 用于多平台的告警归并方法及装置、设备、存储介质
CN110333889A (zh) 容器服务用户集群的升级方法及系统
CN112311571A (zh) 网络拓扑生成方法及装置、电子设备和非暂态存储介质
CN112418584A (zh) 任务规划方法、装置、计算机设备及存储介质
CN104270434A (zh) 一种基于云服务的服务状态监视系统
CN105611079A (zh) 一种快速充电方法及其系统
CN104660689A (zh) 分布式计算系统
CN107943423A (zh) 云系统中存储资源的管理方法和计算机可读存储介质
CN103905226B (zh) 一种业务平台的自动部署方法和装置
CN101495978B (zh) 减少总线连接的消费者和产生者之间的消息流
CN111698159A (zh) 业务数据处理方法、装置及存储介质
CN117527721A (zh) 内容分发网络带宽控制方法、装置、设备和存储介质
CN103685405B (zh) 网络服务系统及其更新固件的方法
CN110764838B (zh) 服务模型的加载方法、系统、电子设备及存储介质
CN112612496A (zh) 智能合约操作管理方法、装置、设备和计算机存储介质
CN101820354A (zh) 基于tnds对象的配置方法、终端设备及服务器
CN102170476B (zh) 一种基于云节点自主学习的云计算方法和装置
CN109219070A (zh) 补充业务配置方法、装置及电子设备
CN112380411B (zh) 敏感词处理方法、装置、电子设备、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200922