CN114416790A - 一种时序上无规则的数据补偿方法及系统 - Google Patents

Abstract

本发明公开了一种时序无规则数据的补偿方法及系统，方法包括步骤：将路测数据中常用的时序无规则数据的业务指标、算子、维度分别进行分离；利用所述业务指标、算子、维度对新增所述时序无规则数据进行聚合计算。系统包括分离模块、数据补偿模块；所述分离模块用于将路测数据中常用的时序无规则数据的业务指标、算子、维度分别进行分离；所述数据补偿模块用于利用所述业务指标、算子、维度对新增所述时序无规则数据进行聚合计算。实施本发明，实现了对路测业务指标数据的快速聚合，极大地降低了算力的要求和重复计算导致的资源浪费。

Description

一种时序上无规则的数据补偿方法及系统

技术领域

本发明涉及移动通信技术领域，特别涉及一种时序上无规则的数据补偿方法及系统。

背景技术

随着大数据的发展，大数据组件功能也日趋完善，能够处理的数据类型越来越丰富。从离线处理平台到实时处理平台，到批流一体化，这些组件几乎覆盖了所有真实的数据处理场景。然而，企业在生产中，往往不会快速进行数据处理平台的上新以应对数据场景的变化，为了兼容早期版本，需要在生产环境中稳定运行的版本基础上完善数据处理场景。

路测是通信行业中对道路无线信号的一种最常用的测试方法，为提高测试效率，一般测试人员都是坐在车中，用专业的测试仪表对场景对象进行多轮次的测试，主要用于获得以下数据：服务小区信号强度、话音质量、相邻小区的信号强度等业务指标。通过对这些数据进行采集分析网络质量。每个轮次的测试会生成多种业务指标的测试日志。然而日志上报是由测试人员触发，因此存在当前轮测试完成，测试日志却分批录入的场景。

针对以上同一轮次的数据未在同期录入的场景，如需要将后期录入的数据进行分析，并且更新到同一维度的对象中，此时需手动执行场景对象分析算法，在生产上无法对数据自动更新，无疑增加了企业的成本，同时会引起至少三个方面的问题：

(1)数据更新不及时；

(2)任务可能堆积；

(3)集群资源利用率不高，峰值波动较大。

发明内容

现有技术中，同一轮次的数据未在同期录入、需要将后期录入的数据进行分析并且更新到同一维度的对象中时，往往需要手动执行场景对象分析算法，不仅增加了企业的成本，并且还导致数据更新不及时、任务可能堆积、集群资源利用率不高和峰值波动较大的问题的出现。

针对上述问题，提出一种时序上无规则的数据补偿方法及系统，通过对路测数据用于分析的业务指标、算子、维度三者分离设计，时序无规则数据的业务指标进行分类并进行算子抽象，获取每一类所述时序无规则数据的通用算子，根据通用算子对相应的业务指标进行补偿计算，并利用维度进行关联，实现对业务指标数据的快速聚合，极大地降低了算力的要求和重复计算导致的资源浪费。

第一方面，一种时序无规则数据的补偿方法，包括：

步骤100、将路测数据中常用的时序无规则数据的业务指标、算子、维度分别进行分离；

步骤200、利用所述业务指标、算子、维度对新增所述时序无规则数据进行聚合计算。

结合本发明所述的时序无规则数据的更新方法，第一种可能实施方式中，所述步骤100包括：

步骤110、对所述时序无规则数据的业务指标进行分类；

步骤120、对分类后的每一所述时序无规则数据进行算子抽象，获取每一类所述时序无规则数据的通用算子；

步骤130、获取每一所述时序无规则数据的维度。

步骤140、分别对所述业务指标、通用算子、维度分类管理。

结合本发明第一种可能实施方式，第二种可能实施方式中，所述步骤200包括：

步骤210、对分类后的所述业务指标的补偿类型进行判定，若为第一补偿类型，则进行下一步骤：

步骤220、获取该业务指标是否存在现有相同维度，若是，则进行下一步骤；

步骤230、调用第一规则算子对所述业务指标进行补偿计算；

其中，所述第一补偿类型为累积型补偿类型，所述第一规则算子为拉链表累积算子。

结合本发明第二种可能实施方式，第三种可能实施方式中，所述步骤200还包括：

步骤240、对分类后的所述业务指标的补偿类型进行判定，若为第二补偿类型，则进行下一步骤：

步骤250、获取该业务指标是否存在现有相同维度，若是，则进行下一步骤；

步骤260、调用第二规则算子对所述业务指标进行补偿计算；

其中，所述第二补偿类型为全局型补偿类型，所述第二规则算子为全局更新算子。

结合本发明第三种可能实施方式，第四种可能实施方式中，所述步骤200还包括：

步骤270、判断第一补偿类型业务指标、第二补偿类型业务指标是否补偿计算完成，若计算完成，则进行下一步骤；

步骤280、将所述第一补偿类型业务指标、第二补偿类型业务指标进行维度关联，获取维度数据。

第二方面，一种时序无规则数据的补偿系统，利用第一方面所述的补偿方法，包括：

分离模块；

数据补偿模块；

所述分离模块用于将路测数据中常用的时序无规则数据的业务指标、算子、维度分别进行分离；

所述数据补偿模块用于利用所述业务指标、算子、维度对新增所述时序无规则数据进行聚合计算。

结合第二方面所述的时序无规则数据的补偿系统，第一种可能实施方式中，所述分离模块包括：

分类管理单元；

算子获取单元；

维度获取单元；

所述分类管理单元用户对所述时序无规则数据分类后的业务指标进行管理；

所述算子获取单元用于对分类后的每一所述时序无规则数据进行算子抽象，获取每一类所述时序无规则数据的通用算子；

所述维度获取单元用于获取每一所述时序无规则数据的维度。

结合第二方面第一种可能实施方式，第二种可能实施方式中，所述数据补偿模块包括：

累积补偿单元；

第一维度确认单元；

所述累积补偿单元用于调用第一规则算子对所述业务指标进行补偿计算；

所述维度确认单元用于确认累积补偿业务指标是否存在现有维度；

其中，所述第一规则算子为拉链表累积算子。

结合第二方面第二种可能实施方式，第三种可能实施方式中，所述数据补偿模块还包括：

全局补偿单元；

第二维度确认单元；

所述累积补偿单元用于调用第二规则算子对所述业务指标进行补偿计算；

所述第二维度确认单元用于确认全局业务指标是否存在现有维度；

其中，所述第二规则算子为全局更新算子。

结合第二方面第三种可能实施方式，第四种可能实施方式中，所述数据补偿模块还包括：

维度关联单元；

所述维度关联单元用于将补偿计算完成的第一补偿类型业务指标、第二补偿类型业务指标进行维度关联，获取维度数据。

实施本发明所述的一种时序无规则数据的补偿方法及系统，通过对路测数据用于分析的业务指标、算子、维度三者分离设计，时序无规则数据的业务指标进行分类并进行算子抽象，获取每一类所述时序无规则数据的通用算子，根据通用算子对相应的业务指标进行补偿计算，并利用维度进行关联，实现对业务指标数据的快速聚合，极大地降低了算力的要求和重复计算导致的资源浪费。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明中时序无规则数据的补偿方法第一实施例示意图；

图2是本发明中时序无规则数据的补偿方法第二实施例示意图；

图3是本发明中时序无规则数据的补偿方法第三实施例示意图；

图4是本发明中时序无规则数据的补偿方法第四实施例示意图；

图5是本发明中时序无规则数据的补偿方法第五实施例示意图；

图6是本发明中时序无规则数据的补偿系统第一实施例示意图；

图7是本发明中时序无规则数据的补偿系统第二实施例示意图；

图8是本发明中时序无规则数据的补偿系统第三实施例示意图；

具体实施方式

下面将结合发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

现有技术中，同一轮次的数据未在同期录入、需要将后期录入的数据进行分析并且更新到同一维度的对象中时，往往需要手动执行场景对象分析算法，不仅增加了企业的成本，并且还导致数据更新不及时、任务可能堆积、集群资源利用率不高和峰值波动较大的问题的出现。

针对上述问题，提出一种时序上无规则的数据补偿方法及系统，通过对路测数据用于分析的业务指标、算子、维度三者分离设计，时序无规则数据的业务指标进行分类并进行算子抽象，获取每一类所述时序无规则数据的通用算子，根据通用算子对相应的业务指标进行补偿计算，并利用维度进行关联，实现对业务指标数据的快速聚合，极大地降低了算力的要求和重复计算导致的资源浪费。

第一方面，如图1，图1是本发明中时序无规则数据的补偿方法第一实施例示意图，一种时序无规则数据的补偿方法，包括：

步骤100、将路测数据中常用的时序无规则数据的业务指标、算子、维度分别进行分离；步骤200、利用所述业务指标、算子、维度对新增所述时序无规则数据进行聚合计算。

优选地，如图2，图2是本发明中时序无规则数据的补偿方法第二实施例示意图，所述步骤100包括：步骤110、对所述时序无规则数据的业务指标进行分类；步骤120、对分类后的每一所述时序无规则数据进行算子抽象，获取每一类所述时序无规则数据的通用算子；步骤130、获取每一所述时序无规则数据的维度；步骤140、分别对所述业务指标、通用算子、维度分类管理。

优选地，如图3，图3是本发明中时序无规则数据的补偿方法第三实施例示意图，所述步骤200包括：步骤210、对分类后的所述业务指标的补偿类型进行判定，若为第一补偿类型，则进行下一步骤：步骤220、获取该业务指标是否存在现有相同维度，若是，则进行下一步骤；步骤230、调用第一规则算子对所述业务指标进行补偿计算；其中，所述第一补偿类型为累积型补偿类型，所述第一规则算子为拉链表累积算子。

优选地，如图4，图4是本发明中时序无规则数据的补偿方法第四实施例示意图，所述步骤200还包括：步骤240、对分类后的所述业务指标的补偿类型进行判定，若为第二补偿类型，则进行下一步骤：步骤250、获取该业务指标是否存在现有相同维度，若是，则进行下一步骤；步骤260、调用第二规则算子对所述业务指标进行补偿计算；其中，所述第二补偿类型为全局型补偿类型，所述第二规则算子为全局更新算子。

优选地，如图5，图5是本发明中时序无规则数据的补偿方法第五实施例示意图，所述步骤200还包括：步骤270、判断第一补偿类型业务指标、第二补偿类型业务指标是否补偿计算完成，若计算完成，则进行下一步骤；步骤280、将所述第一补偿类型业务指标、第二补偿类型业务指标进行维度关联，获取维度数据。

第二方面，如图6，图6是本发明中时序无规则数据的补偿系统第一实施例示意图，一种时序无规则数据的补偿系统，利用第一方面所述的补偿方法，包括分离模块、数据补偿模块；所述分离模块用于将路测数据中常用的时序无规则数据的业务指标、算子、维度分别进行分离；所述数据补偿模块用于利用所述业务指标、算子、维度对新增所述时序无规则数据进行聚合计算。

优选地，如图7，图7是本发明中时序无规则数据的补偿系统第二实施例示意图，所述分离模块包括分类管理单元、算子获取单元、维度获取单元；所述分类管理单元用户对所述时序无规则数据分类后的业务指标进行管理；所述算子获取单元用于对分类后的每一所述时序无规则数据进行算子抽象，获取每一类所述时序无规则数据的通用算子；所述维度获取单元用于获取每一所述时序无规则数据的维度。

优选地，如图8，图8是本发明中时序无规则数据的补偿系统第三实施例示意图，所述数据补偿模块包括累积补偿单元、第一维度确认单元；所述累积补偿单元用于调用第一规则算子对所述业务指标进行补偿计算；所述第一维度确认单元用于确认累积补偿业务指标是否存在现有维度；其中，所述第一规则算子为拉链表累积算子。

优选地，所述数据补偿模块还包括全局补偿单元、第二维度确认单元；所述累积补偿单元用于调用第二规则算子对所述业务指标进行补偿计算；所述第二维度确认单元用于确认全局业务指标是否存在现有维度；其中，所述第二规则算子为全局更新算子。

优选地，所述数据补偿模块还包括：维度关联单元；所述维度关联单元用于将补偿计算完成的第一补偿类型业务指标、第二补偿类型业务指标进行维度关联，获取维度数据。

实施本发明所述的一种时序无规则数据的补偿方法及系统，通过对路测数据用于分析的业务指标、算子、维度三者分离设计，时序无规则数据的业务指标进行分类并进行算子抽象，获取每一类所述时序无规则数据的通用算子，根据通用算子对相应的业务指标进行补偿计算，并利用维度进行关联，实现对业务指标数据的快速聚合，极大地降低了算力的要求和重复计算导致的资源浪费。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种时序无规则数据的补偿方法，其特征在于，包括：

步骤100、将路测数据中常用的时序无规则数据的业务指标、算子、维度分别进行分离；

步骤200、利用所述业务指标、算子、维度对新增所述时序无规则数据进行聚合计算。

2.根据权利要求1所述的时序无规则数据的补偿方法，其特征在于，所述步骤100包括：

步骤110、对所述时序无规则数据的业务指标进行分类；

步骤120、对分类后的每一所述时序无规则数据进行算子抽象，获取每一类所述时序无规则数据的通用算子；

步骤130、获取每一所述时序无规则数据的维度；

步骤140、分别对所述业务指标、通用算子、维度分类管理。

3.根据权利要求2所述的时序无规则数据的补偿方法，其特征在于，所述步骤200包括：

步骤210、对分类后的所述业务指标的补偿类型进行判定，若为第一补偿类型，则进行下一步骤：

步骤220、获取该业务指标是否存在现有相同维度，若是，则进行下一步骤；

步骤230、调用第一规则算子对所述业务指标进行补偿计算；

其中，所述第一补偿类型为累积型补偿类型，所述第一规则算子为拉链表累积算子。

4.根据权利要求3所述的时序无规则数据的补偿方法，其特征在于，所述步骤200还包括：

步骤240、对分类后的所述业务指标的补偿类型进行判定，若为第二补偿类型，则进行下一步骤：

步骤250、获取该业务指标是否存在现有相同维度，若是，则进行下一步骤；

步骤260、调用第二规则算子对所述业务指标进行补偿计算；

其中，所述第二补偿类型为全局型补偿类型，所述第二规则算子为全局更新算子。

5.根据权利要求4所述的时序无规则数据的补偿方法，其特征在于，所述步骤200还包括：

步骤270、判断第一补偿类型业务指标、第二补偿类型业务指标是否补偿计算完成，若计算完成，则进行下一步骤；

步骤280、将所述第一补偿类型业务指标、第二补偿类型业务指标进行维度关联，获取维度数据。

6.一种时序无规则数据的补偿系统，利用权利要求1-5任一所述的补偿方法，其特征在于，包括：

分离模块；

数据补偿模块；

所述分离模块用于将路测数据中常用的时序无规则数据的业务指标、算子、维度分别进行分离；

所述数据补偿模块用于利用所述业务指标、算子、维度对新增所述时序无规则数据进行聚合计算。

7.根据权利要求6所述的时序无规则数据的补偿系统，其特征在于，所述分离模块包括：

分类管理单元；

算子获取单元；

维度获取单元；

所述分类管理单元用户对所述时序无规则数据分类后的业务指标进行管理；

所述算子获取单元用于对分类后的每一所述时序无规则数据进行算子抽象，获取每一类所述时序无规则数据的通用算子；

所述维度获取单元用于获取每一所述时序无规则数据的维度。

8.根据权利要求7所述的时序无规则数据的补偿方法，其特征在于，所述数据补偿模块包括：

累积补偿单元；

第一维度确认单元；

所述累积补偿单元用于调用第一规则算子对所述业务指标进行补偿计算；

所述维度确认单元用于确认累积补偿业务指标是否存在现有维度；

其中，所述第一规则算子为拉链表累积算子。

9.根据权利要求8所述的时序无规则数据的补偿方法，其特征在于，所述数据补偿模块还包括：

全局补偿单元；

第二维度确认单元；

所述累积补偿单元用于调用第二规则算子对所述业务指标进行补偿计算；

所述第二维度确认单元用于确认全局业务指标是否存在现有维度；

其中，所述第二规则算子为全局更新算子。

10.根据权利要求9所述的时序无规则数据的补偿方法，其特征在于，所述数据补偿模块还包括：

维度关联单元；

所述维度关联单元用于将补偿计算完成的第一补偿类型业务指标、第二补偿类型业务指标进行维度关联，获取维度数据。

Images