CN115529197A - 大规模数据的策略控制方法、装置、设备及存储介质 - Google Patents

大规模数据的策略控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115529197A
CN115529197A CN202211035174.2A CN202211035174A CN115529197A CN 115529197 A CN115529197 A CN 115529197A CN 202211035174 A CN202211035174 A CN 202211035174A CN 115529197 A CN115529197 A CN 115529197A
Authority
CN
China
Prior art keywords
data
rule
strategy
target
scale data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211035174.2A
Other languages
English (en)
Inventor
陈文�
徐一品
韩智明
刘树聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Eshore Technology Co Ltd
Original Assignee
Guangdong Eshore Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Eshore Technology Co Ltd filed Critical Guangdong Eshore Technology Co Ltd
Priority to CN202211035174.2A priority Critical patent/CN115529197A/zh
Publication of CN115529197A publication Critical patent/CN115529197A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/14Charging, metering or billing arrangements for data wireline or wireless communications
    • H04L12/1403Architecture for metering, charging or billing
    • H04L12/1407Policy-and-charging control [PCC] architecture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/14Charging, metering or billing arrangements for data wireline or wireless communications
    • H04L12/141Indication of costs
    • H04L12/1414Indication of costs in real-time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/14Charging, metering or billing arrangements for data wireline or wireless communications
    • H04L12/1432Metric aspects
    • H04L12/1435Metric aspects volume-based
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/14Charging, metering or billing arrangements for data wireline or wireless communications
    • H04L12/1485Tariff-related aspects
    • H04L12/1496Tariff-related aspects involving discounts

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了大规模数据的策略控制方法,涉及大数据处理。该方法包括,获取大规模数据;对所述大规模数据进行细化分类处理,以获取用户的业务特征值;动态选取策略规则,并根据所述业务特征值判断所述策略规则是否为目标规则;根据所述目标规则触发业务动作。本发明还公开了大规模数据的策略控制装置、设备及存储介质。本发明突破传统串行化和插件化的用户话费流量控制模式,引入大规模数据下的数据学习机制、策略模型及引擎,来来完成技术上的高性能处理和业务上的新兴规则扩展。

Description

大规模数据的策略控制方法、装置、设备及存储介质
技术领域
本发明涉及大数据处理,更具体地说,它涉及大规模数据的策略控制方法、装置、设备及存储介质。
背景技术
目前策略控制技术已经广泛应用于众多行业和业务领域,比如机器人领域的路径策略、金融银行业风险控制策略、交通领域的城市交通信号策略技术等,都是现代策略控制应用的深入之地。
在运营商收费系统的用户话费、流量等业务领域,也同样面临着策略及控制急迫需求。特别是在大数据量、多业务规则的复杂场景下,传统的IT系统针对这些复杂场景的处理能力越来越难以满足需求。例如:
(1)针对大规模用户话费、流量等实时数据。传统IT系统的数据处理能力显得疲软、基础数据处理不及导致用户体验感知大大下降;
(2)多业务规则的复杂要求,传统的串行化和插件化流程处理越来越显得臃肿和难以支撑新兴业务升级。
发明内容
本发明要解决的技术问题是针对现有技术的不足,提供大规模数据的策略控制方法、装置、设备及存储介质,解决了现有技术现存的问题。
本发明所述的大规模数据的策略控制方法,包括:
获取大规模数据;
对所述大规模数据进行细化分类处理,以获取用户的业务特征值;
动态选取策略规则,并根据所述业务特征值判断所述策略规则是否为目标规则;
根据所述目标规则触发业务动作。
其中,所述细化分类处理,具体包括:
数据规整步骤,用于根据数据规范将所述大规模数据中不符合的异常数据进行容错标记,并进行剔除;
数据清洗步骤,用于对规整后的大规模数据中的费用数据和流量数据进行拆解,以获取费用数据和流量数据;将所述费用数据和流量数据进行归并,以获取一级分类目标数据集;
特征提取步骤,用于将用户资料按照用户维度归并至一级分类目标数据集,以获取特征目标数据集;并将所述特征目标数据集中的数据作为业务特征值。
作进一步的改进,对所述特征目标数据集进行数据持久化处理。
所述动态选取策略规则,具体包括:
从配置化的策略规则缓存中根据优先级选取策略规则,对选取的策略规则进行优先级和依赖关系确认。
判断所述策略规则是否为目标规则,具体包括:
根据当前选取到所述的策略规则查找对应的规则表达公式;通过规则表达公式对用户特征值进行公式的推导判断,并根据推导判断结果确认当前选取到的策略规则是否符合策略规则要求;
若符合,则以当前选取到的策略规则作为目标规则。
作进一步的改进,根据所述目标规则对特征目标数据集进行检查,以将所述特征目标数据集中的冗余数据进行剔除。
进一步的,将剔除冗余数据后的特征目标数据集作为触发状态数据集,并对所述触发状态数据集进行持久化处理。
大规模数据的策略控制装置,包括:
数据学习引擎,用于对大规模数据进行规整、清洗和特征提取处理,以获取用户的业务特征值;
策略控制引擎,用于动态选取策略规则,并根据所述业务特征值判断所述策略规则是否为目标规则;并在确认目标规则后,根据所述目标规则触发业务动作。
大规模数据的策略控制设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的大规模数据的策略控制方法。
大规模数据的策略控制存储介质,包括指令,当所述指令在计算机上运行时,使得计算机执行所述的大规模数据的策略控制方法。
有益效果
本发明的优点在于:通过对话费、流量等大规模数据进行清洗、规整、特征提取,并将数据实时传送到策略控制引擎进行策略动态选取、公式推导、状态对比、控制动作触发、策略处理后,完成对用户费用提醒、预警、自动划扣及流量的及时通知、网络的达量控制及复通等复杂业务规则的处理,并通过配置化的策略规则模型设计,支持多种复杂运营商业务策略控制规则的可配置化实现。
附图说明
图1为本发明的策略控制方法流程示意图;
图2为本发明的一级分类目标数据集一览表;
图3为本发明的特征目标数据集一览表;
图4为本发明的策略定义一览表;
图5为本发明的策略规则一览表;
图6为本发明的策略变量一览表;
图7为本发明的策略配置模型示意图;
图8为本发明的策略计划一览表;
图9为本发明的策略控制装置整体架构示意图。
具体实施方式
下面结合实施例,对本发明作进一步的描述,但不构成对本发明的任何限制,任何人在本发明权利要求范围所做的有限次的修改,仍在本发明的权利要求范围内。
参阅图1,本发明的大规模数据的策略控制方法,包括以下流程:
获取大规模数据。大规模数据支持多种原始来源通道对接,如分文件通道、消息通道。
对大规模数据进行细化分类处理,以获取用户的业务特征值。
本实施例的细化分类处理,具体包括以下步骤。
数据规整步骤,用于根据数据规范将大规模数据中不符合的异常数据进行容错标记,并进行剔除。即将数据进行规范化处理,以便后续清洗环节减少了异常干扰和不必要的性能开销。
数据清洗步骤,用于对规整后的大规模数据中的费用数据和流量数据进行拆解,以获取费用数据和流量数据;将费用数据和流量数据进行归并,以获取一级分类目标数据集。
如图2所示,一级分类目标数据集主要由话费数据和流量数据两大数据组成。而每个数据中均包含多个数据。如话费数据包括总费用、实时费用、优惠总费用、优惠实时费用。
上述关于数据的归并,具体为新增或合并累加。比如,在一级分类目标数据集的优惠实时费用中并未存在有数据内容,则将清洗后的优惠实时费用数据增加至一级分类目标数据集中,并在优惠总费用累加相应的数据值。
特征提取步骤,用于将用户资料按照用户维度归并至一级分类目标数据集,以获取特征目标数据集;并将特征目标数据集中的数据作为业务特征值。如图3所示为特征目标数据集一览表。
对特征目标数据集进行数据持久化处理。即将特征目标数据集设计成数据库模式,实现对特征目标数据集的处理。持久后的数据具备各项业务查询接口能力。例如,用户进行话费查询,可在数据库中直接调取所有或部分数据项即可实现话费查询。
动态选取策略规则,并根据业务特征值判断策略规则是否为目标规则。其具体过程如下:
参考图4-图6。从配置化的策略规则缓存中根据优先级选取策略规则,对选取的策略规则进行优先级和依赖关系确认,如图4所示。例如,在话费特征中,提醒规则与停机规则,业务上以提醒规则优先,而停机规则会依赖提醒规则的结果。
根据当前选取到的策略规则查找对应的规则表达公式。具体的规则表达公式以及公式中各变量的含义如图5和图6所示。
通过规则表达公式对用户特征值进行公式的推导判断,并根据推导判断结果确认当前选取到的策略规则是否符合策略规则要求。若符合,则以当前选取到的策略规则作为目标规则。
例如,当前选取的策略规则为短信规则时,提取用户短信总量和用户短信使用量两个数据,并根据短信规则表达公式对这两个值进行差值运算。若差值运算的结果小于10时,则以短信规则作为目标规则。
根据目标规则对持久化后的特征目标数据集进行检查,以将持久化后的特征目标数据集中的冗余数据进行剔除。
根据目标规则触发业务动作。例如,短信规则则触发短信催缴动作、停机规则则触发停机动作。
将剔除冗余数据后的特征目标数据集作为触发状态数据集,并对触发状态数据集进行持久化处理,保证系统重启或者异常后,触发状态数据仍然可用和可恢复。
在本实施例中,配置化的策略规则缓存存储有策略配置模型。策略配置模型的结构如图7所示,包括策略计划、策略定义、策略规则公式、策略变量。
其中,策略计划用于定义策略控制引擎根据用户资料选取的策略计划。例如,a用户的数据使用策略计划A,b用户的数据使用策略计划B。设计上体现在用于统一适配某一类用户的资料数据,比如运营商同一种用户产品(移动产品)的数据可统一设计一类策略计划,如图8所示。
策略定义是下挂在策略计划里的单条策略定义,用于确定该类用户具体的策略集合,比如费用催缴策略、停机策略等,如图4所示。
策略规则公式下挂在策略定义下,用于确定某一策略规则下的公式表达式描述和公式结果类型。比如费用催缴策略规则,即可描述成为用户话费不足余额剩余的10元时,公式的推导结果为真,如图5所示。
规则变量用于定义规则公式中使用到的变量描述,是一个业务描述到系统设计的定义转化。比如,业务描述的余额,在规则变量中即可使用BALANCE进行设计表达,并用于策略规则的公式表达中,如图6所示。
以下将基于上述的大规模数据的策略控制方法,对大规模数据的策略控制装置进行描述。请参阅图9,本实施例的策略控制装置包括:
数据学习引擎,用于对大规模数据进行规整、清洗和特征提取处理,以获取用户的业务特征值。
在数据学习引擎中,主要分为数据规整模块、数据清洗模块、特征提取模块。
数据规整模块根据数据规范对原始大规模数据进行规整处理,对不符合数据规范的异常数据进行容错标记和剔除处理。通过数据规范化处理,后续清洗环节减少了异常干扰和不必要的性能开销。
数据清洗模块对规整后的费用数据、流量数据进行业务清洗,如拆解文件数据、消息数据,并将清洗后的数据新增或者合并累加到一级分类目标数据集中。
特征提取模块是基于话费、流量的一级分类目标数据集结合用户资料对用户进行业务特征值提取。并对由业务特征值构成的特征目标数据集进行持久化处理。
策略控制引擎,用于动态选取策略规则,并根据业务特征值判断策略规则是否为目标规则;并在确认目标规则后,根据目标规则触发业务动作。
在策略控制引擎中,其具有有策略规则选取模块、策略公式推导模块、策略状态对比模块、策略控制触发模块以及状态数据持久模块组成。
其中,策略规则选取根据配置化的策略规则缓存中进行动态获取,对获取的策略规则进行优先级和依赖关系确认。
策略公式推导模块根据选取到的策略规则查找对应的规则表达公式,代入用户的业务特征值进行公式的推导判断,确认是否通过该类策略。
策略状态对比模块根据目标规则对特征目标数据集进行检查,以将特征目标数据集中的冗余数据进行剔除,并将剔除冗余数据后的特征目标数据集作为触发状态数据集。
策略控制触发模块根据确认的策略规则进行动作触发,比如短信催缴动作触发、停机动作触发等。
状态数据持久模块对所有触发状态数据,即触发状态数据集进行数据库持久化处理,保证系统重启或者异常后,状态数据仍然可用和可恢复。
本装置通过对话费、流量等大规模数据进行清洗、规整、特征提取,并将数据实时传送到策略控制引擎进行策略动态选取、公式推导、状态对比、控制动作触发、策略处理后,完成对用户费用提醒、预警、自动划扣(授权用户)及流量的及时通知、网络的达量控制及复通等复杂业务规则的处理,并通过配置化的策略规则模型设计,支持多种复杂运营商业务策略控制规则的可配置化实现。
以下将对大规模数据的策略控制设备进行描述。本实例中,策略控制设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。处理器执行计算机程序时实现大规模数据的策略控制方法,以通过对话费、流量等大规模数据进行清洗、规整、特征提取,并将数据实时传送到策略控制引擎进行策略动态选取、公式推导、状态对比、控制动作触发、策略处理后,完成对用户费用提醒、预警、自动划扣(授权用户)及流量的及时通知、网络的达量控制及复通等复杂业务规则的处理,并通过配置化的策略规则模型设计,支持多种复杂运营商业务策略控制规则的可配置化实现。
以下将对大规模数据的策略控制存储介质进行描述。本实例中,策略控制存储介质包括指令。当指令在计算机上运行时,使得计算机执行大规模数据的策略控制方法,以通过对话费、流量等大规模数据进行清洗、规整、特征提取,并将数据实时传送到策略控制引擎进行策略动态选取、公式推导、状态对比、控制动作触发、策略处理后,完成对用户费用提醒、预警、自动划扣(授权用户)及流量的及时通知、网络的达量控制及复通等复杂业务规则的处理,并通过配置化的策略规则模型设计,支持多种复杂运营商业务策略控制规则的可配置化实现。
以上的仅是本发明的优选实施方式,应当指出对于本领域的技术人员来说,在不脱离本发明结构的前提下,还可以作出若干变形和改进,这些都不会影响本发明实施的效果和专利的实用性。

Claims (10)

1.大规模数据的策略控制方法,其特征在于,包括:
获取大规模数据;
对所述大规模数据进行细化分类处理,以获取用户的业务特征值;
动态选取策略规则,并根据所述业务特征值判断所述策略规则是否为目标规则;
根据所述目标规则触发业务动作。
2.根据权利要求1所述的大规模数据的策略控制方法,其特征在于,所述细化分类处理,具体包括:
数据规整步骤,用于根据数据规范将所述大规模数据中不符合的异常数据进行容错标记,并进行剔除;
数据清洗步骤,用于对规整后的大规模数据中的费用数据和流量数据进行拆解,以获取费用数据和流量数据;将所述费用数据和流量数据进行归并,以获取一级分类目标数据集;
特征提取步骤,用于将用户资料按照用户维度归并至一级分类目标数据集,以获取特征目标数据集;并将所述特征目标数据集中的数据作为业务特征值。
3.根据权利要求2所述的大规模数据的策略控制方法,其特征在于,对所述特征目标数据集进行数据持久化处理。
4.根据权利要求1所述的大规模数据的策略控制方法,其特征在于,所述动态选取策略规则,具体包括:
从配置化的策略规则缓存中根据优先级选取策略规则,对选取的策略规则进行优先级和依赖关系确认。
5.根据权利要求4所述的大规模数据的策略控制方法,其特征在于,判断所述策略规则是否为目标规则,具体包括:
根据当前选取到所述的策略规则查找对应的规则表达公式;通过规则表达公式对用户特征值进行公式的推导判断,并根据推导判断结果确认当前选取到的策略规则是否符合策略规则要求;
若符合,则以当前选取到的策略规则作为目标规则。
6.根据权利要求5所述的大规模数据的策略控制方法,其特征在于,根据所述目标规则对特征目标数据集进行检查,以将所述特征目标数据集中的冗余数据进行剔除。
7.根据权利要求6所述的大规模数据的策略控制方法,其特征在于,将剔除冗余数据后的特征目标数据集作为触发状态数据集,并对所述触发状态数据集进行持久化处理。
8.大规模数据的策略控制装置,其特征在于,包括:
数据学习引擎,用于对大规模数据进行规整、清洗和特征提取处理,以获取用户的业务特征值;
策略控制引擎,用于动态选取策略规则,并根据所述业务特征值判断所述策略规则是否为目标规则;并在确认目标规则后,根据所述目标规则触发业务动作。
9.大规模数据的策略控制设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-7中任意一项所述的大规模数据的策略控制方法。
10.大规模数据的策略控制存储介质,其特征在于,包括指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1-7中任意一项所述的大规模数据的策略控制方法。
CN202211035174.2A 2022-08-26 2022-08-26 大规模数据的策略控制方法、装置、设备及存储介质 Pending CN115529197A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211035174.2A CN115529197A (zh) 2022-08-26 2022-08-26 大规模数据的策略控制方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211035174.2A CN115529197A (zh) 2022-08-26 2022-08-26 大规模数据的策略控制方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115529197A true CN115529197A (zh) 2022-12-27

Family

ID=84698068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211035174.2A Pending CN115529197A (zh) 2022-08-26 2022-08-26 大规模数据的策略控制方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115529197A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086031A (zh) * 2018-06-28 2018-12-25 阿里巴巴集团控股有限公司 一种基于规则引擎的业务决策方法和装置
CN110443512A (zh) * 2019-08-09 2019-11-12 北京思维造物信息科技股份有限公司 一种规则引擎及规则引擎实现方法
CN112631686A (zh) * 2020-12-31 2021-04-09 招联消费金融有限公司 数据处理方法、装置、计算机设备和存储介质
CN113177651A (zh) * 2021-05-08 2021-07-27 首约科技(北京)有限公司 一种管理网约车下单规则方法及装置
CN113688284A (zh) * 2021-10-26 2021-11-23 湖北亿咖通科技有限公司 车联网业务数据的处理方法、装置、电子设备和存储介质
CN113761739A (zh) * 2021-09-03 2021-12-07 江苏杰瑞信息科技有限公司 一种基于装备特征的标准化费用分解结构构建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086031A (zh) * 2018-06-28 2018-12-25 阿里巴巴集团控股有限公司 一种基于规则引擎的业务决策方法和装置
CN110443512A (zh) * 2019-08-09 2019-11-12 北京思维造物信息科技股份有限公司 一种规则引擎及规则引擎实现方法
CN112631686A (zh) * 2020-12-31 2021-04-09 招联消费金融有限公司 数据处理方法、装置、计算机设备和存储介质
CN113177651A (zh) * 2021-05-08 2021-07-27 首约科技(北京)有限公司 一种管理网约车下单规则方法及装置
CN113761739A (zh) * 2021-09-03 2021-12-07 江苏杰瑞信息科技有限公司 一种基于装备特征的标准化费用分解结构构建方法
CN113688284A (zh) * 2021-10-26 2021-11-23 湖北亿咖通科技有限公司 车联网业务数据的处理方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN107886238B (zh) 一种基于海量数据分析的业务流程管理系统及方法
CN108416375B (zh) 工单分类方法及装置
CN110069495A (zh) 数据存储方法、装置和终端设备
CN108090829A (zh) 一种数据管理方法、数据管理装置及电子设备
CN104503840A (zh) 对终端资源进行优化的方法及装置
CN107423097A (zh) 一种应用程序的管理方法和装置
US20220138032A1 (en) Analysis of deep-level cause of fault of storage management
CN104424555A (zh) 用于发布/订阅系统中的控制方法及设备
US20170236071A1 (en) Alarm management system
CN112799908B (zh) 基于边缘计算的智能终端安全监控方法、设备和介质
CN112487265B (zh) 数据处理方法、装置、计算机存储介质及电子设备
CN110972086A (zh) 短信息处理方法、装置、电子设备及计算机可读存储介质
CN112910733A (zh) 一种基于大数据的全链路监控系统及方法
CN115529197A (zh) 大规模数据的策略控制方法、装置、设备及存储介质
CN112631754A (zh) 数据处理方法、装置、存储介质及电子装置
CN111752541A (zh) 一种基于Rete算法的支付路由方法
CN108805462A (zh) 配网风险预警的方法及装置、存储介质、处理器
WO2019061999A1 (zh) 断点外呼方法、电子装置及计算机可读存储介质
CN113793213A (zh) 一种异步信贷风控断点续作的决策方式的实现方法及装置
CN113872882A (zh) 一种网络流量处理方法、装置、存储介质及电子设备
CN114020446A (zh) 一种跨多引擎的路由处理方法、装置、设备及存储介质
CN111008078A (zh) 数据的批量处理方法、装置、设备及计算机存储介质
CN106952095A (zh) 一种艺术品交易数据处理系统
WO2023103627A1 (zh) 网络巡检的方法、装置、电子设备和存储介质
CN116702008A (zh) 系统风险管理方法、装置、终端设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination