CN111639138B - 数据处理方法、装置、设备及存储介质 - Google Patents

数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111639138B
CN111639138B CN202010494023.8A CN202010494023A CN111639138B CN 111639138 B CN111639138 B CN 111639138B CN 202010494023 A CN202010494023 A CN 202010494023A CN 111639138 B CN111639138 B CN 111639138B
Authority
CN
China
Prior art keywords
service
target
message
data
kafka
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010494023.8A
Other languages
English (en)
Other versions
CN111639138A (zh
Inventor
屈克
陈娜
郭宝林
宁伟锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202010494023.8A priority Critical patent/CN111639138B/zh
Publication of CN111639138A publication Critical patent/CN111639138A/zh
Application granted granted Critical
Publication of CN111639138B publication Critical patent/CN111639138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/244—Grouping and aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请实施例提供一种数据处理方法、装置、设备及存储介质，该方法包括：获取多条目标消息，所述多条目标消息是通过目标Kafka对多个数据源的消息数据进行格式统一处理得到的；对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子；根据所述单个业务因子，确定相应的所述目标消息是否是为用户行为分析提供的实时有效数据；若所述目标消息是所述实时有效数据，则将所述单个业务因子对应的业务信息发送至目标系统，以使所述目标系统根据所述业务信息为相应的用户提供业务服务。本申请实施例提供的方法能够克服现有技术中无法满足大规模数据应用而且无法保证数据同步的时效性的问题。

Description

数据处理方法、装置、设备及存储介质
技术领域
本申请实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
随着用户规模的增加、产生数据量的快速增长，为应对激烈的市场竞争，运营商越来越依赖精确化的数据统计分析以实现科学管理和决策。
目前，由于各类业务数据呈现爆炸式的增长，信息的交互和沟通正在从传统点对点的方式往信息链甚至信息网的方向发展，这样必然带来数据在各个维度的交叉关联，其中，数据存储的介质有数据库、文件、消息流，因此，通过不同来源的各个维度数据进行数据分析。
但是由于不同介质的存储形态和数据结构不同，异构的数据来源造成不同的数据无法聚合，同时，针对文件传输模式存在数据同步延迟长、数据丢失未入库、全量同步消耗资源大等不足，进而无法满足大规模数据应用而且数据同步的时效性无法保证。
发明内容
本申请实施例提供一种数据处理方法、装置、设备及存储介质，以克服现有技术中无法满足大规模数据应用而且无法保证数据同步的时效性的问题。
第一方面，本申请实施例提供一种数据处理方法，包括：
获取多条目标消息，所述多条目标消息是通过目标Kafka对多个数据源的消息数据进行格式统一处理得到的，所述目标Kafka为服务器中任一Kafka，所述多个数据源包括数据库日志、接触式文件、其他Kafka；
对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子；
根据所述单个业务因子，确定相应的所述目标消息是否是为用户行为分析提供的实时有效数据；
若所述目标消息是所述实时有效数据，则将所述单个业务因子对应的业务信息发送至目标系统，以使所述目标系统根据所述业务信息为相应的用户提供业务服务。
在一种可能的设计中，所述获取多条目标消息，包括：
通过所述目标Kafka分别获取数据库日志的消息数据、接触式文件的消息数据、其他Kafka中的消息数据并存储至所述目标Kafka中的不同的主题文件；
通过所述目标Kafka对所述目标Kafka中不同的主题文件中的消息数据进行消息过滤，得到多条第一消息；
从所述目标Kafka中获取通过所述目标Kafka对所述多条第一消息按照预设格式进行格式转换得到的多条目标消息。
在一种可能的设计中，
所述对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子，包括：
对各条所述目标消息进行解析，得到各条所述目标消息中包含的所有字段；
针对每条所述目标消息，提取相应的所有字段对应的单个业务因子；
所述单个业务因子包括业务类型、产品、资费、时间、剩余量、位置变化、机型变化。
在一种可能的设计中，
所述根据所述单个业务因子，确定相应的所述目标消息是否是为用户行为分析提供的实时有效数据，包括：
对所述单个业务因子根据预设业务规则进行组合，得到业务组合因子，所述业务组合因子包括由业务类型、产品类型、入网时间组合的组合因子；
判断所述业务组合因子是否与预设业务场景匹配；
若所述业务组合因子与预设业务场景匹配，则确定所述单个业务因子对应的所述目标消息是实时有效数据，用以对相应的用户进行行为分析。
在一种可能的设计中，所述方法还包括：
若所述业务组合因子与预设业务场景不匹配，则删除所述单个业务因子对应的所述目标消息。
在一种可能的设计中，所述若所述目标消息是所述实时有效数据，则将所述单个业务因子对应的业务信息发送至目标系统，包括：
若所述目标消息是所述实时有效数据，则根据所述单个业务因子，触发与预设业务场景匹配的目标业务场景，所述目标业务场景包括套餐升档推荐、流量资费推荐、增值业务推荐、流量赠送、语音赠送、话费赠送；
根据所述目标业务场景，生成对应的业务信息；
通过接口能力平台将所述业务信息发送至目标系统，以使所述目标系统将所述业务信息推送至对应的用户端。
在一种可能的设计中，
在所述将所述单个业务因子对应的业务信息发送至目标系统之前，所述方法还包括：
根据业务的优先级，对预设业务场景划分为重点维保场景和普通维保场景；
为所述重点维保场景配置有一条读取Kafka消息的通道，为所述普通维保场景配置有针对同一业务分区的所有场景共用一个读取Kafka消息的通道。
第二方面，本申请实施例提供一种数据处理装置，包括：
目标消息获取模块，用于获取多条目标消息，所述多条目标消息是通过目标Kafka对多个数据源的消息数据进行格式统一处理得到的，所述目标Kafka为服务器中任一Kafka，所述多个数据源包括数据库日志、接触式文件、其他Kafka；
处理模块，用于对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子；
有效数据确定模块，用于根据所述单个业务因子，确定相应的所述目标消息是否是为用户行为分析提供的实时有效数据；
业务信息发送模块，用于在所述目标消息是所述实时有效数据时，将所述单个业务因子对应的业务信息发送至目标系统，以使所述目标系统根据所述业务信息为相应的用户提供业务服务。
第三方面，本申请实施例提供一种数据处理设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面及第一方面可能的设计所述的数据处理方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面及第一方面可能的设计所述的数据处理方法。
本实施例提供的数据处理方法、装置、设备及存储介质，首先获取多条目标消息，其中，所述多条目标消息是通过目标Kafka对多个数据源的消息数据进行格式统一处理得到的，所述目标Kafka为服务器中任一Kafka，所述多个数据源包括数据库日志、接触式文件、除目标Kafka以外的其他Kafka；然后对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子；然后根据所述单个业务因子，确定相应的所述目标消息是否是为用户行为分析提供的实时有效数据；若所述目标消息是所述实时有效数据，则将所述单个业务因子对应的业务信息发送至目标系统，以使所述目标系统根据所述业务信息为相应的用户提供业务服务，因此，通过Kafka实现对不同数据来源的消息数据进行统一格式化处理，并通过Kafka提供实时的消息即目标消息，保证了数据同步的时效性，然后对目标消息计算业务因子，基于业务因子实现用户行为分析，进而为用户提供相应的服务，满足了大规模数据的应用。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据处理系统的场景示意图；
图2为本申请实施例提供的数据处理方法的流程示意图；
图3为本申请实施例提供的将不同的数据源聚合为统一格式的消息的示意图；
图4为本申请另一实施例提供的数据处理方法的流程示意图；
图5为本申请再一实施例提供的数据处理方法的流程示意图；
图6为本申请另一实施例提供的数据处理的场景示意图；
图7为本申请实施例提供的数据处理装置的结构示意图；
图8为本申请实施例提供的数据处理设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前，业务数据的来源有数据库日志、文件、消息流的方式，数据库存在不同模块的数据存储在不同的数据库，数据库压力过大等问题；文件传输模式存在数据同步延迟长(1天以上)、数据丢失未入库、全量同步消耗资源大等不足；无法满足大规模数据应用而且数据同步的时效性。
为了解决上述问题，本申请的技术构思是采用Kafka在线实时采集数据，对采集的异构数据消息对应的多类用户行为聚合为统一的数据流，并采用分布式的并行流式计算方案，对消息流进行实时解析，计算业务因子，然后热加载的业务规则根据业务因子实时触发业务场景，为相应的用户提供业务服务，满足大规模数据应用而且保证了数据同步的时效性。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
参考图1，图1为本申请实施例提供的数据处理系统的场景示意图。在实际应用中，数据处理系统可以包括Kafka平台10和ZooKeeper平台20。Kafka平台用于对获取的不同数据源的多类用户行为聚合为统一的数据流，大大提高用户行为数据分析的维度和数据获取速度，保证了时效性；ZooKeeper平台用于读取Kafka平台上聚合后的统一的数据流即目标消息，然后采用分布式的并行流式计算方法，对目标消息进行业务因子计算，然后基于业务因子确定为用户提供业务服务的业务信息，并触发相应的业务场景，实现了对大规模数据的应用。
本实施例，为了将多类用户行为聚合为统一的数据源，保证不同存储介质的数据处理速度一致，采用OGG的消息下发机制，数据下发侧提供两种主机：kafka消息中间件集群主机、zookeeper集群主机。数据接收侧建设消息读取机制，通过访问zookeeper及kafka主机获得消息，将不同数据源转换为统一格式的消息处理方式。
具体地，Kafka平台(即中间消息件平台，下述称可以为Kafka)对数据库日志的消息数据、接触式文件的消息数据、其他Kafka中的消息数据进行重复数据的过滤，然后对过滤后的数据进行格式统一处理，得到多条目标消息，然后ZooKeeper平台从Kafka平台中的不同topic中读取目标消息，然后对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子，再根据所述单个业务因子，确定相应的所述目标消息是否是为用户行为分析提供的实时有效数据；若所述目标消息是所述实时有效数据，则将所述单个业务因子对应的业务信息发送至目标系统，以使所述目标系统根据所述业务信息为相应的用户提供业务服务。因此，通过Kafka实现对不同数据来源的消息数据进行统一格式化处理，并通过Kafka提供实时的消息即目标消息，保证了数据同步的时效性，然后对目标消息计算业务因子，基于业务因子实现用户行为分析，进而为用户提供相应的服务，满足了大规模数据的应用。
具体地，如何实现对数据处理的，参见图2所示，图2为本申请实施例提供的数据处理方法的流程示意图。
参见图2，所述数据处理方法，包括：
S201、获取多条目标消息，所述多条目标消息是通过目标Kafka对多个数据源的消息数据进行格式统一处理得到的，所述目标Kafka为服务器中任一Kafka，所述多个数据源包括数据库日志、接触式文件、其他Kafka。
其中，本实施例的执行主体是ZooKeeper平台。其中，ZooKeeper平台和Kafka平台可以均配置在服务器中。
在一种可能的设计中，如何获取多条目标消息，可以包括以下步骤：
步骤a1、通过所述目标Kafka分别获取数据库日志的消息数据、接触式文件的消息数据、其他Kafka中的消息数据并存储至所述目标Kafka中的不同的主题文件。
步骤a2、通过所述目标Kafka对所述目标Kafka中不同的主题文件中的消息数据进行消息过滤，得到多条第一消息。
步骤a3、从所述目标Kafka中获取通过所述目标Kafka对所述多条第一消息按照预设格式进行格式转换得到的多条目标消息。
本实施例中，目标Kafka部署在服务器中，可以为服务器中任一Kafka，其中，多个数据源包括数据库日志、接触式文件、除目标Kafka以外的其他Kafka，接触式文件的消息数据为用户通过APP或自助服务机端点击或触发的业务信息或咨询信息等操作但未成功落地的数据，这部分数据存储在接触式文件中，区别于数据库日志的消息数据，数据库日志的消息数据可以表示为落地数据即用户成功办理或使用的业务等数据。
具体地，结合图3所示，图3为本申请实施例提供的将不同的数据源聚合为统一格式的消息的示意图。其中，图3中的文件即为接触式文件，消息流即为其他Kafka提供的消息流。
本实施例中，针对数据库日志，通过采用OGG Vorbis(一种新的音频压缩格式，ogg)程序将数据库日志实时输出，通过开发UE(用户端)程序将ogg输出的Trail格式的日志按统一格式(比如uni01格式，即预设格式)写入Kafka服务端topic01中(即Kafka的topic01中)。在进行统一格式处理时，可以先对重复的消息数据进行过滤，留下有效的消息即多条第一消息。
针对文件，通过开发采集程序，实时采集计费文件并分析处理计费文件，将数据按统一格式(uni01格式)写入Kafka服务端的topic02中；
针对消息流，通过实时读取其他Kafka服务端的消息，将消息进行格式转换，按照统一格式(uni01格式)写入Kafka服务端的topic03中。
通过上述三种方式将不同的数据源聚合为统一格式的消息，解决了不同存储介质处理速率不同、方式不同的问题；还为后续的用户行为分析为用户提供进一步服务提供了依据。
S202、对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子。
本实施例中，通过读取Kafka服务端的不同的topic(主题文件)来获取对应所需的消息，并按照统一的union格式对消息进行消息解析，获取到所需推广的业务场景涉及的业务因子。其中，一条消息可以是一个业务触发的。
S203、根据所述单个业务因子，确定相应的所述目标消息是否是为用户行为分析提供的实时有效数据。
本实施例中，根据所述单个业务因子，将符合业务营销场景的因子进行提炼来初步提取出符合条件的目标用户来供后续不同的业务场景来使用，即为用户行为分析提供的实时有效数据，实现用户行为精准地分析，进一步地为用户推送用户可能感兴趣的业务。
S204、若所述目标消息是所述实时有效数据，则将所述单个业务因子对应的业务信息发送至目标系统，以使所述目标系统根据所述业务信息为相应的用户提供业务服务。
本实施例中，通过热加载的业务规则，根据业务因子实时触发业务场景，实现业务全方位支撑，将用户的推广业务工作由事后提升到事中甚至事前，大大提高了推广业务服务效率(比如，提高了业务推广的成功率)和用户体验。
本申请提供的数据处理方法，通过获取多条目标消息，其中，所述多条目标消息是通过目标Kafka对多个数据源的消息数据进行格式统一处理得到的，所述目标Kafka为服务器中任一Kafka，所述多个数据源包括数据库日志、接触式文件、除目标Kafka以外的其他Kafka；然后对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子；然后根据所述单个业务因子，确定相应的所述目标消息是否是为用户行为分析提供的实时有效数据；若所述目标消息是所述实时有效数据，则将所述单个业务因子对应的业务信息发送至目标系统，以使所述目标系统根据所述业务信息为相应的用户提供业务服务，因此，通过Kafka实现对不同数据来源的消息数据进行统一格式化处理，并通过Kafka提供实时的消息即目标消息，保证了数据同步的时效性，然后对目标消息计算业务因子，基于业务因子实现用户行为分析，进而为用户提供相应的服务，满足了大规模数据的应用。
因此，本申请通过采用异构数据消息化的方法来将多类用户行为聚合为统一的数据流，大大提高基础推广数据的维度和数据获取速度，给用户的体验带来本质的变化，将推广广告变成了用户的需求引导。通过这种实时、功能丰富又灵活的方案实现业务全方位支撑，将用户的推广其他业务的工作由事后提升到事中甚至事前，大大提高了推广成功率。
如何计算单个业务因子，参见图4所示，图4为本申请另一实施例提供的数据处理方法的流程示意图，本实施例在上述实施例的基础上，例如，在图2所述的实施例的基础上，对S202进行了详细说明。所述对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子，包括：
S401、对各条所述目标消息进行解析，得到各条所述目标消息中包含的所有字段。
S402、针对每条所述目标消息，提取相应的所有字段对应的单个业务因子。
其中，所述单个业务因子包括业务类型、产品、资费、时间、剩余量、位置变化、机型变化。
本实施例中，针对消息获取是通过Storm提供的Kafka插件kafkaSpout读取Kafka服务端不同的topic来完成消息获取；针对消息过滤是通过自定义消息处理bolts--FilterBolt负责条件过滤消息，将topic当中不需要的消息过滤(比如重复的消息、无用消息)；针对消息解析是通过自定义消息处理bolts--arseBolt格式化OGG消息，按照统一的格式解析出消息当中包含的所有字段以及对应的字段值。然后进行业务因子提取，针对业务因子提取是通过对消息解析完成后的字段进行单个业务因子的提炼来初步获取包含业务类型，产品，资费，时间，剩余量，位置变化，机型变化等。
针对不同的业务营销场景，每个业务营销需求不同，由于业务因子来源于不同的数据源，无法统一；相同的业务因子因在不同的数据存储介质造成类似的业务营销场景都需要重新单独开发；每项不同的业务营销场景及业务都需要单独开发一套程序，耗时长，支撑力度小，只能完成一个事后用户行为分析，无法完成全场景全业务的精准化分析，极大地影响了用户行为分析效率，无法及时为用户提供进一步的服务。
因此，如何根据业务因子，进行用户行为分析，进而获取匹配的业务场景，为用户提供服务。参见图5所示，图5为本申请再一实施例提供的数据处理方法的流程示意图，本实施例在上述实施例的基础上，例如在图4所述的实施例的基础上，对S203进行了详细说明。所述根据所述单个业务因子，确定相应的所述目标消息是否是为用户行为分析提供的实时有效数据，包括：
S501、对所述单个业务因子根据预设业务规则进行组合，得到业务组合因子，所述业务组合因子包括由业务类型、产品类型、入网时间组合的组合因子。
S502、判断所述业务组合因子是否与预设业务场景匹配。
S503、若所述业务组合因子与预设业务场景匹配，则确定所述单个业务因子对应的所述目标消息是实时有效数据，用以对相应的用户进行行为分析。
S504、若所述业务组合因子与预设业务场景不匹配，则删除所述单个业务因子对应的所述目标消息。
本实施例中，实现业务因子组合是通过对业务因子提取过程中生成的单个业务因子根据业务规则进行组合，包括业务类型+产品类型+入网时间的组合因子等。然后进行业务场景计算即判断业务因子组合的结果即业务组合因子是否与业务场景相符合，如果符合则说明该业务场景计算的结果即业务组合因子为用户行为分析的有效数据，可以基于该业务场景计算的结果为用户提供相应服务。如果不符合，则对该条消息进行丢弃即若所述业务组合因子与预设业务场景不匹配，则删除所述单个业务因子对应的所述目标消息。
在一种可能的设计中，如何将所述单个业务因子对应的业务信息发送至目标系统，可以通过以下步骤实现：
步骤b1、若所述目标消息是所述实时有效数据，则根据所述单个业务因子，触发与预设业务场景匹配的目标业务场景，所述目标业务场景包括套餐升档推荐、流量资费推荐、增值业务推荐、流量赠送、语音赠送、话费赠送。
步骤b2、根据所述目标业务场景，生成对应的业务信息；
步骤b3、通过接口能力平台将所述业务信息发送至目标系统，以使所述目标系统将所述业务信息推送至对应的用户端。
本实施例中，结合图6所示，图6为本申请另一实施例提供的数据处理的场景示意图。消息中间件平台从数据库日志、文件、消息流中获取消息数据后，对消息数据进行过滤和格式归一化处理，然后将处理后的数据即目标消息提供了业务因子计算平台即zookeeper平台，zookeeper平台对业务因子提炼，比如话费余额、缴费金额、欠费金额、实时结余、主叫号码、通话时间、国际漫游、网络基站、订购资费、受理渠道、受理时间等；然后进行因子组合及过滤，比如，2I用户维系：缴费金额、目标用户、历史欠费；小额提醒：实时结余、信用度、接收时间；精准化营销：订购资费、受理时间、目标用户；然后对符合业务场景的组合后的结果进行存储与管理，比如对2I用户对应的数据管理、小额提醒管理、异常资料管理等。
针对符合的业务场景，将业务场景计算的结果通过能力平台接口输出完成实时推广，如图6所示，不同的业务场景或业务组合因子，对应不同的能力平台接口。通过接口能力平台将所述目标业务场景对应的业务信息发送至目标系统，比如，BSS系统(包括送费、加资费、阈值提醒等业务)、外围系统等，以使所述目标系统将所述业务信息推送至对应的用户端，实现数据应用。
本申请通过采用异构数据消息化的方法，在线实时采集用户使用行为，包括上网、语音、通话、短信；订单行为，包括开户、换套餐、停机、复机等业务；接触查询行为，包括查语音，将多类用户行为聚合为统一的数据流，大大提高基础推广(或营销)数据的维度和数据获取速度，给用户的体验带来本质的变化，将营销广告变成了用户的需求引导。并采用分布式的并行流式计算方案，对消息流进行实时解析，计算业务因子，包括业务类型，产品，资费，时间，剩余量，位置变化，机型变化等；热加载的业务规则根据业务因子实时触发业务场景，包括套餐升档，流量资费推荐，增值业务推荐，流量、语音、话费的赠送等。业务场景触发灵活的实现方案，包括API接口，存储过程，能力平台，微服务等。通过这种实时、功能丰富又灵活的方案实现业务全方位支撑，将用户的推广服务工作(或营销工作)由事后提升到事中甚至事前，大大提高了效率以及成功率。
因此，本申请是通过构建流程统一、数据过滤可配置、易维护、可扩展、流式处理的挖掘平台来完成数据来源实时化、数据流通环节在线化、推广精准化的目标，挖掘平台对用户交互类、用户使用类以及服务提供类三大主要基础数据进行实时监控，针对不同的业务挖掘场景，配置不同的数据过滤方案，经过因子提炼-因子组合及过滤-数据储存与管理三个关键动作将符合营销策略的数据信息通过能力平台接口实时发送给目标系统,再由目标系统完成对目标用户进行精准化营销。
在一种可能的设计中，在所述将所述单个业务因子对应的业务信息发送至目标系统之前，所述方法还包括：
根据业务的优先级，对预设业务场景划分为重点维保场景和普通维保场景；为所述重点维保场景配置有一条读取Kafka消息的通道，为所述普通维保场景配置有针对同一业务分区的所有场景共用一个读取Kafka消息的通道。
在实际应用中，按业务的重要程度以及消息处理的排他性分为重点维保场景及普通维保场景。重点维保场景单独开辟一个读取Kafka消息的通道(这里的Kafka可以为目标Kafka或其他任意Kafka)；普通维保场景按分区同一分区的所有场景共用一个Kafka消息读取的通道，这里的通道即为storm提交的topology。
为了实现所述数据处理方法，本实施例提供了一种数据处理装置。参见图7，图7为本申请实施例提供的数据处理装置的结构示意图；所述数据处理装置70，包括：目标消息获取模块701、处理模块702、有效数据确定模块703以及业务信息发送模块704；目标消息获取模块701，用于获取多条目标消息，所述多条目标消息是通过目标Kafka对多个数据源的消息数据进行格式统一处理得到的，所述目标Kafka为服务器中任一Kafka，所述多个数据源包括数据库日志、接触式文件、其他Kafka；处理模块702，用于对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子；有效数据确定模块703，用于根据所述单个业务因子，确定相应的所述目标消息是否是为用户行为分析提供的实时有效数据；业务信息发送模块704，用于在所述目标消息是所述实时有效数据时，将所述单个业务因子对应的业务信息发送至目标系统，以使所述目标系统根据所述业务信息为相应的用户提供业务服务。
本实施例通过设置目标消息获取模块701、处理模块702、有效数据确定模块703以及业务信息发送模块704，用于获取多条目标消息，其中，所述多条目标消息是通过目标Kafka对多个数据源的消息数据进行格式统一处理得到的，所述目标Kafka为服务器中任一Kafka，所述多个数据源包括数据库日志、接触式文件、除目标Kafka以外的其他Kafka；然后对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子；然后根据所述单个业务因子，确定相应的所述目标消息是否是为用户行为分析提供的实时有效数据；若所述目标消息是所述实时有效数据，则将所述单个业务因子对应的业务信息发送至目标系统，以使所述目标系统根据所述业务信息为相应的用户提供业务服务，因此，通过Kafka实现对不同数据来源的消息数据进行统一格式化处理，并通过Kafka提供实时的消息即目标消息，保证了数据同步的时效性，然后对目标消息计算业务因子，基于业务因子实现用户行为分析，进而为用户提供相应的服务，满足了大规模数据的应用。
本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
在一种可能的设计中，目标消息获取模块701，具体用于：通过所述目标Kafka分别获取数据库日志的消息数据、接触式文件的消息数据、其他Kafka中的消息数据并存储至所述目标Kafka中的不同的主题文件；通过所述目标Kafka对所述目标Kafka中不同的主题文件中的消息数据进行消息过滤，得到多条第一消息；从所述目标Kafka中获取通过所述目标Kafka对所述多条第一消息按照预设格式进行格式转换得到的多条目标消息。
在一种可能的设计中，处理模块，具体用语：对各条所述目标消息进行解析，得到各条所述目标消息中包含的所有字段；针对每条所述目标消息，提取相应的所有字段对应的单个业务因子；其中，所述单个业务因子包括业务类型、产品、资费、时间、剩余量、位置变化、机型变化。
在一种可能的设计中，有效数据确定模块，具体用于：对所述单个业务因子根据预设业务规则进行组合，得到业务组合因子，所述业务组合因子包括由业务类型、产品类型、入网时间组合的组合因子；判断所述业务组合因子是否与预设业务场景匹配；若所述业务组合因子与预设业务场景匹配，则确定所述单个业务因子对应的所述目标消息是实时有效数据，用以对相应的用户进行行为分析。
在一种可能的设计中，有效数据确定模块，还具体用于，还具体用于：在所述业务组合因子与预设业务场景不匹配时，删除所述单个业务因子对应的所述目标消息。
在一种可能的设计中，业务信息发送模块，具体用于：在所述目标消息是所述实时有效数据时，根据所述单个业务因子，触发与预设业务场景匹配的目标业务场景，所述目标业务场景包括套餐升档推荐、流量资费推荐、增值业务推荐、流量赠送、语音赠送、话费赠送；根据所述目标业务场景，生成对应的业务信息；通过接口能力平台将所述业务信息发送至目标系统，以使所述目标系统将所述业务信息推送至对应的用户端。
在一种可能的设计中，所述装置还包括：配置模块；配置模块，用于在所述将所述单个业务因子对应的业务信息发送至目标系统之前，根据业务的优先级，对预设业务场景划分为重点维保场景和普通维保场景；为所述重点维保场景配置有一条读取Kafka消息的通道，为所述普通维保场景配置有针对同一业务分区的所有场景共用一个读取Kafka消息的通道。
为了实现所述数据处理方法，本实施例提供了一种数据处理设备。图8为本申请实施例提供的数据处理设备的结构示意图。如图8所示，本实施例的数据处理设备80包括：处理器801以及存储器802；其中，存储器802，用于存储计算机执行指令；处理器801，用于执行存储器存储的计算机执行指令，以实现上述实施例中所执行的各个步骤。具体可以参见上述方法实施例中的相关描述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上述的数据处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(PeripheralComponent，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (9)

1.一种数据处理方法，其特征在于，包括：
获取多条目标消息，所述多条目标消息是通过目标Kafka对多个数据源的消息数据进行格式统一处理得到的，所述目标Kafka为服务器中任一Kafka，所述多个数据源包括数据库日志、接触式文件、其他Kafka；
对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子；
对所述单个业务因子根据预设业务规则进行组合，得到业务组合因子，所述业务组合因子包括由业务类型、产品类型、入网时间组合的组合因子；
判断所述业务组合因子是否与预设业务场景匹配，若所述业务组合因子与预设业务场景匹配，则确定所述单个业务因子对应的所述目标消息是实时有效数据，用以对相应的用户进行行为分析；
若所述目标消息是所述实时有效数据，则将所述单个业务因子对应的业务信息发送至目标系统，以使所述目标系统根据所述业务信息为相应的用户提供业务服务。
2.根据权利要求1所述的方法，其特征在于，所述获取多条目标消息，包括：
通过所述目标Kafka分别获取数据库日志的消息数据、接触式文件的消息数据、其他Kafka中的消息数据并存储至所述目标Kafka中的不同的主题文件；
通过所述目标Kafka对所述目标Kafka中不同的主题文件中的消息数据进行消息过滤，得到多条第一消息；
从所述目标Kafka中获取通过所述目标Kafka对所述多条第一消息按照预设格式进行格式转换得到的多条目标消息。
3.根据权利要求1所述的方法，其特征在于，所述对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子，包括：
对各条所述目标消息进行解析，得到各条所述目标消息中包含的所有字段；
针对每条所述目标消息，提取相应的所有字段对应的单个业务因子；
其中，所述单个业务因子包括业务类型、产品、资费、时间、剩余量、位置变化、机型变化。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述业务组合因子与预设业务场景不匹配，则删除所述单个业务因子对应的所述目标消息。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述若所述目标消息是所述实时有效数据，则将所述单个业务因子对应的业务信息发送至目标系统，包括：
若所述目标消息是所述实时有效数据，则根据所述单个业务因子，触发与预设业务场景匹配的目标业务场景，所述目标业务场景包括套餐升档推荐、流量资费推荐、增值业务推荐、流量赠送、语音赠送、话费赠送；
根据所述目标业务场景，生成对应的业务信息；
通过接口能力平台将所述业务信息发送至目标系统，以使所述目标系统将所述业务信息推送至对应的用户端。
6.根据权利要求5所述的方法，其特征在于，在所述将所述单个业务因子对应的业务信息发送至目标系统之前，所述方法还包括：
根据业务的优先级，对预设业务场景划分为重点维保场景和普通维保场景；
为所述重点维保场景配置有一条读取Kafka消息的通道，为所述普通维保场景配置有针对同一业务分区的所有场景共用一个读取Kafka消息的通道。
7.一种数据处理装置，其特征在于，包括：
目标消息获取模块，用于获取多条目标消息，所述多条目标消息是通过目标Kafka对多个数据源的消息数据进行格式统一处理得到的，所述目标Kafka为服务器中任一Kafka，所述多个数据源包括数据库日志、接触式文件、其他Kafka；
处理模块，用于对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子；
有效数据确定模块，用于对所述单个业务因子根据预设业务规则进行组合，得到业务组合因子，所述业务组合因子包括由业务类型、产品类型、入网时间组合的组合因子；
所述有效数据确定模块，还用于判断所述业务组合因子是否与预设业务场景匹配，若所述业务组合因子与预设业务场景匹配，则确定所述单个业务因子对应的所述目标消息是实时有效数据，用以对相应的用户进行行为分析；
业务信息发送模块，用于在所述目标消息是所述实时有效数据时，将所述单个业务因子对应的业务信息发送至目标系统，以使所述目标系统根据所述业务信息为相应的用户提供业务服务。
8.一种数据处理设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-6任一项所述的数据处理方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-6任一项所述的数据处理方法。
CN202010494023.8A 2020-06-03 2020-06-03 数据处理方法、装置、设备及存储介质 Active CN111639138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010494023.8A CN111639138B (zh) 2020-06-03 2020-06-03 数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010494023.8A CN111639138B (zh) 2020-06-03 2020-06-03 数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111639138A CN111639138A (zh) 2020-09-08
CN111639138B true CN111639138B (zh) 2023-04-25

Family

ID=72329430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010494023.8A Active CN111639138B (zh) 2020-06-03 2020-06-03 数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111639138B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112187407A (zh) * 2020-09-25 2021-01-05 中国移动通信集团黑龙江有限公司 实时信令消息处理方法、装置、设备及计算机存储介质
CN112527521B (zh) * 2020-12-03 2023-07-04 中国联合网络通信集团有限公司 消息处理方法及设备
CN112579326A (zh) * 2020-12-29 2021-03-30 北京五八信息技术有限公司 离线数据处理方法、装置、电子设备和计算机可读介质
CN112883091A (zh) * 2021-01-12 2021-06-01 平安资产管理有限责任公司 因子数据获取方法、装置、计算机设备和存储介质
CN113379556A (zh) * 2021-07-02 2021-09-10 上海豹云网络信息服务有限公司 一种业务数据动态监控方法、装置及设备
CN113641516A (zh) * 2021-08-09 2021-11-12 杭州安恒信息技术股份有限公司 一种扫描引擎管控方法、系统及计算机可读存储介质
CN113747192B (zh) * 2021-11-03 2022-02-22 腾讯科技（深圳）有限公司 一种直播控制方法、装置、电子设备和存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282512A (ja) * 2000-03-29 2001-10-12 Mitsubishi Electric Corp アプリケーション起動メニュー定義ファイル生成装置及びアプリケーション起動メニュー生成装置
US6539396B1 (en) * 1999-08-31 2003-03-25 Accenture Llp Multi-object identifier system and method for information service pattern environment
CN106874320A (zh) * 2016-06-20 2017-06-20 阿里巴巴集团控股有限公司 分布式流式数据处理的方法和装置
CN107276790A (zh) * 2017-05-27 2017-10-20 北京思特奇信息技术股份有限公司 一种业务工单的处理方法及系统
CN107294801A (zh) * 2016-12-30 2017-10-24 江苏号百信息服务有限公司 基于海量实时互联网dpi数据的流式处理方法及系统
CN107451109A (zh) * 2017-07-05 2017-12-08 北京京东尚科信息技术有限公司 报表生成方法及系统
CN108665174A (zh) * 2018-05-16 2018-10-16 中国平安人寿保险股份有限公司 风险预警方法、装置、计算机设备以及存储介质
CN108681590A (zh) * 2018-05-15 2018-10-19 普信恒业科技发展（北京）有限公司 增量数据处理方法及装置、计算机设备、计算机存储介质
CN109086410A (zh) * 2018-08-02 2018-12-25 中国联合网络通信集团有限公司 流式海量数据的处理方法及系统
CN109409821A (zh) * 2018-09-21 2019-03-01 中国联合网络通信集团有限公司 清算方法、装置和设备
CN110019651A (zh) * 2019-03-01 2019-07-16 广州亚美信息科技有限公司 一种流式规则引擎及业务数据处理方法
CN110505229A (zh) * 2019-08-23 2019-11-26 四川长虹电器股份有限公司 一种基于storm的账号安全性检测方法
CN110704212A (zh) * 2019-09-29 2020-01-17 广州荔支网络技术有限公司 一种消息处理方法及装置
CN110874379A (zh) * 2019-11-14 2020-03-10 中国民航信息网络股份有限公司 数据流转方法及装置
CN111209126A (zh) * 2020-01-03 2020-05-29 北京明略软件系统有限公司 微服务之间的数据传输方法及装置、电子设备
CN111224807A (zh) * 2018-11-27 2020-06-02 中国移动通信集团江西有限公司 分布式日志处理方法、装置、设备及计算机存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949789B2 (en) * 2012-08-13 2015-02-03 Sap Se Adaptable business objects
US11281673B2 (en) * 2018-02-08 2022-03-22 Parallel Wireless, Inc. Data pipeline for scalable analytics and management

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539396B1 (en) * 1999-08-31 2003-03-25 Accenture Llp Multi-object identifier system and method for information service pattern environment
JP2001282512A (ja) * 2000-03-29 2001-10-12 Mitsubishi Electric Corp アプリケーション起動メニュー定義ファイル生成装置及びアプリケーション起動メニュー生成装置
CN106874320A (zh) * 2016-06-20 2017-06-20 阿里巴巴集团控股有限公司 分布式流式数据处理的方法和装置
CN107294801A (zh) * 2016-12-30 2017-10-24 江苏号百信息服务有限公司 基于海量实时互联网dpi数据的流式处理方法及系统
CN107276790A (zh) * 2017-05-27 2017-10-20 北京思特奇信息技术股份有限公司 一种业务工单的处理方法及系统
CN107451109A (zh) * 2017-07-05 2017-12-08 北京京东尚科信息技术有限公司 报表生成方法及系统
CN108681590A (zh) * 2018-05-15 2018-10-19 普信恒业科技发展（北京）有限公司 增量数据处理方法及装置、计算机设备、计算机存储介质
CN108665174A (zh) * 2018-05-16 2018-10-16 中国平安人寿保险股份有限公司 风险预警方法、装置、计算机设备以及存储介质
CN109086410A (zh) * 2018-08-02 2018-12-25 中国联合网络通信集团有限公司 流式海量数据的处理方法及系统
CN109409821A (zh) * 2018-09-21 2019-03-01 中国联合网络通信集团有限公司 清算方法、装置和设备
CN111224807A (zh) * 2018-11-27 2020-06-02 中国移动通信集团江西有限公司 分布式日志处理方法、装置、设备及计算机存储介质
CN110019651A (zh) * 2019-03-01 2019-07-16 广州亚美信息科技有限公司 一种流式规则引擎及业务数据处理方法
CN110505229A (zh) * 2019-08-23 2019-11-26 四川长虹电器股份有限公司 一种基于storm的账号安全性检测方法
CN110704212A (zh) * 2019-09-29 2020-01-17 广州荔支网络技术有限公司 一种消息处理方法及装置
CN110874379A (zh) * 2019-11-14 2020-03-10 中国民航信息网络股份有限公司 数据流转方法及装置
CN111209126A (zh) * 2020-01-03 2020-05-29 北京明略软件系统有限公司 微服务之间的数据传输方法及装置、电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于移动通信的流式数据处理系统的设计与实现";周伟东;《万方在线》;全文 *

Also Published As

Publication number Publication date
CN111639138A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN111639138B (zh) 数据处理方法、装置、设备及存储介质
US20140301218A1 (en) Statistical analysis and prompting method and system for mobile terminal internet traffic
CN111371672B (zh) 消息推送方法及装置
CN111143415B (zh) 一种数据处理方法、装置和计算机可读存储介质
CN108737535A (zh) 一种消息推送方法、存储介质和服务器
CN110233741B (zh) 服务计费方法、装置、设备及存储介质
CN108880934B (zh) 一种基于区块链的数据流量统计方法和装置
WO2020257991A1 (zh) 用户识别方法及相关产品
CN104579909A (zh) 一种用户信息的分类、用户分组信息的获取方法和设备
CN107181664B (zh) 一种自动熔断的消息发送方法、装置及系统
CN109120509B (zh) 一种信息收集的方法及装置
US10348910B2 (en) Method and system for providing a personalized product catalog enabling rating of communication events within a user device
CN109308298B (zh) 工程项目综合管理系统
CN110322250A (zh) 无效用户操作路径识别方法、装置、设备及存储介质
CN109829043A (zh) 词性确认方法、装置、电子设备及存储介质
CN114943208A (zh) 事件信息处理方法与系统、设备及存储介质
CN113655958A (zh) 应用数据的存储方法
CN111105259B (zh) 一种用户识别方法、装置、电子设备和存储介质
CN113905078B (zh) 信息推送方法、装置、设备及可读存储介质
CN110532302B (zh) 审计方法、系统和可读存储介质
CN112714057B (zh) 即时消息处理方法、装置、设备及存储介质
CN117750306A (zh) 基于dpi信令的电子围栏处理方法及设备
US20160224678A1 (en) Data analysis and management methods and systems for social networks
WO2023016085A1 (zh) 一种业务数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN109428731B (zh) 在线数据流量计费方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant