CN114546671A - 一种数据处理方法、装置及电子设备 - Google Patents
一种数据处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114546671A CN114546671A CN202011350793.1A CN202011350793A CN114546671A CN 114546671 A CN114546671 A CN 114546671A CN 202011350793 A CN202011350793 A CN 202011350793A CN 114546671 A CN114546671 A CN 114546671A
- Authority
- CN
- China
- Prior art keywords
- processing
- message
- processed
- messages
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 366
- 238000000034 method Methods 0.000 claims abstract description 108
- 238000004891 communication Methods 0.000 claims abstract description 96
- 230000008569 process Effects 0.000 claims abstract description 69
- 238000004590 computer program Methods 0.000 claims description 22
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000012216 screening Methods 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 244000038293 primary consumers Species 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 244000037459 secondary consumers Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明实施例公开了一种数据处理方法、装置及电子设备，所述方法包括：基于预设数据接口，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件，所述目标离线文件用于在预设结算周期对所述通讯业务进行结算处理；对所述目标离线文件进行预设消息化处理，将所述目标离线文件转化为目标离线消息，并将所述实时会话消息以及所述目标离线消息放入第一待处理消息队列；基于预设分布式数据处理服务，对所述第一待处理消息队列中的消息进行处理，并将处理后的消息放入第二待处理消息队列，以基于所述第二待处理消息队列中的消息，对所述通讯业务进行处理。通过本方法，可以提高对通讯业务的数据处理效率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置及电子设备。
背景技术
随着计算机技术的不断发展，运营商可以为用户提供的通讯业务越来越多，而不同的通讯业务的结算方式存在不同，随着用户量的日益增长，运营商需要处理的业务量较为庞大，因而，如何提高业务处理效率成为运营商关注的焦点。
例如，运营商可以基于用户在使用通讯业务过程中产生的实时会话消息进行在线计费，也可以在预定结算周期(如一个月)基于用户在该结算周期内产生的话单文件进行离线计费。目前，运营商可以通过共享存储的方式，处理实时会话消息以进行在线计费，同时可以通过消息系统采集用户的话单文件，对话单文件进行处理以进行离线计费。
但是，由于共享存储的方式在处理数据时，实时会话消息需频繁落地，导致数据处理效率低，而消息系统由于同步收发消息存在响应时延较高的问题，所以无法处理实时会话消息，因此，在处理通讯业务时，同时采用上述两种方式分别处理不同的通讯业务，就存在数据处理效率低的问题。
发明内容
本发明实施例的目的是提供一种数据处理方法、装置及电子设备，以解决现有技术中在处理通讯业务时，存在的数据处理效率低的问题。
为解决上述技术问题，本发明实施例是这样实现的：
第一方面，本发明实施例提供的一种数据处理方法，所述方法包括：基于预设数据接口，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件，所述目标离线文件用于在预设结算周期对所述通讯业务进行结算处理；对所述目标离线文件进行预设消息化处理，将所述目标离线文件转化为目标离线消息，并将所述实时会话消息以及所述目标离线消息放入第一待处理消息队列；基于预设分布式数据处理服务，对所述第一待处理消息队列中的消息进行处理，并将处理后的消息放入第二待处理消息队列，以基于所述第二待处理消息队列中的消息，对所述通讯业务进行处理。
第二方面，本发明实施例提供了一种数据处理装置，所述装置包括：数据获取模块，用于基于预设数据接口，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件，所述目标离线文件用于在预设结算周期对所述通讯业务进行结算处理；第一处理模块，用于对所述目标离线文件进行预设消息化处理，将所述目标离线文件转化为目标离线消息，并将所述实时会话消息以及所述目标离线消息放入第一待处理消息队列；第二处理模块，用于基于预设分布式数据处理服务，对所述第一待处理消息队列中的消息进行处理，并将处理后的消息放入第二待处理消息队列，以基于所述第二待处理消息队列中的消息，对所述通讯业务进行处理。
第三方面，本发明实施例提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述实施例提供的数据处理方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述实施例提供的数据处理方法的步骤。
由以上本发明实施例提供的技术方案可见，本发明实施例通过基于预设数据接口，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件，目标离线文件用于在预设结算周期对通讯业务进行结算处理，对目标离线文件进行预设消息化处理，将目标离线文件转化为目标离线消息，并将实时会话消息以及目标离线消息放入第一待处理消息队列，基于预设分布式数据处理服务，对第一待处理消息队列中的消息进行处理，并将处理后的消息放入第二待处理消息队列，以基于第二待处理消息队列中的消息，对通讯业务进行处理。这样，通过分布式数据处理服务对实时会话消息进行处理，可以避免共享存储的数据处理方式中存在的，由于需要将实时会话消息频繁落地，导致的数据处理效率低的问题，另外，基于本发明可以同时对实时会话消息以及目标离线文件进行处理，避免了采用两种方式(即共享存储的数据处理方式和消息系统的数据处理方式)分别处理不同的数据(即实时会话消息以及目标离线文件)导致的数据处理效率低的问题，即可以提高处理通讯业务时的数据处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种数据处理方法的流程示意图；
图2为本发明一种数据处理方法的示意图；
图3为本发明另一种数据处理方法的流程示意图；
图4为本发明另一种数据处理方法的示意图；
图5为本发明另一种数据处理方法的示意图；
图6为本发明一种数据处理装置的结构示意图；
图7为本发明一种电子设备的结构示意图。
具体实施方式
本发明实施例提供一种数据处理方法、装置及电子设备。
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例一
如图1所示，本发明实施例提供一种数据处理方法，该方法的执行主体可以为服务器，该服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群。该方法具体可以包括以下步骤：
在S102中，基于预设数据接口，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件。
其中，预设数据接口可以是任意能够从网元侧设备(如基站等)采集实时会话消息以及目标离线文件的接口，实时会话消息可以是用户使用通讯业务时产生的会话消息，例如，实时会话消息可以是用户使用流量业务时产生的流量消息，目标离线文件可以用于在预设结算周期对通讯业务进行结算处理，例如，假设结算周期为一个月，则目标离线文件可以是基于用户在近一个月内使用通讯业务的情况(如用户在近一个月产生的通话时长、流量数等)生成的文件，可以基于该目标离线文件对该用户在近一个月的通讯业务进行结算处理。
在实施中，随着计算机技术的不断发展，运营商可以为用户提供的通讯业务越来越多，而不同的通讯业务的结算方式存在不同，随着用户量的日益增长，运营商需要处理的业务量较为庞大，因而，如何提高业务处理效率成为运营商关注的焦点。
例如，运营商可以基于用户在使用通讯业务过程中产生的实时会话消息进行在线计费，也可以在预定结算周期(如一个月)基于用户在该结算周期内产生的话单文件进行离线计费。目前，运营商可以通过共享存储的方式，处理实时会话消息以进行在线计费，同时可以通过消息系统采集用户的话单文件，对话单文件进行处理以进行离线计费。但是，由于基于共享存储的方式在处理数据时，实时会话消息需频繁落地，导致数据处理效率低，而消息系统由于同步收发消息存在响应时延较高的问题，所以无法处理实时会话消息，因此，在处理通讯业务时，同时采用上述两种方式分别处理不同的通讯业务，就存在数据处理效率低的问题。为此，本发明实施例提供另一种实现方案，具体可以包括以下内容：
由于当前运营商可以为用户提供多种不同类型的通讯业务，不同的通讯业务可以采用不同的结算方式，所以，用户在使用通讯业务时，可能产生多种用于处理不同通讯业务的通讯数据，这些通讯数据可以由不同的设备进行采集和处理。
所以，为提高数据存储和处理效率，可以通过多个不同的数据接口，同时采集通讯业务处理过程中产生的实时会话消息以及目标离线文件。例如，服务器可以从基站获取用户在使用通讯业务时产生的实时会话消息，也可以同时从预设业务处理服务器获取用户在预设结算周期内产生的目标离线文件，或者，服务器也可以从预设应用程序(如运营商提供的数据汇总应用程序)采集通讯业务处理过程中产生的实时会话消息以及目标离线文件。
数据的采集方法可以有多种，上述提供的是一种可选地、可实现的数据采集方法，在实际应用场景中，还可以有多种不同的数据采集方法，可以根据实际应用场景的不同而有所不同，本发明实施例对此不做具体限定。
另外，可以基于预设数据采集周期，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件，其中，预设数据采集周期可以为一天、三天或一周等。
在S104中，对目标离线文件进行预设消息化处理，将目标离线文件转化为目标离线消息，并将实时会话消息以及目标离线消息放入第一待处理消息队列。
在实施中，可以将目标离线文件转换为一个或多个定义的处理表现形式的消息，例如，目标离线文件可以包含用户近三天内使用通讯业务产生的3条数据(如语音数据1、语音数据2以及流量数据1)，则可以将目标离线文件转换为3个目标离线消息，且这3个目标离线消息可以为定义的处理表现形式的消息。
在得到目标离线消息后，可以将实时会话消息以及目标离线消息放入第一待处理消息队列，其中，实时会话消息的处理表现形式与目标离线消息相同。此外，还可以依据实时会话消息以及目标离线消息的优先级(如基于时间戳确定的时间优先级、基于数据量确定的数量优先级等)，将实时会话消息以及目标离线消息依次放入第一待处理消息队列。
在S106中，基于预设分布式数据处理服务，对第一待处理消息队列中的消息进行处理，并将处理后的消息放入第二待处理消息队列，以基于第二待处理消息队列中的消息，对通讯业务进行处理。
其中，预设分布式数据处理服务可以是一个或多个能够对第一待处理消息队列中的消息进行处理的服务，例如，预设分布式数据服务可以是能够对第一待处理消息队列中的消息进行查重处理的服务，或者，预设分布式数据服务还可以是能够对第一待处理消息队列中的消息进行异常筛选处理的服务等，另外，可以根据位置信息、通讯业务的业务类型(如4G业务、5G业务、物联网业务等)、通讯业务的处理类型(如实时在线结算处理、离线结算处理等)等，确定多个不同的分布式数据处理服务。
在实施中，例如，以根据位置信息确定的多个用于对消息进行异常筛选处理的分布式数据处理服务为例，服务器可以通过预设数据接口，采集近三天内，区域1内的用户使用通讯业务时产生的实时会话消息以及目标离线文件，在对目标离线文件进行预设消息化处理得到目标离线消息后，可以将实时会话消息以及目标离线消息放入第一待处理消息队列。
假设第一待处理消息队列包含10条实时会话消息(包含6条4G业务的实时会话消息，4条5G业务的实时会话消息)、5条目标离线消息(包含3条4G业务的目标离线消息，2条5G业务的目标离线消息)，区域1内可以有2个子服务器，分别用于处于4G业务的异常筛选服务以及5G业务的异常筛选服务，其中，异常筛选服务可以为对消息的内容、格式等内容进行异常筛选，以筛选掉存在异常的消息的服务。
那么，如图2所示，服务器可以将第一待处理消息队列包含的上述15条消息根据消息的业务类型的不同，分发至不同的子服务器进行异常筛选处理，即基于预设分布式数据处理服务，对第一待处理消息队列中的消息进行处理。并在异常筛选处理后，将不存在异常的消息放入第二待处理消息队列，然后基于第二待处理消息队列中的消息，对通讯业务进行处理(如结算处理等)。
上述是以分布式数据处理服务为根据位置信息确定的多个用于对消息进行异常筛选处理的分布式数据处理服务为例，在实际应用场景中，分布式数据处理服务的划分方法、服务类型等可以有多种，可以根据实际应用场景的不同而有所不同，本发明实施例对此不做具体限定。
本发明实施例提供一种数据处理方法，通过基于预设数据接口，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件，目标离线文件用于在预设结算周期对通讯业务进行结算处理，对目标离线文件进行预设消息化处理，将目标离线文件转化为目标离线消息，并将实时会话消息以及目标离线消息放入第一待处理消息队列，基于预设分布式数据处理服务，对第一待处理消息队列中的消息进行处理，并将处理后的消息放入第二待处理消息队列，以基于第二待处理消息队列中的消息，对通讯业务进行处理。这样，通过分布式数据处理服务对实时会话消息进行处理，可以避免基于共享存储的数据处理方式存在的，由于需要将实时会话消息频繁落地，导致的数据处理效率低的问题，另外，基于本方法可以同时对实时会话消息以及目标离线文件进行处理，避免了采用两种方式(即基于共享存储的数据处理方式和基于消息系统的数据处理方式)分别处理不同的数据(即实时会话消息以及目标离线文件)导致的数据处理效率低的问题，可以提高处理通讯业务时的数据处理效率。
实施例二
如图3所示，本发明实施例提供一种数据处理方法，该方法的执行主体可以为服务器，该服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群。该方法具体可以包括以下步骤：
在S302中，基于预设数据接口，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件。
在S304中，对目标离线文件进行预设消息化处理，将目标离线文件转化为目标离线消息，并将实时会话消息以及目标离线消息放入第一待处理消息队列。
上述S302～S304的具体处理过程可以参见上述实施例一中S102～S104的相关内容，在此不再赘述。
在S306中，基于预设分布式数据查重处理服务，对第一待处理消息队列中的消息进行查重处理，并将查重处理后的消息放入第二待处理消息队列。
在实施中，在实际应用中，上述S306的处理方式可以多种多样，以下提供一种可选的实现方式，具体可以参见下述步骤一～步骤二处理：
步骤一，将第一待处理消息队列中的消息分别发送至多个分布式数据查重处理服务。
在实施中，通过分布式数据查重处理服务，可以避免对同一实时会话消息和/或目标离线消息进行重复处理，提通讯业务处理的准确性。
步骤二，每个分布式数据查重处理服务基于预设全量数据库，对接收到的第一待处理消息队列中的消息进行查重处理，并将查重处理后的消息放入第二待处理消息队列。
其中，预设全量数据库可以是基于预设存储周期获取的实时会话消息和/或目标离线文件构成的分布式数据库，如预设全量数据库可以是存储有近一年的实时会话消息和/或目标离线文件的HBase数据库。
在实施中，每个分布式数据查重处理服务可以基于预设全量数据库对接收到的消息进行查重处理，并将查重处理后的消息放入第二待处理消息队列。
此外，服务器还可以将查重处理后的消息放入第三待处理消息队列，然后基于预设分布式数据核算服务，对第三待处理消息队列中的消息进行核算处理，并将核算处理后的消息放入第二待处理消息队列。
其中，核算处理可以是基于预设定价规则，对实时会话消息和/或目标离线消息进行定价的处理，或者，核算处理也可以是根据用户的套餐内容，对实时会话消息和/或目标离线消息是否超出用户套餐进行核算的处理等。
另外，在基于预设分布式数据查重处理服务，对第一待处理消息队列中的消息进行查重处理之前，还可以根据预设分布式数据预处理服务，对第一待处理消息队列中的消息进行预处理，将预处理完的消息再放回第一待处理消息队列。
例如，可以将第一待处理队列中的消息分别发送至多个不同的分布式数据预处理服务，每个分布式数据预处理服务可以基于一级查重内存数据库(如由近三个月的实时会话消息和/或目标离线消息构成的数据库)，对第一待处理消息队列中的消息进行预查重处理，并将预查重处理后的消息放回第一待处理消息队列。
然后，服务器可以将预查重处理后的第一待处理消息队列中的消息分别发送至多个分布式数据查重处理服务，每个分布式数据查重处理服务在基于预设全量数据库(如由近一年的实时会话消息和/或目标离线消息构成的二级数据库)，对接收到的第一待处理消息队列中的消息进行查重处理，并将查重处理后的消息放入第三待处理消息队列。服务器可以基于预设分布式数据核算服务，对第三待处理消息队列中的消息进行核算处理，每个分布式数据核算服务对接收到的消息进行核算处理后，可以将核算处理后的消息放入第二待处理消息队列。
在对第一待处理消息队列进行查重处理后，可以继续执行S308～S312，或继续执行S314，即可以通过S308～S312对不存在重单问题的消息进行处理，通过S314对存在重单问题的异常消息进行处理。
在S308中，将第二待处理消息队列中的消息，放入与通讯业务的业务处理类型对应的目标业务处理队列。
其中，通讯业务的业务类型可以有多种，例如，通讯业务的业务类型可以包括累积量处理业务、实时合账业务以及话单入库业务等，其中，累积量处理业务可以是用于对通讯业务处理过程中产生的不同类型的数据进行汇总的业务，例如，累积量处理业务可以是对近一周使用集团账号的每个用户所使用的语音数据进行汇总的业务，实时合账业务可以是基于消息对应的业务类型，对消息进行合并结算的业务，例如，实时合账业务可以对第二待处理消息队列中包含的语音消息进行合并结算业务，话单入库业务可以是将第二待处理消息对象中的消息存储至预设数据库以进行后续预设操作的业务。
在S310中，获取与目标业务处理队列对应的目标业务处理服务。
在实施中，以通讯业务为账号开通业务为例，目标业务处理队列可以是包含账号开通消息的队列，与该目标业务队列对应的目标业务处理服务即可以为账号开通服务。
在S312中，基于目标业务处理服务，对目标业务处理队列中的消息进行处理。
在实施中，在处理通讯业务时，有时对通讯业务的时序性有严格的要求，例如，对于账号开通业务，就有较强的时序性要求，所以，对于时序性要求较高的通讯业务，可以通过下述步骤一～步骤二处理：
步骤一，基于目标业务处理服务，生成与目标业务处理队列中每个消息对应的处理任务。
步骤二，基于处理任务的处理时间，将处理任务依次放入对应的业务处理队列，以基于处理任务的处理时间，对业务处理队列中包含的处理任务进行处理。
在实施中，在对业务处理队列中包含的处理任务进行处理时，可以将业务处理队列中的处理任务分发至多个不同的分布式任务处理服务，每个分布式任务处理服务可以根据接收到的处理任务的处理时间，依次进行任务的处理，以满足任务处理的时序性要求。
在S314中，将第一待处理消息队列中重复的消息放入异常消息队列，并基于预设异常消息处理服务对异常消息队列中的消息进行处理。
在实施中，异常消息处理服务可以对异常消息队列中的消息进行风险检测、消息入库(异常消息数据库)等处理。
在实际应用场景中，可以基于预设分布式消息平台(如Pulsar)构建可以实现上述数据处理步骤的数据处理系统。基于该数据处理系统，数据可以基于Pulsar的消息套件在应用间流转处理，所有的待处理数据(包括实时会话消息、目标离线文件等相关数据)都可以通过前置应用转换为Pulsar消息，可以根据数据流在各个环节的数据处理特点与业务逻辑要求在Pulsar中生成不同的订阅，不同的订阅可以由不同模式的Subscription进行处理。
例如，可以基于Pulsar构建数据处理系统，首先，可以通过预设数据接口，采集网元侧的实时会话消息以及目标离线文件，然后通过数据转换模块，对目标离线文件进行预设消息化处理，将目标离线文件转化为目标离线消息。
如图4所示，可以通过数据采集模块和数据转换模块，可以将实时会话消息以及目标离线消息放入第一待处理消息队列。其中，对于第一待处理消息队列topic，采集实时会话消息的数据采集模块可以作为该topic1的生成者1(即producer1)，对目标离线文件进行预设消息化处理的数据转换模块可以作为该topic的生产者2(即producer2)。
在基于预设分布式数据查重处理服务，对第一待处理消息队列中的消息进行查重处理之前，可以对第一待处理消息队列中的消息进行预处理，在该预处理环节，可以通过消息订阅(Subscription1)对第一待处理消息队列中的消息进行预查重处理，其中，消息订阅可根据技术支撑需要整合为一个订阅，也可以依据位置信息、业务类型等进行订阅的分区，然后由不同分区的消费者(即分布式数据预处理服务)对第一待处理队列中的消息进行预查重处理(如可以基于一级查重内存库进行预查重处理)，以加速数据的处理效率。
在对第一待处理消息队列中的消息进行预处理后，可以将预处理后的消息放回第一待处理消息队列。其中，对于处理前的第一待处理消息队列topic1，每个分布式数据预处理服务即为该topic1的消费者，对于处理后的第一待处理队列topic2，每个分布式数据预处理服务又可以作为该topic2的生产者。
在数据处理过程中，可以通过故障转移订阅模式，保证系统进行数据处理过程的稳定性。例如，如图5所示，故障转移订阅模式可以是由一个主消费者(即consumer1)与预设数量备消费者(如consumer2和consumer3)进行消息的处理，一旦主消费者断开，可以从备消费者中选定一个可转移的消费者(如consumer3)作为主消费者继续进行消息的处理，可以提高流式处理的可靠性。
此外，基于目标业务处理服务，对目标业务处理队列中的消息进行处理时，如果通讯业务为对时序性有严格要求的业务，则对应的目标业务处理队列可以为流式队列，即时间早的先入队，时间迟的后入队，并且只能以流式处理中故障转移订阅模式进行消息队列的处理。
对于独占型的订阅(即对于同一消息只能有一个接收者)，如果通讯业务为对时序性有严格要求的业务，则若采用共享订阅模式进行批量处理，就会造成服务处理指令执行错乱的问题，所以，可以对消息以流式处理的独占模式，根据业务规则要求，将消息分拣至不同的服务开通队列(相当于分独立通道)，并同样以流式处理的模式对消息进行处理，即将消息分发至多个预设分布式业务处理服务。可以在消息生产者一侧依据通讯业务的业务特点，对消息进行分通道处理，例如，对于账号开通类型的消息，可以根据账号进行分流，保证同一个账号开通消息进入同一个流通道，即分发至同一个分布式数据处理服务。
这样，基于上述基于Pulsar构建的数据处理系统，就可以实现分布式事务处理与云化数据处理框架的衔接、实现对消息进行查重处理，支持多个场景(如维护场景、监控场景)的消息查询操作，支持消息生成、核算、结算等多个环境的数据累积与分时输出，实现消息流转过程的全链路跟踪，可以为运营商提供业务数据管理的功能，实现对全局的业务数据的生命周期进行统一管理。
另外，上述基于Pulsar构建的数据处理系统，可以支持存储和服务的分离，且消息系统属于云原生的框架设计，可以非常好地与云化的业务处理系统的应用层进行衔接，可以实现超大吞吐量的业务处理能力。
不同的消息在基于Pulsar构建的数据处理系统中的保存周期可配置，需要另行持久化的消息可以通过数据管理功能实时或定期复制到数据库，以供相关工作人员进行查询、统计、监控等业务场景使用。
此外，基于Pulsar构建的数据处理系统可以支持多中心异地复制，这个特性同样可以与云化数据处理系统所支持的多中心框架相契合，云化数据处理系统为保障健壮性与容灾能力，需要以多中心的形式进行部署，中心间互为备份并且可以在线切换，这样，就可以实现在故障场景下业务的平滑迁移，保证数据的完整性，以及中心间数据复制的高效性。
本发明实施例提供一种数据处理方法，通过基于预设数据接口，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件，目标离线文件用于在预设结算周期对通讯业务进行结算处理，对目标离线文件进行预设消息化处理，将目标离线文件转化为目标离线消息，并将实时会话消息以及目标离线消息放入第一待处理消息队列，基于预设分布式数据处理服务，对第一待处理消息队列中的消息进行处理，并将处理后的消息放入第二待处理消息队列，以基于第二待处理消息队列中的消息，对通讯业务进行处理。这样，通过分布式数据处理服务对实时会话消息进行处理，可以避免基于共享存储的数据处理方式存在的，由于需要将实时会话消息频繁落地，导致的数据处理效率低的问题，另外，基于本方法可以同时对实时会话消息以及目标离线文件进行处理，避免了采用两种方式(即基于共享存储的数据处理方式和基于消息系统的数据处理方式)分别处理不同的数据(即实时会话消息以及目标离线文件)导致的数据处理效率低的问题，可以提高处理通讯业务时的数据处理效率。
实施例三
以上为本发明实施例提供的数据处理方法，基于同样的思路，本发明实施例还提供一种数据处理装置，如图6所示。
该数据处理装置包括：数据获取模块601、第一处理模块602和第二处理模块606，其中：
数据获取模块601，用于基于预设数据接口，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件，所述目标离线文件用于在预设结算周期对所述通讯业务进行结算处理；
第一处理模块602，用于对所述目标离线文件进行预设消息化处理，将所述目标离线文件转化为目标离线消息，并将所述实时会话消息以及所述目标离线消息放入第一待处理消息队列；
第二处理模块603，用于基于预设分布式数据处理服务，对所述第一待处理消息队列中的消息进行处理，并将处理后的消息放入第二待处理消息队列，以基于所述第二待处理消息队列中的消息，对所述通讯业务进行处理。
在本发明实施例中，所述第一处理模块602，用于：
基于预设分布式数据查重处理服务，对所述第一待处理消息队列中的消息进行查重处理，并将查重处理后的消息放入所述第二待处理消息队列。
在本发明实施例中，所述第一处理模块602，用于：
将所述第一待处理消息队列中的消息分别发送至多个所述分布式数据查重处理服务；
每个所述分布式数据查重处理服务基于预设全量数据库，对接收到的所述第一待处理消息队列中的消息进行查重处理，并将查重处理后的消息放入所述第二待处理消息队列。
在本发明实施例中，所述第一处理模块602，用于：
将所述查重处理后的消息放入第三待处理消息队列；
基于预设分布式数据核算服务，对所述第三待处理消息队列中的消息进行核算处理，并将核算处理后的消息放入所述第二待处理消息队列。
在本发明实施例中，所述装置还包括：
第三处理模块，用于将所述第二待处理消息队列中的消息，放入与所述通讯业务的业务处理类型对应的目标业务处理队列；
第四处理模块，用于获取与所述目标业务处理队列对应的目标业务处理服务，并基于所述目标业务处理服务，对所述目标业务处理队列中的消息进行处理。
在本发明实施例中，所述第四处理模块，用于：
基于所述目标业务处理服务，生成与所述目标业务处理队列中每个消息对应的处理任务；
基于所述处理任务的处理时间，将所述处理任务依次放入对应的业务处理队列，以基于所述处理任务的处理时间，对所述业务处理队列中包含的处理任务进行处理。
在本发明实施例中，所述装置还包括：
第五处理模块，用于将所述第一待处理消息队列中重复的消息放入异常消息队列，并基于预设异常消息处理服务对所述异常消息队列中的消息进行处理。
本发明实施例提供一种数据处理装置，通过基于预设数据接口，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件，目标离线文件用于在预设结算周期对通讯业务进行结算处理，对目标离线文件进行预设消息化处理，将目标离线文件转化为目标离线消息，并将实时会话消息以及目标离线消息放入第一待处理消息队列，基于预设分布式数据处理服务，对第一待处理消息队列中的消息进行处理，并将处理后的消息放入第二待处理消息队列，以基于第二待处理消息队列中的消息，对通讯业务进行处理。这样，通过分布式数据处理服务对实时会话消息进行处理，可以避免基于共享存储的数据处理方式存在的，由于需要将实时会话消息频繁落地，导致的数据处理效率低的问题，另外，基于本方法可以同时对实时会话消息以及目标离线文件进行处理，避免了采用两种方式(即基于共享存储的数据处理方式和基于消息系统的数据处理方式)分别处理不同的数据(即实时会话消息以及目标离线文件)导致的数据处理效率低的问题，可以提高处理通讯业务时的数据处理效率。
实施例四
图7为实现本发明各个实施例的一种电子设备的硬件结构示意图，
该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、处理器710、以及电源711等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴电子设备、以及计步器等。
其中，处理器710，用于：基于预设数据接口，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件，所述目标离线文件用于在预设结算周期对所述通讯业务进行结算处理；对所述目标离线文件进行预设消息化处理，将所述目标离线文件转化为目标离线消息，并将所述实时会话消息以及所述目标离线消息放入第一待处理消息队列；基于预设分布式数据处理服务，对所述第一待处理消息队列中的消息进行处理，并将处理后的消息放入第二待处理消息队列，以基于所述第二待处理消息队列中的消息，对所述通讯业务进行处理。
此外，所述处理器710，还用于：基于预设分布式数据查重处理服务，对所述第一待处理消息队列中的消息进行查重处理，并将查重处理后的消息放入所述第二待处理消息队列。
此外，所述处理器710，还用于：将所述第一待处理消息队列中的消息分别发送至多个所述分布式数据查重处理服务；每个所述分布式数据查重处理服务基于预设全量数据库，对接收到的所述第一待处理消息队列中的消息进行查重处理，并将查重处理后的消息放入所述第二待处理消息队列。
此外，所述处理器710，还用于：将所述查重处理后的消息放入第三待处理消息队列；基于预设分布式数据核算服务，对所述第三待处理消息队列中的消息进行核算处理，并将核算处理后的消息放入所述第二待处理消息队列。
另外，所述处理器710，还用于：将所述第二待处理消息队列中的消息，放入与所述通讯业务的业务处理类型对应的目标业务处理队列；获取与所述目标业务处理队列对应的目标业务处理服务，并基于所述目标业务处理服务，对所述目标业务处理队列中的消息进行处理。
另外，所述处理器710，还用于：基于所述目标业务处理服务，生成与所述目标业务处理队列中每个消息对应的处理任务；基于所述处理任务的处理时间，将所述处理任务依次放入对应的业务处理队列，以基于所述处理任务的处理时间，对所述业务处理队列中包含的处理任务进行处理。
此外，所述处理器710，还用于：将所述第一待处理消息队列中重复的消息放入异常消息队列，并基于预设异常消息处理服务对所述异常消息队列中的消息进行处理。
本发明实施例提供一种电子设备，通过基于预设数据接口，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件，目标离线文件用于在预设结算周期对通讯业务进行结算处理，对目标离线文件进行预设消息化处理，将目标离线文件转化为目标离线消息，并将实时会话消息以及目标离线消息放入第一待处理消息队列，基于预设分布式数据处理服务，对第一待处理消息队列中的消息进行处理，并将处理后的消息放入第二待处理消息队列，以基于第二待处理消息队列中的消息，对通讯业务进行处理。这样，通过分布式数据处理服务对实时会话消息进行处理，可以避免基于共享存储的数据处理方式存在的，由于需要将实时会话消息频繁落地，导致的数据处理效率低的问题，另外，基于本方法可以同时对实时会话消息以及目标离线文件进行处理，避免了采用两种方式(即基于共享存储的数据处理方式和基于消息系统的数据处理方式)分别处理不同的数据(即实时会话消息以及目标离线文件)导致的数据处理效率低的问题，可以提高处理通讯业务时的数据处理效率。
应理解的是，本发明实施例中，射频单元701可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器710处理；另外，将上行的数据发送给基站。通常，射频单元701包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元701还可以通过无线通信系统与网络和其他电子设备通信。
电子设备通过网络模块702为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元703可以将射频单元701或网络模块702接收的或者在存储器709中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元703还可以提供与电子设备700执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元703包括扬声器、蜂鸣器以及受话器等。
输入单元704用于接收音频或视频信号。输入单元704可以包括图形处理器(Graphics Processing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元706上。经图形处理器7041处理后的图像帧可以存储在存储器709(或其它存储介质)中或者经由射频单元701或网络模块702进行发送。麦克风7042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元701发送到移动通信基站的格式输出。
电子设备700还包括至少一种传感器705，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板7061的亮度，接近传感器可在电子设备700移动到耳边时，关闭显示面板7061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器705还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
显示单元706用于显示由用户输入的信息或提供给用户的信息。显示单元706可包括显示面板7061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板7061。
用户输入单元707可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元707包括触控面板7071以及其他输入电子设备7072。触控面板7071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板7071上或在触控面板7071附近的操作)。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器710，接收处理器710发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板7071。除了触控面板7071，用户输入单元707还可以包括其他输入电子设备7072。具体地，其他输入电子设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板7071可覆盖在显示面板7061上，当触控面板7071检测到在其上或附近的触摸操作后，传送给处理器710以确定触摸事件的类型，随后处理器710根据触摸事件的类型在显示面板7061上提供相应的视觉输出。虽然在图7中，触控面板7071与显示面板7061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板7071与显示面板7061集成而实现电子设备的输入和输出功能，具体此处不做限定。
接口单元708为外部装置与电子设备700连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元708可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备700内的一个或多个元件或者可以用于在电子设备700和外部装置之间传输数据。
存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器709可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器710是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器709内的软件程序和/或模块，以及调用存储在存储器709内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器710可包括一个或多个处理单元；优选的，处理器710可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。
电子设备700还可以包括给各个部件供电的电源711(比如电池)，优选的，电源711可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
优选的，本发明实施例还提供一种电子设备，包括处理器710，存储器709，存储在存储器709上并可在所述处理器710上运行的计算机程序，该计算机程序被处理器710执行时实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
实施例五
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本发明实施例提供一种计算机可读存储介质，通过基于预设数据接口，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件，目标离线文件用于在预设结算周期对通讯业务进行结算处理，对目标离线文件进行预设消息化处理，将目标离线文件转化为目标离线消息，并将实时会话消息以及目标离线消息放入第一待处理消息队列，基于预设分布式数据处理服务，对第一待处理消息队列中的消息进行处理，并将处理后的消息放入第二待处理消息队列，以基于第二待处理消息队列中的消息，对通讯业务进行处理。这样，通过分布式数据处理服务对实时会话消息进行处理，可以避免基于共享存储的数据处理方式存在的，由于需要将实时会话消息频繁落地，导致的数据处理效率低的问题，另外，基于本方法可以同时对实时会话消息以及目标离线文件进行处理，避免了采用两种方式(即基于共享存储的数据处理方式和基于消息系统的数据处理方式)分别处理不同的数据(即实时会话消息以及目标离线文件)导致的数据处理效率低的问题，可以提高处理通讯业务时的数据处理效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、电子设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理电子设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理电子设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理电子设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理电子设备上，使得在计算机或其他可编程电子设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程电子设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算电子设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储电子设备或任何其他非传输介质，可用于存储可以被计算电子设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者电子设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者电子设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者电子设备中还存在另外的相同要素。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法包括：
基于预设数据接口，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件，所述目标离线文件用于在预设结算周期对所述通讯业务进行结算处理；
对所述目标离线文件进行预设消息化处理，将所述目标离线文件转化为目标离线消息，并将所述实时会话消息以及所述目标离线消息放入第一待处理消息队列；
基于预设分布式数据处理服务，对所述第一待处理消息队列中的消息进行处理，并将处理后的消息放入第二待处理消息队列，以基于所述第二待处理消息队列中的消息，对所述通讯业务进行处理。
2.根据权利要求1所述的方法，其特征在于，所述基于预设分布式数据处理服务，对所述第一待处理消息队列中的消息进行处理，并将处理后的消息放入第二待处理消息队列，包括：
基于预设分布式数据查重处理服务，对所述第一待处理消息队列中的消息进行查重处理，并将查重处理后的消息放入所述第二待处理消息队列。
3.根据权利要求2所述的方法，其特征在于，所述基于预设分布式数据查重处理服务，对所述第一待处理消息队列中的消息进行查重处理，并将查重处理后的消息放入所述第二待处理消息队列，包括：
将所述第一待处理消息队列中的消息分别发送至多个所述分布式数据查重处理服务；
每个所述分布式数据查重处理服务基于预设全量数据库，对接收到的所述第一待处理消息队列中的消息进行查重处理，并将查重处理后的消息放入所述第二待处理消息队列。
4.根据权利要求3所述的方法，其特征在于，所述将查重处理后的消息放入所述第二待处理消息队列，包括：
将所述查重处理后的消息放入第三待处理消息队列；
基于预设分布式数据核算服务，对所述第三待处理消息队列中的消息进行核算处理，并将核算处理后的消息放入所述第二待处理消息队列。
5.根据权利要求4所述的方法，其特征在于，在所述将核算处理后的消息放入第二待处理消息队列之后，还包括：
将所述第二待处理消息队列中的消息，放入与所述通讯业务的业务处理类型对应的目标业务处理队列；
获取与所述目标业务处理队列对应的目标业务处理服务，并基于所述目标业务处理服务，对所述目标业务处理队列中的消息进行处理。
6.根据权利要求5所述的方法，其特征在于，所述基于所述目标业务处理服务，对所述目标业务处理队列中的消息进行处理，包括：
基于所述目标业务处理服务，生成与所述目标业务处理队列中每个消息对应的处理任务；
基于所述处理任务的处理时间，将所述处理任务依次放入对应的业务处理队列，以基于所述处理任务的处理时间，对所述业务处理队列中包含的处理任务进行处理。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述第一待处理消息队列中重复的消息放入异常消息队列，并基于预设异常消息处理服务对所述异常消息队列中的消息进行处理。
8.一种数据处理装置，其特征在于，所述装置包括：
数据获取模块，用于基于预设数据接口，采集通讯业务处理过程中产生的实时会话消息以及目标离线文件，所述目标离线文件用于在预设结算周期对所述通讯业务进行结算处理；
第一处理模块，用于对所述目标离线文件进行预设消息化处理，将所述目标离线文件转化为目标离线消息，并将所述实时会话消息以及所述目标离线消息放入第一待处理消息队列；
第二处理模块，用于基于预设分布式数据处理服务，对所述第一待处理消息队列中的消息进行处理，并将处理后的消息放入第二待处理消息队列，以基于所述第二待处理消息队列中的消息，对所述通讯业务进行处理。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011350793.1A CN114546671A (zh) | 2020-11-26 | 2020-11-26 | 一种数据处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011350793.1A CN114546671A (zh) | 2020-11-26 | 2020-11-26 | 一种数据处理方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114546671A true CN114546671A (zh) | 2022-05-27 |
Family
ID=81667894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011350793.1A Pending CN114546671A (zh) | 2020-11-26 | 2020-11-26 | 一种数据处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114546671A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116866865A (zh) * | 2023-09-04 | 2023-10-10 | 江西五十铃汽车有限公司 | 一种整车控制器数据共享方法及系统 |
-
2020
- 2020-11-26 CN CN202011350793.1A patent/CN114546671A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116866865A (zh) * | 2023-09-04 | 2023-10-10 | 江西五十铃汽车有限公司 | 一种整车控制器数据共享方法及系统 |
| CN116866865B (zh) * | 2023-09-04 | 2024-01-26 | 江西五十铃汽车有限公司 | 一种整车控制器数据共享方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110582017B (zh) | 一种视频播放方法、装置、终端及存储介质 | |
| EP3690650B1 (en) | Application control method and apparatus, storage medium and electronic device | |
| US10922193B2 (en) | Data backup method, storage medium, and terminal | |
| CN106549796A (zh) | 一种固件空间下载的资源控制方法及主节点 | |
| CN107168803A (zh) | 一种cpu资源分配方法和终端 | |
| CN112231144A (zh) | 一种数据处理方法、装置及电子设备 | |
| CN112052096A (zh) | 资源处理方法、装置、服务器及终端 | |
| CN113138771A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN110796552A (zh) | 一种风险提示方法及装置 | |
| CN107103086B (zh) | 一种数据采集审计的方法及系统、计算机可读存储介质 | |
| CN114546671A (zh) | 一种数据处理方法、装置及电子设备 | |
| CN108846658A (zh) | 一种收取电子红包的方法、装置及智能手表 | |
| CN114254183A (zh) | 内容推荐方法、装置、终端、服务器及存储介质 | |
| CN113259954A (zh) | 一种质差处理策略的确定方法、装置及电子设备 | |
| CN111709843B (zh) | 一种客户画像的生成方法、装置及电子设备 | |
| CN111818509B (zh) | 一种资源的转换方法、装置及设备 | |
| CN111818548B (zh) | 一种数据的处理方法、装置及设备 | |
| CN113763932A (zh) | 语音处理方法、装置、计算机设备及存储介质 | |
| CN114489874A (zh) | 小程序页面的显示方法、装置、设备及存储介质 | |
| CN114090275A (zh) | 一种数据处理方法、装置及电子设备 | |
| CN113098754A (zh) | 一种群组撤销方法、装置、电子设备及存储介质 | |
| CN112995265A (zh) | 请求分发方法、装置及电子设备 | |
| CN112291797B (zh) | 一种数据的处理方法、装置及电子设备 | |
| CN113254523B (zh) | 一种数据调用方法、装置、电子设备及存储介质 | |
| CN111131605B (zh) | 消息管理方法、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |