CN116132204B - 数据处理方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请提供一种数据处理方法、装置、电子设备和可读存储介质，涉及通信技术领域，方法包括：实时获取通信业务中产生的用于指示通信费用明细的第一数据以及用于指示通信费用总和的第二数据；将第一数据写入kafka中，实现第一数据的实时获取；并且在接收到目标消息时，记录接收到目标消息时kafka中的第一数据对应的偏移量位置，以及第二数据的传输节点；避免长时间中断业务对正常业务数据处理的影响，使得设备可以基于第一预设规则对偏移量位置之前的第一数据，以及传输节点之前的第二数据进行处理，得到处理结果，提高数据的处理速度。

Description

数据处理方法、装置、电子设备和可读存储介质

技术领域

本申请涉及通信技术领域，尤其涉及一种数据处理方法、装置、电子设备和可读存储介质。

背景技术

伴随着互联网时代的发展，企业信息化建设的程度越来越高，业务系统得到了广泛的应用，保障业务系统渠道数据的准确性变得越来越重要。因此，数据处理(或称为数据核算)成为预防财务风险以及保障业务正常运行的重要手段。

通常情况下，业务系统可以在固定时间，例如月底通过中断业务数据的获取的方式，对整月业务数据进行一系列业务数据核算，并在该业务数据核算处理完成后恢复业务数据。

然而，当业务数据较多时，利用上述数据处理方法进行业务处理时则需要中断较长时间，数据处理速度较慢。

发明内容

本申请提供一种数据处理方法、装置、电子设备和可读存储介质，通过在接收到目标消息时记录通信业务数据的传输节点，避免长时间中断业务对正常业务数据处理的影响，提高数据的处理速度。

第一方面，本申请提供一种数据处理方法，方法包括：实时获取通信业务中产生的用于指示通信费用明细的第一数据以及用于指示通信费用总和的第二数据；将第一数据写入kafka中；当接收到目标消息时，记录接收到目标消息时kafka中的第一数据对应的偏移量位置，以及第二数据的传输节点；基于第一预设规则对偏移量位置之前的第一数据，以及传输节点之前的第二数据进行处理，得到处理结果。

在一种可能的实现方式中，当接收到目标消息时，记录接收到目标消息时kafka中的第一数据对应的偏移量位置，以及第二数据的传输节点，包括：当接收到目标消息时，停止获取第一数据以及第二数据；记录停止获取第一数据时kafka中的第一数据对应的偏移量位置，以及停止获取第二数据时第二数据的传输节点。

在一种可能的实现方式中，实时获取通信业务中产生的用于指示通信费用明细的第一数据以及用于指示通信费用总和的第二数据之前，还包括：获取通信业务中产生的第三数据；第三数据用于指示通信业务中产生的通话时长数据、以及流量使用数据；基于第二预设规则对第三数据进行处理，得到第一数据以及第二数据；当接收到目标消息时，停止获取第一数据以及第二数据，包括：当接收到目标消息时，停止对第三数据进行处理。

在一种可能的实现方式中，记录停止获取第一数据时kafka中的第一数据对应的偏移量位置，以及停止获取第二数据时第二数据的传输节点之后，方法还包括：恢复对第三数据进行处理。

在一种可能的实现方式中，基于预设规则对偏移量位置之前的第一数据，以及传输节点之前的第二数据进行处理，得到处理结果，包括：对偏移量位置之前的第一数据进行聚组处理，得到第一数据处理结果；其中，聚组处理用于指示将第一数据中的通信费用明细，按照用户、业务和费用进行统计；对传输节点之前的第二数据进行累加处理，得到第二数据处理结果；对第一数据处理结果以及第二数据处理结果进行差异比对，得到处理结果。

在一种可能的实现方式中，第一数据处理结果包括：用户的标识、业务的标识和费用信息；第二数据处理结果包括：用户的标识和累加信息。

第二方面，本申请提供一种数据处理装置，获取单元，用于实时获取通信业务中产生的用于指示通信费用明细的第一数据以及用于指示通信费用总和的第二数据；处理单元，用于将第一数据写入kafka中；当接收到目标消息时，处理单元，还用于记录接收到目标消息时kafka中的第一数据对应的偏移量位置，以及第二数据的传输节点；处理单元，还用于基于第一预设规则对偏移量位置之前的第一数据，以及传输节点之前的第二数据进行处理，得到处理结果。

在一种可能的实现方式中，当接收到目标消息时，处理单元，具体用于停止获取第一数据以及第二数据；处理单元，还具体用于记录停止获取第一数据时kafka中的第一数据对应的偏移量位置，以及停止获取第二数据时第二数据的传输节点。

在一种可能的实现方式中，获取单元，还用于获取通信业务中产生的第三数据；第三数据用于指示通信业务中产生的通话时长数据、以及流量使用数据；处理单元，还用于基于第二预设规则对第三数据进行处理，得到第一数据以及第二数据；处理单元，还用于当接收到目标消息时，停止对第三数据进行处理。

在一种可能的实现方式中，处理单元，还用于恢复对第三数据进行处理。

在一种可能的实现方式中，处理单元，具体用于对偏移量位置之前的第一数据进行聚组处理，得到第一数据处理结果；其中，聚组处理用于指示将第一数据中的通信费用明细，按照用户、业务和费用进行统计；处理单元，还具体用于对传输节点之前的第二数据进行累加处理，得到第二数据处理结果；处理单元，还具体用于对第一数据处理结果以及第二数据处理结果进行差异比对，得到处理结果。

在一种可能的实现方式中，第一数据处理结果包括：用户的标识、业务的标识和费用信息；第二数据处理结果包括：用户的标识和累加信息。

第三方面，本申请提供一种电子设备，包括：存储器和处理器，存储器用于存储程序指令，处理器，用于调用并执行存储器中的程序指令，执行如第一方面或第一方面的任一种可能的设计的方法。

第四方面，本申请提供一种可读计算机存储介质，可读计算机存储介质用于存储计算机程序，计算机程序用于实现如第一方面或第一方面的任一种可能的设计的方法。

综上，本申请提供一种数据处理方法、装置、电子设备和可读存储介质，方法包括：实时获取通信业务中产生的用于指示通信费用明细的第一数据以及用于指示通信费用总和的第二数据；将第一数据写入kafka中，实现第一数据的实时获取；并且在接收到目标消息时，记录接收到目标消息时kafka中的第一数据对应的偏移量位置，以及第二数据的传输节点；避免长时间中断业务对正常业务数据处理的影响，使得设备可以基于第一预设规则对偏移量位置之前的第一数据，以及传输节点之前的第二数据进行处理，得到处理结果，提高数据的处理速度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为一种数据处理方法的流程示意图；

图2为本申请实施例提供的一种数据处理方法的流程示意图；

图3为本申请实施例提供的另一种数据处理方法的流程示意图；

图4为本申请实施例提供的一种数据处理装置的结构示意图；

图5为本申请实施例提供的一种电子设备的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

伴随着互联网时代的发展，企业信息化建设的程度越来越高，业务系统得到了广泛的应用，保障业务系统渠道数据的准确性变得越来越重要。例如，在通信业务场景中，数据处理方法可以对因业务处理异常且不易发现的问题导致的业务数据核算不正确的现象进行数据校验。

可能的实现方式中提供了一种数据处理方法，当设备进行通信业务数据核算时，可以暂停对通信业务数据进行批价处理，并通过对暂停之前该通信业务数据中的费用明细数据以及费用总和数据的校验进行数据核算，并在数据核算结束后，恢复对通信业务数据进行批价处理。

示例性的，图1为一种数据处理方法的流程示意图。如图1所示，当需要在固定的时间，例如月底进行数据核算时，该数据处理方法可以包括如下步骤：

S101、获取通信业务数据。

其中，该通信业务数据可用于指示用户使用通信业务时产生的数据，例如该通信业务数据可以包括用户话单数据，如通话时长数据、以及流量使用数据等信息。

S102、当接收到目标消息时，停止批价程序。

其中，该批价程序用于利用业务套餐以及预设的规则，将通信业务数据转化为通信业务数据中的费用明细数据以及费用总和数据。

S103、将费用明细数据存储至详单库。

S104、将费用总和数据存储至内存库。

S105、利用详单聚组程序对详单库中存储的费用明细数据进行详单聚组处理，生成详单文件。

其中，该详单聚组程序用于将费用明细数据按照用户、业务和费用等关键词进行统计。

S106、导出内存库中存储的费用总和数据，生成累加文件。

S107、将详单文件以及累加文件存储到数据库中。

S108、恢复批价程序。

S109、利用预设的规则对数据库中存储的详单文件以及累加文件进行差异比对，得到差异比对结果。

S110、基于差异比对结果进行差异修复。

可以理解的是，基于上述S101-S110所示的步骤中描述的数据处理方法，可能存在以下问题：其一，由于进行数据核算时，需要加载的数据量较大，并且数据的核算步骤繁琐，因此可能业务中断时间较长，影响正常业务数据的处理；其二，受到业务中断时间较长的影响，通常只能在固定的时间，例如月底进行数据核算，这就导致了当月中数据出现异常时，则无法及时察觉；其二，当数据核算时发现大量数据有误时，则需要批量回退重新进行处理，此时可能会导致业务数据的积压，影响到正常数据业务的处理。

有鉴于此，本申请实施例提供一种数据处理方法，可以实时获取通信业务中产生的用于指示通信费用明细的第一数据以及用于指示通信费用总和的第二数据；将第一数据写入kafka中，实现第一数据的实时获取；并且在接收到目标消息时，记录接收到目标消息时kafka中的第一数据对应的偏移量位置，以及第二数据的传输节点；避免长时间中断业务对正常业务数据处理的影响，使得设备可以基于第一预设规则对偏移量位置之前的第一数据，以及传输节点之前的第二数据进行处理，得到处理结果，提高数据的处理速度。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

示例性的，图2为本申请实施例提供的一种数据处理方法的流程示意图。如图2所示，该数据处理方法可以包括如下步骤：

S201、实时获取通信业务中产生的用于指示通信费用明细的第一数据以及用于指示通信费用总和的第二数据。

在一种可能的实现方式中，在S201所示的步骤之前，还包括：获取通信业务中产生的第三数据；基于第二预设规则对第三数据进行处理，得到第一数据以及第二数据；当接收到目标消息时，停止对第三数据进行处理。

其中，该第三数据用于指示通信业务中产生的通话时长数据、以及流量使用数据；第三数据可以参照S101所示的步骤中关于通信业务数据的描述，在此不再赘述。示例性的，可以利用批价程序对第三数据进行处理，得到第一数据以及第二数据。

S202、将第一数据写入kafka中。

其中，该kafka可以为一种消息队列，主要用来处理大量数据状态下的消息队列。

S203、当接收到目标消息时，记录接收到目标消息时kafka中的第一数据对应的偏移量位置，以及第二数据的传输节点。

其中，该目标消息可以为用于指示进行数据核算的消息，例如该目标消息可以为设备在固定的时间(例如每4个小时或每天等)自动发起，或者，该目标消息也可以由用户触发，本申请实施例中对此不做限定。

示例性的，该kafka中的第一数据对应的偏移量(offset)可以用于指示第一数据的传输节点，例如该第一数据对应的偏移量位置可以为kafka中的第一数据对应的最大偏移量位置。

在一种可能的实现方式中，当接收到目标消息时，停止获取第一数据以及第二数据；记录停止获取第一数据时kafka中的第一数据对应的偏移量位置，以及停止获取第二数据时第二数据的传输节点。

可以理解的是，由于业务运行时的数据量较大，因此停止第一数据以及第二数据的获取可以避免由于系统延迟，对第二数据的传输节点的影响，进一步保障第一数据与第二数据的一致性。

在一种可能的实现方式中，在记录停止获取第一数据时kafka中的第一数据对应的偏移量位置，以及停止获取第二数据时第二数据的传输节点之后，可以恢复对第三数据进行处理。这样，可以避免长时间中断数据获取对业务处理的影响。

S204、基于第一预设规则对偏移量位置之前的第一数据，以及传输节点之前的第二数据进行处理，得到处理结果。

在一种可能的实现方式中，可以对偏移量位置之前的第一数据进行聚组处理，得到第一数据处理结果；对传输节点之前的第二数据进行累加处理，得到第二数据处理结果；对第一数据处理结果以及第二数据处理结果进行差异比对，得到处理结果。其中，聚组处理用于指示将第一数据中的通信费用明细，按照用户、业务和费用进行统计；

在一种可能的实现方式中，第一数据处理结果包括：用户的标识、业务的标识和费用信息；第二数据处理结果包括：用户的标识和累加信息。

结合上述内容，本申请实施例提供一种数据处理方法，可以实时获取通信业务中产生的用于指示通信费用明细的第一数据以及用于指示通信费用总和的第二数据；将第一数据写入kafka中，实现第一数据的实时获取；并且在接收到目标消息时，记录接收到目标消息时kafka中的第一数据对应的偏移量位置，以及第二数据的传输节点；避免长时间中断业务对正常业务数据处理的影响，使得设备可以基于第一预设规则对偏移量位置之前的第一数据，以及传输节点之前的第二数据进行处理，得到处理结果，提高数据的处理速度，实现数据的实时处理。

基于上述实施例中所描述的内容，为了更好的理解本申请各实施例，下面述图3为详细描述本申请实施例提供的数据处理方法的一种实现过程。示例性的，图3为本申请实施例提供的另一种数据处理方法的流程示意图，如图3所示，该数据处理过程可以包括以下步骤：

S301、获取通信业务数据。

S302、当接收到目标消息时，指示批价程序进行数据阻断。

该批价程序可以用于将通信业务数据转化为费用明细数据以及费用总和数据，并将该费用明细数据写入详单kafka中，以及将费用总和数据写入累加文件中。

其中，数据阻断可以理解为停止通信业务数据进入批价程序，此时该通信业务数据可以暂存在批价程序中。

S303、记录详单kafka中的费用明细数据对应的最大偏移量位置。

S304、记录累加文件的文件传输节点。

S305、指示批价程序数据放通。

其中，该数据放通可以理解为批价程序可以开始对暂存其中的通信业务数据进行处理，并执行将处理后的费用明细数据写入详单kafka，以及将费用总和数据写入累加文件的步骤。

S306、利用详单聚组程序处理详单kafka的最大偏移量之前的费用明细数据，并将结果存储到内存库。

例如，该内存库可以为redis数据库。

S307、将文件传输节点之前的累加文件存入备份库。

例如，该备份库可以为立方(Qcubic)数据库。

S308、从备份库中导出累加文件。

S309、从内存库中导出详单文件。

S310、将累加文件以及详单文件存储到数据库中。

S311、利用预设的规则对数据库中存储的详单文件以及累加文件进行差异比对，得到差异比对结果。

S312、基于差异比对结果进行差异修复。

基于此，本申请实施例提供一种数据处理方法，通过在接收到目标消息时记录通信业务数据的传输节点，避免长时间中断业务对正常业务数据处理的影响，提高数据的处理速度。

上面已对本申请实施例的数据处理方法进行了说明，下面对本申请实施例提供的执行上述数据处理方法的装置进行描述。本领域技术人员可以理解，方法和装置可以相互结合和引用，本申请实施例提供的数据处理装置可以执行上述数据处理方法中的步骤。

图4示出了本申请实施例提供的一种数据处理装置的结构示意图。如图4所示，该数据处理装置可以包括获取单元401，以及处理单元402。

示例性的，以该数据处理装置为终端设备或应用于终端设备中的芯片或芯片系统为例，获取单元用于支持数据处理装置执行上述实施例中的获取步骤，该处理单元402用于支持数据处理装置执行上述实施例中的处理步骤。

示例性的，获取单元401，用于实时获取通信业务中产生的用于指示通信费用明细的第一数据以及用于指示通信费用总和的第二数据；处理单元402，用于将第一数据写入kafka中；当接收到目标消息时，处理单元402，还用于记录接收到目标消息时kafka中的第一数据对应的偏移量位置，以及第二数据的传输节点；处理单元402，还用于基于第一预设规则对偏移量位置之前的第一数据，以及传输节点之前的第二数据进行处理，得到处理结果。

在一种可能的实现方式中，当接收到目标消息时，处理单元402，具体用于停止获取第一数据以及第二数据；处理单元402，还具体用于记录停止获取第一数据时kafka中的第一数据对应的偏移量位置，以及停止获取第二数据时第二数据的传输节点。

在一种可能的实现方式中，获取单元401，还用于获取通信业务中产生的第三数据；第三数据用于指示通信业务中产生的通话时长数据、以及流量使用数据；处理单元402，还用于基于第二预设规则对第三数据进行处理，得到第一数据以及第二数据；当接收到目标消息时，处理单元402，还用于停止对第三数据进行处理。

在一种可能的实现方式中，处理单元402，还用于恢复对第三数据进行处理。

在一种可能的实现方式中，处理单元402，具体用于对偏移量位置之前的第一数据进行聚组处理，得到第一数据处理结果；其中，聚组处理用于指示将第一数据中的通信费用明细，按照用户、业务和费用进行统计；处理单元402，还具体用于对传输节点之前的第二数据进行累加处理，得到第二数据处理结果；处理单元402，还具体用于对第一数据处理结果以及第二数据处理结果进行差异比对，得到处理结果。

在一种可能的实现方式中，第一数据处理结果包括：用户的标识、业务的标识和费用信息；第二数据处理结果包括：用户的标识和累加信息。

在一种可能的实现方式中，该数据处理装置可以包括：存储单元403。其中，存储单元403可以包括一个或者多个存储器，存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。

存储单元403可以独立存在，通过通信总线与处理单元402相连。存储单元403也可以和处理单元402集成在一起。

以数据处理装置可以是本申请实施例中的终端设备的芯片或芯片系统为例，存储单元403可以存储终端设备的方法的计算机执行指令，以使处理单元402执行上述实施例中终端设备的方法。存储单元403可以是寄存器、缓存或者随机存取存储器(random accessmemory，RAM)等，存储单元403可以和处理单元402集成在一起。存储单元403可以是只读存储器(read-only memory，ROM)或者可存储静态信息和指令的其他类型的静态存储设备，存储单元403可以与处理单元402相独立。

在一种可能的实现方式中，数据处理装置还可以包括：通信单元404。其中，通信单元404用于支持数据处理装置与其它设备交互。示例性的，当该数据处理装置是终端设备时，该通信单元404可以是通信接口或接口电路。当该数据处理装置是终端设备内的芯片或芯片系统时，该通信单元404可以是通信接口。例如通信接口可以为输入/输出接口、管脚或电路等。

本实施例的装置对应地可用于执行上述方法实施例中执行的步骤，其实现原理和技术效果类似，此处不再赘述。

根据本申请实施例的另一个方面，本申请实施例还提供了一种电子设备，包括：存储器，处理器；存储器用于存储处理器可执行指令的存储器；其中，当执行存储器中的指令时，处理器被配置为实现如上述任一实施例的方法。

示例性的，图5为本申请实施例提供的一种电子设备的结构示意图。

如图5所示，该电子设备包括存储器和处理器，该电子设备还可以包括通信接口和总线，其中，处理器、通信接口和存储器通过总线连接；处理器用于执行存储器中存储的可执行模块，例如计算机程序。

其中，存储器可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线可以是工业标准体系结构(industry standard architecture，ISA)总线、外设部件互联标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。

其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序，前述本申请实施例任一实施例揭示的方法可以应用于处理器中，或者由处理器实现。

处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

根据本申请实施例的另一个方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如上任一实施例的方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

还应理解，在本公开各实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

实时获取通信业务中产生的用于指示通信费用明细的第一数据以及用于指示通信费用总和的第二数据；

将所述第一数据写入kafka中；

当接收到目标消息时，记录接收到所述目标消息时所述kafka中的所述第一数据对应的偏移量位置，以及所述第二数据的传输节点；

基于第一预设规则对所述偏移量位置之前的所述第一数据，以及所述传输节点之前的所述第二数据进行处理，得到处理结果。

2.根据权利要求1所述的方法，其特征在于，所述当接收到目标消息时，记录接收到所述目标消息时所述kafka中的所述第一数据对应的偏移量位置，以及所述第二数据的传输节点，包括：

当接收到目标消息时，停止获取所述第一数据以及所述第二数据；

记录停止获取所述第一数据时所述kafka中的所述第一数据对应的偏移量位置，以及停止获取所述第二数据时所述第二数据的传输节点。

3.根据权利要求2所述的方法，其特征在于，所述实时获取通信业务中产生的用于指示通信费用明细的第一数据以及用于指示通信费用总和的第二数据之前，还包括：

获取所述通信业务中产生的第三数据；所述第三数据用于指示所述通信业务中产生的通话时长数据、以及流量使用数据；

基于第二预设规则对所述第三数据进行处理，得到所述第一数据以及所述第二数据；

所述当接收到目标消息时，停止获取所述第一数据以及所述第二数据，包括：当接收到所述目标消息时，停止对所述第三数据进行处理。

4.根据权利要求3所述的方法，其特征在于，所述记录停止获取所述第一数据时所述kafka中的所述第一数据对应的偏移量位置，以及停止获取所述第二数据时所述第二数据的传输节点之后，所述方法还包括：

恢复对所述第三数据进行处理。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于第一预设规则对所述偏移量位置之前的所述第一数据，以及所述传输节点之前的所述第二数据进行处理，得到处理结果，包括：

对所述偏移量位置之前的所述第一数据进行聚组处理，得到第一数据处理结果；其中，所述聚组处理用于指示将所述第一数据中的通信费用明细，按照用户、业务和费用进行统计；

对所述传输节点之前的所述第二数据进行累加处理，得到第二数据处理结果；

对所述第一数据处理结果以及所述第二数据处理结果进行差异比对，得到所述处理结果。

6.根据权利要求5所述的方法，其特征在于，所述第一数据处理结果包括：用户的标识、业务的标识和费用信息；所述第二数据处理结果包括：用户的标识和累加信息。

7.一种数据处理装置，其特征在于，所述装置包括：获取单元和处理单元；

所述获取单元，用于实时获取通信业务中产生的用于指示通信费用明细的第一数据以及用于指示通信费用总和的第二数据；

所述处理单元，用于将所述第一数据写入kafka中；

当接收到目标消息时，所述处理单元，还用于记录接收到所述目标消息时所述kafka中的所述第一数据对应的偏移量位置，以及所述第二数据的传输节点；

所述处理单元，还用于基于第一预设规则对所述偏移量位置之前的所述第一数据，以及所述传输节点之前的所述第二数据进行处理，得到处理结果。

8.根据权利要求7所述的装置，其特征在于，所述处理单元，具体用于：当接收到目标消息时，停止获取所述第一数据以及所述第二数据；记录停止获取所述第一数据时所述kafka中的所述第一数据对应的偏移量位置，以及停止获取所述第二数据时所述第二数据的传输节点。

9.一种电子设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用并执行所述存储器中的程序指令，执行如权利要求1-6中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-6任一项所述的方法。