CN114090275A - 一种数据处理方法、装置及电子设备 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法、装置及电子设备，所述方法包括：基于预设数据接口，采集针对目标业务的目标数据，所述目标数据包括针对所述目标业务的信令数据和/或用户面数据；将所述目标数据放入预设无锁队列，并基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集；基于所述无锁队列，获取所述分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集；基于所述无锁队列，将所述第一数据集中的目标数据分发至预设消息发布系统，并将所述第二数据集中的目标数据装载至预设分布式文件系统。通过本方法，可以提高数据分发和装载时的数据处理效率。

Description

一种数据处理方法、装置及电子设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置及电子设备。

背景技术

随着计算机技术的不断发展，移动通信业务的用户数量急剧增长，如何满足较大数据量的移动通信业务数据的时候计算需求(如实时计算、离线计算等)成为运营商关注的焦点。

目前，可以通过日志服务器的基于链表的双端阻塞队列，进行多路数据流的分发，即通过日志服务器将移动通信业务数据推送至消息发布系统(如Kafka)，并同时通过日志服务器还可以将移动通信业务数据装载到分布式文件系统(Hadoop Distributed FileSystem，HDFS)。

但是，由于基于链表的双端阻塞队列是基于独占锁的方式实现数据的进队和出队，所以，通过上述方式进行移动通信数据的分发和装载，会导致由于线程等待解除加锁而发生延迟执行等情况，另外，由于待处理的移动通信数据的数据量较大，而日志服务器的数据分发方式，存在分发速度慢的情况，导致数据处理的时效性差，数据处理效率低。

发明内容

本发明实施例的目的是提供一种数据处理方法、装置及电子设备，以解决现有技术中在进行数据分发和装载时，存在的数据处理效率低的问题。

为解决上述技术问题，本发明实施例是这样实现的：

第一方面，本发明实施例提供的一种数据处理方法，所述方法包括基于预设数据接口，采集针对目标业务的目标数据，所述目标数据包括针对所述目标业务的信令数据和/或用户面数据；将所述目标数据放入预设无锁队列，并基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集，所述无锁队列为基于环形数组构建的、且不需要进行加锁的队列；基于所述无锁队列；基于所述无锁队列，获取所述分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集，将所述第一数据集中的目标数据分发至预设消息发布系统，并将所述第二数据集中的目标数据装载至预设分布式文件系统。

第二方面，本发明实施例提供了一种数据处理装置，所述装置包括：数据采集模块，用于基于预设数据接口，采集针对目标业务的目标数据，所述目标数据包括针对所述目标业务的信令数据和/或用户面数据；数据放入模块，用于将所述目标数据放入预设无锁队列，并基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集，所述无锁队列为基于环形数组构建的、且不需要进行加锁的队列；数据集获取模块，基于所述无锁队列，获取所述分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集；数据处理模块，用于基于所述无锁队列，将所述第一数据集中的目标数据分发至预设消息发布系统，并将所述第二数据集中的目标数据装载至预设分布式文件系统。

第三方面，本发明实施例提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述实施例提供的数据处理方法的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述实施例提供的数据处理方法的步骤。

由以上本发明实施例提供的技术方案可见，本发明实施例基于预设数据接口，采集针对目标业务的目标数据，目标数据包括针对目标业务的信令数据和/或用户面数据，将目标数据放入预设无锁队列，并基于预设分类规则和目标数据的数据特征，对目标数据进行分类，得到多个分类数据集，基于无锁队列，获取分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集，无锁队列为基于环形数组构建的、且不需要进行加锁的队列，基于无锁队列，将第一数据集中的目标数据分发至预设消息发布系统，并将第二数据集中的目标数据装载至预设分布式文件系统。这样，通过无锁队列的架构设计，可以充分利用环形数组无锁无阻塞的特点，将采集到的目标数据中满足预设计算需求的第一数据集中的目标数据分发至预设消息发布系统，并将满足预设装载需求的第二数据集中的目标数据装载至预设分布式文件系统，可以提高目标数据的采集、处理、分发和装载效率，降低数据时延，减少资源消耗，提高数据在分发和装载时的数据处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种数据处理方法的流程示意图；

图2为本发明另一种数据处理方法的流程示意图；

图3为本发明一种数据处理装置的结构示意图；

图4为本发明一种电子设备的结构示意图。

具体实施方式

本发明实施例提供一种数据处理方法、装置及电子设备。

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例一

如图1所示，本发明实施例提供一种数据处理方法，该方法的执行主体可以为服务器，该服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群。该方法具体可以包括以下步骤：

在S102中，基于预设数据接口，采集针对目标业务的目标数据。

其中，目标业务可以是任意移动通信业务，目标数据可以包括针对目标业务的信令数据和/或用户面数据，预设数据接口可以是任意能够获取到目标数据的数据接口，例如，预设数据接口可以包括Kafka数据接口、预设文件传输协议(File Transfer Protocol，FTP)接口、WebService接口等。

其中，终端电子设备可以是现场工作人员所持有的，用于采集目标基站的基站参数的任意电子设备，如终端电子设备可以是手机、平板电脑等任意移动终端电子设备，目标基站可以是任意待开通的，用于为用户提供移动通信服务的基站，基站参数可以是用于描述目标基站的基本情况的参数，例如，基站参数可以是板件序列号、板件型号、目标基站的位置信息、目标基站的网络制式等参数。

在实施中，随着计算机技术的不断发展，移动通信业务的用户数量急剧增长，如何满足较大数据量的移动通信业务数据的时候计算需求(如实时计算、离线计算等)成为运营商关注的焦点。

目前，可以通过日志服务器的基于链表的双端阻塞队列，进行多路数据流的分发，即通过日志服务器将移动通信业务数据推送至消息发布系统(如Kafka)，并同时通过日志服务器还可以将移动通信业务数据装载到分布式文件系统(Hadoop Distributed FileSystem，HDFS)。但是，由于基于链表的双端阻塞队列是基于独占锁的方式实现数据的进队和出队，所以，通过上述方式进行移动通信数据的分发和装载，会导致由于线程等待解除加锁而发生延迟执行等情况，另外，由于待处理的移动通信数据的数据量较大，而日志服务器的数据分发方式，存在分发速度慢的情况，导致数据处理的时效性差，数据处理效率低。

此外，还可以通过日志服务器采集移动通信数据，并将移动通信数据推送到消息发布系统，再由后续的落地程序，将移动通信数据装载到分布式文件系统。但是，上述方式由于需要通过消息发布系统对移动通信数据进行转发操作、需要后续的落地场地对移动通信数据进行装载操作，在分发和装载的过程中，存在较多的操作环节，数据处理效率低，且在整个数据处理过程中，也存在数据链路单点问题，即如果消息发布系统存在故障，则整个数据链路就无法运转，系统稳定性差。

为此，本发明实施例提供另一种实现方案，具体可以包括以下内容：

可以通过不同的预设数据接口，获取不同类型的针对目标业务的目标数据，例如，可以通过Kafka接口通获取针对目标业务的Kafka数据，通过FTP接口以定时扫描的方式，扫描FTP服务器上的文件，以获取对应的目标数据，通过WebService接口以建立服务接口的方式，获取接口数据(即目标数据)。

在实际应用场景中，还可以有多种不同的预设数据接口，本发明实施例对此不做具体限定。

在S104中，将目标数据放入预设无锁队列，并基于预设分类规则和目标数据的数据特征，对目标数据进行分类，得到多个分类数据集。

其中，无锁队列可以为基于环形数组构建的、且不需要进行加锁的队列，另外，无锁队列可以是能够控制队列容量大小的队列，即无锁队列可以是无锁有界队列。

在实施中，以无锁队列为Disruptor为例，即无锁队列可以采用生产者和消费者的模式，是通过Ring Buffer环形数组构建的无锁队列，可以对无锁队列中的数据进行存储和更新。可通过位运算快速定位元素(即无锁队列中的数据)在无锁队列中的位置。Disruptor队列可以通过定义Sequence接口(即顺序递增的序号)来编号管理通过该队列进行交换的数据，对数据的处理过程可以是沿着序号逐个递增进行处理。Disruptor队列的核心是Sequencer接口，此接口有两个实现类，分别为SingleProducerSequencer和MultiProducerSequencer。这两个实现类可以定义在生产者和消费者之间快速、正确地传递数据的并发算法。通过预设等待策略(即Wait Strategy)决定一个消费者如何等待生产者将数据(或事件)放入Disruptor队列，而放入Disruptor队列的数据可以是从生产者到消费者传递的数据，Disruptor队列中的EventProcessor可以用于处理Disruptor队列中的数据，Consumer需要通过实现EventHandler接口进行数据消费处理，Producer可以为Disruptor队列发布事件的逻辑代码。

可以将目标数据放入上述Disruptor为例，然后基于预设分类规则和目标数据的数据特征，对目标数据进行分类，得到多个分类数据集，其中，预设分类规则可以是根据目标业务的业务属性预设的分类规则，目标数据的数据特征可以包括目标数据的数据类型、数据大小等数据特征。

在S106中，基于无锁队列，获取分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集。

其中，预设计算需求可以是根据实时计算任务确定的计算需求，预设装载需求可以是根据离线计算任务确定的计算需求。

在实施中，可以对无锁队列中包含的分类数据集根据分类标识进行查找，以获取满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集。

在S108中，基于无锁队列，将第一数据集中的目标数据分发至预设消息发布系统，并将第二数据集中的目标数据装载至预设分布式文件系统。

在实施中，可以将第二数据集中的目标数据写入数据缓存队列，然后基于预设缓存周期，将数据缓存队列中存入的第二数据集中的目标数据缓存在磁盘中，然后将磁盘中的缓存数据进行落地处理，以将落地处理后的第二数据集中的目标数据装载到预设分布式文件系统中。

本发明实施例提供一种数据处理方法，基于预设数据接口，采集针对目标业务的目标数据，目标数据包括针对目标业务的信令数据和/或用户面数据，将目标数据放入预设无锁队列，并基于预设分类规则和目标数据的数据特征，对目标数据进行分类，得到多个分类数据集，基于无锁队列，获取分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集，无锁队列为基于环形数组构建的、且不需要进行加锁的队列，基于无锁队列，将第一数据集中的目标数据分发至预设消息发布系统，并将第二数据集中的目标数据装载至预设分布式文件系统。这样，通过无锁队列的架构设计，可以充分利用环形数组无锁无阻塞的特点，将采集到的目标数据中满足预设计算需求的第一数据集中的目标数据分发至预设消息发布系统，并将满足预设装载需求的第二数据集中的目标数据装载至预设分布式文件系统，可以提高目标数据的采集、处理、分发和装载效率，降低数据时延，减少资源消耗，提高数据在分发和装载时的数据处理效率。

实施例二

如图2所示，本发明实施例提供一种数据处理方法，该方法的执行主体可以为服务器，该服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群。该方法具体可以包括以下步骤：

在S202中，获取无锁队列的队列容量，并基于队列容量，通过预设数据接口，采集针对目标业务的目标数据。

在实施中，通过无锁队列的队列容量，采集目标数据，可以减少数据交互时间，避免由于目标数据的数据量大于无锁队列的队列容量，导致的数据等待问题。

可以定义数据采集线程，用于通过预设数据接口，采集针对目标业务的目标数据。

可以无锁队列为公共静态变量，定义生产模式为ProducerType.MULTI，即多生产者模式。

在S204中，获取无锁队列的队列容量以及目标数据的数据信息。

其中，目标数据的数据信息可以包括目标数据的数据量、数据类型等信息。

在S206中，基于无锁队列的队列容量以及目标数据的数据信息，确定数据放入速度，并基于数据放入速度，将目标数据放入预设无锁队列。

在实施中，可以基于目标数据的数据量和无锁队列的队列容量，确定数据放入速度，或者，还可以根据不同数据类型的目标数据的数据量以及无锁队列的队列容量，确定数据放入顺序以及对应的放入速度。

在实际应用场景中，目标数据放入预设无锁队列的数据放入速度的确定方法可以有多种多样，可以根据实际应用场景的不同而有所不同，本发明实施例对此不做具体限定。

通过确定的放入速度，可以协调无锁队列的数据流入速度，将避免产生内存溢出等问题。

可以定义环形数组对象，用于在数据采集线程采集到目标数据后，通过环形数据对象基于目标数据进行数据生产。

在S208中，获取目标数据的数据信息。

在S210中，基于数据信息，确定预设清洗规则。

在实施中，例如，可以根据目标数据的数据量，确定用于进行清洗的清洗对象的个数，以满足实际数据运算的需求，提高清洗效率。

在S212中，基于预设清洗规则，对无锁队列中的目标数据进行数据清洗处理，并基于预设分类规则和清洗处理后的目标数据的数据特征，对清洗处理后的目标数据进行分类，得到多个分类数据集。

在实施中，可以定义分类对象池，以通过分类对象池基于预设分类规则和清洗处理后的目标数据的数据特征，对清洗处理后的目标数据进行分类，得到多个分类数据集。

在基于预设清洗规则，对所述无锁队列中的目标数据进行数据清理处理时，可以初始化清洗转换操作组，可以采用GuavaCache，定时对预设清晰规则进行更新处理。这样，既可以减少与数据库的网络IO交互，又实现了规则数据的热切换，通过对预设清晰规则的更新处理，可以提升无锁队列实时分发与装载的动态解析能力。并可以根据实际采集的目标数据的数据量，设定清洗转换对象的个数，以满足实际数据运算需求，达到高性能清洗转换的目的。

可以通过数据源标识定义数据字段的解析方式，对目标数据进行解析以及数据清洗处理，可以采用Aviator规则引擎表达式，定义数据清洗规则，增强装置的数据清洗能力。例如，部分字段的说明可以如下表1所示。

表1

还可以定义数据源标识相关的字段，以便于数据内容字段解析，可以采用Aviator进行字段重组，以生成新字段模式，做到高性能的实时数据打宽，增强装置的数据扩展能力。例如，部分字段的说明可以如下表2所示。

表2

可以充分利用GuavaCache的数据缓存能力，构造清洗规则，增强可配置性，达到准实时清洗规则的更新、热加载清洗规则生效的目的。

可以定义无锁队列各环节的接收对象，以数据源标识作为数据包的识别标识，便于获取分类信息，采用字节数组的方式存储原始消息内容。可以通过HashMap模型存储转换后的数据对象，以便于Aviator规则运算，可以定义列表模型存储分类对象，以实现快速数据分发与装载。可以对Aviator实现函数预加载，以便于清洗转换操作对象使用，可以减少函数加载的执行时间。可以定义TransformHandler，以实现无锁队列的WorkHandler接口类，按规则定义结合Aviator规则引擎进行高速的数据清洗转换工作。

在进行分类时，可以定义目标数据的分类规则，可以采用Aviator规则定义分类规则，以规则计算结果Ture or False判断是否为该类数据，提高数据处理的效率。

可以定义每一类分类数据集对应的分类计算规则，以及其输出的位置和字段名信息，增强装置的数据分类可配置性。分类定义表可以如下表3所示。

表3

分类字段输出表可以如下表4所示。

表4

字段名称	字段说明
		分类编号	数据分类编号
输出字段名	数据分类编号
		输出字段位置	标识输出字段位置

可以采用GuavaCache缓存分类信息配置信息，增强分类规则的热切换。

还可以定义独立的分类操作对象，以增加分类的规则运算，快速实现数据分类，以增强据分工处理以及快速分类的能力，达到高性能的数据分类处理。

在S214中，基于无锁队列，获取分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集。

在S216中，基于无锁队列，将第一数据集中的目标数据分发至预设消息发布系统。

在实施中，可以定义文件写入线程，以将第一数据集中的目标数据推入写入线程，由文件写入线程配置写入文件，并进行文件写入操作，即将第一数据集中的目标数据分发至预设消息发布系统。

此外，还可以定义管理文件写入线程，以监控文件写入线程的运行情况，此外，管理文件写入线程还可以监控目标数据写入无锁队列的未处理的数据量，收集发送至无锁队列的目标数据的数据信息，以通知数据采集线程进行采集限速。

为满足实时分发至Kafka的性能要求，可以采用独立的Kafka生产操作组，通过随机获取Kafka生产实例组的Kafka生产实例，将第一数据集中的目标数据推送至数据对应的Kafka。可以采用可配置执行对象数据的模式，依据实际的第一数据集中目标数据的数据量，动态调整执行对象，加大分发的并行度，达到高性能分发的效果。

可以对分发的Kafka服务参数进行定义，定义数据分类分发规则。部分字段说明可以如下表5所示。

表5

字段名称	字段说明
		分类编号	数据分类编号
分发Kafka对应IP	Kafka服务器对应IP地址
		分发Kafka对应Topic	Kafka服务器对应写入主题

可以采用GuavaCache缓存对应分类的分发规则，以便于快速取出规则对象，提高数据读取性能，减少数据库和网络之间的IO交互。

可以根据缓存对应的规则，从生产实例组取出对应生产实例，利用Kafka生产者API将数据提交至对应的Kafka服务器，完成数据实时分发。

在S218中，基于异步装载的方式，将第二数据集中的目标数据装载至预设分布式文件系统。

在实施中，可以基于预设装载周期和预设装载量，将第二数据集中的目标数据装载至预设分布式文件系统。通过定时定量的方式，将第二数据集中的目标数据装载至预设分布式文件系统，可以减少数据交互的过程，提高数据处理的效率。

在进行目标数据的采集前，可以初始化系统参数，以加载系统配置文件进行数据处理。例如，可以初始化各个操作组对象数、Kafka生产实例数、采集线程数、文件写入线程数、文件装载线程数等。为无锁队列的使用提供参数配置信息，并依据配置信息构建队列的生产者、消费者数量。

在初始化Kafka生产实例组时，由于Kafka实例是线程安全的，所以，多个线程可共用一个Kafka实例，为防止每次都对Kafka连接进行初始化，可先预设相当数量Kafka的实例，以提高对Kafka生产的吞吐量。可以采用Kafka生产实例池的方式，为无锁队列的使用提供Kafka生产者，以避免由于产生过多的Kafka连接数，而造成的连接不稳定和数据丢失问题。

在对目标数据进行分类时，可以初始化文件写入线程组，可以采用MpscLinkedQueue无锁队列，实现文件操作处理，以增强线程间数据交换的吞吐量，通过定批、定时数据写入的方式减少磁盘IO交互，以达到高性能文件写入的效果。为实现无锁队列的目标数据的写入，可以使用线程操作独立文件的方法，防止多线程共同操作同一文件或操作共享变量，可以通过以下过程实现数据无锁队列的目标数据的写入。

首先，可以定义分类写入规则，为每个分类数据集定义文件名规则、文件格式、压缩格式、分隔符、换行符、初始化文件数(即多文件写入线程数，可以在多少个线程中写入不同的文件)，每一个文件(即每个分类数据集)为一个线程操作，避免线程间文件共享写入。例如，部分分类写入规则可以如下表6所示。

表6

字段名称	字段说明
		分类编号	数据分类编号
文件名规则	如：xxx_yyyymmdd_xxxx.avl....
		文件格式	如：txt,orcfile.
压缩格式	如：zip...为空不压缩
		分隔符	如：，...适用于txt
换行符	如：/n....适用于txt
		初始化文件数	即操作线程数

其次，可以定义写入字段规则，用于规定需要写入的字段名称、写入位置、字段类型、字段长度信息，以规整数据信息，便于快速合理生成orc文件，快速装载入库。例如，部分分类写入规则可以如下表7所示。

表7

字段名称	字段说明
		分类编号	数据分类编号
字段名	写入的字段名
		字段位置	字段写入位置
字段类型	预设字段类型，如string int
		字段长度	预设字段长度

可以依据上述参数定义，构造文件写入实现类，采用接口设计模式，实现数据的适配写入，工厂设计模式可以定义分类与文件写入实体类的关联关系，可快速读取分类数据集对应的数据写入对象。

服务器中可以配置有数据中心，数据中心可以用于管理分类数据集写入的常驻线程，可以初始化分类文件写入线程，并根据分类返回数据操作线程，并监控文件写入数据的执行情况，数据中心可以协调目标数据流入与流出的速率，并可以采取反压机制，防止内存溢出问题。

此外，还可以采用线程驻守轮循无锁队列的方式，通过定时定量的方式，将目标数据刷入磁盘，以减少线程间数据交互时间，以及磁盘IO操作，以加速文件的写入速度，提高数据处理效率。

可以通过文件装载线程组，根据设定的参数启动文件装载线程，文件装载线程接收到写入完成的第二数据集中的目标数据后，可以通过Hadoop的SDK将接收到的数据装载到HDFS，并定时将分区挂载到HIVE，装载完成后，HIVE可即时查询到装载完成的数据。

本发明实施例提供一种数据处理方法，基于预设数据接口，采集针对目标业务的目标数据，目标数据包括针对目标业务的信令数据和/或用户面数据，将目标数据放入预设无锁队列，并基于预设分类规则和目标数据的数据特征，对目标数据进行分类，得到多个分类数据集，基于无锁队列，获取分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集，无锁队列为基于环形数组构建的、且不需要进行加锁的队列，基于无锁队列，将第一数据集中的目标数据分发至预设消息发布系统，并将第二数据集中的目标数据装载至预设分布式文件系统。这样，通过无锁队列的架构设计，可以充分利用环形数组无锁无阻塞的特点，将采集到的目标数据中满足预设计算需求的第一数据集中的目标数据分发至预设消息发布系统，并将满足预设装载需求的第二数据集中的目标数据装载至预设分布式文件系统，可以提高目标数据的采集、处理、分发和装载效率，降低数据时延，减少资源消耗，提高数据在分发和装载时的数据处理效率。

实施例三

以上为本发明实施例提供的数据处理方法，基于同样的思路，本发明实施例还提供一种数据处理装置，如图3所示。

该数据处理装置包括：数据采集模块301、数据放入模块302、数据集获取模块303和数据处理模块304，其中：

数据采集模块301，用于基于预设数据接口，采集针对目标业务的目标数据，所述目标数据包括针对所述目标业务的信令数据和/或用户面数据；

数据放入模块302，用于将所述目标数据放入预设无锁队列，并基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集，所述无锁队列为基于环形数组构建的、且不需要进行加锁的队列；

数据集获取模块303，基于所述无锁队列，获取所述分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集；

数据处理模块304，用于基于所述无锁队列，将所述第一数据集中的目标数据分发至预设消息发布系统，并将所述第二数据集中的目标数据装载至预设分布式文件系统。

在本发明实施例中，所述数据放入模块302，用于：

基于预设清洗规则，对所述无锁队列中的目标数据进行数据清洗处理，并基于预设分类规则和所述清洗处理后的目标数据的数据特征，对所述清洗处理后的目标数据进行分类，得到多个分类数据集。

在本发明实施例中，所述装置，还包括：

信息获取模块，用于获取所述目标数据的数据信息；

规则确定模块，用于基于所述数据信息，确定所述预设清洗规则。

在本发明实施例中，所述数据处理模块304，用于：

基于异步装载的方式，将所述第二数据集中的目标数据装载至所述预设分布式文件系统。

在本发明实施例中，所述数据处理模块304，用于：

基于预设装载周期和预设装载量，将所述第二数据集中的目标数据装载至所述预设分布式文件系统。

在本发明实施例中，所述数据采集模块301，用于：

获取所述无锁队列的队列容量，并基于所述队列容量，通过所述预设数据接口，采集针对所述目标业务的目标数据。

本发明实施例提供一种数据处理装置，基于预设数据接口，采集针对目标业务的目标数据，目标数据包括针对目标业务的信令数据和/或用户面数据，将目标数据放入预设无锁队列，并基于预设分类规则和目标数据的数据特征，对目标数据进行分类，得到多个分类数据集，基于无锁队列，获取分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集，无锁队列为基于环形数组构建的、且不需要进行加锁的队列，基于无锁队列，将第一数据集中的目标数据分发至预设消息发布系统，并将第二数据集中的目标数据装载至预设分布式文件系统。这样，通过无锁队列的架构设计，可以充分利用环形数组无锁无阻塞的特点，将采集到的目标数据中满足预设计算需求的第一数据集中的目标数据分发至预设消息发布系统，并将满足预设装载需求的第二数据集中的目标数据装载至预设分布式文件系统，可以提高目标数据的采集、处理、分发和装载效率，降低数据时延，减少资源消耗，提高数据在分发和装载时的数据处理效率。

实施例四

图4为实现本发明各个实施例的一种电子设备的硬件结构示意图，

该电子设备400包括但不限于：射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元404、用户输入单元407、接口单元408、存储器409、处理器410、以及电源411等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴电子设备、以及计步器等。

其中，处理器410，用于：基于预设数据接口，采集针对目标业务的目标数据，所述目标数据包括针对所述目标业务的信令数据和/或用户面数据；将所述目标数据放入预设无锁队列，并基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集，所述无锁队列为基于环形数组构建的、且不需要进行加锁的队列；基于所述无锁队列，获取所述分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集；基于所述无锁队列，将所述第一数据集中的目标数据分发至预设消息发布系统，并将所述第二数据集中的目标数据装载至预设分布式文件系统。

此外，所述处理器410，还用于：基于预设清洗规则，对所述无锁队列中的目标数据进行数据清洗处理，并基于预设分类规则和所述清洗处理后的目标数据的数据特征，对所述清洗处理后的目标数据进行分类，得到多个分类数据集。

此外，所述处理器410，还用于：获取所述目标数据的数据信息；基于所述数据信息，确定所述预设清洗规则。

此外，所述处理器410，还用于：基于异步装载的方式，将所述第二数据集中的目标数据装载至所述预设分布式文件系统。

另外，所述处理器410，还用于：基于预设装载周期和预设装载量，将所述第二数据集中的目标数据装载至所述预设分布式文件系统。

另外，所述处理器410，还用于：获取所述无锁队列的队列容量，并基于所述队列容量，通过所述预设数据接口，采集针对所述目标业务的目标数据。

此外，所述处理器410，还用于：获取所述无锁队列的队列容量以及所述目标数据的数据信息；基于所述无锁队列的队列容量以及所述目标数据的数据信息，确定数据放入速度，并基于所述数据放入速度，将所述目标数据放入预设无锁队列。

本发明实施例提供一种电子设备，基于预设数据接口，采集针对目标业务的目标数据，目标数据包括针对目标业务的信令数据和/或用户面数据，将目标数据放入预设无锁队列，并基于预设分类规则和目标数据的数据特征，对目标数据进行分类，得到多个分类数据集，基于无锁队列，获取分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集，无锁队列为基于环形数组构建的、且不需要进行加锁的队列，基于无锁队列，将第一数据集中的目标数据分发至预设消息发布系统，并将第二数据集中的目标数据装载至预设分布式文件系统。这样，通过无锁队列的架构设计，可以充分利用环形数组无锁无阻塞的特点，将采集到的目标数据中满足预设计算需求的第一数据集中的目标数据分发至预设消息发布系统，并将满足预设装载需求的第二数据集中的目标数据装载至预设分布式文件系统，可以提高目标数据的采集、处理、分发和装载效率，降低数据时延，减少资源消耗，提高数据在分发和装载时的数据处理效率。

应理解的是，本发明实施例中，射频单元401可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器410处理；另外，将上行的数据发送给基站。通常，射频单元401包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元401还可以通过无线通信系统与网络和其他电子设备通信。

电子设备通过网络模块402为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元403可以将射频单元401或网络模块402接收的或者在存储器409中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元403还可以提供与电子设备400执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元403包括扬声器、蜂鸣器以及受话器等。

输入单元404用于接收音频或视频信号。输入单元404可以包括图形处理器(Graphics Processing Unit，GPU)4041和麦克风4042，图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元404上。经图形处理器4041处理后的图像帧可以存储在存储器409(或其它存储介质)中或者经由射频单元401或网络模块402进行发送。麦克风4042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元401发送到移动通信基站的格式输出。

电子设备400还包括至少一种传感器405，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板4061的亮度，接近传感器可在电子设备400移动到耳边时，关闭显示面板4061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器405还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元406用于显示由用户输入的信息或提供给用户的信息。显示单元406可包括显示面板4061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板4061。

用户输入单元407可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元407包括触控面板4071以及其他输入电子设备4072。触控面板4071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板4071上或在触控面板4071附近的操作)。触控面板4071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器410，接收处理器410发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板4071。除了触控面板4071，用户输入单元407还可以包括其他输入电子设备4072。具体地，其他输入电子设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板4071可覆盖在显示面板4061上，当触控面板4071检测到在其上或附近的触摸操作后，传送给处理器410以确定触摸事件的类型，随后处理器410根据触摸事件的类型在显示面板4061上提供相应的视觉输出。虽然在图4中，触控面板4071与显示面板4061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板4071与显示面板4061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元408为外部装置与电子设备400连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元408可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备400内的一个或多个元件或者可以用于在电子设备400和外部装置之间传输数据。

存储器409可用于存储软件程序以及各种数据。存储器409可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器409可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器410是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器409内的软件程序和/或模块，以及调用存储在存储器409内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器410可包括一个或多个处理单元；优选的，处理器410可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器410中。

电子设备400还可以包括给各个部件供电的电源411(比如电池)，优选的，电源411可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

优选的，本发明实施例还提供一种电子设备，包括处理器410，存储器409，存储在存储器409上并可在所述处理器410上运行的计算机程序，该计算机程序被处理器410执行时实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

实施例五

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

本发明实施例提供一种计算机可读存储介质，基于预设数据接口，采集针对目标业务的目标数据，目标数据包括针对目标业务的信令数据和/或用户面数据，将目标数据放入预设无锁队列，并基于预设分类规则和目标数据的数据特征，对目标数据进行分类，得到多个分类数据集，基于无锁队列，获取分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集，无锁队列为基于环形数组构建的、且不需要进行加锁的队列，基于无锁队列，将第一数据集中的目标数据分发至预设消息发布系统，并将第二数据集中的目标数据装载至预设分布式文件系统。这样，通过无锁队列的架构设计，可以充分利用环形数组无锁无阻塞的特点，将采集到的目标数据中满足预设计算需求的第一数据集中的目标数据分发至预设消息发布系统，并将满足预设装载需求的第二数据集中的目标数据装载至预设分布式文件系统，可以提高目标数据的采集、处理、分发和装载效率，降低数据时延，减少资源消耗，提高数据在分发和装载时的数据处理效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、电子设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理电子设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理电子设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理电子设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理电子设备上，使得在计算机或其他可编程电子设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程电子设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算电子设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储电子设备或任何其他非传输介质，可用于存储可以被计算电子设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者电子设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者电子设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者电子设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

基于预设数据接口，采集针对目标业务的目标数据，所述目标数据包括针对所述目标业务的信令数据和/或用户面数据；

将所述目标数据放入预设无锁队列，并基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集，所述无锁队列为基于环形数组构建的、且不需要进行加锁的队列；

基于所述无锁队列，获取所述分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集；

基于所述无锁队列，将所述第一数据集中的目标数据分发至预设消息发布系统，并将所述第二数据集中的目标数据装载至预设分布式文件系统。

2.根据权利要求1所述的方法，其特征在于，所述基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集，包括：

基于预设清洗规则，对所述无锁队列中的目标数据进行数据清洗处理，并基于预设分类规则和清洗处理后的目标数据的数据特征，对所述清洗处理后的目标数据进行分类，得到多个分类数据集。

3.根据权利要求2所述的方法，其特征在于，在所述基于预设清洗规则，对所述无锁队列中的目标数据进行数据清洗处理之前，还包括：

获取所述目标数据的数据信息；

基于所述数据信息，确定所述预设清洗规则。

4.根据权利要求1所述的方法，其特征在于，所述将所述第二数据集中的目标数据装载至预设分布式文件系统，包括：

基于异步装载的方式，将所述第二数据集中的目标数据装载至所述预设分布式文件系统。

5.根据权利要求4所述的方法，其特征在于，所述将所述第二数据集中的目标数据装载至所述预设分布式文件系统，包括：

基于预设装载周期和预设装载量，将所述第二数据集中的目标数据装载至所述预设分布式文件系统。

6.根据权利要求1所述的方法，其特征在于，所述基于预设数据接口，采集针对目标业务的目标数据，包括：

获取所述无锁队列的队列容量，并基于所述队列容量，通过所述预设数据接口，采集针对所述目标业务的目标数据。

7.根据权利要求1所述的方法，其特征在于，所述将所述目标数据放入预设无锁队列，包括：

获取所述无锁队列的队列容量以及所述目标数据的数据信息；

基于所述无锁队列的队列容量以及所述目标数据的数据信息，确定数据放入速度，并基于所述数据放入速度，将所述目标数据放入预设无锁队列。

8.一种数据处理装置，其特征在于，所述装置包括：

数据采集模块，用于基于预设数据接口，采集针对目标业务的目标数据，所述目标数据包括针对所述目标业务的信令数据和/或用户面数据；

数据放入模块，用于将所述目标数据放入预设无锁队列，并基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集，所述无锁队列为基于环形数组构建的、且不需要进行加锁的队列；

数据集获取模块，基于所述无锁队列，获取所述分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集；

数据处理模块，用于基于所述无锁队列，将所述第一数据集中的目标数据分发至预设消息发布系统，并将所述第二数据集中的目标数据装载至预设分布式文件系统。

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理方法的步骤。

Images