CN110245152A - 数据处理方法及其装置 - Google Patents

Abstract

本申请实施例提供了一种数据处理方法及其装置，数据处理方法包括：对获取到的分布式实时数据进行逻辑处理并将处理后的分布式实时数据存储到离线存储引擎中；根据获取到的数据读取请求，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中，使得数据处理更加迅速，降低了处理延迟，获得以较高的性能和较高的可靠性完成海量的数据落地存储的能力，从而提高了数据服务性能。

Description

数据处理方法及其装置

技术领域

本申请涉及计算机领域，尤其涉及一种数据处理方法及其装置。

背景技术

随着科技的发展，大数据技术的广泛应用使其成为引领众多行业技术进步、促进效益增长的关键支撑技术。根据数据处理的时效性，大数据处理系统可分为批式大数据处理和流式大数据处理两类。其中，流式大数据又被称为实时大数据。

目前应用较为广泛的流式大数据处理系统有Storm、Flink等，将实时数据通过流处理，逐条加载至高性能内存数据库中进行查询。此类系统可以对最新实时数据实现高效预设分析处理模型的查询，数据迟滞低。然而受限于内存容量，系统需丢弃原始历史数据，无法在完整大数据集上，实现低迟滞，高实时的即席(Ad-Hoc)查询分析处理。

因此，目前亟需一种能够提高优化系统存储性能，提高数据处理的速度和可靠性的数据处理方法。

发明内容

本申请的目的在于提供一种数据处理方法及其装置，用于现有技术中存在的问题。

第一方面，本申请实施例提供了一种数据处理方法，包括：

对获取到的分布式实时数据进行逻辑处理并将处理后的分布式实时数据存储到离线存储引擎中；

根据获取到的数据读取请求，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中。

可选地，在本申请的一实施例中，还包括：通过预先设置的数据采集机制实时采集所述分布式实时数据。

可选地，在本申请的一实施例中，还包括：所述分布式实时数据按照分类存储在预先指定的消息中间件的类别属性中，从预先指定的消息中间件中获取分布式实时数据。

可选地，在本申请的一实施例中，对获取到的分布式实时数据进行逻辑处理，包括：基于设定的单位时间，对获取到的分布式实时数据进行数据加工和数据推送。

可选地，在本申请的一实施例中，处理后的分布式实时数据存储到离线存储引擎中，包括：将处理后的分布式实时数据采用备份机制存储到离线存储引擎中。

可选地，在本申请的一实施例中，还包括：以web服务的形式对外提供索引功能，并根据获取到的http请求进行数据的在线搜索。

可选地，在本申请的一实施例中，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中，包括：将所述离线存储引擎中存储的分布式实时数据拷贝到内核缓存中，并将所述分布式实时数据的描述信息存储到指定的缓存中。

可选地，在本申请的一实施例中，还包括：将所述分布式实时数据从所述内核缓存中拷贝到网卡接口缓存中。

第二方面，本申请提供了一种数据处理装置，包括：

数据处理模块，用于对获取到的分布式实时数据进行逻辑处理并将处理后的分布式实时数据存储到离线存储引擎中；

数据存储模块，用于根据获取到的数据读取请求，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中。

综上，本申请实施例提供的上述技术方案中，通过对获取到的分布式实时数据进行逻辑处理并将处理后的分布式实时数据存储到离线存储引擎中；根据获取到的数据读取请求，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中，使得数据处理更加迅速，降低了处理延迟，获得以较高的性能和较高的可靠性完成海量的数据落地存储的能力，从而提高了数据服务性能。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请实施例一中数据处理方法的流程示意图；

图2A是本申请实施例二中数据处理方法的流程示意图；

图2B是一种数据读取方法流程示意图；

图3是本申请实施例三中数据处理方法的流程示意图；

图4是本申请实施例四中数据处理方法的流程示意图；

图5是本申请实施例五中数据处理方法的流程示意图；

图6A是本申请实施例六中数据处理方法的流程示意图；

图6B是一种数据读取方法流程示意图；

图7是本申请实施例七中数据处理装置结构示意图。

具体实施方式

实施本申请实施例的任一技术方案必不一定需要同时达到以上的所有优点。

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

图1是本申请实施例一中数据处理方法的流程示意图。如图1所示，其包括如下步骤：

S101、对获取到的分布式实时数据进行逻辑处理并将处理后的分布式实时数据存储到离线存储引擎中；

本实施例中，数据处理方法可以用于信贷业务或数据筛选业务等的数据处理，分布式实时数据则包括企业开具的发票数据、企业在工商局的注册登记数据和企业在中国各级法院、工商、税务的负面信息等。

本实施例中，对获取到的分布式实时数据以亚秒级增量对流进行缓冲，随后这些缓冲的分布式实时数据会作为小规模的固定数据集进行逻辑处理，逻辑处理工作只在内存中进行，在开始进行逻辑处理时将数据读入内存，处理完成后将最终处理结果存储在离线存储引擎中，与现有的数据处理方法相比，加快了了数据处理速度。

本实施例中，离线存储引擎包括HBase、Hive和MySQL等。其中，HBase在存储数据时先写WAL日志，只有当WAL日志写成功以后数据才能存储成功，保证了数据写入时不会因集群异常而导致写入数据丢失。当获取的是变化的数据，比如企业的员工人数，企业的收益等或者跟应用系统密切相关的数据，则需要对数据进行实时的更新、删除等操作，或者需要提供online服务等，所以采用MySQL进行存储；当然，还可以选用其他能够满足需求的处理系统。

S102、根据获取到的数据读取请求，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中；

本实施例中，应用系统从持久化的消息队列中读取数据时，通过发送数据读取请求，将分布式实时数据从所述持久化的消息队列中提取出来储存到所述离线存储引擎中，然后将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中。由于消息队列中所有数据被提取的次数有且只有一次，这样就保证了在存储引擎中存储的分布式实时数据既不会丢失也不会重复，从而存到指定缓存中的分布式实时数据的描述信息也具有较高的可靠性。

具体地，在应用系统从持久化的消息队列中读取数据时，优选地通过Broker发送数据读取请求，Broker转发请求到服务端，并将请求的结果回发给应用系统，然后根据请求的结果，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中。

本实施例中，分布式实时数据的描述信息包括数据的位置信息和数据的长度信息，只将分布式实时数据的描述信息存储到指定的缓存中，而不是整体分布式实时数据存储到指定的缓存中，减少了存储引擎需要存储的数据量，减轻了存储引擎的存储负担，另外避免了对数据进行多次拷贝，有效的优化了数据传输速度，提高了数据处理的速度，其中，指定的缓存包括为分布式实时数据的描述信息创建相应的套接字缓存。

本申请实施例提供了一种数据处理方法，通过对获取到的分布式实时数据进行逻辑处理并将处理后的分布式实时数据存储到离线存储引擎中；根据获取到的数据读取请求，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中，使得数据处理更加迅速，降低了处理延迟，获得以较高的性能和较高的可靠性完成海量的数据落地存储的能力，从而提高了数据服务性能。

图2A是本申请实施例二中数据处理方法的流程示意图。如图2A所示，其包括如下步骤：

S201、通过预先设置的数据采集机制实时采集所述分布式实时数据；

本实施例中，数据采集机制包括应用系统经过用户授权后通过插件采集数据和通过爬虫从网络采集数据等。

本实施例中，实时的采集分布式实时数据，既可以一直在采集数据，还可以经过单位时间采集数据，单位时间可以设定，几秒或者几十秒或者几分钟等。

S202、对获取到的分布式实时数据进行逻辑处理并将处理后的分布式实时数据存储到离线存储引擎中；

S203、根据获取到的数据读取请求，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中；

本实施例在数据读取过程中将分布式实时数据的描述信息存储到指定缓存中，当然另外还有其他的数据读取方法，比如，图2B是一种数据读取方法流程示意图，如图2B所示,S211、将离线存储引擎中存储的分布式实时数据拷贝到内核缓存中；S212、将所述数据从内核缓存再复制到应用程序缓存；S213、再将所述数据从应用程序缓存复制到Socket缓存中；S214、最后将所述数据从Socket缓存中复制到网卡接口缓存中；这种方法经过了四次数据复制，两次系统调用，大大降低了数据读取速度。

图3是本申请实施例三中数据处理方法的流程示意图。如图3所示，其包括如下步骤：

S301、从预先指定的消息中间件中获取分布式实时数据。

本实施例中，消息中间件包括支持在分布式系统中发送和接受消息的软件基础设施，通过消息中间件使得数据采集团队和研发团队解耦，能够高效的完成流处理项目。传统数据库技术中，数据采集团队将采集到的数据存在数据库中，然后研发团队再从数据库中获取数据。研发团队获取数据后，必须要对获取的这批数据进行删除或标记操作，避免重复获取。在处理过程中两个团队都有很高的权限对数据库进行更改，任何一个团队稍微出现一点差错，比如误删了一批数据等，两个团队包括数据库里的数据都会被打乱，影响整个项目的处理，解耦后，数据采集团队不需要担心分布式实时数据会按照什么方式进行处理或计算，研发团队也不用了解采集分布式实时数据机制等专业性要求较高的技术，两个团队只需要约定好数据的格式，整个工作就能高效有序地进行下去。

本实施例中，消息中间件优选可以每秒百万级的数据吞吐量和对采用的数据逻辑处理系统有良好支持的高层API的消息中间件，能够满足处理海量数据的需求，并且由于二者有良好的支持，所以在组合消息中间件和数据逻辑处理系统两大组件时并不需要耗费很多的人力物力，降低了数据处理成本。

S302、对获取到的分布式实时数据进行逻辑处理并将处理后的分布式实时数据存储到离线存储引擎中；

本实施例中，将实时采集的分布式数据分类存储在指定的消息中间件的对应的类别属性中，再从指定的消息中间件中获取分布式实时数据进行逻辑处理，然后将处理后的分布式实时数据存储到离线存储引擎中。

具体地，进行逻辑处理包括实时数据处理和离线数据处理；其中实时数据处理包括利用逻辑处理系统对设定的单位时间内获取的分布式实时数据进行逻辑处理；离线数据处理包括从消息中间件中获取大量同一类型的分布式数据,例如获取百万级的企业注册信息数据，然后对数据进行逻辑处理。

S303、根据获取到的数据读取请求，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中。

图4是本申请实施例四中数据处理方法的流程示意图。如图4所示，其包括如下步骤：

S401、对获取到的分布式实时数据进行数据加工和数据推送；

具体地，对获取到的分布式实时数据进行数据加工包括

将获取到的分布式实时数据放入消息队列中，然后将格式不一的所述分布式实时数据进行数据清洗，解析成统一的规范格式,然后对规范格式的数据进行多维度的统计计算，生成对应的各项指标，形成数据指标库；在数据指标库的基础上进行数据建模；

具体地，对获取到的分布式实时数据进行数据推送包括对获取到的分布式实时数据进行数据加工后，将数据封装成接口，应用系统按需调用接口，即可得到所需的数据。

S402、将处理后的分布式实时数据存储到离线存储引擎中；

S403、根据获取到的数据读取请求，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中。

图5是本申请实施例五中数据处理方法的流程示意图。如图5所示，其包括如下步骤：

S501、通过预先设置的数据采集机制实时采集分布式实时数据；

S502、所述分布式实时数据按照分类存储在消息中间件的类别属性中；

本实施例中，类别属性包括企业的注册日期，企业的经营地址等，还包括企业的经营数据或者是法院涉诉的数据等等。

S503、从预先指定的消息中间件中获取分布式实时数据；

S504、基于设定的单位时间，对获取到的分布式实时数据进行数据加工和数据推送；

S505、将处理后的分布式实时数据采用备份机制存储到离线存储引擎中；

本实施例中，备份机制包括调用函数将处理后的分布式实时数据备份，然后存储到离线存储引擎中；通过数据备份，保证了数据不会因一些异常情况丢失，增加了数据处理的可靠性。

S506、根据获取到的数据读取请求，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中；

S507、以web服务的形式对外提供索引功能，并根据获取到的http请求进行数据的在线搜索；

本实施例中，优选地采用可以独立运行的将整个索引功能封装好了的搜索引擎系统以web服务的形式对外提供索引功能，并根据获取到的http请求进行数据的在线搜索；应用系统通过发送http请求，向搜索引擎提交一定格式的文件，生成索引，还可以通过HttpGet操作向搜索引擎提出查找请求，然后通过http接收XML/JSON响应即可得到返回结果，降低了应用系统的负载。

图6A是本申请实施例六中数据处理方法的流程示意图。如图6A所示，其包括如下步骤：

S601、对获取到的分布式实时数据进行逻辑处理并将处理后的分布式实时数据存储到离线存储引擎中；

S602、根据获取到的数据读取请求，将所述离线存储引擎中存储的分布式实时数据拷贝到内核缓存中，并将所述分布式实时数据的描述信息存储到指定的缓存中；

S603、将所述分布式实时数据从所述内核缓存中拷贝到网卡接口缓存中；

本实施例中，图6B是一种数据读取方法流程示意图，如图6B所示，通过调用sendfile函数或者transferTo函数，S611、将离线存储引擎中存储的分布式实时数据拷贝到内核缓存中；S612、将所述分布式实时数据的描述信息存储到指定的缓存中；S613、将分布式实时数据从所述内核缓存中拷贝到网卡接口缓存中；其中，指定的缓存优选地采用Socket缓存，有效地优化了数据的读取速度，从而加快了数据处理速度。

图7是本申请实施例七中数据处理装置结构示意图。如图7所示，其包括：

数据处理模块701，用于对获取到的分布式实时数据进行逻辑处理并将处理后的分布式实时数据存储到离线存储引擎中；

在一具体应用场景中，数据处理模块701通过预先设置的数据采集机制实时采集分布式实时数据；

在一具体应用场景中，分布式实时数据按照分类存储在预先指定的消息中间件的类别属性中，数据处理模块701从所述消息中间件中获取所述分布式数据；

在一具体应用场景中，数据处理模块701对获取到的分布式实时数据进行数据加工和数据推送；

在一具体应用场景中，数据处理模块701基于设定的单位时间，对获取到的分布式实时数据进行逻辑处理；

在一具体应用场景中，数据处理模块701将处理后的分布式实时数据采用备份机制存储到离线存储引擎中。

数据存储模块702，用于根据获取到的数据读取请求，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中。

在一具体应用场景中，数据存储模块702将所述离线存储引擎中存储的分布式实时数据拷贝到内核缓存中，并将所述分布式实时数据的描述信息存储到指定的缓存中；

在一具体应用场景中，数据存储模块702将所述分布式实时数据从所述内核缓存中拷贝到网卡接口缓存中；

在一具体应用场景中，数据存储模块702以web服务的形式对外提供索引功能，并根据获取到的http请求进行数据的在线搜索。

尽管已描述了本申请的优选，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

对获取到的分布式实时数据进行逻辑处理并将处理后的分布式实时数据存储到离线存储引擎中；

根据获取到的数据读取请求，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中。

2.根据权利要求1所述的方法，其特征在于，还包括：通过预先设置的数据采集机制实时采集所述分布式实时数据。

3.根据权利要求1所述的方法，其特征在于，还包括：所述分布式实时数据按照分类存储在预先指定的消息中间件的类别属性中，从所述消息中间件中获取所述分布式数据。

4.根据权利要求1所述的方法，其特征在于，对获取到的分布式实时数据进行逻辑处理，包括：对获取到的分布式实时数据进行数据加工和数据推送。

5.根据权利要求1所述的方法，其特征在于，对获取到的分布式实时数据进行逻辑处理，包括：基于设定的单位时间，对获取到的分布式实时数据进行逻辑处理。

6.根据权利要求1所述的方法，其特征在于，将处理后的分布式实时数据存储到离线存储引擎中，包括：将处理后的分布式实时数据采用备份机制存储到离线存储引擎中。

7.根据权利要求1所述的方法，其特征在于，还包括：以web服务的形式对外提供索引功能，并根据获取到的http请求进行数据的在线搜索。

8.根据权利要求1-7所述的方法，其特征在于，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中，包括：将所述离线存储引擎中存储的分布式实时数据拷贝到内核缓存中，并将所述分布式实时数据的描述信息存储到指定的缓存中。

9.根据权利要求8所述的方法，其特征在于，还包括：将所述分布式实时数据从所述内核缓存中拷贝到网卡接口缓存中。

10.一种数据处理装置，其特征在于，所述装置包括：

数据处理模块，用于对获取到的分布式实时数据进行逻辑处理并将处理后的分布式实时数据存储到离线存储引擎中；

数据存储模块，用于根据获取到的数据读取请求，将所述离线存储引擎中存储的分布式实时数据的描述信息存储到指定的缓存中。