CN110837516A - 数据割接方法、装置、计算机设备和可读存储介质 - Google Patents

Abstract

本申请实施例提供了一种数据割接方法、装置、计算机设备和可读存储介质，数据割接方法应用于计算机设备，包括：获取计算机设备中存储的待割接数据，判断待割接数据是否为时序数据；若是，则对待割接数据进行时序处理，得到第一割接数据；若不是，则对待割接数据进行聚合处理，得到第二割接数据，从而能够可靠地实现数据割接。

Description

数据割接方法、装置、计算机设备和可读存储介质

技术领域

本申请涉及大数据技术领域，具体而言，涉及一种数据割接方法、装置、计算机设备和可读存储介质。

背景技术

在大数据时代，数据的存储和使用已经成为大型企业中不可或缺的一部分。其中对于实时数据来说，数据之间大多是具有时序性的，而在实时数据源上线以前，往往已经堆积了一部分待处理的实时数据，且其时序已经错乱，此时若不先将堆积的数据清理割接，就开始对新的实时数据进行存储和处理，会造成更大规模的数据混乱，进而导致整个系统出现严重问题。

有鉴于此，如何提供一种可靠的数据割接方案，是本领域技术人员需要解决的。

发明内容

本申请提供了一种数据割接方法、装置、计算机设备和可读存储介质。本申请的实施例可以这样实现：

第一方面，实施例提供一种数据割接方法，应用于计算机设备，所述方法包括：

获取所述计算机设备中存储的待割接数据，判断所述待割接数据是否为时序数据；若是，则对所述待割接数据进行时序处理，得到第一割接数据；

若不是，则对所述待割接数据进行聚合处理，得到第二割接数据。

在可选的实施方式中，所述计算机设备包括割接组件，所述对所述待割接数据进行时序处理，得到第一割接数据，包括：

响应用户输入的待割接数据的唯一标识、过滤参数和过滤依据；

根据所述唯一标识，确定所述待割接数据的身份信息；

根据所述过滤参数和过滤依据，确定所述待割接数据的时序信息；

通过所述割接组件根据所述身份信息和时序信息，得到第一割接数据。

在可选的实施方式中，所述计算机设备与外部数据源连接，所述计算机设备包括消息传输组件、数据处理组件、分布式存储组件和数据库组件，所述获取所述计算机设备中存储的待割接数据包括：

接收所述外部数据源发送的数据，对该数据进行预处理得到待处理数据；

通过消息传输组件将所述待处理数据发送至所述数据处理组件进行处理；

将所述数据处理组件处理后的待处理数据发送至分布式存储组件中备份，得到待割接数据，并将所述数据处理组件处理后的待处理数据发送至数据库组件。

在可选的实施方式中，所述方法还包括：

当所述待割接数据为时序数据时，停止接收所述外部数据源发送的数据，当所述待割接数据非时序数据时，实时接收所述外部数据源发送的数据。

在可选的实施方式中，所述方法还包括：

在所述消息传输组件中新建任务处理项；

将所述第一割接数据或第二割接数据发送至新建的所述任务处理项中，通过所述任务处理项将所述割接数据发送至所述数据处理组件进行处理；

将所述数据处理组件处理后的割接数据发送至分布式存储组件中备份，得到目标数据，并将所述数据处理组件处理后的割接数据发送至数据库组件。

在可选的实施方式中，所述计算机设备包括Event Hub和dataAgent，所述接收所述外部数据源发送的数据，对该数据进行预处理得到待处理数据，包括：

通过所述Event Hub接收外部数据源发送的数据，并将该数据发送至dataAgent；

通过所述dataAgent梳理所述外部数据源发送的数据，得到待处理数据。

在可选的实施方式中，所述数据处理组件为flink、所述数据库组件为GreenPlum，所述将所述数据处理组件处理后的待处理数据发送至数据库组件，包括：

通过所述flink根据预设规则对所述待处理数据进行处理，并将处理后的待处理数据发送至所述GreenPlum。

第二方面，实施例提供一种数据割接装置，应用于计算机设备，所述装置包括：

获取模块，用于获取所述计算机设备中存储的待割接数据；

判断模块，用于判断所述待割接数据是否为时序数据；若是，则对所述待割接数据进行时序处理，得到第一割接数据；若不是，则对所述待割接数据进行聚合处理，得到第二割接数据。

第三方面，实施例提供一种计算机设备，所述计算机设备包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述计算机设备执行前述实施方式中任意一项所述的数据割接方法。

第四方面，实施例提供一种可读存储介质，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在计算机设备执行前述实施方式中任意一项所述的数据割接方法。

本申请实施例的有益效果包括，例如：

采用本申请实施例提供的数据割接方法、装置、计算机设备和可读存储介质，通过判断计算机设备中存储的待割接数据是否为时序数据，若是，则对待割接数据进行时序处理，得到第一割接数据。若不是，则对待割接数据进行聚合处理，得到第二割接数据，从而可靠地实现了数据割接。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种数据割接方法的步骤流程示意图；

图2为图1中步骤S203的子步骤流程示意图；

图3为本申请实施例提供的一种数据处理系统组件的框架图；

图4为本申请实施例提供的割接应用界面的示意图；

图5为本申请实施例提供的数据割接装置的结构示意图；

图6为本申请实施例提供的计算机设备的结构示意图。

图标：100-计算机设备；110-数据割接装置；1101-获取模块；1102-判断模块；111-存储器；112-处理器；113-通信单元。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

在大数据的使用中，例如在电商平台的订单信息获取中，经常用到实时数据，而实时数据大多是具备时序的，例如用户在进行购物时会产生退款-取消退款-再次退款这样的数据，而目前对于这类具备时序性的数据，并没有一个妥善的处理方案，和其他数据一起集中处理，因此可能会导致具备时序性的数据出现混乱，进而导致整个系统的数据混乱。基于此，本实施例提供了一种数据割接方法的示例，请参照图1，该方法应用于计算机设备，包括步骤S201至步骤S204。

步骤S201，获取所述计算机设备中存储的待割接数据。

步骤S202，判断所述待割接数据是否为时序数据；若是，则执行步骤S203。

若不是，则执行步骤S204。

步骤S203，对所述待割接数据进行时序处理，得到第一割接数据。

步骤S204，对所述待割接数据进行聚合处理，得到第二割接数据。

在实时数据的处理过程中，实时数据经过处理流程会可以分为两个分支，一个分支用于使用处理后的实时数据，另一个分支可以将处理后的实时数据存储起来进行备份，本实施例中可以将存储起来进行备份的数据拿出进行割接操作。可以根据待割接数据中是否存在时间标识来判断该带割接数据为时序数据还是非时序数据，对于非时序数据，可以直接进行聚合处理即可，可以将这些数据集合到一起。

在此基础上，计算机设备包括割接组件，本实施例提供一种对待割接数据进行时序处理，得到第一割接数据的示例，包括步骤S2031至步骤S2034，如图2所示。

步骤S2031，响应用户输入的待割接数据的唯一标识、过滤参数和过滤依据。

步骤S2032，根据所述唯一标识，确定所述待割接数据的身份信息。

步骤S2033，根据所述过滤参数和过滤依据，确定所述待割接数据的时序信息。

步骤S2034，通过所述割接组件根据所述身份信息和时序信息，得到第一割接数据。

可以在割接组件中设置一个应用界面，以供用户操作，用户可以通过应用界面输入待割接数据的唯一标识、过滤参数和过滤依据，其中，唯一标识可以是用户的手机号或者会员码，考虑到用户在不同的电商平台或者其他场景中也会使用同一手机号作为唯一标识，为方便区分，还可以在唯一标识中添加商家标识以做区分。例如用户想要对会员卡的积分情况进行处理，就需要最新的积分相关数据，过滤参数可以是积分更新时间，过滤依据可以是最近的一次更新，通过这样的设置，可以精确地对想要的具有时序性的数据进行整理。

在前述基础上，计算机设备可以与外部数据源连接，所述计算机设备包括消息传输组件、数据处理组件、分布式存储组件和数据库组件，所述获取待割接数据包括：

接收所述外部数据源发送的数据，对该数据进行预处理得到待处理数据。

通过消息传输组件将所述待处理数据发送至所述数据处理组件进行处理。

将所述数据处理组件处理后的待处理数据发送至分布式存储组件中备份，得到待割接数据，并将所述数据处理组件处理后的待处理数据发送至数据库组件。

在本实施例中，可以通过设置消息传输组件、数据处理组件、分布式存储组件和数据库组件来完成对待割接数据的获取，可以将外部数据源发送的数据进行预处理，然后经由消息传输组件将待处理数据发送到数据处理组件中，应当理解的是，消息传输组件是为多个任务进程并行处理的。数据处理组件根据预设的规则对待处理数据进行处理，例如，获得的数据可以是每个月的营收额的数据，预设规则可以是按照从大到小的顺序排列各个月的营收额，此时数据处理组件可以将每个月的营收额数据发送至分布式存储组件中备份，作为待割接数据，也可以将按照大到小的顺序排列各个月的营收额发送至数据库组件中以供用户进行查看、调用或导出等操作。

应当理解的是，当所述待割接数据为时序数据时，停止接收所述外部数据源发送的数据，当所述待割接数据非时序数据时，实时接收所述外部数据源发送的数据。在处理时序数据时，为避免在处理的过程中造成数据混乱，因此在处理的待割接数据为时序数据时，可以先停止接收外部数据源发送的数据，在将包含时序数据的待割接数据进行割接完毕后，继续接收外部数据源发送的数据。

为了避免在完成数据割接后的数据处理对其他数据处理流程影响，本实施例还提供一种防止影响其他数据处理进程的示例，可以通过以下步骤实现：

在所述消息传输组件中新建任务处理项。

将所述第一割接数据或第二割接数据发送至新建的所述任务处理项中，通过所述任务处理项将所述割接数据发送至所述数据处理组件进行处理。

将所述数据处理组件处理后的割接数据发送至分布式存储组件中备份，得到目标数据，并将所述数据处理组件处理后的割接数据发送至数据库组件。

可以在消息传输组件中为割接完成的割接数据新建一个任务处理项，由于从前述中可知，消息传输组件在处理任务时是并行处理多个数据传输任务的，因此为了避免影响现有的业务，可以在采用新建的任务处理项来实现对割接完成的割接数据的处理。

请参照图3，图3为本申请实施例提供的一种数据处理系统组件的框架图，所述计算机设备中可以包括Event Hub和dataAgent，所述接收所述外部数据源发送的数据，对该数据进行预处理得到待处理数据，包括：

通过所述Event Hub接收外部数据源发送的数据，并将该数据发送至dataAgent。

通过所述dataAgent梳理所述外部数据源发送的数据，得到待处理数据。

进一步地，所述数据处理组件为flink、所述数据库组件为GreenPlum，所述将所述数据处理组件处理后的待处理数据发送至数据库组件，包括：

通过所述flink根据预设规则对所述待处理数据进行处理，并将处理后的待处理数据发送至所述GreenPlum。

基于前述描述，数据在本实施中的流向可以是从外部数据源中发送到Event Hub中，在经过Event Hub发送至dataAgent，采用Event Hub和dataAgent配合，能够快速地将数据从外部传输到内部。而消息传输组件可以使用kafka，数据在经过dataAgent的预处理后变更为待处理数据，而待处理数据又会经由kafka进行下一步的传递，如前所述，kafka可以并行处理多个待处理数据的传输业务，数据处理组件可以使用flink，flink可以定义待处理数据的预设规则，然后将定义好的待处理数据发送至数据库组件GreenPlum中以供用户使用，同时待处理数据也会经过flink传输至分布式存储组件Hadoop Distributed FileSystem(简称HDFS)中进行备份，整个数据处理系统的过程正是不断的接受外部数据源发送的数据，然后经过多个技术组件的处理和传递，将待处理数据发送至GreenPlum中使用和HDFS中备份。因此对存储在HDFS中的数据进行整理，就是本实施例中的割接操作，而存储在HDFS中的数据，即为待割接数据。

在待割接数据为非时序性的数据时，可以从HDFS中将数据取出，由割接组件MapReduce执行聚合处理即可，对于不具备时序性的待割接数据，割接的流程可以认为已经结束，然后将割接完成的第二割接数据再由割接组件MapReduce发送至kafka中进行传输，为了避免这个过程影响kafka中正在进行的其他传输业务，可以在kafka中新建一个任务处理项，即新建一个topic，让第二割接数据在新建的topic中完成传输，kafka可以将第二割接数据发送至flink，flink可以根据新的预设规则或者原有的预设规则对第二割接数据进行处理，然后将处理后的第二割接数据发送到GreenPlum中使用和HDFS中备份。

在待割接数据为具备时序性的时序数据时，可以先切断Event Hub和dataAgent之间的联系，停止将外部数据源发送的数据发送至内部，可以先处理本次时序数据的割接，可以从HDFS中将积压的时序数据发送至MapReduce中进行割接处理，为了能够让用户更好的进行割接操作，方便输入唯一标识、过滤参数和过滤依据，可以设置dataCutAppliaction用于与用户进行交互。可以参照图4，图4为本申请实施例提供的割接应用界面的示意图，用户可以通过输入待割接数据的HDFS路径将待割接数据提出，然后输入唯一标识(手机号、会员码、商家码等)确定待割接数据的身份信息，再输入过滤参数(会员积分更新时间)和过滤依据(最新一次更新时间)，以此来从HDFS中精确获取用户需求的时序数据，以便对时序进行精准的整理。而在利用MapReduce完成时序数据的割接后，也可以将其发送至kafka中进行传输，为了避免影响kafka中正在进行的数据传输业务，也可以新开一个topic来处理割接后的第一割接数据，然后将完成割接的第一割接数据发送至flink中，根据flink定义的预设规则，发送至GreenPlum中以供用户使用，同时也发送至HDFS中进行备份，在完成上述操作后，可以认为该次时序数据的割接已经完成，可以重新连通Event Hub和dataAgent之间的联系，接受外部数据源发送的数据。

本申请实施例提供一种数据割接装置110，应用于计算机设备，如图5所示，所述装置包括：

获取模块1101，用于获取所述计算机设备中存储的待割接数据。

判断模块1102，用于判断所述待割接数据是否为时序数据；若是，则对所述待割接数据进行时序处理，得到第一割接数据；若不是，则对所述待割接数据进行聚合处理，得到第二割接数据。

本申请实施例提供一种计算机设备100，所述计算机设备100包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述计算机设备100执行前述的数据割接方法。请参照图6，图6为本申请实施例提供的计算机设备100的结构框图。所述计算机设备100包括数据割接装置110、存储器111、处理器112及通信单元113。

所述存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述数据割接装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述计算机设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器112用于执行所述存储器111中存储的可执行模块，例如所述数据割接装置110所包括的软件功能模块及计算机程序等。

其中，所述存储器111可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器111用于存储程序或者数据。

本申请实施例提供一种可读存储介质，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在计算机设备100执行前述的数据割接方法。

综上所述，本申请实施例提供了一种数据割接方法、装置、计算机设备和可读存储介质，通过判断待割接数据是否为时序数据，并在其为时序数据时进行时序处理，能够改善时序数据处理不当的问题。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据割接方法，其特征在于，应用于计算机设备，所述方法包括：

获取所述计算机设备中存储的待割接数据，判断所述待割接数据是否为时序数据；若是，则对所述待割接数据进行时序处理，得到第一割接数据；

若不是，则对所述待割接数据进行聚合处理，得到第二割接数据。

2.根据权利要求1所述的方法，其特征在于，所述计算机设备包括割接组件，所述对所述待割接数据进行时序处理，得到第一割接数据，包括：

响应用户输入的待割接数据的唯一标识、过滤参数和过滤依据；

根据所述唯一标识，确定所述待割接数据的身份信息；

根据所述过滤参数和过滤依据，确定所述待割接数据的时序信息；

通过所述割接组件根据所述身份信息和时序信息，得到第一割接数据。

3.根据权利要求1所述的方法，其特征在于，所述计算机设备与外部数据源连接，所述计算机设备包括消息传输组件、数据处理组件、分布式存储组件和数据库组件，所述获取所述计算机设备中存储的待割接数据包括：

接收所述外部数据源发送的数据，对该数据进行预处理得到待处理数据；

通过消息传输组件将所述待处理数据发送至所述数据处理组件进行处理；

将所述数据处理组件处理后的待处理数据发送至分布式存储组件中备份，得到待割接数据，并将所述数据处理组件处理后的待处理数据发送至数据库组件。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当所述待割接数据为时序数据时，停止接收所述外部数据源发送的数据，当所述待割接数据非时序数据时，实时接收所述外部数据源发送的数据。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在所述消息传输组件中新建任务处理项；

将所述第一割接数据或第二割接数据发送至新建的所述任务处理项中，通过所述任务处理项将所述割接数据发送至所述数据处理组件进行处理；

将所述数据处理组件处理后的割接数据发送至分布式存储组件中备份，得到目标数据，并将所述数据处理组件处理后的割接数据发送至数据库组件。

6.根据权利要求3所述的方法，其特征在于，所述计算机设备包括Event Hub和dataAgent，所述接收所述外部数据源发送的数据，对该数据进行预处理得到待处理数据，包括：

通过所述Event Hub接收外部数据源发送的数据，并将该数据发送至dataAgent；

通过所述dataAgent梳理所述外部数据源发送的数据，得到待处理数据。

7.根据权利要求3所述的方法，其特征在于，所述数据处理组件为flink、所述数据库组件为GreenPlum，所述将所述数据处理组件处理后的待处理数据发送至数据库组件，包括：

通过所述flink根据预设规则对所述待处理数据进行处理，并将处理后的待处理数据发送至所述GreenPlum。

8.一种数据割接装置，其特征在于，应用于计算机设备，所述装置包括：

获取模块，用于获取所述计算机设备中存储的待割接数据；

判断模块，用于判断所述待割接数据是否为时序数据；若是，则对所述待割接数据进行时序处理，得到第一割接数据；若不是，则对所述待割接数据进行聚合处理，得到第二割接数据。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述计算机设备执行权利要求1-7中任意一项所述的数据割接方法。

10.一种可读存储介质，其特征在于，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在计算机设备执行权利要求1-7中任意一项所述的数据割接方法。

Images