CN112800142A

CN112800142A - Mr作业处理方法、装置、电子设备及存储介质

Info

Publication number: CN112800142A
Application number: CN202011479750.3A
Authority: CN
Inventors: 黄友俊; 李星; 吴建平; 李腾
Original assignee: CERNET Corp
Current assignee: CERNET Corp
Priority date: 2020-12-15
Filing date: 2020-12-15
Publication date: 2021-05-14
Anticipated expiration: 2040-12-15
Also published as: CN112800142B

Abstract

本公开提供一种MR作业处理方法、装置、电子设备及存储介质，应用于计算机技术领域，包括：获取源数据，所述源数据包括源地址段、源IP、目的IP、总入流量、总出流量；在map阶段，将源地址段、源IP作为key，目的IP、总入流量、总出流量作为value进行分组，得到分组结果；在reduce阶段，对源地址段、源IP以及目的IP相同的总入和/或总出流量进行归并。

Description

MR作业处理方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种MR作业处理方法、装置、电子设备及存储介质。

背景技术

普遍情况下，通过hadoop集群处理后的源数据，只有简单的归并和排序，而这种结果往往专业度很高，还需要后续加工才可以体现数据的意义并向人们展示。很多时候MR作业复杂度并不高时，产生的结果体量还是很大，有可能是十亿级。

发明内容

本申请的主要目的在于提供一种MR作业处理方法、装置、电子设备及存储介质。

为实现上述目的，本申请实施例第一方面提供一种MR作业处理方法，包括：

获取源数据，所述源数据包括源地址段、源IP、目的IP、总入流量、总出流量；

在map阶段，将源地址段、源IP作为key，目的IP、总入流量、总出流量作为value进行分组，得到分组结果；

在reduce阶段，对源地址段、源IP以及目的IP相同的总入和/或总出流量进行归并。

可选的，所述在reduce阶段，对源地址段、源IP以及目的IP相同的总入和/或总出流量进行归并包括：

分别获取具有同一源地址段和源IP的所有目的IP归并后的总入和/或总出流量；

获取归并后的前K个值最大的总入和/或总出流量；

将归并后的前K个值最大的总入和/或总出流量，以及，所述前K个值最大的总入和/或总出流量对应的目的IP作为所述源地址段和源IP的流量记录结果。

可选的，所述获取归并后的前K个值最大的总入和/或总出流量包括：

在reduce阶段，自定义链表；

将所述链表作为reduce阶段的输出，获取归并后的前K个值最大的总入和 /或总出流量。

可选的，所述自定义链表包括：

自定义链表SortedLink类；

自定义一个泛类型Link<E>，同时在Link<E>中声明一个E data和Link<E> next，实现Link<E>时指定E为DataNode类，所述DataNode类包含IP和流量两个对象和一个比大小方法；

在调用SortedLink类的insert方法时，将当前的IP和流量放入DataNode 类，与现有的首链表内容进行对比。

本申请实施例第二方面提供一种MR作业处理装置，包括：

获取模块，用于获取源数据，所述源数据包括源地址段、源IP、目的IP、总入流量、总出流量；

分组模块，用于在map阶段，将源地址段、源IP作为key，目的IP、总入流量、总出流量作为value进行分组，得到分组结果；

归并模块，用于在reduce阶段，对源地址段、源IP以及目的IP相同的总入和/或总出流量进行归并。

可选的，所述归并模块包括：

获取子模块，用于分别获取具有同一源地址段和源IP的所有目的IP归并后的总入和/或总出流量；

确定子模块，用于确定归并后的前K个值最大的总入和/或总出流量；

处理子模块，用于将归并后的前K个值最大的总入和/或总出流量，以及，所述前K个值最大的总入和/或总出流量对应的目的IP作为所述源地址段和源 IP的流量记录结果。

可选的，所述确定子模块包括：

自定义单元，用于在reduce阶段，自定义链表；

确定单元将所述链表作为reduce阶段的输出，确定归并后的前K个值最大的总入和/或总出流量。

可选的，所述自定义单元包括：

第一自定义子单元，用于自定义链表SortedLink类；

第二自定义子单元，用于自定义一个泛类型Link<E>，同时在Link<E>中声明一个E data和Link<E>next，实现Link<E>时指定E为DataNode类，所述 DataNode类包含IP和流量两个对象和一个比大小方法；

对比子单元，用于在调用SortedLink类的insert方法时，将当前的IP 和流量放入DataNode类，与现有的首链表内容进行对比。

本申请实施例第三方面提供了一种电子设备，包括：

存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现本申请实施例第一方面提供的MR 作业处理方法。

本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例第一方面提供的MR 作业处理方法。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的MR作业处理方法的流程示意图；

图2为本申请一实施例提供的现有的链表内容的示意图；

图3为本申请一实施例提供的MR作业装置的结构示意图；

图4示出了一种电子设备的硬件结构示意图。

具体实施方式

为使得本申请的申请目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请一实施例提供的MR作业处理方法的流程示意图，该方法可应用于电子设备中，电子设备包括：手机、平板电脑、手提电脑、智能手表、智能眼镜等可在移动中进行数据处理的电子设备以及台式计算机、一体机、智能电视机等非可在移动中进行数据处理的电子设备，该方法主要包括以下步骤：

S101、获取源数据，该源数据包括源地址段、源IP、目的IP、总入流量、总出流量；

S102、在map阶段，将源地址段、源IP作为key，目的IP、总入流量、总出流量作为value进行分组，得到分组结果；

S103、在reduce阶段，对源地址段、源IP以及目的IP相同的总入和/或总出流量进行归并。

在本公开中，现在hadoop集群在处理每一个需求时都需要设计并实现多个MapReduce作业，并顺序执行。其中一道作业需要产出格式如：第一列：IPv6 地址段，第二列：IPv6地址，第三列：总入或出流量，第四列：对端<流量>_ 对端IPv6地址1；对端<流量>_对端IPv6地址2；对端<流量>_对端IPv6地址 N。

此表示要处理的结果，每一行，是每一个源IPv6地址，它的总出或总入流量，和它对端IPv6地址TopN，此TopN按对端IP的出或入流量来取，并列明每个对端IP和其流量。

现源数据有12列，只取需要的5列，分别是：源地址段，源IP，目的IP，总入流量，总出流量。

在本公开中，在map阶段，12列源数据需先进行处理，选取新的key-va]ue。取源地址段、源IP作为key，目的IP、总入流量、总出流量作为value，则归并结果为：以源地址段、源IP作为唯一项，将相同的目的IP，和其总入流量、总出流量分组。准备在reduce阶段归并。

在本公开中，在reduce阶段，reduce阶段要做的是对map的分组结果进行归并，可将源IP和源地址段作为一个整体，合并其对应的所有相同的目的 IP，并加和附带的所有总入流量和出流量，这样产出的结果应该是：源地址段、源IP、目的IP、总入流量、总出流量。结果中应是某个源IP，对应某个目的 IP，这条记录是唯一的，是归并过流量的。这个源IP还可以对应其他的目的 IP，形如下：

源IP-目的IP-归并后的总入或总出流量

A-H-300

A-I-500

A-J-3000

B-H-100

B-I-2000

B-J-800

B-K-900

在本公开其中一个实施例中，S103包括：

获取归并后的前K个值最大的总入和/或总出流量；

将归并后的前K个值最大的总入和/或总出流量，以及，该前K个值最大的总入和/或总出流量对应的目的IP作为该源地址段和源IP的流量记录结果。

在本公开中，对K的值不做限定，以K＝2为例，实际生成的流量记录结果，应如：

A，I_500；J_3000

B，I_2000；K_900

C，J_800；H_2700

每个源IP只取其对应的流量最多的2个目的IP和其归并后的流量，将结果作为该源IP的一条记录。这样的记录结果提高入库效率，便于后期web展示。

在本公开其中一个实施例中，上述获取归并后的前K个值最大的总入和/ 或总出流量包括：

在reduce阶段，自定义链表；

将该链表作为reduce阶段的输出，获取归并后的前K个值最大的总入和/ 或总出流量。

上述自定义链表包括：

自定义链表SortedLink类；

自定义一个泛类型Link<E>，同时在Link<E>中声明一个E data和Link<E> next，实现Link<E>时指定E为DataNode类，该DataNode类包含IP和流量两个对象和一个比大小方法；

其中，现在的有链表内容，如图2所示：

Link类有一个泛型E对象，和一个Link<E>对象，名为next。所以在使用时，next其实就是一个Link类，相当于Link无限往下包含了自己，通过判断 Link的size来限制长度。

在每次insert时，会使用while判断ip对应的值，将该dataNode对象，放在比它大的值之前。比如现在insert一个ip2_70，该对象将被放在ip3_71 之前，ip5_61之后，组成一个size是4的新Link。然后再判断按给你限制长度，比如是3，那就删掉最顶部的ip4_41，使新Link的size继续保持为3。

所以用while判断时，按如上说明放入新的对象后，顶部对象依然是最小的，相当于无论Link长度是否达到给定的长度限制，每次insert后，顶部的数值都是最小的，并且向下是由小到大。这样做的目的是Link.next即可以拿到该Link除了顶部的所有对象，超出了限制长度，可方便的删除第一个最小的对象，保持按限制长度下，已经插入的所有对象，都是最小的。

所以在reduce阶段，就可以汇总同一源IP对应的目的IP的前N个流量，在一条记录中，形如上述示例：

A，I_500；J_3000

B，I_2000；K_900

C，J_800；H_2700

请参阅图3，图3是本申请一实施例提供的MR作业处理装置的结构示意图，该装置主要包括：获取模块301、分组模块302和归并模块303。

获取模块301，用于获取源数据，该源数据包括源地址段、源IP、目的IP、总入流量、总出流量。

分组模块302，用于在map阶段，将源地址段、源IP作为key，目的IP、总入流量、总出流量作为value进行分组，得到分组结果。

归并模块303，用于在reduce阶段，对源地址段、源IP以及目的IP相同的总入和/或总出流量进行归并。

在本公开其中一个实施例中，该归并模块303包括：

处理子模块，用于将归并后的前K个值最大的总入和/或总出流量，以及，该前K个值最大的总入和/或总出流量对应的目的IP作为该源地址段和源IP 的流量记录结果。

在本公开其中一个实施例中，该确定子模块包括：

自定义单元，用于在reduce阶段，自定义链表；

确定单元将该链表作为reduce阶段的输出，确定归并后的前K个值最大的总入和/或总出流量。

在本公开其中一个实施例中，该自定义单元包括：

第一自定义子单元，用于自定义链表SortedLink类；

第二自定义子单元，用于自定义一个泛类型Link<E>，同时在Link<E>中声明一个E data和Link<E>next，实现Link<E>时指定E为DataNode类，该 DataNode类包含IP和流量两个对象和一个比大小方法；

对比子单元，用于在调用SortedLink类的inserr方法时，将当前的IP 和流量放入DataNode类，与现有的首链表内容进行对比。

请参见图4，图4示出了一种电子设备的硬件结构图。

本实施例中所描述的电子设备，包括：

存储器41、处理器42及存储在存储器41上并可在处理器上运行的计算机程序，处理器执行该程序时实现前述图1所示实施例中描述的多MR作业处理方法。

进一步地，该电子设备还包括：

至少一个输入设备43；至少一个输出设备44。

上述存储器41、处理器42输入设备43和输出设备44通过总线45连接。

其中，输入设备43具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备44具体可为显示屏。

存储器41可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器41用于存储一组可执行程序代码，处理器42与存储器41耦合。

进一步地，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子设备中，该计算机可读存储介质可以是前述图4所示实施例中的电子设备。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图1所示实施例中描述的MR作业处理方法。进一步地，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM， Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的一种MR作业处理方法、装置、电子设备及可读存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims

1.一种MR作业处理方法，其特征在于，包括：

2.根据权利要求1所述的MR作业处理方法，其特征在于，所述在reduce阶段，对源地址段、源IP以及目的IP相同的总入和/或总出流量进行归并包括：

获取归并后的前K个值最大的总入和/或总出流量；

3.根据权利要求2所述的MR作业处理方法，其特征在于，所述获取归并后的前K个值最大的总入和/或总出流量包括：

在reduce阶段，自定义链表；

将所述链表作为reduce阶段的输出，获取归并后的前K个值最大的总入和/或总出流量。

4.根据权利要求3所述的MR作业处理方法，其特征在于，所述自定义链表包括：

自定义链表SortedLink类；

自定义一个泛类型Link<E>，同时在Link<E>中声明一个E data和Link<E>next，实现Link<E>时指定E为DataNode类，所述DataNode类包含IP和流量两个对象和一个比大小方法；

在调用SortedLink类的insert方法时，将当前的IP和流量放入DataNode类，与现有的首链表内容进行对比。

5.一种MR作业处理装置，其特征在于，包括：

6.根据权利要求5所述的MR作业处理装置，其特征在于，所述归并模块包括：

处理子模块，用于将归并后的前K个值最大的总入和/或总出流量，以及，所述前K个值最大的总入和/或总出流量对应的目的IP作为所述源地址段和源IP的流量记录结果。

7.根据权利要求6所述的MR作业处理装置，其特征在于，所述确定子模块包括：

自定义单元，用于在reduce阶段，自定义链表；

8.根据权利要求7所述的MR作业处理装置，其特征在于，所述自定义单元包括：

第一自定义子单元，用于自定义链表SortedLink类；

第二自定义子单元，用于自定义一个泛类型Link<E>，同时在Link<E>中声明一个Edata和Link<E>next，实现Link<E>时指定E为DaraNode类，所述DataNode类包含IP和流量两个对象和一个比大小方法；

对比子单元，用于在调用SortedLink类的insert方法时，将当前的IP和流量放入DataNode类，与现有的首链表内容进行对比。

9.一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至4中的任一项所述的MR作业处理方法中的各个步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至4中的任一项所述的MR作业处理方法中的各个步骤。