CN107220247B - MR计算平台中用户任务map端聚合的控制方法及装置 - Google Patents

Abstract

本申请涉及一种MR计算平台中用户任务map端聚合的控制方法及装置。其中，MR计算平台中用户任务map端聚合的控制方法包括：接收提交的用户任务；检测接收的所述用户任务是否符合预设的map端聚合开启条件；根据检测结果自动控制是否开启所述用户任务的map端聚合。本发明实施例能够根据具体情况自主控制是否对用户任务执行map端聚合，使用户任务进行有效的map端聚合，避免进行无效的map端聚合，从而提高了用户任务的执行效率，提升了MR计算平台性能。

Description

MR计算平台中用户任务map端聚合的控制方法及装置

技术领域

本发明涉及通信领域，尤其涉及一种MR计算平台中用户任务map端聚合的控制方法及装置。

背景技术

MR(MapReduce的简写)任务是分布式系统中的一类重要任务，它运行在分布式系统的MR计算平台上。

在MR计算平台上，用户任务的执行过程是：首先将提交的用户任务转化成多个独立的MR Job；然后各个MR Job并行执行，完成用户任务。在MR Job的执行过程中，涉及到一种处理，即map端聚合。这里通过一个示例说明什么是map端聚合。以求1、2、3、4、5的最大值为例。采用map端聚合处理的方案是：首先按照数据量将数据分成两组，如[1，2，3]和[4，5]，然后针对两组数据分别求出最大值[3]和[5]，然后将[3]和[5]组合为[3，5]，进而求出最大值5。而没有采用map端聚合的方案是：系统按照数据量将数据组合为[1，2，3,，4，5]，进而求出最大值5。当执行MR Job中的map时，如果map端聚合这种处理功能处于开启状态，系统就会执行map端数据的聚合。

map端聚合这种处理本身需要占用一定的执行时间。如果map端聚合起到较好的聚合效果，那么就会缩短MR Job的执行时间，提高整个用户任务的执行效率。如果map端聚合没有起到聚合效果(指map的输入数据量等于输出数据量)，则不但不会缩短MR Job的执行时间，反而由于map端聚合也要占用一定的执行时间，较之没有进行map端聚合会延长MRJob的执行时间，降低整个用户任务的执行效率。在一个用于大数据处理的大型MR计算平台上，每天都会运行大量的用户任务，因此用户任务的执行效率对于MR计算平台的性能具有很大影响。

图1为map端聚合的场景示意图。如图1所示，在求一组数据[1,2,3,4,5,……,50]的最大值时，将数据分成5组，分别由五个线程计算每组的最大值，然后针对每个线程得到的结果再计算最大值，最后得到[1,2,3,4,5,……,50]的最大值。这种处理方式性能较好，但需要消耗更多的计算资源。同样是求一组数据[1,2,3,4,5,……,50]的最大值，还可以通过以下两种情况处理：

情况1：将数据[1,2,3,4,5,……,50]分成1组，一个线程计算[1,2,3,4,5,……,50]的最大值；

情况2：将数据[1,2,3,4,5,……,50]分成50组，五十个线程计算每组的最大值，然后针对每个线程得到的结果再计算最大值。

情况1每组处理50个数字，性能较差；情况2每组处理1个数字，但后续启动的线程要处理50个数字，性能较差，且消耗更多的计算资源。

情况1和情况2都没有起到较好的聚合效果，因此情况1和情况2的map端聚合是无效的。

下面对一些术语进行解释。

物理表：是一种数据库中存储数据的结构，也可以简称为表。

物理表的主键(即主关键字)：主键是指物理表中能唯一确定一条记录的字段。例如，学生表(学号，姓名，性别，班级)包括学号、姓名、性别、班级这四个字段，其中学号能够唯一确定学生表中的一条记录，因此，学号就是学生表的一个主键。

物理表的外键(即外关键字)：外键用于与另一张表的关联，是能确定另一张表记录的字段，用于保持数据的一致性。比如，A表中的一个字段，是B表的主键，那么该字段就可以是A表的外键。例如，上述的学生表(学号，姓名，性别，班级)中，学号是学生表的一个主键。上机记录表(卡号，学号，姓名，序列号)中包括“学号”这个字段，并且“学号”是学生表的主键，所以，上机记录表(卡号，学号，姓名，序列号)中的“学号”是学生表的外键。

可见，外键表示了两个物理表之间的联系。以另一个物理表的外键作主关键字的表被称为主表，具有此外键的表被称为主表的从表。

聚合键：以下面的表1为例。

如果求表1中各个性别的总人数，那么性别为聚合键；

如果求表1中各个班级的总人数，那么班级为聚合键；

可见，针对表中的哪个字段做聚合，哪个字段就是聚合键。

表1

班级	性别	人数
			1年级	男	10
1年级	女	20
			2年级	男	15
2年级	女	18

目前，在相关技术中，MR计算平台的处理系统对于所有用户任务的map端聚合要么全部开启，要么全部关闭。这种“一刀切”的方式既不能利用有效的map端聚合提高用户任务的执行效率，也不能避免无效的map端聚合降低用户任务的执行效率。

发明内容

本发明的目的在于提供一种MR计算平台中用户任务map端聚合的控制方法及装置，提高用户任务的执行效率，提升MR计算平台性能。

为实现上述目的，本发明提出了一种MR计算平台中用户任务map端聚合的控制方法，包括：

接收提交的用户任务；

检测接收的所述用户任务是否符合预设的map端聚合开启条件；

根据检测结果自动控制是否开启所述用户任务的map端聚合。

进一步地，上述方法还可具有以下特点，所述map端聚合开启条件包括：

所述用户任务为非建表语句，聚合键不是所述用户任务的物理表的主键并且也不是所述用户任务的物理表的外键。

进一步地，上述方法还可具有以下特点，所述map端聚合开启条件包括：

所述用户任务为非建表语句，所述用户任务的历史map端聚合记录中的map端聚合的总输入数据量与总输出数据量的比例大于或等于预设的比例阈值。

进一步地，上述方法还可具有以下特点，所述map端聚合开启条件包括：

所述用户任务为非建表语句，所述用户任务被人工设置了map端聚合。

进一步地，上述方法还可具有以下特点，在所述接收提交的用户任务之前，还包括：

预设所述map端聚合开启条件。

进一步地，上述方法还可具有以下特点，还包括：

在所述用户任务为建表语句的情况下，执行所述建表语句，创建物理表；

提示用户指定创建的所述物理表的主键和外键；

根据用户指定设置创建的所述物理表的主键和外键。

本发明实施例的MR计算平台中用户任务map端聚合的控制方法，能够提高用户任务的执行效率，提升MR计算平台性能。

为实现上述目的，本发明还提出了一种MR计算平台中用户任务map端聚合的控制装置，包括：

接收模块，用于接收提交的用户任务；

检测模块，用于检测所述接收模块接收的所述用户任务是否符合预设的map端聚合开启条件；

控制模块，用于根据所述检测模块的检测结果自动控制是否开启所述用户任务的map端聚合。

进一步地，上述装置还可具有以下特点，所述map端聚合开启条件包括：

所述用户任务为非建表语句，聚合键不是所述用户任务的物理表的主键并且也不是所述用户任务的物理表的外键。

进一步地，上述装置还可具有以下特点，所述map端聚合开启条件包括：

所述用户任务为非建表语句，所述用户任务的历史map端聚合记录中的map端聚合的总输入数据量与总输出数据量的比例大于或等于预设的比例阈值。

进一步地，上述装置还可具有以下特点，所述map端聚合开启条件包括：

所述用户任务为非建表语句，所述用户任务被人工设置了map端聚合。

进一步地，上述装置还可具有以下特点，还包括：

预设模块，与所述检测模块相连，用于预设所述map端聚合开启条件。

进一步地，上述装置还可具有以下特点，还包括：

创建模块，用于在所述用户任务为建表语句的情况下，执行所述建表语句，创建物理表；

提示模块，用于提示用户指定所述创建模块创建的所述物理表的主键和外键；

设置模块，用于根据用户指定设置所述创建模块创建的所述物理表的主键和外键。

本发明实施例的MR计算平台中用户任务map端聚合的控制装置，能够提高用户任务的执行效率，提升MR计算平台性能。

为实现上述目的，本发明还提出了一种MR计算平台中用户任务map端聚合的控制装置，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器被配置为：

接收提交的用户任务；

检测接收的所述用户任务是否符合预设的map端聚合开启条件；

根据检测结果自动控制是否开启所述用户任务的map端聚合。

本发明实施例的MR计算平台中用户任务map端聚合的控制装置，能够提高用户任务的执行效率，提升MR计算平台性能。

附图说明

图1为map端聚合的场景示意图。

图2为本发明实施例一中MR计算平台中用户任务map端聚合的控制方法的流程图。

图3为本发明实施例二中MR计算平台中用户任务map端聚合的控制方法的流程图。

图4为本发明实施例三中MR计算平台中用户任务map端聚合的控制方法的流程图。

图5为本发明实施例四中MR计算平台中用户任务map端聚合的控制装置的结构框图。

图6为本发明实施例五中MR计算平台中用户任务map端聚合的控制装置的结构框图。

图7为本发明实施例六中MR计算平台中用户任务map端聚合的控制装置的结构框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，根据本发明精神所获得的所有实施例，都属于本发明的保护范围。

图2为本发明实施例一中MR计算平台中用户任务map端聚合的控制方法的流程图。如图2所示，本实施例中，MR计算平台中用户任务map端聚合的控制方法可以包括如下步骤：

步骤S201，接收提交的用户任务；

步骤S202，检测接收的用户任务是否符合预设的map端聚合开启条件；

map端聚合开启条件是指能够对用户任务进行有效map端聚合的提交。用户任务满足map端聚合开启条件，通常意味着对该用户任务进行map端聚合是有效的，能够提高MR计算平台的性能。用户任务不满足map端聚合开启条件，通常意味着对该用户任务进行map端聚合是无效的，既浪费了较多的计算资源，又不能提高MR计算平台的性能。

其中，map端聚合开启条件可以包括：用户任务为非建表语句，聚合键不是用户任务的物理表的主键并且也不是用户任务的物理表的外键。为了引用方便，以下将该map端聚合开启条件简称为map端聚合开启条件一。当聚合键为物理表的主键或外键时，进行map端聚合的结果是输出等于输入，map端聚合肯定是无效的。因此，只有在聚合键不是用户任务的物理表的主键并且也不是用户任务的物理表的外键的情况下，进行map端聚合才可能有效。map端聚合开启条件一排除了一类map端聚合无效的用户任务，避免对这类用户任务进行无效的map端聚合，从而提高了用户任务的执行效率，提升了MR计算平台性能。

其中，建表语句可以是DDL(Data Definition La nguage，数据定义语言)建表语句或其他建表语句。

对于首次运行和非首次运行的用户任务，都可以通过上述的map端聚合开启条件一来判断是否需要开启map端聚合。

其中，map端聚合开启条件还可以包括：用户任务为非建表语句，用户任务的历史map端聚合记录中的map端聚合的总输入数据量与总输出数据量的比例大于或等于预设的比例阈值。比例阈值可以依据经验值来设定。以下将该map端聚合开启条件简称为map端聚合开启条件二。

当用户任务的历史map端聚合记录中的map端聚合的总输入数据量与总输出数据量的比例大于或等于预设的比例阈值时，说明该用户任务的map端聚合是有效的，因此可以开启该用户任务的map端聚合。如果说map端聚合开启条件一是以类似“黑名单”的方式排除了一类map端聚合无效的用户任务，那么map端聚合开启条件二则是以类似“白名单”的方式包括了一类map端聚合有效的用户任务。

在应用中，map端聚合开启条件二适合于对非首次运行的用户任务判断是否需要开启map端聚合。

其中，map端聚合开启条件还可以包括：用户任务为非建表语句，并且用户任务被人工设置了map端聚合。以下将该map端聚合开启条件简称为map端聚合开启条件三。

map端聚合开启条件三使得本发明能够根据用户针对具体用户任务的具体需要来判断是否开启map端聚合，有助于满足用户的个性化需求，提高用户的满意度。

在应用中，可以同时预设多个map端聚合开启条件，只要用户任务符合其中一个map端聚合开启条件，就开启用户任务的map端聚合。

步骤S203，根据检测结果自动控制是否开启该用户任务的map端聚合。

即，当接收的用户任务符合预设的map端聚合开启条件时，开启该用户任务的map端聚合；当接收的用户任务不符合预设的map端聚合开启条件时，关闭该用户任务的map端聚合。这样，就可以合理地控制用户任务map端聚合的开启，使得map端聚合有效地进行，避免进行无效的map端聚合，导致计算资源的浪费和MR计算平台性能的降低。

本发明实施例的MR计算平台中用户任务map端聚合的控制方法，能够根据具体情况自主控制是否对用户任务执行map端聚合，使用户任务进行有效的map端聚合，避免进行无效的map端聚合，从而提高了用户任务的执行效率，提升了MR计算平台性能。

图3为本发明实施例二中MR计算平台中用户任务map端聚合的控制方法的流程图。如图2所示，本实施例中，MR计算平台中用户任务map端聚合的控制方法可以包括如下步骤：

步骤S301，预设map端聚合开启条件；

通过本步骤，用户可以根据用户任务的特点来设置或修改map端聚合开启条件，以便map端聚合开启条件与用户任务的特点相适应，从而提高处理效率。例如，要处理的所有用户任务都是已经运行过的，也就是说，要处理的所有用户任务都是非首次运行，那么map端聚合开启条件可以仅仅设置为一个，即前述的map端聚合开启条件二。这样，就不必一一判断所有的map端聚合开启条件，进一步提高了用户任务的执行效率，从而能够进一步提升MR计算平台性能。

步骤S302，接收提交的用户任务；

步骤S303，检测接收的用户任务是否符合预设的map端聚合开启条件；

步骤S304，根据检测结果自动控制是否开启该用户任务的map端聚合。

本发明实施例的MR计算平台中用户任务map端聚合的控制方法，能够根据具体情况自主控制是否对用户任务执行map端聚合，使用户任务进行有效的map端聚合，避免进行无效的map端聚合，从而提高了用户任务的执行效率，提升了MR计算平台性能。并且，本发明实施例的MR计算平台中用户任务map端聚合的控制方法，还使用户能够根据用户任务的特点来设置或修改map端聚合开启条件，以使map端聚合开启条件与用户任务的特点相适应，从而进一步提高用户任务的执行效率，提升MR计算平台性能。

图4为本发明实施例三中MR计算平台中用户任务map端聚合的控制方法的流程图。如图4所示，本实施例中，MR计算平台中用户任务map端聚合的控制方法可以包括如下步骤：

步骤S401，接收提交的用户任务；

步骤S402，检测该用户任务是否为建表语句，如果该用户任务是建表语句，则执行步骤S409，如果该用户任务不是建表语句(或者说该用户任务为非建表语句)，则执行步骤S403；

步骤S403，检测该用户任务是否已被人工设置map端聚合，如果该用户任务已被人工设置map端聚合，则执行步骤S408，如果该用户任务未被人工设置map端聚合，则执行步骤S404；

步骤S404，检测聚合键是否是该用户任务物理表的主键或者外键，如果聚合键是该用户任务物理表的主键或者外键，则执行步骤S405，否则，如果聚合键既不是该用户任务物理表的主键也不是该用户任务物理表的外键，则执行步骤S408；

步骤S405，检测该用户任务是否为首次运行，如果该用户任务为首次运行，则执行步骤S407，如果该用户任务不是首次运行，则执行步骤S406；

步骤S406，检测用户任务的历史map端聚合记录中的map端聚合的总输入数据量与总输出数据量的比例是否小于预设的比例阈值，如果小于则执行步骤S407，否则执行步骤S408；

步骤S407，开启该用户任务的map端聚合，结束；

步骤S408，关闭该用户任务的map端聚合，结束；

步骤S409，执行建表语句，创建物理表；

步骤S410，提示用户指定步骤S409所创建的物理表的主键和外键；

步骤S411，根据用户指定设置创建的物理表的主键和外键，结束。

如果用户没有指定物理表的主键和外键，默认该物理表没有主键和外键。

为物理表设置了主键和外键后，方便在以后根据前述的map端聚合开启条件一对涉及该物理表的用户任务是否进行map端聚合进行判断。这样有助于扩大能够进行有效判断的用户任务的范围。

本发明实施例的MR计算平台中用户任务map端聚合的控制方法，能够根据具体情况自主控制是否对用户任务执行map端聚合，使用户任务进行有效的map端聚合，避免进行无效的map端聚合，从而提高了用户任务的执行效率，提升了MR计算平台性能。

本发明还提出了MR计算平台中用户任务map端聚合的控制装置，用以实施上述的MR计算平台中用户任务map端聚合的控制方法。本发明前述MR计算平台中用户任务map端聚合的控制方法实施例中的原理说明，也同样适用于下述的MR计算平台中用户任务map端聚合的控制装置实施例。

图5为本发明实施例四中MR计算平台中用户任务map端聚合的控制装置的结构框图。如图5所示，本实施例中，MR计算平台中用户任务map端聚合的控制装置500可以包括接收模块510、检测模块520和控制模块530。接收模块510、检测模块520和控制模块530顺次相连。其中，接收模块510用于接收提交的用户任务。检测模块520用于检测接收模块510接收的用户任务是否符合预设的map端聚合开启条件。控制模块530用于根据检测模块520的检测结果自动控制是否开启用户任务的map端聚合。

其中，map端聚合开启条件可以包括：用户任务为非建表语句，聚合键不是用户任务的物理表的主键并且也不是用户任务的物理表的外键。

其中，建表语句可以是DDL建表语句或其他建表语句。

其中，map端聚合开启条件还可以包括：用户任务为非建表语句，用户任务的历史map端聚合记录中的map端聚合的总输入数据量与总输出数据量的比例大于或等于预设的比例阈值。比例阈值可以依据经验值来设定。

其中，map端聚合开启条件还可以包括：用户任务为非建表语句，并且用户任务被人工设置了map端聚合。

在应用中，可以同时预设多个map端聚合开启条件，只要用户任务符合其中一个map端聚合开启条件，控制模块530就开启用户任务的map端聚合。

本发明实施例的MR计算平台中用户任务map端聚合的控制装置，能够根据具体情况自主控制是否对用户任务执行map端聚合，使用户任务进行有效的map端聚合，避免进行无效的map端聚合，从而提高了用户任务的执行效率，提升了MR计算平台性能。

图6为本发明实施例五中MR计算平台中用户任务map端聚合的控制装置的结构框图。

如图6所示，本实施例中，MR计算平台中用户任务map端聚合的控制装置500可以包括接收模块510、检测模块520、控制模块530和预设模块540。接收模块510、检测模块520和控制模块530顺次相连。预设模块540与检测模块520相连。其中，接收模块510用于接收提交的用户任务。检测模块520用于检测接收模块510接收的用户任务是否符合预设的map端聚合开启条件。控制模块530用于根据检测模块520的检测结果自动控制是否开启用户任务的map端聚合。预设模块540用于预设map端聚合开启条件。

通过预设模块540，用户可以根据用户任务的特点来设置或修改map端聚合开启条件，以便map端聚合开启条件与用户任务的特点相适应，从而提高处理效率。

本发明实施例的MR计算平台中用户任务map端聚合的控制装置，能够根据具体情况自主控制是否对用户任务执行map端聚合，使用户任务进行有效的map端聚合，避免进行无效的map端聚合，从而提高了用户任务的执行效率，提升了MR计算平台性能。并且，本发明实施例的MR计算平台中用户任务map端聚合的控制装置，还使用户能够根据用户任务的特点来设置或修改map端聚合开启条件，以使map端聚合开启条件与用户任务的特点相适应，从而进一步提高用户任务的执行效率，提升MR计算平台性能。

在本发明其他实施例中，MR计算平台中用户任务map端聚合的控制装置还可以包括创建模块、提示模块和设置模块。提示模块和设置模块分别与创建模块相连。创建模块用于在用户任务为建表语句的情况下，执行建表语句，创建物理表。提示模块用于提示用户指定创建模块创建的物理表的主键和外键。设置模块用于根据用户指定设置创建模块创建的物理表的主键和外键。

图7为本发明实施例六中MR计算平台中用户任务map端聚合的控制装置的结构框图。如图7所示，MR计算平台中用户任务map端聚合的控制装置700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。

处理组件702通常控制MR计算平台中用户任务map端聚合的控制装置700的整体操作，例如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤，具体包括：接收提交的用户任务；检测接收的用户任务是否符合预设的map端聚合开启条件；根据检测结果自动控制是否开启用户任务的map端聚合。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理部件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在MR计算平台中用户任务map端聚合的控制装置700的操作。这些数据的示例包括用于在MR计算平台中用户任务map端聚合的控制装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件706为MR计算平台中用户任务map端聚合的控制装置700的各种组件提供电力。电力组件706可以包括电源管理系统，一个或多个电源，及其他与为MR计算平台中用户任务map端聚合的控制装置700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述MR计算平台中用户任务map端聚合的控制装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当MR计算平台中用户任务map端聚合的控制装置700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当MR计算平台中用户任务map端聚合的控制装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。

I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为MR计算平台中用户任务map端聚合的控制装置700提供各个方面的状态评估。例如，传感器组件714可以检测到MR计算平台中用户任务map端聚合的控制装置700的打开/关闭状态，组件的相对定位，例如所述组件为MR计算平台中用户任务map端聚合的控制装置700的显示器和小键盘，传感器组件714还可以检测MR计算平台中用户任务map端聚合的控制装置700或MR计算平台中用户任务map端聚合的控制装置700一个组件的位置改变，用户与MR计算平台中用户任务map端聚合的控制装置700接触的存在或不存在，MR计算平台中用户任务map端聚合的控制装置700方位或加速/减速和MR计算平台中用户任务map端聚合的控制装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件716被配置为便于MR计算平台中用户任务map端聚合的控制装置700和其他设备之间有线或无线方式的通信。MR计算平台中用户任务map端聚合的控制装置700可以接入基于通信标准的无线网络，如WiFi，2G，3G或4G或它们的组合。在一个示例性实施例中，通信部件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，MR计算平台中用户任务map端聚合的控制装置700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由MR计算平台中用户任务map端聚合的控制装置700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本发明实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种MR计算平台中用户任务map端聚合的控制方法，所述方法包括：接收提交的用户任务；检测接收的用户任务是否符合预设的map端聚合开启条件；根据检测结果自动控制是否开启用户任务的map端聚合。

本发明实施例的MR计算平台中用户任务map端聚合的控制装置，能够根据具体情况自主控制是否对用户任务执行map端聚合，使用户任务进行有效的map端聚合，避免进行无效的map端聚合，从而提高了用户任务的执行效率，提升了MR计算平台性能。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种MR计算平台中用户任务map端聚合的控制方法，其特征在于，包括：

接收提交的用户任务；

检测接收的所述用户任务是否符合预设的map端聚合开启条件；

根据检测结果自动控制是否开启所述用户任务的map端聚合；

所述map端聚合开启条件包括：所述用户任务为非建表语句，聚合键不是所述用户任务的物理表的主键并且也不是所述用户任务的物理表的外键。

2.根据权利要求1所述的MR计算平台中用户任务map端聚合的控制方法，其特征在于，所述map端聚合开启条件包括：

所述用户任务为非建表语句，所述用户任务的历史map端聚合记录中的map端聚合的总输入数据量与总输出数据量的比例大于或等于预设的比例阈值。

3.根据权利要求1所述的MR计算平台中用户任务map端聚合的控制方法，其特征在于，所述map端聚合开启条件包括：

所述用户任务为非建表语句，所述用户任务被人工设置了map端聚合。

4.根据权利要求1所述的MR计算平台中用户任务map端聚合的控制方法，其特征在于，在所述接收提交的用户任务之前，还包括：

预设所述map端聚合开启条件。

5.根据权利要求1所述的MR计算平台中用户任务map端聚合的控制方法，其特征在于，还包括：

在所述用户任务为建表语句的情况下，执行所述建表语句，创建物理表；

提示用户指定创建的所述物理表的主键和外键；

根据用户指定设置创建的所述物理表的主键和外键。

6.一种MR计算平台中用户任务map端聚合的控制装置，其特征在于，包括：

接收模块，用于接收提交的用户任务；

检测模块，用于检测所述接收模块接收的所述用户任务是否符合预设的map端聚合开启条件；

控制模块，用于根据所述检测模块的检测结果自动控制是否开启所述用户任务的map端聚合；

所述map端聚合开启条件包括：所述用户任务为非建表语句，聚合键不是所述用户任务的物理表的主键并且也不是所述用户任务的物理表的外键。

7.根据权利要求6所述的MR计算平台中用户任务map端聚合的控制装置，其特征在于，所述map端聚合开启条件包括：

所述用户任务为非建表语句，所述用户任务的历史map端聚合记录中的map端聚合的总输入数据量与总输出数据量的比例大于或等于预设的比例阈值。

8.根据权利要求6所述的MR计算平台中用户任务map端聚合的控制装置，其特征在于，所述map端聚合开启条件包括：

所述用户任务为非建表语句，所述用户任务被人工设置了map端聚合。

9.根据权利要求6所述的MR计算平台中用户任务map端聚合的控制装置，其特征在于，还包括：

预设模块，与所述检测模块相连，用于预设所述map端聚合开启条件。

10.根据权利要求6所述的MR计算平台中用户任务map端聚合的控制装置，其特征在于，还包括：

创建模块，用于在所述用户任务为建表语句的情况下，执行所述建表语句，创建物理表；

提示模块，用于提示用户指定所述创建模块创建的所述物理表的主键和外键；

设置模块，用于根据用户指定设置所述创建模块创建的所述物理表的主键和外键。

11.一种MR计算平台中用户任务map端聚合的控制装置，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器被配置为：

接收提交的用户任务；

检测接收的所述用户任务是否符合预设的map端聚合开启条件；

根据检测结果自动控制是否开启所述用户任务的map端聚合；

所述map端聚合开启条件包括：所述用户任务为非建表语句，聚合键不是所述用户任务的物理表的主键并且也不是所述用户任务的物理表的外键。