CN108475252A - 用于分布式机器学习的技术 - Google Patents

Abstract

用于分布式机器学习的技术包括移动计算设备，该移动计算设备用于标识包括用于机器学习的多个数据集元素的输入数据集，以及选择数据集元素的子集。移动计算设备将该子集传送到云服务器用于机器学习，以及响应于将该子集传送到云服务器，从该云服务器接收用于本地数据分类的所学习的参数的集合。所学习的参数基于由云服务器从数据集元素的子集提取的特征的扩展。

Description

用于分布式机器学习的技术

相关申请的交叉引用

本申请要求于2015年12月26日提交的标题为“TECHNOLOGIES FOR DISTRIBUTEDMACHINE LEARNING(用于分布式机器学习的技术)”的美国实用型专利申请序列号第14/998,313号的优先权。

背景技术

机器学习涉及使用一种或多种算法的数据研究，以构建可用于基于输入数据来作出预测或决策的模型。在一些实施例中，可基于监督式学习、无监督式学习、和/或强化学习方法来采用机器学习。例如，可采用无监督式学习来分析训练数据集(例如，用户相册中的图像的集合)，以生成用于感兴趣的对象的分类(classification)/归类(categorization)的一个或多个模型，该感兴趣的对象诸如人、地点、脸、面部特征、和/或其他感兴趣的对象。一般而言，此类算法需要大量的数据，是相当复杂的，和/或需要相当大量的执行时间。相应地，机器学习通常被卸载到云计算环境中。

附图说明

在附图中，以示例方式而不是以限制方式图示出本文中描述的概念。为说明简单和清楚起见，附图中所示出的元件不一定是按比例绘制的。在认为适当的情况下，已在多个附图之间重复了附图标记以指示对应的或类似的元件。

图1是用于分布式机器学习的系统的至少一个实施例的简化框图；

图2是图1的系统的移动计算设备环境的至少一个实施例的简化框图；

图3是图1的系统的云服务器环境的至少一个实施例的简化框图；

图4是可由图2的移动计算设备执行的用于分布式机器学习的方法的至少一个实施例的简化流程图；以及

图5是可由图3的移动计算设备执行的用于分布式机器学习的方法的至少一个实施例的简化流程图。

具体实施方式

尽管本公开的概念易于具有各种修改和替代形式，但是，在附图中已作为示例示出并将在本文中详细描述本公开的特定实施例。然而，应当理解，没有将本公开的概念限制于所公开的特定形式的意图，而相反，意图旨在涵盖符合本公开和所附权利要求书的所有修改、等效方案和替代方案。

说明书中对“一个实施例”、“实施例”、“说明性实施例”等的引用指示所描述的实施例可包括特定特征、结构或特性，但是，每一个实施例可包括或可不一定包括该特定特征、结构或特性。此外，此类短语不一定是指同一个实施例。此外，当结合实施例来描述特定的特征、结构或特性时，认为结合无论是否明确描述的其他实施例来实施此类特征、结构或特性在本领域技术人员的知识范围之内。另外，应当领会，以“A、B和C中的至少一者”的形式包括在列表中的项可意指：(A)；(B)；(C)；(A和B)；(B和C)；(A和C)；或(A、B和C)。类似地，以“A、B或C中的至少一者”的形式列出的项可以意指：(A)；(B)；(C)；(A和B)；(B和C)；(A和C)；或(A、B和C)。

在一些情况下，所公开的实施例可在硬件、固件、软件或其任何组合中实现。所公开的实施例也可被实现为由一种或多种瞬态或非瞬态机器可读(例如，计算机可读)存储介质承载或被存储在一种或多种瞬态或非瞬态机器可读(例如，计算机可读)存储介质上的指令，这些指令可由一个或多个处理器读取和执行。机器可读存储介质可以被具体化为用于以可由机器读取的形式存储或传送信息的任何存储设备、机制或其他物理结构(例如，易失性或非易失性存储器、介质盘、或其他介质设备)。

在附图中，一些结构或方法特征可按特定布置和/或排序示出。然而，应当理解，此类特定布置和/或排序可以不是必需的。相反，在一些实施例中，此类特征能以与在说明性附图中示出的不同的方式和/或顺序来布置。另外，在特定附图中包括结构或方法特征不意味着暗示在所有实施例中都需要此类特征，并且在一些实施例中，可以不包括此类特征，或此类特征可以与其他特征相结合。

现在参考图1，用于分布式机器学习的系统100包括移动计算设备102、网络104、以及云服务器106。虽然在图1中仅说明性地示出了一个移动计算设备102、一个网络104、以及一个云服务器106，但在其他实施例中，系统100可包括任何数量的移动计算设备102、网络104、和/或云服务器106。例如，在一些实施例中，多个移动计算设备102可将云服务器106用于分布式机器学习。

如下文中详细地所描述，在说明性实施例中，移动计算设备102选择训练/输入数据集的子集，并将该子集传送到云服务器106用于特征提取。由此，云服务器106从接收自移动计算设备102的训练数据的子集提取特征集，通过将各种变换(例如，旋转变换)应用到各种特征来生成扩展特征集(例如，所学习的参数)，并将该扩展特征集传送到移动计算设备102用于在该移动计算设备102上的本地数据分类(例如，对象识别)。应当领会，本文中所描述的技术允许在移动计算设备102与云服务器106之间分布式的和卸载式的计算的往返。此外，在一些实施例中，小型数据集(即，训练数据的子集)的使用远远快于传统的卸载式机器学习，涉及少得多的联网开销，和/或甚至可准许由移动计算设备102进行的实时的(或接近实时的)分析。相应地，在一些实施例中，云服务器106可被利用为移动计算设备102的无缝扩展。

移动计算设备102可被具体化为能够执行本文中所描述的功能的任何类型的计算设备。例如，移动计算设备102可被具体化为智能电话、蜂窝电话、可穿戴计算设备、个人数字助理、移动互联网设备、平板计算机、上网本、笔记本、超极本^TM、膝上型计算机、和/或任何其他移动计算/通信设备。虽然本文中将移动计算设备102描述为移动设备，但应当领会，在一些实施例中，该计算设备102可以是“固定式的”。例如，在一些实施例中，计算设备102可被具体化为具有有限的计算资源的固定式计算设备。

如图1中所示，说明性移动计算设备102包括处理器110、输入/输出(“I/O”)子系统112、存储器114、数据存储116、通信电路118、以及一个或多个外围设备120。当然，在其他实施例中，移动计算设备102可包括其他组件或附加组件，诸如通常在典型的计算设备中发现的那些组件(例如，各种输入/输出设备和/或其他组件)。另外，在一些实施例中，说明性组件中的一者或多者可被合并在另一组件中，或以其他方式形成另一组件的部分。例如，在一些实施例中，存储器114或其多个部分可以被合并在处理器110中。

处理器110可被具体化为能够执行本文中所描述的功能的任何类型的处理器。例如，处理器110可被具体化为(多个)单核或多核处理器、数字信号处理器、微控制器、或其他处理器或处理/控制电路。类似地，存储器114可被具体化为能够执行本文中所描述的功能的任何类型的易失性或非易失性存储器或数据存储。在操作中，存储器114可存储在移动计算设备102的操作期间使用的各种数据和软件，诸如，操作系统、应用、程序、库、以及驱动程序。存储器114可经由I/O子系统112通信地耦合至处理器110，该I/O子系统112可被具体化为用于促进与处理器110、存储器114以及移动计算设备102的其他组件之间的输入/输出操作的电路和/或组件。例如，I/O子系统112可被具体化为或以其他方式包括存储器控制器中枢、输入/输出控制中枢、固件设备、通信链路(即，点对点链路、总线链路、线路、电缆、光导、印刷电路板迹线等)和/或用于促进输入/输出操作的其他组件和子系统。在一些实施例中，I/O子系统112可形成芯片上系统(SoC)的部分，并可与处理器110、存储器114、以及移动计算设备102的其他组件一起被合并在单个的集成电路芯片上。

数据存储116可被具体化为被配置成用于数据的短期或长期存储的任何类型的一个或多个设备，诸如例如，存储器设备和电路、存储器卡、硬盘驱动器、固态驱动器、或其他数据存储设备。数据存储116和/或存储器114可存储如本文中所描述的在移动计算设备102的操作期间的各种数据。

通信电路118可被具体化为能够实现通过网络(例如，网络104)在移动计算设备102与其他远程设备(例如，云服务器106)之间的通信的任何通信电路、设备或其集合。通信电路系统118可被配置成使用任何一种或多种通信技术(例如，无线或有线通信)和相关联的协议(例如，以太网、WiMAX、LTE、5G等)来实施此类通信。

外围设备120可包括任何数量的附加外围或接口设备，诸如扬声器、话筒、附加存储设备，等等。被包括在外围设备120中的特定设备可以取决于例如移动计算设备102的类型和/或预期用途。

网络104可被具体化为能够促进移动计算设备102与远程设备(例如，云服务器106)之间的通信的任何类型的通信网络。由此，网络104可包括一个或多个网络、路由器、交换机、计算机、和/或其他中介设备。例如，每个网络104可被具体化为或以其他方式包括一个或多个蜂窝网络、电话网络、局域或广域网络、公众可用的全球网络(例如，互联网)、自组织网络、或者其任何组合。

云服务器106可被具体化为能够执行本文中所描述的功能的任何类型的计算设备。例如，在一些实施例中，云服务器106可被具体化为服务器、机架式服务器、刀片服务器、台式计算机、膝上型计算机、平板计算机、笔记本、上网本、超极本^TM、蜂窝电话、智能电话、个人数字助理、移动互联网设备、可穿戴计算设备、混合式设备、和/或任何其他计算/通信设备。如图1中所示，说明性云服务器106包括处理器150、I/O子系统152、存储器154、数据存储156、通信电路158、以及一个或多个外围设备160。处理器150、I/O子系统152、存储器154、数据存储156、通信电路158、和/或外围设备160中的每一个可与移动计算设备102的对应组件类似。由此，对移动计算设备102的那些组件的描述同样可适用于对云服务器106的的那些组件的描述，并且为了描述清楚起见，这里不再重复。

现在参照图2，在使用中，移动计算设备102建立用于分布式机器学习的环境200。说明性环境200包括数据管理模块202、分类模块204、以及通信模块206。环境200的各模块可被具体化为硬件、软件、固件或其组合。例如，环境200的各模块、逻辑和其他组件可形成处理器110或移动计算设备102的其他硬件组件的部分，或以其他方式由处理器110或移动计算设备102的其他硬件组件建立。由此，在一些实施例中，环境200的模块中的一个或多个可被具体化为电气设备的电路或集合(例如，数据管理电路、分类电路、和/或通信电路)。另外，在一些实施例中，说明性模块中的一个或多个可形成另一模块的部分，和/或说明性模块中的一个或多个可彼此独立。

数据管理模块202被配置成用于管理用于机器学习(例如，图案/对象识别)的训练/输入数据。具体而言，在说明性实施例中，数据管理模块202标识输入/训练数据集，并选择用于传送到云服务器106的该输入/训练数据集的子集(即，数据集元素的子集)。在一些实施例中，该子集可包括相对于整个输入/训练数据集中的元素数量的少量的元素。取决于特定实施例，该子集可被随机地或根据预定义的模式选择。如下文所描述，在说明性实施例中，训练/输入数据集是图像的集合(例如，图像册)。在一些实施例中，该图像可描绘各种感兴趣的对象(例如，用于对象识别/分类)。在其他实施例中，该数据集可包括其他类型的数据，诸如例如，用于执行本文中所描述的功能的音频数据/信号和/或其他合适的数据。

分类模块204被配置成用于基于从云服务器106接收的所学习的参数来执行各数据集元素的本地分类。在一些实施例中，云服务器106的所学习的参数可充当用于数据集中的特定数据元素的分类的模型。例如，在图像被分析并且将所学习的参数与该图像相关联的实施例中，分类模块204可执行本地分类以在经分析的数据集的一个或多个图像中识别特定对象(例如，人、脸、面部特征、或者其他感兴趣的对象)。

通信模块206处置移动计算设备102与系统100的其他计算设备(例如，云服务器106)之间的通信。例如，如本文中所描述，移动计算设备102可将输入/训练数据集的子集传送到云服务器106，并基于由云服务器106对该子集的分析来接收用于本地数据分类的所学习的参数的集合。如下文所描述，所学习的参数基于由云服务器106从数据元素的子集提取的特征的扩展。具体而言，云服务器106将一个或多个变换应用到从该子集提取的各种特征，以生成扩展特征集来发送回移动计算设备102用于分类。在一些实施例中，响应于实时或接近实时地(例如，由于与子集而不是整个数据集用于特征提取相关联的联网和计算效率)将子集传送到云服务器106，移动计算设备102可接收用于本地数据分类的所学习的参数的集合。

在一些实施例中，可利用由云服务器106提供的扩展特征集来“重新训练”分类模块204。例如，在一些实施例中，可对在移动计算设备102上可用的完整的数据集执行训练，然而，因为扩展特征集可包括重要“构建块”中的大多数，因此该训练可(例如，仅)集中于“分类”方面(例如，不是特征学习)，并可导致显著更快的性能。应当领会，可利用各种不同的训练方案来执行此类训练，各种不同的训练方案包括，例如支持向量机(SVM)训练。

现在参照图3，在使用中，云服务器106建立用于分布式机器学习的环境300。说明性环境300包括特征确定模块302、特征扩展模块304、以及通信模块306。环境300的各模块可被具体化为硬件、软件、固件或其组合。例如，环境300的各模块、逻辑和其他组件可形成处理器150或云服务器106的其他硬件组件的一部分，或以其他方式由处理器150或云服务器106的其他硬件组件建立。由此，在一些实施例中，环境300的模块中的任何一个或多个可被具体化为电气设备的电路或集合(例如，特征确定电路、特征扩展电路、和/或通信电路)。另外，在一些实施例中，说明性模块中的一个或多个可形成另一模块的部分，和/或说明性模块中的一个或多个可彼此独立。

特征确定模块302可被配置成用于从接收自移动计算设备102的数据集提取或以其他方式标识/确定一个或多个特征。应当领会，特征确定模块302可利用适合用于这样做的任何算法、技术、和/或机制。应当进一步领会，特定的特征可取决于例如正在被分析的数据的类型(例如，图像/视频数据、音频数据、拓扑/地质数据等)而改变。在一些基于图像的实施例中，能以诸如实现对图像中的一个或多个感兴趣的对象的分类/识别之类的方式来标识或确定该特征。如上文所指示，在说明性实施例中，特征确定模块302被配置成用于基于移动计算设备102的训练/输入数据的子集来确定特征。

特征扩展模块304被配置成用于基于由特征确定模块302提取/标识的一个或多个特征来生成扩展特征集。具体而言，特征扩展模块304可确定/标识用于应用到所提取的特征中的一个或多个(例如，用于应用到每个特征)的一个或多个变换，并将该(多个)变换应用到所提取的特征以生成附加特征。所应用的特定变换可取决于特定实施例以及例如所分析的数据的类型(例如，图像数据、音频数据等)而改变。例如，在涉及图像的实施例中，变换可包括旋转变换、透视变换、与图像照射(或场景照明等)相关联的变换、和/或其他合适的图像变换。在一些实施例中，特征扩展模块304可将变换空间离散化为有限数量的变换。例如，所有二维旋转的空间是连续的空间(即，具有无限数量的旋转)，但是可被离散化以充分描述可能的旋转变化(例如，10度、20度、30度、或其他10度的递增直到达到360度)。在一些实施例中，虽然子集中的元素数量和/或所提取的元素数量在数量上可能是小的，但是应用到所提取的数据的变换的数量在数量上可能大得多。由此，特征扩展模块304可借助于所应用的变换来“放大”或显著扩展特征字典。

通信模块306处置云服务器106与系统100的其他计算设备(例如，移动计算设备102)之间的通信。例如，如本文中所描述，云服务器106可从移动计算设备102接收训练/输入数据集的子集，并将扩展特征集作为所学习的参数传送回移动计算设备102用于数据分类。

现在参考图4，在使用中，移动计算设备102可执行用于分布式机器学习的方法400。说明性方法400开始于框402，在框402中，移动计算设备102标识用于机器学习的输入/训练数据集。具体而言，在一些实施例中，在框404中，移动计算设备102可标识图像的集合。然而，如上文所讨论，移动计算设备102可标识另一数据类型(例如，音频数据、拓扑/地理数据等)的数据集。在框406中，移动计算设备102选择数据集元素的子集。应当领会，移动计算设备102可使用任何合适的技术、机制、和/或算法来选择该子集。例如，在一些实施例中，该子集可以是数据集元素的随机选择。在说明性实施例中，移动计算设备102为该子集选择相对于数据集元素总数量而言小数量的数据元素；然而被包括在该子集中的数据元素的数量可取决于特定的实施例而改变。在框408中，移动计算设备102将数据集元素的子集传送到云服务器108用于如下文所描述的特征提取和特征集扩展。

如本文中所描述，云服务器106提取特征并生成扩展特征集，该扩展特征集由移动计算设备102用作用于机器学习(例如，对象分类/识别)的所学习的参数。相应地，在框410中，移动计算设备102从云服务器106接收所学习的参数。具体而言，在框412中，移动计算设备102可接收由云服务器106从所提取的特征和所提取的特征的变换扩展的特征集。

在框414中，移动计算设备102判定是否已经接收或检索到用于分类的数据集。换言之，移动计算设备102判定所学习的参数将被应用到的数据集是否已经由移动计算设备102接收或检索到。如果是，则在框416中，移动计算设备102基于所学习的参数执行那个数据集的数据元素的本地分类。例如，在一些实施例中，移动计算设备102可分析各图像以判定是否可以在图像内标识感兴趣的对象。在框418中，移动计算设备102判定是否更新所学习的参数。如果否，则方法400返回到框414中，在框414中，移动计算设备102判定用于分类的数据集是否已经被接收或检索到。即，移动计算设备102可等待直到有可用于基于所学习的参数的分析的数据集。然而，如果移动计算设备102确定将更新所学习的参数，则方法400返回到框402，在框402中，移动计算设备102标识用于学习的输入/训练数据集。换言之，在一些实施例中，系统100可基于新的数据集元素的选择来周期性地更新所学习的参数的集合，并且基于该新的数据集元素来周期性地特征集提取/扩展。例如，在一些实施例中，移动计算设备102可确定基于新的感兴趣的对象和/或输入/训练数据集的显著变化来更新所学习的参数。

现在参考图5，在使用中，云服务器106可执行用于分布式机器学习的方法500。说明性方法500开始于框502，在框502中，云服务器106从移动计算设备102接收数据集用于分布式机器学习。例如，在框504中，云服务器106可接收图像的集合。如上文所指示，云服务器106可接收训练/输入数据集中由移动计算设备102标识的子集。在框506中，云服务器106从所接收的数据集提取或学习一个或多个特征。如上文所指示，应当领会，云服务器106可利用适合用于这样做的任何算法、技术、和/或机制。此外，特定的特征可取决于正在被分析的特定数据的类型(例如，图像/视频数据、音频数据、拓扑/地质数据等)而改变。在说明性实施例中，所学习的特征可被包括在特征字典中。

在框508中，云服务器106从所提取的特征生成扩展特征集/字典。在这样做时，云服务器106可在框510中标识用于应用到所提取的特征的一个或多个变换，并且在框512中将所标识的变换应用到所提取的特征。所应用的特定变换可取决于特定实施例以及例如所分析的数据的类型(例如，图像数据、音频数据等)而改变。例如，在一些实施例中，变换可包括旋转变换、透视变换、与图像照射(或场景照明等)相关联的变换、和/或其他合适的图像变换。此外，如上文所描述，在确定特定的变换时，云服务器106可利用(例如，0与360度之间)无限数量的可能的参数值来离散化特定类型的变换(例如，图像旋转)，以确定那个特定的变换类型的将利用的有限数量的变换。

在框514中，云服务器106将扩展特征集作为所学习的参数传送到移动计算设备102用于在数据分类中使用。在框516中，云服务器106判定是否更新所学习的参数。如果是，则方法500返回到框502，在框502中，云服务器106从移动计算设备102接收另一数据集(例如，输入/训练数据的不同的子集)。换言之，在一些实施例中，系统100可基于新的数据集元素的选择来周期性地更新所学习的参数的集合，并且基于该新的数据集元素来周期性地特征集提取/扩展。

示例

下面提供了本文中所公开的技术的说明性示例。这些技术的实施例可包括下面所描述的示例中的任何一个或多个以及其任何组合。

示例1包括一种用于分布式机器学习的移动计算设备，该移动计算设备包括：数据管理模块，用于：(i)标识输入数据集，该输入数据集包括用于机器学习的多个数据集元素；以及(ii)选择该数据集元素的子集；以及通信模块，该通信模块(i)将该子集传送到云服务器用于机器学习，以及(ii)响应于到云服务器的该子集的传送，从该云服务器接收用于本地数据分类的所学习的参数的集合，其中，所学习的参数基于由云服务器从数据集元素的子集提取的特征的扩展。

示例2包括示例1的主题，并且其中，用于标识输入数据集包括：用于标识用于分类的图像的集合。

示例3包括示例1和示例2中的任何一项的主题，并且其中，所学习的参数包括由云服务器提取的特征的一个或多个变换。

示例4包括示例1-3中的任何一项的主题，并且进一步包括分类模块，该分类模块用于基于所学习的参数执行数据集元素的本地分类。

示例5包括示例1-4中的任何一项的主题，并且其中，数据集元素中的每一个包括图像；并且其中，用于执行本地分类包括：用于基于所学习的参数在一个或多个图像中识别特定对象。

示例6包括示例1-5中的任何一项的主题，并且其中，用于接收所学习的参数的集合包括：用于响应于到云服务器的子集的实时传送送来接收用于本地数据分类的所学习的参数的集合。

示例7包括示例1-6中的任何一项的主题，并且其中，通信模块用于：基于数据集元素的新子集的选择、到云服务器的该新子集的传送、以及来自云服务器的所学习的参数的经更新的集合的接收，周期性地更新所学习的参数的集合。

示例8包括示例1-7中的任何一项的主题，并且其中，用于选择数据集元素的子集包括：用于选择该数据集元素的随机样本。

示例9包括一种用于由移动计算设备进行的分布式机器学习的方法，该方法包括：由移动计算设备标识输入数据集，该输入数据集包括用于机器学习的多个数据集元素；由移动计算设备选择该数据集元素的子集；由移动计算设备将该子集传送到云服务器用于机器学习；以及响应于将该子集传送到云服务器，由移动计算设备从云服务器接收用于本地数据分类的所学习的参数的集合，其中，所学习的参数基于由云服务器从数据集元素的子集提取的特征的扩展。

示例10包括示例9的主题，并且其中，标识输入数据集包括：标识用于分类的图像的集合。

示例11包括示例9和示例10中的任何一项的主题，并且其中，所学习的参数包括由云服务器提取的特征的一个或多个变换。

示例12包括示例9-11中的任何一项的主题，并且进一步包括：由移动计算设备基于所学习的参数执行数据集元素的本地分类。

示例13包括示例9-12中的任何一项的主题，并且其中，数据集元素中的每一个包括图像；并且其中，执行本地分类包括：基于所学习的参数在一个或多个图像中识别特定对象。

示例14包括示例9-13中的任何一项的主题，并且其中，接收所学习的参数的集合包括：响应于到云服务器的子集的实时传送来接收用于本地数据分类的所学习的参数的集合。

示例15包括示例9-14中的任何一项的主题，并且进一步包括：由移动计算设备基于数据集元素的新子集的选择、到云服务器的该新子集的传送、以及来自云服务器的所学习的参数的经更新的集合的接收，周期性地更新所学习的参数的集合

示例16包括示例9-15中的任何一项的主题，并且其中，选择数据集元素的子集包括：选择该数据集元素的随机样本。

示例17包括一种计算设备，该计算设备包括处理器；以及存储器，具有存储于其中的多条指令，这些指令在由处理器执行时使计算设备执行示例9-16中的任何一项所述的方法。

示例18包括一种或多种机器可读存储介质，包括存储于其上的多条指令，响应于执行这些指令，这些指令使计算设备执行示例9-16中的任何一项所述的方法。

示例19包括一种计算设备，包括用于执行示例9-16中的任何一项所述的方法的装置。

示例20包括一种用于分布式机器学习的云服务器，该云服务器包括：通信模块，用于从移动计算设备接收数据集；特征确定模块，用于从所接收的数据集提取一个或多个特征；以及特征扩展模块，用于基于一个或多个所提取的特征生成扩展特征集；其中，通信模块进一步用于将扩展特征集作为用于数据分类的所学习的参数传送到移动计算设备。

示例21包括示例20的主题，并且其中，用于生成扩展特征集包括用于：标识用于应用到所提取的特征的一个或多个变换；以及将一个或多个所标识的变换应用到所提取的特征中的每一个，以生成所提取的特征中的每一个的一个或多个附加特征。

示例22包括示例20和21中的任何一项的主题，并且其中，数据集包括图像的集合；并且其中，一个或多个变换包括旋转变换或透视变换中的至少一个。

示例23包括示例20-22中的任何一项的主题，并且其中，数据集包括图像的集合；并且其中，一个或多个变换包括与对应的图像的照射相关联的变换。

示例24包括示例20-23中的任何一项的主题，并且其中，用于标识一个或多个变换包括用于：标识用于应用到所提取的特征的变换类型；以及离散化该类型变换的空间，以标识将应用的该变换类型的有限数量的变换。

示例25包括示例20-24中的任何一项的主题，并且其中，从移动计算设备接收的数据集由移动计算设备从数据超集提取的数据元素的随机子集组成。

示例26包括示例20-25中的任何一项的主题，并且其中，用于传送扩展特征集包括：用于响应于从移动计算设备的数据集的实时接收，将扩展特征集传送送到该移动计算设备。

示例27包括一种用于由云服务器进行的分布式机器学习的方法，该方法包括：由云服务器从移动计算设备接收数据集；由云服务器从所接收的数据集提取一个或多个特征；由云服务器基于一个或多个所提取的特征来生成扩展特征集；以及由云服务器将扩展特征集作为用于数据分类的所学习的参数传送到移动计算设备。

示例28包括示例27的主题，并且其中，生成扩展特征集包括：标识用于应用到所提取的特征的一个或多个变换；以及将一个或多个所标识的变换应用到所提取的特征中的每一个，以生成所提取的特征中的每一个的一个或多个附加特征。

示例29包括示例27和28中的任何一项的主题，并且其中，数据集包括图像的集合；并且其中，一个或多个变换包括旋转变换或透视变换中的至少一个。

示例30包括示例27-29中的任何一项的主题，并且其中，数据集包括图像的集合；并且其中，一个或多个变换包括与对应的图像的照射相关联的变换。

示例31包括示例27-30中的任何一项的主题，并且其中，标识一个或多个变换包括：标识用于应用到所提取的特征的变换的类型；以及离散化该类型变换的空间，以标识将应用的该变换类型的有限数量的变换。

示例32包括示例27-31中的任何一项的主题，并且其中，从移动计算设备接收的数据集由移动计算设备从数据超集提取的数据元素的随机子集组成。

示例33包括示例27-32中的任何一项的主题，并且其中，传送扩展特征集包括：响应于从移动计算设备的数据集的实时接收，将扩展特征集传送到该移动计算设备。

示例34包括一种计算设备，该计算设备包括处理器；以及存储器，具有储存在其中的多条指令，这些指令在由处理器执行时使计算设备执行示例27-33中的任何一项所述的方法。

示例35包括一种或多种机器可读存储介质，包括存储于其上的多条指令，响应于执行这些指令，这些指令使计算设备执行示例27-33中的任何一项所述的方法。

示例36包括一种计算设备，该计算设备包括用于执行示例27-33中的任一项所述的方法的装置。

示例37包括一种用于分布式机器学习的移动计算设备，该移动计算设备包括：用于标识输入数据集的装置，该输入数据集包括用于机器学习的多个数据集元素；用于选择数据集元素的子集的装置；以及用于将该子集传送到云服务器用于机器学习的装置以及用于响应于到云服务器的子集的传送而从云服务器接收用于本地数据分类的所学习的参数的集合的装置，其中，所学习的参数基于由云服务器从数据集元素的子集提取的特征的扩展。

示例38包括示例37的主题，并且其中，用于标识输入数据集的装置包括：用于标识用于分类的图像的集合的装置。

示例39包括示例37和示例38中的任何一项的主题，并且其中，所学习的参数包括由云服务器提取的特征的一个或多个变换。

示例40包括示例37-39中的任何一项的主题，并且进一步包括用于基于所学习的参数执行数据集元素的本地分类的装置。

示例41包括示例37-40中的任何一项的主题，并且其中，数据集元素中的每一个包括图像；并且其中，用于执行本地分类的装置包括：用于基于所学习的参数在一个或多个图像中识别特定对象的装置。

示例42包括示例37-41中的任何一项的主题，并且其中，用于接收所学习的参数的集合的装置包括：用于响应于到云服务器的子集的实时传送来接收用于本地数据分类的所学习的参数的集合的装置。

示例43包括示例37-42中的任何一项的主题，并且进一步包括：用于基于数据集元素的新子集的选择、到云服务器的该新子集的传送、以及从云服务器的所学习的参数的经更新的集合的接收而周期性地更新所学习的参数的集合的装置。

示例44包括示例37-43中的任何一项的主题，并且其中，用于选择数据集元素的子集的装置包括：用于选择该数据集元素的随机样本的装置。

示例45包括一种用于分布式机器学习的云服务器，该云服务器包括：用于从移动计算设备接收数据集的装置；用于从所接收的数据集提取一个或多个特征的装置；用于基于一个或多个所提取的特征来生成扩展特征集的装置；以及用于将扩展特征集作为用于数据分类的所学习的参数传送到移动计算设备的装置。

示例46包括示例45的主题，并且其中，用于生成扩展特征集的装置包括：用于标识用于应用到所提取的特征的一个或多个变换的装置；以及用于将一个或多个所标识的变换应用到所提取的特征中的每一个以生成所提取的特征中的每一个的一个或多个附加特征的装置。

示例47包括示例45和46中的任何一项的主题，并且其中，数据集包括图像的集合；并且其中，一个或多个变换包括旋转变换或透视变换中的至少一个。

示例48包括示例45-47中的任何一项的主题，并且其中，数据集包括图像的集合；并且其中，一个或多个变换包括与对应的图像的照射相关联的变换。

示例49包括示例45-48中的任何一项的主题，并且其中，用于标识一个或多个变换的装置包括：用于标识用于应用到所提取的特征的变换类型的装置；以及用于离散化该类型变换的空间以标识将应用的变换类型的有限数量的变换。

示例50包括示例45-49中的任何一项的主题，并且其中，从移动计算设备接收的数据集由该移动计算设备从数据超集提取的数据元素的随机子集组成。

示例51包括示例45-50中的任何一项的主题，并且其中，用于传送扩展特征集的装置包括：用于响应于从移动计算设备的数据集的实时接收而将扩展特征集传送到该移动计算设备的装置。

Claims (25)

1.一种用于分布式机器学习的移动计算设备，所述移动计算设备包括：

数据管理模块，用于：(i)标识输入数据集，所述输入数据集包括用于机器学习的多个数据集元素；以及(ii)选择所述数据集元素的子集；以及

通信模块，所述通信模块(i)将所述子集传送到云服务器用于机器学习；以及(ii)响应于到所述云服务器的所述子集的传送，从所述云服务器接收用于本地数据分类的所学习的参数的集合，

其中，所学习的参数基于由所述云服务器从所述数据集元素的所述子集提取的特征的扩展。

2.如权利要求1所述的移动计算设备，其中，用于标识所述输入数据集包括：用于标识用于分类的图像的集合。

3.如权利要求1所述的移动计算设备，其中，所学习的参数包括由所述云服务器提取的所述特征的一个或多个变换。

4.如权利要求1所述的移动计算设备，进一步包括分类模块，所述分类模块用于基于所学习的参数来执行数据集元素的本地分类。

5.如权利要求4所述的移动计算设备，其中，所述数据集元素中的每一个包括图像；并且

其中，用于执行所述本地分类包括：用于基于所学习的参数在一个或多个图像中识别特定对象。

6.如权利要求1所述的移动计算设备，其中，用于接收所学习的参数的集合包括：用于响应于到所述云服务器的所述子集的实时传送来接收用于本地数据分类的所学习的参数的集合。

7.如权利要求1-6中的任何一项所述的移动计算设备，其中，所述通信模块用于基于所述数据集元素的新子集的选择、到所述云服务器的所述新子集的传送、以及来自所述云服务器的所学习的参数的经更新的集合的接收，周期性地更新所学习的参数的集合。

8.如权利要求1-6中的任何一项所述的移动计算设备，其中，用于选择所述数据集元素的所述子集包括：用于选择所述数据集元素的随机样本。

9.一种用于由移动计算设备进行的分布式机器学习的方法，所述方法包括：

由所述移动计算设备标识输入数据集，所述输入数据集包括用于机器学习的多个数据集元素；

由所述移动计算设备选择所述数据集元素的子集；

由所述移动计算设备将所述子集传送到云服务器用于机器学习；以及

响应于将所述子集传送到所述云服务器，由所述移动计算设备从所述云服务器接收用于本地数据分类的所学习的参数的集合，其中，所学习的参数基于由所述云服务器从所述数据集元素的所述子集提取的特征的扩展。

10.如权利要求9所述的方法，其中，标识所述输入数据集包括：标识用于分类的图像的集合。

11.如权利要求9所述的方法，其中，所学习的参数包括由所述云服务器提取的所述特征的一个或多个变换。

12.如权利要求9所述的方法，进一步包括：由所述移动计算设备基于所学习的参数执行数据集元素的本地分类。

13.如权利要求12所述的方法，其中，所述数据集元素中的每一个包括图像；并且

其中，执行所述本地分类包括：基于所学习的参数在一个或多个图像中识别特定对象。

14.如权利要求9所述的方法，进一步包括：由所述移动计算设备基于所述数据集元素的新子集的选择、到所述云服务器的所述新子集的传送、以及来自所述云服务器的所学习的参数的经更新的集合的接收，周期性地更新所学习的参数的集合。

15.一种或多种机器可读存储介质，包括存储于其上的多条指令，响应于执行所述多条指令，所述多条指令使计算设备执行如权利要求9-14中任何一项所述的方法。

16.一种用于分布式机器学习的云服务器，所述云服务器包括：

通信模块，用于从移动计算设备接收数据集；

特征确定模块，用于从所接收的数据集提取一个或多个特征；以及

特征扩展模块，用于基于一个或多个所提取的特征生成扩展特征集；

其中，所述通信模块进一步用于将所述扩展特征集作为用于数据分类的所学习的参数传送到所述移动计算设备。

17.如权利要求16所述的云服务器，其中，用于生成扩展特征集包括用于：

标识用于应用到所提取的特征的一个或多个变换；以及

将一个或多个所标识的变换应用到所提取的特征中的每一个，以生成所提取的特征中的每一个的一个或多个附加特征。

18.如权利要求17所述的云服务器，其中，所述数据集包括图像的集合；并且

其中，所述一个或多个变换包括旋转变换或透视变换中的至少一个。

19.如权利要求17所述的云服务器，其中，所述数据集包括图像的集合；并且

其中，所述一个或多个变换包括与对应的图像的照射相关联的变换。

20.如权利要求21所述的云服务器，其中，用于标识一个或多个变换包括用于：

标识用于应用到所提取的特征的变换类型；以及

离散化类型变换的空间，以标识将应用的变换类型的有限数量的变换。

21.如权利要求16-20中的任何一项所述的云服务器，其中，从所述移动计算设备接收的所述数据集由所述移动计算设备从数据超集提取的数据元素的随机子集组成。

22.一种用于由云服务器进行的分布式机器学习的方法，所述方法包括：

由所述云服务器从移动计算设备接收数据集；

由所述云服务器从所接收的数据集提取一个或多个特征；

由所述云服务器基于一个或多个所提取的特征来生成扩展特征集；以及

由所述云服务器将所述扩展特征集作为用于数据分类的所学习的参数传送到所述移动计算设备。

23.如权利要求22所述的方法，其中，生成所述扩展特征集包括：

标识用于应用到所提取的特征的一个或多个变换；以及

将一个或多个所标识的变换应用到所提取的特征中的每一个，以生成所提取的特征中的每一个的一个或多个附加特征。

24.如权利要求23所述的方法，其中，标识一个或多个变换包括：

标识用于应用到所提取的特征的变换类型；以及

离散化类型变换的空间，以标识将应用的变换类型的有限数量的变换。

25.一种或多种机器可读存储介质，包括存储于其上的多条指令，响应于执行所述多条指令，所述多条指令使计算设备执行如权利要求22-24中任何一项所述的方法。