CN110659740A - 基于边缘节点处的数据输入对机器学习模型排序和更新 - Google Patents

Abstract

由处理器接收用于训练新的机器学习模型的输入数据集。对于多个被训练的机器学习模型中的每一个，取得哈希函数和用于训练机器学习模型的训练数据集的草图。基于哈希函数和输入数据集计算输入数据集的草图，并计算训练数据集的草图与输入数据集的草图之间的距离。被训练的机器学习模型的计算距离从最小到最大进行排序，并且至少部分地基于该排序，从被训练的机器学习模型中选择用于输入数集的种子机器学习模型。启动使用所选择的种子机器学习模型和输入数据集的新的机器学习模型的训练过程。

Description

基于边缘节点处的数据输入对机器学习模型排序和更新

关于联邦政府资助的研究或开发的声明

本发明是在陆军研究办公室(AR)授予的W911NF-16-3-0001的政府支持下完成的。政府对本发明享有一定的权利。

技术领域

本发明一般涉及计算机系统，并且更具体地，涉及用于基于在分布式计算机系统中的边缘节点处的数据输入来对机器学习模型进行排序和更新的系统和方法。

背景技术

机器学习是通常使用统计技术以通过向计算机馈送采用观察和现实世界交互的形式的数据和信息来给予计算机以自主方式随时间学习或逐步改进特定任务的性能的能力的人工智能的子集。机器学习模型可以根据在分布式计算机系统的边缘节点处收集的数据来构建，以实现对当前和未来事件的检测、分类和预测。深度学习是基于学习数据表示的更广泛的机器学习方法系列的一部分，而不是特定于任务的算法。深度学习模型需要大量标记的训练数据集。

通常，训练作为深度学习模型的机器学习模型的第一步是识别种子模型(例如，先前训练的机器学习模型)，其可被重新训练以更好地适合新的输入数据集和/或应用。识别这种种子模型的现有方法包括试错法，该方法既麻烦又是手动的，并且可能不会导致选择与其他潜在种子模型相比需要最少量训练的种子模型。

用于机器学习的常见范例是机器学习模型在云中(例如，在云节点上)训练，并且被训练的机器学习模型应用或用于在分布式计算机系统的边缘节点处对实时数据进行评分。该方法的主要缺点是不能跟踪在应用了训练模型的边缘节点处看到的输入的变化，因此，该方法无法支持持续学习和对先前训练的机器学习模型的更新。

因此，虽然机器学习技术适合于预期目的，但是，需要一种具有本发明的实施例的某些特征的系统或方法。

发明内容

根据本发明的一个或多个实施例，提供了用于基于在分布式计算机系统中的边缘节点处的数据输入来对机器学习模型进行排序和更新的计算机实现的方法。非限制性示例计算机实现的方法包括由处理器接收用于训练新的机器学习模型的输入数据集。对于多个被训练的机器学习模型中的每一个，取得哈希函数和用于训练机器学习模型的训练数据集的草图(sketch)。基于哈希函数和输入数据集来计算输入数据集的草图，并计算训练数据集的草图与输入数据集的草图之间的距离。对多个被训练的机器学习模型从最小计算距离到最大计算距离进行排序。至少部分地基于该排序，从多个被训练的机器学习模型中选择种子机器学习模型。至少部分地基于该选择，启动新的机器学习模型的训练过程。训练过程至少部分地基于所选择的种子机器学习模型和输入数据集。

除了上文或下文描述的一个或多个特征之外，或者作为替代，计算机实现的方法的其他实施例可以包括：选择被排序为具有最小计算距离的被训练的机器学习模型作为种子机器学习模型。使用种子模型的技术益处和优点可包括训练新的机器学习模型所需的较少的中央处理单元(CPU)资源。使用种子模型的附加技术益处和优点可以包括由于生成新的机器学习模型所需的较少量的训练数据而需要的较少的存储容量和较少的网络/总线带宽。

除了上文或下文描述的一个或多个特征之外，或作为替代，计算机实现的方法的其他实施例可以包括：响应于接收，由节点自动执行上述执行、排序、选择和启动。技术优势和优点可以包括不需要用户输入来生成新的机器学习模型。这可以节省CPU和网络资源两者。

除了上文或下文描述的一个或多个特征之外，或作为替代，计算机实现的方法的其他实施例可以包括：启动对所选择的种子机器学习模型的重新训练，该重新训练至少部分地基于用于训练所选择的种子机器学习模型的训练数据集和输入数据集。技术优势和优点可以包括使机器学习模型保持最新并随时间不断调整。

除了上文或下文描述的一个或多个特征之外，或者作为替代，计算机实现的方法的其他实施例可以包括：至少部分地基于训练数据集的草图和输入数据集的草图之间的距离小于阈值，启动重新训练。技术优势和优点可以包括使机器学习模型保持最新并随时间不断调整。

本发明的其他实施例在计算机系统和计算机程序产品中实现上述方法的特征。

通过本发明的技术实现了其他技术特征和益处。本发明的实施例和方面在本文予以了详细描述，并且被认为是所要求保护的主题的一部分。为了更好地理解，请参考具体实施方式和附图。

附图说明

保护本文描述的专有权的细节在说明书后附的权利要求中特别指出并清楚地要求。通过以下结合附图的具体实施方式，本发明的实施例的前述和其他特征和优点将变得显而易见，其中：

图1描绘了根据本发明的一个或多个实施例的云计算环境；

图2描绘了根据本发明的一个或多个实施例的抽象模型层；

图3描绘了用于实现本发明的一个或多个实施例的处理系统；

图4描绘了根据本发明的一个或多个实施例的系统的框图；

图5描绘了根据本发明的一个或多个实施例的用于对机器学习模型进行排序的过程的流程图；以及

图6描绘了根据本发明的一个或多个实施例的用于在边缘处的分布式学习的过程的流程图。

在此描绘的图是说明性的。在不脱离本发明的精神的情况下，可以对图或其中描述的操作进行许多变化。例如，可以以不同的顺序执行动作，或者可以添加、删除或修改动作。而且，术语“耦合”及其变形描述了在两个元件之间具有通信路径，并不意味着元件之间的直接连接而在它们之间没有中间元件/连接。所有这些变化都被认为是说明书的一部分。

在附图和以下对所公开实施例的详细描述中，附图中所示的各种元件具有两位或三位数字的附图标记。除了少数例外之外，每个附图标记的最左边的数字对应于首次示出元素的图。

具体实施方式

本文参考相关附图描述了本发明的各种实施例。在不脱离本发明的范围的情况下，可以设计出本发明的替代实施例。在以下描述和附图中的元件之间阐述了各种连接和位置关系(例如，上方、下方、相邻等)。除非另有说明，这些连接和/或位置关系可以是直接的或间接的，并且本发明并不意图在这方面进行限制。因此，实体的耦合可以指直接或间接耦合，并且实体之间的位置关系可以是直接或间接的位置关系。此外，本文描述的各种任务和处理步骤可以合并到更全面的程序或过程中，该程序或过程具有本文未详细描述的附加步骤或功能。

以下定义和缩写将用于解释权利要求和说明书。如本文所使用的，术语“包括”、“包含”、“包括了”，“包含了”、“具有”、“具备”、“包含”或“包含了”或其任何其他变型旨在涵盖非排外性的包括。例如，包括元素列表的组合物、混合物、过程、方法、物品或装置不一定仅限于那些元素，而是可以包括未明确列出的其他元素或对这种组合物、混合物、过程、方法、物品或装置固有的其他元素。

另外，术语“示例性”在本文中用于表示“用作示例、实例或说明”。本文中描述为“示例性”的任何实施例或设计不一定被解释为比其他实施例或者设计优选或有利。术语“至少一个”和“一个或多个”可以被理解为包括大于或等于一的任何整数，即一、二、三、四等。术语“多个”可以被理解为包括任何大于或等于二的整数，即二、三、四、五等。术语“连接”可以包括间接“连接”和直接“连接”。

术语“大约”、“基本上”、“大致”及其变体旨在包括与基于提交申请时可用的设备的特定量的测量相关联的误差程度。例如，“大约”可以包括给定值的±8％或5％、或2％的范围。

为简洁起见，本文中可能会或可能不会详细描述与制造和使用本发明的方面有关的传统技术。特别地，用于实现本文描述的各种技术特征的计算系统和特定计算机程序的各个方面是公知的。因此，为了简洁起见，在此仅简要地提及许多传统的实现细节，或者在不提供公知的系统和/或处理细节的情况下完全省略许多传统的实现细节。

首先应当理解，尽管本公开包括关于云计算的详细描述，但其中记载的技术方案的实现却不限于云计算环境，而是能够结合现在已知或以后开发的任何其它类型的计算环境而实现。

云计算是一种服务交付模式，用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源，例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。

特征包括：

按需自助式服务：云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。

广泛的网络接入：计算能力可以通过标准机制在网络上获取，这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台(例如移动电话、膝上型电脑、个人数字助理PDA)对云的使用。

资源池：提供者的计算资源被归入资源池并通过多租户(multi-tenant)模式服务于多重消费者，其中按需将不同的实体资源和虚拟资源动态地分配和再分配。一般情况下，消费者不能控制或甚至并不知晓所提供的资源的确切位置，但可以在较高抽象程度上指定位置(例如国家、州或数据中心)，因此具有位置无关性。

迅速弹性：能够迅速、有弹性地(有时是自动地)部署计算能力，以实现快速扩展，并且能迅速释放来快速缩小。在消费者看来，用于部署的可用计算能力往往显得是无限的，并能在任意时候都能获取任意数量的计算能力。

可测量的服务：云系统通过利用适于服务类型(例如存储、处理、带宽和活跃用户帐号)的某种抽象程度的计量能力，自动地控制和优化资源效用。可以监测、控制和报告资源使用情况，为服务提供者和消费者双方提供透明度。

服务模型如下：

软件即服务(SaaS)：向消费者提供的能力是使用提供者在云基础架构上运行的应用。可以通过诸如网络浏览器的瘦客户机接口(例如基于网络的电子邮件)从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置外，消费者既不管理也不控制包括网络、服务器、操作系统、存储、乃至单个应用能力等的底层云基础架构。

平台即服务(PaaS)：向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用，这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构，但对其部署的应用具有控制权，对应用托管环境配置可能也具有控制权。

基础架构即服务(IaaS)：向消费者提供的能力是消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构，但是对操作系统、存储和其部署的应用具有控制权，对选择的网络组件(例如主机防火墙)可能具有有限的控制权。

部署模型如下：

私有云：云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。

共同体云：云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。

公共云：云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。

混合云：云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成，这些云依然是独特的实体，但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。

云计算环境是面向服务的，特点集中在无状态性、低耦合性、模块性和语意的互操作性。云计算的核心是包含互连节点网络的基础架构。

现在参考图1，其中显示了示例性的云计算环境50。如图所示，云计算环境50包括云计算消费者使用的本地计算设备可以与其相通信的一个或者多个云计算节点10，本地计算设备例如可以是个人数字助理(PDA)或移动电话54A，台式电脑54B、笔记本电脑54C和/或汽车计算机系统54N。云计算节点10之间可以相互通信。可以在包括但不限于如上所述的私有云、共同体云、公共云或混合云或者它们的组合的一个或者多个网络中将云计算节点10进行物理或虚拟分组(图中未显示)。这样，云的消费者无需在本地计算设备上维护资源就能请求云计算环境50提供的基础架构即服务(IaaS)、平台即服务(PaaS)和/或软件即服务(SaaS)。应当理解，图2显示的各类计算设备54A-N仅仅是示意性的，云计算节点10以及云计算环境50可以与任意类型网络上和/或网络可寻址连接的任意类型的计算设备(例如使用网络浏览器)通信。

现在参考图2，其中显示了云计算环境50(图1)提供的一组功能抽象层。首先应当理解，图3所示的组件、层以及功能都仅仅是示意性的，本发明的实施例不限于此。如图2所示，提供下列层和对应功能：

硬件和软件层60包括硬件和软件组件。硬件组件的例子包括：主机61；基于RISC(精简指令集计算机)体系结构的服务器62；服务器63；刀片服务器64；存储设备65；网络和网络组件66。软件组件的例子包括：网络应用服务器软件67以及数据库软件68。

虚拟层70提供一个抽象层，该层可以提供下列虚拟实体的例子：虚拟服务器71、虚拟存储72、虚拟网络73(包括虚拟私有网络)、虚拟应用和操作系统74，以及虚拟客户端75。

在一个示例中，管理层80可以提供下述功能：资源供应功能81：提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取；计量和定价功能82：在云计算环境内对资源的使用进行成本跟踪，并为此提供帐单和发票。在一个例子中，该资源可以包括应用软件许可。安全功能：为云的消费者和任务提供身份认证，为数据和其它资源提供保护。用户门户功能83：为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能84：提供云计算资源的分配和管理，以满足必需的服务水平。服务水平协议(SLA)计划和履行功能85：为根据SLA预测的对云计算资源未来需求提供预先安排和供应。

工作负载层90提供云计算环境可能实现的功能的示例。在该层中，可提供的工作负载或功能的示例包括：地图绘制与导航91；软件开发及生命周期管理92；虚拟教室的教学提供93；数据分析处理94；交易处理95；基于分布式计算机系统96中的边缘节点处的数据输入，对机器学习模型进行排序和更新。

应当理解，本发明的一个或多个实施例能够结合现在已知或以后开发的任何其他类型的计算环境来实现。例如，图3描绘了用于实现本文描述的技术的处理系统300的框图。处理系统300是图1的计算节点10的示例。在图3所示的实施例中，处理系统300具有一个或多个中央处理单元(处理器)21a、21b、21c等(统称或一般性地称为处理器21和/或处理设备)。根据本发明的一个或多个实施例，每个处理器21可以包括精简指令集计算机(RISC)微处理器。处理器21经由系统总线33耦合到系统存储器(例如，随机存取存储器(RAM)24)和各种其他组件。只读存储器(ROM)22耦合到系统总线33并且可以包括基本输入/输出系统(BIOS)，其控制处理系统300的某些基本功能。

进一步示出了耦合到系统总线33的输入/输出(I/O)适配器27和通信适配器26。I/O适配器27可以是与硬盘23和/或磁带存储驱动器25或任何其他类似组件通信的小型计算机系统接口(SCSI)适配器。I/O适配器27、硬盘23和磁带存储设备25在此统称为大容量存储设备34。用于在处理系统300上执行的操作系统40可以存储在大容量存储设备34中。RAM22、ROM 24和大容量存储设备34是处理系统300的存储器19的示例。网络适配器26将系统总线33与外部网络36互连，使得处理系统300能够与其他这样的系统通信。

显示器(例如，显示监控器)35通过显示适配器32连接到系统总线33，显示适配器32可包括改善图形密集型应用的性能的图形适配器和视频控制器。根据本发明的一个或多个实施例，适配器26、27和/或32可以连接到一个或多个I/O总线，这些I/O总线经由中间总线桥(未示出)连接到系统总线33。用于连接诸如硬盘控制器、网络适配器和图形适配器的外围设备的合适的I/O总线通常包括通用协议，例如外围组件互连(PCI)。附加的输入/输出设备被示为经由用户接口适配器28和显示适配器32连接到系统总线33。键盘29、鼠标30和扬声器31可以经由用户接口适配器28互连到系统总线33，用户接口适配器28可以包括例如将多个设备适配器集成到单个集成电路中的超级I/O芯片。

根据本发明的一个或多个实施例，处理系统300包括图形处理单元37。图形处理单元37是被设计为操作和改变存储器以加速旨在输出到显示器的帧缓冲器中图像的创建的专用电子电路。通常，图形处理单元37在操作计算机图形和图像处理方面非常有效，并具有高度并行的结构，这使得它对于并行进行大数据块的处理的算法比通用CPU更有效。

因此，如本文所配置的，处理系统300包括处理器21形式的处理能力、包括系统存储器(例如，RAM 24)和大容量存储设备34的存储能力、诸如键盘29和鼠标30的输入装置、以及包括扬声器31和显示器35的输出能力。根据本发明的一个或多个实施例，系统存储器的一部分(例如，RAM24)和大容量存储设备34共同存储操作系统，例如来自IBM公司的

操作系统，以协调在处理系统300中所示的各种组件的功能。

现在转到本发明的各方面的概述，本发明的一个或多个实施例通过提供一种计算机实现的方法和系统以搜索和对预训练的机器学习模型的目录排序以选择被训练的机器学习模型用作种子模型来基于新的输入数据集进行定制和重新训练，来解决现有技术的上述缺点。种子模型基于用于生成种子模型的训练数据与新的输入数据集中的数据之间的相似性来选择。本发明的一个或多个实施例提供用于机器学习模型的“网络搜索引擎”，其中，可基于来自目标应用的给定“搜索”数据集来搜索和对被训练的机器学习模型的目录进行排序。该自动化方法可以选择与新的输入数据集最匹配的被训练的机器学习模型，从而消除当前解决方案的试错方法。

根据本发明的一个或多个实施例，作为候选种子模型的每个被训练的机器学习模型(M)与它的对应的深度哈希码生成器(H)和语义标签(S)一起存储。哈希码生成器(H)将输入数据映射到n维实值向量。哈希码生成器(H)在用于训练机器学习模型(M)的相同数据集上进行训练。与旨在捕获应用语义(例如，对象定位)的机器学习模型(M)不同，哈希码生成器(H)的目标是捕获用于训练机器学习模型(M)的训练数据的特征。语义标签(S)是从训练数据中导出的哈希码上的紧凑草图(sketch)(例如，经由无监督聚类)。如本文所使用的，术语“哈希码的草图”是指创建哈希码的紧凑表示(例如，簇头；捕获哈希码的函数)，以使得不存储所有的哈希码。

根据本发明的一个或多个实施例，在用户(例如，在边缘节点)和允许用户使用给定输入数据集搜索的机器学习模型的云托管目录之间提供协议。返回的搜索结果包括目录中基于搜索数据集和用于训练机器学习模型(M)的训练数据集之间的语义距离度量来排序的机器学习模型的列表。根据本发明的一个或多个实施例，基于输入数据集选择具有最高排序(例如，最低距离)的机器学习模型作为用于训练的种子模型。在本发明的其他实施例中，选择排在前两个或三个或一些其他阈值数量内的机器学习模型作为种子模型。

训练机器学习模型(尤其是深度学习模型)中的关键组件是具有良好的初始化/起始点。在初始化时选择的权重决定模型学习收敛的速度及其准确性。因此，从一组好的权重开始很重要。排序的模型列表向开发者提供了根据对当前上下文的适用性(基于输入数据)进行堆叠排序的若干模型的选择。然后，开发者可针对手头的问题选择最佳拟合模型，从而使收敛更快，准确性也得到提高。这种排序机制的好处和应用是在训练阶段的重大改进。此外，排序列表还可使得能够检查哪些模型适用(如果有的话)。

现在转到本发明的各方面的更详细描述。图4描绘了根据本发明的一个或多个实施例的用于基于在边缘节点112处的数据输入来对机器学习模型进行排序和更新的分布式计算机系统110的框图。分布式计算机系统110可包括多个网络元件114(例如，网络元件114A-114E)，其可操作以实现边缘节点112(例如，边缘节点112A-112J)与远程云150之间的通信，其中远程云150可包括云节点并且是云计算环境(例如，图1的云计算环境50)的一部分。边缘节点112可以包括以下中的一个或多个：传感器、网关、微服务器、无线通信接入节点、或具有计算和联网能力的任何其他类型的实体，诸如图3的处理系统300。网络元件114可包括路由器、交换机、网关和本领域中已知的支持通信的其他这种元件。边缘节点112可具有本地数据存储器116(例如，本地数据存储设备116A-116F)，其可保存本地数据集以支持机器学习的训练和执行。

在图4的示例中，边缘节点112A通信地耦合到网络元件114A，网络元件114A又通信地耦合到边缘节点112B、网络元件114C、网络元件114D和远程云150。网络元件114C通信地耦合到边缘节点112C、112D、112E、112F。网络元件114D通信地耦合到边缘节点112G、112H、网络元件114E和远程云150。网络元件114E通信地耦合到边缘节点112I、112J和远程云150。边缘节点112C包括本地数据存储器116A；边缘节点112D包括本地数据存储器116B；边缘节点112E包括本地数据存储器116C；边缘节点112H包括本地数据存储器116D；边缘节点112I包括本地数据存储器116E；边缘节点112J包括本地数据存储器116F。尽管在图4的分布式计算机系统110的示例中描绘了特定配置，但应理解，分布式计算机系统110可包括边缘节点112和网络元件114的任意组合，并且可排除远程云150或包括其它元件(未示出)。

根据本发明的实施例，分布式计算机系统110被配置和布置成能够对用作种子模型的被训练的机器学习模型进行排序和能够进行分布式机器学习，两者均基于对机器学习模型的数据输入。短语“机器学习”广泛地描述了从数据中学习的电子系统的功能。机器学习系统、引擎或模块可包括可在分布式环境(例如分布式计算机系统110)中训练的机器学习算法，以学习输入和当前未知的输出之间的功能关系。机器学习模型的示例可包括例如支持向量机、线性回归、K均值和各种神经网络。

现在转到图5，一般性地示出了根据本发明的一个或多个实施例的用于搜索、索引和排序机器学习模型的过程的流程图500。图5所示的全部或部分处理可例如由图4的远程云150中的边缘节点112和/或云节点来执行。在框502处，在云中提供被训练的机器学习模型的目录。目录包括每个被训练的机器学习模型以及用于生成被训练的机器学习模型的训练数据的草图和应用于训练数据以获得草图的哈希函数。

语义哈希可通过在相似输入上引起哈希冲突来减少高维数据的维度。语义哈希的早期形式(例如，潜在语义索引)已经成功地应用于文本文档，其关键思想是对于每个文档，经由使用奇异值分解来学习字数统计矩阵的低维表示，从而产生紧凑的向量表示或哈希码。最近，已经提出了深度哈希码来学习图像的紧凑二进制表示以发现图像中的隐藏二进制单元。从训练数据集中获得的哈希码的集合可被概括为捕获训练数据的固有属性的紧凑草图(例如，语义标签)。

类似于对文本文档的潜在语义索引，模型(M)可被视为文本文档，并且它的语义标签(S)可视为其索引。从语义角度来看，深度哈希码定量地确定给定数据属于模型的训练数据分布的程度。从性能角度来看，深度哈希码实现数据空间的高度压缩和快速查找(比使用对应的模型执行预测更快)。从隐私的角度来看，深度哈希码使得能够实现查询匹配哈希码而不是原始数据，从而经由混淆来提供基本形式的隐私。

可以由示例性实施例使用的现有的哈希码生成器(H)的示例包括但不限于：文本域中的无监督潜在语义哈希；文本和图像域中的无监督自动编码器；文本和图像域中的无监督玻尔兹曼(Boltzmann)机器；文本和图像域中的监督定制前馈神经网络；图像域中的无监督深度哈希、图像域中的监督卷积自动编码器；图像域中的监督深度语义排序哈希；图像域中的监督深度神经网络哈希；文本域中的无监督Word2Vec；和/或图形域中的无监督Node2Vec。

返回参考图5的框502，根据本发明的一个或多个实施例，对每个被训练的机器学习模型计算训练数据的紧凑草图。这可包括将哈希码生成器应用于每个训练数据值(x)以计算每个训练数据值的h(x)。可使用例如k均值++聚类来对得到的h(x)值进行聚类。然后，可计算草图sketch(c_i,w_i)，其中c_i是第i个簇头，w_i是属于聚类“i”的所有数据的加权轮廓系数(即，聚类内聚性度量)。根据本发明的一个或多个实施例，草图和哈希码函数(h)与被训练的机器学习模型一起存储在目录中。

对于目录中的被训练的机器学习模型的至少一子集执行图5的框504和506。给定未标注的测试数据(在本文中也称为“输入数据集”)，本发明的一个或多个实施例在用作种子模型的适合性方面自动搜索和排序机器学习模型的目录。对于目录中的模型(M)，其深度哈希码生成器(H)被应用于输入数据集。计算标准聚类内聚性度量(例如，轮廓系数)以确定输入数据集与训练数据的匹配程度(无需访问训练数据)。用于给定测试数据的标准轮廓系数的变体可以被计算为(b-a)/b，其中a和b(分别)是从测试数据的哈希码到语义标签(S)中的聚类质心的第一和第二最近距离。该度量保证在0和1之间(因为b≥a)；越接近1，测试数据与模型的原始训练数据之间的匹配就越好。在所有测试数据上平均的轮廓系数用作相似性度量，其可用于对目录中的模型进行排序(按相似性的降序排列)。

在图5的框504处，云提供的哈希码函数(h)被应用于输入数据集。根据本发明的一个或多个实施例，这包括对输入数据集中的每个输入数据值计算h(x)。所得到的h(x)值可按照在至少部分地基于训练数据生成的草图中的簇头来被聚类。然后，可通过对每个聚类获得加权轮廓w_i'来计算输入数据集的草图sketch(c_i,w_i)。在框506处，计算训练数据的草图与输入数据集的草图之间的距离。该距离可被计算为在所有i上的(w_i,-w_i′)²之和。在框508，使用在框506处计算的距离对目录中的被训练的机器学习模型进行排序。在框510，选择排序较高的被训练的机器学习模型作为用于定制和/或重新训练的种子机器学习模型。

图5中所示的过程示出了其中机器学习模型的训练数据永远不会在边缘节点处实现或显示给用户(仅共享它的草图)并且输入数据集保持私有直到在目录中发现合适的种子模型的工作流程。在由本发明的一个或多个实施例执行的另一个工作流程中，框502在云中的云节点处执行，用户(例如，在边缘节点处)将输入数据集作为搜索请求提交给云。框504、506和508在云上(例如，在一个或多个云节点上)执行，在框508，排序的机器学习模型的列表被返回给用户。在由本发明的一个或多个实施例执行的另一个工作流程中，通过在云上执行框502以及在由用户访问的边缘节点处执行框504和506来保护训练数据和输入数据集的隐私，以使得测试数据不会泄露给云直到种子模型被选择为止。

根据本发明的一个或多个实施例，即使模型M的目标(例如，对象大小估计)与手边的应用(例如，对象方向估计)不同，排序较高的M仍然可用作转移学习的候选者。例如，可从M的卷积层重用空间特征，而仅重新训练回归层(最后几层)以估计对象的方向。

根据本发明的一个或多个另外的实施例，在边缘节点和云(例如，一个或多个云节点)之间提供用于分布式学习的协议，其中被训练的机器学习模型(M)最初在云中训练并包括深度哈希码生成器(H)，该深度哈希码生成器(H)固有地捕获用于训练被训练的机器学习模型(M)的训练数据的特性。在边缘节点处，被训练的机器学习模型(M)不仅用于对新的输入数据进行评分，而且还持续地跟踪在边缘节点处的新的输入数据的数据特性相较于训练数据的偏差。该偏差可以哈希码的形式被简洁地捕获，并且从边缘节点传送到云以促进被训练的机器学习模型(M)的模型适应和重新训练。跟踪在边缘节点处的输入数据的变化的能力允许持续的学习和对被训练的模型的更新。

边缘节点对深度学习/机器学习模型训练提出了有趣的挑战。边缘节点通常缺少可用于云的资源。在边缘处的模型排序有两个关键功能，一个是检查在边缘处的模型是否适用于所提供的数据，另一个是对这些模型进行排序并选择最佳模型以在边缘处进行重新训练。一旦模型被认为是适用的，则继续进行重新训练。然后，通过用最佳可能模型初始化权重来进行重新训练。

现在转到图6，根据本发明的一个或多个实施例一般性地示出了用于在边缘处的分布式学习的过程的流程图600。图6所示的全部或部分处理例如可由图4的远程云150中的边缘节点112和/或云节点来执行。根据本发明的一个或多个实施例，给定未标注的测试数据的时间序列(例如，每天/每周/每月批次)，自动检测和表征输入数据的变化。在图6的框602，计算用于生成被训练的机器学习模型的训练数据的紧凑草图。这可包括针对每个训练数据值(x)计算h(x)。得到的h(x)值可使用例如k均值++聚类来进行聚类。然后，可以计算草图sketch(c_i,w_i)，其中c_i是第i个簇头，w_i是属于聚类“i”的所有数据的加权轮廓系数(即，聚类内聚性度量)。草图和哈希码函数(h)与被训练的机器学习模型一起存储在例如目录中。

在图6的框604处，云提供的哈希码函数(h)被应用于从时间“t”开始的输入数据集，并计算结果的紧凑草图。根据本发明的一个或多个实施例，来自训练数据的草图的簇头被用作用于输入数据集的无监督k均值++聚类的种子，以找到最接近种子质心(即，来自训练数据的簇头)的解。在框606处，至少部分地基于训练数据的草图与测试数据的草图之间的距离来计算在边缘节点处的被训练的机器学习模型的有效性。根据本发明的一个或多个实施例，距离被计算为训练数据的草图与输入数据集的草图之间的距离(例如，在所有i上的(w_i,-w_i′)²之和)。

在框608，通过监控聚类质心和/或其轮廓系数的变化来跟踪数据特性的漂移。为了检测数据特性的漂移，对从时间“t”开始的输入数据集进行聚类而获得的质心被用作“种子”，以便对来自时间“t+1”的输入数据集的哈希码进行聚类(使用来自参考数据的质心进行播种用于激励聚类算法以首先搜索种子质心的小变化)。数据特性的全局变化可以使用数据到新、旧质心的分布之间的Wasserstein距离来计算。本发明的一个或多个实施例还可用于通过检查聚类的质心和内聚性(例如，轮廓系数)两者的移位来钻取到每个聚类中，并且捕获数据特性随时间的漂移。例如，即使质心没有移位，聚类的内聚性也可能降低，这表明测试数据中噪声增加。

在图6的框610处，例如基于被哈希到新的聚类的数据和/或被哈希到漂移最多的聚类的数据(例如，聚类质心或聚类轮廓系数中的每个移位)，识别用于监督标签和重新训练的数据集。在图6的框612处，基于新的训练数据集，针对给定边缘节点，重新训练和/或定制被训练的机器学习模型。

根据本发明的一个或多个实施例，框602和604在云节点处执行，框604、606、608和610在边缘节点处执行。这减少了将训练数据传输到边缘节点所需的带宽以及在云节点处用于监督数据标签的开销。

在任何可能的技术细节结合层面，本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。本文所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

本文参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种计算机实现的方法，包括：

由处理器接收用于训练新的机器学习模型的输入数据集；

由所述处理器针对多个被训练的机器学习模型，执行以下操作：

取得哈希函数和用于训练所述机器学习模型的训练数据集的草图；

基于所述哈希函数和所述输入数据集，计算所述输入数据集的草图；以及

计算所述训练数据集的草图与所述输入数据集的草图之间的距离；

将所述多个被训练的机器学习模型从最小计算距离到最大计算距离进行排序；

从所述多个机器学习模型中选择用于所述输入数据集的种子机器学习模型，所述选择至少部分地基于所述排序；以及

至少部分地基于所述选择，启动所述新的机器学习模型的训练过程，所述训练过程至少部分地基于所选择的种子机器学习模型和所述输入数据集。

2.根据权利要求1所述的计算机实现的方法，其中，被排序为具有最小计算距离的被训练的机器学习模型被选择作为所述种子机器学习模型。

3.根据权利要求1所述的计算机实现的方法，其中，所述执行、排序、选择和启动是由处理器响应于所述接收而自动执行的。

4.根据权利要求1所述的计算机实现的方法，其中，所述处理器包括分布式计算机系统中的边缘节点。

5.根据权利要求1所述的计算机实现的方法，其中，所述处理器包括分布式计算机系统中的云节点。

6.根据权利要求1所述的计算机实现的方法，还包括：启动所选择的种子机器学习模型的重新训练，所述重新训练至少部分地基于用于训练所选择的种子机器学习模型的训练数据集和所述输入数据集。

7.根据权利要求6所述的计算机实现的方法，其中，至少部分地基于所述训练数据集的所述草图与所述输入数据集的所述草图之间的距离小于阈值来启动所述重新训练。

8.一种系统，包括：

具有计算机可读指令的存储器；以及

用于执行所述计算机可读指令的一个或多个处理器，所述计算机可读指令控制所述一个或多个处理器执行权利要求1-7中任一方法所述的步骤。

9.一种计算机程序产品，包括计算机可读存储介质，所述计算机可读存储介质具有与其一起实现的程序指令，所述程序指令可由处理器执行以使所述处理器执行权利要求1-7所述的任何方法的任何步骤。

10.一种存储程序代码的计算机可读存储介质，所述程序代码在由处理器执行时执行权利要求1-7所述的任何方法以维持系统。

Images