CN110719828A - 机器人系统的组件特征检测器 - Google Patents

Abstract

公开了一种用于机器人所采用的对象特征标识系统的包括在计算机存储介质上编码计算机程序的方法、系统、以及装置。在一个方面中，方法包括如下动作：通过利用机器人的传感器设备扫描工作区来生成工作区的数据读取；通过由学习引擎对数据读取进行处理，基于待执行的任务来标识与工作区相关联的多个组件中的特定组件；利用机器学习引擎来标识在完成任务的过程中所使用的特定组件的特定特征；利用机器学习引擎来确定被配置用以执行任务的机器人的多个工具中的特定工具；并且利用特定工具和特定组件的特定特征来执行任务。

Description

机器人系统的组件特征检测器

技术领域

本公开答题涉及机器人系统和方法，并且更具体地，涉及包括用于基于所分配的任务来标识对象特征的机器学习技术的机器人系统和方法。

背景技术

每当组件的硬件占用空间变化时，当前的工业机器人系统需要完全更改检测程序。例如，当机器人系统被设计用以放置双列直插式存储器模块(DIMM)时，每当更新母板时，需要对成像程序进行重新编程，用于使机器人系统继续正常运行。这通常应用于下述机器人系统，该机器人系统采用传感器数据来标识在完成所分配的任务的过程中所使用的组件及其特征(例如板基准识别、输入/输出(I/O)定位、螺钉/螺栓定位、焊接点、铆接点等)。

发明内容

本公开的实施方式通常针对由机器人系统采用的对象特征标识系统。更具体地，该实施方式针对下述系统，该系统在机器人系统在完成所分配的任务的过程中使用时标识对象(例如组件)的特征。该系统通过采用下述已训练的人工智能(AI)模型来标识组件及相关特征，所述已训练的人工智能(AI)模型使用应用于从机器人系统的输入模块(例如传感器)接收到的扫描数据的一个或多个机器学习引擎。

在一般的实施方式中，一种机器人包括：一个或多个机器学习引擎，该机器学习引擎包括一个或多个硬件处理器；以及非暂时性计算机可读介质，该介质存储软件并与一个或多个机器学习引擎相耦合，所述软件包括能够由机器人执行的指，所述指令在被执行时使得机器人执行操作，所述操作包括：通过利用机器人的传感器设备扫描工作区来生成工作区的数据读取；通过由一个或多个机器学习引擎对数据读取进行处理，基于待执行的任务来标识与工作区相关联的多个组件中的特定组件；利用一个或多个机器学习引擎来标识在完成任务的过程中所使用的特定组件的特定特征；利用一个或多个机器学习引擎来确定被配置用以执行任务的机器人的多个工具中的特定工具；并且利用特定工具和特定组件的特定特征来执行任务。

在另一个一般实施方式中，一种由下述机器人执行的计算机实施方法，所述机器人包括具有一个或多个硬件处理器的一个或多个机器学习引擎，所述方法包括：通过利用机器人的传感器设备扫描工作区来生成工作区的数据读取；通过由一个或多个机器学习引擎对数据读取进行处理，基于待执行的任务来标识与工作区相关联的多个组件中的特定组件；利用一个或多个机器学习引擎来标识在完成任务的过程中所使用的特定组件的特定特征；利用一个或多个机器学习引擎来确定配置用以执行任务的机器人的多个工具中的特定工具；以及利用特定工具和特定组件的特定特征来执行任务。

在又一个一般实施方式中，一种机器人系统包括：传感器设备；一个或多个机器学习引擎，所述机器学习引擎中的每一个机器学习引擎包括一个或多个硬件处理器；以及一个或多个存储器设备，所述一个或多个存储器设备与一个或多个机器学习引擎以可通信方式耦合，所述一个或多个存储器设备的每一个存储器设备包括存储指令的有形非暂时性机器可读介质，所述指令在由一个或多个硬件处理器执行时执行操作，所述操作包括：通过利用传感器设备扫描工作区来生成工作区的数据读取；通过由一个或多个机器学习引擎对数据读取进行处理，基于待执行的任务来标识与工作区相关联的多个组件中的特定组件；利用一个或多个机器学习引擎来标识在完成任务的过程中所使用的特定组件的特定特征；利用一个或多个机器学习引擎来确定被配置用以执行任务的机器人系统的多个工具中的特定工具；以及利用特定工具和特定组件的特定特征来执行任务。

在能够与一般实施方式中的任何一个实施方式相结合的方面中，在标识特定特征之前，所述操作进一步包括：接收下述训练数据，所述训练数据包括具有与所标识的特定组件相似的其它组件的其它工作区的数据扫描；并且利用训练数据对一个或多个机器学习引擎进行训练，以标识其它组件的特征。

在能够与前述方面中的任一个方面相结合的另一方面中，训练数据是从相机传感器设备捕获的图像数据，其中所述传感器设备是相机传感器设备，并且其中，数据读取包括从相机传感器设备的视野捕获的图像信息。

能够与前述方面中的任一个方面相结合的另一方面，所述相机传感器设备是红外照相机设备。

在能够与前述方面中的任一个方面相结合的另一方面中，所述操作进一步包括：利用工作区的数据读取以及特定组件的已标识的特定特征来重新训练一个或多个机器学习引擎。

在能够与前述方面中的任一个方面相结合的另一方面中，机器人被部署在数据中心中。

在能够与前述方面中的任一个方面相结合的另一方面中，特定组件是自由悬挂的电缆，其中所标识的特定特征是电缆的轨迹，并且其中任务包括将电缆与位于服务器上的配对件放置在一起。

在能够与前述方面中的任一个方面相结合的另一方面中，机器人被部署在组装线中以制造产品。

在能够与前述方面中的任一个方面相结合的另一方面中，组件是在产品的制造中所使用的零件，并且其中，任务包括将所述零件中的至少一个零件附接到产品。

在能够与前述方面中的任一个方面相结合的另一方面中，所述特定组件是母板，其中所述特定特征是DIMM插槽，并且其中所述任务包括将DIMM插入到DIMM插槽中。

应当理解的是，根据本公开的方法能够包括本文中所述的方面和特征的任何组合。也就是说，根据本公开的方法不限于本文中具体描述的方面和特征的组合，而是还可以包括所提供的方面和特征的任何组合。

在附图和以下描述中阐述了本公开的一个或多个实施方式细节。从说明书和附图以及权利要求书，本公开的其它特征和优点将是显而易见的。

附图说明

图1描绘了示出采用机器人系统的环境的示例的框图，该机器人系统使用所描述的特征标识系统。

图2描绘了根据本公开的实施方式的示例机器人系统的方框图。

图3描绘了用于标识用于完成分配给机器人系统的任务的对象的特征的示例处理的流程图。

图4描绘了根据本公开的实施方式的用于训练机器学习模型以标识对象上的相关特征的示例处理的流程图。

图5描绘了示例计算机系统的示意图。

在各个附图中相同参考数字和标记表示相同元件。

具体实施方式

技术在工业自动化、机器人技术、以及机器学习领域中迅速发展。机器学习是AI的应用，该应用为诸如机器人系统这样的系统提供了从经验或通过训练数据来自动学习和改进能力，而无需被明确地编程。这样，机器学习专注于能够访问数据并自动应用从该数据中学习的算法和系统的开发。将机器学习应用于机器人系统已经扩展了这种系统在各种应用和环境中的作用。这种环境可以包括工业自动化、数据中心、以及诊断/维修系统。

例如，制造业或工业自动化领域的一个重要方面是自主生产方法，该方法可以由机器人供电。能够对这些机器人进行编程以专注于灵活性、多功能性及协作性来智能地完成任务。在制造处理中所采用的工业机器人例如是自动化的、可编程的、且能够移动的。机器人的典型应用包括焊接、喷漆、组装、印刷电路板的取放、打包和贴标签、码垛、产品检查、以及测试，其中分配给机器人的每个任务是以很高的耐久性、速度、以及精确度来完成的。一些机器人被编程用以以高准确度来实现特定动作。其它机器人对于它们所操作的对象的定向或者甚至对机器人可能需要标识的对象本身的特定特征必须执行的任务而言更灵活。这些动作是由下述编程的例程来确定的，所述例程指定了一系列协调运动的方向、加速度、速度、减速度和距离以及对机器人的任何工具或输出模块的采用。因此，检测在这样的环境中用于由机器人执行的给定任务的对象(诸如组件零件)的相关特征的能力对于每个机器人完成所分配的任务的效率和精确度是至关重要的。

为了实现对对象(例如组件)及其相应特征的鲁棒检测，机器人可以对从多个输入设备所收集到的信息进行组合。例如，机器人可以包括用作其视觉传感器的机器视觉系统，该机器视觉系统被链接到内部处理器和控制器。此外，机器人可以采用对象识别系统以通过聚集跨多个视图的检测证据来定位和识别所分配的工作空间中的若干对象。使用机器学习，特征识别系统可以直接作用在从下述数据所构建的详图上，所述数据可以包括由输入模块捕获的深度测量。

鉴于前述内容，本公开的实现通常是指用于在所布署的用以完成环境内的任务的机器人系统内进行对象特征识别的方法、装置、以及系统。机器人系统可以利用所描述的识别系统来完成所分配的任务。例如，所描述的特征标识系统采用专门设计的机器学习算法，该机器学习算法被训练以识别诸如螺丝孔、DIMM插槽位置、连接器、紧固件、板基准、I/O插槽、焊接点、铆接点等等这样的对象特征。因而，在特定任务框架内，当在完成子任务的过程中所使用的组件发生变化时，每个子任务能够继续进行而无需对各种机器人系统(例如视觉系统)进行编程变化。所描述的识别系统可以降低或者甚至完全消除例如由于这种组件变化所需的编程/配置更改前置期。

在示例实施方式中，机器人系统包括一个或多个机器学习引擎，该机器学习引擎接收从诸如扫描仪或相机这样的输入设备所收集的与所分配的工作区内的各种对象有关的数据。一个或多个机器学习引擎通过已训练的AI模型对所收集的数据进行处理，以标识每个对象的包括运动的相关特征。在一些方面中，一个或多个机器学习引擎可以将这些特征分成不同的类别，以改进每个特征的标识和/或一个或多个位置。在一些方面中，一个或多个机器学习引擎可以在一个术语的类别内、跨所有类别(或跨类别的子集)或这两者为潜在特征分配权重。可以将所导出的特征呈现给内部处理器和控制器，用于完成相应机器人系统的已分配的任务。在一些方面中，特征识别处理的机器学习引擎和算法可以依赖于包括特征识别方案的过程内的算法和参数建模、配置成创建变型的一个或多个机器学习引擎、以及被配置成标识对象的特征的一个或多个机器学习引擎。

作为示例实施方式，可以将机器人部署到用于制造计算机的组装线。所部署的机器人例如可以是负责将存储器芯片(例如DIMM)装配到母板上的存储器(例如DIMM)插槽中。例如，当母板组件发生变化时，所部署的机器人采用一个或多个所描述的机器学习引擎和已训练的AI模型(作为其典型处理)来对从一个或多个输入模块接收到的数据进行处理。通过机器学习引擎对接收到的数据进行处理以标识新母板组件上的DIMM槽。一旦已经标识了DIMM插槽，则机器人将继续插入DIMM。因而，通过采用所描述的系统，利用将新的母板组件引入到制造处理中，无需对机器人进行重新编程以识别新母板上的DIMM插槽(或任何其它组件)。相反，通过使用机器学习引擎和已训练的AI模型，机器人能够识别新母板上的DIMM插槽的位置并继续完成所分配的任务，即插入DIMM。

作为另一示例实施方式，可以在数据中心中部署机器人以选择电缆并将电缆插入到服务器之中。当电缆自由悬挂时，机器人很难通过使用视觉系统来定位、抓握、并且将电缆与其配对物放置在一起。这是因为一旦目标被标识，视觉系统例如可能不知道在哪里搜寻或如何绘制轨迹。然而，通过采用所描述的标识系统，可以以最少的处理来动态地标识目标电缆。因而，所描述的标识系统避免了对机器人进行手动编程，在手动编程中，要对电缆的每个特征进行硬编码并且使用图像识别算法来检测特征集。其它示例实施方式包括对服务器托盘和/或机器壁的自动化制造以及自动化诊断和维修系统中的自动化制造(诸如例如管道裂缝检测和维修)。

图1提供了示出环境100的示例的方框图，所述环境100采用了使用所描述的特征标识系统的机器人。示例环境100描绘了可以被配置成制造如上所述的产品或商品的制造或工业自动化组装线。所描绘的环境100仅是可以利用所描述的特征标识系统的一个示例。如上所述，使用机器人系统的其它环境包括例如数据中心及诊断和维修系统。

示例环境100包括机器人110、120和130。每个机器人110、120和130分别包括：输入模块112、122和132；输出模块114、124和134；以及处理器和控制器116、126和136。在所描绘的示例中，机器人110、120和130各自被分配了相应的工作区118、128和138。工作区表示分配了机器人来完成任务并且机器人要完成所分配的任务所使用的组件所处的空间。例如，如果所描绘的组装线生产计算机，则工作区118可以是将存储器插到母板的位置，工作区128可以是芯片组被附接到母板的位置，并且工作区138可以是母板被附接到壳体的位置。所述工作区118、128和138的每一个工作区可以具有由所分配的机器人为完成任务所使用的各种组件(即对象)。继续该示例，工作区118可以包括待通过所分配的机器人110来插入到母板中的各种存储器芯片。同样地，工作区128可以包括用于将所分配的机器人120附接到母板的处理器(例如中央处理单元(CPU))，并且工作区138可以包括用于将机器人130附接到母板的各种计算机壳体。图1描绘了所描绘的环境100中的三个工作区/机器人；然而，在特定环境中可以使用任意数量的工作区/机器人，这取决于例如所制造的产品的类型和/或分配给每个机器人的工作。

机器人技术是计算机和受控机构的集成，用以使诸如机器人110、120和130这样的设备可重新编程且用途广泛。机器人是一种可重新编程的多功能机械手，该机械手被设计成通过可变的编程运动来移动材料、零件、工具、或专用设备，用于执行各种任务。机器人可以生成机器人关节的特定运动，同时允许工具或传感器执行某些功能。例如，臂和附接工具可以自己执行操作(诸如喷漆)或者将零件携带到执行操作的其它设备。

在涉及重复、困难、和/或危险类型任务的几乎任何环境中都可以采用诸如机器人110、120和130这样的机器人。示例任务包括例如航空航天或汽车工业中的诸如焊接、喷漆、或表面精加工这样的工业或生产应用。其它示例任务包括电子产品和消费品的组装和检查、零件检查、水下和太空探索、以及例如政府实验室，核设施和医学实验室中的危险废物整治。如上所述，在环境100中采用机器人110、120和130为这些任务的完成提供了包括灵活性和性能质量这样的优点。

机器人110、120和130可以针对它们所部署到的环境的类型被特定设计的。例如，工业机器人是用于制造的机器人系统。工业机器人可以被设计成移动材料、零件、以及工具，并且在相应的制造或生产设置中执行各种编程任务。作为另一个示例，机器人可以被用于巡检数据中心并跟踪该数据中心中的诸如温度、湿度、气流、以及资产管理这样的环境因素。可以分配给部署到数据中心的机器人的其它任务包括对数据中心进行映射以及将电缆插入到服务器设备中。其它示例性环境包括诊断和维修机器人。这样的环境包括汽车、航空航天、以及建筑应用。

处理器和控制器116、126和136接收命令(例如所分配的任务)，对所接收到的数据进行处理，并且确定用于完成所分配的任务的指令。在一些实施方式中，处理器和控制器116、126和136包括控制软件和硬件、应用软件、接口软件、机器人操作系统、以及通信协议。处理器和控制器116、126和136可以使用数学表示来标识对象，并且可以在用来执行分配给机器人的任务的控制算法中以及在诸如输入模块112、122和132以及输出模块114、124和134这样的集成传感器中，将数学表示使用到任务计划中。处理器和控制器116、126和136的各自包括一个或多个机器学习引擎系统。通常，如在本文中利用图2更全面地描述的，机器学习引擎系统可以被训练成接收从输入模块收集的与分配的工作区有关的信息，标识工作区中的对象(例如组件)，以及标识每个对象的相关特征。此后采用所标识的特征来确定完成所分配的任务的指令。将指令提供给相应输出模块。

在所描绘的示例中，输入模块112、122和132从周围环境收集信息并对其进行解释，所述周围环境包括机器人的已分配的工作区(诸如工作区112、122和132)。收集到的信息可以被用于标识所分配的工作区中的对象。可以通过机器学习引擎和已训练的AI来对收集到的信息进行处理，以确定每个对象的相关特征。各个输入模块112、122和132可以包括传感器和对应的识别组件。示例传感器包括：诸如麦克风这样的声学传感器；诸如相机、光敏电阻、以及光伏电池这样的检测光谱上的各种波长(诸如视觉和/或红外)的光/视觉传感器；运动传感器；接触式传感器；接近传感器；距离传感器；压力传感器；倾斜传感器；导航传感器；加速度传感器；陀螺仪；电压传感器；电机反馈传感器；以及电流传感器。

在一些实施方式中，基准标记或基准可以被输入模块用于图像数据的收集中。基准是放置在例如机器人的成像系统的视场中的对象，并出现在所生成的图像中。基准可以被用作参考点或量度，并且可以被放置到成像对象或光学仪器的标线片中的一个或一组标记之中或被放置到其上。一旦利用基准以及通过机器学习引擎训练的算法进行设置，则每个机器人系统110、120和130能够适于并利用机器人各自工作区(诸如工作区118、128和130)中的组件零件来完成所分配的任务。

输出模块114、124和134用作与机器人硬件的接口，该接口能够被用于响应例如已分配的工作区118、128和138中的标识出的组件或零件或者与之进行交互。示例输出模块114、124和134包括：诸如致动器和伺服器这样的电动组件；诸如扬声器和蜂鸣器这样的声音发射器；诸如发光二极管(LED)这样的发光器；红外发射器；机器人基座控制器；机械人臂控制器；电机控制器；以及射频发射器。例如，机器人110、120和130可以具有关节，以使工具或所标识的组件定位和/或定向。其它类型的技术可以与诸如末端工具这样的输出模块114、124和134；特殊的合规/操纵设备；焊接技术；诸如激光器这样的光学设备；电机；编码器；转速表；放大器；诸如输送器和零件送料器这样的输送系统等等集成在一起。

在一些实施方式中，机器人110、120和130可以通过网络(未示出)以通信方式耦合。这样的网络能够包括如下单个大型网络或网络的组合：诸如局域网(LAN)、广域网(WAN)、蜂窝网络、卫星网络、一个或多个无线接入点、或连接任意数量的机器人110、120和130的其任何适当组合。此外，机器人可以通过网络以通信方式耦合到后端系统，该后端系统可以包括一个或多个服务器、一个或多个服务器集群、和/或一个或多个虚拟服务器。在一些实施方式中，机器学习引擎可以在服务器上实施，并且可以由机器人110、120和130通过网络访问以标识对象特征。

图2更具体地示出了在诸如图1中所示的示例环境100这样的所分配的环境内交互的机器人220的示例实施方式200。示例实施方式200包括机器人220和工作区230。机器人220与图1的机器人110、120和130基本类似并且被分配给与图1的工作区118、128和138基本类似的工作区230。机器人220被分配用以使用可以在工作区中找到的对象(例如组件)来完成工作区230中的各种任务。如以上就图1所描述的，机器人的类型和分配给机器人220的任务取决于环境的类型和/或由机器人220正在执行的工作。

与机器人110、120和130类似，机器人220包括处理器和控制器221、输入模块228、以及输出模块229，它们中的每一个与图1中所述的组件基本类似。如所示的，处理器和控制器221包括机器学习引擎222、数据存储224、以及控制和协调系统226。控制和协调系统226基于所分配的任务、来自所分配的工作区230的一个或多个相关标识组件、以及标识组件的已确定特征来确定待发送到输出模块229的命令。控制和协调系统226还可以协调其它操作模块与包括机器人220的机器学习引擎222的系统之间的数据传输。数据存储224是使用存储器位置来持续存储并管理数据的集合的存储库。数据存储224可以作为数据库实施的或以诸如平面文件这样的更简单的格式实施。

机器学习引擎222能够被提供为一个或多个计算机可执行软件模块或硬件模块。例如，在一些实施方式中，机器学习引擎222能够被提供为一个或多个软件模块。所述软件模块能够由相同的计算设备执行或跨包含在机器人220中的多个计算设备分布。在一些实施方式中，机器学习引擎222能够被提供为与控制和协调系统226电子通信的硬件模块。在一些替代实施方式中，可以将控制和协调系统226以及机器学习引擎210组合成一个或多个计算机可执行软件模块或硬件模块。机器学习引擎222的示例实施方式可以包括诸如数据存储224这样的存储或以其它方式引用所接收到的数据的一个或多个处理器或者一个或多个存储器设备或数据库。

在一些实施方式中，机器学习引擎222包括或生成机器学习模型(即AI模型)，该机器学习模型已被训练成接收诸如由输入模块228所生成的工作区的扫描数据这样的模型输入并且为每个接收到的模型输入生成预测输出，以执行在本公开中所描述的一个或多个处理。在一些实施方式中，机器学习模型是深度模型，该深度模型采用多层模型来为所接收到的输入生成输出。例如，机器学习模型可以是深度神经网络。深度神经网络是包括输出层和一个或多个隐藏层的深度机器学习模型，每个所述隐藏层将非线性变换应用于所接收到的输入以生成输出。在一些情况下，神经网络可以是递归神经网络。递归神经网络是接收输入序列并从该输入序列生成输出序列的神经网络。特别地，递归神经网络在对输入序列中的前一输入进行处理之后使用网络的一些或全部内部状态以从输入序列中的当前输入生成输出。在一些其它实施方式中，机器学习模型是例如线性回归模型或广义线性模型这样的浅层机器学习模型。

在一些实施方式中，机器学习引擎222能够并入训练数据210，该训练数据210专用于标识特定组件(即对象)上的特征，所述特定组件可以在诸如工作区230这样的工作区中找到并被用于完成机器人被分配到的一个或多个任务。在一些实施方式中，机器学习引擎222能够在训练时段(例如训练模式)期间获得特定训练数据210。例如，系统机器人220能够例如通过如下方式来获取训练数据并训练机器学习引擎222的机器学习模型，即：接收由输入模型228所生成的工作区230的扫描数据并确认(例如通过来自系统管理员的反馈)已正确解释了所接收到的扫描数据，例如，用以标识工作区230内的对象的各种相关特征。

在一些实施方式中，训练数据210可以是全局训练数据(例如数据集)，机器学习引擎222能够从大量资源(诸如能够通过网络访问或由系统管理员提供的资源)并入该全局训练数据。在一些实施方式中，全局训练数据210能够与在诸如上述环境这样的特定工作环境中所采用的特定对象有关。例如，能够获得与在特定电子设备(诸如计算机)或其它消费产品的制造中使用的组件有关的不同的全局训练数据集。例如，在计算机制造的情况下，数据集可以包含诸如母板、存储器芯片、处理器芯片、视频卡、音频卡、计算机壳体、CD ROM驱动器等这样的计算机组件的扫描数据。在一些方面中，全局训练数据210能够与在诸如如上所述(例如工业制造、数据中心、或诊断/维修)的特定环境中使用的组件有关。

在一些实施方式中，机器学习引擎和数据存储可以被托管在服务器或托管的第三方服务和/或基于云的服务上。在这样的实施方式中，机器人220可以通过发送扫描数据并接收与所标识的特征有关的已处理信息来例如通过网络进行通信。在这样的实施方式中，通过或者利用与网络的接口(例如硬件、软件、固件、或其组合)可以便于机器人220与机器学习引擎222的主机之间的通信。

一旦机器学习引擎222已训练了一个或多个AI模型，控制和协调系统226就可以将由输入模块接收到的扫描数据发送到机器学习引擎222。通过已训练的模型对扫描数据进行处理，以标识与机器人220的分配到的任务相关的对象特征。例如，扫描数据可能与已被放置在工作区内的待被用在制造相应计算机中的新母板组件有关。机器学习引擎222能够通过采用一个或多个已训练的AI模型来标识诸如DIMM插槽这样的母板的各种特征，而无需重新训练新的组件。一旦对扫描数据进行了处理，控制和协调系统226就可以采用与新组件(例如母板)的特征有关的已确定信息，以确定待发送到输出模块229的命令，该命令使得机器人220能够完成其分配到的任务(即将DIMM插入到所标识的DIMM插槽中)。

图3描绘了根据本公开的实施方式的示例处理300的流程图，该处理300用于标识用于完成分配给诸如图1和图2的机器人110、120、130和220这样的机器人系统的任务的对象的特征。在一些实施方式中，过程300能够被提供为使用一个或多个计算设备执行的一个或多个计算机可执行程序。在一些示例中，处理300由诸如图1和图2的机器人110、120、130和220这样的机器人系统来执行。

在一些方面中，处理300可以开始于步骤302处，该步骤302包括通过利用机器人系统的诸如传感器设备这样的输入模块扫描工作区来生成工作区的数据读取。例如，诸如图1中所示的环境100这样的采用使用所描述的特征标识系统的机器人的环境可以被形成用以生产诸如计算机这样的电子设备。部署到该环境中的每个机器人系统可以在工作区内操作并被分配与电子设备的特定组件的组装或电子设备本身有关的任务。对于每个分配到的任务，机器人可以利用输入模块来扫描所分配的工作区，诸如例如利用相机来进行对工作区的三维可视扫描。

处理300可以在步骤304处继续，该步骤304包括通过对由一个或多个机器学习引擎读取的数据进行处理来基于待被执行的任务来标识与工作区相关联的多个组件中的特定组件。例如，在一些方面中，通过一个或多个机器学习引擎，机器人系统可以基于该机器人系统待执行的下一任务来从其工作区中的各种组件标识出诸如母板这样的特定组件。在所描述的示例中，下一任务可能是将DIMM插入到母板上的DIMM插槽中。

处理300可继续步骤306，该步骤306包括利用一个或多个机器学习引擎来标识在完成任务的过程中所使用的特定组件的特定特征。继续以上示例，通过一个或多个机器学习引擎，机器人系统可以标识诸如母板上的DIMM插槽这样的用于完成下一任务的已标识组件的特征。所描述的特征标识系统基于根据机器学习引擎所训练的算法来标识与所分配的任务相关的这些组件特征。这样，在该示例中，能够将新的或不同的组件零件插入到组装处理中，而不必对机器人系统进行重新编程，以标识新的或不同的组件的特征或方面。

处理300可以在步骤308处继续，该步骤308包括利用一个或多个机器学习引擎来确定其被配置用以执行任务的特定工具(诸如机器人的输出模块中的一个输出模块)。继续该特定示例，在标识出母板的DIMM插槽之后，机器人系统可以标识并生成命令以采用机械臂(以及任何其它必需的工具)，从而将DIMM附接到DIMM插槽中。

处理300可以在步骤310处继续，该步骤310包括利用特定工具和特定组件的特定特征来执行任务，以及过程结束。继续该特定示例，机器人系统执行所生成的命令，该命令采用所识别的工具以使用所识别的组件的特定特征来完成所分配的任务。

图4描绘了用于训练机器学习模型以标识诸如组件或零件这样的对象上的相关特征的示例处理400的流程图，所述对象被用于在特定环境中完成分配给机器人的任务，该处理400能够根据本公开的实施方式来执行。在一些实施方式中，处理400能够被提供为使用一个或多个计算设备来执行的一个或多个计算机可执行程序。在一些示例中，处理400由诸如图1和图2的机器人110、120、130和220这样的机器人来执行。

该系统获得第一训练数据集(402)。第一训练数据集能够包括从各种传感器收集的数据扫描，该数据扫描可以包括可视的二维或三维图像或模型。训练扫描数据包括与在完成分配给机器人的任务的过程中所采用的对象(诸如组件或零件)有关的信息。该信息提供了与对象的特征有关的详细信息，以便一旦受过训练，就允许算法标识并区分与完成任务相关的对象的特征。训练扫描数据还能够包括与机器人可能在其中找到这样的对象并使用该对象完成任务的环境有关的信息。

该系统获得第二全局训练数据集(404)。第二训练数据集能够包括与机器人可以被部署到的环境有关的数据以及与用于在这样的环境中完成任务的各种类型的对象有关的细节。这样的全局数据可以通过采用所述系统的其它系统获取的和/或由其使用。全局训练数据还可以包括与相应环境中的任务有关的新开发组件的示意图数据。在一些方面中，能够使用多个不同的全局训练数据集来训练机器学习模型。

该系统基于第一数据集和第二数据集训练机器学习模型，帮助生成标识在工作区内扫描到的对象的特征(406)。能够基于与特定类型的对象有关的数据、与特定类型的环境有关的数据、和/或与特定任务有关的数据来训练机器学习模型。在一些方面中，系统在训练时段(例如机器人系统的训练模式)期间获得第一训练数据集。在一些实施方式中，训练数据包括校正反馈。例如，在训练模式期间，当系统标识出不正确的对象特征时，系统可以接收来自管理员用户的校正命令。在一些方面中，能够针对与特定环境有关的通用对象组对机器学习模型进行在先验证，诸如针对在特定电子产品或其它消费产品的制造中所使用的特定类型的零件或组件或者在数据中心中使用的特定类型的电缆。例如，能够利用已经过测试和验证的默认初始化来初始化机器学习模型。这种初始化处理可以确保机器学习模型在被交付给部署到环境中的一个或一组机器人之前具有最低级别的功能。

图5是示例性计算机系统500的示意图。根据一些实施方式，系统500能够被用于实现与先前描述的计算机实施方法中的任何一个实施方法相关联的所描述的操作。在一些实施方式中，在本说明书中描述的计算系统和设备以及功能操作能够在数字电子电路中、有形体现的计算机软件或固件中、计算机硬件(其包括在本说明书中所公开的结构(例如一个或多个机器学习引擎)及其结构等效物)中、或者在它们中的一个或多个的组合中被实施。系统500旨在包括诸如笔记本电脑、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机、以及其它适当计算机这样的各种形式的数字计算机，其包括安装在模块化车辆的基本单元或部署点单元上的车辆。系统500还能够包括诸如个人数字助理、蜂窝电话、智能电话、以及其它类似计算设备这样的移动设备。另外，系统能够包括诸如通用串行总线(USB)闪存驱动器这样的便携式存储介质。例如，USB闪存驱动器可以存储操作系统和其它应用。USB闪存驱动器能够包括输入/输出组件，诸如可以被插入到另一台计算设备的USB端口中的无线传送器或USB连接器。

系统500包括处理器510(例如处理器213)、存储器520、存储设备530、以及输入/输出设备540。组件510、520、530和540中的每一个组件使用系统总线550互连。处理器510能够对在系统500内执行的指令进行处理。可以使用多种架构中的任何一种机构来设计处理器。例如，处理器510可以是CISC(复杂指令集计算机)处理器、RISC(精简指令集计算机)处理器、或MISC(最小指令集计算机)处理器。

在一种实施方式中，处理器510是单线程处理器。在另一实施方式中，处理器510是多线程处理器。处理器510能够对存储在存储器520中的或存储在存储设备530上的指令进行处理，以在输入/输出设备540上显示用户界面的图形信息。

存储器520存储系统500内的信息。在一个实施方式中，存储器520是计算机可读介质。在一种实施方式中，存储器520是易失性存储单元。在另一实施方式中，存储器520是非易失性存储单元。

存储设备530能够为系统500提供大容量存储。在一个实施方式中，存储设备530是计算机可读介质。在各种不同的实施方式中，存储设备530可以是软盘设备、硬盘设备、光盘设备、或磁带设备。

输入/输出设备540为系统500提供输入/输出操作。在一个实施方式中，输入/输出设备540包括键盘和/或指示设备。在另一实施方式中，输入/输出设备540包括用于显示图形用户界面的显示单元。

所描述的特征能够在数字电子电路中、或者在计算机硬件、固件、软件中、或者它们的组合中实施。该装置能够在有形地体现在信息载体中的计算机程序产品中实施，例如在机器可读存储设备中由可编程处理器执行；并且方法步骤能够由下述可编程处理器来执行，该可编程处理器执行指令的程序，以通过对输入数据进行操作并生成输出来执行所述实施方式的功能。所描述的特征能够有利地在一个或多个计算机程序中实施，所述一个或多个计算机程序能够在可编程系统上执行，所述可编程系统包括至少一个可编程处理器，所述一个或多个计算机程序中实现被耦合成接收来自数据存储系统、至少一个输入设备、以及至少一个输出设备的数据和指令并将数据和指令传送到所述数据存储系统、至少一个输入设备、以及至少一个输出设备。计算机程序是能够在计算机中直接或间接使用的一组指令，用以执行某些活动或带来一定的结果。计算机程序能够以包括编译语言或解释语言的任何形式的编程语言来编写，并且它能够以包括如下形式在内的任何形式部署，即：作为独立程序或作为模块、组件、子例程、或者适合在计算环境中使用的其它单元。

举例来说，用于执行指令的程序的适当处理器包括通用微处理器和专用微处理器这两者，以及任何类型的计算机的单处理器或多个处理器中的一个处理器。通常，处理器将接收来自只读存储器或随机存取存储器或这两者的指令和数据。计算机的必要元素是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器。通常，计算机还将包括用于存储数据文件的一个或多个海量存储设备或者以可操作方式耦合到所述一个或多个海量存储设备以与之进行通信；这种设备包括：诸如内部硬盘和可移动盘这样的磁盘；磁光盘；以及光盘。适于有形地体现计算机程序指令和数据的存储设备包括所有形式的非易失性存储器，其例如包括：诸如EPROM、EEPROM以及闪存设备这样的半导体存储器设备；诸如内部硬盘和可移动盘这样的磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器能够通过ASIC(专用逻辑电路)补充或并入该专用逻辑电路中。

为了提供与用户的交互，该特征能够在如下计算机上实施，该计算机具有：用于向用户显示信息的显示设备，所述显示设备诸如CRT(阴极射线管)或LCD(液晶显示器)监视器；以及用户能够通过其向计算机提供输入的键盘和指示设备，所述指示设备诸如鼠标或跟踪球。另外，能够经由触摸屏平板显示器和其它适当机构来实现这样的活动。

该特征能够在如下计算机系统中实现，该计算机系统包括诸如数据服务器这样的后端组件、或者包括诸如应用服务器或因特网服务器这样的中间件组件、或者包括诸如具有图形用户界面或因特网浏览器的客户端计算机这样的前端组件、或者包括它们的任何组合。系统的组件能够通过诸如通信网络这样的任何形式或介质的数字数据通信连接。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)、对等网络(具有自组织或静态构件)、网格计算基础设施、以及因特网。

该计算系统能够包括客户端和服务器。客户端和服务器通常彼此远离并且典型地通过诸如所描述的网络进行交互。客户端与服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序产生。

虽然本说明书包含许多具体实施方式细节，但是这些不应当被解释为对任何发明的范围或者可以要求保护的范围的限制，而应当被解释为对专用于特定发明的特定实施方式的特征的描述。在本说明书中在分开的实施方式的情境中描述的某些特征还能够在单个实施方式中组合实施。相反地，在单个实施方式的情境中所描述的各个特征还能够分开地在多个实施方式中实施或者能够在任何适当的子组合中实施。此外，尽管可能在上文将特征描述为以某些组合起作用并且甚至最初要求保护如此，但是在一些情况下能够将来自要求保护的组合的一个或多个特征从该组合中删去，并且所要求保护的组合可以针对子组合或者子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是不应当将这理解为需要以所示的特定顺序或者以连续顺序执行这样的操作或者需要执行所有示出的操作以实现期望结果。在某些情况下，多任务以及并行处理可能是有利的。此外，不应当将上述实施方式中的各种系统组件的分离理解为在所有实施方式中均需要这样的分离，并且应当理解的是，通常能够将所述程序组件和系统一起集成在单个软件产品中或者封装到多个软件产品中。

因而，已对该主题的特定实施方式进行了描述。其它实施方式在所附权利要求书的范围内。在一些情况中，权利要求书中所记载的动作报告以不同顺序执行，并且仍然实现期望结果。另外，在附图中所描绘的处理不一定需要所示的特定顺序或相继顺序以实现期望结果。在某些实施方式中，多任务和并行处理可能是有利的。

Claims (20)

1.一种由机器人执行的计算机实施方法，所述机器人包括具有一个或多个硬件处理器的一个或多个机器学习引擎，所述方法包括：

通过利用所述机器人的传感器设备扫描工作区来生成所述工作区的数据读取；

通过经由所述一个或多个机器学习引擎对所述数据读取进行处理，基于待执行的任务来标识与所述工作区相关联的多个组件中的特定组件；

利用所述一个或多个机器学习引擎来标识在完成所述任务的过程中所使用的所述特定组件的特定特征；

利用所述一个或多个机器学习引擎来确定被配置用以执行所述任务的所述机器人的多个工具中的特定工具；以及

利用所述特定工具和所述特定组件的所述特定特征来执行所述任务。

2.根据权利要求1所述的计算机实施方法，进一步包括：

在标识所述特定特征之前：

接收包括具有与所标识的特定组件相似的其它组件的其它工作区的数据扫描的训练数据；并且

利用所述训练数据对所述一个或多个机器学习引擎进行训练，以标识所述其它组件的特征。

3.根据权利要求2所述的计算机实施方法，其中所述训练数据是从相机传感器设备捕获的图像数据，其中所述传感器设备是相机传感器设备，并且其中所述数据读取包括从所述相机传感器设备的视野捕获的图像信息。

4.根据权利要求3所述的计算机实施方法，其中，所述相机传感器设备是红外照相机设备。

5.根据任何一项前述权利要求所述的计算机实施方法，进一步包括：

利用所述工作区的所述数据读取以及所述特定组件的所标识的特定特征来重新训练所述一个或多个机器学习引擎。

6.根据任何一项前述权利要求所述的计算机实施方法，其中，所述机器人被部署在数据中心中。

7.根据权利要求6所述的计算机实施方法，其中所述特定组件是自由悬挂的电缆，其中所标识的特定特征是所述电缆的轨迹，并且其中所述任务包括将所述电缆与位于服务器上的配对件放置在一起。

8.根据权利要求1至5中的任一项所述的计算机实施方法，其中所述机器人被部署在组装线中以制造产品。

9.根据权利要求8所述的计算机实施方法，其中所述组件是在所述产品的制造中所使用的零件，并且其中所述任务包括将所述零件中的至少一个零件附接到所述产品。

10.根据权利要求8或9所述的计算机实施方法，其中所述特定组件是母板，其中所述特定特征是双列直插式存储器模块(DIMM)插槽，并且其中所述任务包括将DIMM插入到所述DIMM插槽中。

11.一种机器人系统，包括：

传感器设备；

一个或多个机器学习引擎，所述机器学习引擎中的每一个机器学习引擎包括一个或多个硬件处理器；以及

一个或多个存储器设备，所述一个或多个存储器设备与所述一个或多个机器学习引擎以可通信方式耦合，所述一个或多个存储器设备中的每一个存储器设备包括存储指令的有形非暂时性机器可读介质，所述指令在由所述一个或多个硬件处理器执行时执行如下操作，所述操作包括：

通过利用所述传感器设备扫描工作区来生成所述工作区的数据读取；

通过经由所述一个或多个机器学习引擎对所述数据读取进行处理，基于待执行的任务来标识与所述工作区相关联的多个组件中的特定组件；

利用所述一个或多个机器学习引擎来标识在完成所述任务的过程中所使用的所述特定组件的特定特征；

利用所述一个或多个机器学习引擎来确定被配置用以执行所述任务的所述机器人系统的多个工具中的特定工具；以及

利用所述特定工具和所述特定组件的所述特定特征来执行所述任务。

12.根据权利要求11所述的机器人系统，其中所述机器人被部署在数据中心中，其中所述特定组件是自由悬挂的电缆，其中所标识的特定特征是所述电缆的轨迹，并且其中所述任务包括将所述电缆与位于服务器上的配对件放置在一起。

13.根据权利要求11所述的机器人系统，其中所述机器人被部署在组装线中，以制造产品。

14.根据权利要求13所述的机器人系统，其中所述组件是在所述产品的制造中所使用的零件，并且其中所述任务包括将所述零件中的至少一个零件附接到所述产品。

15.根据权利要求13或14所述的机器人系统，其中所述特定组件是母板，其中所述特定特征是双列直插式存储器模块(DIMM)插槽，并且其中所述任务包括将DIMM插入到所述DIMM插槽中。

16.一种机器人，包括：

一个或多个机器学习引擎，所述一个或多个机器学习引擎包括一个或多个硬件处理器；以及

非暂时性计算机可读介质，所述非暂时性计算机可读介质存储软件并与所述一个或多个机器学习引擎相耦合，所述软件包括能够由所述机器人执行的指令，所述指令在被执行时使得所述机器人执行操作，所述操作包括：

通过利用所述机器人的传感器设备扫描工作区来生成所述工作区的数据读取；

通过经由所述一个或多个机器学习引擎对所述数据读取进行处理，基于待执行的任务来标识与所述工作区相关联的多个组件中的特定组件；

利用所述一个或多个机器学习引擎来标识在完成所述任务的过程中所使用的所述特定组件的特定特征；

利用所述一个或多个机器学习引擎来确定被配置用以执行所述任务的所述机器人的多个工具中的特定工具；以及

利用所述特定工具和所述特定组件的所述特定特征来执行所述任务。

17.根据权利要求16所述的机器人，其中所述操作进一步包括，在标识所述特定特征之前：

接收包括具有与所标识的特定组件相似的其它组件的其它工作区的数据扫描的训练数据；并且

利用所述训练数据对所述一个或多个机器学习引擎进行训练以标识所述其它组件的特征。

18.根据权利要求17所述的机器人，其中所述训练数据是从相机传感器设备所捕获的图像数据，其中所述传感器设备是相机传感器设备，并且其中所述数据读取包括从所述相机传感器设备的视野捕获的图像信息。

19.根据权利要求18所述的机器人，其中所述相机传感器设备是红外照相机设备。

20.根据权利要求16至19中的任一项所述的机器人，其中所述操作进一步包括：

利用所述工作区的所述数据读取以及所述特定组件的所标识的特定特征来重新训练所述一个或多个机器学习引擎。

Images