CN111899629A - 柔性机器人教学系统和方法 - Google Patents

Abstract

本公开提供一种柔性机器人教学系统和方法。系统包括工作站、机器人、视觉系统、人机交互设备和控制器。工作站上设置有物料摆放区和组装区。机器人相对于工作站以固定位置关系配置，包括抓取部，用于从物料摆放区抓取并移动待组装物料。视觉系统包括：拍摄单元，相对于抓取部以固定位置关系配置，用于获取实时图像；存储器，用于存储组装配方信息以及每一个待组装物料的识别模板；和处理器。人机交互设备耦合到处理器，包括显示器以及显示在显示器中的人机界面。控制器耦合到处理器和机器人，用于基组装配方信息和识别模板控制机器人依次将每一个待组装物料从物料摆放区移动到组装区中相应的组装位进行组装以获得组装体。

Description

柔性机器人教学系统和方法

技术领域

本公开总体上涉及一种柔性机器人教学系统和方法，尤其涉及一种利用安装在机器人上的视觉系统的柔性机器人教学系统。

背景技术

协作机器人是一种被设计成能和人类在共同工作空间中进行近距离互动的机器人。到目前为止，大部分工业机器人是自动作业或是被安装在防护网中被人引导作业的。协作机器人则不同，它能和人类近距离接触，在生产生活中充当不同的角色，如在办公室环境下它可以是和人类一起工作的自主机器人，在工厂中，它可以充当没有防护罩的工业机器人。

机器人教学系统是机器人自动控制系统的重要组成部分，利用示教装置可以完成机器人轨迹示教以及参数设置及修改等操作，并通过示教器和工控机之间的通信，将相关命令发送到机器人控制系统。

发明内容

传统的机器人教学系统只能演示相对固定的产品组装过程，无法扩展到组装任意产品的问题。当所需组装的产品改变时，需要耗费精力变更视觉系统和控制器的程序，难以适应多变的产品需求。

本公开提出一种柔性的机器人教学系统和方法。教学参与人员无需更改视觉系统和控制器的程序，即可实现任意组合的模型的组装和检测。

本公开的一个方面在于一种柔性机器人教学系统。该系统可以包括工作站、机器人、视觉系统、人机交互设备和控制器。工作站上可以设置有物料摆放区和组装区。物料摆放区可以用于存放多个物料。组装区可以供机器人对多个物料中的多个待组装物料进行组装以获得组装体。机器人可以相对于工作站以固定位置关系配置，可以包括抓取部，用于从物料摆放区抓取并移动待组装物料。视觉系统可以包括拍摄单元、存储器和处理器。拍摄单元可以相对于抓取部以固定位置关系配置并且被配置成用于获取实时图像。存储器可以被配置成用于存储组装配方信息以及每一个待组装物料的识别模板。人机交互设备可以耦合到处理器，包括显示器以及显示在显示器中的人机界面。控制器可以耦合到处理器和机器人，被配置成用于基于从处理器接收到的组装配方信息以及每一个待组装物料的识别模板，控制机器人依次将每一个待组装物料从物料摆放区移动到组装区中相应的组装位进行组装以获得组装体。

本公开的另一个方面在于一种柔性机器人教学方法，包括：依次为构成组装体的多个待组装物料创建视觉检测模板来生成组装体的组装配方信息；以及基于组装配方信息以及每一个待组装物料的识别模板，依次将每一个待组装物料从物料摆放区移动到组装区中相应的组装位进行组装以获得组装体。

附图说明

图1是图示出根据实施例的示例柔性机器人教学系统100的图；

图2是图示出根据实施例的示例柔性机器人教学系统100的框图；

图3是图示出根据实施例的示例组装配方的生成过程300的流程图；

图4是图示出根据实施例的示例组装配方自定义界面400的示意图；

图5是图示出根据实施例的示例视觉检测模板的生成过程500的流程图；

图6是图示出根据实施例的示例物料参数设置界面600的示意图；

图7是图示出根据实施例的示例视觉检测模板编辑界面的一部分的示意图；

图8是图示出根据实施例的示例组装过程800的流程图；以及

图9是图示出的根据实施例的示例组装界面900的示意图。

具体实施方式

在以下描述中，陈述了众多特定细节。然而，应当理解，可在没有这些特定细节的情况下实践本发明的实施例。在其他实例中，未详细示出公知的电路、结构和技术，以免使对本描述的理解模糊。

说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表明所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例不一定都包括该特定的特征、结构或特性。此外，此类短语不一定是指同一个实施例。此外，当结合实施例描述特定的特征、结构或特性时，认为结合无论是否被明确描述的其他实施例而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。

出于本公开的目的，短语“A和/或B”意指(A)、(B)或(A和B)。出于本公开的目的，短语“A、B、和/或C”意指(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。

应注意，术语“构成”、“构成有”、“具有”、“具备”、“包括”、“包括有”、“包含”、“含有”或它们的任何其它变型旨在覆盖非排他性的包括，使得构成、具有、包括、包含要素的列表的过程、方法、物品或装置不仅包括那些要素，还可包括对这种过程、方法、物品或装置未明确列出的或固有的其它要素。

术语“耦合”、“连接”等不限于物理地或机械地连接，也包括以可通信的方式间接连接。

下面将结合附图对本发明的技术方案进行清楚、完整地表述，所描述的实施例仅是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例都将落入本发明的保护范围。

在附图中，为了易于描述，示出了示意性要素的特定布置或次序，示意性要素诸如表示设备、模块、指令块和数据要素的那些示意性要素。然而，本领域技术人员应当理解，附图中的示意性要素的特定排序或布置并非旨在暗示要求特定的处理次序或顺序、或过程的分离。此外，在附图中包括示意性要素并不意味着暗示在所有实施例中都要求此类要素，或者在一些实施例中由此类要素表示的特征可以不被包括在其他要素中或与其他要素组合。

此外，在附图中，在使用诸如实线或虚线或箭头的之类连接要素来说明两个或更多个其他示意性要素之间的连接、关系或关联的情况下，不存在任何此类连接要素并不意味着暗示没有连接、关系或关联可以存在。换句话说，要素之间的一些连接、关系或关联未在附图中示出，以免使本公开模糊。另外，为了易于说明，使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，在连接要素表示信号、数据或指令的通信的情况下，本领域技术人员应当理解，此类要素如可根据需要来表示一个或多个信号路径(例如，总线)以影响通信。

传统的机器人只能通过编程来实现某一类产品的组装。当产品特征(外观、尺寸、颜色等)产生变化时，需要相应地修改程序，否则组装工作无法进行。本公开的柔性机器人教学系统引导用户针对不同产品制作相应的组装配方，能在不修改程序的情况下实现产品的个性化定制组装和柔性教学。

1.示例系统概况

图1是图示出根据实施例的示例柔性机器人教学系统100的图。图2是图示出根据实施例的示例柔性机器人教学系统100的框图。

如图1所示，示例柔性机器人教学系统100包括工作站10。工作站10上设置有人机交互设备6和机器人7。人机交互设备6和协作机器人7以有线或无线方式耦合到控制器30(图2)。控制器30可以设置在工作站10的任意位置，例如可以是PLC(可编程逻辑控制器)。

机器人7例如是六轴机器人，其末端执行部分包括抓取部72。通过机器人7各个关节的运动，能够调整抓取部72的位置和角度，以便抓取所需的物料8。

机器人7上安装有作为视觉系统20的一部分的相机22(也称为拍摄单元)。相机22例如以固定位置关系安装在抓取部72附近，以便获得与抓取部72大致相同的视场。由于相机22相对于抓取部72固定，因此两者具有固定的坐标变换关系。在抓取物料8时，基于由相机22拍摄到的实时图像能计算相机22与物料8的相对位置关系。再基于相机22与抓取部72的坐标变换关系，则能计算出抓取部72与物料8的相对位置关系，以便调节抓取部72的位置来准确抓取物料8。

如图2所示，视觉系统20还包括存储器26和处理器24。存储器26和处理器24例如可以集成在人机交互设备6中。人机交互设备6具有例如鼠标、键盘、触摸屏等作为输入设备62，并具有例如显示器64来显示人机界面。人机界面可以引导用户定义组装配方，包括为组装体的每一个物料8制作视觉检测模板。在组装过程中，可以在人机界面上实时显示组装信息。存储器26中预先存储有物料8的识别模板。示例识别模板用于识别物料摆放区3中的待组装物料8，可以包含用于识别待组装物料8的识别信息，诸如形状信息、颜色信息等。相同种类的待组装物料8可以利用同一识别模板来识别。如果存储器26中不存在与待组装物料8相匹配的识别模板，则人机界面可以引导操作员为该待组装物料8制作识别模板。视觉检测模板和识别模板的制作方法将在后文阐述。

处理器24耦合到相机22和控制器30，以便接收相机22拍摄到图像数据，并与控制器30收发控制指令。

回到图1，工作站10上还划分有多个区域，包括物料摆放区3和组装区5。物料摆放区3上放置有一个或多个物料8。机器人7可以从物料摆放区3中抓取待组装物料8并将其移动到组装区5中的特定位置(也称为组装位)来实现组装。物料摆放区3中可以放置有多种不同种类(形状、颜色等)的物料8。物料8可以以任意的角度、位置和取向摆放在物料摆放区3中。处理器24能基于相机22拍摄到的实时图像以及上文所述的识别模板来识别物料摆放区中3的待组装物料8，确定该待组装物料8在物料摆放区3中的位置，并将该待组装物料8的目的地，即，在组装区5中的组装位的位置信息(也称为第一位置信息)和在物料摆放区3中的位置信息(也称为第二位置信息)发送给控制器30。控制器30基于第一位置信息和第二位置信息控制机器人7抓取相应的待组装物料8并移动到安装区5中的组装位。第一位置信息包含在组装配方中，表示相应的待组装物料8在安装区5中的组装位置。第二位置信息表示相应的待组装物料8在物料摆放区3中的位置，由处理器24基于相机22拍摄到的图像和相应的待组装物料8的识别模板来生成。

这里，“位置信息”用于描述物料8的位置，可以是机器人坐标系或工作台坐标系中的坐标，可以是对应的机器人的位姿参数，还可以是相对于机器人当前位姿的偏移量。以六轴机械臂为例，位姿参数包括X、Y、Z、RX、RY和RZ，其中X是笛卡尔坐标系的X轴上的距离，Y是笛卡尔坐标系的Y轴上的距离，Z是笛卡尔坐标系的Z轴上的距离，RX是X-Y-Z固定角坐标系下的偏转角，RY是X-Y-Z固定角坐标系下的俯仰角，RZ是X-Y-Z固定角坐标系下的回转角。通过这六个位姿参数能够确定机器人7的末端执行部(抓取部72)的位置和取向。

此外，物料8可以由用户放置在物料摆放区3。在一些实施例中，系统100还包括物料暂存区1。物料暂存区1可以是可移动货架、AGV(Automated Guided Vehicle：自动导航运输车)等。用户可以手动从物料暂存区1中挑选组装某一产品所需的物料8，并将它们放置到物料摆放区3中。

有些产品可能具有底座。此时需要在底座上组装物料8。该情况下，工作站10还可以包括底座摆放区2，用于存放组装产品所需的底座。在进行组装时，可以先手动将底座摆放到组装区5的特定位置，然后再如上述那样从物料摆放区3中抓取物料8进行组装。

在一些实施例中，工作站10还可以包括成品摆放区4，以供放置组装完成的产品。

2.示例组装配方生成过程

图3是图示出根据实施例的示例组装配方的生成过程300的流程图。该过程由用户在人机界面的引导下完成。

首先，在步骤302中，用户通过输入设备62向人机交互设备6输入待组装的产品的名称和/或ID等配方识别信息。该信息被发送到处理器24。

在步骤304中，处理器24确定存储器26中是否已经存在与所输入的配方识别信息相对应的组装配方。如果不存在相应的配方，则进入步骤308。

本文描述的“组装配方”用于实现和检查某一产品组装所需的各个物料8的组装，包含各个物料8的组装顺序信息，相应物料8在组装区5中的目标位置以及相应物料8在目标位置时的视觉检测模板的信息。在一些实施例中，组装配方可以进一步包括组装体的名称、待组装物料8的数量、底座信息(类型、颜色等)、待组装物料的编号信息等。

视觉检测模板用于确认待组装物料8的组装状态是否正确，可以包含：待组装物料8处于组装区5中的正确组装位置(即，组装位)时、组装体上至少包含该待组装物料8的部分的图像信息；表示待组装物料8在组装区5内的组装位的位置的信息(也称为“第一位置信息”)；以及表示拍摄图像信息时的拍摄位的位置的信息(也称为“拍摄位置信息”)。图像信息可以由相机22拍摄到或者对拍摄到的图像进行图像处理而得到，用于检查待组装物料8在组装区5中的组装是否正确。当组装不正确时，可以生成警报，例如在显示器64上显示警报信息，或以其他方式引起操作员注意。在发生警报后，操作员可以取下组装好的物料8并将其放回到物料摆放区3，然后操作系统100重新尝试进行抓取和组装。取决于组装顺序和组装位置的不同，同一种物料8可以具有不同的目标位置，因而可以具有不同的视觉检测模板。识别模板用于从放置在物料摆放区3中的多个物料中识别待组装物料8。

在步骤308中，由于存储器26中不存在相应的组装配方，因此创建新的组装配方。在该步骤中，用户可以输入与组装配方有关的各种信息。作为非限制性示例，可以输入组装配方的名称、完成产品组装所需的物料8的数量等。该数量例如可用于控制器30生成组装步序和/或在执行组装时计算组装进度。在产品需要底座的情况下，用户还可以输入与底座有关的信息，例如颜色等。

在步骤310中，用户为待组装物料8创建视觉检测模板。如上所述，视觉检测模板包含待组装物料8处于组装区5中的正确组装位置时的图像信息，并且与该正确组装位置的位置(第一位置信息)以及拍摄该图像时的位置信息(也称为“拍摄位置信息”)相关联。处理器24能基于组装配方中针对每一个待组装物料8包含的第一位置信息，控制机器人7将待组装物料8移动到相应位置。然后可以与针对该待组装物料8创建的视觉检测模板进行比较来检查待组装物料8的组装位置是否正确。

为了实现产品的组装，需要为每一个待组装物料8相对于组装体创建视觉检测模板。在为所有待组装物料8创建视觉检测模板后，即可在组装后对该物料的组装状态进行检查。

在为所有待组装物料8注册视觉检测模板后(步骤312中为否)，在步骤314中保存配方。

若在步骤304中确定存在与用户输入的配方识别信息相对应的组装配方，则进入步骤306。在步骤306中，用户可以对已有的组装配方进行修改，包括但不限于修改组装配方信息、修改物料信息、修改物料的组装顺序、添加或删除物料组装步骤、更改某一物料的第一位置信息和/或第二位置信息和/或视觉检测模板等。在完成组装配方的修改后，进入步骤312并保存配方。

图4是图示出根据实施例的示例组装配方自定义界面400的示意图。应注意，图中各组件的位置以及按钮的设置和形式仅为示意，可以根据需要进行任意的修改。如图4所示，组装配方自定义界面400可供用户选择已有的组装配方或者创建新的组装配方。界面400可以包括配方选择区402和配方创建区404。配方选择区402可供用户输入诸如配方名称、配方ID之类的信息。在输入此类信息后，处理器24执行上文描述的步骤304判断存储器26中是否存在对应的组装配方。如果存在，则在配方选择区402中呈现相应的组装配方供用户选择并登陆该配方。若不存在对应的组装配方，用户也可以在配方创建区404中创建新的组装配方。配方创建区404可供用户输入各种配方信息，例如包括组装配方名称输入区4042、物料数量输入区4044、底座颜色输入区4046等。用户在相应输入区输入信息后即可创建新的组装配方。用户也可以删除已有的组装配方。

图5是图示出根据实施例的示例视觉检测模板的生成过程500的流程图。该过程500可以在创建或者修改组装配方时执行，用于针对物料8生成视觉检测模板(步骤310)。

在步骤502中，用户可以输入所针对的待组装物料8的信息，诸如物料ID等。

在步骤504中，加载机器人程序，完成机器人的初始化。

在步骤506中，用户将需要制作视觉检测模板的物料8放置到物料摆放区3中并手动运行机器人程序。

在步骤508中，用户可以操作机器人7抓取待组装物料8。

在步骤510中，用户可以操作机器人7将待组装物料8移动到组装区5中的正确组装位置(组装位)。

在步骤512中，保存待组装物料8处于组装位时的坐标来获得第一位置信息。

在步骤514中，使机器人7释放待组装物料8并使待组装物料8保持在组装位，同时移动机器人7的机械臂使得相机22随着机械臂移动到合适位置来对组装区5中的待组装物料8进行拍照。

在步骤516中，保存拍摄到的图像并保存此时机器人7的拍摄位坐标作为拍摄位置信息。在保存图像时，可以使该图像与第一位置信息以及拍摄位置信息相关联。该第一位置信息可供机器人7在组装产品过程中得知应将该待组装物料8移动到何处。该图像能用于在将该待组装物料8移动到组装区5后检查该待组装物料8的组装是否正确。具体而言，在将该待组装物料8移动到组装区5后，使机器人7调整到先前保存的拍摄位置，然后利用相机22拍摄图像并与预先保存的图像进行对比，由此能检查待组装物料8的组装是否正确。

图6是图示出根据实施例的示例物料参数设置界面600的示意图。应注意，图中各组件的位置以及按钮的设置和形式仅为示意，可以根据需要进行任意的修改。图6所示的界面600包括显示相机22的实时图像的图像显示区域602、显示机器人信息的机器人信息区域604和显示物料信息的物料信息区域606。

图像显示区域602可以显示物料8的图像，例如识别模板。

机器人信息区域604包括实时显示机器人7的坐标的机器人实时坐标显示区域6042，能够以任何一种描述机器人7位置的坐标系统显示机器人7的实时坐标。以六轴机械臂为例，可以显示X、Y、Z、RX、RY和RZ这六个位姿参数，其中X是笛卡尔坐标系的X轴上的距离，Y是笛卡尔坐标系的Y轴上的距离，Z是笛卡尔坐标系的Z轴上的距离，RX是X-Y-Z固定角坐标系下的偏转角，RY是X-Y-Z固定角坐标系下的俯仰角，RZ是X-Y-Z固定角坐标系下的回转角。通过这六个位姿参数能够准确描述机器人7的末端执行部(抓取部)的位置和取向。

机器人信息区域604还包括组装位保存按钮6044和拍摄按钮6045。在图5的步骤510中将物料8移动到组装区5内的组装位后，可以点击组装位保存按钮6044来保存此时的机器人7的位姿参数(即第一位置信息)。所保存的第一位置信息可以显示在组装位坐标显示区域6047中。此外，在图5的步骤514中将机器人7调整在拍摄位后，可以点击拍摄按钮6045来对组装区5进行拍摄，并保存此时的拍摄位坐标。该拍摄位坐标可以显示在拍摄位坐标显示区域6046中。在点击拍摄按钮6045后，获得的图像作为该物料8的视觉检测模板进行保存。

物料信息区域606例如包括物料ID输入区6062。用户可以在为物料8生成视觉检测模板前，在物料ID输入区6062中输入物料8的ID信息。物料信息区域606还可以显示与物料8有关的信息，诸如高度、颜色等。

在完成当前物料8的视觉检测模板的创建后，可以点击界面600上的按钮610来对下一个物料8进行参数设置。参数设置的过程与上文描述的过程相同。此外，用户也可以点击按钮608来对之前已保存的物料8的参数进行变更。

为了在物料检测区3中识别需要抓取的某一种(例如形状和颜色)物料8，需要预先对每一种物料8制作识别模板。识别模板可以通过对相机22拍摄的图像进行处理得到，例如可以对放置有需要制作识别模板的物料8的物料摆放区3进行拍摄。

图7是图示出根据实施例的示例视觉检测模板编辑界面的一部分的示意图。当用户按下图6中的拍摄按钮6045后，会进入视觉检测模板编辑界面。在视觉检测模板编辑界面中会显示相机22拍摄到的图像。用户可以利用视觉检测模板编辑界面中的图像选择工具在图像中标识当前正在为其创建视觉检测模板的物料704。图7中虚线框所示的选择框702用于标识物料704。如图7所示，即便组装区5内存在已安装的物料706，也能标识出物料704从而获得其形状信息。用户还可以在视觉检测模板编辑界面中录入物料704的颜色信息。颜色信息的录入可以由处理器24对图像中的被选择区域进行训练而得到。

识别模板的创建与视觉检测模板类似。但与视觉检测模板不同，识别模板不需要反映该物料8在组装体中的状态，因此同一种物料8可以采用相同的识别模板。对于已存在识别模板的待组装物料8，可以直接调用其识别模板，例如可以根据组装配方中的物料ID、物料名称等信息来进行查找。另一方面，取决于组装顺序、组装位置的不同，同一种物料8可以具有不同的视觉检测模板。因此需要相对于组装体对每一个物料8制作视觉检测模板。

3.示例组装过程

在为产品创建了组装配方并在物料摆放区3中放置所需的物料8以后，示例系统100即可基于该组装配方自动完成产品的组装。图8是图示出根据实施例的示例组装过程800的流程图。

在步骤802中，在用户选择相应的组装配方并启动组装程序后，视觉系统20的处理器24将组装配方发送到控制器30。

在步骤804中，控制器30对从处理器24接收到的组装配方进行解析，确定各个物料的组装顺序并在步骤806中确定当前的待组装物料8。

在确定当前的待组装物料8后，在步骤808中，控制器30向处理器24发送当前的待组装物料8的请求消息。请求消息中例如包含当前的待组装物料8的ID。

在步骤810中，处理器24基于请求消息从存储器26中检取对应的待组装物料8的识别模板和视觉检测模板。

在步骤812中，处理器24基于识别模板以及由相机22拍摄到的物料摆放区3的实时图像识别待组装物料8并确定其在物料摆放区3中的位置(第二位置信息)。

在步骤814中，处理器24将所确定的第二位置信息以及存储器26中与视觉检测模板相关联的、表示待组装物料8在组装区5中的正确安装位置的第一位置信息发送给控制器30。

在步骤816中，控制器30将第一位置信息和第二位置信息转换成机器人控制指令并发送给机器人7。

在步骤818中，机器人7基于来自控制器30的控制指令从物料摆放区3中抓取待组装物料8并将待组装物料8移动到组装区5中与第一位置信息相对应的位置，然后释放待组装物料8。

在步骤820中，待机器人7完成移动后，由控制器30向处理器24发送表示待组装物料8的移动、即组装已成完成的消息(也称为第一消息)。

响应于接收到来自控制器30的第一消息，在步骤822中，处理器24调用该待组装物料8的视觉检测模板对其组装进行检查。具体而言，处理器24将保存在存储器26中的该待组装物料8的拍摄位坐标发送给控制器30。控制器30控制机器人7调整到与拍摄位坐标相对应的位姿后利用相机22进行拍照。通过将相机22拍摄到的图像与视觉检测模板的图像进行比较，能够判断该待组装物料8的组装是否正确。

若在步骤822中判断待组装物料8的组装不正确，则可以在步骤828中生成警报，例如在显示器64上显示警报信息，或以其他方式引起操作员注意，并暂停组装。此时，操作员可以取下组装好的物料8并将其放回到物料摆放区3，然后操作系统100以便在步骤816和818中重新尝试对其进行抓取和组装。然后再次执行步骤820和822来检查该待组装物料8的组装是否正确。

若在步骤822中判断当前待组装物料8的组装正确，则进入步骤824。在步骤824中，处理器24向控制器30发送表示待组装物料8的组装正确的消息(也称为第二消息)。

响应于接收到来自处理器24的第二消息，控制器30在步骤826中确定当前待组装物料8的组装的完成，基于组装配方中的组装顺序信息来确定是否存在下一个需要组装的物料。如果判断存在下一个需要组装的物料，则返回到步骤806，并重复步骤806-824，直到完成所有待组装物料8的组装，即可完成产品的组装。

图9是图示出的根据实施例的示例组装界面900的示意图。组装界面900可用于在组装过程中实时展示与机器人7当前抓取的物料、已经完成的半成品、以及最终产品有关的信息。

如图9所示，示例组装界面900可以包括显示当前抓取的物料的标准图像的物料图像区域902、显示当前抓取的物料的视觉检测模板的半成品图像区域904和示意表示整个工作台的状态的工作台图像区域906。物料8的标准图像可以来源于物料8的识别模板。

示例组装界面900还可以包括组装信息显示区域908。组装信息显示区域908可以包括显示当前组装的产品的名称、ID等信息的产品信息显示区域9082、显示组装进度的组装进度显示区域9084和显示最终产品图像的产品图像显示区域9086。产品信息可以从组装配方中获得。组装进度可以基于组装配方中设定的物料数量以及当前正在组装的物料来获得。最终产品图像可以在创建组装配方的过程中拍摄得到。

本公开的柔性机器人教学系统能够在不改变上位机(控制器)程序的情况下，实现对不同产品的柔性教学。通过对产品的各个物料依次创建视觉检测模板来生成该产品的组装配方，从而能在组装产品时，基于组装配方实现产品的自动化组装。

4.示例

以下示例涉及具体技术实施例，并指出可在实现这些实施例中使用或以其他方式组合的具体特征、要素或步骤。

在一个示例中，提供了一种柔性机器人教学系统，包括：工作站，工作站上设置有：物料摆放区，用于存放多个物料；和组装区，供机器人对多个物料中的多个待组装物料进行组装以获得组装体；机器人，相对于工作站以固定位置关系配置，包括抓取部，用于从物料摆放区抓取并移动待组装物料；视觉系统，包括：拍摄单元，相对于抓取部以固定位置关系配置并且被配置成用于获取实时图像；存储器，被配置成用于存储组装配方信息以及每一个待组装物料的识别模板；和处理器；人机交互设备，耦合到处理器，包括显示器以及显示在显示器中的人机界面；以及控制器，耦合到处理器和机器人，被配置成用于基于从处理器接收到的组装配方信息以及每一个待组装物料的识别模板，控制机器人依次将每一个待组装物料从物料摆放区移动到组装区中相应的组装位进行组装以获得组装体。

在柔性机器人教学系统的一个示例中，组装配方信息包含多个待组装物料的组装顺序信息，并且针对每一个待组装物料包含视觉检测模板，视觉检测模板包含：表示对应的待组装物料在组装区内的组装位的位置的第一位置信息；对应的待组装物料位于组装位时、利用拍摄单元对组装体上至少包含对应的待组装物料的部分进行拍摄得到的图像信息；以及表示拍摄图像信息时的拍摄位的位置的拍摄位置信息。

在柔性机器人教学系统的一个示例中，识别模板包含用于确定对应的待组装物料在物料摆放区内的位置的识别信息。

在柔性机器人教学系统的一个示例中，识别信息包括颜色信息和/或形状信息。

在柔性机器人教学系统的一个示例中，形状信息通过由用户经由人机交互设备在实时图像中标识对应的待组装物料而获得。

在柔性机器人教学系统的一个示例中，颜色信息由实时图像对用户标识的对应的待组装物料的图像进行训练得到。

在柔性机器人教学系统的一个示例中，控制器进一步被配置成用于：在组装组装体前，基于组装配方信息确定多个待组装物料的组装顺序。

在柔性机器人教学系统的一个示例中，控制器进一步被配置成用于：在将要开始组装对应的待组装物料时，向处理器发送针对对应的待组装物料的请求消息；处理器进一步被配置成用于：响应于从控制器接收到请求消息，从存储器检取与请求消息所指定的对应的待组装物料相对应的视觉检测模板以及识别模板；基于所检取的识别模板，从由拍摄单元拍摄到的图像中识别并确定对应的待组装物料在物料摆放区中的位置以便生成第二位置信息，并将所生成的第二位置信息与第一位置信息一起发送给控制器。

在柔性机器人教学系统的一个示例中，请求消息包含对应的待组装物料的编号信息。

在柔性机器人教学系统的一个示例中，控制器进一步被配置成用于：基于从处理器接收到的第二位置信息控制机器人从物料摆放区中抓取对应的待组装物料，并基于第一位置信息控制机器人将对应的待组装物料移动到组装位。

在柔性机器人教学系统的一个示例中，控制器进一步被配置成用于：在控制机器人将对应的待组装物料移动到与第一位置信息相对应的位置后，向处理器发送表示对应的待组装物料的组装完成的第一消息，处理器进一步被配置成用于：响应于从控制器接收到第一消息，基于对应的待组装物料的视觉检测模板与在拍摄位处拍摄到的图像信息的比较来确定对应的待组装物料的组装是否正确；以及响应于确定对应的待组装物料的组装正确，向控制器发送表示组装正确的第二消息。

在柔性机器人教学系统的一个示例中，控制器进一步被配置成用于：响应于从处理器接收到第二消息，基于所确定的组装顺序确定下一个待组装物料。

在柔性机器人教学系统的一个示例中，处理器进一步被配置成用于：响应于确定对应的待组装物料的组装不正确，生成警报。

在柔性机器人教学系统的一个示例中，人机界面被配置成用于实时呈现当前由机器人抓取的待组装物料以及已组装的一个或多个待组装物料的图像信息。

在另一个示例中，提供了一种柔性机器人教学方法，包括：依次为构成组装体的多个待组装物料创建视觉检测模板来生成组装体的组装配方信息；以及基于组装配方信息以及每一个待组装物料的识别模板，依次将每一个待组装物料从物料摆放区移动到组装区中相应的组装位进行组装以获得组装体。

在柔性机器人教学方法的一个示例中，创建视觉检测模板包括：将待组装物料从物料摆放区移动到组装位；对位于组装位的待组装物料进行拍摄；以及将拍摄到的组装位图像、表示组装位的位置的第一位置信息以及表示拍摄位的位置的拍摄位置信息一起保存为视觉检测模板。

在柔性机器人教学方法的一个示例中，识别模板通过以下步骤生成：对放置有待组装物料的物料摆放区进行拍摄；以及在所拍摄到的物料摆放区的图像中标识待组装物料以获得待组装物料的形状信息，和/或对拍摄到的图像中标识出的待组装物料的颜色进行训练以获得颜色信息。

在柔性机器人教学方法的一个示例中，将待组装物料从物料摆放区移动到组装位包括：基于识别模板从拍摄到物料摆放区的图像中识别待组装物料并确定待组装物料在物料摆放区中的位置来生成第二位置信息；基于第二位置信息从物料摆放区抓取待组装物料；以及基于第一位置信息将待组装物料移动到组装位。

在柔性机器人教学方法的一个示例中，将待组装物料从物料摆放区移动到组装位还包括：基于拍摄到的组装位图像检查待组装物料的组装是否正确。

在柔性机器人教学方法的一个示例中，检查包括：将拍摄到的组装位图像与在拍摄位处拍摄到的实时图像进行比较。

在柔性机器人教学方法的一个示例中，当待组装物料的组装不正确时，生成警报。

本文所公开的机制的实施例可被实现在硬件、软件、固件或此类实现方式的组合中。本发明的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。

以上详细描述了本发明的优选实施方式。但应当理解为本发明在不脱离其广义精神和范围的情况下可以采用各种实施方式及变形。本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本领域技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应属于由本发明的权利要求书所确定的保护范围内。

Claims (21)

1.一种柔性机器人教学系统，包括：

工作站，所述工作站上设置有：

物料摆放区，用于存放多个物料；和

组装区，供所述机器人对所述多个物料中的多个待组装物料进行组装以获得组装体；

机器人，相对于所述工作站以固定位置关系配置，包括抓取部，用于从所述物料摆放区抓取并移动所述待组装物料；

视觉系统，包括：

拍摄单元，相对于所述抓取部以固定位置关系配置并且被配置成用于获取实时图像；

存储器，被配置成用于存储组装配方信息以及每一个所述待组装物料的识别模板；和

处理器；

人机交互设备，耦合到所述处理器，包括显示器以及显示在所述显示器中的人机界面；以及

控制器，耦合到所述处理器和所述机器人，被配置成用于基于从所述处理器接收到的所述组装配方信息以及每一个所述待组装物料的识别模板，控制所述机器人依次将每一个所述待组装物料从所述物料摆放区移动到所述组装区中相应的组装位进行组装以获得所述组装体。

2.如权利要求1所述的系统，其特征在于，所述组装配方信息包含所述多个待组装物料的组装顺序信息，并且针对每一个待组装物料包含视觉检测模板，

所述视觉检测模板包含：表示对应的待组装物料在所述组装区内的所述组装位的位置的第一位置信息；所述对应的待组装物料位于所述组装位时、利用所述拍摄单元对所述组装体上至少包含所述对应的待组装物料的部分进行拍摄得到的图像信息；以及表示拍摄所述图像信息时的拍摄位的位置的拍摄位置信息。

3.如权利要求2所述的系统，其特征在于，

所述识别模板包含用于确定所述对应的待组装物料在所述物料摆放区内的位置的识别信息。

4.如权利要求3所述的系统，其特征在于，所述识别信息包括颜色信息和/或形状信息。

5.如权利要求4所述的系统，其特征在于，所述形状信息通过由用户经由所述人机交互设备在所述实时图像中标识所述对应的待组装物料而获得。

6.如权利要求4所述的系统，其特征在于，所述颜色信息由所述实时图像对用户标识的所述对应的待组装物料的图像进行训练得到。

7.如权利要求2所述的系统，其特征在于，所述控制器进一步被配置成用于：在组装所述组装体前，基于所述组装配方信息确定所述多个待组装物料的组装顺序。

8.如权利要求3所述的系统，其特征在于，所述控制器进一步被配置成用于：在将要开始组装所述对应的待组装物料时，向所述处理器发送针对所述对应的待组装物料的请求消息；

所述处理器进一步被配置成用于：

响应于从所述控制器接收到所述请求消息，从所述存储器检取与所述请求消息所指定的所述对应的待组装物料相对应的视觉检测模板以及识别模板；

基于所检取的识别模板，从由所述拍摄单元拍摄到的图像中识别并确定所述对应的待组装物料在所述物料摆放区中的位置以便生成第二位置信息，并将所生成的所述第二位置信息与所述第一位置信息一起发送给所述控制器。

9.如权利要求8所述的系统，其特征在于，所述请求消息包含对应的待组装物料的编号信息。

10.如权利要求8所述的系统，其特征在于，所述控制器进一步被配置成用于：基于从所述处理器接收到的所述第二位置信息控制所述机器人从所述物料摆放区中抓取所述对应的待组装物料，并基于所述第一位置信息控制所述机器人将所述对应的待组装物料移动到所述组装位。

11.如权利要求3所述的系统，其特征在于，所述控制器进一步被配置成用于：在控制所述机器人将所述对应的待组装物料移动到与所述第一位置信息相对应的位置后，向所述处理器发送表示所述对应的待组装物料的组装完成的第一消息，

所述处理器进一步被配置成用于：

响应于从所述控制器接收到所述第一消息，基于所述对应的待组装物料的所述视觉检测模板与在所述拍摄位处拍摄到的所述图像信息的比较来确定所述对应的待组装物料的组装是否正确；以及

响应于确定所述对应的待组装物料的组装正确，向所述控制器发送表示组装正确的第二消息。

12.如权利要求11所述的系统，其特征在于，所述控制器进一步被配置成用于：响应于从所述处理器接收到所述第二消息，基于所确定的组装顺序确定下一个待组装物料。

13.如权利要求11所述的系统，其特征在于，所述处理器进一步被配置成用于：响应于确定所述对应的待组装物料的组装不正确，生成警报。

14.如权利要求1所述的系统，其特征在于，所述人机界面被配置成用于实时呈现当前由所述机器人抓取的待组装物料以及已组装的一个或多个待组装物料的图像信息。

15.一种柔性机器人教学方法，包括：

依次为构成组装体的多个待组装物料创建视觉检测模板来生成所述组装体的组装配方信息；以及

基于所述组装配方信息以及每一个所述待组装物料的识别模板，依次将每一个所述待组装物料从物料摆放区移动到组装区中相应的组装位进行组装以获得所述组装体。

16.如权利要求15所述的方法，其特征在于，创建所述视觉检测模板包括：

将所述待组装物料从所述物料摆放区移动到所述组装位；

对位于所述组装位的所述待组装物料进行拍摄；以及

将所述拍摄到的组装位图像、表示所述组装位的位置的第一位置信息以及表示拍摄位的位置的拍摄位置信息一起保存为所述视觉检测模板。

17.如权利要求15所述的方法，其特征在于，所述识别模板通过以下步骤生成：

对放置有所述待组装物料的所述物料摆放区进行拍摄；以及

在所拍摄到的物料摆放区的图像中标识所述待组装物料以获得所述待组装物料的形状信息，和/或对所述拍摄到的图像中标识出的所述待组装物料的颜色进行训练以获得颜色信息。

18.如权利要求16所述的方法，其特征在于，将所述待组装物料从物料摆放区移动到所述组装位包括：

基于所述识别模板从拍摄到所述物料摆放区的图像中识别所述待组装物料并确定所述待组装物料在所述物料摆放区中的位置来生成第二位置信息；

基于所述第二位置信息从所述物料摆放区抓取所述待组装物料；以及

基于所述第一位置信息将所述待组装物料移动到所述组装位。

19.如权利要求18所述的方法，其特征在于，将所述待组装物料从物料摆放区移动到所述组装位还包括：

基于所述拍摄到的组装位图像检查所述待组装物料的组装是否正确。

20.如权利要求19所述的方法，其特征在于，所述检查包括：

将所述拍摄到的组装位图像与在所述拍摄位处拍摄到的实时图像进行比较。

21.如权利要求19所述的方法，其特征在于，当所述待组装物料的组装不正确时，生成警报。

Images