CN110497412A - 基于网页和移动端的机器人图形化编程交互系统 - Google Patents

Abstract

一种基于网页和移动端的机器人图形化编程交互系统，包括：供用户进行图形化编程操作的图形化编程交互接口和记录图形化编程操作结果的中间数据结构，其中图形化编程交互接口包括功能块列表区和编程区；功能块列表区用于存储和显示用户编程可用的所有功能块图标；编程区用于根据用户对功能块的选择、拖拽和参数设置操作形成图形化程序；功能块为图形化编程的最小单元，根据机械臂编程中常见功能进行提取封装得到。该系统充分考虑了机械臂机器人的应用特点，简化用户的操作，程序可读性强。

Description

基于网页和移动端的机器人图形化编程交互系统

技术领域

本发明涉及机器人领域，特别涉及一种机器人图形化编程技术。

背景技术

目前，市面上的机械臂编程交互方式分为4种，主要特点如下：

1.代码型：用户需要对机器人的每一步指令输入代码，代码的编写与计算机编程十分类似。

2.任务列表型：基于代码型编程方式，用户对每一步指令不需输入完整的代码，只需输入每一步指令中需要修改的参数，程序用任务列表显示。例如UR机器人的编程界面(参见附图1)

3.流程图型：基于流程图的方式表示任务，流程图中的每一个功能块代表一个任务指令，功能块之间的连线表示执行的顺序。如TM机器人的编程界面(参见附图2)

4.块图，来自于开源可视化编程工具Blockly，类似搭积木的方式，实际的编程思维与代码型类似。如越疆Dobot机器人编程页面(参见附图3)。

上述交互方式的缺陷主要包括：

代码型：对使用者的计算机编程能力有一定要求，并且用户需要对该机器人的编程语言有一定了解。用户友好度不高，在使用移动端如平板、示教器编程时效率较低。

任务列表型：机器人指令以文本形式排列在任务列表中，对用户来讲并不直观，编程需要一定的学习成本。

流程图型：流程图是系统自动自上而下排列的，不能随意更改节点位置，当程序内指令较多时，尤其存在很多跳转、条件等指令时，功能块之间的连线会变复杂，整个流程图可读性会较差。

块图：缺少对机器人编程场景的封装，对工业编程来说，编程效率太低。

综上所述，现有的机器人编程交互控制方法，使用上仍不够直观、便捷，限制了用户对机械臂的应用。

发明内容

本发明的目的是要提供一种便于机器人操作人员在电脑或者移动端快速上手的编程交互手段。

本公开提供的基于网页和移动端的机器人图形化编程交互系统，包括：供用户进行图形化编程操作的图形化编程交互接口和记录图形化编程操作结果的中间数据结构，其中：

所述图形化编程交互接口包括功能块列表区和编程区两个对象；

所述功能块列表区用于存储和显示用户编程可用的所有功能块图标；

所述编程区用于根据用户对所述功能块的选择、拖拽和参数设置操作形成所需要的表示机械臂控制流程的图形化程序；

所述功能块为图形化编程的最小单元，根据机械臂编程中常见功能进行提取封装得到。

优选地，所述功能块包括：

基础功能块：根据机械臂主要控制过程提取封装的功能块，包括但不限于根据机械臂运动封装成的Move功能块，提供延时功能的Wait功能块，设置IO、变量值的Set功能块；

流程控制功能块：表示条件判断、循环等与流程控制相关的功能块；

高级功能块：包括但不限于为解决图形化编程不方便实现而提供的脚本编程功能块，用于嵌入已完成的图形化程序的子程序功能块。

优选地，所述功能块还包括根据机械臂的应用场景封装得到的功能块，包括但不限于相机抓取功能块、码垛功能块。

优选地，所述编程区对象对所述功能块的布放位置做出约束，使其只能放于固定位置。

优选地，所述图形化程序采用树形图结构：由若干个程序行从上到下按执行顺序依次排列组成，一个程序行构成一个分支；

每个所述程序行由若干所述功能块组成，按照彼此间的逻辑关系，从整体上构成顺序、条件、循环三种结构，其内部又可以按这样的逻辑关系进一步划分为多个程序行分支。

优选地，所述编程区对象中设有参数配置区，引导用户在图形化编程过程中为用到的所述功能块设置参数。

优选地，所述编程区对象引导用户设置功能块参数时有辅助输入功能，包括给出输入提示或可选项，或提供可拖拽示教的仿真模型并能记录下当前点作为输入的目标位置。

优选地，所述中间数据结构为系统全局变量，在图形化编程的每一步操作完成后，中间数据结构都会描述并记录所述编程区对象中当前的图形化程序。

优选地，所述中间数据结构采用JSON数据格式。

优选地，用户在移动端通过网线访问机器人控制器的浏览器，进入所述图形化编程交互系统，完成图形化编程。

本公开基于网页和移动端的机器人图形化编程交互系统，通过对机械臂常用场景的提取封装，以功能块的形式提供给操作人员拖拽，简化了操作和程序结构，提高工业应用条件下的编程效率，并且适用于通过移动终端设备进行编程；采用树形图编程方式，使程序主干脉络和分支脉络一目了然，提升了机器人控制流程复杂情况下程序的结构清晰度和可读性；引导式参数设置和辅助输入功能，降低了操作人员的编程门槛；功能块拖拽选择、无需下载专用软件而通过浏览器访问等也使得操作人员可以通过移动端设备便捷操作。与现有技术相比，本公开的有益效果是：①可直观显示程序的顺序逻辑、循环逻辑、条件逻辑，方便用户直观的看到程序的主要流程；②采用引导式的方式设置功能块的参数，便于用户快速上手，未经过专业培训的现场工人也可快速编程；③程序结构清晰，即使在程序较大时，也能保持较好的可读性；④将机械臂常用场景提取封装为功能块，简化了操作和程序结构。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例方式中，相同的参考标号通常代表相同部件。

图1为UR机器人的编程界面；

图2为TM机器人的编程界面；

图3为越疆Dobot机器人编程页面；

图4为示例性实施例的机器人图形化编程交互系统组成示意图；

图5为示例性实施例的图形化编程交互接口的显示界面

图6为示例性实施例的程序行结构示意图。

图7为示例性实施例的添加功能块界面；

图8为示例性实施例通过拖拽示教的仿真模型帮助设置参数的界面；

图9显示示例性实施例的While程序行添加过程；

图10显示示例性实施例的IF程序行添加过程。

图11显示示例性实施例图形化编程完成后的可视化运行界面。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

如附图4所示，示例性实施例的基于网页和移动端的机器人图形化编程交互系统，包括图形化编程交互接口和中间数据结构两部分，其中，图形化编程交互接口供用户进行图形化编程操作，即操作人员可以通过对不同图块的拖动、组合，来描述机械臂的动作流程等；中间数据结构用于记录图形化编程形成的图形化程序。根据中间数据结构，即可生成机械臂的脚本代码，发送给控制器，控制器解析脚本代码，从而最终实现图形化编程的解析。

附图5中给出了示例性实施例的图形化编程交互接口的显示界面，该接口包括功能块列表区和编程区两个窗口对象，其中：

功能块列表区用于存储和显示用户编程可用的所有功能块图标；

编程区用于根据用户对功能块的选择、拖拽和参数设置操作形成所需要的表示机械臂控制流程的图形化程序；

功能块列表区中的功能块是图形化编程的最小单元，根据机械臂编程中常见功能进行提取封装得到。

由此，操作人员使用“拖拽”的方式，将功能块列表中的图标拖到画布中，即编程区，根据功能块图标的位置、连线、类型、参数，确定程序的执行流程，得到需要的图形化程序。

作为优选方案，功能块包括以下几种：

基础功能块：根据机械臂主要控制过程提取封装得到，例如根据机械臂运动封装成的Move功能块，提供延时功能的Wait功能块，设置IO、变量值的Set功能块等。

流程控制功能块：表示条件判断、循环等与流程控制相关的功能块，如表示条件判断的IF功能块、表示循环的While功能块。

高级功能块：例如为解决图形化编程不方便实现而提供的Script功能块，可以进行脚本编程并嵌入到图形化程序中；以及子程序功能块(Subprog)，可以将一个已完成的图形化程序嵌入到另一个图形化程序中。

作为优选方案，功能块中还包括将机械臂的一些应用场景进行提取封装得到的功能块，包括相机抓取功能块、码垛功能块等。

作为优选方案，所述编程区对象即画布对功能块的布放位置做出约束，使其只能放于固定位置。基于这种约束，在用户拖动功能块时，会向用户提示可以放的区域。

作为优选方案，所述图形化程序采用树形图结构：由若干个程序行从上到下按执行顺序依次排列组成，一个程序行构成一个分支；每个所述程序行由若干所述功能块组成，按照彼此间的逻辑关系，从整体上构成顺序、条件、循环三种结构，其内部又可以按这样的逻辑关系进一步划分为多个程序行分支。

附图6中给出了程序行的三种结构及程序行的嵌套。可见，所述树形图结构中，无需流程控制、可以连续执行的多个动作功能块，从左至右相邻排列，组成一个顺序结构的程序行，构成主干程序的一个分支；而需要作出判断再执行、即与流程控制相关的多个动作功能块，则以该流程控制功能块为起点，组成一个条件或循环结构的程序行，形成主干的另一个分支。在条件或循环结构分支内的多个动作如果需要进一步分支，仍按上述规则排列，即程序行内可以嵌套程序行。

作为优选方案，所述编程区对象中设有参数配置区，引导用户在图形化编程过程中为用到的所述功能块设置参数。点击功能块，可打开引导式的对话框设置相关参数，如附图5所示。

作为优选方案，所述编程区对象引导用户设置功能块参数时有辅助输入功能，包括给出输入提示或可选项，或提供可拖拽示教的仿真模型并能记录下当前点作为输入的目标位置。

作为优选方案，所述中间数据结构为系统全局变量，在图形化编程的每一步操作完成后，中间数据结构都会描述并记录所述编程区对象中当前的图形化程序。

作为优选方案，所述中间数据结构采用JSON数据格式。例如：

对功能块(Block)主要描述为：{type:’move’,param:[],enable:true}

通过‘type’项描述功能块类型，‘param’项描述功能块的参数。由此储存这个功能块的参数等信息。

程序行(Line)是功能块的集合，对其三种结构分别描述为：

顺序结构{type:‘action’,body:[]}

循环结构{type:‘logic’,tag:‘WHILE’,cond:null,body:[]}

条件结构{type:‘logic’,tag:‘IF’,cond:null,body:[]}

程序行描述中的’body’项可以是功能块，也可以是程序行。因此则可以描述程序的嵌套结构。

当操作人员进行拖动、删除功能块等操作时，中间数据结构随之更新。图形化程序的保存、加载都是通过中间数据结构完成。最后，对这个中间数据结构进行解析，生成机械臂脚本，发送到控制器。

作为优选方案，用户在移动端通过网线访问机器人控制器的浏览器，进入所述图形化编程交互系统，完成图形化编程。

可见，根据示例性实施例的基于网页和移动端的机器人图形化编程交互系统，通过对机械臂常用场景的提取封装，以功能块的形式提供给操作人员拖拽，简化了操作和程序结构，适用于通过移动终端设备进行编程，提高工业应用条件下的编程效率；采用树形图编程方式，使程序主干脉络和分支脉络一目了然，提升了机器人控制流程复杂情况下程序的结构清晰度和可读性；引导式参数设置和辅助输入功能，降低了操作人员的编程门槛；功能块拖拽选择、无需下载专用软件而通过浏览器访问等也使得操作人员可以通过移动端设备便捷操作。与现有技术相比，本公开的有益效果是：①可直观显示程序的顺序逻辑、循环逻辑、条件逻辑，方便用户直观的看到程序的主要流程；②采用引导式的方式设置功能块的参数，便于用户快速上手，对于未经过专业培训的现场工人也可快速编程；③程序结构清晰，即使在程序较大时，也能保持较好的可读性。

应用示例

根据示例性实施例所述系统，以下面的示例进一步说明如何应用该系统进行图形化编程。

如附图7所示，START节点表示程序流的起始点，此点仅表示程序从哪里开始，并不做任何运动。

从左侧功能列表中拖动一个Move功能块到编程区，编程区域会提示可放置区域，将Move功能块放到可放置区域，会添加一个表示关节运动的节点。编程区域中，同一行从左到右表示程序的顺序关系。

Move功能块用来实现机械臂的运动，可以添加机械臂的一系列路径点并指定机械臂运动至该路径点的方式(关节、直线、圆弧等)。单击刚才添加的Move功能块，右侧会出现此功能块的参数设置选项。在一个Move功能块中可以添加多个运动的指令。如添加一个MoveJ指令(点击“+”按钮，Type选择MoveJ)，在“目标点”选项下选择“移动设点”。点击“设点”按钮，会弹出“移动”对话框。“移动”对话框中切换到“移动关节”标签页(默认选择“移动关节”)，从上到下对应1～7关节，如图8所示。按住某个关节的左/右箭头按钮(“<”/“>”)。让机械臂移动到新的位置。点击“确定”后，此位置会被记录到当前MoveJ中。也可以选择“设为变量”，选择一个变量作为目标点的位置(变量在“变量配置”页面添加)。

再次单击运动指令列表中的“+”可添加下一个路径点，如添加一个MoveL，表示机械臂将以末端移动的方式移动到指定位置，以同样方式设置该路径点的位置。

添加一个MoveC任务。MoveC任务为弧线移动，需指定两个位置点：中间点表示圆弧运动的中间点，目标点表示圆弧运动的结束点，设定好MoveC任务两个点的位置。

添加一个循环功能，拖动一个While功能块到编程区，点击该功能块，在右侧的参数设置面板中，判断条件选择“循环次数”，输入3。即while的子功能块将循环运行3次。

在while循环内创建要执行的动作：拖入一个Set功能块，选择DO1为HIGH，即输出口1设为高电平；添加Wait功能块，选择“延时”，并输入延时时间1000ms；再添加Set功能块，选择DO1为LOW。如附图9所示。

切换到“变量配置”区，点击“新建”按钮，新建一个变量n1。(示例性实施例的编程区对象，设置有“程序”、“变量配置”、“函数配置”、“脚本”标签页，分别用于编辑图形化程序、创建配置变量、函数和直接写入脚本)。

在While循环中添加一个Set功能块，设置变量n1的值为n1+1。这个值可以直接输入，也可以点击右侧的“+”图标，打开辅助输入框，可以快速输入变量、内部函数等。

接着添加一个IF节点，作为判断分支，判断条件为n1＝＝2。在IF下添加一个Move模块，即当满足IF条件时，执行该运动。如附图10所示。

编辑程序结束。单击左下角的“save”按钮可保存程序。

运行界面中选择该程序。点击下方的“开始”按钮即可运行。如附图11所示。

程序运行时，会高亮显示正在执行的功能块。

上述技术方案只是本发明的示例性实施例，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施例所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (10)

1.一种基于网页和移动端的机器人图形化编程交互系统，其特征在于，包括：供用户进行图形化编程操作的图形化编程交互接口和记录图形化编程操作结果的中间数据结构，其中：

所述图形化编程交互接口包括功能块列表区和编程区两个对象；

所述功能块列表区用于存储和显示用户编程可用的所有功能块图标；

所述编程区用于根据用户对所述功能块的选择、拖拽和参数设置操作形成所需要的表示机械臂控制流程的图形化程序；

所述功能块为图形化编程的最小单元，根据机械臂编程中常见功能进行提取封装得到。

2.如权利要求1所述的机器人图形化编程交互系统，其特征在于，所述功能块包括：

基础功能块：根据机械臂主要控制过程提取封装的功能块，包括但不限于根据机械臂运动封装成的Move功能块，提供延时功能的Wait功能块，设置IO、变量值的Set功能块；

流程控制功能块：表示条件判断、循环等与流程控制相关的功能块；

高级功能块：包括但不限于为解决图形化编程不方便实现而提供的脚本编程功能块，用于嵌入已完成的图形化程序的子程序功能块。

3.如权利要求2所述的机器人图形化编程交互系统，其特征在于，所述功能块还包括根据机械臂的应用场景封装得到的功能块，包括但不限于相机抓取功能块、码垛功能块。

4.如权利要求1所述的机器人图形化编程交互系统，其特征在于，所述编程区对象对所述功能块的布放位置做出约束，使其只能放于固定位置。

5.如权利要求1所述的机器人图形化编程交互系统，其特征在于，所述图形化程序采用树形图结构：由若干个程序行从上到下按执行顺序依次排列组成，一个程序行构成一个分支；

每个所述程序行由若干所述功能块组成，按照彼此间的逻辑关系，从整体上构成顺序、条件、循环三种结构，其内部又可以按这样的逻辑关系进一步划分为多个程序行分支。

6.如权利要求1所述的机器人图形化编程交互系统，其特征在于，所述编程区对象中设有参数配置区，引导用户在图形化编程过程中为用到的所述功能块设置参数。

7.如权利要求6所述的机器人图形化编程交互系统，其特征在于，所述编程区对象引导用户设置功能块参数时有辅助输入功能，包括给出输入提示或可选项，或提供可拖拽示教的仿真模型并能记录下当前点作为输入的目标位置。

8.如权利要求6所述的机器人图形化编程交互系统，其特征在于，所述中间数据结构为系统全局变量，在图形化编程的每一步操作完成后，中间数据结构都会描述并记录所述编程区对象中当前的图形化程序。

9.如权利要求8所述的机器人图形化编程交互系统，其特征在于，所述中间数据结构采用JSON数据格式。

10.如权利要求1所述的机器人图形化编程交互系统，其特征在于，用户在移动端通过网线访问机器人控制器的浏览器，进入所述图形化编程交互系统，完成图形化编程。