CN105467858A - 一种机器人控制程序图形化集成开发环境 - Google Patents

Abstract

本发明涉及一种机器人控制程序图形化集成开发环境，包括图形库管理模块、图形化编程模块和可视化模块。本发明还公开了一种机器人控制程序图形化集成开发环境的图形化编程方法。本发明的优点体现在：(1)支持开发机器人实时控制程序；(2)支持个性化、专业化、定制机器人开发；(3)支持机器人控制系统半物理仿真。

Description

一种机器人控制程序图形化集成开发环境

技术领域

本发明涉及机器人控制程序图形化集成开发环境，具体涉及一种个性化、专业化和定制机器人控制计算机开发控制程序的图形化集成开发环境。

背景技术

一般来说，一个机器人系统由三个部分、六个子系统组成，如图1所示。这三个部分是机械部分、传感部分和控制部分；六个子系统是机械系统、驱动系统、感知系统、机器人——环境交互系统、人机交互系统和控制系统。其中，机械系统是由关节连在一起的许多机械连杆的集合体，形成开环运动学联系；驱动系统是使各种机械部件产生运动的装置；感知系统由机器人内部传感器模块和外部传感器模块组成，可获取内部和外部环境状态中有用信息；机器人——环境交互系统是实现机器人与外部环境中的设备相互联系和协调的系统；人机交互系统是人与机器人进行联系和参与机器人控制的装置，包括指令给定装置和信息显示装置；控制系统的任务是根据机器人的作业指令程序以及从传感器反馈回来的信号，支配机器人的执行机构去完成规定的运动和功能。

机器人控制系统的核心是控制计算机，根据机器人的复杂程度不同，控制计算机可以是一个单片计算机系统、或是一个可编程逻辑控制器、或是一个嵌入式计算机系统、或是一个通用计算机系统、或是一个计算机网络系统。无论这个控制计算机的硬件如何组成，无一例外地需要给它们编制程序，才能完成所要求的控制功能。

所谓“机器人开发环境”指的是用来给机器人控制计算机开发程序的软件包，一般包括：

(1)编程环境

(2)编译执行环境

(3)可重用的软件库

(4)完备的调试/仿真环境

(5)对机器人硬件设备的“驱动”程序支持

(6)通用的、常用的功能控制软件，例如，计算机视觉、导航和机械手臂控制等。

“机器人开发环境”的作用就是减少软件开发的工作量、缩短软件开发时间、降低开发的支出和提高软件的可靠性。

目前，市场上出现了多种大同小异的机器人开发环境，其中，具有代表性的是微软公司的微软机器人开发环境(MSRS，MicrosoftRoboticsStudio)、美国WillowGarage公司的机器人操作系统(ROS，RobotOperatingSystem)和美国国家仪器公司(NI，NationalInstruments)的LabVIEW机器人模块(LabVIEWRoboticsModule)，下面分别介绍。

(1)微软机器人开发环境MSRS

MSRS是基于Windows和WindowsCE操作系统下的.net和C#程序开发环境，采用图形化的编程方式，以设计程序流程图的方法编写机器人控制程序。图形化编程是以图形块作为各运算操作单元，图形库之间的有向连线作为数据流动方向和图形块的执行顺序。这种编程方式直观，具备并行执行、异步操作的能力。除了图形化编程，MSRS也能够使用C#语言编写相同功能的应用程序，并且MSRS支持将图形化编写的源程序导出成C#源代码。采用MSRS编写的机器人控制程序仅适用于MSRS所支持的机器人套件。

(2)机器人操作系统ROS

ROS是以代码复用为目标、专为机器人软件开发而设计的一个开源的次级操作系统，是建立在操作系统(现在主要运行在Ubuntu操作系统上，它是一种Linux操作系统)之上的软件运行平台，提供连接硬件与软件、软件与软件之间的抽象层，方便开发者协作开发或分享机器人应用。ROS有自己的程序编译运行环境，ROS程序编译和运行都需要调用自身的编译命令。根据ROS系统代码的维护者和分布来标识，ROS主要有两大部分，一个是由WillowGarage和它认可的开发者提供和维护的main；另一部分是不同层级的应用软件包。因此，在ROS上开发机器人就是自行编写实现子功能的软件包或配置好已有的软件包，再调用各个实现子功能的包编写成更加高级功能的机器人应用。ROS软件运行需要ROS核的支持，采用ROS编写的机器人控制程序仅适用于列在ROS的官方网站上机器人系统。

(3)LabVIEW机器人模块

LabVIEWRobotics是NI(NationalInstruments)公司开发的基于LabVIEW的机器人软件开发工具，它继承了基于虚拟仪器的图形化编程方法，并通过虚拟仪器这种文件形式来实现程序的封装和复用。LabVIEWRobotics开发环境和运行平台都是基于LabVIEW，并提供了很多算法和硬件驱动可以直接调用，生成的机器人控制程序即为LabVIEW可执行程序，需要在LabVIEW运行引擎支持下运行，而LabVIEW通常运行在Windows操作系统之上。

然而，现有技术包含如下缺点：

(1)不具有实时性：由于现有技术采用的开发环境和由此开发出的控制程序都运行在通用操作系统之上，例如，MSRS和LabVIEW都运行在Windows操作系统之上，而ROS运行在Linux(Ubuntu)之上。因此，这些控制程序都不具备实时性。而实时性对于某些场合运行的机器人来说是必要的，例如，工业机器人往往要求实时性。

(2)仅适用于特定的机器人：现有技术都要求统一的编程环境和统一的编译执行环境，例如，MSRS仅适用于MSRS所支持的机器人套件；ROS仅适用于列在ROS的官方网站上机器人系统；而LabVIEW需要在LabVIEW运行引擎支持下运行。带来的问题是用户在开发个性化、专业化和定制机器人选用日益增多的开源软硬件时受到较大的限制。

(3)缺乏完备的仿真环境：MSRS和LabVIEW具有数字仿真能力，而ROS不具有任何仿真能力。同时，它们都没有提供半物理仿真的能力。

发明内容

本发明的目的是解决个性化、专业化和定制机器人控制计算机开发程序缺少开发环境的问题，提供一种机器人控制程序图形化集成开发环境。

为实现上述目的，本发明公开了如下技术方案：

一种机器人控制程序图形化集成开发环境，包括图形库管理模块、图形化编程模块和可视化模块。

其中，图形库管理模块的功能包括:

(1)对图形化编程所需的机器人零部件库中的零部件进行管理，其功能包括“新建”、“打开”、“编辑”、“保存”和“删除”等；

(2)对图形化编程所需的算法库中的程序进行管理，其功能包括“新建”、“打开”、“编辑”、“保存”和“删除”等；

(3)对图形化编程和可视化所需的机器人模型库中的机器人模型及其文件进行管理，其功能包括“导入”、“编辑”、“保存”和“删除”等；

(4)对可视化所需的工作环境库中的工作环境文件进行管理，其功能包括“新建”、“打开”、“编辑”、“保存”和“删除”等；

图形化编程模块的功能包括：

(1)利用图形库中的机器人零部件、算法程序和机器人模型构建机器人控制系统；

(2)结合可视化模块共同完成机器人控制系统的仿真；

通过交叉编译和连接生成机器人控制程序并通过网络发送给机器人控制计算机，完成机器人控制程序的刷新；

可视化模块的功能包括：

(1)结合图形化编程模块共同完成机器人控制系统的仿真；

(2)实时接收机器人发来的机器人位姿和状态信息；

(3)根据接收到的位姿信息将机器人模型以3D图形方式实时显示在图形显示区中，图形显示区以机器人当前的工作环境为背景；同时在数据显示区中实时显示机器人的当前位置、姿态和状态；

其中，图形库管理模块是独立运行的；图形化编程模块和可视化模块可以独立运行也可以同时运行。

作为一种优选方案，所述图形库管理模块包括图形库以及相应的库操作，其中，图形库分为：

机器人零部件库：又根据零部件功能将它们分别存放在机器人零部件库下的计算机库、驱动库、人机交互库、传感器库和杂项库，各个库中包含若干零部件，对零部件设置“新建”、“打开”、“编辑”、“保存”、“删除”的操作达到对机器人零部件库的管理作用；

工作环境库：存放以XML文件记录的机器人工作环境，XML文件记录内容包括：以矩形描述的环境大小、以矩形描述的栅格大小和以矩形描述的障碍物群；对库中的环境文件设置“新建”、“打开”、“编辑”、“保存”、“删除”的操作达到对工作环境库的管理作用；

机器人模型库：包括记录机器人几何尺寸和重心位置的XML文件、描述机器人的3D图形文件、动力学模型程序和运动学模型程序；对库中的机器人模型文件设置“导入”、“打开”、“编辑”、“保存”、“删除”的操作达到对机器人模型库的管理作用；

算法库：又根据算法的功能将它们分别存放在算法库下的控制程序库、功能程序库和辅助程序库，其中，控制程序库存放机器人控制计算机运行的控制程序；功能程序库存放机器人完成某种能力的功能程序，辅助程序库中存放其它程序；对算法库中的文件设置“新建”、“打开”、“编辑”、“保存”、“删除”的操作达到对算法库的管理作用。

作为一种优选方案，所述机器人零部件库包括计算机库、驱动库、人机交互库、传感器库和杂项库：

计算机库：存放的零部件是组成机器人系统的控制计算机；

驱动库：存放的零部件是组成机器人系统的驱动器；

人机交互库：存放的零部件是组成机器人系统的人机交互设备；

传感器库：存放的零部件是组成机器人系统的传感器；

杂项库：存放的零部件是组成机器人系统的其他部件。

作为一种优选方案，所述机器人零部件库中：

一个零部件由3个计算机文件组成，包括：记录零部件图形和接口属性的XML文件、控制程序和仿真程序；

一个零部件图形由3个图形元素组成，包括：矩形框、文本和接口；

其中，记录零部件图形和接口属性的XML文件记录的内容包括：

(1)零部件的图形描述，矩形框的数量、位置和尺寸；

(2)零部件的文本的数量、位置和内容；

(3)零部件的接口的数量、位置和属性，各个接口的属性包括：接口类型、连接数量；

(4)一个适用的机器人模型说明；

一个适用的控制程序文件名。

作为一种优选方案，构建工作环境包括在线构建环境和离线构建环境：

在线构建环境：利用机器人自身携带的传感器对周围环境的感知来构建地图；

离线构件环境：根据图纸资料采用矩形积木构图方式构建地图。

作为一种优选方案，所述图形化编程模块的图形化源程序采用XML文件方式记录和保存，设置“新建”、“打开”、“编辑”、“保存”、“删除”、“生成程序”、“编译和连接”、“显示”、“断点”、“单步”、“运行”、“交叉编译与连接”、“下载”操作实现了采用图形化方法编制控制程序的目的。

作为一种优选方案，所述图形化源程序显示在图形化程序编辑区内，通过“新建”→“编辑”→“保存”操作增加一个图形化源程序；通过“打开”→“编辑”→“保存”操作修改一个图形化源程序；通过“删除”操作减少一个图形化源程序；通过“生成程序”操作将一个图形化源程序转换为一个仿真程序和一个控制程序，仿真程序显示在仿真程序编辑区，控制程序显示在控制程序编辑区；通过“编译和连接”操作生成一个可执行的仿真程序；通过“显示”操作在显示区中设置仿真程序运行过程中需要监控的变量及其数值；通过“断点”、“单步”和“运行”和显示区变量数值变化或可视化模块的显示内容来调试仿真程序；通过“交叉编译与连接”并选择和运行一个与机器人控制计算机相匹配的交叉编译和连接程序生成一个可执行的控制程序；通过“下载”操作将一个可执行的控制程序下载到机器人控制计算机中。

作为一种优选方案，记录和保存图形化源程序的XML文件包括：

(1)组成图形化源程序的所有零部件的名称、位置，它索引了源程序中所有零部件对应的仿真程序和控制程序；

(2)组成图形化源程序的所有零部件各个接口之间连接线状态和位置，它指出了源程序中所有零部件各个接口之间的通信关系；

(3)机器人模型库中适用的机器人名称，以索引出机器人的3D图形文件名，以便在需要时发给可视化程序模块；并索引出在生成程序时所需机器人的动力学模型程序和运动学模型程序。

作为一种优选方案，所述可视化模块设置“导入工作环境”和“导入机器人”的操作，实现了机器人控制程序的可视化仿真和机器人位姿的可视化监视：

通过“导入工作环境”操作导入机器人的工作环境，作为图形显示区的背景；

通过“导入机器人”操作导入机器人模型，并根据接收到的位姿信息将机器人模型以3D图形方式实时显示在图形显示区中。

本发明还提供了一种机器人控制程序图形化集成开发环境的图形化编程方法，包括如下步骤：

步骤1：通过“新建”或“打开”一个图形化源文件操作，激活一个图形化源文件；

步骤2：根据设计需求在图形化程序编辑区内增加或移动或删除一个控制计算机；

步骤3：根据设计需求在图形化程序编辑区内增加或移动或删除其它机器人零部件；

步骤4：根据设计需求在图形化程序编辑区内增加或移动或删除控制计算机和其他机器人零部件各个接口之间连接线的操作；

步骤5：根据图形化源程序生成仿真程序和控制程序；

步骤6：编译和连接仿真程序，生成可执行的仿真程序；

步骤7：调试仿真程序，如果仿真结果满足要求，转下一步骤；否则转步骤2；

步骤8：选择和运行与机器人控制计算机相匹配的交叉编译和连接程序生成一个可执行的控制程序；

步骤9：通过无线或有线网络下载已生成的可执行控制程序，实现机器人控制程序的刷新。

本发明公开的一种机器人控制程序图形化集成开发环境，具有以下有益效果：

(1)支持开发机器人实时控制程序

1)包含计算机库，机器人控制计算机作为机器人的一个零部件，它可以是一个单片计算机系统、或是一个可编程逻辑控制器、或是一个嵌入式计算机系统、或是一个通用计算机系统、或是一个计算机网络系统；

2)在通用操作系统上(本发明所涉及的开发环境运行在Windows操作系统上)开发的控制程序通过交叉编译和连接生成跨平台可执行的机器人控制程序，并通过网络下载实现机器人控制程序的刷新；

3)计算机库中的控制计算机所包含的仿真程序和控制程序均包含一个实时时钟；

(2)支持个性化、专业化、定制机器人

1)图形库完全开放并且包含计算机库；

2)不要求统一的编译执行环境，交叉编译和连接生成控制程序；

3)通过网络下载方式实现控制程序刷新；

(3)支持半物理仿真

1)包含计算机库并且各零部件之间的连接均通过通信接口实现；

2)机器人数据的实时采集和数据通过网络传输；

3)机器人位姿和状态的可视化监控。

附图说明

图1是机器人的基本构成示意图；

图2是本发明的基本构成模块示意图；

图3是图形库的组成示意图；

图4(a)是一个机器人零部件组成示意图；

图4(b)是一个机器人零部件图形示意图；

图5是一个移动机器人控制系统图形化源文件；

具体实施方式

下面结合实施例并参照附图对本发明作进一步描述。

术语解释：

1、机器人控制计算机

机器人是自动执行工作的机器装置。机器人在控制计算机的程序控制下，既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。机器人的任务是协助或取代人类的工作，例如生产业、建筑业，或是危险的工作。根据机器人的复杂程度，机器人的控制计算机可以是一个单片计算机系统、或是一个可编程逻辑控制器、或是一个嵌入式计算机系统、或是一个计算机系统、或是一个计算机网络系统。控制程序是运行在控制计算机中的程序，它的功能和性能是决定机器人功能和性能的指标之一。

2、图形化集成开发环境

集成开发环境(IDE，IntegratedDevelopmentEnvironment)是提供计算机程序开发的应用程序，一般包括代码编辑器、编译器、调试器和图形用户界面工具。集成了代码编写功能、分析功能、编译功能、调试功能等一体化的开发软件服务套件。所有具备这一特性的软件(包)或者软件套(组)都可以叫集成开发环境。例如，微软的VisualStudio系列，Borland的C++Builder、Delphi系列等。该程序可以独立运行，也可以和其它程序并用。

一般的集成开发环境提供的是基于文本的算法语言(例如，BASIC语言，C语言，等等)，并由此产生计算机可执行的代码；而图形化集成开发环境采用的是基于功能的图形模块(例如，RS232通讯模块，USB接口的激光传感器模块，等等)，并通过这些模块之间的连接线表示它们之间的逻辑关系和属性，再由此产生计算机可执行的代码。

3、个性化、专业化和定制机器人

个性化、专业化和定制机器人指的是用户根据自身特定需求以及可得到的机器人软硬件资源而制作的机器人。其中，可得到的机器人软硬件资源包括可购买到的机器人零部件，例如，驱动电机及控制器、嵌入式计算机系统、激光传感器及驱动软件、机器人应用的开源软件，等等。

4、交叉编译与连接

就是在一个平台(包括硬件和软件)上生成另一个平台上的可执行代码。

本发明包括三个模块：

图形库管理模块、图形化编程模块和可视化模块。

其中，图形库管理模块的功能包括：

(1)对图形化编程所需的机器人零部件库中的零部件进行管理，其功能包括“新建”、“打开”、“编辑”、“保存”和“删除”等；

(2)对图形化编程所需的算法库中的程序进行管理，其功能包括“新建”、“打开”、“编辑”、“保存”和“删除”等；

(3)对图形化编程和可视化所需的机器人模型库中的机器人模型及其文件进行管理，其功能包括“导入”、“编辑”、“保存”和“删除”等；

(4)对可视化所需的工作环境库中的工作环境文件进行管理，其功能包括“新建”、“打开”、“编辑”、“保存”和“删除”等；

图形化编程模块的功能包括：

(1)利用图形库中的机器人零部件、算法程序和机器人模型构建机器人控制系统；

(2)结合可视化模块共同完成机器人控制系统的仿真；

(3)通过交叉编译和连接生成机器人控制程序并通过网络发送给机器人控制计算机，完成机器人控制程序的刷新；

可视化模块的功能包括：

(1)结合图形化编程模块共同完成机器人控制系统的仿真；

(2)实时接收机器人发来的机器人位姿和状态信息；

(3)根据接收到的位姿信息将机器人模型以3D图形方式实时显示在图形显示区中，图形显示区以机器人当前的工作环境为背景；同时在数据显示区中实时显示机器人的当前位置、姿态和状态；

图形库管理模块、图形化编程模块和可视化模块之间的关系如图2所示。从图2可见，图形库管理模块是独立运行的，而图形化编程模块和可视化模块可以独立运行也可以同时运行。

1.图形库管理模块

图形库管理模块由图形库以及相应的库操作组成。如图3所示，图形库分为4个库：一个是机器人零部件库；二是(机器人)工作环境库；三是机器人模型库；四是(机器人控制)算法库。

A.机器人零部件库

机器人零部件库的设置对应于图1所示的机器人组成，将零部件库划分为计算机库、驱动库、人机交互库、传感器库和杂项库。其中，计算机库对应图1中的控制系统；驱动库对应图1中的驱动系统；人机交互库对应图1中的人机交互系统；传感器库对应图1中的感知系统和机器人——环境交互系统；而杂项库则不对应图1中的任何系统，它包括组成机器人控制系统所需的其它部件，例如，连接线、设置开关，等等。各个库中又包含若干零部件，对库中的零部件设置“新建”、“打开”、“编辑”、“保存”、“删除”的操作达到对机器人零部件库的管理作用。通过“新建”→“编辑”→“保存”操作增加一个零部件；通过“打开”→“编辑”→“保存”操作修改一个零部件；通过“删除”操作减少一个零部件。

一个零部件由3个计算机文件(如图4(a)所示)组成：记录零部件图形(如图4(b)所示)和接口属性的XML文件，一个控制程序和一个仿真程序。如图4(b)所示，一个零部件的图形由3个图形元素组成：矩形框、文本和接口(黑色方块)组合而成。某个零部件的这3个文件由于“新建”或“打开”操作被激活，分别显示在图形编辑区、仿真程序编辑区和控制程序编辑区。其中，XML文件记录的内容包括：

(1)零部件的图形描述，矩形框的数量、位置和尺寸，以图4(b)为例，包括5个不同位置和尺寸的矩形；

(2)零部件的文本的数量、位置和内容，以图4(b)为例，包括1个零部件描述文本“控制计算机A”、4个接口类型描述文本“USB”、“RS232C”、“RS232C”和“WiFi”；

(3)零部件的接口的数量、位置和属性，以图4(b)为例，包括4个表示接口的黑色方块，各个接口的属性包括：

1)接口类型，例如，“USB”、“RS232C”、“WiFi”等等；

2)连接数量(仅计算机库中零部件)，例如，“RS232C”属于“点对点”通信模式，连接数量是1；“RS485”属于“点对多点”，连接数量是8；等等；

(4)适用的机器人模型说明(仅计算机库中零部件)，指出机器人模型库中的适用机器人名称；

(5)适用的控制程序文件名(仅计算机库中零部件)，指出机器人控制计算机加载的位于“算法库→控制程序库”中的控制程序名称。

对零部件的“编辑”操作，其特征在于步骤如下：

步骤1：执行“新建”或“打开”操作，激活一个零部件；

步骤2：对激活的零部件进行以下操作：

(1)在图形编辑区对零部件图形的编辑操作；

(2)在图形编辑区对接口进行属性文本编辑操作；

(3)在仿真程序编辑区进行控制程序的文本编辑操作；

(4)在控制程序编辑区进行仿真程序的文本编辑操作；

步骤3：执行“保存”操作，生成XML文件，并且将该XML文件、控制程序和仿真程序存入计算机中默认位置，完成后退出“编辑”操作；或不保存并退出“编辑”操作。

说明1：对零部件图形的操作包括：

(1)增加或删除一个图形元素，图形元素包括矩形框、文本和接口；

(2)改变一个矩形框的位置或尺寸；

(3)改变一个文本的位置或内容；

(4)改变一个接口的位置。

B.工作环境库

工作环境库中存放以XML文件记录的机器人工作环境，对库中的环境文件设置“新建”、“打开”、“编辑”、“保存”、“删除”的操作达到对工作环境库的管理作用。通过“新建”→“编辑”→“保存”操作增加一个工作环境；通过“打开”→“编辑”→“保存”操作修改一个工作环境；通过“删除”操作减少一个工作环境。其中，XML文件记录的内容包括：

(1)以矩形描述的环境大小；

(2)以矩形描述的栅格大小；

(3)以矩形描述的障碍物群。

工作环境的构建方法包括在线构建环境和离线构建环境。

在线构建环境是利用机器人自身携带的传感器(例如，激光传感器)对周围环境的感知来构建地图，其特征在于步骤如下：

步骤1：建立空白栅格地图；

步骤2：接收机器人位姿信息和传感器数据更新地图信息；

步骤3：判断是否构建完毕？

步骤4：否，转步骤2；是，转下一步；

步骤5：将栅格地图转化为矩形积木描述的几何地图；

步骤6：采用XML文件记录该几何地图，保存并退出。

而离线构建地图则是根据图纸资料(例如，房屋内部物品放置平面图)，采用矩形积木构图方式构建地图，其特征在于步骤如下：

步骤1：建立空白栅格地图；

步骤2：拖入积木块，根据图纸资料改变矩形积木块尺寸并放置在指定位置；

步骤3：判断是否构建完毕？

步骤4：否，转步骤2；是，转下一步；

步骤5：采用XML文件记录采用矩形积木描述的几何地图，保存并退出。

C.机器人模型库

机器人模型库存放的一个机器人模型文件包括：

(1)记录机器人几何尺寸和重心位置等属性的XML文件；

(2)描述机器人的3D图形文件；

(3)动力学模型程序；

(4)运动学模型程序。

对库中的机器人模型文件设置“导入”、“打开”、“编辑”、“保存”、“删除”的操作达到对机器人模型库的管理作用。通过“导入”→“编辑”→“保存”操作增加一个机器人模型；通过“打开”→“编辑”→“保存”操作修改一个机器人模型；通过“删除”操作减少一个机器人模型。一个机器人模型由4个计算机文件组成：一个记录机器人属性的XML文件；一个用于可视化显示的机器人3D图形文件；一个机器人动力学模型程序和一个机器人运动学模型程序。某个机器人模型的这4个文件由于“导入”或“打开”操作被激活，分别显示在属性编辑区、机器人模型库目录、机器人动力学模型程序编辑区和机器人运动学模型程序编辑区。其中，记录机器人属性的XML文件记录的内容包括：

(1)机器人几何尺寸；

(2)机器人重心位置。

对一个机器人模型的“编辑”操作，其特征在于步骤如下：

步骤1：执行“导入”或“打开”操作，激活一个机器人模型；

步骤2：对激活的机器人模型进行以下操作：

(1)在属性编辑区进行几何尺寸和重心位置的文本编辑操作

(2)在动力学模型程序编辑区进行动力学模型程序的文本编辑操作；

(3)在运动学模型程序编辑区进行运动学模型程序的文本编辑操作；

步骤3：执行“保存”操作，生成XML文件，并且将该XML文件、动力学模型程序和运动学模型程序存入计算机中默认位置，完成后退出“编辑”操作；或不保存并退出“编辑”操作。

D.算法库

算法库中的程序依功能分为三类:控制程序库、功能程序库和辅助程序库。控制程序库存放的是机器人零部件库中的计算机库中的控制计算机调用的控制程序；功能程序库存放的是机器人完成某种能力的功能程序，例如，路径规划、定位等；其它程序存放在辅助程序库中，例如，坐标转换程序等。控制程序可以调用位于功能程序库和辅助程序库中的程序。

对算法库中的文件设置“新建”、“打开”、“编辑”、“保存”、“删除”的操作达到对算法库的管理作用。通过“新建”→“编辑”→“保存”操作增加一个算法程序；通过“打开”→“编辑”→“保存”操作修改一个算法程序；通过“删除”操作减少一个算法程序。

一个位于控制程序库中的控制程序由2个计算机文件组成：一个描述控制程序属性的XML文件和控制程序。某个控制程序的这2个文件由于“新建”或“打开”操作被激活，分别显示在属性编辑区和程序编辑区。其中，记录控制程序属性的XML文件记录的内容包括：

(1)适用的机器人模型说明，指出机器人模型库中的适用机器人模型文件名；

(2)适用机器人动力学模型程序文件名；

(3)适用机器人运动学模型程序文件名；

对一个控制程序的“编辑”操作，其特征在于步骤如下：

步骤1：执行“新建”或“打开”操作，激活一个控制程序；

步骤2：对激活的控制程序进行以下操作：

(1)在属性编辑区键入适用机器人模型文件名；

(2)在程序编辑区进行程序的文本编辑操作；

步骤3：执行“保存”操作，生成XML文件，并且将该XML文件和程序存入计算机中默认位置，完成后退出“编辑”操作；或不保存并退出“编辑”操作。

一个位于功能程序库和一个位于辅助程序库中的程序由1个计算机文件组成，它由于“新建”或“打开”操作被激活，显示程序编辑区。

对一个程序的“编辑”操作，其特征在于步骤如下：

步骤1：执行“新建”或“打开”操作，激活一个程序；

步骤2：在程序编辑区对激活的程序进行文本编辑操作；

步骤3：执行“保存”操作，将该程序存入计算机中默认位置，完成后退出“编辑”操作；或不保存并退出“编辑”操作。

2.图形化编程模块

图形化编程的特征就是采用机器人零部件库中的零部件以及它们之间的连接关系自动生成机器人控制程序，并可下载到机器人控制计算机中。图形化源程序采用XML文件方式记录和保存，设置“新建”、“打开”、“编辑”、“保存”、“删除”、“生成程序”、“编译和连接”、“显示”、“断点”、“单步”、“运行”、“交叉编译与连接”、“下载”操作实现了采用图形化方法编制控制程序的目的。通过“新建”→“编辑”→“保存”操作增加一个图形化源程序；通过“打开”→“编辑”→“保存”操作修改一个图形化源程序；通过“删除”操作减少一个图形化源程序；通过“生成程序”操作将一个图形化源程序转换为一个仿真程序和一个控制程序；通过“编译和连接”操作生成一个可执行的仿真程序；通过“显示”操作在显示区中设置仿真程序运行过程中需要监控变量及其数值；通过“断点”、“单步”和“运行”和显示区变量数值变化或可视化模块的显示调试仿真程序；通过“交叉编译与连接”并选择和运行一个与机器人控制计算机相匹配的交叉编译和连接程序生成一个可执行的控制程序；通过“下载”操作将一个可执行的控制程序下载到机器人控制计算机中。

一个图形化源程序由于“新建”或“打开”操作被激活，图形化源程序显示在图形化程序编辑区内；对被激活的图形化源程序执行“生成程序”操作将一个图形化源程序转换为一个仿真程序和一个控制程序，其中，仿真程序显示在仿真程序编辑区，控制程序显示在控制程序编辑区。“编辑”操作指的在图形化程序编辑区进行增加、移动和删除机器人零部件的操作以及机器人零部件各个接口之间进行增加、移动或删除连接线的操作。

记录和保存图形化源程序的XML文件包括：

(1)组成图形化源程序的所有零部件的名称、位置，它索引了源程序中所有零部件对应的仿真程序和控制程序；

(2)组成图形化源程序的所有零部件各个接口之间连接线状态和位置，它指出了源程序中所有零部件各个接口之间的通信关系；

(3)机器人模型库中适用的机器人名称，以索引出机器人的3D图形文件名，以便在需要时发给可视化程序模块；并索引出在生成程序时所需机器人的动力学模型程序和运动学模型程序；

算法库之控制程序库中适用的控制程序文件名。

图形化编程操作方法其特征在于步骤如下：

步骤1：通过“新建”或“打开”一个图形化源文件操作，激活一个图形化源文件；

步骤2：根据设计需求在图形化程序编辑区内增加或移动或删除一个控制计算机；

步骤3：根据设计需求在图形化程序编辑区内增加或移动或删除其它机器人零部件；

步骤4：根据设计需求在图形化程序编辑区内增加或移动或删除控制计算机和其它机器人零部件各个接口之间连接线的操作；

说明1：步骤2，3和4之间无严格顺序关系，可以根据设计习惯调整；

说明2：只有相同类型的接口才能连接，当企图连接不同类型的接口时，会给出错误报警并删除连接；每个接口的连接数量由接口属性规定，当某一接口的连接数量超过属性规定时，会给出错误报警并删除连接；

说明3：采用步骤2，3和4编制的一个移动机器人控制系统如图5所示，该控制系统由一个具有多个接口的控制计算机A、一个RS232C接口的左轮驱动器、一个RS232C接口的右轮驱动器、一个USB接口的激光传感器和一个WiFi接口的人机交互设备组成，构建了一个具有防撞功能的两轮移动机器人控制系统的图形化源文件；

步骤5：根据图形化源程序生成仿真程序和控制程序；

说明4：图形化源程序有且只有一个控制计算机，否则在生成程序时将会给出警告并不会生成程序并退回步骤2修改设计；

说明5：仿真程序和控制程序的主程序在控制计算机中说明并被索引，它们都包含一个实时时钟；控制程序也在控制计算机中说明并被索引；其它程序在各个机器人零部件中说明并被索引；

说明6：控制程序与其它程序之间的关系通过控制计算机和其它机器人零部件各个接口之间连接线说明并通过接口属性说明了它们之间的通信协议；

说明7：控制程序可以调用“功能程序库”和“辅助程序库”中的程序，并在控制程序中说明；

步骤6：编译和连接仿真程序，生成可执行的仿真程序；

步骤7：调试仿真程序，如果仿真结果满足要求，转下一步骤；否则转步骤2；

说明8：调试手段包括“单步”运行、“断点”运行和“连续”运行，并根据显示区中监控的程序变量及其数值确定调试结果；也可以通过可视化模块根据可视化仿真结果确定程序是否满足要求；

步骤8：选择和运行一个与机器人控制计算机匹配的交叉编译和连接程序生成一个可执行的控制程序；

步骤9：通过网络下载已生成的可执行控制程序，实现机器人控制程序的刷新。

3.可视化模块

可视化模块实时接收机器人发来的机器人位姿和状态信息，并根据接收到的位姿信息将机器人模型以3D图形方式实时显示在图形显示区中，图形显示区以机器人当前的工作环境为背景；同时在数据显示区中实时显示机器人的当前位置、姿态和状态。设置“导入工作环境”和“导入机器人”的操作实现了机器人控制程序的可视化仿真和机器人位姿的实时可视化监控。通过“导入工作环境”操作导入机器人的工作环境，作为图形显示区的背景；通过“导入机器人”操作导入机器人模型，并根据接收到的位姿信息将机器人模型以3D图形方式实时显示在图形显示区中。

一个可视化仿真或实时可视化监控由于“导入工作环境”和“导入机器人”操作被激活。

可视化模块其特征在于步骤如下：

步骤1：导入机器人工作环境文件，机器人工作环境作为图形显示区的背景；

步骤2：导入机器人图形并根据当前位姿信息将机器人模型以3D图形方式显示在图形显示区中；

步骤3：接收机器人位姿信息并按位姿信息调整机器人在图形显示区中的位置和姿态；

步骤4：判断是否需要退出本模块？

步骤5：否，转步骤3；是，退出。

本发明的关键点在于：

(1)支持开发机器人实时控制程序；

(2)机器人零部件库中包含计算机库；

(3)机器人零部件库中的零部件均有接口且仅为通信接口；

(4)支持跨平台机器人图形化控制程序开发；

(5)支持机器人系统的半物理仿真和可视化仿真；

(6)采用XML文件记录和保存图形化源文件。

本发明的目的包括：

(1)支持实时控制程序开发和运行：本发明在控制程序编程和数字仿真阶段采用通用操作系统Windows；而在半物理仿真和运行阶段通过选择和运行与控制计算机相匹配的交叉编译和连接程序生成具有和支持实时时钟的可执行程序，并在实时时钟控制下运行该程序。

(2)充分支持开源的软硬件资源：采用本发明方法可以实现个性化、专业化和定制机器人控制软件的自动生成。完全开放的“图形库管理”模式，使得用户可以在开发环境中“定制”满足自身要求的“图形库”；

(3)提供完备的数字仿真和半物理仿真功能：本发明设有“计算机”库和“机器人模型库”，它们之间通过图形化编程建立起联系，具备数字仿真和半物理仿真功能。

以上所述仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员，在不脱离本发明的前提下，还可以对本发明做出的若干改进和补充，这些改进和补充，也应视为本发明的保护范围。

Claims (10)

1.一种机器人控制程序图形化集成开发环境，其特征在于，包括图形库管理模块、图形化编程模块和可视化模块：

其中，图形库管理模块的功能包括:

(1)对图形化编程所需的机器人零部件库中的零部件进行管理，其功能包括“新建”、“打开”、“编辑”、“保存”和“删除”；

(2)对图形化编程所需的算法库中的程序进行管理，其功能包括“新建”、“打开”、“编辑”、“保存”和“删除”；

(3)对图形化编程和可视化所需的机器人模型库中的机器人模型及其文件进行管理，其功能包括“导入”、“编辑”、“保存”和“删除”；

(4)对可视化所需的工作环境库中的工作环境文件进行管理，其功能包括“新建”、“打开”、“编辑”、“保存”和“删除”；

图形化编程模块的功能包括：

(1)利用图形库中的机器人零部件、算法程序和机器人模型构建机器人控制系统；

(2)结合可视化模块共同完成机器人控制系统的仿真；

(3)通过交叉编译和连接生成机器人控制程序并通过网络发送给机器人控制计算机，完成机器人控制程序的刷新；

可视化模块的功能包括：

(1)结合图形化编程模块共同完成机器人控制系统的仿真；

(2)实时接收机器人发来的机器人位姿和状态信息；

(3)根据接收到的位姿信息将机器人模型以3D图形方式实时显示在图形显示区中，图形显示区以机器人当前的工作环境为背景；同时在数据显示区中实时显示机器人的当前位置、姿态和状态；

其中，图形库管理模块是单独运行的，图形化编程模块和可视化模块是同时运行的。

2.根据权利要求1所述的一种机器人控制程序图形化集成开发环境，其特征在于，所述图形库管理模块包括图形库以及相应的库操作，其中，图形库分为：

机器人零部件库：又根据零部件功能将它们分别存放在机器人零部件库下的计算机库、驱动库、人机交互库、传感器库和杂项库，各个库中包含若干零部件，对零部件设置“新建”、“打开”、“编辑”、“保存”和“删除”的操作达到对机器人零部件库的管理作用；

工作环境库：存放以XML文件记录的机器人工作环境，XML文件记录内容包括：以矩形描述的环境大小、以矩形描述的栅格大小和以矩形描述的障碍物群；对库中的环境文件设置“新建”、“打开”、“编辑”、“保存”和“删除”的操作达到对工作环境库的管理作用；

机器人模型库：包括记录机器人几何尺寸和重心位置的XML文件、描述机器人的3D图形文件、动力学模型程序和运动学模型程序；对库中的机器人模型文件设置“导入”、“打开”、“编辑”、“保存”和“删除”的操作达到对机器人模型库的管理作用；

算法库：又根据算法的功能将它们分别存放在算法库下的控制程序库、功能程序库和辅助程序库，其中，控制程序库存放机器人控制计算机运行的控制程序；功能程序库存放机器人完成某种能力的功能程序，辅助程序库中存放其它程序；对算法库中的文件设置“新建”、“打开”、“编辑”、“保存”和“删除”的操作达到对算法库的管理作用。

3.根据权利要求2所述的一种机器人控制程序图形化集成开发环境，其特征在于，所述机器人零部件库包括计算机库、驱动库、人机交互库、传感器库和杂项库，每个库中包含若干零部件，其中：

计算机库：存放的零部件是组成机器人系统的控制计算机；

驱动库：存放的零部件是组成机器人系统的驱动器；

人机交互库：存放的零部件是组成机器人系统的人机交互设备；

传感器库：存放的零部件是组成机器人系统的传感器；

杂项库：存放的零部件是组成机器人系统的其他部件。

4.根据权利要求3所述的一种机器人控制程序图形化集成开发环境，其特征在于，所述机器人零部件：

一个零部件由3个计算机文件组成，包括：记录零部件图形和接口属性的XML文件、控制程序和仿真程序；

一个零部件的图形由3个图形元素组成，包括：矩形框、文本和接口；

其中，记录零部件图形和接口属性的XML文件记录的内容包括：

(1)零部件的图形描述，矩形框的数量、位置和尺寸；

(2)零部件的文本的数量、位置和内容；

(3)零部件的接口的数量、位置和属性，各个接口的属性包括：

接口类型、连接数量；

(4)一个适用的机器人模型说明；

(5)一个适用的控制程序文件名。

5.根据权利要求2所述的一种机器人控制程序图形化集成开发环境，其特征在于，构建工作环境包括在线构建环境和离线构建环境：

在线构建环境：利用机器人自身携带的传感器对周围环境的感知来构建地图；

离线构件环境：根据图纸资料并采用矩形积木构图方式构建地图。

6.根据权利要求1所述的一种机器人控制程序图形化集成开发环境，其特征在于，所述图形化编程模块的图形化源程序采用XML文件方式记录和保存，设置“新建”、“打开”、“编辑”、“保存”、“删除”、“生成程序”、“编译和连接”、“显示”、“断点”、“单步”、“运行”、“交叉编译与连接”、“下载”操作，实现了采用图形化方法编制控制程序的目的。

7.根据权利要求6所述的一种机器人控制程序图形化集成开发环境，其特征在于，所述图形化源程序显示在图形化程序编辑区内，通过“新建”→“编辑”→“保存”操作增加一个图形化源程序；通过“打开”→“编辑”→“保存”操作修改一个图形化源程序；通过“删除”操作减少一个图形化源程序；通过“生成程序”操作将一个图形化源程序转换为一个仿真程序和一个控制程序，仿真程序显示在仿真程序编辑区，控制程序显示在控制程序编辑区；通过“编译和连接”操作生成一个可执行的仿真程序；通过“显示”操作在显示区中设置仿真程序运行过程中需要监控的变量及其数值；通过“断点”、“单步”和“运行”和显示区变量数值变化或可视化模块的显示内容来调试仿真程序；通过“交叉编译与连接”并选择和运行一个与机器人控制计算机相匹配的交叉编译和连接程序生成一个可执行的控制程序；通过“下载”操作将一个可执行的控制程序下载到机器人控制计算机中。

8.根据权利要求7所述的一种机器人控制程序图形化集成开发环境，其特征在于，记录和保存图形化源程序的XML文件包括：

(1)组成图形化源程序的所有零部件的名称、位置，它索引了源程序中所有零部件对应的仿真程序和控制程序；

(2)组成图形化源程序的所有零部件各个接口之间连接线状态和位置，它指出了源程序中所有零部件各个接口之间的通信关系；

(3)机器人模型库中适用的机器人名称，以索引出机器人的3D图形文件名，以便在需要时发给可视化程序模块；并索引出在生成程序时所需机器人的动力学模型程序和运动学模型程序；

(4)算法库之控制程序库中适用的控制程序文件名。

9.根据权利要求1所述的一种机器人控制程序图形化集成开发环境，其特征在于，所述可视化模块设置“导入工作环境”和“导入机器人”的操作，实现了机器人控制程序的可视化仿真和机器人位姿和状态可视化监控：

通过“导入工作环境”操作导入机器人的工作环境，作为图形显示区的背景；

通过“导入机器人”操作导入机器人3D模型，机器人根据接收到的位姿信息以3D图形方式实时显示在图形显示区中。

10.一种如权利要求1所述的机器人控制程序图形化集成开发环境的图形化编程方法，其特征在于，包括如下步骤：

步骤1：通过“新建”或“打开”一个图形化源文件操作，激活一个图形化源文件；

步骤2：根据设计需求在图形化程序编辑区内增加或移动或删除一个控制计算机；

步骤3：根据设计需求在图形化程序编辑区内增加或移动或删除其他机器人零部件；

步骤4：根据设计需求在图形化程序编辑区内增加或移动或删除控制计算机和其他机器人零部件各个接口之间连接线的操作；

步骤5：根据图形化源程序生成仿真程序和控制程序；

步骤6：编译和连接仿真程序，生成可执行的仿真程序；

步骤7：调试仿真程序，如果仿真结果满足要求，转下一步骤；否则转步骤2；

步骤8：选择和运行与机器人控制计算机相匹配的交叉编译和连接程序生成一个可执行的控制程序；

步骤9：机器人控制计算机通过网络下载已生成的可执行控制程序，实现机器人控制程序的刷新。