CN112659124A - 一种基于Android系统的虚拟仿真与控制系统 - Google Patents

Abstract

本发明公开了一种基于Android系统的虚拟仿真与控制系统，包括客户端和机器人控制器服务器端，其中客户端主要包括运动控制模块、机器人状态显示模块、虚拟仿真模块、网络通讯模块，使用者通过人机交互接口输入用户操作指令传输到运动控制模块；运动控制模块解析操作指令，并通过算法运算得出机器人关节角与位姿信息，计算出的机器人关节角与位姿信息分别发送到机器人状态显示模块、虚拟仿真模块；机器人状态显示模块在界面上显示机器人的关节角与位姿信息；虚拟仿真模块改变各个关节角来使机器人呈现指定姿态，本发明提供的技术方案可广泛应用于教育、工业等领域，具有虚拟仿真、远程控制等功能，且具有良好的人机交互体验。

Description

一种基于Android系统的虚拟仿真与控制系统

技术领域

本发明涉及机器人虚拟运动仿真及远程控制领域，特别涉及一种一种基于Android系统的虚拟仿真与控制系统。

背景技术

近年来，我国机器人行业迅速发展，在工业、教育等领域得到广泛的应用。大多数厂商使用的示教器都要定制开发软硬件平台，完成一系列从硬件、定制系统、示教软件开发等工作。这也导致了开发周期长，需经过多次迭代才能达到较好水平的问题。这对于企业的生产和用户的使用来说都需要大量的生产成本和学习成本。同时，机器人的操控专业性较强，常需要专业培训，传统的示教器人机交互的体验差强人意，对非专业人士不够友好。

另一方面，传统的机器人示教器一般都是基于WinCE、UC/OS系统进行开发，现如今其运算能力与人机交互体验已被基于Android的消费类电子远远拉开。与之相反的，在近二十年来，基于Android系统的移动端电子消费类产品发展迅猛，更新换代频繁，同时有大量的用户基础。触屏交互的方式已被人们广泛接受并产生习惯。同类的IOS系统由于其闭源的原因，不利于后续的进一步开发，故而在其他行业的应用远远不及Android系统。

Android系统属于开源项目，也是目前应用最广泛的移动端操作系统。同时也正是由于其开放性，得到大量的其他方面技术支持，其发展前景仍非常光明。OpenGL也被集成到Android操作系统中，基于OpenGL的硬件无关性和建模的便捷性，其被广泛用于各种3D游戏当中。OpenGL ES为OpenGL为Android嵌入式设备的剪裁版本。

C/S与B/S是常见的两种网络通讯模式，相对于B/S而言，C/S有着响应速度快，操作界面可定制化，信息关系系统强的优点，更适合于工业或实验室的环境。同时，在Android系统中对其所用到的TCP/IP协议有很好的集成。

不同于日常生活，在工业环境中，基于Android的移动设备如手机平板等消费类电子产品自身并不包含工业环境中应对突发情况所必须的安全模块，如急停按钮之类的安全装置。在这种情况下，操作者与机器人设备的安全性得不到保障。同时，在机器人的操作过程中，由于操作员只能通过个人经验与知识积累来判断机器人运行路线，无法准确、直观地预测机器人的运动轨迹。一旦发生误操作，可能会造成严重的安全问题。因此，研究具有运动仿真功能的机器人远程操作系统具有广泛的应用前景。

目前，基于Android系统的软件开发技术比较成熟，开发者可以将自己开发的软件APK上传到应用商店，使用者只需一个跳转链接便可轻松找到该软件并下载使用。Android智能设备的使用如此广泛，使用者只需下载示教软件app，便可直接使用。同时当前的消费类电子产品常搭载着强劲的CPU与GPU，可运行需要大量数据运算与高清动画的3D游戏，使用其作为示教软件硬件性能绰绰有余。

在此基础上进行机器人的虚拟仿真与控制系统的研究具有很大的现实意义。

机器人设备属于较为昂贵的设备，在高职院校的机器人相应课程的教学实验过程中，很难做到一人一机。因此，开发机器人虚拟仿真系统在教育行业具有重要的现实意义。

发明内容

本发明的目的是针对背景技术中存在的缺点和问题加以改进和创新，提供一种基于Android系统的虚拟仿真与控制系统。

为实现上述目的，本发明提供如下技术方案：一种基于Android系统的虚拟仿真与控制系统，包括客户端和服务器端，其中客户端为基于Android系统开发的示教软件，客户端包括：

运动控制模块，用于接收由触屏操作产生的用户指令，用户操作指令包含关节控制和末端位姿控制两种方式，运动控制模块通过正逆运动学求解算法计算得到机器人的各个关节角与末端位姿；

虚拟仿真模块，通过加载OBJ格式的文件，完成机器人虚拟模型的显示，并根据运动控制模块求得的关节角和末端位姿，使得机器人虚拟模型转动相对应的关节角度来实现运动仿真；

机器人状态显示模块，与虚拟仿真模块相连，用于显示机器人虚拟模型的运动状态，同时也与客户端网络通讯模块相连，用于显示当前机器人的实际运动状态；

客户端网络通讯模块：采用C/S模型，通过TCP/IP协议实现客户端与服务器端之间的网络通讯功能，客户端网络通讯模块为设置在示教软件中SocketClient模块；

服务器端包括：

机器人控制器：用于接收客户端发送的机器人控制信息，驱动真实机器人运动；

服务器端网络通讯模块：服务器端网络通讯模块为设置在机器人控制器中SocketService模块。

进一步的方案是，所述虚拟仿真模块为OpenGL ES虚拟仿真模块。

进一步的方案是，所述虚拟仿真模块加载机器人虚拟模型包含下述过程：

(1)加载三维软件导出的机器人实物模型对应的OBJ文件；

(2)通过jBullet物理引擎包中的函数类将OBJ文件的点面数据组合成封闭图形并转换成刚体；

(3)赋一系列物理特征后添加到显示队列里；

(4)根据机器人的关节角的位置分别计算每个刚体的位姿；

(5)显示机器人虚拟模型；

需要关注的是，在上述步骤(4)中，根据机器人关节角计算刚体位姿本质上也是一个机器人正运动学问题——已知杆件几何参数和关节角求机器人末端相对于参考坐标系的位置与姿态。这里是根据杆件几何参数和关节角求各个关节相对于参考坐标系的位置和姿态。再根据各个杆件位姿显示机器人虚拟模型的各个机器人关节，进而达到显示整个机器人虚拟模型的目的。比较常用的描述机构运动关系的方法为D-H参数法，该方法所建立的关节D-H坐标系要求Z轴与关节轴固结，X轴要求为指向该轴线与下一轴线的公垂线。由于OpenGL坐标系中，屏幕外方向为Z轴正方向、屏幕向上为Y轴正方向、向右为X轴正方向，故而，根据该D-H坐标系求得的各个关节相对于参考坐标系的位置和姿态在OpenGL ES虚拟仿真模块中显示时需要先进行坐标系的旋转与平移。并且由于每次模型更新都需要进行这种矩阵计算，这将造成持续的CPU计算资源的消耗。

故而本发明在步骤(4)中，将机器人关节坐标系直接设置为OpenGL坐标系，后续直接得到的也是OpenGL坐标系的关节位姿，解决了上述问题。同时，由于虚拟仿真模块与运动控制模块的相对独立，故而运动模块根据D-H参数进行的逆运动学求解不受影响。

其中：

在导出机器人实物模型文件前,对机器人实物模型进行一定的简化，去除装配孔、部分圆角以及其他无关的特征，避免与机器人运动无关的特征消耗过多的计算资源；虚拟仿真模块对机器人实物模型加载过程中，将机器人实物模型进行分块处理，机器人实物模型按关节分为多个独立部件，计算每一块的位姿，分别予以显示；此外，机器人实物模型在转存成OBJ文件时坐标发生了偏移，因此加载过程中需要对模型进行处理：z轴方向上,使零件关于xoy平面对称，xy平面上，使得部件的旋转轴和x轴或y轴重合，最后将机器人所有关节的坐标方向设置为和OpenGL的坐标系重合。

进一步的方案是，所述刚体的位姿计算包含下述过程：

(1)建立机器人关节坐标系，使所有关节坐标系X、Y、Z轴设置为和OpenGL的坐标系平行；

(2)建立坐标系{i}相对于坐标系{i-1}的变换：

其中1≤i≤n，i表示当前关节；n为机器人关节自由度个数，^i-1A_i表示关节旋转轴，^i-1B_i表示关节间位置偏移量，C＝[0 0 0]；D＝1；

当旋转轴为x轴时，

当旋转轴为y轴时，

当旋转轴为z轴时，

^i-1B_i＝[x_i y_i z_i]^T，当两关节间发生偏移时，其中x_i、y_i、z_i为关节i相对于关节i-1分别沿x、y、z方向的偏移量，其为矢量，正方向与所建立的关节坐标系方向相同；

(3)求出各关节相对于{0}坐标系的变换矩阵⁰T_i：

⁰T_i＝⁰T₁ ¹T₂…^i-1T_i

其中(p_x,p_y,p_z)为MatrixUtil(矩阵工具类)函数需要的刚体位置信息，矩阵表示的姿态信息

可通过jBullet包中的EulerSolver函数获得刚体姿态的欧拉角表示法。

进一步的方案是，在控制方式为末端位姿控制时，先通过逆运动学求解求得关节角的多组解，然后再通过最优解求解可获得唯一的一组关节角，即目标关节角；所述最优解求解可采用求最小化或加权最小化关节运动来获得；在控制方式为关节控制时，可直接接收用户关节指令获得目标关节角；获取到目标关节角后与当前关节角比较，若不相等则更新机器人虚拟模型，使虚拟模型更新至目标位姿。

进一步的方案是，所述机器人为串联机器人。

进一步的方案是，示教软件可通过扫描机器人上贴有的二维码，跳转到下载网址上下载安装或在应用商店搜索再下载方式获得。

进一步的方案是，所述机器人设置有安全模块，所述安全模块包括急停等按钮；安全模块设计为通过有线方式与机器人控制器直接连接。

进一步的方案是，所述示教软件开发平台为Android Studio2.2.2+Java 1.8.0_31，Android软件版本为Android 4.4。

与现有技术相比，本发明的有益效果是：本发明适用于于教育、工业等行业，具有操作简便、人机交互体验好、成本低廉等优点，在工业行业中，可用于所生产机器人的虚拟仿真、上线调试，也可作为用户使用机器人的学习平台和远程控制方案。在教育行业更是解决了机器人课程教学的难题，学生只需使用自己的任意基于Android系统的移动设备下载示教软件，便可作为教学实验平台使用，在操作熟悉后，学生可轮流使用自己的Android设备连接机器人来实验对真实机器人的控制，所述机器人适用于串联机器人，可以更换机器人模型来实现不同型号的串联机器人的虚拟仿真与控制，即具有一定的通用性。

附图说明

图1是本发明的系统总框图。

图2是本发明运动控制流程图。

图3是虚拟仿真模块加载机器人实物模型流程图。

图4是本发明的软件交互界面截图。

图5是本发明将机器人所有关节坐标系X、Y、Z轴设置为和OpenGL的坐标系平行示意图。

具体实施方式

以下结合附图1～5对本发明作进一步详细说明。

一种基于Android系统的虚拟仿真与控制系统，包括客户端和服务器端，其中客户端为基于Android系统开发的示教软件，服务器端为机器人控制器，在本实施例中，示教软件开发平台为Android Studio 2.2.2+Java 1.8.0_31，Android软件版本为Android 4.4；机器人为串联机器人，示教软件可以通过手机扫描机器人上贴有的二维码，跳转到下载网址上下载安装或在应用商店搜索再下载方式获得；为了实现紧急情况下及时控制住机器人，机器人设置有安全模块，所述安全模块包括急停等按钮；安全模块设计为通过有线方式与机器人控制器直接连接。

客户端具体包括如下模块：

运动控制模块，用于接收由触屏操作产生的用户指令，用户操作指令包含关节控制和末端位姿控制两种方式，运动控制模块通过正逆运动学求解算法计算得到机器人的各个关节角与末端位姿。当控制方式为关节控制时，用户通过滑动或者点击示教软件右下角的SeekBar控件对各个关节角进行调整。此时的用户操作将直接产生关节角指令，运动控制模块可直接使用解析自关节角指令的目标关节角；当控制方式为末端位姿控制时，用户通过单击或长按示教软件左下角的图形控件来实现末端姿态的点动或连动。其底层实现策略为：当要求机器人的末端位姿从A位姿改变为B位姿后，首先通过逆运动学求解求得机器人关节角的多组解，然后再通过最优解求解获得唯一的一组关节角，即目标关节角。其中最优解求解可采用求最小化或加权最小化关节运动来获得。

虚拟仿真模块，通过加载OBJ格式的文件，完成机器人虚拟模型的显示，并根据运动控制模块求得的关节角和末端位姿，使得机器人虚拟模型转动相对应的关节角度来实现运动仿真。虚拟仿真模型更新策略为：将获取到目标关节角后与当前关节角比较，若不相等，则更新机器人虚拟模型使机器人模型到达指定位姿。

机器人状态显示模块，与虚拟仿真模块相连，用于显示机器人虚拟模型的运动状态，同时也与客户端网络通讯模块相连，用于显示当前机器人的实际运动状态。

客户端网络通讯模块：采用C/S模型，通过TCP/IP协议实现客户端与服务器端之间的网络通讯功能，客户端网络通讯模块为设置在示教软件中SocketClient模块，客户端只需要知道服务器端IP及预设的端口号即可实现快速稳定的连接。

服务器端包括：

机器人控制器：用于接收客户端发送的机器人控制信息，驱动真实机器人运动。

服务器端网络通讯模块：服务器端网络通讯模块为设置在机器人控制器中SocketService模块，当服务器端网络通讯模块与客户端通讯模块断开连接时，触屏操作产生的用户指令只会使得机器人虚拟模型发生改变而不会控制机器人真实运动。

在本实施例中，所述虚拟仿真模块为OpenGL ES虚拟仿真模块。

在本实施例中，所述虚拟仿真模块加载机器人虚拟模型包含下述过程：

(1)加载三维软件导出的机器人实物模型对应的OBJ文件，三维软件包括SolidWorks、proe等，OBJ文件是最简单的3D模型文件，其本质是文本文件，将模型的顶点坐标、三角形面、纹理坐标等数据以固定格式的文本字符串表示；

(2)通过jBullet物理引擎包中的函数类将OBJ文件的点面数据组合成封闭图形并转换成刚体；

(3)赋一系列物理特征后添加到显示队列里；

(3)根据机器人的关节角的位置分别计算每个刚体的位姿；

(4)显示机器人虚拟模型；

其中：在机器人实物模型导入前，需要先导入两个开发包，分别是jbullet.jar和vecmath.jar。jbullet中包含了jBullet物理引擎的各个实现类，如模型的导入、模型的显示以及渲染等，vecmath是来自JAVA3D中的免费工具包，主要是包含了一些实现向量数学的类，如对模型的位姿进行计算时需要用到里面提供的功能。

在导出机器人实物模型文件前,对机器人实物模型进行一定的简化，去除装配孔、部分圆角以及其他无关的特征，避免与机器人运动无关的特征消耗过多的计算资源；虚拟仿真模块对机器人实物模型加载过程中，将机器人实物模型进行分块处理，机器人实物模型按关节分为多个独立部件，计算每一块的位姿，分别予以显示；此外，机器人实物模型在转存成OBJ文件时坐标发生了偏移，因此加载过程中需要对模型进行处理：z轴方向上,使零件关于xoy平面对称，xy平面上，使得部件的旋转轴和x轴或y轴重合，最后将机器人所有关节的坐标方向设置为和OpenGL的坐标系重合。

进一步的，所述刚体的位姿计算包含下述过程：

(1)建立机器人关节坐标系，使所有关节坐标系X、Y、Z轴设置为和OpenGL的坐标系平行；

(2)建立坐标系{i}相对于坐标系{i-1}的变换：

其中1≤i≤n，i表示当前关节；n为机器人关节自由度个数，^i-1A_i表示关节旋转轴，^i-1B_i表示关节间位置偏移量，C＝[0 0 0]；D＝1；

当旋转轴为x轴时，

当旋转轴为y轴时，

当旋转轴为z轴时，

^i-1B_i＝[x_i y_i z_i]^T，当两关节间发生偏移时，其中x_i、y_i、z_i为关节i相对于关节i-1分别沿x、y、z方向的偏移量，其为矢量，正方向与所建立的关节坐标系方向相同；

(3)求出各关节相对于{0}坐标系的变换矩阵⁰T_i：

⁰T_i＝⁰T₁ ¹T₂…^i-1T_i

其中(p_x,p_y,p_z)为MatrixUtil(矩阵工具类)函数需要的刚体位置信息，矩阵表示的姿态信息

可通过jBullet包中的EulerSolver函数获得刚体姿态的欧拉角表示法。

进一步的，本发明以7自由度的机器人举例说明：

参阅附图5，底座至第一关节的偏移设为p，最后一关节至工具坐标系的偏移为q，两非重合关节间偏移用a、b、c…表示，其中，p、q、a、b、c…均为矢量；第1、3、7关节绕Y轴旋转，第2、4、6关节绕Z轴旋转,第5关节绕X轴旋转；第3关节相对第2关节沿Y轴方向有距离为a的正向偏移，第5关节相对第4关节沿X轴方向有距离为b的正向位移。

可以得到连杆变换矩阵如下：

将这些连杆变化矩阵连乘就能得到坐标系{i}相对于坐标系{0}的变换矩阵：

⁰T_i＝⁰T₁ ¹T₂…^i-1T_i

那么⁰T₇＝⁰T₁ ¹T₂ ²T₃ ³T₄ ⁴T₅ ⁵T₆ ⁶T₇

可以依次计算出⁰T₁、⁰T₂…⁰T_i，获得7个关节的位置和姿态，然后通过虚拟仿真模块按照指定的位置显示出来。

另外，再建立用户坐标系和工具坐标系，可以完全仿真实际机器人工作情况。本实例将用户坐标系O(u)建立在底座的中心位置，将工具坐标系O(t)建立在夹具重心位置，方向同样与OpenGL坐标系方向相同。

可得到：

其中，p、q分别为基坐标系相对于用户坐标系，工具坐标系相对于第七关节坐标系的位置偏移量。

将这些连杆变化矩阵连乘就能得到工具坐标系O(t)相对于用户坐标系O(u)的变换矩阵：

可求得：^uT_t＝^uT₀ ⁰T₁ ¹T₂ ²T₃ ³T₄ ⁴T₅ ⁵T₆ ⁶T₇ ⁷T_t

求得位姿矩阵便可各种提取出ZYZ欧拉角和位置，即可获得工具相对于用户坐标系的位姿。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于Android系统的虚拟仿真与控制系统，其特征在于，包括客户端和服务器端，其中客户端为基于Android系统开发的示教软件，客户端包括：

运动控制模块，用于接收由触屏操作产生的用户指令，用户操作指令包含关节控制和末端位姿控制两种方式，运动控制模块通过正逆运动学求解算法计算得到机器人的各个关节角与末端位姿；

虚拟仿真模块，通过加载OBJ格式的文件，完成机器人虚拟模型的显示，并根据运动控制模块求得关节角和末端位姿，使得机器人虚拟模型转动相对应的关节角度来实现运动仿真；

机器人状态显示模块，与虚拟仿真模块相连，用于显示机器人虚拟模型的运动状态，同时也与客户端网络通讯模块相连，用于显示当前机器人的实际运动状态；

客户端网络通讯模块：采用C/S模型，通过TCP/IP协议实现客户端与服务器端之间的网络通讯功能，客户端网络通讯模块为设置在示教软件中SocketClient模块；

服务器端包括：

服务器端网络通讯模块：服务器端网络通讯模块为设置在机器人控制器中SocketService模块；

机器人控制器：用于解析服务器端网络通讯模块接收的机器人控制信息，驱动真实机器人运动。

2.根据权利要求1所述的一种基于Android系统的虚拟仿真与控制系统，其特征在于，所述虚拟仿真模块为OpenGL ES虚拟仿真模块。

3.根据权利要求1所述的一种基于Android系统的虚拟仿真与控制系统，其特征在于，所述虚拟仿真模块加载机器人虚拟模型包含下述过程：

加载三维软件导出的机器人实物模型对应的OBJ文件；

通过jBullet物理引擎包中的函数类将OBJ文件的点面数据组合成封闭图形并转换成刚体；

赋一系列物理特征后添加到显示队列里；

根据机器人的关节角的位置分别计算每个刚体的位姿；

显示机器人虚拟模型；

其中：

在导出机器人实物模型文件前,对机器人实物模型进行一定的简化，去除装配孔、部分圆角以及其他无关的特征，避免与机器人运动无关的特征消耗过多的计算资源；虚拟仿真模块对机器人实物模型加载过程中，将机器人实物模型进行分块处理，机器人实物模型按关节分为多个独立部件，计算每一块的位姿，分别予以显示；此外，机器人实物模型在转存成OBJ文件时坐标发生了偏移，因此加载过程中需要对模型进行处理：z轴方向上,使零件关于xoy平面对称，xy平面上，使得部件的旋转轴和x轴或y轴重合，最后将机器人所有关节的坐标方向设置为和OpenGL的坐标系重合。

4.根据权利要求1所述的一种基于Android系统的虚拟仿真与控制系统，其特征在于，所述刚体的位姿计算包含下述过程：

(1)建立机器人关节坐标系，使所有关节坐标系X、Y、Z轴设置为和OpenGL的坐标系平行；

(2)建立坐标系{i}相对于坐标系{i-1}的变换：

其中1≤i≤n，i表示当前关节；n为机器人关节自由度个数，^i-1A_i表示关节旋转轴，^i-1B_i表示关节间位置偏移量，C＝[0 0 0]；D＝1；

当旋转轴为x轴时，

当旋转轴为y轴时，

当旋转轴为z轴时，

^i-1B_i＝[x_i y_i z_i]^T，当两关节间发生偏移时，其中x_i、y_i、z_i为关节i相对于关节i-1分别沿x、y、z方向的偏移量，其为矢量，正方向与所建立的关节坐标系方向相同；

(3)求出各关节相对于{0}坐标系的变换矩阵⁰T_i：

⁰T_i＝⁰T₁ ¹T₂…^i-1T_i

其中(p_x,p_y,p_z)为MatrixUtil(矩阵工具类)函数需要的刚体位置信息，矩阵表示的姿态信息

可通过jBullet包中的EulerSolver函数获得刚体姿态的欧拉角表示法。

5.根据权利要求1所述的一种基于Android系统的虚拟仿真与控制系统，其特征在于，在控制方式为末端位姿控制时，先通过逆运动学求解求得关节角的多组解，然后再通过最优解求解可获得唯一的一组关节角，即目标关节角；所述最优解求解可采用求最小化或加权最小化关节运动来获得；在控制方式为关节控制时，可直接接收用户关节指令获得目标关节角；获取到目标关节角后与当前关节角比较，若不相等则更新机器人虚拟模型，使虚拟模型更新至目标位姿。

6.根据权利要求1所述的一种基于Android系统的虚拟仿真与控制系统，其特征在于，所述机器人为串联机器人。

7.根据权利要求1所述的一种基于Android系统的虚拟仿真与控制系统，其特征在于，示教软件可通过扫描机器人上贴有的二维码，跳转到下载网址上下载安装或在应用商店搜索再下载方式获得。

8.根据权利要求5所述的一种基于Android系统的虚拟仿真与控制系统，其特征在于，所述机器人设置有安全模块，所述安全模块包括急停等按钮；安全模块设计为通过有线方式与机器人控制器直接连接。

9.根据权利要求1所述的一种基于Android系统的虚拟仿真与控制系统，其特征在于，所述示教软件开发平台为Android Studio 2.2.2+Java 1.8.0_31，Android软件版本为Android 4.4。

Images