CN115586748B - 一种移动式智能柔性运动控制系统及其方法 - Google Patents

Abstract

本发明公开了一种移动式智能柔性运动控制方法，包括：获取空间图像数据，形成执行任务前的0号地图；按照任务分配设定目的地，规划运动路径；实时障碍物探测，其中障碍物为可见障碍物和不可见障碍物，且将不可见障碍物更新至0号地图中，并修正运动路径；追踪定位标识，根据标识调整姿态和面向目标物的距离，并匹配解锁动作指令，动作指令被配置为一套指示柔性机械臂完成预设动作的指令；扫描当前柔性机械臂距离目标物的位置并调整至预设位置；由动作指令驱动柔性机械臂执行预设动作。该移动式智能柔性运动控制系统可以远程控制换刀任务，可自动化移动至目标物位置并模拟操作人员的手部操作，改变了传统中的手动换刀模式。

Description

一种移动式智能柔性运动控制系统及其方法

技术领域

本发明涉及自动化控制技术领域，尤其涉及一种移动式智能柔性运动控制系统及其方法。

背景技术

随着计算机技术的迅速发展，结合数控加工技术，加工生产越来越向数字化、自动化的方向发展，其生产过程更智能、更环保、更节能。

而现有的自动化加工中，需要使用多种不同的刀具，而刀具常常需要更换。现有技术的换刀过程为：人工去刀具房取刀返回现场，并且比对刀具号和现场的刀具清单，通过操作换刀机构将刀具送入刀库中完成换刀。但是，手动执行多个刀具加工是一项特别耗时的任务，手动换刀需要操作员实时在数控机床旁边操作。

经过申请人的检索，没有发现一种改变传统以人为主的换刀控制装置。

发明内容

本发明克服了现有技术的不足，提供一种移动式智能柔性运动控制系统及其方法。

为达到上述目的，本发明采用的技术方案为：一种移动式智能柔性运动控制系统，包括：移动式柔性机械臂、环境数据获取单元和动作优化系统；

所述环境数据获取单元，用于获取空间图像，形成执行任务前的0号地图；

所述移动式柔性机械臂包括：控制端、计算端、数据库和解锁单元；所述控制端包括：障碍采集单元、数据传输单元、控制器；所述计算端包括依次连接的图像特征提取单元、识别单元、地图更新单元、路径规划单元；

所述数据库与所述计算端和所述控制器连接，所述数据库包括：地图储存单元和动作指令储存单元；所述解锁单元，用于追踪定位目标物上的标识，并读取目标物上的标识和解锁动作指令；所述数据传输单元与所述控制器电连接，所述控制器用于控制所述移动式柔性机械臂移动至指定位置，和完成预设动作；

所述数据传输单元接收任务信号，所述数据传输单元接收所述环境数据获取单元和所述障碍采集单元的空间图像数据，并将所述图像数据传输至所述图像特征提取单元；所述图像特征提取单元用于提取空间图像数据特征，并依次传输至所述识别单元和所述地图更新单元，并获得所述0号地图和更新地图；

所述路径规划单元与所述地图更新单元连接，并将规划路径通过所述数据传输单元传输至所述控制器；

所述数据传输单元与所述动作优化系统连接，并将优化的动作指令传输至所述数据库。

本发明一个较佳实施例中，还包括客户端设备，所述客户端设备与所述数据传输单元连接，并下发任务信号。

本发明一个较佳实施例中，所述控制器通过调整所述移动式柔性机械臂的姿态和面向目标物的距离，以追踪定位标识。

本发明一个较佳实施例中，所述动作优化系统包括：肌肉运动测量装置、视频装置和训练模型。

本发明一个较佳实施例中，所述肌肉运动测量装置，包括：

至少一个驱动柔性臂运动传感器，与测试对象的手臂皮肤接触连接，并感测测试对象的手臂肌肉运动；

至少五个指关节运动传感器，与测试对象的指关节皮肤接触连接，并感测测试对象的指关节肌肉运动；

至少一个手背运动传感器，与测试对象的手背皮肤接触连接，并感测测试对象的手背肌肉运动；

至少一个接收单元，与所述驱动柔性臂运动传感器、指关节运动传感器和手背运动传感器连接，并接收肌电信号。

本发明一个较佳实施例中，所述预设动作为测试对象执行任务的一套动作，所述动作是具有固定流程或顺序的可替代的机械化的操作动作。

本发明一个较佳实施例中，所述图像特征提取单元，用于提取环境数据获取单元或障碍采集单元中障碍物的特征；

所述识别单元，用于将障碍物的特征和最近更新的地图中障碍物的特征进行对比；

所述地图更新单元，以所述数据库中最近更新的地图为地理参考，用于将相同特征的障碍物清除，标记未被清除的障碍物的位置，并将未被清除的特征和最近更新的地图进行融合，形成更新地图；

其中最近更新的地图为：所述数据库中前一次任务中储存的地图，或当前任务的0号地图，或当前任务中经过若干更新的0号地图。

本发明提供了一种移动式智能柔性运动控制方法，包括：

S1、获取空间图像数据，形成执行任务前的0号地图；

S2、按照任务分配设定目的地，规划运动路径；

S3、实时障碍物探测，其中障碍物为可见障碍物和不可见障碍物，且将不可见障碍物更新至0号地图中，并修正运动路径；

S4、追踪定位标识，根据标识调整姿态和面向目标物的距离，并匹配解锁动作指令，动作指令被配置为一套指示柔性机械臂完成预设动作的指令；扫描当前柔性机械臂距离目标物的位置并调整至预设位置；

S5、由动作指令驱动柔性机械臂执行预设动作。

本发明一个较佳实施例中，所述动作指令的确定，包括：

对相同或不同测试对象执行一套预设动作多次进行肌肉运动测量，获取肌肉电位，形成肌电信号，并按照比例分为第一训练集和第一测试集，特征提取后分析得到柔性机械臂的第一动作；

获取相同或不同测试对象执行一套预设动作多次的视频数据，提取动作特征，作为训练数据，其中，所述动作特征为动作顺序和动作幅度；利用训练数据执行机器学习生成训练模型，用于对第一动作进行训练，并形成一套适用于柔性机械臂完成预设动作的动作指令。

本发明一个较佳实施例中，所述空间图像的获取方法为：获得多个CCD摄像单元的监控图像，利用等效方法，将多个CCD摄像单元的监控图像进行叠加，并将叠加中重合部分进行融合估计，形成完整的空间图像。

本发明解决了背景技术中存在的缺陷，本发明具备以下有益效果：

（1）本发明提供了一种移动式智能柔性运动控制系统，该移动式智能柔性运动控制系统可以远程控制换刀任务，可自动化移动至目标物位置并模拟操作人员的手部操作，改变了传统中的手动换刀模式。

（2）本发明中采用测量测试人员在进行任务时的肌肉运动，获得肌电信号，通过将肌电信号转化为移动式柔性机械臂可读的信号，进而控制移动式柔性机械臂的动作；同时辅以测量测试人员的手部运动的细节特征，进而不断优化训练柔性机械臂的动作，使得自动化换刀的操作更加精准。

（3）本发明中环境数据获取单元用于对移动式柔性机械臂在移动前的环境地图的检测，确定当前移动下的地理参考，并确定了三维坐标下障碍物的空间位置，是后续更新0号地图的基础。而障碍采集单元是实时采集的，用于不断对0号地图的修正，并作为修正路径规划的基础。本发明将两种障碍物检测的方式结合，使得障碍探测的精确性，和更快速度地实时障碍避让。

（4）本发明中控制端具有接收任务信号、接收环境数据、获取障碍图像、下发计算端计算指令、控制执行器移动和操作动作的功能；而计算端具有接收控制端的计算指令，对图像进行处理、地图更新和路径规划的功能。为了适应地图中瞬息变化的障碍物，本发明将图像处理、地图更新和路径规划等算力较大的工作下发至计算端中，而控制端仅仅起到接收、整合和下发指令的作用，这减小了控制端的算力工作，减小了地图更新和路径规划的迟延。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；

图1是本发明的优选实施例的一种移动式智能柔性运动控制系统的示意图；

图2是本发明的优选实施例的一种移动式智能柔性运动控制方法的流程图。

图3是本发明的优选实施例的动作指令的确定方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本申请中的具体含义。

本发明中，属于“肌电信号”是众多肌纤维中运动单元动作电位（MUAP）在时间和空间上的叠加。表面肌电信号（SEMG）是浅层肌肉EMG和神经干上电活动在皮肤表面的综合效应，能在一定程度上反映神经肌肉的活动。

如图1所示，本实施例中提供了一种移动式智能柔性运动控制系统，包括：移动式柔性机械臂、环境数据获取单元、客户端设备、动作优化系统。

本实施例中客户端设备，用于下发任务信号。

移动式柔性机械臂包括控制端、计算端、数据库和解锁单元。

本实施例中控制端具有接收任务信号、接收环境数据、获取障碍图像、下发计算端计算指令、控制执行器移动和操作动作的功能；而计算端具有接收控制端的计算指令，对图像进行处理、地图更新和路径规划的功能。本实施例中移动式柔性机械臂为了适应地图中瞬息变化的障碍物，本实施例将图像处理、地图更新和路径规划等算力较大的工作下发至计算端中，而控制端仅仅起到接收、整合和下发指令的作用，这减小了控制端的算力工作，减小了地图更新和路径规划的迟延。

本实施例中数据库包括：地图储存单元和动作指令储存单元。

本实施例中环境数据获取单元，用于获取空间图像，形成执行任务前的0号地图。该环境数据获取单元为移动式柔性机械臂的外界监控单元，可以是设置在工厂中的多个CCD摄像单元，这些CCD摄像单元优选为不同方向、不同角度、不同高度排列，使得监控区域全覆盖移动式柔性机械臂至目标物的区域。

本实施例中空间图像的获取方法为：获得多个CCD摄像单元的监控图像，利用等效方法，将多个CCD摄像单元的监控图像进行叠加，并将叠加中重合部分进行融合估计，形成完整的空间图像。

本实施例中控制端包括：障碍采集单元、数据传输单元、控制器、柔性臂执行器和移动执行器。

障碍采集单元，用于获取规划路径上的实时障碍物图像。该障碍采集单元包括可视障碍物采集单元和非可视障碍物采集单元，其中可视障碍物采集单元为相机、激光雷达等，采集单元为超声波传感器。

本实施例中环境数据获取单元用于对移动式柔性机械臂在移动前的环境地图的检测，确定当前移动下的地理参考，并确定了三维坐标下障碍物的空间位置，是后续更新0号地图的基础。而障碍采集单元是实时采集的，用于不断对0号地图的修正，并作为修正路径规划的基础。本实施例将两种障碍物检测的方式结合，使得障碍探测的精确性，和更快速度地实时障碍避让。

本实施例中通过数据传输单元将空间图像传输至计算端进行图像处理，进而获得0号地图；通过数据传输单元将实时障碍物图像传输至计算端进行图像处理，进而对0号地图进行实时更新。

本实施例中数据传输单元与控制器连接，控制器用于控制移动执行器移动至指定位置，和驱动柔性臂执行器完成预设动作。

本实施例中预设动作为测试对象执行任务的一套动作，动作是具有固定流程或顺序的可替代的机械化的操作动作。

本实施例中数据传输单元与客户端设备连接并接收任务信号，数据传输单元与动作优化系统并接收动作指令。本实施例中的动作优化系统采用测量测试人员在进行任务时的肌肉运动，获得肌电信号，通过将肌电信号转化为移动式柔性机械臂可读的信号，进而控制移动式柔性机械臂的动作；同时辅以测量测试人员的手部运动的细节特征，进而不断优化训练柔性机械臂的动作。

因此，本实施例中利用对测试人员的肌肉运动测试，实现测试人员和柔性机械臂之间动作的传递，提高柔性机械臂的动作准确度。

本实施例中提供了一种动作优化系统的优选，包括：肌肉运动测量装置、视频装置和训练模型。

该肌肉运动测量装置，包括：至少一个驱动柔性臂运动传感器，与测试对象的手臂皮肤接触连接，并感测测试对象的手臂肌肉运动；

至少五个指关节运动传感器，与测试对象的指关节皮肤接触连接，并感测测试对象的指关节肌肉运动；至少一个手背运动传感器，与测试对象的手背皮肤接触连接，并感测测试对象的手背肌肉运动；至少一个接收单元，与驱动柔性臂运动传感器、指关节运动传感器和手背运动传感器连接，并接收肌电信号。

本实施例中计算端包括：图像特征提取单元、识别单元、地图更新单元、路径规划单元。数据库与计算端连接，数据库为计算端提供地图数据。

图像特征提取单元接收数据传输单元的障碍物图像数据和空间图像数据，提取图像特征，并传输至识别单元；识别单元将识别的数据传输至地图更新单元，地图更新单元与数据库电连接；路径规划单元与数据传输单元电连接并接收任务信号，路径规划单元与地图更新单元电连接。

本实施例中图像特征提取单元，用于提取环境数据获取单元或障碍采集单元中障碍物的特征。识别单元，用于将障碍物的特征和最近更新的地图中障碍物的特征进行相似度对比。地图更新单元，以数据库中最近更新的地图为地理参考，用于将相同特征的障碍物清除，标记未被清除的障碍物的位置，并将未被清除的特征和最近更新的地图进行融合，形成更新地图。其中最近更新的地图为：数据库中前一次任务中储存的地图，或当前任务的0号地图，或当前任务中经过若干更新的0号地图。

本实施例中的图像特征提取单元为基于深度卷积神经网络的障碍物图像特征提取模型。本实施例中的图像特征提取模型中每个卷积层的第一通道的障碍物图像特征与各个第二通道的卷积核分别进行卷积计算；在完成卷积计算的情况下，使用分类器对所述图像特征提取模型最后一卷积层输出的图像特征数据进行分类，得到分类结果；根据分类结果确定继续训练还是结束训练；直至根据分类结果确定结束训练，得到训练后的图像特征提取模型。通过将待特征提取的障碍物图像输入至障碍物图像特征提取模型中，得到障碍物图像特征数据。

本实施例中利用于深度视觉和单线激光雷达对障碍物进行清除，障碍物图像特征数据和最近更新的地图进行融合，行程高度信息的障碍物层，即更新地图。

本实施例中的解锁单元，用于追踪定位目标物上的标识，并读取目标物上的标识和解锁动作指令。控制器通过调整移动式柔性机械臂的姿态和面向目标物的距离，以追踪定位标识。

如图2所示，本实施例还提供了一种移动式智能柔性运动控制方法，包括：

S1、获取空间图像数据，形成执行任务前的0号地图；

S2、按照任务分配设定目的地，规划运动路径；

S3、实时障碍物探测，其中障碍物为可见障碍物和不可见障碍物，且将不可见障碍物更新至0号地图中，并修正运动路径；

S4、追踪定位标识，根据标识调整姿态和面向目标物的距离，并匹配解锁动作指令，动作指令被配置为一套指示柔性机械臂完成预设动作的指令；扫描当前柔性机械臂距离目标物的位置并调整至预设位置；

S5、由动作指令驱动柔性机械臂执行预设动作。

如图3所示，本实施例中动作指令的确定，包括：

利用肌肉运动测量装置，对相同或不同测试对象执行一套预设动作多次进行肌肉运动测量，获取肌肉电位，形成肌电信号，并按照比例分为第一训练集和第一测试集，特征提取后分析得到柔性机械臂的第一动作；

利用视频装置，获取相同或不同测试对象执行一套预设动作多次的视频数据，提取动作特征，作为训练数据，其中，动作特征为动作顺序和动作幅度；

利用训练数据执行机器学习生成训练模型，用于对第一动作进行训练，并形成一套适用于柔性机械臂完成预设动作的动作指令。

为了便于理解上述实施例，下面将以上述实施例的一个具体应用场景为例进行说明：

工厂内需要对机床上的刀具进行更换，客户端设备向移动式柔性机械臂下发换刀命令，同时环境数据获取单元对目标物和移动式柔性机械臂之间的障碍物进行扫描检测，并将获取空间图像传输至控制端中，控制端分配计算端进行图像特征提取、识别和融合估计，并形成0号地图，根据0号地图划归初步的行程路径；在移动过程中，障碍采集单元实时采集障碍物，通过计算端的图像特征提取、识别和融合估计，不断对0号地图和行程路径进行修正，直至到达目的地。

在到达目的地后，通过解锁单元自动追踪定位目标物上的标识，在期间移动式柔性机械臂不断调整自身姿态和面向目标物的距离，直至解锁单元正向于标识，进而机床上的CNC安全门打开，并解锁动作指令。控制器在接收到解锁单元的成功匹配信号后，控制器向数据库调取动作指令的信号，并控制柔性臂执行器完成换刀动作，即柔性臂执行器移动至CNC换刀位置将旧刀具取下，柔性臂执行器将旧刀具放置在支架上，柔性臂执行器读取新刀具上的标识；抓取新的刀具，安装到对应换刀位置，并检测刀具是否更换到位，柔性臂执行器伸出安全门，CNC安全门关闭，换刀完成。

以上依据本发明的理想实施例为启示，通过上述的说明内容，相关人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定技术性范围。

Claims (6)

1.一种移动式智能柔性运动控制系统，其特征在于，包括：移动式柔性机械臂、环境数据获取单元和动作优化系统；

所述环境数据获取单元，用于获取空间图像，形成执行任务前的0号地图；

所述移动式柔性机械臂包括：控制端、计算端、数据库和解锁单元；所述控制端包括：障碍采集单元、数据传输单元、控制器；所述计算端包括依次连接的图像特征提取单元、识别单元、地图更新单元、路径规划单元；

所述数据库与所述计算端和所述控制器连接，所述数据库包括：地图储存单元和动作指令储存单元；所述解锁单元，用于追踪定位目标物上的标识，并读取目标物上的标识和解锁动作指令；所述数据传输单元与所述控制器电连接，所述控制器用于控制所述移动式柔性机械臂移动至指定位置，和完成预设动作；

所述数据传输单元接收任务信号，所述数据传输单元接收所述环境数据获取单元和所述障碍采集单元的空间图像数据，并将所述图像数据传输至所述图像特征提取单元；所述图像特征提取单元用于提取空间图像数据特征，并依次传输至所述识别单元和所述地图更新单元，并获得所述0号地图和更新地图；

所述路径规划单元与所述地图更新单元连接，并将规划路径通过所述数据传输单元传输至所述控制器；

所述数据传输单元与所述动作优化系统连接，并将优化的动作指令传输至所述数据库；

所述动作优化系统包括：肌肉运动测量装置、视频装置和训练模型；所述肌肉运动测量装置，包括：

至少一个驱动柔性臂运动传感器，与测试对象的手臂皮肤接触连接，并感测测试对象的手臂肌肉运动；

至少五个指关节运动传感器，与测试对象的指关节皮肤接触连接，并感测测试对象的指关节肌肉运动；

至少一个手背运动传感器，与测试对象的手背皮肤接触连接，并感测测试对象的手背肌肉运动；

至少一个接收单元，与所述驱动柔性臂运动传感器、指关节运动传感器和手背运动传感器连接，并接收肌电信号；

所述动作指令的确定，包括：

对相同或不同测试对象执行一套预设动作多次进行肌肉运动测量，获取肌肉电位，形成肌电信号，并按照比例分为第一训练集和第一测试集，特征提取后分析得到柔性机械臂的第一动作；

获取相同或不同测试对象执行一套预设动作多次的视频数据，提取动作特征，作为训练数据，其中，所述动作特征为动作顺序和动作幅度；利用训练数据执行机器学习生成训练模型，用于对第一动作进行训练，并形成一套适用于柔性机械臂完成预设动作的动作指令。

2.根据权利要求1所述的一种移动式智能柔性运动控制系统，其特征在于：还包括客户端设备，所述客户端设备与所述数据传输单元连接，并下发任务信号。

3.根据权利要求1所述的一种移动式智能柔性运动控制系统，其特征在于：所述控制器通过调整所述移动式柔性机械臂的姿态和面向目标物的距离，以追踪定位标识。

4.根据权利要求1所述的一种移动式智能柔性运动控制系统，其特征在于：所述预设动作为测试对象执行任务的一套动作，所述动作是具有固定流程或顺序的可替代的机械化的操作动作。

5.根据权利要求1所述的一种移动式智能柔性运动控制系统，其特征在于：所述图像特征提取单元，用于提取环境数据获取单元或障碍采集单元中障碍物的特征；

所述识别单元，用于将障碍物的特征和最近更新的地图中障碍物的特征进行对比；

所述地图更新单元，以所述数据库中最近更新的地图为地理参考，用于将相同特征的障碍物清除，标记未被清除的障碍物的位置，并将未被清除的特征和最近更新的地图进行融合，形成更新地图；

其中最近更新的地图为：所述数据库中前一次任务中储存的地图，或当前任务的0号地图，或当前任务中经过若干更新的0号地图。

6.根据权利要求1所述的一种移动式智能柔性运动控制系统，其特征在于：所述空间图像的获取方法为：获得多个CCD摄像单元的监控图像，利用等效方法，将多个CCD摄像单元的监控图像进行叠加，并将叠加中重合部分进行融合估计，形成完整的空间图像。

Images