CN110992777B

CN110992777B - 多模态融合的示教方法、装置、计算设备及存储介质

Info

Publication number: CN110992777B
Application number: CN201911138402.7A
Authority: CN
Inventors: 赵欢; 杨彬榕; 葛科迪; 丁汉
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2019-11-20
Filing date: 2019-11-20
Publication date: 2020-10-16
Anticipated expiration: 2039-11-20
Also published as: CN110992777A

Abstract

本发明公开了一种多模态融合的示教方法，包括构建工件表面的三维点云，根据工件表面的三维点云，获取工件表面的数据点集；根据工件表面的数据点集并结合加工策略，确定虚拟夹具引导轨迹的起点和终点，以定步长增加获取离散数据点集，对离散数据点集插值可得虚拟夹具引导轨迹；判断虚拟夹具引导轨迹的方向是否大于90度，若大于90度，则通过人工拖动完成部分示教；若小于90度，则通过语音指令辅助完成部分示教。本发明通过三维重构得到了工件表面形状的信息，使得机器人末端基本能准确达到或接近理想的加工点，操作者只需要在虚拟夹具不准确时对机器人末端施加一定的力进行微调或进行语音调控，使得示教过程智能化。

Description

多模态融合的示教方法、装置、计算设备及存储介质

技术领域

本发明属于机器人智能加工技术领域，更具体地，涉及一种多模态融合的示教方法、装置、计算设备及存储介质。

背景技术

航空发动机、汽轮机、水轮机等叶片式流体机械，具有数量多，形状复杂以及加工精度要求高、表面粗糙度要求高的特点。目前，对于上述具有复杂轨迹曲面零件，大部分工厂仍然采用人工打磨的方式，此方式生产效率较低下、一致性差，而且危害人体健康。因此机器人技术被广泛地应用于上述复杂轨迹零件的加工。当前，机器人进行复杂轨迹曲面零件的加工主要由经验丰富的专家通过离线编程与示教器示教法进行轨迹的规划，以得到加工轨迹。此外，目前研究较多的加工机器人示教编程方法，大都采用人力拖动示教的方式获得加工轨迹。

上述机器人加工轨迹的获取方法存在以下缺点，第一，离线编程的时间成本高、经济成本高、复杂性高；第二，目前加工机器人的拖动示教方法中人力拖动的时间长、劳动量大、智能化程度较低；第三，目前的示教方法大多基于单一的输入，比如力输入或视觉输入，稳定性较低，而且交互、反馈少。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种多模态融合的示教方法、装置、计算设备及存储介质。

第一方面，本发明提供一种多模态融合的示教方法，包括：

构建工件表面的三维点云，根据所述工件表面的三维点云，获取工件表面的数据点集；

根据所述工件表面的数据点集并结合加工策略，确定虚拟夹具引导轨迹的起点和终点，以定步长增加获取离散数据点集，对所述离散数据点集插值可得所述虚拟夹具引导轨迹；

判断所述虚拟夹具引导轨迹的方向是否大于90度，

若大于90度，则通过人工拖动完成部分示教；

若小于90度，则通过语音指令辅助完成部分示教；

进一步地，所述通过人工拖动完成部分示教，包括，结合肌电和力传感器判断人工是否有修正所述虚拟夹具的意图，若是，则修正所述虚拟夹具；若否，则判断沿所述虚拟夹具引导轨迹的运动是否完成。

进一步地，通过比较积分肌电值和均方根振幅，可以判断人工修正虚拟夹具的意图；如下式，当前时刻积分肌电值与初始时刻肌电的差值小于k，且对应的均方根振幅的差值小于k₁时，人工没有修正所述虚拟夹具的意图，

如下式，当前时刻积分肌电值与初始时刻肌电的差值大于k，且对应的均方根振幅的差值大于k₁时，人工有修正所述虚拟夹具的意图，

其中，iEMG(t)是当前刻的积分肌电值，iEMG(t₀)是初始时刻积分肌电值，EMG(t)是肌电曲线；RMS为均方根振幅；T为采样的时间间隔，t为当前时刻，t₀为初始时刻；k为iEMG(t)信号的变化阈值，k₁为RMS的变化阈值。

进一步地，所述通过语音指令辅助完成部分示教，包括，机器人识别、分析所述语音指令，并生成对应方向的驱动力。

进一步地，识别所述语音指令时，根据下式求出匹配度最高的文本信息W*；

其中，X为当前语音信息，W指对应的文本信息，P(W)指文本信息的概率，P(X|W)指文本信息的条件概率。

进一步地，所述机器人收到停止指令后会停止生成所述驱动力，当所述机器人收到交互指令后，会进行相应的语音回答。

进一步地，所述虚拟夹具引导轨迹的计算公式如下：

x_vm＝L_s(s_vm)

其中，s_vm代表虚拟夹具引导轨迹的曲线参数，其由

组成，

是s_vm的导数；x_vm为虚拟夹具引导轨迹上的点，

为x_vm的导数；x′_j,x′_j-1是获得工件表面上的离散数据点；L_s代表虚拟夹具的几何模型；J_s代表虚拟夹具的雅克比矩阵。

第二方面，本发明提供一种多模态融合的示教装置，包括：

获取模块，获取工件表面的数据点集；

处理模块，根据所述工件表面的数据点集并结合加工策略，确定虚拟夹具引导轨迹的起点和终点，以定步长增加获取离散数据点集，对所述离散数据点集插值可得所述虚拟夹具引导轨迹；判断当前时刻所述虚拟夹具引导轨迹的方向是否大于90度，

若大于90度，则通过人工拖动机器人完成部分示教；

若小于90度，则通过语音指令辅助机器人完成部分示教；

确定模块，根据示教过程中所述机器人的运动轨迹，确定所述运动轨迹复现

第三方面，本发明提供一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行本发明第一方面所述的一种多模态融合的示教方法。

第四方面，本发明提供一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如本发明第一方面所述的一种多模态融合的示教方法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明通过三维重构得到了工件表面形状的信息，使得机器人末端基本能准确达到或接近理想的加工点，操作者只需要在虚拟夹具不准确时对机器人末端施加一定的力进行微调，减少了示教过程中人力拖动的工作量，使得整个示教过程智能化。

2、本发明通过采集操作者手臂的肌电传感器信号和机器人末端的力传感器信号，可以判断操作者根据经验和观察有无修正虚拟夹具的意图，并及时修正虚拟夹具，从而使得整个示教过程智能化。

3、本发明通过识别不同的语音信息产生不同的驱动力，可以无需操作者进行拖动示教，从而减少了传统示教过程中的人力拖动的总工作量。

4、本发明在判断操作者是否有修正虚拟夹具的意图时，利用肌电传感器判断积分肌电值(iEMG)值和均方根振幅(RMS)值是否反馈了负载增加的特点，即判断操作者手部是否加大了对机器人末端施加的力，防止机器人末端所受外力对虚拟夹具的错误修正。

附图说明

图1为本发明实施例提供的一种系统架构的示意图；

图2是按照本发明实施例提供的一种多模态融合的示教方法流程示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1示例性的示出了本发明实施例所适用的一种系统架构，该系统架构可以服务器100，该服务器100可以包括处理器110、通信接口120和存储器130。

其中，通信接口120用于终端设备进行通信，收发终端设备传输的信息，实现通信。

处理器110是服务器100的控制中心，利用各种接口和路线连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。

存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

需要说明的是，上述图1所示的结构仅是一种多模态融合的示教方法示例，本发明实施例对此不做限定。

基于上述描述，图2详细的示出了本发明实施例提供的一种多模态融合的示教方法的流程，该流程可以由多模态融合的示教装置执行，该装置可以位于如图1所示服务器100内，也可以是该服务器100。

如图2所示，该流程具体包括：

利用条纹光栅类型的面结构光，扫描待磨削的工件，再使用高分辨率CCD相机采集变形的光栅条纹图案，通过其中像素点灰度值的变化，解析出工件表面的空间坐标，基于此重构工件表面的三维点云。

进一步地，采用平面棋盘法对视觉扫描系统进行标定，首先固定摄像机不动，棋盘放置在9个不同位置拍摄9副图案，基于此计算出标定结果。

进一步地，在均匀的照明背景下，调整激光投影单元和CCD相机的位置及角度，使CCD相机的景深中心位置正好处于待测物体上，采集工件的不同姿态的8副点云数据，使其包含待测工件的所有特征。该面结构光扫描系统计算工件表面高的公式如下：

其中，H为工件表面上点相对于参考平面的高度，α为入射光与反射光的夹角，β为反射光与CCD相机像平面的夹角，u为透镜的物距，v为透镜的相距，y为待测物体表面上的点的像点与入射光与参考平面的交点的像点之间的像位移。

进一步地，通过特征标志点自动拼接技术，将不同坐标系下获取的三维点云数据自动转换到同一坐标系下，得到待测物体整体点云数据,完成工件的三维重构。

根据工件表面的数据点集并结合加工策略，确定虚拟夹具引导轨迹的起点和终点，以定步长增加获取离散数据点集，对离散数据点集插值可得虚拟夹具引导轨迹。

进一步地，根据视觉扫描得到的工件表面的三维点云，得到工件表面数据点集合{x_i}_i＝0:N，结合磨削加工轨迹规划策略，指定需要得到的虚拟夹具引导轨迹的起始点与终点，以步长α增加，以此获得工件表面上的离散数据点集合x′，对该离散数据点集合进行Akima插值获得轨迹曲线，以此生成虚拟夹具的引导轨迹。

进一步地，基于三维点云，得到工件表面的离散数据点集合{x_i}_i＝0:N，结合磨削加工轨迹规划策略，指定需要得到的虚拟夹具引导轨迹的起始点与终点，以步长α增加，以此获得工件表面上的离散数据点集合x′，对该离散数据点集合进行Akima插值获得轨迹曲线。

Akima插值的计算方式如下：

y＝p₀+p₁(x-x₃)+p₂(x-x₃)²+p₃(x-x₃)³

其中，x为输入，y为输出，点(x,y)是在轨迹路线上并处于集合{x_i}_i＝0:N内的相邻的6个数据点(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)、(x₅,y₅)、(x₆,y₆)中的(x₃,y₃)、(x₄,y₄)之间的插值数据点，p₀、p₁、p₂、p₃为插值系数，t₃、t₄是在(x₃,y₃)、(x₄,y₄)点实测的斜率，计算方式如下。

t_i＝(|m_i+1-m_i|m_i+1+|m_i-1-m_i-2|m_i)/(|m_i+1-m_i|+|m_i-1-m_i-2|)

其中i＝3、4，m_i-2、m_i-1、m_i、m_i+1、代表点(x_i-2,y_i-2)、(x_i-1,y_i-1)、(x_i,y_i)、(x_i+1,y_i+1)处的斜率。

进一步地，根据Akima插值得到的轨迹曲线生成参数化的虚拟夹具引导轨迹，该参数化虚拟夹具引导轨迹的计算公式如下：

x_vm＝L_s(s_vm)

其中，s_vm代表虚拟夹具引导轨迹的曲线参数，其由

组成，

由s_vm求导得到；x_vm为生成的虚拟夹具引导轨迹上的点，

为x_vm的导数；x′_j,x′_j-1是获得工件表面上的离散数据点；L_s代表通过Akima样条插值获得的虚拟夹具的几何模型；J_s代表虚拟夹具的雅克比矩阵，其计算方法为：

进一步地，生成的虚拟夹具在辅助操作者完成任务的过程中产生如下式所示的虚拟约束力：

其中，F_c代表虚拟夹具产生的虚拟约束力；K,B分别代表该约束力的刚度系数与阻尼系数；x_vm,

分别代表上一步生成的虚拟夹具引导轨迹上的离散数据点和该点的速度；x_robot,

分别代表实际加工机器人末端的位移和速度。

本发明实施例通过三维重构得到了工件表面形状的信息，使得机器人末端基本能准确达到或接近理想的加工点，操作者只需要在虚拟夹具不准确时对机器人末端施加一定的力进行微调，减少了示教过程中人力拖动的工作量。

通过引导轨迹角度变化，判断接下来一段轨迹方向是否单一，具体为判断接下来K个虚拟夹具引导轨迹上的离散数据点的运动速度的方向是否有大于90度的变化(500<K<2000)，在虚拟夹具的引导轨迹方向变化小于90度并且误差极小的阶段，利用不同的语音输入产生不同方向、不同大小的引导力，以驱动机器人末端沿着虚拟夹具的方向运动，辅助完成部分示教过程，无需人力拖动示教；在虚拟夹具的引导轨迹方向变化大于90度并且误差极小的阶段，则语音提示需要人力拖动示教。

进一步地，控制系统判断接下来K个虚拟夹具引导轨迹上的离散数据点的运动速度的方向是否有大于90度的变化(500<K<2000)，如果没有，则通过语音提问：“是否语音示教”；

进一步地，操作者收到语音提问后，结合三维重构的模型的情况和实际加工情况，判断此段虚拟夹具引导轨迹是否准确，如果此段轨迹符合期望的加工轨迹，回答“开始”并得到回应后，再给出代表产生不同方向的虚拟力的语音指令，比如“向前”、“向后”、“向左”、“向右”、“向上”、“向下”、“向左按曲率半径为零点五米运动”、“停止”等。

进一步地，机器人收到语音指令后，首先进行语义识别，然后进行语音分析，最后会在机器人坐标系中产生对应方向的虚拟力，作为使得机器人沿着虚拟夹具的引导轨迹运动的驱动力，当收到“停止”指令后会停止施加虚拟力，当收到交互指令后会触发相应的语音回答。

进一步地，对利用麦克风采集的语音信息进行语音识别，求出与所采集语音匹配度最高的文本信息W^*；

其中，X为当前采集的语音信息，W指对应的文本信息，P(W)指代文本信息本来的概率，而P(X|W)代指条件概率，即给定了文本信息后，该声音信息出现的概率，W*为与所采集语音匹配度最高的文本信息，由于P(X)不含W，为定值，故将其忽略。

进一步地，对由语音信息转化而来的文本信息进行语义判断，以决定下一步，机器人是该做出相应的运动，还是应该回复对应的语音信息；

k_i＝W_x-W_i

其中，W_x为当前识别的语音信息转化为的文本信息，即句子，W_i为信息库中可供遍历的所有句子中的第i个，k_i为判断的结果标志变量，如果k_i＝0，则说明当前接收到的语音信息对应的是信息库中第i条指令。

将“前进”、“后退”、“向左”、“向右”、“向上”“向下”六个识别结果，转化为以机器人为参考系的沿x、-x、y、-y、z、-z六个方向的力，将“向左按曲率半径为零点五米运动”等曲线运动指令转化为上述力的合力，虚拟力的具体大小可以根据实验所需速度而调节，将“你好”、“接触力是否正常”、“开始”、“结束”等交互信息根据自身状态转化为对应的语音回答。

进一步地，当接下来K个虚拟夹具引导轨迹上的离散数据点的运动速度的方向有大于90度的变化(500<K<2000)，语音提示“请拖动示教”，操作者直接以拖动机器人的方式给予虚拟夹具驱动力。

在操作者的语音信息产生虚拟夹具的驱动力的阶段，当虚拟夹具的引导轨迹误差较大的时，操作者通过观察对机器人末端施加力以修正虚拟夹具，判断标准为：当虚拟夹具的引导轨迹方向与力传感器反馈的超过阈值的人手牵引力方向发生冲突，并且肌电传感器反馈出代表肌肉负载增加的信号时，则优先以人手的牵引力修正虚拟夹具。

进一步地，对ATI力传感器进行标定，对机器人末端执行器进行重力补偿。

进一步地，基于语音产生驱动力的示教过程中，操作者始终关注机器人末端与工件的接触情况，当机器人末端与工件的接触始终达到预期时，操作者以手跟随机器人末端柔顺运动，不主动施加外力，此时肌电传感器的反馈的肌肉兴奋信号，在处理后得到的积分肌电值(iEMG)值和均方根振幅(RMS)值均在阈值以下。

由于随着负载增加，iEMG值和RMS值增加，故以iEMG值和RMS判断肌肉所受负载的强度，当满足下式时，可以认为操作者没有主动施加外力并修正虚拟夹具的意图。

其中，iEMG(t)是此刻的积分肌电值，iEMG(t₀)是初始时刻手臂肌肉舒缓状态的积分肌电值，EMG(t)是肌电曲线；T为采样的时间间隔，t为当前时刻，t₀为初始手臂肌肉处于舒缓状态的时刻；k为iEMG(t)信号的变化阈值，一般取6，具体值可以随操作者而调整，k₁为RMS的变化阈值，一般取0.2，具体值可以随操作者而调整。

进一步地，当操作者发现机器人末端与工件的接触有脱离预期的趋势时，操作者主动对机器人末端施加外力，当机器人末端的力传感器反馈操作者施加的外力满足下式：

F＜F_h+F_k

其中F为力传感器反馈操作者施加的外力，F_k为正常的加工接触力，F_h为判断操作者是否有修正虚拟夹具的引导轨迹的意图的力的阈值。

此时如果肌电传感器的反馈的肌肉兴奋信号值也满足下式，说明操作者有修正虚拟夹具的意图，因此，此时使得操作者施加的外力的优先级置于虚拟夹具产生的虚拟力的优先级之上，从而实现以外力修正虚拟夹具的引导轨迹。

进一步地，iEMG(t)信号的变化阈值k、RMS信号的变化阈值k₁可以适当变化，以适应不同肌肉特征的操作者。

进一步地，代表产生不同方向的力的语音信号可以变化，以适应不同国家操作者的语言。

进一步地，判断定长范围内轨迹方向变化时参考的离散点个数的K可以适当变化，以适应不同尺寸的工件和不同的机器人运动速度。

重复上述步骤，直至机器人末端走完整个虚拟夹具的引导轨迹。

本发明实施例将视觉信号、听觉信号、肌电信号、力信号融合为力信息，在进行加工轨迹的规划时，首先利用结构光扫描获取工件表面的先验三维信息，此后基于操作者的经验、力反馈、肌电信号对此轨迹进行修正，减少了由于单一输入的波动产生较大误差的可能。

本发明实施例在判断操作者是否有修正虚拟夹具的意图时，不仅判断虚拟夹具的引导轨迹方向与力传感器反馈的人手牵引力方向是否发生冲突，还利用肌电传感器判断积分肌电值(iEMG)值和均方根振幅(RMS)值是否反馈了负载增加的特点，即判断操作者手部是否加大了对机器人末端施加的力，有效防止了机器人末端所受外力对虚拟夹具的错误修正。

记录下示教过程中加工机器人末端的运动轨迹，基于正运动学运算将关节角数据转化为位置姿态数据，以此作为轨迹复现的输入。

进一步地，根据记录下示教过程中加工机器人末端的运动轨迹，基于正运动学运算将关节角数据转化为位置姿态数据。

进一步地，轨迹复现时，基于ros_control进行机器人的运动控制，并以此位置姿态数据作为机器人的位置环输入。

在其他实施方式中，所述步骤S3中判断定长范围内轨迹方向变化时参考的离散点个数的K可以适当变化，以适应不同尺寸的工件和不同的机器人运动速度。

本发明实施例通过视觉三维重构得到了零件表面形状的先验信息，从而初步构建虚拟夹具，并且在虚拟夹具的引导轨迹方向变化小于阈值并且误差极小的阶段，通过语音输入产生驱动力，通过采集操作者手臂的肌电传感器信号和机器人末端的力传感器信号，可以判断操作者根据经验和观察有无修正虚拟夹具的意图，并及时修正虚拟夹具，从而使得整个示教过程智能化。

基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用存储器中存储的程序指令，按照获得的程序执行上述多模态融合示教的方法。

基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行计算机可读指令时，使得计算机执行上述多模态融合示教的方法。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种多模态融合的示教方法，其特征在于，包括：

判断所述虚拟夹具引导轨迹的方向是否大于90度，

若大于90度，则通过人工拖动完成部分示教，判断人工是否有修正所述虚拟夹具的意图，若是，则修正所述虚拟夹具；若否，则判断沿所述虚拟夹具引导轨迹的运动是否完成，通过比较积分肌电值和均方根振幅，判断人工修正虚拟夹具的意图，当前时刻积分肌电值与初始时刻肌电的差值小于k，且对应的均方根振幅的差值小于k₁时，人工没有修正所述虚拟夹具的意图：