CN114453852A - 基于语音识别控制机械臂进行叶片装配的方法和系统 - Google Patents

Abstract

本发明涉及一种基于语音识别控制机械臂进行叶片装配的方法，所述方法包括：建立指令数据库和神经网络模型，并对神经网络模型进行预训练；根据预训练的神经网络模型，对语音信息中的特征进行提取；根据提取的特征匹配控制指令，控制机械臂进行操作。除此之外还提出了一种基于语音识别控制机械臂进行叶片装配的系统。上述基于语音识别控制机械臂进行叶片装配的方法及系统，通过建立指令数据库，并依此训练神经网络模型，使得在获取到语音信息中的特征时，能够将特征与预设的运行操作匹配，从而达到通过语音控制机械臂的效果，提高了工作效率、简化了控制机械臂的操作过程，提高了智能制造过程中机械臂的自动化程度和智能化程度。

Description

基于语音识别控制机械臂进行叶片装配的方法和系统

技术领域

本发明涉及工业智能控制技术领域，特别是涉及一种基于语音识别控制机械臂进行叶片装配的方法和系统。

背景技术

机械臂设备是一种广泛应用的自动化机械装置，在工业制造、医学治疗、娱乐服务、军事、半导体制造即太空探索领域均有广泛应用。机械臂的遥操作是将人的决策能力与机器人的精准性有机结合的技术。

转子叶盘的叶片在装配过程中，传统的控制方法通过如鼠标、键盘、平板对协作式机械臂的位置和姿态运动进行控制，这类控制方法工作效率低、自动化程度低、智能化程度有限，严重影响了机械臂作业过程的效率，运行速度慢，且全程需要操作人员操作。

发明内容

基于此，有必要针对传统控制方法工作效率低，智能化程度有限的问题，提供一种基于语音识别控制机械臂进行叶片装配的方法和系统。

一种基于语音识别控制机械臂进行叶片装配的方法，所述方法包括：

建立指令数据库和神经网络模型，并对神经网络模型进行预训练；

根据预训练的神经网络模型，对语音信息中的特征进行提取；

根据提取的特征匹配控制指令，控制机械臂进行操作。

进一步的，所述指令数据库包括针对六自由度的基础指令和涉及多个方向或角度的进阶指令。

进一步的，所述神经网络模型包括语音-声学神经网络模型和语音-文字神经网络模型。

进一步的，所述对神经网络进行训练包括：

应用相同内容的语音训练数据分别训练语音-声学神经网络模型和语音-文字神经网络模型；

使用基础指令对神经网络模型进行初次训练；

随后使用进阶指令对神经网络模型进行再次训练。

进一步的，在对语音信息中的特征进行提取前，所述方法还包括：

对语音信息进行帧切割，得到多帧分段语音信号；

采用滤波器过滤各帧分段语音信号中的干扰噪声；

采用高频滤波器对分段语音信号中的高频部分进行预加重。

进一步的，所述方法还包括对指令数据库进行扩展，使神经网络模型在获取到语音信息中的特征后，可以快速与指令数据库中预先设置的语音指令进行匹配。

一种基于语音识别控制机械臂进行叶片装配的系统，所述系统包括：

语音识别模块，用于提取语音中的特征，并匹配语音指令；

视觉模块，用于获取目标位置信息；与

机械臂控制模块，结合匹配的语音指令和目标位置信息对机械臂进行控制。

进一步的，所述语音识别模块包括：

语音识别单元，用于获取语音信息；

特征提取单元，用于提取语音信息的特征参数；与

数据库对比单元，根据特征参数匹配语音指令，并保存在指令数据库中。

进一步的，所述视觉模块包括：

深度相机，用于对目标图像进行采集；

图像预处理单元，设置有图像预处理算法，用于对图像进行预处理；

特征匹配单元，设置有特征匹配算法，用于对目标的特征与预设模型进行匹配；与

坐标获取单元，根据匹配后的目标特征，获取目标的三维坐标。

进一步的，所述机械臂控制模块包括：

机械臂通信单元，用于建立机械臂与计算机之间的通信；

机械臂驱动单元，用于驱动机械臂进行移动和转角；

机械臂运动学求解单元，设置有机械臂运动学算法，用于计算机械臂运动轨迹；与

夹爪控制单元，用于控制夹爪的张合。

上述基于语音识别控制机械臂进行叶片装配的方法及系统，通过建立指令数据库，并依此训练神经网络模型，使得在获取到语音信息中的特征时，能够将特征与预设的运行操作匹配，从而达到通过语音控制机械臂的效果，提高了工作效率、节约了成本，减少了叶片装配作业的时间，简化了控制机械臂的操作过程，提高了智能制造过程中机械臂的自动化程度和智能化程度。

附图说明

图1为一个实施例的基于语音识别控制机械臂进行叶片装配的方法流程图；

图2为一个实施例的基于语音识别控制机械臂进行叶片装配的系统结构示意图；

图3为机械臂控制逻辑框架示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，在一个实施例中，一种基于语音识别控制机械臂进行叶片装配的方法，包括：

步骤S110，建立指令数据库和神经网络模型，并对神经网络模型进行预训练。通过使用指令数据库中的指令对神经网络模型进行训练，使得每个指令匹配神经网络模型的一个运行操作。

步骤S120，根据预训练的神经网络模型，对语音信息中的特征进行提取。获取语音信息中的可识别的段落，并对识别的段落进行分析，得到特征。

步骤S130，根据提取的特征匹配控制指令，控制机械臂进行操作。根据特征匹配语音指令，从而匹配神经网络的一个或多个运行操作。

上述基于语音识别控制机械臂进行叶片装配的方法，通过建立指令数据库，并依此训练神经网络模型，使得在获取到语音信息中的特征时，能够将特征与预设的运行操作匹配，从而达到通过语音控制机械臂的效果，提高了工作效率、节约了成本，减少了叶片装配作业的时间，简化了控制机械臂的操作过程，提高了智能制造过程中机械臂的自动化程度和智能化程度。

在本实施例中，指令数据库包括针对六自由度的基础指令和涉及多个方向或角度的进阶指令。

其中基础指令包括如“启动”“前”、“后”、“左”、“右”、“上”、“下”、“顺时针转动”、“逆时针转动”等指令。进阶指令包括如“使用深度相机拍照”、“移动至坐标(x，y，z)”、“夹爪开(合)”或如“抓取一号叶片并进行装配”、“抓取螺丝”等指令。使得神经网络模型可以精准的识别语音信息中所包含的指令。

在本实施例中，神经网络模型包括语音-声学神经网络模型和语音-文字神经网络模型。便于提取语音中的特征。

其中语音-声学神经网络模型的训练过程包括：

获取语音训练样本，其中语音训练样本包括语音训练数据和声学训练数据。

利用语音训练样本对初始的语音-声学神经网络模型进行训练，得到训练好的语音-声学神经网络模型。

其中语音-文字神经网络模型的训练过程包括：

获取语音训练样本，其中语音训练样本包括语音训练数据和文字训练数据。

利用语音训练样本对初始的语音-文字神经网络模型进行训练，得到训练好的语音-文字神经网络模型。

在本实施例中，对神经网络进行训练包括：

应用相同内容的语音训练数据分别训练语音-声学神经网络模型和语音-文字神经网络模型。从而对语音进行多重识别。

使用基础指令对神经网络模型进行初次训练。

随后使用进阶指令对神经网络模型进行再次训练。

神经网络模型在训练后可以掌握优秀的识别能力。例如当输入一段语音信号时，经过语音-文字神经网络模型提取的特征参数匹配到的预先设置的语音指令，即成功识别的机械臂的指令，即在语音识别模块正确识别出语音信号代表的含义后，控制机械臂实现相应的动作或工作。

在本实施例中，在对语音信息中的特征进行提取前，该方法还包括：

对语音信息进行帧切割，得到多帧分段语音信号。

采用滤波器过滤各帧分段语音信号中的干扰噪声。

采用高频滤波器对分段语音信号中的高频部分进行预加重。

上述基于语音识别控制机械臂进行叶片装配的方法，主要利用深度神经网络的优势来搭建语音识别系统，通过从语音信息中提取其内在的声学特征，先对语音-声学神经网络模型和语音-文字神经网络模型进行训练。再使用训练好的语音-声学神经网络模型和语音-文字神经网络模型进行语音识别，当输入一段语音信号时，神经网络模型的输出即成功识别的机械臂控制指令，在语音识别模块正确识别出语音信息代表的含义后，控制机械臂实现相应的操作。

在本实施例中，该方法还包括对指令数据库进行扩展，使神经网络模型在获取到语音信息中的特征后，可以快速与指令数据库中预先设置的语音指令进行匹配。

例如想要机械臂抓取一号叶片并进行装配，输入的语音信息可以是“抓取一号叶片”、“一号叶片”、“一号”，都可以让机械臂执行“抓取一号叶片并进行装配”的工作。对指令数据库进行拓展，使神经网络模型在获取所述的语音信息中的特征后，可以快速与指令数据库中的预先设置的语音指令进行匹配，减少匹配过程中浪费的时间，提高指令识别的正确性，让机械臂更容易“懂”操作人员的想法。

上述对指令数据库进行扩展，可提高对语音信息识别的速度和准确性，使机机械臂对语音指令的反应更加迅速。

上述语音识别通过音频采集设备进行，并且获取语音信息的方式主要有三种。第一种实现方式是音频处理设备不间断的工作，同时周期性的获取语音信息；第二种实现方式是音频采集设备在被唤醒之后才会开始获取语音信息；第三种种实现方式是通过红外传感器检测是否有工作人员靠近。

优选的可采用第二种获取语音信息的方式，音频采集设备在被唤醒之后才会开始获取语音信息。当用户发出特定唤醒词，且通过音频采集设备计算机检测到特定唤醒词时，才开始获取语音信息。例如苹果手机的语音助手叫Siri、三星手机的语音助手叫Bixby、华为手机的语音助手叫小艺、小米的语音助手叫小爱等。通过设定语音唤醒模式，可以使音频采集设备减少许多无用的工作，只有被唤醒时才开始接收语音信息，避免了资源浪费。

如图2和图3所示，一种基于语音识别控制机械臂进行叶片装配的系统，包括用于提取语音中的特征，并匹配语音指令的语音识别模块，用于获取目标位置信息的视觉模块和结合匹配的语音指令和目标位置信息对机械臂进行控制的机械臂控制模块。

使用时，首先建立机械臂与计算机的通信；通过语音识别模块获取语音信息特征，并匹配和输出语音指令；当机械臂到达指定位置；视觉模块对目标进行图片采集，获取模块获得三维坐标；机械臂控制模块根据目标三维坐标和语音指令，得出机械臂需要到达的目标位姿、各关节角度，到达目标位置，并对目标进行操作。提高了工作效率、节约了成本，减少了叶片装配作业的时间，简化了控制机械臂的操作过程，提高了智能制造过程中机械臂的自动化程度和智能化程度。

在本实施例中，语音识别模块包括用于获取语音信息的语音识别单元，用于提取语音信息的特征参数的特征提取单元和根据特征参数匹配语音指令，并保存在指令数据库中的数据库对比单元。

在本实施例中，视觉模块包括用于对目标图像进行采集的深度相机，设置有图像预处理算法，用于对图像进行预处理的图像预处理单元，设置有特征匹配算法，用于对目标的特征与预设模型进行匹配的特征匹配单元与根据匹配后的目标特征，获取目标的三维坐标的坐标获取单元。

在本实施例中，机械臂控制模块包括用于建立机械臂与计算机之间的通信的机械臂通信单元，用于驱动机械臂进行移动和转角的机械臂驱动单元，设置有机械臂运动学算法，用于计算机械臂运动轨迹的机械臂运动学求解单元和用于控制夹爪的张合的夹爪控制单元。

其中建立音频收集设备与计算机的通信，可直接将麦克风连接至计算机上，确保可以通过语音识别技术控制机械臂。

计算机端与机械臂建立的通信可采用有线连接的方式，通过网线将上位机与机械臂控制柜下的网端接口进行相连。配置连接环境，在示教器上设置机械臂的静态地址网络。计算机端配置有线网络时需注意其IP地址的网段需和之前示教器上设置的应处于同一网段范围内，才可确保通信的成功，计算机端显示有线连接成功后需将无线连接关闭才可进行下一步。

机械臂的点位运动即通过机械臂逆运动学求解出来的关节转角来确定机械臂的目标姿态，经过末端执行器的运动促使机械臂到达目标点位。

将夹爪安装至机械臂末端时还需连接夹爪与机械臂末端，I/O端口与机械臂末端的端口一致，通过连接线将两端口连接起来，即可实现对夹爪的张合控制。

机械臂的运动学是关节转动的体现，各参数指标根据关节运转情况进行分析。

求解完机械臂关节转角后还需将各关节角度转换为弧度，确保程序代码的正常运行。

使用时，首先建立机械臂与计算机的通信；通过语音-声学神经网络模型唤醒语音识别模块；音频收集设备获取语音信息指令；通过语音-文字神经网络模型提取特征参数；与指令数据库进行比对；输出控制指令；机械臂到达指定位置；深度相机拍照，进行图片采集，坐标获取模块获得三维坐标；机械臂运动学求解模块针对获得的三维坐标进行求解，得出机械臂需要到达的目标位姿、各关节角度，到达目标位置。夹爪控制模块随即实现对夹爪的张合控制，达到抓取或放置效果，完成装配。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于语音识别控制机械臂进行叶片装配的方法，其特征在于，所述方法包括：

建立指令数据库和神经网络模型，并对神经网络模型进行预训练；

根据预训练的神经网络模型，对语音信息中的特征进行提取；

根据提取的特征匹配控制指令，控制机械臂进行操作。

2.根据权利要求1所述的基于语音识别控制机械臂进行叶片装配的方法，其特征在于，所述指令数据库包括针对六自由度的基础指令和涉及多个方向或角度的进阶指令。

3.根据权利要求2所述的基于语音识别控制机械臂进行叶片装配的方法，其特征在于，所述神经网络模型包括语音-声学神经网络模型和语音-文字神经网络模型。

4.根据权利要求3所述的基于语音识别控制机械臂进行叶片装配的方法，其特征在于，所述对神经网络进行训练包括：

应用相同内容的语音训练数据分别训练语音-声学神经网络模型和语音-文字神经网络模型；

使用基础指令对神经网络模型进行初次训练；

随后使用进阶指令对神经网络模型进行再次训练。

5.根据权利要求1所述的基于语音识别控制机械臂进行叶片装配的方法，其特征在于，在对语音信息中的特征进行提取前，所述方法还包括：

对语音信息进行帧切割，得到多帧分段语音信号；

采用滤波器过滤各帧分段语音信号中的干扰噪声；

采用高频滤波器对分段语音信号中的高频部分进行预加重。

6.根据权利要求2所述的基于语音识别控制机械臂进行叶片装配的方法，其特征在于，所述方法还包括对指令数据库进行扩展，使神经网络模型在获取到语音信息中的特征后，可以快速与指令数据库中预先设置的语音指令进行匹配。

7.一种基于语音识别控制机械臂进行叶片装配的系统，其特征在于，所述系统包括：

语音识别模块，用于提取语音中的特征，并匹配语音指令；

视觉模块，用于获取目标位置信息；与

机械臂控制模块，结合匹配的语音指令和目标位置信息对机械臂进行控制。

8.根据权利要求7所述的基于语音识别控制机械臂进行叶片装配的系统，其特征在于，所述语音识别模块包括：

语音识别单元，用于获取语音信息；

特征提取单元，用于提取语音信息的特征参数；与

数据库对比单元，根据特征参数匹配语音指令，并保存在指令数据库中。

9.根据权利要求7所述的基于语音识别控制机械臂进行叶片装配的系统，其特征在于，所述视觉模块包括：

深度相机，用于对目标图像进行采集；

图像预处理单元，设置有图像预处理算法，用于对图像进行预处理；

特征匹配单元，设置有特征匹配算法，用于对目标的特征与预设模型进行匹配；与

坐标获取单元，根据匹配后的目标特征，获取目标的三维坐标。

10.根据权利要求7所述的基于语音识别控制机械臂进行叶片装配的系统，其特征在于，所述机械臂控制模块包括：

机械臂通信单元，用于建立机械臂与计算机之间的通信；

机械臂驱动单元，用于驱动机械臂进行移动和转角；

机械臂运动学求解单元，设置有机械臂运动学算法，用于计算机械臂运动轨迹；与

夹爪控制单元，用于控制夹爪的张合。

Images