CN113370172B - 基于多传感器和力反馈的辅助机械手系统及其使用方法 - Google Patents

Abstract

本发明公开了一种基于多传感器和力反馈的辅助机械手系统及其使用方法，系统包括信号处理单元、佩戴在用户手臂上的机械手单元和肌电信号传感器、穿戴在用户手上的力反馈单元、设在机械手单元的机械手指上的力传感器；肌电信号传感器采集用户手臂表面肌电信号，力传感器采集机械手指在交互时所产生的力信号；信号处理单元在机械手指力信号不明显时，根据表面肌电信号识别用户手部动作，由此来控制机械手指做相应的动作，以及在机械手指力信号明显时控制力反馈单元对用户的手产生阻力，根据表面肌电信号强度来控制机械手单元输出对应的作用力。本发明可以给用户提供实际的交互反馈感，从而让交互过程更自然，做出的交互决策更准确。

Description

基于多传感器和力反馈的辅助机械手系统及其使用方法

技术领域

本发明涉及机器人技术领域，特别是一种基于多传感器和力反馈的辅助机械手系统及其使用方法。

背景技术

如今，随着机器人技术的快速发展，机器人技术在社会各个领域的应用越来越广泛。辅助型机械手作为机器人应用的一种，可以在一些医疗、娱乐等特殊的场合起到协助作用。对于使用者而言，在使用辅助机械手在实际的场景中进行交互动作的过程中，一定的临场感是很重要的。近年来的众多研究表明，在接触作业中，70％的有效信息来自于力觉(包括触感)。因此，辅助机械手系统除了能完成位置和姿态的跟随功能以外，还应该具备一定的反馈机制。

然而，目前应用于医疗、服务的辅助型机械手的控制一般采用类型较为单一的信息源，在一些特定的情况下可能会出现精度不足、操作者学习成本大、操作体感不够自然等问题。例如在专利文件CN107598920A《一种基于视觉控制的机械手》采用了基于模式识别技术来处理图像以获取待抓取物体的特征信息和位置信息，并根据这些信息进行机械手的抓取控制，由于这种控制方式绝大部分信息都依赖于视觉信号，在一些复杂的环境下很容易产生偏差。在专利文件CN108972494A《一种仿人机械手抓取控制系统及其数据处理方法》中采用了数据手套和图像识别目标的技术来进行机械手抓取运动的控制，但这一方法所用的技术无法给予操作者较好的临场感，在实际的抓取过程中与人手直接抓取的体验感会有一定差距。

综合来看，设计一个可以综合不同种传感器信息、并且给予操作者一定反馈的辅助型机械手是具有重要意义的。

发明内容

本发明的第一目的在于解决现有技术的不足，提出一种基于多传感器和力反馈的辅助机械手系统，可以有效利用不同种传感器信息，并给予用户一定的实际反馈，使得辅助机械手系统与外部环境、对象交互的过程更加自然，做出的交互决策更加准确。

本发明的第二目的在于提出一种基于多传感器和力反馈的辅助机械手系统的使用方法。

本发明的第一目的通过下述技术方案实现：

一种基于多传感器和力反馈的辅助机械手系统，包括可佩戴在用户手臂上的机械手单元、可穿戴在用户手上的力反馈单元、传感器单元和分别连接机械手单元、力反馈单元、传感器单元的信号处理单元；

其中，传感器单元包括肌电信号传感器和力传感器，肌电信号传感器佩戴在用户手臂上，用于采集用户手臂的表面肌电信号并发送给信号处理单元；力传感器安装在机械手单元的机械手指上，用于采集机械手指在与外部环境、对象交互时所产生的力信号并发送给信号处理单元；

信号处理单元用于在机械手指力信号小于设定阈值的情况下，根据用户手臂表面肌电信号来识别出用户手部动作，并根据所识别的用户手部动作来控制机械手指完成相应动作；用于在机械手指力信号不小于设定阈值的情况下，控制力反馈单元对用户的手产生对应的阻力来作为反馈，以提供力反馈临场感，以及根据用户手臂表面肌电信号的强度来控制机械手单元输出相应的作用力。

优选的，肌电信号传感器、力反馈单元分别通过无线方式与信号处理单元相连接；力传感器通过有线方式与信号处理单元相连接，信号处理单元通过有线方式与机械手单元中用于驱动机械手指运动的第一驱动电机相连接，有线连接所用的线缆和第一驱动电机均安装在机械手单元内。

优选的，机械手单元包括相连接的手臂结构和手部执行结构，手臂结构设有可供用户佩戴的第一手臂固定件和第二手臂固定件，机械手单元通过第一手臂固定件和第二手臂固定件固定在用户手臂上；

信号处理单元安装在手臂结构内，佩戴在用户手臂上的肌电信号传感器夹在用户手臂和第一手臂固定件之间，或用户手臂和第二手臂固定件之间。

更进一步的，第一手臂固定件通过转轴连接在手臂结构上，同时通过连杆连接第二手臂固定件以使第二手臂固定件位于手臂结构处。

优选的，力反馈单元包括外骨架结构和力反馈执行装置；外骨架结构用于供用户的手套入，包括主手外骨架和连接主手外骨架的五个手指外骨架，主手外骨架与用户手掌相对应，手指外骨架与用户手指相对应，手指外骨架进一步分为手指节外骨架和位于手指节外骨末端的指环外骨架；

力反馈执行装置用于对用户的手产生实际的阻力，力反馈执行装置包括电机控制芯片、第二驱动电机、手指头固定环、可容纳牵拉绳的导轨、牵拉绳，第二驱动电机和电机控制芯片均安装在主手外骨架上，电机控制芯片连接并控制第二驱动电机，同时通过无线方式连接至信号处理单元；

手指头固定环固定在各个指环外骨架上，导轨设置在各个手指节外骨架上，每个手指外骨架对应一条牵拉绳，牵拉绳一端连接至第二驱动电机，另一端穿过导轨并连接至手指头固定环。

更进一步的，手指外骨架由可调节松紧程度的多个圆环体构成，并且这些圆环体沿着一条直线首尾相连。

优选的，肌电信号传感器的数量为多个并共同组成一臂环，手臂肌电信号的采集区由多个肌电信号传感器分为多个通道。

优选的，力传感器采用薄膜型压力传感器，力传感器分布在机械手单元每根机械手指的末端处和掌指关节处。

优选的，信号处理单元中存储有训练好的神经网络分类器，信号处理单元通过该神经网络分类器对肌电信号传感器采集到的表面肌电信号进行用户手部动作分类，并根据分类结果生成相应的控制信号给机械手单元。

本发明的第二目的通过下述技术方案实现：

一种如本发明第一目的所述的基于多传感器和力反馈的辅助机械手系统的使用方法，包括如下步骤：

用户将机械手单元和肌电信号传感器佩戴在手臂上，将力传感器安装在机械手单元的机械手指上，用户手穿戴上力反馈单元，随后用户根据自己的实际工作需求，手部做相应的运动；

此时肌电信号传感器实时监测用户手臂肌肉的活动变化，采集相应的表面肌电信号，并发送给信号处理单元；力传感器实时监测机械手指是否产生作用力，并将采集到的力信号发送给信号处理单元；

信号处理单元接收到两个传感器的信号后，先判断是否接收到明显的力信号，再判断是否有肌电信号变化；

若信号处理单元接收到的力信号小于设定阈值时，则说明力信号不明显，此时机械手单元进入位置控制阶段，机械手单元根据表面肌电信号来识别用户当前的手部动作，并根据所识别的用户手部动作来控制机械手指做相应的动作；其中，用户手部动作包括张开手掌、握拳、食指和拇指扭取、握拳基础上伸出食指；

若信号处理单元接收到力信号不小于设定阈值，则说明力信号明显，此时辅助机械手控制系统进入力控制阶段，机械手单元生成对应的控制信号给力反馈单元，使力反馈单元对人手产生相应阻力作为反馈，还有根据表面肌电信号的强度输出相应的作用力。

本发明相对于现有技术具有如下的优点及效果：

1、本发明辅助机械手系统，利用传感器单元获取机械手单元抓取过程中的反馈力和用户操作过程中的肌电信号，利用信号处理单元分析传感信号并生成合适的控制信号给到机械手单元和力反馈单元，由机械手单元协助用户，在实际场景中进行辅助作业，由力反馈单元给用户的操作手提供实际的力反馈体感。这种将力反馈的机制应用到辅助机械手系统中的设计，可以使佩戴者在操作机械手单元时获得与环境交互的临场感，进而可以提高佩戴者的操作准确度，使得作业的行为决策更加匹配交互对象和环境的特点，交互的过程更加自然。

2、本发明机械手单元是直接佩戴在人手上进行协助工作的，在与环境和外部物体的交互中，辅助机械手系统可以省去遥操作系统中目标定位的要求，直接根据人的视觉反馈即可完成交互目标的定位，因此定位交互目标更加简单，也不存在定位计算误差。

3、本发明采用佩戴者手臂的表面肌电作为机械手单元执行相关操作的输入信号，以无创的方式直观便捷地反映出佩戴者的操作意图，且对传感器设备的要求也较低，有利于轻便化设计，更灵活应用于各种不同的作业场景。

4、本发明的肌电信号传感器、机械手单元的设计偏向轻便化，硬件设备所占用的位置较小，方便携带，易于安装和上手使用。并且，信号采集单元、信号处理单元、机械手单元、力反馈单元是相互独立设计的，使得任意一个单元都可以根据实际需求进行调整，系统的可拓展性强，适用范围广。

5、本发明通过神经网络来识别多种手掌的基本手势(指5个手指的配合运动)，实现了基于肌电信号来准确识别出更多的手部动作类型。肌电信号同时也用于在力反馈的阶段，给机械手单元提供人手的用力程度、刚度等控制信息，使得机械手单元的控制更加精准和贴近实际。

6、本发明肌电信号传感器、力反馈单元采用无线方式与信号处理单元通讯，简化了各个单元之间的信号线连接，在实际应用场景中对各种复杂多变的条件具有更好的适应性。信号处理单元内置在机械手单元中，在通讯方面可以避免受到远程信息交互的信息干扰影响，通讯更加高效。

附图说明

图1为本发明基于多传感器和力反馈的辅助机械手系统的示意图。

图2为机械手单元的整体结构示意图。

图3为肌电信号传感器的立体示意图。

图4为力传感器的示意图。

图5为力反馈单元的立体示意图。

图6为图5力反馈单元的正视图。

图7为图1系统的工作流程图。

附图标号说明：

1为手部执行结构；2为连杆；3为手臂结构；4为第一手臂固定件；5为第二手臂固定件；6为第二驱动电机；7为导轨；8为牵引绳；9为指环外骨架；10为手指头固定环；11为手指节外骨架；12为导轨固定台；13为主手外骨架；14为电机控制芯片；15为薄膜型压力传感器；16为固定支架；17为肌电信号传感器；18为连接带。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例提供了一种基于多传感器和力反馈的辅助机械手系统，包括机械手单元、力反馈单元、传感器单元和信号处理单元。

如图2所示，机械手单元包括相连接的手臂结构3和手部执行结构1，手臂结构设有第一手臂固定件4和第二手臂固定件5，在本实施例中，第一手臂固定件是通过可旋转的转轴连接在手臂结构上，同时通过两个平行的硬质连杆2连接第二手臂固定件，以使第二手臂固定件位于手臂结构处。用户可通过穿戴第一手臂固定件和第二手臂固定件来将整个机械手单元佩戴在手臂上。

机械手单元的第一驱动电机安装在手臂结构内，信号处理单元通过有线方式与第一驱动电机相连接，有线连接所用的线缆和信号处理单元均安装在手臂结构内。

手部执行结构含有五个机械手指，并由第一驱动电机驱动各个机械手指运动，以辅助用户执行特定的动作。

传感器单元进一步包括肌电信号传感器17和力传感器，其中，肌电信号传感器可供用户佩戴在手臂上，肌电信号传感器通过无线方式与信号处理单元相连接。这里，如图3所示，肌电信号传感器的数量为多个且可通过连接带18依次连接来串成一臂环，用于采集其覆盖位置的表面肌电信号并发送给信号处理单元。表面肌电信号代表了用户手臂肌肉激活程度，不同动作对应不同的肌肉激活程度。

本实施例肌电信号传感器共设有8个，手臂肌电信号的采集区由这8个肌电信号传感器分为8个通道。臂环的外径大致等同于第一手臂固定件/第二手臂固定件的内径，用户在佩戴肌电信号传感器时，即可将肌电信号传感器夹在手臂和第一手臂固定件之间或者手臂和第二手臂固定件之间以实现固定。

力传感器分布在机械手单元每根机械手指的末端处和掌指关节处，如本实施例设置了10个力传感器，其中5个安装于每根机械手指的末端处，另外5个安装于每根机械手指的掌指关节处。这里，为便于安装，如图4所示，力传感器采用薄膜型压力传感器15并设有固定支架16，固定支架的底部设为圆弧状，可与机械手指相配合而固定于机械手指，从而使得力传感器可以位于机械手指上。

力传感器通过有线方式与信号处理单元相连接，有线连接所用的线缆可安装在机械手单元内。力传感器用来采集机械手指在与外部环境、对象交互时所产生的力信号并发送给信号处理单元。

力反馈单元可穿戴在用户的手上，且通过无线方式与信号处理单元相连接。力反馈单元包括外骨架结构和力反馈执行装置，外骨架结构类似于手套，可供用户的手套入，力反馈执行装置安装在外骨架结构上，可提供力反馈。

具体来说，如图5和图6所示，外骨架结构包括主手外骨架13和连接主手外骨架的五个手指外骨架，主手外骨架与用户手掌相对应，手指外骨架与用户手指相对应。手指外骨架进一步分为手指节外骨架11和位于手指节外骨末端的指环外骨架9。图5、6中仅画出一根手指外骨架。

这里，手指外骨架由多个圆环体构成，并且每根手指外骨架的圆环体沿着一条直线首尾相连。圆环体可采用具有一定延展性的材料如石墨烯氧化物、植物纤维等制成，因此能够调节松紧程度。

力反馈执行装置包括电机控制芯片14、第二驱动电机6、手指头固定环、可容纳牵拉绳的导轨7、牵拉绳8，第二驱动电机和电机控制芯片均安装在主手外骨架上，如本实施例第二驱动电机、电机控制芯片是上下堆叠在主手外骨架上。电机控制芯片通过有线方式连接第二驱动电机，进而控制第二驱动电机的工作状态。

手指头固定环10固定在各个指环外骨架上，导轨设置在各个手指节外骨架上，每个手指外骨架对应一条牵拉绳，牵拉绳一端连接至第二驱动电机，另一端穿过导轨并连接至手指头固定环。这里，每个手指节外骨架上的导轨可设置多段，且每段导轨可通过导轨固定台12稳定地安装在手指节外骨架上，手指头固定环的高度与导轨的高度也能基本齐平，牵拉绳能水平拉伸。

电机控制芯片通过无线方式连接信号处理单元，电机控制芯片所产生的针对第二驱动电机的控制信号由信号处理单元决定，信号处理单元可以根据每根机械手指的力传感器所接收到的力信号大小，适当调整控制信号，第二驱动电机进而可以根据控制信号来拉动牵拉绳，实现牵制手指外骨架，使力反馈执行装置对用户的手产生实际的阻力。

信号处理单元作为一个可以接收和发送信号，并具备一定的计算能力的控制设备，在机械手指力信号小于设定阈值(也即是力信号较小/不明显，说明机械手单元仅是在做手部动作如机械手指弯曲、伸展)的情况下，其主要用于根据用户手臂表面肌电信号来识别出用户手部动作，并根据所识别的用户手部动作，基于预设的逻辑来生成相应的控制信号给机械手单元，机械手单元根据该控制信号使机械手指完成相应动作。

这里，信号处理单元中已预先存储有神经网络分类器，该神经网络分类器可通过各种手部动作的肌电信号数据集提前训练好，因此可以通过该训练好的神经网络分类器来对肌电信号传感器采集到的表面肌电信号进行用户手部动作分类，信号处理单元即可根据分类结果生成相应的控制信号给机械手单元。

在机械手指力信号不小于设定阈值(也即是力信号较大/明显，说明机械手指已经跟外部环境、对象进行了接触和交互如抓取到目标物体)的情况下，信号处理单元主要用于控制力反馈单元对用户的手产生对应的阻力来作为反馈，以提供力反馈临场感，以及根据用户手臂表面肌电信号来控制机械手单元输出相应的作用力。

上述辅助机械手系统的使用方法如图7所示，具体如下：

(1)用户将机械手单元和肌电信号传感器佩戴在手臂上，将力传感器安装在机械手单元的机械手指上，用户手穿戴上力反馈单元，随后用户根据自己的实际工作需求，手部做相应的运动；

此时肌电信号传感器由于用户手臂的肌肉活动变化，会接收到相应的表面肌电信号，肌电信号传感器将表面肌电信号实时发送给信号处理单元，以便信号处理单元确定用户的操作意图和手部运动所产生的肌肉激活程度；力传感器实时监测机械手指是否产生作用力，并将采集到的力信号发送给信号处理单元；

(2)信号处理单元接收到两个传感器的信号后，先判断是否接收到明显的力信号，再判断是否有肌电信号变化；

若信号处理单元接收到的力信号小于设定阈值时，则说明力信号不明显，此时机械手单元进入位置控制阶段(机械手指还未跟外部环境、对象进行接触和交互)，机械手单元根据表面肌电信号来识别用户当前的手部动作(如张开手掌、握拳、食指和拇指扭取、握拳基础上伸出食指等)，并根据所识别的用户手部动作来控制机械手指做相应的动作。

若信号处理单元接收到力信号不小于设定阈值，则说明力信号明显，此时辅助机械手控制系统进入力控制阶段(机械手指已经跟外部环境、对象进行了接触和交互)，机械手单元将不再根据表面肌电信号的分类结果控制机械手指的动作，而是生成对应的控制信号给力反馈单元，使力反馈单元对人手产生相应阻力作为反馈，还有根据表面肌电信号的强度输出相应的作用力。

以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (10)

1.一种基于多传感器和力反馈的辅助机械手系统，其特征在于，包括可佩戴在用户手臂上的机械手单元、可穿戴在用户手上的力反馈单元、传感器单元和分别连接机械手单元、力反馈单元、传感器单元的信号处理单元；

其中，传感器单元包括肌电信号传感器和力传感器，肌电信号传感器佩戴在用户手臂上，用于采集用户手臂的表面肌电信号并发送给信号处理单元；力传感器安装在机械手单元的机械手指上，用于采集机械手指在与外部环境、对象交互时所产生的力信号并发送给信号处理单元；

信号处理单元用于在机械手指力信号小于设定阈值的情况下，根据用户手臂表面肌电信号来识别出用户手部动作，并根据所识别的用户手部动作来控制机械手指完成相应动作；用于在机械手指力信号不小于设定阈值的情况下，控制力反馈单元对用户的手产生对应的阻力来作为反馈，以提供力反馈临场感，以及根据用户手臂表面肌电信号的强度来控制机械手单元输出相应的作用力。

2.根据权利要求1所述的辅助机械手系统，其特征在于，肌电信号传感器、力反馈单元分别通过无线方式与信号处理单元相连接；力传感器通过有线方式与信号处理单元相连接，信号处理单元通过有线方式与机械手单元中用于驱动机械手指运动的第一驱动电机相连接，有线连接所用的线缆和第一驱动电机均安装在机械手单元内。

3.根据权利要求1所述的辅助机械手系统，其特征在于，机械手单元包括相连接的手臂结构和手部执行结构，手臂结构设有可供用户佩戴的第一手臂固定件和第二手臂固定件，机械手单元通过第一手臂固定件和第二手臂固定件固定在用户手臂上；

信号处理单元安装在手臂结构内，佩戴在用户手臂上的肌电信号传感器夹在用户手臂和第一手臂固定件之间，或用户手臂和第二手臂固定件之间。

4.根据权利要求3所述的辅助机械手系统，其特征在于，第一手臂固定件通过转轴连接在手臂结构上，同时通过连杆连接第二手臂固定件以使第二手臂固定件位于手臂结构处。

5.根据权利要求1所述的辅助机械手系统，其特征在于，力反馈单元包括外骨架结构和力反馈执行装置；外骨架结构用于供用户的手套入，包括主手外骨架和连接主手外骨架的五个手指外骨架，主手外骨架与用户手掌相对应，手指外骨架与用户手指相对应，手指外骨架进一步分为手指节外骨架和位于手指节外骨末端的指环外骨架；

力反馈执行装置用于对用户的手产生实际的阻力，力反馈执行装置包括电机控制芯片、第二驱动电机、手指头固定环、可容纳牵拉绳的导轨、牵拉绳，第二驱动电机和电机控制芯片均安装在主手外骨架上，电机控制芯片连接并控制第二驱动电机，同时通过无线方式连接至信号处理单元；

手指头固定环固定在各个指环外骨架上，导轨设置在各个手指节外骨架上，每个手指外骨架对应一条牵拉绳，牵拉绳一端连接至第二驱动电机，另一端穿过导轨并连接至手指头固定环。

6.根据权利要求5所述的辅助机械手系统，其特征在于，手指外骨架由可调节松紧程度的多个圆环体构成，并且这些圆环体沿着一条直线首尾相连。

7.根据权利要求1所述的辅助机械手系统，其特征在于，肌电信号传感器的数量为多个并共同组成一臂环，手臂肌电信号的采集区由多个肌电信号传感器分为多个通道。

8.根据权利要求1所述的辅助机械手系统，其特征在于，力传感器采用薄膜型压力传感器，力传感器分布在机械手单元每根机械手指的末端处和掌指关节处。

9.根据权利要求1所述的辅助机械手系统，其特征在于，信号处理单元中存储有训练好的神经网络分类器，信号处理单元通过该神经网络分类器对肌电信号传感器采集到的表面肌电信号进行用户手部动作分类，并根据分类结果生成相应的控制信号给机械手单元。

10.一种如权利要求1～9中任一项所述的基于多传感器和力反馈的辅助机械手系统的使用方法，其特征在于，包括如下步骤：

用户将机械手单元和肌电信号传感器佩戴在手臂上，将力传感器安装在机械手单元的机械手指上，用户手穿戴上力反馈单元，随后用户根据自己的实际工作需求，手部做相应的运动；

此时肌电信号传感器实时监测用户手臂肌肉的活动变化，采集相应的表面肌电信号，并发送给信号处理单元；力传感器实时监测机械手指是否产生作用力，并将采集到的力信号发送给信号处理单元；

信号处理单元接收到两个传感器的信号后，先判断是否接收到明显的力信号，再判断是否有肌电信号变化；

若信号处理单元接收到的力信号小于设定阈值时，则说明力信号不明显，此时机械手单元进入位置控制阶段，机械手单元根据表面肌电信号来识别用户当前的手部动作，并根据所识别的用户手部动作来控制机械手指做相应的动作；其中，用户手部动作包括张开手掌、握拳、食指和拇指扭取、握拳基础上伸出食指；

若信号处理单元接收到力信号不小于设定阈值，则说明力信号明显，此时辅助机械手控制系统进入力控制阶段，机械手单元生成对应的控制信号给力反馈单元，使力反馈单元对人手产生相应阻力作为反馈，还有根据表面肌电信号的强度输出相应的作用力。