CN106695736A - 基于多传感器融合的手势识别仿人机械手系统及同步方法 - Google Patents

基于多传感器融合的手势识别仿人机械手系统及同步方法 Download PDF

Info

Publication number
CN106695736A
CN106695736A CN201611252361.0A CN201611252361A CN106695736A CN 106695736 A CN106695736 A CN 106695736A CN 201611252361 A CN201611252361 A CN 201611252361A CN 106695736 A CN106695736 A CN 106695736A
Authority
CN
China
Prior art keywords
finger
manipulator
sensor
value
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611252361.0A
Other languages
English (en)
Inventor
高金凤
陈凯
王福能
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Publication of CN106695736A publication Critical patent/CN106695736A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423Input/output

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于多传感器融合的手势识别仿人机械手系统及同步方法,涉及手势识别领域。通过采集装置中的第一传感器采集到人体手指的运动状态,并将该运动状态传递给机械手,机械手接收到人体手指的运动状态信息后通过舵机控制机械手手指做出相应手势运动,从而实现了机械手手指运动与人体手指运动的同步性。本发明通过传感器直接采集人体手指的运动状态,替代了现有技术中通过摄像头采集图像进行手势识别,从而解决了因图像处理技术要求较高,不利于后期维护和修改,容易产生误判及漏判,以及价格昂贵等问题。

Description

基于多传感器融合的手势识别仿人机械手系统及同步方法
技术领域
本发明涉及手势识别领域,尤其涉及的是一种能够同步识别人体手势识别基于多传感器融合的手势识别仿人机械手系统,同时还提供了一种人体手势与机械手之间的同步方法。
背景技术
随着现代工业的发展,机械手早已被广泛地应用于工业生产来代替一些重复性的劳动。仿人机械手由于具有多自由度、灵活性强等优点,已经被广泛应用到各种生活生产领域,可代替人类完成危险、复杂的工作。多传感器信息融合技术在解决检测、跟踪等问题方面,能够增强系统生存能力,提高整个系统的可靠性并能够增强数据的可信度,提高精度。正是基于多传感器融合的优势,将多传感器融合技术运用于手势识别中,能够提高现今对手势识别判断精度,从而实现更精确地识别手势。目前手势识别控制机械手一般采用的方法有:采用基于人工神经网络的数据手套来识别手势信息,还原手部动作;采用通过摄像头等视觉传感器采集手势图像,用计算机对手势图像进行分割处理得到手势信息,并以此控制机械手。这些方法来识别手势并控制机械手,主要存在一下问题:1)由摄像头采集图像进行手势识别,对图像处理技术要求也较高,不利于后期维护和修改;2)摄像头拍摄受环境影响较大,图像会产生噪声,容易产生误判及漏判,3)目前手势检测的传感器价格较为昂贵,在工业和民用领域难以得到推广。
发明内容
为了解决现有技术所存在的问题,本发明提供了一种能够同步识别人体手势的基于多传感器融合的手势识别仿人机械手系统,该系统通过传感器对人体手指运动状态进行采集,并将采集的信息发送给机械手,通过机械手本体内部所设置的控制电路控制机械手手指进行与所采集到的人体手指相同的运动,从而实现手势同步。该系统不采用摄像头采集图像进行手势识别,从而解决因图像处理技术要求也较高,不利于后期维护和修改,容易产生误判及漏判,以及价格昂贵等问题。
本发明的目的是通过以下技术方案来实现:
基于多传感器融合的手势识别仿人机械手系统,包括用于采集人体手指运动状态的采集装置和机械手,其中,采集装置包括:集成有第一三轴加速度计和第一陀螺仪的第一传感器、第一单片机及第一无线通信模板,所述第一三轴加速度计的输出和所述第一陀螺仪的输出分别连接至所述第一单片机的两个输入,所述第一单片机的一路输出端连接至所述第一通信模块的输入;
机械手包括机械手本体和设置在机械手本体上的控制电路,所述的控制电路包括第二通信模块、第二单片机及舵机,所述第二通信模块的输出连接至所述第二单片机的一路输入,所述第二单片机的一路输出连接至所述舵机的控制端,所述舵机与机械手手指连接控制其运动状态;
所述第一通信模块的输出连接至所述第二通信模块的输入。
以上技术方案通过采集装置中的第一传感器采集到人体手指的运动状态,并将该运动状态传递给机械手,机械手接收到人体手指的运动状态信息后通过舵机控制机械手手指做出相应手势运动,从而实现了机械手手指运动与人体手指运动的同步性。本发明通过传感器直接采集人体手指的运动状态,替代了现有技术中通过摄像头采集图像进行手势识别,从而解决了因图像处理技术要求较高,不利于后期维护和修改,容易产生误判及漏判,以及价格昂贵等问题。
为了本系统中的机械手能够准确的进行手势模仿,在此所作的改进是在以上技术方案控制电路的基础上增加一第二传感器,其集成有第二三轴加速度计及第二陀螺仪,所述第二传感器设置机械手手指上,所述第二三轴加速度计的输出和所述第二陀螺仪的输出分别连接至所述第二单片的两个输入。通过第二传感器能够对机械手手指的运动状态进行采集,通过采集到的机械手手指运动状态对机械手手指运动状态进行修复,从而提高了机械手手指手势模仿的精准度。
为了能够准确的采集到机械手手指的运动状态,在此所作的改进是将所述第二传感器的数量设计为机械手手指的两倍,其中一个第二传感器与机械手拇指位置相对应,另一个第二传感器与机械手拇短展肌位置相对应,其余第二传感器分别均匀的与剩余的机械手手指位置相对应。
为了能够使本系统能够准确的采集到人体手指的运动状态,在此所作的改进是将所述第一传感器的数量设计为人体手指的两倍,其中一个第一传感器与人体拇指位置相对应,另一个第一传感器与人体拇短展肌部位相对应,其余第一传感器分别均匀的与剩余的手指位置相对应。从而进一步地提高了本系统手势识别和同步模仿的准确性。
为了能够使机械手手指活动更为灵活,在此所作的改进是所述舵机的数量与机械手手指的数量相同。通过独立的舵机控制相应的机械手手指运动,使得机械手手指运动更为灵活,手势同步性更强。
进一步地,所述第一通信模块的输出与所述第二通信模块的输入之间为无线通信连接。消除了传输数据线的限制。
进一步地,还包括电机驱动模块,所述第二单片机的输出通过所述电机驱动模块连接至所述舵机的控制端。从而增强了本发明的驱动能力,解决了因现有一些单片机驱动能力不足而无法驱动舵机工作的问题。
在此,本发明还提供了一种基于多传感器融合的手势识别仿人机械手系统的同步方法,其具体步骤为:
S1:通过与人体手指接触的第一传感器采集人体每根手指运动状态,得到每根手指的初始控制信号;
S2:初始控制信号输入第一单片机,第一单片机对接收到的信号进行去噪处理,得每根手指的控制信号;
S3:第一单片机将控制信号通过第一通信模块发送至第二通信模块;
S4:第二通信模块将接收到的控制信号输入第二单片机,第二单片机对接收到的控制信号进行处理,第二单片机将处理后的控制信号进行存储,作为目标指,并输出相应舵机控制信号控制舵机动作;
S5:舵机根据接收到的舵机控制信号控制机械手手指实现与人体手指相同的运动。
具体的,所提供的同步方法还包括机械手手指运动修正步骤,具体为:
S51:通过与机械手手指接触的第二传感器集机械手手指运动状态,得到反馈信号,并输入第二单片机;
S52:第二单片机对接收到的反馈信号进行去噪处理,得到反馈值;
S53:第二单片机将目标值与反馈值进行作差,得到当前误差信号;
S54:对当前误差信号进行放大,用当前误差信号与前一次误差信号作差,得修正误差;
S55:对修正误差进行微分;
S56:将前一次舵机的输出值加上放大后的当前误差再加上微分后的修正误差,获得修正值;
S57:第二单片机将修正值输出至舵机,舵机根据接收到的修正值对机械手手指的运动状态进行修正;
S58:重复步骤S51-S57,直至目标值与反馈值之差为零,停止修正。
使得机械手能够更为准确地同步人体手指运动。
具体地,所述每根手指的初始控制信号和/或反馈信号是通过与手指接触的传感器采集手指中节指骨处、手指远节指骨处以及手指近节指骨处的运动状态完成一根手指运动状态的识别,其中,手指中节指骨处和手指远节指骨处的运动状态通过角θ表现,当手指为静止时,角度为θ1,θ1通过以下算法获得:
式(1)中Az、Ax、Ay分别为加速度计所测得的加速度A在x轴、y轴及z轴上的分量;
当手指动作时,角度为θ2,θ2通过以下算法获得:
θ2=θ1+W·dt (2)
式(2)中W为陀螺仪所测得的当前角速度,dt为陀螺仪的采集时间;
手指近节指骨处的运动状态通过俯仰角Pitch和航向角Yaw表现,其中俯仰角Pitch通过以下算法获得:
Pitch=arcsin(-2*q1n*q3n+2*q0n*q2n) (3)
航向角Yaw通过以下算法获得:
Yaw=atan2(2*(q1n*q2n+q0n*q3n),(q0n*q0n+q1n*q1n-q2n*q2n-q3n*q3n))*57.3 (4)
式(3)、(4)中,q0n、q1n、q2n及q3n为当前四元素,q0n、q1n、q2n及q3n分别通过以下算法获得:
q0n=q0n-1+(-q1n-1*Gyro_x-q2n-1*Gyro_y-q3n-1*Gyro_z)*halfT (5)
q1n=q1n-1+(q0n-1*Gryo_x+q2n-1*Gryo_z-q3n-1*Gryo_y)*halfT (6)
q2n=q2n-1+(q0n-1*Gyro_y-q1n-1*Gyro_z+q3n-1*Gyro_x)*halfT (7)
q3n=q3n-1+(q0n-1*Gryo_z+q1n-1*Gryo_y-q2n-1*Gryo_x)*halfT (8)
其中:halfT是二分之一的姿态解算时间,其取值范围为0.5毫秒~1.5毫秒;
Gyro_x、Gyro_y及Gyro_z为陀螺仪在x轴、y轴及z轴上的角速度;
q0n-1、q1n-1、q2n-1及q3n-1为前一次状态的四元素,其初始值分别为1、0、0、0;
所述修正值通过如下算法获得:
Motor_Out=(Motor_Last+P*(CurError)+D*(CurError-LastError)) (9)
其中:Motor_Out为修正值;
Motor_Last为舵机前一次输出控制机械手手指动作的输出值;
P比例系数,其取值范围为0.2~1;
CurError为当前误差值,其值等于目标值与当前反馈值之间的差值;
D为微分系数,其取值范围为1~1.5;
LastError为前一次误差值,其值等于目标值与前一次反馈值之间的差值,其初始值为0。
与现有技术相比,本发明的有益效果是实现了手势识别的同步性,且手势识别能力强。
附图说明
图1为本发明的原理框图;
图2为本发明所记载的机械手结构示意图;
图3为本发明所记载的第一传感器位置与人体手指相对应的结构示意图;
图中:1-机械手本体,2-舵机,3-机械手手指,4-第二传感器,5-容置槽,6-手套,7-拇短展肌部位,8-拇指套,9第一传感器。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
【实施例一】
如图1所示,本发明提供了一种实现了同步识别手势的仿人机械手系统,该系统基于多传感器融合,通过传感器采集人体手指的运动状态,从而使机械手手指进行相应地运动状态,既实现了手势识别,又实现了同步。该系统包括了用于采集人体手指运动状态的采集装置和机械手,其中,采集装置包括:集成有第一三轴加速度计和第二陀螺仪的第一传感器、第一单片机、第一通信模板、第一电源模块和第一降压模块,其中第一三轴加速度计及第一陀螺仪用于采集人体手指的运动状态(弯曲、伸直、手掌张开、握拳、及手指前后活动等);第一单片机用于接收和传递由第一传感器采集到的人体手指运动状态信息;第一通信模块用于将人体手指运动状态信息传递至机械手;第一电源模块通过第一降压模块降压后为第一单片机提供工作电源。
其相互之间的连接关系为:所述第一三轴加速度计的输出和所述第一陀螺仪的输出分别连接至所述第一单片机的两个输入,所述第一单片机的一路输出端连接至所述第一通信模块的输入,第一电源模块的输出通过第一降压模块连接至第一单片机的电源端。
所记载的机械手包括机械手本体1和设置在机械手本体上的用于控制机械手手指3与人体手指同步运动的控制电路,所述的控制电路包括用于接收由第一通信模块传递的人体手指运动状态信息的第二通信模块、用于处理、存储和传递人体手指运动状态信息的第二单片机、用于控制机械手手指运动的舵机2、用于向第二单片机及舵机2提供工作电压的第二电源模块和用于降压的第二降压模块;
其相互之间的连接关系为:所述第二通信模块的输出连接至所述第二单片机的一路输入,所述第二单片机的一路输出连接至所述舵机的控制端,所述舵机与机械手手指连接控制其运动状态,所述第二电源模块的一路输出通过第二降压模块连接至第二单片机的电源端,第二电源模块的另一路输出连接至舵机的电源端;
所述第一通信模块的输出连接至所述第二通信模块的输入。
工作原理为:采集装置通过对人体手指的运动状态进行采集,采集得到的人体手指的运动状态信息经第一单片机后通过第一通信模块传递至第二通信模块,输入至第二单片机,第二单片机对接收到的人体手指的运动状态信息进行处理,并储存此时的人体手指的运动状态信息,即当前人体手指的运动状态信息,第二单片机根据当前人体手指的运动状态信息输出高低电平控制舵机工作,舵机从而控制机械手手指实现与当前人体手指运动相同的运动,实现对人体手指运动状态的识别及同步。
【实施例二】
本实施例在实施例一的基础上,在控制电路部分增加集成有第二三轴加速度计及第二陀螺仪的第二传感器4,所述第二传感器4设置机械手手指上,所述第二三轴加速度计的输出和所述第二陀螺仪的输出分别连接至所述第二单片的两个输入。其中第二三轴加速度计及第二陀螺仪用于采集机械手手指的运动状态,并将采集到的运动状态信息传递给第二单片机。本实施例的工作原理与实施例一的工作原理相同,但本实施例能够对机械手手指动作进行修复,具体原理为:机械手手指上的第二传感器返回机械手手指的运动状态给第二单片机,是一个反馈量,目标值是第二单片机接收到的人手的数据,目标值与反馈值产生误差信号,通过将误差放大及预测误差的变化,从而快速修正误差,通过改变舵机的输出来改变机械手状态,使得机械手的仿人手势更为精准。
【实施例三】
本实施例在实施例二的基础上,将所记载的第二传感器的数量设计为机械手手指数的两倍时,其中一个第二传感器4与机械手拇指位置相对应,另一个第二传感器4与机械手拇短展肌位置相对应,其余第二传感器分别均匀的与剩余的机械手手指3位置相对应。如图2所示,所记载的机械手手指可以采用平面六连杆机构,每根手指为一个自由度,除拇指外,其余手指上均均匀的分布有两个第二传感器4,保证了信息采集的准确性的同时,也节约了成本,减低了机械手的重量。当然,第二传感器的数量不限于为机械手手指的两倍,其数量是任意的,可以是与机械手手指数量相同,也可以多余机械手手指的数量。
【实施例四】
本实施例在实施例一、实施例二和/或实施例三的基础上,将所记载的第一传感器的数量设计为人体手指的两倍,当其数量为人体手指的两倍时,其中一个第一传感器与人体拇指位置相对应,另一个第一传感器与人体拇短展肌部位相对应,其余第一传感器分别均匀的与剩余的手指位置相对应。当然,第一传感器的数量可以是任意的,可以与人体手指个数相同,也可以多余或少于人体手指。
【实施例五】
本实施例在实施例一、实施例二、实施例三和/或实施例四的基础上,将所记载的舵机2数量设计为与所记载的机械手的手指数相同。当然,所记载的舵机数量可以是任意的,可以是一个,通过一个舵机控制机械手一只手所有手指的运动,可以是通过几个分别进行控制。
【实施例六】
本实施例在实施例一、实施例二、实施例三、实施例四和/或实施例五的基础上增设电机驱动模块,所述第二单片机的输出通过所述电机驱动模块连接至所述舵机的控制端,第二电源模块的输出连接至电机驱动模块为其提供工作电压。当舵机为多个时,电机驱动模块的输出分别与其控制端相连接。
【实施例七】
本实施例将实施例一、实施例二、实施例三、实施例四、实施例五和/或实施例六的基础上,将第一通信模块和第二通信模块设计为无线通信模块,从而解决了有线数据的约束。当然,第一通信模块和第二通信模块之间可以是有线通信模式。
实施例一、实施例二、实施例三、实施例四、实施例五、实施例六和/或实施例七中所记载的采集装置可以是能够与人体手指相接触能够采集到手指运动的任何装置,最为简单合理的为手套,当采集装置为手套6时,除拇指套8上仅为一个第一传感器9,剩余的手指套上分别设置有两个第一传感器9,检测手指各关节弯曲时不同的手指状态,而在拇短展肌部位7设置一个第一传感器9,如图3所示,该部位设置的第一传感器和设置在拇指套上的第一传感器共同作用实现了识别拇指的运动状态的采集。
本申请所记载的第一单片机、第一电源模块、第一通信模块及第一降压模块可以设置采集装置(手套)的任何位置,如手套6与人手手背相接触的一面的内壁或外壁上,也可是在内外壁的夹层之间;而所记载的第二单片机、第二电源模块、第二通信模块及第二降压模块可设置在机械手的任何位置,如可以设置在机械手手腕处,在机械手手腕处开设一容置槽5,用于放置第二单片机、第二电源模块、第二通信模块及第二降压模块。
本申请所记载的第一传感器和第二传感器可以采用六轴传感器,如MPU系列,测量精度高,体积小,将其设置在手套中穿戴方便舒适;舵机可以采用有堵转保护功能的舵机,如SD5系列舵机;第一单片机和第二单片机可以选择采用基于Cortex-M3核心的32位微控制器,处理速度较快,片内资源丰富,性价比较高;当第一通信模块和第二通信模块为无线通信模块时,可以采用nRF系列单片无线收发器模块,该系列模块信息传递量大;第一电源模块和第二电源模块可以采用锂电池。
在此,本发明还提供了一种基于多传感器融合的手势识别仿人机械手系统的同步方法,通过该同步方法能够实现人体手势与机械手手势达到同步,其具体步骤为:
S1:通过与人体手指接触的第一传感器采集人体每根手指运动状态,得到每根手指的初始控制信号;
S2:初始控制信号输入第一单片机,第一单片机对接收到的信号进行去噪处理,得每根手指的控制信号;
S3:第一单片机将控制信号通过第一通信模块发送至第二通信模块;
S4:第二通信模块将接收到的控制信号输入第二单片机,第二单片机对接收到的控制信号进行处理,第二单片机将处理后的控制信号进行存储,作为目标指,并输出相应舵机控制信号控制舵机动作;
S5:舵机根据接收到的舵机控制信号控制机械手手指实现与人体手指相同的运动。
具体的,所提供的同步方法还包括机械手手指运动修正步骤,具体为:
S51:通过与机械手手指接触的第二传感器集机械手手指运动状态,得到反馈信号,并输入第二单片机;
S52:第二单片机对接收到的反馈信号进行去噪处理,得到反馈值;
S53:第二单片机将目标值与反馈值进行作差,得到当前误差信号;
S54:对当前误差信号进行放大,用当前误差信号与前一次误差信号作差,得修正误差;
S55:对修正误差进行微分;
S56:将前一次舵机的输出值加上放大后的当前误差再加上微分后的修正误差,获得修正值;
S57:第二单片机将修正值输出至舵机,舵机根据接收到的修正值对机械手手指的运动状态进行修正;
S58:重复步骤S51-S57,直至目标值与反馈值之差为零,停止修正。
使得机械手能够更为准确地同步人体手指运动。
具体地,所述每根手指的初始控制信号和/或反馈信号是通过与手指接触的传感器采集手指中节指骨处、手指远节指骨处以及手指近节指骨处的运动状态完成一根手指运动状态的识别,其中,手指中节指骨处和手指远节指骨处的运动状态通过角θ表现,当手指为静止时,角度为θ1,θ1通过以下算法获得:
式(1)中Az、Ax、Ay分别为加速度计所测得的加速度A在x轴、y轴及z轴上的分量;
当手指动作时,角度为θ2,θ2通过以下算法获得:
θ2=θ1+W·dt (2)
式(2)中W为陀螺仪所测得的当前角速度,dt为陀螺仪的采集时间;
手指近节指骨处的运动状态通过俯仰角Pitch和航向角Yaw表现,其中俯仰角Pitch通过以下算法获得:
Pitch=arcsin(-2*q1n*q3n+2*q0n*q2n) (3)
航向角Yaw通过以下算法获得:
Yaw=atan2(2*(q1n*q2n+q0n*q3n),(q0n*q0n+q1n*q1n-q2n*q2n-q3n*q3n))*57.3(4)
式(3)、(4)中,atan2为一函数,其具体的基本意义是计算给定横坐标和纵坐标点的反正切值;
q0n、q1n、q2n及q3n为当前四元素;
q0n、q1n、q2n及q3n分别通过以下算法获得:
q0n=q0n-1+(-q1n-1*Gyro_x-q2n-1*Gyro_y-q3n-1*Gyro_z)*halfT (5)
q1n=q1n-1+(q0n-1*Gryo_x+q2n-1*Gryo_z-q3n-1*Gryo_y)*halfT (6)
q2n=q2n-1+(q0n-1*Gyro_y-q1n-1*Gyro_z+q3n-1*Gyro_x)*halfT (7)
q3n=q3n-1+(q0n-1*Gryo_z+q1n-1*Gryo_y-q2n-1*Gryo_x)*halfT (8)
其中:halfT是二分之一的姿态解算时间,其值可以取0.5毫秒、0.8毫秒、1毫秒、1.3毫秒或1.5毫秒;
Gyro_x、Gyro_y及Gyro_z为陀螺仪在x轴、y轴及z轴上的角速度;
q0n-1、q1n-1、q2n-1及q3n-1为前一次状态的四元素,其初始值分别为1、0、0、0;
所述修正值通过如下算法获得:
Motor_Out=(Motor_Last+P*(CurError)+D*(CurError-LastError)) (9)
其中:Motor_Out为修正值,其范围为1750~1950,能够防止因修正值过大导致导致舵机的转动角度超过固定值,造成舵机损坏;
Motor_Last为舵机前一次输出控制机械手手指动作的输出值;
P比例系数,其值可以取0.2、0.5或1;
CurError为当前误差值,其值等于目标值与当前反馈值之间的差值;
D为微分系数,其值可以取1、1.25或1.5;
LastError为前一次误差值,其值等于目标值与前一次反馈值之间的差值,其初始值为0。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.基于多传感器融合的手势识别仿人机械手系统,其特征在于:包括用于采集人体手指运动状态的采集装置和机械手,其中,采集装置包括:集成有第一三轴加速度计和第一陀螺仪的第一传感器、第一单片机及第一通信模板,所述第一三轴加速度计的输出和所述第一陀螺仪的输出分别连接至所述第一单片机的两个输入,所述第一单片机的一路输出端连接至所述第一通信模块的输入;
机械手包括机械手本体和设置在机械手本体上的控制电路,所述的控制电路包括第二通信模块、第二单片机及舵机,所述第二通信模块的输出连接至所述第二单片机的一路输入,所述第二单片机的一路输出连接至所述舵机的控制端,所述舵机的输出与机械手手指连接控制其运动状态;
所述第一通信模块的输出连接至所述第二通信模块的输入。
2.根据权利要求1所述的基于多传感器融合的手势识别仿人机械手系统,其特征在于:所述控制电路还包括集成有第二三轴加速度计及第二陀螺仪的第二传感器,所述第二传感器设置机械手手指上,所述第二三轴加速度计的输出和所述第二陀螺仪的输出分别连接至所述第二单片的两个输入。
3.根据权利要求2所述的基于多传感器融合的手势识别仿人机械手系统,其特征在于:所述第二传感器的数量为机械手手指的两倍,其中一个第二传感器与机械手拇指位置相对应,另一个第二传感器与机械手拇短展肌位置相对应,其余第二传感器分别均匀的与剩余的机械手手指位置相对应。
4.根据权利要求1或2或3所述的基于多传感器融合的手势识别仿人机械手系统,其特征在于:所述第一传感器的数量为人体手指的两倍,其中一个第一传感器与人体拇指位置相对应,另一个第一传感器与人体拇短展肌部位相对应,其余第一传感器分别均匀的与剩余的手指位置相对应。
5.根据权利要求1或2或3或4所述的基于多传感器融合的手势识别仿人机械手系统,其特征在于:所述舵机的数量与机械手手指的数量相同。
6.根据权利要求1或2或3或4或5所述的基于多传感器融合的手势识别仿人机械手系统,其特征在于:所述第一通信模块的输出与所述第二通信模块的输入之间为无线通信连接。
7.根据权利要求1或2或3或4或5或6所述的基于多传感器融合的手势识别仿人机械手系统,其特征在于:还包括电机驱动模块,所述第二单片机的输出通过所述电机驱动模块连接至所述舵机的控制端。
8.一种基于多传感器融合的手势识别仿人机械手系统的同步方法,其特征在于:其具体步骤为:
S1:通过与人体手指接触的第一传感器采集人体每根手指运动状态,得到每根手指的初始控制信号;
S2:初始控制信号输入第一单片机,第一单片机对接收到的信号进行去噪处理,得每根手指的控制信号;
S3:第一单片机将控制信号通过第一通信模块发送至第二通信模块;
S4:第二通信模块将接收到的控制信号输入第二单片机,第二单片机对接收到的控制信号进行处理,第二单片机将处理后的控制信号进行存储,作为目标指,并输出相应舵机控制信号控制舵机动作;
S5:舵机根据接收到的舵机控制信号控制机械手手指实现与人体手指相同的运动。
9.根据权利要求8所述的同步方法,其特征在于:还包括机械手手指运动修正步骤,具体为:
S51:通过与机械手手指接触的第二传感器集机械手手指运动状态,得到反馈信号,并输入第二单片机;
S52:第二单片机对接收到的反馈信号进行去噪处理,得到反馈值;
S53:第二单片机将目标值与反馈值进行作差,得到当前误差信号;
S54:对当前误差信号进行放大,用当前误差信号与前一次误差信号作差,得修正误差;
S55:对修正误差进行微分;
S56:将前一次舵机的输出值加上放大后的当前误差再加上微分后的修正误差,获得修正值;
S57:第二单片机将修正值输出至舵机,舵机根据接收到的修正值对机械手手指的运动状态进行修正;
S58:重复步骤S51-S57,直至目标值与反馈值之差为零,停止修正。
10.根据权利要求8或9所述的同步方法,其特征在于:所述每根手指的初始控制信号和/或反馈信号是通过与手指接触的传感器采集手指中节指骨处、手指远节指骨处以及手指近节指骨处的运动状态完成一根手指运动状态的识别,其中,手指中节指骨处和手指远节指骨处的运动状态通过角θ表现,当手指为静止时,角度为θ1,θ1通过以下算法获得:
θ 1 = a r c t a n A z Az 2 + Ay 2 - - - ( 1 )
式(1)中Az、Ay分别为加速度计所测得的加速度A在x轴、y轴及z轴上的分量;
当手指动作时,角度为θ2,θ2通过以下算法获得:
θ2=θ1+W·dt (2)
式(2)中W为陀螺仪所测得的当前角速度,dt为陀螺仪的采集时间;
手指近节指骨处的运动状态通过俯仰角Pitch和航向角Yaw表现,其中俯仰角Pitch通过以下算法获得:
Pitch=arcsin(-2*q1n*q3n+2*q0n*q2n) (3)
航向角Yaw通过以下算法获得:
Yaw=atan2(2*(q1n*q2n+q0n*q3n),(q0n*q0n+q1n*q1n-q2n*q2n-q3n*q3n))*57.3 (4)
式(3)、(4)中,q0n、q1n、q2n及q3n为当前四元素,q0n、q1n、q2n及q3n分别通过以下算法获得:
q0n=q0n-1+(-q1n-1*Gyro_x-q2n-1*Gyro_y-q3n-1*Gyro_z)*halfT (5)
q1n=q1n-1+(q0n-1*Gryo_x+q2n-1*Gryo_z-q3n-1*Gryo_y)*halfT (6)
q2n=q2n-1+(q0n-1*Gyro_y-q1n-1*Gyro_z+q3n-1*Gyro_x)*halfT (7)
q3n=q3n-1+(q0n-1*Gryo_z+q1n-1*Gryo_y-q2n-1*Gryo_x)*halfT (8)
其中:halfT是二分之一的姿态解算时间,其取值范围为0.5毫秒~1.5毫秒;
Gyro_x、Gyro_y及Gyro_z为陀螺仪在x轴、y轴及z轴上的角速度;
q0n-1、q1n-1、q2n-1及q3n-1为前一次状态的四元素,其初始值分别为1、0、0、0;所述修正值通过如下算法获得:
Motor_Out(Motor_Last+P*(CurError)+D*(CurError-LastError)) (9)
其中:Motor_Out为修正值;
Motor_Last为舵机前一次输出控制机械手手指动作的输出值;
P比例系数,其取值范围为0.2~1;
CurError为当前误差值,其值等于目标值与当前反馈值之间的差值;
D为微分系数,其取值范围为1~1.5;
LastError为前一次误差值,其值等于目标值与前一次反馈值之间的差值,其初始值为0。
CN201611252361.0A 2016-07-04 2016-12-30 基于多传感器融合的手势识别仿人机械手系统及同步方法 Pending CN106695736A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610533718 2016-07-04
CN2016105337186 2016-07-04

Publications (1)

Publication Number Publication Date
CN106695736A true CN106695736A (zh) 2017-05-24

Family

ID=58904094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611252361.0A Pending CN106695736A (zh) 2016-07-04 2016-12-30 基于多传感器融合的手势识别仿人机械手系统及同步方法

Country Status (1)

Country Link
CN (1) CN106695736A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109514521A (zh) * 2018-12-18 2019-03-26 合肥工业大学 基于多信息融合的人手协同灵巧手的伺服操作系统及其方法
CN111616803A (zh) * 2019-12-17 2020-09-04 柯惠Lp公司 具有用户接合监视的机器人手术系统
CN111870249A (zh) * 2020-06-11 2020-11-03 华东理工大学 一种基于微惯性传感器的人体姿态追踪系统及其使用方法
CN115042187A (zh) * 2022-07-19 2022-09-13 重庆工商大学 基于mpu6050的虚拟现实机械臂控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120362A1 (en) * 2001-02-27 2002-08-29 Corinna E. Lathan Robotic apparatus and wireless communication system
WO2010120403A2 (en) * 2009-04-13 2010-10-21 Deka Products Limited Partnership System, method and apparatus for control of a prosthetic device
CN103175502A (zh) * 2013-02-07 2013-06-26 广州畅途软件有限公司 一种基于数据手套低速运动的姿态角检测方法
CN103335652A (zh) * 2013-06-24 2013-10-02 陕西科技大学 一种机器人的餐厅路径导航系统及导航方法
CN103895022A (zh) * 2014-03-17 2014-07-02 东南大学 穿戴式体感控制机械手
CN204009751U (zh) * 2014-08-04 2014-12-10 南京信息工程大学 手势识别装置
CN105159196A (zh) * 2015-08-20 2015-12-16 宁波大红鹰学院 一种机械手无线控制装置
CN205323219U (zh) * 2016-01-07 2016-06-22 广州大学 一种脑电波控制的坦克游戏机器人
CN206048251U (zh) * 2016-07-04 2017-03-29 浙江理工大学 基于多传感器融合的手势识别仿人机械手系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120362A1 (en) * 2001-02-27 2002-08-29 Corinna E. Lathan Robotic apparatus and wireless communication system
WO2010120403A2 (en) * 2009-04-13 2010-10-21 Deka Products Limited Partnership System, method and apparatus for control of a prosthetic device
CN103175502A (zh) * 2013-02-07 2013-06-26 广州畅途软件有限公司 一种基于数据手套低速运动的姿态角检测方法
CN103335652A (zh) * 2013-06-24 2013-10-02 陕西科技大学 一种机器人的餐厅路径导航系统及导航方法
CN103895022A (zh) * 2014-03-17 2014-07-02 东南大学 穿戴式体感控制机械手
CN204009751U (zh) * 2014-08-04 2014-12-10 南京信息工程大学 手势识别装置
CN105159196A (zh) * 2015-08-20 2015-12-16 宁波大红鹰学院 一种机械手无线控制装置
CN205323219U (zh) * 2016-01-07 2016-06-22 广州大学 一种脑电波控制的坦克游戏机器人
CN206048251U (zh) * 2016-07-04 2017-03-29 浙江理工大学 基于多传感器融合的手势识别仿人机械手系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘春阳等: "MPU9250传感器的姿态检测与数据融合", 《河南科技大学学报:自然科学版》 *
董荔宁: "基于ARM的自主水下航行器舵机控制系统的设计", 《中国优秀硕士学位论文全文数据库(硕士) 工程科技II辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109514521A (zh) * 2018-12-18 2019-03-26 合肥工业大学 基于多信息融合的人手协同灵巧手的伺服操作系统及其方法
CN111616803A (zh) * 2019-12-17 2020-09-04 柯惠Lp公司 具有用户接合监视的机器人手术系统
CN111616803B (zh) * 2019-12-17 2023-08-15 柯惠Lp公司 具有用户接合监视的机器人手术系统
CN111870249A (zh) * 2020-06-11 2020-11-03 华东理工大学 一种基于微惯性传感器的人体姿态追踪系统及其使用方法
CN115042187A (zh) * 2022-07-19 2022-09-13 重庆工商大学 基于mpu6050的虚拟现实机械臂控制方法

Similar Documents

Publication Publication Date Title
CN206048251U (zh) 基于多传感器融合的手势识别仿人机械手系统
CN104965516B (zh) 一种基于视觉和力反馈的四旋翼飞行器进行空中抓取作业的控制方法
CN106695736A (zh) 基于多传感器融合的手势识别仿人机械手系统及同步方法
CN104898828B (zh) 应用体感交互系统的体感交互方法
CN103128729B (zh) 机器人装置和控制该机器人装置的方法
CN109848983A (zh) 一种高顺应性人引导机器人协同作业的方法
CN106527738A (zh) 一种用于虚拟现实系统的多信息体感交互手套系统及方法
CN103895022A (zh) 穿戴式体感控制机械手
CN206883638U (zh) 机器人控制系统以及机器人
CN106326881B (zh) 用于实现人机交互的手势识别方法和手势识别设备
CN106293103B (zh) 基于惯性传感器的四轴飞行器手势控制装置和控制方法
CN112247962B (zh) 面向上肢穿戴机器人的人机博弈控制方法及系统
CN108279773B (zh) 一种基于marg传感器和磁场定位技术的数据手套
CN111645093B (zh) 一种用于遥操作的力觉反馈数据手套
CN107121256A (zh) 一种连续在轨运动的六自由度捕获轨迹试验方法
CN109590987A (zh) 半智能示教学习方法、智能机器人和存储介质
Chen et al. Intelligent computational control of multi-fingered dexterous robotic hand
CN204725501U (zh) 体感机械臂舒适度检测装置
CN110142764B (zh) 力矩姿态无线传感器的数据融合处理系统及处理方法
CN112057083B (zh) 可穿戴人体上肢位姿采集设备及采集方法
CN106512391A (zh) 一种双手手势识别方法及基于其的模拟驾驶系统、方法
CN105260029A (zh) 基于人手运动功能复现的仿人手结构实现方法
CN115252369A (zh) 一种基于下肢外骨骼机器人的按需辅助控制方法
CN217195344U (zh) 一款基于北斗定位系统的手势识别控制的机械臂机器人
CN206270980U (zh) 一种用于手势识别的动作捕捉手套

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170524