CN209207525U - 基于多模态信息融合的轮椅机械手系统 - Google Patents

Abstract

基于多模态信息融合的轮椅机械手系统模拟环境有干扰状态下，人体搜索目标、意图判定、接近目标并准确抓取目标的过程。所述基于多模态信息融合的轮椅机械手系统主要包括多模态信息采集系统a、信息处理融合系统b、决策控制系统c以及执行系统d组成。所述多模态信息采集系统a实现人体多模态信息与周边环境信息采集；所述信息处理融合系统b实现人体意图的判定并最终将特征信息融合；所述决策控制系统c实现对多模态信息采集系统a和信息处理融合系统b采集、预处理信息的综合处理，生成决策信息；所述执行系统d由差动轮椅14和机械臂15组成，实现对决策信息的执行操作即基于人体意图的接近目标运动和准确抓取目标物体。

Description

基于多模态信息融合的轮椅机械手系统

技术领域

本实用新型涉及光学、信息学、智能控制系统以及轮椅机械手领域，尤其涉及多模态信息融合的助老助残辅助轮椅机械臂领域。

背景技术

助老助残机器人作为一种辅助技术及产品，已扩展到残障人士及老年人生活的各个领域，解决他们生活中的一些困难。目前，许多国家都对服务型移动机械手投入大量经费进行研究，不断提高服务型移动机械手的体系结构、人机交互、目标导航等功能，而随着我国逐步进入小康社会，康复工程得到了社会的广泛关注，继续实施“科技助残行动计划”是《中国残疾人事业“十二·五”发展纲要》和《国家人口发展“十二·五”规划》任务和目标之一，对高等院校、科研机构和企事业单位研究残疾鉴定、康复、特殊教育、职业技能鉴定、辅助器具等领域的标准和技术给于鼓励和支持，并且开展残疾人康复服务平台研发及应用示范等研究。国家高技术研究发展计划(863计划)“服务机器人”项目已将助老助残机器人系列为重点课题进行研究。因此，为了提高老年人和残疾人的生活质量和社会参与能力，为其提供诸如出行、护理和医疗康复等方面的服务，保证社会的稳定发展，研发助老助残机器人系统显得尤为重要。

自 20世纪60年代美国建造的Rancho“ Golden”机械臂以来，轮椅与机械臂的组合获得了广泛关注，目前，荷兰Exact Dynamics公司的MANUS手臂是安装在轮椅上较成熟的一款机械臂，已有如VICTORIA、Raptor、FRIEND、由欧盟残疾人及老年人技术计划支持的M3S和FOCUS项目等多款基于MANUS的移动机械臂，此外，韩国等也对服务型移动机械臂进行研究，研制了移动机械臂和轮椅组合使用的KARES II等。在国内，也研发了多款服务型移动机械臂，如清华大学的移动式护理机器人、上海交通大学与上海电气集团合作开发的轮椅机械臂、哈尔滨工业大学开发的安装在轮椅上的六自由度操作臂及面向助老助残模块化机械臂、东南大学研究的视觉引导助老服务机器人等。

目前，服务型移动机械臂技术研究涉及体系结构、人机交互、运动规划、运动控制等关键技术，而人机交互和运动规划毫无疑问是上述研究的重点内容，这是因为移动机械臂或机器人服务的对象为缺失了部分行动能力的运动障碍人士，人机交互方式选择直接影响人与机器沟通交流的效果和效率，同时，服务型移动机械臂工作环境多为存在动态障碍物的非结构化环境，运动规划策略的优劣直接关系到系统运行的安全性，以及执行效率的高低。从已有的研究成果来看，人机交互方式仍多采用以“机器主导”的肢体控制方式，如鼠标、键盘、语音等，但对于脑与外周神经肌肉通路受损的病人，就无法驱动以上的移动机械臂，对服务型移动机械臂的研究提出了新的挑战；而运动规划也多以完成预定操作的传统二值控制方式为主，难以满足特定环境与特定人群的实际需要。

发明内容

针对现有技术存在的问题，本实用新型提供一种基于多模态信息融合的轮椅机械手系统，充分发挥人体的目视特性，实现人体在可见区域内的目标搜索、意图判定、目标接近以及目标抓取的过程，最大限度为使用者提供帮助，提高人机交互的协调性以及系统的鲁棒性。

为实现上述目的，本实用新型提供一种基于多模态信息融合的轮椅机械手系统，主要包括多模态信息采集系统a、信息处理融合系统b、决策控制系统c以及执行系统d组成。所述多模态信息采集系统a为头戴式信息采集装置，实现人体多模态信息与周边环境信息采集；所述信息处理融合系统b实现人体意图的判定并最终将特征信息融合；所述决策控制系统c实现对多模态信息采集系统a和信息处理融合系统b采集、预处理信息的综合处理，生成决策信息；所述执行系统d由差动轮椅14和机械臂15组成，实现对决策信息的执行操作即基于人体意图的接近目标运动和准确抓取目标物体。

所述的基于多模态信息融合的轮椅机械手系统，其特征在于：所述多模态信息采集系统结构为，眼电信号6采集装置为布置于双眼眼部周围的氯化银贴片，用于采集眼部转动时肌肉运动的电信号；肌电信号7采集装置为布置于两块胸锁乳突肌的氯化银贴片，用于采集头部转动、肩部运动时颈部肌肉运动的电信号；脑电信号8采集装置为Emotiv EPOC，用于采集大脑活跃时脑电信号；双目摄像头5置于双眼眼侧太阳穴处，用于接收周围环境信息，并将视频图像信息传输到决策控制系统c；CCD工业相机4置于人体头部正前方，用于检测人体头部图像9和眼动图像10，头部图像9检测方法为基于ASM算法的特征点检测用于人体头部姿势概率估计；眼动图像10检测方法为瞳孔位置、直径检测法。CCD工业相机4作为头戴式信息采集装置的辅助检测设备，共同实现人体头部、眼部运动情况的检测。

所述的信息处理融合系统b对来自多模态信息采集系统的眼电信号6、肌电信号7和脑电信号8进行降噪处理，对头部图像9和眼部图像10进行图像预处理，然后进行人体意图判别。无意图的头部和眼部运动时相对有意图运动时较快，因此，眼电信号6、肌电信号7和脑电信号8的意图判别方法为突变超阈值信号的鉴定，稳定阈值范围内为有意图信号，突变超阈值范围为无意图信号；头部图像9和眼部图像10的判别方法为根据帧间静态图像差分后得到的头部、眼部运动变化的像素点数多少来衡量，进而判断头部、眼部运动意图。进一步地，将有意图特征信息融合发送给决策控制系统c进行进一步处理。

所述的决策控制系统c中的人机交互系统13根据信息处理融合系统b的特征信息，形成目标区域热点图11，据此判定目标物体，该过程模拟人眼搜索目标并确定目标的过程。双目摄像头5实现目标锁定以及对目标物体进行空间位置估计。进一步地，人机交互系统13将决策信息发送给控制器12和机械臂14，控制器12将控制信号发送给差动轮椅14，实现目标接近和准确抓取。

所述的机械臂15，其路径规划采用但不局限于遗传算法的智能算法进行优化，实现机械臂从初始位置到目标位置的移动，并实现目标的抓取。

所述的差动轮椅14接近目标由使用者控制，控制方法包括但不局限于头部转动、眼部转动以及脑部信号控制。

所述的基于多模态信息融合的轮椅机械手系统，其特征在于：其执行流程为：双目摄像头5实现区域范围内的目标搜索，多模态信息采集系统a、信息处理融合系统b、决策控制系统c共同作用进行人体意图的判定，并生成目标区域热点图11，以此确定目标物体，决策控制系统c控制执行系统d中的差动轮椅14移动接近目标，由机械臂15抓取目标，在此过程中，目标区域热点图11实时更新，与决策控制系统c形成闭环控制系统，通过实时负反馈调节提高多模态信息融合的轮椅机械手系统的鲁棒性。

有益效果：本实用新型将眼电信号、肌电信号和脑电信号三种电信号的特征信息与光学图像对头部姿态和眼部姿态特征信息进行融合处理，充分发挥使用者的目视特性，在搜索目标的过程中进行意图判定，最大限度降低使用者的无意图行为对系统造成的影响，进而根据特征信息确定目标物体，通过差动轮椅靠近目标，在可操作范围内，机械臂进行路径规划和目标抓取，增强系统的鲁棒性。

附图说明

图1为本实用新型的基于多模态信息融合的轮椅机械手系统原理示意图；

图2为本实用新型的基于多模态信息融合的轮椅机械手系统结构示意图；

图3为差动系统结构示意图；

图4为眼电信号、肌电信号采集装置位置示意图；

图中：a多模态信息采集系统、b信息处理融合系统、c决策控制系统、d执行系统、1人体多模态采集模块、2环境信息采集模块、3肌电电极、4CCD工业相机、5双目摄像头、6眼电信号、7肌电信号、8脑电信号、9头部图像、10眼动图像、11目标区域热点图、12控制器、13人机交互系统、14差动轮椅、15机械臂、16轮组系统I、17轮组系统II、18主轮、19差动系统、20计米轮系统、21内接法兰、22外接法兰、23连接弹簧、24双头螺栓、25平键、26固定端盖、27梅花联轴器、28编码器、29电机控制器、30支撑架。

具体实施方式

为使本实用新型的目的、技术方案和优点更加清楚，下面将结合附图对本实用新型实施方式作进一步的详细描述。

基于多模态信息融合的轮椅机械手系统，参见图1，主要包括多模态信息采集系统a、信息处理融合系统b、决策控制系统c以及执行系统d组成。

一种基于多模态信息融合的轮椅机械手系统，其特征在于：基于多模态信息融合的轮椅机械手系统由多模态信息采集系统a、信息处理融合系统b、决策控制系统c和执行系统d组成；所述多模态信息采集系统a由人体多模态信息采集模块1和环境信息采集模块2组成，所述环境信息采集模块2由双目摄像头3组成，实现人体对周围环境视频图像信息的采集；所述决策控制系统c由控制器12和人机交互系统13组成，用于处理来自信息处理融合系统b的特征信息，生成供执行系统d执行的决策信息；所述执行系统d由差动轮椅14和机械臂15组成，接收决策信息并执行。

如图2、图4所示，所述的基于多模态信息融合的轮椅机械手系统，其特征在于：所述人体多模态信息采集模块1由肌电电极3和CCD工业相机4组成,所述肌电电极3用于眼电信号6、肌电信号7和脑电信号8采集，CCD工业相机4用于头部图像9和眼动图像10采集，眼电信号6采集装置为布置于双眼眼部周围的氯化银贴片，用于采集眼部转动时肌肉运动的电信号；肌电信号7采集装置为布置于两块胸锁乳突肌的氯化银贴片，用于采集头部转动、肩部运动时颈部肌肉运动的电信号；脑电信号8采集装置为Emotiv EPOC，用于采集大脑活跃时脑电信号；双目摄像头5置于差动轮椅14的支撑架30上，用于接收周围环境信息，并将视频图像信息传输到决策控制系统c；CCD工业相机4置于人体头部正前方，用于检测人体头部图像9和眼动图像10，头部图像9检测方法为基于ASM算法的特征点检测用于人体头部姿势概率估计；眼动图像10检测方法为瞳孔位置直径检测法。

所述的基于多模态信息融合的轮椅机械手系统，其特征在于：所述信息处理融合系统b对来自多模态信息采集系统a的眼电信号6、肌电信号7和脑电信号8进行降噪处理，对头部图像9和眼部图像10进行图像预处理，然后进行人体意图判别，判别方法为：眼电信号6、肌电信号7和脑电信号8采用突变超阈值信号鉴定法，设定阈值范围内为有意图信号，突变超阈值范围为无意图信号；头部图像9和眼部图像10意图判别采用数帧间静态图像差分后得到的头部、眼部运动变化的像素点数多少来衡量，进而判断头部、眼部运动意图，意图判别优先级顺序为头部图像9、眼部图像10、眼电信号6、脑电信号7、肌电信号8，进一步地，将有意图特征信息融合后发送给决策控制系统c做进一步处理。

所述的基于多模态信息融合的轮椅机械手系统，其特征在于：所述人机交互系统13根据信息处理融合系统b的特征信息，形成目标区域热点图11，据此判定目标物体；双目摄像头5实现目标锁定以及对目标物体进行空间位置估计，进一步地，人机交互系统13将决策信息发送给执行系统d。

如图2、图3所示，所述差动轮椅14的轮组系统I16和轮组系统II17分别安装于差动轮椅14的左右两侧，均由主轮18、差动系统19和计米轮系统20组成，差动系统19安装于主轮18轴心处，由内接法兰21、外接法兰22连接弹簧23、双头螺栓24、平键25、固定端盖26、梅花联轴器27、编码器28和电机控制器29组成，内接法兰21通过螺栓固定于主轮18轮毂轴心处，外接法兰22通过平键25和内接法兰21相连，梅花联轴器27通过双头螺栓24固定于内接法兰21处，差动运动实现方法为：电机控制器29通过发送脉冲的形式结合编码器28实现主轮18的运动， 轮组系统I16接收的脉冲数小于轮组系统II17接收的脉冲数，则差动轮椅左转，轮组系统I16接收的脉冲数大于于轮组系统II17接收的脉冲数，则差动轮椅右转。

下面结合附图说明本实用新型的一次使用过程：

对于行动不便的残疾人或者老年人，在使用本实用新型时，使用者坐在差动轮椅上，转动头部、眼珠进行目标搜索，多模态信息采集系统进行眼电信号、肌电信号以及脑电信号和头部姿态和眼珠姿态的图像视频信息采集，使用者在此过程中可能会因为外界干扰因素而出现无意图动作如快速转头或者眼珠无意图转动，经过信息处理融合系统的突变超阈值信号鉴定法进行有意图信息的甄别及提取，从而实现使用者目标的搜索以及意图判定。

意图判定完成后，决策控制系统中的人机交互系统显示目标区域视频图像，此时，CCD工业相机采集的眼动信息与视频图像结合生成目标区域热点图，据此判定使用者所要抓取的目标。

目标判定完成后，基于双目摄像头进行双目视觉定位，对目标进行空间位置估计，并将相关参数反馈给决策控制系统，决策控制系统将决策信息传输到执行系统。

执行系统收到来自决策控制系统的决策信息后进行相信的执行操作，差动轮椅接近目标，接近目标后，计米轮给予信号反馈，差动轮椅停止运动，机械臂通过智能算法实现路径规划，识别目标并对目标进行准确抓取。在此过程中，目标的空间位置信息实时更新并传送，以此指导差动轮椅和机械臂的运动。

本实用新型提供的上述实施例，并非用以限制本实用新型的专利保护范围，凡未脱离本实用新型所为的等效实施或变更，均包含于本案的专利范围内。

Claims (1)

1.一种基于多模态信息融合的轮椅机械手系统，其特征在于：基于多模态信息融合的轮椅机械手系统由多模态信息采集系统（a）、信息处理融合系统（b）、决策控制系统（c）和执行系统（d）组成；所述多模态信息采集系统（a）由人体多模态信息采集模块（1）和环境信息采集模块（2）组成，所述环境信息采集模块（2）由双目摄像头（5）组成，实现人体对周围环境视频图像信息的采集；所述执行系统（d）由差动轮椅（14）和机械臂（15）组成，接收决策信息并执行，差动轮椅（14）包括轮组系统I（16）和轮组系统II（17），分别安装于差动轮椅（14）的左右两侧，且均由主轮（18）、差动系统（19）和计米轮系统（20）组成，差动系统（19）安装于主轮（18）轴心处，由内接法兰（21）、外接法兰（22）连接弹簧（23）、双头螺栓（24）、平键（25）、固定端盖（26）、梅花联轴器（27）、编码器（28）和电机控制器（29）组成，内接法兰（21）通过螺栓固定于主轮（18）轮毂轴心处，外接法兰（22）通过平键（25）和内接法兰（21）相连，梅花联轴器（27）通过双头螺栓（24）固定于内接法兰（21）处。