CN110688910B - 一种可穿戴人体基本姿态识别的实现方法 - Google Patents

Abstract

一种可穿戴人体基本姿态识别的实现方法，穿戴者通过穿戴的摄像头采集图片信息，提取其中的人物姿态特征，运用动态触觉编码触发穿戴者穿戴的振动电机，控制振动电机点阵中的振动单元按照一定频率、时间顺序和节奏产生振动，对穿戴者产生动态振动触觉刺激，让穿戴者通过触觉刺激感知图像中人的姿态特征。本发明能通过摄像头采集图片信息，提取其姿态特征，运用动态触觉编码触发振动电机，产生动态振动触觉刺激，让佩戴者通过触觉刺激感知图像中人的姿态特征，实现便携式、体积小、低能耗、操作简单的优点。

Description

一种可穿戴人体基本姿态识别的实现方法

技术领域

本发明属于信息处理技术领域，涉及到自动控制技术、图像信息处理与感知方法，为一种可穿戴人体基本姿态识别的实现方法。

技术背景

随着我国社会保障体系与残疾人保障制度的日益完善，残疾人的生活和工作问题业以成为人们关注的焦点之一，并体现了一定的社会问题。视障人群的生活和工作因为视力的障碍受到极大困扰。在现实生活中，盲人对运动物体特别是人姿态信息的需求越来多，通过对姿态信息的获取，可以实现对有没有人、人在哪里、这个人是谁、处于什么姿态、当前在做什么等信息的感知。比如，盲人有了对姿态的认识，盲人乐团就可以很好的感知到指挥者的动作，甚至表情。

视觉是重要的信息获取通道。人类约60％～80％的信息是靠视觉感知的，其中的60％～70％的信息又是以图像方式获取的。对于盲人，视觉障碍给他们的工作和生活带来极大的不便，严重限制了他们的生活空间。视觉障碍人士由于丧失了视觉，获取信息主要依靠触觉和听觉，对于图形图像类信息，目前很难有效感知。如何让盲人获得一定程度的图像信息，是研究者们广泛关注的问题。触觉是视觉障碍者获取环境信息的重要方式，通过触觉刺激不仅能够获得的环境信息直接的本体触觉感受，如冷热、软硬等，还能依靠人脑对各种触觉刺激进行解释加工，获得感知对象的空间方位、距离、动作、形状，甚至是更深层的图像、语义等信息，按照一定的规则对触觉刺激进行组合就能形成丰富的“触觉语言”，实现信息的触觉表达和感知。

如何让盲人获得一定程度的视觉信息，一般有三种实现途径：一直接电刺激大脑皮层，产生光幻觉，经过培训可以获得低分辨率图像；二图像信号经过模式识别转换为声音，由盲人的大脑对声音进行图像重建；三利用触觉刺激器显示像素阵列。第一种方式相对比较复杂，难以实现，而第二种方式适时性差，相对是被动性的接收，在很多场合也难以有效使用。目前，图像的非视觉再现技术研究主要集中在听觉和触觉两方面。图像的触觉表达就是借助一定的图像采集、识别系统和触觉接口装置，将图像信息转换为触觉刺激，使得盲人虽然丧失了用眼睛“摄像”的功能，但通过触觉同样能够达到图像感知的目的。目前，用于盲人可穿戴的人体姿态图像信息转换为触觉信息的研究还是处于空白阶段。

发明内容

本发明要解决的问题是：提供一种姿态识别方法及设备，辅助视力缺陷人员获得一定程度的视觉信息。

本发明的技术方案为：一种可穿戴人体基本姿态识别的实现方法，穿戴者通过穿戴的摄像头采集图片信息，提取其中的人物姿态特征，运用动态触觉编码触发穿戴者穿戴的振动电机，控制振动电机点阵中的振动单元按照一定频率、时间顺序和节奏产生振动，对穿戴者产生动态振动触觉刺激，让穿戴者通过触觉刺激感知图像中人的姿态特征。

进一步的，所述提取其中的人物姿态特征触发振动电机基于图像处理技术，在高层语义层面建立图像和触觉之间的桥梁，建立人体姿态和感知体系，实现信息的触觉表达和感知，包括以下内容：

首先，运用基于卷积神经网络和监督学习，以卷积神经网络框架caffe为框架携程的开源库作为数据处理模块，实现图像识别、人脸识别、姿态识别以及深度学习，得到人的面部表情、躯干和四肢及手指的跟踪；

其次，基于ARM嵌入式开发平台，实现图像信息采集、姿态特征信号提取、振动触觉编码模块及电机驱动控制电路，所述数据处理模块构建在平台中，在有限触觉点阵空间内，从图像中提取人体姿态特征，产生按图像姿态特征提取并随时间变化的振动触觉刺激信号，反应人的姿态动作的行为信号；

最后，运用嵌入式系统、USB摄像头和微型振动电机阵列构建图像振动触觉显示穿戴系统，通过穿戴系统采集图像、识别图像、触发电机，使穿戴者感知摄像头采集的环境中人的基本姿态特征和相对位置信息，实现帮助视觉障碍者以振动触觉方式感知图像信息。

进一步的，所述人物姿态图像的采集包括摄像头视频流采集和静态图片采集，基于卷积神经网络和监督学习方法进行视频流及图像的人体姿态识别，综合识别结果提取目标人体的姿态特征及姿态变化，随特征变化进行连续振动编码，实现动态触觉编码，控制振动电机点阵中的振动单元按照一定频率、时间顺序和节奏产生振动，辅助穿戴者通过触觉刺激感知图像中人的姿态变化。

作为优选方式，对视频流的人体姿态识别为：采用卷积神经网络对视频流每帧识别出人体，进行人体姿态估计，根据姿态分割得到不同的身体部位，对身体部位进行特征提取时，根据不同帧中同一身体部位的姿态是否产生变化，分为静态和动态两部分，静态部分通过神经图像网络识别身体部位的外貌特征，动态部分通过神经光流网络识别身体部位的运动特征，将提取的外貌特征和运动特征通过聚合和归一化，最后整合为一个特征集合，使用线性SVM进行分类训练，由此达到姿态信息的运动行为识别。

作为优选方式，振动电机点阵中电机包括分布于人体背部和四肢的振动电机，根据识别的人体的姿态特征及姿态变化，产生按图像姿态特征提取并随时间变化的振动触觉刺激信号，驱动对应部位的振动电机以姿态变化过程跟踪方式逐个振动，显示人体姿态信息。

本发明能通过摄像头采集图片信息，提取其姿态特征，运用动态触觉编码触发振动电机，产生动态振动触觉刺激，让佩戴者通过触觉刺激感知图像中人的姿态特征。

本发明方法为盲人装上“眼睛”，帮助盲人感知真实世界，依托图像信息技术作为“大脑”，运用图像识别、人脸识别、姿态识别以及深度学习等相关核心技术，结合大数据分析能力和自然人机交互技术，帮助盲人“洞见”真实世界，实现平等的各行各业的日常服务便利。利用视觉对外界进行感知能够使盲人获取“视觉”范围内的人的姿态信息，使其分析、判断和决策更具有针对性。其意义在于：一是辅助盲人生活和工作过程中的安全。盲人利用“视觉”进行反馈能够及时发现环境中人的动态信息，对可能发生的突发情况釆取相应的措施。二是辅助盲人与他人的姿态交互。在盲人与他人进行交互时，能够观察他人的行为并给出合理的反应。三是盲人通过视觉进行学习。传统的盲人操作学习通常是由示教完成的，而具有视觉功能的盲人可穿戴姿态识别方法可以让盲人主动观察人类的行为并学习，在利用视觉进行观察和学习后，能够自主完成某些正常人的工作。

基于可穿戴人体基本姿态识别方法对于盲人使用者而言，只需穿戴附带相关设备的“衣服”，即本发明的穿戴系统，即可将计算机视觉技术变成身边触手可及的生活助理。例如，当盲人“看到”一群人都在路口不动，可以判断当前是红灯，这也是多人追踪更广阔的应用之一。比如当盲人“看到”面前这个手舞足蹈的人，能知道究竟是兴奋呢，还是因愤怒而发泄。利用此技术，盲人甚至可以组成一个乐队或者歌唱队，在表演时能够看到指挥的手势。

人体姿态估计的研究有广泛的应用前景，不仅能帮助视觉障碍人士以非视觉方式感知外界姿态信息，也能用于危险或者复杂环境下的信息的非视觉通信和传递。本发明可实现便携式、体积小、低能耗、操作简单的优点。

附图说明

图1是本发明方法实现流程框图。

图2是本发明中人体姿态信息行为识别方法流程图。

图3是本发明中触觉表达矩阵图。

具体实施方式

本发明提供一种可穿戴人体基本姿态识别的实现方法。针对盲人生活在“无视觉”状态，不能从客观世界获取视觉信息，无法对周围生活环境做出描述和理解的现实生活困难，基于图像处理技术，在高层语义层面建立图像和触觉之间的桥梁，建立人体姿态和感知体系，实现触觉表达和感知。可穿戴设备通过内置摄像头捕捉用户第一视角的视觉信息，并通过用摄像头捕捉到的信息进行图像识别，随后通过图像语义理解对核心信息进行分析和转换，将图像信息转换为触觉信息，通过一段时间的使用之后，设备还能智能推演出用户下一步可能进行的行为。图像识别的内容包括人体识别、姿态检测、图像姿态分类标注等。本发明，在高层语义层面建立了图像和触觉之间的桥梁，使计算机能够真正地学习、建立人体姿态体系，帮助盲人“感知”人体的姿态动作和面部表情，是人工智能领域的一次技术飞跃。

本发明技术实现流程如图1所示。首先，是通过摄像头采集图片信息，其次，通过图像处理提取目标人体的姿态特征，然后，根据人体的二维空间分布运动特性形成动态显示的振动触觉编码及硬件驱动信号，最后，实现图像信息的准确触觉表达，控制振动电机点阵中的振动单元按照一定频率、时间顺序和节奏产生振动触觉刺激作用于人体。通过图像处理提取目标人体的姿态特征中，通过摄像头进行视频流采集和静态图片采集，基于卷积神经网络和监督学习方法进行视频流及图像的人体姿态识别，综合识别结果提取目标人体的姿态特征及姿态变化，随特征变化进行连续振动编码，实现动态触觉编码，辅助穿戴者通过触觉刺激感知图像中人的姿态变化。本发明可穿戴装备具有体积小、功耗低、便于携带等特点，系统可直接佩戴于人身体上。基于以上考虑，本发明采用最新ARM嵌入式开发平台的图像处理和电机驱动控制系统，并根据功能需求对其硬件资源进行配置。软件部分基于WinCE嵌入式操作系统，采用Viusal studio集成开发环境来定制满足要求的Windows操作系统。图像处理算法采用Python+Mathlab语言编写。本发明方法的实现包括图像采集模块、图像处理、振动编码模块以及触觉表达模块4部分。

1.图像信息的采集和输入

开发平台移植嵌入式操作系统WinCE，选用WinCE系统下的USB摄像头，通过调用摄像头驱动接口函数，实现图像采集功能。在图像采集中，首先，调用capInitCamera函数初始化摄像头并返回当前活动的摄像头数目，利用capSetVideoFormat函数设置当前视频格式和尺寸模式，然后，调用capStartCamera函数启动摄像头，借助capGrabFrame函数获取一帧图像并以bmp格式保存于缓存中。结束图像采集时，先调用capStopCamera函数停止摄像头捕获视频，再调用capCloseCamera函数关闭所有活动的摄像头。

2.运用基于卷积神经网络和监督学习开源库,实现人的面部表情、躯干和四肢甚至手指的跟踪

图像信息的采集和预处理后，依托基于卷积神经网络和监督学习并以Caffe为框架编程的开源库，实现人的面部表情、躯干和四肢甚至手指的跟踪。运用图像处理技术作为“大脑”的图像识别、人脸识别、姿态识别以及深度学习等相关核心技术，有效检测图像中多人二维姿态的方法。在实现上，该方法使用非参数表示，机器学习将身体部位与图像中的个体相关联，通过相同顺序预测对象过程的两个分支，共同学习部件位置及其关联。然后重复这个步骤，对其他关键点之间的连接进行推测，直到得到人体的全部骨架信息。

基于姿态信息的行为识别方法，如图2所示。在基于姿态信息的行为识别时，采用“动”“静”相结合的动作描述方法。在一个视频序列中，按照时间的推移，可获得身体关节点在视频序列中的轨迹，因此，“动”“静”结合的动作描述方法是结合身体部位的“运动”和“外观”两个特征。卷积神经网络已经在计算机视觉领域取得很大成功，所以本发明中采用卷积神经网络对视频流每帧的不同身体部位进行特征提取。对视频流的人体姿态识别为：采用卷积神经网络对视频流每帧识别出人体，进行人体姿态估计，根据姿态分割得到不同的身体部位，对身体部位进行特征提取时，根据不同帧中同一身体部位的姿态是否产生变化，分为静态和动态两部分，静态部分通过神经图像网络识别身体部位的外貌特征，动态部分通过神经光流网络识别身体部位的运动特征，将提取的外貌特征和运动特征通过聚合和归一化，最后整合为一个特征集合，使用线性SVM进行分类训练，由此达到姿态信息的运动行为识别。

3.运用ARM系统设计图像信息的采集、姿态特征信号提取和动态显示的振动触觉编码方法及硬件驱动信号

为了实现图像信息的准确触觉表达，运用ARM系统设计图像信息的采集、姿态特征信号提取和动态显示的振动触觉编码及硬件驱动信号，实现由像素空间行为向触觉阵列的映射。盲人刺激单元的作用方式采用振动触觉刺激，实现视觉-触觉的转换，多振动点阵装置实现压力刺激作用于盲人的身体，图像中的人体姿态特征变化与振动触点的振动相一致。在振动触觉阵列上显示图像基本姿态最常见的形式是直接将像素空间人体姿态的变化结果和触觉电机点阵对应，针对盲人触觉对人体基本姿态的需要，本发明提出了一种动态触觉编码的方法，这种编码利用人对姿态变化的触觉刺激较为敏感的特性，根据识别的人体姿态特征及姿态变化，随特征变化进行连续振动编码，实现动态触觉编码，控制振动电机点阵中的振动单元按照一定频率、时间顺序和节奏产生振动，辅助穿戴者通过触觉刺激感知图像中人的姿态变化。其中，优选让对应于目标人体的姿态变化结果控制电机安装到穿戴者的相关身体部位，如图3所示，并同时振动，电机阵列以一定的刷新频率循环扫描，将人体姿态特征变化阵列映射到振动阵列，并根据需要进行时间强弱区分。此振动触觉编码方法和硬件的驱动电路在有限触觉点阵空间内，从图像中提取人体姿态特征，产生按图像姿态特征提取并随时间变化的振动触觉刺激信号，实现较为准确、快速地显示人的基本姿态动作。

4.基于嵌入式系统和微型振动电机阵列构建图像振动触觉显示系统，让盲人感知人的基本姿态特征和相对位置信息

为实现以振动触觉方式感知图像信息，同时，减少硬件系统自身的体积和复杂度，设计一种由多盘片式振动电机组成的振动触觉显示阵列。帮助盲人感知人体姿态，运用微型振动电机构建图像的振动触觉显示阵列，运用动态振动触觉编码触发振动电机，将姿态特征信号转换为振动刺激信号作用于人身体，产生动态振动触觉刺激，利用人的触觉空间定位特性，让盲人佩戴者通过触觉刺激感知图像中人的姿态、表情特征和相对位置信息。动态振动触觉编码的方法符合人的触觉感知特性，对目标姿态的触觉提示识别率高、实时性好等优点。为便于盲人穿戴，在设计了便携式、体积小、安装方便、操作简单的可穿戴装具。考虑到便携式，在提高触觉显示的真实感的同时，还要降低能耗，简化控制。

本发明的振动触觉表达系统如图3所示，振动触觉显示装置穿戴于盲人背部和四肢。背部电机共9组，水平与垂直等间距均分布，大于人体背部振动触觉刺激空间的阈值10mm。振动电机通过黏性胶带贴合于弹性背带上，每个单元的空间位置可根据实际需要调整，四肢的振动电机根据需要套戴于四肢的关节部位。实际使用时，通过对图片信息进行姿态特征识别和信号提取，然后驱动振动电机以姿态变化过程跟踪方式逐个振动，显示人体姿态信息。

Claims (4)

1.一种可穿戴人体基本姿态识别的实现方法，其特征是穿戴者通过穿戴的摄像头采集图片信息，提取其中的人物姿态特征，运用动态触觉编码触发穿戴者穿戴的振动电机，控制振动电机点阵中的振动单元按照一定频率、时间顺序和节奏产生振动，对穿戴者产生动态振动触觉刺激，让穿戴者通过触觉刺激感知图像中人的姿态特征,所述提取其中的人物姿态特征触发振动电机基于图像处理技术，在高层语义层面建立图像和触觉之间的桥梁，建立人体姿态和感知体系，实现信息的触觉表达和感知，包括以下内容：

首先，运用基于卷积神经网络和监督学习，以卷积神经网络框架caffe为框架编程的开源库作为数据处理模块，实现图像识别、人脸识别、姿态识别以及深度学习，得到人的面部表情、躯干和四肢及手指的跟踪；

其次，基于ARM嵌入式开发平台，实现图像信息采集、姿态特征信号提取、振动触觉编码模块及电机驱动控制电路，所述数据处理模块构建在平台中，在有限触觉点阵空间内，从图像中提取人体姿态特征，产生按图像姿态特征提取并随时间变化的振动触觉刺激信号，反应人的姿态动作的行为信号；

最后，运用嵌入式系统、USB摄像头和微型振动电机阵列构建图像振动触觉显示穿戴系统，通过穿戴系统采集图像、识别图像、触发电机，使穿戴者感知摄像头采集的环境中人的基本姿态特征和相对位置信息，实现帮助视觉障碍者以振动触觉方式感知图像信息;

人物姿态图像的采集包括摄像头视频流采集和静态图片采集，基于卷积神经网络和监督学习方法进行视频流及图像的人体姿态识别，综合识别结果提取目标人体的姿态特征及姿态变化，随特征变化进行连续振动编码，实现动态触觉编码，控制振动电机点阵中的振动单元按照一定频率、时间顺序和节奏产生振动，辅助穿戴者通过触觉刺激感知图像中人的姿态变化。

2.根据权利要求1所述的一种可穿戴人体基本姿态识别的实现方法，其特征是人体姿态识别包括对视频流及图像中的多人二维姿态的识别。

3.根据权利要求1所述的一种可穿戴人体基本姿态识别的实现方法，其特征是对视频流的人体姿态识别为：采用卷积神经网络对视频流每帧识别出人体，进行人体姿态估计，根据姿态分割得到不同的身体部位，对身体部位进行特征提取时，根据不同帧中同一身体部位的姿态是否产生变化，分为静态和动态两部分，静态部分通过神经图像网络识别身体部位的外貌特征，动态部分通过神经光流网络识别身体部位的运动特征，将提取的外貌特征和运动特征通过聚合和归一化，最后整合为一个特征集合，使用线性SVM进行分类训练，由此达到姿态信息的运动行为识别。

4.根据权利要求1所述的一种可穿戴人体基本姿态识别的实现方法，其特征是振动电机点阵中电机包括分布于人体背部和四肢的振动电机，根据识别的人体的姿态特征及姿态变化，产生按图像姿态特征提取并随时间变化的振动触觉刺激信号，驱动对应部位的振动电机以姿态变化过程跟踪方式逐个振动，显示人体姿态信息。

Images