CN104808778A - 判断头戴式智能设备操作有效性的装置和方法 - Google Patents

Abstract

本发明涉及一种判断头戴式智能设备操作有效性的装置和方法，装置至少包括动作感应模块，用于感应人眼的动作；脉搏信息获取模块，用以获取脉搏信息；动作有效性判断模块，用于计算脉搏的间隔，并根据预设的阈值判断动作的有效性，其中，动作感应模块，脉搏信息获取模块均设置在头戴式智能设备上。根据本发明的技术方案，通过对头戴式智能设备的使用者的脉搏信息的获取，并根据所获取的脉搏信息与预设的阈值的比较结果，实现对头戴式智能设备所接收到的操作信息的有效性进行判断。

Description

判断头戴式智能设备操作有效性的装置和方法

技术领域

本发明涉及智能控制领域，并且特别地，涉及一种判断头戴式智能设备操作有效性的装置和方法。

背景技术

头戴式设备可集成摄像设备和控制芯片等形成头戴式智能设备（如智能眼镜设备），为用户提供丰富的个性化功能和信息。随着科学技术的发展，头戴式智能设备的实用性和娱乐性不断增强，现在正逐渐应用于人们工作、生活等各个领域。

头戴式智能设备像智能手机一样，具有独立的操作系统，可以由用户安装软件、游戏等软件服务商提供的程序，可通过语音或动作操控完成添加日程、地图导航、与好友互动、拍摄照片和视频、与朋友展开视频通话等功能，并可以通过移动通讯网络来实现无线网络接入。

目前，人机交互多是采用人的肢体语言发送命令信号给计算机，比如用手指通过鼠标发送信号给计算机、通过身体控制游戏、触屏采用手指的点击发送信号等，而头戴式智能设备可以通过语音控制、或者视觉控制（例如：人眨眼、点头、摇头、语音）的方式，进行查看日历、时间、温度、地理位置，进行语音搜索、视频通话、辨明方向、音乐播放、网页搜索，收发短信或者电子邮件、拍照、摄像等功能，此外，除了上述功能，头戴式智能设备还可以与环境互动，扩充现实，例如：如果看到地铁停运，该智能设备会显示地铁停运的原因，并提供替代路线；如果看到自己喜欢的书，可以查看书评和价格；如果在等朋友，该智能设备会显示朋友的位置。

随着人机交互的智能化，在现有技术中，虽然可以实现通过人眼部动作等信息控制头戴式智能设备进行一些操作，但是，并没有一种判断该设备所接收到的动作信息的有效性的方式，就有可能会导致该设备执行所接收到的无效的动作信息，或者将接收到的有效的动作信息忽略，给用户造成不便或者损失，对此，在现有技术中并没有提出明确的解决方案。

因此，有必要对现有的技术方案进行改进，提供一种判断头戴式智能设备操作有效性的装置和方法。

鉴于此提出本发明。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的判断头戴式智能设备操作有效性的装置和方法。

为了实现该目的，本发明采用如下技术方案：

根据本发明的一个方面，提供了一种判断头戴式智能设备操作有效性的装置，该装置至少包括动作感应模块，用于感应人眼的动作；脉搏信息获取模块，用以获取脉搏信息；动作有效性判断模块，用于计算脉搏的间隔，并根据预设的阈值判断动作的有效性，其中，动作感应模块，脉搏信息获取模块均设置在头戴式智能设备上。

其中，脉搏信息获取模块获取在一定时间或设定的至少两个动作间隔之间的连续的脉搏信息，当计算得到的脉搏的间隔在所设定的阈值范围之内时，确定为动作有效并执行相应的动作。

并且，脉搏信息获取模块获取人体头部或面部某一部分体现的脉搏信息。

在一个实施例中，脉搏信息获取模块至少包括一接触式或非接触式传感器，该接触式传感器用以检测耳脉或颞动脉的脉搏；非接触式传感器至少包括一摄像头，摄像头设置在头戴式智能设备的支架上，通过检测面部图像获取脉搏信息。

优选地，接触式传感器通过一可转动的连杆与头戴式智能设备的支架相连接。

并且，动作有效性判断模块包括信号处理模块和计算模块，信号处理模块处理摄像头获得的含有彩色人脸的视频后获得的人脸区域和面部位置坐标，至少进行肤色区域、和/或眼睛、和/或眼周部分割分类，对分类赋予不同的权重，对每一帧视频中的人脸区域进行三色通道分离，对每一通道取空间均值，计算模块对采样数据进行ICA处理得到脉搏信息。

此外，动作有效性判断模块还包括比较模块，计算模块分析的脉搏间隔的平均值，并计算实时脉搏间隔值与平均值之间的差值，的比较模块将差值与预设的允许变化差值进行比较，在允许的变化差值之内认定为操作有效。

可选地，动作有效性判断模块设置在头戴式智能设备上。

可选地，动作有效性判断模块设置在独立于头戴式智能设备的处理单元上并与头戴式智能设备之间通讯连接。

根据本发明的另一方面，提供了一种判断头戴式智能设备操作有效性的方法，该方法包括：

感应人眼的动作信息，动作信息与头戴式智能设备的操作指令以预定规则相对应，用于操纵头戴式智能设备；

获取脉搏信息；

计算脉搏的间隔，并根据预设的阈值判断动作的有效性，其中，动作感应模块，脉搏信息获取模块均设置在头戴式智能设备上。

并且，获取在一定时间或设定的至少两个动作间隔之间的连续的脉搏信息，当计算得到的脉搏的间隔在所设定的阈值范围之内时，确定为动作有效并执行相应的动作。

此外，脉搏信息包括人体头部或面部某一部分体现的脉搏信息。

在一个实施例中，获取脉搏信息包括：

通过摄像头检测面部图像获取脉搏信息。

并且，处理摄像头获得的含有彩色人脸的视频后获得的人脸区域和面部位置坐标，至少进行肤色区域、和/或眼睛、和/或眼周部分割分类，对分类赋予不同的权重，对每一帧视频中的人脸区域进行三色通道分离，对每一通道取空间均值，并对采样数据进行ICA处理得到脉搏信息。

并且，该方法进一步包括：

分析的脉搏间隔的平均值，并计算实时脉搏间隔值与平均值之间的差值，的比较模块将差值与预设的允许变化差值进行比较，在允许的变化差值之内认定为操作有效。

采用本发明所述的技术方案后，带来以下有益效果：

根据本发明的技术方案，通过对头戴式智能设备的使用者的脉搏信息的获取，并根据所获取的脉搏信息与预设的阈值的比较结果，判断该头戴式智能设备的操作是否有效，从而很大程度上提高了头戴式智能设备的操作安全。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，下面结合附图对本发明的具体实施方式作进一步详细的描述。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1：根据本发明实施例的判断头戴式智能设备操作有效性的装置的结构框图；

图2a：根据本发明一个具体实施例的判断头戴式智能设备操作有效性的装置的结构框图；

图2b：根据本发明一个具体实施例的判断头戴式智能设备操作有效性的装置的结构示意图；

图3：根据本发明另一具体实施例的判断头戴式智能设备操作有效性的装置的结构框图；

图4：根据本发明另一具体实施例中一段持续时间为30个脉搏周期的视频进行处理后所获得的RGB三色信号序列数据示意图；

图5：根据本发明另一具体实施例中一段30个脉搏周期的面部视频采集数据后进行ICA处理，然后用算术平均滤波过滤后的效果示意图；

图6：根据本发明又一具体实施例中光电传感器结构示意图；

图7：根据本发明又一具体实施例中判断头戴式智能设备操作有效性的装置的结构框图；

图8：根据本发明再一具体实施例中根据本发明一个实施例中光电智能脉搏测量系统结构框图；

图9：根据本发明实施例的判断头戴式智能设备操作有效性的方法流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

根据本发明的实施例，提供了一种判断头戴式智能设备操作有效性的装置。

如图1所示，该头戴式智能设备至少包括动作感应模块110，用于感应人眼的动作；脉搏信息获取模块120，用以获取脉搏信息；动作有效性判断模块130，用于计算脉搏的间隔，并根据预设的阈值判断动作的有效性，其中，动作感应模块110，脉搏信息获取模块120均设置在头戴式智能设备上。

其中，脉搏信息获取模块120获取在一定时间或设定的至少两个动作间隔之间的连续的人体头部或面部某一部分体现的脉搏信息，当计算得到的脉搏的间隔在所设定的阈值范围之内时，确定为动作有效并执行相应的动作。

此外，在其他实施例中，脉搏信息获取模块120所获取的脉搏信息的时间段并不限于上述的一定时间或设定的至少两个动作间隔之间，也可以是该头戴式智能设备进行某一操作过程的时间段内，也可以是在电量等硬件环境允许的全部时间内，并无特殊限制。

例如以下具体实施例，如图2a和图2b所示判断头戴式智能设备操作有效性的装置100，其中，图2a为该头戴式智能设备的结构框图，图2b为该头戴式智能设备的结构示意图，该头戴式智能设备100包括佩戴支撑装置10、脉搏测量传感器20、动作传感器30、以及动作有效性判断模块130，其中，脉搏测量传感器20和动作传感器30均与动作有效性判断模块130相连接，并设置于佩戴支撑装置10上，脉搏测量传感器20用于获取该头戴式智能设备当前使用者面部指定部位的脉搏信息，并将该脉搏信息转换成电信号，传递给动作有效性判断模块130，动作传感器30用于感应人眼部动作，并将感应到的动作信息转换成电信号，传递给动作有效性判断模块130，动作有效性判断模块130接收表示实时接收到的脉搏信息的电信号，并计算实时接收到的脉搏间隔值，并将该间隔值与预先存储的阈值进行比较，当该间隔值落在预先存储的阈值范围之内时，则判断动作传感器30当前所感应到的人眼动作是有效的，并允许执行该动作所表示的指令信息，否则，认为动作传感器30所检测到的人眼动作无效，将其忽略。

需要说明的是，在动作感应模块110感应到人眼动作的情况下，脉搏信息获取模块120即开始获取脉搏信息，直到动作感应模块110感应不到人眼动作或者接收到操作结束指令时，脉搏信息获取模块120停止感应脉搏信息，在其他实施例中，脉搏信息获取模块120感应脉搏信息的时间也可以是某一操作进行的时间范围内，也可以是电量等硬件环境允许的全部时间内，总之，只要动作感应模块110感应到人眼动作脉搏信息获取模块120就应该伴随着脉搏信息的检测，从而实现对某一操作进行中动作有效性的监测。

佩戴支撑装置10佩戴于使用者身上，其将脉搏测量传感器20固定在某一相对用于使用者的检测部位静止的位置，以持续检测该使用者的脉搏信息，在本实施例中，佩戴支撑装置10佩戴于被检测者的头部，其为眼镜式结构，脉搏测量传感器20为非接触式脉搏测量传感器，包括一摄像头，该摄像头设置在该眼镜的支架前端部，通过检测面部图像获取脉搏信息，当然，在其他实施例中，该头戴式智能设备也可以是耳机、帽子、头套等，只要能使脉搏测量传感器20固定于使用者的被测部位即可，并且，脉搏信息获取模块120也可以是接触式脉搏测量传感器，例如用以检测耳脉或颞动脉的脉搏，接触式传感器可以通过一可转动的连杆与头戴式智能设备的支架相连接。

此外，根据需要，该头戴式智能设备还可以包括显示屏，在具有显示屏的情况下，脉搏测量传感器20将检测到的脉搏信息传送至显示屏，并通过显示屏显示该使用者的脉搏信息。

例如图3所示，在另一具体实施例中，判断头戴式智能设备操作有效性的装置的结构框图，其中，脉搏信息获取模块120包括一摄像头，用于获取该头戴式智能设备当前使用者的面部某指定部位的视频、或图像信息，并将该视频、或图像信息传递给动作有效性判断模块130，动作有效性判断模块130包括信号处理模块131和计算模块132，信号处理模块131处理摄像头获得的含有彩色人脸的视频后获得的人脸区域和面部位置坐标，至少进行肤色区域、和/或眼睛、和/或眼周部分割分类，对该分类赋予不同的权重，对每一帧视频中的人脸区域进行三色通道分离，对每一通道取空间均值，计算模块132对采样数据进行ICA处理得到脉搏信息，并分析该脉搏信息，得到脉搏间隔的平均值，并计算实时脉搏间隔值与平均值之间的差值。

并且，动作有效性判断模块130还包括比较模块133，连接于计算模块132，比较模块133将计算模块132计算得到实时脉搏间隔值与平均值之间的差值与预设的允许变化差值范围进行比较，在允许的变化差值范围之内认定为操作有效，允许此期间动作感应模块110所感应到的眼部动作所代表的操作执行，反之，如果实时脉搏间隔值与平均值之间的差值不在预设的允许变化差值范围内，则认定动作感应模块110此后，直到重新获取有效的动作信息之前，所感应到的人眼动作无效，将该动作忽略。

在本实施例中，对于使用者脉搏信息的获取与分析，可以通过以下方法实现：

本方法基于光电容积脉搏波描记法PPG和独立成分分析ICA模型，通过分析一段人脸视频实现非接触式测量脉搏。在正常环境下，通过摄像头获取一段人脸面部的彩色视频，对人脸区域进行三原色光模式RGB通道分离和ICA处理后，找到与人体脉搏波最为接近的一组分量作为测量结果。

1.首先介绍PPG和ICA的基本原理，然后介绍基于两者视频脉搏的测量过程，最后给出实验结果和对比数据。

1.1PPG简介

PPG是一种借助光电手段在活体组织中检测血液容积变化的无创式检测方法。当一定波长的光束照射到皮肤表面时，将通过透射或反射的方式传送出去，在此过程中，由于光受到皮肤、肌肉、组织和血液的吸收，光的强度会减弱。其中皮肤、肌肉、组织等对光的吸收在整个血液循环中是保持恒定不变的，而皮肤内的血液容积在心脏作用下呈搏动性和周期变化：心脏收缩时，外周血容量最多，对光的吸收量也最大，传送出去的光强度也就最小；反之，心脏舒张时，传送出去的光强度最大。这样接收到的光强度就随心脏跳动呈现脉动性周期性变化。

血液容积包含有心搏功能、血液流动等诸多心血管系统的重要生理信息，同样包含有丰富的微循环生理病理信息，是研究人体循环系统的重要信息来源。这种光电技术可以提供有关心血管系统的信息，如心率、血压、血流、血氧、呼吸容积、微循环外周血管、动脉血氧饱和度等。

本实施例即基于这一生物光学原理，但由于在通常情况下，光电容积需要使用专用的光束作为光源，而本实验的目标是研究在自然光源下分离出含有特定信号的光源信息的方法和可行性。假设实验环境光照强度恒定，设为常量ａ，血液容积对自然光强度的吸收为ｘ，通过仪器（如普通家用摄像头）观测得到光强度为f（x），可以得到：

f（x）=a-x    (1)

f（x）和ｘ具有相同的周期和频率，所以理论上可以通过摄像头检测人脸区域特定波长的光强度的周期性变化，实现人体脉搏的测量。

1.2ICA简介

ICA是信号处理领域在20世纪90年代后期发展起来的一种全新的信号处理和数据分析方法，目的在于从未知源信号所观测到的混合信号中分离（或抽取）相互统计独立的源信号，在信号处理、数据挖掘、特征提取、神经网络等许多领域有着广泛的应用。

ICA假设存在ｎ个相互独立统计源信号s（t）=[s1（t），s2（t），...，sn（t）]^T，观测信号x（t）=[x1（t），x2（t），...，xn（t）]^T是源信号各分量的线性混合（ｔ是时间或者样本标号），即

x（t）=As（t）    (2)

其中A∈R^n×n是未知非奇异混合矩阵。ＩＣＡ的目的是在只知道混合信号x（t）的情况下，获得ｎ×ｎ解混矩阵W=[w1（t），w2（t），...，wn（t）]^T，得到

y（t）=Wx（t）    (3)

其中，y（t）=[y1（t），y2（t），...，yn（t）]^T，且使得y（t）中的各分量尽可能相互统计独立。这样y（t）就可以作为源独立成分的估计，即

$y\left(t\right)=\hat{s}{\left(t\right)}^{[5-9]}---\left(4\right)$

其中为源独立成分的估计。在本实施例中，对视频的处理是在RGB三色通道中完成，相当于3个传感器观测源信号，目的是在分离后的三色独立分量中找到周期或频率与对比试验中比较接近的一组分量。

2.实现过程

2.1获取采样数据

在摄像头获得含有彩色人脸的视频后，使用Opencv（开源计算机视觉库，封装了数字图像处理常用的库函数）获得人脸区域和面部位置坐标。该过程在YC_bC_r彩色空间进行，通过肤色区域检测、眼睛检测，眼周部检测以及人脸候选区域分割等级联结构完成。本级联结构中，不同的分类器被赋予不同的权重，通过所有的检测过程，才意味着该视频帧中含有面部区域。然后对每一帧视频中的人脸区域进行RGB三色通道分离，并对每一通道取空间均值。设人脸区域的尺寸为M×N，在RGB色彩空间模型中，每一个像素点用一组(R,G,B)数据表示，RGB通道的分量为(R,0,0)，(0,G,0)，(0,0,B)。每一帧中，任一通道均值的数学表达式为

${\stackrel{\‾}{x}}_k=\frac{\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\underset{j=0}{\overset{N}{\mathrm{\Σ}}}{x}_k}{M\×N},(k=\mathrm{1,2,3})---\left(5\right)$

其中x_k为对应分量的有效值。这样可以得到观测到的信号其中ｔ为视频帧的时间序列。图4是对一段持续时间为30个脉搏周期的视频进行处理后所获得的RGB三色信号序列数据，其中，（a）为红通道；（b）为绿通道；（c）为蓝通道。

2.2对采样数据进行ICA处理及结果

在ICA过程中，由于混合矩阵A和信源信号s（t）未知，若无其它任何可用信息，仅利用s（t）各分量之间相互统计独立的条件，从接收信号x（t）中估计出A和s（t），必定为多解，因此必须做一些符合工程应用的假设和约束条件。ICA的两个基本假设条件为：（1）源信号各分量之间相互统计独立；（2）源信号中最多只能有一个高斯信号。本文采用的是基于互信息最小化的FastICA算法。具体步骤如下：

（1）对数据进行中心化和白化得到z（t）；

（2）选择一个具有单位范数的初始化矩阵Ｗ；

（3）对每个ｉ＝1，…，ｎ，令w_i←E｛Zg（w_i ^Tz））｝-E｛g'（w_i ^T）z｝w_i，函数ｇ是根据数据的高斯性选定的非线性函数；

（4）对矩阵Ｗ＝（ｗ1，…，ｗｎ）^Ｔ进行对称正交化：

W←(WW^T)^-1/2W

(5)如果不收敛，返回步骤(3)。

得到分离矩阵Ｗ后，带入式(2)，可以得到估计的源信号［5-9］。如图5是对一段30个脉搏周期的面部视频采集数据后进行ICA处理，然后用算术平均滤波过滤后的效果。其中，B表示蓝通道数据，G表示绿通道数据，R表示红通道数据，经过ICA处理过后，得到估计的成分Ⅰ、估计的成分Ⅱ、以及估计的成分Ⅲ，然后经过算术平均过滤，得到过滤后的成分（1）、过滤后的成分（2）、以及过滤后的成分（3），其中，经过与使用者手动把脉获得的脉搏信息相比较之后，确定过滤后的成分（3）相对于其余两个更具有脉冲波的特征，所以选择估计成分Ⅲ作为有效的源信号，以其脉搏间隔值作为本实施例的脉搏信息的数据。

此外，在又一实施例中，还可以通过以下方式获取使用者的脉搏信息：

1.光电传感器工作原理

红外光投射到毛细血管时,由于毛细血管的动脉血在血液循环过程中呈周期性的脉动变化引起透光度的变化,于是红外接收管输出的信号的变化也是周期性变化的,反映了动脉血的变化情况,从而实现了光信号的到电信号的转变,然后将光电信号进行滤波、放大、整形、A/D转换和进一步处理。利用耳套式、或者头套式投射光电传感器,光电传感器结构示意图如图6。

配置在支架60上的红外发光管61发出的光穿过被测部位62的皮肤进入深层组织,被皮肤、色素、指甲、血液等吸收外，一部分由皮肤和血液漫反射回，其余部分则投射出来,被红外接收管63接收，这种方法可较好地指示心率的时间关系，并可用于脉搏波形的测量。

2.测量系统设计

光电智能脉搏波测量系统以ATmega8单片机为核心,由于ATmega8是低功耗、高性能、抗干扰能力强、8K可多次擦写的Flash具有多重密码保护锁死(LOCK)功能的AVR高速单片机,因此可以高速的进行数据处理。由光电传感器作为输入，通过对输入信号进行放大、滤波、16位A/D转换后传输到单片机处理，并将处理过后的数据传输至动作有效性判断模块130，如图7所示。

2.1光电传感器电路设计

传感器电路是本设计关键,其性能的好坏直接影响到后置电路的处理和结果的显示。在人体呼吸过程中,血液中的载氧血红蛋白的含量和还原血红蛋白的含量在变化,使得血液对光的吸收系数在变化,故拾取到的脉搏波曲线的基线往往随呼吸运动起伏变化。所以采用红外发光管作为光源,对由呼吸运动造成的脉搏波曲线的漂移有抑制作用。

接收电路的核心元件是光敏三极管，为了获得最佳的信噪比，前置电路采用低噪声放大器,尽量降低输入噪声。因此选用低噪声光敏器件及电阻,采用低电平供电,根据传感器输出源阻抗特性，确定低噪声工作点和进行噪声匹配，以便获得最小的噪声系数。

2.2信号调理电路的设计

动脉脉搏波是低频、微弱的生理信号,必须经过滤波和放大,以满足信号采集的要求。动脉脉搏信号频率基本限制在0.1～20Hz以内，为了去除高频干扰，尤其是50Hz的工频干扰,采用频带合适的低通滤波电路，以便检出信号具有最大的保真度。对放大电路,要求运放具有较高的输入阻抗,低输入失调电压,小的漂移，实现了图7中信号放大、和滤波的步骤。

2.3信号处理系统

信号处理系统以ATmega8单片机为核心，配以A/D转换、程序存储器、数据存储器及键盘等,用来完成脉搏信号的A/D转换、参数计算、存储及设置各种工作方式。

动作有效性判断模块130包括信号分析处理模块（未示出）和比较模块(未示出)，信号分析处理模块分析一预定时间段内接收到脉搏信息，得到脉搏间隔平均值，并计算实时脉搏间隔值与平均值之间的差值，将表示该差值的电信号传递给比较模块，比较模块将该差值与预设的允许变化差值范围进行比较，在允许的变化差值之内认定为操作有效，允许此期间动作感应模块110所感应到的眼部动作所代表的操作执行，反之，如果实时脉搏间隔值与平均值之间的差值不在预设的允许变化差值范围内，则认定动作感应模块110在此期间感应到的人眼动作无效，将该动作忽略。

需要说明的是，脉搏波测量是一个比较复杂的过程，必须通过系统软件来实现，由于使用ATmega8单片机使得系统的计时、计数和实时显示功能得到方便的实现。单片机系统软件主要包括主程序,数据采集子程序、数字滤波子程序、键盘扫描子程序、脉率计算子程序及RS232通讯子程序。各子程序可单独调试,结构清晰，调用和扩展方便。

计算机软件系统VB编写，主要是接收来自RS232接口的数据,将接收到的数据进行曲线拟合,并可以将拟合后的脉搏波形图显示出来。

如图8所示，在再一具体实施例中，可鉴定操作有效性的头戴式智能设备的结构框图，其中，脉搏信息获取模块120为接触式传感器，该接触式传感器通过一可转动的连杆与头戴式智能设备的支架相连接，用以检测耳脉或颞动脉的脉搏，包括脉搏采集模块121、数据处理模块122、通信模块123，并且，脉搏采集模块121、数据处理模块122、通信模块123依次顺序电连接，其中，

脉搏采集模块121设计成垫状，设置在该头戴式智能设备上，对应于该使用者的检测部位，如耳内或耳部周围，以检测到该使用者的耳脉或颞动脉的脉搏信息，实现对该使用者脉搏的感应，其中，脉搏采集模块121可以只设置一个，也可以在两个耳部或耳部周各设置一个。

数据处理模块122读取从脉搏采集模块121获得的数据信息，并对该数据信息进行处理，实时监测在一预定时间间隔内的的脉搏间隔值。该模块由一个基于微处理器的电路板组成,包含一个低功率、高性能的8位AVR微处理器ATmega16L、外围元件(电阻、电容等)和电源。本实施例采用具有10位分辨率的4个ADC输入通道,将脉搏采集模块产生的模拟电压信息转换为数字数据。该微处理器的时钟频率为8MHz。所有电路的工作电压为5V,由LM78L05分压器和一个7.4V锂电池提供。该模块简洁轻便,可以通过线路与脉搏采集模块21连接,并便于与头戴式智能设备集成。

通信模块123用于将经过基于微处理器的数据处理模块122处理后的数字数据实时地无线传输到动作有效性判断模块130。

在实施例中,由于数字信息量小,可以采用高采样率的无线传输方式。因此,选取低功耗的无线电通信模块GW100B(其大小为56mm×28mm×7mm)。无线电发射器和接收器分别与基于微处理器的数据处理模块和后台相连。传输距离在无障碍情况下可以达到5ｍ范围。GW100B的前向纠错处理实现了低误差率,使得整个系统可靠。

此外，在其他实施例中，如果动作有效性判断模块130设置在该头戴式智能设备上，也可以采用有线通信的方式将两者相连接。

动作有效性判断模块130包括信号分析处理模块134和比较模块135，信号分析处理模块134分析一预定时间段内接收到脉搏信息，得到脉搏间隔的平均值，并计算实时脉搏间隔值与平均值之间的差值，将表示该差值的电信号传递给比较模块135，比较模块135将该差值与预设的允许变化差值范围进行比较，在允许的变化差值之内认定为操作有效，允许此期间动作感应模块110所感应到的眼部动作所代表的操作执行，反之，如果实时脉搏间隔值与平均值之间的差值不在预设的允许变化差值范围内，则认定动作感应模块110在此期间感应到的人眼动作无效，将该动作忽略。

此外，在本实施例中，比较模块135进一步包括可调电阻（未示出）和调节件（未示出），其中，可调电阻用于调节临界值电压信号，本实施例中，通过调节件来改变可调电阻的电阻值，以调节临界值电压信号。

此外，比较模块135还包括存储体温信息的存储单元(图未示出)，用于存储预设的图像信息允许变化差值。

此外，比较模块135进一步包括信息采集单元（未示出），该信息采集单元连接于存储单元，用于在首次使用该头戴式设备，或者，该头戴式智能设备要更换使用者的情况下，对用户身份信息进行采集，在该信息采集单元接收到信息采集指令的情况下，需要一定时间（例如：3分钟）的用户身份信息的读取与保存过程，在这段时间内，该信息采集单元模块连续读取当前使用者面部某指定部位的图像信息，并记录该图像信息在该时间段内的整体变化趋势，并根据该变化趋势确定距离信息的允许变化差值范围，并将表示该允许变化差值范围的电信号存储于存储单元中。

此外，在以上任一实施例中，动作有效性判断模块130可以设置在头戴式智能设备上，也可以设置在独立于头戴式智能设备的处理单元上并与该头戴式智能设备之间通讯连接，其中，通讯连接的方式可以包括wifi、或蓝牙等。

根据本发明的实施例，还提供了一种判断头戴式智能设备操作有效性的方法。如图9所示，该方法包括：

步骤S910，感应人眼的动作信息，动作信息与头戴式智能设备的操作指令以预定规则相对应，用于操纵头戴式智能设备；

步骤S920，获取脉搏信息；

步骤S930，计算脉搏的间隔，并根据预设的阈值判断动作的有效性。

在一个实施例中，获取在一定时间或设定的至少两个动作间隔之间的连续的脉搏信息，当计算得到的脉搏的间隔在所设定的阈值范围之内时，确定为动作有效并执行相应的动作。

并且，脉搏信息包括人体头部或面部某一部分体现的脉搏信息。

此外，获取脉搏信息包括：

通过摄像头检测面部图像获取脉搏信息。

并且，处理摄像头获得的含有彩色人脸的视频后获得的人脸区域和面部位置坐标，至少进行肤色区域、和/或眼睛、和/或眼周部分割分类，对分类赋予不同的权重，对每一帧视频中的人脸区域进行三色通道分离，对每一通道取空间均值，并对采样数据进行ICA处理得到脉搏信息。

并且，分析的脉搏间隔的平均值，并计算实时脉搏间隔值与平均值之间的差值，的比较模块将差值与预设的允许变化差值进行比较，在允许的变化差值之内认定为操作有效。

可以理解，随着信息时代的发展，通过人的眼部动作信息等发送操纵指令来完成某些操作的技术已经越来越完善，在解放人双手的同时，也存在弊端，比如，在现有技术中，并没有一种方式可以对头戴式智能设备所接收的到的动作信息的有效性进行判断，如果执行了无效的动作信息、或者忽略了有效的动作信息，都会给用户造成不必要的麻烦或者损失，所以，通过以上方式，可以实现对头戴式智能设备的使用者的脉搏信息的实时监测，通过实时了解到的脉搏信息与预先存储的脉搏信息的比较，可以实现对接收到的动作信息进行有效性判断，例如以下场景：

（场景一）例如，用户应用头戴式智能设备登陆某购物网站购买多个商品，并且，通过眨眼动作指令传递购买信息，在预定时间内，如果动作有效性判断模块所检测到的脉搏间隔时间的波动范围没有超出预设范围，则判定此期间该设备所接收到的眨眼动作指令有效，用户可以在此期间买多个产品（假如次眨眼指令表示一次购买信息），如果动作有效性判断模块所检测到的脉搏间隔时间的波动超出了预定范围，则判断此后、直到重新接收到有效的操作指令之前所接收到的操作指令无效，不能应用该指令传递购买信息，从而使用户顺利地完成购买任务。

（场景二）用户使用头戴式智能设备观看视频或者查阅文件，用户通过眨眼、或者瞪眼等眼部动作控制该文件的打开、关闭、或者快进、快退、上下翻页等，此时，也可以通过上述的动作有效性判断方式来保证该文件查阅者的查阅动作是否有效，例如，在一预设时间内（可以是用户观看某段视频、或者查阅某个文件的时间），如果动作有效性判断模块所检测到的脉搏间隔时间的波动范围没有超出预设范围，则判定此期间该设备所接收到的眨眼动作指令有效，用户可以在此期间连续地观看该视频或者查阅该文件，如果动作有效性判断模块所检测到的脉搏间隔时间的波动超出了预定范围，则判断此后、直到重新接收到有效的操作指令之前所接收到的操作指令无效，关闭当前正在播放的视频、或者文件。此外，上述的头戴式智能设备可以是眼镜、也可以是帽子、耳机、头套、头盔等等。

此外，在首次使用该头戴式设备，或者，该头戴式智能设备要更换使用者的情况下，需要对用户身份信息进行采集，该功能可以由脉搏信息获取模块实现，也可以新增信息采集模块，在该模块接收到信息采集指令的情况下，需要一定时间（例如：3分钟）的用户身份信息的读取与保存过程，在这段时间内，该模块连续读取的脉搏信息，并记录脉搏信息在该时间段内的整体变化趋势，并根据该变化趋势确定预定的允许变化差值范围，正常情况下，可能会出现人的脉搏信息在某一个、或者多个时间点出现剧烈变化，超出该波动范围，但是，只要该剧烈变化持续时间非常短，或者仅仅是一个时间点出现的，并且变化恢复后，该信息的整体变化趋势并没有发生改变，则仍然认为该情况是动作有效性验证允许的。

此外，需要说明的是，在上述任一实施例中，脉搏信息获取模块所获取的脉搏信息可以是一次眼部动作之前、或者之后、或者包含该眼部动作在内的一段时间内的脉搏体温信息，也可以是两次或者多次眼部动作之间的时间段内脉搏信息，总之，检测脉搏信息的目的是保证在该动作指令的过程中并没有更换使用者、或者该头戴式智能设备没有被取下，所以，只要检测到使用者的眼部动作，便需要伴随着对脉搏信息的持续检测，检测脉搏信息的时间点、时间长度，并无过多限制。

此外，在上述任一实施例中，还可以继续增加省电装置，该装置用于在脉搏信息获取模块持续一定时间（比如：5分钟）内都检测不到预设范围内的脉搏信息，则可以默认为该头戴式智能设备离开人体，或者使用出现异常，自动进入休眠状态。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的判断头戴式智能设备操作有效性的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

根据本发明的技术方案，通过对头戴式智能设备的使用者的脉搏信息的获取，并根据所获取的脉搏信息与预设的阈值的比较结果，可以对该头戴式智能设备所接收到的操作信息的有效性进行判断。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种判断头戴式智能设备操作有效性的装置，其特征在于，至少包括动作感应模块，用于感应人眼的动作；脉搏信息获取模块，用以获取脉搏信息；动作有效性判断模块，用于计算脉搏的间隔，并根据预设的阈值判断所述动作的有效性，其中，所述动作感应模块，脉搏信息获取模块均设置在所述头戴式智能设备上。 

2.根据权利要求1所述的判断头戴式智能设备操作有效性的装置，其特征在于，所述脉搏信息获取模块获取在一定时间或设定的至少两个动作间隔之间的连续的脉搏信息，当计算得到的脉搏的间隔在所设定的阈值范围之内时，确定为动作有效并执行相应的动作； 

优选地，所述的脉搏信息获取模块获取人体头部或面部某一部分体现的脉搏信息。 

3.根据权利要求1或2所述的判断头戴式智能设备操作有效性的装置，其特征在于，所述的脉搏信息获取模块至少包括一接触式或非接触式传感器，所述的接触式传感器用以检测耳脉或颞动脉的脉搏；所述非接触式传感器至少包括一摄像头，所述摄像头设置在头戴式智能设备的支架上，通过检测面部图像获取脉搏信息， 

优选地，所述接触式传感器通过一可转动的连杆与头戴式智能设备的支架相连接； 

优选地，所述动作有效性判断模块包括信号处理模块和计算模块，信号处理模块处理摄像头获得的含有彩色人脸的视频后获得的人脸区域和面部位置坐标，至少进行肤色区域、和/或眼睛、和/或眼周部分割分类，对所述分类赋予不同的权重，对每一帧视频中的人脸区域进行三色通道分离，对每一通道取空间均值，所述计算模块对采样数据进行ICA处理得到脉搏信息； 

进一步优选地，所述动作有效性判断模块还包括比较模块，所述计算模块分析所述的脉搏间隔的平均值，并计算实时脉搏间隔值与平均值之间的差值，所述的比较模块将差值与预设的允许变化差值进行比较，在允许的变化差值之内认定为操作有效。 

4.根据权利要求1至3中任一项所述的判断头戴式智能设备操作有效性的装置，其特征在于，所述动作有效性判断模块设置在所述头戴式智能设备上。 

5.根据权利要求1至3中任一项所述的判断头戴式智能设备操作有效性的装置，其特征在于，所述动作有效性判断模块设置在独立于所述头戴式智能设备的处理单元上并 与所述头戴式智能设备之间通讯连接。 

6.一种判断头戴式智能设备操作有效性的方法，其特征在于，包括： 

感应人眼的动作信息，所述动作信息与所述头戴式智能设备的操作指令以预定规则相对应，用于操纵所述头戴式智能设备； 

获取脉搏信息； 

计算脉搏的间隔，并根据预设的阈值判断所述动作的有效性，其中，所述动作感应模块，脉搏信息获取模块均设置在所述头戴式智能设备上。 

7.根据权利要求6所述的判断头戴式智能设备操作有效性的方法，其特征在于，获取在一定时间或设定的至少两个动作间隔之间的连续的脉搏信息，当计算得到的脉搏的间隔在所设定的阈值范围之内时，确定为动作有效并执行相应的动作。 

8.根据权利要求6或7所述的判断头戴式智能设备操作有效性的方法，其特征在于，所述脉搏信息包括人体头部或面部某一部分体现的脉搏信息。 

9.根据权利要求6至8中任一项所述的判断头戴式智能设备操作有效性的方法，其特征在于，所述获取脉搏信息包括： 

通过摄像头检测面部图像获取脉搏信息。 

10.根据权利要求9所述的判断头戴式智能设备操作有效性的方法，其特征在于，进一步包括： 

处理摄像头获得的含有彩色人脸的视频后获得的人脸区域和面部位置坐标，至少进行肤色区域、和/或眼睛、和/或眼周部分割分类，对所述分类赋予不同的权重，对每一帧视频中的人脸区域进行三色通道分离，对每一通道取空间均值，并对采样数据进行ICA处理得到脉搏信息； 

优选地，分析所述的脉搏间隔的平均值，并计算实时脉搏间隔值与平均值之间的差值，所述的比较模块将差值与预设的允许变化差值进行比较，在允许的变化差值之内认定为操作有效。