CN102789326B - 一种基于静电探测的非接触式人机交互方法 - Google Patents

Abstract

本发明公开的一种非接触式人机交互方法，属于人机交互领域。本发明的实现方法为：布设能检测到人体手部运动静电信号的多极板探测阵列；获得人体手部的运动方向与速度和人体手部水平面垂直方向运动速度；根据上述参数确定手部实时位置和运动状态。根据手部实时位置和运动状态，对计算机鼠标操作进行匹配，从而根据手部静电探测信号完成选中、拖动和打开的人机交互功能。本发明将非接触式静电探测技术应用于人机交互领域，可减小人体手部速度与方向测量技术的工作死角区，降低人体手部运动探测系统的设计复杂程度，降低交互系统对环境的要求，实现对手部实时位置与运动状态的测量，通过判定手部运动状态，实现对计算机鼠标的操作。

Description

一种基于静电探测的非接触式人机交互方法

技术领域

本发明涉及一种非接触式人机交互方法，尤其涉及一种基于静电探测的非接触式人机交互方法，属于人机交互领域。

背景技术

随着计算机技术的迅猛发展，计算机已经成为人们日常生活不可或缺的一部分。人机交互技术作为计算机用户界面的重要组成部分，一直是研究的热点。几十年来，人们一直广泛地使用键盘、鼠标来操纵计算机，这些传统的交互方式难以满足用户随时随地、自然高效的交互行为需求。在传统的交互方式下，人们只能用“计算机的思维”去和计算机进行交流，“说”计算机“听得懂的话”。人机交互研究的一个重要目标，就是把人类思维与计算机思维的结合点向人类思维的方向移动，让计算机尽可能的理解人类的行为，以人与人之间的交流方式与用户进行沟通，而不总是让用户来适应计算机，让人机交互变得自然、和谐。口语、书面语言、肢体语言、表情等是人与人之间交流经常使用的自然语言，这些人类自然形成的认知习惯和形式，必然是人机交互的发展方向。为了达到人机交互自然和谐的高级目标，也为了克服当前已有的交互技术的不足，基于自然语言的交互方式受到了很多研究人员的重视。基于口语的交互比如语音输入、语音合成，基于表情的交互比如眼动输入，基于肢体语言的比如手势输入等先进的交互方式，都是当前人机交互研究领域的热点。

与传统的交互方式如键盘、鼠标相比，直接用手作为输入自然、简洁、直接且表意丰富。直接用手作为输入，需要对手部位置和运动状态进行测量，“Anadaptive Kalman-based Bayes estimation technique to classify locomotor activitiesin young and elderly adults through accelerometers”R.Muscillo，M.Schmid，S.Conforto and T.D’Alessio，Med.Eng.Phys.32，849-859(2010)、“Detection of pedestrians in far-infraredautomotive night vision using region-growing and clothing distortion compensation”R.O’Malley，E.Jonesa，and M.Glavin，Infrared.Phys.Techn.53，439-449(2010)、“Human detection using amobile platform and novel features derived from a visual saliency mechanism”S.Montabone，and A.Soto，Image.Vision.Comput.28，391-402(2010)中分别通过在人体手部安装传感器、红外探测技术及图像模式识别技术实现对人体手部的测速。然而由于室内存在加热、照明等发射红外信号的设备，同时在室外环境中存在光照等红外辐射源，使得应用于人体手部运动测量的红外探测技术的误差率偏高。穿戴式传感器网络能够有效地测量人体手部的运动速度和角度，但由于需要将探测器安装在人体手部上，存在着使用不方便的缺陷，同时将会对人体手部的运动状态造成影响。目前最常用的是基于视觉的手势交互，利用摄像头对手势进行非接触式的捕获，是一种自然的交互方式。但是基于视觉的方法容易受到背景变化、环境光照变化等影响，摄像头获取的图像背景复杂，手势表观也会受其严重影响，对手势图像的分析非常复杂，很难保证交互系统的实时性，在摄像头的视频死角区域无法发挥作用，因此，基于视觉的人机交互方式具有数据处理复杂，实时性差且有视角限制的缺点。

而静电探测技术是利用运动中物体所带的静电实现对目标的探测识别。

“Triboelectrification of houseflies(Musca domestic L.)walking on syntheticdielectric surfaces”Mcgonigle D F，Jackson C W and Davidson J L 2002 J.Electrostat 54167-177中首次提出对爬行中的昆虫进行静电探测的方法。受此启发，“Electrification of human body by walking”Ficker T 2006 J.Electrostat 6410-16通过安装在人身体上的静电计对运动中人体电势的变化进行了研究。由于一切运动的物体都会带上静电，而静电场具有唯一的边界条件，因此通过静电场的变化，对运动的带电人体手部可以进行定位测量，因此将静电探测方法应用于测量人体及人体四肢运动，并且进行人机交互是可行的，国内外尚未有将静电探测方法应用于非接触式人机交互的应用。

发明内容

本发明要解决的技术问题是利用非接触式静电探测方式实现人机交互操作，通过非接触式静电探测方法测量人体手部运动速度与方向，确定手部实时位置，通过判定手部运动状态，控制计算机鼠标的操作。本发明公开了一种通过静电探测方式获取人体手部实时位置和运动状态，从而对计算机鼠标进行操作的方法，该方法将非接触式静电探测技术应用于对人体手部运动速度和运动方向的测量中，可减小人体手部速度与方向测量技术的工作死角区，降低人体手部运动探测系统的设计复杂程度，实现对手部实时位置与运动状态的测量，通过判定手部运动状态，实现对计算机鼠标的人机交互操作。

本发明的目的是通过下述技术方案实现：

本发明公开的一种基于静电探测的非接触式人机交互方法具体实现步骤如下：

步骤一：布设能检测到人体手部运动静电信号的多极板探测阵列，所述探测阵列包括至少一组多极板探测单元；多极板探测单元由五个极板组成，其中四个极板分成两对，两对极板间的连线互相垂直，每对极板间距离为d，d≤200cm，四个极板位置布置呈正方形；第五个极板布置在垂直于四个极板所在平面的方向上，并且距离四个极板距离相同，距离四个极板所在平面距离为d，五个极板构成一个空间四棱椎体。极板间距离为d相对于人体手部运动距离较小，分析的运动距离d所用的时间相对于人体手部运动时间较小，因此测得的速度即为人体实时运动速度；

步骤二：采集监测环境中的静电信号，所述的静电信号是每个时刻探测系统获取的静电感应信号电势值；

步骤三：将该采集到的静电感应信号电势值与预设判据对比，如果该静电感应信号与该预设判据相同，则认为检测到了人体手部运动的存在；

步骤四：记录步骤二中检测到的人体手部运动在每个极板上所产生的静电感应信号的波峰值，读取每个极板上紧随波峰值的过零点时刻；定义中首先探测到静电感应信号的极板与其相对的极板组成极板对一，极板对一中首先探测到静电感应信号的极板为极板1，另一个极板为极板2；另一对极板为极板对二，极板对二中首先探测到静电感应信号的极板为极板4，另一个极板为极板3；步骤一中所述的第五个极板为极板5；分别读取多极板探测单元中极板1，极板2，极板3，极板4，极板5采集到的紧随波峰值的过零点时刻t₁，t₂，t₃，t₄，t₅；人体手部在极板1，2，3，4构成的水平面上运动方向α和人体手部运动速度V满足公式(1)和(2)：

$\mathrm{\α}=\arccos \frac{V(t_1-t_2)}{d}---\left(1\right)$

$\mathrm{\α}=\arcsin \frac{V(t_3-t_4)}{d}---\left(2\right)$

步骤五：联立公式(1)和(2)即可获得人体手部在极板1，2，3，4构成的水平面上运动方向α为：

$\mathrm{\α}=\mathrm{arctg}\left(\frac{t_3-t_4}{t_1-t_2}\right)---\left(3\right)$

人体手部在极板1，2，3，4构成的水平面上运动速度V为：

$V=\frac{d}{\sqrt{{(t_3-t_1)}^2+{(t_4-t_2)}^2}}---\left(4\right)$

步骤六：人体手部在极板1，2，3，4构成的水平面垂直方向运动速度V′为：

$V^{\′}=\frac{d}{\frac{\sqrt{{(t_3-t_1)}^2+{(t_4-t_2)}^2}}{2}-t_5}---\left(5\right)$

步骤七：多极板探测单元的数量及布阵方式根据实际探测目标区域需要而定，多极板探测阵列中多组多极板探测单元能探测到不同位置处的人体手部的人体手部在极板1，2，3，4平面内的实时运动方向α和人体手部实时运动速度V，以及在垂直极板1，2，3，4平面上的速度V′，在得到人体手部实时运动方向α和人体手部实时运动速度V和V′后，即已经跟踪到人体手部实时运动轨迹，确定手部实时位置和运动状态。

步骤八：根据手部实时位置和运动状态，把手部动作分为移动、单次敲击和连续敲击三种，移动定义为对应鼠标的拖动动作，单次敲击定义为鼠标的选中操作，连续敲击定义为鼠标的打开操作，按照上述定义对计算机鼠标操作进行匹配，从而根据手部静电探测信号完成选中、拖动和打开的人机交互功能。

所述的基于静电探测的非接触式人机交互系统包括探测极板、电流-电压转换电路、放大器、低通滤波器以及数据采集处理电路以及计算机。探测极板获取静电感应电荷量，电荷量的变化产生静电感应电流，产生的电流经过电流-电压转换电路变为电压值，然后经过放大器幅值得到放大，随后经过低通滤波电路去除噪声。数据采集处理电路将滤波后的静电感应电压信号进行采集和运算处理，最后数据处理电路把鼠标操作信息传递给计算机。

步骤三中所述的预设判据为：采集到的静电感应信号的幅值先由小变大，随后又由大变小；采集到的静电感应信号具有周期连续性，每个周期内的静电感应信号均出现两个波峰，其中后一个波峰的幅值小于前一个波峰的幅值的一半。

步骤三中多极板探测阵列包括多个多极板探测单元，多极板探测单元的数量及布阵方式根据实际探测目标区域需要而定，多极板探测阵列可以给出不同位置处的人体手部的实时状态，提高人机交互的区域范围和精度。

由于遮挡物无法彻底阻碍静电场的传输，因此利用非接触式静电探测技术进行人机交互受遮挡物影响小，所以通过非接触式静电探测技术进行人机交互具有工作死角区小的优点。

有益效果：

1本发明的基于静电探测的非接触式人机交互方法，可以通过非接触式静电探测方法测量人体手部运动速度与方向，确定手部实时位置，通过判定手部运动状态，控制计算机鼠标的操作。

2、本发明的基于静电探测的非接触式人机交互方法，由于利用了静电感应信号传播过程中受遮挡物阻碍小的特点，具有工作死角区小的特点。

3、本发明的基于静电探测的非接触式人机交互方法，通过简单的电极布设和频谱分析即可进行人机交互，具有硬件结构简单、逻辑算法设计简单的特点。

附图说明

图1是运动的人体手部与一组多极板探测单元相对位置关系示意图；

图2是本发明的基于静电探测的非接触式人机交互系统原理框图；

具体实施方式

下面结合附图详细描述本发明的具体实施方式。

本实施例的一种基于静电探测的非接触式人机交互方法具体实现步骤如下：

步骤一：布设能检测到人体手部运动静电信号的多极板探测阵列，所述探测阵列包括至少一组多极板探测单元；多极板探测单元由五个极板组成，其中四个极板分成两对，两对极板间的连线互相垂直，每对极板间距离为d，d≤200cm，四个极板位置布置呈正方形；第五个极板布置在垂直于四个极板所在平面的方向上，并且距离四个极板距离相同，距离四个极板所在平面距离为d，五个极板构成一个空间四棱椎体。极板间距离为d相对于人体手部运动距离较小，分析的运动距离d所用的时间相对于人体手部运动时间较小，因此测得的速度即为人体实时运动速度；

步骤二：采集监测环境中的静电信号，所述的静电信号是每个时刻探测系统获取的静电感应信号电势值；

步骤三：将该采集到的静电感应信号电势值与预设判据对比，如果该静电感应信号与该预设判据相同，则认为检测到了人体手部运动的存在；

步骤四：记录步骤二中检测到的人体手部运动在每个极板上所产生的静电感应信号的波峰值，读取每个极板上紧随波峰值的过零点时刻；定义中首先探测到静电感应信号的极板与其相对的极板组成极板对一，极板对一中首先探测到静电感应信号的极板为极板1，另一个极板为极板2；另一对极板为极板对二，极板对二中首先探测到静电感应信号的极板为极板4，另一个极板为极板3，步骤一中所述的第五个极板为极板5；分别读取多极板探测单元中极板1，极板2，极板3，极板4，极板5采集到的紧随波峰值的过零点时刻t₁，t₂，t₃，t₄，t₅；人体手部在极板1，2，3，4构成的水平面上运动方向α和人体手部运动速度V满足公式(1)和(2)：

$\mathrm{\α}=\arccos \frac{V(t_1-t_2)}{d}---\left(1\right)$

$\mathrm{\α}=\arcsin \frac{V(t_3-t_4)}{d}---\left(2\right)$

步骤五：联立公式(1)和(2)即可获得人体手部在极板1，2，3，4构成的水平面上运动方向α为：

$\mathrm{\α}=\mathrm{arctg}\left(\frac{t_3-t_4}{t_1-t_2}\right)---\left(3\right)$

人体手部在极板1，2，3，4构成的水平面上运动速度V为：

$V=\frac{d}{\sqrt{{(t_3-t_1)}^2+{(t_4-t_2)}^2}}---\left(4\right)$

步骤六：人体手部在极板1，2，3，4构成的水平面垂直方向运动速度V′为：

$V^{\′}=\frac{d}{\frac{\sqrt{{(t_3-t_1)}^2+{(t_4-t_2)}^2}}{2}-t_5}---\left(5\right)$

步骤七：多极板探测单元的数量及布阵方式根据实际探测目标区域需要而定，多极板探测阵列中多组多极板探测单元能探测到不同位置处的人体手部的人体手部在极板1，2，3，4平面内的实时运动方向α和人体手部实时运动速度V，以及在垂直极板1，2，3，4平面上的速度V′，在得到人体手部实时运动方向α和人体手部实时运动速度V和V′后，即已经跟踪到人体手部实时运动轨迹，确定手部实时位置和运动状态。

步骤八：根据手部实时位置和运动状态，把手部动作分为移动、单次敲击和连续敲击三种，移动定义为对应鼠标的拖动动作，单次敲击定义为鼠标的选中操作，连续敲击定义为鼠标的打开操作，按照上述定义对计算机鼠标操作进行匹配，从而根据手部静电探测信号完成选中，拖动和打开的人机交互功能。

基于静电探测的非接触式人机交互系统原理框图如图2所示，所述的基于静电探测的非接触式人机交互系统包括探测极板、电流-电压转换电路、放大器、低通滤波器以及数据采集处理电路以及计算机。探测极板获取静电感应电荷量，电荷量的变化产生静电感应电流，产生的电流经过电流-电压转换电路变为电压值，然后经过放大器幅值得到放大，随后经过低通滤波电路去除噪声。数据采集处理电路将滤波后的静电感应电压信号进行采集和运算处理，最后数据处理电路把鼠标操作信息传递给计算机。

步骤三中所述的预设判据为：采集到的静电感应信号的幅值先由小变大，随后又由大变小；采集到的静电感应信号具有周期连续性，每个周期内的静电感应信号均出现两个波峰，其中后一个波峰的幅值小于前一个波峰的幅值的一半。

步骤三中多极板探测阵列包括多个多极板探测单元，多极板探测单元的数量及布阵方式根据实际探测目标区域需要而定，多极板探测阵列可以给出不同位置处的人体手部的实时状态，提高人机交互的区域范围和精度。

由于遮挡物无法彻底阻碍静电场的传输，因此利用非接触式静电探测技术进行人机交互受遮挡物影响小，所以通过非接触式静电探测技术进行人机交互具有工作死角区小的优点。

本发明保护范围不仅局限于本实施例，本实施例用于解释本发明，凡与本发明在相同原理和构思条件下的变更或修改均在本发明公开的保护范围之内。

Claims (5)

1.一种基于静电探测的非接触式人机交互方法，其特征在于，包括如下步骤：

步骤一：布设能检测到人体手部运动静电信号的多极板探测阵列，所述探测阵列包括至少一组多极板探测单元；多极板探测单元由五个极板组成，其中四个极板分成两对，两对极板间的连线互相垂直，每对极板间距离为d，d≤200cm，四个极板位置布置呈正方形；第五个极板布置在垂直于四个极板所在平面的方向上，并且距离四个极板距离相同，距离四个极板所在平面距离为d，五个极板构成一个空间四棱椎体；极板间距离为d相对于人体手部运动距离较小，分析的运动距离d所用的时间相对于人体手部运动时间较小，因此测得的速度即为人体实时运动速度；

步骤二：采集监测环境中的静电信号，所述的静电信号是每个时刻探测系统获取的静电感应信号电势值；

步骤三：将该采集到的静电感应信号电势值与预设判据对比，如果该静电感应信号电势值与该预设判据相同，则认为检测到了人体手部运动的存在；

步骤四：记录步骤二中检测到的人体手部运动在每个极板上所产生的静电感应信号的波峰值，读取每个极板上紧随波峰值的过零点时刻；定义首先探测到静电感应信号的极板与其相对的极板组成极板对一，极板对一中首先探测到静电感应信号的极板为极板1，另一个极板为极板2；另一对极板为极板对二，极板对二中首先探测到静电感应信号的极板为极板4，另一个极板为极板3，步骤一中所述的第五个极板为极板5；分别读取多极板探测单元中极板1，极板2，极板3，极板4，极板5采集到的紧随波峰值的过零点时刻t₁,t₂,t₃,t₄,t₅；人体手部在极板1,2,3,4构成的水平面上实时运动方向α和人体手部实时运动速度V满足公式(1)和(2)：

$\mathrm{\α}=\arccos \frac{V(t_1-t_2)}{d}---\left(1\right)$

$\mathrm{\α}=\arccos \frac{V(t_1-t_2)}{d}---\left(1\right)$

步骤五：联立公式(1)和(2)即可获得人体手部在极板1,2,3,4构成的水平面上实时运动方向α为：

$\mathrm{\α}=\mathrm{arctg}\frac{(t_3-t_4)}{t_1-t_2}---\left(3\right)$

人体手部在极板1,2,3,4构成的水平面上实时运动速度V为：

$V=\frac{d}{\sqrt{{(t_3-t_1)}^2+{(t_4-t_2)}^2}}---\left(4\right)$

步骤六：人体手部在极板1,2,3,4构成的水平面垂直方向运动速度V'为：

$V^{\′}=\frac{d}{\frac{\sqrt{{(t_3-t_1)}^2+{(t_4-t_2)}^2}}{2}-t_5}---\left(5\right)$

步骤七：多极板探测单元的数量及布阵方式根据实际探测目标区域需要而定，多极板探测阵列中多组多极板探测单元能探测到不同位置处的人体手部的人体手部在极板1,2,3,4平面内的实时运动方向α和人体手部实时运动速度V，以及在垂直极板1,2,3,4平面上的速度V'，在得到人体手部实时运动方向α和人体手部实时运动速度V和人体手部垂直方向运动速度V'后，即已经跟踪到人体手部实时运动轨迹，确定手部实时位置和运动状态；

步骤八：根据手部实时位置和运动状态，把手部动作分为移动、单次敲击和连续敲击三种，移动定义为对应鼠标的拖动动作，单次敲击定义为鼠标的选中操作，连续敲击定义为鼠标的打开操作，按照上述定义对计算机鼠标操作进行匹配，从而根据手部静电探测信号完成选中、拖动和打开的人机交互功能。

2.根据权利要求1所述的一种基于静电探测的非接触式人机交互方法，其特征在于：步骤三中所述的预设判据为：采集到的静电感应信号的幅值先由小变大，随后又由大变小；采集到的静电感应信号具有周期连续性，每个周期内的静电感应信号均出现两个波峰，其中后一个波峰的幅值小于前一个波峰的幅值的一半。

3.根据权利要求1或2所述的一种基于静电探测的非接触式人机交互方法，其特征在于：所述的基于静电探测的非接触式人机交互系统包括探测极板、电流-电压转换电路、放大器、低通滤波器以及数据采集处理电路以及计算机；探测极板获取静电感应电荷量，电荷量的变化产生静电感应电流，产生的电流经过电流-电压转换电路变为电压值，然后经过放大器幅值得到放大，随后经过低通滤波器去除噪声；数据采集处理电路将滤波后的静电感应电压信号进行采集和运算处理，最后数据处理电路把鼠标操作信息传递给计算机。

4.根据权利要求1或2所述的一种基于静电探测的非接触式人机交互方法，其特征在于：步骤一中所述的每对极板间距离d≤200cm。

5.根据权利要求1所述的一种基于静电探测的非接触式人机交互方法，其特征在于：步骤三中多极板探测阵列包括多个多极板探测单元，多极板探测单元的数量及布阵方式根据实际探测目标区域需要而定；步骤一中所述的每对极板间距离d≤200cm。