CN103077369A - 以击掌为标志动作的人机交互系统及其识别方法 - Google Patents

Abstract

本发明是设计一种以操作者的击掌动作为关键操作识别标志的人机交互系统及其识别方法。人机交互系统包括摄像头、话筒和信息处理部分，摄像头输入图像信息，话筒输入声音信息，信息处理部分对输入数据信息进行处理同时对图像与声音进行检测，使用图像与声音信息联合判据，判断是否有击掌动作发生。以击掌动作的判断结果作为关键操作识别标志，智能系统做出相应响应。

Description

以击掌为标志动作的人机交互系统及其识别方法

技术领域

一种以击掌为标志动作的人机交互系统及其识别方法

背景技术

随着电子技术与软件技术的不断发展，交互系统作为智能电器的一部分可以完成人机交互功能。智能电器包括智能电视，电脑等带有信息处理功能的并提供人机交互屏幕界面的电器。

发明内容

本发明是设计一种以操作者的击掌动作为关键操作识别标志的人机交互系统及其识别方法。人机交互系统包括摄像头、话筒和信息处理部分，摄像头输入图像信息，话筒输入声音信息，信息处理部分对输入数据信息进行处理同时对图像与声音进行检测，使用图像与声音信息联合判据，判断是否有击掌动作发生，流程如图1所示。以击掌动作的判断结果作为关键操作识别标志，智能系统做出相应响应，如做出对光标选定图标的单击响应、游戏开始与结束的响应等。

由于击掌动作在图像上表现为两手相对运动，在声音上表现为发出短而清脆的声音，图像与声音方面都有明显特征，所以击掌是较好的识别特征动作。击掌动作是人们容易操作但不经常使用的动作，可以很容易实现并且有较强的特征性。由于击掌是动作图像与声音同时产生，两方面检测结果的联合判据具有更高正确识别率。

对于图像和声音的特定信息的检测方法有很多种，可以分别选出合适的方法。例如，图像中检测连续图像序列中手的位置，当图像中手做相对运动最终合在一起为击掌的图像动作。声音检测方法可以用HMM算法。具体算法的选用只是在检测的准确率和计算的复杂度有一定区别，但不影响本发明对检测算法整体准确性能的提升。

附图说明

图1是识别方法流程示意图。

图2是实施例击掌动作与非击掌动作分布示意图。

图3是实施例以图像信息特征检测击掌动作示意图。

图4是实施例以声音信息特征检测击掌动作示意图。

图5是实施例以图像与声音信息特征联合检测击掌动作示意图。

具体实施方式

下面结合一个具体实例进一步说明本发明的优越性。

对于击掌动作与非击掌动作进行检测，两种动作分布如图2所示，图中横坐标vi表示图像信息特征，纵坐标au表示声音信息特征。圆圈代表非击掌动作分布情况，三角形代表击掌动作分布情况。

如果以图像信息特征进行检测， $p\left(\mathrm{vi}\right)=\left\{\begin{array}{cc}1& \mathrm{vi}\∈M\\ 0& \mathrm{vi}\∉M\end{array}\right.,$ 如图3所示，在击掌动作全部检出的情况下，非击掌动作判为击掌动作情况至少有5个。以声音信息特征进行检测， $p\left(\mathrm{au}\right)=\left\{\begin{array}{cc}1& \mathrm{au}\∈N\\ 0& \mathrm{au}\∉N\end{array}\right.,$ 如图4所示，在击掌动作全部检出的情况下，非击掌动作判为击掌动作情况至少有8个。以图像与声音信息特征联合检测击掌动作 $p(\mathrm{vi},\mathrm{au})=\left\{\begin{array}{cc}1& (\mathrm{vi},\mathrm{au})\∈D\\ 0& (\mathrm{vi},\mathrm{au})\∉D\end{array}\right.,$ 如图5所示，在击掌动作全部检出的情况下，非击掌动作判为击掌动作情况至少有2个。

公式中p(x)为判别函数，当p(x)＝1是有击掌动作，当p(x)＝0是无击掌动作。vi是图像信息特征，au是声音信息特征，M是图像信息特征的信任区域，N是声音信息特征的信任区域，D是图像与声音信息特征联合判断的信任区域。

实施例可见，应用联合判断要比使用单一判据准确率提高。

Claims (1)

1.一种人机交互系统及识别方法，其特征为：人机交互系统包括摄像头、话筒和信息处理部分，摄像头输入图像信息，话筒输入声音信息，信息处理部分对输入数据信息进行处理同时对图像与声音进行检测，使用图像与声音信息联合判据，判断是否有击掌动作发生，以击掌动作的判断结果作为关键操作识别标志。

Images