CN102156538A

CN102156538A - 一种通过语音识别技术控制鼠标操作完成人机交互的方法

Info

Publication number: CN102156538A
Application number: CN2011100613613A
Authority: CN
Inventors: 宋友; 吴锡欣; 张野; 潘成伟
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2011-03-15
Filing date: 2011-03-15
Publication date: 2011-08-17

Abstract

一种通过语音识别技术控制鼠标操作完成人机交互的方法，属于计算机技术领域。在本发明中，通过计算机音频接收设备(如麦克风)接收用户语音命令，然后利用语音识别技术将用户的语音命令转化为对计算机鼠标的各项操作的控制命令，完成对现有鼠标的所有操作。本发明也可以帮助双手不灵活的残疾人、老年人等人群方便地使用计算机。本发明还具有自定义操作命令功能，用户不仅可以使用系统默认的鼠标控制命令集，还可以根据自己的习惯和喜好，通过界面化操作，定制对鼠标的个性化操作命令集。本发明使用时只需计算机现有的音频输入设备(话筒)，无需增加其它设备。成本低，可以做到对所有计算机的普及。

Description

一种通过语音识别技术控制鼠标操作完成人机交互的方法

技术领域

本发明属于计算机技术领域，涉及一种基于语音识别技术的，通过计算机用户的语音命令控制计算机鼠标的各项操作的方法。

背景技术

目前，在计算机操作中，常用的鼠标键盘人机交互模式是计算机用户通过双手敲击键盘，移动鼠标来达到人机交互的目的。目前的鼠标主要有两种，一种是机械鼠标，一种是光电鼠标。机械鼠标用一个可四向滚动的胶质小球。这个小球在滚动时会带动一对转轴转动，在转轴的末端都有一个圆形的译码轮，译码轮上附有金属导电片与电刷直接接触。当转轴转动时，这些金属导电片与电刷就会依次接触，出现“接通”或“断开”两种形态，前者对应二进制数“1”、后者对应二进制数“0”。这些二进制信号被送交鼠标内部的专用芯片作解析处理并产生对应的坐标变化信号。只要鼠标在平面上移动，小球就会带动转轴转动，进而使译码轮的通断情况发生变化，产生一组组不同的坐标偏移量，反应到屏幕上，就是光标可随着鼠标的移动而移动。光电鼠标是在内部有一个发光二极管，通过该发光二极管发出的光线，照亮光电鼠标底部表面，然后将光电鼠标底部表面反射回的一部分光线，经过一组光学透镜，传输到微成像器内成像。这样，当光电鼠标移动时，其移动轨迹便会被记录为一组高速拍摄的连贯图像。最后利用光电鼠标内部的数字微处理器对移动轨迹上摄取的一系列图像进行分析处理，通过对这些图像上特征点位置的变化进行分析，来判断鼠标的移动方向和移动距离，从而完成光标的定位。

但是，这两种物理鼠标都要求计算机用户用手进行操作，使双手不灵活的残疾人、老年人等人群无法很好地使用计算机。对于正常人，语音控制使双手不必进行鼠标操作，而进行其他工作，同时也可以缓解长期鼠标操作带来的肩轴腕等身体部位的疲劳感，有利于身体健康。

发明内容

为了克服现有物理鼠标不能解放计算机用户双手，不能为病残人士所用的缺点，本发明提供了一种基于语音识别技术的，利用用户语音命令，控制计算机鼠标的方法，用户不需要动手，只需发出语音指令，就可以轻松完成鼠标的各项操作。

本发明所采用的技术方案是：通过音频接收设备，接收用户的语音指令，再通过语音识别引擎，将语音命令转换为计算机鼠标的控制命令，得到鼠标命令后，通过windows API调用，达到控制鼠标进行各种操作的目的。

本发明的有益效果是，可以改善现有的计算机人机交互模式，作为主流的基于鼠标键盘的人机交互模式是一个很有益的补充。对于正常人可以是原来仅能用于操作鼠标的手进行其他活动，还可以缓解用手进行鼠标操作带来的肩肘腕等身体部位的疲劳，从而提高计算机操作的效率，增加简便性。同时，对于残疾人士使用计算机也会有很大帮助。

附图说明

图1是本发明的主界面；

图2是命令自定义界面；

图3是鼠标信息框；

图4是软件帮助框；

图5是语音识别技术方案流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

1.启动声声动软件主界面。双击软件图标，打开软件。

主界面如“图1”所示。

2.语音操作。使用计算机默认声音录入设备(如默认麦克风)进行语音输入，用户说出语音命令，执行对应的操作。用户可以说出在主界面(图1)上显示的命令，执行对应操作，如方位命令完成对鼠标指针位置的确定、动作命令执行鼠标的“单击鼠标左键、双击鼠标左键、单击鼠标右键、单击鼠标中键、向上滚动、向下滚动”等事件。

系统的默认命令有：

3.声声动软件配置。在用户窗体信息界面(如图3)，单击“命令自定制”链接，打开命令设置面板(如图2)。在面板对应位置输入新命令后，单击“确定”按钮完成命令内容的更新设置。

4.软件退出。单击主窗体(如图1)的“关闭”按钮，退出应用程序。

Claims

1.一种通过语音识别技术控制鼠标操作完成人机交互的方法，特征在于将用户的语音命令转化为计算机中鼠标各种操作的命令，并通过界面化操作自定义语音控制命令。

2.根据权利要求1所述的方法，其特征在于，所述通过界面化操作自定义语音控制命令具体为，使用系统默认的命令集，或使用自己定义的个性化命令集。

3.根据权利要求2所述的方法，其特征在于，所述使用系统默认的命令集具体为，用户通过界面化操作对命令集进行修改后，所述修改后的命令集以特定文件格式保存在系统文件夹中并优先加载，使得用户可以使用上次用过的、自己习惯的命令集；当多个用户存在时，根据每个用户的个人信息保存不同用户各自对应的命令集。

4.根据权利要求1所述的方法，其特征在于，通过“往上”、“向下”、“左偏”、“右移”四个命令让鼠标分别沿上、下、左、右四个方向移动，通过“左上角”、“右上角”、“左下角”、“右下角”、“中央位置”五个命令将鼠标定位到屏幕的左上角、右上角、左下角、右下角、中央位置。

5.根据权利要求4所述的方法，其特征在于，鼠标沿各个方向运动的速度分为多个档，速度的增长符合Sigmoid型函数趋势；通过“加快”、“减慢”命令来提高或降低鼠标运动速度，通过“停”命令使运动的鼠标停止下来，完成定位。

6.根据权利要求1所述的方法，其特征在于，通过“单击鼠标”、“双击鼠标”、“右击鼠标”、“往上滚动”、“向下滚动”五个命令分别控制鼠标的五个事件：单击鼠标左键，双击鼠标左键，单击鼠标右键，往上滚动鼠标滚轮，往下滚动鼠标滚轮。

7.根据权利要求1所述的方法，其特征在于，通过“拖动”、“结束拖动”命令可以分别控制鼠标左键处于按下状态或者释放鼠标左键。

8.根据权利要求1所述的方法，其特征在于，通过“打开软键盘”，“关闭软键盘”两个命令分别控制打开或关闭系统附带的软键盘。

9.根据权利要求1所述的方法，其特征在于，通过系统命令“显示信息框”、“隐藏信息框”分别用于控制鼠标信息框的显示与隐藏；通过系统超级管理命令“监听鼠标”、“关闭鼠标监听”分别用于控制进入等候用户命令输入的待命状态与停止监听用户命令的睡眠状态，只有在待命状态下，用户输入的语音命令才被接受，处于睡眠状态时必须先通过“监听鼠标”命令唤醒，才能进行语音命令输入。