CN102693022A - 视觉跟踪与语音识别的鼠标系统 - Google Patents
视觉跟踪与语音识别的鼠标系统 Download PDFInfo
- Publication number
- CN102693022A CN102693022A CN2011104112055A CN201110411205A CN102693022A CN 102693022 A CN102693022 A CN 102693022A CN 2011104112055 A CN2011104112055 A CN 2011104112055A CN 201110411205 A CN201110411205 A CN 201110411205A CN 102693022 A CN102693022 A CN 102693022A
- Authority
- CN
- China
- Prior art keywords
- camera
- digital signal
- analog
- mouse
- mouse system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
本发明公开了一种视觉跟踪与语音识别的鼠标系统,它包括麦克风、摄像头、模数转换器、数字信号处理器,摄像头通过检测跟踪眼球瞳孔的运动,动态跟踪瞳孔聚焦点在摄像头成像平面上的位置移动,然后通过模数转换器与数字信号处理器将聚焦点在图像上的运动转换为鼠标光标在显示器上的运动;麦克风接收用户发出的语音指令,经模数转换器转换成数字信号,再由数字信号处理器进行处理生成按键命令以形成相应的鼠标响应。本发明结构简单,通用性强,为人们使用计算机带来了很大的方便。
Description
技术领域
本发明涉及视觉技术领域, 尤其涉及一种视觉跟踪与语音识别相结合的鼠标系统。
背景技术
目前人们使用的鼠标主要以有线和无线鼠标为主,但是随着人机交互的不断发展,这种有形的鼠标极大地限制了人机交互的速度。同时,对于用电脑办公或者玩游戏的人来说,在操作电脑时,由于键盘和鼠标有一定的高度,手腕必须背屈一定角度,这时腕部就处于强迫体位,不能自然伸展,长年累月,容易得“鼠标手”这一病症。而且,对于双臂或双手残疾的人来说,则无法正常使用鼠标或键盘操作电脑。对于有些游戏或控制类应用,使用鼠标也不是一个最好的操作工具。
中国专利授权公告号:CN101038523A,授权公告日2007年09月19日,公开了一种基于视觉跟踪与语音识别的鼠标系统,在该发明中,摄像头通过检测跟踪红外标志物的光斑图像,动态跟踪光斑在摄像头成像平面上的位置移动,然后通过光标定位子模块将光斑在图像上的运动转换为鼠标光标在显示桌面上的运动,并将鼠标的位置信息传递给信息反馈模块;信息反馈模块通过计算机显示器将鼠标驱动模块传来的鼠标光标的位置表示出来,并给用户相应的信息提示;语音指令处理模块通过与计算机主机相连接的麦克风接收用户发出的语音指令,通过语音识别子模块对输入语音信号进行识别,由分类结果激发并驱动相应的鼠标事件响应。由于显示屏上的鼠标光标只随红外标志物的移动而移动,当需移动光标时,使用者得手持红外发光标志物在摄像头可视范围内移动,这并没有摆脱手工操作的弊端,且使用者保持着手握的姿势,长时间使用,会出现手部酸痛乃至僵硬的情况,并没有从根本上改变鼠标的操作模式。
发明内容
本发明针对现有技术的问题和不足,提供了一种使用方便、能精确定位光标的视觉跟踪与语音识别的鼠标系统。
为了实现上述目的,本发明采用以下技术方案:
一种视觉跟踪与语音识别的鼠标系统,它包括麦克风和摄像头,鼠标系统还包括模数转换器、数字信号处理器,数字信号处理器接有能与计算机主机进行数据传输连接的通讯端口;摄像头通过视频接口接在模数转换器上,摄像头通过检测跟踪眼球瞳孔的运动,动态跟踪瞳孔聚焦点在摄像头成像平面上的位置移动,然后通过模数转换器与数字信号处理器将聚焦点在图像上的运动转换为鼠标光标在显示器上的运动,摄像头数为两个;麦克风通过音频接口接在模数转换器上,麦克风接收用户发出的语音指令,经模数转换器转换成数字信号,再由数字信号处理器进行处理生成按键命令以形成相应的鼠标响应。
上述过程将目光的视觉跟踪与语音的识别结合起来实现传统鼠标的功能。此装置通过采用传统通讯端口连接计算机主机;采用两个摄像头是为了采用机器视觉中的双目测量技术,实现精确的瞳孔焦点测量,从而能更精确的定位鼠标光标的位置。
作为优选,摄像头的镜头上设有红外LED灯,红外LED灯的电路连接到摄像头的电路板。具有红外LED灯,是本装置即可在白天使用,也可以在夜晚的情况下发挥夜视拍摄的能力,不受光线条件的影响。
作为优选,麦克风接收的语音指令包括左键单击指令、右键单击指令以及双击指令。使用者可根据自己的喜好或习惯,给左键单击指令、右键单击指令及双击指令分别设置多个不同的用语,这样使用者只要对着麦克风说出其中一个时,计算机便可执行命令。
作为优选,摄像头分别安装在显示器上端的左右两个角上,利用双目测量技术精确测量瞳孔的位置并折算出目光聚焦点。这样可以保证使用者的目光在摄像头可视范围内移动。
作为优选,语音指令是设定的语音指令。在这里,设定的语音指令可以进行修改,不同的操作者可以使用不同的语音指令。
作为优选,聚焦点是设定的聚焦点。在这里,设定的聚焦点是可以进行修改的,不同的操作者可以有不同的聚焦点参数。
与现有技术相比,本发明的有益效果为:改变了传统的鼠标操作方式,且结构简单,方便操作,适用人群广,可适用于双臂或双手残疾的人,也可用于工程控制、军事指挥,甚至是青少年玩游戏。
附图说明
图1为本发明组成示意图。
图2为本发明内部结构示意图。
图中:1—摄像头,2—显示器,3—麦克风,4—计算机主机,5—鼠标系统的内部结构。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步的描述。
如图1、图2所示的一种视觉跟踪与语音识别的鼠标系统,它包括麦克风3和摄像头1,在该鼠标系统还包括模数转换器8、数字信号处理器9,数字信号处理器9接有能与计算机主机4进行数据传输连接的通讯端口;摄像头1通过视频接口11接模数转换器8上,摄像头1通过检测跟踪眼球瞳孔的运动,动态跟踪瞳孔聚焦点在摄像头成像平面上的位置移动,然后通过模数转换器8与数字信号处理器9将聚焦点在图像上的运动转换为鼠标光标在显示器2桌面上的运动,摄像头数为两个;麦克风3通过音频接口7接在模数转换器12上,麦克风3接收用户发出的语音指令,经模数转换器12转换成数字信号,再由数字信号处理器9进行处理生成按键命令以形成相应的鼠标响应;摄像头1的镜头上设有红外LED灯,红外LED灯的电路连接到摄像头1的电路板;麦克风3接收的语音指令包括左键单击指令、右键单击指令以及双击指令;摄像头1分别安装在显示器2上端的左右两个角上,利用双目测量技术精确测量瞳孔的位置并折算出目光聚焦点;语音指令是设定的语音指令,聚焦点是设定的聚焦点。
本实施例首先使用两个摄像头对准使用者的眼睛,并且使用者的目光在摄像头可视范围内,显示屏上的光标随着目光的移动而移动,从而实现用目光视觉信号控制光标的功能。然后,使用麦克风3采集使用者使用的所有语言指令信号存储到计算机的磁盘上作为标准语音样本。使用时,使用者只需要语音发出指令,便可完成鼠标的左键单击、右键单击或双击的操作,同时,使用者只需转动目光,便能实现显示器2上光标的移动,在本发明中,采用两个摄像头,利用双目视觉测量技术的原理,使得光标定位变得更精确。
通讯端口可为PS/2接口10,模数转换器为3个,数字信号处理器为1个,模数转换器分别与两个视频接口、一个音频接口相连接,与音频接口、视频接口相连接的模数转换器连接在同一个数字信号处理器上。
考虑到使用者发出语音指令时,会受到噪音的干扰而使得语音指令的准确执行率下降,可采用两个数字信号处理器,其中一个与连接摄像头的模数转换器相连接,另一个与连接麦克风的模数转换器相连接。其中连接麦克风的数字信号处理器为对音频信号进行噪音抑制的芯片。
因语音识别会识别使用者本身的语音特征,所以在嘈杂环境下不会错误接收语音指令。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (6)
1.一种视觉跟踪与语音识别的鼠标系统,它包括麦克风和摄像头,其特征在于:所述鼠标系统还包括模数转换器、数字信号处理器,所述数字信号处理器接有能与计算机主机进行数据传输连接的通讯端口;所述摄像头通过视频接口接在模数转换器上,摄像头通过检测跟踪眼球瞳孔的运动,动态跟踪瞳孔聚焦点在摄像头成像平面上的位置移动,然后通过模数转换器与数字信号处理器将聚焦点在图像上的运动转换为鼠标光标在显示器上的运动,所述摄像头数为两个;所述麦克风通过音频接口接在模数转换器上,麦克风接收用户发出的语音指令,经模数转换器转换成数字信号,再由数字信号处理器进行处理生成按键命令以形成相应的鼠标响应。
2.根据权利要求1所述的视觉跟踪与语音识别的鼠标系统,其特征在于:所述摄像头的镜头上设有红外LED灯,所述红外LED灯的电路连接到摄像头的电路板。
3.根据权利要求1所述的视觉跟踪与语音识别的鼠标系统,其特征在于:所述麦克风接收的语音指令包括左键单击指令、右键单击指令以及双击指令。
4.根据权利要求1或2所述的视觉跟踪与语音识别的鼠标系统,其特征在于:所述的摄像头分别安装在显示器上端的左右两个角上,利用双目测量技术精确测量瞳孔的位置并折算出目光聚焦点。
5.根据权利要求3所述的视觉跟踪与与语音识别的鼠标系统,其特征在于:所述语音指令是设定的语音指令。
6.根据权利要求1所述的视觉跟踪与语音识别的鼠标系统,其特征在于:所述聚焦点为设定的聚焦点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011104112055A CN102693022A (zh) | 2011-12-12 | 2011-12-12 | 视觉跟踪与语音识别的鼠标系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011104112055A CN102693022A (zh) | 2011-12-12 | 2011-12-12 | 视觉跟踪与语音识别的鼠标系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102693022A true CN102693022A (zh) | 2012-09-26 |
Family
ID=46858537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011104112055A Pending CN102693022A (zh) | 2011-12-12 | 2011-12-12 | 视觉跟踪与语音识别的鼠标系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102693022A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103823547A (zh) * | 2012-11-16 | 2014-05-28 | 中国电信股份有限公司 | 移动终端及其光标控制方法 |
CN103902023A (zh) * | 2012-12-25 | 2014-07-02 | 苏州薇思雨软件科技有限公司 | 一种声控新型鼠标 |
CN104598138A (zh) * | 2014-12-24 | 2015-05-06 | 三星电子(中国)研发中心 | 电子地图控制方法及装置 |
CN104656877A (zh) * | 2013-11-18 | 2015-05-27 | 李君� | 基于手势和语音识别控制的人机交互方法及其设备和应用 |
CN104956292A (zh) * | 2013-03-05 | 2015-09-30 | 英特尔公司 | 多个感知感测输入的交互 |
CN105260008A (zh) * | 2014-07-15 | 2016-01-20 | 华为技术有限公司 | 一种定位位置的方法及装置 |
CN106055095A (zh) * | 2016-05-23 | 2016-10-26 | 王春晖 | 一种眼球显示屏定位及交互的方法 |
CN106125931A (zh) * | 2016-06-30 | 2016-11-16 | 刘兴丹 | 一种眼球追踪操作的方法及装置 |
CN106383603A (zh) * | 2016-09-23 | 2017-02-08 | 安徽声讯信息技术有限公司 | 一种基于语音鼠标的语音控制系统 |
CN108536285A (zh) * | 2018-03-15 | 2018-09-14 | 中国地质大学(武汉) | 一种基于眼部移动识别与控制的鼠标交互方法与系统 |
CN116774845A (zh) * | 2023-08-21 | 2023-09-19 | 深圳市英菲克电子有限公司 | 智能助残鼠标控制电路及其控制方法 |
WO2023184068A1 (zh) * | 2022-03-28 | 2023-10-05 | 京东方科技集团股份有限公司 | 瞳孔信息采集电路及方法、显示装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007085682A1 (en) * | 2006-01-26 | 2007-08-02 | Nokia Corporation | Eye tracker device |
CN101038523A (zh) * | 2007-04-26 | 2007-09-19 | 上海交通大学 | 基于视觉跟踪与语音识别的鼠标系统 |
CN102176191A (zh) * | 2011-03-23 | 2011-09-07 | 山东大学 | 一种基于视线跟踪的电视机操控方法 |
-
2011
- 2011-12-12 CN CN2011104112055A patent/CN102693022A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007085682A1 (en) * | 2006-01-26 | 2007-08-02 | Nokia Corporation | Eye tracker device |
CN101038523A (zh) * | 2007-04-26 | 2007-09-19 | 上海交通大学 | 基于视觉跟踪与语音识别的鼠标系统 |
CN102176191A (zh) * | 2011-03-23 | 2011-09-07 | 山东大学 | 一种基于视线跟踪的电视机操控方法 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103823547A (zh) * | 2012-11-16 | 2014-05-28 | 中国电信股份有限公司 | 移动终端及其光标控制方法 |
CN103823547B (zh) * | 2012-11-16 | 2017-05-17 | 中国电信股份有限公司 | 移动终端及其光标控制方法 |
CN103902023A (zh) * | 2012-12-25 | 2014-07-02 | 苏州薇思雨软件科技有限公司 | 一种声控新型鼠标 |
CN104956292A (zh) * | 2013-03-05 | 2015-09-30 | 英特尔公司 | 多个感知感测输入的交互 |
CN104656877A (zh) * | 2013-11-18 | 2015-05-27 | 李君� | 基于手势和语音识别控制的人机交互方法及其设备和应用 |
CN105260008B (zh) * | 2014-07-15 | 2018-10-12 | 华为技术有限公司 | 一种定位位置的方法及装置 |
CN105260008A (zh) * | 2014-07-15 | 2016-01-20 | 华为技术有限公司 | 一种定位位置的方法及装置 |
WO2016008265A1 (zh) * | 2014-07-15 | 2016-01-21 | 华为技术有限公司 | 一种定位位置的方法及装置 |
US10168773B2 (en) | 2014-07-15 | 2019-01-01 | Huawei Technologies Co., Ltd. | Position locating method and apparatus |
CN104598138A (zh) * | 2014-12-24 | 2015-05-06 | 三星电子(中国)研发中心 | 电子地图控制方法及装置 |
CN104598138B (zh) * | 2014-12-24 | 2017-10-17 | 三星电子(中国)研发中心 | 电子地图控制方法及装置 |
CN106055095A (zh) * | 2016-05-23 | 2016-10-26 | 王春晖 | 一种眼球显示屏定位及交互的方法 |
CN106125931A (zh) * | 2016-06-30 | 2016-11-16 | 刘兴丹 | 一种眼球追踪操作的方法及装置 |
CN106383603A (zh) * | 2016-09-23 | 2017-02-08 | 安徽声讯信息技术有限公司 | 一种基于语音鼠标的语音控制系统 |
CN108536285A (zh) * | 2018-03-15 | 2018-09-14 | 中国地质大学(武汉) | 一种基于眼部移动识别与控制的鼠标交互方法与系统 |
CN108536285B (zh) * | 2018-03-15 | 2021-05-14 | 中国地质大学(武汉) | 一种基于眼部移动识别与控制的鼠标交互方法与系统 |
WO2023184068A1 (zh) * | 2022-03-28 | 2023-10-05 | 京东方科技集团股份有限公司 | 瞳孔信息采集电路及方法、显示装置 |
CN116774845A (zh) * | 2023-08-21 | 2023-09-19 | 深圳市英菲克电子有限公司 | 智能助残鼠标控制电路及其控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102693022A (zh) | 视觉跟踪与语音识别的鼠标系统 | |
JP7504180B2 (ja) | ウェアラブルシステムのためのトランスモード入力融合 | |
US9274744B2 (en) | Relative position-inclusive device interfaces | |
US10627900B2 (en) | Eye-signal augmented control | |
WO2017149868A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN114341779A (zh) | 用于基于神经肌肉控制执行输入的系统、方法和界面 | |
JP5456832B2 (ja) | 入力された発話の関連性を判定するための装置および方法 | |
US20170242478A1 (en) | Initiating human-machine interaction based on visual attention | |
WO2016038953A1 (ja) | 検出装置、検出方法、制御装置、および制御方法 | |
JP2019535059A (ja) | 感覚式アイウェア | |
JP2020519986A (ja) | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 | |
CN116097209A (zh) | 人工现实交互模式的整合 | |
JP2016515268A (ja) | ズーミングジェスチャの検出 | |
EP4373122A3 (en) | Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction | |
TWI596378B (zh) | 可攜式虛擬實境系統 | |
US20200269421A1 (en) | Information processing device, information processing method, and program | |
JP2019061590A (ja) | 情報処理装置、情報処理システム及びプログラム | |
WO2017104272A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20200197783A1 (en) | Information processing apparatus, information processing method, and program | |
US10969863B2 (en) | Configurable sensor array for a multi-target environment | |
WO2003003185A1 (en) | System for establishing a user interface | |
CN202533895U (zh) | 视觉跟踪与语音识别的鼠标系统 | |
JP2010086367A (ja) | 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置 | |
JPH1039995A (ja) | 視線・音声入力装置 | |
Ugale et al. | Overview on latest gesture controlled systems for robotic arm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120926 |