CN102662471A - 计算机视觉鼠标 - Google Patents
计算机视觉鼠标 Download PDFInfo
- Publication number
- CN102662471A CN102662471A CN2012101015096A CN201210101509A CN102662471A CN 102662471 A CN102662471 A CN 102662471A CN 2012101015096 A CN2012101015096 A CN 2012101015096A CN 201210101509 A CN201210101509 A CN 201210101509A CN 102662471 A CN102662471 A CN 102662471A
- Authority
- CN
- China
- Prior art keywords
- mouse
- hand
- vision
- user
- computer vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
计算机视觉鼠标，是为解决现有鼠标对桌面的要求较高，其使用环境直接影响光标跟踪的稳定性，且由于操作时用户手型固定，长时间操作会使手僵化等问题而设计的。它包括底座，底座上设有视觉处理系统，视觉处理系统内嵌有摄像头和基于ARM的微处理器；用户手置于摄像头正前方；通过基于ARM微处理器提取数帧图像检测运动确定运动部位，再与视觉鼠标手部运动模型标准库或手部运动模型个人习惯样例库中样例进行匹配，将匹配的动作模型所对应的鼠标命令，通过与用户电脑连接的USB数据线将手动图像信息传送给与视觉鼠标相配套的鼠标软件，实现视觉鼠标系统功能。通过用使用者的手来代替鼠标，省去了鼠标实体，不仅适用于各种平面，也适于悬空操作。由于操作时对手的摆放姿势无固定要求，自然伸展，操作更加自然、舒适。
Description
技术领域
本发明涉及一种计算机输入设备，特别涉及一种基于视觉的计算机视觉鼠标。属于计算机外部设备的设计、制造领域。
背景技术
鼠标是计算机输入设备的简称，分有线和无线两种。也是计算机显示系统纵横坐标定位的指示器，鼠标的使用是为了使计算机的操作更加简便，来代替键盘那繁琐的指令。随着社会的发展和科技的不断进步，鼠标从最初的原始鼠标、到机械鼠标、光电鼠标、光机鼠标再到如今的光学鼠标。鼠标技术发展到现在已经变得越来越精致美观，特别是无线鼠标显得更加独立大方。尽管如今的鼠标有诸多优点，但它也有自身难以克服的缺点。其一，我们现在使用的鼠标依然保持了四十多年前发明之初的基本外型，鼠标‘趴’在桌面，左右按键与桌面平行，手握鼠标操作时，手腕背伸一定角度，掌侧与桌面接触积压，使腕管处压力增大，由于手型长时间固定，导致僵化，使通过的神经和血管受损伤，严重时会造成“腕管综合症”俗称鼠标手。其二，现有鼠标，不论光学还是机械鼠标，都需放在一个平板台面上，尤其光学鼠标对台面的要求更高，比如台面需要同色、反光性良好等。为了使鼠标移动时使得显示器上光标跟踪稳定最好用鼠标垫。
发明内容
本发明所要解决的技术问题：由于现有鼠标的使用对桌面的要求较高，如果桌面的反光性不好或非同色会导致显示器上的光标跟踪稳定性差，必要时还需要鼠标垫。同时现有鼠标的操作需要用户手爬到鼠标上手型固定，当用户长时间移动或点击鼠标时由于手型长时间固定，使通过的神经和血管受损伤，导致僵化严重时会造成“腕管综合症”。为了解决这一系列问题，本发明提供了一种计算机视觉鼠标，它包括底座，所述底座上支撑有视觉处理系统，所述视觉处理系统内嵌有摄像头和基于ARM的微处理器；用户手置于摄像头的正前方；通过基于ARM的微处理器提取数帧图像检测运动确定运动部位，再分别与视觉鼠标手部运动模型标准库或手部运动模型的个人习惯样例库中样例进行匹配，将匹配到的动作模型所对应的鼠标命令，通过与用户电脑连接的USB数据线将所采集到的用户手动图像信息传送给与视觉鼠标相配套的鼠标软件，实现视觉鼠标系统功能。
本发明的特点及有益效果：本发明的视觉鼠标与常规鼠标相比，用使用者的手来代替鼠标，省去了常规鼠标的实体，同时对台面的要求低，对台面是否同色和反光性都不再有严格要求，不仅适用于平面，也同样适用于悬空操作。同时在操作时对手的摆放姿势无固定要求，自然伸展使用户操作更加自然、舒适，即使长期使用也不会僵化，大大降低的“腕管综合症”的患病率。
同时系统还具有学习功能，进入学习模式，系统将允许用户建立自己的动作样例，提高识别率。
视觉鼠标也可以没有自己独立的处理器，这时摄像头采集的图像将通过USB接口直接传送为与其连接的计算机，计算机将完成本处理器的功能。采用非独立微处理器设计时，本鼠标器不再需要内置电池。
附图说明
图1-1、图1-2是本发明的侧面结构示意图
图2-1、图2-2是本发明的俯视结构示意图
图3是本发明的正面结构示意图
图4-1、图4-2是本发明中底座的结构示意图
图5是本发明的工作流程图
图6是本发明中的手部运动模型建立流程图
具体实施方式：
计算机视觉鼠标，它包括底座8，所述底座8上支撑有视觉处理系统5，所述视觉处理系统5内嵌有摄像头6和基于ARM的微处理器；用户手1置于摄像头6的正前方；通过基于ARM的微处理器提取数帧图像检测运动确定运动部位，再分别与视觉鼠标手部运动模型标准库或手部运动模型的个人习惯样例库中样例进行匹配，将匹配到的动作模型所对应的鼠标命令，通过与用户电脑连接的USB数据线9将所采集到的用户手动图像信息传送给与视觉鼠标相配套的鼠标软件，实现视觉鼠标系统功能。
所述配套鼠标软件包含手部动作样例库、鼠标在线学习应用程序和手部运动识别与匹配的算法程序。
所述样例分为手部运动模型的标准模型样例库和手部运动模型的个人习惯样例库。
所述手部运动模型的标准模型库包含了男女小孩、青年、成年、老年人操作本鼠标时的手部运动模型；所述手部运动模型的个人习惯样例库包含了用户个人操作鼠标习惯下的手部运动模型。
所述手部运动模型的标准模型样例库和手部运动模型的个人习惯样例库存放在基于ARM微处理的存储器中；所述手部运动识别与匹配的算法程序嵌入到基于ARM的微处理中用于对摄像头获得的输入图像进行目标检测和跟踪，并与标准模板样例库和习惯库中的模型匹配，实现视觉鼠标系统功能。
所述在线学习应用程序是用户建立个人操作习惯的手部动作模型应用软件，由此应用程序建立的手部动作模型放入个人习惯样例库中。
所述用户手1根据用手习惯，允许定义使用左手或右手。
在所述摄像头6的左右两侧嵌有LED灯10。
所述底座8与视觉处理系统5之间通过金属软管7支撑，通过扭曲调节摄像头6到操作者适宜的角度，所述金属软管7内穿入信号线和电源线。
所述底座8内嵌有电池槽12以及配有可拆卸电池槽盖14。
实施例
计算机视觉鼠标，通过摄像头采集用户的手部运动图像，将采集到的图像放入缓冲序列，基于ARM的微处理器从缓冲序列中提取数帧图像通过目标检测算法检测运动确定动作部位，再分别与视觉鼠标手部运动模型标准库或5个习惯库中样例用DTW算法进行匹配，若用户手的运动部位与标准库或习惯库中的手部运动模型相匹配则把此动作模型对应的鼠标命令传给用户计算机，实现视觉鼠标系统功能。由于每个使用者操作鼠标的习惯不同，有的操作习惯很难与标准库中的动作模型相匹配，这样就降低了视觉鼠标应用的准确性。为此该视觉鼠标系统还专门为用户提供了学习功能，根据具体用户操作鼠标习惯的动作特征在线更新手部运动模型，将更新后的手部运动模型放入视觉鼠标提供的习惯库中作为动作模型样例，进而提高了动作目标的匹配率使用户操作更加准确。
计算机视觉鼠标的工作实现：
参看图1-1至图4-2，计算机视觉鼠标系统包括用户手1、摄像6头、基于ARM的微处理器、视觉处理系统5、底座8、一条USB数据线9以及与视觉鼠标配套的应用程序；所述视觉处理系统5内嵌摄像头6和基于ARM的微处理器构成视觉微处理系统，USB数据线9与用户的电脑连接，用户手1置于摄像头6的正前方作为被采集对象。
在摄像头6的两侧装有LED灯10，当用户夜间操作时可以开启安装在底座8上的LED灯开关11实现夜间补光，提高夜间的视觉效果。底座电池槽12中的充电电池13提供全鼠标电子设备(摄像头、ARM微处理器、LED灯等)所需的电能。充电电池1)由USB数据线9中的电源线充电。
计算机视觉鼠标与常规鼠标比是一个无形的鼠标，用户手的食指2相当于鼠标的左键，无名指3相当于鼠标的右键，中指4相当于鼠标滑轮。视觉鼠标是一个微处理系统，由摄像头6和内嵌ARM构成，摄像头6采集置于其前方操作者的手部运动图像，基于ARM的微处理器提取数帧图像检测运动确定运动部位，再分别与视觉鼠标手部运动模型标准库或5个习惯库中样例进行匹配，将匹配到的动作模型对应的鼠标命令通过USB数据线9传给用户计算机，实现视觉鼠标系统功能。同时，该系统还为用户提供在线学习手部运动模型的应用程序，该应用程序根据具体用户的运动特征在线更新手部运动模型，这样，视觉鼠标的应用更准确。
为了提高夜间鼠标工作的视觉效果，在摄像头的两侧安装了LED灯10，当用户夜间操作时可以通过摄像头底座8的按钮11启动LED灯10。全鼠标电子设备(摄像头、ARM微处理器、LED灯等)所需的电能完全由系统底座电池槽12中的充电电池13提供，在所述电池槽12上还设有活动电池槽盖14。
视觉鼠标也可以没有自己独立的处理器，这时摄像头6采集的图像将通过USB接口直接传送为与其连接的计算机，计算机将完成本处理器的功能。采用非独立微处理器设计时，本鼠标器不再需要内置电池。
见附图5，视觉鼠标工作实现流程图，计算机视觉鼠标详细工作过程：
用户操作(系统在非学习状态下)及其响应说明：
当整手不做出任何动作时，光标处于静止状态。
当用户手做出手指未动的整手移动时，摄像头6采集到手的动作图像，同时内嵌的基于ARM的微处理器检测运动，确定运动部位并与手部运动模型标准库或习惯库中样例进行匹配，最后将匹配到的手部动作模型对应的鼠标光标移动命令通过USB数据线9传给用户计算机，响应鼠标光标移动的效果。
当用户手1的食指2上下摆动一次时，摄像头6采集到手的食指2上下摆动一次，同时内嵌的基于ARM的微处理器检测运动，确定运动部位并与手部运动模型标准库或习惯库中样例进行匹配，判断摆动次数，最后将匹配到的手部动作模型对应的鼠标左键单击命令通过USB数据线传给用户计算机，响应鼠标左键单击的效果。
当用户手的食指2上下摆动两次时，摄像头采集到手的食指上下摆动两次，同时内嵌的基于ARM的微处理器检测运动，确定运动部位并与手部运动模型标准库或习惯库中样例进行匹配，判断摆动次数，最后将匹配到的手部动作模型对应的鼠标左键双击命令通过USB数据线传给用户计算机，响应鼠标左键双击的效果。
当用户手的无名指3上下摆动一次时，摄像头6采集到手的无名指3上下摆动一次，同时内嵌的基于ARM的微处理器检测运动，确定运动部位并与手部运动模型标准库或习惯库中样例进行匹配，最后将匹配到的手部动作模型对应的鼠标右键单击命令通过USB数据线传给用户计算机，响应鼠标右键单击的效果。
当整手不移动，手的中指4向上滑动时，摄像头6采集到手的中指4向上滑动，同时内嵌的基于ARM的微处理器检测运动，确定运动部位并与手部运动模型标准库或习惯库中样例进行匹配，最后将匹配到的手部动作模型对应的鼠标滑轮向上滑动命令通过USB数据线传给用户计算机，响应鼠标滑轮向上滑动的效果。
当整手不移动，手的中指4向下滑动时，摄像头6采集到手的中指4向上滑动，同时内嵌的基于ARM的微处理器检测运动，确定运动部位并与手部运动模型标准库或习惯库中样例进行匹配，最后将匹配到的手部动作模型对应的鼠标滑轮向下滑动命令通过USB数据线传给用户计算机，响应鼠标滑轮向下滑动的效果。
视觉鼠标的工作软件部分；
视觉鼠标工作软件分为两个部分，其中之一是视觉鼠标手部运动模型的标准模型样例库。根据鼠标手部运动形态和方式，建立一个特定的视觉鼠标手部运动标准模型数据库，计划采用基于样例的模板匹配方法，为此也称标准模型数据库为标准样例库，以适应视觉鼠标的需求。这个标准模型样例库包含了男女各5个小孩、青年、成年、老年人使用本视觉鼠标的手部运动模型，这些运动模型是根据此视觉鼠标标准操作时的手部运动建立的。在出厂前这个标准类型样本库存储于视觉鼠标内基于ARM微处理器的存储器中。另一部分是在线更新手部运动模型软件即为用户提供学习功能的应用程序，启动应用程序后通过界面进行用户习惯模型库学习根据用户操作鼠标习惯的动作特征在线更新手部运动模型，将更新后的手部运动模型放入视觉鼠标提供的习惯库中(最多能存放5个模型)作为动作模型样例，这样用户只需用以往的鼠标操作习惯就能操作此视觉鼠标并且准确度很高。
参看图6，视觉鼠标手部运动模型的创建
视觉鼠标工作软件的核心技术在于视觉鼠标手部运动模型的创建。手部运动模型的创建是建立标准模型样例库的前提，也是为用户提供学习功能的根本。
当用户建立自己的手部运动模型时，启动视觉鼠标提供的在线学习应用程序通过界面进行用户习惯模型库学习根据用户操作鼠标习惯的动作特征在线更新手部运动模型，将更新后的手部运动模型放入视觉鼠标提供的习惯库中(最多能存放5个模型)作为动作模型样例，这样用户只需用以往的鼠标操作习惯就能操作此视觉鼠标并且准确度很高。
手部运动模型的创建过程：首先建立手部骨架模型，再根据具体的运动特征建立相应的运动模型。鼠标操作一般包括手指上下摆动、手指前后滑动和手水平移动三个动作，其中手指上下摆动是指手指垂直于掌面方向上下运动，主要特点是指尖的相对于掌面方向的水平坐标基本保持不变，垂直坐标变化较大；滑动是指手指的弯曲收缩，主要特点是指尖距整个手部中心的绝对距离变化较大；移动是指手的水平运动，主要特点是指尖的相对于掌面方向的水平坐标变化很大，垂直坐标没有变化，并且指尖距整个手部中心的绝对距离没有变化。因此根据以上三类动作的运动特点，可以分别采用光流法、外观距离法和光流法利用数帧图像训练学习手部骨架模型的手指上下摆动、前后滑动和水平移动的动作特征，再利用运动特征建立手指摆动模型、滑动模型和移动模型，最后将各运动模型集成，生成视觉鼠标手部运动模型。
Claims (10)
1.计算机视觉鼠标，它包括底座(8)，所述底座(8)上支撑有视觉处理系统(5)，其特征在于：所述视觉处理系统(5)内嵌有摄像头(6)和基于ARM的微处理器；用户手(1)置于摄像头(6)的正前方；通过基于ARM的微处理器提取数帧图像检测运动确定运动部位，再分别与视觉鼠标手部运动模型标准库或手部运动模型的个人习惯样例库中样例进行匹配，将匹配到的动作模型所对应的鼠标命令，通过与用户电脑连接的USB数据线(9)将所采集到的用户手动图像信息传送给与视觉鼠标相配套的鼠标软件，实现视觉鼠标系统功能。
2.根据权利要求1所述计算机视觉鼠标，其特征在于：所述配套鼠标软件包含手部动作样例库、鼠标在线学习应用程序和手部运动识别与匹配的算法程序。
3.根据权利要求1所述的计算机视觉鼠标，其特征在于：所述样例分为手部运动模型的标准模型样例库和手部运动模型的个人习惯样例库。
4.根据权利要求1所述的计算机视觉鼠标，其特征在于：所述手部运动模型的标准模型库包含了男女小孩、青年、成年、老年人操作本鼠标时的手部运动模型；所述手部运动模型的个人习惯样例库包含了用户个人操作鼠标习惯下的手部运动模型。
5.根据权利要求1所述计算机视觉鼠标，其特征在于：所述手部运动模型的标准模型样例库和手部运动模型的个人习惯样例库存放在基于ARM微处理的存储器中；所述手部运动识别与匹配的算法程序嵌入到基于ARM的微处理中用于对摄像头获得的输入图像进行目标检测和跟踪，并与标准模板样例库和习惯库中的模型匹配，实现视觉鼠标系统功能。
6.根据权利要求2所述计算机视觉鼠标，其特征在于：所述在线学习应用程序是用户建立个人操作习惯的手部动作模型应用软件，由此应用程序建立的手部动作模型放入个人习惯样例库中。
7.根据权利要求1所述计算机视觉鼠标，其特征在于：所述用户手(1)根据用手习惯，允许定义使用左手或右手。
8.根据权利要求1所述计算机视觉鼠标，其特征在于：在所述摄像头(6)的左右两侧嵌有LED灯(10)。
9.根据权利要求1所述计算机视觉鼠标，其特征在于：所述底座(8)与视觉处理系统(5)之间通过金属软管(7)支撑，通过扭曲调节摄像头(6)到操作者适宜的角度，所述金属软管(7)内穿入信号线和电源线。
10.根据权利要求1所述计算机视觉鼠标，其特征在于：所述底座(8)内嵌有电池槽(12)以及配有可拆卸电池槽盖(14)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210101509.6A CN102662471B (zh) | 2012-04-09 | 2012-04-09 | 计算机视觉鼠标 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210101509.6A CN102662471B (zh) | 2012-04-09 | 2012-04-09 | 计算机视觉鼠标 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102662471A true CN102662471A (zh) | 2012-09-12 |
| CN102662471B CN102662471B (zh) | 2015-02-18 |
Family
ID=46771976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210101509.6A Expired - Fee Related CN102662471B (zh) | 2012-04-09 | 2012-04-09 | 计算机视觉鼠标 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102662471B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103176667A (zh) * | 2013-02-27 | 2013-06-26 | 广东工业大学 | 基于Android系统的投影屏幕触摸终端设备 |
| CN104281253A (zh) * | 2013-07-10 | 2015-01-14 | 林砺宗 | 一种基于视觉的人机交互方法及系统 |
| CN115729356A (zh) * | 2023-01-10 | 2023-03-03 | 深圳飞蝶虚拟现实科技有限公司 | 基于习惯分析的3d远程互动的动作优化系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101510121A (zh) * | 2009-03-12 | 2009-08-19 | 重庆大学 | 一种基于手势识别的界面漫游操作方法与装置 |
| CN102360247A (zh) * | 2011-10-09 | 2012-02-22 | 长沙学院 | 一种识别空间动作的手指鼠标 |
| CN102402289A (zh) * | 2011-11-22 | 2012-04-04 | 华南理工大学 | 一种基于机器视觉的手势鼠标识别方法 |
-
2012
- 2012-04-09 CN CN201210101509.6A patent/CN102662471B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101510121A (zh) * | 2009-03-12 | 2009-08-19 | 重庆大学 | 一种基于手势识别的界面漫游操作方法与装置 |
| CN102360247A (zh) * | 2011-10-09 | 2012-02-22 | 长沙学院 | 一种识别空间动作的手指鼠标 |
| CN102402289A (zh) * | 2011-11-22 | 2012-04-04 | 华南理工大学 | 一种基于机器视觉的手势鼠标识别方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103176667A (zh) * | 2013-02-27 | 2013-06-26 | 广东工业大学 | 基于Android系统的投影屏幕触摸终端设备 |
| CN104281253A (zh) * | 2013-07-10 | 2015-01-14 | 林砺宗 | 一种基于视觉的人机交互方法及系统 |
| CN115729356A (zh) * | 2023-01-10 | 2023-03-03 | 深圳飞蝶虚拟现实科技有限公司 | 基于习惯分析的3d远程互动的动作优化系统 |
| CN115729356B (zh) * | 2023-01-10 | 2023-07-21 | 西安飞蝶虚拟现实科技有限公司 | 基于习惯分析的3d远程互动的动作优化系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102662471B (zh) | 2015-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105045398B (zh) | 一种基于手势识别的虚拟现实交互设备 | |
| CN202584010U (zh) | 一种腕上手势操控系统 | |
| CN103809880B (zh) | 人机交互系统及方法 | |
| CN103930944B (zh) | 用于空间输入装置的自适应跟踪系统 | |
| CN103677289A (zh) | 一种智能交互手套及交互方法 | |
| US20150084859A1 (en) | System and Method for Recognition and Response to Gesture Based Input | |
| CN102915111A (zh) | 一种腕上手势操控系统和方法 | |
| CN103472916A (zh) | 一种基于人体手势识别的人机交互方法 | |
| CN107678550A (zh) | 一种基于数据手套的手语手势识别系统 | |
| CN109145802B (zh) | 基于Kinect的多人手势人机交互方法及装置 | |
| CN104123007A (zh) | 一种多维加权的3d动态手势识别方法 | |
| CN102789313A (zh) | 一种用户交互系统和方法 | |
| CN105302295B (zh) | 一种具有3d摄像组件的虚拟现实交互设备 | |
| CN103677265A (zh) | 一种智能感应手套及智能感应方法 | |
| CN103777748A (zh) | 一种体感输入方法及装置 | |
| Chen et al. | Research and implementation of sign language recognition method based on Kinect | |
| US20150331493A1 (en) | Wearable Input Device | |
| Linqin et al. | Dynamic hand gesture recognition using RGB-D data for natural human-computer interaction | |
| Aditya et al. | Recent trends in HCI: A survey on data glove, LEAP motion and microsoft kinect | |
| CN104516649A (zh) | 基于体感技术的智能手机操作技术 | |
| CN106293099A (zh) | 手势识别方法及系统 | |
| CN102662471B (zh) | 计算机视觉鼠标 | |
| Halarnkar et al. | Gesture recognition technology: A review | |
| CN202748729U (zh) | 计算机视觉鼠标 | |
| CN203070205U (zh) | 一种基于手势识别的输入设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150218 Termination date: 20160409 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |