CN101776953A - 一种光学定位方法和与键盘融合的手指鼠标 - Google Patents

一种光学定位方法和与键盘融合的手指鼠标 Download PDF

Info

Publication number
CN101776953A
CN101776953A CN200910189341A CN200910189341A CN101776953A CN 101776953 A CN101776953 A CN 101776953A CN 200910189341 A CN200910189341 A CN 200910189341A CN 200910189341 A CN200910189341 A CN 200910189341A CN 101776953 A CN101776953 A CN 101776953A
Authority
CN
China
Prior art keywords
keyboard
finger
point
mouse
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910189341A
Other languages
English (en)
Inventor
胡世曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN200910189341A priority Critical patent/CN101776953A/zh
Publication of CN101776953A publication Critical patent/CN101776953A/zh
Priority to CN2010102446767A priority patent/CN101882014A/zh
Priority to CN201010297546.XA priority patent/CN101963848B/zh
Priority to PCT/CN2010/078055 priority patent/WO2011079640A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种对平面上运动物体进行定位的方法:对比两个摄像头在同一时刻拍摄两帧物体的图像,如果最佳定位点的成像点相对于取景框的边框的位置相同,则该最佳定位点位于有效区域平面内;否则,该点不在有效区域平面内。如果该物体位于平米上,再根据物体成像点的位置与物体实际位置的对应关系,计算出此物体在有效区域平面上的位置。一种与键盘融合的手指鼠标,使用鼠标时,不需要其他的装置,只需要手指就能直接控制光标的移动,用户的手也不必离开键盘,这样用户在使用键盘和鼠标时更加方便。

Description

一种光学定位方法和与键盘融合的手指鼠标
技术领域:本发明涉及计算机用鼠标以及一种对平面上物体进行定位的方法。
背景技术:
自从操作系统进入图形用户界面以来,由于需要对显示器上所显示的光标(cursor)进行控制,所以鼠标成为出了键盘以外,最重要的外围输入装置之一。
光电鼠标(optical mouse)与计算机间常是利用COM、PS/2或USB接口来相互连接,而显示器上所显示的光标会随着光电鼠标所移动的轨迹移动。
现有光电鼠标的结构包括壳体、发光二极管、光透镜、光接收处理装置、按键以及印刷电路板,发光二极管是设置在壳体内,并朝壳体底部的一开口发射光线,故当此光电鼠标放置在如桌面或鼠标垫上后,光线照射到鼠标垫上即会反射光线,并由此呈现出鼠标垫上的图像,光透镜用来聚集自发光二极管所发射并由此鼠标垫上反射的反射光线。
光接收处理装置接收有光透镜聚集后的反射光线,且光接收处理装置具有一光传感器以及以图像处理单元,光传感器单元是有电荷耦合组件(CCD)所构成,因此能够获取经由光透镜聚集后的图像,典型的光处理装置芯片是美国AGILENT公司的HDNS-2000、HDNS-2051等光电鼠标专用光接收处理装置芯片,该类光接收处理装置芯片如HDNS-2000型芯片每秒可以从感光窗拾取1500帧图像。接着,由图像处理单元对于光传感器在不同时间所提取的图像加以比较其差异处,由此判断鼠标移动到位移量、速度等,并将其转换为计算机想对应坐标(ΔX,ΔY)的电信号后送至计算机上以控制光标的移动。
按键则是部分凸露于壳体外,当被使用者按压是,按键即会联动以微型开关,以控制光标进行点选(click)动作,印刷电路板是用来承载上述构件并是上述构件彼此间相互电连接。
由于光电鼠标是采用光学技术来进行移动位置的判定,因此具有不易沾染灰尘、分辨率高、移动顺滑等优点,故已逐渐取代传统式的滚轮鼠标。
然而,光电鼠标的使用者需要一定的空间来握持鼠标沿一平面移动,才能有效控制光标移动,因此必定占去相当多空间,使用上并非十分方便,尤其对于常常随身携带的笔记本电脑,要求其尽量轻便、小巧,而鼠标则会占用一定的空间或重量,携带、使用时不够方便。
如果既需要打字,又需要使用鼠标时,使用者的手不得不在键盘和鼠标之间来回移动,这会降低用户的工作效率。
尤其重要者,长时间操作移动鼠标不但易使手腕部位的肌肉疲劳和手指关节酸痛,严重更可能因长期累积而造成运动伤害。
发明内容:
本发明的目的在于避免上述不足之处而提供一种与键盘融合的、用手指直接控制显示器屏幕上光标的新型的鼠标装置,所要解决的技术问题是使鼠标的使用和携带更加方便,从而更加实用。
本发明的另一个目的在于,提供一种对平面上运动物体进行定位的方法,从而更加实用。
有效区域:摄像头和装置内部的分析处理单元只对平面上某一个区域内的图像进行分析处理,区域外的图像不做处理,这个区域就是有效区域。
取景框:有效区域与非有效区域的边界线在摄像头的光传感器上成的像称为取景框。取景框内的图像是有效图像,是进行各种分析处理的对象,取景框外的图像是无效图像,舍弃不用,不做处理。有效区域内的一个位置点对应取景框内的一个成像点。有效区域上方或下方的一个空间点在取景框内也会形成一个成像点,该成像点又对应于有效区域内的一个位置点,这个位置点称为该空间点的同像点。
最佳定位点:物体在取景框内的像包括很多成像点,从中选出一个基准点,以这个点的运动状态和位置代表物体的运动状态和位置,这个基准点就是最佳定位点。
本发明中的定位方法是:
先判断运动物体是否位于平面内。当物体上的最佳定位点位于平面内时,该点和对应的同像点位置是相同的,因此,该点在两个摄像头取景框中的成像点相对于取景框的位置也是相同的;当最佳定位点不在有效区域平面内时,该点对于两个摄像头的同像点的位置是不同的,在两个摄像头取景框中的成像点位置相对于取景框也是不相同的。根据这个原理,可以判断出最佳定位点是否位于有效区域平面内:对比两个摄像头在同一时刻拍摄两帧物体的图像,如果最佳定位点的成像点相对于取景框的边框的位置相同,则该最佳定位点位于有效区域平面内;否则,该点不在有效区域平面内。
再计算物体在此平面上的位置。摄像头的位置、角度、高度、光轴的方向等参数都是固定的,物体位置与其像在取景框中的位置的对应关系也是固定不变的,把它们的对应关系预先计算出来,当最佳定位点位于有效区域平面内时,可以根据物体成像点的位置与物体实际位置的对应关系,计算出此物体在有效区域平面上的位置。
下面是运用这种方法的与键盘融合的手指鼠标装置,这种方法还可以用于其他领域,如触摸屏。
将鼠标与键盘融合,使键盘既能打字,又能发挥鼠标的功能,打字时,按照键盘平常的使用方法操作;使用鼠标时,手指在键盘上移动,以此直接控制光标的移动。
手指在键盘上的动作分成三类:
键盘击键动作:手指做上下运动。
鼠标移动动作:手指贴着键盘表面移动。
无效动作:手指在按键上方做无规律、无目的地移动,或者多个手指贴着键盘表面移动。
在键盘上安装两个摄像头,对键盘表面的物体进行拍摄。摄像头的位置位于标准键盘的最前面一排按键即功能键和键盘上远离使用者的长边之间,两个摄像头分别在标准键盘上‘F’键和‘J’键的前方,保证两个摄像头的视线不被手遮挡。摄像头的高度高于键盘上的按键。两个摄像头镜头的光轴都对准键盘的中间,其视野覆盖了键盘中央的大部分区域。工作时,摄像头的高度、角度、位置、光轴的方向等参数全部固定不变。
为了便于手指在键盘表面移动,键盘有效区域内的按键之间应当没有间隙,键盘表面是平滑的。同时,在键盘上下两排字母键之间的间隙安装用于托放手指的指托,其高度与按键表面齐高,当手指在键盘表面移动时,将其他手指放在指托上,这既能避免其他手指错误地按下键盘上的按键,又能为手指的移动提供支撑点和着力点。
正常操作时,鼠标的左键和右键由大拇指点击,它们位于键盘靠近使用者的边缘附近,位置在‘G’键和‘H’键的正后方。使用者的手以打字姿态放在键盘上时,左键和右键正好位于大拇指的附近,这种姿态时,大拇指前后运动比较方便,而上下运动不太方便,所以为了便于大拇指操作,可以将左键和右键的位置突起于键盘,使大拇指可以向前按压。
键盘上的有效区域:只有当手指在该区域内移动,才会使光标在显示器屏幕上作对应的移动;手指在该区域外运动,光标静止不动。该区域位于摄像头视野的中央区域,一般也位于标准键盘字母区的中央。
取景框:有效区域与非有效区域的边界线在摄像头的光传感器上成的像称为取景框。手指在有效区域的运动必然成像于取景框内。取景框内的图像是有效图像,是进行各种手指在有效区域的运动必然成像于取景框内。取景框内的图像是有效图像,是进行各种分析处理的对象,取景框外的图像是无效图像,舍弃不用,不做处理。有效区域内的一个位置点对应取景框内的一个成像点。有效区域上方的一个空间点在取景框内也会形成一个成像点,该成像点又对应于有效区域内的一个位置点,这个位置点称为该空间点的同像点。
基准键盘图像:有效区域内没有手指或任何异物时,在取景框上成的像称为基准图像,基准图像一般在生产设计的环节拍摄并存入到装置的存储体中。
最佳定位点:手指在取景框内的像包括很多成像点,从中选出一个基准点,以这个点的运动状态控制光标产生相应的运动,这个基准点就是最佳定位点。最佳定位点通常是手指与键盘接触面上最靠近摄像头的点,如果这样的点有多个,则以最左边的那个点为最佳定位点。
鼠标装置包括下列单元:
图像识别单元:从取景框中识别出手指的图像并找出最佳定位点。使用者手指的形状是类似的,所以,可以把手指在键盘上的典型运动图像预存入到该装置的存储体中,将这些图像和摄像头拍摄到的图像以及键盘基准图像进行比对,就可以从键盘背景中识别出手指的图像。
判断单元:判断最佳定位点的位置是在键盘表面还是在键盘的上方。当最佳定位点位于键盘表面时,该点和对应的同像点位置是相同的,因此,该点在两个摄像头取景框中的成像点相对于取景框的位置也是相同的;当最佳定位点在键盘上方时,该点对于两个摄像头的同像点的位置是不同的,在两个摄像头取景框中的成像点位置也是不相同的。根据这个原理,可以判断出最佳定位点是否位于键盘表面:对比两个摄像头在同一时刻拍摄的两帧图像,如果最佳定位点的成像点相对于取景框的边框的位置相同,则该最佳定位点位于键盘表面;否则,该点位于键盘上方。
计算单元:a根据最佳定位点的成像点相对于取景框边框的位置计算出最佳定位点在键盘表面的位置。同一物体,与摄像头的距离不同,其成像的大小也不同,由于摄像头与键盘的位置和参数是固定的,所以,成像的大小与距离的函数关系可以根据相关参数在生产设计的环节中提前计算出来,作为一个已知关系存入到计算单元中,工作时,根据这个函数关系计算出最佳定位点的位置。b计算出最佳定位点的移动速度和方向。对比同一个摄像头在两个不同时刻拍摄的两帧图像上最佳定位点的成像位置,计算出两个成像点的位移和方向,再除以两个时刻的时间间隔,从而计算出运动速度和运动方向。
通信单元:负责和计算机主机系统通信,将鼠标的移动信息和点击信号发送至主机系统。
定位鼠标光标的工作步骤:
拍摄:两个摄像头同步工作,它们的拍摄频率一般和目前光电鼠标的拍摄频率相同。
图像识别:图像识别单元从拍摄到的图像中识别出手指,如果图像识别单元没有识别出手指图像,则不进行后续步骤。
判断:对手指图像进行分析处理,找出最佳定位点,判断最佳定位点的位置。判断单元如果判断出最佳定位点在键盘上方,表明手指在做非鼠标动作,此时,判断流程中断,后续步骤不再进行,鼠标不工作;如果判断出位置在键盘表面,则进入后面的计算步骤。若还需要更加准确地区分键盘击键动作和移动鼠标动作,可以将键盘上的按键与鼠标光标的移动设计成互斥的,即这些按键被按下时,禁止光标移动。哪些按键是互斥的,哪些不是互斥的,可以根据需要进行设置。互斥功能用如下方法实现:如果检测到键盘按键被按下的电信号,表明用户正在使用键盘,那么从检测到电信号的时刻起,判断工作暂停一段时间,此时鼠标内部模块的工作是暂停的,所以显示器屏幕上的光标是静止的。期间,如果再次检测到电信号,则继续暂停;如果不再检测到电信号,则进行后续步骤。这段时间的长短可以调节。
计算:计算出在同一个摄像机在两个时刻拍摄的两个最佳定位点的速度和方向。最佳定位点运动速度应处于一个范围内,超出或低于此范围的运动是无效的。这个阈值范围是可以调整的。
通信:将速度、方向信息和鼠标击键信号发给计算机主机。
该鼠标装置左右键、中间键、滚动键的处理方法与目前常用的光电鼠标、触摸板等输入装置对应键的处理方法一致。
附图说明:
图一键盘示意图
1左键
2右键
3左摄像头
4右摄像头
5右摄像头的视野范围
6左摄像头的视野范围
7有效区域
8指托
图二判断一个点是否位于平面的方法图
1空间点
2同像点
3有效区域
4镜头
5光传感器
图三该系统的模块图
具体实施方式
实施例1在标准键盘上安装两个摄像头3、4。键盘上光线的亮度变化可能比较大,为了光线较暗是也能工作,摄像头最好是能拍摄较暗物体的摄像头。摄像头的位置靠近标准键盘的最前面一排按键即功能键的前面,将键盘的轮廓看作一个长方形,也就是靠近远离使用者的那一条长边,摄像头平行排列,即摄像头中心点的连线平行于上述那条长边。两个摄像头分别位于标准键盘上‘F’键和‘J’键的正前方,即位于这两键与上述长边的垂线上。摄像头的高度高于键盘上的按键,一般高出1~2CM即可。摄像头3、4安装在可折叠的支架上,关机时,收进键盘;开机时再自动弹出。支架上安装小型的LED灯,当光线较暗时,LED灯能照亮键盘的中央区域。各种信号线位于支架内部。两个摄像头镜头的光轴都对准‘G’键和‘H’键的中间,两个摄像头的视野5、6都覆盖了键盘中央的大部分区域。工作时,摄像头3、4的高度、角度、位置、光轴的方向等参数全部固定不变。为了便于手指在键盘表面移动,各个按键间谍间隙应当填满,按键之间的填充物与按键表面等高,填充物使键盘表面变得平滑,同时,又可以作为指托8,当手指在键盘表面移动时,将其他手指放在指托上,这既能避免其他手指错误地按下键盘上的按键,又能为手指的移动提供支撑点和着力点。
左键1和右键2由大拇指点击,它们位于键盘靠近使用者的长边附近,位置在‘G’键和‘H’键的正后方。使用者手的手以正常姿态放在键盘上时,左键和右键正好位于大拇指的附近。大拇指前后运动比较方便,而上下运动不太方便,为了便于大拇指操作,将左键和右键的位置突起于键盘,使大拇指可以向前按压。
使用键盘按键时,手指在键盘上做上下方向的运动。鼠标与键盘融合后,操作鼠标的动作也是在键盘上完成,要将两者区分开,规定操作鼠标的动作是呈水平方向。因此,根据操作的目的不同,手指的动作就分成三类:
键盘击键动作:手指做上下运动,同时硬件能检测到按键被按下的电信号。
鼠标移动动作:手指贴着键盘表面移动。
无效动作:手指在按键上方做无规律、无目的地移动,或者多个手指贴着键盘表面移动。
只要用户的动作符合上述规定,各项不同操作就不会混淆。
键盘上的有效区域7:将三排字母键中央的大部分,也就是当用户的手以正常的打字姿势放在键盘上时,双手的食指、中指能接触的矩形范围设置成有效区域。
取景框:有效区域与非有效区域的边界线在摄像头的光传感器上成的像称为取景框。由于摄像头是竖直的,而键盘是水平的,键盘上不同的位置与摄像头的距离不同,所以成像的大小也不同,当有效区域是矩形时,取景框为一个梯形。
基准键盘图像:基准图像在生产设计的环节拍摄并存入到装置的存储体中。
最佳定位点:最佳定位点是手指与键盘接触面上最靠近键盘上远离使用者的那条边的点,如果这样的点有多个,则以最左边的那个点为最佳定位点。对于每一帧图像,都要计算出最佳定位点。
该装置包括下列单元:
图像识别单元:从取景框中识别出手指的图像并找出最佳定位点。把手指在键盘上的典型运动图像预存入到该装置的存储体中,将这些图像和摄像头拍摄到的图像以及键盘基准图像进行比对,就可以从键盘背景中识别出手指的图像。图像识别技术是一种常见的技术,识别方法还有很多,在此不一一赘述。不管用那种技术,只要能够识别出手指的图像,都可以应用在本装置中,也都包含在本发明的范围之内。
判断单元:判断最佳定位点的位置是在键盘表面还是在键盘的上方。当最佳定位点位于键盘表面时,该点和对应的同像点位置是相同的,因此,该点在两个摄像头取景框中的成像点相对于取景框的位置也是相同的;当最佳定位点在键盘上方时,该点对于两个摄像头的同像点的位置是不同的,在两个摄像头取景框中的成像点位置也是不相同的。所以,判断方法是对比两个摄像头在同一时刻拍摄的两帧图像,如果最佳定位点的成像点相对于取景框的边框的位置相同,则该最佳定位点位于键盘表面;否则,该点位于键盘上方。
计算单元:a根据最佳定位点的成像点相对于取景框边框的位置计算出最佳定位点在键盘表面的位置。同一物体,与摄像头的距离不同,其成像的大小也不同,成像的大小与摄像头和键盘表面之间的相对高度、摄像头于键盘的距离,摄像头光轴与键盘表面的夹角有关,根据成像的原理,可以得出实物和像的对应关系,由于摄像头与键盘的位置参数是固定的,因此,成像的大小与距离的函数关系可在生产设计的环节中提前计算出来,作为一个已知关系存入到计算单元中,工作时,根据这个函数关系计算出最佳定位点的位置。b计算出最佳定位点的移动速度。对比同一个摄像头在两个不同时刻拍摄的两帧图像上最佳定位点的成像位置,计算出两个成像点的位移和方向,再除以两个时刻的时间间隔,从而计算出运动速度和运动方向。
通信单元:负责和计算机主机系统通信,将鼠标的移动信息和点击信号发送给主机系统。可以通过USB接口、PS/2接口,无线通信等任意方式实现与计算机主机的通信,上述技术都是成熟的技术,在此不一一赘述。
上述单元放入到一个专门的芯片中,以对数字图像进行分析处理,这是该装置的核心部件。随着电路技术的发展,实现上述功能的电路都能集成到微小的芯片中,可以安装在键盘内部的印刷电路板上。
鼠标光标定位的工作步骤:
拍摄:两个摄像头同步工作,它们的采样频率和目前光电鼠标的采样频率相同,一般是3000帧/秒。
图像识别:对摄像头3拍摄到的有效区域图像进行识别,如果图像识别单元没有识别出手指图像,则不进行后续步骤。
判断:判断单元如果判断出最佳定位点在键盘上方,表明手指在做非鼠标动作,则不进行后续步骤;如果判断出位置在键盘表面,则进入下一个计算步骤。为了更准确地区分打字动作和鼠标动作,将键盘上打字时使用较多的按键包括字母键、数字键和符号键与鼠标的移动设计成互斥的,即上述按键被按下时,禁止光标移动,其它键位设定为非互斥的。互斥功能如下实现,在做完上述的判断后,继续做如下的判断:如果检测到上述键盘按键被按下的电信号,表明用户正在打字输入,那么从检测到电信号的时刻起,判断工作暂停0.5秒。期间,如果再次检测到电信号,则继续暂停;如果没有检测到电信号,则进行后续步骤。0.5秒是一般情况下的时间间隔参数,可以根据需要进行调整。
计算:计算某一个摄像头在相邻两个时刻拍摄的最佳定位点的速度和方向。最佳定位点运动速度的阈值范围是0.2cm/s-10cm/s,超出或低于此范围的运动是无效的。
通信:将速度、方向信息和鼠标击键信号发给计算机主机,并控制光标在显示器屏幕上的移动和点击左键、点击右键等操作。
鼠标装置左右键的处理方法与目前常用的光电鼠标、触摸板等输入装置的左右键的处理方法一致。
该鼠标的使用方法非常简单,移动光标时,手指在键盘表面有效区域内贴着键盘表面水平移动,并且只有一根手指是运动的,其他手指应放在指托上并保持静止不动。若手指抬起或者有多根手指同时运动,该装置会判断出手指所做的是击键动作或无效动作,于是光标静止不动。至于用户使用哪一根手指,没有任何限制,也不需要做任何特定的设置。用户可以根据自己的使用习惯,运用习惯的手指,一般用食指或中指控制光标的移动,用大拇指点击左键1右键2。这是由用户的使用习惯决定的,而不是该鼠标的硬性规定。
键盘操作如录入文字或使用功能键则不受鼠标操作的影响,和一般的键盘操作是相同的,这是因为该装置能根据手指的位置和运动情形自动区分是鼠标动作和击键动作以及无效动作,并做出正确的反应。
该鼠标还能用于其他用途,如手写输入等。
实施例2触摸屏:屏幕边框的两个角上安装两个摄像头,摄像头高出屏幕表面,能拍摄到屏幕表面,摄像头的参数如高度、位置、角度、光轴的方向固定不变的,如果两个摄像头不能拍摄到整个屏幕,则在边框的四角安装四个摄像头,只要使屏幕上任何一个点都能被两个摄像头拍摄到即可。以屏幕的整个显示区域为有效区域,有效区域在摄像头中成的像为取景框。
触摸屏还包括图像识别单元:从取景框中识别出手指的图像并找出最佳定位点。
判断单元:判断最佳定位点的位置是在屏幕表面还是在屏幕的上方。当最佳定位点位于屏幕表面时,该点和对应的同像点位置是相同的,因此,该点在两个摄像头取景框中的成像点相对于取景框的位置也是相同的;当最佳定位点在屏幕上方时,该点对于两个摄像头的同像点的位置是不同的,在两个摄像头取景框中的成像点位置也是不相同的。所以,判断方法是对比两个摄像头在同一时刻拍摄的两帧图像,如果最佳定位点的成像点相对于取景框的边框的位置相同,则该最佳定位点位于屏幕表面;否则,该点位于屏幕上方。
计算单元:根据最佳定位点的成像点相对于取景框边框的位置计算出最佳定位点在屏幕表面的位置。
工作步骤如下:
拍摄:所有摄像头同步工作
图像识别:识别出最佳定位点的图像。如果没有识别出手指的图像,则不进入下一个步骤。
判断计算:判断手指是否位于屏幕表面,如果是,则根据取景框与屏幕有效区域的位置对应关系,计算出手指在屏幕上的位置;如果不在表面,则停止流程。
以上所述,仅是本发明的较佳实施例,并非对本发明做任何形式上的限制,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,可以利用上述揭示的方法及技术内容做出些许的更改,但是凡是未脱离本发明技术方案的内容,依据本发明技术实质对以上实施例所做的任何简单修改、等同变化与修饰,均属于本发明技术方案的范围内。

Claims (14)

1.一种计算机鼠标装置,其左键、右键安装在键盘上,其特征在于:
手指在键盘上的动作直接控制光标的移动;
键盘上还安装有两个摄像头,对键盘表面的物体进行拍摄;
还包括下列组成部分:图像识别单元:从摄像头取景框中识别出手指的图像并找出最佳定位点;
判断单元:根据手指图像判断最佳定位点的位置是在键盘表面还是在键盘的上方;
计算单元:根据最佳定位点的成像点相对于取景框边框的位置计算出最佳定位点在有效区域表面的位置,计算出最佳定位点的移动速度和方向;
通信单元:负责和计算机主机系统通信,将鼠标的移动信息和点击信号发送至主机系统。
2.根据权利要求1所述的鼠标,其特征在于定位鼠标光标包括下列工作步骤:
拍摄:两个摄像头同步拍摄;
图像识别:图像识别单元从拍摄到的图像中识别出手指,如果图像识别单元没有识别出手指图像,则不进行后续步骤。
判断:判断单元如果判断出最佳定位点在键盘上方,则不进行后续步骤;如果判断出位置在键盘表面,则进入下面的计算步骤;
计算:计算在同一个摄像机在两个时刻拍摄的两个最佳定位点的速度和方向;
通信:将速度、方向信息发给计算机主机,控制光标在屏幕上的移动。
3.根据权利要求1所述的手指动作,其特征在于手指动作分成三类:
键盘击键动作:手指做上下运动;
光标移动动作:手指贴着键盘表面移动;
无效动作:手指在按键上方做无规律、无目的地移动,或者多个手指贴着键盘表面移动。
4.根据权利要求1所述的鼠标,其特征是:两个摄像头的位置都位于标准键盘的最上面一排功能键与键盘最上面边缘之间;同时分别在标准键盘的‘F’键和‘J’键的上方。
5.根据权利要求1所述的鼠标,其特征是:左右键位于标准键盘的空格键与键盘的下边缘之间,同时位于标准键盘的‘G’键和‘H’的下方。
6.根据权利要求1所述的鼠标,其特征是:键盘上有效区域内的按键之间没有间隙,键盘表面平滑。
7.根据权利要求1所述的键盘,其特征是:键盘上下两排字母键之间的间隙安装有用于托放手指的固定支架,其高度与按键表面等高。
8.根据权利要求1所述的鼠标,其特征是其判断单元的一种判断方法如下:
如果检测到键盘按键被按下的电信号,那么从检测到电信号的时刻起,判断工作暂停一段时间,期间,如果再次检测到电信号,则继续暂停;如果没有检测到电信号,则进行后续步骤。
9.根据权利要求8所述的判断方法,其特征是:所述时间的长短是可以根据需要调整的。
10.根据权利要求8所述的判断方法,其特征是:所述的按键是可以选择的。
11.一种光学定位方法,其特征是:包括两个摄像头,对比两个摄像头在同一时刻拍摄的两帧图像,如果最佳定位点在两个摄像头上的成像点相对于取景框的边框的位置相同,则该最佳定位点位于有效区域平面内;否则,该点不在有效区域的平面内。
12.根据权利要求11所述的摄像头,其特征是:摄    像头同步工作。
13.根据权利要求11所述的摄像头,其特征是:摄像头的高度高出有效区域表面。
14.根据权利要求11所述的摄像头,其特征是:工作时,摄像头的高度,位置,角度,光轴的方向都是固定不变的。
CN200910189341A 2009-12-29 2009-12-29 一种光学定位方法和与键盘融合的手指鼠标 Pending CN101776953A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN200910189341A CN101776953A (zh) 2009-12-29 2009-12-29 一种光学定位方法和与键盘融合的手指鼠标
CN2010102446767A CN101882014A (zh) 2009-12-29 2010-07-22 一种判断目标点是否属于平面的方法和鼠标及触摸屏
CN201010297546.XA CN101963848B (zh) 2009-12-29 2010-09-21 一种判断目标点是否属于平面的方法和鼠标及触摸屏
PCT/CN2010/078055 WO2011079640A1 (zh) 2009-12-29 2010-10-25 一种判断目标点是否属于平面的方法和鼠标及触摸屏

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910189341A CN101776953A (zh) 2009-12-29 2009-12-29 一种光学定位方法和与键盘融合的手指鼠标

Publications (1)

Publication Number Publication Date
CN101776953A true CN101776953A (zh) 2010-07-14

Family

ID=42513431

Family Applications (3)

Application Number Title Priority Date Filing Date
CN200910189341A Pending CN101776953A (zh) 2009-12-29 2009-12-29 一种光学定位方法和与键盘融合的手指鼠标
CN2010102446767A Pending CN101882014A (zh) 2009-12-29 2010-07-22 一种判断目标点是否属于平面的方法和鼠标及触摸屏
CN201010297546.XA Expired - Fee Related CN101963848B (zh) 2009-12-29 2010-09-21 一种判断目标点是否属于平面的方法和鼠标及触摸屏

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN2010102446767A Pending CN101882014A (zh) 2009-12-29 2010-07-22 一种判断目标点是否属于平面的方法和鼠标及触摸屏
CN201010297546.XA Expired - Fee Related CN101963848B (zh) 2009-12-29 2010-09-21 一种判断目标点是否属于平面的方法和鼠标及触摸屏

Country Status (2)

Country Link
CN (3) CN101776953A (zh)
WO (1) WO2011079640A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011079640A1 (zh) * 2009-12-29 2011-07-07 Hu Shixi 一种判断目标点是否属于平面的方法和鼠标及触摸屏
CN102163092A (zh) * 2011-03-25 2011-08-24 胡世曦 一种手指鼠标
CN102339134A (zh) * 2010-07-27 2012-02-01 晟铭电子科技股份有限公司 具多点触控板功能的键盘
CN102609153A (zh) * 2012-01-29 2012-07-25 胡世曦 一种计算物体与工作平面的接触位置的装置
CN102880315A (zh) * 2012-02-25 2013-01-16 胡世曦 一种与键盘融合的鼠标装置
CN104049747A (zh) * 2014-01-24 2014-09-17 胡世曦 一种用手指直接控制光标的鼠标装置
CN104423720A (zh) * 2013-09-02 2015-03-18 颜涌 一种基于摄像头的电脑输入设备和方法
CN106020519A (zh) * 2016-07-14 2016-10-12 胡世曦 一种新型鼠标
CN106066704A (zh) * 2016-06-04 2016-11-02 胡世曦 一种采用射频技术的鼠标
CN108616712A (zh) * 2018-04-18 2018-10-02 深圳中电数码显示有限公司 一种基于摄像头的界面操作方法、装置、设备及存储介质
CN108803888A (zh) * 2018-09-12 2018-11-13 丁翔鹏 一种键盘
CN110941367A (zh) * 2018-09-25 2020-03-31 福州瑞芯微电子股份有限公司 一种基于双摄的识别方法及终端
CN114148840A (zh) * 2021-11-12 2022-03-08 安徽新华学院 基于3d传感器的电梯空中按键实现方法及系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201103346D0 (en) * 2011-02-28 2011-04-13 Dev Ltd Improvements in or relating to optical navigation devices
CN102141847A (zh) * 2011-03-16 2011-08-03 梁庆生 模拟鼠标输入的方法
CN102520799B (zh) * 2011-12-22 2015-03-25 胡世曦 一种光学键盘
CN103886810B (zh) * 2012-12-20 2017-09-29 联想(北京)有限公司 一种显示设备
CN204046697U (zh) * 2013-01-25 2014-12-24 陈旭 一种图文采集识别装置
KR102382999B1 (ko) 2015-01-08 2022-04-05 삼성디스플레이 주식회사 터치 센서를 포함하는 표시 장치
CN107340962B (zh) * 2017-04-13 2021-05-14 北京安云世纪科技有限公司 基于虚拟现实设备的输入方法、装置及虚拟现实设备
CN110286780B (zh) * 2019-06-26 2022-06-07 西南民族大学 一种基于机器视觉的机电混合式无人值守计算机操作装置
CN111915655B (zh) * 2020-08-12 2024-04-26 无锡英斯特微电子有限公司 一种光电导航设备与目标平面距离的判断方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100478860C (zh) * 2007-02-09 2009-04-15 山西大学 一种电子平面显示定位系统及定位方法
WO2009148210A1 (en) * 2008-06-02 2009-12-10 Lg Electronics Inc. Virtual optical input unit and control method thereof
CN101344816B (zh) * 2008-08-15 2010-08-11 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
CN101533322B (zh) * 2009-04-13 2012-04-25 杭州电子科技大学 一种多点触摸板及多点触摸定位方法
CN101776953A (zh) * 2009-12-29 2010-07-14 胡世曦 一种光学定位方法和与键盘融合的手指鼠标

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011079640A1 (zh) * 2009-12-29 2011-07-07 Hu Shixi 一种判断目标点是否属于平面的方法和鼠标及触摸屏
CN102339134A (zh) * 2010-07-27 2012-02-01 晟铭电子科技股份有限公司 具多点触控板功能的键盘
CN102163092A (zh) * 2011-03-25 2011-08-24 胡世曦 一种手指鼠标
WO2012129958A1 (zh) * 2011-03-25 2012-10-04 Hu Shixi 一种手指鼠标
CN102163092B (zh) * 2011-03-25 2013-11-20 胡世曦 一种手指鼠标
CN102609153A (zh) * 2012-01-29 2012-07-25 胡世曦 一种计算物体与工作平面的接触位置的装置
CN102880315A (zh) * 2012-02-25 2013-01-16 胡世曦 一种与键盘融合的鼠标装置
CN104423720A (zh) * 2013-09-02 2015-03-18 颜涌 一种基于摄像头的电脑输入设备和方法
CN104049747A (zh) * 2014-01-24 2014-09-17 胡世曦 一种用手指直接控制光标的鼠标装置
CN106066704A (zh) * 2016-06-04 2016-11-02 胡世曦 一种采用射频技术的鼠标
CN106020519A (zh) * 2016-07-14 2016-10-12 胡世曦 一种新型鼠标
CN108616712A (zh) * 2018-04-18 2018-10-02 深圳中电数码显示有限公司 一种基于摄像头的界面操作方法、装置、设备及存储介质
CN108616712B (zh) * 2018-04-18 2020-11-10 深圳中电数码显示有限公司 一种基于摄像头的界面操作方法、装置、设备及存储介质
CN108803888A (zh) * 2018-09-12 2018-11-13 丁翔鹏 一种键盘
CN110941367A (zh) * 2018-09-25 2020-03-31 福州瑞芯微电子股份有限公司 一种基于双摄的识别方法及终端
CN114148840A (zh) * 2021-11-12 2022-03-08 安徽新华学院 基于3d传感器的电梯空中按键实现方法及系统

Also Published As

Publication number Publication date
CN101963848B (zh) 2014-06-18
CN101882014A (zh) 2010-11-10
WO2011079640A1 (zh) 2011-07-07
CN101963848A (zh) 2011-02-02

Similar Documents

Publication Publication Date Title
CN101776953A (zh) 一种光学定位方法和与键盘融合的手指鼠标
US8971565B2 (en) Human interface electronic device
US9645679B2 (en) Integrated light guide and touch screen frame
US8854433B1 (en) Method and system enabling natural user interface gestures with an electronic system
KR100811015B1 (ko) 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치
CN108700957B (zh) 用于虚拟环境中文本输入的电子系统和方法
US7050177B2 (en) Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US7006236B2 (en) Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
EP2107446A1 (en) System and a method for tracking input devices on LC-displays
KR20140060297A (ko) 입력체의 움직임 검출 방법 및 그것을 이용한 입력 디바이스
US8274497B2 (en) Data input device with image taking
CN103299259A (zh) 检测装置、输入装置、投影机以及电子设备
KR20110038121A (ko) 펜 추적을 포함하는 멀티-터치 터치스크린
KR20110038120A (ko) 펜 추적을 포함하는 멀티-터치 터치스크린
WO2016064073A1 (ko) 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법
CN102520799A (zh) 一种光学键盘
CN104049747B (zh) 一种用手指直接控制光标的鼠标装置
CN201489503U (zh) 表面多点触摸装置
JP6528964B2 (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
CN102163092B (zh) 一种手指鼠标
US20120026092A1 (en) Touch mouse operation method
CN103064560B (zh) 一种多点触摸屏
CN106325610B (zh) 触控显示系统、触控装置与触控显示方法
CN103105976B (zh) 手写系统及其感测方法
CN108021238A (zh) 新概念盲打键盘

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20100714