CN106020519A - 一种新型鼠标 - Google Patents

Abstract

一种新型鼠标，包括一个摄像头和主控单元，实现裸手直接控制鼠标，操作时，手不需要离开键盘，直接在键盘表面移动，以控制光标移动。该鼠标非常适合于工作场合使用。

Description

一种新型鼠标

技术领域：本发明涉及一种用手指直接控制光标的鼠标装置。

背景技术：鼠标是电脑上除了键盘以外，最重要的外围输入装置之一。光电鼠标是最常见的鼠标装置，由于光电鼠标是采用光学技术来进行移动位置的判定，因此具有不易沾染灰尘、分辨率高、移动顺滑等优点，故已逐渐取代传统式的滚轮鼠标。

然而，光电鼠标的使用者需要一定的空间来握持鼠标沿一平面移动，才能有效控制光标移动，因此必定占去相当多空间，使用上并非十分方便，尤其对于常常随身携带的笔记本电脑，要求其尽量轻便、小巧，而鼠标则会占用一定的空间或重量，携带、使用时不够方便。

如果既需要打字，又需要使用鼠标时，使用者的手不得不在键盘和鼠标之间来回移动，这会降低用户的工作效率。

针对光电鼠标的不足，2014101091614提出了一种新型鼠标，可以在键盘上直接控制光标移动，手不需要离开键盘，操作很方便，也不占用空间。但是，这种产品需要使用两个摄像头，成本高，如果使用一个摄像头，实现技术复杂。为了解决上述问题，本技术提出一种只用一个摄像头的技术方案，其产品结构更简单，成本更低。

发明内容：一种用手指直接控制光标的鼠标装置，包括一个摄像头和主控单元，摄像头安装在工作平面侧面稍高于平面的位置，工作时，摄像头连续工作，如果手指贴在工作区域表面，则手指（指尖）成像与摄像头感光材料中央的一个平行于工作平面的狭长部位，通过分析图像中手指（指尖）位置是否落在狭长部位，判断出手指是否贴在工作区域，手指稍高于工作区域，也视为贴在工作区域上；计算出手指位置或者移动速度，如果手指是贴在工作区域，则根据手指移动速度，主控单元控制光标移动。其特征是：计算手指位置或移动速度时：用单目测距计算手指与摄像头的距离，再通过手指在狭长部位的像的位置，根据像的位置与物的方位的对应关系，计算手指的位置或相对位置，或者在连续图像中的变化，计算出移动速度；或者通过手指落在背景图像中的位置，计算手指位置或者联系图像中的位置变化计算出速度。

如图1所示，摄像头光轴与工作平面平行或者接近平行，所以工作平面在摄像头像平面垂直或接近垂直，因此，工作区域在像平面的成像为一个狭长区域（灰色区域），狭长区域的高度取决于摄像头与工作平面的高度和偏转角度，高度越小，则狭长区域的高度（竖直方向）也越小，当光心O位于工作平面上时，工作平面在像平面上为一条直线。当手指P贴在工作区域上时或手指与工作区域的距离很小时，手指就会在狭长区域上成像P’；手指Q离工作区域越远，则像Q’离狭长区域越远。通过分析像与狭长区域的距离，可以判断手指是否在工作区域上。当像落在狭长区域上时，分析像在水平方向的位置，计算出物相对光轴的偏转角θ。通过单目测距法，测量出物与摄像头光心的距离ρ，即可算出物的位置，或者通过连续图像中位置，算出位移，根据位移控制光标移动。

工作区域包括多个按键，形成背景，按键表面的字符，构成特征点，特征点的大小和位置关系是固定且已知的，工作区域上的点与像的位置是一一对应，对应关系是已知的或者通过摄像头标定步骤，使用摄像头参数计算出来，然后通过物像在背景中的位置，通过对应关系求出物的位置，或者连续图像求出位移。由主控单元控制光标移动。

使用单目测距法时，使用几何光学测量法，包括聚焦法和离焦法以及两者的结合。单目测距法有很多不同的方法，如几何相似法，结构光法，辅助法等，本文件中使用几何光学测量法，聚焦法指在焦距是可调的情况下,使被测点处于聚焦位置,成像清晰，然后根据透镜成像公式以及摄像头参数可求得被测点相对于相机的距离,以达到测量目的。本技术方案中，摄像头的内参数是已知的，工作时，摄像头的位置是固定，键盘及特征物（按键、字母等）的大小也是固定且已知的，可以利用参照物或者特征物的大小及距离，在工作前，建立定焦模型。定焦模型是物像与距离的关系，模型可以有多种，例如物像大小或者物像上特征大小与距离的关系，或者连续图像上物像的变化（例如位置与大小的变化）与速度的关系。键盘上的一个或多个特定的按键可以作为标定靶标。

离焦法不要求相机相对于被测点处于聚焦位置,而是根据标定出的离焦模型计算被测点相对于相机的距离。离焦模型有很多种，其中一种是图像的模糊程度和物体偏离焦点的距离有对应关系，偏离越大，边缘越模糊；越接近焦点，边缘越清晰。在本技术方案的应用中，该模型能够预先标定。在工作时，可以通过对图像边缘清晰度的分析，按照离焦模型，测量出距离。

测量出距离之后，在连续图像中，距离的变化，即可算出速度。或者建立基于速度的离焦模型，建立连续图像中边缘的清晰度的变化与速度的关系，通过分析连续图像边缘的清晰度的变化，直接计算出速度。

工作区域是键盘中央按键部位。具体地说，就是TYUGHJBNM这几个按键的位置，当放置在键盘上的是标准手型时，这几个按键上是空的，没有手指。这些按键上方的字母，可以作为参照物或靶标。这些参照物大小和形状都是固定且已知的，如果摄像头位置移动，则通过键盘中央的按键进行标定。

一个手指在键盘上方向下按下一次，接触按键但不按下按键，代表单击鼠标左键；按下两次，接触按键但不按下按键，代表单击鼠标右键。手指向下的运动轨迹基本上与像平面平行，与光轴垂直，因此，像的运动检测的精度很高。当像朝向狭长区域运动，且进入狭长区域，但是没有检测到按键被按下时，即为单击鼠标左键。当检测到两次这样的运动时，为单击鼠标右键。为了更好地与其他动作区分，限定手指为一个，当手从键盘外往键盘上放时，有多个手指从上往下运动，此时不做为左右键单击动作。

为了节约电量，在不使用鼠标时，摄像头应该关闭，使用时再打开。打开的方式是：当任一按键被按下时，打开摄像头。本技术方案中，鼠标是与键盘是融合的，目的是为了在打字时的少量鼠标操作可以在键盘上直接完成，不用移动到外接光电鼠标或触摸板上进行操作。因此，按键被按下时，同时开启鼠标。当键盘操作停止了一段时间，比如5分钟后，鼠标关闭，或者屏幕保护启动时，电脑休眠时，鼠标关闭。使用按键作为开关而不是另外设置一个开关，可以节约成本，同时通过打字打开鼠标而不用专门打开，也方便了操作。

键盘表面为黑色，黑色与手指皮肤的颜色反差明显，有利于图像识别。

确定工作平面上点的物距与像的位置的对应关系，判断手指的像的位置和测出的手指的距离是否满足该关系，从而判断手指是否与工作平面接触，该关系称为工作平面对应关系。

附图说明

图1 原理图。

具体实施方式

实施例1 笔记本鼠标

采用一颗100M像素的微型摄像头，尺寸8*8mm，安装于笔记本电脑键盘的F5键侧面，光轴与键盘表面平行，高于键盘表面2mm，镜头定焦于GH键，手指在GH键上时，能清晰成像，远离时，成像模糊。镜头焦距约为6mm，工作区域为TYUGHJBNM这几个按键的上表面，工作区域在摄像头上成像为一个高度约20像素，宽度约200像素的与键盘表面平行的图像。

采用离焦法进行测量，在工作前，建立图像模糊程度与距离的关系。在工作时，摄像头位置固定不变，焦距不变，因此离焦模型也固定不变。同时还要建立角度关系，也就是像在狭长区域的位置和物体相对于光轴的偏转角度的对应关系。手指的像有多个点组成，取中心点作为计算依据。工作时，连续拍摄图像，如果图像落在狭长区域，则采用常规的边缘检测算法对模糊度进行分析，按照离焦模型，测算出手指距离；同时计算出偏转角度。在以摄像头光心为原点的极坐标系中，长度和角度构成了一个点，代表了在平面上位置，分析连续图像中的位置变化，算出速度，将速度数据发送给主控单元，主控单元控制光标移动。

如果图像落在狭长区域，同时还落在上下两侧之外，则判断手指没有贴着工作区域。

鼠标的移动需要的不是手指的绝对坐标，而是手指的位移或速度，也就是连续帧中的位置差，以此对测距精度的要求可以适当降低，而电脑上光标的移动和手指的移动并不是精确相等，而是一个大致的对应关系，因此对测距精度的要求并不高，测距采用离焦法可以满足精度的要求。

单击鼠标左键的方式：一个手指在键盘上，从上往下点击键盘按键，但是不按下按键，为单击左键；快速点击两次，为单击右键。手指做点击按键运动时，其图像的运动表现为从狭长区域之外朝向狭长区域运动，且接触到狭长区域，而且没有穿透狭长区域，分析图像，发现上述图像运动特点，并且没有按键被按下的信号，即视为单击左键，分析图像，如果发现了连续两次这样的运动，即视为单击右键。

为了便于图像识别，键盘颜色为黑色，字母颜色为蓝色。

当电脑系统休眠，或者键盘操作停止5分钟时，鼠标关闭；从关闭状态到打开状态，只需要任意按键被按下。以按键作为开关，一方面可以节约成本，另一方面可以方便操作，用户在操作键盘时，同时打开鼠标，而不用特意去打开开关。

鼠标的操作方法非常方便，食指贴着TYUGHJBNM按键的表面移动，就可以操作光标，食指点击按键表面，但不按下按键，为单击鼠标左键，快速点击两次，为单击鼠标右键。这种鼠标在同时需要打字和鼠标操作的应用场景，比普通光电鼠标的使用更加方便。这种鼠标可以和普通光电鼠标配合使用，在不需要使用键盘时，如浏览网页或看视频时，使用普通光电鼠标；如果在需要同时使用键盘和鼠标的应用场合，如使用word打字，制作ppt时，使用这种鼠标。这种鼠标适用于通常的工作应用，不适合娱乐应用。

实施例2 台式机鼠标

产品是独立结构,高约3cm，用usb接口连接电脑，产品用胶带粘贴在键盘的上侧边。采用一颗100M像素的微型摄像头，摄像头高约2.5cm，光轴对准GH键的中间，与键盘平面的夹角约15度，工作区域为TYUGHJBNM这几个按键的上表面，工作区域在摄像头中能清晰成像，工作区的像是一个扁平的梯形，长边平行于键盘，与例1中相比，例1中，由于摄像头更靠近工作平面，工作区域的像呈一个更狭长的带状区域，此例中，由于摄像头的位置更高，所以工作区域的像的面积更大，呈一个扁平的梯形。

当手指贴在工作区域上时，手指（指尖）的像必然位于长方形区域，根据像的位置可以判断出手指是否贴在表面。如果是贴在表面，用帧差法对连续图像进行分析，求出手指的像的位置差，进一步求出速度，控制光标移动。

本例中，工作区域的像有一定的高度，因此，当手指稍微高于键盘表面时，手指像也会落在梯形区域中，这也会被认定为贴在键盘表面，这种“误判断”的情况并不会影响应用，因为，操作时，用户更习惯于贴在键盘上操作，而不是悬空操作，因此出现“误判断”的机会很少。

实施例3 台式机鼠标

鼠标安装在显示器下边框的中间，使用一个100M的摄像头，光轴大致对着键盘中间，由于摄像头和键盘的位置是不固定的，所以必须进行标定，以确定它们的关系，因为键盘和按键的尺寸是固定的且已知，所以键盘可以充当标定物。当检测到位置变化时，都需要重新进行标定。

物点和像点是一一对应的，在标定了摄像头和键盘的相对位置之后，可以进一步确定像点的位置与物点距离的对应关系。例如，G键右上角在图像中的位置为（200,300），G键与摄像头的距离为30cm，则位置与距离是一一对应的关系，称为工作平面对应关系。工作区域所有的点都具有这种对应关系，工作前，求出所有点的对应关系，作为判断是否贴着平面的依据。

测距使用聚焦法，拍摄手指时，调节焦距，使手指清晰成像，根据透镜成像公式，算出距离。根据工作平面对应关系，判断出手指是否在平面上。例如，手指（指尖）的图像在（200,300）位置，与G键右上角的图像重合，但是测出的距离为28cm，不是30cm，不满足对应关系，所以手指不是贴在键盘上，实际上是在键盘上方。

如果判断手指贴着工作区域，则使用帧差法，判断连续图像中手指位置的变化，主控单元据此控制光标的移动。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，可以利用上述揭示的方法及技术内容做出些许的更改，但是凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均属于本发明技术方案的范围内。

Claims (9)

1.一种用手指直接控制光标的鼠标装置，包括一个摄像头和主控单元，摄像头安装在工作平面侧面稍高于平面的位置，工作区域在摄像头感光元件中的成像区域为一个平行于工作区域的狭长区域，工作时，摄像头连续工作，如果手指贴在工作区域表面，则手指（指尖）成像于上述狭长区域，通过分析图像中手指（指尖）位置是否落在狭长部位，判断出手指是否在工作区域；计算出手指距离、位置或者移动速度，如果手指是贴在工作区域，则根据手指移动速度，主控单元控制光标移动，其特征是：计算手指距离、位置或移动速度时：用单目测距计算手指与摄像头的距离，再通过手指在狭长部位的像的位置，根据像的位置与物的方位的对应关系，计算手指的位置或相对位置，或者在连续图像中的变化，计算出移动速度；或者通过手指落在背景图像中的位置，计算手指位置或者联系图像中的位置变化计算出速度。

2.根据权利要求1所述的鼠标装置，其特征是：所述的单目测距法为几何光学测量法，包括聚焦法和离焦法以及两者的结合。

3.根据权利要求1所述的鼠标装置，工作区域是键盘中央按键。

4.根据权利要求3所述的鼠标装置，其特征是：其特征是：键盘上的一个或多个特定的按键为标定特征物。

5.根据权利要求1所述的鼠标装置，其特征是：如果摄像头位置移动，则通过键盘特征物进行标定。

6.根据权利要求1所述的鼠标装置，其特征是：一个手指在键盘上朝下按下一次，接触到按键但不按下按键，代表单击鼠标左键；按下两次，接触到按键但不按下按键，代表单击鼠标右键。

7.根据权利要求1所述的鼠标装置，其特征是：键盘表面为黑色。

8.根据权利要求1所述的鼠标装置，其特征是：确定工作平面上点的物距与像的位置的对应关系，判断手指的像的位置和测出的手指的距离是否满足该关系，从而判断手指是否与工作平面接触。

9.根据权利要求1所述的鼠标装置，其特征是：当按键被按下时，打开鼠标。