CN102609153A

CN102609153A - 一种计算物体与工作平面的接触位置的装置

Info

Publication number: CN102609153A
Application number: CN2012100259197A
Authority: CN
Inventors: 胡世曦
Original assignee: Individual
Current assignee: Individual
Priority date: 2012-01-29
Filing date: 2012-01-29
Publication date: 2012-07-25

Abstract

一种计算物体与工作平面的接触位置的装置：包括至少两个摄像头和图像处理单元，通过图像处理的方法，判断物体是否与工作平面接触，如果接触，则计算出接触点的位置。这种装置能广泛地应用在电脑、智能手机、平板电脑等电子产品中，代替传统的鼠标、触摸板、键盘等输入装置。例如，该装置应用在笔记本电脑上，使用户可以通过移动手指，直接控制光标移动，其操作方便性和便携性，远远超过了普通光电鼠标。应用在平板电脑上，实现光学键盘的功能，通过在桌面上投影出一个键盘的图像，用户通过对键盘图像的操作，来输入字符，具有超强的便携性和方便性，解决了输入功能和便携性之间的矛盾，将平板电脑从可有可无的娱乐用品，提升为必备的工作用品。

Description

一种计算物体与工作平面的接触位置的装置

技术领域：本发明涉及一种计算物体与工作平面接触位置的装置。

背景技术：许多情况下，需要判断物体与工作平面是否接触，并计算出接触点的位置，比如，触摸板是一种典型的定位装置，当手接触触摸板，并在触摸板上移动时，系统需要计算出接触点的位置，然后控制屏幕上的光标做相应的移动。触摸屏也是一种定位装置，当手接触到触摸屏时，系统需要计算出接触点的位置，并进行相应的控制动作。光电鼠标也是一种典型的定位设备，鼠标在平面上移动，系统需要计算出移动的方向和位置，并控制光标的移动。键盘也需要计算接触点的位置，当用户按下按键时，系统要根据是否有电信号判断用户是否按下按键，根据电信号的编码值判断出用户按下了哪个位置上的按键。这类型的设备还有很多，从表面上看，它们差别很大，似乎没有相通之处，然而实质上，它们都是一种计算接触点位置的装置，都要判断是否接触，如果接触，则计算出接触点位置，然后执行特定操作。

上述设备无论是触摸板、触摸屏、鼠标还是键盘，都只具备单一的功能，想实现多项功能，往往需要配备多种设备才能满足需求，导致设备的重量和体积变大，无法满足便携性和小型化的要求。本发明提出一种新型的装置，一套装置，具有多项功能，具有很强的便携性，使用非常方便，适用于笔记本电脑，智能手机，平板电脑等各种电子设备。

发明内容：本发明包含至少两个摄像头，它们对工作平面进行拍摄，物体与平面接触点区域为感兴趣区，部分摄像头的位置距离工作平面近，称为低摄像头，另一部分摄像头距离工作平面距离远，称为高摄像头；还包括图像处理单元，对摄像头拍摄到的图像进行处理，通过分析低摄像头拍摄的图像，判断物体是否与工作平面接触，通过分析高摄像头所拍摄的图像，计算物体的位置。

镜头可以是可见光摄像头，也可以是不可见光摄像头。还可以是包括两个或多个分镜头的三维摄像机

本发明中，物体与工作平面接触指的是两种情况，一种是真正的接触，另一种是近似接触，即两者没有真正接触，但是距离很近，例如，在有些应用情形下，距离1毫米可以当成是相互接触。多大距离可以被视为接触由具体应用场合而定。

物体与平面的接触点的分布范围称为感兴趣区域，感兴趣区在高、低摄像头中所成的像的位置，称为感兴趣成像区。工作时，图像处理单元只需要处理感兴趣成像区，其他的图像区域可以抛弃。所谓“光轴”就是一条垂直穿过理想透镜中心的光线。

低摄像头的位置位于工作平面上方，略高于工作平面，摄像头镜头的主光轴与平面的夹角很小，甚至接近平行，一般在0度-20度。由于光轴与平面接近平行，所以低摄像头的感兴趣成像区是一个狭窄的区域，当物体位置高于平面时，物体的像就会位于上述狭窄区域之外，只有当物体与感兴趣区接触，或与感兴趣区的距离很近时，物体所成的像才会有一部分或全部位于上述狭窄区域之中。反之，当感兴趣成像区中出现物体的图像时，则可判定物体与工作平面接触，当没有物体图像时，则可判定物体与工作平面不接触。图像处理单元判定感兴趣成像区中是否有物体的全部或部分图像的方法可以是简单的图像相减，即工作之前，感兴趣区没有物体时，低摄像头拍摄感兴趣区的图像，即感兴趣区背景图，保存在装置中，工作时，低摄像头对感兴趣区连续拍摄，将拍摄到的感兴趣区图像和背景图相减，如果感兴趣区成像区中没有物体像，则相减结果为0，否则不为0，图像处理单元可以根据相减的结果，判断物体像是否位于感兴趣成像区之中。另外，还可以是肤色识别，运动目标检测等图像处理方法判定感兴趣成像区中是否有物体的像，如果有物体的像，则判定接触；反之，判定不接触。

感兴趣区背景图是在工作之前的调试阶段拍摄下来的，并保存在装置的存储器中，在正常工作时，供图像分析使用

也可以使用另一种优选方案判断是否于平面接触：在感兴趣区的一侧，设置低摄像头，低摄像头位于工作平面上或略高于工作平面，主光轴与平面的夹角很小，甚至平行。在感兴趣区的另一侧，与低摄像头相对地设置标志物，标志物位于工作平面的同一平面上，或略高与工作平面，其投影位于平面上感兴趣区的一侧。标志物上有清晰标志，如边缘、图案、纹路等，标志通常是长条形，通常与工作平面平行，标志要求在低摄像头中能清晰地成像，像的区域称为标志成像区，标志成像区通常也是狭窄的长条形。工作之前，当感兴趣区没有物体时，低摄像头拍摄标志物，所得图像作为标志背景图，保存在装置中。工作时，低摄像头对标志进行实时拍摄，如果物体与平面接触，则物体必定位于低摄像头和标志物之间，标志将被物体所遮挡，在低摄像头中的成像将是不完整的。如果物体与平面不接触，则标志不会受到物体遮挡，在低摄像头中的成像将是完整的。图像处理单元通过分析标志图像是否完整，判断物体与平面是否接触。步骤是：首先低摄像头对标志连续拍摄，然后图像处理单元处理每一帧实时图像，将实时图像和标志背景图像对比，检测是否相同，比如将实时图像和背景图像相减，如果结果为0，则表明两幅图像相同，否则，两幅图像不同。最后，根据比较结果，判定是否接触，如果两幅图片相同，则表明物体与平面没有接触；如果图像不相等，则表明物体与平面接触。或者检测标志成像区中是否有物体的像，有，则判定接触；没有，则判定不接触。

感兴趣区可以分为多个子感兴趣区，每个子感兴趣区对应一个子感兴趣区图像，或子标志物，或子标志，工作之前，低摄像头拍摄子感兴趣区背景图或子标志背景图，供图像比较时使用。工作时，低摄像头对子兴趣区进行拍摄，当物体接触子感兴趣区时，对应的子感兴趣区图中出现物体图像，或者对应的子标志被遮挡，通过分析子感兴趣区图或子标志图，能判断出物体是否与子感兴趣区接触。划分子感兴趣区的益处低摄像头是不仅能判断出是否接触，还能辅助高高摄像头判定接触点的位置，将接触点位置局限于一个较小的范围。

高摄像头的位置与工作平面的距离较远，主光轴与平面的夹角较大，甚至可以接近垂直，一般在45度-90度之间。感兴趣区在高摄像头中所成的像是一个很宽的区域。当物体沿着垂直与平面的方向移动时，其在高摄像头中所成的像的位置移动较小，而当物体沿着平行与平面的方向移动时，其像在高摄像头中所成的像的位移较大。通过平面上点与像的位置对应关系，图像处理单元通过运动目标检测、肤色识别或图像相减等方法可以识别出物体并计算出物体在平面上的位置。

平面上点与高摄像头中的像的位置对应关系是在工作之前的调试阶段计算或测量出来，并存储在装置中，作为一个已知的常量，供正常工作时使用，正常工作时，位置对应关系是固定的，高摄像头需提前拍摄感兴趣区背景图，并保存在装置中，供图像分析时使用。如果位置对应关系没有提前计算或测量出来，则可以计算前后两帧图像中的对应点的相对位置。

高低摄像头的功能相互补充，低摄像头判断是否与平面接触或近似接触，高摄像头计算物体在平面上的位置，工作时，低摄像头先判断是否与工作平面接触，如果是，则高摄像头再计算在平面上的具体位置；根据工作需要，也可以高摄像头先计算位置，再由低摄像头判断是否接触。

附图说明：

图1：手指鼠标。

图2：光学键盘。

图3：光学键盘和手指鼠标。

实施方式：

实施例1：与键盘融合的手指鼠标

本实施例适用于计算机，尤其是笔记本电脑。

本实施例说明一种手指鼠标技术，使用这种鼠标，用户的手不必离开键盘，只需要贴着键盘表面移动手指，就能操作屏幕上的光标移动。键盘和鼠标操作都集中在键盘上完成，使用十分方便，同时，由于不需要另外携带鼠标，也大大地提高了笔记本电脑的便携性。

其实施方案如下：

如图1所示，一台笔记本电脑，1是键盘，5、6是鼠标的左键和右键，7是标志物，标志物的上边缘高出键盘表面2毫米，与键盘表面平行，在屏幕的上下边缘分别安装高摄像头2和低摄像头3，低摄像头的位置高出键盘表面越5毫米，工作平面就是键盘表面，感兴趣区域4是T、Y、U、G、H、J、B、N、M这几个键所在的区域，在工作之前，高摄像头拍摄感兴趣区域，并保存在系统中，作为背景图，供工作时使用，低摄像头也要拍摄标志背景图。工作时，低摄像头对标志物进行实时的连续拍摄，图像处理单元对低摄像头的每一帧实时图像进行处理，将实时拍摄到的标志图减去标志背景图，如果结果为零，则光标不移动，继续处理下一帧图像；如果相减结果不为零，则对高摄像头同步拍摄到的感兴趣区图像进行处理，先通过与感兴趣背景图相减，识别出用户的手指图像，再在图像中找出指尖的位置并记录位置信息，然后按照同样方式处理高、低摄像头的下一帧图像，测量出指尖在像中的位置，根据两次测量出的指尖位置，计算出图像中指尖的位移或速度，以此控制屏幕上光标的移动。

也可以根据物与像的对应关系，把指尖在像中的位置转换为在感兴趣区中的实际位置，再用实际位移控制光标的移动。当需要使用物与像的位置对应关系时，由于摄像头安装在屏幕边缘，当屏幕打开的角度改变时，摄像头位置与键盘表面的相对位置也会改变，物与像的对应关系也会改变，改变后的对应关系可以用三维定标或其他的图像处理方式计算出来，计算方法是先测量出一个已知角度时，物与像的对应关系，如果摄像头位置发生改变，那么这种改变一定是沿着以屏幕下边沿为圆心的圆周性变化，根据这一点，运用三维定标的方法，可以计算出变化后的对应关系。

实施例2：光学键盘

本实施例适用于便携性终端，尤其是平板电脑。

本实施例说明一种光学键盘技术，这种技术用光学投影的方式，在工作平面上投影出一个键盘图像，当用户按住键盘图像中某个按键的图像时，就像按下实体键盘中的某个按键一样，会输入对应的字符。这种技术，用键盘图像替代了键盘实体，具有超强的便携性，非常适用与平板电脑、智能手机等便携装置，这些便携装置为了保证便携性，往往没有配置键盘实体，而是用触摸屏实现字符输入，该输入方式的效率很低，使用不便，这一点严重地制约了平板电脑的应用领域，把它局限为一种可有可无的娱乐用品，而不是一种工作必需品。为了解决这个问题，本实施例在不影响便携性的同时，提供一种高效的，符合用户使用习惯的键盘。

如图2所示，一台平板电脑，它倾斜地放置在桌面上，屏幕的下边沿，安装一个低摄像头3，位置高出桌面约5毫米，在屏幕的上边沿，安装有高摄像头1，在高摄像头的一侧，安装一个小型的投影系统2，它在桌面上投影出一个键盘图像4，键盘图像所在的区域就是感兴趣区。

在工作之前的调试阶段，高、低摄像头分别对感兴趣区进行拍摄，拍摄到的图像作为感兴趣区背景图，存入系统，供正常工作阶段使用。还要计算出高摄像头所成的像和对应的物的对应关系，也就是按键与该按键在高摄像头中的像的位置对应关系。

在工作阶段，先打开投影装置，键盘图像出现在桌面上，低摄像头对感兴趣进行连续拍摄，图像处理单元对低摄像头所拍摄的感兴趣区图像进行实时处理，将实时感兴趣区图像减去感兴趣背景图，如果相减结果为0，表明用户没有按键，则不输入字符；当相减的结果不为0时，同时，该位置在前一帧图像中是没有手指图像的，则表明用户手指按住了按键，则对高摄像头的拍摄图像进行处理：首先在图像中识别出用户的手指，并确定指尖位置，再根据物与像的对应关系，计算出指尖按住的是哪个按键，然后输入按键对应的字符。这是输入一个字符的过程，工作时，上述过程不断循环进行。

当图像处理单元分析低摄像头的感兴趣图像，检测到多个手指同时接触键盘时，则视为无效动作，不进行字符输入。

实施例3：手指鼠标与光学键盘的融合。

本实施例适用于便携性终端，尤其是平板电脑。

实施例2只解决了移动终端的键盘输入问题，没有解决鼠标输入的问题，本实施例提供了一个键盘输入与鼠标输入的一揽子解决方案。

比较实施例1和2，就能发现，光学键盘只是多了一个投影系统，其它部分的组成和实施例1中的手指鼠标是相同的，所以在光学键盘上可以不增加其它的部件，只需修改工作流程，就能实现鼠标功能，进一步方便了使用。

如图3所示，一台平板电脑，它倾斜地放置在桌面上，屏幕的下边沿，安装一个低摄像头3，位置高出桌面约5毫米，在屏幕的上边沿，安装有高摄像头1，在高摄像头的旁边，安装一个小型的投影系统2，它在桌面上投影出一个键盘图像4，键盘图像所在的区域就是键盘感兴趣区，T、Y、U、G、H、J、B、N、M键所在位置为鼠标感兴趣区5。

在工作之前的调试阶段，高、低摄像头分别对键盘、鼠标感兴趣区进行拍摄，拍摄到的图像作为感兴趣区背景图，存入系统，供正常工作阶段使用。还要计算出高摄像头所成的像和物的位置对应关系，也就是按键与该按键在高摄像头中的像的位置对应关系。

在工作阶段，先打开投影装置，键盘图像出现在桌面上，键盘图像中包括鼠标左键和右键图像6。

第一步、低摄像头先对键盘感兴趣进行连续拍摄，图像处理单元对低摄像头所拍摄的感兴趣区图像进行实时处理，将实时感兴趣区图像减去感兴趣背景图，如果相减结果为0，表明用户没有按键，则不输入字符；当相减的结果不为0时，同时，该位置在前一帧图像中是没有手指图像的，则表明用户手指完成了按键动作，则对高摄像头同步拍摄的图像进行处理：首先在图像中识别出用户的手指，并确定指尖位置，再根据物与像的对应关系，计算出指尖按住的是哪个按键，然后输入按键对应的字符。这是输入一个字符的过程。

第二步、如果第一步有键盘输入，则不进行第二步。如果第一步没有键盘输入，则进行第二步操作。低摄像头对鼠标感兴趣拍摄，图像处理单元对低摄像头拍摄的感兴趣图像进行实时处理，如果在感兴趣区图像中检测到手指图像，则对高摄像头拍摄到的图像进行处理，找到手指指尖的位置，并通过比较相邻两帧图像中指尖的距离，控制光标移动。

上述过程循环进行。鼠标移动和键盘输入是互斥的，同一时刻，只能进行一种输入。

虽然上面结合附图对本发明的三个示例性实施例作了具体说明，但是本发明的范围并不仅仅限于此实施例，在本发明的构思下，可以根据具体的使用环境和技术要求对该实施例做各种改进，例如为了提高精度，使用更多的摄像头，或使用3D摄像机等。

Claims

1.一种计算物体与工作平面的接触位置的装置，物体与平面接触的区域为感兴趣区，其特征是：包含至少两个摄像头，它们对工作平面进行拍摄，部分摄像头的位置与工作平面距离近，另一部分摄像头位置与工作平面距离远；另外还包括图像处理单元，对摄像头拍摄到的图像进行处理，处理低摄像头拍摄的图像，判断物体是否与工作平面接触，处理高摄像头所拍摄的图像，计算物体的位置。

2.基于权利要求1所述的计算物体与工作平面的接触位置的装置，其特征是：通过处理低摄像头拍摄的感兴趣区图像，如果感兴趣区图像中有物体的像或者感兴趣区图像全部或部分被遮挡，则判定物体与工作平面接触。

3.基于权利要求1所述的计算物体与工作平面的接触位置的装置，其特征是：工作平面上的点的位置，与该点在高摄像头中所成的像在整体图像中的位置对应关系是已知的。

4.基于权利要求1所述的计算物体与工作平面的接触位置的装置，其特征是：低摄像头位置在工作平面上的感兴趣区的斜上方。

5.基于权利要求1所述的计算物体与工作平面的接触位置的装置，其特征是：在感兴趣区的一侧，与低摄像头相对的位置，设置标志物。

6.基于权利要求5所述的计算物体与工作平面的接触位置的装置，其特征是：所述的标志物上的标志与工作平面平行。

7.基于权利要求5所述的计算物体与工作平面的接触位置的装置，其特征是：低摄像头拍摄的标志的图像中有物体的像，或者标志的像全部或部分被遮挡，则判定物体与平面接触。

8.基于权利要求1所述的计算物体与工作平面的接触位置的装置，其特征是：感兴趣区划分为多个子感兴趣区。