CN102231093A

CN102231093A - 一种屏幕定位控制方法及装置

Info

Publication number: CN102231093A
Application number: CN2011101578763A
Authority: CN
Inventors: 伍斌
Original assignee: Individual
Current assignee: Individual
Priority date: 2011-06-14
Filing date: 2011-06-14
Publication date: 2011-11-02
Anticipated expiration: 2031-06-14
Also published as: CN102231093B

Abstract

一种屏幕定位控制方法，①参考图像的获取：实时获取或预先收集至少一个屏幕参考图像，并将该屏幕参考图像作为图像识别中的标准图像；②屏幕图像的采集：将本发明中的定位控制装置指向屏幕，定位控制装置内部的图像采集单元将屏幕图像数字化，得到一系列的屏幕采集图像；③图像识别，它包含：A、提取参考特征集：从屏幕参考图像中提取参考特征集，并把参考特征集作为图像识别过程中的标准集；B、提取采集图像特征集：利用提取参考特征集相同的方法对屏幕采集图像进行特征提取，得到采集图像特征集；C、用匹配算法对采集图像特征集和参考特征集进行匹配；④位置计算：根据匹配结果和定位控制装置的当前坐标计算下一时刻定位控制装置指示的屏幕坐标；⑤焦点标识：将新焦点坐标送至焦点控制模块中，焦点控制模块根据屏幕的当前状态标识焦点位置。

Description

一种屏幕定位控制方法及装置

技术领域

本发明涉及一种屏幕定位的方法及装置，属于人机交互领域，具体的说，是一种利用计算机视觉和模式识别原理来直接对屏幕定位的方法和装置。

背景技术

作为一种输入设备，屏幕定位设备是用来在屏幕上指定一个位置的设备。举例来说，鼠标就是一种屏幕定位设备，它利用手在另一个平面上的运动来控制鼠标的光标在屏幕上的位置。作为人机交互系统的重要组成部分，输入设备对人机界面和用户体验影响巨大。鼠标的普及极大地改善了用户体验，最终导致了图形界面系统的流行并在PC和移动设备中取代字符界面系统。

目前，鼠标和触控板仍然是最主要的屏幕定位设备。尤其在计算机领域，鼠标和触控板分别是台式机和笔记本的标准配置。但鼠标和触控板也有突出的缺点：操作不直观，不自然。也就是说，人无法与屏幕上的对象进行直接交互。因为在使用鼠标或触控板的过程中，人的眼睛盯着屏幕，却要通过手在另一个平面的运动来控制屏幕上的光标，这造成使用的不便。举例来说，人们很难用鼠标在屏幕上画图或手写输入。

触摸屏则很好的实现了直接交互，因为人们可以用手指或笔通过触摸直接操作屏幕上的对象。但是触摸屏的成本和屏幕面积成正比，这导致它用在笔记本和更大的屏幕上的成本很高；触摸屏会因外界条件变化而产生漂移，造成定位不准确；触摸屏本身的材质也会影响屏幕的清晰度；手指接触屏幕还会使屏幕变脏、磨损以致缩短屏幕寿命。由于以上种种原因，触摸屏主要应用在屏幕较小的设备（如仪器仪表、手持设备等）上。

申请号为200810030194.4，发明名称为“基于视线跟踪和手势识别的人机互动方法及装置”的发明专利申请，利用人眼和指尖的连线与屏幕的交点的坐标作为焦点坐标的定位装置。通过人脸检测、人眼定位、手区域检测、指尖定位和屏幕坐标计算来实现屏幕定位。该方法的好处是使用方便，除摄像头外，无需附加任何其他设备；不足之处在于通过人眼和手指的连线来定位和人的习惯还有一些差别，使用起来并不是很直观；并且，通过多个步骤来确定人眼和手指的位置，各个步骤的误差会积累起来影响最终的结果。

申请号为200510089933.3，发明名称为“一种基于摄像头的虚拟触摸屏系统”的发明专利申请提公开了一种屏幕定位方法。该发明通过使用多个摄像头从不同的角度获得屏幕图像，然后从图像中识别出手指，进而通过射影变换确定手指的位置在屏幕上的坐标。该发明的优点是操作直观，用手指定位，不需要附加设备；缺点是需要两个或多个摄像头，成本比较高，并且摄像头的布设在屏幕前方，不容易安装。

Johnny Lee 2008年2月在TED通过使用Wii遥控器实现的电子白板演示了如何实现一个低成本的直接操作界面。其原理是操作者使用红外线笔发射红外线到屏幕上，用红外摄像头接收屏幕上反射的红外线来确定红外线笔指向屏幕的位置，从而实现了屏幕定位。该设计使用方便、价格低廉。不足之处在于：

1. 需要在屏幕前方安装红外线摄像头，并且不能被使用者遮挡，给实施带来不便，这点在桌面和便携应用尤其明显。

2. 精度受摄像头精度的影响，没有鼠标精确。

3. 在使用前需要校正，给使用带来不便。

发明内容

本发明的目的是提供一种使用简便、操作直观、便于维护且节省成本的屏幕定位控制方法。

为实现上述目的，本发明采用以下技术方案：

其中，屏幕定位控制方法包括以下步骤：

①、参考图像的获取：实时获取或预先收集至少一个屏幕参考图像，并将该屏幕参考图像作为图像识别中的标准图像；

②、屏幕图像的采集：将本发明中的定位控制装置指向屏幕，定位控制装置内部的图像采集单元将屏幕图像数字化，得到一系列的屏幕采集图像；

③、图像识别，它包含：

A、提取参考特征集：从屏幕参考图像中提取参考特征集，并把参考特征集作为图像识别过程中的标准集；

B、提取采集图像特征集：利用提取参考特征集相同的方法对屏幕采集图像进行特征提取，得到采集图像特征集；

C、用匹配算法对采集图像特征集和参考特征集进行匹配，得到匹配特征集；

④、位置计算：根据匹配结果和定位控制装置的当前坐标计算下一时刻定位控制装置指示的屏幕坐标，即新焦点坐标；

⑤、焦点标识：将新焦点坐标送至焦点控制模块中，焦点控制模块根据屏幕的当前状态标识焦点位置；

⑥、重复步骤①到⑤，实现屏幕定位。

所述的屏幕参考图像为屏幕区域截图；对所述的屏幕区域截图进行特征提取，得到参考特征集；采用局部特征算法或模板匹配方法对参考特征集和采集图像特征集进行匹配。

所述的新焦点坐标是指：匹配特征集对应的图像在屏幕区域截图上的坐标。

将已获得的新焦点坐标通过无线或有线的方式传送到主机的焦点控制模块；焦点控制模块根据新焦点坐标的位置和屏幕当前的状态确定下一时刻界面的显示状态。

所述的屏幕参考图像为至少一张光标图像，对光标图像提取特征得到参考特征集；在步骤③中，采用机器学习及模式识别算法对采集图像特征集和参考特征集进行识别和匹配。

在所述步骤③的A中，利用机器学习及模式识别算法的训练部分从获得的参考特征集中进一步提取光标识别参数；在步骤③的C中，根据参考特征集和光标识别参数，采用机器学习及模式识别算法的识别部分对采集图像特征集进行匹配。

所述的新焦点坐标是这样得到的：特征匹配后得到匹配特征集对应图像在采集图像上的坐标，通过该坐标与采集图像中心坐标的差值和定位装置在屏幕上的当前坐标值计算出新焦点坐标。

在所述的步骤⑤中，将已获得的新焦点坐标通过无线或有线的方式传送到主机的焦点控制模块；焦点控制模块擦去当前焦点位置上的光标，并在新焦点坐标上绘制新光标。

当定位装置检测不到屏幕中的光标图像时，对屏幕进行区域截图，对所述的屏幕区域截图进行特征提取并与从采集单元获得的屏幕图像提取的特征匹配后，计算匹配部分在区域截图上的坐标，即焦点坐标，然后把光标移到该焦点坐标位置，从而在该焦点坐标位置上获取光标图像，对光标图像进行特征提取和匹配后，计算出新焦点坐标，并最终在新焦点坐标上绘制新光标。

在所述的步骤②中，图像采集单元包括镜头组、图像传感器和图像预处理模块；所述的图像预处理模块对屏幕参考图像、屏幕采集图像分别进行预处理，预处理包括降噪、均衡、增强、运动模糊恢复、散焦恢复中的任意一种或几种的组合。

除此之外，本发明中的定位控制装置，包括壳体，在所述的壳体前端设置镜头组及图像传感器，图像传感器将采集到的屏幕参考图像和屏幕采集图像传送给图像预处理模块，经过预处理后在图像识别模块中进行图像特征提取和匹配，位置计算模块根据匹配结果和定位控制装置的当前坐标计算下一时刻定位控制装置指示的屏幕坐标，通信模块将得到的屏幕坐标送给焦点控制模块中，焦点控制模块根据屏幕的当前状态标识焦点位置。

所述的图像预处理模块、图像识别模块和位置计算模块用软件语言实现，在CPU或GPU中运行；或者用硬件描述语言实现，在可编程逻辑器件FPGA或CPLD中运行；或者采用ASIC实现。

采用上述技术方案的本发明，基于计算机视觉和图像识别原理，为用户提供一种全新的直接的交互手段。基于本发明，用户可以直观的在屏幕上进行各种操作，包括书写、绘画等复杂操作。

本发明使用方便，在实施时不需要对现有设备做大的改动，尤其对于计算机应用不需要做任何硬件上的改动；操作前不需要任何校正，使用起来更加简单、容易；本装置基本不含机械部分，在使用时不需要和屏幕表面接触，不会划伤或弄污屏幕和本装置，便于维护并且延长了屏幕和本装置的使用寿命。

本发明主要集中在算法领域，可以在CPU、GPU、FPGA/CPLD中运行或设计成ASIC，实现成本低廉。

本发明基于计算机视觉原理，和屏幕的材质没有关系，可以应用于任何屏幕。

附图说明

图1为本发明的原理框图。

图2为本发明中无光标情况下屏幕定位控制的流程图。

图3为本发明中有光标情况下屏幕定位控制的流程图。

图4为本发明定位控制装置的原理框图。

图5为本发明中定位控制装置的外观图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

目前的图形用户界面GUI主要分为两大类，一类用光标（又称鼠标指针、游标或Cursor）进行定位，即通过定位装置控制光标在屏幕上运动，操作光标指示的对象来操作界面。当今的大部分桌面和笔记本使用的图形化操作系统（如Windows，Linux）都是用这种方式进行人机交互，使用的屏幕定位设备主要是鼠标和触控板；另一类GUI不需要光标，直接通过定位装置对屏幕上的对象进行操作，目前大部分手持设备（如手机和平板电脑）采用这种人机交互方式，其输入设备以触摸屏为代表。两类方法的共同点是都需要在屏幕上定位出用户当前关注的位置，这里称为焦点。针对这两类GUI，以下分别提出实施例来具体说明。在这里，把实际问题分为有光标的和无光标两种情况。

实施例1

如图1、图2所示，本实施例为无光标情况下的屏幕定位，如图1所示，它包括以下步骤：

①参考图像的获取：实时获取或预先收集至少一个屏幕参考图像，并将该屏幕参考图像作为图像识别中的标准图像。在本实施例中，屏幕参考图像为屏幕区域截图，包括整个屏幕或屏幕上的某一区域。

②屏幕图像的采集：定位装置中的图像采集单元对屏幕图像进行采集，得到一系列的屏幕采集图像。上述的图像采集单元包括镜头组、图像传感器和图像预处理模块。其中，图像传感器为CCD、CMOS或其它传感器件。在实际中，可以采用目前数码相机领域已经比较成熟的自动变焦和防抖技术来获取更清晰的图像；另外还可以在采集装置中安装加速度传感器或陀螺仪，利用它们收集运动数据，在后面的预处理部分利用这些数据来消除运动模糊。图像采集部分输出的是一帧一帧的数字化的图像序列。在送入后级处理之前，需要对采集的图像进行预处理，包括降噪、均衡、增强、运动模糊恢复、散焦恢复中的任意一种或几种的组合。上述图像预处理技术均为本领域普通技术人员所熟知的技术，技术人员可以根据实际获取的图像要求，采用其中一种或几种方法对图像进行处理。

本实施例中采用CMOS图像传感器以200帧/秒的速度采集图像，像素为256*256，在图像传感器旁还安装了加速度传感器和陀螺仪来收集运动数据。之后进入ASIC中的与处理模块进行降噪、均衡、增强、运动模糊恢复和散焦恢复等处理，其中使用了前面收集的运动数据。

③图像识别，它由三部分构成：

A、提取参考特征集：从屏幕参考图像，即屏幕区域截图中提取参考特征集R，并把参考特征集R作为图像识别过程中的标准集。

B、提取采集图像特征：利用提取参考特征集相同的方法对屏幕采集图像进行特征提取，得到采集图像特征集S。

C、用局部特征算法或模板匹配方法对采集图像特征集S和参考特征集R进行匹配，得到匹配特征集M。在使用匹配算法时，根据算法的不同，当采集图像特征集S与参考特征集R或其部分的相似度大于某一阈值时，则认为获取图像包含参考图像或其部分，否则获取图像中不包含参考图像或其部分，该部分的输出为参考特征集R中与采集图像特征集S匹配的特征集。

特征提取算法可以为局部特征（Local Features）提取算法。局部特征提取算法通过寻找图像中一些不易变化的点并对其附近区域进行描述来获得图像的特征。它具有数量大、稳定性好的特点，近年发展迅猛，常被用于图像匹配、图像识别等领域。有代表性的局部特征提取算法有SIFT（Scale-Invariant Feature Transform）、SURF（Speed Up Robust Feature）、GLOH（Gradient Location and Orientation Histogram）、LESH（Local Energy based Shape Histogram）等。

基于局部特征匹配的方法用匹配算法计算参考特征集R中和采集图像特征集S匹配的部分。匹配算法也有很多种，主要是计算参考特征集R和采集图像特征集S中的特征之间的距离，如欧氏距离（Euclidean Distance）、马氏距离（Mahalanobis Distance）等，找出最近的距离，如果小于某一阈值，则认为匹配。也可用David Lowe提出的算法，参见Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision[J]，2:91–110, 2004.，比较最近的特征对之间的距离和第二近的特征对之间的距离，如果它们的比值小于某个阈值，则认为匹配。此外，Simon Taylor, Edward Rosten, and Tom Drummond 提出的算法，参见Robust feature matching in 2.3us. In IEEE CVPR Workshop on Feature Detectors and Descriptors: The State Of The Artand Beyond，June 2009，提到用相异度评分的方法也可以用来匹配。

除了上述局部特征以外，还可以直接使用像素的亮度、颜色等信息作为特征，使用基于模板匹配的算法。该方法把每一帧采集到的图像和屏幕区域截屏中相同或相似大小的部分进行运算，如果匹配成功，则返回匹配部分在屏幕区域截屏上的坐标，即焦点坐标；反之无输出。具体的模板匹配算法有NCC（Normalized Cross Correlation)、SAD（Sum of Absolute Differences)和SSD（Sum of Squared Differences）等。

在本实施例中，采用基于SURF的局部特征提取及匹配算法，ASIC中的特征提取模块分别对屏幕截图和采集到的图像进行处理，提取它们的SURF特征；后面的的特征匹配模块使用David Lowe论文中提到的算法对它们进行特征匹配，阈值设为0.5-0.9。如果匹配成功，输出R中与S匹配的特征集M；否则无输出。

④位置计算：根据匹配结果，计算定位控制装置指示的新坐标，即新焦点坐标。新焦点坐标是指：匹配特征集M对应的图像中心位置在屏幕区域截图上的坐标。实际上，因为匹配特征集M的不确定性，中心位置很难得到。本实施例中，采用对匹配特征集M中所有特征点的坐标求平均的方法来得到中心位置的近似值。

⑤通信：计算出的新焦点坐标通过无线或有线的方式传送到主机的焦点控制模块，与现有的鼠标、摄像头技术类似。本实施例中，通过USB方式把新焦点坐标发送给主机。

⑥焦点标识：根据新焦点坐标的位置和当前的状态确定当前界面的显示状态。在本实施例中，焦点控制模块检查新焦点的坐标，如果处在有效的区域，如某个图标上，则改变该区域的显示状态，如加一个外框，改变背景颜色等，这样就达到了屏幕定位的目的。

如图4所示，实施上述方法所需的定位控制装置，它包括壳体1，在壳体1前端设置镜头组2及图像传感器3，图像传感器3将采集到的屏幕参考图像和屏幕采集图像传送给图像预处理模块4，经过预处理后在图像识别模块5中进行图像特征提取和匹配，位置计算模块6根据匹配结果和定位控制装置的当前坐标计算下一时刻定位控制装置指示的屏幕坐标，通信模块7通过有线或无线信道将得到的屏幕坐标送给焦点控制模块8，焦点控制模块8根据屏幕11的当前状态标识焦点位置。

上述的图像预处理模块4、图像识别模块5和位置计算模块6可以用软件实现，在CPU或GPU中运行；也可以集成在一个可编程器件中，用硬件描述语言实现，在FPGA或CPLD中运行；还可以设计成ASIC，以达到更高的运行速度并降低成本。

在定位控制装置中还需要一个嵌入式的微处理器，它主要完成对各模块和外设的控制以及内部的协议，当上述图像预处理模块4、图像识别模块5和位置计算模块6集成在一个可编程器件或专用集成电路中时，该器件连接CPU，CPU与滚轮9和/或至少一个按键10实现，上述的滚轮和按键类似于现有鼠标的结构和功能。图5给出了一个外观的例子，装置采用USB通信，包括一个滚轮和两个按键，其中按键10_1对应右手食指位置，按键10_2对应右手拇指位置。

实施例2

如图1、图3所示，本实施例为有光标情况下的屏幕定位，其中，光标是用来显示屏幕焦点坐标的图标，可以是一般操作系统中的箭头，也可以是任意静态或动态的图形。本发明实际上模拟了人眼识别和跟踪对象的过程。当人眼工作时，首先从图像中识别出对象，然后会通过大脑控制颈部肌肉旋转，使得对象始终处于人眼视野中的某个区域。本发明利用同样的原理，不同的是当检测到图像中的光标不在中心时，不是控制身体去找光标，而是控制光标在屏幕上移动使得它处于在本发明装置获得图像的中心范围，这样就实现了对屏幕的定位。如图3所示，具体包括以下步骤：

①参考图像的获取：实时获取或预先收集至少一个屏幕参考图像，并将该屏幕参考图像作为图像识别中的标准图像；本实施例中，屏幕参考图像为光标图像，包含多个从不同角度、亮度、背景收集到的光标的图像，分辨率从12*16到72*96不等。

②屏幕图像的采集：定位装置中的图像采集装置对屏幕图像进行采集，得到一系列的屏幕采集图像。本实施例中，采用与实施例1相同的方法采集屏幕图像。

③图像识别，它包括三部分：

A、提取参考特征集：从屏幕参考图像中提取参考特征集R，并把参考特征集R作为图像识别过程中的标准集；除此之外，还可以根据获得的参考特征集R通过机器学习及模式识别算法的训练部分进一步提取光标识别参数P。

C、根据参考特征集R和光标识别参数P，采用机器学习及模式识别算法的识别部分对采集图像特征集S进行匹配，得到匹配特征集。

以下详细介绍机器学习及模式识别方法。基于机器学习及模式识别的方法分训练和识别两部分。训练部分先要收集大量包含不同大小、亮度、背景、旋转角度光标的参考图像，这里称为正样本，有些算法还需要负样本，也就是不含光标的图像，作为对照。训练部分利用某种特征提取算法从大量样本中提取出特征R，通常提取出的特征的数量更大，甚至远远超过样本数，再通过训练算法从这些特征中筛选出最有效识别目标对象的特征，并用这些特征生成分类器的各个参数P。识别部分利用训练好的分类器从采集的图像中识别出光标，并返回其在图像中的位置。基于机器学习和模式识别的方法最典型的有神经网络、支持向量机（Support Vector Machine）、Boost等，其中基于类Haar特征和AdaBoost的Viola-Jones算法对刚性对象的检测相当好。目前，也有利用其它特征（如LBP（Local Binary Pattern))的AdaBoost算法。

特征识别部分就是所采用的机器学习及模式识别算法的识别部分。它使用训练部分得到的参数对采集图像的特征进行处理，检测是否包含光标，如果包含光标则给出光标在图像中的位置。本发明可采用任何一种已有或将有的算法，只要它可以从图像中识别出光标并返回其在图像中的位置即可。如果检测识别没有发现光标，则不需要进行后续的工作；反之进行下一步。

本实施例中，采用Viola-Jones算法，详见Paul Viola and Michael J. Jones. Rapid Object Detection using a Boosted Cascade of Simple Features. IEEE CVPR，2001。

首先收集各种情况，包括不同大小、亮度、背景、旋转角度下光标的图像作为正样本，数量在500以上，同时收集2000以上不包含光标的图像作为负样本。首先计算样本的积分图，然后提取类Haar特征R，通过AdaBoost算法生成弱分类器，再把多个弱分类器级联起来构成强分类器，它的参数就是针对某一光标的识别参数P。

用户在使用时，采集到的图像经预处理后被顺序送入Viola-Jones识别算法模块，经过计算积分图，提取类Haar特征后，利用预先训练好的光标的级联分类器P对类Haar进行过滤，搜索包含光标的区域。如果没有，不作处理，如果有则输出光标在图像中的位置。

④位置计算：根据匹配结果，计算定位装置指示的新坐标，即新焦点坐标。上述的新焦点坐标是指：特征匹配后得到匹配特征集对应图像在采集图像上的坐标，通过该坐标与采集图像中心坐标的差值和定位装置在屏幕上的当前坐标值计算出新焦点坐标。

具体做法是：当本发明的装置指向屏幕11中的光标并保持静止时，由定位装置的图像传感器获得的图像中的光标应该处于图像中的中心位置。需要说明的是，只要是图像中的特定位置就可以，中心位置计算最简单，所以其它位置也包含在本发明中。当用户移动本定位装置时，它采集到的图像中的光标位置就偏离中心了，光标位置与中心位置的差值反应了本装置移动的速度和方向，也就是光标在屏幕上移动的速度和方向。需要做的是把这个差值映射为屏幕上光标的当前坐标和新坐标的差值，使得处于新坐标的光标在本装置获得的图像中处于中心位置或近似中心位置。假设屏幕光标当前位置为(sx,sy)，新位置为(sxn,syn)，采集到的图像中光标位置是(cx,cy)，中心位置是(cx0,cy0)，以下公式可以用来计算屏幕光标的新坐标：

sxn=sx+k*(cx－cx0)

syn=sy+k*(cy－cy0)

其中k是一个参数，可能为常量或变量，可通过计算或试验获得。

更复杂的算法还可以考虑其他的因素，如光标在屏幕上的速度或加速度等；还可以通过光标的历史状态对其下一时刻位置做估计。总之，只要能够计算出光标在屏幕上的新位置即可。

另一种方法更简单，用伪码表示：

if(cx－cx0>dx)

sxn=sx+1；

else if (cx－cx0<-dx)

sxn=sx－1；

if (cy－cy0 > dy)

syn = sy+1；

else if (cy－cy0<-dy)

syn =sy－1；

其中dx，dy是正整数，通常设为3-5，用来过滤手部的抖动。在这种情况下，只要屏幕刷新率足够高，就能够实现屏幕定位。

在本实施例中，ASIC中的位置计算模块使用第一种方法计算光标在屏幕上的新坐标，即新焦点坐标。

⑤通信：计算出的新焦点坐标通过无线或有线的方式传送到主机的焦点控制模块，与现有的鼠标、摄像头技术类似。本实施例中，通过蓝牙方式把新焦点坐标发送给主机。

⑤焦点标识：主机上的焦点控制模块接收到新焦点坐标后，擦去当前焦点坐标上的光标，并在新焦点坐标上绘制新光标。

这样就实现了一次屏幕定位。当用户拿着本装置在屏幕上移动时，上述过程不断重复，从而实现了连续的屏幕定位。

本实施例中的定位控制装置与实施例1相同。

实施例3

本实施例融合了前两个实施例，当用户使用本装置指向屏幕时，驱动程序先检测界面是否有光标，如果没有则用实施例1中无光标情况的方法进行屏幕定位；如果界面支持光标，可采用如下方式：当装置在一段时间内（比如1秒钟）检测不到光标时，自动或手动切换到实施例1中的方法来进行屏幕定位，得到焦点坐标后，把光标移动到新焦点坐标，然后使用实施例2中的方法进行屏幕定位。这样光标会自动移动到本装置指向的位置，免去了初始屏幕定位的麻烦，让使用变得更加方便、流畅。

以上所述仅为本发明的较佳实施例，本发明并不局限于此。比如，本发明可以同时对2个或2个以上的屏幕兴趣点进行定位。在操作系统和驱动程序的支持下，本发明可以实现多点非接触控制。需要说明的是，本发明虽然列举了实施例，但不仅限于这些实施例，本领域内普通技术人员均可以在权利要求的范围内作出各种变形或修改。

Claims

1.一种屏幕定位控制方法，其特征在于，它包括以下步骤：

③、图像识别，它包含：

A、提取参考特征集：从屏幕参考图像中提取参考特征集（R），并把参考特征集（R）作为图像识别过程中的标准集；

B、提取采集图像特征集：利用提取参考特征集相同的方法对屏幕采集图像进行特征提取，得到采集图像特征集（S）；

C、用匹配算法对采集图像特征集（S）和参考特征集（R）进行匹配，得到匹配特征集（M）；

⑥、重复步骤①到⑤，实现屏幕定位。

2.根据权利要求1所述的屏幕定位控制方法，其特征在于：所述的屏幕参考图像为屏幕区域截图；对所述的屏幕区域截图进行特征提取，得到参考特征集（R）；采用局部特征算法或模板匹配方法对参考特征集（R）和采集图像特征集（S）进行匹配。

3.根据权利要求2所述的屏幕定位控制方法，其特征在于：所述的新焦点坐标是指：匹配特征集对应的图像在屏幕区域截图上的坐标。

4.根据权利要求3所述的屏幕定位控制方法，其特征在于：将已获得的新焦点坐标通过无线或有线的方式传送到主机的焦点控制模块；焦点控制模块根据新焦点坐标的位置和屏幕当前的状态确定下一时刻界面的显示状态。

5.根据权利要求1所述的屏幕定位控制方法，其特征在于：所述的屏幕参考图像为至少一张光标图像，对光标图像提取特征得到参考特征集（R）；在步骤③中，采用机器学习及模式识别算法对采集图像特征集（S）和参考特征集（R）进行识别和匹配。

6.根据权利要求5所述的屏幕定位控制方法，其特征在于：在所述步骤③的A中，利用机器学习及模式识别算法的训练部分从获得的参考特征集（R）中进一步提取光标识别参数（P）；在步骤③的C中，根据参考特征集（R）和光标识别参数（P），采用机器学习及模式识别算法的识别部分对采集图像特征集（S）进行匹配。

7.根据权利要求6所述的屏幕定位控制方法，其特征在于：所述的新焦点坐标是这样得到的：特征匹配后得到匹配特征集对应图像在采集图像上的坐标，通过该坐标与采集图像中心坐标的差值和定位装置在屏幕上的当前坐标值计算出新焦点坐标。

8.根据权利要求7所述的屏幕定位控制方法，其特征在于：在所述的步骤⑤中，将已获得的新焦点坐标通过无线或有线的方式传送到主机的焦点控制模块；焦点控制模块擦去当前焦点位置上的光标，并在新焦点坐标上绘制新光标。

9.根据权利要求1～8所述的屏幕定位控制方法，其特征在于：当定位装置检测不到屏幕中的光标图像时，对屏幕进行区域截图，对所述的屏幕区域截图进行特征提取并与从采集单元获得的屏幕图像提取的特征匹配后，计算匹配部分在区域截图上的坐标，即焦点坐标，然后把光标移到该焦点坐标位置，从而在该焦点坐标位置上获取光标图像，对光标图像进行特征提取和匹配后，计算出新焦点坐标，并最终在新焦点坐标上绘制新光标。

10.根据权利要求1～9所述的屏幕定位控制方法，其特征在于：在所述的步骤②中，图像采集单元包括镜头组、图像传感器和图像预处理模块；所述的图像预处理模块对屏幕参考图像、屏幕采集图像分别进行预处理，预处理包括降噪、均衡、增强、运动模糊恢复、散焦恢复中的任意一种或几种的组合。

11.实施权利要求1～10任一方法所需的定位控制装置，其特征在于：它包括壳体（1），在所述的壳体（1）前端设置镜头组（2）及图像传感器（3），图像传感器（3）将采集到的屏幕参考图像和屏幕采集图像传送给图像预处理模块（4），经过预处理后在图像识别模块（5）中进行图像特征提取和匹配，位置计算模块（6）根据匹配结果和定位控制装置的当前坐标计算下一时刻定位控制装置指示的屏幕坐标，通信模块（7）将得到的屏幕坐标送给焦点控制模块（8）中，焦点控制模块（8）根据屏幕的当前状态标识焦点位置。

12.根据权利要求11所述的定位控制装置，其特征在于：所述的图像预处理模块（4）、图像识别模块（5）和位置计算模块（6）用软件语言实现，在CPU或GPU中运行；或者用硬件描述语言实现，在可编程逻辑器件FPGA或CPLD中运行；或者采用ASIC实现。