CN103677317A - 实现光标控制的移动终端及其实现光标控制的方法 - Google Patents

Abstract

一种移动终端实现光标控制的方法，包括：通过摄像头采集两帧图像；获取其中一帧图像中的至少一个第一像素点的位置信息；获取另一帧图像中与第一像素点对应的第二像素点的位置信息；根据第一像素点和第二像素点的位置信息得到位移信息；根据位移信息生成光标控制信号。还提供一种实现光标控制的移动终端。所述方法及实现该方法的移动终端通过从一帧图像上获取第一像素点的位置信息，从另一帧图像上获取与所述第一像素点像素属性相同的第二像素点的位置信息，根据所述位置信息计算得到移动终端的位移信息，最终实现根据移动终端的位移信息及速度控制光标的位移及灵敏度的功能，方法简单，无需高性能的移动终端即可实现对光标的高效控制。

Description

实现光标控制的移动终端及其实现光标控制的方法

技术领域

本发明涉及一种移动终端，特别设计一种具有摄像头并实现光标控制的移动终端及其实现光标控制的方法。

背景技术

如今，网络电视机由于具有接入宽带网络的功能，可以体验互联网上丰富的影音、新闻、娱乐等资源，越来越受到用户青睐。传统上，电视机配备的遥控器功能单一、操作不便，人机信息交互效率低。

平板电脑由于其质量轻盈、体积小、携带方便等优点，已经广泛用于商务办公、娱乐消遣等，但由于触屏操作精准度不高，操作频繁很容易造成臂膀劳累，若随时随地携带鼠标进行操作，然而由于鼠标体积较大不易携带，给平板电脑使用的质轻、易携带增添不便因素。

现在移动终端几乎成为人人必备的电子产品，移动终端往往配备有摄像头，用于拍照或者录制视频。由于移动终端的便携性和普及广，出现了移动终端实现鼠标的功能设计。然而，传统技术中利用移动终端控制网络电视机或平板电脑上鼠标光标的方法繁琐且对移动终端性能的要求较高。

发明内容

基于此，有必要提供一种简单高效地实现光标控制的移动终端及其实现光标控制的方法。

一种移动终端实现光标控制的方法，包括如下步骤：

通过摄像头采集两帧图像；

获取其中一帧所述图像中的至少一个第一像素点的位置信息；

获取另一帧所述图像中与所述第一像素点对应的第二像素点的位置信息；

根据所述第一像素点和所述第二像素点的位置信息得到位移信息；

根据所述位移信息生成光标控制信号。

其中一个实施例中，获取的所述第一像素点为一个或者多个，对应的所述第二像素点是与所述第一像素点像素属性相同的像素点。

其中一个实施例中，获取的所述第一像素点为一个，当获取到多个与所述第一像素点像素属性相同的所述第二像素点时，则重新获取所述第一像素点，并重新计算并获取所述第二像素点。

其中一个实施例中，获取的所述第一像素点为多个，对应的所述第二像素点也为多个，得到多个所述位移信息；所述根据所述位移信息产生光标控制信号的步骤是：选取多个所述位移信息中相同数量最多的位移信息从多个由相同或相近所述位移信息所组成的集合中选择包含位移信息个数最多的集合，并以所述包含位移信息个数最多的集合中位移信息的平均值作为有效位移信息，根据所述有效位移信息生成所述光标控制信号。

其中一个实施例中，从一帧所述图像中的预设区域获取多个第一验证像素点，并根据所述有效位移信息得到多个在另一帧所述图像中的与多个所述第一验证像素点一一对应的第二验证像素点，逐个比较并得到与对应的所述第二验证像素点像素属性相同的所述第一验证像素点的个数，计算所述与对应的所述第二验证像素点像素属性相同的所述第一验证像素点在多个所述第一验证像素点中所占的比值，根据所述比值与预设阈值的大小判断所述有效位移信息是否正确。

其中一个实施例中，所述第二像素点为另一帧所述图像中与所述第一像素点物理位置相同的像素点。

其中一个实施例中，所述方法还包括：采用图像拼接法将两帧所述图像相同部分重叠拼接得到拼接图像的步骤；

所述根据所述第一像素点和所述第二像素点的位置信息得到位移信息的步骤是：根据所述第一像素点和第二像素点的像素属性在所述拼接图像中查询得到所述第一像素点和第二像素点的位置信息，根据所述拼接图像中所述第一像素点和所述第二像素点的位置信息计算得到所述位移信息。

一种实现光标控制的移动终端，包括图像采集模块，还包括：选取模块、查询模块、计算模块和指令生成模块，

所述图像采集模块用于在移动终端的鼠标模式下采集至少两帧图像；

所述选取模块用于获取其中一帧所述图像中的至少一个第一像素点的位置信息；

所述查询模块用于获取另一帧所述图像中与所述第一像素点对应的第二像素点的位置信息；

所述计算模块用于根据所述第一像素点和所述第二像素点的位置信息得到位移信息；

所述指令生成模块用于根据所述位移信息生成光标控制信号。

其中一个实施例中，所述选取模块选取的所述第一像素点为一个或者多个，对应的所述第二像素点是与所述第一像素点像素属性相同的像素点。

其中一个实施例中，所述选取模块还用于在所述查询模块获取到多个与所述第一像素点像素属性相同的所述第二像素点时，重新获取所述第一像素点，重新计算并获取所述第二像素点。

其中一个实施例中，所述选取模块获取的所述第一像素点为多个，所述查询模块获取的对应的所述第二像素点也为多个；所述计算模块用于得到多个所述位移信息；

所述指令生成模块用于选取多个所述位移信息中相同数量最多的位移信息作为有效位移信息，并根据所述有效的位移信息生成所述光标控制信号。

其中一个实施例中，还包括拼接模块，用于采用图像拼接法将两帧所述图像相同部分重叠拼接得到拼接图像；

所述查询模块获取的所述第二像素点为另一帧所述图像中与所述第一像素点物理位置相同的像素点，所述查询模块还用于根据所述第一像素点和第二像素点的像素属性在所述拼接图像中查询得到所述第一像素点和第二像素点的位置信息；

所述计算模块用于根据所述拼接图像中所述第一像素点和所述第二像素点的位置信息计算得到所述位移信息。

所述方法及实现该方法的移动终端通过从一帧图像上获取多个第一像素点的位置信息，从另一帧图像上获取与所述多个第一像素点像素属性相同的第二像素点的位置信息，根据所述位置信息计算得到移动终端的位移信息，最终实现根据移动终端的位移信息及速度控制光标的位移及灵敏度的功能，方法简单，无需高性能的移动终端即可实现对光标的高效控制。

附图说明

图1为本发明移动终端实现光标控制的方法一实施例的流程图；

图2为图1中移动终端实现光标控制的方法的第一实施方式示意图；

图3为图1中移动终端实现光标控制的方法的第二实施方式示意图；

图4为图3中第二实施方式的反向验证示意图；

图5为图1中移动终端实现光标控制的方法的第三实施方式示意图；

图6为本发明移动终端一实施例的功能模块图。

具体实施方式

如图1所示，本发明一实施例的移动终端实现光标控制的方法流程图，包括如下步骤：

S11、通过手机摄像头采集两帧图像。

现有移动终端，如PDA、手机等配置的摄像头分为内置和外置两种，摄像头的感光器往往采用CCD（电荷藕合）元件或CMOS（互补金属氧化物导体）器件。当移动终端开启光标控制功能时，摄像头功能被激活，摄像头以移动终端预设的频率采集一帧一帧的图像。由于移动终端的移动，摄像头采集的不同帧图像往往有区别。请参阅图2，其中ABCD为移动终端摄像头拍摄的一帧图像，A₁B₁C₁D₁为其拍摄的另一帧图像。

S12、获取其中一帧所述图像中的至少一个第一像素点的位置信息。

请再次参阅图2，具体在第一实施例中，像素点e为在预设区域内随机获取的其中一帧图像ABCD中的第一像素点，计算得到第一像素点e的x，y轴的位置信息（x，y），并记录第一像素点e的像素属性。这里所述的像素属性指的是图像特征像素量化标示的数值，其参数可以为普通像素值或者其他经过计算转换的图像属性值。

S13、获取另一帧所述图像中与所述第一像素点对应的第二像素点的位置信息。

通过扫描另一帧图像A₁B₁C₁D₁中所有像素点的像素属性，并逐个与第一像素点e的像素属性比较，查询得到与第一像素点e的像素属性相同的第二像素点e₁，计算得出第二像素点e₁的x，y轴的位置信息（x₁，y₁）。若查询得到多个与第一像素点e的像素属性相同的第二像素点时，则重新随机获取其他的第一像素点的位置信息。

S14、根据所述第一像素点和所述第二像素点的位置信息得到位移信息。

根据第一像素点e的位置信息（x，y）及第二像素点e₁的位置信息（x₁，y₁）计算得出第一像素点e到第二像素点e₁的位移信息

该位移信息中包括第一像素点e到第二像素点e₁的X轴和Y轴的位移大小信息，还可计算得到位移方向信息。

S15、根据所述位移信息生成光标控制信号。

由于移动终端的物理位移与图像中第一像素点e的位移方向相反，移动终端的物理位移与第一像素点e的位移大小比为δ：1，其中δ为移动终端摄像头拍摄图像时设置的变焦倍数。移动终端摄像头拍摄图像时，两帧图像之间的时间间隔为预设值△t，图像中第一像素点e到第二像素点e₁的位移为

即像素位移

因而移动终端的移动速度可表示为：

$\stackrel{\→}{v}=-\frac{\stackrel{\→}{\mathrm{\Δ}}s}{\mathrm{\Δt}}$

两帧图像ABCD和A₁B₁C₁D₁中的第一像素点e及第二像素点e₁相对像素x轴的位移为

即

相对y轴的位移为

即

根据如下计算式：

${\left|\stackrel{\→}{\mathrm{\Δ}}s\right|}^2={\left|\stackrel{\→}{\mathrm{\Δ}}s\right|}^2+{\left|\stackrel{\→}{\mathrm{\Δ}}y\right|}^2$

得到像素位移

的大小

$\left|\stackrel{\→}{\mathrm{\Δ}}s\right|=\sqrt{{\left|\stackrel{\→}{\mathrm{\Δ}}x\right|}^2+{\left|\stackrel{\→}{\mathrm{\Δ}}y\right|}^2}$

当用移动终端控制电视机或平板电脑屏幕上的光标时，首先需要通过局域网、蓝牙等方式建立移动终端与电视机或平板电脑的通信连接，用户可以通过调节预设的参数η控制电视机或平板电脑屏幕上光标的移动速度

即

是通过算法

计算得到，其中参数η为屏幕上光标的位移与移动终端物理位移

的比值。如此，可以调节光标在屏幕上移动的灵敏度。

请参阅图3，第二实施例中，在一帧图像ABCD中的预设区域随机获取所述的多个第一像素点，计算得到多个第一像素点的x，y轴的位置信息，并记录多个第一像素点的像素属性，扫描另一帧图像A₁B₁C₁D₁中所有像素点的像素属性，查询得到与多个第一像素点对应的像素属性相同的多个第二像素点，并计算得到所述多个第二像素点的x，y轴位置信息。实际应用上，一帧图像ABCD中随机获取的其中一个第一像素点，在另一帧图像A₁B₁C₁D₁中可能查询得到多个与其中一个第一像素点的像素属性相同的第二像素点，即有些第一像素点对应不止一个与之像素属性相同的第二像素点，可以理解，所述有些第一像素点中的任意一个第一像素点对应不止一个位移信息；其他一些第一像素点同与之像素属性相同的第二像素点形成一一对应关系，同样可以理解，所述其他一些第一像素点中的任意一个第一像素点仅仅对应一个位移信息。然后从多个由相同或相近所述位移信息所组成的集合中选择包含位移信息个数最多的集合，并以所述包含位移信息个数最多的集合中位移信息的平均值作为有效位移信息，根据所述有效位移信息生成所述光标控制信号。

具体在第二实施例中，所述预设区域优选为一帧图像ABCD中像素点的像素属性对应的数值差异较大的区域，从该区域中随机获取多个像素点。为便于进行解释，获取三个像素点以作如下说明。

请参阅图3，其中像素点e、f、g为从一帧图像ABCD中所述数值差异较大的区域随机获取的三个第一像素点，像素点e₁为另一帧图像A₁B₁C₁D₁中与像素点e的像素属性相同的第二像素点，像素点g₁为另一帧图像A₁B₁C₁D₁中与像素点g的像素属性相同的第二像素点，而在另一帧图像A₁B₁C₁D₁中查询得到与像素点f像素属性相同的点有两个，即像素点f₁和f₂。按照步骤S14中计算位移信息的方法便可得到四个位移信息，比较四个位移

的方向及大小，将位移方向及大小一致或相近的位移

取平均值，舍去位移方向及大小相差较远的像素点f₂，所述平均值即认为是像素位移

然后根据一实施例中计算移动终端的移动速度的方法及预设的参数η调节光标在屏幕上移动的灵敏度。如此，可以大大降低随机选取的一个第一像素点由于对应多个像素属性相同的第二像素点而造成位移信息错误的可能性。

为了对所述第二实施例的计算结果的吻合度进行评估，需要反向验证，方法如下：

从一帧所述图像中的预设区域获取多个第一验证像素点，并根据所述有效位移信息得到多个在另一帧所述图像中的与多个所述第一验证像素点一一对应的第二验证像素点，逐个比较并得到与对应的所述第二验证像素点像素属性相同的所述第一验证像素点的个数，计算所述与对应的所述第二验证像素点像素属性相同的所述第一验证像素点在多个所述第一验证像素点中所占的比值，根据所述比值与预设阈值的大小判断所述有效位移信息是否正确。

请再次参阅图3，A₁NDM为矩形重叠区域，其长度为a₀，宽度为b₀，两帧图像的长度为a，宽度为b。由于

，已知

的大小和方向容易得出

在X轴方向上的分量

以及在Y轴的分量的大小和方向，则有

由此可以确定两帧图像的重叠区域A₁NDM。

请参阅图4，其中所示的坐标系是以M点为坐标原点，矩形A₁NDM为图3中所示的重叠区域。从所述一帧图像ABCD中的重叠区域A₁NDM随机获取n个像素点，以该n个像素点中的一个像素点K（X_k，Y_k）为例进行说明，根据第二实施例得到的所述像素位移其中

分别为X轴、Y轴的单位向量。像素点K同样可表示为

则在另一帧图像A₁B₁C₁D₁中的重叠区域A₁NDM可确定与像素点K对应的像素点K₁的坐标位置，由于 $\stackrel{\→}{{\mathrm{MK}}_1}=X_{K1}\stackrel{\→}{i}+Y_{K1}\stackrel{\→}{j},$ 根据 $\stackrel{\→}{{\mathrm{MK}}_1}=\stackrel{\→}{\mathrm{MK}}+\stackrel{\→}{\mathrm{\Δ}}s,$ 即XK₁=X_k+X_S，YK₁=Y_k+Y_S。最终确定像素点K₁在图4中坐标系的坐标位置（X_K1，Y_K1），比较坐标位置（X_K1，Y_K1）的像素点K₁与像素点K的像素属性是否相同。按照上述方法对所述n个像素点进行反向验证，若所述n个像素点中有m个像素点与对应像素点的像素属性相同，则吻合度等于m/n*100%，当该吻合度大于预设阈值时，则认为所述重叠区域吻合，表示求得的

有效，当吻合度小于预设阈值时，所述第二实施例中则需重新选取像素点并计算得到新的像素位移

进行反向验证，直到吻合度大于所述预设阈值。所述预设阈值可选为50%。第三实施例中，所述第二像素点为另一帧所述图像中与所述第一像素点物理位置相同的像素点，请参阅图5，像素点M为一帧图像ABCD上的第一像素点，像素点N为另一帧图像A₁B₁C₁D₁上的第二像素点，其中像素点N相对于图像A₁B₁C₁D₁所处的位置与像素点M相对于图像ABCD所处的位置相同。由于移动终端的移动，摄像头拍摄的图像ABCD和A₁B₁C₁D₁上同一位置像素点的像素属性往往不同，即像素点M与像素点N的像素属性不同。

采用图像拼接法将两帧所述图像ABCD和A₁B₁C₁D₁相同部分重叠拼接得到拼接图像AFED₁，在拼接图像AFED₁中根据像素点M和像素点N的像素属性查询得到像素点M和像素点N的位置信息，并根据步骤S14中根据两个像素点的位置信息得到位移信息的方法，计算得到像素点M到像素点N的位移信息。最后按照步骤S15中根据位移信息生成光标控制信号的方法实现通过移动终端的移动控制屏幕上光标的移动。

值得说明的是，本发明在移动矢量的计算过程中，并不限于某个像素的移动，而是计算图像区域的移动，取区域多点进行统计，通过统计区域中系列像素的矢量位移方法，确定物理位移信息。

移动终端50实现光标控制的方法通过从一帧图像上获取多个第一像素点的位置信息，并从另一帧图像上查询并获取与所述多个第一像素点像素属性相同的第二像素点的位置信息，根据第一像素点和第二像素点的位置信息计算得到移动终端的物理位移信息，最终实现根据移动终端的物理位移信息及速度控制光标的位移及灵敏度的功能，方法简单，可实现对光标的高效控制。

如图6所示，其为实现光标控制的移动终端50的功能模块图，包括图像采集模块101、选取模块102、查询模块103、计算模块104、指令生成模块105及拼接模块106。

图像采集模块101用于采集两帧图像。

选取模块102用于获取其中一帧图像中的至少一个第一像素点的位置信息。

查询模块103用于获取另一帧图像中与第一像素点对应的第二像素点的位置信息。

计算模块104用于根据第一像素点和第二像素点的位置信息得到位移信息。

指令生成模块105用于根据位移信息生成光标控制信号。

选取模块102选取的第一像素点为一个或者多个，对应的第二像素点是与第一像素点像素属性相同的像素点。

选取模块102还用于在查询模块103获取到多个与第一像素点属性，例如颜色属性相同的第二像素点时，重新获取第一像素点，重新计算并获取所述第二像素点。

选取模块102获取的第一像素点为多个时，查询模块103获取的对应的第二像素点也为多个；计算模块104用于得到多个位移信息。

指令生成模块105用于选取多个位移信息中相同数量最多的位移信息作为有效位移信息，并根据有效的位移信息生成光标控制信号。

拼接模块106用于采用图像拼接法将两帧图像相同部分重叠拼接得到拼接图像，查询模块103获取的第二像素点为另一帧图像中与第一像素点位置相同的像素点，查询模块103还用于根据第一像素点和第二像素点的像素属性在拼接图像中查询得到第一像素点和第二像素点的位置信息，计算模块104用于根据拼接图像中第一像素点和第二像素点的位置信息计算得到位移信息。

实现光标控制的移动终端50通过从一帧图像上获取多个第一像素点的位置信息，并从另一帧图像上查询并获取与所述多个第一像素点像素属性相同的第二像素点的位置信息，根据第一像素点和第二像素点的位置信息计算得到移动终端的物理位移信息，最终实现根据移动终端的物理位移信息及速度控制光标的位移及灵敏度的功能，结构简单，无需高配置、高性能的移动终端即可实现对光标的高效控制。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种移动终端实现光标控制的方法，其特征在于，包括如下步骤：

通过摄像头采集两帧图像；

获取其中一帧所述图像中的至少一个第一像素点的位置信息；

获取另一帧所述图像中与所述第一像素点对应的第二像素点的位置信息；

根据所述第一像素点和所述第二像素点的位置信息得到位移信息；

根据所述位移信息生成光标控制信号。

2.根据权利要求1所述的移动终端实现光标控制的方法，其特征在于，获取的所述第一像素点为一个或者多个，对应的所述第二像素点是与所述第一像素点像素属性相同的像素点。

3.根据权利要求2所述的移动终端实现光标控制的方法，其特征在于，获取的所述第一像素点为一个，当获取到多个与所述第一像素点像素属性相同的所述第二像素点时，则重新获取所述第一像素点，并重新计算并获取所述第二像素点。

4.根据权利要求2所述的移动终端实现光标控制的方法，其特征在于，获取的所述第一像素点为多个，对应的所述第二像素点也为多个，得到多个所述位移信息；所述根据所述位移信息产生光标控制信号的步骤是：

从多个由相同或相近所述位移信息所组成的集合中选择包含位移信息个数最多的集合，并以所述包含位移信息个数最多的集合中位移信息的平均值作为有效位移信息，根据所述有效位移信息生成所述光标控制信号。

5.根据权利要求4所述的移动终端实现光标控制的方法，其特征在于，

从一帧所述图像中的预设区域获取多个第一验证像素点，并根据所述有效位移信息得到多个在另一帧所述图像中的与多个所述第一验证像素点一一对应的第二验证像素点，逐个比较并得到与对应的所述第二验证像素点像素属性相同的所述第一验证像素点的个数，计算所述与对应的所述第二验证像素点像素属性相同的所述第一验证像素点在多个所述第一验证像素点中所占的比值，根据所述比值与预设阈值的大小判断所述有效位移信息是否正确。

6.根据权利要求1所述的移动终端实现光标控制的方法，其特征在于，

所述第二像素点为另一帧所述图像中与所述第一像素点物理位置相同的像素点。

7.根据权利要求6所述的移动终端实现光标控制的方法，其特征在于，

所述方法还包括：采用图像拼接法将两帧所述图像相同部分重叠拼接得到拼接图像的步骤；

所述根据所述第一像素点和所述第二像素点的位置信息得到位移信息的步骤是：根据所述第一像素点和第二像素点的像素属性在所述拼接图像中查询得到所述第一像素点和第二像素点的位置信息，根据所述拼接图像中所述第一像素点和所述第二像素点的位置信息计算得到所述位移信息。

8.一种实现光标控制的移动终端，包括图像采集模块，其特征在于，还包括：选取模块、查询模块、计算模块和指令生成模块，

所述图像采集模块用于在移动终端的鼠标模式下采集至少两帧图像；

所述选取模块用于获取其中一帧所述图像中的至少一个第一像素点的位置信息；

所述查询模块用于获取另一帧所述图像中与所述第一像素点对应的第二像素点的位置信息；

所述计算模块用于根据所述第一像素点和所述第二像素点的位置信息得到位移信息；

所述指令生成模块用于根据所述位移信息生成光标控制信号。

9.根据权利要求8所述的实现光标控制的移动终端，其特征在于，所述选取模块选取的所述第一像素点为一个或者多个，对应的所述第二像素点是与所述第一像素点像素属性相同的像素点。

10.根据权利要求9所述的实现光标控制的移动终端，其特征在于，所述选取模块还用于在所述查询模块获取到多个与所述第一像素点像素属性相同的所述第二像素点时，重新获取所述第一像素点，重新计算并获取所述第二像素点。

11.根据权利要求8所述的实现光标控制的移动终端，其特征在于，所述选取模块获取的所述第一像素点为多个，所述查询模块获取的对应的所述第二像素点也为多个；所述计算模块用于得到多个所述位移信息；

所述指令生成模块用于选取多个所述位移信息中相同数量最多的位移信息作为有效位移信息，并根据所述有效的位移信息生成所述光标控制信号。

12.根据权利要求8所述的实现光标控制的移动终端，其特征在于，还包括拼接模块，用于采用图像拼接法将两帧所述图像相同部分重叠拼接得到拼接图像；

所述查询模块获取的所述第二像素点为另一帧所述图像中与所述第一像素点物理位置相同的像素点，所述查询模块还用于根据所述第一像素点和第二像素点的像素属性在所述拼接图像中查询得到所述第一像素点和第二像素点的位置信息；

所述计算模块用于根据所述拼接图像中所述第一像素点和所述第二像素点的位置信息计算得到所述位移信息。

Images