CN108235749A - 利用手持终端进行光标定位的方法、手持终端和电子设备 - Google Patents

Abstract

一种利用手持终端进行光标定位的方法、手持终端和电子设备(300)。所述手持终端上设置有摄像头(202)，所述方法包括：接收电子设备(300)的显示屏(100)上当前播放的视频图像(21)作为参考图像(10)，并通过所述摄像头(202)拍摄采集图像(20)(Sll)，所述采集图像(20)内包含所述电子设备(300)的显示屏(100)上当前播放的视频图像(21)的部分或全部；根据所述采集图像(20)和所述参考图像(10)构建变换矩阵(S12)；以及根据所述变换矩阵，将所述采集图像(20)中的一点转换为显示屏(100)的光标位置(12)(S13)。所述方法实现了通过图像技术实现光标定位功能。

Description

利用手持终端进行光标定位的方法、手持终端和电子设备

技术领域

本公开涉及界面交互技术，具体涉及利用成像设备实现在屏幕上定位的方法和装置。

背景技术

随着人机交互技术的不断发展，和电子设备例如计算机、电视机等设备的交互手段已不再依赖鼠标输入。目前，利用成像设备来实现人机交互输入的技术越来越具有实践价值。例如，现有技术提供了一种利用图像定位的方法，通过在电视周围环境中布置特定图案，或者在屏幕上显示特定图案，凭借这些图案，在摄像头采集的图像中定位屏幕的位置，计算摄像头与屏幕的投影关系，继而定位光标位置。

但该方法需要在环境中布置图案，增加了用户的使用门槛，而在屏幕中显示特定图案又会干扰用户的正常显示。

发明内容

有鉴于此，本公开提出一种易于使用的方案，不用对周围环境做特别的设置，或者改变现实的内容，仅使用界面上显示的参考图像，就定位参考图像在采集图像中位置，实现直观的光标坐标控制。

根据本公开的第一方面，提供一种利用手持终端进行光标定位的方法，所述手持终端上设置有摄像头，包括：

通过所述摄像头拍摄采集图像，所述采集图像内包含所述电子设备的显示屏上当前播放的视频图像的部分或全部；

接收电子设备的显示屏上当前播放的视频图像作为参考图像；

根据所述采集图像和所述参考图像构建变换矩阵；以及

根据所述变换矩阵，将所述采集图像中的一点转换为显示屏的光标位置。

优选地，所述采集图像中的一点为固定点。

优选地，将所述固定点为所述采集图像的中心点。

优选地，所述采集图像中的一点为浮动点。

优选地，将所述采集图像的中心点和目标图像的中心点连接成直线，选取所述直线上的一点作为所述浮动点，其中，将所述采集图像中包含的所述显示屏当前播放的视频图像的部分或全部作为目标图像。

优选地，所述方法还包括：从所述摄像拍摄的多张采集图像中选择和所述参考图像具有相同的时间戳的采集图像作为第一采集图像；

则所述根据所述采集图像和所述参考图像构建变换矩阵包括：

以所述第一采集图像和所述参考图像构建变换矩阵。

优选地，所述根据所述采集图像和所述参考图像构建变换矩阵包括：

以所述电子终端的显示屏构建参考坐标系，以所述采集图像所在的成像平面构建摄像头坐标系；

采用ASIFT算法获取所述采集图像和所述参考图像在各自的坐标系内的匹配的特征点，其中，所述特征点大于4组，且不在一条直线上；以及

根据所述匹配的特征点构建所述变换矩阵。

优选地，所述手持设备为遥控器、移动电话或PAD，所述电子设备为电视机或计算机。

根据本公开的第二方面，提供一种手持终端，所述手持终端上设置有摄像头，包括：

无线接收模块，用于接收电子设备的显示屏上当前播放的视频图像作为参考图像；

图像拍摄模块，通过所述摄像头拍摄采集图像，所述采集图像内包含所述电子设备的显示屏上当前播放的视频图像的部分或全部；

计算模块，根据所述采集图像和所述参考图像构建变换矩阵；

输出模块，根据所述变换矩阵，将所述采集图像中的一点转换为显示屏的光标位置,并输出给所述电子设备。

优选地，所述输出模块选取所述采集图像中的一个固定点转换为显示屏的光标位置。

优选地，所述固定点为所述采集图像的中心点。

优选地，所述输出模块选取所述采集图像中的一个浮动点转换为显示屏的光标位置。

优选地，所述输出模块将所述采集图像的中心点和目标图像的中心点连接成直线，选取所述直线上的一点作为所述浮动点，其中，将所述采集图像中包含的所述显示屏当前播放的视频图像的部分或全部作为目标图像。

优选地，所述计算模块包括：

比对单元，用于比较所述采集图像和所述参考图像的时间戳，以选择和参考图像具有相同时间戳的采集图像；

第一计算单元，用于将具有相同时间戳的采集图像和参考图像进行计算，构建变换矩阵。

根据本公开的第三方面，提供一种电子设备，包括：

第一接收模块，用于和手持终端建立无线连接，接收所述手持终端拍摄的采集图像，所述采集图像中包含所述电子设备的显示屏上当前播放的视频图像的部分或全部；

获取模块，用于获取所述电子设备的显示屏当前播放的视频图像作为参考图像；

第一计算模块，用于根据参考图像和采集图像获得变换矩阵，从而建立起参考图像和采集图像上的匹配点之间的变换矩阵；

设置模块，用于所述变换矩阵，求解所述采集图像上的一点对应的参考图像上的坐标点，并将所述显示屏上的光标点设置在所述坐标点。

本公开实施例通过摄像头拍摄采集图像，并根据采集图像和参考图像的比对设置光标位置，实现了通过图像技术实现光标定位功能，和现有的鼠标定位方法截然不同。

附图说明

通过参照以下附图对本公开实施例的描述，本公开的上述以及其它目的、特征和优点将更为清楚。

图1是利用摄像头进行显示屏上的光标定位的场景图。

图2是根据本公开实施例的利用摄像头进行屏幕上光标定位的方法的流程图。

图3是本公开实施例中采集图像的示例图。

图4是根据本公开实施例中利用摄像头成像的原理示意图。

图5是根据本公开实施例的显示屏的示意图。

图6是根据本公开实施例的采集图像的另一示例图。

图7是根据本公开实施例和发明对应的手持终端的结构图。

具体实施方式

以下基于实施例对本公开进行描述，但是本公开并不仅仅限于这些实施例。在下文对本公开的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本公开。为了避免混淆本公开的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。

附图中的流程图、框图图示了本公开实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。

图1是利用摄像头进行显示屏上的光标定位的场景图。

如图1所示，手持设备200的顶部设置有摄像头202，将手持设备200用作类似鼠标的指示装置，将用摄像头的指向方向201，控制屏幕100上的光标位置12，使光标跟随摄像头202的指向方向移动。显示屏100为电子设备300(例如计算机或电视机)的显示屏，该显示屏的类型包括但不局限于液晶屏、LED屏、等离子屏。

图2示出了根据本公开实施例的利用摄像头进行屏幕上光标定位的方法的流程图，包括以下步骤。

在步骤S11中，接收电子设备的显示屏上当前播放的图像作为参考图像，并通过摄像头拍摄采集图像。

参考图1，电子设备300和手持设备200之间可以通过无线或有线的方式进行通信。电子设备300截取显示屏上当前播放的视频图像作为参考图像并发送给手持设备200，手持设备200接收到播放的参考图像后进行存储。同时，手持设备200利用摄像头202进行实时拍摄，从而获得采集图像，在拍摄时，摄像头202可以将部分或全部的显示屏都拍摄到采集图像中，因此采集图像中可以包含了显示屏当前播放的视频图像的部分或者全部。图3示出了的采集图像包含整个显示屏，进而包含显示屏当前播放的视频图像的全部。但本领域的技术人员可以理解，即使采集图像中只包含部分的视频图像，也能够据此计算出变换矩阵，因此不会影响本公开的实施。

值得指出的是，在实际的操作中参考图像与拍摄的采集图像可能存在延迟，然而这个延迟通常不会引起问题，因为图像传输所造成的延迟一般非常短，可以通过降低图像的分辨率和仅传输灰度图像的方式来降低数据量，借以降低延迟。或者在一分钟内连续拍摄多张采集图像并存储每张采集图像的时间戳，通过采集图像和参考图像的时间戳进行比对，从多张采集图像中选择一张和参考图像具有相同的时间戳的采集图像，用于后续的步骤S12。另外视频图像的变化通常不会每一帧都有剧烈的变化。在实际处理图像时，还可以引入图像平滑处理技术，防止数据的跳变。经过上述处理基本上能够消除延迟对结果的影响。

在步骤S12中，根据采集图像和参考图像构建变换矩阵。

图3是本公开实施例中采集图像的示例图。

图4是根据本公开实施例中利用摄像头成像的原理示意图。

参考图3和图4，以采集图像20所在的成像平面构建摄像头坐标系20，摄像头光心作为原点Oc，摄像头坐标系40的X轴、Y轴和Z轴分别用Xc、Yc和Zc表示，X轴为沿采集图像20的水平方向，Y轴沿采集图像20的竖直方向，Z轴为和采集图像20的平面垂直的方向。采集图像20中包含了显示屏当前播放的视频图像21。图上22(Xp,Yp)为采集图像20的中点。采集图像上的任一点可以用Q(u,v,d)表示，其中d为常数，表示摄像头坐标系40的原点Oc到采集图像20的距离，以像素为单位，常取d＝1。

参考图4和图5，参考图像10位于参考坐标系11内，以显示屏的左上角为原点Or，参考坐标系11的X轴、Y轴和Z轴分别用Xr、Yr和Zr表示，参考图像10上所有的点在z轴上的坐标为0。因此参考图像10上点可以表示为P(x,y,0)，或者P(x,y)。

参考图4，比对参考图像10与采集图像20，计算出参考坐标系11与摄像头坐标系40的投影变换关系H。

参考图像10上的点P(x,y)，与其在采集图像20上的成像点Q(u,v),满足变换关系，

w为齐次系数，令

H为变换矩阵，投影变换关系可以简写为

P＝H*Q

要求得变换矩阵H，最少需要4组对应的点，且不在一条直线上，点数越多，得到的变换矩阵H越准确。这样对于采集图像20上的每一个成像点，都可以通过变换矩阵得到其在参考图像上的对应坐标点。

如图4所示，采集图像20中包含的显示屏上当前播放的视频图像标记为目标图像21，但是目标图像21在参考图像10中的位置并不能提前获得。为了找到目标图像21和参考图像10的对应关系，可以使用ASIFT算法进行计算。该算法提取参考图像10与采集图像20的特征点，并将特征点匹配，获得匹配点，根据匹配的特征点构建变换矩阵。ASIFT算法具有仿射不变形，对于图像可以稳定的输出足够的匹配点，从而保证求解到的变换矩阵H相对准确。

在步骤S13中，根据变换矩阵，将采集图像中的一点转换为显示屏的光标位置。

如图4所示，在采集图像上指定一点，该点与摄像头光心的连线，与显示屏界面相交于某点，使用前述的变换矩阵H，计算出该点坐标作为新的光标位置，并将该点坐标传递给远程的电子设备300。

摄像头所指向的光标位置可以为采集图像20的中心点在参考图像上的对应坐标点，如图上的中心点22(Xp,Yp)对应的坐标点12(Xc,Yc)，即满足公式：12(Xc,Yc)＝H*22(Xp,Yp)，这时摄像头在手持设备的正前方，用户可以直观的指示摄像头的位置。如果摄像头并不在手持设备的正前方，可以选取其他的固定点，以反映摄像头的指向方向。另外，该点也可以是动态浮动点，根据参考图像在采集图像中的位置来指定。如图6所示，将反映摄像头的指向方向的点设定为采集图像20的中心点22(Xp,Yp)和目标图像21的中心点的直连线(线段)的中点。但不局限于此，理论上，可以选取采集图像20的中心点22(Xp,Yp)和目标图像21的中心点的直线连接线的任意一点作为反映摄像头的指向方向的点。动态浮动点的指定方式，允许用户在在较大的指向范围内，精细的调整屏幕上的指示位置，这适合于距离屏幕很远的场合。动态浮动点也可以在较小的指向范围内控制光标位置在全屏移动，这适合距离屏幕很近，目标图像在采集图像上占据很大面积的场合。

在上述实施例中，通过不断地变换摄像头的拍摄角度、方向和位置，得到不同的采集图像，进而根据每个采集图像和参考图像的比对获得一个新的光标位置。也就是说，当摄像头的拍摄角度、方向和位置不断变化时，这些变化最终会体现在每个采集图像中，因此可以根据采集图像中分析摄像头指向的显示屏的位置并将其作为光标位置。

图7是根据本公开实施例和发明对应的手持终端的结构图。图7提供的手持终端和图2所示的“利用摄像头进行屏幕上光标定位的方法”对应，包括无线接收模块701、图像拍摄模块702、计算模块703和输出模块704。

无线接收模块701用于和电子设备建立无线通信，接收显示屏当前播放的视频图像作为参考图像。

图像拍摄模块702通过摄像头拍摄采集图像，采集图像中包含有整个显示屏，进而包含显示屏当前播放的视频图像。

计算模块703用于根据参考图像和采集图像获得变换矩阵，从而建立起参考图像和采集图像上的匹配点之间的变换矩阵。

输出模块704利用计算模块703获得的变换矩阵，求解采集图像上的一点对应的参考图像上的坐标点，并将该坐标点传输给电子设备，以使电子设备设置新的光标点。

优选地，输出模块704选取所述采集图像中的一个固定点转换为显示屏的光标位置。例如，该固定点为所述采集图像的中心点。

优选地，输出模块704选取所述采集图像中的一个浮动点转换为显示屏的光标位置。例如，输出模块704将采集图像的中心点和目标图像的中心点连接成直线，选取直线上的一点作为所述浮动点，其中，将采集图像中包含的部分或全部的显示屏当前播放的视频图像作为目标图像。

优选地，计算模块703包括：比对单元和第一计算单元。

比对单元用于比较采集图像和参考图像的时间戳，以选择和参考图像具有相同时间戳的采集图像。

第一计算单元用于将具有相同时间戳的采集图像和参考图像进行计算，构建变换矩阵。

本领域的技术人员可以理解，本公开中的手持终端和方法互相对应，方法的实现细节也同样适用于手持终端，因此在手持终端中以相对简略的方式进行功能描述。

应该指出的是，上述各个模块也可以全部或部分地部署到电子设备端。

例如，基于此，本公开可以提供一种电子设备，和手持终端协作实现光标定位，包括：第一接收模块，用于和手持终端建立无线连接，接收所述手持终端拍摄的采集图像，所述采集图像中包含所述电子设备的显示屏上当前播放的视频图像的部分或全部；获取模块，用于获取所述电子设备的显示屏当前播放的视频图像作为参考图像；第一计算模块，用于根据参考图像和采集图像获得变换矩阵，从而建立起参考图像和采集图像上的匹配点之间的变换矩阵；设置模块，用于所述变换矩阵，求解所述采集图像上的一点对应的参考图像上的坐标点，并将所述显示屏上的光标点设置在所述坐标点。

在本公开实施例中，介绍了一种利用图像技术进行光标定位的方法，和现有的鼠标定位方法不同。基于此，可以设计一种产品，在该产品上设置摄像头，通过摄像头不同角度的拍摄实现光标定位，同时，在该产品上设置一个触控屏，通过在屏幕上的触摸实现页面滚动或按键点击功能。从而，使该产品完全具有鼠标的功能。

基于上述的方法，本公开还提出一种把摄像头作为三维空间姿态输入设备的方法。使用前述的变换矩阵H，计算出摄像头坐标系40在参考坐标系11中的空间姿态，即三维坐标和三个方向的旋转角度，传递给电子设备端。

为了得到摄像头的空间姿态，首先建立一个与之前相反的映射关系，从参考坐标系映射到摄像头坐标系：

记

K为变换矩阵，以前面类似的方法，最少要多于四个不共线的点就可以求解出来。

K可以用摄像头坐标系40的旋转矩阵与位移向量来表示，如下

其中为旋转矩阵，rx,ry,rz分别为摄像头坐标系的x轴，y轴，z轴在参照坐标系中的方向向量，且三个向量正交。为摄像头坐标系的原心在参考坐标系的坐标。可以得到

求解r13,r23,r33的过程中，会遇到开方。在我们的使用场景中，摄像头一定在电子设备的显示屏的前面，参考坐标系的z轴从正面穿过界面，即tz小于零。进而可以排除无用的解。

这样的旋转矩阵R，与位移向量T表示了摄像头在参考坐标系11中的空间姿态。把这种空间姿态作为输入传给对远程设备，可以实现三维的控制效果，即可以通过摄像头进行三维画面的光标控制，以此丰富用户与远程设备间的交互方式。

上述实施例可以应用于以下场景中。

1、手机作为电视遥控器

这种场景下，电视机作为电子设备，手机作为手持设备。手机的顶部装有摄像头，或通过反射镜让背面的摄像头拍摄顶部方向。手握手机可以方便直观的控制摄像头的指向。在手机和电视上都安装有软件，可以相互通信。

手机指向电视屏幕时，拍摄包含屏幕在内的采集图像。同时手机控制电视机的软件截取当前显示画面，作为参考图像传送给手机。手机端的软件提取两幅图像的特征点，匹配对应的特征点，计算从采集图像到参考图像的映射关系。

选择手机摄像头的正对方向作为指向位置，即采集图像的中心所拍摄的位置。计算该像素在参考图像中的像素位置。该位置即为手机摄像头在电视屏幕上的指向位置。将该位置发送给电视机，移动鼠标到该点以标志指向位置。

2、会议投影遥控器

该遥控器用于在会议演示时，控制投影画面上的鼠标指向位置。投影的电脑作为远程设备，与遥控器通过无线网络通信。遥控器作为手持设备，安装有摄像头。当摄像头指向屏幕时，拍摄包含屏幕的采集图像传递给电脑。同时电脑截取投影的画面作为参考图像。

电脑取得两幅图像后，提取两幅图像中的特征点，匹配对应的点的位置，计算从采集图像到参考图像的映射关系。

选择遥控器摄像头的正对方向作为指向位置，即采集图像的中心所拍摄的位置。计算该像素在参考图像中的像素位置。该位置即为遥控器在投影屏幕上的指向位置，移动鼠标到该点标志指向位置。

遥控器上附加左右键与滚轮，就可以和鼠标一样在演示中操作投影屏幕。

3、用手机在电脑中搭积木的游戏

该应用方案将手机作为游戏手柄使用。在这个假象的游戏中，积木可以用不同角度垒起来，需要使用手柄来指定的摆放位置和角度。

手机与电脑通过有线或者无线的方式通信。手机上附带有摄像头。

用手机指向电脑屏幕，拍摄包含屏幕的采集图像。同时电脑截取当前显示的画面作为参考图像传递给手机。

手机端的软件提取两幅图像的特征点，匹配对应的特征点，计算从摄像头在参考图像所在坐标系中的坐标向量与旋转矩阵。将该坐标向量与旋转矩阵发送给电脑，控制积木的摆放位置与旋转角度。

系统的各个模块或单元可以通过硬件、固件或软件实现。软件例如包括采用JAVA、C/C++/C#、SQL等各种编程语言形成的编码程序。虽然在方法以及方法图例中给出本公开实施例的步骤以及步骤的顺序，但是所述步骤实现规定的逻辑功能的可执行指令可以重新组合，从而生成新的步骤。所述步骤的顺序也不应该仅仅局限于所述方法以及方法图例中的步骤顺序，可以根据功能的需要随时进行调整。例如将其中的某些步骤并行或按照相反顺序执行。

根据本公开的系统和方法可以部署在单个或多个服务器上。例如，可以将不同的模块分别部署在不同的服务器上，形成专用服务器。或者，可以在多个服务器上分布式部署相同的功能单元、模块或系统，以减轻负载压力。所述服务器包括但不限于在同一个局域网以及通过Internet连接的多个PC机、PC服务器、刀片机、超级计算机等。

以上所述仅为本公开的优选实施例，并不用于限制本公开，对于本领域技术人员而言，本公开可以有各种改动和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (15)

1.一种利用手持终端进行光标定位的方法，所述手持终端上设置有摄像头，包括：

通过所述摄像头拍摄采集图像，所述采集图像内包含所述电子设备的显示屏上当前播放的视频图像的部分或全部；

接收电子设备的显示屏上当前播放的视频图像作为参考图像；

根据所述采集图像和所述参考图像构建变换矩阵；以及

根据所述变换矩阵，将所述采集图像中的一点转换为显示屏的光标位置。

2.根据权利要求1所述的方法，其中，所述采集图像中的一点为固定点。

3.根据权利要求2所述的方法，其中，所述固定点为所述采集图像的中心点。

4.根据权利要求1所述的方法，其中，所述采集图像中的一点为浮动点。

5.根据权利要求4所述的方法，其中，将所述采集图像的中心点和目标图像的中心点连接成直线，选取所述直线上的一点作为所述浮动点，其中，将所述采集图像中包含的所述显示屏当前播放的视频图像的部分或全部作为目标图像。

6.根据权利要求1所述的方法，所述方法还包括：从所述摄像拍摄的多张采集图像中选择和所述参考图像具有相同的时间戳的采集图像作为第一采集图像；

则所述根据所述采集图像和所述参考图像构建变换矩阵包括：

以所述第一采集图像和所述参考图像构建变换矩阵。

7.根据权利要求1所述的方法，其中，所述根据所述采集图像和所述参考图像构建变换矩阵包括：

以所述电子终端的显示屏构建参考坐标系，以所述采集图像所在的成像平面构建摄像头坐标系；

采用ASIFT算法获取所述采集图像和所述参考图像在各自的坐标系内的匹配的特征点，其中，所述特征点大于4组，且不在一条直线上；以及

根据所述匹配的特征点构建所述变换矩阵。

8.根据权利要求1所述的方法，其中，所述手持设备为遥控器、移动电话或PAD，所述电子设备为电视机或计算机。

9.一种手持终端，所述手持终端上设置有摄像头，包括：

无线接收模块，用于接收电子设备的显示屏上当前播放的视频图像作为参考图像；

图像拍摄模块，通过所述摄像头拍摄采集图像，所述采集图像内包含所述电子设备的显示屏上当前播放的视频图像的部分或全部；

计算模块，根据所述采集图像和所述参考图像构建变换矩阵；

输出模块，根据所述变换矩阵，将所述采集图像中的一点转换为显示屏的光标位置,并输出给所述电子设备。

10.根据权利要求9所述的手持终端，其中，所述输出模块选取所述采集图像中的一个固定点转换为显示屏的光标位置。

11.根据权利要求10所述的手持终端，其中，所述固定点为所述采集图像的中心点。

12.根据权利要求9所述的手持终端，其中，所述输出模块选取所述采集图像中的一个浮动点转换为显示屏的光标位置。

13.根据权利要求12所述的手持终端，所述输出模块将所述采集图像的中心点和目标图像的中心点连接成直线，选取所述直线上的一点作为所述浮动点，其中，将所述采集图像中包含的所述显示屏当前播放的视频图像的部分或全部作为目标图像。

14.根据权利要求9所述的手持终端，所述计算模块包括：

比对单元，用于比较所述采集图像和所述参考图像的时间戳，以选择和参考图像具有相同时间戳的采集图像；

第一计算单元，用于将具有相同时间戳的采集图像和参考图像进行计算，构建变换矩阵。

15.一种电子设备，包括：

第一接收模块，用于和手持终端建立无线连接，接收所述手持终端拍摄的采集图像，所述采集图像中包含所述电子设备的显示屏上当前播放的视频图像的部分或全部；

获取模块，用于获取所述电子设备的显示屏当前播放的视频图像作为参考图像；

第一计算模块，用于根据参考图像和采集图像获得变换矩阵，从而建立起参考图像和采集图像上的匹配点之间的变换矩阵；

设置模块，用于所述变换矩阵，求解所述采集图像上的一点对应的参考图像上的坐标点，并将所述显示屏上的光标点设置在所述坐标点。