CN106951074B - 一种实现虚拟触摸校准的方法以及系统 - Google Patents

Abstract

本发明公开了一种实现虚拟触摸校准的方法，所述方法包括：创建虚拟校准菜单；以显示所述虚拟校准菜单所在平面为x轴和y轴构成的平面，建立第一坐标系；建立第二坐标系，将用户手势位置用所述第二坐标系坐标表示；计算所述第一坐标系和所述第二坐标系的对应关系；根据所述对应关系，将第二坐标系表示的用户手势位置坐标，用所述第一坐标系的坐标表示；根据用所述第一坐标系的坐标表示的用户手势位置关系，校正用户手势与虚拟校准菜单的对应关系。与现有技术相比，本发明的有益效果是：提高了虚拟触摸的准确性，改善了用户的感官效果。

Description

一种实现虚拟触摸校准的方法以及系统

本申请是2013年05月16日提出的发明名称为“一种实现虚拟触摸校准的方法以及系统”的中国发明专利申请201310180909.5的分案申请。

技术领域

本发明涉及增强现实技术，尤其涉及一种实现虚拟触摸校准的方法以及系统。

背景技术

新兴的增强现实技术可以使虚拟世界与真实世界的交互显得更直接更自然，而基于手势的人机交互是实现增强现实技术的交互中不可缺少的关键技术。让真实的人或者物体直接与3D虚拟投影对象进行交互，即让手势与虚拟物体直接交互，用户用手势直接控制3D虚拟投影对象，这种表达自然清晰，使得人机交互的体验更具有吸引力。

现有技术中，3D虚拟投影及虚拟触摸的用户交互界面及实现方法，包括深度探测器、双眼图像视差计算模块、双眼图像处理模块、3D显示设备、手势识别模块、摄像头和虚拟触摸控制器。如图1所示，深度探测器探测得到用户头部和手部与3D显示设备的距离信息；双眼图像视差计算模块根据深度探测器探测的距离信息计算双眼图像视差；双眼图像处理模块根据双眼图像视差信息处理图像；再将处理后的图像发送给3D显示设备虚拟投影在用户臂长范围内；手势识别模块等待到用户的手势操作虚拟投影画面后，根据深度探测器和摄像头识别到用户手指移动轨迹；虚拟触摸控制器根据用户手势及移动轨迹做出相应的反应。

但本申请发明人在实现上述技术方案的过程中，发现其至少存在如下技术问题：要实现虚拟触摸的效果，需要将手势的位置空间与虚拟投影画面的像素空间进行空间投影变换。但由于深度探测器的可移动性，使得深度探测器移动之前设定的投影变换规则不适用与移动之后的；或者由于更换用户后人眼的瞳孔距离发生改变，使得看到的虚拟投影画面的出屏深度发生了改变，也使得更换用户之前设定的变换规则不适用与更换之后的；这些因素，都容易产生手势点击某一处，响应显示在另一处的错乱效果，影响了交互的准确性。

发明内容

本申请实施例通过提供一种实现虚拟触摸校准的方法，解决了现有技术中由于深度探测器移动后以及用户更换时人眼瞳孔距离发生改变时，引起的手势点击与响应不一致的问题，提高了交互的准确性，改善了用户的观看感受。

本申请实施例提供了一种实现虚拟触摸校准的方法，所述方法包括：

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：当深度探测器的位置发生改变或者用户更换后人眼瞳孔的距离发生了改变时，采用了用户点击虚拟校准菜单的校准点的技术手段，重新将用户手势操作与虚拟投影画面进行校准，有效的解决了现有技术中当发生上述改变后，手势点击与响应不一致的错乱问题，实现了即便发生上述改变，也能保持交互的准确性。

附图说明

图1为现有技术的方法流程图

图2为结合本发明方法的实现虚拟触摸操作的方法流程图

图3为本申请实施例提供的实现虚拟触摸校准的方法流程图

图4为本申请实施例提供的实现虚拟触摸校准的系统框图

图5为本实施例创建的校准菜单

图6为本实施例构建的第一坐标系

图7为本实施例第二坐标系与第一坐标系的对应关系图

图8为本实施例第二坐标系与第一坐标系的对应关系图

图9为本实施例第二坐标系与第一坐标系的对应关系图

图10为本实施例第二坐标系与第一坐标系的对应关系图

图11为本实施例的3D显示示意图

图12为本实施例提供的平行于显示平面的位移补偿示意图

图13为本实施例提供的垂直于显示平面的位移补偿示意图

图14为本实施例提供的头部倾斜补偿示意图

图15为本实施例提供的声音提示示意图。

具体实施方式

本申请实施例通过提供一种实现虚拟触摸校准的方法以及系统，在现有技术的基础上增加校准以及用户双眼位置改变补偿，解决了现有技术中因深度探测器位置发生改变或用户更换后双眼瞳孔距离发生改变时产生虚拟触摸错乱的问题，以及用户在虚拟操作过程中双眼位置的轻微变化引起操作准确性下降和破坏感官效果的问题。

本申请实施例中的技术方案为解决上述问题，总体思路如下：

针对虚拟触摸错乱的问题，采用用户校准的方法，即当深度探测器的位置发生改变或者更换用户后，用户依据系统提供的虚拟校准菜单重新校准虚拟投影装置，使得用户3D手势位置能够正确的投影至3D虚拟画面空间。

同时，采用用户双眼位置偏移补偿和用户双眼位置倾斜补偿的方法，即当用户双眼位置发生轻微的偏移后，对显示的3D虚拟画面做相应位移的补偿，使用户看到的虚拟画面不会随着用户的移动而移动，当用户双眼位置发生轻微的倾斜时，对显示的3D虚拟画面做相应角度倾斜的补偿，使用户看到正确视差重合成的虚拟图像，从而提高了操作的精度，改善了用户的感官效果。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

本申请实施例中提供了一种实现虚拟触摸校准的方法以及系统。校准的意义在于：在作为3D显示控制核心的处理器内，3D图形的位置、大小等都是以像素来计算的；而作为3D手势识别核心的深度探测器里，手势的位置信息是以空间尺寸来计算的。因此当判别用户手势的位置与3D图像的位置联系时，需要一个校准的过程，即在物理空间和数字空间中搭建一个沟通的桥梁。但这种沟通桥梁，通常是设定好的一个对应关系，而且前提一般为固定深度探测器的位置，固定人眼的瞳孔距离为一个常数值。这样，当深度探测器的位置在实际使用中发生了变动(就目前而言，深度探测器为外置的单独器件，可以随意移动)，这时再使用之前设定的校准关系就无法正确完成虚拟触摸的动作；同时，由于不同用户的双眼瞳孔距离是有差别的，使用固定的瞳孔距离针对不同用户的校准，自然会引起虚拟触摸的不准确性。

实施例一

为更充分的表述本实施例提供的校准方法，将结合用户虚拟触摸过程进行说明；如图2，步骤如下：

S01，判断深度探测器的位置是否发生了改变或者是否更换了用户。

本申请实施例中，在深度探测器内置运动传感器，例如加速度计、陀螺仪等，用传感器来监测深度探测器是否发生了移动；同时，可以通过显示器上配置的2D摄像头对用户进行人脸检测，并判断是否更换了用户。

当运动传感器检测到深度探测器的位置发生了改变，或者2D摄像头检测到更换了观看用户，显示界面跳出菜单提示，提示用户上述状态发生了改变，需要重新校准才能正常观看，并询问用户是否进行校准，用户可以选择是，也可以选择否。

若用户选择了校准，则启动本实施例提供的校准步骤，即

S02、调用用户校准系统进行用户校准；

下面将结合用户校准方法(如图3)说明用户的校准过程。

步骤S021、创建虚拟校准菜单；

本实施例创建的校准菜单如图5所示，为编号分别为1、2、3、4的4个圆形图标(对应有计算机图形的三维模型，立体显示)，4个圆的圆心对应为一个矩形的四个角，矩形的长宽与显示的虚拟画面的长宽相同；事实上，因为三点确定一个平面，只要具备三个圆形图标，就可以构建校准菜单，并完成校准的工作。本领域技术人员应知，校准菜单的形式不局限于本实施例。

步骤S022、以显示所述虚拟校准菜单所在的平面为x轴和y轴构成的平面，建立第一坐标系；

该坐标系以虚拟显示上述校准菜单所在的平面为x轴和y轴平面，z＝0，z正方向指向用户，远离屏幕，如图6所示。本实施例中的第一坐标系，定义在显示平面，以像素为单位(本领域技术人员应知，虚拟画面的形成是由于显示屏幕以一定的频率交叉显示具有视差的左右眼图像，从而在人的双眼中产生虚拟图像)。例如：定义圆心的坐标为(x,y,z)，以像素为单位，若显示的虚拟画面的分辨率为1920*1080，则四个圆心的坐标可以对应分别为1(0,0,0)、2(1920,0,0)、3(0,1080,0)、4(1920,1080,0)。

S023、建立第二坐标系，将用户手势位置用所述第二坐标系坐标表示；

定义第二坐标系，一般是深度探测器探测用户手势位置时采用的坐标系，用于表示用户手势位置坐标。当用户用手指点击虚拟校准菜单的圆心1时，深度探测器记录下采集到的手指位置(X₁,Y₁,Z₁)，该点与虚拟画面上的1(0,0,0)对应；同理，记录用户点击2、3、4的位置(X₂,Y₂,Z₂)、(X₃,Y₃,Z₃)、(X₄,Y₄,Z₄)，分别于2(1920,0,0)、3(0,1080,0)、4(1920,1080,0)对应。

步骤S024、计算所述第一坐标系和所述第二坐标系的对应关系；

获取到四组空间坐标后，又已知对应的四组计算机图形坐标，就可以开始校准工作了。

具体的校准算法说明如下：

算法1、根据所述虚拟校准菜单四个校准点的第一坐标系坐标，和获取到的用户虚拟触摸所述虚拟校准菜单四个校准点的处于第二坐标系的坐标，计算将所述第二坐标系内任一点坐标转换为所述第一坐标系坐标的平移量、缩放比例和旋转角度；

对于校准菜单对应的计算机图形坐标系，是一个像素坐标系，当已知显示屏幕尺寸的前提下，便已知具体一个像素的空间尺寸，因此可以换算出像素坐标对应的空间坐标，以分辨力为1080*1920的42寸显示屏幕为例，这个尺寸的像素一般为0.5mm的直径，由此，可以推算出四个圆的圆心坐标分别为1(0,0,0)、2(96,0,0)、3(0,54,0)、4(96,54,0)，以cm(厘米)为单位。

这样，第一坐标系和第二坐标系之间就只存在平移、缩放和旋转的对应关系了。

平移

平移参数可用如下方法求出：4组空间坐标取平均即为触摸校准菜单中点的坐标(X_o,Y_o,Z₀)，与校准菜单的中点(48,27,0)对应；则t_x＝X_o-48，t_y＝Y_o-27，t_z＝Z_o为第二坐标系转换为第一坐标系平移参数。

则通过将第二坐标系的原点与第一坐标系的原点对应起来，如图7所示。

缩放

缩放参数可用如下方法求出：或者或者由于深度探测器坐标数据被映射到平面为x轴和y轴平面，z＝0，的坐标系中，因而只有x和y方向的缩放系数，而没有z方向的缩放系数，此处的c可以设为常数c＝1，

则通过将第二坐标系与第一坐标系除原点之外的各点坐标对应起来，如图8所示。

3)若是更换了用户从而瞳孔距离发生了变化，引起虚拟画面的显示发生了改变，只会涉及到坐标系的平移和缩放，不会涉及到坐标系的旋转变换问题。而对于深度探测器，由于深度探测器只有水平方向角度的变化，即朝不同水平方向移动，没有仰角和俯角，也没有左右高低不平，因此只有y轴方向的旋转；可以通过1、2、3、4点确定平面的夹角，即1、2点或者3、4点的X、Z坐标，(X₁,Z₁)

和(X₂,Z₂)得出或者(X₃,Z₃)和(X₄,Z₄)得出

则通过矩阵的变换，就可将用旋转后的第二坐标系坐标表示的手势位置转换为用第一坐标系的坐标表示，如图9所示。

经过上述三部分的处理，即平移、缩放与旋转之后，不论是深度探测器的位置发生了变化，还是更换了用户，都能将发生变化后的第二坐标系表示的手势位置坐标用第一坐标系的坐标表示出来，达到了校正的效果。

算法2、将所述用户虚拟触摸虚拟画面任意一点在第二坐标系中的坐标(X,Y,Z)，用

与该点在所述第一坐标系的坐标(x,y,z)对应，其中，

A为显示虚拟画面的水平分辨率，B为显示虚拟画面的垂直分辨率，(X₁,Y₁,Z₁)、(X₂,Y₂,Z₂)和(X₃,Y₃,Z₃)为虚拟触摸所述虚拟校准菜单第一圆心、第二圆心和第三圆心的坐标。

例如，如图10所示，在1920*1080显示屏上坐标为(x,y)像素的点，对应四角坐标空间内的坐标(X,Y)为

或者

即，当检测到手势点击在处时，可以判断，此点击触发了绘制在屏幕(x,y)处的事件。

基于此原理，我们可以将用户操作画面的中心点通过该方法，得到对应深度探测器坐标系(第二坐标系)的空间坐标。于是我们只要对比此空间坐标与深度探测器实时采集到的手势坐标，就可以判断手势是否在距离用户操作菜单的中心点很近的范围内，从而判断是否触发。

算法3、可以看做是算法1的改进。

由于在算法1中，深度探测器坐标数据被映射到平面为x轴和y轴平面，z＝0，的坐标系中，因而只有x和y方向的缩放系数，而没有z方向的缩放系数，所以，可以通过一前一后双平面的方式，通过采集8点空间坐标与计算机图形3D模型进行映射。

具体方法跟算法1类似，但是可以得出z轴的缩放系数，此处不予赘述。

步骤S025、根据所述对应关系，将第二坐标系表示的用户手势位置坐标，用所述第一坐标系的坐标表示；根据用所述第一坐标系的坐标表示的用户手势位置坐标，校正用户手势与虚拟校准菜单的对应关系。

经过上述步骤S024的算法处理后，得到两个坐标系的对应关系，在第二坐标系和第一坐标系之间找到了一个可以转换的关系，就可将用第二坐标系坐标表示的坐标转换为第一坐标系的坐标表示，即在两个坐标系之间找到了一个对应关系，可以很方便的把用第二坐标系表示的用户手势位置与处于第一坐标系的图像的点一一对应起来，从而达到了校准的效果。

用户校准工作完成后，根据设定的屏幕显示尺寸和视差，就可以绘制需要显示画面的左右眼图像并合成所需要大小和出屏距离的三维虚拟画面了。

但是作为用户而言，在观看和操作3D虚拟画面的过程中，不可能一直保持头部(双眼)不移动，这种移动包括空间位置的移动以及头部的倾斜。这两种状况都会影响用户的观看和操作。用户空间位置的移动会引起虚拟画面随着用户的移动而移动，此时在校准的基础上再进行操作就会产生偏差，影响用户操作的准确性；用户头部的倾斜会引起左右眼图像无法很好的成像，造成感官上的不舒适性。

因此，为保证校准后的显示画面的位置保持固定不变，不随用户的移动而移动，针对用户头部(双眼)的变化，需要对显示画面做相应的位置补偿，即，将因为用户移动而移动的显示画面拉回校准后画面显示的位置。这样，用户操作的准确性高，感官效果好。

S03、显示待操作的虚拟画面后，针对用户双眼位置的改变引起虚拟画面位置的改变进行补偿；

本申请实施例中，虚拟画面是成像在屏幕前靠近用户的位置的，具体的出屏距离，与视差存在着如下的关系：

和

如图11，L为用户与屏幕之间的距离，z₀为虚拟画面的出屏距离，d为用户的左右眼间距，p为显示屏上显示虚拟画面的左右眼视差，其中p为已知；设w为虚拟画面的尺寸，W为屏幕显示具有视差的左右眼图像的尺寸，其中W为已知，w可以通过触摸校准菜单的四组坐标求得。

1、头部位移跟踪补偿

如上述，虚拟画面的出屏距离z₀仅与用户左右眼的瞳孔距离以及左右眼图像的视差相关，而虚拟画面的位置则与人眼的空间立体位置有关；对于电视用户而言，当他观看电视时，身体会有轻微的前后左右的移动，即其双眼的位置与在校准时的位置又发生了轻微的变化，因此必须根据实时的双眼位置进行3D显示的补偿。

用户头部位置发生变化的时候，虚拟画面的成像位置也会随之发生相应的变化，为保持虚拟画面的位置不随用户头部的移动而移动，要将显示屏上显示画面往相反方向调整回变化前的位置。

由于立体的用户双眼的跟踪难以实现，本实施例中采用头部位置跟踪的方式替代人眼位置的跟踪，由于双眼相对于头部的位置比例是固定的，很大程度上次替代导致的误差不大。

根据3D视差显示原理，当左右眼分别接受到不同的图像时，人眼会自动进行实现的延长，直至形成虚像。因此，显示屏上所显示的左右眼图像，也分别是虚拟画面在人眼下的投影。

对于虚拟画面的中心，其位移的补偿可以通过简单的几何线性比例关系得到。头部的位移可以分解为平行于显示屏平面的位移和垂直于显示屏平面的位移。

1)进行平行于显示屏平面的位移补偿；

如图12，用户头部(双眼)的位移ΔX_e、ΔY_e，其对应虚拟画面显示的调整位移为ΔX_d、ΔY_d，

则根据和

可推求出

其中，ΔX_e、ΔY_e可由深度探测器获取到的用户移动前后两组坐标的坐标值求出；L-z₀为用户与虚拟画面之间的距离，可以通过深度探测器探测到的用户空间坐标的z轴数据，与用户触摸虚拟校准菜单的四组坐标的中点z轴数据的差值求得。根据(2)式可推出则由L-z₀可以求出虚拟画面出屏距离z₀。

2)进行垂直于显示屏平面的位移补偿；

如图13，用户头部(双眼)的位置为(X_e,Y_e,Z_e)，位移Δz_e，其对应虚拟画面显示的调整位移为

其中，Δz_e可由深度探测器获取到的用户移动前后两组坐标的坐标值求出；

2、进行头部倾斜跟踪补偿；

对于一般的3D视差立体显示而言，当用户倾斜头部时，会出现左右眼视差无法重合成虚像的问题，导致用户视觉不舒服，甚至出现头晕恶心的现象。这是因为，通常3D左右眼显示图像，只有水平视差，而没有垂直视差，当用户倾斜头部时，左右眼已经有垂直位移了，所以视线的延长线无法交汇于一点，导致视觉错乱。

此时，可以通过图像识别，检测出用户眼镜的倾斜角度，这样，就可以对左右眼图像的垂直视差进行补偿，从而让用户不必正视屏幕也可以正常观看和操作3D虚拟画面。

如图14，可以用三角函数得出补偿数据，即，若用户头部(双眼)倾斜角度θ(可根据2D摄像头的图像识别功能得到)，结合上述的公式(1)，可得

左眼的补偿为：

右眼的补偿为：

其中，由(1)和(2)可以得到用户的左右眼间距为

关于符号的正负，对于出屏虚像(z₀＞0)，若定义θ顺时针为正，则左眼的补偿均为负，而右眼的补偿均未正；对于入屏虚像(z₀＜0)，若定义θ顺时针为正，则左眼的补偿均为正，而右眼的补偿均为负。

值得一提的是，上述人眼(头部)倾斜补偿原则不仅适用于此，也可以广泛用在各种视差原理的立体3D显示上。

S04、用户操作虚拟画面后，判断用户操作结果，并反馈声音提示。

虚拟画面的操作与真实操作比较起来，容易使用户产生不确定性，不知道是否点击到了需要操作的画面选项，为了提高用户体验，本实施例中提出了一种声音反馈方法，使用户在操作的过程中，如果正确点击了虚拟画面选项，便反馈声音作为提示，提高了用户体验效果。

根据声音定位原理，点声源的强度(能量)随着传播距离平方成反比；而传播时间差可通过音速计算得出。

如图15，若虚拟物体A发出声音，则左右耳接收到的声音信号分别为：S₁，S₂，令A与左右耳的距离分别为：L₁和L₂，音速为v，则

S₁，S₂的强度比为而时间差为

对于耳机，S₁，S₂直接就是输出信号。

而对于音箱，S₁，S₂还需要经过变换。

对于音箱输出信号S₁'和S'₂，设用户正对电视正中观看，用户头部与音箱的距离L₁′和L₂′，则根据

可推得

和

当然，声音提示不局限于本实施例提供的正确提示操作，系统还可以设定不同的声音来提示不同的操作，例如错误操作提示、无效提示等。

本实施例中的校准方法，在实际运用中，可结合自动适应的方法进行简化的改进，例如：

在深度探测器内置运动传感器，如加速度计和陀螺仪等传感器，若没有监测到深度探测器的运动，可认为深度探测器的位置没有移动，可以不必进行校准，而是调出之前的校准数据使用即可(坐标系平移和旋转部分)。

通过2D摄像头的识别功能，对用户进行人脸检测，若检测到当前观看的用户是之前做过校准的用户，则不必进行重新校准，而是调出之前的校准数据使用即可(坐标系缩放部分)。

若深度探测器移动了，而用户并非是新用户，只需要重新校准坐标系的平移和旋转部分，配合之前老用户的坐标系缩放部分校准数据。

若深度探测器为移动过，而用户是新用户，只需要重新校准坐标系缩放部分，配合之前深度探测器位置下的坐标系平移和旋转部分校准数据。

若深度探测器移动了，且用户是新用户，则必须进行更新的校准。

具体实施过程，本实施例中不再赘述。

实施例二

本申请实施例还提供了一种实现虚拟触摸校准的系统，如图4所示，包括：

创建单元、构建单元、计算单元、校准单元、补偿单元和提示单元。

创建单元01，用于创建虚拟校准菜单；

构建单元02，用于以显示所述虚拟校准菜单所在的平面为x轴和y轴构成的平面，建立第一坐标系；以及建立第二坐标系，用于将用户手势位置用所述第二坐标系坐标表示；

计算单元03，用于计算所述第一坐标系和所述第二坐标系的对应关系；

校准单元04，用于根据所述对应关系，将第二坐标系表示的用户手势位置坐标，用所述第一坐标系的坐标表示；根据用所述第一坐标系的坐标表示的用户手势位置坐标，校正用户手势与虚拟校准菜单的对应关系；

补偿单元05，包括

1)第一补偿模块051，用于进行平行于显示屏平面的位移补偿；

2)第二补偿模块052，用于进行垂直于显示屏平面的位移补偿；

3)第三补偿模块053，用于进行头部倾斜跟踪补偿；

提示单元06，用于进行声音反馈算法。

通过本发明的一个或多个实施例，可以实现如下的技术效果或优点：

因为采用了用户校准的技术手段，将用户手势操作与虚拟画面进行空间投影校准，有效的解决了现有技术中，因为固定了用户手势位置空间和虚拟画面空间的投影关系，使得当深度探测器的位置发生了变化，或者当更换用户后因为瞳孔距离的变化引起虚拟画面位置的变化，引起的手势操作与画面相应不一致的错乱问题，得到了有效的解决。同时，采用了用户双眼位置偏移或者倾斜的补偿措施，在校准完成之后，若用户双眼发生轻微偏移和倾斜的时候，对跟随双眼位置的改变而改变的虚拟画面的显示位置的改变进行补偿，使得即使用户双眼位置发生改变，也能保持虚拟画面的位置保持校准后的位置不动，从而保证了校准后的投影关系没有发生改变，有效的提高了用户操作的准确度，改善了用户的感官效果。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (2)

1.一种实现虚拟触摸校准的方法，其特征在于，所述方法包括：

创建虚拟校准菜单；

以显示所述虚拟校准菜单所在的平面为x轴和y轴构成的平面，建立第一坐标系；

建立表示用户手势位置第二坐标系, 根据所述虚拟校准菜单四个校准点的第一坐标系坐标，以及用户在虚拟触摸所述虚拟校准菜单四个校准点所处于第二坐标系的坐标，计算所述第二坐标系内任一点坐标转换为所述第一坐标系坐标的平移量、缩放比例和旋转角度；

根据所述第一坐标系和所述第二坐标系间的所述平移量、缩放比例和旋转角度转换关系，将表示的用户手势位置第二坐标系的坐标，用所述第一坐标系的坐标表示；

根据用所述第一坐标系的坐标表示的用户手势位置坐标，校正用户手势与虚拟校准菜单的对应关系。

2.如权利要求1所述的方法，其特征在于，所述虚拟校准菜单为：

包含第一圆，第二圆和第三圆的三个圆形图标，所述三个圆的第一圆心坐标，第二圆心坐标和第三圆心坐标，分别为以显示的虚拟画面为矩形的左下角、右下角和左上角的坐标。