CN106527696A - 一种实现虚拟操作的方法以及可穿戴设备 - Google Patents

Abstract

本发明公开了一种实现虚拟操作的方法，应用于至少包括显示屏、双摄像头和虹膜摄像头的可穿戴设备中，包括：可穿戴设备获取虚拟现实画面；可穿戴设备通过双摄像头获取动作信息；可穿戴设备将动作信息映射虚拟动作信息；可穿戴设备将映射后的虚拟动作信息加入到虚拟现实画面中；可穿戴设备通过虹膜摄像头获取眼球虹膜的虹膜坐标；可穿戴设备将虹膜坐标映射为显示屏的屏幕坐标；可穿戴设备基于屏幕坐标在显示屏中显示相关虚拟画面；可穿戴设备基于映射后的虚拟动作信息对相关虚拟画面中的虚拟物件进行虚拟操作。本发明实施例有利于通过多种信息的交互在可穿戴设备中实现了虚拟操作，提升用户的虚拟现实交互体验。

Description

一种实现虚拟操作的方法以及可穿戴设备

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种实现虚拟操作的方法以及可穿戴设备。

背景技术

虚拟现实(Virtual Reality，简称VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，可利用计算机生成一种虚拟环境来模拟现实，使用户沉浸到该虚拟环境中。近年来，VR技术发展迅速，以VR眼镜为代表的可穿戴设备越来越受到人们的欢迎，随着VR眼镜的改善，未来人们不仅可以用VR眼镜体验VR游戏，还可能通过VR眼镜实现虚拟现实购物，可以说人们对于可穿戴设备有着极大的需求。

本发明的发明人在研究和实践过程中发现，在现有技术中，对VR眼镜为代表的可穿戴设备而言，往往是采用单一信息交互技术来实现人机交互，例如，将VR眼镜和手柄相连接，VR眼镜可显示游戏画面，用户佩戴VR眼镜后，通过操控手柄，实现在游戏画面中进行虚拟操作(例如控制画面视角、控制游戏角色等)。这种通过单一信息交互技术来实现的人机交互会导致体验性较差，也就是用户的虚拟现实交互体验较差，不能让用户获得沉浸式的体验。

发明内容

本发明实施例提供一种实现虚拟操作的方法以及可穿戴设备，以期通过多种信息的交互在可穿戴设备中实现了虚拟操作，提升用户的虚拟现实交互体验。

本发明实施例第一方面提供一种实现虚拟操作的方法，应用于至少包括显示屏、双摄像头和虹膜摄像头的可穿戴设备中，所述方法包括：

所述可穿戴设备获取虚拟现实画面；

所述可穿戴设备通过所述双摄像头获取动作信息；

所述可穿戴设备将所述动作信息映射虚拟动作信息；

所述可穿戴设备将所述映射后的虚拟动作信息加入到虚拟现实画面中，以获得更新后的虚拟现实画面；

所述可穿戴设备通过所述虹膜摄像头获取眼球虹膜的虹膜坐标；

所述可穿戴设备将所述虹膜坐标映射为所述显示屏的屏幕坐标；

所述可穿戴设备基于所述屏幕坐标在所述显示屏中显示相关虚拟画面，其中，所述相关虚拟画面为所述更新后的虚拟现实画面中的与所述屏幕坐标相关的画面，所述相关虚拟画面包含虚拟物件；

所述可穿戴设备基于所述映射后的虚拟动作信息对所述相关虚拟画面中的所述虚拟物件进行虚拟操作。

本发明实施例第二方面提供一种可穿戴设备，至少包括显示屏、双摄像头和虹膜摄像头、存储器和处理器，其中，所述处理器分别与所述显示屏、所述双摄像头、所述虹膜摄像头和所述存储器连接，包括：

所述处理器用于获取存储器中的虚拟现实画面；

所述双摄像头用于获取动作信息；

所述处理器还用于将所述动作信息映射虚拟动作信息；

所述处理器还用于将所述映射后的虚拟动作信息加入到虚拟现实画面中，以获得更新后的虚拟现实画面；

所述虹膜摄像头用于获取眼球虹膜的虹膜坐标；

所述处理器还用于将所述虹膜坐标映射为所述显示屏的屏幕坐标；

所述显示屏用于基于所述屏幕坐标显示相关虚拟画面，其中，所述相关虚拟画面为所述更新后的虚拟现实画面中的与所述屏幕坐标相关的画面，所述相关虚拟画面包含虚拟物件；

所述处理器还用于基于所述映射后的虚拟动作信息对所述相关虚拟画面中的所述虚拟物件进行虚拟操作。

可以看出，通过实施本发明实施例，可穿戴设备一方面可获取虚拟现实画面(如游戏画面)，另一方面可获取动作信息(如手部动作)，并将动作信息映射到游戏画面中形成虚拟动作信息(如虚拟手势)，再一方面可获取眼球移动后的虹膜坐标，并将虹膜坐标映射为屏幕坐标，从而使得虚拟现实画面随着屏幕坐标的变化而发生变化，而用户可通过上述虚拟现实画面、动作信息和虹膜坐标等多种信息的交互在可穿戴设备中进行虚拟操作，本发明技术方案有利于提升用户在虚拟现实交互过程中的体验，也就是让用户在虚拟操作过程中获得沉浸式的体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种实现虚拟操作的方法的流程示意图；

图2是本发明实施例提供的一种动作信息映射虚拟动作信息示意图；

图3是本发明实施例提供的一种不同时刻虹膜坐标示意图；

图4是本发明实施例提供的一种不同时刻虹膜坐标映射为屏幕坐标示意图；

图5是本发明实施例提供的一种不同时刻显示屏显示不同的相关虚拟画面的过程示意图；

图6是本发明实施例提供的一种可穿戴设备示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书以及上述附图中的术语“第一”“第二”等用于区别不同的对象，而并非用于描述特定的顺序。另外，术语“包括”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或者单元的过程、方法、系统、产品或者装置没有限定于已列出的步骤或者单元，而是可选地还包括没有列出的步骤或者单元，或者还可选地包括这些过程、方法、产品或者装置固有的其他步骤或单元。

需要说明的是，在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

综合参阅图1至图5，其中，图1是本发明实施例提供的一种实现虚拟操作的方法的流程示意图。本发明实施例公开了一种实现虚拟操作的方法，应用于至少包括显示屏、双摄像头和虹膜摄像头的可穿戴设备中，包括：。

S101、可穿戴设备获取虚拟现实画面。

可以理解的，为了实现可穿戴设备在虚拟现实画面中实现虚拟操作，可穿戴设备首先需要获取虚拟现实画面。

其中，所述可穿戴设备可为VR眼镜、VR头盔等可以进行VR模拟与操作的设备。所述虚拟现实画面可为三维(3D)视景，例如3D游戏、3D图像、3D应用(如3D购物视景、3D学习视景等)。

其中，可穿戴设备可从本地缓存中获取虚拟现实画面，例如可穿戴设备中内置有存储器，可穿戴设备可读取存储器中的虚拟现实画面。可穿戴设备还可从外界获取虚拟现实画面，例如可穿戴设备可通过有线通信的方式获取外界服务器中的虚拟现实画面，还可通过无线通信的方式获取网络中的虚拟现实画面。

S102、可穿戴设备通过所述双摄像头获取动作信息。

可以理解的，可穿戴设备通过对人体动作的模拟来实现虚拟操作，故可穿戴设备需要获取动作信息。

其中，所述动作为手部动作或脚部动作，所述手部动作例如可以是抓取，甩动、拍掌、握拳、击打等等可通过手势去实现的特定动作，所述脚部动作例如可以走动、踢、蹬、踩，弯曲、滑动等等可通过脚部去实现的特定动作。

可穿戴设备通过所述双摄像头记录手部动作或脚部动作，例如，用户在头部穿戴所述可穿戴设备后，用户在所述可穿戴设备的前面进行特定的手部动作，以便于被所述双摄像头捕获和记录。

优选的，可穿戴设备通过所述双摄像头获取动作信息具体为：在可穿戴设备上间隔设置有两个摄像头，通过这两个摄像头，可以获得具有广角和纵深距离的立体动作画面，也就是说，可以通过双摄像头图像获取手部动作的图像和景深，或脚部动作的图像和景深。具体的，比如，双摄像头为在可穿戴设备的前端间隔设置有两个摄像头，用于捕捉位于可穿戴设备前方的一定范围内的手部动作，用户通过控制自己的手在可穿戴设备的前方完成特定动作，可穿戴设备就可通过双摄像头获取手部动作的图像和景深。又比如，双摄像头为在可穿戴设备的下端间隔设置有两个摄像头，用于捕捉位于可穿戴设备下方的脚部动作，用户通过控制自己的脚在可穿戴设备的下方完成特定动作，可穿戴设备就可通过双摄像头获取脚部动作的图像和景深。

S103、可穿戴设备将所述动作信息映射虚拟动作信息。

为了实现对虚拟现实画面中的内容进行虚拟操作，可穿戴设备需要模拟用户行为，在本发明实施例中，可穿戴设备通过将动作信息映射虚拟动作信息来实现模拟用户行为，也就是说，动作信息和虚拟动作信息形成一对一的对应关系，可穿戴设备获取到特定的动作信息，就会基于该动作信息中的图像和景深调取出与其对应的特定的虚拟动作信息。

其中，可穿戴设备预设虚拟动作信息，也就是说，可穿戴设备可将虚拟动作信息预先存储在存储器中，或者，可穿戴设备可将虚拟动作信息预先设置在在虚拟现实画面所对应的程序包中，可穿戴设备基于动作信息在存储器或者程序包中获取形成映射关系的虚拟动作信息。例如，当用户用手做出一个击打的动作，那么可穿戴设备识别出特定击打的动作信息，并给基于特定击打的动作信息在存储器或者程序包中读取用以表示特定拳击的虚拟动作信息。

需要说明的是，特定的动作信息映射为特定的虚拟动作信息后，所述特定的虚拟动作信息不仅仅可包含对应的动作，还可以包括其他自定义的信息，举例来说，当用户用手做出一个握拳的动作，那么可穿戴设备识别出特定握拳的动作信息，并将特定握拳的动作信息映射为握有武器的虚拟动作信息。

S104、可穿戴设备将所述映射后的虚拟动作信息加入到虚拟现实画面中，以获得更新后的虚拟现实画面。

可穿戴设备获取到映射后的虚拟动作信息后，实时将映射后的虚拟动作信息加入到虚拟现实画面，如图2所示，在具体的实施例中，动作信息为手部做出伸手指姿势，可穿戴设备通过双摄像头获取到动作信息后，将所述动作信息映射为手部做出伸手指姿势的虚拟手势信息，并将虚拟手势信息加入到虚拟现实画面中，从而形成包含伸手指姿势图像的虚拟现实画面。

所述虚拟动作信息还可与虚拟现实画面中的内容产生互动。例如，在具体实施例中，动作信息为脚部特定的走路姿势，将所述动作信息映射成的虚拟动作信息为一个虚拟的人物在向前走路，所述虚拟现实画面为虚拟城市街景，将虚拟动作信息加入到虚拟现实画面之后，所呈现出来的画面可以是：一个虚拟的人物在虚拟城市街景的道路上向前走路。所述画面就是更新后的虚拟现实画面。

需要说明的是，虚拟现实画面为3D视景，即虚拟现实画面中的内容具有虚拟的立体形状以及景深，而所加入的虚拟动作信息同样具有虚拟的立体形状以及景深，所以可以将虚拟动作信息很好地融入到虚拟现实画面中，从而使得更新后的虚拟现实画面并没有违和感，用户可以获得良好的视觉体验。

S105、可穿戴设备通过所述虹膜摄像头获取眼球虹膜的虹膜坐标。

其中，所述虹膜摄像头为红外摄像头或者其他可以获取虹膜位置变化信息的光学摄像头。优选的，所述虹膜摄像头为红外摄像头，所述红外摄像头可发送和接收红外线。一般来说，红外线的波长为700nm-2500nm，在本发明在优选的实施例中，所述红外线的波长为800nm-900nm。使用所述红外摄像头的优点是，一方面是通过对比红外线发送和接收的光强变化情况就可以获得眼球中虹膜的位置信息；另一方面当红外线波长是800nm-900nm时，这个波段的红外线不会被用户看到，红外摄像头中的红外传感器也可以很好地感应这个波段的红外线，所以这个波段为最佳选择。而当波长低于800nm，用户会因为看到红光而影响视觉体验，当波长大于900nm，红外传感器对红外光感应会稍差，所以均不是最佳选择。

虹膜摄像头位于可穿戴设备的内侧，具体的，虹膜摄像头位于眼睛的前方，以检测眼球的运动情况。虹膜摄像头数量可为一个，用以检测其中一只眼睛的眼球运动情况，只在一个眼睛设置一个虹膜摄像头的原因是通常用户在看东西的时候，两个眼球都运动约为相同的角度，所以只需要检测一只眼球的运动情况便可，有利于节约成本；虹膜摄像头数量可为两个，用以检测两只眼睛的眼球运动情况，设置两个虹膜摄像头的原因是一方面可以修正眼球运动数据，另一方面可以方便单只眼睛有疾患的用户。

可穿戴设备通过虹膜摄像头获取眼球虹膜的虹膜坐标，具体为：可穿戴设备在可穿戴设备的固定位置设置坐标原点，并基于所述坐标原点在眼球前方设置虹膜坐标系(虹膜坐标系例如可以是直角坐标系)，可穿戴设备通过虹膜摄像头实时检测眼球运动情况，获取眼球中的虹膜瞬时所处的位置，并将所述虹膜瞬时所处的位置的中心点(即虹膜圆心点)基于所述虹膜坐标系标记为虹膜坐标。其中，可以理解的，由于可穿戴设备中的部件是固定的，用户将可穿戴设备穿戴在用户头部以后，可穿戴设备相对于用户的位置也是固定的，所以可穿戴设备可基于可穿戴设备中的任意固定位置设置虹膜坐标系，进而获得眼球虹膜的虹膜坐标。

下面通过图3来对上述过程做详细说明：

在一个具体的实施例中，将可穿戴设备边缘的特定位置设置为坐标原点O，并基于该坐标原点在眼球前方的垂直平面内设置直角坐标系，用户佩戴可穿戴设备后，虹膜摄像头实时检测用户眼球运动情况，获取眼球中的虹膜瞬时所处的位置，并将虹膜瞬时所处的位置的中心点相应投射到直角坐标系中，该中心点在坐标系中的坐标就是虹膜坐标。例如在T1时刻，用户正视前方，亦即虹膜处于眼珠的中央，此时虹膜摄像头获取到的虹膜坐标为M1(28,8)，在T2时刻，用户转动眼球到一定的位置，此时虹膜摄像头获取到的虹膜坐标为M2(24,8)，也就是说虹膜摄像头通过检测眼球的运动情况，可获取随时间变化的虹膜坐标。

S106、可穿戴设备将所述虹膜坐标映射为所述显示屏的屏幕坐标。

为了实现用户在虚拟现实交互体过程中，眼球的运动可与显示屏中的画面产生交互，那么，就需要眼球的运动情况和显示屏中的相关信息具有特定关联。在本发明所提供技术方案中，可穿戴设备通过将虹膜坐标映射为所述显示屏的屏幕坐标来实现所述特定关联。

其中，可穿戴设备可将显示屏的屏幕边缘的特定位置(如屏幕左下角)设置为坐标原点，并基于该坐标原点在显示屏所处的平面内设置屏幕坐标系(例如直角坐标系)，经过上述设置后，显示屏中的点在屏幕坐标系中的坐标就是屏幕坐标。

具体的，屏幕坐标系与虹膜坐标系具有唯一的映射关系(例如比例关系)，可穿戴设备根据获取到的虹膜坐标以及屏幕坐标系和虹膜坐标系之间的映射关系进行计算，从而得到所述显示屏的屏幕坐标。

举个简单的例子，如图4所示，屏幕坐标系与虹膜坐标系的映射关系为：i/x＝2，j/y＝4，T1时刻虹膜坐标为M1(28,8)，T2时刻虹膜坐标为M2(24,8)，根据获取到的虹膜坐标以及屏幕坐标系和虹膜坐标系之间的映射关系进行计算，从而可以获得T1时刻屏幕坐标为N1(56,32)，T2时刻屏幕坐标为N2(48,32)。

107、可穿戴设备基于所述屏幕坐标在所述显示屏中显示相关虚拟画面。

需要说明的是，在本发明技术方案中，为了提升用户的虚拟操作体验，引入了眼部运动信息与虚拟现实画面之间的交互，也就是说，为了使用户获得沉浸式体验，需要通过眼睛和虚拟现实画面的交互来模拟人在真实环境中眼睛的观察体验，让交互后的虚拟现实画面对用户的眼睛造成错觉，从而让用户感觉仿佛进入真实环境一样。

为了使得眼球运动和虚拟现实画面之间产生关联，可以间接地使屏幕坐标和虚拟现实画面产生关联。具体的，可穿戴设备以经过映射后的屏幕坐标为中心，结合显示屏的尺寸计算得到相关虚拟画面，其中，相关虚拟画面为所述更新后的虚拟现实画面中的与所述屏幕坐标相关的画面，然后，可穿戴设备在显示屏中显示所述相关虚拟画面，显示屏的尺寸为显示屏可以显示的画面区域。

下面结合图5对上述过程进行说明：

图5表示的是T1时刻到T2时刻，显示屏中所显示的相关虚拟画面的图像变化，在图示中，眼球中的圆心点(白点)为虹膜坐标点，矩形框为显示屏，矩形框中的物体为相关虚拟画面中的内容，矩形框中的黑点为经虹膜坐标映射成的屏幕坐标点，过程包括：

a，在T1时刻，用户正视前方，其虹膜位于眼球中央，虹膜坐标为M1(28,8)，所映射的T1时刻屏幕坐标为N1(56,32)，可穿戴设备以N1(56,32)为中心，计算满足显示屏的尺寸要求的相关虚拟画面，并将计算得到T1时刻的相关虚拟画面显示到显示屏中，如图中，T1时刻的相关虚拟画面包括一个星星和一个三角形。

b，在T2时刻，用户转动眼球到一定的位置，虹膜坐标为M2(24,8)，所映射的T2时刻屏幕坐标为N2(48,32)，可穿戴设备以N2(48,32)为中心，计算满足显示屏的尺寸要求的相关虚拟画面，如图中，虚线框中包括的画面即为计算得到的相关虚拟画面，虚线框中的相关虚拟画面包括一个苹果、一个星星。

c，可穿戴设备在显示屏中显示通过步骤b计算得到的T2时刻的相关虚拟画面，T2时刻的相关虚拟画面包括一个苹果、一个星星。

可以看出在这个过程中，从T1时刻到T2时刻，随着眼睛的转动，画面相对应的发生了移动，并且眼睛的位移方向和画面的位移方向相反。在该实施例的应用场景中，虚拟现实画面包括两个苹果，一个星星和一个三角形，但是由于虚拟现实画面是一种特定时刻(如T1时刻)的数据范围大于特定时刻(如T1时刻)的显示屏显示区域的3D视景图像，也就是说显示屏无法在特定时刻将虚拟现实画面在特定时刻的画面中的全部内容显示出来，而是只能显示部分图像，所述被显示的部分图像就是相关虚拟画面。所以虽然用户可能知道在星星的左边有苹果的存在，但是在T1时刻，由于用户直视画面，所以显示屏中无法将苹果显示出来，如果用户想在画面中看到苹果，那么理所当然的，用户会将眼睛往左边转动，以试图发现星星左边的苹果。可穿戴设备检测到了眼睛的所述转动，并实时地将虚拟现实画面往显示屏右边移动，那么苹果就会进入到显示屏所显示的相关虚拟画面中，从而让用户看到了该苹果。而原先在画面中的三角形，由于画面右移超出了显示屏显示区域之外，所以从显示屏的画面中消失了。

可以看出，通过上述过程，所达到的效果是，对于具有3D视景图像的虚拟现实画面，用户眼睛朝向虚拟现实画面的哪个方位，显示屏就将哪个方位的虚拟现实画面显示出来(亦即相关虚拟画面)，从而可对用户的眼睛造成错觉，仿佛进入一个立体空间，可以随心所欲的观察该立体空间的各个部分的图像，这提升了用户的观察体验。

为了更好地理解，又举例来说，在另一个实施例场景中，虚拟现实画面为一个虚拟的立体的房间内部画面，用户在头部穿戴了可穿戴设备后，用户需要对房间中的布置进行观察，用户首先会看到的画面为位于前边的墙壁和前边的物品；用户将眼睛往左边移动，可看到左边的墙壁和左边的物品；用户将眼睛往右边移动，可看到右边的墙壁和右边的物品；通过上述观察，用户就像真的进入到该房间一样，从而可以获得沉浸式的观察体验。

108、可穿戴设备基于所述映射后的虚拟动作信息对所述相关虚拟画面中的所述虚拟物件进行虚拟操作。

为了能获得沉浸式的操作体验，用户不仅需要观察到逼真的具有带入感的虚拟现实画面，还需在与虚拟现实画面中的内容产生操作交互。在本技术方案中，用户看到的画面即为虚拟现实画面中的相关虚拟画面，其中，相关虚拟画面包含虚拟物件，所述虚拟物件就是虚拟现实画面中可与用户产生交互的内容，例如虚拟物件可以是在虚拟现实画面中的道具、人物、建筑、物品等等，本发明实施例在这里不作特殊限定。其中，为了让虚拟物件在用户看来更加立体和逼真，所述虚拟物件至少包括虚拟物件本体和虚拟物件景深；虚拟物件本体就是上述所列举的虚拟现实画面中的道具、人物、建筑、物品等的形状外观，虚拟物件景深用以表征虚拟物件在画面中的位置与距离。

可穿戴设备基于虚拟动作信息对相关虚拟画面中的虚拟物件进行虚拟操作，具体为：可穿戴设备获取动作信息中的动作和景深；所述景深和虚拟物件景深一致时，可穿戴设备基于虚拟动作信息对相关虚拟画面中的虚拟物件本体进行虚拟操作，其中，所述虚拟操作为所述动作所指示的操作。

举例来说，相关虚拟画面中存在的虚拟物件为苹果，用户想通过虚拟操作去实现用手抓苹果，那么在具体的应用场景中，可以这样去实现上述虚拟操作：穿戴上所述可穿戴设备后，用户首先通过移动眼睛去寻找苹果，当相关虚拟画面中出现了苹果之后，用户在可穿戴设备前方做出一个抓取的手部动作，该动作信息被映射成虚拟动作信息后，呈现在相关虚拟画面中的是一个具有抓取动作的虚拟手，用户实时根据苹果的位置与距离(即虚拟物件景深)而调整手部动作，进而调整了画面中的虚拟手，当可穿戴设备检测到手部动作的位置与距离(即手部动作的景深)与苹果的位置与距离达到一致时，那么画面中的虚拟手就可以抓取到苹果。

上述虚拟操作的过程可以看出，只有在动作信息中的景深和虚拟物件景深一致时，可穿戴设备才对相关虚拟画面中的虚拟物件本体进行虚拟操作，这样，使得用户的操作体验更加逼真。需要说明的是，所述动作信息中的景深和虚拟物件景深一致是也是一对一的映射关系，动作信息中的景深和虚拟物件景深可以完全相同，也可以进行其他映射关系(例如比例关系)，本发明在这里不做特殊限定。

通过实施本发明实施例的技术方案，可穿戴设备一方面可获取虚拟现实画面(如游戏画面)，另一方面可获取动作信息(如手部动作)，并将动作信息映射到游戏画面中形成虚拟动作信息(如虚拟手势)，再一方面可获取眼球移动后的虹膜坐标，并将虹膜坐标映射为屏幕坐标，从而使得虚拟现实画面中的相关虚拟画面随着屏幕坐标的变化而发生变化，可穿戴设备基于虚拟动作信息对相关虚拟画面中的虚拟物件进行虚拟操作，也就是对于用户而言，用户可通过上述虚拟现实画面、动作信息和虹膜坐标等多种信息的交互在可穿戴设备中实现虚拟操作。本发明技术方案有利于提升用户在虚拟现实交互过程中的所观所感，让用户在虚拟操作过程中获得沉浸式的体验。

其中，可选的，由于虚拟现实画面是一种3D视景，所以可穿戴设备中需要有设备对虚拟现实画面进行转化，使之分别对应于左眼看到的画面和右眼看到的画面。具体的，显示屏中显示的是虚拟现实画面中的相关虚拟画面，所以需要对相关虚拟画面进行转化，使之分别对应于左眼看到的相关虚拟画面和右眼看到的相关虚拟画面，用户在看到左眼的相关虚拟画面和右眼的相关虚拟画面后，会大脑中将这两种相关虚拟画面进行合成，这样就相当于“看到”立体的相关虚拟画面。

具体的，可以至少通过以下两种方式来获得所述立体的相关虚拟画面：

方式一：

在可穿戴设备中设置第一镜片和第二镜片，其中，第一镜片和第二镜片间隔设置于所述可穿戴设备中，第一镜片中安装有横偏振片，相关虚拟画面可通过第一镜片转化为左眼的相关虚拟画面而被用户的左眼所看到；第二镜片中安装有纵偏振片，相关虚拟画面通过第二镜片转化为右眼的相关虚拟画面而被用户的右眼所看到，当左眼的相关虚拟画面和右眼的相关虚拟画面在相同时刻分别被用户的左眼和右眼所看到，用户就获得了立体的相关虚拟画面。

方式二：

可穿戴设备中的显示屏包括第一显示屏以及第二显示屏，其中，第一显示屏和第二显示屏间隔设置于可穿戴设备中，第一显示屏显示左眼的相关虚拟画面而被用户的左眼所看到，第二显示屏用以显示右眼的相关虚拟画面而被用户的右眼所看到，当左眼的相关虚拟画面和右眼的相关虚拟画面在相同时刻分别被用户的左眼和右眼所看到，用户就获得了立体的相关虚拟画面。

可以看出，通过上述方式，可以让用户在虚拟操作中，看到立体的相关虚拟画面，用户可通过上相关虚拟画面、动作信息和虹膜坐标等多种信息的交互在可穿戴设备中实现虚拟操作。本发明技术方案有利于提升用户在虚拟现实交互过程中的所观所感，让用户在虚拟操作过程中获得沉浸式的体验。

另外，需要说明的是，在对本发明技术方案的扩展中，为了让用户获得更进一步的沉浸式的体验，还可以将其他的人体信息交互到虚拟现实画面中。例如，在本发明技术方案的基础上，在可穿戴设备中设置有位置与姿态传感器，所述位置与姿态传感器可以记录头部运动信息，如头部转动角度等，可穿戴设备可将头部转动角度转化为极坐标系中的头部坐标，并将头部坐标映射为屏幕坐标(具体映射过程可参照虹膜坐标与屏幕坐标的映射)，以实现了虚拟现实画面中的相关虚拟画面随着头部的转动而发生相应的变化。引入头部运动信息和虚拟现实画面交互所达到的效果是，相关虚拟画面可同时基于眼睛的转动和头部的转动而发生相应的变化，例如用户眼睛转动角度而斜视到苹果后，用户一直盯着苹果而慢慢转动头部，可以让苹果慢慢移动到画面中央，这个过程中用户也慢慢从斜视变为正视。通过虚拟现实画面、眼睛转动、头部转动多种信息的交互，可以让用户获得更加真实的观感体验，用户在通过手部动作或脚部动作对上述虚拟现实画面进行操作交互的过程中，可以实现更加真实的虚拟操作，从而获得沉浸式的体验。

参见图6，图6是本发明实施例提供的一种可穿戴设备示意图。本发明实施例提供了一种可穿戴设备600，至少包括处理器601、存储器602、双摄像头603和虹膜摄像头604和显示屏605，其中，所述处理器分别与所述显示屏、所述双摄像头、所述虹膜摄像头和所述存储器通过总线606连接，其中：

处理器601可以是通用处理器，例如微处理器；

处理器602可以包括易失性存储器(Volatile Memory)，例如随机存取存储器(Random Access Memory，RAM)；存储器也可以包括非易失性存储器(Non-VolatileMemory)，例如只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；存储器602还可以包括上述种类的存储器的组合。具体的，存储器602用于存储软件程序包，所述软件程序包含虚拟现实画面和虚拟动作信息的数据，储器602还用于存储程序代码，处理器601用于调用存储器602中存储的程序代码，以便于令处理器601、存储器602、双摄像头603和虹膜摄像头604和显示屏605执行如下操作：

处理器601用于获取存储器602中的虚拟现实画面；

双摄像头603用于获取动作信息；

处理器601还用于将所述动作信息映射虚拟动作信息；

处理器601还用于将所述映射后的虚拟动作信息加入到虚拟现实画面中，以获得更新后的虚拟现实画面；

虹膜摄像头604用于获取眼球虹膜的虹膜坐标；

处理器601还用于将所述虹膜坐标映射为所述显示屏的屏幕坐标；

显示屏605用于基于所述屏幕坐标显示相关虚拟画面，其中，所述相关虚拟画面为所述更新后的虚拟现实画面中的与所述屏幕坐标相关的画面，所述相关虚拟画面包含虚拟物件；

处理器601还用于基于所述映射后的虚拟动作信息对所述相关虚拟画面中的所述虚拟物件进行虚拟操作。

具体的，在处理器601将所述动作信息映射虚拟动作信息之前，包括：

处理器601用于读取预设在存储器602中的虚拟动作信息。

可选的，所述动作信息至少包括动作和景深，虚拟物件至少包括虚拟物件本体和虚拟物件景深；

具体的，处理器601用于基于所述虚拟动作信息对所述相关虚拟画面中的所述虚拟物件进行虚拟操作，具体为：所述处理器601通过双摄像头603获取所述动作信息中的所述动作和所述景深；当所述景深和所述虚拟物件景深一致时，所述处理器601用于基于所述虚拟动作信息对所述相关虚拟画面中的所述虚拟物件本体进行虚拟操作，其中，所述虚拟操作为所述动作所指示的操作。

可选的，动作为手部动作或脚部动作。

具体的，处理器601用于将所述虹膜坐标映射为所述显示屏的屏幕坐标具体为：所述处理器用于根据获取到的虹膜坐标以及屏幕坐标系和虹膜坐标系之间的映射关系计算得到所述显示屏的屏幕坐标，其中，所述屏幕坐标系为屏幕坐标所对应的坐标系，所述虹膜坐标系为虹膜坐标所对应的坐标系，所述屏幕坐标系与所述虹膜坐标系具有唯一的映射关系。

具体的，显示屏605用于基于所述屏幕坐标显示相关虚拟画面具体为：

所述处理器601用于以所述屏幕坐标为中心、结合显示屏的尺寸计算得到所述相关虚拟画面；所述显示屏605用于显示所述相关虚拟画面。

可选的，可穿戴设备600还包括第一镜片和第二镜片，其中，所述第一镜片和所述第二镜片间隔设置于所述可穿戴设备600中，所述第一镜片用于将所述相关虚拟画面转化为左眼的相关虚拟画面，所述第二镜片用于将所述相关虚拟画面转化为右眼的相关虚拟画面，其中，所述左眼的相关虚拟画面和右眼的相关虚拟画面用于合成立体的相关虚拟画面。

可选的，显示屏605包括第一显示屏以及第二显示屏，其中，所述第一显示屏和所述第二显示屏间隔设置于所述可穿戴设备中，所述第一显示屏用于显示所述左眼的相关虚拟画面，所述第二显示屏用于显示所述右眼的相关虚拟画面。

需要说明的，通过前述图1至图5实施例的详细描述，本领域技术人员可以清楚的知道可穿戴设备600所包含的各个部件功能的实现方法，所以为了说明书的简洁，在此不再详述。

在上述的实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。

以上对本发明实施例公开的进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种实现虚拟操作的方法，应用于至少包括显示屏、双摄像头和虹膜摄像头的可穿戴设备中，其特征在于，包括：

所述可穿戴设备获取虚拟现实画面；

所述可穿戴设备通过所述双摄像头获取动作信息；

所述可穿戴设备将所述动作信息映射虚拟动作信息；

所述可穿戴设备将所述映射后的虚拟动作信息加入到虚拟现实画面中，以获得更新后的虚拟现实画面；

所述可穿戴设备通过所述虹膜摄像头获取眼球虹膜的虹膜坐标；

所述可穿戴设备将所述虹膜坐标映射为所述显示屏的屏幕坐标；

所述可穿戴设备基于所述屏幕坐标在所述显示屏中显示相关虚拟画面，其中，所述相关虚拟画面为所述更新后的虚拟现实画面中的与所述屏幕坐标相关的画面，所述相关虚拟画面包含虚拟物件；

所述可穿戴设备基于所述映射后的虚拟动作信息对所述相关虚拟画面中的所述虚拟物件进行虚拟操作。

2.根据权利要求1所述的方法，其特征在于，在所述可穿戴设备将所述动作信息映射虚拟动作信息之前，包括：

所述可穿戴设备预设虚拟动作信息。

3.根据权利要求1所述的方法，其特征在于，所述动作信息至少包括动作和景深，所述虚拟物件至少包括虚拟物件本体和虚拟物件景深；

所述可穿戴设备基于所述虚拟动作信息对所述相关虚拟画面中的所述虚拟物件进行虚拟操作，具体为：

所述可穿戴设备获取所述动作信息中的所述动作和所述景深；

当所述景深和所述虚拟物件景深一致时，所述可穿戴设备基于所述虚拟动作信息对所述相关虚拟画面中的所述虚拟物件本体进行虚拟操作，其中，所述虚拟操作为所述动作所指示的操作。

4.根据权利要求3所述的方法，其特征在于，所述动作为手部动作或脚部动作。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述可穿戴设备将所述虹膜坐标映射为所述显示屏的屏幕坐标具体为：

所述可穿戴设备根据获取到的虹膜坐标以及屏幕坐标系和虹膜坐标系之间的映射关系计算得到所述显示屏的屏幕坐标，其中，所述屏幕坐标系为屏幕坐标所对应的坐标系，所述虹膜坐标系为虹膜坐标所对应的坐标系，所述屏幕坐标系与所述虹膜坐标系具有唯一的映射关系。

6.根据权利要求5所述的方法，其特征在于，所述可穿戴设备基于所述屏幕坐标在所述显示屏中显示相关虚拟画面具体为：

所述可穿戴设备以所述屏幕坐标为中心，结合显示屏的尺寸计算得到所述相关虚拟画面；

所述可穿戴设备在所述显示屏中显示所述相关虚拟画面。

7.根据权利要求6所述的方法，其特征在于，所述可穿戴设备还包括第一镜片和第二镜片，其中，所述第一镜片和所述第二镜片间隔设置于所述可穿戴设备中，所述第一镜片用以将所述相关虚拟画面转化为左眼的相关虚拟画面，所述第二镜片用以将所述相关虚拟画面转化为右眼的相关虚拟画面，其中，所述左眼的相关虚拟画面和右眼的相关虚拟画面用以合成立体的相关虚拟画面。

8.根据权利要求1所述的方法，其特征在于，所述显示屏包括第一显示屏以及第二显示屏，其中，所述第一显示屏和所述第二显示屏间隔设置于所述可穿戴设备中，所述第一显示屏用以显示所述左眼的相关虚拟画面，所述第二显示屏用以显示所述右眼的相关虚拟画面。

9.一种可穿戴设备，至少包括显示屏、双摄像头和虹膜摄像头、存储器和处理器，其中，所述处理器分别与所述显示屏、所述双摄像头、所述虹膜摄像头和所述存储器连接，其特征在于，包括：

所述处理器用于获取存储器中的虚拟现实画面；

所述双摄像头用于获取动作信息；

所述处理器还用于将所述动作信息映射虚拟动作信息；

所述处理器还用于将所述映射后的虚拟动作信息加入到虚拟现实画面中，以获得更新后的虚拟现实画面；

所述虹膜摄像头用于获取眼球虹膜的虹膜坐标；

所述处理器还用于将所述虹膜坐标映射为所述显示屏的屏幕坐标；

所述显示屏用于基于所述屏幕坐标显示相关虚拟画面，其中，所述相关虚拟画面为所述更新后的虚拟现实画面中的与所述屏幕坐标相关的画面，所述相关虚拟画面包含虚拟物件；

所述处理器还用于基于所述映射后的虚拟动作信息对所述相关虚拟画面中的所述虚拟物件进行虚拟操作。

10.根据权利要求9所述的可穿戴设备，其特征在于，在所述处理器将所述动作信息映射虚拟动作信息之前，包括：

所述处理器用于预设虚拟动作信息。

11.根据权利要求9所述的可穿戴设备，其特征在于，所述动作信息至少包括动作和景深，所述虚拟物件至少包括虚拟物件本体和虚拟物件景深；

所述处理器用于基于所述虚拟动作信息对所述相关虚拟画面中的所述虚拟物件进行虚拟操作，具体为：

所述处理器获取所述动作信息中的所述动作和所述景深；

当所述景深和所述虚拟物件景深一致时，所述处理器用于基于所述虚拟动作信息对所述相关虚拟画面中的所述虚拟物件本体进行虚拟操作，其中，所述虚拟操作为所述动作所指示的操作。

12.根据权利要求11所述的可穿戴设备，其特征在于，所述动作为手部动作或脚部动作。

13.根据权利要求9至12任一项所述的可穿戴设备，其特征在于，所述处理器用于将所述虹膜坐标映射为所述显示屏的屏幕坐标具体为：

所述处理器用于根据获取到的虹膜坐标以及屏幕坐标系和虹膜坐标系之间的映射关系计算得到所述显示屏的屏幕坐标，其中，所述屏幕坐标系为屏幕坐标所对应的坐标系，所述虹膜坐标系为虹膜坐标所对应的坐标系，所述屏幕坐标系与所述虹膜坐标系具有唯一的映射关系。

14.根据权利要求13所述的可穿戴设备，其特征在于，所述显示屏用于基于所述屏幕坐标显示相关虚拟画面具体为：

所述处理器用于以所述屏幕坐标为中心、结合显示屏的尺寸计算得到所述相关虚拟画面；

所述显示屏用于显示所述相关虚拟画面。

15.根据权利要求14所述的可穿戴设备，其特征在于，所述可穿戴设备还包括第一镜片和第二镜片，其中，所述第一镜片和所述第二镜片间隔设置于所述可穿戴设备中，所述第一镜片用于将所述相关虚拟画面转化为左眼的相关虚拟画面，所述第二镜片用于将所述相关虚拟画面转化为右眼的相关虚拟画面，其中，所述左眼的相关虚拟画面和右眼的相关虚拟画面用于合成立体的相关虚拟画面。

16.根据权利要求9所述的可穿戴设备，其特征在于，所述显示屏包括第一显示屏以及第二显示屏，其中，所述第一显示屏和所述第二显示屏间隔设置于所述可穿戴设备中，所述第一显示屏用于显示所述左眼的相关虚拟画面，所述第二显示屏用于显示所述右眼的相关虚拟画面。