CN114286142B - 一种虚拟现实设备及vr场景截屏方法 - Google Patents

Abstract

本申请提供一种虚拟现实设备及VR场景截屏方法，可以在获取用户输入的截屏操作指令后，在虚拟现实设备的渲染场景中的多个位置上执行图像拍摄，以获得多个角度的中间图像，再将多个角度的中间图像进行拼接，生成截屏图像。可见，所述截屏方法可以直接在渲染场景中获得未畸变处理的中间图像，并且根据中间图像拼接形成多种类型的截屏图像，从而使截屏图像可以在不同的展示方式下，呈现为不同的效果，缓解截屏获得的文件不利于展示的问题。

Description

一种虚拟现实设备及VR场景截屏方法

本申请要求在2021年1月18日提交中国专利局、申请号为202110065015.6、发明名称为“一种虚拟现实设备及快捷交互方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及虚拟现实设备技术领域，尤其涉及一种虚拟现实设备及VR场景截屏方法。

背景技术

虚拟现实(Virtual Reality，VR)技术是通过计算机模拟虚拟环境，从而给人以环境沉浸感的显示技术。虚拟现实设备是一种应用虚拟显示技术为用户呈现虚拟画面的设备。通常，虚拟现实设备包括两个用于呈现虚拟画面内容的显示屏幕，分别对应于用户的左右眼。当两个显示屏幕所显示的内容分别来自于同一个物体不同视角的图像时，可以为用户带来立体的观影感受。

虚拟现实设备在实际使用中可以通过截屏操作将所显示的内容以图片形式输出，从而进行网络共享或者在其他显示设备上展示。例如，可以通过虚拟现实设备与智能手机建立通信连接，并向智能手机发送截屏获得的图片文件，从而在智能手机端保存和展示虚拟现实设备上显示的内容。

通常，虚拟现实设备在执行截屏操作的过程中，一般是对显示屏显示的内容直接进行截取，从而获得一个二维的图片文件。但截屏操作获得的图片还可能在虚拟现实设备上进行展示，而通过直接截取获得的图片文件本身存在畸变，并且失去立体效果，使得截屏文件不利于进行展示，也不符合用户的观看方式。

发明内容

本申请提供了一种虚拟现实设备及VR场景截屏方法，以解决传统虚拟现实设备截屏获得的文件不利于展示的问题。

一方面，本申请提供一种虚拟现实设备，包括显示器和控制器，其中所述显示器包括左显示器和右显示器，被配置为显示用户界面；所述控制器被配置为执行以下程序步骤：

获取用户输入的截屏操作指令；

响应于所述截屏操作指令，在渲染场景中的多个位置执行图像拍摄，以获得多个角度的中间图像；

拼接多个角度的中间图像，以生成截屏图像。

另一方面，本申请还提供一种VR场景截屏方法，应用于虚拟现实设备，所述虚拟现实设备包括显示器和控制器，所述截屏方法包括以下步骤：

获取用户输入的截屏操作指令；

响应于所述截屏操作指令，在渲染场景中的多个位置执行图像拍摄，以获得多个角度的中间图像；

拼接多个角度的中间图像，以生成截屏图像。

由以上技术方案可知，本申请提供的虚拟现实设备及VR场景截屏方法，可以在获取用户输入的截屏操作指令后，在虚拟现实设备的渲染场景中的多个位置上执行图像拍摄，以获得多个角度的中间图像，再将多个角度的中间图像进行拼接，生成截屏图像。可见，所述截屏方法可以直接在渲染场景中获得未畸变处理的中间图像，并且根据中间图像拼接形成多种类型的截屏图像，从而使截屏图像可以在不同的展示方式下，呈现为不同的效果，缓解截屏获得的文件不利于展示的问题。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中包括虚拟现实设备的显示系统结构示意图；

图2为本申请实施例中VR场景全局界面示意图；

图3为本申请实施例中全局界面的推荐内容区域示意图；

图4为本申请实施例中全局界面的应用快捷操作入口区域示意图；

图5为本申请实施例中全局界面的悬浮物示意图；

图6为本申请实施例中通过状态栏进入快捷中心示意图；

图7为本申请实施例中快捷中心窗口示意图；

图8为本申请实施例中通过按键进入快捷中心示意图；

图9为本申请实施例中开始截屏示意图；

图10为本申请实施例中截屏成功时提示文字窗口示意图；

图11为本申请实施例中截屏流程示意图；

图12为本申请实施例中设置虚拟截屏相机的流程示意图；

图13为本申请实施例中截屏输出类型为3D时渲染场景中虚拟截屏相机示意图；

图14为本申请实施例中截屏输出类型为全景时渲染场景中虚拟截屏相机示意图；

图15为本申请实施例中根据输出图片类型执行拼接中间图像的流程示意图；

图16为本申请实施例中截屏输出类型为3D时拼接中间图像的流程示意图；

图17为本申请实施例中3D截屏图像示意图；

图18为本申请实施例中截屏输出类型为全景时拼接中间图像的流程示意图；

图19为本申请实施例中全景截屏图像示意图。

具体实施方式

为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。

应当理解，本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本说明书通篇提及的“多个实施例”、“一些实施例”、“一个实施例”或“实施例”等，意味着结合该实施例描述的具体特征、结构或特性包括在至少一个实施例中。因此，本说明书通篇出现的短语“在多个实施例中”、“在一些实施例中”、“在至少另一个实施例中”或“在实施例中”等并不一定都指相同的实施例。此外，在一个或多个实施例中，具体特征、结构或特性可以任何合适的方式进行组合。因此，在无限制的情形下，结合一个实施例示出或描述的具体特征、结构或特性可全部或部分地与一个或多个其他实施例的特征、结构或特性进行组合。这种修改和变型旨在包括在本申请的范围之内。

本申请实施例中，所述虚拟现实设备500泛指能够佩戴于用户面部，为用户提供沉浸感体验的显示设备，包括但不限于VR眼镜、增强现实设备(Augmented Reality，AR)、VR游戏设备、移动计算设备以及其它可穿戴式计算机等。本申请部分实施例以VR眼镜为例对技术方案进行阐述，应当理解的是，所提供的技术方案同时可应用于其他类型的虚拟现实设备。所述虚拟现实设备500可以独立运行，或者作为外接设备接入其他智能显示设备，其中，所述显示设备可以是智能电视、计算机、平板电脑、服务器等。

虚拟现实设备500可以在佩戴于用户面部后，显示媒资画面，为用户双眼提供近距离影像，以带来沉浸感体验。为了呈现媒资画面，虚拟现实设备500可以包括多个用于显示画面和面部佩戴的部件。以VR眼镜为例，虚拟现实设备500可以包括外壳、镜腿、光学系统、显示组件、姿态检测电路、接口电路等部件。实际应用中，光学系统、显示组件、姿态检测电路以及接口电路可以设置于外壳内，以用于呈现具体的显示画面；外壳两侧连接镜腿，以佩戴于用户面部。

在使用时，姿态检测电路中内置有重力加速度传感、陀螺仪等姿态检测元件，当用户头部移动或转动时，可以检测到用户的姿态，并将检测到的姿态数据传递给控制器等处理元件，使处理元件可以根据检测到的姿态数据调整显示组件中的具体画面内容。

需要说明的是，根据虚拟现实设备500的类型不同，其所呈现具体画面内容的方式也不同。例如，如图1所示，对于部分轻薄VR眼镜，其内置的控制器一般不直接参与显示内容的控制过程，而是将姿态数据发送给外接设备，如计算机中，由外接设备进行处理，并在外接设备中确定要显示的具体画面内容，再回传给VR眼镜中，以在VR眼镜中显示最终的画面。

在一些实施例中，所示虚拟现实设备500可以接入显示设备200，并与服务器400之间构建一个基于网络的显示系统，在虚拟现实设备500、显示设备200以及服务器400之间可以实时进行数据交互，例如显示设备200可以从服务器400获取媒资数据并进行播放，以及将具体的画面内容传输给虚拟现实设备500中进行显示。

其中，显示设备200可以是液晶显示器、OLED显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上一些改变。显示设备200可以提供广播接收电视功能，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视(IPTV)等。

显示设备200以及虚拟现实设备500还与服务器400通过多种通信方式进行数据通信。可允许显示设备200和虚拟现实设备500通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的，显示设备200通过发送和接收信息，以及电子节目指南(EPG)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。

在进行数据交互的过程中，用户可通过移动终端300和遥控器100操作显示设备200。移动终端300和遥控器100可以与显示设备200之间采用直接的无线连接方式进行通信，也可以采用非直接连接的方式进行通信。即在一些实施例中，移动终端300和遥控器100可以通过蓝牙、红外等直接连接方式与显示设备200进行通信。当发送控制指令时，移动终端300和遥控器100可以直接将控制指令数据通过蓝牙或红外发送到显示设备200。

在另一些实施例中，移动终端300和遥控器100还可以通过无线路由器与显示设备200接入同一个无线网络，以通过无线网络与显示设备200建立非直接连接通信。当发送控制指令时，移动终端300和遥控器100可以将控制指令数据先发送给无线路由器，再通过无线路由器将控制指令数据转发给显示设备200。

在一些实施例中，用户还可以使用移动终端300和遥控器100还可以直接与虚拟现实设备500进行交互，例如，可以将移动终端300和遥控器100作为虚拟现实场景中的手柄进行使用，以实现体感交互等功能。

在一些实施例中，虚拟现实设备500的显示组件包括显示屏幕以及与显示屏幕有关的驱动电路。为了呈现具体画面，以及带来立体效果，显示组件中可以包括两个显示屏幕，分别对应于用户的左眼和右眼。在呈现3D效果时，左右两个屏幕中显示的画面内容会稍有不同，可以分别显示3D片源在拍摄过程中的左相机和右相机。由于用户左右眼观察到的画面内容，因此在佩戴时，可以观察到立体感较强的显示画面。

虚拟现实设备500中的光学系统，是由多个透镜组成的光学模组。光学系统设置在用户的双眼与显示屏幕之间，可以通过透镜对光信号的折射以及透镜上偏振片的偏振效应，增加光程，使显示组件呈现的内容可以清晰的呈现在用户的视野范围内。同时，为了适应不同用户的视力情况，光学系统还支持调焦，即通过调焦组件调整多个透镜中的一个或多个的位置，改变多个透镜之间的相互距离，从而改变光程，调整画面清晰度。

虚拟现实设备500的接口电路可以用于传递交互数据，除上述传递姿态数据和显示内容数据外，在实际应用中，虚拟现实设备500还可以通过接口电路连接其他显示设备或外设，以通过和连接设备之间进行数据交互，实现更为复杂的功能。例如，虚拟现实设备500可以通过接口电路连接显示设备，从而将所显示的画面实时输出至显示设备进行显示。又例如，虚拟现实设备500还可以通过接口电路连接手柄，手柄可以由用户手持操作，从而在VR用户界面中执行相关操作。

其中，所述VR用户界面可以根据用户操作呈现为多种不同类型的UI布局。例如，用户界面可以包括全局界面，AR/VR终端启动后的全局UI如图2所示，所述全局UI可显示于AR/VR终端的显示屏幕中，也可显示于所述显示设备的显示器中。全局UI可以包括推荐内容区域1、业务分类扩展区域2、应用快捷操作入口区域3以及悬浮物区域4。

推荐内容区域1用于配置不同分类TAB栏目；在所述栏目中可以选择配置媒资、专题等；所述媒资可包括2D影视、教育课程、旅游、3D、360度全景、直播、4K影视、程序应用、游戏、旅游等具有媒资内容的业务，并且所述栏目可以选择不同的模板样式、可支持媒资和专题同时推荐编排,如图3所示。

在一些实施例中，推荐内容区域1的顶部还可以设置有状态栏，在状态栏中可以设置有多个显示控件，包括时间、网络连接状态、电量等常用选项。状态栏中包括的内容可以由用户自定义，例如，可以添加天气、用户头像等内容。状态栏中所包含的内容可以被用户选中，以执行相应的功能。例如，用户点击时间选项时，虚拟现实设备500可以在当前界面中显示时间设备窗口，或者跳转至日历界面。当用户点击网络连接状态选项时，虚拟现实设备500可以在当前界面显示WiFi列表，或者跳转至网络设置界面。

状态栏中显示的内容可以根据具体项目的设置状态呈现为不同的内容形式。例如，时间控件可以直接显示为具体的时间文字信息，并在不同的时间显示不同的文字；电量控件则可以根据虚拟现实设备500的当前电量剩余情况，显示为不同的图案样式。

状态栏用于使用户能够执行常用的控制操作，实现快速对虚拟现实设备500进行设置。由于对虚拟现实设备500的设置程序包括诸多项，因此在状态栏中通常不能将所有常用设置选项全部显示。为此，在一些实施例中，状态栏中还可以设置有扩展选项。扩展选项被选中后，可以在当前界面中呈现扩展窗口，在扩展窗口中可以进一步设置有多个设置选项，用于实现虚拟现实设备500的其他功能。

例如，在一些实施例中，扩展选项被选中后，可以在扩展窗口中设置“快捷中心”选项。用户在点击快捷中心选项后，虚拟现实设备500可以显示快捷中心窗口。快捷中心窗口中可以包括“截屏”、“录屏”以及“投屏”选项，用于分别唤醒相应的功能。

业务分类扩展区域2支持配置不同分类的扩展分类。如果有新的业务类型时，支持配置独立TAB，展示对应的页面内容。业务分类扩展区域2中的扩展分类，也可以对其进行排序调整及下线业务操作。在一些实施例中，业务分类扩展区域2可包括的内容：影视、教育、旅游、应用、我的。在一些实施例中，业务分类扩展区域2被配置为可展示大业务类别TAB，且支持配置更多的分类，其图标支持配置，如图3所示。

应用快捷操作入口区域3可指定预装应用靠前显示以进行运营推荐，支持配置特殊图标样式替换默认图标，所述预装应用可指定为多个。在一些实施例中，应用快捷操作入口区域3还包括用于移动选项目标的左向移动控件、右向移动控件，用于选择不同的图标，如图4所示。

悬浮物区域4可以配置为在固定区域左斜侧上方、或右斜侧上方，可配置为可替换形象、或配置为跳转链接。例如，悬浮物接收到确认操作后跳转至某个应用、或显示指定的功能页，如图5所示。在一些实施例中，悬浮物也可不配置跳转链接，单纯的用于形象展示。

在一些实施例中，全局UI还包括位于顶端的状态栏，用于显示时间、网络连接状态、电量状态、及更多快捷操作入口。使用AR/VR终端的手柄，即手持控制器选中图标后，图标将显示包括左右展开的文字提示，选中的图标按照位置自身进行左右拉伸展开显示。

例如，选中搜索图标后，搜索图标将显示包含文字“搜索”及原图标，进一步点击图标或文字后，搜索图标将跳转至搜索页面；又例如，点击收藏图标跳转至收藏TAB、点击历史图标默认定位显示历史页面、点击搜索图标跳转至全局搜索页面、点击消息图标跳转至消息页面。

在一些实施例中，可以通过外设执行交互，例如AR/VR终端的手柄可对AR/VR终端的用户界面进行操作，包括返回按钮；主页键，且其长按可实现重置功能；音量加减按钮；触摸区域，所述触摸区域可实现焦点的点击、滑动、按住拖拽功能。

用户可以通过全局UI界面执行交互操作，并在部分交互模式下，跳转到特定的界面中。例如，为了实现对媒资数据的播放，用户可以通过在全局UI界面中点击任一媒资链接图标，启动播放该媒资链接对应的媒资文件，此时，虚拟现实设备500可以控制跳转至媒资播放界面。

在跳转至特定的界面后，虚拟现实设备500还可以在播放界面的顶部显示状态栏，并依据设定的交互方式执行相应的设置功能。例如，如图6所示，在虚拟现实设备500播放视频媒资时，用户若想要对媒资画面执行截屏操作，可以通过点击状态栏上的扩展选项，调出扩展窗口，并在扩展窗口中点击快捷中心选项，使虚拟现实设备500在播放界面上显示快捷中心窗口如图7所示，最后点击扩展中心窗口中的“截屏”选项，使虚拟现实设备500执行截屏操作，对当前时刻的显示画面以图像方式进行存储。

其中，状态栏可以在虚拟现实设备500播放媒资画面时隐藏，以避免对媒资画面造成遮挡。而当用户执行特定交互动作时，触发显示。例如，在用户未使用手柄执行动作时，可以对状态栏进行隐藏，而在用户使用手柄使用手柄执行动作时，显示状态栏。为此，虚拟现实设备500可以被配置为在播放媒资画面时对手柄中的方位传感器状态或者任一按钮的状态进行检测，当检测到方位传感器的检测值发生变化，或者按钮被按下时，可以控制在播放界面顶部显示状态栏。当检测到方位传感器在设定的时间内没有发生变化，或者按钮没有被按下，则控制在播放界面隐藏状态栏。

可见，上述实施例中，用户可以通过状态栏调出快捷中心，从而在快捷中心窗口中点击相应的选项来完成截屏、录屏以及投屏操作。快捷中心窗口还可以采用其他交互方式调用快捷中心，并显示快捷中心窗口。例如，如图8所示，用户可以通过双击手柄上的home键调用快捷中心窗口。

用户可以在快捷中心窗口中选择任一图标后，启动相应的功能。其中，相应的功能的启动方式，可以根据虚拟现实设备500的实际交互方式确定。例如，如图9所示，用户在调出快捷中心窗口后，可以通过手柄向下移动，使焦点标志移动至在快捷中心窗口的截屏选项上，再通过按下手柄上的“确认/OK”键，启动运行截屏功能。

在执行上述启动运行截屏功能以后，虚拟现实设备500可以从存储器中调用截屏操作程序，并通过运行该截屏程序，对当前显示的画面执行截图。例如，虚拟现实设备500可以通过运行截屏程序，对所有图层的显示内容进行叠加合成，以生成当前显示图案的图片文件。针对生成的图片文件，还可以按照预先设定存储路径进行存储。

由于虚拟现实设备500包括两个显示器，分别对应于用户的左右眼。而在显示部分媒资画面时，为了获得立体的观影效果，两个显示器显示的内容分别对应于3D场景中的左右虚拟播放相机，即在两个显示器中所显示的画面有些许差异。从而在执行截屏操作时，不同的屏幕可以获得不同内容的截屏图片。

为此，虚拟现实设备500可以在执行截屏时，对截屏时刻显示的画面形式进行检测，当检测到用户使用3D模式时，可以对左显示器和右显示器所显示的画面分别执行截屏，即通过一次截屏操作输出两个截屏图片。而由于3D模式下左右两个显示器所显示的内容差异较小，部分用户并不需要2个截屏图片，因此为了节约虚拟现实设备500的存储空间，在部分实施例中，还可以在执行截屏操作时，通过截屏程序指定对两个显示器中的一个显示内容执行截屏，例如指定对左显示器显示的内容执行截屏，从而获得一个截屏图片，并进行存储。

在完成截屏图片的存储后，虚拟现实设备500还可以在显示的界面中显示提示内容，例如，如图10所示，可以在播放界面上浮动显示提示文本窗口(toast窗口)，包括文字内容“截屏成功，已保存至××”，其中“××”为具体的保存路径。显然，提示文本窗口会在显示一定时间后自动取消显示，以避免其对播放界面的过度遮挡，如截屏成功后显示提示文本窗口，并在显示2s后消失。

并且，提示文本窗口还可以按照截屏图片的保存进程动态更改具体的提示文字内容。例如，在用户确定执行截屏功能操作后，通过提示文本窗口显示“截屏成功正在保存截屏图片”，而在保存完成后，再通过提示文本窗口显示“已保存至××”。

需要说明的是，由于用户在执行截屏操作时，一般不希望截屏图像中包含快捷中心界面，因此为了能够截取播放的媒资内容，在用户点击截屏图标以后，可以对快捷中心窗口进行隐藏。

在一些实施例中，还可以在截屏操作完成后，在播放界面上显示截屏结果，即在播放界面的上层浮动显示展示窗口，展示窗口中呈现截屏图片，以供用户查看。进一步地，在呈现截屏图片的过程中，还可以在展示窗口中显示一些绘图工具选项，例如，画线工具、椭圆工具、矩形工具、文字工具等，用户可以通过点击这些绘图工具对截屏图片进行遮挡、标注、裁切等处理，以输出更好的截屏图片结果。

可见，在上述实施例中，虚拟现实设备500可以通过快捷中心窗口或者快捷键快速执行截屏操作，以便根据虚拟现实设备500显示的内容保存截屏图片。根据不同的应用场景，截屏操作的截屏对象也可以不同。例如，虚拟现实设备500可以对显示器中显示的内容进行截屏，也可以对渲染场景中的部分区域截屏。

在播放媒资时，虚拟现实设备500可以对媒资画面进行渲染，即在渲染场景中设置显示面板，用于呈现媒资画面内容。再通过添加座椅、音响等虚拟物体，构成虚拟场景，以便根据虚拟场景，输出模拟影院、家庭场景等效果。此时，如果虚拟现实设备500对显示内容进行截屏，则截屏获得的图片中，不仅包括媒资画面，而且包括渲染的虚拟物体画面。

虚拟现实设备500还可以对渲染场景中的显示面板呈现的画面进行截屏，即可以仅对媒资画面内容进行截屏。具体的截屏方法可以是在对渲染场景中的显示面板画面区域执行截屏操作，或者虚拟现实设备500在解析媒资数据后，直接对媒资画面帧数据进行提取，并将提取的帧数据进行复制，从而获得不带有渲染虚拟物品的虚拟物体的画面。

在一些实施例中，虚拟现实设备500还可以对渲染场景中部分区域执行截屏。例如，可以在用户佩戴虚拟现实设备500活动至任一视角时，对当前视角下的显示面板区域和/或附近的渲染画面内容执行截屏，从而获得重点区域或用户设置区域内的截屏画面内容。

通过上述截屏过程，虚拟现实设备500在执行截屏后，可以获得截屏图像文件。获得的截屏图像文件可以在显示设备200以及虚拟现实设备500上进行播放。其中，当截屏图像文件在显示设备200中进行播放时，由于显示设备200不具有显示3D图像的功能，因此可以直接在显示设备200进行显示，相应截屏获得的图片也可以为常规的二维图片(2D图片)。而当截屏图像文件在虚拟现实设备500中进行播放时，由于虚拟现实设备500支持播放3D图片，因此在播放截屏图像文件时，仅能够按照二维的方式显示，即虚拟现实设备500的左显示器和右显示器同时显示相同内容的截屏图像文件，这将导致播放截屏图像时，无法呈现立体感效果。

为此，虚拟现实设备500在输出截屏图像文件时，输出的类型可以不局限于普通二维图片，还可以包括三维图片(3D图片)以及其他可以通过虚拟现实设备500进行展示的图片类型，如全景图片等。其中，全景图片可以根据图片所支持的全景视野范围，包括90°-360°全景图片等。而截屏所获得的图像文件可以支持相应播放模式，例如2D模式、3D模式、全景模式等。

如图11所示，在本申请的部分实施例中，提供一种虚拟现实设备500，用于在VR场景下执行截屏方法，从而获得多种类型的截屏图像数据。虚拟现实设备500可以包括左显示器和右显示器，分别对应于用户的双眼，从而呈现用户界面。虚拟现实设备500还包括控制器，用于运行显示相关程序，对整个设备进行控制。为了获得多种类型的截屏图像数据，虚拟现实设备500的控制器可以被配置为执行以下程序步骤：

S1：获取用户输入的截屏操作指令。

为了控制虚拟现实设备500开始截屏，用户可以通过预设交互方式，输入截屏操作指令。例如，用户可以通过双击手柄上的home键调出快捷中心窗口，并在快捷中心窗口中点击“截屏”选项，输入截屏操作指令。

用户还可以通过快捷键操作的方式输入截屏操作指令。快捷键可以根据虚拟现实设备500上的实体按键设置情况进行设定，即不同的虚拟现实设备500可以设置有不同的快捷键组合，用于实现截屏操作。例如，用户可以通过“电源键”和“音量+”的组合键形式，输入截屏操作指令。

为了使截屏获得的图像文件可以适应在显示设备200和虚拟现实设备500上进行播放，在一些实施例中，还可以在虚拟现实设备500中设置多种截屏方式，其中一种为传统的截屏方式，即输出的截屏图像文件为常规2D图片，另一种则为上述实施例中提供的截屏方式，即输出的截屏图像文件可以包括2D图片、3D图片以及全景图片中的一种或多种的组合。

不同的截屏方式，可以通过不同的交互方式输入截屏操作指令。例如，可以通过同时按下“电源键”和“音量+”，控制虚拟现实设备500执行本实施例中的截屏方式，从而输出多种类型的截屏图片；而通过同时按下“电源键”和“音量-”，控制虚拟现实设备500执行传统截屏方式，从而输出常规2D的截屏图片。

S2：响应于截屏操作指令，在渲染场景中的多个位置执行图像拍摄，以获得多个角度的中间图像。

其中，渲染场景是指由虚拟现实设备500渲染引擎通过渲染程序构建的一个虚拟场景。例如，基于unity 3D渲染引擎的虚拟现实设备500，可以在呈现显示画面时，构建一个unity 3D场景。在unity 3D场景中，可以添加各种虚拟物体和功能控件，以渲染出特定的使用场景。如在播放多媒体资源时，可以在unity 3D场景中添加一个显示面板，该显示面板用于呈现多媒体资源画面。同时，还可以在unity 3D场景中添加座椅、音响、人物等虚拟物体模型，从而营造出影院效果。

为了在显示器中呈现渲染后的画面，虚拟现实设备500还可以在unity 3D场景中设置用于显示的虚拟相机。即按照用户双眼的位置关系，在unity 3D场景中设置左显示相机和右显示相机，两个虚拟相机可以同时对unity 3D场景中的物体进行拍摄，从而向左显示器和右显示器分别输出渲染画面。为了获得更好的沉浸感体验，两个虚拟相机在unity3D场景中的角度可以随着虚拟现实设备500的位姿传感器实时调整，从而在用户佩戴虚拟现实设备500行动时，可以实时输出不同观看角度下的unity 3D场景中的渲染画面。

基于此，在获取用户输入的截屏操作指令后，虚拟现实设备500还可以根据截屏操作指令在渲染场景中的多个位置进行图像拍摄。图像拍摄可以依靠渲染场景中用于显示的虚拟相机完成，也可以通过另行添加的截屏相机完成。例如，在用户输入截屏操作指令后，通过左显示相机和右显示相机对unity 3D场景进行图像拍摄，获得输入截屏操作指令时刻的渲染画面，作为中间图像。其中，左显示相机和右显示相机均可以拍摄中间图像，从而通过将两个中间图像合成为3D形式的截屏图像。

S3：拼接多个角度的中间图像，以生成截屏图像。

通过在渲染场景中执行图像拍摄而获得中间图像后，虚拟现实设备500还可以根据输出的不同截屏图像类型，对多个角度上的中间图像进行拼接，从而生成对应类型的截屏图像。

其中，不同类型的截屏图像可以根据虚拟现实设备500所播放的片源形式执行不同的拼接方式。例如，对于虚拟现实设备500所能够播放的3D片源，通常其一帧数据中可以包括两部分画面，即用于左显示器的画面和用于右显示器的画面。

两部分画面可以按照预定的位置关系进行排列。例如，左右型3D片源的一帧数据中，左显示器画面在左侧，右显示器画面在右侧；上下型3D片源的一帧数据中，左显示器画面在上侧，右显示器画面在下侧。

为此，针对不同的3D片源形式，可以将左侧虚拟截屏相机或左显示相机拍摄的中间图像，与右侧虚拟截屏相机或右显示相机拍摄的中间图像按照对应的位置关系拼接为一幅图片，形成截屏图像。例如，当输出左右型3D片源形式的截屏图像时，可以将左侧虚拟截屏相机拍摄的中间图像设置在左侧，将右侧虚拟截屏相机拍摄的中间图像设置在右侧，从而生成截屏图像。

在一些实施例中，3D片源还可以采用混合型的形式，即在一帧数据中，左显示器画面和右显示器画面逐列排布，并通过不同的偏振频率输出。对此，在形成混合型3D截屏图像时，可以在拼接过程中，对左侧虚拟截屏相机拍摄的中间图像和右侧虚拟截屏相机拍摄的中间图像的像素按列或按行进行提取，并逐列间隔融合在同一个图片中。

可见，在上述实施例中，虚拟现实设备500可以通过在渲染场景获取中间图像的方式进行截屏。由于在渲染场景中获得的中间图像尚未输出至显示器进行显示，因此所截取的图像画面未产生畸变，能够保留图像中媒资画面和渲染物体的原有形状。再通过对多个角度上的中间图像进行拼接，从而输出传统2D图片形式以外的其他类型图像，有利于截屏图像在虚拟现实设备500以及其他3D设备中播放时，保留立体效果。

在一些实施例中，为了获得多种类型的截屏图像，用户可以通过输入的截屏操作指令中指定输出的截屏图像类型。虚拟现实设备500可以通过预先设置截屏策略，使用户输入的截屏操作指令中带有指定的图像类型。也可以通过不同的指令输入方式，输入带有不同截屏输出类型的截屏操作指令。例如，当用户同时按下“电源键”和“音量+”，则输入的截屏操作指令中指定截屏输出类型为3D图像，当用户同时按下“电源键”和“音量+”，则输入的截屏操作指令中指定截屏输出类型为2D图像。

相应的，在用户输入带有指定截屏输出类型为3D或全景图片的截屏操作指令时，虚拟现实设备500可以执行3D或全景图片的截屏方法，即如图12所示，在获取用户输入的截屏操作指令的步骤后，所述控制器被进一步配置为：

S110：解析用户在所述截屏操作指令中指定的截屏输出类型；

S120：根据所述截屏输出类型，在渲染场景中设置虚拟截屏相机；

S130：使用所述虚拟截屏相机对渲染场景执行图像拍摄。

在获取用户输入的截屏操作指令后，虚拟现实设备500可以对截屏操作指令进行解析，以从截屏操作指令中解析出指定的截屏输出类型。根据虚拟现实设备500所支持播放的片源类型不同，截屏输出类型可以包括多种。例如，截屏输出类型可以包括2D图片等常规图片类型，以及3D图片、全景图片等立体图片类型。为了便于描述，在本申请的部分实施例中，将2D图片等常规图片类型称为第一类型，将3D图片、全景图片等立体图片类型称为第二类型。

通过解析截屏操作指令获得截屏输出类型以后，虚拟现实设备500还可以根据截屏输出类型在渲染场景中设置虚拟截屏相机，以使用虚拟截屏相机对渲染场景执行图像拍摄，获得一个或多个角度上的图像画面，生成中间图像。其中，虚拟截屏相机是渲染引擎中的一种图像输出模型，是一种预先定义的功能软件模块，用于对渲染场景进行拍摄，从而根据拍摄的内容获得截屏图像。

显然，在指定不同的截屏输出类型时，在渲染场景中设置的虚拟截屏相机的位置和数量也不同。即在一些实施例中，如果截屏输出类型为第一类型，在渲染场景中设置一个居中的虚拟截屏相机；如果截屏输出类型为第二类型，在渲染场景中设置多个虚拟截屏相机，并且在渲染场景中，可以按照设置的截屏输出类型，保持多个虚拟截屏相机之间的相对位置关系。

例如，如图13所示，如果截屏输出类型为3D图片，在渲染场景中设置左侧虚拟截屏相机和右侧虚拟截屏相机。即LeftCamera、RightCamera。其中，LeftCamera放置在渲染场景中的左侧，用于模拟用户的左眼；RightCamera放置在渲染场景中的右侧，用于模拟用户的右眼。在虚拟现实设备500执行截屏操作指令时，可以通过LeftCamera渲染获得左眼图像画面，通过RightCamera渲染获得右眼图像，从而获得双眼视角下的中间图像。

如果截屏输出类型为全景图片，在渲染场景中设置多个虚拟截屏相机，虚拟相机的数量可以根据全景图片的全景视野角度以及每个虚拟相机的拍摄视野角度之间的关系确定，即可以设置多个虚拟截屏相机的拍摄视野角度总和大于或等于全景视野角度。

例如，如图14所示，当全景图片的全景视野角度为360°时，可以在渲染场景中设置至少4个拍摄视野角度大于或等于90°的虚拟截屏相机。即多个虚拟截屏相机包括前方虚拟截屏相机(FrontCamera)、后方虚拟截屏相机(BackCamera)、左侧虚拟截屏相机(LeftCamera0)以及右侧虚拟截屏相机(RightCamera0)。其中，LeftCamera0的拍摄方向为左侧、RightCamera0拍摄方向为右侧、FrontCamera拍摄方向为前方、BackCamera拍摄方向为后方。在虚拟现实设备500执行截屏操作指令时，4个虚拟相机可以分别在左右前后四个方向上进行图像拍摄，从而获得左右前后4个角度上的中间图像。

需要说明的是，为了指定截屏结果的图像类型，还可以在用户输入截屏操作指令后，在当前界面中弹出类型选择界面，以供用户选择此次截屏操作的输出类型。例如，在用户同时按下“电源键”和“音量+”以后，虚拟现实设备500会在当前界面中弹出类型选择窗口，类型选择窗口中可以包括“2D模式”和“3D模式”等多个模式选项，并在用户选择任一选项后，生成截屏操作指令。

但由于截屏操作具有时效性，即用户通常希望在较短的时间内完成截屏，因此为了快速完成截屏操作，还可以统一设置虚拟现实设备500同时输出多种类型的截屏结果。例如，在用户输入截屏操作指令后，通过上述截屏方法，同时截取2D图片、3D图片以及360全景图片，并将这些图片进行分组保存，以供用户查看。

即在一些实施例中，在虚拟现实设备500的渲染场景可以预先设置多个虚拟截屏相机，并在执行截屏操作时，通过多个虚拟截屏相机同时在多个角度上执行图像拍摄，以输出中间图像。再根据截屏操作指令中指定的输出类型，选择图像进行拼接处理，获得相应类型的截屏图像。

例如，输出的中间图像中可以包括：由居中相机(CenterCamera)拍摄获得的正视图像；由LeftCamera和RightCamera拍摄获得的左眼图像和右眼图像；由LeftCamera0、RightCamera0、FrontCamera和BackCamera拍摄获得的左侧图像、右侧图像、前方图像和后方图像。当用户指定输出2D图片时，可以提取正视图像作为2D片源型的截屏图像；当用户指定输出3D图片时，可以提取左眼图像和右眼图像，并拼接形成3D片源型的截屏图像。当用户指定输出全景图片时，则提取左侧图像、右侧图像、前方图像和后方图像，并通过拼接以及变形处理，形成全景图片。

实际应用中，所述截屏图像包括2D图片、3D图片以及全景图片中的一种或多种的组合。由于部分实施例在生成2D的截屏图像时，虚拟现实设备500无需对中间图像进行拼接，直接将中间图像保存。因此，如图15所示，在生成截屏图像的步骤中，所述控制器被进一步配置为：

S311：检测截屏操作指令指定的截屏图像所包括的图片类型；

S312：如果截屏图像仅包括2D图片，将中间图像保存为截屏图像；

S313：如果截屏图像包括3D图片和/或全景图片，执行拼接多个角度的中间图像的步骤。

虚拟现实设备500在执行生成截屏图像的步骤前，可以先对截屏操作指令中指定的截屏图像所包括的图片类型进行检测，即对截屏操作指令中的具体截屏输出类型进行检测。根据检测结果，如果截屏图像包括3D图片和全景图片中的任一种类型，则需要对中间图像执行拼接处理，以生成最终的截屏图像，即虚拟现实设备500可以执行拼接多个角度的中间图像的步骤。

而如果截屏图像仅为2D图片类型，则可以直接将中间图像进行保存，以获得截屏图像。可见，通过在输出2D图片时跳过图像拼接过程，不仅可以减小对虚拟现实设备500运算资源的占用，而且可以提高截屏图像的生成效率。

另外，在本申请的部分实施例中，如果用户指定截屏图像为2D图片，还可以直接通过渲染引擎获取待渲染图像，并对待渲染图像进行复制，以获得截屏图像。其中，所述待渲染图像为未进行畸变处理时，左侧显示器或右侧显示器待显示的图像。例如，当用户指定截屏输出结果为2D图片时，可以直接获取渲染引擎中，左显示器对应的虚拟显示相机拍摄的图像，并将图像进行复制保存为截屏图片文件。

如图16所示，在一些实施例，对于所述截屏图像中的3D图片，在执行将拼接多个角度的中间图像的步骤时，所述控制器被进一步配置为：

S321：获取中间图像；

S322：将所述左眼中间图像和右眼中间图像拼接为一幅截屏图像；

S323：存储所述截屏图像。

其中，所述中间图像包括左眼中间图像和右眼中间图像。虚拟现实设备500可在LeftCamera和RightCamera拍摄获得中间图像后，分别对拍摄结果，即左眼中间图像和右眼中间图像进行提取，并按照3D片源的画面排布类型，将左眼中间图像和右眼中间图像拼接为一幅图像中，以获得截屏图像。最后对截屏图像按照设定的路径完成存储。

由于不同的3D片源可以设置有不同的画面排布方式，如左右型3D片源是将左眼图像设置在画面帧数据的左侧区域中，将右眼图像设置在画面帧数据的右侧区域；而上下型3D片源是将左眼图像设置在画面帧数据的上部区域中，将右眼图像设置在画面帧数据的下部区域中。因此，在拼接截屏图像时，需要先对待保存3D片源的画面排布方式进行设定，并且在存储截屏图像时，还可以通过添加标签、描述信息等方式对截屏图像的画面排布方式进行说明，以保证截屏获得的3D图像能够在其他设备中显示出3D效果。

例如，虚拟现实设备500将LeftCamera、RightCamera渲染出的画面LeftImage(w×h)和RightImage(w×h)组合成一幅左右排布的图像中，输出图像的左侧图为LeftImage，输出的图右侧为RightImage。将此图保存，即为如图17所示的3D截图，并在保存的过程中，为截屏图像添加“左右型”片源的标签。

对于所述截屏图像中的360全景图片，虚拟现实设备500需要对LeftCamera0、RightCamera0、FrontCamera和BackCamera拍摄获得的中间图像执行拼接，从而获得全景效果的图片。其中，全景效果是指通过图片合成技术，将90度至360度的视野范围内的场景全部展现在一个二维平面上的效果。全景效果图像可以通过柱形或球形等特殊形状的显示面板进行显示，并支持控制环视方向，即可左、可右、可近、可远的移动展示，使用户可以获得身临其境的效果。

为了将中间图像拼接形成全景图片，在一些实施例中，如图18所示，对于360°全景图片，所述控制器被进一步配置为：

S331：获取前向中间图像、后向中间图像、左向中间图像以及右向中间图像；

S332：对比相邻两个中间图像的画面内容，以确定拼接位置；

S333：根据拼接位置，对每个中间图像执行拉伸处理；

S334：合成并存储拉伸结果，以获得全景效果的截屏图像。

在执行拼接多个角度的中间图像，以生成截屏图像的步骤中，虚拟现实设备500可以先提取FrontCamera、BackCamera、LeftCamera0以及RightCamera0生成的中间图像。再通过识别图像中相似内容的位置，并结合相似内容的位置对图像执行拼接处理。例如，由于相邻两个虚拟相机之间存在部分视角重叠，因此在前向中间图像的左侧区域可以识别出与左向中间图像右侧区域内容相似的图案，基于此，虚拟现实设备500可以根据相邻图片的相似内容，对重叠区域进行检测，并定位出拼接位置，再按照拼接位置对各中间图像进行裁切。

由于中间图像是在四个方向上拍摄获得，并且根据视角形状，越靠近相机位置，相似的图像内容区域越多，因此拼接位置呈现为由图片上部向下部方向逐渐收拢的形状，即在裁切后，每个方向上的有效图案呈现为顶部宽，底部窄的梯形图案。

而为了将各方向上的图像合成在一幅全景图内，在拼接过程中，需要对图片的部分区域执行拉伸处理。例如，按照拼接位置，对每个中间图像的下部执行拉伸处理，根据拼接位置的形状不同，对每个区域的拉伸量也不同。即靠近底部的区域拉伸量较大，而靠近顶部的区域拉伸量较小。经拉伸处理后，可以将裁切后的图像转化为矩形图像，再经过合成，即可获得全景效果的截屏图像，如图19所示。

需要说明的是，为了获得与用户观看到的画面内容相同的截屏结果，上述实施例中所述的虚拟截屏相机，在输出2D或3D类型的图片时，也需要与虚拟现实设备500的位姿传感器进行关联，即虚拟截屏相机可以跟随用户的运动，调整拍摄方向。而在输出全景类型图片时，则无需虚拟截屏相机跟随用户的运动调整拍摄方向，因此可以在渲染场景中将虚拟截屏相机设置为固定形式。

例如，可以在Unity 3D场景中放置3个随动的虚拟截屏相机，依次为LeftCamera、RightCamera、CenterCamera。其中，CenterCamera放在LeftCamera、RightCamera中间位置，三个Camera垂直方向均居中。并在Unity 3D场景中放置4个固定虚拟截屏相机，依次为LeftCamera0、RightCamera0、FrontCamera、BackCamera。其中，LeftCamera0固定面向左侧方向、RightCamera0固定面向右侧方向、FrontCamera固定面向前方、BackCamera固定面向后方。

基于上述虚拟现实设备，在本申请的部分实施例中，还提供一种VR场景截屏方法，该截屏方法可应用于虚拟现实设备500，所述虚拟现实设备500包括显示器和控制器，所述截屏方法包括：

S1：获取用户输入的截屏操作指令；

S2：响应于所述截屏操作指令，在渲染场景中的多个位置执行图像拍摄，以获得多个角度的中间图像；

S3：拼接多个角度的中间图像，以生成截屏图像。

由以上技术方案可知，上述实施例提供的VR场景截屏方法，可以在获取用户输入的截屏操作指令后，在虚拟现实设备500的渲染场景中的多个位置上执行图像拍摄，以获得多个角度的中间图像，再将多个角度的中间图像进行拼接，生成截屏图像。可见，所述截屏方法可以直接在渲染场景中获得未畸变处理的中间图像，并且根据中间图像拼接形成多种类型的截屏图像，从而使截屏图像可以在不同的展示方式下，呈现为不同的效果，缓解截屏获得的文件不利于展示的问题。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (7)

1.一种虚拟现实设备，其特征在于，包括：

显示器，包括对应左眼的第一显示器和对应右眼的第二显示器；

控制器，被配置为：

在所述第一显示器和所述第二显示器中分别显示第一画面和第二画面，其中，第一画面和第二画面不同，所述第一画面和所述第二画面呈现3D效果，所述3D效果与全景效果不同；

获取用户输入的截屏操作指令，所述截屏操作指令为在渲染场景中生成的截屏指令，所述渲染场景中预先设置有居中虚拟截屏相机、左侧虚拟截屏相机和右侧虚拟截屏相机；

响应于所述截屏操作指令，解析用户在所述截屏指令中指定的截屏输出类型；所述截屏输出类型包括2D类型或3D类型；

在所述截屏输出类型包含2D类型时，利用所述居中虚拟截屏相机进行拍摄得到正视角度的中间图像，以及将所述正视角度的中间图像保存为2D类型的截屏图像；

在所述截屏输出类型包含3D类型时，利用所述左侧虚拟截屏相机和右侧虚拟截屏相机进行拍摄得到左眼以及右眼视角下的中间图像，根据所述左眼以及右眼视角下的中间图像拼接生成3D类型的截屏图像。

2.根据权利要求1所述的虚拟现实设备，其特征在于，获取用户输入的截屏操作指令之前，所述控制器还配置为：

利用所述显示器的当前界面中的类型选择界面，接收用户选择的本次截屏操作指令的截屏输出类型。

3.根据权利要求1所述的虚拟现实设备，其特征在于，根据所述左眼以及右眼视角下的中间图像拼接生成3D类型的截屏图像，所述控制器还被配置为：

基于当前3D片源形式，将左侧虚拟截屏相机拍摄的左眼视角的中间图像，与右侧虚拟截屏相机拍摄的右眼视角的中间图像按照对应的位置关系拼接为一幅图片，以得到3D类型的截屏图像。

4.根据权利要求3所述的虚拟现实设备，其特征在于，得到3D类型的截屏图像后，所述控制器还被配置为：

为待输出的3D类型的截屏图像添加对应3D片源的标签。

5.根据权利要求3所述的虚拟现实设备，其特征在于，所述3D片源形式包括混合型；将左侧虚拟截屏相机拍摄的左眼视角的中间图像，与右侧虚拟截屏相机拍摄的右眼视角的中间图像按照对应的位置关系拼接为一幅图片，所述控制器还配置为：

在当前3D片源为混合型时，对所述左侧虚拟截屏相机拍摄的左眼视角的中间图像和所述右侧虚拟截屏相机拍摄的右眼视角的中间图像的像素按列或按行进行提取，并逐列间隔融合在同一个图片中。

6.根据权利要求1所述的虚拟现实设备，其特征在于，所述虚拟现实设备还包括位姿传感器；所述控制器还被配置为：

在所述位姿传感器检测到用户移动时，根据用户移动的方向控制所述居中虚拟截屏相机、左侧虚拟截屏相机和右侧虚拟截屏相机跟随用户移动，以调整拍摄方向。

7.一种VR场景截屏方法，其特征在于，应用于虚拟现实设备，所述虚拟现实设备包括显示器和控制器，所述显示器包括对应左眼的第一显示器和对应右眼的第二显示器；所述截屏方法包括：

在所述第一显示器和所述第二显示器中分别显示第一画面和第二画面，其中，第一画面和第二画面不同，所述第一画面和所述第二画面呈现3D效果，所述3D效果与全景效果不同；

获取用户输入的截屏操作指令，所述截屏操作指令为在渲染场景中生成的截屏指令，所述渲染场景中预先设置有居中虚拟截屏相机、左侧虚拟截屏相机和右侧虚拟截屏相机；

响应于所述截屏操作指令，解析用户在所述截屏指令中指定的截屏输出类型；所述截屏输出类型包括2D类型或3D类型；

在所述截屏输出类型包含2D类型时，利用所述居中虚拟截屏相机进行拍摄得到正视角度的中间图像，以及将所述正视角度的中间图像保存为2D类型的截屏图像；

在所述截屏输出类型包含3D类型时，利用所述左侧虚拟截屏相机和右侧虚拟截屏相机进行拍摄得到左眼以及右眼视角下的中间图像，根据所述左眼以及右眼视角下的中间图像拼接生成3D类型的截屏图像。

Images