CN114302214A - 一种虚拟现实设备及防抖动录屏方法 - Google Patents

一种虚拟现实设备及防抖动录屏方法 Download PDF

Info

Publication number
CN114302214A
CN114302214A CN202110280846.5A CN202110280846A CN114302214A CN 114302214 A CN114302214 A CN 114302214A CN 202110280846 A CN202110280846 A CN 202110280846A CN 114302214 A CN114302214 A CN 114302214A
Authority
CN
China
Prior art keywords
screen recording
user
data
virtual reality
reality device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110280846.5A
Other languages
English (en)
Other versions
CN114302214B (zh
Inventor
孟亚州
卢可敬
王大勇
姜璐珩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to PCT/CN2021/135509 priority Critical patent/WO2022151864A1/zh
Publication of CN114302214A publication Critical patent/CN114302214A/zh
Application granted granted Critical
Publication of CN114302214B publication Critical patent/CN114302214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations

Abstract

本申请提供一种虚拟现实设备及防抖动录屏方法，所述方法可以在用户控制开始录屏后，对用户姿态数据执行平滑处理，根据平滑处理后的用户姿态数据，在渲染场景中拍摄录屏图像。所述方法可以通过滤波操作对细微摆动造成的用户姿态数据变化进行过滤，从而在姿态变化量小于预设抖动阈值时，输出稳定拍摄角度的录屏图像画面，缓解录屏时抖动造成的影响。

Description

一种虚拟现实设备及防抖动录屏方法
本申请要求在2021年1月18日提交中国专利局、申请号为202110065015.6、发明名称为“一种虚拟现实设备及快捷交互方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种虚拟现实设备及防抖动录屏方法。
背景技术
虚拟现实(Virtual Reality，VR)技术是通过计算机模拟虚拟环境，从而给人以环境沉浸感的显示技术。虚拟现实设备是一种应用虚拟显示技术为用户呈现虚拟画面的设备。通常，虚拟现实设备包括两个用于呈现虚拟画面内容的显示屏幕，分别对应于用户的左右眼。当两个显示屏幕所显示的内容分别来自于同一个物体不同视角的图像时，可以为用户带来立体的观影感受。
虚拟现实设备可以通过执行录屏操作，将一段时间内显示的内容以视频形式进行保存，以供后续查看或者发送至其他设备播放。通常，虚拟现实设备在执行录屏操作时，会直接将屏幕显示的内容按照特定的帧率进行截取，并按照时间顺序排列形成视频文件。
但是由于虚拟现实设备在使用中需要佩戴在用户的头部，跟随用户的头部姿态实时更新画面。头部的细微摆动，如呼吸动作等，都会导致显示画面跟随变化。因此，录屏操作获得的画面存在频繁抖动问题，降低录屏质量。
发明内容
本申请提供了一种虚拟现实设备及防抖动录屏方法，以解决传统录屏方法获得的视频画面存在频繁抖动的问题。
第一方面，本申请提供一种虚拟现实设备，包括：显示器、姿态传感器以及控制器。其中，所述显示器被配置为显示用户界面；所述姿态传感器被配置为实时检测用户姿态数据；所述控制器被配置为执行以下程序步骤：
接收用户输入的用于开始录屏的控制指令；
响应于所述控制指令，对所述用户姿态数据执行平滑处理；
根据平滑处理后的用户姿态数据，在渲染场景中拍摄录屏图像，以在姿态变化量小于预设抖动阈值时，输出稳定拍摄角度的录屏图像画面。
基于上述虚拟现实设备，本申请第一方面还提供一种防抖动录屏方法，包括以下步骤：
接收用户输入的用于开始录屏的控制指令；
响应于所述控制指令，对所述用户姿态数据执行平滑处理；
根据平滑处理后的用户姿态数据，在渲染场景中拍摄录屏图像，以在姿态变化量小于预设抖动阈值时，输出稳定拍摄角度的录屏图像画面。
由以上技术方案可知，本申请第一方面提供的虚拟现实设备及防抖动录屏方法，可以在用户控制开始录屏后，对用户姿态数据执行平滑处理，根据平滑处理后的用户姿态数据，在渲染场景中拍摄录屏图像。所述方法可以通过滤波操作对细微摆动造成的用户姿态数据变化进行过滤，从而在姿态变化量小于预设抖动阈值时，输出稳定拍摄角度的录屏图像画面，缓解录屏时抖动造成的影响。
第二方面，本申请提供一种虚拟现实设备，包括：显示器、姿态传感器以及控制器。其中，所述显示器被配置为显示用户界面；所述姿态传感器被配置为实时检测用户姿态数据；所述控制器被配置为执行以下程序步骤：
接收用户输入的用于开始录屏的控制指令；
响应于所述控制指令，通过所述姿态传感器获取用户姿态数据；
根据所述用户姿态数据计算姿态变化量，所述姿态变化量为用户姿态数据与前一帧录屏图像时的姿态数据的差值；
根据所述姿态变化量从渲染场景中拍摄录屏图像，以在姿态变化量小于预设抖动阈值时，输出稳定拍摄角度的录屏图像画面。
基于上述虚拟现实设备，本申请第二方面还提供一种防抖动录屏方法，包括以下步骤：
接收用户输入的用于开始录屏的控制指令；
响应于所述控制指令，通过所述姿态传感器获取用户姿态数据；
根据所述用户姿态数据计算姿态变化量，所述姿态变化量为用户姿态数据与前一帧录屏图像时的姿态数据的差值；
根据所述姿态变化量从渲染场景中拍摄录屏图像，以在姿态变化量小于预设抖动阈值时，输出稳定拍摄角度的录屏图像画面。
由以上技术方案可知，本申请第一方面提供的虚拟现实设备及防抖动录屏方法，可以在用户输入开始录屏的控制指令后，获取用户姿态数据，并根据用户姿态数据计算姿态变化量。当姿态变化量小于预设抖动阈值时，可以按照输出前一帧录屏图像时的姿态数据输出稳定拍摄角度的录屏图像画面，缓解录屏时抖动造成的影响。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中包括虚拟现实设备的显示系统结构示意图；
图2为本申请实施例中VR场景全局界面示意图；
图3为本申请实施例中全局界面的推荐内容区域示意图；
图4为本申请实施例中全局界面的应用快捷操作入口区域示意图；
图5为本申请实施例中全局界面的悬浮物示意图；
图6为本申请实施例中通过状态栏进入快捷中心示意图；
图7为本申请实施例中快捷中心窗口示意图；
图8为本申请实施例中通过按键进入快捷中心示意图；
图9为本申请实施例中开始录屏示意图；
图10为本申请实施例中录屏过程中界面示意图；
图11为本申请实施例中录屏控制按钮示意图；
图12为本申请实施例中录屏成功时提示文字窗口实体图；
图13为本申请实施例中存储空间不足时提示窗口示意图；
图14为本申请实施例中录屏中断时保存录屏结果示意图；
图15为本申请实施例中电量不足时提示窗口示意图；
图16为本申请实施例中开始录屏时电量不足提示界面示意图；
图17为本申请实施例中一种防抖动录屏方法的流程示意图；
图18为本申请实施例中通过虚拟录屏相机获取录屏图像的流程示意图；
图19为本申请实施例中设置渲染场景中虚拟录屏拍摄角度的流程示意图；
图20为本申请实施例中设置录屏参数的流程示意图；
图21为本申请实施例中另一种防抖动录屏方法的流程示意图。
具体实施方式
为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。
应当理解，本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
本说明书通篇提及的“多个实施例”、“一些实施例”、“一个实施例”或“实施例”等，意味着结合该实施例描述的具体特征、结构或特性包括在至少一个实施例中。因此，本说明书通篇出现的短语“在多个实施例中”、“在一些实施例中”、“在至少另一个实施例中”或“在实施例中”等并不一定都指相同的实施例。此外，在一个或多个实施例中，具体特征、结构或特性可以任何合适的方式进行组合。因此，在无限制的情形下，结合一个实施例示出或描述的具体特征、结构或特性可全部或部分地与一个或多个其他实施例的特征、结构或特性进行组合。这种修改和变型旨在包括在本申请的范围之内。
本申请实施例中，所述虚拟现实设备500泛指能够佩戴于用户面部，为用户提供沉浸感体验的显示设备，包括但不限于VR眼镜、增强现实设备(Augmented Reality，AR)、VR游戏设备、移动计算设备以及其它可穿戴式计算机等。本申请部分实施例以VR眼镜为例对技术方案进行阐述，应当理解的是，所提供的技术方案同时可应用于其他类型的虚拟现实设备。所述虚拟现实设备500可以独立运行，或者作为外接设备接入其他智能显示设备，其中，所述显示设备可以是智能电视、计算机、平板电脑、服务器等。
虚拟现实设备500可以在佩戴于用户面部后，显示媒资画面，为用户双眼提供近距离影像，以带来沉浸感体验。为了呈现媒资画面，虚拟现实设备500可以包括多个用于显示画面和面部佩戴的部件。以VR眼镜为例，虚拟现实设备500可以包括但不限于外壳、位置固定件、光学系统、显示组件、姿态检测电路、接口电路等部件中的至少一种。实际应用中，光学系统、显示组件、姿态检测电路以及接口电路可以设置于外壳内，以用于呈现具体的显示画面；外壳两侧连接位置固定连接件，以佩戴于用户头部。
在使用时，姿态检测电路中内置有重力加速度传感、陀螺仪等姿态检测元件，当用户头部移动或转动时，可以检测到用户的姿态，并将检测到的姿态数据传递给控制器等处理元件，使处理元件可以根据检测到的姿态数据调整显示组件中的具体画面内容。
在一些实施例中，如图1所示的虚拟现实设备500可以接入显示设备200，并与服务器400之间构建一个基于网络的显示系统，在虚拟现实设备500、显示设备200以及服务器400之间可以实时进行数据交互，例如显示设备200可以从服务器400获取媒资数据并进行播放，以及将具体的画面内容传输给虚拟现实设备500中进行显示。
其中，显示设备200可以是液晶显示器、OLED显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上一些改变。显示设备200可以提供广播接收电视功能，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视(IPTV)等。
显示设备200以及虚拟现实设备500还与服务器400通过多种通信方式进行数据通信。可允许显示设备200和虚拟现实设备500通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的，显示设备200通过发送和接收信息，以及电子节目指南(EPG)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。
在进行数据交互的过程中，用户可通过移动终端300和遥控器100操作显示设备200。移动终端300和遥控器100可以与显示设备200之间采用直接的无线连接方式进行通信，也可以采用非直接连接的方式进行通信。即在一些实施例中，移动终端300和遥控器100可以通过蓝牙、红外等直接连接方式与显示设备200进行通信。当发送控制指令时，移动终端300和遥控器100可以直接将控制指令数据通过蓝牙或红外发送到显示设备200。
在另一些实施例中，移动终端300和遥控器100还可以通过无线路由器与显示设备200接入同一个无线网络，以通过无线网络与显示设备200建立非直接连接通信。当发送控制指令时，移动终端300和遥控器100可以将控制指令数据先发送给无线路由器，再通过无线路由器将控制指令数据转发给显示设备200。
在一些实施例中，用户还可以使用移动终端300和遥控器100还可以直接与虚拟现实设备500进行交互，例如，可以将移动终端300和遥控器100作为虚拟现实场景中的手柄进行使用，以实现体感交互等功能。
在一些实施例中，虚拟现实设备500的显示组件包括显示屏幕以及与显示屏幕有关的驱动电路。为了呈现具体画面，以及带来立体效果，显示组件中可以包括两个显示屏幕，分别对应于用户的左眼和右眼。在呈现3D效果时，左右两个屏幕中显示的画面内容会稍有不同，可以分别显示3D片源在拍摄过程中的左相机和右相机。由于用户左右眼观察到的画面内容，因此在佩戴时，可以观察到立体感较强的显示画面。
虚拟现实设备500中的光学系统，是由多个透镜组成的光学模组。光学系统设置在用户的双眼与显示屏幕之间，可以通过透镜对光信号的折射以及透镜上偏振片的偏振效应，增加光程，使显示组件呈现的内容可以清晰的呈现在用户的视野范围内。同时，为了适应不同用户的视力情况，光学系统还支持调焦，即通过调焦组件调整多个透镜中的一个或多个的位置，改变多个透镜之间的相互距离，从而改变光程，调整画面清晰度。
虚拟现实设备500的接口电路可以用于传递交互数据，除上述传递姿态数据和显示内容数据外，在实际应用中，虚拟现实设备500还可以通过接口电路连接其他显示设备或外设，以通过和连接设备之间进行数据交互，实现更为复杂的功能。例如，虚拟现实设备500可以通过接口电路连接显示设备，从而将所显示的画面实时输出至显示设备进行显示。又例如，虚拟现实设备500还可以通过接口电路连接手柄，手柄可以由用户手持操作，从而在VR用户界面中执行相关操作。
其中，所述VR用户界面可以根据用户操作呈现为多种不同类型的UI布局。例如，用户界面可以包括全局界面，AR/VR终端启动后的全局UI如图2所示，所述全局UI可显示于AR/VR终端的显示屏幕中，也可显示于所述显示设备的显示器中。全局UI可以包括推荐内容区域1、业务分类扩展区域2、应用快捷操作入口区域3以及悬浮物区域4。
推荐内容区域1用于配置不同分类TAB栏目；在所述栏目中可以选择配置媒资、专题等；所述媒资可包括2D影视、教育课程、旅游、3D、360度全景、直播、4K影视、程序应用、游戏、旅游等具有媒资内容的业务，并且所述栏目可以选择不同的模板样式、可支持媒资和专题同时推荐编排,如图3所示。
在一些实施例中，推荐内容区域1的顶部还可以设置有状态栏，在状态栏中可以设置有多个显示控件，包括时间、网络连接状态、电量等常用选项。状态栏中包括的内容可以由用户自定义，例如，可以添加天气、用户头像等内容。状态栏中所包含的内容可以被用户选中，以执行相应的功能。例如，用户点击时间选项时，虚拟现实设备500可以在当前界面中显示时间设备窗口，或者跳转至日历界面。当用户点击网络连接状态选项时，虚拟现实设备500可以在当前界面显示WiFi列表，或者跳转至网络设置界面。
状态栏中显示的内容可以根据具体项目的设置状态呈现为不同的内容形式。例如，时间控件可以直接显示为具体的时间文字信息，并在不同的时间显示不同的文字；电量控件则可以根据虚拟现实设备500的当前电量剩余情况，显示为不同的图案样式。
状态栏用于使用户能够执行常用的控制操作，实现快速对虚拟现实设备500进行设置。由于对虚拟现实设备500的设置程序包括诸多项，因此在状态栏中通常不能将所有常用设置选项全部显示。为此，在一些实施例中，状态栏中还可以设置有扩展选项。扩展选项被选中后，可以在当前界面中呈现扩展窗口，在扩展窗口中可以进一步设置有多个设置选项，用于实现虚拟现实设备500的其他功能。
例如，在一些实施例中，扩展选项被选中后，可以在扩展窗口中设置“快捷中心”选项。用户在点击快捷中心选项后，虚拟现实设备500可以显示快捷中心窗口。快捷中心窗口中可以包括“截屏”、“录屏”以及“投屏”选项，用于分别唤醒相应的功能。
业务分类扩展区域2支持配置不同分类的扩展分类。如果有新的业务类型时，支持配置独立TAB，展示对应的页面内容。业务分类扩展区域2中的扩展分类，也可以对其进行排序调整及下线业务操作。在一些实施例中，业务分类扩展区域2可包括的内容：影视、教育、旅游、应用、我的。在一些实施例中，业务分类扩展区域2被配置为可展示大业务类别TAB，且支持配置更多的分类，其图标支持配置，如图3所示。
应用快捷操作入口区域3可指定预装应用靠前显示以进行运营推荐，支持配置特殊图标样式替换默认图标，所述预装应用可指定为多个。在一些实施例中，应用快捷操作入口区域3还包括用于移动选项目标的左向移动控件、右向移动控件，用于选择不同的图标，如图4所示。
悬浮物区域4可以配置为在固定区域左斜侧上方、或右斜侧上方，可配置为可替换形象、或配置为跳转链接。例如，悬浮物接收到确认操作后跳转至某个应用、或显示指定的功能页，如图5所示。在一些实施例中，悬浮物也可不配置跳转链接，单纯的用于形象展示。
在一些实施例中，全局UI还包括位于顶端的状态栏，用于显示时间、网络连接状态、电量状态、及更多快捷操作入口。使用AR/VR终端的手柄，即手持控制器选中图标后，图标将显示包括左右展开的文字提示，选中的图标按照位置自身进行左右拉伸展开显示。
例如，选中搜索图标后，搜索图标将显示包含文字“搜索”及原图标，进一步点击图标或文字后，搜索图标将跳转至搜索页面；又例如，点击收藏图标跳转至收藏TAB、点击历史图标默认定位显示历史页面、点击搜索图标跳转至全局搜索页面、点击消息图标跳转至消息页面。
在一些实施例中，可以通过外设执行交互，例如AR/VR终端的手柄可对AR/VR终端的用户界面进行操作，包括返回按钮；主页键，且其长按可实现重置功能；音量加减按钮；触摸区域，所述触摸区域可实现焦点的点击、滑动、按住拖拽功能。
用户可以通过全局UI界面执行交互操作，并在部分交互模式下，跳转到特定的界面中。例如，为了实现对媒资数据的播放，用户可以通过在全局UI界面中点击任一媒资链接图标，启动播放该媒资链接对应的媒资文件，此时，虚拟现实设备500可以控制跳转至媒资播放界面。
在跳转至特定的界面后，虚拟现实设备500还可以在播放界面的顶部显示状态栏，并依据设定的交互方式执行相应的设置功能。例如，如图6所示，在虚拟现实设备500播放视频媒资时，用户若想要对媒资画面执行录屏操作，可以通过点击状态栏上的扩展选项，调出扩展窗口，并在扩展窗口中点击快捷中心选项，使虚拟现实设备500在播放界面上显示快捷中心窗口如图7所示，最后点击扩展中心窗口中的“录屏”选项，使虚拟现实设备500执行录屏操作，对当前时刻之后的一段时间内所显示的画面以视频方式进行存储。
其中，状态栏可以在虚拟现实设备500播放媒资画面时隐藏，以避免对媒资画面造成遮挡。而当用户执行特定交互动作时，触发显示。例如，在用户未使用手柄执行动作时，可以对状态栏进行隐藏，而在用户使用手柄执行动作时，显示状态栏。为此，虚拟现实设备500可以被配置为在播放媒资画面时对手柄中的方位传感器状态或者任一按钮的状态进行检测，当检测到方位传感器的检测值发生变化，或者按钮被按下时，可以控制在播放界面顶部显示状态栏。当检测到方位传感器在设定的时间内没有发生变化，或者按钮没有被按下，则控制在播放界面隐藏状态栏。
可见，上述实施例中，用户可以通过状态栏调出快捷中心，从而在快捷中心窗口中点击相应的选项来完成截屏、录屏以及投屏操作。还可以采用其他交互方式调用快捷中心，并显示快捷中心窗口。例如，如图8所示，用户可以通过双击手柄上的home键调用快捷中心窗口。
用户可以在快捷中心窗口中选择任一图标后，启动相应的功能。其中，相应的功能的启动方式，可以根据虚拟现实设备500的实际交互方式确定。例如，如图9所示，用户在调出快捷中心窗口后，可以通过手柄向下移动，用户可以通过在快捷中心窗口中选择“录屏”图标，以控制虚拟现实设备500启动录屏功能。在启动录屏功能以后，虚拟现实设备500可以对所显示的画面内容逐帧进行保存，以输出视频文件。具体的录屏范围也可以根据不同的使用场景设定。
例如，对于媒资播放过程，用户可以选择仅对播放的媒资画面执行录制，或者对整个显示内容执行录屏。对于仅对播放的媒资画面执行录屏的情形，虚拟现实设备500可以通过获取未经过渲染引擎渲染3D场景的媒资数据(即解析视频文件获得的数据)，并将其复制，以输出录屏结果。而对于整个显示内容执行录屏的情形，虚拟现实设备500可以对显示器显示的最终画面逐帧进行截屏，以获得多个连续的截屏图像，从而形成视频文件，输出录屏结果。
为了表示当前虚拟现实设备500正在执行录屏操作，在启动录屏功能后，虚拟现实设备500可以在播放界面中显示录屏相关的提示内容。例如，如图10所示，可以在播放界面的右上角区域显示一个常驻的录制符号，该录制符号可以由可闪烁的圆点和时间框组成，当执行录制功能时，圆点通过闪烁来提醒用户正在进行录屏，时间框可以记录录屏获得的视频时长。
需要说明的是，对于录制符号，可以选择是否添加在录屏结果文件中。当选择添加在视频文件中时，可以在录屏视频的右上角区域也显示录制符号，用于标注视频播放进程。当选择不添加在录屏结果文件中时，则在录屏视频中不会带有录制符号。显然，这两种方式在屏幕录制的过程中，需要执行不同的录制程序。即添加录制符号时，虚拟现实设备500需要对所有图层内容叠加结果进行逐帧截取；而不添加录制符号时，虚拟现实设备500不对最顶层的图层执行屏幕截取，而是对最顶层以下的其他图层内容叠加结果进行逐帧截取。
在一些实施例中，执行录屏操作时虚拟现实设备500还可以在当前界面中显示文字提示窗口(toast)，用于提示用户当前已开始录屏或引导用户执行录屏相关的交互操作。例如，显示的文字提示窗口中可以包括文字内容为“已开始屏幕录制”、“再次点击录屏按钮结束录制”等。同理，为了避免文字提示窗口影响屏幕录制过程，文字提示窗口可以在显示后的预设时间内停止显示。例如，toast显示2s后消失，同时显示常驻录制符号，并开始计时。
为了实现对录屏过程的控制，虚拟现实设备500可以在执行屏幕录制的过程中，显示录屏按钮，用于控制录屏的开始、暂停以及结束。如图11所示，录屏按钮可以由图标图案和提示文字组成，其中图标图案可以通过摄像机图案的简约示意图形表示录屏功能，图标图案可以随着不同的操作过程呈现为不同的形状，而提示文字可以随着不同的操作过程呈现为不同的文字内容。
例如，未开始录屏时，图标图案由一个摄像机简图和一个圆点图案组成，以用于表示当前录屏按钮功能为开始录屏，相应的提示文字为“开始录屏”。在用户点击该按钮时，控制虚拟现实设备500开始录屏。用户点击录屏按钮开始录屏后，录屏按钮的图标中的圆点可以变更为闪烁状态，以表示当前正在进行屏幕录制，相应的提示文字为“录屏中”。当用户再次点击录屏按钮后，虚拟现实设备500可以停止屏幕录制，此时录屏按钮中的圆点可以替换为双竖线，用于表示停止录制，相应的提示文字为“结束录制”。
用户点击结束录制功能的按钮后，虚拟现实设备500可以对录屏获得的视频文件进行保存。如图12所示，在一些实施例中，视频文件保存完成后，还可以通过提示文字窗口(toast)显示保存结果，如“录屏结束，已保存至××”，用于提示用户已完成屏幕录制。同理，提示文字窗口也可以在显示预设实现后取消显示，例如，toast显示2s后消失。
由于视频文件的数据量较大，需要占用较大的存储空间。因此，虚拟现实设备500在进行屏幕录制的过程中，通常是对视频数据流进行实时存储，即在进行屏幕录制的同时保存录屏获得的视频流，并在结束录屏后形成录屏文件。因此，为了能够最终生成录屏文件，虚拟现实设备500在执行录屏功能的过程中，还可以对剩余的存储空间进行检测，当检测到剩余的存储空间不足时，可以停止屏幕录制，并通过提示窗口提示用户。
即如图13所示，在一些实施例中，当检测到剩余存储空间不足时，可以显示存储空间的提示窗口。在提示窗口中，可以包括文字提示内容，如“存储空间不足，当前存储已满，请立即清理”的提示文字。
提示窗口中还可以设有控制选项，例如“前往清理”选项和“取消”选项。当用户点击“取消”选项时，虚拟现实设备500可以仅停止录屏，并将录屏文件进行保存。当用户点击“前往清理”选项时，虚拟现实设备500可以在保存录屏文件的同时，跳转至文件管理界面或者安全中心界面，以便用户可以在对应的界面中，执行文件转移、删除等操作，以增加剩余空间。
在一些实施例中，如果虚拟现实设备500是在录屏过程中跳转至文件管理界面，则用户可以通过返回操作快速返回至之前的界面，以便于继续进行屏幕录制。例如，用户在媒资播放界面执行录屏操作的过程中，虚拟现实设备500检测到剩余存储空间不足时，显示提示界面。用户通过点击提示界面中的“前往清理”，使虚拟现实设备500跳转至文件管理器界面。用户可以在文件管理器界面中选择部分文件删除，增加剩余存储空间。再按下手柄上的返回键，控制虚拟现实设备500跳转回媒资播放界面，以便用户继续执行录屏操作。
需要说明的是，因存储过程中需要一定的存储空间余量，才能保证顺利运行。因此虚拟现实设备500可以在检测剩余空间时，按照设定的剩余空间阈值触发上述控制过程。例如，如图14所示，当检测到剩余存储空间不足总存储容量的5％时，停止录屏并显示提示界面，以利用剩余的5％容量来完成录屏视频文件的生成和保存。
在一些实施例中，虚拟现实设备500在执行录屏操作时还可以对剩余电量进行检测，从而在剩余电量不足时，中断录屏操作，并显示电量提示窗口。例如，如图15所示，电量提示窗口中可以显示文字“电量不足，当前电量不足5％，录屏中断，请立即充电”。显然，在中断录屏操作后，虚拟现实设备500可以自动将已经生成的录屏结果进行保存，以形成视频文件。
由于电量过低将有可能导致录屏获得的视频文件无法及时保存，因此在虚拟现实设备500执行录屏程序前，还可以设置电量检测程序，对虚拟现实设备500的剩余电量进行检测。当剩余电量过低时，可以限制执行录屏程序，并通过电量提示窗口提示用户及时充电。例如，如图16所示，在用户点击快捷中心的录屏选项后，虚拟现实设备500可以检测自身剩余电量。当剩余电量小于或等于5％时，显示电量提示窗口，包括提示文字内容为“当前电量不足5％，无法录制视频，请立即充电”，以此来保证录屏结果得以正常生成和存储。
需要说明的是，虚拟现实设备500在执行录屏操作时，还有可能因其他问题导致录屏操作中断，例如，硬件故障、网络连接异常、片源异常等。在出现这些异常状况时，也可以在当前界面中显示对应的提示窗口，并且在提示窗口中通过文字、图形等对异常状态进行展示，并且在显示提示窗口的同时，对已经录屏获得的视频数据进行存储。
基于上述虚拟现实设备500的录屏功能，虚拟现实设备500在开始录屏后，可以实时保存所显示的内容，直到录屏结束。由于录屏过程通常可以持续一定的时间，因此在进行录屏时，虚拟现实设备500上显示的画面可以随着用户佩戴动作发生改变。例如，用户在佩戴虚拟现实设备500的过程中，如果转动头部，则可以调整观看视角，使虚拟现实设备500显示新的视角下的用户界面，此时录屏获得的视频画面也会从初始视角下的用户界面对应画面变成新的视角下的用户界面对应画面。
但用户在使用中的一些小动作，如呼吸动作等，可以造成头部的细微摆动，这样的细微摆动也会引起虚拟现实设备500显示画面的跟随变化。并且这些细微摆动的持续时间很短，使得显示画面会在短时间内又恢复到初始状态，因此，录屏操作获得的画面存在频繁抖动问题，降低录屏质量。
为了提高录屏质量，在本申请的部分实施例中，提供一种防抖动录屏方法，该方法可应用于虚拟现实设备500中。所述虚拟现实设备500包括显示器、姿态传感器以及控制器。为了实施该防抖动录屏方法，如图17所示，虚拟现实设备500的控制器可以被配置为执行以下程序步骤：
S1：接收用户输入的用于开始录屏的控制指令。
本实施例中，用于开始录屏的控制指令是根据用户的交互动作和虚拟现实设备500操作系统中设定的交互策略完成输入。例如，用户可以通过上述快捷中心窗口上的交互，完成控制指令的输入，即用于开始录屏的控制指令为用户在调出快捷中心窗口后，通过手柄向下移动，选择“录屏”图标的一系列交互动作。
用户还可以通过其他交互方式完成开始录屏控制指令的输入。例如，虚拟现实设备500可以设置录屏功能的快捷键为同时长按电源键和音量“+”键。当用户输入该快捷操作指令时，可以表示用户输入了用于开始录屏的控制指令。
此外，针对部分虚拟现实设备500，用户还可以借助其他交互设备或交互系统完成控制指令的输入。例如，可以在虚拟现实设备500中内置智能语音系统，用户可以通过麦克风等音频输入设备输入语音信息，如“开始录屏”等。智能语音系统通过对用户语音信息进行转化、分析、处理等方式识别语音信息的含义，并根据识别结果生成控制指令，以控制虚拟现实设备500执行录屏操作。
S2：响应于所述控制指令，对所述用户姿态数据执行平滑处理。
虚拟现实设备500可以在接收到用户输入的控制指令后，开始执行录屏功能，即按照设定的录屏参数保存开始录屏后虚拟现实设备500对应的画面内容。同时，虚拟现实设备500可以通过姿态传感器实时监测用户姿态数据。即通过重力加速度传感器和陀螺仪的传感器设备检测用户的头部摆动动作。
为了缓解录屏过程中的抖动，在执行录屏功能的同时，还可以对姿态传感器检测的姿态数据执行平滑处理。所述平滑处理是通过滤波算法，将姿态传感器检测的数据进行滤波，去除姿态数据中的瞬间波动。
例如，虚拟现实设备500可以在获取姿态传感器检测的用户姿态数据后，从用户姿态数据中提取姿态传感器检测的角度在x轴、y轴和z轴上的分量，以及提取输出前一帧录屏图像画面时的姿态数据，显然提取的前一帧录屏图像画面对应的姿态数据也可以为角度在x轴、y轴和z轴上的分量。再根据用户姿态数据和输出前一帧录屏图像画面时的姿态数据，计算等效姿态数据。即等效姿态数据：
XK＝Xk-1+(XDM-Xk-1)/(TM-Tk-1)×c×(Tk-Tk-1)；
YK＝Yk-1+(YDM-Yk-1)/(TM-Tk-1)×c×(Tk-Tk-1)；
ZK＝Zk-1+(ZDM-Zk-1)/(TM-Tk-1)×c×(Tk-Tk-1)；
其中，XK、YK、ZK为输出第k帧录屏图像画面时在X轴、Y轴和Z轴方向上的角度；XK-1、YK-1、ZK-1为输出第k-1帧录屏图像画面时在X轴、Y轴和Z轴方向上的角度；XDM、YDM、YDM为Tk时间姿态传感器在X轴、Y轴和Z轴方向上检测的角度数据；TM为姿态传感器数据上报XDM、YDM、YDM数据的时间；Tk为第k帧的时间；Tk-1为第k-1帧的时间；c为介于0-1之间为经验值常数。
根据上述平滑处理方式，可以在获取姿态传感器检测的姿态数据XDM、YDM、YDM后，通过提取前一帧录屏图像画面对应的姿态数据XK-1、YK-1、ZK-1并结合姿态数据的上报时间和两帧图像间的间隔时间，计算出等效姿态数据。可见，通过参考前一帧录屏图像画面对应的姿态数据以及相关时间参数，使虚拟现实设备500对图像画面的调整过程区域平缓，从而减轻最终画面中的抖动。
S3：根据平滑处理后的用户姿态数据，在渲染场景中拍摄录屏图像，以在姿态变化量小于预设抖动阈值时，输出稳定拍摄角度的录屏图像画面。
在对用户姿态数据执行平滑处理后，虚拟现实设备500可以根据平滑处理后的用户姿态数据，在渲染场景中拍摄录屏图像。其中，渲染场景是指由虚拟现实设备500渲染引擎通过渲染程序构建的一个虚拟场景。例如，基于unity 3D渲染引擎的虚拟现实设备500，可以在呈现显示画面时，构建一个unity 3D场景。在unity 3D场景中，可以添加各种虚拟物体和功能控件，以渲染出特定的使用场景。如在播放多媒体资源时，可以在unity 3D场景中添加一个显示面板，该显示面板用于呈现多媒体资源画面。同时，还可以在unity 3D场景中添加座椅、音响、人物等虚拟物体模型，从而营造出影院效果。
为了输出渲染后的画面，虚拟现实设备500还可以在unity 3D场景中设置虚拟相机。例如，虚拟现实设备500可以按照用户双眼的位置关系，在unity 3D场景中设置左眼相机和右眼相机，两个虚拟相机可以同时对unity 3D场景中的物体进行拍摄，从而向左显示器和右显示器分别输出渲染画面。为了获得更好的沉浸感体验，两个虚拟相机在unity3D场景中的角度可以随着虚拟现实设备500的姿态传感器实时调整，从而在用户佩戴虚拟现实设备500行动时，可以实时输出不同观看角度下的unity 3D场景中的渲染画面。
基于此，虚拟现实设备500可以通过渲染场景获取多帧录屏图像画面，从而生成录屏视频文件。例如，虚拟现实设备500在开始录屏后，可以获取左眼相机和/或右眼相机拍摄的图像，并将图像进行复制，从而输出录屏图像画面。还可以在渲染场景中设置专门用于录屏的虚拟相机，即虚拟录屏相机，从而在开始录屏后，通过虚拟录屏相机获取拍摄到的图像画面，并输出为录屏图像。
由于虚拟相机可以被配置为跟随姿态传感器检测的姿态数据调整拍摄角度，因此在姿态数据被执行平滑处理后，虚拟现实设备500在渲染场景中拍摄获得的图像内容变化也趋于平缓，达到防抖动的效果。
在一些实施例中，为了对用户姿态数据执行平滑处理，虚拟现实设备500可以在获取用户输入的录屏指令后，通过设置虚拟录屏相机，并控制虚拟录屏相机的拍摄参数，使虚拟录屏相机能够输出平稳的录屏图像，即如图18、图19所示，控制器可被进一步配置为执行以下程序步骤：
S410：在渲染场景中加载虚拟录屏相机；
S420：在接收到所述控制指令后，启动所述虚拟录屏相机；
S430：根据平滑处理后的用户姿态数据，设置所述虚拟录屏相机的拍摄角度，以对所述渲染场景执行图像拍摄。
本实施例中，所述虚拟录屏相机是一种依赖于渲染场景的软件程序，用于对渲染场景进行拍摄，以获得录屏图像。虚拟录屏相机可以是独立于左眼相机和右眼相机而设置的一个中间相机，在用户使用虚拟现实设备500时，可以随应用加载至渲染场景中，以便在使用录屏功能时启用。
即，当用户未使用录屏功能时，虚拟录屏相机可以不对渲染场景执行拍摄，即处于休眠状态，不会输出录屏图像。当用户使用录屏功能时，用户会通过交互动作输入控制指令。此时，虚拟现实设备500可以在接收到控制指令后，启动虚拟录屏相机，开始对渲染场景进行图像拍摄，并输出录屏视频图像，实现录屏功能。
在启用虚拟录屏相机以后，虚拟录屏相机可以同左眼相机或右眼相机的图像拍摄方式，渲染场景中执行图像拍摄。并且实时接收姿态传感器检测的用户姿态数据，以及根据用户姿态数据，调整拍摄角度。为了防止录屏时的抖动，用户姿态数据可以先经过平滑处理后，再输入虚拟录屏相机。从而根据平滑处理后的用户姿态数据，设置所述虚拟录屏相机的拍摄角度，以对所述渲染场景执行图像拍摄。
同理，为了使用户能够观看到虚拟现实画面，在一些实施例中，虚拟现实设备500还可以在用户使用虚拟现实设备500时，在渲染场景中加载虚拟显示相机。其中，所述虚拟显示相机包括左眼相机和右眼相机，并将虚拟录屏相机设置在左眼相机和右眼相机之间的中部位置。
使用过程中，左眼相机可以模拟用户的左侧眼睛在渲染场景中拍摄左眼图像；右眼相机则以模拟用户的右侧眼睛在渲染场景中拍摄右眼图像，而虚拟录屏相机则对渲染场景进行图像拍摄，以获取录屏图像。由于虚拟录屏相机设置在左眼相机和右眼相机之间的中部位置上，因此虚拟录屏相机输出的录屏图像为更接近于用户直接看到的显示画面内容。
在启用渲染场景中的左眼相机和右眼相机以后，可以根据未平滑处理的用户姿态数据，设置左眼相机和右眼相机的拍摄角度，并通过左眼相机和右眼相机对渲染场景执行图像拍摄。可见，在本实施例中，姿态传感器检测的姿态数据可以复制为两份，其中一份执行平滑处理，并将处理后的姿态数据发送给虚拟录屏相机；另一份不执行平滑处理在，直接发送到左眼相机和右眼相机。
如图20所示，在一些实施例中，虚拟现实设备500还可以按照用户指定的形式输出录屏视频文件，即所述控制器被进一步配置为执行以下程序步骤：
S510：控制所述显示器显示录屏参数设置界面；
S520：接收用户通过所述录屏参数设置界面输入的录屏参数；
S530：按照所述录屏图像尺寸设置所述虚拟录屏相机的拍摄范围；
S540：按照所述录屏帧率设置所述虚拟录屏相机的录屏图像画面输出帧率。
为了指定录屏视频文件的输出形式，虚拟现实设备500可以在使用中显示录屏参数设置界面，用户可以通过用户参数界面执行交互动作输入录屏参数。例如，所述录屏参数包括录屏图像尺寸和录屏帧率，用户可以通过录屏参数设置界面上的文本输入框，输入录屏图像宽度1920和高度1080，以及通过拖动滚动条的方式，设置视频文件的帧率为60Hz，则可以控制虚拟现实设备500输出1920×1080画面尺寸、帧率为60Hz的录屏视频。
在用户输入录屏参数以后，虚拟现实设备500还可以根据用户输入的录屏参数对渲染场景中虚拟录屏相机的拍摄方式进行设置，拍摄方式设置可以包括两个方面，一方面为按照录屏图像尺寸设置虚拟录屏相机的拍摄范围，另一方面为按照录屏帧率设置虚拟录屏相机的录屏图像画面输出帧率。其中，拍摄范围可以通过调整虚拟录屏相机的位置、焦距等参数实现，使渲染场景中的主要内容影像充满录屏图像，从而获得更清晰的录屏图像画面。输出帧率即单位时间内，虚拟录屏相机所拍摄的图像数，输出帧率越高，则最终生成的视频画面越流畅，相应的生成文件时的数据处理量也越大。因此，输出帧率应控制在一个合理的范围内，如30Hz-120Hz。
需要说明的是，用户还可以通过录屏参数设置界面输入其他类型的录屏参数，例如，色彩范围、压缩方式、编码格式等。虚拟现实设备500可以按照设备所支持的录屏输出方式在录屏参数设置界面上设置相应的控制选项，以供用户选择输入。并且在用户输入录屏参数后，虚拟现实设备500则按照录屏参数指定的输出方式进行录屏操作，从而实现按照用户指定的形式输出录屏视频文件。即虚拟现实设备500可以逐帧提取在渲染场景中拍摄的录屏图像，并对多帧录屏图像执行编码，以生成录屏视频文件，最后存储或发送所述录屏视频文件。
基于上述虚拟现实设备500，在本申请的部分实施例中，还提供一种防抖动录屏方法，包括以下步骤：
S1：接收用户输入的用于开始录屏的控制指令；
S2：响应于所述控制指令，对所述用户姿态数据执行平滑处理；
S3：根据平滑处理后的用户姿态数据，在渲染场景中拍摄录屏图像，以在姿态变化量小于预设抖动阈值时，输出稳定拍摄角度的录屏图像画面。
由以上技术方案可知，上述实施例中提供的虚拟现实设备及防抖动录屏方法，可以在用户控制开始录屏后，对用户姿态数据执行平滑处理，根据平滑处理后的用户姿态数据，在渲染场景中拍摄录屏图像。所述方法可以通过滤波操作对细微摆动造成的用户姿态数据变化进行过滤，从而在姿态变化量小于预设抖动阈值时，输出稳定拍摄角度的录屏图像画面，缓解录屏时抖动影响。
在上述实施例中，虚拟现实设备500通过对用户姿态数据执行平滑处理，过滤录屏过程中的抖动影响。实际应用中，还可以通过对用户姿态数据的具体数值进行判断，从而在用户姿态数据变化较小时，通过锁定虚拟相机的拍摄角度，实现防抖效果。即在本申请的部分实施例中，还提供一种虚拟现实设备500，包括：显示器、姿态传感器以及控制器。其中，显示器被配置为显示用户界面，姿态传感器被配置为实时检测用户姿态数据；如图21所示，控制器被配置为执行以下程序步骤：
S610：接收用户输入的用于开始录屏的控制指令；
S620：响应于所述控制指令，通过所述姿态传感器获取用户姿态数据；
S630：根据所述用户姿态数据计算姿态变化量；
S640：根据所述姿态变化量从渲染场景中拍摄录屏图像，以在姿态变化量小于预设抖动阈值时，输出稳定拍摄角度的录屏图像画面。
与上述实施例相同，本实施例中虚拟现实设备500在接收到用户输入的录屏控制指令后，可以响应于该控制指令，通过姿态传感器获取用户姿态数据。但不同点在于，本实施例在获取用户姿态数据后，可以直接读取用户姿态数据中检测的角度数值，并根据角度数值计算姿态变化量。
其中，所述姿态变化量为用户姿态数据与前一帧录屏图像时的姿态数据的差值。例如，用户姿态数据为当前时刻倾斜角度在空间直角坐标系中的三轴分量，即θx、θy以及θz；而前一帧录屏图像时对应的姿态数据同样为前一帧时刻倾斜角度在空间直角坐标系中的三轴分量，即θx0、θy0以及θz0，因此，可以计算姿态变化量为(θx-θx0)，(θy-θy0)以及(θz-θz0)。
在计算姿态变化量以后，虚拟现实设备500可以对姿态变化量的具体数值进行判断，并在渲染场景中拍摄录屏图像，从而在姿态变化量小于预设抖动阈值时，输出稳定拍摄角度的录屏图像画面。通过对姿态变化量进行判断，虚拟现实设备500可以去除因抖动引起的姿态变化，从而在姿态变化量较小时，通过控制虚拟相机不改变拍摄角度，输出稳定拍摄角度的录屏图像。
例如，在计算得到姿态变化量以后，虚拟现实设备500可以对比姿态变化量与预设抖动阈值；如果姿态变化量小于或等于预设抖动阈值，则说明当前姿态变化量较小，很有可能是由于抖动造成，因此可以按照输出前一帧录屏图像时的姿态数据从渲染场景中拍摄录屏图像，以输出稳定拍摄角度的录屏图像画面；如果姿态变化量大于预设抖动阈值，则说明当前姿态变化量较大，姿态变化量是由用户在佩戴过程中的主动动作造成，因此可以按照获取的用户姿态数据从渲染场景中拍摄录屏图像。
需要说明的是，在本实施例中，虚拟现实设备500同样可以通过在渲染场景中加载虚拟录屏相机的方式实现对渲染场景的图像拍摄。并在执行图像拍摄的过程中，当姿态变化量小于预设抖动阈值时，不向虚拟录屏相机输入当前姿态数据，使虚拟录屏相机可以在前一帧姿态数据对应的拍摄角度下，完成当前帧图像拍摄，以输出稳定拍摄角度的录屏图像画面。当姿态变化量大于预设抖动阈值时，则直接将当期姿态数据发送给虚拟录屏相机，从而使虚拟录屏相机可以根据当前姿态数据调整拍摄角度，从而获取新视角下的录屏图像画面。
为了减少数据处理量，在部分实施例中，还可以间帧对比姿态数据，例如，虚拟现实设备500可以每间隔5帧获取一次姿态数据，并对不同获取次序之间的姿态变化量进行计算，从而在判断是否姿态变化量是否小于预设抖动阈值。
基于上述虚拟现实设备500，在本申请的部分实施例中还提供一种防抖动录屏方法，包括以下步骤：
S610：接收用户输入的用于开始录屏的控制指令；
S620：响应于所述控制指令，通过所述姿态传感器获取用户姿态数据；
S630：根据所述用户姿态数据计算姿态变化量，所述姿态变化量为用户姿态数据与前一帧录屏图像时的姿态数据的差值；
S640：根据所述姿态变化量从渲染场景中拍摄录屏图像，以在姿态变化量小于预设抖动阈值时，输出稳定拍摄角度的录屏图像画面。
由以上技术方案可知，上述实施例提供的虚拟现实设备500及防抖动录屏方法，可以在用户输入开始录屏的控制指令后，获取用户姿态数据，并根据用户姿态数据计算姿态变化量。当姿态变化量小于预设抖动阈值时，可以按照输出前一帧录屏图像时的姿态数据输出稳定拍摄角度的录屏图像画面，缓解录屏时抖动造成的影响。
本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种虚拟现实设备，其特征在于，包括：
显示器；
姿态传感器，被配置为实时检测用户姿态数据；
控制器，被配置为：
接收用户输入的用于开始录屏的控制指令；
响应于所述控制指令，对所述用户姿态数据执行平滑处理；
根据平滑处理后的用户姿态数据，在渲染场景中拍摄录屏图像，以在姿态变化量小于预设抖动阈值时，输出稳定拍摄角度的录屏图像画面。
2.根据权利要求1所述的虚拟现实设备，其特征在于，所述控制器被进一步配置为：
在渲染场景中加载虚拟录屏相机；
在接收到所述控制指令后，启动所述虚拟录屏相机；
根据平滑处理后的用户姿态数据，设置所述虚拟录屏相机的拍摄角度，以对所述渲染场景执行图像拍摄。
3.根据权利要求2所述的虚拟现实设备，其特征在于，所述控制器被进一步配置为：
在渲染场景中加载虚拟显示相机，所述虚拟显示相机包括左眼相机和右眼相机，所述虚拟录屏相机设置在所述左眼相机和所述右眼相机之间的中部位置；
根据未平滑处理的用户姿态数据，设置所述左眼相机和右眼相机的拍摄角度；
通过所述左眼相机和右眼相机对所述渲染场景执行图像拍摄。
4.根据权利要求2所述的虚拟现实设备，其特征在于，所述控制器被进一步配置为：
控制所述显示器显示录屏参数设置界面；
接收用户通过所述录屏参数设置界面输入的录屏参数；所述录屏参数包括录屏图像尺寸和录屏帧率；
按照所述录屏图像尺寸设置所述虚拟录屏相机的拍摄范围；
按照所述录屏帧率设置所述虚拟录屏相机的录屏图像画面输出帧率。
5.根据权利要求1所述的虚拟现实设备，其特征在于，对所述用户姿态数据执行平滑处理的步骤中，所述控制器被进一步配置为：
获取所述姿态传感器检测的用户姿态数据，所述用户姿态数据包括姿态传感器检测的角度在x轴、y轴和z轴上的分量；
提取输出前一帧录屏图像画面时的姿态数据；
根据所述用户姿态数据和输出前一帧录屏图像画面时的姿态数据，计算等效姿态数据。
6.根据权利要求5所述的虚拟现实设备，其特征在于，所述控制器按照下式计算所述等效姿态数据：
XK＝Xk-1+(XDM-Xk-1)/(TM-Tk-1)×c×(Tk-Tk-1)；
YK＝Yk-1+(YDM-Yk-1)/(TM-Tk-1)×c×(Tk-Tk-1)；
ZK＝Zk-1+(ZDM-Zk-1)/(TM-Tk-1)×c×(Tk-Tk-1)；
其中，XK、YK、ZK为输出第k帧录屏图像画面时在X轴、Y轴和Z轴方向上的角度；XK-1、YK-1、ZK-1为输出第k-1帧录屏图像画面时在X轴、Y轴和Z轴方向上的角度；XDM、YDM、YDM为Tk时间姿态传感器在X轴、Y轴和Z轴方向上检测的角度数据；TM为姿态传感器数据上报XDM、YDM、YDM数据的时间；Tk为第k帧的时间；Tk-1为第k-1帧的时间；c为介于0-1之间为经验值常数。
7.根据权利要求1所述的虚拟现实设备，其特征在于，根据平滑处理后的用户姿态数据，在渲染场景中拍摄录屏图像的步骤中，所述控制器被进一步配置为：
逐帧提取在渲染场景中拍摄的录屏图像；
对多帧录屏图像执行编码，以生成录屏视频文件；
存储或发送所述录屏视频文件。
8.一种虚拟现实设备，其特征在于，包括：
显示器；
姿态传感器，被配置为实时检测用户姿态数据；
控制器，被配置为：
接收用户输入的用于开始录屏的控制指令；
响应于所述控制指令，通过所述姿态传感器获取用户姿态数据；
根据所述用户姿态数据计算姿态变化量，所述姿态变化量为用户姿态数据与前一帧录屏图像时的姿态数据的差值；
根据所述姿态变化量从渲染场景中拍摄录屏图像，以在姿态变化量小于预设抖动阈值时，输出稳定拍摄角度的录屏图像画面。
9.根据权利要求8所述的虚拟现实设备，其特征在于，根据所述姿态变化量从渲染场景中拍摄录屏图像的步骤中，所述控制器被进一步配置为：
对比所述姿态变化量与预设抖动阈值；
如果所述姿态变化量小于或等于预设抖动阈值，按照输出前一帧录屏图像时的姿态数据从渲染场景中拍摄录屏图像，以输出稳定拍摄角度的录屏图像画面；
如果所述姿态变化量大于预设抖动阈值，按照获取的用户姿态数据从渲染场景中拍摄录屏图像。
10.一种防抖动录屏方法，其特征在于，应用于虚拟现实设备，所述虚拟现实设备包括显示器、姿态传感器以及控制器，所述防抖动录屏方法包括：
接收用户输入的用于开始录屏的控制指令；
响应于所述控制指令，对所述用户姿态数据执行平滑处理；
根据平滑处理后的用户姿态数据，在渲染场景中拍摄录屏图像，以在姿态变化量小于预设抖动阈值时，输出稳定拍摄角度的录屏图像画面。
CN202110280846.5A 2021-01-18 2021-03-16 一种虚拟现实设备及防抖动录屏方法 Active CN114302214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/135509 WO2022151864A1 (zh) 2021-01-18 2021-12-03 虚拟现实设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021100650156 2021-01-18
CN202110065015 2021-01-18

Publications (2)

Publication Number Publication Date
CN114302214A true CN114302214A (zh) 2022-04-08
CN114302214B CN114302214B (zh) 2023-04-18

Family

ID=76561582

Family Applications (7)

Application Number Title Priority Date Filing Date
CN202110097842.3A Active CN114286142B (zh) 2021-01-18 2021-01-25 一种虚拟现实设备及vr场景截屏方法
CN202110280846.5A Active CN114302214B (zh) 2021-01-18 2021-03-16 一种虚拟现实设备及防抖动录屏方法
CN202110284754.4A Pending CN114327700A (zh) 2021-01-18 2021-03-17 一种虚拟现实设备及截屏图片播放方法
CN202110292608.6A Pending CN114327034A (zh) 2021-01-18 2021-03-18 一种显示设备及录屏交互方法
CN202110290401.5A Active CN113064684B (zh) 2021-01-18 2021-03-18 一种虚拟现实设备及vr场景截屏方法
CN202110359636.5A Pending CN114296949A (zh) 2021-01-18 2021-04-02 一种虚拟现实设备及高清晰度截屏方法
CN202110980427.2A Pending CN113655887A (zh) 2021-01-18 2021-08-25 一种虚拟现实设备及静态录屏方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110097842.3A Active CN114286142B (zh) 2021-01-18 2021-01-25 一种虚拟现实设备及vr场景截屏方法

Family Applications After (5)

Application Number Title Priority Date Filing Date
CN202110284754.4A Pending CN114327700A (zh) 2021-01-18 2021-03-17 一种虚拟现实设备及截屏图片播放方法
CN202110292608.6A Pending CN114327034A (zh) 2021-01-18 2021-03-18 一种显示设备及录屏交互方法
CN202110290401.5A Active CN113064684B (zh) 2021-01-18 2021-03-18 一种虚拟现实设备及vr场景截屏方法
CN202110359636.5A Pending CN114296949A (zh) 2021-01-18 2021-04-02 一种虚拟现实设备及高清晰度截屏方法
CN202110980427.2A Pending CN113655887A (zh) 2021-01-18 2021-08-25 一种虚拟现实设备及静态录屏方法

Country Status (1)

Country Link
CN (7) CN114286142B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115665461A (zh) * 2022-10-13 2023-01-31 聚好看科技股份有限公司 一种视频录制方法及虚拟现实设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117398680A (zh) * 2022-07-08 2024-01-16 腾讯科技（深圳）有限公司 虚拟对象的显示方法、装置、终端设备及存储介质
CN115942049A (zh) * 2022-08-26 2023-04-07 北京博雅睿视科技有限公司 一种面向vr视频的视角切换方法、装置、设备及介质
CN115185594B (zh) * 2022-09-06 2023-01-06 湖北芯擎科技有限公司 基于虚拟显示的数据交互方法、装置、电子设备及介质
CN116795316B (zh) * 2023-08-24 2023-11-03 南京维赛客网络科技有限公司 投屏时小窗口播放场景内画面的方法、系统及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0342690A (ja) * 1989-07-10 1991-02-22 Konica Corp 画像形成装置
JP2010109876A (ja) * 2008-10-31 2010-05-13 Canon Inc 画像防振装置、撮像装置及び画像防振方法
JP2013172418A (ja) * 2012-02-22 2013-09-02 Nikon Corp 画像取り扱い装置およびカメラ
US20150326785A1 (en) * 2014-05-12 2015-11-12 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus, control method, and information processing system
US20160260251A1 (en) * 2015-03-06 2016-09-08 Sony Computer Entertainment Inc. Tracking System for Head Mounted Display
CN106020482A (zh) * 2016-05-30 2016-10-12 努比亚技术有限公司 一种控制方法、虚拟现实设备和移动终端
US20170064214A1 (en) * 2015-09-01 2017-03-02 Samsung Electronics Co., Ltd. Image capturing apparatus and operating method thereof
CN106843456A (zh) * 2016-08-16 2017-06-13 深圳超多维光电子有限公司 一种基于姿态追踪的显示方法、装置和虚拟现实设备
WO2017156742A1 (zh) * 2016-03-17 2017-09-21 深圳多哚新技术有限责任公司 一种基于虚拟现实的画面显示方法及相关设备
CN107678539A (zh) * 2017-09-07 2018-02-09 歌尔科技有限公司 用于头戴显示设备的显示方法及头戴显示设备
WO2018107679A1 (zh) * 2016-12-12 2018-06-21 华为技术有限公司 一种动态三维图像获取的方法和设备
CN108289220A (zh) * 2018-01-15 2018-07-17 深圳市奥拓电子股份有限公司 虚拟图像处理方法、图像处理系统及存储介质
CN108377381A (zh) * 2017-01-03 2018-08-07 黑帆科技有限公司 沉浸式vr视频渲染方法及装置
CN109952757A (zh) * 2017-08-24 2019-06-28 腾讯科技（深圳）有限公司 基于虚拟现实应用录制视频的方法、终端设备及存储介质
US20190251672A1 (en) * 2016-10-20 2019-08-15 Samsung Electronics Co., Ltd. Display apparatus and image processing method thereof
WO2019205851A1 (zh) * 2018-04-27 2019-10-31 腾讯科技（深圳）有限公司 位姿确定方法、装置、智能设备及存储介质
US20200244888A1 (en) * 2019-01-29 2020-07-30 Via Technologies, Inc. Encoding method, playing method and apparatus for image stabilization of panoramic video, and method for evaluating image stabilization algorithm

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5685079B2 (ja) * 2010-12-28 2015-03-18 任天堂株式会社 画像処理装置、画像処理プログラム、画像処理方法および画像処理システム
US8606645B1 (en) * 2012-02-02 2013-12-10 SeeMore Interactive, Inc. Method, medium, and system for an augmented reality retail application
CN113568506A (zh) * 2013-01-15 2021-10-29 超级触觉资讯处理有限公司 用于显示器控制和定制姿势解释的动态用户交互
CN103293957A (zh) * 2013-05-22 2013-09-11 上海新跃仪表厂 一种相对动坐标系进行路径规划的卫星姿态机动方法
US10306183B2 (en) * 2013-11-12 2019-05-28 Blrt Pty Ltd. Social media platform
KR20160034037A (ko) * 2014-09-19 2016-03-29 삼성전자주식회사 화면 캡쳐를 위한 방법 및 그 전자 장치
CN105704539A (zh) * 2016-02-15 2016-06-22 努比亚技术有限公司 视频共享装置及方法
CN105847672A (zh) * 2016-03-07 2016-08-10 乐视致新电子科技（天津）有限公司 虚拟现实头盔抓拍方法及系统
US10043302B2 (en) * 2016-04-18 2018-08-07 Beijing Pico Technology Co., Ltd. Method and apparatus for realizing boot animation of virtual reality system
CN105959666A (zh) * 2016-06-30 2016-09-21 乐视控股（北京）有限公司 一种虚拟现实系统中分享3d影像的方法和装置
CN106201259A (zh) * 2016-06-30 2016-12-07 乐视控股（北京）有限公司 一种虚拟现实系统中分享全景影像的方法和装置
CN106341603A (zh) * 2016-09-29 2017-01-18 网易（杭州）网络有限公司 用于虚拟现实环境的取景方法、装置以及虚拟现实设备
KR102434497B1 (ko) * 2017-02-03 2022-08-18 워너 브로스. 엔터테인먼트 인크. 가상 현실에서 확장 비디오의 렌더링
CN107590848A (zh) * 2017-09-29 2018-01-16 北京金山安全软件有限公司 一种图片生成方法、装置、电子设备及存储介质
CN108024079B (zh) * 2017-11-29 2021-08-03 Oppo广东移动通信有限公司 录屏方法、装置、终端及存储介质
CN108073346A (zh) * 2017-11-30 2018-05-25 深圳市金立通信设备有限公司 一种录屏方法、终端及计算机可读存储介质
CN107957836B (zh) * 2017-12-05 2020-12-29 Oppo广东移动通信有限公司 录屏方法、装置及终端
CN108733070A (zh) * 2018-04-11 2018-11-02 广州亿航智能技术有限公司 无人机控制方法及控制系统
CN109002248B (zh) * 2018-08-31 2021-07-20 歌尔光学科技有限公司 Vr场景截图方法、设备及存储介质
US10569164B1 (en) * 2018-09-26 2020-02-25 Valve Corporation Augmented reality (AR) system for providing AR in video games
CN109523462A (zh) * 2018-11-14 2019-03-26 北京奇艺世纪科技有限公司 一种vr视频截屏图像的获取方法及装置
CN110087123B (zh) * 2019-05-15 2022-07-22 腾讯科技（深圳）有限公司 视频文件制作方法、装置、设备及可读存储介质
CN110221795B (zh) * 2019-05-27 2021-10-22 维沃移动通信有限公司 一种屏幕录制方法及终端
CN110304270B (zh) * 2019-06-03 2021-01-05 宁波天擎航天科技有限公司 用于运载火箭的全方位发射控制方法、装置、计算机设备
CN110505471B (zh) * 2019-07-29 2021-09-14 青岛小鸟看看科技有限公司 一种头戴显示设备及其屏幕采集方法、装置
CN110874168A (zh) * 2019-09-30 2020-03-10 华为技术有限公司 一种显示方法及电子设备
CN110975277B (zh) * 2019-12-18 2024-01-12 网易（杭州）网络有限公司 增强现实游戏中信息处理的方法及装置、介质及电子设备
CN112188087B (zh) * 2020-09-10 2021-12-03 北京为快科技有限公司 一种全景视频的截图方法、装置、存储介质和计算机设备

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0342690A (ja) * 1989-07-10 1991-02-22 Konica Corp 画像形成装置
JP2010109876A (ja) * 2008-10-31 2010-05-13 Canon Inc 画像防振装置、撮像装置及び画像防振方法
JP2013172418A (ja) * 2012-02-22 2013-09-02 Nikon Corp 画像取り扱い装置およびカメラ
US20150326785A1 (en) * 2014-05-12 2015-11-12 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus, control method, and information processing system
US20160260251A1 (en) * 2015-03-06 2016-09-08 Sony Computer Entertainment Inc. Tracking System for Head Mounted Display
US20170064214A1 (en) * 2015-09-01 2017-03-02 Samsung Electronics Co., Ltd. Image capturing apparatus and operating method thereof
WO2017156742A1 (zh) * 2016-03-17 2017-09-21 深圳多哚新技术有限责任公司 一种基于虚拟现实的画面显示方法及相关设备
CN106020482A (zh) * 2016-05-30 2016-10-12 努比亚技术有限公司 一种控制方法、虚拟现实设备和移动终端
CN106843456A (zh) * 2016-08-16 2017-06-13 深圳超多维光电子有限公司 一种基于姿态追踪的显示方法、装置和虚拟现实设备
US20190251672A1 (en) * 2016-10-20 2019-08-15 Samsung Electronics Co., Ltd. Display apparatus and image processing method thereof
WO2018107679A1 (zh) * 2016-12-12 2018-06-21 华为技术有限公司 一种动态三维图像获取的方法和设备
CN108377381A (zh) * 2017-01-03 2018-08-07 黑帆科技有限公司 沉浸式vr视频渲染方法及装置
CN109952757A (zh) * 2017-08-24 2019-06-28 腾讯科技（深圳）有限公司 基于虚拟现实应用录制视频的方法、终端设备及存储介质
US20200023276A1 (en) * 2017-08-24 2020-01-23 Tencent Technology (Shenzhen) Company Limited Video recording method based on virtual reality application, terminal device, and storage medium
CN107678539A (zh) * 2017-09-07 2018-02-09 歌尔科技有限公司 用于头戴显示设备的显示方法及头戴显示设备
CN108289220A (zh) * 2018-01-15 2018-07-17 深圳市奥拓电子股份有限公司 虚拟图像处理方法、图像处理系统及存储介质
WO2019205851A1 (zh) * 2018-04-27 2019-10-31 腾讯科技（深圳）有限公司 位姿确定方法、装置、智能设备及存储介质
US20200244888A1 (en) * 2019-01-29 2020-07-30 Via Technologies, Inc. Encoding method, playing method and apparatus for image stabilization of panoramic video, and method for evaluating image stabilization algorithm

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗立宏等: "基于Cardinal的虚拟场景自动漫游算法", 《桂林工学院学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115665461A (zh) * 2022-10-13 2023-01-31 聚好看科技股份有限公司 一种视频录制方法及虚拟现实设备
CN115665461B (zh) * 2022-10-13 2024-03-22 聚好看科技股份有限公司 一种视频录制方法及虚拟现实设备

Also Published As

Publication number Publication date
CN113064684A (zh) 2021-07-02
CN114286142B (zh) 2023-03-28
CN114327700A (zh) 2022-04-12
CN113064684B (zh) 2023-03-21
CN114302214B (zh) 2023-04-18
CN113655887A (zh) 2021-11-16
CN114327034A (zh) 2022-04-12
CN114286142A (zh) 2022-04-05
CN114296949A (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
CN114302214B (zh) 一种虚拟现实设备及防抖动录屏方法
CN110636353B (zh) 一种显示设备
CN112732089A (zh) 一种虚拟现实设备及快捷交互方法
CN102511013A (zh) 摄像装置及其控制方法和程序
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
CN112073798B (zh) 一种数据传输方法及设备
WO2020248697A1 (zh) 显示设备及视频通讯数据处理方法
CN110365896A (zh) 一种控制方法及电子设备
JP2019512177A (ja) 装置および関連する方法
CN113066189B (zh) 一种增强现实设备及虚实物体遮挡显示方法
CN112929750B (zh) 一种摄像头调节方法及显示设备
CN114302221B (zh) 一种虚拟现实设备及投屏媒资播放方法
WO2022151864A1 (zh) 虚拟现实设备
CN112463267B (zh) 在显示设备屏幕上呈现屏保信息的方法及显示设备
WO2022193931A1 (zh) 一种虚拟现实设备及媒资播放方法
WO2022151882A1 (zh) 虚拟现实设备
CN116170624A (zh) 一种对象展示方法、装置、电子设备及存储介质
WO2020248682A1 (zh) 一种显示设备及虚拟场景生成方法
CN115129280A (zh) 一种虚拟现实设备及投屏媒资播放方法
CN112732088B (zh) 一种虚拟现实设备及单目截屏方法
CN114286077B (zh) 一种虚拟现实设备及vr场景图像显示方法
CN112905007A (zh) 一种虚拟现实设备及语音辅助交互方法
CN114327032A (zh) 一种虚拟现实设备及vr画面显示方法
CN114286077A (zh) 一种虚拟现实设备及vr场景图像显示方法
CN112667079A (zh) 一种虚拟现实设备及反向提示画面显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant