CN113655887A - 一种虚拟现实设备及静态录屏方法 - Google Patents

一种虚拟现实设备及静态录屏方法 Download PDF

Info

Publication number
CN113655887A
CN113655887A CN202110980427.2A CN202110980427A CN113655887A CN 113655887 A CN113655887 A CN 113655887A CN 202110980427 A CN202110980427 A CN 202110980427A CN 113655887 A CN113655887 A CN 113655887A
Authority
CN
China
Prior art keywords
screen recording
attitude data
data
real
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110980427.2A
Other languages
English (en)
Inventor
刘吉昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Publication of CN113655887A publication Critical patent/CN113655887A/zh
Priority to PCT/CN2021/135509 priority Critical patent/WO2022151864A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请提供一种虚拟现实设备及静态录屏方法，所述方法可以在用户输入开始录屏的控制指令后，对初始姿态数据和实时姿态数据进行检测，并计算实时姿态数据相对于初始姿态数据的动作判断量，其中，动作判断量为实时姿态数据与初始姿态数据角度差大于预设角度阈值的累积时间。当动作判断量未超出预设判断阈值时，使用初始姿态数据设置录屏视角方向，以生成包含稳定的视频内容的录屏数据；而当动作判断量超出预设判断阈值时，可以使用实时姿态数据更新录屏视角方向。所述方法可以综合角度变化和时间维持的状态，精确判断用户姿态数据的变化原因，智能锁定或解锁录屏视角，使输出的视频画面更加稳定。

Description

一种虚拟现实设备及静态录屏方法
本申请要求在2021年1月18日提交中国专利局、申请号为202110065015.6、发明名称为“一种虚拟现实设备及快捷交互方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种虚拟现实设备及静态录屏方法。
背景技术
虚拟现实(Virtual Reality，VR)技术是通过计算机模拟虚拟环境，从而给人以环境沉浸感的显示技术。虚拟现实设备是一种应用虚拟显示技术为用户呈现虚拟画面的设备。通常，虚拟现实设备包括两个用于呈现虚拟画面内容的显示屏幕，分别对应于用户的左右眼。当两个显示屏幕所显示的内容分别来自于同一个物体不同视角的图像时，可以为用户带来立体的观影感受。
虚拟现实设备可以通过执行录屏操作，将一段时间内显示的内容以视频形式进行保存，以供后续查看或者发送至其他设备播放。通常，虚拟现实设备在执行录屏操作时，会直接将屏幕显示的内容按照特定的帧率进行截取，并按照时间顺序排列形成视频文件。
但是由于虚拟现实设备在使用中需要佩戴在用户的头部，跟随用户的头部姿态实时更新画面。头部的细微摆动，如呼吸动作等，都会导致显示画面跟随变化。因此，录屏操作获得的画面存在频繁抖动问题，降低录屏质量。
发明内容
本申请提供了一种虚拟现实设备及静态录屏方法，以解决传统录屏方法获得的视频画面存在频繁抖动的问题。
一方面，本申请提供一种虚拟现实设备，包括：显示器、姿态传感器和控制器。其中，所述显示器被配置为显示虚拟现实设备画面；所述姿态传感器被配置为检测用户姿态数据；所述控制器被配置为执行以下程序步骤：
接收用户输入的用于开始录屏的控制指令；
响应于所述控制指令，获取初始姿态数据和实时姿态数据，所述初始姿态数据为在所述控制指令的输入时刻记录的用户姿态数据；所述实时姿态数据为在接收所述控制指令后通过所述姿态传感器持续检测的用户姿态数据；
计算动作判断量，所述动作判断量为所述实时姿态数据与所述初始姿态数据的角度差大于预设角度阈值状态的累积时间；
如果所述动作判断量小于或等于预设判断阈值，使用所述初始姿态数据设置录屏视角方向，以生成录屏数据；
如果所述动作判断量大于所述预设判断阈值，使用所述实时姿态数据更新所述录屏视角方向。
另一方面，本申请还提供一种静态录屏方法，应用于上述第一方面提供的虚拟现实设备，所述静态录屏方法包括以下步骤：
接收用户输入的用于开始录屏的控制指令；
响应于所述控制指令，获取初始姿态数据和实时姿态数据，所述初始姿态数据为在所述控制指令的输入时刻记录的用户姿态数据；所述实时姿态数据为在接收所述控制指令后通过所述姿态传感器持续检测的用户姿态数据；
计算动作判断量，所述动作判断量为所述实时姿态数据与所述初始姿态数据角度差大于预设角度阈值的累积时间；
如果所述动作判断量小于或等于预设判断阈值，使用所述初始姿态数据设置录屏视角方向，以生成录屏数据；
如果所述动作判断量大于所述预设判断阈值，使用所述实时姿态数据更新所述录屏视角方向。
由以上技术方案可知，本申请提供的虚拟现实设备及静态录屏方法可以在用户输入开始录屏的控制指令后，对初始姿态数据和实时姿态数据进行检测，并计算实时姿态数据相对于初始姿态数据的动作判断量，其中，动作判断量为实时姿态数据与初始姿态数据角度差大于预设角度阈值的累积时间。当动作判断量未超出预设判断阈值时，可确定用户姿态数据的变化是由用户无意识的小动作引起，则可以仍旧使用初始姿态数据设置录屏视角方向，以生成包含稳定的视频内容的录屏数据；而当动作判断量超出预设判断阈值时，则确定用户姿态数据的变化是由用户的主动动作引起，因此可以使用实时姿态数据更新录屏视角方向。所述方法可以综合角度变化和时间维持的状态，精确判断用户姿态数据的变化原因，智能锁定或解锁录屏视角，使输出的视频画面更加稳定。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中包括虚拟现实设备的显示系统结构示意图；
图2为本申请实施例中VR场景全局界面示意图；
图3为本申请实施例中全局界面的推荐内容区域示意图；
图4为本申请实施例中全局界面的应用快捷操作入口区域示意图；
图5为本申请实施例中全局界面的悬浮物示意图；
图6为本申请实施例中通过状态栏进入快捷中心示意图；
图7为本申请实施例中快捷中心窗口示意图；
图8为本申请实施例中通过按键进入快捷中心示意图；
图9为本申请实施例中开始录屏示意图；
图10为本申请实施例中录屏过程中界面示意图；
图11为本申请实施例中静态录屏方法流程示意图；
图12为本申请实施例中静态录屏方法时序关系示意图；
图13为本申请实施例中录屏设置界面示意图；
图14为本申请实施例中根据录屏方式设置录屏视角方向的流程示意图；
图15为本申请实施例中渲染场景中虚拟录屏相机示意图；
图16为本申请实施例中设置录屏相机拍摄角度示意图；
图17为本申请实施例中通过累计帧数确定动作判断量流程示意图；
图18为本申请实施例中根据计数变量调整录屏方向的流程示意图；
图19为本申请实施例中间隔提取多帧用户姿态数据时的流程示意图。
具体实施方式
为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。
应当理解，本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
本说明书通篇提及的“多个实施例”、“一些实施例”、“一个实施例”或“实施例”等，意味着结合该实施例描述的具体特征、结构或特性包括在至少一个实施例中。因此，本说明书通篇出现的短语“在多个实施例中”、“在一些实施例中”、“在至少另一个实施例中”或“在实施例中”等并不一定都指相同的实施例。此外，在一个或多个实施例中，具体特征、结构或特性可以任何合适的方式进行组合。因此，在无限制的情形下，结合一个实施例示出或描述的具体特征、结构或特性可全部或部分地与一个或多个其他实施例的特征、结构或特性进行组合。这种修改和变型旨在包括在本申请的范围之内。
本申请实施例中，所述虚拟现实设备500泛指能够佩戴于用户面部，为用户提供沉浸感体验的显示设备，包括但不限于VR眼镜、增强现实设备(Augmented Reality，AR)、VR游戏设备、移动计算设备以及其它可穿戴式计算机等。本申请部分实施例以VR眼镜为例对技术方案进行阐述，应当理解的是，所提供的技术方案同时可应用于其他类型的虚拟现实设备。所述虚拟现实设备500可以独立运行，或者作为外接设备接入其他智能显示设备，其中，所述显示设备可以是智能电视、计算机、平板电脑、服务器等。
虚拟现实设备500可以在佩戴于用户面部后，显示媒资画面，为用户双眼提供近距离影像，以带来沉浸感体验。为了呈现媒资画面，虚拟现实设备500可以包括多个用于显示画面和面部佩戴的部件。以VR眼镜为例，虚拟现实设备500可以包括但不限于外壳、位置固定件、光学系统、显示组件、姿态检测电路、接口电路等部件中的至少一种。实际应用中，光学系统、显示组件、姿态检测电路以及接口电路可以设置于外壳内，以用于呈现具体的显示画面；外壳两侧连接位置固定连接件，以佩戴于用户头部。
在使用时，姿态检测电路中内置有重力加速度传感、陀螺仪等姿态检测元件，当用户头部移动或转动时，可以检测到用户的姿态，并将检测到的姿态数据传递给控制器等处理元件，使处理元件可以根据检测到的姿态数据调整显示组件中的具体画面内容。
在一些实施例中，如图1所示的虚拟现实设备500可以接入显示设备200，并与服务器400之间构建一个基于网络的显示系统，在虚拟现实设备500、显示设备200以及服务器400之间可以实时进行数据交互，例如显示设备200可以从服务器400获取媒资数据并进行播放，以及将具体的画面内容传输给虚拟现实设备500中进行显示。
其中，显示设备200可以是液晶显示器、OLED显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上一些改变。显示设备200可以提供广播接收电视功能，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视(IPTV)等。
显示设备200以及虚拟现实设备500还与服务器400通过多种通信方式进行数据通信。可允许显示设备200和虚拟现实设备500通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的，显示设备200通过发送和接收信息，以及电子节目指南(EPG)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。
在进行数据交互的过程中，用户可通过移动终端300和遥控器100操作显示设备200。移动终端300和遥控器100可以与显示设备200之间采用直接的无线连接方式进行通信，也可以采用非直接连接的方式进行通信。即在一些实施例中，移动终端300和遥控器100可以通过蓝牙、红外等直接连接方式与显示设备200进行通信。当发送控制指令时，移动终端300和遥控器100可以直接将控制指令数据通过蓝牙或红外发送到显示设备200。
在另一些实施例中，移动终端300和遥控器100还可以通过无线路由器与显示设备200接入同一个无线网络，以通过无线网络与显示设备200建立非直接连接通信。当发送控制指令时，移动终端300和遥控器100可以将控制指令数据先发送给无线路由器，再通过无线路由器将控制指令数据转发给显示设备200。
在一些实施例中，用户还可以使用移动终端300和遥控器100还可以直接与虚拟现实设备500进行交互，例如，可以将移动终端300和遥控器100作为虚拟现实场景中的手柄进行使用，以实现体感交互等功能。
在一些实施例中，虚拟现实设备500的显示组件包括显示屏幕以及与显示屏幕有关的驱动电路。为了呈现具体画面，以及带来立体效果，显示组件中可以包括两个显示屏幕，分别对应于用户的左眼和右眼。在呈现3D效果时，左右两个屏幕中显示的画面内容会稍有不同，可以分别显示3D片源在拍摄过程中的左相机和右相机。由于用户左右眼观察到的画面内容，因此在佩戴时，可以观察到立体感较强的显示画面。
虚拟现实设备500中的光学系统，是由多个透镜组成的光学模组。光学系统设置在用户的双眼与显示屏幕之间，可以通过透镜对光信号的折射以及透镜上偏振片的偏振效应，增加光程，使显示组件呈现的内容可以清晰的呈现在用户的视野范围内。同时，为了适应不同用户的视力情况，光学系统还支持调焦，即通过调焦组件调整多个透镜中的一个或多个的位置，改变多个透镜之间的相互距离，从而改变光程，调整画面清晰度。
虚拟现实设备500的接口电路可以用于传递交互数据，除上述传递姿态数据和显示内容数据外，在实际应用中，虚拟现实设备500还可以通过接口电路连接其他显示设备或外设，以通过和连接设备之间进行数据交互，实现更为复杂的功能。例如，虚拟现实设备500可以通过接口电路连接显示设备，从而将所显示的画面实时输出至显示设备进行显示。又例如，虚拟现实设备500还可以通过接口电路连接手柄，手柄可以由用户手持操作，从而在VR用户界面中执行相关操作。
其中，所述VR用户界面可以根据用户操作呈现为多种不同类型的UI布局。例如，用户界面可以包括全局界面，AR/VR终端启动后的全局UI如图2所示，所述全局UI可显示于AR/VR终端的显示屏幕中，也可显示于所述显示设备的显示器中。全局UI可以包括推荐内容区域1、业务分类扩展区域2、应用快捷操作入口区域3以及悬浮物区域4。
推荐内容区域1用于配置不同分类TAB栏目；在所述栏目中可以选择配置媒资、专题等；所述媒资可包括2D影视、教育课程、旅游、3D、360度全景、直播、4K影视、程序应用、游戏、旅游等具有媒资内容的业务，并且所述栏目可以选择不同的模板样式、可支持媒资和专题同时推荐编排,如图3所示。
在一些实施例中，推荐内容区域1的顶部还可以设置有状态栏，在状态栏中可以设置有多个显示控件，包括时间、网络连接状态、电量等常用选项。状态栏中包括的内容可以由用户自定义，例如，可以添加天气、用户头像等内容。状态栏中所包含的内容可以被用户选中，以执行相应的功能。例如，用户点击时间选项时，虚拟现实设备500可以在当前界面中显示时间设备窗口，或者跳转至日历界面。当用户点击网络连接状态选项时，虚拟现实设备500可以在当前界面显示WiFi列表，或者跳转至网络设置界面。
状态栏中显示的内容可以根据具体项目的设置状态呈现为不同的内容形式。例如，时间控件可以直接显示为具体的时间文字信息，并在不同的时间显示不同的文字；电量控件则可以根据虚拟现实设备500的当前电量剩余情况，显示为不同的图案样式。
状态栏用于使用户能够执行常用的控制操作，实现快速对虚拟现实设备500进行设置。由于对虚拟现实设备500的设置程序包括诸多项，因此在状态栏中通常不能将所有常用设置选项全部显示。为此，在一些实施例中，状态栏中还可以设置有扩展选项。扩展选项被选中后，可以在当前界面中呈现扩展窗口，在扩展窗口中可以进一步设置有多个设置选项，用于实现虚拟现实设备500的其他功能。
例如，在一些实施例中，扩展选项被选中后，可以在扩展窗口中设置“快捷中心”选项。用户在点击快捷中心选项后，虚拟现实设备500可以显示快捷中心窗口。快捷中心窗口中可以包括“截屏”、“录屏”以及“投屏”选项，用于分别唤醒相应的功能。
业务分类扩展区域2支持配置不同分类的扩展分类。如果有新的业务类型时，支持配置独立TAB，展示对应的页面内容。业务分类扩展区域2中的扩展分类，也可以对其进行排序调整及下线业务操作。在一些实施例中，业务分类扩展区域2可包括的内容：影视、教育、旅游、应用、我的。在一些实施例中，业务分类扩展区域2被配置为可展示大业务类别TAB，且支持配置更多的分类，其图标支持配置，如图3所示。
应用快捷操作入口区域3可指定预装应用靠前显示以进行运营推荐，支持配置特殊图标样式替换默认图标，所述预装应用可指定为多个。在一些实施例中，应用快捷操作入口区域3还包括用于移动选项目标的左向移动控件、右向移动控件，用于选择不同的图标，如图4所示。
悬浮物区域4可以配置为在固定区域左斜侧上方、或右斜侧上方，可配置为可替换形象、或配置为跳转链接。例如，悬浮物接收到确认操作后跳转至某个应用、或显示指定的功能页，如图5所示。在一些实施例中，悬浮物也可不配置跳转链接，单纯的用于形象展示。
在一些实施例中，全局UI还包括位于顶端的状态栏，用于显示时间、网络连接状态、电量状态、及更多快捷操作入口。使用AR/VR终端的手柄，即手持控制器选中图标后，图标将显示包括左右展开的文字提示，选中的图标按照位置自身进行左右拉伸展开显示。
例如，选中搜索图标后，搜索图标将显示包含文字“搜索”及原图标，进一步点击图标或文字后，搜索图标将跳转至搜索页面；又例如，点击收藏图标跳转至收藏TAB、点击历史图标默认定位显示历史页面、点击搜索图标跳转至全局搜索页面、点击消息图标跳转至消息页面。
在一些实施例中，可以通过外设执行交互，例如AR/VR终端的手柄可对AR/VR终端的用户界面进行操作，包括返回按钮；主页键，且其长按可实现重置功能；音量加减按钮；触摸区域，所述触摸区域可实现焦点的点击、滑动、按住拖拽功能。
用户可以通过全局UI界面执行交互操作，并在部分交互模式下，跳转到特定的界面中。例如，为了实现对媒资数据的播放，用户可以通过在全局UI界面中点击任一媒资链接图标，启动播放该媒资链接对应的媒资文件，此时，虚拟现实设备500可以控制跳转至媒资播放界面。
在跳转至特定的界面后，虚拟现实设备500还可以在播放界面的顶部显示状态栏，并依据设定的交互方式执行相应的设置功能。例如，如图6所示，在虚拟现实设备500播放视频媒资时，用户若想要对媒资画面执行录屏操作，可以通过点击状态栏上的扩展选项，调出扩展窗口，并在扩展窗口中点击快捷中心选项，使虚拟现实设备500在播放界面上显示快捷中心窗口如图7所示，最后点击扩展中心窗口中的“录屏”选项，使虚拟现实设备500执行录屏操作，对当前时刻之后的一段时间内所显示的画面以视频方式进行存储。
其中，状态栏可以在虚拟现实设备500播放媒资画面时隐藏，以避免对媒资画面造成遮挡。而当用户执行特定交互动作时，触发显示。例如，在用户未使用手柄执行动作时，可以对状态栏进行隐藏，而在用户使用手柄执行动作时，显示状态栏。为此，虚拟现实设备500可以被配置为在播放媒资画面时对手柄中的方位传感器状态或者任一按钮的状态进行检测，当检测到方位传感器的检测值发生变化，或者按钮被按下时，可以控制在播放界面顶部显示状态栏。当检测到方位传感器在设定的时间内没有发生变化，或者按钮没有被按下，则控制在播放界面隐藏状态栏。
可见，上述实施例中，用户可以通过状态栏调出快捷中心，从而在快捷中心窗口中点击相应的选项来完成截屏、录屏以及投屏操作。还可以采用其他交互方式调用快捷中心，并显示快捷中心窗口。例如，如图8所示，用户可以通过双击手柄上的home键调用快捷中心窗口。
用户可以在快捷中心窗口中选择任一图标后，启动相应的功能。其中，相应的功能的启动方式，可以根据虚拟现实设备500的实际交互方式确定。例如，如图9所示，用户在调出快捷中心窗口后，可以通过手柄向下移动，用户可以通过在快捷中心窗口中选择“录屏”图标，以控制虚拟现实设备500启动录屏功能。在启动录屏功能以后，虚拟现实设备500可以对所显示的画面内容逐帧进行保存，以输出视频文件。具体的录屏范围也可以根据不同的使用场景设定。
例如，对于媒资播放过程，用户可以选择仅对播放的媒资画面执行录制，或者对整个显示内容执行录屏。对于仅对播放的媒资画面执行录屏的情形，虚拟现实设备500可以通过获取未经过渲染引擎渲染3D场景的媒资数据(即解析视频文件获得的数据)，并将其复制，以输出录屏结果。而对于整个显示内容执行录屏的情形，虚拟现实设备500可以对显示器显示的最终画面逐帧进行截屏，以获得多个连续的截屏图像，从而形成视频文件，输出录屏结果。
为了表示当前虚拟现实设备500正在执行录屏操作，在启动录屏功能后，虚拟现实设备500可以在播放界面中显示录屏相关的提示内容。例如，如图10所示，可以在播放界面的右上角区域显示一个常驻的录制符号，该录制符号可以由可闪烁的圆点和时间框组成，当执行录制功能时，圆点通过闪烁来提醒用户正在进行录屏，时间框可以记录录屏获得的视频时长。
需要说明的是，对于录制符号，可以选择是否添加在录屏结果文件中。当选择添加在视频文件中时，可以在录屏视频的右上角区域也显示录制符号，用于标注视频播放进程。当选择不添加在录屏结果文件中时，则在录屏视频中不会带有录制符号。显然，这两种方式在屏幕录制的过程中，需要执行不同的录制程序。即添加录制符号时，虚拟现实设备500需要对所有图层内容叠加结果进行逐帧截取；而不添加录制符号时，虚拟现实设备500不对最顶层的图层执行屏幕截取，而是对最顶层以下的其他图层内容叠加结果进行逐帧截取。
用户通过上述交互操作启动录屏操作后，虚拟现实设备500可以录屏程序，对当前显示的画面执行录屏操作，将左显示器或右显示器显示的VR画面进行保存。在录屏操作的过程中，用户可以继续使用虚拟现实设备500，以通过虚拟现实设备500观看不同视角的视频画面。此时，录屏操作获得的视频画面也随着用户的继续使用而跟随用户的交互动作变化。
即姿态传感器可以检测用户的运动过程，以生成用户姿态数据。再将生成的用户姿态数据传输给控制器，以使控制器可以根据用户姿态数据调整左显示器和右显示器中的画面内容。但是，由于虚拟现实设备500需要佩戴在用户的的头部，因此在佩戴过程中，当在录屏过程中用户头部发生无意识的轻微运动时，姿态传感器也会将无意识的轻微运动进行检测，并触发控制器调整显示的VR画面内容。这些无意识的轻微运动将会导致录屏获得视频画面出现频繁晃动，降低录屏输出画面的画面质量。
为了提高录屏输出画面的画面质量，在本申请的部分实施例中提供一种静态录屏方法，所述静态录屏方法可以应用于虚拟现实设备500，也可以应用于带有相同功能硬件的增强现实设备、可穿戴设备、VR游戏设备等头戴设备。为了使虚拟现实设备500能够实施所述静态录屏方法，所述虚拟现实设备500应至少包括显示器、姿态传感器和控制器。其中，显示器包括左显示器和右显示器分别用于显示虚拟现实画面，以向用户的左右眼展示不同视角上的画面内容，形成3D效果。姿态传感器可以包括重力传感器、陀螺仪等，用于检测用户姿态数据。控制器则被配置为执行静态录屏方法对应的应用程序，以实现静态录屏功能，如图11、图12所示，具体包括以下内容：
接收用户输入的用于开始录屏的控制指令。用户在使用虚拟现实设备500过程中，可以通过虚拟现实设备500上的按键、触摸区域执行交互操作，也可以通过虚拟现实设备500配套的交互装置，如体感装置、手柄等，执行交互操作。不同的交互操作可以对应触发虚拟现实设备500执行不同的控制程序。
例如，用户可以通过虚拟现实设备500上的方向键控制所呈现画面中焦点光标进行移动，当用户控制焦点光标移动至选中“录屏”功能的按钮控件后，可以触发虚拟现实设备500执行录屏功能。即虚拟现实设备500可以在用户基于用户界面上的交互操作，触发接收到用于开始录屏的控制指令。
用于开始录屏的控制指令可以通过特定的窗口或界面完成输入。例如，用户可以在任一界面呼出上述实施例中提供的“快捷中心”窗口，并在快捷中心窗口中点击“录屏”选项，以使虚拟现实设备500接收到用于开始录屏的控制指令。
用于开始录屏的控制指令还可以通过组合快捷键输入，使用户在当前显示的界面中不包含“录屏”按钮控件时，也能够触发执行录屏交互操作。例如，虚拟现实设备500可以设置录屏功能的快捷键为同时长按电源键和音量“+”键。当用户输入该快捷操作指令时，可以表示用户输入了用于开始录屏的控制指令。
此外，针对部分虚拟现实设备500，用户还可以借助其他交互设备或交互系统完成控制指令的输入。例如，可以在虚拟现实设备500中内置智能语音系统，用户可以通过麦克风等音频输入设备输入语音信息，如“开始录屏”等。智能语音系统通过对用户语音信息进行转化、分析、处理等方式识别语音信息的含义，并根据识别结果生成控制指令，以控制虚拟现实设备500执行录屏操作。
在用户输入用于开始录屏的控制指令后，虚拟现实设备500可以响应于所述控制指令，获取初始姿态数据和实时姿态数据。其中，所述初始姿态数据为在控制指令的输入时刻记录的用户姿态数据；所述实时姿态数据为在接收控制指令后通过姿态传感器持续检测的用户姿态数据。
例如，当用户通过快捷中心窗口点击“录屏”选项后，虚拟现实设备500可以启动录屏相关程序。通过执行录屏相关程序，虚拟现实设备500可以通过姿态传感器检测当前的用户姿态数据，并对用户输入控制指令时刻的用户姿态数据进行记录，作为初始姿态数据。开始录屏后，用户可以继续在佩戴虚拟现实设备500的状态下，从事有意识或无意识的动作。此时，姿态传感器会将用户动作引起的姿态数据变化进行检测，以用于调整显示的VR画面。因此，在用户输入控制指令后，虚拟现实设备500还可以逐帧检测用户姿态数据，获得实时姿态数据。
检测初始姿态数据和实时姿态数据后，虚拟现实设备500可以根据检测的数据内容进行计算，以计算出动作判断量。其中，所述动作判断量为实时姿态数据与初始姿态数据角度差大于预设角度阈值的累积时间。
虚拟现实设备500在获取初始姿态数据和实时姿态数据后，可以先根据实时姿态数据与初始姿态数据进行角度差计算，即计算出用户动作过程所对应的视角方向变化量。在一些实施例中，为了计算出实时姿态数据与初始姿态数据之间的角度差，虚拟现实设备500可以在计算动作判断量的过程中，先提取初始姿态数据的方向四元数A(w0，x0，y0，z0)以及提取实时姿态数据中的方向四元数B(w，x，y，z)。再对初始姿态数据的方向四元数A取逆运算，得到逆矩阵A-1，即A-1＝(w0，x0，y0，z0)-1。计算实时姿态数据中的方向四元数B与逆矩阵A-1的乘积，以获得姿态差C，在计算获得姿态差C以后，还可以对姿态差C对应的四元数进行归一化处理，从而根据姿态差C计算角度差。其中，角度差θ按照下式计算获得：
θ＝arccos(C·w)*2；
式中，θ表示角度差；C表示姿态差，即C＝B*A-1；w表示实时姿态数据对应四元数B(w，x，y，z)中的第一元素值。
经过上述计算，可以获得角度差θ，由于上述角度差通过弧度表示，与用户习惯上的角度表示方式不相符，因此在计算获得角度差θ后，虚拟现实设备500还可以将弧度表示转换为角度表示，即角度差α＝θ*180/π。
由于在实际佩戴过程中，用户无意识的动作一般幅度较小，因此计算获得角度差后，虚拟现实设备500可以针对计算获得的角度差进行判断，确定角度差是否超过预先设置的角度判断阈值。即虚拟现实设备500可以对比角度差α与预设角度阈值α0。如果角度差大于预设角度阈值，即α＞α0，则当前实时姿态数据对应的用户动作很有可能为用户的无意识动作。同理，如果角度差小于或等于预设角度阈值，即α≤α0，则当前实时姿态数据对应的用户动作可能为用户的主动动作。
此外，用户无意识的动作还具有动作持续时间较短的特点。因此虚拟现实设备500可以在确定角度差大于预设角度阈值后，再对角度差大于预设角度阈值所持续的时间进行检测，从而根据角度差大于预设角度阈值的累积时间进一步确定用户的动作是否为无意识动作。即在一些实施例中，虚拟现实设备500可以按照姿态传感器的采样频率获取多个连续帧实时姿态数据，并针对每一帧实时姿态数据进行计算，以确定每一帧实时姿态数据与初始姿态数据之间的角度差。
再分别判断多帧实时姿态数据对应的角度差是否超出预设角度阈值，从而确定角度差超出预设角度阈值状态所持续的时间，即动作判断量。如果动作判断量小于或等于预设判断阈值，即角度差超出预设角度阈值状态所持续的时间较短，在此次检测周期内的用户姿态变化为用户无意识动作导致，因此虚拟现实设备500可以锁定录屏视角，即在此期间使用初始姿态数据设置录屏视角方向，以生成稳定状态的录屏数据。
同理，如果动作判断量大于预设判断阈值，即角度差超出预设角度阈值状态所持续的时间较长，在此次检测周期内的用户姿态变化为用户的主动动作导致，因此虚拟现实设备500可以跟随用户动作，将录屏视角方向拉齐到新角度，即使用实时姿态数据更新录屏视角方向。
例如，虚拟现实设备500可以设定角度阈值为20°，设定判断阈值为1.5s，即用户动作导致的角度差超过20°的状态持续1.5s以上，认定当前实时姿态数据由用户的主动动作导致。因此，在计算确定角度差超过20°的状态持续1.5s以上后，虚拟现实设备500可以将录屏角度拉齐到新的角度，即最新一帧实时姿态数据对应的角度，继续进行录屏。而在计算确定角度差始终未超过20°，或者角度差超过20°的状态未持续1.5s以上后，虚拟现实设备500可以始终保持在初始角度进行录屏操作，即按照用户输入控制指令时的初始姿态数据对应的角度设置录屏方向。
需要说明的是，虚拟现实设备500在确定动作判断量大于预设判断阈值，并使用实时姿态数据更新录屏视角方向以后，虚拟现实设备500进入下一个检测周期，即虚拟现实设备500可以将用于更新录屏视角方向的实时姿态数据(wn，xn，yn，zn)作为下一个检测周期的初始姿态数据，并在下一个检测周期内，使用新检测的实时姿态数据(wn+1，xn+1，yn+1，zn+1)、(wn+2，xn+2，yn+2，zn+2)……与下一个检测周期内的初始姿态数据(wn，xn，yn，zn)进行角度差以及角度差超出角度阈值状态累积时间的计算。依次类推，虚拟现实设备500就可以通过多个检测周期，在维持录屏输出画面的稳定的前提下，不断拉齐用户动作对应的角度，完成录屏操作。
由以上技术方案可知，上述实施例中提供的静态录屏方法能够综合角度变化和时间维持的状态，精确判断用户姿态数据的变化原因，智能锁定或解锁录屏视角，使输出的视频画面更加稳定。
为了满足不同用户对录屏效果的不同需求，在一些实施例中，静态录屏功能可以作为一种录屏模式，并设置在特定的控制界面中供用户选择。例如，如图13所示，虚拟现实设备500的录屏控制界面中可以设置“静态录屏”选项和“动态录屏”选项。用户可以通过点击不同的选项，设置录屏过程所采用的录屏方式。为此，如图14所示，虚拟现实设备500可以在用户输入用于开始录屏的控制指令后，响应于控制指令，解析控制指令中指定的录屏方式。
其中，所述录屏方式可以包括静态录屏和动态录屏两种方式。即当用户在录屏设置界面中选中静态录屏选项时，其输入的控制指令中指定的录屏方式为静态录屏；同理，当用户在录屏设置界面中选中动态录屏选项时，其输入的控制指令中指定的录屏方式为动态录屏。
虚拟现实设备500可以针对不同的录屏方式，执行不同的录屏过程。即如果录屏方式为静态录屏，则执行获取初始姿态数据和实时姿态数据的步骤，并按照上述实施例中提供的方式，根据初始姿态数据和实时姿态数据计算动作判断量，并根据不同的动作判断量设置不同的录屏方式。如果录屏方式为动态录屏，则虚拟现实设备500可以按照常规的录屏方式，通过姿态传感器检测实时姿态数据，并使用实时姿态数据设置录屏视角方向，取消录屏过程中虚拟现实设备500对录屏视角的锁定，生成与用户观看内容相同的录屏数据。
可见，在上述实施例中，虚拟现实设备500可以通过提供录屏设置界面，使用户能够基于录屏设置界面选择静态录屏或动态录屏方式，使虚拟现实设备500能够满足不同用户的个性化需求。
需要说明的是，为了使控制指令中带有不同的录屏方式，虚拟现实设备500中还可以设置不同录屏方式对应不同的交互操作。例如，用户可以通过不同的快捷键组合形式表示不同的录屏方式。即通过同时长按电源键和音量“+”键，控制虚拟现实设备500按照静态录屏的方式进行录屏操作；而通过同时长按电源键和音量“-”键，控制虚拟现实设备500按照动态录屏的方式进行录屏操作。
虚拟现实设备500在进行录屏过程中，可以根据VR画面实时生成录屏画面并输出录屏数据。录屏画面对应的画面内容可以与虚拟现实设备500显示的画面相同，例如，录屏画面可以直接复用左显示器或右显示器显示的画面内容。但由于静态录屏方式需要在用户无意识的小幅度、短暂动作时对录屏角度进行锁定，而为了提供更好的沉浸感体验，左显示器和右显示器所显示的画面是实时跟随用户姿态变换视角的，因此没有频繁抖动的录屏画面内容会与用户实际观看到的画面内容存在着部分差别。
为了满足静态录屏需要，在一些实施例中，虚拟现实设备500可以设置独立的、专门用于录屏操作的虚拟录屏相机，并通过虚拟录屏相机对渲染场景进行图像拍摄，以生成录屏数据。即在获取初始姿态数据和实时姿态数据的步骤中，虚拟现实设备500可以先在渲染场景中添加虚拟录屏相机。
其中，渲染场景是指由虚拟现实设备500的渲染引擎通过渲染程序构建的一个虚拟场景。例如，基于unity 3D渲染引擎的虚拟现实设备500，可以在呈现显示画面时，构建一个unity 3D场景。在unity 3D场景中，可以添加各种虚拟物体和功能控件，以渲染出特定的使用场景。如在播放多媒体资源时，可以在unity 3D场景中添加一个显示面板，该显示面板用于呈现多媒体资源画面。同时，还可以在unity 3D场景中添加座椅、音响、人物等虚拟物体模型，从而营造出影院效果。
为了输出渲染后的画面，虚拟现实设备500还可以在unity 3D场景中设置虚拟相机。例如，虚拟现实设备500可以按照用户双眼的位置关系，在unity 3D场景中设置左眼相机和右眼相机，两个虚拟相机可以同时对unity 3D场景中的物体进行拍摄，从而向左显示器和右显示器分别输出渲染画面。为了获得更好的沉浸感体验，两个虚拟相机在unity 3D场景中的角度可以随着虚拟现实设备500的姿态传感器实时调整，从而在用户佩戴虚拟现实设备500行动时，可以实时输出不同观看角度下的unity 3D场景中的渲染画面。
如图15所示，本实施例中，虚拟现实设备500可以在渲染场景中包括左眼相机和右眼相机的基础上，再向渲染场景添加一个用于执行录屏操作的虚拟录屏相机。虚拟录屏相机可以设置在左眼相机和右眼相机之间的居中位置，使虚拟录屏相机在渲染场景中拍摄到的画面内容与用户观看到的内容相近。
如图16所示，向渲染场景中添加虚拟录屏相机以后，虚拟现实设备500可以根据姿态传感器检测的用户姿态数据，设置虚拟录屏相机的拍摄角度，即虚拟现实设备500在获取用户姿态数据后，需要先记录初始姿态数据，并根据初始姿态数据设置虚拟录屏相机的拍摄角度，即虚拟录屏相机的初始角度。
在用户使用虚拟现实设备500的过程中，虚拟录屏相机也可以在渲染场景中的拍摄角度也可以受到姿态传感器的影响，但姿态传感器检测的用户姿态数据不直接作为虚拟录屏相机进行录屏的依据，而是将用户姿态数据传输给虚拟录屏相机前，先经过静态录屏程序进行判断，使用户姿态数据对应的动作判断量在大于判断阈值时，再输入给虚拟录屏相机，以维持虚拟录屏相机拍摄角度的稳定。
即如图16所示，在一些实施例中，虚拟现实设备500可以在使用实时姿态数据更新录屏视角方向的步骤中，记录实时姿态数据，并使用实时姿态数据替换初始姿态数据，以调整虚拟录屏相机的拍摄角度。
例如，用户开始使用虚拟现实设备500后，虚拟现实设备500可以构建unity 3D场景，并向unity 3D场景中添加虚拟相机，包括左眼相机、右眼相机以及居中相机，其中居中相机专门用于执行截屏或录屏操作，即虚拟录屏相机。在添加虚拟相机后，虚拟现实设备500可以按照正常VR显示过程通过左眼相机和右眼相机，在unity 3D场景中执行图像拍摄，并实时传输给左显示器和右显示器进行显示。
当用户通过长按电源键和音量“+”键输入用于开始录屏的控制指令后，虚拟现实设备500可以先记录控制指令输入时刻姿态传感器检测的用户姿态数据，即初始姿态数据。并使用初始姿态数据设置居中相机的拍摄角度，使居中相机可以按照初始姿态数据对应的角度对unity 3D场景中的虚拟画面执行图像拍摄，生成录屏数据。
录屏过程中，姿态传感器可以检测实时姿态数据，并将实时姿态数据发送给虚拟现实设备500的控制器。控制器一方面将实时姿态数据发送给左眼相机和右眼相机，以改变左眼相机和右眼相机的拍摄角度，实时调整左显示器和右显示器中显示的内容。另一方面，控制器可以对实时姿态数据进行判断，以根据实时姿态数据计算动作判断量。经过与预设判断阈值进行对比，当动作判断量大于预设判断阈值时，则将实时姿态数据发送给居中相机，使居中相机可以按照实时姿态数据更新拍摄角度；当动作判断量小于或等于预设判断阈值时，则控制器不将实时姿态数据发送给居中相机，使居中相机仍然按照初始姿态数据对应的拍摄角度进行录屏操作。
通过在多个检测周期内对虚拟录屏相机的拍摄角度进行单独设定，使虚拟录屏相机可以独立于左眼相机和右眼相机单独输出录屏数据。在一些实施例中，为了输出录屏数据，虚拟现实设备500还可以设置录屏数据的输出帧率，并按照设置的输出帧率对当前渲染场景拍摄多个连续帧图像，以生成录屏数据。使用独立于左眼相机和右眼相机的虚拟录屏相机进行录屏，可以减少录屏过程对用户正常观影过程的干扰，并且由于虚拟录屏相机可以在较长的阶段中维持在固定的拍摄角度，因此虚拟现实设备500可以保证录屏视频内容不会频繁晃动，提供给用户更好的观感。
上述实施例中，虚拟现实设备500对用户动作的判断主要依据动作判断量，即实时姿态数据与初始姿态数据的角度差大于预设角度阈值状态的累积时间。由于姿态传感器的采样帧率一般是固定不变的，因此虚拟现实设备500在用户佩戴后，可以按照采样帧率向控制器反馈采集到的用户姿态数据。例如，姿态传感器的采样帧率为60FPS(帧/秒)，即在1s时间内，姿态传感器可以向显示设备200反馈60帧实时姿态数据，相邻两帧实时姿态数据之间的时间间隔为固定的0.016s。基于此，虚拟现实设备500在计算动作判断量时，可以通过累积帧数确定角度差大于预设角度阈值状态的累积时间。
即如图17所示，为了计算动作判断量，在一些实施例中，虚拟现实设备500可以在计算动作判断量的步骤中，依次获取多帧实时姿态数据，并计算每一帧实时姿态数据与初始姿态数据的角度差，再记录角度差大于预设角度阈值的连续累积帧数，以通过记录的连续累积帧数确定角度差大于预设角度阈值状态的累积时间。如果连续累积帧数大于预设累积帧数阈值，即可确定动作判断量大于预设判断阈值；如果连续累积帧数小于或等于预设累积帧数阈值，确定动作判断量小于或等于预设判断阈值。
例如，针对60FPS的姿态传感器，虚拟现实设备500可以设置累积帧数阈值为100帧，对应角度差大于预设角度阈值状态的累积时间约1.5s。因此，虚拟现实设备500在确定一帧实时姿态数据与初始姿态数据的角度差大于预设角度阈值，即α1＞α0后，可以针对该帧实时姿态数据以后的每一帧用户姿态数据进行判断，如果在一个检测周期内，累积有连续的100帧实时姿态数据与初始姿态数据的角度差大于预设角度阈值，即α2＞α0、α3＞α0、α4＞α0……则确定角度差大于预设角度阈值状态的累积时间超过1.5s，即动作判断量大于预设判断阈值。
同理，如果在一个检测周期内，出现任一帧实时姿态数据与初始姿态数据的角度差小于或等于预设角度阈值，如α10≤α0，则确定角度差大于预设角度阈值状态的累积时间未超过1.5s，即动作判断量小于或等于预设判断阈值。
为了便于虚拟现实设备500执行对多个连续帧实时姿态数据记性判断，如图18所示，在一些实施例中，虚拟现实设备500还可以在记录角度差大于预设判断阈值的连续累积帧数的步骤中，创建计数变量N，用于保存角度差大于预设角度阈值状态的累积帧数。
再分别对每帧进行判断处理，如果角度差大于预设角度阈值，将计数变量的累积数量加一，即N＝N0+1；如果角度差小于或等于预设角度阈值，将计数变量的累积数量清零，即N＝0。例如，虚拟现实设备500在检测到每一帧实时姿态数据更新时，通过方向对比，判断当前实时姿态数据对应的实际方向与初始姿态数据对应的录屏方向是否偏离20度以上。如果实际方向与录屏方向偏离20度以上，则将计数变量N加1，直至计数变量N所代表的连续累积帧数计满100次，即时间大约1.5s以后，更新录屏方向，然后N清零重新计数。如果实际方向与录屏方向未偏离20度以上，可直接将计数变量N清零，并开始下一周期的检测过程。
在上述实施例中，虚拟现实设备500可以对每一帧实时姿态数据均进行角度差判断，并依据逐帧判断结果确定是否需要调整录屏角度。这样的判断方式精度较高，但虚拟现实设备500需要逐帧进行分析计算，使得判断过程需要占用的运算资源较多，增加虚拟现实设备500的处理器负荷。如图19所示，为了减轻处理器负荷，在一些实施例中，虚拟现实设备500还可以在计算动作判断量的步骤中，先对比角度差与预设角度阈值，并记录角度差大于预设角度阈值时的实时姿态数据的获取时间。
例如，当判断实时姿态数据(w1，x1，y1，z1)与初始姿态数据(w0，x0，y0，z0)的角度差α1大于预设角度阈值α0时，虚拟现实设备500可以记录该实时姿态数据(w1，x1，y1，z1)对应的获取时间，即：16:00:01:000。
记录获取时间后，虚拟现实设备500可以开始一个新的检测周期，并在获取时间后的预设检测周期内，间隔提取多帧用户姿态数据。多帧用户姿态数据的提取间隔，可以根据时间确定也可以根据帧数确定。例如，虚拟现实设备500可以在1.5s的检测周期内，每隔0.1s提取一帧实时姿态数据。或者虚拟现实设备500可在1.5s的检测周期内，每隔10帧提取一帧实时姿态数据。
根据间隔提取的多帧用户姿态数据，虚拟现实设备500可以根据对提取的多帧用户姿态数据再执行判断，确定多帧用户姿态数据与初始姿态数据的角度差是否超出预设角度阈值。如果提取的多帧用户姿态数据与初始姿态数据的角度差均大于预设角度阈值，则可以确定动作判断量大于预设判断阈值；如果提取的任一帧用户姿态数据与初始姿态数据的角度差均小于或等于预设角度阈值，则可以确定动作判断量小于或等于预设判断阈值。
可见，通过在预设检测周期内间隔提取多帧用户姿态数据，可以在满足基本的动作判断精度的前提下，大大减少虚拟现实设备500的数据处理量，并通过控制提取的间隔时间或间隔帧数，满足不同的用户需求。例如，当用户需要判断精度较高时，可以缩短间隔时间或减少间隔帧数，以增大样本数量，使录屏角度能够及时拉齐实际角度。而当用户需要减轻处理负荷时，可以延长间隔时间或增大间隔帧数，以减小样本数量，降低数据处理量。
需要说明的是，为了均衡判断精度和处理负荷，虚拟现实设备500中还可以设有负荷检测模块，如MCU监测模块、内存检测模块、温度监测模块等。通过负荷检测模块可以检测出虚拟现实设备500当前的负荷状态，并根据当前的负荷状态动态设置间隔时间或间隔帧数。
基于上述静态录屏方法，在本申请的部分实施例中提供一种虚拟现实设备500，包括：显示器、姿态传感器和控制器。其中，姿态传感器被配置为检测用户姿态数据，控制器被配置为执行以下程序步骤：
接收用户输入的用于开始录屏的控制指令；
响应于控制指令，获取初始姿态数据和实时姿态数据，初始姿态数据为在控制指令的输入时刻记录的用户姿态数据；实时姿态数据为在接收控制指令后通过姿态传感器持续检测的用户姿态数据；
计算动作判断量，动作判断量为实时姿态数据与初始姿态数据的角度差大于预设角度阈值状态的累积时间；
如果动作判断量小于或等于预设判断阈值，使用初始姿态数据设置录屏视角方向，以生成录屏数据；
如果动作判断量大于预设判断阈值，使用实时姿态数据更新录屏视角方向。
由以上技术方案可知，本申请提供的虚拟现实设备500可以通过控制器执行静态录屏方法，使虚拟现实设备500可以在用户输入开始录屏的控制指令后，对初始姿态数据和实时姿态数据进行检测，并计算实时姿态数据相对于初始姿态数据的动作判断量，其中，动作判断量为实时姿态数据与初始姿态数据角度差大于预设角度阈值的累积时间。当动作判断量未超出预设判断阈值时，可确定用户姿态数据的变化是由用户无意识的小动作引起，则可以仍旧使用初始姿态数据设置录屏视角方向，以生成包含稳定的视频内容的录屏数据；而当动作判断量超出预设判断阈值时，则确定用户姿态数据的变化是由用户的主动动作引起，因此可以使用实时姿态数据更新录屏视角方向。虚拟现实设备500方法可以综合角度变化和时间维持的状态，精确判断用户姿态数据的变化原因，智能锁定或解锁录屏视角，使输出的视频画面更加稳定。
本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种虚拟现实设备，其特征在于，包括：
显示器；
姿态传感器，被配置为检测用户姿态数据；
控制器，被配置为：
接收用户输入的用于开始录屏的控制指令；
响应于所述控制指令，获取初始姿态数据和实时姿态数据，所述初始姿态数据为在所述控制指令的输入时刻记录的用户姿态数据；所述实时姿态数据为在接收所述控制指令后通过所述姿态传感器持续检测的用户姿态数据；
计算动作判断量，所述动作判断量为所述实时姿态数据与所述初始姿态数据的角度差大于预设角度阈值状态的累积时间；
如果所述动作判断量小于或等于预设判断阈值，使用所述初始姿态数据设置录屏视角方向，以生成录屏数据；
如果所述动作判断量大于所述预设判断阈值，使用所述实时姿态数据更新所述录屏视角方向。
2.根据权利要求1所述的虚拟现实设备，其特征在于，所述控制器被进一步配置为：
在响应于所述控制指令的步骤中，解析所述控制指令中指定的录屏方式，所述录屏方式包括静态录屏和动态录屏；
如果所述录屏方式为静态录屏，获取初始姿态数据和实时姿态数据；
如果所述录屏方式为动态录屏，通过所述姿态传感器检测实时姿态数据，以及使用所述实时姿态数据设置所述录屏视角方向。
3.根据权利要求1所述的虚拟现实设备，其特征在于，所述控制器被进一步配置为：
在获取初始姿态数据和实时姿态数据的步骤中，在渲染场景中添加虚拟录屏相机，所述渲染场景包括左眼相机和右眼相机，所述虚拟录屏相机设置在所述左眼相机和所述右眼相机之间的居中位置；
记录所述初始姿态数据；
根据所述初始姿态数据设置所述虚拟录屏相机的拍摄角度。
4.根据权利要求3所述的虚拟现实设备，其特征在于，所述控制器被进一步配置为：
在使用所述实时姿态数据更新所述录屏视角方向的步骤中，记录所述实时姿态数据；
使用所述实时姿态数据替换所述初始姿态数据，以调整所述虚拟录屏相机的拍摄角度。
5.根据权利要求1所述的虚拟现实设备，其特征在于，所述控制器被进一步配置为：
在计算动作判断量的步骤中，获取多帧所述实时姿态数据；
依次计算每一帧所述实时姿态数据与所述初始姿态数据的角度差；
记录所述角度差大于所述预设角度阈值的连续累积帧数；
如果所述连续累积帧数大于预设累积帧数阈值，标记所述动作判断量大于预设判断阈值；
如果所述连续累积帧数小于或等于所述预设累积帧数阈值，标记所述动作判断量小于或等于预设判断阈值。
6.根据权利要求5所述的虚拟现实设备，其特征在于，所述控制器被进一步配置为：
在记录所述角度差大于所述预设判断阈值的连续累积帧数的步骤中，创建计数变量；
如果所述角度差大于预设角度阈值，将所述计数变量的累积数量加一；
如果所述角度差小于或等于所述预设角度阈值，将所述计数变量的累积数量清零。
7.根据权利要求1所述的虚拟现实设备，其特征在于，所述控制器被进一步配置为：
在计算动作判断量的步骤中，提取所述初始姿态数据的方向四元数A以及所述实时姿态数据中的方向四元数B；
对所述初始姿态数据的方向四元数A取逆运算，得到逆矩阵A-1；
计算所述实时姿态数据中的方向四元数B与所述逆矩阵A-1的乘积，以获得姿态差C；
根据所述姿态差C计算角度差，所述角度差θ按照下式计算获得：
θ＝arccos(C·w)*2；
其中，θ为角度差；C为姿态差；w为实时姿态数据对应四元数中的第一元素值。
8.根据权利要求7所述的虚拟现实设备，其特征在于，所述控制器被进一步配置为：
在计算动作判断量的步骤中，对比所述角度差与所述预设角度阈值；
记录所述角度差大于所述预设角度阈值时的所述实时姿态数据的获取时间；
在所述获取时间后的预设检测周期内，间隔提取多帧用户姿态数据；
如果提取的多帧用户姿态数据与所述初始姿态数据的角度差均大于所述预设角度阈值，标记所述动作判断量大于预设判断阈值；
如果提取的任一帧用户姿态数据与所述初始姿态数据的角度差均小于或等于所述预设角度阈值，标记所述动作判断量小于或等于预设判断阈值。
9.根据权利要求1所述的虚拟现实设备，其特征在于，所述控制器被进一步配置为：
设置录屏数据的输出帧率；
按照所述输出帧率对当前渲染场景拍摄多个连续帧图像，以生成录屏数据。
10.一种静态录屏方法，其特征在于，应用于虚拟现实设备，所述虚拟现实设备包括显示器、姿态传感器和控制器去；其中，所述姿态传感器用于检测用户姿态数据；所述静态录屏方法包括：
接收用户输入的用于开始录屏的控制指令；
响应于所述控制指令，获取初始姿态数据和实时姿态数据，所述初始姿态数据为在所述控制指令的输入时刻记录的用户姿态数据；所述实时姿态数据为在接收所述控制指令后通过所述姿态传感器持续检测的用户姿态数据；
计算动作判断量，所述动作判断量为所述实时姿态数据与所述初始姿态数据角度差大于预设角度阈值的累积时间；
如果所述动作判断量小于或等于预设判断阈值，使用所述初始姿态数据设置录屏视角方向，以生成录屏数据；
如果所述动作判断量大于所述预设判断阈值，使用所述实时姿态数据更新所述录屏视角方向。
CN202110980427.2A 2021-01-18 2021-08-25 一种虚拟现实设备及静态录屏方法 Pending CN113655887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/135509 WO2022151864A1 (zh) 2021-01-18 2021-12-03 虚拟现实设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110065015 2021-01-18
CN2021100650156 2021-01-18

Publications (1)

Publication Number Publication Date
CN113655887A true CN113655887A (zh) 2021-11-16

Family

ID=76561582

Family Applications (7)

Application Number Title Priority Date Filing Date
CN202110097842.3A Active CN114286142B (zh) 2021-01-18 2021-01-25 一种虚拟现实设备及vr场景截屏方法
CN202110280846.5A Active CN114302214B (zh) 2021-01-18 2021-03-16 一种虚拟现实设备及防抖动录屏方法
CN202110284754.4A Pending CN114327700A (zh) 2021-01-18 2021-03-17 一种虚拟现实设备及截屏图片播放方法
CN202110292608.6A Pending CN114327034A (zh) 2021-01-18 2021-03-18 一种显示设备及录屏交互方法
CN202110290401.5A Active CN113064684B (zh) 2021-01-18 2021-03-18 一种虚拟现实设备及vr场景截屏方法
CN202110359636.5A Pending CN114296949A (zh) 2021-01-18 2021-04-02 一种虚拟现实设备及高清晰度截屏方法
CN202110980427.2A Pending CN113655887A (zh) 2021-01-18 2021-08-25 一种虚拟现实设备及静态录屏方法

Family Applications Before (6)

Application Number Title Priority Date Filing Date
CN202110097842.3A Active CN114286142B (zh) 2021-01-18 2021-01-25 一种虚拟现实设备及vr场景截屏方法
CN202110280846.5A Active CN114302214B (zh) 2021-01-18 2021-03-16 一种虚拟现实设备及防抖动录屏方法
CN202110284754.4A Pending CN114327700A (zh) 2021-01-18 2021-03-17 一种虚拟现实设备及截屏图片播放方法
CN202110292608.6A Pending CN114327034A (zh) 2021-01-18 2021-03-18 一种显示设备及录屏交互方法
CN202110290401.5A Active CN113064684B (zh) 2021-01-18 2021-03-18 一种虚拟现实设备及vr场景截屏方法
CN202110359636.5A Pending CN114296949A (zh) 2021-01-18 2021-04-02 一种虚拟现实设备及高清晰度截屏方法

Country Status (1)

Country Link
CN (7) CN114286142B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002834A (zh) * 2022-06-20 2022-09-02 深圳十米网络科技有限公司 体感设备与终端的数据传输方法
CN115942049A (zh) * 2022-08-26 2023-04-07 北京博雅睿视科技有限公司 一种面向vr视频的视角切换方法、装置、设备及介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117398680A (zh) * 2022-07-08 2024-01-16 腾讯科技（深圳）有限公司 虚拟对象的显示方法、装置、终端设备及存储介质
CN115185594B (zh) * 2022-09-06 2023-01-06 湖北芯擎科技有限公司 基于虚拟显示的数据交互方法、装置、电子设备及介质
CN115665461B (zh) * 2022-10-13 2024-03-22 聚好看科技股份有限公司 一种视频录制方法及虚拟现实设备
CN116795316B (zh) * 2023-08-24 2023-11-03 南京维赛客网络科技有限公司 投屏时小窗口播放场景内画面的方法、系统及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103293957A (zh) * 2013-05-22 2013-09-11 上海新跃仪表厂 一种相对动坐标系进行路径规划的卫星姿态机动方法
WO2014113507A1 (en) * 2013-01-15 2014-07-24 Leap Motion, Inc. Dynamic user interactions for display control and customized gesture interpretation
CN105849762A (zh) * 2013-11-12 2016-08-10 布乐特私人有限公司 社交媒体平台
CN106020482A (zh) * 2016-05-30 2016-10-12 努比亚技术有限公司 一种控制方法、虚拟现实设备和移动终端
CN108024079A (zh) * 2017-11-29 2018-05-11 广东欧珀移动通信有限公司 录屏方法、装置、终端及存储介质
CN108733070A (zh) * 2018-04-11 2018-11-02 广州亿航智能技术有限公司 无人机控制方法及控制系统
CN110087123A (zh) * 2019-05-15 2019-08-02 腾讯科技（深圳）有限公司 视频文件制作方法、装置、设备及可读存储介质
CN110304270A (zh) * 2019-06-03 2019-10-08 宁波天擎航天科技有限公司 用于运载火箭的全方位发射控制方法、装置、计算机设备
CN110505471A (zh) * 2019-07-29 2019-11-26 青岛小鸟看看科技有限公司 一种头戴显示设备及其屏幕采集方法、装置
CN110975277A (zh) * 2019-12-18 2020-04-10 网易（杭州）网络有限公司 增强现实游戏中信息处理的方法及装置、介质及电子设备

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0342690A (ja) * 1989-07-10 1991-02-22 Konica Corp 画像形成装置
US6559846B1 (en) * 2000-07-07 2003-05-06 Microsoft Corporation System and process for viewing panoramic video
JP5279453B2 (ja) * 2008-10-31 2013-09-04 キヤノン株式会社 画像振れ補正装置、撮像装置及び画像振れ補正方法
JP5685079B2 (ja) * 2010-12-28 2015-03-18 任天堂株式会社 画像処理装置、画像処理プログラム、画像処理方法および画像処理システム
US8606645B1 (en) * 2012-02-02 2013-12-10 SeeMore Interactive, Inc. Method, medium, and system for an augmented reality retail application
JP2013172418A (ja) * 2012-02-22 2013-09-02 Nikon Corp 画像取り扱い装置およびカメラ
JP6448218B2 (ja) * 2014-05-12 2019-01-09 キヤノン株式会社 撮像装置、その制御方法および情報処理システム
KR20160034037A (ko) * 2014-09-19 2016-03-29 삼성전자주식회사 화면 캡쳐를 위한 방법 및 그 전자 장치
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
WO2017039348A1 (en) * 2015-09-01 2017-03-09 Samsung Electronics Co., Ltd. Image capturing apparatus and operating method thereof
CN105704539A (zh) * 2016-02-15 2016-06-22 努比亚技术有限公司 视频共享装置及方法
CN105847672A (zh) * 2016-03-07 2016-08-10 乐视致新电子科技（天津）有限公司 虚拟现实头盔抓拍方法及系统
WO2017156742A1 (zh) * 2016-03-17 2017-09-21 深圳多哚新技术有限责任公司 一种基于虚拟现实的画面显示方法及相关设备
US10043302B2 (en) * 2016-04-18 2018-08-07 Beijing Pico Technology Co., Ltd. Method and apparatus for realizing boot animation of virtual reality system
CN106201259A (zh) * 2016-06-30 2016-12-07 乐视控股（北京）有限公司 一种虚拟现实系统中分享全景影像的方法和装置
CN105959666A (zh) * 2016-06-30 2016-09-21 乐视控股（北京）有限公司 一种虚拟现实系统中分享3d影像的方法和装置
CN106293395A (zh) * 2016-08-03 2017-01-04 深圳市金立通信设备有限公司 一种虚拟现实眼镜及其界面交互方法
CN106843456B (zh) * 2016-08-16 2018-06-29 深圳超多维光电子有限公司 一种基于姿态追踪的显示方法、装置和虚拟现实设备
CN106341603A (zh) * 2016-09-29 2017-01-18 网易（杭州）网络有限公司 用于虚拟现实环境的取景方法、装置以及虚拟现实设备
KR102612988B1 (ko) * 2016-10-20 2023-12-12 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
CN112132881A (zh) * 2016-12-12 2020-12-25 华为技术有限公司 一种动态三维图像获取的方法和设备
US10334238B2 (en) * 2017-01-03 2019-06-25 Black Sails Technology Inc. Method and system for real-time rendering displaying high resolution virtual reality (VR) video
WO2018144890A1 (en) * 2017-02-03 2018-08-09 Warner Bros. Entertainment, Inc. Rendering extended video in virtual reality
CN107071557A (zh) * 2017-04-27 2017-08-18 中兴通讯股份有限公司 一种播放视频的方法和设备
CN109952757B (zh) * 2017-08-24 2020-06-05 腾讯科技（深圳）有限公司 基于虚拟现实应用录制视频的方法、终端设备及存储介质
CN107678539A (zh) * 2017-09-07 2018-02-09 歌尔科技有限公司 用于头戴显示设备的显示方法及头戴显示设备
CN107590848A (zh) * 2017-09-29 2018-01-16 北京金山安全软件有限公司 一种图片生成方法、装置、电子设备及存储介质
CN108073346A (zh) * 2017-11-30 2018-05-25 深圳市金立通信设备有限公司 一种录屏方法、终端及计算机可读存储介质
CN107957836B (zh) * 2017-12-05 2020-12-29 Oppo广东移动通信有限公司 录屏方法、装置及终端
CN108289220B (zh) * 2018-01-15 2020-11-27 深圳市奥拓电子股份有限公司 虚拟图像处理方法、图像处理系统及存储介质
CN108337497B (zh) * 2018-02-07 2020-10-16 刘智勇 一种虚拟现实视频/图像格式以及拍摄、处理、播放方法和装置
CN110599549B (zh) * 2018-04-27 2023-01-10 腾讯科技（深圳）有限公司 界面显示方法、装置及存储介质
CN109002248B (zh) * 2018-08-31 2021-07-20 歌尔光学科技有限公司 Vr场景截图方法、设备及存储介质
US10569164B1 (en) * 2018-09-26 2020-02-25 Valve Corporation Augmented reality (AR) system for providing AR in video games
CN109523462A (zh) * 2018-11-14 2019-03-26 北京奇艺世纪科技有限公司 一种vr视频截屏图像的获取方法及装置
TWI700000B (zh) * 2019-01-29 2020-07-21 威盛電子股份有限公司 全景影片影像穩定方法及裝置與影像穩定演算法評估方法
CN110221795B (zh) * 2019-05-27 2021-10-22 维沃移动通信有限公司 一种屏幕录制方法及终端
CN110874168A (zh) * 2019-09-30 2020-03-10 华为技术有限公司 一种显示方法及电子设备
CN112188087B (zh) * 2020-09-10 2021-12-03 北京为快科技有限公司 一种全景视频的截图方法、装置、存储介质和计算机设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014113507A1 (en) * 2013-01-15 2014-07-24 Leap Motion, Inc. Dynamic user interactions for display control and customized gesture interpretation
CN103293957A (zh) * 2013-05-22 2013-09-11 上海新跃仪表厂 一种相对动坐标系进行路径规划的卫星姿态机动方法
CN105849762A (zh) * 2013-11-12 2016-08-10 布乐特私人有限公司 社交媒体平台
CN106020482A (zh) * 2016-05-30 2016-10-12 努比亚技术有限公司 一种控制方法、虚拟现实设备和移动终端
CN108024079A (zh) * 2017-11-29 2018-05-11 广东欧珀移动通信有限公司 录屏方法、装置、终端及存储介质
CN108733070A (zh) * 2018-04-11 2018-11-02 广州亿航智能技术有限公司 无人机控制方法及控制系统
CN110087123A (zh) * 2019-05-15 2019-08-02 腾讯科技（深圳）有限公司 视频文件制作方法、装置、设备及可读存储介质
CN110304270A (zh) * 2019-06-03 2019-10-08 宁波天擎航天科技有限公司 用于运载火箭的全方位发射控制方法、装置、计算机设备
CN110505471A (zh) * 2019-07-29 2019-11-26 青岛小鸟看看科技有限公司 一种头戴显示设备及其屏幕采集方法、装置
CN110975277A (zh) * 2019-12-18 2020-04-10 网易（杭州）网络有限公司 增强现实游戏中信息处理的方法及装置、介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002834A (zh) * 2022-06-20 2022-09-02 深圳十米网络科技有限公司 体感设备与终端的数据传输方法
CN115942049A (zh) * 2022-08-26 2023-04-07 北京博雅睿视科技有限公司 一种面向vr视频的视角切换方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113064684A (zh) 2021-07-02
CN114286142B (zh) 2023-03-28
CN114302214B (zh) 2023-04-18
CN114286142A (zh) 2022-04-05
CN114296949A (zh) 2022-04-08
CN114302214A (zh) 2022-04-08
CN114327034A (zh) 2022-04-12
CN113064684B (zh) 2023-03-21
CN114327700A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN110636353B (zh) 一种显示设备
CN113655887A (zh) 一种虚拟现实设备及静态录屏方法
CN110546601B (zh) 信息处理装置、信息处理方法和程序
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
CN112866773B (zh) 一种显示设备及多人场景下摄像头追踪方法
CN112732089A (zh) 一种虚拟现实设备及快捷交互方法
CN112073798B (zh) 一种数据传输方法及设备
WO2020248697A1 (zh) 显示设备及视频通讯数据处理方法
CN113066189B (zh) 一种增强现实设备及虚实物体遮挡显示方法
CN114302221B (zh) 一种虚拟现实设备及投屏媒资播放方法
CN114363705A (zh) 一种增强现实设备及交互增强方法
WO2022151864A1 (zh) 虚拟现实设备
CN116170624A (zh) 一种对象展示方法、装置、电子设备及存储介质
WO2022151882A1 (zh) 虚拟现实设备
CN114286077B (zh) 一种虚拟现实设备及vr场景图像显示方法
WO2022193931A1 (zh) 一种虚拟现实设备及媒资播放方法
CN115129280A (zh) 一种虚拟现实设备及投屏媒资播放方法
WO2020248682A1 (zh) 一种显示设备及虚拟场景生成方法
CN112905007A (zh) 一种虚拟现实设备及语音辅助交互方法
CN112732088B (zh) 一种虚拟现实设备及单目截屏方法
WO2022111005A1 (zh) 虚拟现实设备及vr场景图像识别方法
CN114327032A (zh) 一种虚拟现实设备及vr画面显示方法
CN112667079A (zh) 一种虚拟现实设备及反向提示画面显示方法
CN114283055A (zh) 一种虚拟现实设备及图片显示方法
CN116931713A (zh) 一种虚拟现实设备及人机交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination