CN113891062A - 视频显示方法、vr头戴设备、视频显示系统及存储介质 - Google Patents

视频显示方法、vr头戴设备、视频显示系统及存储介质 Download PDF

Info

Publication number
CN113891062A
CN113891062A CN202111137924.2A CN202111137924A CN113891062A CN 113891062 A CN113891062 A CN 113891062A CN 202111137924 A CN202111137924 A CN 202111137924A CN 113891062 A CN113891062 A CN 113891062A
Authority
CN
China
Prior art keywords
eyeball
rotation information
video data
preset
camera device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111137924.2A
Other languages
English (en)
Inventor
赵英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Optical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Optical Technology Co Ltd filed Critical Goertek Optical Technology Co Ltd
Priority to CN202111137924.2A priority Critical patent/CN113891062A/zh
Publication of CN113891062A publication Critical patent/CN113891062A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

本申请公开了一种视频显示方法，应用于VR头戴设备，所述视频显示方法包括：对所述VR头戴设备的佩戴者进行眼球追踪得到转动信息；根据所述转动信息判断人眼注视区域是否在VR显示屏的最优视野区域；若否，则控制所述摄像装置执行所述转动信息对应的转向操作；接收所述摄像装置采集的视频数据，并在所述VR显示屏上显示所述视频数据。本申请能够提高VR头戴设备显示内容的实时性和交互性。本申请还公开了一种VR头戴设备、一种视频显示系统及一种存储介质，具有以上有益效果。

Description

视频显示方法、VR头戴设备、视频显示系统及存储介质
技术领域
本申请涉及虚拟现实技术领域，特别涉及视频显示方法、VR头戴设备、视频显示系统及存储介质。
背景技术
VR(Virtual Reality，虚拟现实技术)头显是利用头戴式显示设备将人的对外界的视觉、听觉封闭，引导用户产生一种身在虚拟环境中的感觉。随着虚拟现实技术的发展，VR头戴设备也越来越受消费者欢迎。但是目前的VR头戴设备显示的内容以游戏、视频居多，VR头戴设备只显示已经下载好或者是处理好的视频，显示内容固定不变且缺乏实时性。
因此，如何提高VR头戴设备显示内容的实时性和交互性是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种视频显示方法、一种VR头戴设备、一种视频显示系统及一种存储介质，能够提高VR头戴设备显示内容的实时性和交互性。
为解决上述技术问题，本申请提供一种视频显示方法，应用于VR头戴设备，所述视频显示方法包括：
对所述VR头戴设备的佩戴者进行眼球追踪得到转动信息；
根据所述转动信息判断人眼注视区域是否在VR显示屏的最优视野区域；
若否，则控制所述摄像装置执行所述转动信息对应的转向操作；
接收所述摄像装置采集的视频数据，并在所述VR显示屏上显示所述视频数据。
可选的，控制所述摄像装置执行所述转动信息对应的转向操作，包括：
将所述转动信息发送至服务器，以便所述服务器生成转动信息对应的控制指令并控制所述摄像装置执行所述控制指令对应的转向操作。
可选的，接收所述摄像装置采集的视频数据，包括：
接收所述服务器转发的所述视频数据；其中，所述视频数据由所述摄像装置采集并上传至所述服务器。
可选的，根据所述转动信息判断人眼注视区域是否在VR显示屏的最优视野区域，包括：
根据所述转动信息确定人眼注视方向；
将所述人眼注视方向与预设注视方向之间的夹角设置为眼球偏离角度；其中，所述预设注视方向为所述佩戴者的眼球处于平视状态时的注视方向；
判断所述眼球偏离角度持续大于预设角度的时间段是否大于预设时长；
若是，则判定所述人眼注视区域不在所述VR显示屏的最优视野区域。
可选的，判断所述眼球偏离角度持续大于预设角度的时间段是否大于预设时长，包括：
判断所述佩戴者在所述眼球偏离角度大于预设角度后是否处于眼球定格状态；其中，所述眼球定格状态为眼球偏离角度不变化的状态；
若出现所述眼球定格状态，则判断所述佩戴者持续处于眼球定格状态的时长是否大于所述预设时长；
若是，则判定所述眼球偏离角度持续大于所述预设角度的时间段大于所述预设时长。
可选的，在将所述人眼注视方向与预设注视方向之间的夹角设置为眼球偏离角度之前，还包括：
若接收到眼球追踪校准指令，则在所述VR显示屏的目标区域显示预设图像，以使所述佩戴者注视所述预设图像时处于平视状态；
将所述佩戴者注视所述预设图像时的注视方向设置为所述预设注视方向。
可选的，在控制所述摄像装置执行所述转动信息对应的转向操作之后，还包括：
在所述VR显示屏上显示所述视频数据对应的当前场景名称。
本申请还提供了一种VR头戴设备，包括：
眼球追踪模块，用于对所述VR头戴设备的佩戴者进行眼球追踪得到转动信息；
转向检测模块，用于根据所述转动信息判断人眼注视区域是否在VR显示屏的最优视野区域；若否，则控制所述摄像装置执行所述转动信息对应的转向操作；
显示模块，用于接收所述摄像装置采集的视频数据，并在所述VR显示屏上显示所述视频数据。
本申请还提供了一种视频显示系统，包括VR头戴设备、服务器和摄像装置；
其中，所述VR头戴设备，用于对所述VR头戴设备的佩戴者进行眼球追踪得到转动信息；还用于根据所述转动信息判断人眼注视区域是否在VR显示屏的最优视野区域；若否，则将所述转动信息发送至所述服务器；还用于接收所述服务器转发的所述视频数据，并在所述VR显示屏上显示所述视频数据；
所述服务器，用于生成所述转动信息对应的控制指令，并将所述控制指令发送至所述摄像装置；还用于将所述摄像装置采集的所述视频数据转发至所述VR头戴设备；
所述摄像装置，用于采集所述视频数据，并将所述视频数据上传至所述服务器；还用于根据接收到的所述控制指令执行对应的转向操作。
本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述视频显示方法执行的步骤。
本申请提供了一种视频显示方法，应用于VR头戴设备，所述视频显示方法包括：对所述VR头戴设备的佩戴者进行眼球追踪得到转动信息；根据所述转动信息判断人眼注视区域是否在VR显示屏的最优视野区域；若否，则控制所述摄像装置执行所述转动信息对应的转向操作；接收所述摄像装置采集的视频数据，并在所述VR显示屏上显示所述视频数据。
本申请中对VR头戴设备的佩戴者进行眼球追踪得到转动信息，转动信息可以包括眼球转动方向和转动角度。根据人的自然行为，在需要对当前观察的场景进行转换时眼球会向特定的方向转动。因此根据上述转动信息可以确定佩戴者的人眼注视区域，如果人眼注视区域不在VR显示屏的最优视野区域则说明当前显示的场景需要进行变换。本申请通过控制所述摄像装置执行所述转动信息对应的转向操作，以便摄像装置采集其他拍摄角度对应的视频数据。由于VR头戴设备的VR显示屏上显示的视频数据由摄像装置实时采集得到，在摄像装置执行转向操作后，VR头戴设备能够显示其他场景的视频数据，提高VR头戴设备显示内容的实时性和交互性。本申请同时还提供了一种VR头戴设备、一种视频显示系统及一种存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种视频显示方法的流程图；
图2为本申请实施例所提供的另一种视频显示方法的流程图；
图3为本申请实施例所提供的一种有效转动的检测方法的流程图；
图4为本申请实施例所提供的一种视频显示系统的结构示意图；
图5为本申请实施例所提供的另一种视频显示系统的结构示意图；
图6为本申请实施例所提供的一种眼球跟踪校准的示意图；
图7为本申请实施例所提供的一种眼球跟踪过程的示意图；
图8为本申请实施例所提供的一种视频显示系统的工作流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面请参见图1，图1为本申请实施例所提供的一种视频显示方法的流程图。
具体步骤可以包括：
S101：对VR头戴设备的佩戴者进行眼球追踪得到转动信息；
其中，本实施例可以应用于VR头戴设备，该VR头戴设备接收摄像装置采集的视频数据，并在VR显示屏上显示接收到的视频数据。VR显示屏上显示视频数据的操作可以实时进行，当摄像装置的拍摄角度改变，VR显示屏上显示的视频数据对应的场景也随之改变。
VR头戴设备上可以设置有虹膜检测系统，可以利用上述虹膜检测系统对VR头戴设备的佩戴者的眼球进行追踪得到人眼在各个检测周期的转动信息。转动信息包括转动角度和转动方向。本步骤中提到的眼球追踪操作可以在本实施例中实现过程中持续进行，以便实现对人眼注视区域的实时监测。
S102：根据转动信息判断人眼注视区域是否在VR显示屏的最优视野区域；若是，则结束流程；若否，则进入S103。
其中，VR显示屏的最优视野区域为VR显示屏的中心区域，当佩戴者处于平视状态时的观察区域为最优视野区域。具体的，可以根据佩戴者处于平视状态时的注视方向和眼部与VR显示屏之间的距离确定最优视野区域。S101中确定的转动信息可以包括眼球在各个检测周期对应的转动方向和转动角度，眼球转动会引起人眼注视区域的改变，因此可以根据转动信息判断人眼注视区域是否在VR显示屏的最优视野区域。
当人眼注视区域不在最优视野区域时，说明佩戴者需要观察其他场景的视频信息，因此可以控制摄像装置进行转动。当人眼注视区域在最优视野区域时，说明佩戴者正在观察最优视野区域内显示的视频信息，此时佩戴者不存在场景转换的需求，可以继续显示摄像装置采集的视频数据。
S103：控制摄像装置执行转动信息对应的转向操作；
其中，在人眼注视区域不在VR显示屏的最优视野区域的前提下，可以控制摄像装置执行转动信息对应的转向操作。具体的，上述摄像装置可以包括驱动结构和摄像头，可以控制驱动转动位姿变换以使摄像头的拍摄角度改变；其中摄像头拍摄角度的变化方向与眼球转动方向(即人眼注视区域相对于最优视野区域的方位)相同，摄像头拍摄角度的变化角度与眼球偏离角度(即人眼注视区域与最优视野区域的偏离程度)正相关。
S104：接收摄像装置采集的视频数据，并在VR显示屏上显示视频数据。
其中，摄像装置采集视频数据的操作可以实时进行，当摄像装置的拍摄角度改变，摄像装置采集视频数据对应的场景也随之改变。进一步的，在控制摄像装置执行转动信息对应的转向操作之后，还可以在VR显示屏上显示视频数据对应的当前场景名称(如厨房、客厅、餐厅等)。
本实施例中对VR头戴设备的佩戴者进行眼球追踪得到转动信息，转动信息可以包括眼球转动方向和转动角度。根据人的自然行为，在需要对当前观察的场景进行转换时眼球会向特定的方向转动。因此根据上述转动信息可以确定佩戴者的人眼注视区域，如果人眼注视区域不在VR显示屏的最优视野区域则说明当前显示的场景需要进行变换。本实施例通过控制摄像装置执行转动信息对应的转向操作，以便摄像装置采集其他拍摄角度对应的视频数据。由于VR头戴设备的VR显示屏上显示的视频数据由摄像装置实时采集得到，在摄像装置执行转向操作后，VR头戴设备能够显示其他场景的视频数据，提高VR头戴设备显示内容的实时性和交互性。
作为对于图1对应实施例的进一步介绍，上述VR头戴设备与摄像装置可以存在结构上的连接关系，即摄像装置设置于VR头戴设备上，以便将VR头戴设备周围环境中的图像信息传输至VR头戴设备进行显示；由于本实施例中可以根据眼球的转动信息控制摄像装置执行相应的转向操作，因此对于由于落枕、颈椎关节错位、瘫痪等原因头部不便转动的用户来说，若使用本方案提供的VR头戴设备可以通过转动眼睛来观察周围环境。在上述实施方式中，VR头戴设备与摄像装置可以直接通过有线或无线的方式连接并传输信息。
此外，上述VR头戴设备与摄像装置也可以不存在结构上的连接关系，即VR头戴设备的运动不影响摄像装置的视频采集角度；本实施例中根据眼球的转动信息控制摄像装置转向，可以在家庭监测、成员互动、线上视频会议等场景中远程控制摄像头转向，从而实现场景切换，提高用户体验。在上述实施方式中，可以在VR头戴设备和摄像装置可以依赖服务器传输信息，请参见图2，图2为本申请实施例所提供的另一种视频显示方法的流程图，具体过程如下：
S201：对所述VR头戴设备的佩戴者进行眼球追踪得到转动信息；
S202：根据所述转动信息判断人眼注视区域是否在VR显示屏的最优视野区域；若否，则进入S203；若是，则结束流程。
S203：将转动信息发送至服务器，以便服务器生成转动信息对应的控制指令并控制摄像装置执行控制指令对应的转向操作。
S204：接收服务器转发的视频数据，并在所述VR显示屏上显示所述视频数据。
在图2对应的实施例中，服务器设置于VR头戴设备和摄像装置之间，摄像装置采集视频数据并上传至服务器，服务器将视频数据转发至VR头戴设备进行显示。VR头戴设备将转动信息发送至服务器，服务器依据转动信息生成对应的控制指令并将控制指令下发至摄像装置，以便控制摄像装置调整拍摄角度。在上述实施例中基于服务器实现VR头戴设备和摄像装置之间信息传输，可以实现VR头戴设备对摄像装置的远程控制。
作为对于图1对应实施例的进一步介绍，眼球定位装置通常根据佩戴者眼球的注视方向逆向推导人眼在VR显示屏上的注视位置。因此可以根据人眼注视方向判断判断人眼注视区域是否在VR显示屏的最优视野区域，若人眼注视区域不在VR显示屏的最优视野区域则说明检测到一次有效转动，具体过程请参见图3，图3为本申请实施例所提供的一种有效转动的检测方法的流程图，具体过程如下：
S301：根据转动信息确定人眼注视方向；
S302：将人眼注视方向与预设注视方向之间的夹角设置为眼球偏离角度；
其中，预设注视方向为佩戴者的眼球处于平视状态时的注视方向；
S303：判断眼球偏离角度持续大于预设角度的时间段是否大于预设时长；若是，则进入S304；若否，则结束流程。
S304：判定人眼注视区域不在VR显示屏的最优视野区域。
其中，在VR头戴设备的实际使用过程中，可能出现人眼短暂地观察最优视野区域之外区域的情况，若每次检测到人眼观察最优视野区域之外的区域时立即调整摄像装置，将会出现误操作。本实施例将人眼注视方向与预设注视方向之间的夹角设置为眼球偏离角度，在眼球偏离角度持续大于预设角度的时间段大于预设时长时，判定人眼注视区域不在VR显示屏的最优视野区域。本实施例中的人眼注视区域指：人眼持续注视一定时间以上(如2秒钟)的区域。
进一步的，为了提高控制摄像装置的可靠性，本实施例可以引入眼球定格状态的概念，眼球定格状态为眼球偏离角度不变化的状态，即佩戴者盯住VR显示屏的某一位置不转动眼球。因此上述实施例还可以根据眼球定格状态判断眼球偏离角度持续大于预设角度的时间段是否大于预设时长，其具体过程为：判断佩戴者在眼球偏离角度大于预设角度后是否处于眼球定格状态；若出现眼球定格状态，则判断佩戴者持续处于眼球定格状态的时长是否大于预设时长；若是，则判定眼球偏离角度持续大于预设角度的时间段大于预设时长；若否，则判定眼球偏离角度持续大于预设角度的时间段不大于预设时长。
进一步的，本实施例可以通过以下方式确定预设注视方向：若接收到眼球追踪校准指令，则在VR显示屏的目标区域显示预设图像，以使佩戴者注视预设图像时处于平视状态；将佩戴者注视预设图像时的注视方向设置为预设注视方向。具体的，上述目标区域可以为VR显示屏的中心区域，上述预设图像可以为多个同心圆环。
下面通过在实际应用中的实施例说明上述实施例描述的流程。本申请实施例所提供了一种视频显示系统，该视频显示系统包括VR头戴设备、服务器和摄像装置。
其中，VR头戴设备，用于对VR头戴设备的佩戴者进行眼球追踪得到转动信息；还用于根据转动信息判断人眼注视区域是否在VR显示屏的最优视野区域；若否，则将转动信息发送至服务器；还用于接收服务器转发的视频数据，并在VR显示屏上显示视频数据；
服务器，用于生成转动信息对应的控制指令，并将控制指令发送至摄像装置；还用于将摄像装置采集的视频数据转发至VR头戴设备；
摄像装置，用于采集视频数据，并将视频数据上传至服务器；还用于根据接收到的控制指令执行对应的转向操作。
请参见图4，图4为本申请实施例所提供的一种视频显示系统的结构示意图，该视频显示系统包括VR头戴设备401、服务器402和摄像装置403。
摄像装置403负责实时采集视频；服务器402对摄像装置403采集的视频信息进行处理使其能通过VR头显进行3D播放(即得到3D视频)，服务器402还能处理VR头戴设备401通过虹膜检测得到的眼球转向信息来控制摄像头转向；VR头戴设备401用于播放服务器402传来的3D视频影像并通过其上的眼球追踪模块进行虹膜检测从而确定眼球转动位置，以便调整摄像头转向。
具体的，服务器402的处理器中可以包括视频处理模块和指令处理模块，上述摄像装置403可以为多角度旋转摄像头。请参见图5，图5为本申请实施例所提供的另一种视频显示系统的结构示意图，图5中视频显示的过程如下：多角度旋转摄像头可以将视频数据传输至视频处理模块，视频处理模块将视频数据转换为3D视频并将3D视频传输至VR头戴设备进行播放。摄像头转向的过程包括VR头戴设备通过虹膜检测将眼球转向发送至指令处理模块，指令处理模块生成眼球转向对应的摄像头转向指令，进而控制多角度旋转摄像头转向。
转向角度获取过程可以包括眼球跟踪校准和眼球跟踪两部分，首先通过虹膜检测技术跟踪眼球转向，VR头戴设备会根据眼球到屏幕的距离确定一个转向阈值，再达到阈值且眼球定格一定的时间后确定为一次有效的转向，然后将该转向信息发送给服务器。服务器接收到转向信息后，经过处理转化成摄像头的旋转角度控制摄像头旋转。上述过程中达到转向阈值且必须有定格时间的限制条件能够确保本次检测到的转向为一次有效转向，例如可以定义为用户眼球转向2s没有变化时判定需要进行场景切换。
请参见图6，图6为本申请实施例所提供的一种眼球跟踪校准的示意图，由于每个人的眼间距、眼球大小不一样，当用户佩戴上VR头戴设备之后，虹膜检测系统会启动校准，计算平视状态下注视方向对应的角度值并确定最优视野区域。
请参见图7，图7为本申请实施例所提供的一种眼球跟踪过程的示意图，图7(a)为人眼注视区域不在最优视野区域内的情况，图7(b)为人眼注视区域在最优视野区域内的情况。若眼睛转动，虹膜检测系统会跟踪眼球转动方向并计算出转动角度。若眼球转动角度过小，仍在最佳视野区，则不进行摄像头转向。若眼球转动角度较大，且时间超过2s，则为一次有效转动，触发转向识别处理流程。
转向识别处理流程如下：虹膜检测系统获取到眼球的转向及角度后，将眼球旋转方向和旋转角度发送给服务器，服务器根据转向及角度信息换算成摄像头的转向及角度信息，然后控制摄像头进行相应的转动以便调整采集画面，用户便可实现通过眼球进行场景切换。上述过程通过摄像装置采集实时视频信息进行3D呈现，可用于家庭监测、成员互动、会议体统等场景。本实施例通过虹膜检测系统跟踪定位眼球转向从而控制摄像头转向，方便用户进行场景切换，提高用户体验。
请参见图8，图8为本申请实施例所提供的一种视频显示系统的工作流程图，本实施例提出的了智能互联VR头戴设备，与远程摄像装置通过服务器相连，获取实时视频进行3D呈现，并通过虹膜检测追踪眼球进而控制摄像头转向，具体过程如下：
S801：VR头戴设备开机，检测到用户佩戴。
S802：虹膜检测系统启动，进行眼球跟踪校准。
S803：摄像装置捕捉视频信息，经服务器处理后传给VR头戴设备播放。
S804：跟踪监测用户眼球转向。
S805：判断转动角度是否超过最优视野区域；若是，则进入S806；若否，则进入S804。
S806：检测眼球定格时间。
S807：判断定格时间是否超过2s；若是，则进入S808；若否，则进入S804；
S808：将眼球转向角度及转向方向发送给服务器处理。
S809：服务器控制摄像头按照转动角度及转向方向进行转动。
本实施例通过摄像装置采集实时视频信息，传到VR头戴设备后经过处理以真实3D效果显示出来，提高用户沉浸感体验。本实施例通过虹膜检测技术，计算眼睛转动角度，实时调整摄像头转向，全方位实时观看。上述实施例中的VR头戴设备可应用于家庭监护互动，更真实的看到儿童、老人在家实况，实时互动，也可用于公司会议等场景。
本申请实施例还提供一种VR头戴设备，该设备可以包括：
眼球追踪模块，用于对VR头戴设备的佩戴者进行眼球追踪得到转动信息；
转向检测模块，用于根据转动信息判断人眼注视区域是否在VR显示屏的最优视野区域；若否，则控制摄像装置执行转动信息对应的转向操作；
显示模块，用于接收摄像装置采集的视频数据，并在VR显示屏上显示视频数据。
本实施例中对VR头戴设备的佩戴者进行眼球追踪得到转动信息，转动信息可以包括眼球转动方向和转动角度。根据人的自然行为，在需要对当前观察的场景进行转换时眼球会向特定的方向转动。因此根据上述转动信息可以确定佩戴者的人眼注视区域，如果人眼注视区域不在VR显示屏的最优视野区域则说明当前显示的场景需要进行变换。本实施例通过控制摄像装置执行转动信息对应的转向操作，以便摄像装置采集其他拍摄角度对应的视频数据。由于VR头戴设备的VR显示屏上显示的视频数据由摄像装置实时采集得到，在摄像装置执行转向操作后，VR头戴设备能够显示其他场景的视频数据，提高VR头戴设备显示内容的实时性和交互性。
进一步的，转向检测模块控制摄像装置执行转动信息对应的转向操作的过程包括：将转动信息发送至服务器，以便服务器生成转动信息对应的控制指令并控制摄像装置执行控制指令对应的转向操作。
进一步的，显示模块用于接收服务器转发的视频数据；其中，视频数据由摄像装置采集并上传至服务器。
进一步的，转向检测模块包括：
转动角度检测单元，用于根据转动信息确定人眼注视方向；将人眼注视方向与预设注视方向之间的夹角设置为眼球偏离角度；其中，预设注视方向为佩戴者的眼球处于平视状态时的注视方向；
判断单元，用于判断眼球偏离角度持续大于预设角度的时间段是否大于预设时长；若是，则判定人眼注视区域不在VR显示屏的最优视野区域。
进一步的，判断单元，用于判断佩戴者在眼球偏离角度大于预设角度后是否处于眼球定格状态；其中，眼球定格状态为眼球偏离角度不变化的状态；还用于若出现眼球定格状态，则判断佩戴者持续处于眼球定格状态的时长是否大于预设时长；若是，则判定眼球偏离角度持续大于预设角度的时间段大于预设时长。
进一步的，还包括：
校准模块，用于若接收到眼球追踪校准指令，则在VR显示屏的目标区域显示预设图像，以使佩戴者注视预设图像时处于平视状态；还用于将佩戴者注视预设图像时的注视方向设置为预设注视方向。
进一步的，还包括：
场景提示模块，用于在控制摄像装置执行转动信息对应的转向操作之后，在VR显示屏上显示视频数据对应的当前场景名称。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请还提供了一种存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种视频显示方法，其特征在于，应用于VR头戴设备，所述视频显示方法包括：
对所述VR头戴设备的佩戴者进行眼球追踪得到转动信息；
根据所述转动信息判断人眼注视区域是否在VR显示屏的最优视野区域；
若否，则控制所述摄像装置执行所述转动信息对应的转向操作；
接收所述摄像装置采集的视频数据，并在所述VR显示屏上显示所述视频数据。
2.根据权利要求1所述视频显示方法，其特征在于，控制所述摄像装置执行所述转动信息对应的转向操作，包括：
将所述转动信息发送至服务器，以便所述服务器生成转动信息对应的控制指令并控制所述摄像装置执行所述控制指令对应的转向操作。
3.根据权利要求2所述视频显示方法，其特征在于，接收所述摄像装置采集的视频数据，包括：
接收所述服务器转发的所述视频数据；其中，所述视频数据由所述摄像装置采集并上传至所述服务器。
4.根据权利要求1所述视频显示方法，其特征在于，根据所述转动信息判断人眼注视区域是否在VR显示屏的最优视野区域，包括：
根据所述转动信息确定人眼注视方向；
将所述人眼注视方向与预设注视方向之间的夹角设置为眼球偏离角度；其中，所述预设注视方向为所述佩戴者的眼球处于平视状态时的注视方向；
判断所述眼球偏离角度持续大于预设角度的时间段是否大于预设时长；
若是，则判定所述人眼注视区域不在所述VR显示屏的最优视野区域。
5.根据权利要求4所述视频显示方法，其特征在于，判断所述眼球偏离角度持续大于预设角度的时间段是否大于预设时长，包括：
判断所述佩戴者在所述眼球偏离角度大于预设角度后是否处于眼球定格状态；其中，所述眼球定格状态为眼球偏离角度不变化的状态；
若出现所述眼球定格状态，则判断所述佩戴者持续处于眼球定格状态的时长是否大于所述预设时长；
若是，则判定所述眼球偏离角度持续大于所述预设角度的时间段大于所述预设时长。
6.根据权利要求4所述视频显示方法，其特征在于，在将所述人眼注视方向与预设注视方向之间的夹角设置为眼球偏离角度之前，还包括：
若接收到眼球追踪校准指令，则在所述VR显示屏的目标区域显示预设图像，以使所述佩戴者注视所述预设图像时处于平视状态；
将所述佩戴者注视所述预设图像时的注视方向设置为所述预设注视方向。
7.根据权利要求1至7任一项所述视频显示方法，其特征在于，在控制所述摄像装置执行所述转动信息对应的转向操作之后，还包括：
在所述VR显示屏上显示所述视频数据对应的当前场景名称。
8.一种VR头戴设备，其特征在于，包括：
眼球追踪模块，用于对所述VR头戴设备的佩戴者进行眼球追踪得到转动信息；
转向检测模块，用于根据所述转动信息判断人眼注视区域是否在VR显示屏的最优视野区域；若否，则控制所述摄像装置执行所述转动信息对应的转向操作；
显示模块，用于接收所述摄像装置采集的视频数据，并在所述VR显示屏上显示所述视频数据。
9.一种视频显示系统，其特征在于，包括VR头戴设备、服务器和摄像装置；
其中，所述VR头戴设备，用于对所述VR头戴设备的佩戴者进行眼球追踪得到转动信息；还用于根据所述转动信息判断人眼注视区域是否在VR显示屏的最优视野区域；若否，则将所述转动信息发送至所述服务器；还用于接收所述服务器转发的所述视频数据，并在所述VR显示屏上显示所述视频数据；
所述服务器，用于生成所述转动信息对应的控制指令，并将所述控制指令发送至所述摄像装置；还用于将所述摄像装置采集的所述视频数据转发至所述VR头戴设备；
所述摄像装置，用于采集所述视频数据，并将所述视频数据上传至所述服务器；还用于根据接收到的所述控制指令执行对应的转向操作。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述视频显示方法的步骤。
CN202111137924.2A 2021-09-27 2021-09-27 视频显示方法、vr头戴设备、视频显示系统及存储介质 Pending CN113891062A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111137924.2A CN113891062A (zh) 2021-09-27 2021-09-27 视频显示方法、vr头戴设备、视频显示系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111137924.2A CN113891062A (zh) 2021-09-27 2021-09-27 视频显示方法、vr头戴设备、视频显示系统及存储介质

Publications (1)

Publication Number Publication Date
CN113891062A true CN113891062A (zh) 2022-01-04

Family

ID=79007184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111137924.2A Pending CN113891062A (zh) 2021-09-27 2021-09-27 视频显示方法、vr头戴设备、视频显示系统及存储介质

Country Status (1)

Country Link
CN (1) CN113891062A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554384A (zh) * 2015-12-17 2016-05-04 上海青橙实业有限公司 可穿戴设备及拍摄方法
CN105827960A (zh) * 2016-03-21 2016-08-03 乐视网信息技术（北京）股份有限公司 一种成像方法及装置
CN107092346A (zh) * 2017-03-01 2017-08-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN108732746A (zh) * 2018-05-29 2018-11-02 北京理工大学 一种头戴式目视瞄准控制系统
CN112666705A (zh) * 2019-10-15 2021-04-16 北京七鑫易维信息技术有限公司 一种眼动追踪设备及眼动追踪方法
CN113325586A (zh) * 2021-05-28 2021-08-31 维沃移动通信有限公司 头戴设备、显示控制方法和显示控制装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554384A (zh) * 2015-12-17 2016-05-04 上海青橙实业有限公司 可穿戴设备及拍摄方法
CN105827960A (zh) * 2016-03-21 2016-08-03 乐视网信息技术（北京）股份有限公司 一种成像方法及装置
CN107092346A (zh) * 2017-03-01 2017-08-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN108732746A (zh) * 2018-05-29 2018-11-02 北京理工大学 一种头戴式目视瞄准控制系统
CN112666705A (zh) * 2019-10-15 2021-04-16 北京七鑫易维信息技术有限公司 一种眼动追踪设备及眼动追踪方法
CN113325586A (zh) * 2021-05-28 2021-08-31 维沃移动通信有限公司 头戴设备、显示控制方法和显示控制装置

Similar Documents

Publication Publication Date Title
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
JP5594850B2 (ja) 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
JP4719641B2 (ja) 動画像データ提供方法、動画像データ提供方法のプログラム、動画像データ提供方法のプログラムを記録した記録媒体、動画像データ提供装置及び動画像データ提供システム。
CN107872731B (zh) 全景视频播放方法及装置
WO2018133849A1 (zh) 全景图像拍摄方法、全景图像显示方法、全景图像拍摄装置以及全景图像显示装置
US20180225537A1 (en) Methods and apparatus relating to camera switching and/or making a decision to switch between cameras
US11587292B2 (en) Triggered virtual reality and augmented reality events in video streams
WO2018103233A1 (zh) 基于虚拟现实技术的观景方法、装置及系统
US20180249189A1 (en) Methods and apparatus for use in a system or device where switching between cameras may occur
WO2018133848A1 (zh) 全景图像拍摄装置、显示装置、拍摄方法以及显示方法
US20210099734A1 (en) Information processing apparatus, information processing method, and storage medium
WO2014094537A1 (zh) 沉浸通信客户端、服务器及获取内容视图的方法
CN108134928A (zh) Vr显示方法和装置
JP3404110B2 (ja) テレビジョンカメラ撮影制御装置
CN202385222U (zh) 一种网络液晶电视的远程监控系统
CN113891062A (zh) 视频显示方法、vr头戴设备、视频显示系统及存储介质
WO2018196184A1 (zh) 一种植株的监控方法及监控系统
US20230015019A1 (en) Video recording and playback systems and methods
US20230069407A1 (en) Remote operation apparatus and computer-readable medium
CN116208843A (zh) 一种全景直播方法、装置、可读存储介质及计算机设备
CN113141517A (zh) 第一终端、第二终端、远程操作控制方法和可读存储介质
JP7258620B2 (ja) 画像処理システム、及び画像処理方法
JP2004363987A (ja) 画像提示システム
JP2014240961A (ja) 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
CN113711164A (zh) 用于应用和对应设备的用户控制的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221125

Address after: No. 500 Songling Road, Laoshan District, Qingdao City, Shandong Province, 266100

Applicant after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 workshop 1, phase III, Geer Photoelectric Industrial Park, 3999 Huixian Road, Yongchun community, Qingchi street, Weifang High tech Zone, Weifang City, Shandong Province

Applicant before: GoerTek Optical Technology Co.,Ltd.