CN114911445A - 虚拟现实设备的显示控制方法、虚拟现实设备及存储介质 - Google Patents

虚拟现实设备的显示控制方法、虚拟现实设备及存储介质 Download PDF

Info

Publication number
CN114911445A
CN114911445A CN202210529283.3A CN202210529283A CN114911445A CN 114911445 A CN114911445 A CN 114911445A CN 202210529283 A CN202210529283 A CN 202210529283A CN 114911445 A CN114911445 A CN 114911445A
Authority
CN
China
Prior art keywords
virtual reality
offset
determining
display control
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210529283.3A
Other languages
English (en)
Inventor
董梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN202210529283.3A priority Critical patent/CN114911445A/zh
Publication of CN114911445A publication Critical patent/CN114911445A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Abstract

本发明涉及虚拟现实设备控制技术领域，尤其涉及一种虚拟现实设备的显示控制方法、虚拟现实设备及存储介质，其中，所述方法包括：根据所述屏下摄像头的成像数据确定用户的当前注视位置；当所述当前注视位置偏离目标位置时，确定所述当前注视位置相对于所述目标位置的偏移量；根据所述偏移量控制所述显示屏的画面移动。通过设置于所述虚拟现实设备的显示屏的中心区域的屏下摄像头采集用户眼睛的成像数据，并基于成像数据确定的用户注视位置的改变来控制画面移动的方式，在不降低用户佩戴虚拟现实设备的观赏体验以及眼球追踪准确度的前提下，优化了眼球追踪技术的算法，解决了眼球追踪技术在虚拟显示设备中存在开发成本较高、开发难度较大的问题。

Description

虚拟现实设备的显示控制方法、虚拟现实设备及存储介质
技术领域
本发明涉及虚拟现实设备控制技术领域，尤其涉及一种虚拟现实设备的显示控制方法、虚拟现实设备及存储介质。
背景技术
在VR(Virtual Reality，虚拟现实)设备中常用到眼球追踪技术来控制VR设备。在相关技术方案中，为了避免用户佩戴不适，眼部追踪相机通常设置于用户眼球的四周，通过多个角度对眼睛进行拍摄来实现眼球追踪。
然而，由于VR设备的空间有限，VR设备中对于眼部追踪摄像头的大小、安装个数和安装位置等结构方面的技术门槛较高；同时，基于多个角度的眼部追踪相机来拍摄佩戴者的眼球图像来实现眼球追踪的算法较为复杂，占用VR设备的运行内存较大。因此，目前在VR设备的眼球追踪技术中存在开发成本较高、开发难度较大的问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种虚拟现实设备的显示控制方法，旨在解决如何提高基于眼球追踪技术的显示控制功能的适用性的问题。
为实现上述目的，本发明提供的一种虚拟现实设备的显示控制方法，所述虚拟现实设备的显示控制方法包括：根据所述屏下摄像头的成像数据确定用户的当前注视位置；
当所述当前注视位置偏离目标位置时，确定所述当前注视位置相对于所述目标位置的偏移量；
根据所述偏移量控制所述显示屏的画面移动。
可选地，所述根据所述屏下摄像头的成像数据确定用户的当前注视位置的步骤包括：
根据所述成像数据确定所述用户的眼球偏移向量；
获取所述眼球偏移向量与所述用户的注视位置之间的映射关系；
根据所述眼球偏移向量和所述映射关系，确定所述当前注视位置。
可选地，所述虚拟现实设备设有眼球追踪校准模式，所述获取所述眼球偏移向量与眼球的注视位置之间的映射关系的步骤之前，还包括：
获取所述用户在所述显示屏中的第一注视位置和第二注视位置，所述第一注视位置为所述眼球追踪校准模式下的第一时刻所述用户的注视位置，所述第二注视位置为所述眼球追踪校准模式下的第二时刻所述用户的注视位置；
确定所述第一注视位置和所述第二注视位置之间的相对偏移量；
根据所述相对偏移量确定所述映射关系。
可选地，所述当所述注视位置偏离目标位置时，确定所述注视位置相对于所述目标位置的偏移量的步骤包括：
获取所述目标位置的坐标和所述注视位置的坐标；
根据所述目标位置的坐标和所述注视位置的坐标之间的相对位置关系，确定所述偏移量。
可选地，所述根据所述屏下摄像头的成像数据确定用户的注视位置的步骤之后，还包括：
判断所述注视位置是否位于所述显示屏中的目标移动区域；
当所述注视位置位于所述目标移动区域内时，执行所述当所述注视位置偏离目标位置时，确定所述注视位置相对于所述目标位置的偏移量的步骤。
可选地，所述判断所述注视位置是否位于所述显示屏中的目标移动区域的步骤包括：
获取第一坐标区间和第二坐标区间，以及获取所述注视位置的坐标，其中，所述第二坐标区间大于所述第一坐标区间；
当所述注视位置的坐标大于所述第一坐标区间，且小于所述第二坐标区间时，判断所述注视位置位于所述显示屏中的目标移动区域；否则，判断所述注视位置不位于所述目标移动区域。
可选地，所述根据所述偏移量控制所述显示屏的画面移动的步骤包括：
根据所述偏移量，确定所述画面在所述显示屏中的横向移动距离和/或纵向移动距离；
控制所述画面按照所述横向移动距离和/或所述纵向移动距离移动。
可选地，所述根据所述偏移向量控制所述显示屏的画面移动的步骤包括：
根据所述偏移量，确定偏移距离和/或偏移角度；
根据所述偏移距离确定所述画面在所述显示屏中的移动距离，和/或根据所述偏移角度确定所述画面在所述显示屏中的移动方向；
控制所述画面按照所述移动距离和/或所述移动方向移动。
此外，本发明还提供一种虚拟现实设备，所述虚拟现实设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚拟现实设备的显示控制程序，所述虚拟现实设备的显示控制程序被所述处理器执行时实现如上任一项所述的虚拟现实设备的显示控制方法的各个步骤
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有虚拟现实设备的显示控制程序，所述虚拟现实设备的显示控制程序被处理器执行时实现如上实施例所述的虚拟现实设备的显示控制方法的各个步骤。
本发明实施例提供一种虚拟现实设备的显示控制方法、虚拟现实设备及存储介质，其中，所述方法包括：根据所述屏下摄像头的成像数据确定用户的当前注视位置；当所述当前注视位置偏离目标位置时，确定所述当前注视位置相对于所述目标位置的偏移量；根据所述偏移量控制所述显示屏的画面移动。通过设置于所述虚拟现实设备的显示屏的中心区域的屏下摄像头采集用户眼睛的成像数据，并基于成像数据确定的用户注视位置的改变来控制画面移动的方式，在不降低用户佩戴虚拟现实设备的观赏体验以及眼球追踪准确度的前提下，优化了眼球追踪技术的算法，解决了眼球追踪技术在虚拟显示设备中存在开发成本较高、开发难度较大的问题。
附图说明
图1为本发明实施例涉及的虚拟现实设备的硬件架构示意图；
图2为本发明的虚拟现实设备的显示控制方法的第一实施例的流程示意图；
图3为本发明一具体实施方式中眼球追踪校准模式下的校准图卡的位置示意图；
图4为本发明的虚拟现实设备的显示控制方法的第二实施例的流程示意图；
图5为本发明一具体实施方式中目标移动区域的位置示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，本发明的附图中显示了本发明的示例性实施例，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
作为一种实现方案，虚拟现实设备的硬件架构可以如图1所示。
本发明实施例方案涉及的是虚拟现实设备，所述虚拟现实设备包括：处理器101，例如CPU，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。
存储器102可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。如图1所示，作为一种计算机可读存储介质的存储器102中可以包括虚拟现实设备的显示控制程序；而处理器101可以用于调用存储器102中存储的虚拟现实设备的显示控制程序，并执行以下操作：
根据所述屏下摄像头的成像数据确定用户的当前注视位置；
当所述当前注视位置偏离目标位置时，确定所述当前注视位置相对于所述目标位置的偏移量；
根据所述偏移量控制所述显示屏的画面移动。
在一实施例中，处理器101可以用于调用存储器102中存储的虚拟现实设备的显示控制程序，并执行以下操作：
根据所述成像数据确定所述用户的眼球偏移向量；
获取所述眼球偏移向量与所述用户的注视位置之间的映射关系；
根据所述眼球偏移向量和所述映射关系，确定所述当前注视位置。
在一实施例中，处理器101可以用于调用存储器102中存储的虚拟现实设备的显示控制程序，并执行以下操作：
获取所述用户在所述显示屏中的第一注视位置和第二注视位置，所述第一注视位置为所述眼球追踪校准模式下的第一时刻所述用户的注视位置，所述第二注视位置为所述眼球追踪校准模式下的第二时刻所述用户的注视位置；
确定所述第一注视位置和所述第二注视位置之间的相对偏移量；
根据所述相对偏移量确定所述映射关系。
在一实施例中，处理器101可以用于调用存储器102中存储的虚拟现实设备的显示控制程序，并执行以下操作：
获取所述目标位置的坐标和所述注视位置的坐标；
根据所述目标位置的坐标和所述注视位置的坐标之间的相对位置关系，确定所述偏移量。
在一实施例中，处理器101可以用于调用存储器102中存储的虚拟现实设备的显示控制程序，并执行以下操作：
判断所述注视位置是否位于所述显示屏中的目标移动区域；
当所述注视位置位于所述目标移动区域内时，执行所述当所述注视位置偏离目标位置时，确定所述注视位置相对于所述目标位置的偏移量的步骤。
在一实施例中，处理器101可以用于调用存储器102中存储的虚拟现实设备的显示控制程序，并执行以下操作：
获取第一坐标区间和第二坐标区间，以及获取所述注视位置的坐标，其中，所述第二坐标区间大于所述第一坐标区间；
当所述注视位置的坐标大于所述第一坐标区间，且小于所述第二坐标区间时，判断所述注视位置位于所述显示屏中的目标移动区域；否则，判断所述注视位置不位于所述目标移动区域。
在一实施例中，处理器101可以用于调用存储器102中存储的虚拟现实设备的显示控制程序，并执行以下操作：
根据所述偏移量，确定所述画面在所述显示屏中的横向移动距离和/或纵向移动距离；
控制所述画面按照所述横向移动距离和/或所述纵向移动距离移动。
在一实施例中，处理器101可以用于调用存储器102中存储的虚拟现实设备的显示控制程序，并执行以下操作：
根据所述偏移量，确定偏移距离和/或偏移角度；
根据所述偏移距离确定所述画面在所述显示屏中的移动距离，和/或根据所述偏移角度确定所述画面在所述显示屏中的移动方向；
控制所述画面按照所述移动距离和/或所述移动方向移动。
基于上述基于虚拟现实设备控制技术的虚拟现实设备的硬件架构，提出本发明虚拟现实设备的显示控制方法的实施例。
参照图2，在第一实施例中，所述虚拟现实设备的显示控制方法包括以下步骤：
步骤S10，根据所述屏下摄像头的成像数据确定用户的注视位置；
在本实施例中，首先，通过屏下摄像头采集佩戴者的眼球图像，将眼球图像通过图像处理模块后，确定佩戴者的眼球的注视位置。需要说明的是，屏下摄像头利用的是VR设备中的显示屏幕自发光且透明的特性，设置于VR设备的屏幕的中心区域，和佩戴者的眼睛位置相对平行，这样设置的目的在于能够直接在佩戴者的眼睛正前方获取到所述佩戴者的眼球图像，使得人眼-屏幕-摄像头之间构成一条大致的平行线，相较于传统的从佩戴者的眼睛周围获取眼球图像之后，还需基于眼球图像与实际眼球位置之间的角度差进行变换运算的方式，降低了算法难度，并且，由于其为屏下摄像头，不会遮挡到佩戴者观看屏幕的画面内容，在不降低用户佩戴VR设备的观赏体验以及眼球追踪准确度的前提下，优化了眼球追踪技术的算法。
可选地，可以基于成像数据和显示屏的显示内容之间的映射关系来确定注视位置。VR设备获取到成像数据后，根据成像数据能够确定出用户的眼睛成像位置，但是由于不同用户的眼球的生理特征不同，得到的眼睛成像位置和注视位置之间的对应关系也不同，因此在设备执行该步骤的过程中需要确定出该用户的成像数据和显示内容之间的映射关系，即眼球追踪校准。在一些实施方式中，通过校准图卡来确定出所述映射关系，校准图卡为VR设备在校准状态下作为显示内容的校准图像，校准图卡在屏幕中的不同位置生成标定点，引导用户注视该标定点，当用户注视该标定点的注视时间大于或等于预设时间阈值时，屏下摄像头采集此时刻该用户的成像数据，基于不同位置采集的成像数据，确定出用户的眼球偏移量，根据眼球偏移量来确定出成像数据和用户的注视位置之间的映射关系。需要说明的是，由于屏幕模组状态下图像显示方向和整机状态下的模组图像显示方向存在角度偏差，因此作为显示内容的校准图卡是在纠正了角度偏差之后的显示图卡。
示例性地，在一具体实施方式中，参照图3，校准图卡中的标定点分别位于VR设备中屏幕模组的：中心点Dcenter、中心点竖直上方边沿Dup及该边沿1/2的Dup2，中心点竖直下方边沿Ddown及该边沿1/2的Ddown2，中心点水平左边沿Dleft及该边沿1/2的Dleft2，中心点水平右边沿Dright及该边沿1/2的Dright2。9个不同的标记点位对应9张不同的校准图卡。将校准图卡内置到系统中，用户引导界面中添加对眼球识别校准的引导，指导用户图卡中找寻对应的标记点，当用户眼睛固定在某一标定点的时间超过一秒，采集用户此时眼睛的成像数据，如果当前注视的点位为Dcenter，则将成像数据作为注视点位图片Pcenter；同理，其他注视点位图片分别为Pup，Pup2，Pdown，Pdown2，Pleft，Pleft2，Pright，Pright2。将所有图片进行网格化处理，查找注视点位图片中眼球中心的位置，分别记录Pcenter和其他注视点位图片之间的眼球偏移量L，以Pcenter的眼球中心对应的校准图卡为原点，即Lcenter等于0。以图像中心水平左边1/2边沿处点位图Pleft2的眼球中心与图像中新的点位图Pcenter的眼球中心进行比较，获得Lleft2...同样的计算方式获取其他的Lup，Lup2，Ldown，Ldown2，Lleft，Lright，Lright2的距离，进行保存。需要说明的是，该具体实施方式中，相较于传统的映射关系的确定方式，因为成像数据均为一个屏下摄像头所采集，因此采集到的不同成像数据均在一个平面，注视位置和屏下摄像头之间的角度是存在一个固定的对应关系，因此可以用眼球偏移量L来替代角度，从而降低了校准运算的复杂程度。
步骤S20，当所述注视位置偏离目标位置时，确定所述注视位置相对于所述目标位置的偏移量；
在确定所述佩戴者的眼球的注视位置之后，当VR设备中的眼球追踪模块检测到佩戴者的注视位置偏离目标位置之后，眼球追踪模块根据佩戴者的当前注视位置和目标位置之间的距离差和角度差，确定出述眼球相对于所述VR设备的屏幕中心位置的偏移量。
可选地，由于VR设备中显示屏的画面通常是设置在屏幕中心区域显示，因此，可以将屏幕中心区域作为目标位置，将所述目标位置作为坐标原点，并根据所述坐标原点建立二维坐标系，确定所述注视位置在所述二维坐标系中的纵坐标和/或横坐标，再根据所述纵坐标和/或所述横坐标确定所述偏移向量，所述偏移量包含了偏移的距离和偏移的角度。
步骤S30，根据所述偏移量控制所述显示屏的画面移动。
为了通过眼球追踪来控制VR设备的显示画面位置，在这一步骤中，我们通过眼球追踪模块得到反映用户眼球的注视位置相对于目标位置的偏移程度的偏移量之后，根据偏移量来控制显示屏的画面移动。
可选地，可以根据偏移量确定画面在所述显示屏中的横向移动距离和/或纵向移动距离，并控制所述画面按照所述横向移动距离和/或纵向移动距离移动。示例性地，以屏幕中心为坐标原点建立二维坐标系，确定出偏移量的坐标为(1，2)，根据坐标和画面移动距离之间的关系函数，计算出画面实际移动距离为横向移动距离为2cm，纵向移动距离为4cm，则通过显示控制模块将画面横向移动2cm，纵向移动距离为4cm，从而使画面和用户的当前注视位置保持一致。需要说明的是，横向或纵向移动的先后顺序可以根据实际需要所设置，在此不做限定。
可选地，可以根据偏移量确定偏移距离和/或偏移角度，并根据所述偏移距离和/或所述偏移角度，控制所述显示屏的画面移动。偏移量包含了注视位置和目标位置之间的偏移距离和偏移角度，需要说明的是，由于注视位置和目标位置处于同一平面，因此确定出的偏移角度和偏移距离也处于同一平面，即显示屏。根据所述偏移距离确定出画面对应的移动距离，和/或根据偏移角度确定出画面对应的移动方向，从而根据移动距离和/或移动方向来控制画面移动。示例性地，以显示屏为平面，显示屏中心位置为原点，获取到的偏移量为一长度为3cm，方向为原点的竖直向上方向向右偏转30°，则通过显示控制模块将画面向原点的竖直向上方向右偏30°方向移动3cm，从而使画面和用户的当前注视位置保持一致。
在本实施例提供的技术方案中，通过屏下摄像头采集用户成像数据，根据成像数据确定用户的当前注视位置，当所述当前注视位置偏离目标位置时，确定所述当前注视位置相对于所述目标位置的偏移量，最后根据所述偏移量控制所述显示屏的画面移动的方式。
参照图4，在第二实施例中，基于第一实施例，所述根据所述屏下摄像头的成像数据确定用户的注视位置的步骤之后，还包括：
步骤S40，判断所述注视位置是否位于所述显示屏中的目标移动区域；
步骤S50，当所述注视位置位于所述目标移动区域内时，执行所述当所述注视位置偏离目标位置时，确定所述注视位置相对于所述目标位置的偏移量的步骤。
可选地，本实施例在显示屏中设置目标移动区域，当注视位置处于目标移动区域内时，再执行确定偏移量的步骤。在本实施例中设置目标移动区域来限制画面的移动范围的有益效果包括但不限于：一，当用户眼睛的注视位置为VR设备的显示屏中无显示画面的区域时，避免画面移动到显示屏的可视范围之外；二，由于人在情绪出现较为剧烈的波动时，用户的眼睛会发生颤动，为了避免这种高频率、小范围的颤动造成画面的快速抖动，影响用户的产品体验。
其中，所述步骤S40包括：
步骤S41，获取第一坐标区间和第二坐标区间，以及获取所述注视位置的坐标，其中，所述第二坐标区间大于所述第一坐标区间；
步骤S42，当所述注视位置的坐标大于所述第一坐标区间，且小于所述第二坐标区间时，判断所述注视位置位于所述显示屏中的目标移动区域；否则，判断所述注视位置不位于所述目标移动区域。
可选地，目标移动区域可以由一个较小的第一坐标区间和一个较大的第二坐标区间确定，当所述注视位置的坐标大于所述第一坐标区间，且小于所述第二坐标区间时，则判断所述注视位置位于所述目标移动区域，若所述坐标不满足该关系(包括但不限于：小于第一坐标区间、等于第一/第二坐标区间，以及大于第二坐标区间等)，则均判断为所述注视位置不位于所述目标移动区域。
示例性地，参考图5，以Lcenter为圆心，以一条圆滑的曲线，分别穿过Lup2，Ldown2，Lleft2，Lright2画一个圆圈定义为Cmove，以一条圆滑的曲线，分别穿过Lup，Ldown，Lleft，Lright画一个圆圈Cstop，当超过Cmove圈时，画面按照眼球指示的方向移动，当超过Cstop圈时，则停止移动。从而将屏幕上任意一个点对应到眼球转动的偏移距离上。
在本实施例提供的技术方案中，通过获取第一坐标区间和第二坐标区间，以及获取所述注视位置的坐标，当所述注视位置的坐标大于所述第一坐标区间，且小于所述第二坐标区间时，判断所述注视位置位于所述显示屏中的目标移动区域的方式，避免了用户的眼球偏移量过大或过小时，基于眼球追踪技术来控制显示画面的功能降低了用户的VR设备的使用体验，以及频繁移动画面而增加VR设备的运行功耗、占用过多运行内存等问题。
此外，本发明还提供一种虚拟现实设备，所述虚拟现实设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚拟现实设备的显示控制程序，所述虚拟现实设备的显示控制程序被所述处理器执行时实现如上任一项所述的虚拟现实设备的显示控制方法的各个步骤。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有虚拟现实设备的显示控制程序，所述虚拟现实设备的显示控制程序被处理器执行时实现如上实施例所述的虚拟现实设备的显示控制方法的各个步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种虚拟现实设备的显示控制方法，其特征在于，应用于虚拟现实设备，所述虚拟现实设备设置有屏下摄像头，所述屏下摄像头设置于所述虚拟现实设备的显示屏的中心区域，所述虚拟现实设备的显示控制方法包括：
根据所述屏下摄像头的成像数据确定用户的当前注视位置；
当所述当前注视位置偏离目标位置时，确定所述当前注视位置相对于所述目标位置的偏移量；
根据所述偏移量控制所述显示屏的画面移动。
2.如权利要求1所述的虚拟现实设备的显示控制方法，其特征在于，所述根据所述屏下摄像头的成像数据确定用户的当前注视位置的步骤包括：
根据所述成像数据确定所述用户的眼球偏移向量；
获取所述眼球偏移向量与所述用户的注视位置之间的映射关系；
根据所述眼球偏移向量和所述映射关系，确定所述当前注视位置。
3.如权利要求2所述的虚拟现实设备的显示控制方法，其特征在于，所述虚拟现实设备设有眼球追踪校准模式，所述获取所述眼球偏移向量与眼球的注视位置之间的映射关系的步骤之前，还包括：
获取所述用户在所述显示屏中的第一注视位置和第二注视位置，所述第一注视位置为所述眼球追踪校准模式下的第一时刻所述用户的注视位置，所述第二注视位置为所述眼球追踪校准模式下的第二时刻所述用户的注视位置；
确定所述第一注视位置和所述第二注视位置之间的相对偏移量；
根据所述相对偏移量确定所述映射关系。
4.如权利要求1所述的虚拟现实设备的显示控制方法，其特征在于，所述当所述注视位置偏离目标位置时，确定所述注视位置相对于所述目标位置的偏移量的步骤包括：
获取所述目标位置的坐标和所述注视位置的坐标；
根据所述目标位置的坐标和所述注视位置的坐标之间的相对位置关系，确定所述偏移量。
5.如权利要求1所述的虚拟现实设备的显示控制方法，其特征在于，所述根据所述屏下摄像头的成像数据确定用户的注视位置的步骤之后，还包括：
判断所述注视位置是否位于所述显示屏中的目标移动区域；
当所述注视位置位于所述目标移动区域内时，执行所述当所述注视位置偏离目标位置时，确定所述注视位置相对于所述目标位置的偏移量的步骤。
6.如权利要求5所述的虚拟现实设备的显示控制方法，其特征在于，所述判断所述注视位置是否位于所述显示屏中的目标移动区域的步骤包括：
获取第一坐标区间和第二坐标区间，以及获取所述注视位置的坐标，其中，所述第二坐标区间大于所述第一坐标区间；
当所述注视位置的坐标大于所述第一坐标区间，且小于所述第二坐标区间时，判断所述注视位置位于所述显示屏中的目标移动区域；否则，判断所述注视位置不位于所述目标移动区域。
7.如权利要求1所述的虚拟现实设备的显示控制方法，其特征在于，所述根据所述偏移量控制所述显示屏的画面移动的步骤包括：
根据所述偏移量，确定所述画面在所述显示屏中的横向移动距离和/或纵向移动距离；
控制所述画面按照所述横向移动距离和/或纵向移动距离移动。
8.如权利要求1所述的虚拟现实设备的显示控制方法，其特征在于，所述根据所述偏移向量控制所述显示屏的画面移动的步骤包括：
根据所述偏移量，确定偏移距离和/或偏移角度；
根据所述偏移距离确定所述画面在所述显示屏中的移动距离，和/或根据所述偏移角度确定所述画面在所述显示屏中的移动方向；
控制所述画面按照所述移动距离和/或所述移动方向移动。
9.一种虚拟现实设备，其特征在于，所述虚拟现实设备包括：屏下摄像头、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于眼球追踪的屏幕控制程序，所述基于眼球追踪的显示控制程序被所述处理器执行时实现如权利要求1-7中任一项所述的虚拟现实设备的显示控制方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于眼球追踪的显示控制程序，所述基于眼球追踪的显示控制程序被处理器执行时实现如权利要求1-7中任一项所述的虚拟现实设备的显示控制方法的步骤。
CN202210529283.3A 2022-05-16 2022-05-16 虚拟现实设备的显示控制方法、虚拟现实设备及存储介质 Pending CN114911445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210529283.3A CN114911445A (zh) 2022-05-16 2022-05-16 虚拟现实设备的显示控制方法、虚拟现实设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210529283.3A CN114911445A (zh) 2022-05-16 2022-05-16 虚拟现实设备的显示控制方法、虚拟现实设备及存储介质

Publications (1)

Publication Number Publication Date
CN114911445A true CN114911445A (zh) 2022-08-16

Family

ID=82767059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210529283.3A Pending CN114911445A (zh) 2022-05-16 2022-05-16 虚拟现实设备的显示控制方法、虚拟现实设备及存储介质

Country Status (1)

Country Link
CN (1) CN114911445A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1672431A (zh) * 2002-05-21 2005-09-21 索尼株式会社 信息处理装置、信息处理系统和交谈对象显示方法
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
CN107609516A (zh) * 2017-09-13 2018-01-19 重庆爱威视科技有限公司 自适应眼动追踪方法
US9940518B1 (en) * 2017-09-11 2018-04-10 Tobii Ab Reliability of gaze tracking data for left and right eye
CN109901709A (zh) * 2019-01-14 2019-06-18 北京七鑫易维信息技术有限公司 调节显示画面的方法、装置及vr设备
CN111552389A (zh) * 2020-05-11 2020-08-18 Oppo广东移动通信有限公司 注视点抖动消除方法、装置及存储介质
CN113208558A (zh) * 2021-04-30 2021-08-06 南昌虚拟现实研究院股份有限公司 眼球追踪方法、装置、电子设备及存储介质
CN113419350A (zh) * 2021-06-18 2021-09-21 腾讯科技（深圳）有限公司 虚拟现实显示设备、画面呈现方法、装置及存储介质
CN113467600A (zh) * 2020-03-31 2021-10-01 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、系统、装置及投影设备
CN113918007A (zh) * 2021-04-27 2022-01-11 广州市保伦电子有限公司 一种基于眼球追踪的视频交互操作方法
US20220116546A1 (en) * 2020-10-12 2022-04-14 Qualcomm Incorporated Under-display camera and sensor control

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1672431A (zh) * 2002-05-21 2005-09-21 索尼株式会社 信息处理装置、信息处理系统和交谈对象显示方法
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
US9940518B1 (en) * 2017-09-11 2018-04-10 Tobii Ab Reliability of gaze tracking data for left and right eye
CN107609516A (zh) * 2017-09-13 2018-01-19 重庆爱威视科技有限公司 自适应眼动追踪方法
CN109901709A (zh) * 2019-01-14 2019-06-18 北京七鑫易维信息技术有限公司 调节显示画面的方法、装置及vr设备
CN113467600A (zh) * 2020-03-31 2021-10-01 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、系统、装置及投影设备
CN111552389A (zh) * 2020-05-11 2020-08-18 Oppo广东移动通信有限公司 注视点抖动消除方法、装置及存储介质
US20220116546A1 (en) * 2020-10-12 2022-04-14 Qualcomm Incorporated Under-display camera and sensor control
CN113918007A (zh) * 2021-04-27 2022-01-11 广州市保伦电子有限公司 一种基于眼球追踪的视频交互操作方法
CN113208558A (zh) * 2021-04-30 2021-08-06 南昌虚拟现实研究院股份有限公司 眼球追踪方法、装置、电子设备及存储介质
CN113419350A (zh) * 2021-06-18 2021-09-21 腾讯科技（深圳）有限公司 虚拟现实显示设备、画面呈现方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN108958473B (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
US10488925B2 (en) Display control device, control method thereof, and display control system
CN109741289B (zh) 一种图像融合方法和vr设备
EP3608755B1 (en) Electronic apparatus operated by head movement and operation method thereof
KR102558473B1 (ko) 이미지를 표시하기 위한 방법 및 그 전자 장치
US10698475B2 (en) Virtual reality interaction method, apparatus and system
US11574613B2 (en) Image display method, image processing method and relevant devices
KR102461232B1 (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
KR20150048623A (ko) 화면 조작장치 및 화면 조작방법
EP4156105A1 (en) Method and apparatus for spatial positioning
US20200042777A1 (en) Method, apparatus and device for determining an object, and storage medium for the same
KR20190062023A (ko) 사시 진단 시스템 및 방법, 시선 영상 획득 시스템, 컴퓨터 프로그램
US11335090B2 (en) Electronic device and method for providing function by using corneal image in electronic device
CN114255204A (zh) 弱视训练方法、装置、设备及存储介质
CN114092985A (zh) 一种终端控制方法、装置、终端及存储介质
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
CN106851249A (zh) 图像处理方法及显示设备
CN113570645A (zh) 图像配准方法、装置、计算机设备及介质
JP3796019B2 (ja) 視線検出装置
CN112183200A (zh) 一种基于视频图像的眼动追踪方法和系统
CN114911445A (zh) 虚拟现实设备的显示控制方法、虚拟现实设备及存储介质
CN113342157A (zh) 眼球追踪处理方法及相关装置
CN110858095A (zh) 可由头部操控的电子装置与其操作方法
CN113362344B (zh) 人脸皮肤分割方法和设备
CN111179860A (zh) 电子设备的背光模式调整方法、电子设备及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination