CN113448428A - 一种视线焦点的预测方法、装置、设备及计算机存储介质 - Google Patents

一种视线焦点的预测方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN113448428A
CN113448428A CN202010215210.8A CN202010215210A CN113448428A CN 113448428 A CN113448428 A CN 113448428A CN 202010215210 A CN202010215210 A CN 202010215210A CN 113448428 A CN113448428 A CN 113448428A
Authority
CN
China
Prior art keywords
sight
vector information
focus
sight vector
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010215210.8A
Other languages
English (en)
Other versions
CN113448428B (zh
Inventor
杨鑫
陈庆勇
桑建
魏远伦
曾艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Chengdu ICT Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Chengdu ICT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Chengdu ICT Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010215210.8A priority Critical patent/CN113448428B/zh
Publication of CN113448428A publication Critical patent/CN113448428A/zh
Application granted granted Critical
Publication of CN113448428B publication Critical patent/CN113448428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种视线焦点的预测方法、装置、设备及计算机存储介质。该方法包括：获取用户在第一时刻的第一视线矢量信息；根据第一视线矢量信息，从预先配置的数据库中确定与第一视线矢量信息相匹配的第二视线矢量信息，第二视线矢量信息包括与第二视线矢量对应的第二时刻，根据第二时刻和预设时间间隔信息确定第三时刻；根据第三时刻从数据库中确定第三时刻对应的第三视线矢量信息；基于数据库确定第三视线矢量信息对应的第三视线焦点坐标。根据本发明实施例，通过确定与用户当前实际的第一视线矢量信息相匹配的第二视线矢量信息，进而预测出用户在下一时刻的视线焦点坐标，能够快速准确的预测用户视线焦点。

Description

一种视线焦点的预测方法、装置、设备及计算机存储介质
技术领域
本发明属于信息处理领域，尤其涉及一种视线焦点的预测方法、装置、设备及计算机存储介质。
背景技术
随着电子设备以及移动互联网的发展，虚拟现实技术越来越多的应用到人们的生活和娱乐中。
目前虚拟现实技术是通过数学计算的方法，预测眼球运动、头部移动等，完成对用户视线焦点的移动轨迹的预测，进而为用户提供更好的虚拟现实沉浸式体验。这种预测大多是以人工智能技术算法为基础，关注用户眼球运动，而用户的实际视线焦点受使用者主观意志的影响较大，因此目前对于用户视线焦点的预测准确度不高。
因此，如何快速准确的预测用户视线焦点成为一个有待解决的问题。
发明内容
本发明实施例提供一种视线焦点的预测方法、装置、设备及计算机存储介质，能够快速准确的预测用户视线焦点。
第一方面，本申请提供了一种视线焦点的预测方法，该方法包括：获取用户在第一时刻的第一视线矢量信息；根据第一视线矢量信息，从预先配置的数据库中确定与第一视线矢量信息相匹配的第二视线矢量信息，第二视线矢量信息包括与第二视线矢量信息对应的第二时刻，数据库包括：视线矢量信息、任意两个视线矢量信息之间的关联关系、视线矢量信息对应的视线焦点坐标和视线矢量信息对应的时刻；根据第二时刻和预设时间间隔信息确定第三时刻；根据第三时刻从数据库中确定第三时刻对应的第三视线矢量信息；基于数据库确定第三视线矢量信息对应的第三视线焦点坐标。
在一种可能的实现中，在获取用户在第一时刻的第一视线矢量信息之前，方法还包括：获取用户在第一时刻的第一瞳孔中心坐标和第一视线焦点坐标；根据第一瞳孔中心坐标和第一视线焦点坐标确定第一视线矢量信息。
在一种可能的实现中，根据第一视线矢量信息，从预先配置的数据库中确定与第一视线矢量信息相匹配的第二视线矢量信息，包括：获取预先配置的数据库中的多个视线矢量信息；根据多个视线矢量信息确定关注热力图；根据关注热力图从数据库中确定与第一视线矢量信息相匹配的第二视线矢量信息。
在一种可能的实现中，根据第一视线矢量信息，从预先配置的数据库中确定与第一视线矢量信息相匹配的第二视线矢量信息，包括：根据第一瞳孔中心坐标确定第一瞳孔预设区域，第一瞳孔预设区域为以第一瞳孔中心坐标为圆心，第一预设长度为半径的区域；根据第一视线焦点坐标确定第一视线焦点预设区域，第一视线焦点预设区域为以第一视线焦点坐标为圆心，第二预设长度为半径的区域；根据第一瞳孔预设区域中包括的瞳孔中心坐标从数据库中确定第二视线矢量信息；根据第一视线焦点预设区域中包括的视线焦点坐标从数据库中确定第二视线矢量信息。
在一种可能的实现中，在确定第三视线矢量信息对应的第三视线焦点坐标之后，方法还包括：确定第三视线焦点坐标对应的目标对象；对目标对象进行渲染。
在一种可能的实现中，获取用户在第一时刻的第一瞳孔中心坐标和第一视线焦点坐标，包括：获取用户的瞳孔的第一运动参数，第一运动参数包括第一运动方向和第一运动距离；根据第一运动参数确定第一视线焦点坐标；其中，在用户的瞳孔向第一运动方向运动第一运动距离之后，用户的瞳孔中心坐标为第一瞳孔中心坐标。
在一种可能的实现中，根据第一运动参数确定第一视线焦点坐标，包括：获取用户的面部中心坐标的第二运动参数，和用户的身体重心坐标的第三运动参数；根据第一运动参数、第二运动参数和第三运动参数确定第一视线焦点坐标。
第二方面，本发明实施例提供了一种信息处理装置，装置包括：获取模块，用于获取用户在第一时刻的第一视线矢量信息；第一确定模块，用于根据第一视线矢量信息，从预先配置的数据库中确定与第一视线矢量信息相匹配的第二视线矢量信息，第二视线矢量信息包括与第二视线矢量信息对应的第二时刻，数据库包括：视线矢量信息、任意两个视线矢量信息之间的关联关系、视线矢量信息对应的视线焦点坐标和视线矢量信息对应的时刻；第二确定模块，用于根据第二时刻和预设时间间隔信息确定第三时刻；第三确定模块，用于根据第三时刻从数据库中确定第三时刻对应的第三视线矢量信息；第四确定模块，用于基于数据库确定第三视线矢量信息对应的第三视线焦点坐标。
第三方面，本发明实施例提供了一种计算设备，设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现如本发明实施例提供的处理方法。
第四方面，本发明实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如本发明实施例提供的处理方法。
本发明实施例的视线焦点的预测方法、装置、设备及计算机存储介质，通过根据用户当前实际的第一视线矢量信息从历史视线矢量信息数据库中确定出与第一视线矢量信息相匹配的第二视线矢量信息，进而预测出用户在下一时刻的视线焦点坐标，能够快速准确的预测用户视线焦点，进而提前对以预测出的用户视线焦点为中心的视界进行渲染，以减少虚拟现实图像的延迟，提升用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种视线焦点的预测方法的流程示意图；
图2是本发明实施例提供的一种VR眼镜的结构示意图；
图3是本发明实施例提供的另一种视线焦点的预测方法的流程示意图；
图4是本发明实施例提供的又一种视线焦点的预测方法的流程示意图；
图5是本发明实施例提供的一种信息处理装置的结构示意图；
图6是本发明实施例提供的一种示例性硬件架构的示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
随着电子设备以及移动互联网的发展，虚拟现实(Virtual Reality，VR)技术越来越多的应用到人们的生活和娱乐中。在VR眼镜将虚拟世界呈现给用户的过程中，需要进行实时视觉绘制，即在一定的时间内完成三维虚拟场景的绘制。虚拟场景绘制的主要环节包括：绘制几何外形和轮廓，利用纹理映射、环境映射来渲染真实度，最后输出实时画面。
目前为了提高图形显示能力，可以从两个方向来着手：一方面是通过提高硬件配置来提高计算机算力，另一方面则是降低场景复杂度，减少对计算、渲染、带宽等资源的占用和消耗。其中，降低场景复杂度的方法有以下几种。
预测计算，即根据运动的方向、速率、加速度等运行规律，在下一帧画面绘制之前用预测、外推的方法推算出手部跟踪系统及其它设备的输入，从而减少输入设备产生的延迟。脱机计算，即提前计算一些数据并存储在系统中，运行时直接调用，加快运行速度。3D剪切，即针对可视空间进行剪切，将一个复杂场景划分成若干子场景。通过剔除虚拟环境在可视空间以外的部分，有效地减少某一时刻所需要显示的多边形数量，从而降低场景复杂度，减少计算量。可见消隐，即仅显示用户当前能看“看见”的场景，当用户仅能看到整个场景中很小的一部分时，系统仅显示相应场景，从而大大地减少所需显示的多边形数量。
在上述技术方向的基础上，用户在移动视线时，视场的实时变换又成为一个需要解决的问题。目前常见的做法有：扩展当前视界到外侧的一定范围；观测用户眼球的位置，通过卷积神经网络来预测眼球的运动方向，进而预测视线焦点；根据用户头部的运动，通过神经网络来预测视场；以固定运动轨迹预测视场等，进而得以进行渲染计算。
但是这种预测大多是以人工智能技术算法为基础，关注用户眼球运动，而实际视线焦点并不是一种由恒定不变的计算公式完全决定的，受使用者主观意志的影响较大，比如用户在上一时刻面部朝向或者视线焦点对应的关注范围不能代表下一时刻用户的关注范围，因此现有技术预测的准确性不能满足使用者的需求。
为了解决目前预测用户视线焦点的准确度不高的问题，发明人基于人群观察事物时的关注点高度相似的特征，提出了可以通过根据用户当前实际的第一视线矢量信息从历史视线矢量信息数据库中确定出与第一视线矢量信息相匹配的第二视线矢量信息，进而预测出用户在下一时刻的视线焦点坐标。基于此，本发明实施例提供了一种视线焦点的预测方法。
下面对本发明实施例所提供的视线焦点的预测方法进行描述。
图1所示为本发明实施例的视线焦点的预测方法的流程示意图。
如图1所示，该视线焦点的预测方法可以包括S101-S105，该方法应用于服务器，具体如下所示：
S101，获取用户在第一时刻的第一视线矢量信息。
S102，根据第一视线矢量信息，从预先配置的数据库中确定与第一视线矢量信息相匹配的第二视线矢量信息，第二视线矢量信息包括与第二视线矢量对应的第二时刻，数据库包括：视线矢量信息、任意两个视线矢量信息之间的关联关系、视线矢量信息对应的视线焦点坐标和视线矢量信息对应的时刻。
S103，根据第二时刻和预设时间间隔信息确定第三时刻。
S104，根据第三时刻从数据库中确定第三时刻对应的第三视线矢量信息。
S105，基于数据库确定第三视线矢量信息对应的第三视线焦点坐标。
本申请提供的视线焦点的预测方法中，通过根据用户当前实际的第一视线矢量信息从历史视线矢量信息数据库中确定出与第一视线矢量信息相匹配的第二视线矢量信息，进而预测出用户在下一时刻的视线焦点坐标，能够快速准确的预测用户视线焦点。
下面，对S101-S105的内容分别进行描述：
首先介绍S101的具体实现方式。
用户在第一时刻的第一视线矢量信息，即从用户瞳孔中心到第一视线焦点的矢量、可以包括第一瞳孔中心坐标、第一视线焦点坐标、第一瞳孔中心坐标及第一视线焦点坐标两点之间的距离、两点之间的空间角度、两点之间连线的矢量方向等。
作为本申请的一种实现方式，为了提高预测用户视线焦点的效率，在S101之前，还可以包括以下步骤：
获取用户在第一时刻的第一瞳孔中心坐标和第一视线焦点坐标；根据第一瞳孔中心坐标和第一视线焦点坐标确定第一视线矢量信息。
用户启动VR应用，开始在VR眼镜上查看VR场景，VR眼镜跟踪用户眼球瞳孔的初始位置和方向，即用户在第一时刻的第一瞳孔中心坐标和第一视线焦点坐标。根据第一瞳孔中心坐标和第一视线焦点坐标确定第一视线矢量信息，第一视线矢量信息包括用户的第一瞳孔中心坐标、第一视线焦点坐标、第一瞳孔中心和第一视线焦点这两点之间的距离、两点之间的空间角度，以及两点之间连线的矢量方向。
在上述涉及到的获取用户在第一时刻的第一瞳孔中心坐标和第一视线焦点坐标步骤中，具体可以包括：
获取用户的瞳孔的第一运动参数，第一运动参数包括第一运动方向和第一运动距离；根据第一运动参数确定第一视线焦点坐标；其中，在用户的瞳孔向第一运动方向运动第一运动距离之后，用户的瞳孔中心坐标为第一瞳孔中心坐标。
VR眼镜实时跟踪用户眼球瞳孔的运动方向和运动幅度，即第一运动参数，然后根据瞳孔的第一运动参数，对用户的第一视线焦点坐标进行计算，实现对用户视线焦点的跟踪，确定用户在当前VR场景中的视线焦点物体及视线焦点位置。
在上述涉及到的根据第一运动参数确定第一视线焦点坐标步骤中，具体可以包括：
获取用户的面部中心坐标的第二运动参数，和用户的身体重心坐标的第三运动参数；根据第一运动参数、第二运动参数和第三运动参数确定第一视线焦点坐标。
在确定第一视线焦点坐标的过程中，可以综合考量用户的瞳孔的第一运动参数、面部中心坐标的第二运动参数，和用户的身体重心坐标的第三运动参数来确定第一视线焦点坐标。VR眼镜会实时跟踪用户瞳孔的第一运动参数，然后根据瞳孔的第一运动参数，再结合用户身体、头部的整体运动情况，对用户的第一视线焦点坐标进行计算，实现对用户视线焦点的跟踪，确定用户在当前VR场景中的视线焦点物体及视线焦点位置。
其次介绍S102的具体实现方式。
在一个实施例中，获取预先配置的数据库中的多个视线矢量信息；根据多个视线矢量信息确定关注热力图；根据关注热力图从数据库中确定与第一视线矢量信息相匹配的第二视线矢量信息。
热力图是一种以特殊高亮的形式显示用户在预设区域内热衷关注的物体的图示，可以直观清楚地看到预设区域的用户兴趣焦点，即预设区域中的哪些部分或物体吸引了大多数用户的注意。这里通过监测并记录历史使用者在查看VR场景过程中的视线焦点，在VR场景中的各个物体模型上形成关注热力图，在当前使用者在相似位置查看VR场景时，基于人类的集体共性，根据前述生成的视线焦点热力图，预测使用者视线焦点接下来的移动轨迹，从而提前进行VR场景的渲染计算，能够改善预测的准确性。
在另一个实施例中，根据第一瞳孔中心坐标确定第一瞳孔预设区域，第一瞳孔预设区域为以第一瞳孔中心坐标为圆心，第一预设长度为半径的区域；根据第一视线焦点坐标确定第一视线焦点预设区域，第一视线焦点预设区域为以第一视线焦点坐标为圆心，第二预设长度为半径的区域；根据第一瞳孔预设区域中包括的瞳孔中心坐标从数据库中确定第二视线矢量信息；根据第一视线焦点预设区域中包括的视线焦点坐标从数据库中确定第二视线矢量信息。
以当前矢量数据VS，即第一视线矢量信息为中间值，一定的邻近区间为置信区间，即以第一瞳孔中心坐标为圆心，第一预设长度为半径来确定第一瞳孔预设区域，并以第一视线焦点坐标为圆心，第二预设长度为半径来确定第一视线焦点预设区域。以中间值和置信区间两个参数在视线矢量历史数据库中进行检索，得到当前视线矢量的历史数据集{VSH0}，即从数据库中确定第二视线矢量信息。
然后介绍S103的具体实现方式。
根据第二时刻和预设时间间隔信息确定第三时刻，比如，将与第二视线矢量对应的第二时刻t0往后推预设时间间隔Δt，能够得到第三时刻的集合，即：{t1}＝{t0}+Δt。
接下来介绍S104的具体实现方式。
根据第三时刻从数据库中确定第三时刻对应的第三视线矢量信息。也就是，根据第三时刻{t1}，能够从数据库中确定第三时刻t1对应的第三视线矢量信息数据集，记为{VSH1}。
最后介绍S105的具体实现方式。
基于数据库确定第三视线矢量信息对应的第三视线焦点坐标。根据第三视线矢量信息{VSH1}，从数据库中获取矢量终点即第三视线矢量信息对应的第三视线焦点坐标{SFH1}。其中，第三视线焦点坐标{SFH1}即为对使用者在t0时刻后Δt的视线焦点所在位置的预测，从而可以对{SFH1}中的视线焦点坐标及周边区域进行优先渲染和传输。
作为本申请的另一种实现方式，为了减少虚拟现实图像的延迟，在S105之后，还可以包括以下步骤：
确定第三视线焦点坐标对应的目标对象；对目标对象进行渲染。也就是对第三视线焦点坐标{SFH1}中的视线焦点坐标及周边区域进行优先渲染和传输，如果用户移动视线，VR眼镜会对视界中{SFH1}以外的坐标进行渲染和传输，VR眼镜将完整的渲染后的视界内容同步并拼装后，向用户进行用以呈现。
本发明实施例的提供的视线焦点的预测方法，通过根据用户当前实际的第一视线矢量信息从历史视线矢量信息数据库中确定出与第一视线矢量信息相匹配的第二视线矢量信息，进而预测出用户在下一时刻的视线焦点坐标，能够快速准确的预测用户视线焦点，进而提前对以预测出的用户视线焦点为中心的视界进行渲染，以减少虚拟现实图像的延迟，提升用户体验。
基于上述视线焦点的预测方法，本发明实施例还提供了一种VR眼镜，具体结合图2进行详细说明。
如图2所示，VR眼镜20包括：显示成像模块21、眼球监控模块22、视线焦点计算模块23、矢量计算模块24、眼球瞳孔跟踪模块25、视线矢量历史数据库模块26、预测场景模块27、渲染模块28和显示模块29。
下面分别进行描述：
显示成像模块21，用于使用户在VR眼镜上查看VR场景。
眼球监控模块22，用于监控用户眼球瞳孔的初始位置和方向。
视线焦点计算模块23，用于根据瞳孔的运动，再结合用户身体、头部的整体运动情况，实现对用户视线焦点的跟踪，确定用户在当前VR场景中的视线焦点物体及视线焦点位置。
矢量计算模块24，用于计算并得到从用户眼睛到视线焦点矢量，包括眼睛坐标、视线焦点坐标、两点之间的距离、两点之间的空间角度、两点之间连线的矢量方向等。
眼球瞳孔跟踪模块25，用于跟踪用户眼球瞳孔的运动方向和运动幅度。
视线矢量历史数据库模块26，用于记录视线矢量及其对应的时间点。
预测场景模块27，用于以用户当前的视线矢量为中间值，一定的邻近区间为置信区间，在视线矢量历史数据库中进行检索，得到当前视线矢量对应的历史数据集。
渲染模块28，用于对用户的视线焦点坐标及周边区域进行优先渲染和传输。
显示模块29，用于将完整的渲染后的视界内容同步并拼装后，进行呈现。
本发明实施例的提供的VR眼镜，通过监测并记录历史使用者在查看VR场景过程中的视线焦点，在当前使用者在相似位置查看VR场景时，基于人类的集体共性，根据视线矢量历史数据库中的历史视线矢量，预测使用者视线焦点接下来的移动轨迹，从而提前进行VR场景的渲染计算，更符合人体工程学和人类社会学原理，以减少虚拟现实图像的延迟，提升用户体验。
基于上述视线焦点的预测方法，本发明实施例还提供了另一种信息处理方法，具体结合图3进行详细说明。
步骤301，用户启动VR应用。
即开始在VR眼镜上的显示成像模块上查看VR场景。
步骤302，跟踪用户眼球瞳孔的运动方向和运动幅度。
即利用VR眼镜上的眼球监控模块跟踪用户眼球瞳孔的运动方向和运动幅度。
步骤303，确定用户当前视线焦点。
即利用VR眼镜上的视线焦点计算模块根据瞳孔的运动，再结合用户身体、头部的整体运动情况，实现对用户视线焦点的跟踪，确定用户在当前VR场景中的视线焦点物体及视线焦点位置。
步骤304，确定当前视线矢量VS。
即利用VR眼镜上的矢量计算模块计算并得到从用户眼睛到视线焦点矢量，包括眼睛坐标、视线焦点坐标、两点之间的距离、两点之间的空间角度、两点之间连线的矢量方向等，将上述数据及其对应的时间点记录到视线矢量历史数据库。
步骤305，确定多个视线矢量VS。
用户在VR场景中，移动所处位置、角度、距离、视线等，即用户眼睛的位置，记录用户改变视线焦点后的多个视线矢量VS。
步骤306，重复步骤302-步骤305。
其中，在上述步骤302-步骤306中的任一步骤，用户均可退出VR应用，停止观看VR场景，此时应停止VR眼镜上包括眼球瞳孔跟踪模块、视线焦点计算模块、视线矢量历史数据库模块等在内所有模块的运行。
本发明实施例提供的另一种信息处理方法，准确的记录了大量的历史视线矢量信息，并形成历史视线矢量信息数据库，为后续预测用户的视线焦点坐标，提供了有益的辅助。
基于上述视线焦点的预测方法，本发明实施例提供了又一种信息处理方法，具体结合图4进行详细说明。
步骤401，用户启动VR应用。
即开始在VR眼镜上的显示成像模块上查看VR场景。
步骤402，跟踪用户眼球瞳孔的初始位置和方向。
即利用VR眼镜上的眼球监控模块跟踪用户眼球瞳孔的初始位置和方向。
步骤403，确定用户当前视线焦点。
即利用VR眼镜上的视线焦点计算模块根据瞳孔的初始条件参数，得到用户当前视线焦点，确定用户在当前VR场景中的视线焦点物体及视线焦点位置。
步骤404，确定当前视线矢量VS。
即利用VR眼镜上的矢量计算模块计算并得到从用户眼睛到视线焦点的视线矢量VS，包括眼睛坐标、视线焦点坐标、两点之间的距离、两点之间的空间角度、两点之间连线的矢量方向。
步骤405，确定当前视线矢量的历史数据集{VSH0}。
以当前视线矢量VS为中间值，一定的邻近区间为置信区间，预测场景模块以中间值和置信区间两个参数在视线矢量历史数据库中进行检索，得到当前视线矢量的历史数据集{VSH0}。
步骤406，确定{VSH0}对应的{t0}。
根据当前视线矢量的历史数据集{VSH0}，能够从视线矢量历史数据库中获得历史数据集里各条记录的时间点集{t(VSH0)}，记为{t0}。
步骤407，将t0推后Δt确定{t1}。
沿t0推后Δt，能够得到{t1}＝{t0}+Δt。。
步骤408，根据{VSH0}和{t1}确定{VSH1}。
根据当前视线矢量的历史数据集{VSH0}和{t1}，能够从视线矢量历史数据库中得到t1时刻的视线矢量历史数据集，记为{VSH1}。
步骤409，确定{VSH1}对应的{SFH1}。
根据视线矢量历史数据集{VSH1}，取得矢量终点即视线焦点的历史集{SFH1}。
步骤410，对{SFH1}的相关区域进行渲染和传输。
视线焦点历史集{SFH1}即为对使用者在t0时刻后Δt的视线焦点所在位置的预测，VR眼镜的渲染模块对{SFH1}中的视线焦点坐标及周边区域进行优先渲染和传输。
步骤411，对{SFH1}以外的相关区域进行渲染和传输。
使用者移动视线，VR眼镜对视界中{SFH1}以外的坐标进行渲染和传输。
步骤412，显示渲染后的视界内容。
VR眼镜将完整的渲染后的视界内容同步并拼装后，通过显示模块进行呈现。
步骤413，重复步骤404-步骤412。
其中，在上述步骤402-步骤413中的任一步骤，用户均可退出VR应用，停止观看VR场景，此时应停止VR眼镜上包括显示成像模块、眼球监控模块、视线焦点计算模块、矢量计算模块、预测场景模块、视线矢量历史数据库模块等在内所有模块的运行。
另外，基于上述视线焦点的预测方法，本发明实施例还提供了一种信息处理装置，具体结合图5进行详细说明。
图5所示为本发明实施例的装置的结构框图。
如图5所示，该装置500可以包括：
获取模块510，用于获取用户在第一时刻的第一视线矢量信息。
第一确定模块520，用于根据第一视线矢量信息，从预先配置的数据库中确定与第一视线矢量信息相匹配的第二视线矢量信息，第二视线矢量信息包括与第二视线矢量对应的第二时刻，数据库包括：视线矢量信息、任意两个视线矢量信息之间的关联关系、视线矢量信息对应的视线焦点坐标和视线矢量信息对应的时刻。
第二确定模块530，用于根据第二时刻和预设时间间隔信息确定第三时刻。
第三确定模块540，用于根据第三时刻从数据库中确定第三时刻对应的第三视线矢量信息。
第四确定模块550，用于基于数据库确定第三视线矢量信息对应的第三视线焦点坐标。
获取模块510还用于获取用户在第一时刻的第一瞳孔中心坐标和第一视线焦点坐标；根据第一瞳孔中心坐标和第一视线焦点坐标确定第一视线矢量信息。
获取模块510还用于获取用户的瞳孔的第一运动参数，第一运动参数包括第一运动方向和第一运动距离；根据第一运动参数确定第一视线焦点坐标；其中，在用户的瞳孔向第一运动方向运动第一运动距离之后，用户的瞳孔中心坐标为第一瞳孔中心坐标。
获取模块510还用于获取用户的面部中心坐标的第二运动参数，和用户的身体重心坐标的第三运动参数；根据第一运动参数、第二运动参数和第三运动参数确定第一视线焦点坐标。
作为一个示例，第一确定模块520具体用于获取预先配置的数据库中的多个视线矢量信息；根据多个视线矢量信息确定关注热力图；根据关注热力图从数据库中确定与第一视线矢量信息相匹配的第二视线矢量信息。
作为一个示例，第一确定模块520具体用于根据第一瞳孔中心坐标确定第一瞳孔预设区域，第一瞳孔预设区域为以第一瞳孔中心坐标为圆心，第一预设长度为半径的区域；根据第一视线焦点坐标确定第一视线焦点预设区域，第一视线焦点预设区域为以第一视线焦点坐标为圆心，第二预设长度为半径的区域；根据第一瞳孔预设区域中包括的瞳孔中心坐标从数据库中确定第二视线矢量信息；根据第一视线焦点预设区域中包括的视线焦点坐标从数据库中确定第二视线矢量信息。
第四确定模块550还用于确定第三视线焦点坐标对应的目标对象；对目标对象进行渲染。
综上，本发明实施例的提供的视线焦点的预测装置，通过根据用户当前实际的第一视线矢量信息从历史视线矢量信息数据库中确定出与第一视线矢量信息相匹配的第二视线矢量信息，进而预测出用户在下一时刻的视线焦点坐标，能够快速准确的预测用户视线焦点，进而提前对以预测出的用户视线焦点为中心的视界进行渲染，以减少虚拟现实图像的延迟，提升用户体验。
图6示出了本发明实施例提供的一种示例性硬件架构的示意图。
该设备可以包括处理器601以及存储有计算机程序指令的存储器602。
具体地，上述处理器601可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器602可在综合网关容灾设备的内部或外部。在特定实施例中，存储器602是非易失性固态存储器。在特定实施例中，存储器602包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现上述实施例中的任意一种视线焦点的预测方法。
在一个示例中，定位设备还可包括通信接口603和总线610。其中，如图6所示，处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
通信接口603，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线610包括硬件、软件或两者，将信息处理设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
该处理设备可以执行本发明实施例中的视线焦点的预测方法，从而实现结合图1描述的视线焦点的预测方法。
另外，结合上述实施例中的视线焦点的预测方法，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意视线焦点的预测方法。
需要明确的是，本发明实施例并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明实施例的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明实施例的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为软件方式，本发明实施例的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明实施例不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种视线焦点的预测方法，其中，其特征在于，所述方法包括：
获取用户在第一时刻的第一视线矢量信息；
根据所述第一视线矢量信息，从预先配置的数据库中确定与所述第一视线矢量信息相匹配的第二视线矢量信息，所述第二视线矢量信息包括与所述第二视线矢量信息对应的第二时刻，所述数据库包括：视线矢量信息、任意两个所述视线矢量信息之间的关联关系、所述视线矢量信息对应的视线焦点坐标和所述视线矢量信息对应的时刻；
根据所述第二时刻和预设时间间隔信息确定第三时刻；
根据所述第三时刻从所述数据库中确定所述第三时刻对应的第三视线矢量信息；
基于所述数据库确定所述第三视线矢量信息对应的第三视线焦点坐标。
2.根据权利要求1所述的方法，其特征在于，在所述获取用户在第一时刻的第一视线矢量信息之前，所述方法还包括：
获取所述用户在第一时刻的第一瞳孔中心坐标和第一视线焦点坐标；
根据所述第一瞳孔中心坐标和所述第一视线焦点坐标确定所述第一视线矢量信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一视线矢量信息，从预先配置的数据库中确定与所述第一视线矢量信息相匹配的第二视线矢量信息，包括：
获取所述预先配置的数据库中的多个视线矢量信息；
根据所述多个视线矢量信息确定关注热力图；
根据所述关注热力图从所述数据库中确定与所述第一视线矢量信息相匹配的第二视线矢量信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一视线矢量信息，从预先配置的数据库中确定与所述第一视线矢量信息相匹配的第二视线矢量信息，包括：
根据所述第一瞳孔中心坐标确定第一瞳孔预设区域，所述第一瞳孔预设区域为以所述第一瞳孔中心坐标为圆心，第一预设长度为半径的区域；
根据所述第一视线焦点坐标确定第一视线焦点预设区域，所述第一视线焦点预设区域为以所述第一视线焦点坐标为圆心，第二预设长度为半径的区域；
根据所述第一瞳孔预设区域中包括的瞳孔中心坐标从所述数据库中确定所述第二视线矢量信息；
根据所述第一视线焦点预设区域中包括的视线焦点坐标从所述数据库中确定所述第二视线矢量信息。
5.根据权利要求1所述的方法，其特征在于，在所述确定所述第三视线矢量信息对应的所述第三视线焦点坐标之后，所述方法还包括：
确定所述第三视线焦点坐标对应的目标对象；
对所述目标对象进行渲染。
6.根据权利要求2所述的方法，其特征在于，所述获取用户在第一时刻的第一瞳孔中心坐标和第一视线焦点坐标，包括：
获取用户的瞳孔的第一运动参数，所述第一运动参数包括第一运动方向和第一运动距离；
根据所述第一运动参数确定所述第一视线焦点坐标；
其中，在所述用户的瞳孔向所述第一运动方向运动所述第一运动距离之后，所述用户的瞳孔中心坐标为所述第一瞳孔中心坐标。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第一运动参数确定所述第一视线焦点坐标，包括：
获取用户的面部中心坐标的第二运动参数，和所述用户的身体重心坐标的第三运动参数；
根据所述第一运动参数、所述第二运动参数和所述第三运动参数确定所述第一视线焦点坐标。
8.一种视线焦点的预测装置，其特征在于，包括：
获取模块，用于获取用户在第一时刻的第一视线矢量信息；
第一确定模块，用于根据所述第一视线矢量信息，从预先配置的数据库中确定与所述第一视线矢量信息相匹配的第二视线矢量信息，所述第二视线矢量信息包括与所述第二视线矢量信息对应的第二时刻，所述数据库包括：视线矢量信息、任意两个所述视线矢量信息之间的关联关系、所述视线矢量信息对应的视线焦点坐标和所述视线矢量信息对应的时刻；
第二确定模块，用于根据所述第二时刻和预设时间间隔信息确定第三时刻；
第三确定模块，用于根据所述第三时刻从所述数据库中确定所述第三时刻对应的第三视线矢量信息；
第四确定模块，用于基于所述数据库确定所述第三视线矢量信息对应的第三视线焦点坐标。
9.一种计算设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的视线焦点的预测方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的视线焦点的预测方法。
CN202010215210.8A 2020-03-24 2020-03-24 一种视线焦点的预测方法、装置、设备及计算机存储介质 Active CN113448428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010215210.8A CN113448428B (zh) 2020-03-24 2020-03-24 一种视线焦点的预测方法、装置、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010215210.8A CN113448428B (zh) 2020-03-24 2020-03-24 一种视线焦点的预测方法、装置、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113448428A true CN113448428A (zh) 2021-09-28
CN113448428B CN113448428B (zh) 2023-04-25

Family

ID=77806477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010215210.8A Active CN113448428B (zh) 2020-03-24 2020-03-24 一种视线焦点的预测方法、装置、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113448428B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115390678A (zh) * 2022-10-27 2022-11-25 科大讯飞股份有限公司 虚拟人交互方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130060464A1 (en) * 2010-05-12 2013-03-07 Telefonaktiebolaget L M Ericsson (Publ) Method, Computer Program and Apparatus for Determining an Object in Sight
CN106101540A (zh) * 2016-06-28 2016-11-09 北京旷视科技有限公司 对焦点确定方法及装置
US20160335475A1 (en) * 2014-02-04 2016-11-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. 3d image analyzer for determining the gaze direction
CN107274472A (zh) * 2017-06-16 2017-10-20 福州瑞芯微电子股份有限公司 一种提高vr播放帧率的方法和装置
CN107357429A (zh) * 2017-07-10 2017-11-17 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
WO2018017751A1 (en) * 2016-07-19 2018-01-25 Supereye, Inc. Systems and methods for predictive visual rendering
CN108985172A (zh) * 2018-06-15 2018-12-11 北京七鑫易维信息技术有限公司 一种基于结构光的视线追踪方法、装置、设备及存储介质
CN109271022A (zh) * 2018-08-28 2019-01-25 北京七鑫易维信息技术有限公司 一种vr设备的显示方法、装置、vr设备及存储介质
CN109558012A (zh) * 2018-12-26 2019-04-02 北京七鑫易维信息技术有限公司 一种眼球追踪方法及装置
CN109740491A (zh) * 2018-12-27 2019-05-10 北京旷视科技有限公司 一种人眼视线识别方法、装置、系统及存储介质
CN110263657A (zh) * 2019-05-24 2019-09-20 亿信科技发展有限公司 一种人眼追踪方法、装置、系统、设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130060464A1 (en) * 2010-05-12 2013-03-07 Telefonaktiebolaget L M Ericsson (Publ) Method, Computer Program and Apparatus for Determining an Object in Sight
US20160335475A1 (en) * 2014-02-04 2016-11-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. 3d image analyzer for determining the gaze direction
CN106101540A (zh) * 2016-06-28 2016-11-09 北京旷视科技有限公司 对焦点确定方法及装置
WO2018017751A1 (en) * 2016-07-19 2018-01-25 Supereye, Inc. Systems and methods for predictive visual rendering
US20190235624A1 (en) * 2016-07-19 2019-08-01 Supereye, Inc. Systems and methods for predictive visual rendering
CN107274472A (zh) * 2017-06-16 2017-10-20 福州瑞芯微电子股份有限公司 一种提高vr播放帧率的方法和装置
CN107357429A (zh) * 2017-07-10 2017-11-17 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
CN108985172A (zh) * 2018-06-15 2018-12-11 北京七鑫易维信息技术有限公司 一种基于结构光的视线追踪方法、装置、设备及存储介质
CN109271022A (zh) * 2018-08-28 2019-01-25 北京七鑫易维信息技术有限公司 一种vr设备的显示方法、装置、vr设备及存储介质
CN109558012A (zh) * 2018-12-26 2019-04-02 北京七鑫易维信息技术有限公司 一种眼球追踪方法及装置
CN109740491A (zh) * 2018-12-27 2019-05-10 北京旷视科技有限公司 一种人眼视线识别方法、装置、系统及存储介质
CN110263657A (zh) * 2019-05-24 2019-09-20 亿信科技发展有限公司 一种人眼追踪方法、装置、系统、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏孟娜: "《交互设计：创造高效用户体验》", 31 March 2018, 华南理工大学出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115390678A (zh) * 2022-10-27 2022-11-25 科大讯飞股份有限公司 虚拟人交互方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113448428B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN109086726B (zh) 一种基于ar智能眼镜的局部图像识别方法及系统
CN110058694B (zh) 视线追踪模型训练的方法、视线追踪的方法及装置
CN112400202B (zh) 为在hmd环境中进行快速中央凹渲染利用预测和对gpu的后期更新做出的眼睛跟踪
CN107820593B (zh) 一种虚拟现实交互方法、装置及系统
CN108919958B (zh) 一种图像传输方法、装置、终端设备及存储介质
Martin et al. Scangan360: A generative model of realistic scanpaths for 360 images
EP4307233A1 (en) Data processing method and apparatus, and electronic device and computer-readable storage medium
US11302049B2 (en) Preventing transition shocks during transitions between realities
CN108958577B (zh) 基于可穿戴设备的窗口操作方法、装置、穿戴设备及介质
US11775058B2 (en) Method and system for performing eye tracking using an off-axis camera
CN111522433A (zh) 用于确定当前注视方向的方法和系统
US20230206093A1 (en) Music recommendation method and apparatus
US11161029B2 (en) Sport training on augmented/virtual reality devices by measuring hand-eye coordination-based measurements
CN113362450A (zh) 一种三维重建方法、装置及系统
Kowalski et al. Holoface: Augmenting human-to-human interactions on hololens
CN113448428B (zh) 一种视线焦点的预测方法、装置、设备及计算机存储介质
CN113269044A (zh) 头戴式显示设备的显示控制方法、装置及头戴式显示设备
US10922825B2 (en) Image data processing method and electronic device
KR101907794B1 (ko) 360도 영상 전송 장치 및 방법
CN112967328A (zh) 图像深度信息局部动态生成方法和装置
Jain et al. [POSTER] AirGestAR: Leveraging Deep Learning for Complex Hand Gestural Interaction with Frugal AR Devices
CN115578541B (zh) 虚拟对象驱动方法及装置、设备、系统、介质和产品
CN113992885B (zh) 一种数据同步方法及装置
US20230290101A1 (en) Data processing method and apparatus, electronic device, and computer-readable storage medium
CN116449962A (zh) 内部场景ar可视化方法、装置以及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant