CN113791687A - Vr场景中的交互方法、装置、计算设备及存储介质 - Google Patents
Vr场景中的交互方法、装置、计算设备及存储介质 Download PDFInfo
- Publication number
- CN113791687A CN113791687A CN202111081216.1A CN202111081216A CN113791687A CN 113791687 A CN113791687 A CN 113791687A CN 202111081216 A CN202111081216 A CN 202111081216A CN 113791687 A CN113791687 A CN 113791687A
- Authority
- CN
- China
- Prior art keywords
- application program
- user
- model
- rendering
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003993 interaction Effects 0.000 title claims abstract description 46
- 238000009877 rendering Methods 0.000 claims abstract description 82
- 230000009471 action Effects 0.000 claims abstract description 14
- 230000000875 corresponding effect Effects 0.000 claims description 40
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 15
- 238000009434 installation Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 description 20
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 241000132456 Haplocarpha Species 0.000 description 1
- 208000003028 Stuttering Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
Abstract
本发明公开了一种VR场景中的交互方法、装置、计算设备及存储介质，方法包括：捕捉用户视线焦点，确定应用程序列表中用户视线焦点所停留的目标应用程序；获取目标应用程序的模型渲染数据，根据模型渲染数据渲染展示目标应用程序的虚拟形象，虚拟形象中展示有目标应用程序的各个层级的应用内容。通过上述方式，根据用户交互动作确定目标应用程序，将目标应用程序的内容以虚拟形象呈现在VR虚拟空间中，丰富了VR设备承载的内容类型，提高了VR设备的内容服务能力。
Description
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种VR场景中的交互方法、装置、计算设备及存储介质。
背景技术
虚拟现实技术(英文名称：Virtual Reality，缩写为VR)，又称灵境技术，是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求日益旺盛。VR技术也取得了巨大进步，并逐步成为一个新的科学技术领域。
现有的VR设备内容通过预先建立的三维立体模型渲染，场景和内容都较为单一，只能够提供单一的服务，用户缺少选择性，且无法与展示内容进行有效互动。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的VR场景中的交互方法、装置、计算设备及存储介质。
根据本发明的一个方面，提供了一种VR场景中的交互方法，其特征在于，包括：
捕捉用户视线焦点，确定应用程序列表中用户视线焦点所停留的目标应用程序；
获取目标应用程序的模型渲染数据，根据模型渲染数据渲染展示目标应用程序的虚拟形象，虚拟形象中展示有目标应用程序的各个层级的应用内容。
根据本发明的另一方面，提供了一种VR场景中的交互装置，其特征在于，包括：
交互模块，适于捕捉用户视线焦点，确定应用程序列表中用户视线焦点所停留的目标应用程序；
渲染展示模块适于，获取目标应用程序的模型渲染数据，根据模型渲染数据渲染展示目标应用程序的虚拟形象，虚拟形象中展示有目标应用程序的各个层级的应用内容。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述VR场景中的交互方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述VR场景中的交互方法对应的操作。
根据本发明的VR场景中的交互方法、装置、计算设备及存储介质，捕捉用户视线焦点，确定应用程序列表中用户视线焦点所停留的目标应用程序；获取目标应用程序的模型渲染数据，根据模型渲染数据渲染展示目标应用程序的虚拟形象，虚拟形象中展示有目标应用程序的各个层级的应用内容。本实施例提供一种VR场景下的交互方式，根据用户交互动作确定目标应用程序，将目标应用程序的内容以虚拟形象呈现在VR虚拟空间中，丰富了VR设备承载的内容类型，提高了VR设备的内容服务能力。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的VR场景中的交互方法的流程图；
图2示出了本发明另一实施例提供的VR场景中的交互方法的流程图；
图3示出了本发明实施例中应用程序列表排列展示的模拟示意图；
图4示出了本发明实施例中真实空间和VR虚拟空间的三维坐标系的示意图；
图5示出了本发明另一实施例提供的VR场景中的交互装置的结构示意图；
图6示出了本发明实施例提供的计算设备的结构示意图；
图7示出了本发明实施例中视频应用的虚拟形象的示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例提供的VR场景中的交互方法的流程图，如图1所示，该方法包括以下步骤：
步骤S110，捕捉用户视线焦点，确定应用程序列表中用户视线焦点所停留的目标应用程序。
步骤S120，获取目标应用程序的模型渲染数据，根据模型渲染数据渲染展示目标应用程序的虚拟形象，虚拟形象中展示有目标应用程序的各个层级的应用内容。
捕捉用户视线所停留的目标应用程序，以确定用户欲打开的目标应用程序，然后获取目标应用程序的模型渲染数据进行渲染展示，从而以虚拟形象展示目标应用程序的全部应用内容。以视频应用为例，视频应用包括以下多个层级的应用内容：视频分类层级、视频子分类层级、视频内容层级，在视频应用程序的虚拟形象中，这些层级的应用内容都将得以呈现。
根据本实施例的VR场景中的交互方法，捕捉用户视线焦点，确定用户视线焦点所停留的目标应用程序，获取该目标应用程序的模型渲染数据，根据模型渲染数据渲染展示目标应用程序的虚拟形象，该虚拟形象中展示有目标应用的各个层级的应用内容，也即，用户视线焦点停留在某个应用程序上，就以虚拟形象呈现该应用程序的全部应用内容，提供了一种VR场景下的交互方式，能够捕捉用户交互动作以确定待渲染的目标应用程序，通过将应用程序的全部应用内容以虚拟形象进行呈现，丰富了VR设备承载的内容类型，提高了VR设备的内容服务能力。
图2示出了本发明另一实施例提供的VR场景中的交互方法的流程图，如图2所示，该方法包括以下步骤：
步骤S210，接收用户身份认证事件，根据用户身份认证事件完成用户身份的认证处理。
具体实施方式时，VR设备可以显示身份认证提示信息，以提示用户进行身份认证的相关操作。用户身份认证事件可以是语音口令认证事件，例如通过麦克风设备接收用户的语音口令，根据接收的语音口令进行身份认证，或者，用户身份认证事件可以是虹膜认证事件，即采集用户的虹膜数据，根据虹膜数据进行身份认证，或者，可以结合语音口令认证事件和虹膜认证事件完成用户的身份认证。
其中，用户身份认证可以是认证用户是否为注册用户，或者认证用户是否为黑/白名单用户等等。若用户身份认证通过，则继续执行后续的步骤。
步骤S220，若用户身份认证通过，根据用户信息获取各个应用程序的应用对象信息，针对于每一个应用程序，根据该应用程序的应用对象信息，计算各个预设维度的系数，根据各个预设维度的系数对该应用程序的使用时长加权得到该应用程序的排序分值。
用户身份认证通过之后，获取该用户所拥有的所有应用程序，并进行渲染展示。具体地，根据用户信息(如用户ID)向服务器发起请求，服务器返回该用户所拥有的各个应用程序的应用对象信息，应用对象信息包括：应用描述信息、应用ID、应用初始化模型、应用所属类型等等，其中，应用对象信息根据应用ID查询得到，根据服务器返回的应用对象信息确定应用程序的初始化模型。
其中，应用对象信息还包括用于计算应用程序的排序分值的信息，在获取到各个应用程序的应用对象信息之后，计算每一个应用程序的排序分值。具体地，排序分值根据各个预设维度的系数对应用使用时长进行加权得到。
在一种可选的方式中，应用程序的应用对象信息包括：使用时长d、使用次数n、应用类型t、在线时长l、用户年龄a、应用耗电量p，预设维度包括：使用次数维度、应用类型维度、限制使用参数维度、耗电量维度。
使用次数维度的系数的计算公式为：n/N，其中，n表示应用程序的使用时长，N表示应用程序的平均使用次数；
应用类型维度的系数，用t表示，可以根据服务端统计得到，或者可以预先设置得到，具体规律为耗时类应用(视频应用、音乐应用、游戏应用)的应用类型维度的系数低于非耗时类应用的应用类型维度的系数。
限制使用参数维度的系数的计算公式为：a/l，其中，a表示用户年龄，l表示在线时长，这两个参数可以作为限制用户使用参数使用。
耗电量维度的系数的计算公式为：P/p，其中，P表示总耗电量，p表示应用耗电量，可见，能耗越大排序分值越低。
之后，将上述各个预设维度的系数和使用时长d进行加权，得到应用程序的排序分值，计算公式如下：
n/N*d+t*d+a/l*d+P/p*d
步骤S230，基于各个应用程序的排序分值，渲染展示应用程序列表。
具体地，渲染各个应用程序的初始化模型，将各个初始化模型按照各个应用程序的排序分值的从大到小的顺序进行排列展示。其中，初始化模型是较为简单的虚拟形象，仅用于标识是哪个应用程序，而不用于展示具体的应用内容，例如立体化的应用程序图标等等。
其中，应用程序的排序分值通过对使用时长进行加权得到，那么，排序分值越高，表明用户对该应用程序的使用时长越长，即用户经常使用该应用程序。
在一种可选的实施方式中，检测初始用户视角，在初始用户视角的内部渲染展示排序分值处于预设阈值范围内的各个应用程序的初始化模型。其中，人体双眼视角角度可以是124度，具体通过对用户瞳孔位置进行检测，获得用户视角范围。该方式中，将排序分值靠前的各个应用程序渲染展示在初始用户视角内部，方便用户能够快速获取到经常使用的应用程序，为用户查找应用程序提供便利。例如，将排序分值位于前三分之一的各个应用程序的初始化模型渲染展示在用户视角内部。
进一步地，捕捉用户的切换视角动作，检测切换后的用户视角；渲染展示显示位置在切换后的用户视角内部的各个应用程序的初始化模型。沿用上述示例，当用户穿戴着VR外设身体进行转动，此时用户与VR设备所显示的内容之间相对位置发生改变，即用户视角也切换了，检测切换后的用户视角，渲染展示切换后的用户视角内部的应用程序的初始化模型，其中，切换后的用户视角内部的应用程序就包括排序分值位于后三分之二的各个应用程序的初始化模型。通过这种方式，用户切换视角时，即用户有需求查看其他应用程序时，再进行渲染展示，能够节省资源。
进一步地，在用户视角的内部，将排序分值越高的应用程序展示在越靠近用户视角中心的位置，相当于将使用时长越长的应用程序，展示在越显眼的位置。参见图3，图3示出了本发明实施例中应用程序列表排列展示的模拟示意图，初始用户视角以内的为排序前三分之一的应用程序的初始化模型，用户切换视角即可查看排序后三分之二的应用程序的初始化模型。
在另一种可选的实施方式中，渲染各个应用程序的初始化模型，按照各个应用程序的排序分值从大到小的顺序，使各个应用程序的初始化模型依次在用户视角的内部按照预设移动方向进行移动，直到移动到用户视角的外部。例如，按照各个应用程序的排序分值由大到小的顺序依次左右交替以圆弧消失在用户视角内，该渲染展示效果是动态的效果。
在实际应用中，上述两种渲染展示应用程序列表的方式可以单独实施，也可以结合起来实施，例如，先使各个应用程序的初始化模型先后依次按照预定移动方向从用户视角内部移动到用户视角外部，动态移动结束之后，使排序分值排列在前三分之一的各个应用程序的初始化模型展示在用户视角内部，用户切换视角时，渲染展示切换后的用户视角内部对应的各个应用程序的初始化模型，即先使应用程序的初始化模型以动态的形式展示，再使应用程序的初始化模型以静态的形式展示，当然，本发明的方案并不以此为限。
在另一种可选的实施方式中，渲染展示各个应用程序的初始化模型，其中，各个应用程序的初始化模型按照各个应用程序的排序分值的从大到小的顺序，在用户视角内由近至远排列展示。例如，以用户视角内的预设位置为基准，按照各个应用程序的排序分值的从大到小的顺序，由近至远阶梯向上以扇形方式排序显示各个应用程序，即在用户感官上，排序分值越高的应用程序在VR虚拟空间内的位置离用户越近，用户可通过前后移动的方式查看所有应用列表，也即同样是将用户经常使用的应用程序展示在越显眼的地方。
步骤S240，捕捉用户视线焦点，确定应用程序列表中用户视线焦点所停留的时间超过预设时间阈值的目标应用程序。
通过VR外设检测用户视线焦点，当用户视线焦点集中在某应用程序的初始化模型的时间超过预设值，确定该应用程序为目标应用程序，即接下来要进行渲染展示的应用程序。可见，本实施例支持用户通过视线交互选择进行渲染展示的应用程序。
步骤S250，获取目标应用程序的模型渲染数据，根据模型渲染数据渲染展示目标应用程序的虚拟形象，虚拟形象中展示有目标应用程序的各个层级的应用内容。
向服务器请求用于渲染目标应用程序的虚拟形象的相关数据，包括虚拟模型数据、应用数据、内容数据等等。根据服务器返回的模型渲染数据渲染目标应用程序的虚拟形象。也即，当用户视线焦点停留在某应用程序的初始化模型超过一定时间，则在用户视角内部将该应用程序展开进行展示，同时其他应用程序的初始化模型消失，不同于上述应用程序的初始化模型，虚拟形象是更为复杂的样式，用于展示应用程序的各个层级的应用内容。
具体地，根据模型渲染数据渲染展示目标应用程序的虚拟形象包括以下步骤：
步骤1，根据顶层虚拟模型的大小位置信息，渲染顶层虚拟模型；顶层虚拟模型所属层级为最高层级。
为了保证应用打开之后应用能充分占据用户当前的视角方位但不超出，根据返回的模型渲染数据计算顶层虚拟模型的大小和位置，返回的模型渲染数据包括：长宽高信息(l,w,h)，用于描述顶层虚拟模型占据的三维外切立方体大小，以及位置信息(x,y,z)，表示该立方体相对于坐标原点的空间坐标，坐标原点为用户视角出发点。
在一种可选的方式中，顶层虚拟模型的位置信息的约束公式如下：
u＝x2+y2+z2
步骤2，渲染低于最高层级的各个层级的各个虚拟模型；其中，用于渲染低于最高层级的任一层级的任一虚拟模型的属性值根据该虚拟模型对应的应用内容的关联信息确定。
虚拟模型的父级虚拟模型是指：所属层级比该虚拟模型所属的层级高一级的虚拟模型，上述顶层虚拟模型的所属的层级为最高层级。
虚拟模型的属性值包括空间坐标值、大小、形状、颜色、光线分布、在视角内或外的位置等等，不同的虚拟模型对应有不同的计算公式，具体根据虚拟模型对应的应用内容的关联信息计算得到。例如，一虚拟模型为苹果样式模型，其属性值包括大小、颜色和颜色明暗程度，用于展示视频内容，视频内容的关联信息包括：播放次数、当前用户是否已播放、当前热度，则根据播放次数确定该苹果模型的大小，根据当前视频是否已播放的信息确定该苹果模型的颜色的明暗程度，根据该视频内容的当前热度确定该苹果模型的颜色。
步骤3，针对于低于最高层级的任一层级的任一虚拟模型，将该虚拟模型安装至其父级虚拟模型上，得到目标应用程序的虚拟形象；其中，该虚拟模型在其父级虚拟模型中的安装位置信息根据该虚拟模型对应的应用内容的关联信息确定。
针对于任一虚拟模型，根据该虚拟模型在其父级虚拟模型的安装位置，将该虚拟模型安装在其父级虚拟模型上，全部安装完毕之后得到目标应用程序的虚拟形象。例如，一虚拟模型为树枝模型，其父级虚拟模型为树干模型，根据树枝模型对应的应用内容的热度，确定该树枝模型在树干模型的显示高度，热度越高显示位置越高。
步骤4，将目标应用程序的虚拟形象进行展示，其中，各个层级的各个虚拟模型处展示有对应的应用内容。
最终，将渲染得到的目标应用程序的虚拟形象展示出来，并且，各个虚拟模型处展示有其对应的应用内容。
下面以视频应用程序为例来说明本实施例的渲染展示方式，视频应用程序的虚拟形象为树形虚拟形象，树形虚拟形象包括4个层级的虚拟模型，一级虚拟模型(即顶层虚拟模型)为树干模型，二级虚拟模型为树枝模型，三级虚拟模型为树叶模型，四级虚拟模型为果实模型。则展示方法为：
a)视频应用程序的顶层虚拟模型为树干模型，该树干模型的大小和位置可以根据请求的模型渲染数据所确定。
b)二级虚拟模型为树枝模型，渲染数据为视频分类，树枝模型的长度根据该视频分类下的视频数量计算，树枝的高度根据该视频分类的热度计算。在一种可选的方式中，视频分类对应的树枝模型处于树干模型的位置以视频所有分类的热度计算排序，具体地，首先获取以下多个数据(即视频分类的关联数据)：分类的总播放次数为N，当前用户所在真实地理位置该分类视频播放次数为O，当前用户性别该分类视频播放次数P、当前用户年龄段该分类视频播放次数为Q、用户本次登录设备后当前分类视频的播放次数R、当前视频分类在应用中的推广权重S。然后，根据上述各个维度的播放次数作为权重与当前用户观看该分类视频的次数M求加权平均结果，得到该视频分类的热度得分；然后，根据各个视频分类的热度得分的高低顺序，对各个视频分类对应的树枝模型进行排序，其中，热度得分越高的视频分类所对应的树枝模型的高度越高。
在另一种可选的方式中，针对于任一树枝模型，获取该树枝模型对应的视频分类的多个维度的播放次数，根据多个维度的播放次数直接计算该树枝模型的显示位置。同上，多个维度的播放次数具体包括：分类的总播放次数为N，当前用户观看该分类视频的次数为M，当前用户所在真实地理位置该分类视频播放次数为O，当前用户性别该分类视频播放次数P、当前用户年龄段该分类视频播放次数为Q、用户本次登录设备后当前分类视频的播放次数R、当前视频分类在应用中的推广权重S。具体计算公式如下：
垂直高度：
其中，h表示的是虚拟模型的高
俯视瞬时针与X夹角：
平时顺时针与Z轴夹角，
c)三级虚拟模型为树叶模型，渲染数据为视频次级分类，树叶模型的实现可类比树枝模型的实现，或者可以在树叶模型处显示虚拟黑洞/空间门等VR模型。
d)四级虚拟模型为果实模型，待渲染数据为视频内容。同样地，也需要计算果实模型的属性值以及在其父级模型中的位置。可选地，属性值包括：大小、颜色、位置，分别表示视频热度、点赞度和分享度。其中，热度计算方式与视频分类热度的计算方式类似。视频内容的分享度以果实模型距离其父分类模型的距离表示，分享度越高距离其父分类模型越远。果实模型以从上到下每一个单位横切表明表示视频内容的每一个单位时间，其对应颜色表示点赞度，能够更精细化地描述视频内容的精彩信息所处位置。果实模型的每一个单位高度的横切面都可以独立播放。
最终，将各个层级的各个虚拟模型组装起来，得到应用程序的虚拟形象。
图7示出了本发明实施例中视频应用的虚拟形象的示意图，如图7所示，视频应用的虚拟形象为树形样式，顶层虚拟模型为树干模型；二级虚拟模型为树枝模型，树枝模型安装在树干模型上，每一个树枝模型的空白位置处显示视频分类信息；三级虚拟模型为树叶模型，每一个树叶模型的空白位置处显示视频子分类信息，树叶模型安装在树枝模型上；四级虚拟模型为果实模型，每一个果实模型的空白位置处显示视频内容，果实模型安装在树叶模型上。例如，一个树枝模型显示的视频分类信息为言情剧，该树枝模型之下的一个树叶模型显示的视频子分类信息为现代言情剧；该树叶模型的一个果实模型显示的视频内容为言情电视剧的精剪视频。
步骤S260，获取用户在VR虚拟空间的位置信息，以及捕捉用户的动作信息；根据位置信息确定目标虚拟模型，根据动作信息触发相应的动作指令；根据动作指令，对目标虚拟模型所展示的应用内容执行相应的操作。
展示目标应用程序的虚拟形象之后，用户还对应用内容进行交互。具体需要获取用户在VR虚拟空间中的三维位置移动信息，同时，捕捉用户的动作信息，根据用户的位置信息匹配得到目标虚拟模型，根据动作信息确定相应的动作指令，对该目标虚拟模型处展示的应用内容执行相应的操作。
其中，用户的平面位置可通过穿戴VR外设根据用户平面移动信息计算，竖直高度通过用户跳跃高度计算，在与应用程序交互的过程中取消VR环境中的重力，用户跳跃之后可悬浮与空中。
具体地，获取用户在VR虚拟空间的位置信息具体包括以下步骤：分别建立真实空间的三维坐标系和VR虚拟空间的三维坐标系；获取用户在真实空间的三维坐标系下的移动信息，将用户在真实空间的三维坐标系下的移动信息映射到VR虚拟空间的三维坐标系下，根据映射结果确定用户在VR虚拟空间的位置信息。
更进一步地，通过VR设备获取用户在真实空间移动后的位置坐标信息和移动角度信息；根据移动后的位置坐标信息以及移动角度信息，计算用户在VR虚拟空间中三个方向上位移；根据三个方向上的位移、真实空间到VR虚拟空间的缩放倍率以及用户在VR虚拟空间的初始位置坐标，计算得到用户移动后对应在VR虚拟空间中的位置坐标。
下面结合附图4具体进行说明，图4示出了本发明实施例中真实空间和VR虚拟空间的三维坐标系的示意图，确定用户在VR虚拟空间中的位置坐标的方式如下：
步骤1、VR虚拟空间模型渲染，渲染VR虚拟空间为球形空间，初始化球心坐标为(0,0,0)，该坐标位置为虚拟空间位置，虚拟空间半径为R，表示虚拟空间大小。
步骤2、预设条件：
用户虚拟位置均处于Z＝0的坐标平面。
用户虚拟位置的正前方向正对VR虚拟空间的球心且对应真实空间的用户正前方，该方向在真实空间中为y轴正方向，用户在真实空间中的右方向对应真实空间中的x轴正方向，重力反方向对应真实空间中的z轴正方向。
第一个用户的虚拟位置为(r,0,0)，r为预设值，通过VR设备与云端交互下发；第二个用户的虚拟位置相对于第一个用户的虚拟位置顺时针旋转θ角度，距离坐标原点的距离
即两个用户同处于z＝0平面，半径为r的同心圆上；
第三个用户的虚拟位置相对于第二个用户的虚拟位置顺时针旋转θ，即相对于第一个用户的虚拟位置旋转2θ角度，后续用户均按照上述规律递增，则第n个用户的虚拟位置的旋转角度为(n-1)θ，显然2(k-1)π≤(n-1)θ≤2kπ，k∈N*,n∈N*。
第n个用户的虚拟位置的坐标为：(kr*cos((n-1)θ)，kr*sin((n-1)θ)，0)，当kr>R时，表示虚拟空间模型已经被用户填满，不能再增加新用户。
初始化用户真实空间坐标为(0,0,0)，真实空间到虚拟空间的放大/缩小倍率为m。
步骤3.根据以上预设条件，当第n个用户在真实空间中的坐标由(0,0,0)移动到(x1,y1,z1)，位移角度为平面X轴夹角φ，Z轴正方向夹角为β，可参见图4，这几个参数都可以由VR外设获取。则真实空间中该用户X方向移动了x1*cosφ，在Y方向移动了y1*sinφ。参见图4，用户在真实空间中的移动位移
初始用户真实空间坐标为(0,0,0)，对应虚拟空间坐标(r*cosθ，r*sinθ，0)；位置移动后，用户真实空间坐标为(x1,y1,z1)，通过计算获得对应虚拟空间坐标为(x2,y2,z2)。
具体地，参见图4，α角的大小为90-θ+φ，则用户在虚拟空间中X方向上的位移为
则移动后的虚拟空间坐标为原坐标加上移动距离，即：
再结合真实空间到虚拟空间的缩放倍率，最终得到
同理可得
通过上述步骤，实现了根据用户在真实空间中的位置确定用户对应在VR虚拟空间中的位置信息。
沿用上述视频应用程序的示例，可以包括如下几种交互方式：(1)用户通过跳跃在虚拟空间内悬浮，若用户位置信息与某个果实模型的位置相匹配，则将该果实模型标记为选中状态，即用户通过跳跃移动找到了该果实模型对应的视频。(2)当检测到用户移动到某个果实模型处，并捕捉到了用户张口吃东西的动作，则触发生成用于播放该果实模型所对应的视频内容的指令，以播放该果实模型所对应的视频内容。(3)视频内容播放完毕之后，对果实模型的颜色、大小进行更改以表明对应的视频内容已经被点击过。(4)渲染展示水果筐，捕捉用户将果实模型移动至虚拟水果筐的动作，将该果实模型对应的视频内容添加至用户收藏夹。当然，这里仅仅是列举了部分VR场景下的交互方式，本发明的内容并不以此为限。
根据本实施例所提供的VR场景中的交互方法，一方面，在用户身份认证通过之后，根据用户信息获取到该用户所拥有的全部应用程序，计算各个应用程序的排序分值，将排序分值越高的应用程序的初始化模型展示在用户容易看到的位置，方便用户查找欲打开的应用程序；另一方面，捕捉用户视线焦点，确定目标应用程序，向服务器请求用于渲染该目标应用程序的应用数据、描述数据等等，渲染展示目标应用程序的各个层级的虚拟模型，目标应用程序的渲染展示效果更加精美，层次逻辑更加清晰；再一方面，在渲染展示目标应用程序的虚拟形象之后，检测用户位置和监测用户动作，以生成对应用内容的操作指令，从而实现与应用程序的交互，提高了VR设备的内容服务能力，丰富了VR设备承载的内容类型，能够提升用户体验。
图5示出了本发明另一实施例提供的VR场景中的交互装置的结构示意图，如图5所示，该装置包括：
交互模块51，适于捕捉用户视线焦点，确定应用程序列表中用户视线焦点所停留的目标应用程序；
渲染展示模块52，适于获取目标应用程序的模型渲染数据，根据模型渲染数据渲染展示目标应用程序的虚拟形象，虚拟形象中展示有目标应用程序的各个层级的应用内容。
可选地，排序计算模块51进一步适于：针对于每一个应用程序，根据该应用程序的应用对象信息，计算各个预设维度的系数；根据各个预设维度的系数对该应用程序的使用时长加权得到该应用程序的排序分值。
可选地，预设维度包括以下中的至少一个：使用次数维度、应用类型维度、限制使用参数维度、耗电量维度。
可选地，渲染展示模块52进一步适于：
检测初始用户视角，在初始用户视角的内部渲染展示排序分值处于预设阈值范围内的各个应用程序的初始化模型。
可选地，交互模块51进一步适于：捕捉用户的切换视角动作，检测切换后的用户视角；
渲染展示模块式52进一步适于：捕捉用户的切换视角动作，检测切换后的用户视角；渲染展示显示位置在切换后的用户视角内部的各个应用程序的初始化模型；其中，切换后的用户视角内部的各个应用程序包括除排序分值处于预设阈值范围内的各个应用程序之外的其他应用程序。
可选地，渲染展示模块52进一步适于：
渲染各个应用程序的初始化模型，按照各个应用程序的排序分值从大到小的顺序，使各个应用程序的初始化模型依次在用户视角的内部按照预设移动方向进行移动，直到移动到用户视角的外部；
或者，渲染展示各个应用程序的初始化模型，其中，各个应用程序的初始化模型按照各个应用程序的排序分值的从大到小的顺序，在用户视角内由近至远排列展示。
可选地，渲染展示模块52进一步适于：
根据顶层虚拟模型的大小位置信息，渲染顶层虚拟模型；顶层虚拟模型所属层级为最高层级；
渲染低于最高层级的各个层级的各个虚拟模型；其中，用于渲染低于最高层级的任一层级的任一虚拟模型的属性值根据该虚拟模型对应的应用内容的关联信息确定；
针对于低于最高层级的各个层级的各个虚拟模型，将该虚拟模型安装至其父级虚拟模型上，得到目标应用程序的虚拟形象；其中，低于最高层级的任一层级的任一虚拟模型在其父级虚拟模型中的安装位置信息根据该虚拟模型对应的应用内容的关联信息确定；
将目标应用程序的虚拟形象进行展示；其中，各个层级的各个虚拟模型处展示有对应的应用内容。
可选地，交互模块51进一步适于：获取用户在VR虚拟空间的位置信息，以及捕捉用户的动作信息；根据位置信息确定目标虚拟模型，根据动作信息触发相应的动作指令；根据动作指令，对目标虚拟模型所展示的应用内容执行相应的操作。
可选地，交互模块51进一步适于：
分别建立真实空间的三维坐标系和VR虚拟空间的三维坐标系；获取用户在真实空间的三维坐标系下的移动信息，将用户在真实空间的三维坐标系下的移动信息映射到VR虚拟空间的三维坐标系下，根据映射结果确定用户在VR虚拟空间的位置信息。
可选地，交互模块51进一步适于：
分别建立真实空间的三维坐标系和VR虚拟空间的三维坐标系；通过VR设备获取用户在真实空间移动后的位置坐标信息和移动角度信息；根据移动后的位置坐标信息以及移动角度信息，计算用户在VR虚拟空间中三个方向上的位移；根据三个方向上的位移、真实空间到VR虚拟空间的缩放倍率以及用户在VR虚拟空间的初始位置坐标，计算得到用户移动后对应在VR虚拟空间中的位置坐标。
可选地，装置还包括：
身份认证模块，适于接收用户身份认证事件，根据用户身份认证事件完成用户身份的认证处理。
可选地，用户身份认证事件包括：语音口令认证事件和/或虹膜认证事件。
需要说明的是，该装置是与上述VR场景中的交互方法所对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的VR场景中的交互方法。
图6示出了本发明计算设备实施例的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图6所示，该计算设备可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。
其中：处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。通信接口604，用于与其它设备比如客户端或其它服务器等的网元通信。处理器602，用于执行程序610，具体可以执行上述用于计算设备的VR场景中的交互方法实施例中的相关步骤。
具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
处理器602可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序具体可以用于使得处理器执行上述任意方法实施例中的VR场景中的交互方法。程序中各步骤的具体实现可以参见上述VR场景中的交互实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。
Claims (10)
1.一种VR场景中的交互方法，其特征在于，包括：
捕捉用户视线焦点，确定应用程序列表中所述用户视线焦点所停留的目标应用程序；
获取所述目标应用程序的模型渲染数据，根据所述模型渲染数据渲染展示所述目标应用程序的虚拟形象，所述虚拟形象中展示有所述目标应用程序的各个层级的应用内容。
2.根据权利要求1所述的方法，其特征在于，所述方法执行之前，进一步包括：
获取各个应用程序的应用对象信息，根据所述各个应用程序的应用对象信息，计算所述各个应用程序的排序分值；
基于所述各个应用程序的排序分值，渲染展示应用程序列表。
3.根据权利要求2所述的方法，其特征在于，所述基于所述各个应用程序的排序分值，渲染展示应用程序列表进一步包括：
检测初始用户视角，在所述初始用户视角的内部渲染展示排序分值处于预设阈值范围内的各个应用程序的初始化模型。
4.根据权利要求3所述的方法，其特征在于，所述渲染展示应用程序列表进一步包括：
捕捉用户的切换视角动作，检测切换后的用户视角；
渲染展示显示位置在所述切换后的用户视角内部的各个应用程序的初始化模型；
其中，所述切换后的用户视角内部的各个应用程序包括：除所述排序分值处于所述预设阈值范围内的各个应用程序之外的其他应用程序。
5.根据权利要求2所述的方法，其特征在于，所述基于所述各个应用程序的排序分值，渲染展示应用程序列表进一步包括：
渲染各个应用程序的初始化模型，按照所述各个应用程序的排序分值从大到小的顺序，使各个应用程序的初始化模型依次在用户视角的内部按照预设移动方向进行移动，直到移动到所述用户视角的外部；
或者，渲染展示所述各个应用程序的初始化模型，其中，所述各个应用程序的初始化模型按照各个应用程序的排序分值的从大到小的顺序，在用户视角内由近至远排列展示。
6.根据权利要求1所述的方法，其特征在于，所述根据所述模型渲染数据渲染展示所述目标应用程序的虚拟形象进一步包括：
根据顶层虚拟模型的大小位置信息，渲染顶层虚拟模型；所述顶层虚拟模型所属层级为最高层级；
渲染低于所述最高层级的各个层级的各个虚拟模型；其中，用于渲染所述低于所述最高层级的任一层级的任一虚拟模型的属性值根据该虚拟模型对应的应用内容的关联信息确定；
针对于所述低于所述最高层级的各个层级的各个虚拟模型，将该虚拟模型安装至其父级虚拟模型上，得到目标应用程序的虚拟形象；其中，所述低于所述最高层级的任一层级的任一虚拟模型在其父级虚拟模型中的安装位置信息根据该虚拟模型对应的应用内容的关联信息确定；
将所述目标应用程序的虚拟形象进行展示；其中，各个层级的各个虚拟模型处展示有对应的应用内容。
7.根据权利要求6所述的方法，其特征在于，所述方法进一步包括：
获取用户在VR虚拟空间的位置信息，以及捕捉所述用户的动作信息；
根据所述位置信息确定目标虚拟模型，根据所述动作信息触发相应的动作指令；
根据所述动作指令，对所述目标虚拟模型所展示的应用内容执行相应的操作。
8.一种VR场景中的交互装置，其特征在于，包括：
交互模块，适于捕捉用户视线焦点，确定应用程序列表中所述用户视线焦点所停留的目标应用程序；
渲染展示模块，适于获取所述目标应用程序的模型渲染数据，根据所述模型渲染数据渲染展示所述目标应用程序的虚拟形象，所述虚拟形象中展示有所述目标应用程序的各个层级的应用内容。
9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的VR场景中的交互方法对应的操作。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的VR场景中的交互方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111081216.1A CN113791687B (zh) | 2021-09-15 | 2021-09-15 | Vr场景中的交互方法、装置、计算设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111081216.1A CN113791687B (zh) | 2021-09-15 | 2021-09-15 | Vr场景中的交互方法、装置、计算设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113791687A true CN113791687A (zh) | 2021-12-14 |
| CN113791687B CN113791687B (zh) | 2023-11-14 |
Family
ID=78878385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111081216.1A Active CN113791687B (zh) | 2021-09-15 | 2021-09-15 | Vr场景中的交互方法、装置、计算设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113791687B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115981517A (zh) * | 2023-03-22 | 2023-04-18 | 北京同创蓝天云科技有限公司 | Vr多端协同交互方法及相关设备 |
| CN116520985A (zh) * | 2023-04-28 | 2023-08-01 | 中广电广播电影电视设计研究院有限公司 | 虚拟现实图像内容的处理方法、装置、设备及存储介质 |
| CN116520985B (zh) * | 2023-04-28 | 2024-04-30 | 中广电广播电影电视设计研究院有限公司 | 虚拟现实图像内容的处理方法、装置、设备及存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2541402A1 (en) * | 2011-06-28 | 2013-01-02 | LG Electronics Inc. | Mobile terminal and display controlling method therein |
| US20130051615A1 (en) * | 2011-08-24 | 2013-02-28 | Pantech Co., Ltd. | Apparatus and method for providing applications along with augmented reality data |
| CN105704478A (zh) * | 2015-08-31 | 2016-06-22 | 深圳超多维光电子有限公司 | 用于虚拟和现实场景的立体显示方法、装置及电子设备 |
| US20170178408A1 (en) * | 2015-12-22 | 2017-06-22 | Google Inc. | Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image |
| CN108073432A (zh) * | 2016-11-07 | 2018-05-25 | 亮风台（上海）信息科技有限公司 | 一种头戴式显示设备的用户界面显示方法 |
| US20180299952A1 (en) * | 2017-04-17 | 2018-10-18 | Intel Corporation | Sensory enhanced augmented reality and virtual reality device |
| US20190197785A1 (en) * | 2017-12-22 | 2019-06-27 | Magic Leap, Inc. | Methods and system for managing and displaying virtual content in a mixed reality system |
| US20190377487A1 (en) * | 2018-06-07 | 2019-12-12 | Magic Leap, Inc. | Augmented reality scrollbar |
| CN110675474A (zh) * | 2019-08-16 | 2020-01-10 | 咪咕动漫有限公司 | 虚拟角色模型的学习方法、电子设备和可读存储介质 |
| CN111338725A (zh) * | 2020-02-17 | 2020-06-26 | Oppo广东移动通信有限公司 | 界面布局方法及相关产品 |
| CN111638971A (zh) * | 2020-04-21 | 2020-09-08 | 华为终端有限公司 | 应用通知管理方法和电子设备 |
| US20200320794A1 (en) * | 2019-04-03 | 2020-10-08 | Magic Leap, Inc. | Methods, systems, and computer program product for managing and displaying webpages in a virtual three-dimensional space with a mixed reality system |
| US10909405B1 (en) * | 2019-03-04 | 2021-02-02 | Facebook Technologies, Llc | Virtual interest segmentation |
| US20210065436A1 (en) * | 2019-09-03 | 2021-03-04 | Apple Inc. | Managing multi-modal rendering of application content |
| CN112468865A (zh) * | 2020-11-25 | 2021-03-09 | 咪咕视讯科技有限公司 | 一种视频处理方法、vr终端及计算机可读存储介质 |
-
2021
- 2021-09-15 CN CN202111081216.1A patent/CN113791687B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2541402A1 (en) * | 2011-06-28 | 2013-01-02 | LG Electronics Inc. | Mobile terminal and display controlling method therein |
| US20130051615A1 (en) * | 2011-08-24 | 2013-02-28 | Pantech Co., Ltd. | Apparatus and method for providing applications along with augmented reality data |
| CN105704478A (zh) * | 2015-08-31 | 2016-06-22 | 深圳超多维光电子有限公司 | 用于虚拟和现实场景的立体显示方法、装置及电子设备 |
| US20170178408A1 (en) * | 2015-12-22 | 2017-06-22 | Google Inc. | Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image |
| CN108073432A (zh) * | 2016-11-07 | 2018-05-25 | 亮风台（上海）信息科技有限公司 | 一种头戴式显示设备的用户界面显示方法 |
| US20180299952A1 (en) * | 2017-04-17 | 2018-10-18 | Intel Corporation | Sensory enhanced augmented reality and virtual reality device |
| US20190197785A1 (en) * | 2017-12-22 | 2019-06-27 | Magic Leap, Inc. | Methods and system for managing and displaying virtual content in a mixed reality system |
| US20190377487A1 (en) * | 2018-06-07 | 2019-12-12 | Magic Leap, Inc. | Augmented reality scrollbar |
| US10909405B1 (en) * | 2019-03-04 | 2021-02-02 | Facebook Technologies, Llc | Virtual interest segmentation |
| US20200320794A1 (en) * | 2019-04-03 | 2020-10-08 | Magic Leap, Inc. | Methods, systems, and computer program product for managing and displaying webpages in a virtual three-dimensional space with a mixed reality system |
| CN110675474A (zh) * | 2019-08-16 | 2020-01-10 | 咪咕动漫有限公司 | 虚拟角色模型的学习方法、电子设备和可读存储介质 |
| US20210065436A1 (en) * | 2019-09-03 | 2021-03-04 | Apple Inc. | Managing multi-modal rendering of application content |
| CN111338725A (zh) * | 2020-02-17 | 2020-06-26 | Oppo广东移动通信有限公司 | 界面布局方法及相关产品 |
| CN111638971A (zh) * | 2020-04-21 | 2020-09-08 | 华为终端有限公司 | 应用通知管理方法和电子设备 |
| CN112468865A (zh) * | 2020-11-25 | 2021-03-09 | 咪咕视讯科技有限公司 | 一种视频处理方法、vr终端及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李海威;林珠;: "大型设施设计虚拟展示平台架构与实现", 铁路计算机应用, no. 05, pages 48 - 51 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115981517A (zh) * | 2023-03-22 | 2023-04-18 | 北京同创蓝天云科技有限公司 | Vr多端协同交互方法及相关设备 |
| CN116520985A (zh) * | 2023-04-28 | 2023-08-01 | 中广电广播电影电视设计研究院有限公司 | 虚拟现实图像内容的处理方法、装置、设备及存储介质 |
| CN116520985B (zh) * | 2023-04-28 | 2024-04-30 | 中广电广播电影电视设计研究院有限公司 | 虚拟现实图像内容的处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113791687B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Dac-sdc low power object detection challenge for uav applications | |
| CN108334644B (zh) | 图像识别方法和装置 | |
| US11238316B2 (en) | Detection of counterfeit virtual objects | |
| US11789905B2 (en) | Automated generation of game tags | |
| US11511196B2 (en) | Predictive data preloading | |
| US11123636B2 (en) | Runtime animation substitution | |
| CN109558884A (zh) | 一种直播房间分类的方法、装置、服务器及介质 | |
| CN113791687A (zh) | Vr场景中的交互方法、装置、计算设备及存储介质 | |
| CN110727629B (zh) | 有声电子书的播放方法、电子设备及计算机存储介质 | |
| Zhang | Design of mobile augmented reality game based on image recognition | |
| JP2024507338A (ja) | 禁止されたゲーミングコンテンツの自動検出 | |
| CN114416260A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Zong et al. | A cascaded refined rgb-d salient object detection network based on the attention mechanism | |
| CN113934766B (zh) | 围棋定式对弈方法、装置、电子设备及存储介质 | |
| CN113033644A (zh) | 一种基于凸包特征自适应的旋转密集目标检测方法 | |
| Prasetya et al. | Design of Immersive Virtual Tour application based on geospatial analysis | |
| CN114245907A (zh) | 自动曝光的光线追踪 | |
| US20180025545A1 (en) | Method for creating visualized effect for data | |
| CN116596752B (zh) | 脸部图像替换方法、装置、设备及存储介质 | |
| US20240020907A1 (en) | User authentication and automatic capture of training data | |
| US11617959B2 (en) | Detection of malicious games | |
| CN115878891A (zh) | 直播内容生成方法、装置、设备以及计算机存储介质 | |
| CN115272571A (zh) | 一种游戏场景模型的构建方法 | |
| KR20230066922A (ko) | 기계 독해를 이용한 파트너 매칭 방법 및 컴퓨터 판독가능 기록매체 | |
| CN115487508A (zh) | 游戏战队推荐模型的训练方法和相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |