CN116909407A - 基于虚拟现实的触控显示屏全景交互方法及控制系统 - Google Patents
基于虚拟现实的触控显示屏全景交互方法及控制系统 Download PDFInfo
- Publication number
- CN116909407A CN116909407A CN202311170064.1A CN202311170064A CN116909407A CN 116909407 A CN116909407 A CN 116909407A CN 202311170064 A CN202311170064 A CN 202311170064A CN 116909407 A CN116909407 A CN 116909407A
- Authority
- CN
- China
- Prior art keywords
- data
- eye movement
- interaction
- touch display
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 251
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004424 eye movement Effects 0.000 claims abstract description 226
- 238000009877 rendering Methods 0.000 claims abstract description 138
- 238000001514 detection method Methods 0.000 claims abstract description 133
- 238000004458 analytical method Methods 0.000 claims abstract description 124
- 230000002452 interceptive effect Effects 0.000 claims abstract description 67
- 238000005457 optimization Methods 0.000 claims abstract description 64
- 230000004044 response Effects 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000013441 quality evaluation Methods 0.000 claims abstract description 42
- 238000007405 data analysis Methods 0.000 claims abstract description 25
- 238000013433 optimization analysis Methods 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 73
- 210000001508 eye Anatomy 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 20
- 210000005252 bulbus oculi Anatomy 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 10
- 230000035772 mutation Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 10
- 230000006399 behavior Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 239000000919 ceramic Substances 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012482 interaction analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
- A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及虚拟现实技术领域，公开了一种基于虚拟现实的触控显示屏全景交互方法及控制系统，用于实现对全景交互场景的优化，从而提供更加流畅和高质量的虚拟现实交互体验。方法包括：创建第一触控显示游戏场景；通过交互元素进行眼动检测，得到眼动检测数据并进行数据解析和编码处理，得到眼动编码集合；进行手势检测，得到手势检测数据并进行数据解析和编码处理，得到手势编码集合；生成多个第二触控显示游戏场景；进行画质分析和渲染延迟分析，得到多个画质评价数据和多个渲染延迟数据；将多个画质评价数据和多个渲染延迟数据输入预置的全景交互参数分析模型进行全景交互参数优化分析，得到场景响应优化参数集合。
Description
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种基于虚拟现实的触控显示屏全景交互方法及控制系统。
背景技术
虚拟现实（Virtual Reality，简称VR）技术是一种将计算机生成的虚拟环境与用户真实世界进行交互的技术。它通过特殊的头戴式显示设备、手柄、眼动仪等设备，让用户沉浸在虚拟世界中，实现身临其境的感觉。虚拟现实技术在游戏、教育、医疗、培训等领域具有广泛的应用前景。
在虚拟现实交互中，触控显示屏作为一种重要的交互设备，为用户提供了直观、自然的交互方式。然而，传统的虚拟现实触控显示屏交互方法存在一些问题，如画质不佳、交互响应速度慢等，影响了用户的交互体验。
发明内容
本发明提供了一种基于虚拟现实的触控显示屏全景交互方法及控制系统，用于实现对全景交互场景的优化，从而提供更加流畅和高质量的虚拟现实交互体验。
本发明第一方面提供了一种基于虚拟现实的触控显示屏全景交互方法，所述基于虚拟现实的触控显示屏全景交互方法包括：
通过预置的虚拟现实设备接收目标用户的全景交互指令，并根据所述全景交互指令创建第一触控显示游戏场景；
通过所述第一触控显示游戏场景中的交互元素，对目标用户进行眼动检测，得到眼动检测数据，并对所述眼动检测数据进行数据解析和编码处理，得到眼动编码集合；
通过所述虚拟现实设备对所述目标用户进行手势检测，得到手势检测数据，并对所述手势检测数据进行数据解析和编码处理，得到手势编码集合；
根据所述眼动编码集合和所述手势编码集合生成多个第二触控显示游戏场景；
对每个第二触控显示游戏场景进行画质分析和渲染延迟分析，得到多个画质评价数据和多个渲染延迟数据；
将所述多个画质评价数据和所述多个渲染延迟数据输入预置的全景交互参数分析模型进行全景交互参数优化分析，得到场景响应优化参数集合。
结合第一方面，在本发明第一方面的第一种实现方式中，所述通过预置的虚拟现实设备接收目标用户的全景交互指令，并根据所述全景交互指令创建第一触控显示游戏场景，包括：
对预置的虚拟现实设备进行设备初始化，并根据预设的游戏场景进行初始化渲染，得到初始触控显示游戏场景；
在所述初始触控显示游戏场景嵌入交互元素，并通过所述交互元素接收并响应目标用户的全景交互指令；
对所述全景交互指令进行解析，得到所述目标用户的用户意图数据，并根据所述用户意图数据对所述初始触控显示游戏场景进行场景创建和渲染，得到第一触控显示游戏场景。
结合第一方面，在本发明第一方面的第二种实现方式中，所述通过所述第一触控显示游戏场景中的交互元素，对目标用户进行眼动检测，得到眼动检测数据，并对所述眼动检测数据进行数据解析和编码处理，得到眼动编码集合，包括：
通过所述第一触控显示游戏场景中的交互元素，对目标用户进行眼动检测和交互元素标识，得到所述目标用户的注视位置数据；
通过所述虚拟现实设备，对所述目标用户进行眼部图像采集，得到多个眼部图像；
分别将所述多个眼部图像输入预置视线分析模型中的两层残差网络进行特征提取，得到每个眼动图像对应的目标特征图；
将每个眼动图像对应的目标特征图输入所述视线分析模型中的两层卷积层进行多次卷积操作，得到每个眼动图像对应的卷积特征向量；
将每个眼动图像对应的卷积特征向量输入所述视线分析模型中的特征分类网络进行眼球坐标定位，得到眼球坐标数据；
根据所述注视位置数据和所述眼球坐标数据，计算所述目标用户的眼动轨迹数据、注视时间数据及注视序列数据，并根据所述眼动轨迹数据、所述注视时间数据及所述注视序列数据生成眼动检测数据；
根据预置的眼动交互规则，确定所述眼动检测数据对应的眼动交互开始数据点以及眼动交互结束数据点；
根据所述眼动交互开始数据点以及所述眼动交互结束数据点，对所述眼动检测数据进行眼动数据划分，得到多个眼动交互数据；
对所述多个眼动交互数据进行编码映射，得到眼动编码集合。
结合第一方面，在本发明第一方面的第三种实现方式中，所述通过所述虚拟现实设备对所述目标用户进行手势检测，得到手势检测数据，并对所述手势检测数据进行数据解析和编码处理，得到手势编码集合，包括：
通过所述虚拟现实设备对所述目标用户进行手势检测，得到多个手部图像；
对所述多个手部图像进行像素分割，得到每个手部图像的多个像素，并提取所述多个像素对应的多个坐标值及三原色值；
根据所述多个坐标值及所述三原色值，采用灰度变换公式计算所述多个像素对应的多个灰度变换值；
基于所述多个灰度变换值对所述多个手部图像进行灰度变换，得到多个灰度图像，并对所述多个灰度图像进行图像分类，得到多个连续图像组；
对所述多个连续图像组进行手势特征解析，得到每个连续图像组的手势组合特征；
对每个连续图像组的手势组合特征与预设手势特征模板中的手势模板特征进行相似度计算，得到每个连续图像组对应的特征相似度；
对每个连续图像组对应的特征相似度进行数值分析，并确定手势检测数据；
对所述手势检测数据进行模糊编码匹配计算，得到多个模糊编码匹配值，并根据所述多个模糊编码匹配值创建手势编码集合。
结合第一方面，在本发明第一方面的第四种实现方式中，所述根据所述眼动编码集合和所述手势编码集合生成多个第二触控显示游戏场景，包括：
通过预置的场景组合规则，对所述眼动编码集合和所述手势编码集合进行交互关系分析，得到多个眼动和手势编码对；
根据所述多个眼动和手势编码对，生成对应的多个场景生成操作集合；
根据所述多个场景生成操作集合，对所述第一触控显示游戏场景进行场景内容更新和场景生成，得到多个第二触控显示游戏场景。
结合第一方面，在本发明第一方面的第五种实现方式中，所述对每个第二触控显示游戏场景进行画质分析和渲染延迟分析，得到多个画质评价数据和多个渲染延迟数据，包括：
对每个第二触控显示游戏场景进行渲染数据采集，得到每个第二触控显示游戏场景对应的渲染性能数据；
通过预置的画质分析工具，对所述渲染性能数据进行解析，得到每个第二触控显示游戏场景的帧率、渲染时间、三维模型的多边形数、纹理贴图分辨率；
将所述帧率、所述渲染时间、所述三维模型的多边形数、所述纹理贴图分辨率转换为渲染评价向量；
获取每个第二触控显示游戏场景的画质指标向量，分别计算所述渲染评价向量与所述画质指标向量之间的欧氏距离，得到目标欧式距离，并根据所述目标欧式距离确定多个画质评价数据；
根据所述眼动检测数据和所述手势检测数据确定对应的交互操作输入时间，并获取每个第二触控显示游戏场景的画面产生时间；
计算所述交互操作输入时间与所述画面产生时间之间的时间差，得到多个渲染延迟数据。
结合第一方面，在本发明第一方面的第六种实现方式中，所述将所述多个画质评价数据和所述多个渲染延迟数据输入预置的全景交互参数分析模型进行全景交互参数优化分析，得到场景响应优化参数集合，包括：
将所述多个画质评价数据输入预置全景交互参数分析模型中的第一编码器进行特征提取，得到第一隐码向量，并将所述多个渲染延迟数据输入预置全景交互参数分析模型中的第二编码器进行特征提取，得到第二隐码向量；
将所述第一隐码向量输入所述全景交互参数分析模型中的第一解码器进行处理，得到多个第一响应优化参数，并将所述第二隐码向量输入所述全景交互参数分析模型中的第二解码器进行处理，得到多个第二响应优化参数；
定义全景交互的参数空间，并对所述多个第一响应优化参数和所述多个第二响应优化参数进行编码处理，得到初始编码种群；
对所述初始编码种群进行适应度分析，得到多个适应度数据，并根据所述多个适应度数据从所述初始编码种群中选取多个第一编码个体；
对所述第一编码个体进行交叉操作和变异操作，得到多个第二编码个体；
根据所述多个第二编码个体，对所述初始编码种群进行参数最优化分析，得到场景响应优化参数集合。
本发明第二方面提供了一种基于虚拟现实的触控显示屏全景交互系统，所述基于虚拟现实的触控显示屏全景交互系统包括：
接收模块，用于通过预置的虚拟现实设备接收目标用户的全景交互指令，并根据所述全景交互指令创建第一触控显示游戏场景；
第一检测模块，用于通过所述第一触控显示游戏场景中的交互元素，对目标用户进行眼动检测，得到眼动检测数据，并对所述眼动检测数据进行数据解析和编码处理，得到眼动编码集合；
第二检测模块，用于通过所述虚拟现实设备对所述目标用户进行手势检测，得到手势检测数据，并对所述手势检测数据进行数据解析和编码处理，得到手势编码集合；
生成模块，用于根据所述眼动编码集合和所述手势编码集合生成多个第二触控显示游戏场景；
分析模块，用于对每个第二触控显示游戏场景进行画质分析和渲染延迟分析，得到多个画质评价数据和多个渲染延迟数据；
优化模块，用于将所述多个画质评价数据和所述多个渲染延迟数据输入预置的全景交互参数分析模型进行全景交互参数优化分析，得到场景响应优化参数集合。
本发明第三方面提供了一种基于虚拟现实的触控显示屏全景交互设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于虚拟现实的触控显示屏全景交互设备执行上述的基于虚拟现实的触控显示屏全景交互方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于虚拟现实的触控显示屏全景交互方法。
本发明提供的技术方案中，创建第一触控显示游戏场景；通过交互元素进行眼动检测，得到眼动检测数据并进行数据解析和编码处理，得到眼动编码集合；进行手势检测，得到手势检测数据并进行数据解析和编码处理，得到手势编码集合；生成多个第二触控显示游戏场景；进行画质分析和渲染延迟分析，得到多个画质评价数据和多个渲染延迟数据；将多个画质评价数据和多个渲染延迟数据输入预置的全景交互参数分析模型进行全景交互参数优化分析，得到场景响应优化参数集合，本发明通过眼动检测和手势检测的结合，使用户能够更加自然、直观地与虚拟世界进行交互。用户无需依赖复杂的控制器或手柄，通过注视和手势即可实现虚拟场景中的操作，提升了交互的灵活性和便捷性。通过对每个第二触控显示游戏场景进行画质分析和渲染延迟分析，优化场景参数，使得虚拟现实场景的画质和渲染效果得到明显改善。用户可以享受更加逼真和细致的视觉效果，提高了虚拟现实的真实感和沉浸感。通过优化参数分析和渲染延迟分析，减少交互操作输入时间与画面产生时间之间的时间差，从而提高了交互的响应速度。用户的交互操作可以更快地得到实时的反馈，增强了交互的流畅性和连贯性。
附图说明
图1为本发明实施例中基于虚拟现实的触控显示屏全景交互方法的一个实施例示意图；
图2为本发明实施例中生成多个第二触控显示游戏场景的流程图；
图3为本发明实施例中画质分析和渲染延迟分析的流程图；
图4为本发明实施例中全景交互参数优化分析的流程图；
图5为本发明实施例中基于虚拟现实的触控显示屏全景交互系统的一个实施例示意图；
图6为本发明实施例中基于虚拟现实的触控显示屏全景交互设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于虚拟现实的触控显示屏全景交互方法及控制系统，用于实现对全景交互场景的优化，从而提供更加流畅和高质量的虚拟现实交互体验。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于虚拟现实的触控显示屏全景交互方法的一个实施例包括：
S101、通过预置的虚拟现实设备接收目标用户的全景交互指令，并根据全景交互指令创建第一触控显示游戏场景；
可以理解的是，本发明的执行主体可以为基于虚拟现实的触控显示屏全景交互系统，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的，服务器实现基于虚拟现实的触控显示屏全景交互方法需要预置虚拟现实设备，如虚拟现实头显和手柄。这些设备将被用于接收目标用户的全景交互指令。服务器进行设备初始化和预设游戏场景渲染。在设备初始化阶段，服务器会与虚拟现实头显和手柄建立连接，并进行校准，确保设备准备就绪，能够精确地捕捉用户的动作和交互。服务器根据预设的游戏场景进行初始化渲染，得到初始触控显示游戏场景。这个初始场景可能是一个虚拟海滩景观，包含蓝天白云、沙滩和海浪声等元素。在初始触控显示游戏场景中，服务器嵌入交互元素。这些元素可以是虚拟的按钮、菜单、虚拟物体等，用于接收目标用户的全景交互指令。用户可以通过触摸虚拟按钮、注视虚拟物体，或者使用手势等方式与虚拟环境进行交互。当用户与交互元素进行交互时，服务器解析全景交互指令，确定用户的交互意图。这涉及到识别用户触摸按钮的动作、注视物体的位置，或者解析用户的手势动作。通过这个解析过程，服务器得到目标用户的用户意图数据。根据用户意图数据，服务器将创建和渲染新的第一触控显示游戏场景。这个过程可能涉及在虚拟环境中添加或删除物体，改变场景的光照、改变虚拟物体的位置或状态等。通过实时渲染，服务器能够快速响应用户的交互指令，并在虚拟现实头显上呈现更新后的场景。例如，假设服务器正在开发一款基于虚拟现实的虚拟旅游应用。用户戴上虚拟现实头显和手柄，进入一个虚拟的海滩景观。在这个虚拟海滩场景中，用户可以通过手柄触摸控制台上的按钮，或者注视场景中的交互元素来进行全景交互。当用户触摸控制台上的“探索”按钮时，服务器解析用户的指令，并得知用户希望进行更多探索。于是，服务器根据用户意图数据动态地创建一个虚拟森林场景，并在虚拟现实头显上实时渲染这个新场景。用户会立即感受到自己被带入了一个有树木和鸟儿的虚拟森林环境。本实施例中，用户通过预置的虚拟现实设备进行交互，服务器根据用户的全景交互指令动态地创建和渲染新的虚拟场景，实现了基于虚拟现实的触控显示屏全景交互方法。用户可以通过触摸控制台上的按钮或注视场景中的元素，自由地在虚拟环境中进行探索和交互，获得更加沉浸式和自然的体验。
S102、通过第一触控显示游戏场景中的交互元素，对目标用户进行眼动检测，得到眼动检测数据，并对眼动检测数据进行数据解析和编码处理，得到眼动编码集合；
具体的，服务器预置的虚拟现实设备，如头显和手柄，用于接收目标用户的全景交互指令。在第一触控显示游戏场景中嵌入交互元素，例如虚拟按钮、菜单和虚拟物体。这些交互元素将用于进行眼动检测和交互元素标识。通过虚拟现实设备中的眼动追踪技术，服务器对目标用户进行眼动检测和交互元素标识，从而获取用户的注视位置数据。服务器感知用户在虚拟环境中的注视位置，即用户正在观察的方向和位置。同时，虚拟现实设备进行眼部图像采集，获取多个眼部图像。这些眼部图像将被输入到预置的视线分析模型中的两层残差网络中，进行特征提取，得到每个眼动图像对应的目标特征图。将每个眼动图像对应的目标特征图输入到视线分析模型中的两层卷积层，进行多次卷积操作，得到每个眼动图像对应的卷积特征向量。这些卷积特征向量将进一步输入到视线分析模型的特征分类网络中，进行眼球坐标定位，从而得到眼球坐标数据。这些眼球坐标数据表示用户眼球的位置和运动。根据注视位置数据和眼球坐标数据，服务器计算目标用户的眼动轨迹数据、注视时间数据和注视序列数据。眼动轨迹数据表示用户在虚拟环境中的眼球运动轨迹，注视时间数据表示用户注视每个位置的时间长度，注视序列数据表示用户注视位置的顺序。通过计算眼动轨迹数据、注视时间数据和注视序列数据，服务器生成眼动检测数据。这些数据描述了用户在虚拟场景中的眼球运动和注视行为。根据预置的眼动交互规则，服务器确定眼动检测数据对应的眼动交互开始数据点和眼动交互结束数据点。这些规则可以基于注视时间、注视位置或其他眼动交互行为的特征来定义。根据眼动交互开始数据点和眼动交互结束数据点，服务器对眼动检测数据进行眼动数据划分，得到多个眼动交互数据。每个眼动交互数据代表了用户在虚拟环境中一次完整的眼动交互行为。对多个眼动交互数据进行编码映射，得到眼动编码集合。这些编码可以是对眼动交互的特征进行编码，以便后续分析和应用。例如，假设服务器正在开发一款基于虚拟现实的教育应用游戏，用户可以通过虚拟现实设备进入不同的历史场景进行探索。在一个虚拟历史博物馆场景中，用户可以通过注视虚拟物品来获取相关的历史信息。当用户戴上虚拟现实头显，进入虚拟历史博物馆场景时，服务器开始进行眼动检测和交互元素标识。用户的注视位置数据会记录他们在场景中的视线位置，例如注视某个历史文物。同时，虚拟现实设备会对用户的眼部图像进行采集。服务器利用视线分析模型对眼部图像进行特征提取和眼球坐标定位。通过这些分析，服务器得到了用户注视位置和眼球运动的数据。根据注视位置数据和眼球坐标数据，服务器计算用户的眼动轨迹数据、注视时间数据和注视序列数据。例如，用户可能先注视一个古代陶瓷器物，然后转向注视一幅历史画作，再回到注视一本古籍。服务器生成的眼动检测数据根据预设的眼动交互规则，确定眼动交互的开始和结束数据点。例如，服务器可能规定用户注视同一个物体超过2秒为眼动交互开始，当用户停止注视超过2秒时为眼动交互结束。根据眼动交互开始数据点和眼动交互结束数据点，服务器对眼动检测数据进行划分，得到多个眼动交互数据。例如，服务器划分出用户在博物馆场景中交互古代陶瓷器物和历史画作的眼动交互数据。服务器对多个眼动交互数据进行编码映射，生成眼动编码集合。这些编码集合可以用于进一步的数据分析，例如优化博物馆场景的展示方式，或者提供更个性化的历史展示内容，增强用户体验。
S103、通过虚拟现实设备对目标用户进行手势检测，得到手势检测数据，并对手势检测数据进行数据解析和编码处理，得到手势编码集合；
需要说明的是，虚拟现实设备用于对目标用户进行手势检测，得到多个手部图像。这些手部图像可能包含用户在虚拟环境中进行手势动作时的实时手部图像。对多个手部图像进行像素分割，得到每个手部图像的多个像素，并提取这些像素对应的多个坐标值及三原色值。这些坐标值和三原色值可以表示手势图像的空间位置和颜色信息。根据提取的多个坐标值及三原色值，服务器采用灰度变换公式计算这些像素对应的多个灰度变换值。灰度变换可以将手部图像的彩色信息转换为灰度信息，以便后续的手势特征解析和相似度计算。基于多个灰度变换值对手部图像进行灰度变换，得到多个灰度图像，并对这些灰度图像进行图像分类，得到多个连续图像组。图像分类可能根据图像的灰度值变化、边缘特征等将手势图像分为不同的连续图像组。对多个连续图像组进行手势特征解析，得到每个连续图像组的手势组合特征。手势组合特征可能包括手势的起始位置、方向、速度等信息，用于描述用户手势动作的连续特征。对每个连续图像组的手势组合特征与预设手势特征模板中的手势模板特征进行相似度计算，得到每个连续图像组对应的特征相似度。相似度计算可能使用各种匹配算法，如欧氏距离、余弦相似度等。对每个连续图像组对应的特征相似度进行数值分析，并确定手势检测数据。数值分析可能涉及设置相似度阈值，当特征相似度超过阈值时，认定用户进行了特定手势动作。对手势检测数据进行模糊编码匹配计算，得到多个模糊编码匹配值。模糊编码匹配可以对手势动作进行更加灵活的匹配和识别，以应对用户手势的多样性。根据得到的多个模糊编码匹配值，服务器创建手势编码集合。手势编码集合包含了用户在虚拟环境中进行的各种手势动作及其匹配程度，用于后续虚拟现实应用中的交互和反馈。例如，假设服务器正在开发一款基于虚拟现实的音乐游戏，用户可以通过手势在虚拟环境中进行音乐控制。在虚拟音乐空间中，用户可以用手势切换歌曲、调节音量和暂停音乐。用户戴上虚拟现实头显，进入虚拟音乐空间，服务器开始对目标用户进行手势检测，得到多个手部图像。用户在空中划出不同的手势，例如画圆、挥手和捏合手指。服务器对多个手部图像进行像素分割，提取像素的坐标值和三原色值。根据坐标值和三原色值计算像素的灰度变换值，得到多个灰度图像。服务器对多个灰度图像进行图像分类，将手势图像分为不同的连续图像组。例如，连续图像组可能包括画圆的一系列手势图像。对每个连续图像组进行手势特征解析，得到手势组合特征。对于画圆手势，手势组合特征可能包括手势起始位置、方向和速度。服务器将手势组合特征与预设手势特征模板中的手势模板特征进行相似度计算。当连续图像组与某个手势模板的相似度高于阈值时，服务器认定用户进行了相应手势动作，例如画圆手势。对手势检测数据进行模糊编码匹配计算，得到模糊编码匹配值。服务器可能根据手势的匹配程度和相似度来生成模糊编码匹配值。服务器创建手势编码集合，包含了用户进行的各种手势动作及其匹配程度。例如，手势编码集合可能包含用户画圆手势的匹配度较高，而挥手手势的匹配度较低。
S104、根据眼动编码集合和手势编码集合生成多个第二触控显示游戏场景；
具体的，通过预置的场景组合规则对眼动编码集合和手势编码集合进行交互关系分析。场景组合规则可以定义不同眼动编码和手势编码之间的交互关系，例如当用户进行特定眼动动作和手势动作的组合时，触发不同的场景变化或交互效果。根据场景组合规则，服务器得到多个眼动和手势编码对。每个编码对对应着用户在虚拟环境中进行的眼动动作和手势动作的组合。根据多个眼动和手势编码对，服务器生成对应的多个场景生成操作集合。场景生成操作集合包含了根据特定的眼动和手势编码对触发的场景更新和生成操作。例如，用户注视了虚拟环境中的某个物体并做出了捏合手指的手势，这个眼动和手势编码对可能对应着“放大物体”的场景生成操作。另外，用户注视了虚拟环境中的另一个物体并做出了挥手的手势，这个眼动和手势编码对可能对应着“移动物体”的场景生成操作。根据多个场景生成操作集合，服务器对第一触控显示游戏场景进行场景内容更新和场景生成。当用户的眼动和手势动作符合某个场景生成操作时，服务器会相应地更新场景内容，实现场景的变化或交互效果。例如，假设服务器正在开发一款基于虚拟现实的冒险游戏。在虚拟世界中，玩家可以通过注视虚拟物体和做出手势动作来与游戏环境进行交互。以下是两个场景组合规则和对应的场景生成操作：场景组合规则：当玩家注视一个宝箱并做出捏合手指的手势时，触发宝箱打开的场景。场景生成操作：根据玩家注视宝箱的眼动编码和捏合手指的手势编码，服务器将宝箱的模型更新为打开状态，显示宝箱内的宝物，并播放开启宝箱的音效。场景组合规则：当玩家注视一个控制台并做出挥手的手势时，触发游戏地图的切换场景。场景生成操作：根据玩家注视控制台的眼动编码和挥手的手势编码，服务器将当前场景切换为另一个游戏地图，玩家会被传送到新的地图中开始新的冒险。
S105、对每个第二触控显示游戏场景进行画质分析和渲染延迟分析，得到多个画质评价数据和多个渲染延迟数据；
具体的，服务器对每个第二触控显示游戏场景进行渲染数据采集，得到每个场景对应的渲染性能数据。渲染性能数据可能包括每帧的渲染时间、帧率、三维模型的多边形数、纹理贴图分辨率等信息，用于评估场景的画质和渲染性能。通过预置的画质分析工具对渲染性能数据进行解析，得到每个场景的画质指标向量。画质指标向量包括帧率、渲染时间、三维模型的多边形数和纹理贴图分辨率等指标的数值，用于描述场景的画质情况。将帧率、渲染时间、三维模型的多边形数和纹理贴图分辨率转换为渲染评价向量。渲染评价向量是对画质指标向量的数值进行转换和归一化处理后得到的向量，用于方便后续的画质评价计算。获取每个第二触控显示游戏场景的眼动检测数据和手势检测数据，并确定对应的交互操作输入时间。眼动检测数据可能包括用户在场景中注视的位置和时间，手势检测数据可能包括用户进行手势动作的时间。交互操作输入时间是眼动和手势动作与虚拟场景进行交互的时间戳。获取每个第二触控显示游戏场景的画面产生时间。画面产生时间是场景从开始渲染到显示在触控显示屏上的时间戳。计算每个第二触控显示游戏场景的交互操作输入时间与画面产生时间之间的时间差，得到多个渲染延迟数据。渲染延迟数据反映了用户的交互操作与虚拟场景显示之间的时间延迟，用于评估交互的流畅度和实时性。例如，假设服务器正在开发一款基于虚拟现实的飞行模拟游戏。在虚拟环境中，玩家可以通过眼动注视飞行目标和手势控制飞机的飞行方向。用户开始游戏，进入虚拟飞行场景。服务器通过眼动检测数据和手势检测数据获取玩家注视目标和手势控制动作的时间戳。服务器根据注视目标和手势控制动作的时间戳，确定对应的交互操作输入时间。同时，服务器进行场景渲染，获取虚拟飞行场景的渲染性能数据，包括帧率、渲染时间、三维模型的多边形数和纹理贴图分辨率等。根据预置的画质分析工具，将渲染性能数据解析为画质指标向量。将帧率、渲染时间、多边形数和纹理贴图分辨率转换为渲染评价向量，用于画质评价计算。服务器计算渲染评价向量与预设的画质指标向量之间的欧氏距离，得到画质评价数据。服务器计算交互操作输入时间与画面产生时间之间的时间差，得到渲染延迟数据。这些渲染延迟数据可以用于评估飞行模拟游戏的交互响应时间，确保游戏在虚拟现实环境中的流畅体验。通过分析多个画质评价数据和渲染延迟数据，开发团队可以对游戏进行优化，提高游戏的画质和交互性能，提供更好的虚拟现实飞行体验。
S106、将多个画质评价数据和多个渲染延迟数据输入预置的全景交互参数分析模型进行全景交互参数优化分析，得到场景响应优化参数集合。
具体的，将多个画质评价数据输入预置的全景交互参数分析模型的第一编码器进行特征提取，得到第一隐码向量。同时，将多个渲染延迟数据输入预置的全景交互参数分析模型的第二编码器进行特征提取，得到第二隐码向量。这样，画质评价数据和渲染延迟数据都被映射到了对应的隐码向量上。将第一隐码向量输入全景交互参数分析模型的第一解码器进行处理，得到多个第一响应优化参数。第一响应优化参数是根据画质评价数据进行优化的参数，用于改进场景的画质表现。同时，将第二隐码向量输入全景交互参数分析模型的第二解码器进行处理，得到多个第二响应优化参数。第二响应优化参数是根据渲染延迟数据进行优化的参数，用于改进场景的交互性能。定义全景交互的参数空间，并对多个第一响应优化参数和多个第二响应优化参数进行编码处理，得到初始编码种群。编码种群是一组编码后的参数组合，代表了不同的优化方案。对初始编码种群进行适应度分析，得到多个适应度数据。适应度数据可以通过评估场景响应的画质和交互性能来获得。根据适应度数据，从初始编码种群中选取多个第一编码个体。这些第一编码个体作为优秀的优化方案，可以用于进一步优化参数。对选取的第一编码个体进行交叉操作和变异操作，得到多个第二编码个体。交叉操作和变异操作是遗传算法中常用的操作，用于产生新的编码个体，以保持种群的多样性和进化性。根据多个第二编码个体，对初始编码种群进行参数最优化分析。参数最优化分析是通过不断迭代调整参数，使得场景响应的画质和交互性能达到最优状态。最终得到场景响应优化参数集合，这些参数可以应用于虚拟现实交互中，提供更好的用户体验。例如，假设服务器正在开发一款基于虚拟现实的赛车游戏。在游戏中，玩家可以通过眼动注视赛车的前进方向和手势控制赛车的转向。服务器根据玩家的眼动注视和手势控制动作收集了多个画质评价数据和渲染延迟数据。通过全景交互参数分析模型的第一编码器和第二编码器进行特征提取，将这些数据映射到了对应的隐码向量上。通过第一隐码向量和第二隐码向量，分别得到多个第一响应优化参数和多个第二响应优化参数。第一响应优化参数可能包括场景中汽车模型的贴图分辨率和环境光照强度等画质相关的参数，第二响应优化参数可能包括赛车控制响应时间和摄像机视角切换延迟等交互性能相关的参数。定义全景交互的参数空间，对多个第一响应优化参数和多个第二响应优化参数进行编码处理，得到初始编码种群。对初始编码种群进行适应度分析，评估各个方案的优劣。选取优秀的第一编码个体，进行交叉操作和变异操作，得到多个第二编码个体。通过参数最优化分析，根据多个第二编码个体得到场景响应优化参数集合。这些参数将被应用于游戏中，使得赛车游戏在虚拟现实环境中的画质和交互性能得到有效优化，提供更好的游戏体验。
本发明实施例中，创建第一触控显示游戏场景；通过交互元素进行眼动检测，得到眼动检测数据并进行数据解析和编码处理，得到眼动编码集合；进行手势检测，得到手势检测数据并进行数据解析和编码处理，得到手势编码集合；生成多个第二触控显示游戏场景；进行画质分析和渲染延迟分析，得到多个画质评价数据和多个渲染延迟数据；将多个画质评价数据和多个渲染延迟数据输入预置的全景交互参数分析模型进行全景交互参数优化分析，得到场景响应优化参数集合，本发明通过眼动检测和手势检测的结合，使用户能够更加自然、直观地与虚拟世界进行交互。用户无需依赖复杂的控制器或手柄，通过注视和手势即可实现虚拟场景中的操作，提升了交互的灵活性和便捷性。通过对每个第二触控显示游戏场景进行画质分析和渲染延迟分析，优化场景参数，使得虚拟现实场景的画质和渲染效果得到明显改善。用户可以享受更加逼真和细致的视觉效果，提高了虚拟现实的真实感和沉浸感。通过优化参数分析和渲染延迟分析，减少交互操作输入时间与画面产生时间之间的时间差，从而提高了交互的响应速度。用户的交互操作可以更快地得到实时的反馈，增强了交互的流畅性和连贯性。
在一具体实施例中，执行步骤S101的过程可以具体包括如下步骤：
（1）对预置的虚拟现实设备进行设备初始化，并根据预设的游戏场景进行初始化渲染，得到初始触控显示游戏场景；
（2）在初始触控显示游戏场景嵌入交互元素，并通过交互元素接收并响应目标用户的全景交互指令；
（3）对全景交互指令进行解析，得到目标用户的用户意图数据，并根据用户意图数据对初始触控显示游戏场景进行场景创建和渲染，得到第一触控显示游戏场景。
具体的，服务器对预置的虚拟现实设备进行初始化，确保设备可以正常运行，并且与交互服务器进行连接。根据预设的游戏场景进行初始化渲染，生成一个初始触控显示游戏场景。这个初始场景可能是一个虚拟世界中的场景，例如一个森林、城市或太空站，视游戏的主题而定。该场景将成为用户进行全景交互的起点。在初始触控显示游戏场景中嵌入交互元素，这些元素可以是虚拟的按钮、图标、标记或其他可交互的对象。这些交互元素可以通过虚拟现实设备的触控功能进行选择、点击或拖动。用户可以通过对这些交互元素的操作来发出全景交互指令。服务器将实时监测用户在虚拟现实环境中的操作，并响应用户的交互指令。当用户进行交互操作时，服务器会捕捉并解析交互指令。这些指令可能包括点击、拖动、放大、缩小等操作。服务器将根据解析得到的交互指令，获取目标用户的用户意图数据。用户意图数据指示用户在虚拟现实场景中的行为和意图，例如选择一个道具、移动到某个位置、与虚拟角色对话等。根据解析得到的用户意图数据，服务器将对初始触控显示游戏场景进行场景创建和渲染。场景创建是指根据用户的意图，对虚拟世界中的元素进行增加、删除或修改，以反映用户的选择和行为。场景渲染是指对修改后的虚拟世界场景进行重新渲染，以确保用户可以看到最新的交互结果。例如，如果用户选择了一个道具，服务器会将该道具放置在用户所选的位置，并在场景中呈现出来。通过场景创建和渲染的过程，服务器得到了一个经过用户交互后的第一触控显示游戏场景。这个场景反映了用户的选择和操作，使用户能够在虚拟世界中与场景进行互动。用户可以继续进行全景交互，选择其他交互元素，执行更多操作，并对场景进行进一步的修改和渲染。例如，假设服务器开发了一款虚拟现实的艺术创作游戏。在游戏中，玩家可以在虚拟画布上进行绘画创作。初始触控显示游戏场景是一个空白的虚拟画布，玩家可以在画布上选择颜色、笔刷类型、画笔粗细等参数，并通过手势在画布上进行绘画。当玩家选择了颜色、笔刷类型和画笔粗细后，服务器将嵌入对应的交互元素，如调色板和笔刷选择菜单。玩家可以通过触摸虚拟现实设备的触摸屏，选择所需的颜色和笔刷类型。玩家在画布上进行绘画时，服务器捕捉玩家的手势操作，并解析得到绘画的意图数据。根据这些意图数据，服务器将在画布上绘制玩家所选择的颜色和笔刷类型，实时反映玩家的创作过程。玩家可以继续在画布上进行绘画，选择其他颜色和笔刷类型，或者修改已有的绘画内容。服务器会根据玩家的交互指令，实时更新画布上的绘画内容。通过这样的全景交互过程，玩家可以在虚拟现实环境中自由地进行艺术创作，体验到更加沉浸式和交互性的创作体验。
在一具体实施例中，执行步骤S102的过程可以具体包括如下步骤：
（1）通过第一触控显示游戏场景中的交互元素，对目标用户进行眼动检测和交互元素标识，得到目标用户的注视位置数据；
（2）通过虚拟现实设备，对目标用户进行眼部图像采集，得到多个眼部图像；
（3）分别将多个眼部图像输入预置视线分析模型中的两层残差网络进行特征提取，得到每个眼动图像对应的目标特征图；
（4）将每个眼动图像对应的目标特征图输入视线分析模型中的两层卷积层进行多次卷积操作，得到每个眼动图像对应的卷积特征向量；
（5）将每个眼动图像对应的卷积特征向量输入视线分析模型中的特征分类网络进行眼球坐标定位，得到眼球坐标数据；
（6）根据注视位置数据和眼球坐标数据，计算目标用户的眼动轨迹数据、注视时间数据及注视序列数据，并根据眼动轨迹数据、注视时间数据及注视序列数据生成眼动检测数据；
（7）根据预置的眼动交互规则，确定眼动检测数据对应的眼动交互开始数据点以及眼动交互结束数据点；
（8）根据眼动交互开始数据点以及眼动交互结束数据点，对眼动检测数据进行眼动数据划分，得到多个眼动交互数据；
（9）对多个眼动交互数据进行编码映射，得到眼动编码集合。
具体的，服务器在虚拟现实场景中嵌入交互元素，例如虚拟按钮、物体等。通过虚拟现实设备，服务器对目标用户进行眼动检测，即追踪用户的眼睛运动。当用户凝视某个交互元素时，服务器标识该元素，记录用户注视的位置数据。这样就得到了目标用户的注视位置数据。通过虚拟现实设备对目标用户的眼部进行图像采集，获取多个眼部图像。这些图像将作为眼动检测的输入数据。服务器预置视线分析模型，该模型包含两层残差网络，用于特征提取。将多个眼部图像分别输入视线分析模型的两层残差网络中进行特征提取，得到每个眼动图像对应的目标特征图。这些特征图将帮助服务器定位用户眼球的准确位置。随后，将每个眼动图像对应的目标特征图输入视线分析模型的两层卷积层中进行多次卷积操作，得到每个眼动图像对应的卷积特征向量。这些特征向量将为后续的眼球坐标定位提供信息。将每个眼动图像对应的卷积特征向量输入视线分析模型的特征分类网络中进行眼球坐标定位，得到眼球坐标数据。这些数据表示用户的眼球位置，从而确定用户的注视点。有了注视位置数据和眼球坐标数据后，服务器计算目标用户的眼动轨迹数据、注视时间数据及注视序列数据。眼动轨迹数据反映了用户在虚拟现实场景中眼睛的移动路径，注视时间数据表示用户在不同交互元素上的停留时间，注视序列数据是用户注视交互元素的顺序。根据预置的眼动交互规则，确定眼动检测数据对应的眼动交互开始数据点以及眼动交互结束数据点。这些数据点标记了用户进行眼动交互的时间段。在确定了眼动交互开始和结束数据点后，服务器对眼动检测数据进行划分，得到多个眼动交互数据。例如，当用户在虚拟现实游戏中凝视某个按钮时，服务器识别眼动交互开始和结束点，将这段时间内的眼动数据划分为一个眼动交互数据。对多个眼动交互数据进行编码映射，得到眼动编码集合。这些编码可以表示用户的眼动行为和交互动作，例如“选择”、“点击”等。例如，在虚拟现实游戏中，假设有一个虚拟按钮，用户在游戏中通过凝视该按钮来选择某个功能。当用户凝视按钮时，服务器会标识该按钮并记录用户的注视位置数据。通过虚拟现实设备采集多个眼部图像，并通过视线分析模型进行特征提取和眼球坐标定位，得到用户的注视位置数据。根据用户的注视位置数据和眼球坐标数据，计算出用户的眼动轨迹数据、注视时间数据及注视序列数据。服务器根据预置的眼动交互规则，确定眼动检测数据对应的眼动交互开始数据点和结束数据点，并对数据进行划分。对划分后的眼动交互数据进行编码映射，得到眼动编码集合，表达用户的眼动行为和交互动作。
在一具体实施例中，执行步骤S103的过程可以具体包括如下步骤：
（1）通过虚拟现实设备对目标用户进行手势检测，得到多个手部图像；
（2）对多个手部图像进行像素分割，得到每个手部图像的多个像素，并提取多个像素对应的多个坐标值及三原色值；
（3）根据多个坐标值及三原色值，采用灰度变换公式计算多个像素对应的多个灰度变换值；
（4）基于多个灰度变换值对多个手部图像进行灰度变换，得到多个灰度图像，并对多个灰度图像进行图像分类，得到多个连续图像组；
（5）对多个连续图像组进行手势特征解析，得到每个连续图像组的手势组合特征；
（6）对每个连续图像组的手势组合特征与预设手势特征模板中的手势模板特征进行相似度计算，得到每个连续图像组对应的特征相似度；
（7）对每个连续图像组对应的特征相似度进行数值分析，并确定手势检测数据；
（8）对手势检测数据进行模糊编码匹配计算，得到多个模糊编码匹配值，并根据多个模糊编码匹配值创建手势编码集合。
具体的，通过虚拟现实设备对目标用户进行手势检测，获取多个手部图像。这些图像将作为手势检测的输入数据。对多个手部图像进行像素分割，得到每个手部图像的多个像素。对于每个像素，提取其对应的多个坐标值和三原色值。这些坐标值表示了像素在图像中的位置，而三原色值则反映了像素的颜色信息。在获得像素的坐标值和三原色值后，服务器采用灰度变换公式计算每个像素对应的多个灰度变换值。灰度变换可以将像素的颜色信息转换为灰度值，以减少计算复杂度并提取更有意义的特征。基于多个灰度变换值，对多个手部图像进行灰度变换，得到多个灰度图像。这些灰度图像可以视为手势检测的中间结果。对多个灰度图像进行图像分类，将相似的图像组合成多个连续图像组。每个连续图像组表示了一系列连续的手势动作。这个过程可以通过机器学习算法或者特征匹配方法来实现。对多个连续图像组进行手势特征解析，得到每个连续图像组的手势组合特征。手势组合特征可以包括手势的形状、方向、速度等信息。将每个连续图像组的手势组合特征与预设的手势特征模板中的手势模板特征进行相似度计算，得到每个连续图像组对应的特征相似度。相似度计算可以通过距离度量或者相关性计算等方式来实现。对每个连续图像组对应的特征相似度进行数值分析，并根据阈值等准则确定手势检测数据。当某个连续图像组的特征相似度超过设定的阈值时，可以认为该连续图像组表示了一个有效的手势动作。有了手势检测数据后，接下来对这些数据进行模糊编码匹配计算。模糊编码是一种模糊逻辑的方法，可以处理模糊和不确定性的数据。通过模糊编码匹配计算，可以得到多个模糊编码匹配值。根据多个模糊编码匹配值，服务器创建手势编码集合。这些编码可以表示不同的手势动作，例如“握拳”、“挥手”等。例如，假设在一个虚拟现实游戏中，用户可以通过手势来控制虚拟角色的移动。当用户做出“握拳”手势时，服务器通过虚拟现实设备对用户的手部进行图像采集，并获取多个手部图像。对这些图像进行像素分割，提取每个像素对应的坐标值和三原色值，并进行灰度变换，得到多个灰度图像。将灰度图像进行图像分类，得到连续图像组。针对每个连续图像组，进行手势特征解析，得到手势组合特征。将手势组合特征与预设的手势特征模板进行相似度计算，得到特征相似度。如果某个连续图像组的特征相似度超过预设的阈值，则判断用户做出了“握拳”手势。根据这些手势检测数据，进行模糊编码匹配计算，并创建手势编码集合，表示不同的手势动作。
在一具体实施例中，如图2所示，执行步骤S104的过程可以具体包括如下步骤：
S201、通过预置的场景组合规则，对眼动编码集合和手势编码集合进行交互关系分析，得到多个眼动和手势编码对；
S202、根据多个眼动和手势编码对，生成对应的多个场景生成操作集合；
S203、根据多个场景生成操作集合，对第一触控显示游戏场景进行场景内容更新和场景生成，得到多个第二触控显示游戏场景。
具体的，服务器定义预置的场景组合规则，用于分析眼动编码集合和手势编码集合之间的交互关系。场景组合规则是根据虚拟现实应用的需求和交互逻辑设定的，它可以包含不同手势和眼动行为之间的对应关系。通过对眼动编码和手势编码之间的交互关系进行分析，服务器得到多个眼动和手势编码对，这些编码对表示了用户在虚拟现实场景中的具体交互行为。在得到多个眼动和手势编码对后，根据预置的场景组合规则，服务器为每个编码对生成对应的场景生成操作集合。场景生成操作集合包括了对第一触控显示游戏场景进行场景内容的更新和场景生成所需的操作。有了场景生成操作集合后，服务器对第一触控显示游戏场景进行内容更新和场景生成。根据场景生成操作集合中的指令，对虚拟现实场景中的元素进行调整、替换或添加，以适应用户的眼动和手势交互。通过不断地更新和生成场景，服务器实现全景交互的体验，使用户能够在虚拟现实场景中进行自由的眼动和手势交互，控制角色的移动、改变环境等。例如，假设服务器有一个虚拟现实游戏，玩家在其中扮演一位探险家，需要在一个神秘的迷宫中寻找宝藏。在这个游戏中，服务器预设了一些场景组合规则，例如：当玩家的眼动编码为"注视物体A"，手势编码为"抓取"时，执行场景生成操作，将宝藏放置在玩家注视的物体A位置上；当玩家的眼动编码为"注视物体B"，手势编码为"拳击"时，执行场景生成操作，将物体B摧毁或打开一个隐藏的通道。现在，玩家在游戏中注视了一个古老的雕像（物体A），然后做出了抓取的手势。根据预设的场景组合规则，服务器分析眼动编码和手势编码的交互关系，得到了眼动编码"注视物体A"和手势编码"抓取"对应的场景生成操作集合。服务器执行场景生成操作，将宝藏放置在雕像位置上。玩家可以继续探索迷宫，找到更多的宝藏。通过这样的交互分析和场景生成操作，虚拟现实游戏可以根据玩家的眼动和手势交互实时更新场景，提供更加沉浸式和自由的交互体验。
在一具体实施例中，如图3所示，执行步骤S105的过程可以具体包括如下步骤：
S301、对每个第二触控显示游戏场景进行渲染数据采集，得到每个第二触控显示游戏场景对应的渲染性能数据；
S302、通过预置的画质分析工具，对渲染性能数据进行解析，得到每个第二触控显示游戏场景的帧率、渲染时间、三维模型的多边形数、纹理贴图分辨率；
S303、将帧率、渲染时间、三维模型的多边形数、纹理贴图分辨率转换为渲染评价向量；
S304、获取每个第二触控显示游戏场景的画质指标向量，分别计算渲染评价向量与画质指标向量之间的欧氏距离，得到目标欧式距离，并根据目标欧式距离确定多个画质评价数据；
S305、根据眼动检测数据和手势检测数据确定对应的交互操作输入时间，并获取每个第二触控显示游戏场景的画面产生时间；
S306、计算交互操作输入时间与画面产生时间之间的时间差，得到多个渲染延迟数据。
具体的，服务器在每个第二触控显示游戏场景中，服务器对渲染性能进行数据采集和分析。通过预置的渲染性能数据采集工具，可以记录每个场景的帧率、渲染时间、三维模型的多边形数和纹理贴图分辨率等信息。这些渲染性能数据反映了虚拟场景在设备上的渲染效果和性能表现。使用预设的画质分析工具，对采集到的渲染性能数据进行解析，得到每个第二触控显示游戏场景的画质指标向量。画质指标向量可以包含多个维度的信息，如帧率、渲染时间、多边形数和纹理贴图分辨率。这些指标将用于后续的画质评价。将得到的渲染性能数据转换为渲染评价向量，为了方便比较和评价不同场景的画质表现。服务器确定每个第二触控显示游戏场景的画质评价数据。通过对每个第二触控显示游戏场景的渲染评价向量与预置的画质指标向量进行欧氏距离计算，得到目标欧式距离。根据目标欧式距离，服务器确定多个画质评价数据，用于描述每个场景的画质表现。例如，距离越接近零的场景表示画质较高，距离较远的场景表示画质较低。在虚拟现实交互中，渲染延迟对于用户体验至关重要。为了获取渲染延迟数据，服务器根据眼动检测数据和手势检测数据，确定对应的交互操作输入时间，并获取每个第二触控显示游戏场景的画面产生时间。通过计算交互操作输入时间与画面产生时间之间的时间差，服务器得到多个渲染延迟数据。这些数据将用于评估虚拟现实交互的渲染延迟，从而优化画面响应和提升用户体验。例如，假设服务器有一个虚拟现实射击游戏，玩家需要在虚拟场景中进行目标射击。服务器在每个第二触控显示游戏场景中记录了渲染性能数据，如帧率、渲染时间、多边形数和纹理贴图分辨率。根据这些数据，服务器使用画质分析工具得到了画质指标向量，并将其转换为渲染评价向量。假设有两个场景：场景A和场景B。场景A的渲染评价向量为[60fps,10ms,100k多边形,1024x1024贴图]，场景B的渲染评价向量为[45fps,15ms,80k多边形,512x512贴图]。服务器使用预置的画质指标向量与渲染评价向量计算欧氏距离。假设欧式距离计算结果为0.2，根据目标欧式距离，服务器确定场景A的画质评价数据为较高，场景B的画质评价数据为较低。同时，服务器对每个场景的渲染延迟进行计算。假设场景A的交互操作输入时间与画面产生时间之间的时间差为20ms，场景B的时间差为30ms。这样，服务器得到场景A的渲染延迟为20ms，场景B的渲染延迟为30ms。通过这样的渲染数据采集、画质分析和渲染延迟数据获取，服务器对虚拟现实游戏场景进行优化，提升画质和性能，从而提供更好的交互体验。
在一具体实施例中，如图4所示，执行步骤S106的过程可以具体包括如下步骤：
S401、将多个画质评价数据输入预置全景交互参数分析模型中的第一编码器进行特征提取，得到第一隐码向量，并将多个渲染延迟数据输入预置全景交互参数分析模型中的第二编码器进行特征提取，得到第二隐码向量；
S402、将第一隐码向量输入全景交互参数分析模型中的第一解码器进行处理，得到多个第一响应优化参数，并将第二隐码向量输入全景交互参数分析模型中的第二解码器进行处理，得到多个第二响应优化参数；
S403、定义全景交互的参数空间，并对多个第一响应优化参数和多个第二响应优化参数进行编码处理，得到初始编码种群；
S404、对初始编码种群进行适应度分析，得到多个适应度数据，并根据多个适应度数据从初始编码种群中选取多个第一编码个体；
S405、对第一编码个体进行交叉操作和变异操作，得到多个第二编码个体；
S406、根据多个第二编码个体，对初始编码种群进行参数最优化分析，得到场景响应优化参数集合。
具体的，服务器将多个画质评价数据输入预置的全景交互参数分析模型中的第一编码器进行特征提取。第一编码器可以将画质评价数据转换成一个向量表示，即第一隐码向量。类似地，服务器将多个渲染延迟数据输入第二编码器进行特征提取，得到第二隐码向量。将第一隐码向量输入全景交互参数分析模型中的第一解码器进行处理，得到多个第一响应优化参数。将第二隐码向量输入第二解码器进行处理，得到多个第二响应优化参数。这些优化参数将在后续的优化过程中用于调整虚拟现实场景的交互参数。在全景交互参数优化中，服务器定义合适的参数空间，以便对第一响应优化参数和第二响应优化参数进行编码处理。参数空间可以包括交互元素的大小、位置、交互效果等参数。对多个第一响应优化参数和第二响应优化参数进行编码处理，可以将它们转换成一个编码种群，方便后续的优化过程。对初始编码种群进行适应度分析，可以评估每个编码个体的优劣程度。适应度分析可以根据虚拟现实场景的性能和用户体验进行评估，比如通过画质评价数据和渲染延迟数据。根据适应度数据，从初始编码种群中选取多个第一编码个体，这些个体将成为下一代编码种群的基础。通过交叉操作和变异操作，可以对选取的第一编码个体进行进一步优化和变异。交叉操作可以将两个编码个体的优势特点结合在一起，生成新的编码个体。变异操作可以引入一定的随机性，增加种群的多样性。根据多个第二编码个体，对初始编码种群进行参数最优化分析。在这一阶段，服务器会根据预设的优化目标和约束条件，寻找最优的全景交互参数组合。这些最优化参数将应用于虚拟现实场景中，以提升场景的交互性能和用户体验。例如，假设服务器有一个虚拟现实游戏场景，玩家需要通过手势和眼动进行交互，并且场景包含多个交互元素和视觉效果。服务器将对这个场景的交互参数进行优化，以提升用户体验。服务器收集了多个玩家在场景中的眼动数据和手势数据，并得到了多个画质评价数据和渲染延迟数据。将这些数据输入预置的全景交互参数分析模型中的第一编码器和第二编码器进行特征提取，得到第一隐码向量和第二隐码向量。将第一隐码向量和第二隐码向量输入相应的解码器进行处理，得到多个第一响应优化参数和第二响应优化参数。这些优化参数包含了场景中交互元素的大小、位置以及交互效果等信息。服务器定义了全景交互的参数空间，包括交互元素的位置在屏幕上的坐标、手势的灵敏度和触发效果等参数。将多个第一响应优化参数和第二响应优化参数进行编码处理，得到初始编码种群。通过适应度分析，评估初始编码种群中每个编码个体的优劣程度。选取优秀的第一编码个体，进行交叉操作和变异操作，生成多个第二编码个体。根据多个第二编码个体，对初始编码种群进行参数最优化分析，得到场景响应优化参数集合。将这些最优化参数应用于虚拟现实场景中，使得场景能够更好地响应用户的交互指令，并提升画质和性能，从而提供更好的全景交互体验。
上面对本发明实施例中基于虚拟现实的触控显示屏全景交互方法进行了描述，下面对本发明实施例中基于虚拟现实的触控显示屏全景交互系统进行描述，请参阅图5，本发明实施例中基于虚拟现实的触控显示屏全景交互系统一个实施例包括：
接收模块501，用于通过预置的虚拟现实设备接收目标用户的全景交互指令，并根据所述全景交互指令创建第一触控显示游戏场景；
第一检测模块502，用于通过所述第一触控显示游戏场景中的交互元素，对目标用户进行眼动检测，得到眼动检测数据，并对所述眼动检测数据进行数据解析和编码处理，得到眼动编码集合；
第二检测模块503，用于通过所述虚拟现实设备对所述目标用户进行手势检测，得到手势检测数据，并对所述手势检测数据进行数据解析和编码处理，得到手势编码集合；
生成模块504，用于根据所述眼动编码集合和所述手势编码集合生成多个第二触控显示游戏场景；
分析模块505，用于对每个第二触控显示游戏场景进行画质分析和渲染延迟分析，得到多个画质评价数据和多个渲染延迟数据；
优化模块506，用于将所述多个画质评价数据和所述多个渲染延迟数据输入预置的全景交互参数分析模型进行全景交互参数优化分析，得到场景响应优化参数集合。
通过上述各个组成部分的协同合作，创建第一触控显示游戏场景；通过交互元素进行眼动检测，得到眼动检测数据并进行数据解析和编码处理，得到眼动编码集合；进行手势检测，得到手势检测数据并进行数据解析和编码处理，得到手势编码集合；生成多个第二触控显示游戏场景；进行画质分析和渲染延迟分析，得到多个画质评价数据和多个渲染延迟数据；将多个画质评价数据和多个渲染延迟数据输入预置的全景交互参数分析模型进行全景交互参数优化分析，得到场景响应优化参数集合，本发明通过眼动检测和手势检测的结合，使用户能够更加自然、直观地与虚拟世界进行交互。用户无需依赖复杂的控制器或手柄，通过注视和手势即可实现虚拟场景中的操作，提升了交互的灵活性和便捷性。通过对每个第二触控显示游戏场景进行画质分析和渲染延迟分析，优化场景参数，使得虚拟现实场景的画质和渲染效果得到明显改善。用户可以享受更加逼真和细致的视觉效果，提高了虚拟现实的真实感和沉浸感。通过优化参数分析和渲染延迟分析，减少交互操作输入时间与画面产生时间之间的时间差，从而提高了交互的响应速度。用户的交互操作可以更快地得到实时的反馈，增强了交互的流畅性和连贯性。
上面图5从模块化功能实体的角度对本发明实施例中的基于虚拟现实的触控显示屏全景交互系统进行详细描述，下面从硬件处理的角度对本发明实施例中基于虚拟现实的触控显示屏全景交互设备进行详细描述。
图6是本发明实施例提供的一种基于虚拟现实的触控显示屏全景交互设备的结构示意图，该基于虚拟现实的触控显示屏全景交互设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于虚拟现实的触控显示屏全景交互设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在基于虚拟现实的触控显示屏全景交互设备600上执行存储介质630中的一系列指令操作。
基于虚拟现实的触控显示屏全景交互设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的基于虚拟现实的触控显示屏全景交互设备结构并不构成对基于虚拟现实的触控显示屏全景交互设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种基于虚拟现实的触控显示屏全景交互设备，所述基于虚拟现实的触控显示屏全景交互设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于虚拟现实的触控显示屏全景交互方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于虚拟现实的触控显示屏全景交互方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于虚拟现实的触控显示屏全景交互方法，其特征在于，所述基于虚拟现实的触控显示屏全景交互方法包括：
通过预置的虚拟现实设备接收目标用户的全景交互指令，并根据所述全景交互指令创建第一触控显示游戏场景；
通过所述第一触控显示游戏场景中的交互元素，对目标用户进行眼动检测，得到眼动检测数据，并对所述眼动检测数据进行数据解析和编码处理，得到眼动编码集合；
通过所述虚拟现实设备对所述目标用户进行手势检测，得到手势检测数据，并对所述手势检测数据进行数据解析和编码处理，得到手势编码集合；
根据所述眼动编码集合和所述手势编码集合生成多个第二触控显示游戏场景；
对每个第二触控显示游戏场景进行画质分析和渲染延迟分析，得到多个画质评价数据和多个渲染延迟数据；
将所述多个画质评价数据和所述多个渲染延迟数据输入预置的全景交互参数分析模型进行全景交互参数优化分析，得到场景响应优化参数集合。
2.根据权利要求1所述的基于虚拟现实的触控显示屏全景交互方法，其特征在于，所述通过预置的虚拟现实设备接收目标用户的全景交互指令，并根据所述全景交互指令创建第一触控显示游戏场景，包括：
对预置的虚拟现实设备进行设备初始化，并根据预设的游戏场景进行初始化渲染，得到初始触控显示游戏场景；
在所述初始触控显示游戏场景嵌入交互元素，并通过所述交互元素接收并响应目标用户的全景交互指令；
对所述全景交互指令进行解析，得到所述目标用户的用户意图数据，并根据所述用户意图数据对所述初始触控显示游戏场景进行场景创建和渲染，得到第一触控显示游戏场景。
3.根据权利要求1所述的基于虚拟现实的触控显示屏全景交互方法，其特征在于，所述通过所述第一触控显示游戏场景中的交互元素，对目标用户进行眼动检测，得到眼动检测数据，并对所述眼动检测数据进行数据解析和编码处理，得到眼动编码集合，包括：
通过所述第一触控显示游戏场景中的交互元素，对目标用户进行眼动检测和交互元素标识，得到所述目标用户的注视位置数据；
通过所述虚拟现实设备，对所述目标用户进行眼部图像采集，得到多个眼部图像；
分别将所述多个眼部图像输入预置视线分析模型中的两层残差网络进行特征提取，得到每个眼动图像对应的目标特征图；
将每个眼动图像对应的目标特征图输入所述视线分析模型中的两层卷积层进行多次卷积操作，得到每个眼动图像对应的卷积特征向量；
将每个眼动图像对应的卷积特征向量输入所述视线分析模型中的特征分类网络进行眼球坐标定位，得到眼球坐标数据；
根据所述注视位置数据和所述眼球坐标数据，计算所述目标用户的眼动轨迹数据、注视时间数据及注视序列数据，并根据所述眼动轨迹数据、所述注视时间数据及所述注视序列数据生成眼动检测数据；
根据预置的眼动交互规则，确定所述眼动检测数据对应的眼动交互开始数据点以及眼动交互结束数据点；
根据所述眼动交互开始数据点以及所述眼动交互结束数据点，对所述眼动检测数据进行眼动数据划分，得到多个眼动交互数据；
对所述多个眼动交互数据进行编码映射，得到眼动编码集合。
4.根据权利要求1所述的基于虚拟现实的触控显示屏全景交互方法，其特征在于，所述通过所述虚拟现实设备对所述目标用户进行手势检测，得到手势检测数据，并对所述手势检测数据进行数据解析和编码处理，得到手势编码集合，包括：
通过所述虚拟现实设备对所述目标用户进行手势检测，得到多个手部图像；
对所述多个手部图像进行像素分割，得到每个手部图像的多个像素，并提取所述多个像素对应的多个坐标值及三原色值；
根据所述多个坐标值及所述三原色值，采用灰度变换公式计算所述多个像素对应的多个灰度变换值；
基于所述多个灰度变换值对所述多个手部图像进行灰度变换，得到多个灰度图像，并对所述多个灰度图像进行图像分类，得到多个连续图像组；
对所述多个连续图像组进行手势特征解析，得到每个连续图像组的手势组合特征；
对每个连续图像组的手势组合特征与预设手势特征模板中的手势模板特征进行相似度计算，得到每个连续图像组对应的特征相似度；
对每个连续图像组对应的特征相似度进行数值分析，并确定手势检测数据；
对所述手势检测数据进行模糊编码匹配计算，得到多个模糊编码匹配值，并根据所述多个模糊编码匹配值创建手势编码集合。
5.根据权利要求1所述的基于虚拟现实的触控显示屏全景交互方法，其特征在于，所述根据所述眼动编码集合和所述手势编码集合生成多个第二触控显示游戏场景，包括：
通过预置的场景组合规则，对所述眼动编码集合和所述手势编码集合进行交互关系分析，得到多个眼动和手势编码对；
根据所述多个眼动和手势编码对，生成对应的多个场景生成操作集合；
根据所述多个场景生成操作集合，对所述第一触控显示游戏场景进行场景内容更新和场景生成，得到多个第二触控显示游戏场景。
6.根据权利要求1所述的基于虚拟现实的触控显示屏全景交互方法，其特征在于，所述对每个第二触控显示游戏场景进行画质分析和渲染延迟分析，得到多个画质评价数据和多个渲染延迟数据，包括：
对每个第二触控显示游戏场景进行渲染数据采集，得到每个第二触控显示游戏场景对应的渲染性能数据；
通过预置的画质分析工具，对所述渲染性能数据进行解析，得到每个第二触控显示游戏场景的帧率、渲染时间、三维模型的多边形数、纹理贴图分辨率；
将所述帧率、所述渲染时间、所述三维模型的多边形数、所述纹理贴图分辨率转换为渲染评价向量；
获取每个第二触控显示游戏场景的画质指标向量，分别计算所述渲染评价向量与所述画质指标向量之间的欧氏距离，得到目标欧式距离，并根据所述目标欧式距离确定多个画质评价数据；
根据所述眼动检测数据和所述手势检测数据确定对应的交互操作输入时间，并获取每个第二触控显示游戏场景的画面产生时间；
计算所述交互操作输入时间与所述画面产生时间之间的时间差，得到多个渲染延迟数据。
7.根据权利要求1所述的基于虚拟现实的触控显示屏全景交互方法，其特征在于，所述将所述多个画质评价数据和所述多个渲染延迟数据输入预置的全景交互参数分析模型进行全景交互参数优化分析，得到场景响应优化参数集合，包括：
将所述多个画质评价数据输入预置全景交互参数分析模型中的第一编码器进行特征提取，得到第一隐码向量，并将所述多个渲染延迟数据输入预置全景交互参数分析模型中的第二编码器进行特征提取，得到第二隐码向量；
将所述第一隐码向量输入所述全景交互参数分析模型中的第一解码器进行处理，得到多个第一响应优化参数，并将所述第二隐码向量输入所述全景交互参数分析模型中的第二解码器进行处理，得到多个第二响应优化参数；
定义全景交互的参数空间，并对所述多个第一响应优化参数和所述多个第二响应优化参数进行编码处理，得到初始编码种群；
对所述初始编码种群进行适应度分析，得到多个适应度数据，并根据所述多个适应度数据从所述初始编码种群中选取多个第一编码个体；
对所述第一编码个体进行交叉操作和变异操作，得到多个第二编码个体；
根据所述多个第二编码个体，对所述初始编码种群进行参数最优化分析，得到场景响应优化参数集合。
8.一种基于虚拟现实的触控显示屏全景交互系统，其特征在于，所述基于虚拟现实的触控显示屏全景交互系统包括：
接收模块，用于通过预置的虚拟现实设备接收目标用户的全景交互指令，并根据所述全景交互指令创建第一触控显示游戏场景；
第一检测模块，用于通过所述第一触控显示游戏场景中的交互元素，对目标用户进行眼动检测，得到眼动检测数据，并对所述眼动检测数据进行数据解析和编码处理，得到眼动编码集合；
第二检测模块，用于通过所述虚拟现实设备对所述目标用户进行手势检测，得到手势检测数据，并对所述手势检测数据进行数据解析和编码处理，得到手势编码集合；
生成模块，用于根据所述眼动编码集合和所述手势编码集合生成多个第二触控显示游戏场景；
分析模块，用于对每个第二触控显示游戏场景进行画质分析和渲染延迟分析，得到多个画质评价数据和多个渲染延迟数据；
优化模块，用于将所述多个画质评价数据和所述多个渲染延迟数据输入预置的全景交互参数分析模型进行全景交互参数优化分析，得到场景响应优化参数集合。
9.一种基于虚拟现实的触控显示屏全景交互设备，其特征在于，所述基于虚拟现实的触控显示屏全景交互设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于虚拟现实的触控显示屏全景交互设备执行如权利要求1-7中任一项所述的基于虚拟现实的触控显示屏全景交互方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的基于虚拟现实的触控显示屏全景交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311170064.1A CN116909407B (zh) | 2023-09-12 | 2023-09-12 | 基于虚拟现实的触控显示屏全景交互方法及控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311170064.1A CN116909407B (zh) | 2023-09-12 | 2023-09-12 | 基于虚拟现实的触控显示屏全景交互方法及控制系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116909407A true CN116909407A (zh) | 2023-10-20 |
| CN116909407B CN116909407B (zh) | 2024-01-12 |
Family
ID=88367178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311170064.1A Active CN116909407B (zh) | 2023-09-12 | 2023-09-12 | 基于虚拟现实的触控显示屏全景交互方法及控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116909407B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117111873A (zh) * | 2023-10-23 | 2023-11-24 | 南昌市一境信息技术有限公司 | 一种基于cave环境的沉浸交互系统 |
| CN117234343A (zh) * | 2023-11-16 | 2023-12-15 | 山东经鼎智能科技有限公司 | 一种XR多终端协同PaaS平台 |
| CN117241063A (zh) * | 2023-11-13 | 2023-12-15 | 中影年年(北京)文化传媒有限公司 | 基于虚拟现实技术的直播交互方法及系统 |
| CN117572997A (zh) * | 2024-01-15 | 2024-02-20 | 南京维赛客网络科技有限公司 | 在模型空间和全景空间相互传送的方法、系统及存储介质 |
| CN117851318A (zh) * | 2024-03-06 | 2024-04-09 | 北京天平地成信息技术服务有限公司 | 基于vr内容管理平台的编辑系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160284134A1 (en) * | 2015-03-24 | 2016-09-29 | Intel Corporation | Augmentation modification based on user interaction with augmented reality scene |
| US20180001198A1 (en) * | 2016-06-30 | 2018-01-04 | Sony Interactive Entertainment America Llc | Using HMD Camera Touch Button to Render Images of a User Captured During Game Play |
| CN107670272A (zh) * | 2017-09-29 | 2018-02-09 | 广州云友网络科技有限公司 | 基于vr技术的智能体感、触感互动场景模拟方法 |
| CN108874126A (zh) * | 2018-05-30 | 2018-11-23 | 北京致臻智造科技有限公司 | 基于虚拟现实设备的交互方法及系统 |
| CN111010576A (zh) * | 2019-12-18 | 2020-04-14 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及相关设备 |
| CN111012301A (zh) * | 2019-12-19 | 2020-04-17 | 北京理工大学 | 一种头戴式目视精确瞄准系统 |
| US20210275908A1 (en) * | 2020-03-05 | 2021-09-09 | Advanced Micro Devices, Inc. | Adapting encoder resource allocation based on scene engagement information |
| CN114637393A (zh) * | 2020-11-30 | 2022-06-17 | 见臻科技股份有限公司 | 图形处理方法和相关眼动追踪系统 |
| WO2023280266A1 (zh) * | 2021-07-09 | 2023-01-12 | 影石创新科技股份有限公司 | 鱼眼图像压缩、鱼眼视频流压缩以及全景视频生成方法 |
| CN115937380A (zh) * | 2021-08-24 | 2023-04-07 | 荣耀终端有限公司 | 图形渲染方法、装置及存储介质 |
| CN116107419A (zh) * | 2021-11-10 | 2023-05-12 | 华为技术有限公司 | 一种与电子设备进行交互的方法及电子设备 |
| US20230168736A1 (en) * | 2021-11-29 | 2023-06-01 | Sony Interactive Entertainment LLC | Input prediction for pre-loading of rendering data |
-
2023
- 2023-09-12 CN CN202311170064.1A patent/CN116909407B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160284134A1 (en) * | 2015-03-24 | 2016-09-29 | Intel Corporation | Augmentation modification based on user interaction with augmented reality scene |
| US20180001198A1 (en) * | 2016-06-30 | 2018-01-04 | Sony Interactive Entertainment America Llc | Using HMD Camera Touch Button to Render Images of a User Captured During Game Play |
| CN107670272A (zh) * | 2017-09-29 | 2018-02-09 | 广州云友网络科技有限公司 | 基于vr技术的智能体感、触感互动场景模拟方法 |
| CN108874126A (zh) * | 2018-05-30 | 2018-11-23 | 北京致臻智造科技有限公司 | 基于虚拟现实设备的交互方法及系统 |
| CN111010576A (zh) * | 2019-12-18 | 2020-04-14 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及相关设备 |
| CN111012301A (zh) * | 2019-12-19 | 2020-04-17 | 北京理工大学 | 一种头戴式目视精确瞄准系统 |
| US20210275908A1 (en) * | 2020-03-05 | 2021-09-09 | Advanced Micro Devices, Inc. | Adapting encoder resource allocation based on scene engagement information |
| CN114637393A (zh) * | 2020-11-30 | 2022-06-17 | 见臻科技股份有限公司 | 图形处理方法和相关眼动追踪系统 |
| WO2023280266A1 (zh) * | 2021-07-09 | 2023-01-12 | 影石创新科技股份有限公司 | 鱼眼图像压缩、鱼眼视频流压缩以及全景视频生成方法 |
| CN115937380A (zh) * | 2021-08-24 | 2023-04-07 | 荣耀终端有限公司 | 图形渲染方法、装置及存储介质 |
| CN116107419A (zh) * | 2021-11-10 | 2023-05-12 | 华为技术有限公司 | 一种与电子设备进行交互的方法及电子设备 |
| US20230168736A1 (en) * | 2021-11-29 | 2023-06-01 | Sony Interactive Entertainment LLC | Input prediction for pre-loading of rendering data |
Non-Patent Citations (1)
| Title |
|---|
| 苗岭;: "虚拟现实眼动系统在环境交互设计中的研究", 包装工程, no. 22 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117111873A (zh) * | 2023-10-23 | 2023-11-24 | 南昌市一境信息技术有限公司 | 一种基于cave环境的沉浸交互系统 |
| CN117111873B (zh) * | 2023-10-23 | 2024-01-09 | 南昌市一境信息技术有限公司 | 一种基于cave环境的沉浸交互系统 |
| CN117241063A (zh) * | 2023-11-13 | 2023-12-15 | 中影年年(北京)文化传媒有限公司 | 基于虚拟现实技术的直播交互方法及系统 |
| CN117241063B (zh) * | 2023-11-13 | 2024-01-26 | 中影年年(北京)文化传媒有限公司 | 基于虚拟现实技术的直播交互方法及系统 |
| CN117234343A (zh) * | 2023-11-16 | 2023-12-15 | 山东经鼎智能科技有限公司 | 一种XR多终端协同PaaS平台 |
| CN117234343B (zh) * | 2023-11-16 | 2024-02-02 | 山东经鼎智能科技有限公司 | 一种XR多终端协同PaaS平台 |
| CN117572997A (zh) * | 2024-01-15 | 2024-02-20 | 南京维赛客网络科技有限公司 | 在模型空间和全景空间相互传送的方法、系统及存储介质 |
| CN117851318A (zh) * | 2024-03-06 | 2024-04-09 | 北京天平地成信息技术服务有限公司 | 基于vr内容管理平台的编辑系统 |
| CN117851318B (zh) * | 2024-03-06 | 2024-05-28 | 北京天平地成信息技术服务有限公司 | 基于vr内容管理平台的编辑系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116909407B (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116909407B (zh) | 基于虚拟现实的触控显示屏全景交互方法及控制系统 | |
| CN102222431B (zh) | 用于翻译手语的计算机实现的方法 | |
| US20180350150A1 (en) | Keyboards for virtual, augmented, and mixed reality display systems | |
| US8213680B2 (en) | Proxy training data for human body tracking | |
| US8223147B1 (en) | Method and system for vision-based interaction in a virtual environment | |
| US20230016341A1 (en) | Multi-modal hand location and orientation for avatar movement | |
| CA3065131A1 (en) | Eye tracking calibration techniques | |
| Bigdelou et al. | Simultaneous categorical and spatio-temporal 3d gestures using kinect | |
| CN115244495A (zh) | 针对虚拟环境运动的实时式样 | |
| CN116880701B (zh) | 基于全息设备的多模态交互方法及系统 | |
| Kirakosian et al. | Near-contact person-to-3d character dance training: Comparing ar and vr for interactive entertainment | |
| CN104239119A (zh) | 一种基于kinect实现电力培训仿真的方法及系统 | |
| CN112424736A (zh) | 机器交互 | |
| WO2020195017A1 (ja) | 経路認識方法、経路認識装置、経路認識プログラム、及び経路認識プログラム記録媒体 | |
| Woo et al. | Sketch on dynamic gesture tracking and analysis exploiting vision-based 3D interface | |
| KR101525011B1 (ko) | Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법 | |
| CN111651054A (zh) | 音效控制方法、装置、电子设备及存储介质 | |
| Bernardes Jr et al. | Design and implementation of a flexible hand gesture command interface for games based on computer vision | |
| CN113176822A (zh) | 虚拟用户检测 | |
| CN117369649B (zh) | 基于本体感觉的虚拟现实交互系统及方法 | |
| Ghosh et al. | Real-time 3d markerless multiple hand detection and tracking for human computer interaction applications | |
| KR102531789B1 (ko) | 클라우드 기반 메타버스 콘텐츠 협업 시스템 | |
| Piumsomboon | Natural hand interaction for augmented reality. | |
| Hachaj et al. | Evaluation of Gesture Description Language in the role of touchless interface for virtual reality environment | |
| KR20230096340A (ko) | 가상 현실 기반의 질감 생성 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |