CN116700500A - 多场景vr互动方法、系统及存储介质 - Google Patents
多场景vr互动方法、系统及存储介质 Download PDFInfo
- Publication number
- CN116700500A CN116700500A CN202310986004.0A CN202310986004A CN116700500A CN 116700500 A CN116700500 A CN 116700500A CN 202310986004 A CN202310986004 A CN 202310986004A CN 116700500 A CN116700500 A CN 116700500A
- Authority
- CN
- China
- Prior art keywords
- scene
- user
- virtual
- feature
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000003993 interaction Effects 0.000 title claims abstract description 29
- 230000008859 change Effects 0.000 claims abstract description 66
- 230000002452 interceptive effect Effects 0.000 claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000005516 engineering process Methods 0.000 claims abstract description 11
- 210000003128 head Anatomy 0.000 claims description 28
- 230000033001 locomotion Effects 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 13
- 210000005252 bulbus oculi Anatomy 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 238000013518 transcription Methods 0.000 claims description 7
- 230000035897 transcription Effects 0.000 claims description 7
- 210000001508 eye Anatomy 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 5
- 230000006978 adaptation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供多场景VR互动方法、系统及存储介质，属于虚拟现实技术领域，包括在用户发出VR互动请求后，将场景选择界面反馈给用户，从场景选择界面中选择预变标识；用户对所述预变标识进行确认操作时，将所述用户添加至预设的虚拟场景中，并确定所述用户在预设的虚拟场景中的用户视角场景；实时采集用户的多维度交互信息，基于多维度交互信息按实时更新用户视角场景。本发明通过VR互动请求或用户语音指令，更换用户视角场景可以提供更丰富、多样的虚拟体验，可以提供更丰富、个性化的虚拟体验，增加交互性和参与感，并为用户带来拓宽视野和知识的机会，进一步推动虚拟现实技术的发展。
Description
技术领域
本发明涉及虚拟现实技术领域，尤其涉及多场景VR互动方法、系统及存储介质。
背景技术
VR技术主要应用于游戏和娱乐行业，用户可以通过头戴设备进入虚拟环境，体验沉浸式的游戏和娱乐内容。但随着技术的发展，人们开始意识到VR技术的潜力远不止于此，它在教育、医疗、建筑、设计等领域也有广泛的应用前景。多场景VR互动方法和系统的发展是为了提供更真实、更逼真的虚拟环境体验。通过引入手柄、控制器、头部追踪、全身追踪、视线追踪和语音控制等交互方法，用户可以更自然地进行虚拟环境中的操作，增强了沉浸感和交互性。
在当前的多场景虚拟现实（VR）系统中，用户采用手柄、控制器、触摸或语音识别的对虚拟场景进行切换，但仍然存在有一定缺陷，缺少对用户发出语音进行深度分析所需的场景，无法满足用户对不同场景特征的偏好。因此我们提出多场景VR互动方法、系统及存储介质，来解决上述中遇到的问题。
发明内容
有鉴于此，本发明提供多场景VR互动方法、系统及存储介质，以解决上述背景技术中提出的问题。
本发明的目的可以通过以下技术方案实现：包括：
S1：基于多维信息空间中构建虚拟信息环境，虚拟信息环境中包括至少一个虚拟场景；
S2：配置每个虚拟场景的特定识别标记，将所有的特定识别标记规整并生成特定识别库，并将特定识别标记与虚拟场景进行配对；将所有的虚拟场景并对其进行标注以生成对应虚拟场景的预变标识，由所有的预变标识建立场景选择界面；
S3：在用户发出VR互动请求后，反馈场景选择界面，从场景选择界面中选择预变标识；用户对预变标识进行确认操作时，将用户添加至预设的虚拟场景中，并确定用户在预设的虚拟场景中的用户视角场景；实时获取用户所发出的语音并进行语音转录，以生成用户特征文本；对用户特征文本进行分析与处理以得到用户要求特征；从虚拟场景中提取所有的场景特征，由此构建场景特征库；对用户要求特征与虚拟场景进行要求配置分析，以得到场景选定列表组；按设定选取方式从对应的场景选定列表组进行选定特征场景，在选定特征场景后，生成对应选定特征场景的换景执行操作；其中，设定选取方式包括但不限于随机选取，顺序选取或用户选取；
S4：实时采集用户的多维度交互信息，基于多维度交互信息按实时更新用户视角场景；
S41：设定预设的虚拟场景中的参照位置坐标和参照旋转坐标；获取用户视角场景的用户位置坐标和用户旋转坐标，通过向量计算用户位置坐标与参照位置坐标之间差值，并将该差值与预设的场景同步位置权重相乘，得到位置坐标变化值，同时，通过向量计算用户旋转坐标与参照旋转坐标之间差值，并将该差值与预设的场景同步旋转权重相乘，得到旋转坐标变化值；
S42：基于位置坐标变化值和旋转坐标变化值调整用户视角场景，以对用户视角场景更新。
可选地，基于多维度交互信息按实时更新用户视角场景之前，还包括：
获取用户的躯干运动信息、头部信息；躯干运动信息包括身躯的旋转角度、倾斜角度或移动位置，头部信息包括用户头部的旋转角度和倾斜角度；将身躯的倾斜角度、移动位置和头部的倾斜角度进行计算，以得到场景同步位置权重；
使用眼球跟踪技术获取眼球的运动轨迹，基于眼球的运动轨迹分别利用瞳孔中心算法与视线交点算法计算，以得到对应的注视点预估位置，将两个注视点预估位置进行均值计算，以得到用户注视位置；将身躯的旋转角度、用户头部的旋转角度和用户注视位置进行计算，以得到场景同步旋转权重。
可选地，对用户要求特征与虚拟场景进行要求配置分析，以得到场景选定列表组，其具体分析方法为：
将场景特征库内的所有场景特征与用户要求特征进行匹配，以得到用户要求特征的个数，将该个数与场景选定列表组的选取数值比对，若该个数大于一，则进行多场景特征换景处理，将特征文字所对应的场景特征并以此生成单特征场景列表，若该个数小于或等于一，则进行单场景特征换景处理，将特征文字所对应的场景特征并以此生成多特征场景列表；
获取在对应的场景选定列表组中的场景特征，对场景特征进行特征需求分析，获取该选定场景特征的位置坐标，以该位置坐标基点进行范围选取，识别范围选取内所有场景特征的个数并标定为对应场景特征存在数量；对用户要求特征进行数值识别分析，提取对用户要求特征中的数量词并标记为用户需求特征数量；将用户需求特征数量与对应场景特征存在数量进行匹配，若成功匹配，则记录对应的场景特征并由此生成多数量特征场景列表；将单特征场景列表、多特征场景列表和多数量特征场景列表标记为场景选定列表组。
可选地，在生成对应选定特征场景的换景执行操作，具体换景执行方法如下：
设定场景响应时间，在生成选定特征场景时，触发在设定的场景响应时间后将用户添加至对应选定特征场景所对应的位置坐标处，并确定用户在选定场景特征所设定位置坐标的用户视角场景。
另外，根据上述所述的多场景VR互动方法，本申请还提供了多场景VR互动系统，包括虚拟环境生成模块、场景标定模块、场景确定模块和视角更新模块；
虚拟环境生成模块用于获取多维信息并进行空间构建虚拟信息环境，虚拟信息环境中至少包括一个虚拟场景；
场景标定模块用于配置每个虚拟场景的特定识别标记，将所有的特定识别标记归整并生成特定识别库，并将特定识别标记与虚拟场景进行配对；将所有的虚拟场景并对其进行标注以生成对应虚拟场景的预变标识，由所有的预变标识建立场景选择界面；特定识别标记包括但不限于场景特征图像或信息；
场景确定模块用于在用户发出VR互动请求后，将场景选择界面反馈给用户，从场景选择界面中选择预变标识；用户对预变标识进行确认操作后，将用户添加至预设的虚拟场景中，并确定用户在预设的虚拟场景中的用户视角场景；还用于实时获取用户所发出的语音并进行语音转录，以生成用户特征文本；设定语音识别标志和语音读取时区，将在语音读取时区所识别的用户特征文本中的文字与语音识别标志进行匹配，若匹配成功，则进行特征需求配对处理，提取用户特征文本在预设时段内的语音文本，将语音文本与场景设定特征进行匹配，将成功匹配的语音文本标记为用户要求特征；从虚拟场景中提取所有的场景特征，由此构建场景特征库；对用户要求特征与虚拟场景进行要求配置分析，以得到场景选定列表组；其中，场景选定列表组包括多特征场景列表、单特征场景列表和多数量特征场景列表；按设定选取方式从对应的场景选定列表组进行选定特征场景，在选定特征场景后，生成对应选定特征场景的换景执行操作；其中，设定选取方式包括但不限于随机选取，顺序选取或用户选取；
视角更新模块包括更新单元和变化值确定单元；变化值确定单元用于获取用户的多维度交互信息并进行分析，以得到位置坐标变化值和旋转坐标变化值；多维度交互信息包括用户的躯干运动信息、头部信息和眼神信息；更新单元用于基于位置坐标变化值和旋转坐标变化值调整用户视角场景，以对用户视角场景更新。
另外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适用于由处理器加载并执行上述中所述的方法。
与现有技术相比，本发明的有益效果：
1、本发明通过VR互动请求或用户语音指令，更换用户视角场景可以提供更丰富、多样的虚拟体验，可以提供更丰富、个性化的虚拟体验，增加交互性和参与感，并为用户带来拓宽视野和知识的机会，进一步推动虚拟现实技术的发展。
2、本发明通过语音识别标志和时区匹配用户特征文本，可以根据用户的语音转录文本，提取其在特定时段内的需求或要求，为用户提供更加符合其期望的场景体验，通过个性化的配置分析和选取方式，可以满足用户对不同场景的偏好，提升用户在VR环境中的满意度和参与度。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
图1是本发明多场景VR互动方法的方法流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一组”、“一类”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
请参阅图1所示，多场景VR互动方法，包括：
S1：基于多维信息空间中构建虚拟信息环境，虚拟信息环境中包括至少一个虚拟场景；
S2：配置每个虚拟场景的特定识别标记，将所有的特定识别标记规整并生成特定识别库，并将特定识别标记与虚拟场景进行配对；将所有的虚拟场景并对其进行标注以生成对应虚拟场景的预变标识，由所有的预变标识建立场景选择界面；
S3：在用户发出VR互动请求后，将场景选择界面反馈给用户，从场景选择界面中选择预变标识；用户对预变标识进行确认操作时，将用户添加至预设的虚拟场景中，并确定用户在预设的虚拟场景中的用户视角场景；实时获取用户所发出的语音并进行语音转录，以生成用户特征文本；设定语音识别标志和语音读取时区，将在语音读取时区所识别的用户特征文本中的文字与语音识别标志进行匹配，若匹配成功，则进行特征需求配对处理，提取用户特征文本在预设时段内的语音文本，将语音文本与场景设定特征进行匹配，将成功匹配的语音文本标记为用户要求特征；从虚拟场景中提取所有的场景特征，由此构建场景特征库；对用户要求特征与虚拟场景进行要求配置分析，以得到场景选定列表组；其中，场景选定列表组包括多特征场景列表、单特征场景列表和多数量特征场景列表；按设定选取方式从对应的场景选定列表组进行选定特征场景，在选定特征场景后，生成对应选定特征场景的换景执行操作；其中，设定选取方式包括但不限于随机选取，顺序选取或用户选取；
S4：实时采集用户的多维度交互信息，基于多维度交互信息按实时更新用户视角场景；
S41：设定预设的虚拟场景中的参照位置坐标和参照旋转坐标；获取用户视角场景的用户位置坐标和用户旋转坐标，通过向量计算用户位置坐标与参照位置坐标之间差值，并将该差值与预设的场景同步位置权重相乘，得到位置坐标变化值，同时，通过向量计算用户旋转坐标与参照旋转坐标之间差值，并将该差值与预设的场景同步旋转权重相乘，得到旋转坐标变化值；
S42：基于位置坐标变化值和旋转坐标变化值调整用户视角场景，以对用户视角场景更新。
需要说明的是，举一实例，用户在发出VR互动请求，在虚拟场景中将场景选择界面反馈给用户，用户可以从场景选择界面中每个虚拟场景的特定识别标记选择喜好的虚拟场景，确认将用户添加在该虚拟场景中，将该虚拟场景中的用户视角场景投放在用户的视角；根据用户在运动时其躯干、头部和眼神的变化，调整位置坐标变化值和旋转坐标变化值的数值，从而以对用户视角场景更新。
在本申请中，基于多维度交互信息按实时更新用户视角场景之前，还包括：
获取用户的躯干运动信息、头部信息；躯干运动信息包括身躯的旋转角度P1、倾斜角度Q1或移动位置Z1，头部信息包括用户头部的旋转角度P2和倾斜角度Q2；将身躯的倾斜角度Q1、移动位置Z1和头部的倾斜角度Q2进行计算，利用公式，以得到场景同步位置权重G；其中，g1、g2分别表示身躯的高度、脖颈到眼睛的高度，a1、a2、a3分别表示身躯的倾斜角度、头部的倾斜角度和身躯的移动位置所对应的权重影响因子；
使用眼球跟踪技术获取眼球的运动轨迹，基于眼球的运动轨迹分别利用瞳孔中心算法与视线交点算法计算，以得到对应的注视点预估位置，将两个注视点预估位置进行均值计算，以得到用户注视位置Z2；将身躯的旋转角度P1、用户头部的旋转角度P2和用户注视位置Z2进行计算，利用公式，以得到场景同步旋转权重H；其中，b1、b2、b3分别表示身躯的旋转角度、用户头部的旋转角度和用户注视位置所对应的权重影响因子。
在本申请中，对用户要求特征与虚拟场景进行要求配置分析，以得到场景选定列表组，其具体分析方法为：
将场景特征库内的所有场景特征与用户要求特征进行匹配，以得到用户要求特征的个数，将该个数与场景选定列表组的选取数值比对，若该个数大于一，则进行多场景特征换景处理，将特征文字所对应的场景特征并以此生成单特征场景列表，若该个数小于或等于一，则进行单场景特征换景处理，将特征文字所对应的场景特征并以此生成多特征场景列表；
获取在对应的场景选定列表组中的场景特征，对场景特征进行特征需求分析，获取该选定场景特征的位置坐标，以该位置坐标基点进行范围选取，识别范围选取内所有场景特征的个数并标定为对应场景特征存在数量；对用户要求特征进行数值识别分析，提取对用户要求特征中的数量词并标记为用户需求特征数量；将用户需求特征数量与对应场景特征存在数量进行匹配，若成功匹配，则记录对应的场景特征并由此生成多数量特征场景列表；将单特征场景列表、多特征场景列表和多数量特征场景列表标记为场景选定列表组。
在本申请中，在生成对应选定特征场景的换景执行操作，具体换景执行方法如下：
设定场景响应时间，在生成选定特征场景时，触发在设定的场景响应时间后将用户添加至对应选定特征场景所对应的位置坐标处，并确定用户在选定场景特征所设定位置坐标的用户视角场景。
需要说明的是，在用户说话时例如“前往某某商店”，由声音采集器对用户的声音进行采集并转录为用户特征文本，获取当前时刻一定时间范围内的用户特征文本与设定的语音识别标志进行匹配，例如指令、操作、更换位置、前往位置等，将与语音识别标志匹配成功的用户特征文本进行记录得到用户要求特征，例如“某某商店”；将场景特征库内的所有场景特征与用户要求特征进行匹配，将该个数与场景选定列表组的选取数值比对，以得到对应的特征场景列表，即将获取该虚拟场景中所有“某某商店”的位置坐标归整为对应的特征场景列表，按照设定选取方式从对应的特征场景列表中选取一个选定特征场景，并获取该选定特征场景的位置坐标，在设定的场景响应时间后，将用户的位置坐标转移至选定特征场景的位置坐标，并更新用户的用户视角场景。
另外，根据上述方法，在本申请中还提出了多场景VR互动系统，包括虚拟环境生成模块、场景标定模块、场景确定模块和视角更新模块；
虚拟环境生成模块用于获取多维信息并进行空间构建虚拟信息环境，虚拟信息环境中至少包括一个虚拟场景；
场景标定模块用于配置每个虚拟场景的特定识别标记，将所有的特定识别标记归整并生成特定识别库，并将特定识别标记与虚拟场景进行配对；将所有的虚拟场景并对其进行标注以生成对应虚拟场景的预变标识，由所有的预变标识建立场景选择界面；特定识别标记包括但不限于场景特征图像或信息；
场景确定模块用于在用户发出VR互动请求后，将场景选择界面反馈给用户，从场景选择界面中选择预变标识；用户对预变标识进行确认操作后，将用户添加至预设的虚拟场景中，并确定用户在预设的虚拟场景中的用户视角场景；还用于实时获取用户所发出的语音并进行语音转录，以生成用户特征文本；设定语音识别标志和语音读取时区，将在语音读取时区所识别的用户特征文本中的文字与语音识别标志进行匹配，若匹配成功，则进行特征需求配对处理，提取用户特征文本在预设时段内的语音文本，将语音文本与场景设定特征进行匹配，将成功匹配的语音文本标记为用户要求特征；从虚拟场景中提取所有的场景特征，由此构建场景特征库；对用户要求特征与虚拟场景进行要求配置分析，以得到场景选定列表组；其中，场景选定列表组包括多特征场景列表、单特征场景列表和多数量特征场景列表；按设定选取方式从对应的场景选定列表组进行选定特征场景，在选定特征场景后，生成对应选定特征场景的换景执行操作；其中，设定选取方式包括但不限于随机选取，顺序选取或用户选取；
视角更新模块包括更新单元和变化值确定单元；变化值确定单元用于获取用户的多维度交互信息并进行分析，获取用户的躯干运动信息、头部信息；躯干运动信息包括身躯的旋转角度P1、倾斜角度Q1或移动位置Z1，头部信息包括用户头部的旋转角度P2和倾斜角度Q2；变化值确定单元用于对将身躯的倾斜角度Q1、移动位置Z1和头部的倾斜角度Q2进行计算，利用公式，以得到场景同步位置权重G；其中，g1、g2分别表示身躯的高度、脖颈到眼睛的高度，a1、a2、a3分别表示身躯的倾斜角度、头部的倾斜角度和身躯的移动位置所对应的权重影响因子；使用眼球跟踪技术获取眼球的运动轨迹，基于眼球的运动轨迹分别利用瞳孔中心算法与视线交点算法计算，以得到对应的注视点预估位置，将两个注视点预估位置进行均值计算，以得到用户注视位置Z2；将身躯的旋转角度P1、用户头部的旋转角度P2和用户注视位置Z2进行计算，利用公式，以得到场景同步旋转权重H；其中，b1、b2、b3分别表示身躯的旋转角度、用户头部的旋转角度和用户注视位置所对应的权重影响因子；
更新单元用于基于位置坐标变化值和旋转坐标变化值调整用户视角场景，以对用户视角场景更新。
作为另一方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适用于由处理器加载并执行上述中所述的方法。
需要说明的是，附图中的流程图，图示按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，流程图中的每个方框以及流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机可读存储介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得基于多维信息空间中构建虚拟信息环境；配置每个虚拟场景的特定识别标记，将所有的特定识别标记规整并生成特定识别库，并将特定识别标记与虚拟场景进行配对；将所有的虚拟场景并对其进行标注以生成对应虚拟场景的预变标识，由所有的预变标识建立场景选择界面；在用户发出VR互动请求后，反馈场景选择界面，从场景选择界面中选择预变标识；用户对预变标识进行确认操作时，将用户添加至预设的虚拟场景中，并确定用户在预设的虚拟场景中的用户视角场景；还用于实时获取用户所发出的语音并进行语音转录，以生成用户特征文本；设定语音识别标志和语音读取时区，将在语音读取时区所识别的用户特征文本中的文字与语音识别标志进行匹配，若匹配成功，则进行特征需求配对处理，提取用户特征文本在预设时段内的语音文本，将语音文本与场景设定特征进行匹配，将成功匹配的语音文本标记为用户要求特征；从虚拟场景中提取所有的场景特征，由此构建场景特征库；对用户要求特征与虚拟场景进行要求配置分析，以得到场景选定列表组；其中，场景选定列表组包括多特征场景列表、单特征场景列表和多数量特征场景列表；按设定选取方式从对应的场景选定列表组进行选定特征场景，在选定特征场景后，生成对应选定特征场景的换景执行操作；其中，设定选取方式包括但不限于随机选取，顺序选取或用户选取；实时采集用户的多维度交互信息，基于多维度交互信息按实时更新用户视角场景，向用户展示更新后的视角场景。
根据本技术方案，通过VR互动请求或用户语音指令，更换用户视角场景可以提供更丰富、多样的虚拟体验，可以提供更丰富、个性化的虚拟体验，增加交互性和参与感，并为用户带来拓宽视野和知识的机会，进一步推动虚拟现实技术的发展。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
以上仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。
Claims (6)
1.多场景VR互动方法，其特征在于，包括：
S1：基于多维信息空间中构建虚拟信息环境，所述虚拟信息环境中包括至少一个虚拟场景；
S2：配置每个虚拟场景的特定识别标记，将所有的特定识别标记规整并生成特定识别库，并将特定识别标记与虚拟场景进行配对；将所有的虚拟场景并对其进行标注以生成对应虚拟场景的预变标识，由所有的预变标识建立场景选择界面；
S3：在用户发出VR互动请求后，反馈场景选择界面，从场景选择界面中选择预变标识；用户对所述预变标识进行确认操作时，将所述用户添加至预设的虚拟场景中，并确定所述用户在预设的虚拟场景中的用户视角场景；实时获取用户所发出的语音并进行语音转录，以生成用户特征文本；对用户特征文本进行分析与处理以得到用户要求特征；从虚拟场景中提取所有的场景特征，由此构建场景特征库；对用户要求特征与虚拟场景进行要求配置分析，以得到场景选定列表组；按设定选取方式从对应的场景选定列表组进行选定特征场景，在选定特征场景后，生成对应选定特征场景的换景执行操作；其中，设定选取方式包括但不限于随机选取，顺序选取或用户选取；
S4：实时采集用户的多维度交互信息，基于多维度交互信息按实时更新用户视角场景；
S41：设定预设的虚拟场景中的参照位置坐标和参照旋转坐标；获取用户视角场景的用户位置坐标和用户旋转坐标，通过向量计算用户位置坐标与参照位置坐标之间差值，并将该差值与预设的场景同步位置权重相乘，得到位置坐标变化值，同时，通过向量计算用户旋转坐标与参照旋转坐标之间差值，并将该差值与预设的场景同步旋转权重相乘，得到旋转坐标变化值；
S42：基于所述位置坐标变化值和所述旋转坐标变化值调整用户视角场景，以对用户视角场景更新。
2.根据权利要求1所述的多场景VR互动方法，其特征在于，基于多维度交互信息按实时更新用户视角场景之前，还包括：
获取用户的躯干运动信息、头部信息；躯干运动信息包括身躯的旋转角度、倾斜角度或移动位置，头部信息包括用户头部的旋转角度和倾斜角度；将身躯的倾斜角度、移动位置和头部的倾斜角度进行计算，以得到场景同步位置权重；
使用眼球跟踪技术获取眼球的运动轨迹，基于眼球的运动轨迹分别利用瞳孔中心算法与视线交点算法计算，以得到对应的注视点预估位置，将两个注视点预估位置进行均值计算，以得到用户注视位置；将身躯的旋转角度、用户头部的旋转角度和用户注视位置进行计算，以得到场景同步旋转权重。
3.根据权利要求1所述的多场景VR互动方法，其特征在于，所述对用户要求特征与虚拟场景进行要求配置分析，以得到场景选定列表组，其具体分析方法为：
将场景特征库内的所有场景特征与用户要求特征进行匹配，以得到用户要求特征的个数，将该个数与场景选定列表组的选取数值比对，若该个数大于一，则进行多场景特征换景处理，将特征文字所对应的场景特征并以此生成单特征场景列表，若该个数小于或等于一，则进行单场景特征换景处理，将特征文字所对应的场景特征并以此生成多特征场景列表；
获取在对应的场景选定列表组中的场景特征，对场景特征进行特征需求分析，以得到多数量特征场景列表；将单特征场景列表、多特征场景列表和多数量特征场景列表标记为场景选定列表组。
4.根据权利要求1所述的多场景VR互动方法，其特征在于，在所述生成对应选定特征场景的换景执行操作，具体换景执行方法如下：
设定场景响应时间，在生成选定特征场景时，触发在设定的场景响应时间后将用户添加至对应选定特征场景所对应的位置坐标处，并确定用户在选定场景特征所设定位置坐标的用户视角场景。
5.多场景VR互动系统，其特征在于，采用权利要求1至4任一项所述的多场景VR互动方法，包括虚拟环境生成模块、场景标定模块、场景确定模块和视角更新模块；
所述虚拟环境生成模块用于获取多维信息并进行空间构建虚拟信息环境，所述虚拟信息环境中至少包括一个虚拟场景；
所述场景标定模块用于配置每个虚拟场景的特定识别标记，将所有的特定识别标记归整并生成特定识别库，并将特定识别标记与虚拟场景进行配对；将所有的虚拟场景并对其进行标注以生成对应虚拟场景的预变标识，由所有的预变标识建立场景选择界面；特定识别标记包括但不限于场景特征图像或信息；
所述场景确定模块用于在用户发出VR互动请求后，将场景选择界面反馈给用户，从场景选择界面中选择预变标识；用户对所述预变标识进行确认操作后，将所述用户添加至预设的虚拟场景中，并确定所述用户在预设的虚拟场景中的用户视角场景；还用于实时获取用户所发出的语音并进行语音转录，以生成用户特征文本；设定语音识别标志和语音读取时区，将在语音读取时区所识别的用户特征文本中的文字与语音识别标志进行匹配，若匹配成功，则进行特征需求配对处理，提取用户特征文本在预设时段内的语音文本，将语音文本与场景设定特征进行匹配，将成功匹配的语音文本标记为用户要求特征；从虚拟场景中提取所有的场景特征，由此构建场景特征库；对用户要求特征与虚拟场景进行要求配置分析，以得到场景选定列表组；其中，场景选定列表组包括多特征场景列表、单特征场景列表和多数量特征场景列表；按设定选取方式从对应的场景选定列表组进行选定特征场景，在选定特征场景后，生成对应选定特征场景的换景执行操作；其中，设定选取方式包括但不限于随机选取，顺序选取或用户选取；
所述视角更新模块包括更新单元和变化值确定单元；所述变化值确定单元用于获取用户的多维度交互信息并进行分析，以得到位置坐标变化值和旋转坐标变化值；多维度交互信息包括用户的躯干运动信息、头部信息和眼神信息；所述更新单元用于基于所述位置坐标变化值和所述旋转坐标变化值调整用户视角场景，以对用户视角场景更新。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适用于由处理器加载并执行权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310986004.0A CN116700500B (zh) | 2023-08-07 | 2023-08-07 | 多场景vr互动方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310986004.0A CN116700500B (zh) | 2023-08-07 | 2023-08-07 | 多场景vr互动方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116700500A true CN116700500A (zh) | 2023-09-05 |
| CN116700500B CN116700500B (zh) | 2024-05-24 |
Family
ID=87829734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310986004.0A Active CN116700500B (zh) | 2023-08-07 | 2023-08-07 | 多场景vr互动方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116700500B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117590951A (zh) * | 2024-01-18 | 2024-02-23 | 江西科技学院 | 一种多场景vr互动方法、系统及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011160285A (ja) * | 2010-02-02 | 2011-08-18 | Panasonic Corp | 画像表示装置、携帯端末装置、および画像表示方法 |
| CN105425955A (zh) * | 2015-11-06 | 2016-03-23 | 中国矿业大学 | 多用户沉浸式全互动虚拟现实工程培训系统 |
| CN106843456A (zh) * | 2016-08-16 | 2017-06-13 | 深圳超多维光电子有限公司 | 一种基于姿态追踪的显示方法、装置和虚拟现实设备 |
| CN107300970A (zh) * | 2017-06-05 | 2017-10-27 | 百度在线网络技术（北京）有限公司 | 虚拟现实交互方法和装置 |
| CN108874126A (zh) * | 2018-05-30 | 2018-11-23 | 北京致臻智造科技有限公司 | 基于虚拟现实设备的交互方法及系统 |
| CN109683701A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于视线跟踪的增强现实交互方法和装置 |
| CN110321005A (zh) * | 2019-06-14 | 2019-10-11 | 深圳传音控股股份有限公司 | 一种提高ar设备虚拟物件显示效果的方法、装置、ar设备和存储介质 |
| CN111105294A (zh) * | 2019-12-20 | 2020-05-05 | 武汉市奥拓智能科技有限公司 | 一种vr导览方法、系统、客户端、服务器及其存储介质 |
| CN112001389A (zh) * | 2020-10-29 | 2020-11-27 | 北京淇瑀信息科技有限公司 | 一种多场景视频中文本信息识别方法、装置及电子设备 |
| WO2021185110A1 (zh) * | 2020-03-18 | 2021-09-23 | 北京七鑫易维信息技术有限公司 | 眼球追踪校准方法及装置 |
| CN113608613A (zh) * | 2021-07-30 | 2021-11-05 | 建信金融科技有限责任公司 | 虚拟现实互动方法、装置、电子设备及计算机可读介质 |
| WO2022222349A1 (zh) * | 2021-04-21 | 2022-10-27 | 青岛小鸟看看科技有限公司 | 一种虚拟现实场景的动态改变方法、装置及电子设备 |
| CN115993886A (zh) * | 2021-10-20 | 2023-04-21 | 北京七鑫易维信息技术有限公司 | 虚拟形象的控制方法、装置、设备及存储介质 |
-
2023
- 2023-08-07 CN CN202310986004.0A patent/CN116700500B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011160285A (ja) * | 2010-02-02 | 2011-08-18 | Panasonic Corp | 画像表示装置、携帯端末装置、および画像表示方法 |
| CN105425955A (zh) * | 2015-11-06 | 2016-03-23 | 中国矿业大学 | 多用户沉浸式全互动虚拟现实工程培训系统 |
| CN106843456A (zh) * | 2016-08-16 | 2017-06-13 | 深圳超多维光电子有限公司 | 一种基于姿态追踪的显示方法、装置和虚拟现实设备 |
| CN107300970A (zh) * | 2017-06-05 | 2017-10-27 | 百度在线网络技术（北京）有限公司 | 虚拟现实交互方法和装置 |
| CN109683701A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于视线跟踪的增强现实交互方法和装置 |
| CN108874126A (zh) * | 2018-05-30 | 2018-11-23 | 北京致臻智造科技有限公司 | 基于虚拟现实设备的交互方法及系统 |
| CN110321005A (zh) * | 2019-06-14 | 2019-10-11 | 深圳传音控股股份有限公司 | 一种提高ar设备虚拟物件显示效果的方法、装置、ar设备和存储介质 |
| CN111105294A (zh) * | 2019-12-20 | 2020-05-05 | 武汉市奥拓智能科技有限公司 | 一种vr导览方法、系统、客户端、服务器及其存储介质 |
| WO2021185110A1 (zh) * | 2020-03-18 | 2021-09-23 | 北京七鑫易维信息技术有限公司 | 眼球追踪校准方法及装置 |
| CN112001389A (zh) * | 2020-10-29 | 2020-11-27 | 北京淇瑀信息科技有限公司 | 一种多场景视频中文本信息识别方法、装置及电子设备 |
| WO2022222349A1 (zh) * | 2021-04-21 | 2022-10-27 | 青岛小鸟看看科技有限公司 | 一种虚拟现实场景的动态改变方法、装置及电子设备 |
| CN113608613A (zh) * | 2021-07-30 | 2021-11-05 | 建信金融科技有限责任公司 | 虚拟现实互动方法、装置、电子设备及计算机可读介质 |
| CN115993886A (zh) * | 2021-10-20 | 2023-04-21 | 北京七鑫易维信息技术有限公司 | 虚拟形象的控制方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 郭志民;张永浩;周兴华;苏娟;吴博;耿俊成;宁杰;: "基于多源数据融合策略的配电网停电故障分析", 电网与清洁能源, no. 01, 25 January 2018 (2018-01-25) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117590951A (zh) * | 2024-01-18 | 2024-02-23 | 江西科技学院 | 一种多场景vr互动方法、系统及存储介质 |
| CN117590951B (zh) * | 2024-01-18 | 2024-04-05 | 江西科技学院 | 一种多场景vr互动方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116700500B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11537907B2 (en) | Adapting a virtual reality experience for a user based on a mood improvement score | |
| CN116700500B (zh) | 多场景vr互动方法、系统及存储介质 | |
| US10406432B2 (en) | Virtual image display program, virtual image display apparatus, and virtual image display method | |
| CN105431813B (zh) | 基于生物计量身份归属用户动作 | |
| CN104508597B (zh) | 用于控制扩增实境的方法及设备 | |
| US10970560B2 (en) | Systems and methods to trigger presentation of in-vehicle content | |
| CN105209136A (zh) | 用于分析3d图像中的用户动作的质心状态矢量 | |
| US10768689B2 (en) | System and method for providing virtual reality contents based on body information obtained from user | |
| CN102947774A (zh) | 用于驱动交互式故事的自然用户输入 | |
| US9395764B2 (en) | Gestural motion and speech interface control method for 3d audio-video-data navigation on handheld devices | |
| CN111045587B (zh) | 游戏控制方法、电子设备和计算机可读存储介质 | |
| CN113359986A (zh) | 增强现实数据展示方法、装置、电子设备及存储介质 | |
| US10788887B2 (en) | Image generation program, image generation device, and image generation method | |
| CN111223337A (zh) | 一种基于机器视觉和增强现实的书法教学机 | |
| WO2021208432A1 (zh) | 交互方法、装置、交互系统、电子设备及存储介质 | |
| CN114967128B (zh) | 一种应用于vr眼镜的视线追踪系统及方法 | |
| JP4745818B2 (ja) | 機器操作性評価装置、機器操作性評価方法及び機器操作性評価プログラム | |
| CN115641408A (zh) | 一种基于现实世界构建vr虚拟世界的方法、系统、vr眼镜及存储介质 | |
| KR20190085466A (ko) | 사용자 트리거 의도 결정 장치 및 방법 | |
| Suryani et al. | Sense of Presence in a Virtual Reality Fashion Show 360 Video | |
| CN113220123A (zh) | 一种音效控制的方法、装置、电子设备及存储介质 | |
| CA3154868A1 (en) | Systems and methods for improved player interaction using augmented reality | |
| US11977679B1 (en) | VR rehabilitation training method and system with quantitative evaluation function | |
| CN116139499A (zh) | 基于眼脚协调的交互训练系统及方法 | |
| EP4064008A1 (en) | Methods and systems for writing skill development |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |