CN116755590A - 虚拟图像的处理方法、装置、增强实现设备及存储介质 - Google Patents
虚拟图像的处理方法、装置、增强实现设备及存储介质 Download PDFInfo
- Publication number
- CN116755590A CN116755590A CN202310673590.3A CN202310673590A CN116755590A CN 116755590 A CN116755590 A CN 116755590A CN 202310673590 A CN202310673590 A CN 202310673590A CN 116755590 A CN116755590 A CN 116755590A
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- virtual image
- information
- user
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title description 10
- 230000003190 augmentative effect Effects 0.000 claims abstract description 129
- 230000033001 locomotion Effects 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000010276 construction Methods 0.000 claims abstract description 14
- 230000001360 synchronised effect Effects 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 9
- 238000007619 statistical method Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 103
- 239000011521 glass Substances 0.000 description 33
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Abstract
本申请的一些实施例提供一种虚拟图像的处理方法、装置、增强实现设备及存储介质，该方法包括：增强现实设备获取用户头部的运动信息，其中，运动信息至少包括用户头部的运动方向、角度和移动速度；根据同步定位与地图构建算法和用户头部的运动信息，对增强现实中的虚拟图像进行调整，得到调整后的虚拟图像，以使调整后的虚拟图像与用户头部的运动信息相对应，通过增强现实设备显示调整后的虚拟图像，采用增强现实设备采集用户头部的运动信息，根据运动信息中的用户头部的运动方向、角度和移动速度，实时调整增强现实中的虚拟图像，确保虚拟效果与用户的视线保持一致，让用户感觉虚拟效果就像是真实存在在演唱会场地中一样。
Description
技术领域
本申请涉及增强现实技术领域，具体而言，涉及一种虚拟图像的处理方法、装置、增强实现设备及存储介质。
背景技术
随着科学技术的不断发展，增强现实(Augmented Reality，AR)技术在日常生活的应用随处可见，AR技术是一种实时地计算摄影机摄像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
目前，人们观看演唱会，需要在现场观看，但是如果距离舞台较远，则无法感受到舞台效果，如何能增强用户感受舞台效果是目前急需解决的技术问题。
发明内容
本申请的一些实施例的目的在于提供一种虚拟图像的处理方法、装置、增强实现设备及存储介质，通过本申请的实施例的技术方案，通过增强现实设备获取用户头部的运动信息，其中，所述运动信息至少包括用户头部的运动方向、角度和移动速度；根据同步定位与地图构建算法和所述用户头部的运动信息，对所述增强现实中的虚拟图像进行调整，得到调整后的虚拟图像，以使所述调整后的虚拟图像与所述用户头部的运动信息相对应，通过所述增强现实设备显示所述调整后的虚拟图像，本申请实施例通过采用增强现实设备采集用户头部的运动信息，根据运动信息中的用户头部的运动方向、角度和移动速度，实时调整增强现实中的虚拟图像，确保虚拟效果与用户的视线保持一致，让用户感觉虚拟效果就像是真实存在在演唱会场地中一样。
第一方面，本申请的一些实施例提供了一种虚拟图像的处理方法，包括：
通过增强现实设备获取用户头部的运动信息，其中，所述运动信息至少包括用户头部的运动方向、角度和移动速度；
根据同步定位与地图构建算法和所述用户头部的运动信息，对所述增强现实中的虚拟图像进行调整，得到调整后的虚拟图像，以使所述调整后的虚拟图像与所述用户头部的运动信息相对应。
本申请的一些实施例通过采用增强现实设备采集用户头部的运动信息，根据运动信息中的用户头部的运动方向、角度和移动速度，实时调整增强现实中的虚拟图像，确保虚拟效果与用户的视线保持一致，让用户感觉虚拟效果就像是真实存在在演唱会场地中一样。
在一些实施例，所述方法还包括：
对预设的增强现实标识进行拍照，得到增强现实标识图像；
根据计算机视觉算法对所述增强现实标识图像进行识别，对所述增强现实标识图像进行定位，确定与所述增强现实标识图像对应的用户的位置信息和朝向信息。
本申请的一些实施例通过根据增强现实标识的定位信息，将虚拟效果投影在场地内的增强现实标识的特定位置，与演唱会现场进行结合，营造更加逼真的氛围和效果。
在一些实施例，所述方法还包括：
在确定与所述增强现实标识图像对应的用户的位置信息和朝向信息后，获取预设场地图像信息；
对所述预设场地图像信息进行识别和重建，得到预设场地的三维模型；
根据所述增强现实标识图像和所述场地的三维模型，确定虚拟图像的投影位置和姿态；
根据所述虚拟图像的投影位置和姿态，将所述虚拟图像投影到预设场地内的预设位置。
本申请的一些实施例，通过建立场地的三维模型，并将虚拟效果投影在场地三维模型中的特定位置，与演唱会现场进行结合，营造更加逼真的氛围和效果。
在一些实施例，所述对所述预设场地图像信息进行识别和重建，得到预设场地的三维模型，包括：
采用鱼眼相机获取预设场地的3D点云信息；
对所述预设场地图像信息进行处理，得到预设场地图像信息的特征点信息；
对所述特征点信息和所述3D点云信息进行匹配，得到匹配后的特征点信息；
根据所述匹配后的特征点信息进行建模，得到所述预设场地的三维模型。
本申请的一些实施例，通过使用360度鱼眼相机进行场地采集，建模后形成3D点云信息，当增强现实设备采集到环境画面后，通过提取的特征点与预采集处理的点云匹配，配合标记特征做进一步矫正处理，可以让虚拟效果更稳定。
在一些实施例，所述方法还包括：
接收用户的反馈信息；
根据预先设置的分析算法对所述反馈信息进行分析，得到分析结果，其中，所述预先设置的分析算法至少包括统计分析算法、机器学习算法或专家系统分析算法中的一种或多种；
根据所述分析结果，对音频数据进行调整。
本申请的一些实施例通过增强现实设备内置的按钮或语音控制，接收用户的反馈信息，根据该反馈信息，获取用户对音效的喜好和调整意见，进而根据用户反馈信息，不断优化音效效果，提供更加个性化的体验。
在一些实施例，所述方法还包括：
根据所述增强现实标识，将预设范围内的增强现实设备加入同一群组，以使同一群组内的多个增强现实设备进行数据传输。
本申请的一些实施例，通过多个增强现实设备可以组建群组，共享对虚拟物品互动，如共同控制虚拟的灯光，虚拟精力形象，虚拟助演等，提升演唱会的趣味性和参与度。
在一些实施例，所述方法还包括：
响应于用户输入的操作指令，其中，所述操作指令至少包括手势操作指令和语音控制指令；
根据所述操作指令，对所述虚拟图像的大小或方向进行调节，或者，与虚拟歌手或虚拟乐器进行互动。
本申请的一些实施例通过用户输入的操作指令，包括手势操作指令和语音控制指令，对虚拟图像的大小或方向进行调节，或与虚拟歌手或虚拟乐器进行互动，提升用户的体验感。
第二方面，本申请的一些实施例提供了一种虚拟图像的处理装置，包括：
获取模块，用于通过增强现实设备获取用户头部的运动信息，其中，所述运动信息至少包括用户头部的运动方向、角度和移动速度；
处理模块，用于根据同步定位与地图构建算法和所述用户头部的运动信息，对所述增强现实中的虚拟图像进行调整，得到调整后的虚拟图像，以使所述调整后的虚拟图像与所述用户头部的运动信息相对应；
显示模块，用于通过所述增强现实设备显示所述调整后的虚拟图像。
本申请的一些实施例通过采用增强现实设备采集用户头部的运动信息，根据运动信息中的用户头部的运动方向、角度和移动速度，实时调整增强现实中的虚拟图像，确保虚拟效果与用户的视线保持一致，让用户感觉虚拟效果就像是真实存在在演唱会场地中一样。
在一些实施例，所述处理模块，用于：
对预设的增强现实标识进行拍照，得到增强现实标识图像；
根据计算机视觉算法对所述增强现实标识图像进行识别，对所述增强现实标识图像进行定位，确定与所述增强现实标识图像对应的用户的位置信息和朝向信息。
本申请的一些实施例通过根据增强现实标识的定位信息，将虚拟效果投影在场地内的增强现实标识的特定位置，与演唱会现场进行结合，营造更加逼真的氛围和效果。
在一些实施例，所述处理模块用于：
在确定与所述增强现实标识图像对应的用户的位置信息和朝向信息后，获取预设场地图像信息；
对所述预设场地图像信息进行识别和重建，得到预设场地的三维模型；
根据所述增强现实标识图像和所述场地的三维模型，确定虚拟图像的投影位置和姿态；
根据所述虚拟图像的投影位置和姿态，将所述虚拟图像投影到预设场地内的预设位置。
本申请的一些实施例，通过建立场地的三维模型，并将虚拟效果投影在场地三维模型中的特定位置，与演唱会现场进行结合，营造更加逼真的氛围和效果。
在一些实施例，所述处理模块还用于：
采用鱼眼相机获取预设场地的3D点云信息；
对所述预设场地图像信息进行处理，得到预设场地图像信息的特征点信息；
对所述特征点信息和所述3D点云信息进行匹配，得到匹配后的特征点信息；
根据所述匹配后的特征点信息进行建模，得到所述预设场地的三维模型。
本申请的一些实施例，通过使用360度鱼眼相机进行场地采集，建模后形成3D点云信息，当增强现实设备采集到环境画面后，通过提取的特征点与预采集处理的点云匹配，配合标记特征做进一步矫正处理，可以让虚拟效果更稳定。
在一些实施例，所述处理模块还用于：
接收用户的反馈信息；
根据预先设置的分析算法对所述反馈信息进行分析，得到分析结果，其中，所述预先设置的分析算法至少包括统计分析算法、机器学习算法或专家系统分析算法中的一种或多种；
根据所述分析结果，对音频数据进行调整。
本申请的一些实施例通过增强现实设备内置的按钮或语音控制，接收用户的反馈信息，根据该反馈信息，获取用户对音效的喜好和调整意见，进而根据用户反馈信息，不断优化音效效果，提供更加个性化的体验。
在一些实施例，所述处理模块还用于：
根据所述增强现实标识，将预设范围内的增强现实设备加入同一群组，以使同一群组内的多个增强现实设备进行数据传输。
本申请的一些实施例，通过多个增强现实设备可以组建群组，共享对虚拟物品互动，如共同控制虚拟的灯光，虚拟精力形象，虚拟助演等，提升演唱会的趣味性和参与度。
在一些实施例，所述处理模块还用于：
响应于用户输入的操作指令，其中，所述操作指令至少包括手势操作指令和语音控制指令；
根据所述操作指令，对所述虚拟图像的大小或方向进行调节，或者，与虚拟歌手或虚拟乐器进行互动。
本申请的一些实施例通过用户输入的操作指令，包括手势操作指令和语音控制指令，对虚拟图像的大小或方向进行调节，或与虚拟歌手或虚拟乐器进行互动，提升用户的体验感。
第三方面，本申请的一些实施例提供一种增强实现设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任一实施例所述的虚拟图像的处理方法。
第四方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任一实施例所述的虚拟图像的处理方法。
第五方面，本申请的一些实施例提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如第一方面任一实施例所述的虚拟图像的处理方法。
附图说明
为了更清楚地说明本申请的一些实施例的技术方案，下面将对本申请的一些实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种虚拟图像的处理方法的流程示意图；
图2为本申请实施例提供的一种虚拟图像的处理装置的结构示意图；
图3为本申请实施例提供的一种增强实现设备示意图。
具体实施方式
下面将结合本申请的一些实施例中的附图，对本申请的一些实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
随着科学技术的不断发展，增强现实(Augmented Reality，AR)技术在日常生活的应用随处可见，AR技术是一种实时地计算摄影机摄像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
目前，人们观看演唱会，需要在现场观看，但是如果距离舞台较远，则无法感受到舞台效果，如何能增强用户感受舞台效果是目前急需解决的技术问题，鉴于此，本申请的一些实施例提供了一种虚拟图像的处理方法，通过增强现实设备获取用户头部的运动信息，其中，运动信息至少包括用户头部的运动方向、角度和移动速度；根据同步定位与地图构建算法和用户头部的运动信息，对增强现实中的虚拟图像进行调整，得到调整后的虚拟图像，以使调整后的虚拟图像与用户头部的运动信息相对应；通过增强现实设备显示调整后的虚拟图像，本申请实施例通过采用增强现实设备采集用户头部的运动信息，根据运动信息中的用户头部的运动方向、角度和移动速度，实时调整增强现实中的虚拟图像，确保虚拟效果与用户的视线保持一致，让用户感觉虚拟效果就像是真实存在在演唱会场地中一样。
如图1所示，本申请的实施例提供了一种虚拟图像的处理方法，该方法包括：
S101、通过增强现实设备获取用户头部的运动信息，其中，运动信息至少包括用户头部的运动方向、角度和移动速度；
具体地，增强现实设备可以是AR(Augmented Reality，增强现实)眼镜；AR眼镜至少包括显示屏和传感器等部件，其中显示屏可以显示虚拟效果即显示虚拟图像，传感器至少包括陀螺仪和加速度计，传感器可以感知用户的头部运动等信息。
用户佩戴AR眼镜后，AR眼镜内置的陀螺仪、加速度计等传感器可以感知用户的头部运动等运动信息，该运动信息至少包括用户头部的运动方向、角度和移动速度。
S102、根据同步定位与地图构建算法和用户头部的运动信息，对增强现实中的虚拟图像进行调整，得到调整后的虚拟图像，以使调整后的虚拟图像与用户头部的运动信息相对应；
具体地，增强现实设备上预先存储有同步定位与地图构建算法(SimultaneousLocalization and Mapping，SLAM)，采用该SLAM对该运动信息进行处理，实时对增强现实中的虚拟图像进行调整，即调整虚拟图像的方向、位置和大小，得到调整后的虚拟图像，即得到虚拟效果，使得调整后的虚拟图像与用户头部的运动信息相对应，即保持一致，也就是说，使得调整后的虚拟图像跟随用户的视线移动。
S103、通过增强现实设备显示调整后的虚拟图像。
具体地，随着用户视线的不断变化，用户头部也在不断运动，获得不同运动信息，实时对虚拟图像进行调整，然后将得到的调整后的虚拟图像显示在增强现实设备上，也就是说用户佩戴AR眼镜，通过传感器感知用户的头部运动等信息，实现虚拟效果的跟随和互动。
本申请的一些实施例通过增强现实设备，获取施工数据，然后根据多模态识别模型，对施工数据进行分类处理，得到分类结果，根据预先存储施工策略和分类结果，确定目标指导信息，并通过增强现实设备进行显示，不需要人工是进行实地测量和数据记录，减少了操作过程，提高测量效率。
本申请又一实施例对上述实施例提供的虚拟图像的处理方法做进一步补充说明。
在一些实施例，该方法还包括：
对预设的增强现实标识进行拍照，得到增强现实标识图像；
根据计算机视觉算法对增强现实标识图像进行识别，对增强现实标识图像进行定位，确定与增强现实标识图像对应的用户的位置信息和朝向信息。
具体地，演唱会场地内部署了一定数量的AR标记即增强现实标识，这些AR标记可以是二维码、图案等，AR眼镜通过识别这些标记可以确定自身在演唱会场地中的位置和朝向，具体来说，AR眼镜内置的相机可以对场地中的AR标记进行拍摄和识别，然后利用计算机视觉算法对这些标记进行定位和跟踪，确定用户在场地中的位置和朝向。
在本申请实施例中，在演唱会场地内部署一定数量的AR标记，用于AR眼镜的定位和虚拟效果的投影；根据AR标记的定位信息，将虚拟效果投影在场地内的特定位置，与演唱会现场进行结合，营造更加逼真的氛围和效果。
本申请的一些实施例通过根据增强现实标识的定位信息，将虚拟效果投影在场地内的增强现实标识的特定位置，与演唱会现场进行结合，营造更加逼真的氛围和效果。
在一些实施例，该方法还包括：
在确定与增强现实标识图像对应的用户的位置信息和朝向信息后，获取预设场地图像信息；
对预设场地图像信息进行识别和重建，得到预设场地的三维模型；
根据增强现实标识图像和场地的三维模型，确定虚拟图像的投影位置和姿态；
根据虚拟图像的投影位置和姿态，将虚拟图像投影到预设场地内的预设位置。
本申请的一些实施例，通过建立场地的三维模型，并将虚拟效果投影在场地三维模型中的特定位置，与演唱会现场进行结合，营造更加逼真的氛围和效果。
在一些实施例，对预设场地图像信息进行识别和重建，得到预设场地的三维模型，包括：
采用鱼眼相机获取预设场地的3D点云信息；
对预设场地图像信息进行处理，得到预设场地图像信息的特征点信息；
对特征点信息和3D点云信息进行匹配，得到匹配后的特征点信息；
根据匹配后的特征点信息进行建模，得到预设场地的三维模型。
具体地，虚拟效果的投影需要用到AR眼镜和计算机视觉技术，AR眼镜通过内置的显示屏将虚拟效果呈现给用户，而计算机视觉技术则负责将虚拟效果与演唱会场地中的实际物体进行结合。具体流程如下：
1.AR眼镜通过摄像头对场地中的AR标记进行拍摄和识别，确定自身在场地中的位置和朝向；
2.计算机视觉技术通过对场地进行识别和重建，得到场地的三维模型。
3.根据AR标记和场地的三维模型，计算机确定虚拟效果的投影位置和姿态。
4.将虚拟效果投影在场地中的特定位置，与演唱会现场进行结合，营造更加逼真的氛围和效果。
为了达到更好的投影效果，一般需要对场地进行预处理，包括场地的拍摄、重建、纠正畸变等操作，以保证虚拟效果的精确投影，本申请实施例中使用360度鱼眼相机进行场地采集，建模后形成3D点云信息，当AR眼镜采集到环境中画面后，通过提取的特征点与预采集处理的点云匹配，配合标记特征做进一步矫正处理，可以让虚拟效果更稳定。
本申请的一些实施例，通过使用360度鱼眼相机进行场地采集，建模后形成3D点云信息，当增强现实设备采集到环境画面后，通过提取的特征点与预采集处理的点云匹配，配合标记特征做进一步矫正处理，可以让虚拟效果更稳定。
在一些实施例，该方法还包括：
接收用户的反馈信息；
具体地，用户可以通过AR眼镜内置的按钮或语音控制，接收用户的反馈信息，例如，用户对音效的喜好和调整意见，增强现实设备可以根据用户反馈不断优化音效效果，提供更加个性化的体验。
作为一种可选地实施方式，AR眼镜内置的按钮可以放置在AR眼镜的侧边或上方，用户可以通过按下按钮来触发反馈，按钮的按下可以触发不同的反馈方式，例如通过震动或提示音来告知用户反馈已经被接收，或者通过显示屏上的提示文字来提醒用户反馈的内容。
作为另一种可选地实施方式，AR眼镜内置的语音识别系统可以让用户通过语音来触发反馈，用户可以通过说出特定的关键词或短语来触发反馈，例如“增大音量”、“调高低音”等等，在语音输入过程中，AR眼镜的显示屏可以显示用户的语音输入内容，以便用户确认输入的准确性。
根据预先设置的分析算法对反馈信息进行分析，得到分析结果，其中，预先设置的分析算法至少包括统计分析算法、机器学习算法或专家系统分析算法中的一种或多种；
具体地，增强现实设备上预先存储有分析算法，分析算法至少包括统计分析算法、机器学习算法或专家系统分析算法中的一种或多种；例如：统计分析算法具体为：对用户反馈数据进行统计分析，例如对用户反馈的“喜欢”和“不喜欢”进行计数，并计算出喜欢程度的比例。例如，如果有100个用户中有80个用户表示喜欢某种音效，那么可以认为这种音效是比较受欢迎的。
机器学习算法具体为：通过机器学习算法对用户反馈数据进行分析，学习用户的偏好和趋势，并对音效进行个性化调整，例如，通过机器学习算法可以发现某些用户更喜欢高音调的音效，可以根据这个发现增加高音调的音效，提高这些用户的满意度。
专家系统分析算法具体为：通过专家系统对用户反馈数据进行分析，利用专家的知识和经验对音效进行个性化调整。例如，通过专家系统可以发现某些用户喜欢柔和的音效，可以根据这个发现调整音效的音量和音色，提高这些用户的满意度。
通过以上分析和处理方法，可以对用户反馈数据进行有效的分析和处理，并对音效进行个性化调整，提高用户的满意度和参与度。
根据分析结果，对音频数据进行调整。
具体地，AR眼镜内置的麦克风和音效处理器，通过AR眼镜内置的麦克风和音效处理器，对现场音效进行增强和个性化调整，根据用户的喜好和环境情况，为每个用户提供独特的音效体验，具体地：
通过音效处理器对现场音效进行调整，加强低音和高音，调整音量平衡，提高音效的清晰度和音质，让用户听到更加真实的音效；
AR眼镜内置的音效处理器可以根据用户的喜好和环境情况，为每个用户提供独特的音效体验。例如，用户可以选择自己喜欢的音效模式，或者根据自己的听觉感受对音效进行调整，以达到个性化的音效效果；
在演唱会中，演出的情况会不断变化，例如歌曲的曲调、演唱者的情感表达等等，这些都需要实时调整音效来适应现场的变化，AR眼镜内置的音效处理器可以实时根据演出情况进行调整，以保证用户听到最适合的音效效果。
增强现实设备会收集用户的反馈数据，并进行分析和处理。系统会根据用户反馈的喜好和调整意见，对音效进行个性化调整，并不断优化音效效果，提供更加个性化的体验。
在本申请实施例中，用户可以反馈对音效的喜好和调整意见，例如对音量、平衡、音效模式等方面的调整意见，增强现实设备可以根据用户反馈不断优化音效效果，提供更加个性化的体验。
本申请的一些实施例通过增强现实设备内置的按钮或语音控制，接收用户的反馈信息，根据该反馈信息，获取用户对音效的喜好和调整意见，进而根据用户反馈信息，不断优化音效效果，提供更加个性化的体验。
在一些实施例，该方法还包括：
根据增强现实标识，将预设范围内的增强现实设备加入同一群组，以使同一群组内的多个增强现实设备进行数据传输。
具体地，在演唱会现场，观众可以通过以下方法组建群组：
示例性地，可以采用扫描二维码，演唱会现场可以设置二维码，观众可以通过AR眼镜扫描二维码，加入同一群组。
还可以采用声控识别方式，AR眼镜内置麦克风，观众可以通过声控识别加入同一群组。
还可以通过传递信息方式加入群组，观众可以通过传递信息的方式，如手写纸条提供一个数字、语音信息等，将自己的群组信息传递给其他观众，大家在规定时间内如3分钟内，向眼镜中输入相关信息实现加入同一群组，例如，加群码5555或一个暗号语音、文字等。
还可以采用定位识别的方式加入群组，AR眼镜可以通过定位识别，识别附近的其他AR眼镜设备，将附近一定范围内的AR眼镜加入同一群组。例如以自己为中心5米内，10米内，20米内等等。
本申请实施例中可以采用上述任一种方式，将多个增强现实设备可以组建群组，共享对虚拟物品互动，如共同控制虚拟的灯光，虚拟精力形象，虚拟助演等等，提升演唱会的趣味性和参与度。
通过AR眼镜的音效增强和个性化调整，为每个用户提供独特的音效体验，使演唱会不再是单一的音乐表演，而是一个充满创意和个性的全新体验。同时，用户反馈也可以帮助系统不断优化音效效果，提高用户满意度和参与度。
本申请的一些实施例，通过多个增强现实设备可以组建群组，共享对虚拟物品互动，如共同控制虚拟的灯光，虚拟精力形象，虚拟助演等，提升演唱会的趣味性和参与度。
在一些实施例，该方法还包括：
响应于用户输入的操作指令，其中，操作指令至少包括手势操作指令和语音控制指令；
根据操作指令，对虚拟图像的大小或方向进行调节，或者，与虚拟歌手或虚拟乐器进行互动。
具体地，在演唱会过程，用户可以采用增强现实设备进行互动，例如：
AR眼镜内置的摄像头可以捕捉用户的手势，并通过计算机视觉算法进行识别和解析，用户可以通过手势控制虚拟效果的大小、方向等，与虚拟歌手、乐器等进行互动；
AR眼镜内置的麦克风可以接收用户的语音指令，将指令传输到计算机中，计算机根据用户的指令进行相应的虚拟效果互动；
AR眼镜可以通过追踪用户的视线，确定用户正在关注的虚拟效果，并根据用户的视线进行相应的互动。例如，当用户注视虚拟歌手时，虚拟歌手可以根据用户的视方向进行相应的动作；
用户可以通过手势、语音等方式控制虚拟角色的动作，例如控制虚拟歌手的舞蹈动作、控制虚拟乐器的演奏等；
用户可以通过手势、语音等方式操作虚拟道具，例如控制虚拟灯光、控制虚拟道具的位置等。
本申请实施例中AR眼镜还可以通过用户手势、语音等方式进行互动，用户可以通过手势控制虚拟效果的大小、方向等，也可以通过语音控制与虚拟歌手、乐器等进行互动，AR眼镜内置的麦克风可以接收用户的语音指令，将指令传输到计算机中，计算机根据用户的指令进行相应的虚拟效果互动，让用户获得更加身临其境的参与感和沉浸感。用户可以通过AR眼镜观看演唱会，同时也可以和虚拟效果进行互动，例如与虚拟歌手互动、与虚拟乐器演奏等，获得更加身临其境的参与感和沉浸感。
本申请的一些实施例通过用户输入的操作指令，包括手势操作指令和语音控制指令，对虚拟图像的大小或方向进行调节，或与虚拟歌手或虚拟乐器进行互动，提升用户的体验感。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
本申请另一实施例提供一种虚拟图像的处理装置，用于执行上述实施例提供的虚拟图像的处理方法。
如图2所示，为本申请实施例提供的虚拟图像的处理装置的结构示意图。该虚拟图像的处理装置包括获取模块201、处理模块202和显示模块203，其中：
获取模块201用于通过增强现实设备获取用户头部的运动信息，其中，运动信息至少包括用户头部的运动方向、角度和移动速度；
处理模块202用于根据同步定位与地图构建算法和用户头部的运动信息，对增强现实中的虚拟图像进行调整，得到调整后的虚拟图像，以使调整后的虚拟图像与用户头部的运动信息相对应；
显示模块203用于通过增强现实设备显示调整后的虚拟图像。
本申请的一些实施例通过采用增强现实设备采集用户头部的运动信息，根据运动信息中的用户头部的运动方向、角度和移动速度，实时调整增强现实中的虚拟图像，确保虚拟效果与用户的视线保持一致，让用户感觉虚拟效果就像是真实存在在演唱会场地中一样。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请又一实施例对上述实施例提供的虚拟图像的处理装置做进一步补充说明。
在一些实施例，处理模块，用于：
对预设的增强现实标识进行拍照，得到增强现实标识图像；
根据计算机视觉算法对增强现实标识图像进行识别，对增强现实标识图像进行定位，确定与增强现实标识图像对应的用户的位置信息和朝向信息。
本申请的一些实施例通过根据增强现实标识的定位信息，将虚拟效果投影在场地内的增强现实标识的特定位置，与演唱会现场进行结合，营造更加逼真的氛围和效果。
在一些实施例，处理模块用于：
在确定与增强现实标识图像对应的用户的位置信息和朝向信息后，获取预设场地图像信息；
对预设场地图像信息进行识别和重建，得到预设场地的三维模型；
根据增强现实标识图像和场地的三维模型，确定虚拟图像的投影位置和姿态；
根据虚拟图像的投影位置和姿态，将虚拟图像投影到预设场地内的预设位置。
本申请的一些实施例，通过建立场地的三维模型，并将虚拟效果投影在场地三维模型中的特定位置，与演唱会现场进行结合，营造更加逼真的氛围和效果。
在一些实施例，处理模块还用于：
采用鱼眼相机获取预设场地的3D点云信息；
对预设场地图像信息进行处理，得到预设场地图像信息的特征点信息；
对特征点信息和3D点云信息进行匹配，得到匹配后的特征点信息；
根据匹配后的特征点信息进行建模，得到预设场地的三维模型。
本申请的一些实施例，通过使用360度鱼眼相机进行场地采集，建模后形成3D点云信息，当增强现实设备采集到环境画面后，通过提取的特征点与预采集处理的点云匹配，配合标记特征做进一步矫正处理，可以让虚拟效果更稳定。
在一些实施例，处理模块还用于：
接收用户的反馈信息；
根据预先设置的分析算法对反馈信息进行分析，得到分析结果，其中，预先设置的分析算法至少包括统计分析算法、机器学习算法或专家系统分析算法中的一种或多种；
根据分析结果，对音频数据进行调整。
本申请的一些实施例通过增强现实设备内置的按钮或语音控制，接收用户的反馈信息，根据该反馈信息，获取用户对音效的喜好和调整意见，进而根据用户反馈信息，不断优化音效效果，提供更加个性化的体验。
在一些实施例，处理模块还用于：
根据增强现实标识，将预设范围内的增强现实设备加入同一群组，以使同一群组内的多个增强现实设备进行数据传输。
本申请的一些实施例，通过多个增强现实设备可以组建群组，共享对虚拟物品互动，如共同控制虚拟的灯光，虚拟精力形象，虚拟助演等，提升演唱会的趣味性和参与度。
在一些实施例，处理模块还用于：
响应于用户输入的操作指令，其中，操作指令至少包括手势操作指令和语音控制指令；
根据操作指令，对虚拟图像的大小或方向进行调节，或者，与虚拟歌手或虚拟乐器进行互动。
本申请的一些实施例通过用户输入的操作指令，包括手势操作指令和语音控制指令，对虚拟图像的大小或方向进行调节，或与虚拟歌手或虚拟乐器进行互动，提升用户的体验感。
根据本实施例提供的虚拟图像的处理装置，通过增强现实设备获取用户头部的运动信息，其中，运动信息至少包括用户头部的运动方向、角度和移动速度；根据同步定位与地图构建算法和用户头部的运动信息，对增强现实中的虚拟图像进行调整，得到调整后的虚拟图像，以使调整后的虚拟图像与用户头部的运动信息相对应，通过增强现实设备显示调整后的虚拟图像，本申请实施例通过采用增强现实设备采集用户头部的运动信息，根据运动信息中的用户头部的运动方向、角度和移动速度，实时调整增强现实中的虚拟图像，确保虚拟效果与用户的视线保持一致，让用户感觉虚拟效果就像是真实存在在演唱会场地中一样。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时可实现如上述实施例提供的虚拟图像的处理方法中的任意实施例所对应方法的操作。
本申请实施例还提供了一种计算机程序产品，的计算机程序产品包括计算机程序，其中，的计算机程序被处理器执行时可实现如上述实施例提供的虚拟图像的处理方法中的任意实施例所对应方法的操作。
如图3所示，本申请的一些实施例提供一种增强实现设备300，该增强实现设备300包括：存储器310、处理器320以及存储在存储器310上并可在处理器320上运行的计算机程序，其中，处理器320通过总线330从存储器310读取程序并执行程序时可实现如上述虚拟图像的处理方法包括的任意实施例的方法。
处理器320可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器320可以是微处理器。
存储器310可以用于存储由处理器320执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器320可以用于执行存储器310中的指令以实现上述所示的方法。存储器310包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。
以上仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种虚拟图像的处理方法，其特征在于，所述方法包括：
通过增强现实设备获取用户头部的运动信息，其中，所述运动信息至少包括用户头部的运动方向、角度和移动速度；
根据同步定位与地图构建算法和所述用户头部的运动信息，对所述增强现实中的虚拟图像进行调整，得到调整后的虚拟图像，以使所述调整后的虚拟图像与所述用户头部的运动信息相对应；
通过所述增强现实设备显示所述调整后的虚拟图像。
2.根据权利要求1所述的虚拟图像的处理方法，其特征在于，所述方法还包括：
对预设的增强现实标识进行拍照，得到增强现实标识图像；
根据计算机视觉算法对所述增强现实标识图像进行识别，对所述增强现实标识图像进行定位，确定与所述增强现实标识图像对应的用户的位置信息和朝向信息。
3.根据权利要求2所述的虚拟图像的处理方法，其特征在于，所述方法还包括：
在确定与所述增强现实标识图像对应的用户的位置信息和朝向信息后，获取预设场地图像信息；
对所述预设场地图像信息进行识别和重建，得到预设场地的三维模型；
根据所述增强现实标识图像和所述场地的三维模型，确定虚拟图像的投影位置和姿态；
根据所述虚拟图像的投影位置和姿态，将所述虚拟图像投影到预设场地内的预设位置。
4.根据权利要求3所述的虚拟图像的处理方法，其特征在于，所述对所述预设场地图像信息进行识别和重建，得到预设场地的三维模型，包括：
采用鱼眼相机获取预设场地的3D点云信息；
对所述预设场地图像信息进行处理，得到预设场地图像信息的特征点信息；
对所述特征点信息和所述3D点云信息进行匹配，得到匹配后的特征点信息；
根据所述匹配后的特征点信息进行建模，得到所述预设场地的三维模型。
5.根据权利要求1所述的虚拟图像的处理方法，其特征在于，所述方法还包括：
接收用户的反馈信息；
根据预先设置的分析算法对所述反馈信息进行分析，得到分析结果，其中，所述预先设置的分析算法至少包括统计分析算法、机器学习算法或专家系统分析算法中的一种或多种；
根据所述分析结果，对音频数据进行调整。
6.根据权利要求2所述的虚拟图像的处理方法，其特征在于，所述方法还包括：
根据所述增强现实标识，将预设范围内的增强现实设备加入同一群组，以使同一群组内的多个增强现实设备进行数据传输。
7.根据权利要求1所述的虚拟图像的处理方法，其特征在于，所述方法还包括：
响应于用户输入的操作指令，其中，所述操作指令至少包括手势操作指令和语音控制指令；
根据所述操作指令，对所述虚拟图像的大小或方向进行调节，或者，与虚拟歌手或虚拟乐器进行互动。
8.一种虚拟图像的处理装置，其特征在于，所述装置包括：
获取模块，用于通过增强现实设备获取用户头部的运动信息，其中，所述运动信息至少包括用户头部的运动方向、角度和移动速度；
处理模块，用于根据同步定位与地图构建算法和所述用户头部的运动信息，对所述增强现实中的虚拟图像进行调整，得到调整后的虚拟图像，以使所述调整后的虚拟图像与所述用户头部的运动信息相对应；
显示模块，用于通过所述增强现实设备显示所述调整后的虚拟图像。
9.一种增强实现设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1-7中任意一项权利要求所述的虚拟图像的处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述程序被处理器执行时可实现权利要求1-7中任意一项权利要求所述的虚拟图像的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310673590.3A CN116755590A (zh) | 2023-06-08 | 2023-06-08 | 虚拟图像的处理方法、装置、增强实现设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310673590.3A CN116755590A (zh) | 2023-06-08 | 2023-06-08 | 虚拟图像的处理方法、装置、增强实现设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116755590A true CN116755590A (zh) | 2023-09-15 |
Family
ID=87956485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310673590.3A Pending CN116755590A (zh) | 2023-06-08 | 2023-06-08 | 虚拟图像的处理方法、装置、增强实现设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116755590A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117420931A (zh) * | 2023-12-19 | 2024-01-19 | 百鸟数据科技(北京)有限责任公司 | 基于增强现实的鸟类观测方法、系统、设备和存储介质 |
-
2023
- 2023-06-08 CN CN202310673590.3A patent/CN116755590A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117420931A (zh) * | 2023-12-19 | 2024-01-19 | 百鸟数据科技(北京)有限责任公司 | 基于增强现实的鸟类观测方法、系统、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109462776B (zh) | 一种视频特效添加方法、装置、终端设备及存储介质 | |
| CN103905809B (zh) | 信息处理设备和记录介质 | |
| JP6932206B2 (ja) | 空間オーディオの提示のための装置および関連する方法 | |
| CN111131904B (zh) | 视频播放方法及头戴电子设备 | |
| CN114144790A (zh) | 具有三维骨架正则化和表示性身体姿势的个性化语音到视频 | |
| CN113721804A (zh) | 一种显示方法、装置、电子设备及计算机可读存储介质 | |
| US20190318543A1 (en) | R-snap for production of augmented realities | |
| JP2020513604A (ja) | 現実シーンの複製物に仮想画像及び音声データを重ね合わせるための方法及び装置、並びに携帯デバイス | |
| JP2020520576A5 (zh) | ||
| CN110168615A (zh) | 信息处理设备、信息处理方法和程序 | |
| CN116755590A (zh) | 虚拟图像的处理方法、装置、增强实现设备及存储介质 | |
| US11302067B2 (en) | Systems and method for realistic augmented reality (AR) lighting effects | |
| CN114286275A (zh) | 一种音频处理方法及装置、存储介质 | |
| Sexton et al. | Automatic CNN-based enhancement of 360° video experience with multisensorial effects | |
| US20220375362A1 (en) | Virtual tutorials for musical instruments with finger tracking in augmented reality | |
| WO2022075152A1 (ja) | 情報処理装置、情報処理方法及び情報配信システム | |
| WO2021065694A1 (ja) | 情報処理システム及び方法 | |
| CN111292773A (zh) | 音视频合成的方法、装置、电子设备及介质 | |
| CN111212323A (zh) | 音视频合成的方法、装置、电子设备及介质 | |
| US20230326357A1 (en) | Information processing system and computer system implemented method of processing information | |
| KR102430914B1 (ko) | 가상현실 및 증강현실 컨텐츠 제공 시스템, 방법 그리고 컴퓨터 프로그램 | |
| US20240160402A1 (en) | Device and method for transmitting voice data of user in virtual space | |
| CA3139068C (en) | System and method for quantifying augmented reality interaction | |
| CN117241063B (zh) | 基于虚拟现实技术的直播交互方法及系统 | |
| CN116778058B (zh) | 一种智能展厅的智能交互系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |