CN116301481A - 一种多复化可视承载互动方法及装置 - Google Patents
一种多复化可视承载互动方法及装置 Download PDFInfo
- Publication number
- CN116301481A CN116301481A CN202310536046.4A CN202310536046A CN116301481A CN 116301481 A CN116301481 A CN 116301481A CN 202310536046 A CN202310536046 A CN 202310536046A CN 116301481 A CN116301481 A CN 116301481A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- information
- space
- entity
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000000007 visual effect Effects 0.000 title claims abstract description 56
- 238000004088 simulation Methods 0.000 claims abstract description 95
- 230000008859 change Effects 0.000 claims abstract description 64
- 238000013528 artificial neural network Methods 0.000 claims abstract description 48
- 239000000463 material Substances 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000009877 rendering Methods 0.000 claims abstract description 10
- 230000009471 action Effects 0.000 claims description 44
- 230000000306 recurrent effect Effects 0.000 claims description 16
- 210000002569 neuron Anatomy 0.000 claims description 11
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 239000000758 substrate Substances 0.000 claims 2
- 230000000694 effects Effects 0.000 description 18
- 230000002452 interceptive effect Effects 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 15
- 238000012800 visualization Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000010354 integration Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供一种多复化可视承载互动方法及装置，该方法包括：根据用户需求，获取二维图像并识别所述二维图像的二维信息；对所述二维信息进行序列化神经网络处理得到三维信息，所述三维信息包括三维可视化序列信息、三维交互信息、三维光场信息、三维声场信息及三维空间信息；将所述三维信息在同一虚拟三维空间进行模拟运算和运行得到三维变化数据；根据所述三维变化数据对虚拟三维空间进行动态演绎得到动态虚拟三维空间；根据所述用户需求，将所述动态虚拟三维空间渲染为二维素材进行实时显示。该方法实现了二维图像与三维空间的高效互动。
Description
技术领域
本发明涉及计算机图像视频游戏技术和虚幻电影制作领域，具体地涉及一种多复化可视承载互动方法及装置。
背景技术
现有的通过移动电子设备进行互动的游戏越来越流行。有些可以从远程服务器下载至移动设备的互动游戏（例如手游、端游、离线游戏、在线游戏）都可以选择游戏内容。游戏期间，用户可以通过一个或者多个输入按键操作移动设备显示屏幕实现虚拟世界人物的互动。例如：都市天际线、无人深空等游戏都是选择创造一些虚拟人物来与虚拟世界进行互动和游戏，该方法互动性不高。还有一些游戏需要靠手势识别来操控游戏，例如手势模拟一些动作使得游戏虚拟人物产生互动，这个游戏互动的路线是存储单元中的互动路线，根据识别动作的幅度、方向来选择一个存储单元的互动路线来模拟动作而产生的互动，该方式虽然增加了互动性，但存在着灵活性和准确性低的问题。
发明内容
本发明实施例的目的是提供一种多复化可视承载互动方法及装置，该方法实现了二维图像与三维空间的高效互动。
为了实现上述目的，本发明实施例提供一种多复化可视承载互动方法，该方法包括：根据用户需求，获取二维图像并识别所述二维图像的二维信息；对所述二维信息进行序列化神经网络处理得到三维信息，所述三维信息包括三维可视化序列信息、三维交互信息、三维光场信息、三维声场信息及三维空间信息；将所述三维信息在同一虚拟三维空间进行模拟运算和运行得到三维变化数据；根据所述三维变化数据对虚拟三维空间进行动态演绎得到动态虚拟三维空间；根据所述用户需求，将所述动态虚拟三维空间渲染为二维素材进行实时显示。
可选的，所述序列化神经网络为循环神经网络，所述循环神经网络的神经元具有记忆性；所述循环神经网络用于预测时序序列。
可选的，所述将所述三维信息在同一虚拟三维空间进行模拟运算和运行得到三维变化数据，包括：根据所述三维可视化序列信息和三维空间信息模拟三维实体的动作，通过像素空间定位对所述三维实体进行动作同步，得到三维实体动作数据；根据所述三维交互信息模拟三维实体在场景空间中产生的物理碰撞，得到三维实体碰撞数据；根据所述三维光场信息识别三维实体的材质，得到三维实体材质数据；根据所述三维声场信息模拟三维声场的变化，得到三维声场数据；所述三维变化数据包括所述三维实体动作数据、三维实体碰撞数据、三维实体材质数据及三维声场数据。
可选的，所述根据所述三维变化数据对虚拟三维空间进行动态演绎得到动态虚拟三维空间，包括：识别真实空间的连续图像，建立三维空间信息结构，将所述三维变化数据带入所述三维空间信息结构得到动态虚拟三维空间。
可选的，该方法还包括：设置三维仿真实体，将所述三维仿真实体投射至所述动态虚拟三维空间中，所述动态虚拟三维空间随着所述三维仿真实体的变化而变化。
可选的，所述三维空间信息为空间定位信息、空间结构信息、空间稳定信息、空间变化信息及物理反馈信息中的至少一种。
另一方面，本发明提供一种多复化可视承载互动装置，该装置包括：获取单元，用于根据用户需求，获取二维图像并识别所述二维图像的二维信息；第一处理单元，用于对所述二维信息进行序列化神经网络处理得到三维信息，所述三维信息包括三维可视化序列信息、三维交互信息、三维光场信息、三维声场信息及三维空间信息；第二处理单元，用于将所述三维信息在同一虚拟三维空间进行模拟运算和运行得到三维变化数据；第三处理单元，用于根据所述三维变化数据对虚拟三维空间进行动态演绎得到动态虚拟三维空间；第四处理单元，用于根据所述用户需求，将所述动态虚拟三维空间渲染为二维素材进行实时显示。
可选的，所述序列化神经网络为循环神经网络，所述循环神经网络的神经元具有记忆性；所述循环神经网络用于预测时序序列。
可选的，所述将所述三维信息在同一虚拟三维空间进行模拟运算和运行得到三维变化数据，包括：根据所述三维可视化序列信息和三维空间信息模拟三维实体的动作，通过像素空间定位对所述三维实体进行动作同步，得到三维实体动作数据；根据所述三维交互信息模拟三维实体在场景空间中产生的物理碰撞，得到三维实体碰撞数据；根据所述三维光场信息识别三维实体的材质，得到三维实体材质数据；根据所述三维声场信息模拟三维声场的变化，得到三维声场数据；所述三维变化数据包括所述三维实体动作数据、三维实体碰撞数据、三维实体材质数据及三维声场数据。
可选的，该装置还包括：设置单元，用于设置三维仿真实体，将所述三维仿真实体投射至所述动态虚拟三维空间中，所述动态虚拟三维空间随着所述三维仿真实体的变化而变化。
本发明的多复化可视承载互动方法包括：根据用户需求，获取二维图像并识别所述二维图像的二维信息；对所述二维信息进行序列化神经网络处理得到三维信息，所述三维信息包括三维可视化序列信息、三维交互信息、三维光场信息、三维声场信息及三维空间信息；将所述三维信息在同一虚拟三维空间进行模拟运算和运行得到三维变化数据；根据所述三维变化数据对虚拟三维空间进行动态演绎得到动态虚拟三维空间；根据所述用户需求，将所述动态虚拟三维空间渲染为二维素材进行实时显示。该方法可以根据客户需求，实时切换显示模式，实现二维图形与三维虚拟世界的实时沟通和互动。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是本发明的一种多复化可视承载互动方法的流程示意图；
图2是本发明的一种多复化可视承载互动方法的实施例的示意图；
图3是本发明的可视化序列模拟预测的示意图；
图4是本发明的仿真三维实体示意图；
图5是本发明的像素空间定位示意图；
图6是本发明的三维空间向量场示意图；
图7是本发明的实时资产管理示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
图1是本发明的一种多复化可视承载互动方法的流程示意图，如图1所示，所述多复化可视承载互动方法包括：步骤S101为根据用户需求，获取二维图像并识别所述二维图像的二维信息。所述二维图像可以为人像，例如，该方法可以将真人放入虚拟世界中，并与虚拟世界发生的互动活动，产生可以像游戏一样互动活动。用户可以根据需求编辑三维空间资产、三维模型，用户实时编辑和更换三维空间。用户可以根据需求选择互动的模式。用户可以随机切换显示模式，系统实时生成最终效果。
步骤S102为对所述二维信息进行序列化神经网络处理得到三维信息，所述三维信息包括三维可视化序列信息、三维交互信息、三维光场信息、三维声场信息及三维空间信息。具体的，所述序列化神经网络为循环神经网络，所述循环神经网络的神经元具有记忆性；所述循环神经网络用于预测时序序列。具体的，所述序列化神经网络可以将可视序列信息、光场信息、交互信息、空间信息、声场信息等二维信息转化为三维信息。
按照一种具体的实施方式，所述三维可视化序列信息是获取摄像机拍摄的可视化序列信息。可视化序列信息是指识别二维连续图像的二维信息，序列化神经网络处理实时将二维信息转换三维信息。可视化序列信息为仿真三维实体的深度、仿真三维实体材质、仿真三维实体纹理等三维信息。具体经过选择三维信息的仿真三维实体、创建仿真三维实体、发送三维空间实体、转发三维空间实体、接收三维空间实体、查看三维空间实体和销毁三维空间实体等信息，借助可视化信息的查看在仿真三维实体模型时云互动可视化模块之间实体的移动。可视化序列信息按时间码显示仿真三维实体，多个仿真三维实体显示事件可以同时发生。可视化序列可以通过线性和非线性显示时间。时间网格以非线性方式显示时间，每个时间网格都包含在同一仿真时间发生的事件。时间码为仿真三维实体事件的时间。
根据动态变化的仿真三维实体间的移动，模拟其在三维空间中产生的物理碰撞，得到仿真三维实体与三维空间中的各三维模型的交互信息为所述三维交互信息。获取三维交互信息的路径依次为：三维信息源、三维信息、三维信息发出传递的通道或者网络、接收三维信息、接收端的反馈三维信息、产生的噪音。接收端反馈用于校验三维信息交互结果质量。
所述三维光场信息为已识别的连续图像的光像信信息，获取所述三维光场信息的方法包括仿真三维实体的材质识别的空间光场还原技术，序列化神经网络处理单元先实时将二维信息转换三维信息。
可视化序列信息在将真实世界的光场规律拓展到虚拟世界中，使用深度学习方法，通过精确融合网络来解决光场结构特征的提取与融合问题。利用光场信息的新特征将真实世界的仿真三维实体放入虚拟世界中，使得仿真三维实体动态变化时，虚拟光场空间随之模拟真实世界的光场反应。
光场信息为根据真实世界的时间流逝按比例对光场空间信息进行动态模拟。例如：早晨光场空间、晚霞的光场空间、晴天雨天的光场空间等随着三维空间中的时间、天气变化光场空间发生相应的改变。光波反射、折射、干涉、衍射等物理反应产生交互信息动态变化，使得整个三维空间中的光场也随之变化。光场信息主要用于实现光线追踪定位和模拟的功能。
在真实世界中，从远距离传来的声音进入人的耳朵的声音是偏小的，从近距离以相同的声音大小传入人耳，人耳听到的声音是不一样的。本发明声场信息来模拟三维声场的变化。例如：真实世界靠近声源听到的声音大，远离声源听到的声音小。本发明中还原了三维声场的变化。真人根据拍摄系统传来的用户视频与用户实时语音，同时根据三维可视化序列信息中的动作捕捉将真人的表情、动作呈现在仿真三维实体（虚拟数字人）形象上，从而与用户进行交互。通过智能系统自动读取并解析识别外界输入信息，根据解析结果决策数字人后续的输出数据，驱动仿真三维实体人物模型生成相应的语音与动作来使数字人跟用户互动，并合成音视频呈现给用户。
所述三维空间信息是指真实世界的空间信息和虚拟世界的空间信息。所述空间信息有空间定位信息、空间结构信息、保障空间稳定信息、空间变化信息、物理反馈信息等。获取所述空间信息是建模仿真三维实体的重要组成部分。为了应对建模仿真三维实体的复杂性和空间信息的适应空间的特性。空间信息的获取主要指对连续图像识别，建立真实三维世界的空间信息结构。
步骤S103为将所述三维信息在同一虚拟三维空间进行模拟运算和运行得到三维变化数据。具体的，所述将所述三维信息在同一虚拟三维空间进行模拟运算和运行得到三维变化数据，包括：根据所述三维可视化序列信息和三维空间信息模拟三维实体的动作，通过像素空间定位对所述三维实体进行动作同步，得到三维实体动作数据；根据所述三维交互信息模拟三维实体在场景空间中产生的物理碰撞，得到三维实体碰撞数据；根据所述三维光场信息识别三维实体的材质，得到三维实体材质数据；根据所述三维声场信息模拟三维声场的变化，得到三维声场数据；所述三维变化数据包括所述三维实体动作数据、三维实体碰撞数据、三维实体材质数据及三维声场数据。
步骤S104为根据所述三维变化数据对虚拟三维空间进行动态演绎得到动态虚拟三维空间。具体的，所述根据所述三维变化数据对虚拟三维空间进行动态演绎得到动态虚拟三维空间，包括：识别真实空间的连续图像，建立三维空间信息结构，将所述三维变化数据带入所述三维空间信息结构得到动态虚拟三维空间。
步骤S105为根据所述用户需求，将所述动态虚拟三维空间渲染为二维素材进行实时显示。具体的，用户可选择绑定三维仿真实体实现与真人同步，二维显示效果实时变化。也可选择用户真人操作计算机控制三维仿真实体的动作，从而来实现二维显示效果的实时变化。
本发明可以将真的人放入虚拟世界中与虚拟世界发生的互动活动，产生可以像游戏一样互动活动。用户可以根据需求编辑三维空间资产、三维模型，用户实时编辑和更换三维空间。并且用户可以根据需求选择互动的模式。互动的模式有第一显示模式、第二显示模式、第三显示模式、第四显示模式、第五显示模式。其中加入空间定位技术，如像素空间定位。所述像素空间定位是虚拟现实混合现实视频拍摄应用，应用于虚拟制作、VR领域、动作捕捉、虚拟预演等多种领域。
本发明还包括：设置三维仿真实体，将所述三维仿真实体投射至所述动态虚拟三维空间中，所述动态虚拟三维空间随着所述三维仿真实体的变化而变化。该方法实现了单人或多人在虚拟世界中实时沟通互动，以及游戏过程中可以根据人的创想生成电影效果的视频，所述电影效果的视频可以实时生成，实现直播效果。
图2是本发明的一种多复化可视承载互动方法的实施例的示意图，如图2所示，该实施例首先获取二维图像，识别二维图像，得到二维信息。例如，获取二维图像的过程有两种方式，当用户选择的模式是第一显示模式、第二显示模式、第四显示模式、第五显示模式时：获取二维图像的方式是根据用户选择输入的图像内容将二维图像输入数字引擎，识别输入的二维图像，实时将二维图像中的空间信息、声场信息、可视序列信息、光场信息、交互信息进行分类传输，并且将所有信息传输至序列化神经网络处理单元中。当选择用户选择的第三显示模式时（游戏绑定真人模式），则获取二维图像的方式为拍摄系统拍摄获取连续的二维图像，采集连续二维图像，具体的，该方法包括实时将二维图像中的空间信息、声场信息、可视序列信息、光场信息、交互信息进行分类传输，并且将所有信息传输至序列化神经网络处理单元中。
对所述传输至序列化神经网络处理单元中所有二维信息进行序列化神经网络处理，即将二维信息转化为三维信息。本发明采用RNN(Recurrent Neural Networks，循环神经网络)的神经元结构，RNN的使用方式非常灵活。一个RNN可以通过模拟一个输入序列来生成一个输出序列，因此可以用于预测时序序列。由于循环神经元在处理时刻输出时，会涉及到此前时刻的所有输入，因此也可以认为循环神经元是具有记忆的。循环神经网络(Recurrent Neural Networks)是一种可以用于预测的神经网络。与其他许多神经网络不同的是，RNN对于输入的序列长度没有要求，即将长短不一的参数序列传入RNN，例如对任意一篇文章，或者任意一段音频/视频的采样。RNN基于时序数据的预测能力，使得它可以胜任自动编曲、文本编写等创造性工作。RNN是一种特殊的神经网络结构, 它是根据“人的认知是基于过往的经验和记忆”这一观点提出的，它与DNN、CNN不同的是，它不仅考虑前一时刻的输入，而且赋予了网络对前面的内容的一种记忆功能。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。具体的，如式：
。其中，循环神经元接收输入/>
，以及这个神经元上一时刻的输出/>
，每一个循环神经元都有两组权重,即输入/>
的权重/>
以及上一时刻的输出的/>
权重/>
，任一时刻的输出/>
，/>
为激活函数，b为偏置顶。使用序列化神经网络处理单元采用RNN处理方式将二维信息转化为三维信息。
图3是本发明的可视化序列模拟预测的示意图，如图3所示， AI模块将所述不同的三维信息传输至不同的模拟单元得到不同的三维信息并且分别传输至可视化序列信息模拟单元、交互信息模拟单元、光场信息模拟单元、声场信息模拟单元、空间信息模拟系统中，对不同类别的三维信息在统一的三维空空间进行模拟运算和运行。
在本发明中云互动可视化系统是指依据用户的操作权限开放不同的操作内容和选择显示不同的内容。具体是指根据用户对实时资产管理系统中的内容更改和用户选择不同的播放显示模式。当用户选择第三显示模式时，仿真三维实体的生成根据摄像系统获取真人用户的拍摄图像实时生成一比一还原的仿真三维实体。可视化序列信息模拟单元实时模拟真人用户的动作，实现真人用户与仿真三维实体的动作同步，实现动作同步的方法采用像素空间定位的方法。
所述第三显示模式为互动游戏模式，具体的，将用户所需要的人物投射到三维空间中去用户想将自己投射到一个虚拟画面中。拍摄系统对用户进行拍摄，获取真人用户的动作变化，将真人放入三维空间中。根据真人用户的动作变化，三维空间中的仿真三维实体也实时变化。例如：用户真人在打游戏时控制计算机中的虚拟人的动作，场景随着虚拟人的变化而动态变化，是虚拟人操作该三维空间。在本发明中就是用户真人的动作发生变化时，三维空间中实时生成用户真人的仿真三维实体，用户真人动作变化，三维空间场景就会随之产生改变。打游戏时可交互的游戏显示画面是将动态变化的三维空间转化为二维空间图像并实时显示。可选择用户真人绑定仿真三维实体，用户真人动作变化，三维空间场景动态变化。也可选择不绑定仿真三维实体，就可以通过操作仿真三维实体，三维空间场景也会随仿真三维实体的改变而变化。
如图4所示，根据一张图像实时创建仿真三维实体模型。具体的，可选择用图像、视频、或者摄像系统拍摄实时生成三维仿真实体，实现将用户真人投射到虚拟三维空间中去。当用户系统获取到用户选择显示模式后，云互动可视化系统将控制数字引中的各单元的工作和实时渲染工作及控制交互式播放系统的显示效果内容。当选择游戏模式绑定仿真三维实体时需要启动摄像系统，实时获取真人用户的图像，获取真人用户的拍摄图像。序列化神经处理单元获取真人用户的可视化序列，并且预测真人用户的即将做的动作变化，将二维信息转化为三维信息，序列化神经网络处理单元将得到的三维信息传输至可视化序列模拟单元，所述可视化序列模拟单元将三维信息重组按比例还原重建仿真三维实体，并将所述仿真三维实体与真人用户绑定，并且将所述仿真三维实体投射到虚拟场景空间或者所需替换的三维场景空间中。
如图5所示，真人用户的动作变化，三维空间中的仿真三维实体将实时同步动作变化，此过程称作步态同步。获取真实三维空间的可视化序列，将真实三维空间中的空间信息、声场信息、光场信息、交互信息、图像数据信息记录到三维数字资产世界中。即将真实三维世界中人或者物体转换为三维数字资产。其原理主要利用识别空间和还原空间以及空间定位等多种技术完成。实现将真人投射到虚拟空间中，实现虚拟与现实的结合。数字人拥有人的外观，具有特定的相貌、性别和性格等人物特征，拥有人的行为，具有用语言、面部表情和肢体动作表达的能力，拥有人的思想，具有识别外界环境、并能与人交流互动的能力。每个真人投射到虚拟空间中的仿真三维实体都是独一无二的存在。
所述像素空间定位是虚拟现实混合现实视频拍摄应用，应用于虚拟制作、VR领域、动作捕捉、虚拟预演等多种领域。针对像素空间定位技术的问题，首先摄像系统完成对目标物体的目标像素和空间环境之间的映射关系进行约束，基于数字表面模型和基于平面约束的目标定位算法。首先摄像系统完成目标像素的标定，然后提取校正后的目标像素，并且通过对目标像素的定位和算法计算目标的三维空间的坐标实现摄像头定位跟踪目标像素。三维空间与仿真三维实体的空间映射关系与真实世界的映射一致。
其中可视化序列信息模拟单元是获取摄像机拍摄的可视化序列信息，并将得到可视化序列信息存储。可视化序列信息是指识别二维连续图像的二维信息，序列化神经网络处理单元先实时将二维信息转换三维信息。可视化序列信息模拟单元获取仿真三维实体的深度、仿真三维实体材质、仿真三维实体纹理等三维信息。选择三维信息的仿真三维实体、创建仿真三维实体、发送三维空间实体、转发三维空间实体、接收三维空间实体、查看三维空间实体和销毁三维空间实体等的信息，借助可视化信息的查看可以在仿真三维实体模型时云互动可视化模块之间实体的移动。所有可以存储实体仿真三维模型的可视化序列信息在可视化序列信息模拟单元查看。可视化序列信息查看按时间码显示仿真三维实体。多个仿真三维实体显示事件可以同时发生。可视化序列可以通过线性和非线性显示时间。时间网格以非线性方式显示时间，每个时间网格都包含在同一仿真时间发生的事件。所述时间码提供该仿真三维实体显示事件的时间。
本发明中的序列化神经网络处理单元是指接收三维交互信息和发出三维交互信息的过程。具体的，根据所述动态变化的仿真三维实体间的移动，模拟其在三维空间中产生的物理碰撞，得到仿真三维实体与三维空间中的各三维模型的交互信息。三维信息交互过程通常由六部分组成：三维信息源、三维信息、三维信息发出传递的通道或者网络、接收三维信息、接收端的反馈三维信息、产生的噪音。接收端反馈用于校验三维信息交互结果质量。
在三维空间中仿真三维实体与三维空间中的所有三维数字模型产生物理交互，此时数字引擎存储将已有的三维信息并将新产生的三维交互信息进行存储、发送、传递、接收等操作。如图5所示，Actor仿真三维实体和数字人三维模型产生的交互信息；光场与Actor仿真三维实体和数字人三维模型产生的交互信息；三维空间中的声场变化空间中的交互信息；Actor仿真三维实体和数字人三维模型与整个三维空间产生的交互信息；交互信息的产生离不开空间定位，这就需要像素空间定位技术。
其中光场信息模拟单元是指获取已识别的连续图像的光像信信息，该单元为基于仿真三维实体的材质识别的空间光场还原技术。可视化序列信息模拟单元获取仿真三维实体的深度、仿真三维实体材质、仿真三维实体纹理得到三维光场信息。具体的，将真实世界的光场规律拓展到虚拟世界中，使用深度学习方法，提出精确与融合网络来解决光场结构特征的提取与融合问题。利用光场信息的新特征提取将真实世界的仿真三维实体放入虚拟世界中，仿真三维实体动态变化时，虚拟光场空间模拟真实世界的光场反应。
光场信息模拟单元根据真实世界的时间流逝按比例对光场空间信息进行动态模拟。例如：早晨光场空间、晚霞的光场空间、晴天雨天的光场空间等随着三维空间中的时间、天气变化光场空间发生相应的改变。光波反射、折射、干涉、衍射等物理反应产生交互信息动态变化，使得整个三维空间中的光场也随之变化。光场信息模拟单元主要实现光线追踪定位和模拟的功能。
在真实世界中从远距离传来的声音进入人的耳朵，声音是偏小的，从近距离以相同的声音大小传入人耳，人耳听到的声音是不一样的。所以声场信息模拟单元通过获取声场信息，序列化神经网络处理单元先实时将二维信息转换三维信息，然后声场信息模拟单元模拟三维声场的变化。例如真实世界靠近声源听到的声音大，远离声源听到的声音小。
本发明中还公开了还原了三维声场的变化发方法。如图5所示，Actor与数字人在三维空间中靠近的脚步声逐渐变化，Actor听到数字人的脚步声音应该越来越大。当游戏模式获取真人用户的声音变化，游戏虚拟世界中的仿真三维实体发出与真人用户相同的声音同时真人与仿真三维实体的动作和表情都是一模一样的。真人根据拍摄系统传来的用户视频，与用户实时语音，同时通过可视化序列模拟单元动作捕捉采集系统将真人的表情、动作呈现在仿真三维实体（虚拟数字人）形象上，从而与用户进行交互。通过智能系统自动读取并解析识别外界输入信息，根据解析结果决策数字人后续的输出数据，驱动仿真三维实体人物模型生成相应的语音与动作来使数字人跟用户互动。并合成音视频呈现给用户。
空间信息模拟系统将所有三维信息变化数据信息放入虚拟三维空间中，确定动态演绎的三维空间。其中空间信息模拟系统是指获取真实世界的空间信息和虚拟世界的空间信息。所述空间信息有空间定位信息、空间结构信息、保障空间稳定信息、空间变化信息、物理反馈信息等。获取所述空间信息是建模仿真三维实体的重要组成部分。为了应对建模仿真三维实体的复杂性和空间信息，空间信息模拟系统具有很强的适应空间的特性。空间信息的获取主要指对连续图像识别，建立真实三维世界的空间信息结构。仿真三维实体模型移动产生的空间信息模拟空间信息模拟系统的四个组成单元分别是序列化神经网络处理单元、光场信息模拟单元、声场信息模拟单元、可视化序列信息获取单元、交互信息模拟单元、多复化处理单元。因此，以六个单元的作为动态变化的信息基础，同时变化六个单元中的信息并将所空间信息模拟处理空间信息模拟系统中，这样就确定了三维空间模型的主体框架并得到可以动态演绎的三维空间。将空间中所有三维信息还原重建得到动态三维空间。
其中多复化处理单元用于处理工程项目计算，如利用多复化高斯-勒让德积分公式计算精度，通过三种被积函数形式：菲涅尔积分形式、二维面积分形式（面积分也可以分为一类和二类，都是在三维空间下的）及线性天线振子辐射问题中的磁矢势计算形式进行计算机实际编程处理。线积分被限制在二维和三维空间，面积分则被限制在三维空间中。分析在三维空间，而不扩展到n维空间。线积分分为一类和二类，在应用领域又可以分为二维和三维，面积分也可以分为一类和二类，都是在三维空间下的。即使都是第二类的积分，但是二者也是有差别的。线积分处理的是向量场对切向量的点积，而面积分处理的是对法向量的点积。由此应该可以预知到，二者在处理上总还是会有点不同的。
本发明的相关计算原理包括：
1）菲涅尔积分：衍射（diffraction）现象可以说是菲涅尔惠更斯原理所代表的的波动光学领域理论研究的最重要研究对象。在光学研究中,菲涅耳衍射积分式可以用来计算光波在近场区域的传播。假设照射光波于开有孔径的不透明挡板，则会有衍射图样出现于观察屏。根据菲涅尔原理，从孔径内部任意点次波源Q发射出的圆球面次波，在观察屏点P的波扰
为
2）面积分：面积分也叫二重积分属于一元函数定积分的一种拓展。从几何上来理解，如果一元函数的定积分是计算一定区间内被积函数曲线与坐标轴之间的面积，那么二重积分就是计算一定二维区域内被积函数曲面与坐标轴平面之间的体积。
3）三维空间的向量场：如图6所示，三维的向量场（a图）、切片曲面上的三维向量场（b图）、梯度场等。向量场既可以用来形象地描绘液体的流动，按照特定规则流动的液体，描绘一些粒子的运动（用箭头），也给绘制多元函数的图像提供了一种直观的方法。向量的方向代表了物体移动的方向。在三维空间中也可以模拟气流、光场、风、水流等。
数字引擎在本发明中是一款智能控制系统，即数字技术赋能，实现对系统的智能控制。依据所述三维空间模型的主体框架生成动态三维空间，并记录三维空间到三维素材中。根据所述实时资产管理系统和用户系统确定和完成云互动系统模式智能实现。实现采取灵活、合理的分配方式得到最终显示效果。数据引擎是在由二进制数据计算表中使用的数字基础设施，用于为不同数据中心场景解决数据传递和数据价值信息。数字引擎由计算机和软件操作系统组成，其原理和计算方法与一般数据引擎完全不同，与传统的数据化、生产与加工、储存与应用等多系统化的数据化计算机相似。所述用户系统在本发明中用户系统可以登录云互动可视化系统，通过校验系统校验通过后可选择显示的模式，并且可通过实时资产管理系统编辑显示的内容。所述实时资产管理系统在本发明中实时资产管理系统是指用户系统对视频图像中的所有物质显示的添加、替换、删除等一系列操作和管理。例如：视频图像中的背景有一座大楼，用户想添加一个广告在大楼上，用户可以通过登录并经过校验系统审核就可以对视频进行操作。如图7所示，实时资产管理系统在三维空间中添加新元素、添加广告，添加完成后实时渲染。然后将动态变化的三维空间的三维信息转化为二维信息。经过云互动可视化系统控制数字引擎实时渲染生成动态变化的三维空间。
云互动可视化系统根据所述三维空间模型的主体框架、用户需求、实时资产改变进行云互动交流；所述云互动可视化系统在本发明中云互动可视化系统是指依据用户的操作权限开放不同的操作内容和选择显示不同的内容。具体是指根据用户对实时资产管理系统中的内容更改和用户登录交互系统选择不同的播放显示模式。所述交互式播放系统在本发明中交互式播放系统是指，根据用户需求可选择第一显示模式、第二显示模式、第三显示模式、第四显示模式、第五显示模式。
具体的，所述第一显示模式是指VR虚拟现实，VR全景作为一种新型的视觉展示技术，具有强沉浸性和融入性，可以很好的提升产品与用户之间的沟通效果。可将最终效果放入到场景中进行展示，带上VR设备让客户切身体会，这就变得更加有趣，从而提高服务品质和效果。在本发明中第二显示模式是指视频观看模式，视频观看以电影效果的方式呈现出来，这样的方式改善了画面，达到与电影效果的特技效果大致相同的画面品质。在本发明中第三显示模式是指互动游戏模式，互动游戏模式是指通过校验系统校对验证开启第三模式显示后，将用户所需要的人物投射到三维空间中去用户想将自己投射到一个虚拟画面中。拍摄系统对用户进行拍摄，获取真人用户的动作变化，将真人放入三维空间中。根据真人用户的动作变化，三维空间中的仿真三维实体也实时变化。例如：用户真人在打游戏时控制计算机中的虚拟人的动作，场景随着虚拟人的变化而动态变化，是虚拟人操作这三维空间。在本发明中就是用户真人的动作发生变化时，三维空间中实时生成用户真人的仿真三维实体，用户真人动作变化，三维空间场景就会随之产生改变。打游戏时可交互的游戏显示画面是将动态变化的三维空间转化为二维空间图像并实时显示。可选择用户真人绑定仿真三维实体，用户真人动作变化，三维空间场景动态变化。也可选择不绑定仿真三维实体，就可以通过操作仿真三维实体，三维空间场景也会随仿真三维实体的改变而变化。在本发明中的第四显示模式是指以直播的形式显示。用户编辑三维空间的动态变化，实时显示动态变化的三维空间转化为二维空间图像的最终效果。在本发明中第五显示模式是指数字资产，用户自己可以控制或者创造出的数据和资产。
根据所述云互动可视化系统和用户选择不同的显示模式，实时渲染将动态三维空间变化转化为二维显示及其变化效果；当用户选择不同的模式时云互动可视化系统将实时发送指令控制数字引擎实时产出最终效果，并将三维空间信息实时记录到三维素材上，云互动可视化系统将接收所述三维素材并实时发送给交互式播放系统中，根据用户需求选择显示模式，无限趋近于实时。显示时是将三维素材转换为二维素材实时显示。
本发明采用虚拟现实技术根据显示空间定位信息实时得到仿真三维实体和实时渲染虚拟三维空间场景在多种显示终端中显示。通过确定空间信息、交互信息、光场信息、可视化序列信息、声场信息向不同的显示终端显示，并且在虚拟的画面上渲染虚拟图像。实现了多个仿真三维实体之间的交互。本发明模拟真实度高、互动性强，通过虚拟现实混合现实视频拍摄，可应用于虚拟制作、VR制作、动作捕捉、虚拟预演等领域。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。
Claims (10)
1.一种多复化可视承载互动方法，其特征在于，该方法包括：
根据用户需求，获取二维图像并识别所述二维图像的二维信息；
对所述二维信息进行序列化神经网络处理得到三维信息，所述三维信息包括三维可视化序列信息、三维交互信息、三维光场信息、三维声场信息及三维空间信息；
将所述三维信息在同一虚拟三维空间进行模拟运算和运行得到三维变化数据；
根据所述三维变化数据对虚拟三维空间进行动态演绎得到动态虚拟三维空间；
根据所述用户需求，将所述动态虚拟三维空间渲染为二维素材进行实时显示。
2.根据权利要求1所述的方法，其特征在于，
所述序列化神经网络为循环神经网络，所述循环神经网络的神经元具有记忆性；
所述循环神经网络用于预测时序序列。
3.根据权利要求1所述的方法，其特征在于，所述将所述三维信息在同一虚拟三维空间进行模拟运算和运行得到三维变化数据，包括：
根据所述三维可视化序列信息和三维空间信息模拟三维实体的动作，通过像素空间定位对所述三维实体进行动作同步，得到三维实体动作数据；
根据所述三维交互信息模拟三维实体在场景空间中产生的物理碰撞，得到三维实体碰撞数据；
根据所述三维光场信息识别三维实体的材质，得到三维实体材质数据；
根据所述三维声场信息模拟三维声场的变化，得到三维声场数据；
所述三维变化数据包括所述三维实体动作数据、三维实体碰撞数据、三维实体材质数据及三维声场数据。
4.根据权利要求1所述的方法，其特征在于，所述根据所述三维变化数据对虚拟三维空间进行动态演绎得到动态虚拟三维空间，包括：
识别真实空间的连续图像，建立三维空间信息结构，将所述三维变化数据带入所述三维空间信息结构得到动态虚拟三维空间。
5.根据权利要求1所述的方法，其特征在于，该方法还包括：
设置三维仿真实体，将所述三维仿真实体投射至所述动态虚拟三维空间中，所述动态虚拟三维空间随着所述三维仿真实体的变化而变化。
6.根据权利要求1所述的方法，其特征在于，
所述三维空间信息为空间定位信息、空间结构信息、空间稳定信息、空间变化信息及物理反馈信息中的至少一种。
7.一种多复化可视承载互动装置，其特征在于，该装置包括：
获取单元，用于根据用户需求，获取二维图像并识别所述二维图像的二维信息；
第一处理单元，用于对所述二维信息进行序列化神经网络处理得到三维信息，所述三维信息包括三维可视化序列信息、三维交互信息、三维光场信息、三维声场信息及三维空间信息；
第二处理单元，用于将所述三维信息在同一虚拟三维空间进行模拟运算和运行得到三维变化数据；
第三处理单元，用于根据所述三维变化数据对虚拟三维空间进行动态演绎得到动态虚拟三维空间；
第四处理单元，用于根据所述用户需求将所述动态虚拟三维空间渲染为二维素材进行实时显示。
8.根据权利要求7所述的装置，其特征在于，
所述序列化神经网络为循环神经网络，所述循环神经网络的神经元具有记忆性；
所述循环神经网络用于预测时序序列。
9.根据权利要求7所述的装置，其特征在于，所述将所述三维信息在同一虚拟三维空间进行模拟运算和运行得到三维变化数据，包括：
根据所述三维可视化序列信息和三维空间信息模拟三维实体的动作，通过像素空间定位对所述三维实体进行动作同步，得到三维实体动作数据；
根据所述三维交互信息模拟三维实体在场景空间中产生的物理碰撞，得到三维实体碰撞数据；
根据所述三维光场信息识别三维实体的材质，得到三维实体材质数据；
根据所述三维声场信息模拟三维声场的变化，得到三维声场数据；
所述三维变化数据包括所述三维实体动作数据、三维实体碰撞数据、三维实体材质数据及三维声场数据。
10.根据权利要求7所述的装置，其特征在于，该装置还包括：
设置单元，用于设置三维仿真实体，将所述三维仿真实体投射至所述动态虚拟三维空间中，所述动态虚拟三维空间随着所述三维仿真实体的变化而变化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310536046.4A CN116301481A (zh) | 2023-05-12 | 2023-05-12 | 一种多复化可视承载互动方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310536046.4A CN116301481A (zh) | 2023-05-12 | 2023-05-12 | 一种多复化可视承载互动方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116301481A true CN116301481A (zh) | 2023-06-23 |
Family
ID=86781810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310536046.4A Pending CN116301481A (zh) | 2023-05-12 | 2023-05-12 | 一种多复化可视承载互动方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116301481A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018058601A1 (zh) * | 2016-09-30 | 2018-04-05 | 深圳达闼科技控股有限公司 | 虚拟与现实融合方法、系统和虚拟现实设备 |
| WO2021073416A1 (zh) * | 2019-10-18 | 2021-04-22 | 平安科技（深圳）有限公司 | 基于神经网络生成虚拟人物视频的方法及相关设备 |
| CN115337634A (zh) * | 2021-05-12 | 2022-11-15 | 智慧式有限公司 | 一种应用于餐食游戏类的vr系统及方法 |
| CN115390677A (zh) * | 2022-10-27 | 2022-11-25 | 江苏中车数字科技有限公司 | 一种基于虚拟现实的装配仿真人机工效评价系统及方法 |
| CN115686193A (zh) * | 2022-09-06 | 2023-02-03 | 北京理工大学 | 一种增强现实环境下虚拟模型三维手势操纵方法及系统 |
-
2023
- 2023-05-12 CN CN202310536046.4A patent/CN116301481A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018058601A1 (zh) * | 2016-09-30 | 2018-04-05 | 深圳达闼科技控股有限公司 | 虚拟与现实融合方法、系统和虚拟现实设备 |
| WO2021073416A1 (zh) * | 2019-10-18 | 2021-04-22 | 平安科技（深圳）有限公司 | 基于神经网络生成虚拟人物视频的方法及相关设备 |
| CN115337634A (zh) * | 2021-05-12 | 2022-11-15 | 智慧式有限公司 | 一种应用于餐食游戏类的vr系统及方法 |
| CN115686193A (zh) * | 2022-09-06 | 2023-02-03 | 北京理工大学 | 一种增强现实环境下虚拟模型三维手势操纵方法及系统 |
| CN115390677A (zh) * | 2022-10-27 | 2022-11-25 | 江苏中车数字科技有限公司 | 一种基于虚拟现实的装配仿真人机工效评价系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 温少国 等: "腾讯先锋数字互动云游戏平台虚实互动方案的设计与实现", 《广播与电视技术》, vol. 50, no. 3, pages 14 - 21 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7408048B2 (ja) | 人工知能に基づくアニメキャラクター駆動方法及び関連装置 | |
| CN110227266B (zh) | 使用真实世界虚拟现实地图来构建虚拟现实游戏玩耍环境 | |
| US20200404218A1 (en) | Merged reality live event management system and method | |
| CN112215927B (zh) | 人脸视频的合成方法、装置、设备及介质 | |
| KR102503413B1 (ko) | 애니메이션 인터랙션 방법, 장치, 기기 및 저장 매체 | |
| KR101964223B1 (ko) | 증강 및 가상 현실을 위한 시스템 및 방법 | |
| US11100695B1 (en) | Methods and systems for creating an immersive character interaction experience | |
| KR20190100348A (ko) | 로봇, 서버 및 인간-기계 상호 작용 방법 | |
| KR20230003059A (ko) | 2d 이미지로부터 3d 객체 메시의 템플릿 기반 생성 | |
| Montero et al. | Designing and implementing interactive and realistic augmented reality experiences | |
| CN111080759A (zh) | 一种分镜效果的实现方法、装置及相关产品 | |
| CN113709543A (zh) | 基于虚拟现实的视频处理方法、装置、电子设备和介质 | |
| CN116778058B (zh) | 一种智能展厅的智能交互系统 | |
| CN115442658B (zh) | 直播方法、装置、存储介质、电子设备及产品 | |
| CN116301481A (zh) | 一种多复化可视承载互动方法及装置 | |
| KR20200028830A (ko) | 실시간 cg 영상 방송 서비스 시스템 | |
| Soliman et al. | Artificial intelligence powered Metaverse: analysis, challenges and future perspectives | |
| CN117241063B (zh) | 基于虚拟现实技术的直播交互方法及系统 | |
| Liu | Light image enhancement based on embedded image system application in animated character images | |
| Ballin et al. | Personal virtual humans—inhabiting the TalkZone and beyond | |
| Suyanto et al. | Animation opportunities of intelligent multimedia systems in developing a creative economy park | |
| Brumley et al. | Bird Song Diamond in Deep Space 8k | |
| Warvik | Visualizing climate change in Virtual Reality to provoke behavior change | |
| Pike | " Make it so": Communal augmented reality and the future of theatre and performance | |
| CN116233513A (zh) | 虚拟现实直播间虚拟礼物特效播放处理方法、装置和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |