CN113703583A - 一种多模态交叉融合的虚拟影像融合系统、方法、装置 - Google Patents
一种多模态交叉融合的虚拟影像融合系统、方法、装置 Download PDFInfo
- Publication number
- CN113703583A CN113703583A CN202111047811.3A CN202111047811A CN113703583A CN 113703583 A CN113703583 A CN 113703583A CN 202111047811 A CN202111047811 A CN 202111047811A CN 113703583 A CN113703583 A CN 113703583A
- Authority
- CN
- China
- Prior art keywords
- information
- environment
- virtual
- scene
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 230000003993 interaction Effects 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 230000009471 action Effects 0.000 claims description 49
- 210000003414 extremity Anatomy 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 13
- 210000002683 foot Anatomy 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 210000005252 bulbus oculi Anatomy 0.000 claims description 5
- 238000004088 simulation Methods 0.000 claims description 5
- 241000203475 Neopanax arboreus Species 0.000 claims description 4
- 210000003423 ankle Anatomy 0.000 claims description 4
- 210000000245 forearm Anatomy 0.000 claims description 4
- 210000000689 upper leg Anatomy 0.000 claims description 4
- 210000000707 wrist Anatomy 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 claims description 2
- 210000001699 lower leg Anatomy 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 24
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000007654 immersion Methods 0.000 abstract description 5
- 230000008447 perception Effects 0.000 abstract description 4
- 230000007613 environmental effect Effects 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种多模态交叉融合的虚拟影像融合系统、方法、装置，属于虚拟影像融合技术领域，所述系统包括环境多模态信息获取模块、实时演算模块、肢体多模态信息获取模块、融合分析模块、接入交互模块；本发明的优点在于其利用多模态交叉融合的技术，将实体环境中的环境进行感知，用于在一定空间范围内识别物体和人在空间中的相对位置关系，以及对物体进行数字化，使得用户通过虚拟增强设备等手段，利用本系统实现在空间内虚拟与现实的融合；藉由环境感知技术，在虚拟空间中加入真实环境的元素，提高虚拟空间的真实性，即通过在虚拟空间中加入真实元素，提升用户在虚拟空间中的沉浸感。
Description
技术领域
本发明属于虚拟影像融合技术领域，特别涉及一种多模态交叉融合的虚拟影像融合系统、方法、装置。
背景技术
虚拟现实技术(英文名称：Virtual Reality，缩写为VR)，是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求日益旺盛。VR技术也取得了巨大进步，并逐步成为一个新的科学技术领域。
增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
混合现实是一组技术组合，不仅提供新的观看方法，还提供新的输入方法，而且所有方法相互结合，从而推动创新。输入和输出的结合对中小型企业而言是关键的差异化优势。这样，混合现实就可以直接影响您的工作流程，帮助您和您的员工提高工作效率和创新能力。让我们来看一些可行的方案，了解其工作原理和对有何助益。混合现实技术(MR)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
上述三种技术代表着目前虚拟技术的三个不同的阶段，目前虚拟现实技术已经广泛流行，但其缺点在于所有的场景都基于已构建好的场景下进行，实际空间的场景与虚拟空间的场景并不匹配对应；增强现实更像一种投射技术，将虚拟的人物或场景投射至真实空间，实现真实空间的增强；混合现实则是将两种技术进行整合，是构建虚拟空间的最重要的技术；混合现实的意义在于将虚拟世界与真实世界进行混合，使得人通过智能设备既能够体验虚拟世界的场景，也能够通过映射等技术实现在虚拟世界中与真实世界的物体进行交互或与虚拟NPC角色的交互，目前混合现实技术还处在初级阶段，许多研究尚属于空白；因此申请人提出一种多模态交叉融合的虚拟影像融合系统、方法、装置。
发明内容
(一)要解决的技术问题
本发明的目的有三个，一是利用多模态技术提出一种虚拟影像融合系统；二是基于虚拟影像融合系统提出一种多模态交叉融合的方法；三是基于系统中的多模态信息获取模块构建一种用于多模态信息获取的装置。
(二)技术方案
本发明通过如下技术方案实现：一种多模态交叉融合的虚拟影像融合系统所述系统包括：
环境多模态信息获取模块：用于获取多个模块感知设备感知现实场景环境信息；
实时演算模块：用于基于环境多模态信息获取模块实时演算构建虚拟场景；
肢体多模态信息获取模块：用于获取多个模块感知设备感知人体肢体信息；
融合分析模块：用于对上述各模块获取的多模态信息进行融合，包括虚拟场景与实际场景的融合及虚拟物与真实人体的映射，并做出相应的决策反馈；
接入交互模块：用于接入外置的显示模块，实现可视化交互。
作为上述方案的进一步说明，所述环境多模态信息获取模块获取的多模态信息包括场景建立的面积大小、环境内物品信息、环境内温度信息、环境内人员信息、环境内声音信息。
作为上述方案的进一步说明，所述实时演算模块基于场景建立的面积大小、环境内物品信息、环境内温度信息、环境内人员信息、环境内声音信息对应构建虚拟场景的大小、虚拟障碍物的建立、虚拟温度信息的映射模拟、虚拟人物的构建映射、环境内声音信息的反馈。
作为上述方案的进一步说明，所述肢体多模态信息获取模块获取的信息包括人体的肢体动作信息、眼球动态追踪、皮肤温度实时信息、手部动作信息、脚部动作信息、表情信息、身高信息、体重信息、语音信息。
作为上述方案的进一步说明，所述人体的肢体动作信息为上臂动作信息、前臂动作信息、大腿动作信息、小腿动作信息、躯干动作信息；
所述手部动作信息为五指动作信息、手腕动作信息；
所述脚部动作信息为脚腕动作信息、脚掌动作信息。
本发明还提出一种多模态交叉融合的虚拟影像融合方法，所述方法包括：
实际环境场景的扫描及识别，获取多模态信息；
基于场景环境的多模态信息实时演算建立虚拟场景；
将实际环境与虚拟环境进行融合、分析并生成决策信息并进行反馈；
通过肢体多模态信息实时演算构建虚拟人物；
基于虚拟场景与实际人物的交叉融合，在虚拟场景中嵌入虚拟人物，并生成决策信息并进行反馈；
通过接入外置的显示模块，将上述交叉融合的虚拟场景与虚拟人物进行反馈，实现可视化交互。
作为上述方案的进一步说明，所述外置的显示模块包括VR装置、AR装置、MR装置。
作为上述方案的进一步说明，所述决策信息包括场景气候、非真人角色、语音关键词。
本发明还提出一种多模态交叉融合的虚拟影像融合装置，其特征在于，所述装置至少包括一个扫描装置、通讯装置、语音装置、处理器、存储装置、多源接口；所述存储装置用于存储扫描装置、语音装置获取的场景建立的面积大小、环境内物品信息、环境内温度信息、环境内人员信息、环境内声音信息；所述通讯装置用于构建云端计算与融合装置、融合装置与外置显示模块的通讯；所述多源接口用于连接非无线通讯的外置设备。
作为上述方案的进一步说明，所述处理器用于调用存储装置存储的信息、指令及云端计算指令实现场景的实时演算及融合分析。
(三)有益效果
本发明相对于现有技术，具有以下有益效果：本发明的优点在于其利用多模态交叉融合的技术，将实体环境中的环境进行感知，用于在一定空间范围内识别物体和人在空间中的相对位置关系，以及对物体进行数字化，使得用户通过虚拟增强设备等手段，利用本系统实现在空间内虚拟与现实的融合；藉由环境感知技术，在虚拟空间中加入真实环境的元素，提高虚拟空间的真实性，即通过在虚拟空间中加入真实元素，提升用户在虚拟空间中的沉浸感。
具体实施方式
一种多模态交叉融合的虚拟影像融合系统所述系统包括：
环境多模态信息获取模块：用于获取多个模块感知设备感知现实场景环境信息；
实时演算模块：用于基于环境多模态信息获取模块实时演算构建虚拟场景；
肢体多模态信息获取模块：用于获取多个模块感知设备感知人体肢体信息；
融合分析模块：用于对上述各模块获取的多模态信息进行融合，包括虚拟场景与实际场景的融合及虚拟物与真实人体的映射，并做出相应的决策反馈；
接入交互模块：用于接入外置的显示模块，实现可视化交互。
其中，所述环境多模态信息获取模块获取的多模态信息包括场景建立的面积大小、环境内物品信息、环境内温度信息、环境内人员信息、环境内声音信息。
其中，所述实时演算模块基于场景建立的面积大小、环境内物品信息、环境内温度信息、环境内人员信息、环境内声音信息对应构建虚拟场景的大小、虚拟障碍物的建立、虚拟温度信息的映射模拟、虚拟人物的构建映射、环境内声音信息的反馈。
其中，所述肢体多模态信息获取模块获取的信息包括人体的肢体动作信息、眼球动态追踪、皮肤温度实时信息、手部动作信息、脚部动作信息、表情信息、身高信息、体重信息、语音信息。
其中，所述人体的肢体动作信息为上臂动作信息、前臂动作信息、大腿动作信息、小腿动作信息、躯干动作信息；
所述手部动作信息为五指动作信息、手腕动作信息；
所述脚部动作信息为脚腕动作信息、脚掌动作信息。
一种多模态交叉融合的虚拟影像融合方法，所述方法包括：
实际环境场景的扫描及识别，获取多模态信息；
基于场景环境的多模态信息实时演算建立虚拟场景；
将实际环境与虚拟环境进行融合、分析并生成决策信息并进行反馈；
通过肢体多模态信息实时演算构建虚拟人物；
基于虚拟场景与实际人物的交叉融合，在虚拟场景中嵌入虚拟人物，并生成决策信息并进行反馈；
通过接入外置的显示模块，将上述交叉融合的虚拟场景与虚拟人物进行反馈，实现可视化交互。
其中，所述外置的显示模块包括VR装置、AR装置、MR装置。
其中，所述决策信息包括场景气候、非真人角色、语音关键词。
一种多模态交叉融合的虚拟影像融合装置，其特征在于，所述装置至少包括一个扫描装置、通讯装置、语音装置、处理器、存储装置、多源接口；所述存储装置用于存储扫描装置、语音装置获取的场景建立的面积大小、环境内物品信息、环境内温度信息、环境内人员信息、环境内声音信息；所述通讯装置用于构建云端计算与融合装置、融合装置与外置显示模块的通讯；所述多源接口用于连接非无线通讯的外置设备。
其中，所述处理器用于调用存储装置存储的信息、指令及云端计算指令实现场景的实时演算及融合分析。
工作原理：
本发明意在针提供一种现实与虚拟影像融合系统，其目的在于利用多模态交叉融合的技术，将实体环境中的环境进行感知，用于在一定空间范围内识别物体和人在空间中的相对位置关系，以及对物体进行数字化，使得用户通过虚拟增强设备等手段，利用本系统实现在空间内虚拟与现实的融合；藉由环境感知技术，在虚拟空间中加入真实环境的元素，提高虚拟空间的真实性，即通过在虚拟空间中加入真实元素，提升用户在虚拟空间中的沉浸感。
本发明提出的系统包括：
环境多模态信息获取模块：用于获取多个模块感知设备感知现实场景环境信息；所述环境多模态信息获取模块获取的多模态信息包括场景建立的面积大小、环境内物品信息、环境内温度信息、环境内人员信息、环境内声音信息。在本发明中适用于空间在10m2-25m2以内的范围，若要扩大使用范围则需要增设本发明在后续提出的装置，扩大整个空间内的感知范围；
实时演算模块：用于基于环境多模态信息获取模块实时演算构建虚拟场景；实时演算模块基于场景建立的面积大小、环境内物品信息、环境内温度信息、环境内人员信息、环境内声音信息对应构建虚拟场景的大小、虚拟障碍物的建立、虚拟温度信息的映射模拟、虚拟人物的构建映射、环境内声音信息的反馈。例如根据室内的面积，利用实时演算模块构建虚拟的室内场景，同时识别室内的信息，将真实的物品虚拟化，例如桌面上的杯子转化为虚拟的影像，这时使用者虽然用手触摸到的是一个杯子，但通过虚拟增强设备观察到的是数字化后物品；通过实时演算进行数字化，提升画面的真实感。
肢体多模态信息获取模块：用于获取多个模块感知设备感知人体肢体信息；所述肢体多模态信息获取模块获取的信息包括人体的肢体动作信息、眼球动态追踪、皮肤温度实时信息、手部动作信息、脚部动作信息、表情信息、身高信息、体重信息、语音信息。此步骤的目的在于单独的利用环境多模态信息获取模块只能识别场景的二维影像，而人所处的空间为三维空间，单独依靠环境多模态信息获取模块难以全方面的获取整个环境的空间信息，如果多设立环境多模态信息获取模块也只能扩展识别的空间大小，并不能应对一些场景的死角等，因此本系统提出肢体多模态信息获取模块，通过该模块人体的肢体动作信息、眼球动态追踪、皮肤温度实时信息、手部动作信息、脚部动作信息、表情信息、身高信息、体重信息、语音信息，这些信息可以实现对人体综合信息提取的同时，对于人眼范围内的环境进行实时演算，将人本身作为一个感知模块，把人和景的识别进行融合杂糅，利用实时演算模块建立完整的三维空间形态，同时利用肢体多模态信息获取模块的目的在于为了更好的提高沉浸感，利用该模块可以将人视角中的自己进行虚拟化，例如更换人物模型等。因此在该模块中人体的肢体动作信息识别的范围包括上臂动作信息、前臂动作信息、大腿动作信息、小腿动作信息、躯干动作信息；为了保证实时演算的结果及真实性还加入手部动作信息的识别包括五指动作信息、手腕动作信息以及脚部动作信息包括脚腕动作信息、脚掌动作信息。最后利用融合分析模块：用于对上述各模块获取的多模态信息进行融合，包括虚拟场景与实际场景的融合及虚拟物与真实人体的映射，并做出相应的决策反馈；例如在虚拟空间下将真实的杯子构建为虚拟物品，将真实物品进行映射，使得人在观察或者互动时观察到的是虚拟物品，而不仅仅只是个普通的杯子。而接入交互模块：用于接入外置的显示模块，实现可视化交互；该模块的用途在于提供一种接口用于接入现有的虚拟增强设备，本系统依托于虚拟增强设备，而该模块的用途就是将本系统接入虚拟增强设备，通过虚拟增强设备为用户提供本系统所要实现的场景
综上所述，本发明针对虚拟环境与人工智能交互的方法，具体的提出一种多模态交叉融合的虚拟影像融合方法，所述方法包括：
实际环境场景的扫描及识别，获取多模态信息；
基于场景环境的多模态信息实时演算建立虚拟场景；
将实际环境与虚拟环境进行融合、分析并生成决策信息并进行反馈；
通过肢体多模态信息实时演算构建虚拟人物；
基于虚拟场景与实际人物的交叉融合，在虚拟场景中嵌入虚拟人物，并生成决策信息并进行反馈；
通过接入外置的显示模块，将上述交叉融合的虚拟场景与虚拟人物进行反馈，实现可视化交互。
其中，所述决策信息包括场景气候、非真人角色、语音关键词。
上述所谓的决策信息的场景气候是基于空间范围内的场景信息进行虚拟搭建的，而语音关键词用于实现人与虚拟人物的交互；非真人角色即NPC，用于实现人在虚拟空间中的虚拟交互交流。
针对环境多模态信息获取模块，本发明提出一种多模态交叉融合的虚拟影像融合装置，其特征在于，所述装置至少包括一个扫描装置、通讯装置、语音装置、处理器、存储装置、多源接口；所述存储装置用于存储扫描装置、语音装置获取的场景建立的面积大小、环境内物品信息、环境内温度信息、环境内人员信息、环境内声音信息；所述通讯装置用于构建云端计算与融合装置、融合装置与外置显示模块的通讯；所述多源接口用于连接非无线通讯的外置设备。所述处理器用于调用存储装置存储的信息、指令及云端计算指令实现场景的实时演算及融合分析。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种多模态交叉融合的虚拟影像融合系统，其特征在于，所述系统包括：
环境多模态信息获取模块：用于获取多个模块感知设备感知现实场景环境信息；
实时演算模块：用于基于环境多模态信息获取模块实时演算构建虚拟场景；
肢体多模态信息获取模块：用于获取多个模块感知设备感知人体肢体信息；
融合分析模块：用于对上述各模块获取的多模态信息进行融合，包括虚拟场景与实际场景的融合及虚拟物与真实人体的映射，并做出相应的决策反馈；
接入交互模块：用于接入外置的显示模块，实现可视化交互。
2.如权利要求1所述的一种多模态交叉融合的虚拟影像融合系统，其特征在于：所述环境多模态信息获取模块获取的多模态信息包括场景建立的面积大小、环境内物品信息、环境内温度信息、环境内人员信息、环境内声音信息。
3.如权利要求1或2所述的一种多模态交叉融合的虚拟影像融合系统，其特征在于：所述实时演算模块基于场景建立的面积大小、环境内物品信息、环境内温度信息、环境内人员信息、环境内声音信息对应构建虚拟场景的大小、虚拟障碍物的建立、虚拟温度信息的映射模拟、虚拟人物的构建映射、环境内声音信息的反馈。
4.如权利要求1所述的一种多模态交叉融合的虚拟影像融合系统，其特征在于：所述肢体多模态信息获取模块获取的信息包括人体的肢体动作信息、眼球动态追踪、皮肤温度实时信息、手部动作信息、脚部动作信息、表情信息、身高信息、体重信息、语音信息。
5.如权利要求4所述的一种多模态交叉融合的虚拟影像融合系统，其特征在于：所述人体的肢体动作信息为上臂动作信息、前臂动作信息、大腿动作信息、小腿动作信息、躯干动作信息；
所述手部动作信息为五指动作信息、手腕动作信息；
所述脚部动作信息为脚腕动作信息、脚掌动作信息。
6.一种多模态交叉融合的虚拟影像融合方法，其特征在于，所述方法包括：
实际环境场景的扫描及识别，获取多模态信息；
基于场景环境的多模态信息实时演算建立虚拟场景；
将实际环境与虚拟环境进行融合、分析并生成决策信息并进行反馈；
通过肢体多模态信息实时演算构建虚拟人物；
基于虚拟场景与实际人物的交叉融合，在虚拟场景中嵌入虚拟人物，并生成决策信息并进行反馈；
通过接入外置的显示模块，将上述交叉融合的虚拟场景与虚拟人物进行反馈，实现可视化交互。
7.如权利要求6所述的一种多模态交叉融合的虚拟影像融合方法，其特征在于：所述外置的显示模块包括VR装置、AR装置、MR装置。
8.如权利要求6所述的一种多模态交叉融合的虚拟影像融合方法，其特征在于：所述决策信息包括场景气候、非真人角色、语音关键词。
9.一种多模态交叉融合的虚拟影像融合装置，其特征在于，所述装置至少包括一个扫描装置、通讯装置、语音装置、处理器、存储装置、多源接口；所述存储装置用于存储扫描装置、语音装置获取的场景建立的面积大小、环境内物品信息、环境内温度信息、环境内人员信息、环境内声音信息；所述通讯装置用于构建云端计算与融合装置、融合装置与外置显示模块的通讯；所述多源接口用于连接非无线通讯的外置设备。
10.如权利要求9所述的一种多模态交叉融合的虚拟影像融合装置，其特征在于：所述处理器用于调用存储装置存储的信息、指令及云端计算指令实现场景的实时演算及融合分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111047811.3A CN113703583A (zh) | 2021-09-08 | 2021-09-08 | 一种多模态交叉融合的虚拟影像融合系统、方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111047811.3A CN113703583A (zh) | 2021-09-08 | 2021-09-08 | 一种多模态交叉融合的虚拟影像融合系统、方法、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113703583A true CN113703583A (zh) | 2021-11-26 |
Family
ID=78659172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111047811.3A Pending CN113703583A (zh) | 2021-09-08 | 2021-09-08 | 一种多模态交叉融合的虚拟影像融合系统、方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113703583A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114973826A (zh) * | 2022-05-16 | 2022-08-30 | 安徽伟合电子科技有限公司 | 一种基于教学任务的场景训练仿真系统 |
| WO2023137776A1 (zh) * | 2022-01-24 | 2023-07-27 | 东北大学 | 滑雪场环境要素云端实时链接的元宇宙滑雪系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106502388A (zh) * | 2016-09-26 | 2017-03-15 | 惠州Tcl移动通信有限公司 | 一种互动式运动方法及头戴式智能设备 |
| CN107765852A (zh) * | 2017-10-11 | 2018-03-06 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及系统 |
| CN108334199A (zh) * | 2018-02-12 | 2018-07-27 | 华南理工大学 | 基于增强现实的移动式多模态交互方法及装置 |
| CN110362209A (zh) * | 2019-07-23 | 2019-10-22 | 辽宁向日葵教育科技有限公司 | 一种mr混合现实智能感知交互系统 |
| CN110544315A (zh) * | 2019-09-06 | 2019-12-06 | 北京华捷艾米科技有限公司 | 虚拟对象的控制方法及相关设备 |
| CN112115823A (zh) * | 2020-09-07 | 2020-12-22 | 江苏瑞科科技有限公司 | 一种基于情感化身的混合现实协同系统 |
-
2021
- 2021-09-08 CN CN202111047811.3A patent/CN113703583A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106502388A (zh) * | 2016-09-26 | 2017-03-15 | 惠州Tcl移动通信有限公司 | 一种互动式运动方法及头戴式智能设备 |
| CN107765852A (zh) * | 2017-10-11 | 2018-03-06 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及系统 |
| CN108334199A (zh) * | 2018-02-12 | 2018-07-27 | 华南理工大学 | 基于增强现实的移动式多模态交互方法及装置 |
| CN110362209A (zh) * | 2019-07-23 | 2019-10-22 | 辽宁向日葵教育科技有限公司 | 一种mr混合现实智能感知交互系统 |
| CN110544315A (zh) * | 2019-09-06 | 2019-12-06 | 北京华捷艾米科技有限公司 | 虚拟对象的控制方法及相关设备 |
| CN112115823A (zh) * | 2020-09-07 | 2020-12-22 | 江苏瑞科科技有限公司 | 一种基于情感化身的混合现实协同系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023137776A1 (zh) * | 2022-01-24 | 2023-07-27 | 东北大学 | 滑雪场环境要素云端实时链接的元宇宙滑雪系统 |
| CN114973826A (zh) * | 2022-05-16 | 2022-08-30 | 安徽伟合电子科技有限公司 | 一种基于教学任务的场景训练仿真系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106980385B (zh) | 一种虚拟装配装置、系统及方法 | |
| CN103400119B (zh) | 基于人脸识别技术的混合显示眼镜交互展示方法 | |
| Magnenat-Thalmann et al. | Handbook of virtual humans | |
| CN105389539B (zh) | 一种基于深度数据的三维手势姿态估计方法及系统 | |
| Mori et al. | Recovering 3d human body configurations using shape contexts | |
| CN110162163B (zh) | 一种基于体感和vr技术的虚拟消防演练方法及系统 | |
| CN102908772B (zh) | 利用增强现实技术的上肢康复训练系统 | |
| CN109003301A (zh) | 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练系统 | |
| CN108509026B (zh) | 基于增强交互方式的远程维修支持系统及方法 | |
| US11823316B2 (en) | Photoreal character configurations for spatial computing | |
| CN106484115A (zh) | 用于增强和虚拟现实的系统和方法 | |
| CN113703583A (zh) | 一种多模态交叉融合的虚拟影像融合系统、方法、装置 | |
| CN103207667B (zh) | 一种人机互动的控制方法及其运用 | |
| CN109859324A (zh) | 一种基于虚拟人的动作教学方法及装置 | |
| Obdržálek et al. | Real-time human pose detection and tracking for tele-rehabilitation in virtual reality | |
| CN105107200A (zh) | 基于实时深度体感交互与增强现实技术的变脸系统及方法 | |
| Zhou et al. | Application development of dance pose recognition based on embedded artificial intelligence equipment | |
| Liu et al. | Skeleton tracking based on Kinect camera and the application in virtual reality system | |
| CN109426336A (zh) | 一种虚拟现实辅助选型设备 | |
| Tian et al. | Design and implementation of dance teaching system based on Unity3D | |
| CN111881807A (zh) | 基于人脸建模及表情追踪的vr会议控制系统及方法 | |
| CN116485953A (zh) | 数据处理方法、装置、设备和可读存储介质 | |
| Wang et al. | Real-time control of 3D virtual human motion using a depth-sensing camera for agricultural machinery training | |
| CN109917907B (zh) | 一种基于卡片的动态故事板交互方法 | |
| Thalmann et al. | Participant, user-guided and autonomous actors in the virtual life network VLNET |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |