CN114327055A - 一种基于元宇宙vr/ar和ai技术的3d真人实时场景交互系统 - Google Patents
一种基于元宇宙vr/ar和ai技术的3d真人实时场景交互系统 Download PDFInfo
- Publication number
- CN114327055A CN114327055A CN202111594738.1A CN202111594738A CN114327055A CN 114327055 A CN114327055 A CN 114327055A CN 202111594738 A CN202111594738 A CN 202111594738A CN 114327055 A CN114327055 A CN 114327055A
- Authority
- CN
- China
- Prior art keywords
- module
- dimensional
- dimensional character
- model
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于元宇宙VR/AR和AI技术的3D真人实时场景交互系统，包括底层数字化空间模块,且与其他所有模块相连接，输入端对物理空间进行三维扫描，1:1克隆真实物理空间并转化为三维空间模型；三维人物数据模型模块进行三维人像表面轮廓的非接触式自动测量，转化为三维人物模型；终端控制模块分为管理端口与用户端口；语音控制模块编辑三维人物模型语音文本内容，通过AI智能语音识别技术生成实时音频，同步到三维人物数据模型模块；前端展示模块在三维空间模型内展示三维人物模型的动画动作与音频讲解。本发明通过将数字化真人模型投放于实景空间内，实现用户端与营销人员之间面对面，打破传统VR浏览的缺陷，实现数字化现实领域的新里程碑。
Description
技术领域
本发明涉及VR与现实场景交互技术领域，具体来说，涉及一种基于元宇宙VR/AR和AI技术的3D真人实时场景交互系统。
背景技术
目前，IDC机构发布的《VR产业研究白皮书》预计，到2024年中国商用VR市场规模将达到921.8亿，约为2020年的3.8倍。VR在商业场景中的应用很多，像地产行业、旅游导游行业、购物导购、行政咨询以及企业参观当中，另外，VR在房地产中的应用是其在商业场景中最具代表性的应用之一，无论对购房者、置业顾问又或者是房企的需求点却都是极为切合的。有数据显示，超过80%的用户选择使用VR看房，整体的用户停留时长较于之前提升了近3倍，看房后的转化率提升了近40%。目前市面上的VR看房有以下三种模式：
一种是使用全景单反相机拍摄图片，将图片进行360度弧形处理，仅通过单一图片进行视觉感知，不同图片之间进行切换，无法在空间内自由走动，不能呈现出深度信息，也无法进行交互；
第二种是针对期房所做的纯虚拟的VR体验，样板房完全通过建模来实现，但由于实体房还没有建成，这种虚拟样板间往往会让用户担心其最终的效果是否真实，能否和VR中体验到的完全一致；
第三种是基于实景空间使用三维扫描技术拍摄实现的，虽然看起来类似全景图片，但是场景可以呈现出带有深度感的信息，通过点到点的移动实现类似在房屋内走动的效果，在空间内进行全视角沉浸式漫游，能够对房间的尺寸、物体的大小有更强的把握。
以上三种VR模式，大多停留在空间场景展示，缺乏营销人员与用户之间立体化的同频互动，那么，为解决用户隔着屏幕感知的冰冷感和商业化，提升营销效率，颠覆传统空间场景展示，提供了一种新型的3D真人实景交互技术。
发明内容
针对相关技术中的上述技术问题，本发明提出一种基于元宇宙VR/AR和AI技术的3D真人实时场景交互系统，能够克服现有技术方法的上述不足。
为实现上述技术目的，本发明的技术方案是这样实现的：
一种基于元宇宙VR/AR和AI技术的3D真人实时场景交互系统，包括底层数字化空间模块、三维人物数据模型模块、终端控制模块、语音控制模块、前端展示模块，其中，
所述底层数字化空间模块，与三维人物数据模型模块、终端控制模块、语音控制模块以及前端展示模块相连接，通过接口接收端接收用户端控制台发出的动作与语音指令，输入端对物理空间进行三维扫描，集成数字图像处理、大数据、人工智能、传感测量及地理信息技术，1:1进行克隆真实的物理空间，并再将扫描的物理空间转化为三维空间模型；
所述三维人物数据模型模块，基于底层数字化空间技术，利用光学测量技术、图像处理技术、数字信号处理技术及Light Stage X技术进行三维人像表面轮廓的非接触式自动测量，并将扫描的实体人物转化为三维人物模型，将动画动作同步到三维人物模型，进而投放并插入到三维空间模块最终展示到前端展示模块展示给用户；
所述终端控制模块，分为管理端口与用户端口，所述管理端口通过界面控制器以矢量坐标与弧形旋转标形式编辑并调整或移动三维人物模型的位置、方向以及尺寸，所述位置、方向以及尺寸确定后投放到底层数字化空间模块；所述用户端口通过用户界面控制器开始进行播放真人带看，三维人物模型开始在底层数字化空间模块内进行动画动作以及音频讲话；
所述语音控制模块，基于底层数字化空间技术，通过用户界面的文本编辑器编辑三维人物模型语音文本内容，通过AI智能语音识别技术生成实时音频，对降噪、回声消除进行优化处理，同时，同步到三维人物数据模型模块；
所述前端展示模块，通过将语音控制模块的音频语音同步到三维人物模型来完成真人带看并回答用户询问或参与对话，在三维空间模型内进行展示三维人物模型的动画动作与音频讲解。
进一步地，所述进行三维人像表面轮廓的非接触自动测量时，还会对实体人物进行高分辨率的三维扫描，捕捉并展示面部细节与表情。
进一步地，所述三维扫描均是通过3D扫描仪或摄影测量进行扫描的。
进一步地，所述终端控制模块是基于底层数字化空间技术，利用输入输出终端设备与人交互和进行系统控制。
进一步地，用户通过界面元素在前端展示模块与三维人物模型进行互动，通过CGI技术切换三维人物模型的妆发、服装、配件及鞋子。
本发明的有益效果：通过将数字化真人模型投放于实景空间内，实现用户端与营销人员之间面对面，通过一对一或一对多的深度可视化视听结合交互系统，使客户端画面实时跟随管理端画面，让客户感觉更加直观立体与真实可靠，打破传统VR浏览的缺陷，实现数字化现实领域的新里程碑。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的基于元宇宙VR/AR和AI技术的3D真人实时场景交互系统的整体结构示意图。
图2是根据本发明实施例所述的基于元宇宙VR/AR和AI技术的3D真人实时场景交互系统的整体功能示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围，为了方便理解本发明的上述技术方案，以下通过具体使用方式上对本发明的上述技术方案进行详细说明。
如图1-2所示，根据本发明实施例所述的基于元宇宙VR/AR和AI技术的3D真人实时场景交互系统，包括底层数字化空间模块、三维人物数据模型模块、终端控制模块、语音控制模块以及前端展示模块。
所述底层数字化空间模块，通过接口接收端接收用户端控制台发出的动作与语音指令，输入端对物理空间进行三维扫描，集成数字图像处理、大数据、人工智能、传感测量及地理信息技术，1:1进行克隆真实的物理空间，并再将扫描的物理空间转化为三维空间模型，是与所述三维人物数据模型模块、终端控制模块、语音控制模块以及前端展示模块相连接，用户可在线全方位720度走动浏览，在8-10米的距离也能获得超过500万像素分辨率，实现可精确到厘米级的视觉体验。
所述三维人物数据模型模块，基于底层数字化空间技术，利用光学测量技术、图像处理技术、数字信号处理技术及Light Stage X技术进行三维人像表面轮廓的非接触式自动测量，并将扫描的实体人物转化为三维人物模型，对实体人物进行高分辨率(4112x3008)的三维扫描，捕捉并展示面部细节与表情。将动画动作同步到三维人物模型，进而投放并插入到三维空间模块最终展示到前端展示模块展示给用户。
上述所述的三维扫描均是通过3D扫描仪或摄影测量进行扫描的。
所述终端控制模块，分为管理端口与用户端口，所述管理端口通过界面控制器以矢量坐标与弧形旋转标形式编辑并调整或移动三维人物模型的位置、方向以及尺寸，所述位置、方向以及尺寸确定后投放到底层数字化空间模块；所述用户端口通过用户界面控制器开始进行播放真人带看，三维人物模型开始在底层数字化空间模块内进行动画动作以及音频讲话；所述终端控制模块是基于底层数字化空间技术，利用输入输出终端设备与人交互和进行系统控制。
所述语音控制模块，基于底层数字化空间技术，通过用户界面的文本编辑器编辑三维人物模型语音文本内容，通过AI智能语音识别技术生成实时音频，对降噪、回声消除进行优化处理，实现快速、高效、准确的语音识别及控制，发音标准清晰，准确率高达97%以上，同时，同步到三维人物数据模型模块。
所述前端展示模块，通过将语音控制模块的音频语音同步到三维人物模型来完成真人带看并回答用户询问或参与对话；在三维空间模型内，三维人物模型可以过渡到三维空间模型内任何位置进行展示动画动作与音频讲解，用户通过界面元素在前端展示模块与三维人物模型进行互动，通过CGI技术切换三维人物模型的妆发、服装、配件及鞋子。
综上所述，借助于本发明的上述技术方案，通过将数字化真人模型投放于实景空间内，实现用户端与营销人员之间面对面，通过一对一或一对多的深度可视化视听结合交互系统，使客户端画面实时跟随管理端画面，让客户感觉更加直观立体与真实可靠，打破传统VR浏览的缺陷，实现数字化现实领域的新里程碑；解决了企业营销与用户的痛点，提升效率与转化，实现了线下实体空间的线上数字化展示，让用户浏览实体空间不再受时空局限，三维人物模型增加了实体空间的真实感，提升使用体验，用户面对的不再是冰冷的屏幕，而是真实存在、有温度、有性格的人物形象，在线即可获取整体物理空间的所有信息，从项目全景到每一个局部的设计，除了背景音乐，还有解说音频全程跟随，犹如置业顾问陪伴左右，视听结合，沟通零距离，了解项目更简单，并且不会被销售人员获取到个人电话信息，减少不必要的电话骚扰。
对于企业来说，该系统的使用提升了企业形象，节省人工成本与人力资源，线上真人带看只需提前数字化三维人物模型并准备好话术，操作便捷，一次制作，多端口无限次使用，打造满足适配包括手机移动端、iPad、一体机、大屏在内的多终端，还可用作企业内部的人工培训资料；通过三维人物模型的互动可增加趣味性与互动体验，设置趣味小游戏线上领取线下兑换，吸引用户从线上转移到线下空间，直击客户需求，实现精细化管理，置业顾问线下服务更精准，进而促进进一步的成交。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于元宇宙VR/AR和AI技术的3D真人实时场景交互系统，其特征在于，包括底层数字化空间模块、三维人物数据模型模块、终端控制模块、语音控制模块、前端展示模块，其中，
所述底层数字化空间模块，与三维人物数据模型模块、终端控制模块、语音控制模块以及前端展示模块相连接，通过接口接收端接收用户端控制台发出的动作与语音指令，输入端对物理空间进行三维扫描，集成数字图像处理、大数据、人工智能、传感测量及地理信息技术，1:1进行克隆真实的物理空间，并再将扫描的物理空间转化为三维空间模型；
所述三维人物数据模型模块，基于底层数字化空间技术，利用光学测量技术、图像处理技术、数字信号处理技术及Light Stage X技术进行三维人像表面轮廓的非接触式自动测量，并将扫描的实体人物转化为三维人物模型，将动画动作同步到三维人物模型，进而投放并插入到三维空间模块最终展示到前端展示模块展示给用户；
所述终端控制模块，分为管理端口与用户端口，所述管理端口通过界面控制器以矢量坐标与弧形旋转标形式编辑并调整或移动三维人物模型的位置、方向以及尺寸，所述位置、方向以及尺寸确定后投放到底层数字化空间模块；所述用户端口通过用户界面控制器开始进行播放真人带看，三维人物模型开始在底层数字化空间模块内进行动画动作以及音频讲话；
所述语音控制模块，基于底层数字化空间技术，通过用户界面的文本编辑器编辑三维人物模型语音文本内容，通过AI智能语音识别技术生成实时音频，对降噪、回声消除进行优化处理，同时，同步到三维人物数据模型模块；
所述前端展示模块，通过将语音控制模块的音频语音同步到三维人物模型来完成真人带看并回答用户询问或参与对话，在三维空间模型内进行展示三维人物模型的动画动作与音频讲解。
2.根据权利要求1所述的基于元宇宙VR/AR和AI技术的3D真人实时场景交互系统，其特征在于，所述进行三维人像表面轮廓的非接触自动测量时，还会对实体人物进行高分辨率的三维扫描，捕捉并展示面部细节与表情。
3.根据权利要求1和2所述的基于元宇宙VR/AR和AI技术的3D真人实时场景交互系统，其特征在于，所述三维扫描均是通过3D扫描仪或摄影测量进行扫描的。
4.根据权利要求1所述的基于元宇宙VR/AR和AI技术的3D真人实时场景交互系统，其特征在于，所述终端控制模块是基于底层数字化空间技术，利用输入输出终端设备与人交互和进行系统控制。
5.根据权利要求1所述的基于元宇宙VR/AR和AI技术的3D真人实时场景交互系统，其特征在于，用户通过界面元素在前端展示模块与三维人物模型进行互动，通过CGI技术切换三维人物模型的妆发、服装、配件、鞋子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111594738.1A CN114327055A (zh) | 2021-12-23 | 2021-12-23 | 一种基于元宇宙vr/ar和ai技术的3d真人实时场景交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111594738.1A CN114327055A (zh) | 2021-12-23 | 2021-12-23 | 一种基于元宇宙vr/ar和ai技术的3d真人实时场景交互系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114327055A true CN114327055A (zh) | 2022-04-12 |
Family
ID=81012324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111594738.1A Pending CN114327055A (zh) | 2021-12-23 | 2021-12-23 | 一种基于元宇宙vr/ar和ai技术的3d真人实时场景交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114327055A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079651A (zh) * | 2023-10-08 | 2023-11-17 | 中国科学技术大学 | 一种基于大规模语言模型的语音交叉实时增强现实方法 |
| TWI829517B (zh) * | 2023-01-19 | 2024-01-11 | 中華電信股份有限公司 | 基於化身之互動系統、方法及電腦可讀媒介 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWM451605U (zh) * | 2012-08-03 | 2013-04-21 | Ya Technology Co Ltd | 多重模型的虛擬試衣平台 |
| US20170011745A1 (en) * | 2014-03-28 | 2017-01-12 | Ratnakumar Navaratnam | Virtual photorealistic digital actor system for remote service of customers |
| US20170124770A1 (en) * | 2014-03-15 | 2017-05-04 | Nitin Vats | Self-demonstrating object features and/or operations in interactive 3d-model of real object for understanding object's functionality |
| CN108492375A (zh) * | 2018-02-07 | 2018-09-04 | 链家网（北京）科技有限公司 | 一种虚拟现实看房方法及系统 |
| CN110211222A (zh) * | 2019-05-07 | 2019-09-06 | 谷东科技有限公司 | 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备 |
| US20200258315A1 (en) * | 2019-02-08 | 2020-08-13 | Dassault Systemes Solidworks Corporation | System and methods for mating virtual objects to real-world environments |
| US20200374645A1 (en) * | 2019-05-24 | 2020-11-26 | Zack Settel | Augmented reality platform for navigable, immersive audio experience |
| WO2021218547A1 (zh) * | 2020-04-26 | 2021-11-04 | 北京外号信息技术有限公司 | 用于在现实场景中叠加直播人物影像的方法和电子设备 |
-
2021
- 2021-12-23 CN CN202111594738.1A patent/CN114327055A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWM451605U (zh) * | 2012-08-03 | 2013-04-21 | Ya Technology Co Ltd | 多重模型的虛擬試衣平台 |
| US20170124770A1 (en) * | 2014-03-15 | 2017-05-04 | Nitin Vats | Self-demonstrating object features and/or operations in interactive 3d-model of real object for understanding object's functionality |
| US20170011745A1 (en) * | 2014-03-28 | 2017-01-12 | Ratnakumar Navaratnam | Virtual photorealistic digital actor system for remote service of customers |
| CN108492375A (zh) * | 2018-02-07 | 2018-09-04 | 链家网（北京）科技有限公司 | 一种虚拟现实看房方法及系统 |
| US20200258315A1 (en) * | 2019-02-08 | 2020-08-13 | Dassault Systemes Solidworks Corporation | System and methods for mating virtual objects to real-world environments |
| CN110211222A (zh) * | 2019-05-07 | 2019-09-06 | 谷东科技有限公司 | 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备 |
| US20200374645A1 (en) * | 2019-05-24 | 2020-11-26 | Zack Settel | Augmented reality platform for navigable, immersive audio experience |
| WO2021218547A1 (zh) * | 2020-04-26 | 2021-11-04 | 北京外号信息技术有限公司 | 用于在现实场景中叠加直播人物影像的方法和电子设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI829517B (zh) * | 2023-01-19 | 2024-01-11 | 中華電信股份有限公司 | 基於化身之互動系統、方法及電腦可讀媒介 |
| CN117079651A (zh) * | 2023-10-08 | 2023-11-17 | 中国科学技术大学 | 一种基于大规模语言模型的语音交叉实时增强现实方法 |
| CN117079651B (zh) * | 2023-10-08 | 2024-02-23 | 中国科学技术大学 | 一种基于大规模语言模型的语音交叉实时增强现实方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6801663B2 (en) | Method and apparatus for producing communication data, method and apparatus for reproducing communication data, and program storage medium | |
| CN110266992A (zh) | 一种基于增强现实的远程视频交互系统以及方法 | |
| CN114327055A (zh) | 一种基于元宇宙vr/ar和ai技术的3d真人实时场景交互系统 | |
| WO2022068479A1 (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109729372A (zh) | 直播间切换方法、装置、终端、服务器及存储介质 | |
| CN110930517A (zh) | 一种全景视频交互系统及方法 | |
| CN112261481B (zh) | 互动视频的创建方法、装置、设备及可读存储介质 | |
| US20130215214A1 (en) | System and method for managing avatarsaddressing a remote participant in a video conference | |
| CN109257589A (zh) | 远程三维扫描全息动画特效生成立显系统及其方法 | |
| CN114359520A (zh) | 元宇宙系统及其交互方法 | |
| TW202205176A (zh) | 用於在現實場景中疊加直播人物影像的方法和電子設備 | |
| CN114463470A (zh) | 虚拟空间浏览方法、装置、电子设备和可读存储介质 | |
| CN114415907A (zh) | 媒体资源显示方法、装置、设备及存储介质 | |
| CN114143494A (zh) | 一种视频通信方法、电子设备和通信系统 | |
| CN112423142B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| WO2021052074A1 (zh) | 一种与图像互动的方法、装置、介质和电子设备 | |
| WO2023241377A1 (zh) | 视频数据的处理方法、装置、设备、系统及存储介质 | |
| WO2023241154A1 (zh) | 基于信息流广告的互动方法、装置、设备及介质 | |
| Sun et al. | Video Conference System in Mixed Reality Using a Hololens | |
| CN116016837A (zh) | 一种沉浸式虚拟网络会议方法和装置 | |
| CN115174954A (zh) | 视频直播方法、装置、电子设备以及存储介质 | |
| CN116962748A (zh) | 连麦直播的视频图像渲染方法、装置及视频直播系统 | |
| CN213122956U (zh) | 一种多媒体互动照片墙装置 | |
| CN114862504A (zh) | 信息展示方法、装置、终端及介质 | |
| CN111800599A (zh) | 基于智能眼镜进行数据流获取和显示的方法及智能眼镜 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220412 |
|
| RJ01 | Rejection of invention patent application after publication |