CN215833949U - 一种基于虚幻引擎4的3d实时渲染交互系统 - Google Patents

Abstract

本实用新型公开了一种基于虚幻引擎4的3D实时渲染交互系统，通过设置交互信息采集模块用于采集用户的交互信息并进行识别，转换成识别结果信息发送给服务器，通过设置的服务器进行调取对应的文件如3D模型、音频等发送给实时渲染引擎，通过实时渲染引擎进行渲染得到渲染内容，最后通过展示终端展示在用户面前，设置的基于虚幻引擎4的实时渲染引擎提高了渲染性能和处理速度，整个交互系统能够对多种形式的互动进行处理，并及时反馈给用户，具有良好的交互效果，提高了用户的交互体验。

Description

一种基于虚幻引擎4的3D实时渲染交互系统

技术领域

本实用新型涉及人机交互技术领域。更具体地说，本实用新型涉及一种基于虚幻引擎4的3D实时渲染交互系统。

背景技术

交互，即交流互动，是很多互联网平台追求打造的一个功能状态，通过某个具有交互功能的互联网平台，让用户在上面不仅可以获得相关资讯、信息或服务，还能使用户与用户之间或用户与平台之间相互交流与互动，从而碰撞出更多的创意、思想和需求等。现在交互功能应用的越来越多，如教学系统、展览系统中，良好的交互系统需要具备反应准备、反应快的特点，但现有的普通的交互系统反馈形式单一，仅能进行语音上的交互或影像上的交互，且互动时容易存在卡顿的情况，为此需要对现有的交互系统进行改进，提高交互效果。

实用新型内容

本实用新型的目的是提供一种基于虚幻引擎4的3D实时渲染交互系统，以解决现有技术中交互系统的运行效率低、交互效果差的技术问题。

为了实现根据本实用新型的这些目的和其它优点，提供了一种基于虚幻引擎4的3D实时渲染交互系统，包括交互信息采集模块、服务器、实时渲染引擎和展示终端，交互信息采集模块包括分别与所述服务器电连接的语音抓取模块和手势识别模块，所述语音抓取模块用于采集并识别语音，并将语音识别结果传送给所述服务器，所述手势识别模块用于采集并识别手势，并将手势识别结果传送给所述服务器，所述服务器内存储有与手势识别结果对应的3D模型和与语音识别结果对应的音频，所述服务器分别与所述实时渲染引擎、所述展示终端电连接，用于提取对应的3D模型和音频发送给所述实时渲染引擎进行渲染，并将渲染内容发送给所述展示终端进行显示和播放。

优选的是，所述服务器包括处理器，所述处理器连接有USB接口，通过所述USB接口导入音频、3D模型并传送给所述处理器，所述处理器用于存储音频、3D模型并将与手势识别结果信息对应的3D模型和与语音识别结果信息对应的音频发送给所述实时渲染引擎获取所述渲染内容，并将所述渲染内容发送给所述展示终端。

优选的是，所述服务器还包括顺次电连接在所述USB接口与所述处理器之间的交互信号编码器、解码器、信息分拣器，所述USB接口还用于导入手势图像、视频，所述交互信号编码器用于将音频、手势图像、视频、3D模型进行编码，所述解码器用于将编码后的音频、手势图像、视频、3D模型进行解码并传送给所述信息分拣器，所述信息分拣器用于对解码后的音频、手势图像、视频、3D模型进行信息分类处理，并传送给所述处理器，所述处理器用于提取与手势识别结果对应的手势图像、视频、3D模型和与语音识别结果对应的音频并发送给所述实时渲染引擎获取所述渲染内容。

优选的是，所述语音抓取模块包括相互之间有线或无线进行连接的声音采集模块和语音识别模块，所述声音采集模块用于采集语音信息并发送至所述语音识别模块，所述语音识别模块用于识别语音信息并将识别结果信号发送至所述服务器。

优选的是，所述声音采集模块包括顺次电连接的拾音器、滤波器、语音降噪模块、存储模块，所述存储模块与所述语音识别模块电连接。

本实用新型至少包括以下有益效果：本实用新型通过设置交互信息采集模块用于采集用户的交互信息并进行识别，转换成识别结果信息发送给服务器，通过设置的服务器进行调取对应的文件如3D模型、音频等发送给实时渲染引擎，通过实时渲染引擎进行渲染得到渲染内容，最后通过展示终端展示在用户面前，设置的基于虚幻引擎4的实时渲染引擎提高了渲染性能和处理速度，整个交互系统能够对多种形式的互动进行处理，并及时反馈给用户，具有良好的交互效果，提高了用户的交互体验。

本实用新型的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本实用新型的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本实用新型的结构示意图；

图2为本实用新型的声音采集模块的结构示意图。

具体实施方式

下面结合附图对本实用新型做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，此处所描述的具体实施方式仅仅用以解释本实用新型，并不用于限定本实用新型。需要说明的是，本实用新型的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便一系列单元的过程、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他单元。

如图1所示，本实用新型的一种基于虚幻引擎4的3D实时渲染交互系统，包括交互信息采集模块、服务器、实时渲染引擎和展示终端，交互信息采集模块包括分别与所述服务器电连接的语音抓取模块和手势识别模块，所述语音抓取模块用于采集并识别语音，并将语音识别结果传送给所述服务器，所述手势识别模块用于采集并识别手势，并将手势识别结果传送给所述服务器，所述服务器内存储有与手势识别结果对应的3D模型和与语音识别结果对应的音频，所述服务器分别与所述实时渲染引擎、所述展示终端电连接，用于提取对应的3D模型和音频发送给所述实时渲染引擎进行渲染，并将渲染内容发送给所述展示终端进行显示和播放。

当用户准备进行交互时，通过设置的交互信息采集模块对交互信息进行收集，即一方面通过语音向交互系统提出交互要求，另一方面作出在手势识别模块能识别类型范围内的手势，语音方面通过交互系统设置的语音抓取模块进行采集和识别，并将语音识别结果信号传送给服务器，服务器内部先存有音频、与语音识别结果信号对应的音频指令，在接收到语音识别结果信号时，提取对应的音频，手势方面，通过交互系统的手势识别模块进行采集和识别，并将手势识别结果信号传送给服务器，服务器内页先存有3D模型及与手势识别结果信号对应的3D模型指令，当接收到手势识别结果信号时，提取对应的3D模型，再通过设置的实时渲染引擎进行渲染，实时渲染引擎可选择(Unreal Engine 4)虚幻引擎4，具有良好的交互性、易用性和即时渲染的效果，对3D模型渲染后得到的3D动画视频与音频合成最终由展示终端展示，即如包括显示屏进行视频的显示和喇叭进行音频的播放形式，能够获得流畅、反应速度快、良好的交互效果。

在另一种技术方案中，如图1所示，所述服务器包括处理器，所述处理器连接有USB接口，通过所述USB接口导入音频、3D模型并传送给所述处理器，所述处理器用于存储音频、3D模型并将与手势识别结果信息对应的3D模型和与语音识别结果信息对应的音频发送给所述实时渲染引擎获取所述渲染内容，并将所述渲染内容发送给所述展示终端。

通过USB接口可很方便的快速导入准备好的3D模型、音频等各种形式的文件，便于后续服务器调取对应的文件发送给实时渲染引擎进行渲染，服务器可为微型计算机，通过服务器存储音频、3D模型等文件，作为中转站将内容提供给实时渲染引擎进行渲染。

在另一种技术方案中，如图1所示，所述服务器还包括顺次电连接在所述USB接口与所述处理器之间的交互信号编码器、解码器、信息分拣器，所述USB接口还用于导入手势图像、视频，所述交互信号编码器用于将音频、手势图像、视频、3D模型进行编码，所述解码器用于将编码后的音频、手势图像、视频、3D模型进行解码并传送给所述信息分拣器，所述信息分拣器用于对解码后的音频、手势图像、视频、3D模型进行信息分类处理，并传送给所述处理器，所述处理器用于提取与手势识别结果对应的手势图像、视频、3D模型和与语音识别结果对应的音频并发送给所述实时渲染引擎获取所述渲染内容。

通过USB接口，导入多种形式的文件，如手势图像，在后期经过实时渲染引擎渲染后得到包含手势图像动态动画的内容，对应显示用户手势形态，也能增加互动的趣味性和交互效果，导入视频，可增加其他形式的动画或相关内容，提供更多类型的互动元素，导入的文件通过设置的交互信号编码器编码，减小文件体积，便于存储及提高系统内部文件传送、处理效率，需要提取使用时再解码，再通过设置的信息分拣器对信息进行信息分类处理，便于后续处理器根据对应的分类调取音频、手势图像、视频、3D模型，提高系统对各个音频、手势图像、视频、3D模型文件的处理效率。

在另一种技术方案中，如图1、图2所示，所述语音抓取模块包括相互之间有线或无线进行连接的声音采集模块和语音识别模块，所述声音采集模块用于采集语音信息并发送至所述语音识别模块，所述语音识别模块用于识别语音信息并将识别结果信号发送至所述服务器。

利用设置的声音采集模块，拾取用户语音信息、将用户语音信息进行存储并发送至语音识别模块，利用语音识别模块对语音进行识别，如选择NRK10B的语音识别模块实现语音识别功能即可，之后通过服务器针对语音识别结果对应音频，发送给实施渲染引擎与其他3D模型、视频等进行渲染合成。

在另一种技术方案中，如图2所示，所述声音采集模块包括顺次电连接的拾音器、滤波器、语音降噪模块、存储模块，所述存储模块与所述语音识别模块电连接。

通过设置的拾音器采集现场用户发出的声音，滤波器的输入端与拾音器的输出端相连，所述滤波器的输出端与语音降噪模块的输入端相连，语音降噪模块的输出端与存储模块的输入端连接，通过设置的滤波器、语音降噪模块对收入的声音信号进行降噪处理，生成降噪后的音频存储在存储模块中，之后从存储模块发送给语音识别模块进行识别。

尽管本实用新型的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本实用新型的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本实用新型并不限于特定的细节和这里示出与描述的附图。

Claims (5)

1.一种基于虚幻引擎4的3D实时渲染交互系统，其特征在于，包括交互信息采集模块、服务器、实时渲染引擎和展示终端，交互信息采集模块包括分别与所述服务器电连接的语音抓取模块和手势识别模块，所述语音抓取模块用于采集并识别语音，并将语音识别结果传送给所述服务器，所述手势识别模块用于采集并识别手势，并将手势识别结果传送给所述服务器，所述服务器内存储有与手势识别结果对应的3D模型和与语音识别结果对应的音频，所述服务器分别与所述实时渲染引擎、所述展示终端电连接，用于提取对应的3D模型和音频发送给所述实时渲染引擎进行渲染，并将渲染内容发送给所述展示终端进行显示和播放。

2.如权利要求1所述的基于虚幻引擎4的3D实时渲染交互系统，其特征在于，所述服务器包括处理器，所述处理器连接有USB接口，通过所述USB接口导入音频、3D模型并传送给所述处理器，所述处理器用于存储音频、3D模型并将与手势识别结果信息对应的3D模型和与语音识别结果信息对应的音频发送给所述实时渲染引擎获取所述渲染内容，并将所述渲染内容发送给所述展示终端。

3.如权利要求2所述的基于虚幻引擎4的3D实时渲染交互系统，其特征在于，所述服务器还包括顺次电连接在所述USB接口与所述处理器之间的交互信号编码器、解码器、信息分拣器，所述USB接口还用于导入手势图像、视频，所述交互信号编码器用于将音频、手势图像、视频、3D模型进行编码，所述解码器用于将编码后的音频、手势图像、视频、3D模型进行解码并传送给所述信息分拣器，所述信息分拣器用于对解码后的音频、手势图像、视频、3D模型进行信息分类处理，并传送给所述处理器，所述处理器用于提取与手势识别结果对应的手势图像、视频、3D模型和与语音识别结果对应的音频并发送给所述实时渲染引擎获取所述渲染内容。

4.如权利要求1所述的基于虚幻引擎4的3D实时渲染交互系统，其特征在于，所述语音抓取模块包括相互之间有线或无线进行连接的声音采集模块和语音识别模块，所述声音采集模块用于采集语音信息并发送至所述语音识别模块，所述语音识别模块用于识别语音信息并将识别结果信号发送至所述服务器。

5.如权利要求4所述的基于虚幻引擎4的3D实时渲染交互系统，其特征在于，所述声音采集模块包括顺次电连接的拾音器、滤波器、语音降噪模块、存储模块，所述存储模块与所述语音识别模块电连接。

Images