CN116187046A - 一种基于vr技术的大列巴制作体验系统 - Google Patents

一种基于vr技术的大列巴制作体验系统 Download PDF

Info

Publication number
CN116187046A
CN116187046A CN202310120982.7A CN202310120982A CN116187046A CN 116187046 A CN116187046 A CN 116187046A CN 202310120982 A CN202310120982 A CN 202310120982A CN 116187046 A CN116187046 A CN 116187046A
Authority
CN
China
Prior art keywords
information
module
big column
scene
making
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310120982.7A
Other languages
English (en)
Inventor
徐伟晶
王志蕊
朱芮萱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hulun Buir Mengwu Culture Communication Co ltd
Original Assignee
Hulun Buir Mengwu Culture Communication Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hulun Buir Mengwu Culture Communication Co ltd filed Critical Hulun Buir Mengwu Culture Communication Co ltd
Priority to CN202310120982.7A priority Critical patent/CN116187046A/zh
Publication of CN116187046A publication Critical patent/CN116187046A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于VR技术的大列巴制作体验系统，涉及VR设备技术领域，包括：大列巴制作实体场景信息采集模块：所述大列巴制作实体场景信息采集模块包括图像采集单元、音频信息采集单元、定位单元和环境采集单元；三维重构模块：三维重构模块，用于构建3D模型，形成VR场景。该基于VR技术的大列巴制作体验系统，传感器技术、物联网技术和互联网技术等多种技术的融合，对大列巴制作工艺和大列巴故事进行采集，之后利用虚拟现实技术构建模拟大列巴制作实体场景，最后通过头戴式立体VR显示器进行展示，从而有利于给使用者带来沉浸式的大列巴制作体验感，并且无时间和空间上的限制，进而有利于对大列巴制作工艺进行传承和传播。

Description

一种基于VR技术的大列巴制作体验系统
技术领域
本发明涉及VR设备技术领域，具体涉及一种基于VR技术的大列巴制作体验系统。
背景技术
大列巴是哈尔滨特产。大列巴之名，体现了中西文化之融合。作家秦牧当年来哈尔滨有句“面包像锅盖”的比喻，说的就是秋林大列巴面包。
而现有大列巴制作工艺传播方式有限，主要拘泥于宣传、文字和展览等方式，形式枯燥乏味，在时间和空间上的限制也较大，无法给用户带来沉浸式和交互式的大列巴制作体验感。
发明内容
为解决上述技术问题，本发明提供一种基于VR技术的大列巴制作体验系统，包括：大列巴制作实体场景信息采集模块：所述大列巴制作实体场景信息采集模块包括图像采集单元、音频信息采集单元、定位单元和环境采集单元；三维重构模块：三维重构模块，用于构建3D模型，形成VR场景；并将VR场景投射到显示设备；其中，三维重构模块包括：视觉渲染模块和触觉渲染模块；视觉渲染模块：用于实现虚拟场景中的实体对象模块和坐标系统，并渲染出全局视角和局部视角，所述全局视角包括自由移动视角和手部移动视角；触觉渲染模块：用于模拟虚拟场景中的触觉感知；其中，数据信息处理模块包括：数据信息存储模块和数据信息提取模块，数据信息存储模块：所述数据信息存储模块具体为数据库，用于存储大列巴制作实体场景的现场影像信息、音频信息、位置信息和环境信息以及大列巴虚拟场景的文字信息；数据信息提取模块：所述数据信息提取模块用于根据用户选择需要体验的大列巴制作场景，从数据库中提取对应所需数据信息，大列巴制作关键流程交互模块：所述大列巴制作关键流程交互模块包括信息模拟单元和体感采集单元，所述信息模拟单元包括音频模拟器和体感模拟器，所述体感采集单元包括动作捕捉仪、眼动追踪仪和拾音器。
进一步地，所述大列巴制作实体场景信息采集模块用于采集大列巴制作实体场景的现场影像信息、音频信息、位置信息和环境信息，所述大列巴制作实体场景包括制作室和大列巴制作工艺。
进一步地，所述三维重构模块重构步骤如下：步骤一：通过拍照或原画，收集制作3D模型所需的参考物件，步骤二：采用3Dmax或Maya，基于参考物件，制作低模，生成初模，步骤三：采用ZBrush4R8对初模进行重布线，以增加细节，并雕刻形成高模，步骤四：将雕刻形成的高模拓扑为低模，步骤五：展开低模的UV，得到UV贴图，并将高模和低模导入UV贴图，烘焙出法线贴图，步骤六：用于漫反射法线贴图，并对比法线贴图，绘制混合贴图，并基于法线贴图、颜色贴合和混合贴图，形成低模，并对其进行效果调整，得到3D模型，步骤七：使用计算机处理设备将3D模型解码，投射到显示设备上。
进一步地，所述数据信息处理模块用于获取模拟大列巴制作实体场景，并对其模式进行转换，然后发送至大列巴制作关键流程交互模块中进行交互显示。
进一步地，所述音频模拟器用于根据音频信息进行数字化模拟，得到模拟音频信息，同时将其进行播放，其中，所述体感模拟器用于根据环境信息进行数字化模拟，得到模拟体感信息，同时将其反馈给使用者。
进一步地，所述动作捕捉仪用于通过动作传感器实时获取使用者的动作信息，所述眼动追踪仪用于对眼球进行监控，捕捉使用者的眼球信息，所述拾音器用于实时获取使用者的语音信息。
进一步地，所述视觉渲染模块采用基于Qsplat的点云模型视觉渲染算法。
进一步地，所述大列巴制作关键流程交互模块，还包括：双目显示屏，用于为体验者提供VR视角，外部显示屏，用于在VR设备外部同步显示体验者视角。
与现有技术相比，本发明的有益效果是：
(1)、该基于VR技术的大列巴制作体验系统，传感器技术、物联网技术和互联网技术等多种技术的融合，对大列巴制作工艺和大列巴故事进行采集，之后利用虚拟现实技术构建模拟大列巴制作实体场景，最后通过头戴式立体VR显示器进行展示，从而有利于给使用者带来沉浸式的大列巴制作体验感，并且无时间和空间上的限制，进而有利于对大列巴制作工艺进行传承和传播。
(2)、该基于VR技术的大列巴制作体验系统，通过采用VR技术，模拟大列巴制作过程中的真实环境、仿真大列巴制作流程、虚拟大列巴制作体验者的感知和体验，与体验者进行人机交互，使体验者体验完整的大列巴制作之旅，从而有利于进一步提升使用者的交互体验感，让使用者体验到身临其境的感觉。
附图说明
图1为本发明大列巴制作体验系统整体流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
实施例1
请参阅图1所示，本发明为一种基于VR技术的大列巴制作体验系统，包括：
大列巴制作实体场景信息采集模块：大列巴制作实体场景信息采集模块包括图像采集单元、音频信息采集单元、定位单元和环境采集单元；
三维重构模块：三维重构模块，用于构建3D模型，形成VR场景；并将VR场景投射到显示设备；
其中，三维重构模块包括：视觉渲染模块和触觉渲染模块；
视觉渲染模块：用于实现虚拟场景中的实体对象模块和坐标系统，并渲染出全局视角和局部视角，全局视角包括自由移动视角和手部移动视角；
触觉渲染模块：用于模拟虚拟场景中的触觉感知；
其中，数据信息处理模块包括：数据信息存储模块和数据信息提取模块；
数据信息存储模块：数据信息存储模块具体为数据库，用于存储大列巴制作实体场景的现场影像信息、音频信息、位置信息和环境信息以及大列巴虚拟场景的文字信息；
数据信息提取模块：数据信息提取模块用于根据用户选择需要体验的大列巴制作场景，从数据库中提取对应所需数据信息；
大列巴制作关键流程交互模块：大列巴制作关键流程交互模块包括信息模拟单元和体感采集单元，信息模拟单元包括音频模拟器和体感模拟器，体感采集单元包括动作捕捉仪、眼动追踪仪和拾音器。
通过采用上述技术方案，采用VR技术，模拟大列巴制作过程中的真实环境、仿真大列巴制作流程、虚拟大列巴制作体验者的感知和体验，与体验者进行人机交互，使体验者完整体验大列巴制作之旅。
大列巴制作实体场景信息采集模块用于采集大列巴制作实体场景的现场影像信息、音频信息、位置信息和环境信息，大列巴制作实体场景包括制作室和大列巴制作工艺。
通过采用上述技术方案，通过传感器技术、物联网技术和互联网技术等多种技术的融合，对大列巴制作室、大列巴制作和大列巴故事进行采集，之后利用虚拟现实技术构建模拟大列巴文化实体场景和模拟大列巴文化虚拟场景，最后通过头戴式立体VR显示器进行展示，从而有利于给使用者带来沉浸式的大列巴制作体验感，并且无时间和空间上的限制，进而有利于对大列巴文化进行传承和传播。
三维重构模块重构步骤如下：
步骤一：通过拍照或原画，收集制作3D模型所需的参考物件；
步骤二：采用3Dmax或Maya，基于参考物件，制作低模，生成初模；
步骤三：采用ZBrush4R8对初模进行重布线，以增加细节，并雕刻形成高模；
步骤四：将雕刻形成的高模拓扑为低模；
步骤五：展开低模的UV，得到UV贴图，并将高模和低模导入UV贴图，烘焙出法线贴图；
步骤六：用于漫反射法线贴图，并对比法线贴图，绘制混合贴图，并基于法线贴图、颜色贴合和混合贴图，形成低模，并对其进行效果调整，得到3D模型；
步骤七：使用计算机处理设备将3D模型解码，投射到显示设备上。
通过采用上述技术方案，使用xNormaldfdrt3，导入数十万面的高模和拓扑出的低模就可以烘焙出一张法线贴图，这张贴图包含着数十万面的细节信息，将这张贴图贴到只有数千面的3D模型上就能使其拥有数十万面的细节。
数据信息处理模块用于获取模拟大列巴制作实体场景，并对其模式进行转换，然后发送至大列巴制作关键流程交互模块中进行交互显示。
音频模拟器用于根据音频信息进行数字化模拟，得到模拟音频信息，同时将其进行播放；
其中，体感模拟器用于根据环境信息进行数字化模拟，得到模拟体感信息，同时将其反馈给使用者。
动作捕捉仪用于通过动作传感器实时获取使用者的动作信息；
眼动追踪仪用于对眼球进行监控，捕捉使用者的眼球信息；
拾音器用于实时获取使用者的语音信息。
视觉渲染模块采用基于Qsplat的点云模型视觉渲染算法。
大列巴制作关键流程交互模块，还包括：
双目显示屏，用于为体验者提供VR视角；
外部显示屏，用于在VR设备外部同步显示体验者视角。
通过采用上述技术方案，通过中央处理器和交互模块，交互模块通过动作捕捉仪、眼动追踪仪和拾音器采集使用者的动作信息、眼球信息和语音信息，然后将其发送给中央处理器，中央处理器通过调整控制单元对模拟大列巴实体场景或模拟大列巴文化虚拟场景进行调整反馈，则有利于满足使用者的交互体验感；此外音频模拟器和体感模拟器通过对采集到的音频信息和环境信息进行数字化模拟，之后反馈给使用者，从而有利于进一步提升使用者的交互体验感，让使用者体验到身临其境的感觉。
本实施例的一个具体应用为：
在使用前，首先需要将VR头显、交互模块穿戴于使用者身上，此时，大列巴制作实体场景信息采集模块会采集大列巴制作实体场景的现场影像信息、音频信息、位置信息和环境信息，之后数据信息存储模块会存储大列巴制作实体场景的现场影像信息、音频信息、位置信息和环境信息以及文字信息；然后，使用者可以根据需求选择需要体验的大列巴制作场景；然后数据信息获取模块会根据用户选择需要体验的大列巴制作场景，从数据库中提取对应所需数据信息；若使用者选择大列巴实体场景，则实体场景构建单元会根据现场影像信息和位置信息，结合3DMax软件进行三维重构，得到模拟大列巴实体场景，然后发送至VR头显模块；之后VR头显模块会将模拟大列巴制作实体场景进行显示；与此同时，音频模拟器会根据音频信息进行数字化模拟，得到模拟音频信息，同时将其进行播放，而体感模拟器会根据环境信息进行数字化模拟，得到模拟体感信息，同时将其反馈给使用者；之后动作捕捉仪会通过动作传感器实时获取使用者的动作信息；眼动追踪仪会对眼球进行监控，捕捉使用者的眼球信息，而拾音器会实时获取使用者的语音信息。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。本发明中未具体描述和解释说明的结构、装置以及操作方法，如无特别说明和限定，均按照本领域的常规手段进行实施。

Claims (8)

1.一种基于VR技术的大列巴制作体验系统，其特征在于，包括：
大列巴制作实体场景信息采集模块：所述大列巴制作实体场景信息采集模块包括图像采集单元、音频信息采集单元、定位单元和环境采集单元；
三维重构模块：三维重构模块，用于构建3D模型，形成VR场景；并将VR场景投射到显示设备；
其中，三维重构模块包括：视觉渲染模块和触觉渲染模块；
视觉渲染模块：用于实现虚拟场景中的实体对象模块和坐标系统，并渲染出全局视角和局部视角，所述全局视角包括自由移动视角和手部移动视角；
触觉渲染模块：用于模拟虚拟场景中的触觉感知；
其中，数据信息处理模块包括：数据信息存储模块和数据信息提取模块；
数据信息存储模块：所述数据信息存储模块具体为数据库，用于存储大列巴制作实体场景的现场影像信息、音频信息、位置信息和环境信息以及大列巴虚拟场景的文字信息；
数据信息提取模块：所述数据信息提取模块用于根据用户选择需要体验的大列巴制作场景，从数据库中提取对应所需数据信息；
大列巴制作关键流程交互模块：所述大列巴制作关键流程交互模块包括信息模拟单元和体感采集单元，所述信息模拟单元包括音频模拟器和体感模拟器，所述体感采集单元包括动作捕捉仪、眼动追踪仪和拾音器。
2.根据权利要求1所述的一种基于VR技术的大列巴制作体验系统，其特征在于：所述大列巴制作实体场景信息采集模块用于采集大列巴制作实体场景的现场影像信息、音频信息、位置信息和环境信息，所述大列巴制作实体场景包括制作室和大列巴制作工艺。
3.根据权利要求2所述的一种基于VR技术的大列巴制作体验系统，其特征在于：所述三维重构模块重构步骤如下：
步骤一：通过拍照或原画，收集制作3D模型所需的参考物件；
步骤二：采用3Dmax或Maya，基于参考物件，制作低模，生成初模；
步骤三：采用ZBrush4R8对初模进行重布线，以增加细节，并雕刻形成高模；
步骤四：将雕刻形成的高模拓扑为低模；
步骤五：展开低模的UV，得到UV贴图，并将高模和低模导入UV贴图，烘焙出法线贴图；
步骤六：用于漫反射法线贴图，并对比法线贴图，绘制混合贴图，并基于法线贴图、颜色贴合和混合贴图，形成低模，并对其进行效果调整，得到3D模型；
步骤七：使用计算机处理设备将3D模型解码，投射到显示设备上。
4.根据权利要求3所述的一种基于VR技术的大列巴制作体验系统，其特征在于：所述数据信息处理模块用于获取模拟大列巴制作实体场景，并对其模式进行转换，然后发送至大列巴制作关键流程交互模块中进行交互显示。
5.根据权利要求4所述的一种基于VR技术的大列巴制作体验系统，其特征在于：所述音频模拟器用于根据音频信息进行数字化模拟，得到模拟音频信息，同时将其进行播放；
其中，所述体感模拟器用于根据环境信息进行数字化模拟，得到模拟体感信息，同时将其反馈给使用者。
6.根据权利要求5所述的一种基于VR技术的大列巴制作体验系统，其特征在于：所述动作捕捉仪用于通过动作传感器实时获取使用者的动作信息；
所述眼动追踪仪用于对眼球进行监控，捕捉使用者的眼球信息；
所述拾音器用于实时获取使用者的语音信息。
7.根据权利要求6所述的一种基于VR技术的大列巴制作体验系统，其特征在于：所述视觉渲染模块采用基于Qsplat的点云模型视觉渲染算法。
8.根据权利要求7所述的一种基于VR技术的大列巴制作体验系统，其特征在于：所述大列巴制作关键流程交互模块，还包括：
双目显示屏，用于为体验者提供VR视角；
外部显示屏，用于在VR设备外部同步显示体验者视角。
CN202310120982.7A 2023-02-16 2023-02-16 一种基于vr技术的大列巴制作体验系统 Pending CN116187046A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310120982.7A CN116187046A (zh) 2023-02-16 2023-02-16 一种基于vr技术的大列巴制作体验系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310120982.7A CN116187046A (zh) 2023-02-16 2023-02-16 一种基于vr技术的大列巴制作体验系统

Publications (1)

Publication Number Publication Date
CN116187046A true CN116187046A (zh) 2023-05-30

Family

ID=86436107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310120982.7A Pending CN116187046A (zh) 2023-02-16 2023-02-16 一种基于vr技术的大列巴制作体验系统

Country Status (1)

Country Link
CN (1) CN116187046A (zh)

Similar Documents

Publication Publication Date Title
RU2621644C2 (ru) Мир массового одновременного удаленного цифрового присутствия
CN108389249B (zh) 一种多兼容性的vr/ar空间教室及其构建方法
WO2021109376A1 (zh) 一种分镜效果的实现方法、装置及相关产品
Handa et al. Immersive technology–uses, challenges and opportunities
CN109696961A (zh) 基于vr技术的文物虚拟拆装导赏实现系统及方法、介质
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
CN106648069A (zh) 一种基于虚拟现实技术的数字化图书馆系统
CN107291244A (zh) 一种vr参观系统
WO2019105600A1 (de) Avataranimation
CN116187046A (zh) 一种基于vr技术的大列巴制作体验系统
Borba Towards a full body narrative: a communicational approach to techno-interactions in virtual reality
Novak-Marcincin Application of the virtual reality modeling language for design of automated workplaces
GB2585078A (en) Content generation system and method
CN109636923A (zh) 基于vr的装配式构件安装可视化演示方法及系统
CN115576427A (zh) 一种基于xr的多人在线直播及系统
KR20180098936A (ko) 위치센서 기반 hmd 워킹 가상현실 콘텐츠 체험시스템
WO2017147826A1 (zh) 智能设备的图像处理方法及装置
CN108989327B (zh) 一种虚拟现实服务器系统
JP6680886B2 (ja) マルチメディア情報を表示する方法及び装置
CN105843405A (zh) 一种基于360度全景vr全息技术的系统和方法
CN112295211A (zh) 舞台表演虚拟娱乐实训系统及方法
Teixeira et al. Analysis of XR research in brazil from 21 years of SVR publications
KR102622709B1 (ko) 2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법 및 장치
Moura et al. Embodiment in Virtual Reality: The Body, Thought, Present, and
Chinchmalatpure et al. Intricacies of VR Features in graphic designing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination