CN117557753B - 一种基于虚拟现实和增强现实的文物展览方法及系统 - Google Patents

一种基于虚拟现实和增强现实的文物展览方法及系统 Download PDF

Info

Publication number
CN117557753B
CN117557753B CN202410045551.3A CN202410045551A CN117557753B CN 117557753 B CN117557753 B CN 117557753B CN 202410045551 A CN202410045551 A CN 202410045551A CN 117557753 B CN117557753 B CN 117557753B
Authority
CN
China
Prior art keywords
experience
story
representing
exhibits
generation network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410045551.3A
Other languages
English (en)
Other versions
CN117557753A (zh
Inventor
刘林
卢世主
黄秋雨
方文成
郭雨晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202410045551.3A priority Critical patent/CN117557753B/zh
Publication of CN117557753A publication Critical patent/CN117557753A/zh
Application granted granted Critical
Publication of CN117557753B publication Critical patent/CN117557753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于虚拟现实和增强现实的文物展览方法及系统，方法包括故事情节生成、设计VR体验、设计AR体验和评价。本发明属于虚拟现实和增强现实技术领域，具体是指一种基于虚拟现实和增强现实的文物展览方法及系统，本方案采用基于虚拟现实和增强现实的文物展览方法，通过数字化技术，将文物以三维形式呈现，突破空间限制，让观众能够更全面地了解文化遗产；通过利用生成对抗网络生成故事情节，为参观者提供更加沉浸式和互动性强的参观体验，增强对文物历史背景的理解。

Description

一种基于虚拟现实和增强现实的文物展览方法及系统
技术领域
本发明涉及虚拟现实和增强现实技术领域，具体是指一种基于虚拟现实和增强现实的文物展览方法及系统。
背景技术
随着科技的不断发展，虚拟现实和增强现实技术在各个领域得到了广泛应用，特别是在文化、艺术和教育领域，这为人们提供了全新的体验方式，传统文物展览通常受到场地空间的限制，无法展示大量的文物，存在参观者无法全面了解文化遗产的问题；传统文物展览往往以静态的形式展示文物，存在参观者只能通过观看来了解文物的信息，缺乏互动性的问题。
发明内容
针对上述情况，为克服现有技术的缺陷，本发明提供了一种基于虚拟现实和增强现实的文物展览方法及系统，针对传统文物展览通常受到场地空间的限制，无法展示大量的文物，存在参观者无法全面了解文化遗产的问题，本方案采用基于虚拟现实和增强现实的文物展览方法，通过数字化技术，将文物以三维形式呈现，突破空间限制，让参观者能够更全面地了解文化遗产；针对传统文物展览往往以静态的形式展示文物，存在参观者只能通过观看来了解文物的信息，缺乏互动性的问题，本方案通过利用生成对抗网络生成故事情节，为参观者提供沉浸式和互动性强的参观体验，增强参观者对文物历史背景的理解。
本发明采取的技术方案如下：本发明提供的一种基于虚拟现实和增强现实的文物展览方法，该方法包括以下步骤：
步骤S1：故事情节生成，利用CKIP分词系统进行分词处理，基于多通道词嵌入获得特征矩阵，构建故事生成网络；
步骤S2：设计VR体验，根据故事生成网络生成的故事情节，利用Unity游戏引擎开发VR体验；
步骤S3：设计AR体验，根据故事生成网络生成的古代仪式情节，参观者使用头戴式AR显示器完成任务，体验展览；
步骤S4：评价，通过问卷调查收集参观者的体验感受，便于对展览进行调整。
进一步地，在步骤S1中，故事情节生成，具体包括以下步骤：
步骤S11：句子预处理，利用CKIP分词系统将句子进行分词处理，按照 的格式标记句子，其中、和分别表示句子的开 头、结尾和句子之间的间隔，完整的输入数据结构如下：
输入数据：；
标签：；
式中，从到表示当前句子，从到表示下一个句 子，表示词性，表示句子中的单词，得到预处理后的原始文本；
步骤S12：多通道词嵌入，将预处理后的原始文本用词嵌入法进行矢量化，将一个 句子映射到3个向量空间，对于每种类型的词嵌入，设置形状为的通道，其中是输入 句子中的标签数量，是每个标签对应的词向量的维度，使用的滤波器滑动三个通 道，每个滤波器将输出一个形状为的向量，将所有向量合并生成最终的特征矩阵；
步骤S13：为词向量添加位置编码，使用正弦和余弦函数为每个词向量的不同位置添加位置编码，所用公式如下：
；
；
式中，表示词向量的位置编码结果，表示单词的位置，表示单词的维数，表示位置编码的维度，表示正弦函数，表示余弦函数；
通过双向注意力机制，得到双向注意力机制的输出，利用双向注意力机制的输出生成输出文本向量，使用线性变换对输出文本向量进行解码，利用自适应Softmax函数来查找出现频率最高的单词；
步骤S14：构建故事生成网络，定义生成对抗网络由生成器和鉴别器组成，使用故事生成网络作为生成器，文本卷积作为鉴别器，所用公式如下：
；
式中，表示关于下标中指定分布的期望值，表示目标函数，为原始文本数 据的分布，为摘要数据的分布，表示生成器，表示鉴别器，表示真实样本，表示生成器生成的样本；
步骤S15：计算损失函数，采用标记平滑方法计算损失函数，所用公式如下：
；
式中，表示损失函数，表示故事生成网络的分布，表示平滑标签的分布， 表示标签，为0-1之间的参数，是总词汇量，当损失函数趋于稳定时，训练结束，得到故 事生成网络。
进一步地，在步骤S2中，设计VR体验，具体包括以下步骤：
步骤S21：故事设定，根据文物的历史背景，总结一段摘要，输入到故事生成网络，生成故事情节；
步骤S22：场景选择，根据生成的故事情节，确定游戏主题，选择适合的场景和环境；
步骤S23：场景建模和视觉设计，使用Unity游戏引擎创建游戏中的场景和环境，使用Unity地形编辑器设计出逼真的建筑、景观和道具；
步骤S24：角色和交互设计，设计参观者在游戏中扮演的角色，设计与故事情节相关的谜题和任务，让参观者在游戏中通过与场景和角色之间的交互，解开谜团，逐步揭开故事的真相；
步骤S25：音效和背景音乐，根据不同的场景和情节设计音效和背景音乐，增强游戏的沉浸感和氛围；
步骤S26：体验，参观者利用虚拟现实头显设备体验游戏。
进一步地，在步骤S3中，设计AR体验，参观者使用头戴式AR显示器，根据古代仪式情节找到并移动文物展品的3D模型到博物馆的特定位置，以协助准备古代仪式，具体包括以下步骤：
步骤S31：古代仪式情节生成，根据文物的历史事件，总结一段摘要，输入到故事生成网络，生成古代仪式情节；
步骤S32：构建AR系统架构，开发一个基于AR技术的系统，实现博物馆文物展品的展览，具体包括以下步骤：
步骤S321：本地空间锚存储3D对象，利用本地空间锚技术构建文物展品的3D模型，并与博物馆的特定位置进行关联；
步骤S322：交互体验，参观者通过手动交互功能将3D模型从初始位置移动到重建位置；
步骤S323：语音命令与凝视交互，参观者使用语音命令激活或取消激活展品AR叙述的特定阶段，并根据叙述接收信息，使用凝视交互来激活或取消3D模型上的标签；
步骤S324：空间音频，利用空间音频技术创建3D音频源，每个展品都包含一个3D音频源，让参观者通过音量和方向感知自己与音频源的距离和方向；
步骤S33：搜索展品，参观者使用头戴式AR显示器，移动3D模型到博物馆的特定位置，完成古代仪式，通过语音指令与旁白互动，搜索展品，搜索完成后，观看制作3D人工展品过程视频，并听取与展品相关的背景音乐；
步骤S34：AR体验过程，通过教程引导参观者，进而使得参观者完成搜集展品的任务，具体包括以下步骤：
步骤S341：交互界面训练，通过教程，训练参观者使用高级交互界面，包括语音命令和手势交互；
步骤S342：参观者引导，游戏启动后，通过叙述引导参观者在博物馆环境中定位特定的区域；
步骤S343：搜集展品，参观者通过语音命令搜索展品，并激活展品的3D重建和声音，然后在博物馆中搜索展品的3D重建，并将其移动到特定区域；
步骤S344：仪式触发，重复步骤S343，直到收集完所有展品，仪式就会被激活，展品和旋律结合在一起，形成一个音乐轨道，生成一段完整的音乐作品。
本发明提供的一种基于虚拟现实和增强现实的文物展览系统，包括故事生成模块、设计VR体验模块、设计AR体验模块和评价模块；
所述故事生成模块，利用CKIP分词系统进行分词处理，基于多通道词嵌入获得特征矩阵，构建故事生成网络，将故事生成网络发送至设计VR体验模块；
所述设计VR体验模块接收故事生成模块发送的故事生成网络，根据故事生成网络生成的故事情节，利用Unity游戏引擎开发VR体验，得到VR体验结果，并将VR体验结果发送至评价模块；
所述设计AR体验模块接收故事生成模块发送的故事生成网络，根据故事生成网络生成的古代仪式情节，参观者使用头戴式AR显示器完成任务，得到AR体验结果，并将AR体验结果发送至评价模块；
所述评价模块接收设计VR体验模块发送的VR体验结果和设计AR体验模块发送的AR体验结果，结合VR体验结果和AR体验结果听取参观者的建议，优化展览。
采用上述方案本发明取得的有益效果如下：
（1）针对传统文物展览通常受到场地空间的限制，无法展示大量的文物，存在参观者无法全面了解文化遗产的问题，本方案采用基于虚拟现实和增强现实的文物展览方法，通过数字化技术，将文物以三维形式呈现，突破空间限制，让参观者能够更全面地了解文化遗产。
（2）针对传统文物展览往往以静态的形式展示文物，存在参观者只能通过观看来了解文物的信息，缺乏互动性的问题，本方案通过利用生成对抗网络生成故事情节，为参观者提供更加沉浸式和互动性强的参观体验，增强对文物历史背景的理解。
附图说明
图1为本发明提供的一种基于虚拟现实和增强现实的文物展览方法的流程示意图；
图2为本发明提供的一种基于虚拟现实和增强现实的文物展览系统的示意图；
图3为步骤S1的流程示意图；
图4为步骤S2的流程示意图；
图5为步骤S3的流程示意图。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例一，参阅图1，本发明提供的一种基于虚拟现实和增强现实的文物展览方法，该方法包括以下步骤：
步骤S1：故事情节生成，利用CKIP分词系统进行分词处理，基于多通道词嵌入获得特征矩阵，构建故事生成网络；
步骤S2：设计VR体验，根据故事生成网络生成的故事情节，利用Unity游戏引擎开发VR体验；
步骤S3：设计AR体验，根据故事生成网络生成的古代仪式情节，参观者使用头戴式AR显示器完成任务，体验展览；
步骤S4：评价，通过问卷调查收集参观者的体验感受，对展览进行优化。
实施例二，参阅图1和图3，该实施例基于上述实施例，在步骤S1中，故事情节生成，具体包括以下步骤：
步骤S11：句子预处理，利用CKIP分词系统将句子进行分词处理，按照 的格式标记句子，其中、和分别表示句子的开 头、结尾和句子之间的间隔，完整的输入数据结构如下：
输入数据：；
标签：；
式中，从到表示当前句子，从到表示下一个句 子，表示词性，表示句子中的单词，得到预处理后的原始文本；
步骤S12：多通道词嵌入，将预处理后的原始文本用词嵌入法进行矢量化，将一个 句子映射到3个向量空间，对于每种类型的词嵌入，设置形状为的通道，其中是输入 句子中的标签数量，是每个标签对应的词向量的维度，使用的滤波器滑动三个通 道，每个滤波器将输出一个形状为的向量，将所有向量合并生成最终的特征矩阵；
步骤S13：为词向量添加位置编码，使用正弦和余弦函数为每个词向量的不同位置添加位置编码，所用公式如下：
；
；
式中，表示词向量的位置编码结果，表示单词的位置，表示单词的维数，表示位置编码的维度，表示正弦函数，表示余弦函数；
通过双向注意力机制，得到双向注意力机制的输出，利用双向注意力机制的输出生成输出文本向量，使用线性变换对输出文本向量进行解码，利用自适应Softmax函数来查找出现频率最高的单词；
步骤S14：构建故事生成网络，定义生成对抗网络由生成器和鉴别器组成，使用故事生成网络作为生成器，文本卷积作为鉴别器，所用公式如下：
；
式中，表示关于下标中指定分布的期望值，表示目标函数，为原始文本数 据的分布，为摘要数据的分布，表示生成器，表示鉴别器，表示真实样本，表示生成器生成的样本；
步骤S15：计算损失函数，采用标记平滑方法计算损失函数，所用公式如下：
；
式中，表示损失函数，表示故事生成网络的分布，表示平滑标签的分布， 表示标签，为0-1之间的参数，是总词汇量，当损失函数趋于稳定时，训练结束，得到故 事生成网络。
实施例三，参阅图1和图4，该实施例基于上述实施例，在步骤S2中，设计VR体验，具体包括以下步骤：
步骤S21：故事设定，根据文物的历史背景，总结一段摘要，输入到故事生成网络，生成故事情节；
步骤S22：场景选择，根据生成的故事情节，确定游戏主题，选择适合的场景和环境；
步骤S23：场景建模和视觉设计，使用Unity游戏引擎创建游戏中的场景和环境，使用Unity地形编辑器设计出逼真的建筑、景观和道具；
步骤S24：角色和交互设计，设计参观者在游戏中扮演的角色，设计与故事情节相关的谜题和任务，让参观者在游戏中通过与场景和角色之间的交互，解开谜团，逐步揭开故事的真相；
步骤S25：音效和背景音乐，根据不同的场景和情节设计音效和背景音乐，增强游戏的沉浸感和氛围；
步骤S26：体验，参观者利用虚拟现实头显设备体验游戏。
实施例四，参阅图1和图5，该实施例基于上述实施例，在步骤S3中，设计AR体验，具体包括以下步骤：
步骤S31：古代仪式情节生成，根据文物的历史事件，总结一段摘要，输入到故事生成网络，生成古代仪式情节；
步骤S32：构建AR系统架构，开发一个基于AR技术的系统，实现博物馆文物展品的展览；
步骤S33：搜索展品，参观者使用头戴式AR显示器，移动3D模型到博物馆的特定位置，完成古代仪式，通过语音指令与旁白互动，搜索展品，搜索完成后，观看制作3D人工展品过程视频，并听取与展品相关的背景音乐；
步骤S34：AR体验过程，通过教程引导参观者，进而使得参观者完成搜集展品的任务。
实施例五，该实施例基于上述实施例，在步骤S32中，构建AR系统架构，具体包括以下步骤：
步骤S321：本地空间锚存储3D对象，利用本地空间锚技术构建文物展品的3D模型，并与博物馆的特定位置进行关联；
步骤S322：交互体验，参观者通过手动交互功能将3D模型从初始位置移动到重建位置；
步骤S323：语音命令与凝视交互，参观者使用语音命令激活或取消激活展品AR叙述的特定阶段，并根据叙述接收信息，使用凝视交互来激活或取消3D模型上的标签；
步骤S324：空间音频，利用空间音频技术创建3D音频源，每个展品都包含一个3D音频源，让参观者通过音量和方向感知自己与音频源的距离和方向；
实施例六，该实施例基于上述实施例，在步骤S34中，AR体验过程，具体包括以下步骤：
步骤S341：交互界面训练，通过教程，训练参观者使用高级交互界面，包括语音命令和手势交互；
步骤S342：参观者引导，游戏启动后，通过叙述引导参观者在博物馆环境中定位特定的区域；
步骤S343：搜集展品，参观者通过语音命令搜索展品，并激活展品的3D重建和声音，然后在博物馆中搜索展品的3D重建，并将其移动到特定区域；
步骤S344：仪式触发，重复步骤S343，直到收集完所有展品，仪式就会被激活，展品和旋律结合在一起，形成一个音乐轨道，生成一段完整的音乐作品。
通过执行上述操作，针对传统文物展览通常受到场地空间的限制，无法展示大量的文物，存在参观者无法全面了解文化遗产的问题，本方案采用基于虚拟现实和增强现实的文物展览方法，通过数字化技术，将文物以三维形式呈现，突破空间限制，让参观者能够更全面地了解文化遗产；针对传统文物展览往往以静态的形式展示文物，存在参观者只能通过观看来了解文物的信息，缺乏互动性的问题，本方案通过利用生成对抗网络生成故事情节，为参观者提供更加沉浸式和互动性强的参观体验，增强对文物历史背景的理解。
实施例七，参阅图2，该实施例基于上述实施例，本发明提供的一种基于虚拟现实和增强现实的文物展览系统，包括故事生成模块、设计VR体验模块、设计AR体验模块和评价模块；
所述故事生成模块，利用CKIP分词系统进行分词处理，基于多通道词嵌入获得特征矩阵，构建故事生成网络，将故事生成网络发送至设计VR体验模块；
所述设计VR体验模块接收故事生成模块发送的故事生成网络，根据故事生成网络生成的故事情节，利用Unity游戏引擎开发VR体验，得到VR体验结果，并将VR体验结果发送至评价模块；
所述设计AR体验模块接收故事生成模块发送的故事生成网络，根据故事生成网络生成的古代仪式情节，参观者使用头戴式AR显示器完成任务，得到AR体验结果，并将AR体验结果发送至评价模块；
所述评价模块接收设计VR体验模块发送的VR体验结果和设计AR体验模块发送的AR体验结果，结合VR体验结果和AR体验结果听取参观者的建议，优化展览。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (4)

1.一种基于虚拟现实和增强现实的文物展览方法，其特征在于：该方法包括以下步骤：
步骤S1：故事情节生成，利用CKIP分词系统进行分词处理，基于多通道词嵌入获得特征矩阵，构建故事生成网络；
步骤S2：设计VR体验，根据故事生成网络生成的故事情节，利用Unity游戏引擎开发VR体验；
步骤S3：设计AR体验，根据故事生成网络生成的古代仪式情节，参观者使用头戴式AR显示器完成任务，体验展览；
步骤S4：评价，通过问卷调查收集参观者的体验感受，对展览进行优化；
在步骤S1中，所述故事情节生成，包括以下步骤：
步骤S11：句子预处理，利用CKIP分词系统将句子进行分词处理，按照 的格式标记句子，其中/>、/>和/>分别表示句子的开头、结尾和句子之间的间隔，完整的输入数据结构如下：
输入数据：；
标签：；
式中，从到/>表示当前句子，从/>到/>表示下一个句子，表示词性，/>表示句子中的单词，得到预处理后的原始文本；
步骤S12：多通道词嵌入，将预处理后的原始文本用词嵌入法进行矢量化，将一个句子映射到3个向量空间，对于每种类型的词嵌入，设置形状为的通道，其中/>是输入句子中的标签数量，/>是每个标签对应的词向量的维度，使用/>的滤波器滑动三个通道，每个/>滤波器将输出一个形状为/>的向量，将所有向量合并生成最终的特征矩阵；
步骤S13：为词向量添加位置编码，使用正弦和余弦函数为每个词向量的不同位置添加位置编码，所用公式如下：
；
；
式中，表示词向量的位置编码结果，/>表示单词的位置，/>表示单词的维数，/>表示位置编码的维度，/>表示正弦函数，/>表示余弦函数；
通过双向注意力机制，得到双向注意力机制的输出，利用双向注意力机制的输出生成输出文本向量，使用线性变换对输出文本向量进行解码，利用自适应Softmax函数来查找出现频率最高的单词；
步骤S14：构建故事生成网络，定义生成对抗网络由生成器和鉴别器组成，使用故事生成网络作为生成器，文本卷积作为鉴别器，所用公式如下：
；
式中，表示关于下标中指定分布的期望值，/>表示目标函数，/>为原始文本数据的分布，/>为摘要数据的分布，/>表示生成器，/>表示鉴别器，/>表示真实样本，/>表示生成器生成的样本；
步骤S15：计算损失函数，采用标记平滑方法计算损失函数，所用公式如下：
；
；
式中，表示损失函数，/>表示故事生成网络的分布，/>表示平滑标签的分布，/>表示标签，/>为0-1之间的参数，/>是总词汇量，当损失函数趋于稳定时，训练结束，得到故事生成网络；
在步骤S2中，所述设计VR体验，包括以下步骤：
步骤S21：故事设定，根据文物的历史背景，总结一段摘要，输入到故事生成网络，生成故事情节；
步骤S22：场景选择，根据生成的故事情节，确定游戏主题，选择适合的场景和环境；
步骤S23：场景建模和视觉设计，使用Unity游戏引擎创建游戏中的场景和环境，使用Unity地形编辑器设计出逼真的建筑、景观和道具；
步骤S24：角色和交互设计，设计参观者在游戏中扮演的角色，设计与故事情节相关的谜题和任务，让参观者在游戏中通过与场景和角色之间的交互，解开谜团，逐步揭开故事的真相；
步骤S25：音效和背景音乐，根据不同的场景和情节设计音效和背景音乐，增强游戏的沉浸感和氛围；
步骤S26：体验，参观者利用虚拟现实头显设备体验游戏；
在步骤S3中，所述设计AR体验，包括以下步骤：
步骤S31：古代仪式情节生成，根据文物的历史事件，总结一段摘要，输入到故事生成网络，生成古代仪式情节；
步骤S32：构建AR系统架构，开发一个基于AR技术的系统，实现博物馆文物展品的展览；
步骤S33：搜索展品，参观者使用头戴式AR显示器，移动3D模型到博物馆的特定位置，完成古代仪式，通过语音指令与旁白互动，搜索展品，搜索完成后，观看制作3D人工展品过程视频，并听取与展品相关的背景音乐；
步骤S34：AR体验过程，通过教程引导参观者，进而使得参观者完成搜集展品的任务。
2.根据权利要求1所述的一种基于虚拟现实和增强现实的文物展览方法，其特征在于：在步骤S32中，所述构建AR系统架构，包括以下步骤：
步骤S321：本地空间锚存储3D对象，利用本地空间锚技术构建文物展品的3D模型，并与博物馆的特定位置进行关联；
步骤S322：交互体验，参观者通过手动交互功能将3D模型从初始位置移动到重建位置；
步骤S323：语音命令与凝视交互，参观者使用语音命令激活或取消激活展品AR叙述的特定阶段，并根据叙述接收信息，使用凝视交互来激活或取消3D模型上的标签；
步骤S324：空间音频，利用空间音频技术创建3D音频源，每个展品都包含一个3D音频源，让参观者通过音量和方向感知自己与音频源的距离和方向。
3.根据权利要求2所述的一种基于虚拟现实和增强现实的文物展览方法，其特征在于：在步骤S34中，所述AR体验过程，包括以下步骤：
步骤S341：交互界面训练，通过教程，训练参观者使用高级交互界面，包括语音命令和手势交互；
步骤S342：参观者引导，游戏启动后，通过叙述引导参观者在博物馆环境中定位特定的区域；
步骤S343：搜集展品，参观者通过语音命令搜索展品，并激活展品的3D重建和声音，然后在博物馆中搜索展品的3D重建，并将其移动到特定区域；
步骤S344：仪式触发，重复步骤S343，直到收集完所有展品，仪式就会被激活，展品和旋律结合在一起，形成一个音乐轨道，生成一段完整的音乐作品。
4.一种基于虚拟现实和增强现实的文物展览系统，用于实现如权利要求1-3中任一项所述的一种基于虚拟现实和增强现实的文物展览方法，其特征在于：包括故事生成模块、设计VR体验模块、设计AR体验模块和评价模块；
所述故事生成模块，利用CKIP分词系统进行分词处理，基于多通道词嵌入获得特征矩阵，构建故事生成网络，将故事生成网络发送至设计VR体验模块；
所述设计VR体验模块接收故事生成模块发送的故事生成网络，根据故事生成网络生成的故事情节，利用Unity游戏引擎开发VR体验，得到VR体验结果，并将VR体验结果发送至评价模块；
所述设计AR体验模块接收故事生成模块发送的故事生成网络，根据故事生成网络生成的古代仪式情节，参观者使用头戴式AR显示器完成任务，得到AR体验结果，并将AR体验结果发送至评价模块；
所述评价模块接收设计VR体验模块发送的VR体验结果和设计AR体验模块发送的AR体验结果，结合VR体验结果和AR体验结果听取参观者的建议，优化展览。
CN202410045551.3A 2024-01-12 2024-01-12 一种基于虚拟现实和增强现实的文物展览方法及系统 Active CN117557753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410045551.3A CN117557753B (zh) 2024-01-12 2024-01-12 一种基于虚拟现实和增强现实的文物展览方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410045551.3A CN117557753B (zh) 2024-01-12 2024-01-12 一种基于虚拟现实和增强现实的文物展览方法及系统

Publications (2)

Publication Number Publication Date
CN117557753A CN117557753A (zh) 2024-02-13
CN117557753B true CN117557753B (zh) 2024-03-26

Family

ID=89823755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410045551.3A Active CN117557753B (zh) 2024-01-12 2024-01-12 一种基于虚拟现实和增强现实的文物展览方法及系统

Country Status (1)

Country Link
CN (1) CN117557753B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022303A (zh) * 2017-12-05 2018-05-11 西北大学 一种虚拟丝路博物馆导览系统和方法
CN112040141A (zh) * 2019-06-03 2020-12-04 南京风船云聚信息技术有限公司 一种基于三维重建和虚拟现实的视频制作方法
CN115019016A (zh) * 2022-04-25 2022-09-06 中国国家博物馆 一种博物馆增强现实的实现方法
CN116228960A (zh) * 2022-11-29 2023-06-06 北方华录文化科技（北京）有限公司 虚拟博物馆展示系统的构建方法、构建系统和展示系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022303A (zh) * 2017-12-05 2018-05-11 西北大学 一种虚拟丝路博物馆导览系统和方法
CN112040141A (zh) * 2019-06-03 2020-12-04 南京风船云聚信息技术有限公司 一种基于三维重建和虚拟现实的视频制作方法
CN115019016A (zh) * 2022-04-25 2022-09-06 中国国家博物馆 一种博物馆增强现实的实现方法
CN116228960A (zh) * 2022-11-29 2023-06-06 北方华录文化科技（北京）有限公司 虚拟博物馆展示系统的构建方法、构建系统和展示系统

Also Published As

Publication number Publication date
CN117557753A (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
Wojciechowski et al. Building virtual and augmented reality museum exhibitions
Ponder et al. Immersive VR decision training: telling interactive stories featuring advanced virtual human simulation technologies
CN107852524A (zh) 用于将视频与交互式动态渲染的视觉教具合成的系统
CN106408480A (zh) 基于增强现实、语音识别的国学三维交互学习系统及方法
Giariskanis et al. The augmented museum: A multimodal, game-based, augmented reality narrative for cultural heritage
CN113506377A (zh) 一种基于虚拟漫游技术的教学培训方法
Todorova-Ekmekci Using innovative technologies, digital media and site tools for presentation and sustainable preservation of cultural heritage
Hughes et al. Augmenting museum experiences with mixed reality
CN117557753B (zh) 一种基于虚拟现实和增强现实的文物展览方法及系统
Neto et al. Immersive cultural experience through innovative multimedia applications: The History of Monserrate Palace in Sintra (Portugal) presented by Virtual Agents
Hölling Introduction: Object—Event—Performance
Jürgens Dance| data| storytelling
Farella et al. Question Answering with BERT: designing a 3D virtual avatar for Cultural Heritage exploration
Brutzman Teaching 3D modeling and simulation: virtual kelp forest case study
Favre-Brun et al. Revealing the “spirit of the place”: Genius Loci, a spatial augmented reality performance based on 3D data and historical hypotheses
Cho et al. LOTUS: composing a multi-user interactive tiled display virtual environment
Nijholt The Gulliver Project: Performers and Visitors
Pratama Immersive Virtual Reality Prototype for Evaluating 4D CAD Model
Gustafsson “A new image of man”: Harun Farocki and cinema as chiro-praxis
CN110969237A (zh) 两性关系视角下的人机虚拟互动构建方法、设备及介质
Conti et al. DentroTrento: a virtual walk across history
KALARAT et al. Natural interaction design for navigation in virtual environment of sino-portuguese architecture in museum
Li et al. Toward a Wider Audience, Systematic Approach of Reinterpretation and Representation of the East Main Hall of Foguang Temple Based on Digital Documentation and 3d Visualization Techniques
Li VR interactive game design based on unity3d engine
Eiselen Simulating the Harlem Renaissance in Virtual Reality: Glancing into the Development of the Virtual Harlem Project from 2014–2018

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant