CN115617174B - 一种构建可交互式虚拟展馆的方法 - Google Patents

Abstract

本发明公开了一种构建可交互式虚拟展馆的方法，包括以下步骤：构建虚拟场景，将文物模型放置在对应的虚拟场景中；基于文字检测算法，获取所述文物模型上的古文字信息；对所述古文字信息进行处理和识别，构建对应的知识图谱，并在交互界面进行展示。本发明提出的自主交互式的虚拟展馆，很好地兼顾了学习性和趣味性，使操作者在展馆进行漫游时不仅能够进行很好的学习，还可以体会到自由实践创作的乐趣。

Description

一种构建可交互式虚拟展馆的方法

技术领域

本发明属于数字技术领域，特别是涉及一种构建可交互式虚拟展馆的方法。

背景技术

随着人们对文物和历史的研究，每年都会有大量的文物出土，而且目前考古技术和文物修复保护措施日渐趋于完善，绝大多数的文物都能够被完好的保存下来，而这些保存下来的文物就会被存放到各地的博物馆中。但受到时间、空间、保护条件等诸多因素的限制，博物馆中展示的文物并不能很好地满足社会的需求，人们不能够对博物馆中的每个文物都有很好的观赏体验。而虚拟现实技术的出现和发展就很大程度上发挥了博物馆文物展示、教育和研究的功能，使得博物馆在更好地服务于社会大众的同时也推进了自身的发展，这一点打破了实体博物馆的局限性，从而很好地满足了社会民众的部分需求。

而通过人们的不断研究和实践，虚拟现实技术也变得逐渐完善，被应用于生活中的各个领域，人们对运用虚拟场景的开发工具也越来越熟练，如unity3d。运用这些技术和开发工具，人们构建出的虚拟博物馆的功能逐渐变得完善，而且模拟出的场景也越来越真实。但是目前现有的虚拟博物馆系统中，大多都是采用文物模型展示加信息显示的方式供人们进行观摩学习，人们在虚拟场景中进行自主漫游，交互文物模型进行观察并查看文物信息。这种方式虽然很好地还原了博物馆的参观流程，也能够保证人们能够全面细致地观赏一件文物，但是缺乏一定的自主学习性和实践探索的自由度，尤其是对于带有古文字的文物，这些古文字信息具有很好的学习价值，但当所有信息被系统设定显示在人们眼前时，人们需要做的就只是浏览，从中获取的知识是固定且少量的，而且还容易使人们在浏览过程中产生枯燥的心理，使得整个过程缺乏一定的趣味性。而且这些虚拟博物馆系统使用的模型大多并非手工构建，这样就会导致模型不够细致清晰，也不能够细致地展示出文物的某一个方面。

发明内容

本发明的目的是提供一种构建可交互式虚拟展馆的方法，将现有的虚拟仿真技术与AI技术相结合，运用人工智能的优势和特点来实现增强虚拟博物馆的自由度和探索乐趣，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种构建可交互式虚拟展馆的方法，包括以下步骤：

构建虚拟场景，将文物模型放置在对应的虚拟场景中；

基于文字检测算法，获取所述文物模型上的古文字信息；

对所述古文字信息进行处理和识别，构建对应的知识图谱，并在交互界面进行展示。

优选的，在所述虚拟场景中设置碰撞检测区域，在所述碰撞检测区域内放置第一碰撞包围盒，在摄像机外围放置第二碰撞包围盒，摄像机靠近碰撞区域时，所述第一碰撞包围盒和第二碰撞包围盒靠近，当两个碰撞包围盒的边界存在任一面的点重合时，视为碰撞发生，然后进行场景交互；其中，所述第一碰撞包围盒和第二碰撞包围盒为透明对象。

优选的，获取所述文物模型上的古文字信息的过程包括，采用基于CNN网络的文字检测算法和基于深度卷积网络的字符识别算法，对所述文物模型上的古文字信息进行检测和识别，获得所述文物模型上的古文字信息，所述古文字信息包括但不限于单个古文字的位置信息。

优选的，对所述古文字信息进行处理和识别的过程包括，获取文物模型的原始拓片图像，采用基于CNN网络的文字检测算法获取所述原始拓片图像上的古文字位置信息，并将所述原始拓片图像切割成若干个文字图像；对所述文字图像进行图像处理和命名实体识别处理，获得对应的结构化图像数据和文本数据，并进行存储。

优选的，对所述文字图像进行图像处理和命名实体识别处理之前还包括，采用BM3D降噪法或者基于GAN的深度去噪法对所述文字图像进行降噪处理，将文字图像进行清晰化。

优选的，对所述文字图像进行图像处理的过程包括，采用基于深度卷积网络的字符识别算法对所述文字图像进行识别，获得图像类别信息。

优选的，对所述文字图像进行命名实体识别处理的过程包括，基于实体识别算法从原始文本数据中提取出实体数据信息；

所述原始文本数据包括但不限于古汉语词典、释文辞例；

所述实体数据信息包括但不限于人名信息、地名信息。

优选的，构建知识图谱的过程包括，基于结构化图像数据和文本数据，构建知识图谱并以3D形式在交互界面进行展示。

本发明的技术效果为：

本发明提出的自主交互式的虚拟展馆，将现有的虚拟仿真技术与AI技术相结合，运用人工智能的优势和特点来实现增强虚拟展馆的自由度和探索乐趣；很好地兼顾了学习性和趣味性，使操作者在展馆进行漫游时不仅能够进行很好的学习，还可以体会到自由实践创作的乐趣。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的构建可交互式虚拟展馆的方法流程图；

图2为本发明实施例中的虚拟展馆整体结构图；

图3为本发明实施例中的甲片模型图；

图4为本发明实施例中的原始文本数据展示示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1-4所示，本实施例中提供一种构建可交互式虚拟展馆的方法，包括以下步骤：

S1，设计构建虚拟博物馆的整体场景，并根据真实数据还原设计文物模型，将还原出的模型摆放至对应的虚拟场景中。如图3所示为根据真实数据还原出的甲片模型。

S2，对整个虚拟场景进行贴图和灯光渲染等操作，进一步美化场景，并进行场景烘培，降低运行时的消耗。

S3，在虚拟场馆内设置碰撞检测区域，在碰撞检测区域内放置第一碰撞包围盒，在摄像机外围放置第二碰撞包围盒，摄像机靠近碰撞区域时，第一碰撞包围盒和第二碰撞包围盒靠近，当两个碰撞包围盒的边界存在任一面的点重合时，视为碰撞发生，然后进行场景交互；其中，第一碰撞包围盒和第二碰撞包围盒为透明对象。

S4，将文字检测算法运用到文物展示功能中，目的是实现客户在观察文物时能够通过系统提供的虚拟移动终端来识别出文物上的古文字信息，并将这些信息显现出来。

S5，将文字检测算法、字符识别算法、图像降噪算法、命名实体识别算法等运用到古文字实践探索区功能中，目的是实现客户对古文字信息的实践探索，此阶段客户在界面中完成古文字图像处理、古文字图像降噪、古文字图像识别、信息抽取、图谱搭建等操作可自由搭建知识图谱，最终效果会展示在界面中。

S6，设置语音播报和文字信息展示，引导客户在场景中进行操作。

经过步骤S1至S6设计搭建成虚拟博物馆，客户在虚拟场景中进行自主漫游，与场景交互进行功能体验。

对于步骤S4中文物上古文字信息的检测和识别操作，本实施例采用基于CNN网络的文字检测算法和基于深度卷积网络的字符识别算法来实现，通过运行该算法经过固定流程检测出文物图片上的古文字，然后再识别出这些古文字的信息，从而客户可以自行选择查阅想要了解的文字信息，提高了展馆的可交互性。此外该算法能够检测识别单个文字的位置和信息，客户在识别显示出的古文字信息中也可查看单个古文字的信息。具体的，输入图片之后，生成待处理的候选区域，在候选区域进行特征提取，然后利用字符/背景分类器对图片的文字和背景进行分类，获得想要检测的古文字信息。

对于步骤S5，客户在操作之前可在数据栏中选择文物的原始拓片图像，并将图像放置在操作界面中。针对图片中古文字的一系列操作，本实施例采用了多种人工智能算法，将AI技术应用到虚拟场景中用以处理文物上的古文字信息，其中包括：

1)与步骤S4中的文字检测一样，通过运行基于CNN网络的文字检测算法检测出图片中的文字位置，并切割成数个文字图像，这些文字图像上仅含有一个文字，客户可手动操作进行选择和存储。

2)使用图像降噪算法来清晰化切割的文字图像。原始文物图像中的文字通常比较模糊，运用这些算法对文字图像进行清晰化处理的目的就是输出干净的文字图片以方便后续的识别操作。本实施例中使用了两种图像降噪算法对图像进行清晰化处理，分别为BM3D降噪算法和基于GAN的深度去噪方法，两种算法均能使文字图像变得清晰，各有优劣，客户进行此操作时根据选择不同算法清晰化处理文字图像后的效果对比，能够很好地感受到两种算法的差别，达到在实践中学习的目的。

3)生成的干净的文字图像依次输入到古文字识别框中，客户即可进行图像的识别操作，通过基于深度卷积网络的字符识别算法，系统就会对图像中的文字进行准确的识别，识别操作完成后古文字识别框将会输出图像类别和其他信息，识别出的这些信息会显示在操作界面中，这时客户就可清晰地浏览识别出的文字信息并通过拖拽对数据进行存储。

4)在系统的数据栏中提供有古汉语词典、释文辞例等原始文本数据，利用实体识别算法可从原始文本数据中提取出古代人名、地名等实体，这些实体数据信息客户也可选择进行存储，并在最后的知识图谱构建过程中进行使用。以甲骨文为例，原始文本数据如图4所示，包括拓片、照片、释文如表1所示：

表1

5)经过图像处理和命名实体识别处理的结构化图像和文本数据作为知识图谱构建的数据被保存在了数据栏中，在客户进行自主设计知识图谱时，通过将结构化数据拖拽到操作台构建知识图谱。构建好的知识图谱以3D形式展示。

通过以上步骤的设计实现，一个自主交互式的古文字探索虚拟场馆就搭建完成了，这个虚拟博物馆很好地兼顾了学习性和趣味性，在操作者进行漫游时不仅能够进行很好的学习，还可以体会到自由实践创作的乐趣。

如图1操作流程图所示，该虚拟场馆最后达成的一个效果描述如下：

用户登录系统后，将以第一视角处在一个虚拟场馆内，在出发点系统语音播报欢迎信息，用户可通过键盘和鼠标在场馆内自由移动。场馆内可交互场景有明显的提示，用户走进提示区域自动交互，这时进入操作界面，刻有古文字的铜器、兽骨、竹帛等文物就会单独显示在用户的眼前，在这样的视角下，用户能够清晰地观察到文物的全貌，而且通过鼠标操作，用户可以自由地对文物进行旋转和缩放，以便更加细致地观察，通过系统中设置的虚拟移动端设备，用户还可扫描出文物上的文字信息，识别后界面中显示出汉字及与该字相关的知识图谱，系统也会通过语音播报的方式提供文物信息。观察结束后用户按下键盘上的esc键即可退出，回到虚拟场馆内。在古文字实践探索区用户可对文物上的古文字进行自主实践，根据语音和界面提示，用户在该界面中可依次完成古文字图像处理、古文字图像降噪、古文字图像识别、信息抽取、图谱搭建等操作，最后用户就会得到自己设计出的一张知识图谱。在一些对古文字的操作中系统还提供了不同的算法供用户选择，用户可根据自己选择非常直接的体会到不同算法对图像进行清晰化处理的不同效果，增加了系统的自主学习性、自由性和趣味性。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种构建可交互式虚拟展馆的方法，其特征在于，包括以下步骤：

构建虚拟场景，将文物模型放置在对应的虚拟场景中；

基于文字检测算法，获取所述文物模型上的古文字信息；

对所述古文字信息进行处理和识别，构建对应的知识图谱，并在交互界面进行展示；

将文字检测算法、字符识别算法、图像降噪算法和命名实体识别算法运用到古文字实践探索区功能中，客户在交互界面中完成古文字图像处理、古文字图像降噪、古文字图像识别、信息抽取和图谱搭建的操作后，自由完成知识图谱的搭建，并展示在交互界面中；

对所述古文字信息进行处理和识别的过程包括，获取文物模型的原始拓片图像，采用基于CNN网络的文字检测算法获取所述原始拓片图像上的古文字位置信息，并将所述原始拓片图像切割成若干个文字图像；对所述文字图像进行图像处理和命名实体识别处理，获得对应的结构化图像数据和文本数据，并进行存储；

对所述文字图像进行图像处理的过程包括，采用基于深度卷积网络的字符识别算法对所述文字图像进行识别，获得图像类别信息；

对所述文字图像进行命名实体识别处理的过程包括，基于实体识别算法从原始文本数据中提取出实体数据信息；

经过图像处理和命名实体识别处理的结构化图像和文本数据作为知识图谱构建的数据被保存在了数据栏中，在客户进行自主设计知识图谱时，通过将结构化数据拖拽到操作台构建知识图谱，构建好的知识图谱以3D形式展示。

2.根据权利要求1所述的构建可交互式虚拟展馆的方法，其特征在于，

在所述虚拟场景中设置碰撞检测区域，在所述碰撞检测区域内放置第一碰撞包围盒，在摄像机外围放置第二碰撞包围盒，摄像机靠近碰撞区域时，所述第一碰撞包围盒和第二碰撞包围盒靠近，当两个碰撞包围盒的边界存在任一面的点重合时，视为碰撞发生，然后进行场景交互；其中，所述第一碰撞包围盒和第二碰撞包围盒为透明对象。

3.根据权利要求1所述的构建可交互式虚拟展馆的方法，其特征在于，

获取所述文物模型上的古文字信息的过程包括，采用基于CNN网络的文字检测算法和基于深度卷积网络的字符识别算法，对所述文物模型上的古文字信息进行检测和识别，获得所述文物模型上的古文字信息，所述古文字信息包括但不限于单个古文字的位置信息。

4.根据权利要求1所述的构建可交互式虚拟展馆的方法，其特征在于，

对所述文字图像进行图像处理和命名实体识别处理之前还包括，采用BM3D降噪法或者基于GAN的深度去噪法对所述文字图像进行降噪处理。

5.根据权利要求1所述的构建可交互式虚拟展馆的方法，其特征在于，

所述原始文本数据包括但不限于古汉语词典、释文辞例；

所述实体数据信息包括但不限于人名信息、地名信息。