CN114167610A - 一种基于ar的数字博物馆展示系统 - Google Patents

Abstract

本发明公开了一种基于AR的数字博物馆展示系统，包括：AR头盔、远程管理平台、远程控制平台和数据库服务器；AR头盔包括：摄像头和视野显示屏；摄像头用于采集AR头盔前方视野图像；AR头盔将前方视野图像发送至远程管理平台；远程管理平台，用于根据获取到的前方视野图像，输入至图像识别神经网路模型中，输出AR头盔前方视野图像的方位及尺寸至远程控制平台；远程控制平台，用于从数据库服务器中获取相关三维文物模型，并根据所处方位及尺寸，调整三维文物模型的展示效果，并将调整后的三维文物模型发送至AR头盔，通过视野显示屏进行展示。可将虚拟信息与现实世界进行巧妙结合，实现足不出户对实体博物馆中的文物进行云上可视化阅览。

Description

一种基于AR的数字博物馆展示系统

技术领域

本发明涉及AR技术领域，特别涉及一种基于AR的数字博物馆展示系统。

背景技术

增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。数字博物馆是运用虚拟现实技术、三维图形图像技术、计算机网络技术、立体显示系统、互动娱乐技术和特种视觉效果技术等。将现实存在的实体博物馆以三维立体的方式完整呈现于网络上的博物馆。

然而当前并不存在将增强现实技术与数字博物馆相结合进行展示的相关技术手段，以在利用AR技术将虚拟信息与真实世界进行巧妙融合的前提下，将真实存在的实体博物馆中的文物以三维立体的形式进行展示以完整呈现在人们的视野和生活中，使人们足不出户即可实现云上参观博物馆文物。

因此，在现有AR技术的基础上，如何提供基于AR的数字博物馆展示系统，将AR技术与虚拟数字博物馆技术相结合，共同实现足不出户即可对实体博物馆中的文物进行直观可视化阅览，成为本领域技术人员亟需解决的问题。

发明内容

鉴于上述问题，本发明提出了一种至少解决上述部分技术问题的基于AR的数字博物馆展示系统，可将虚拟信息与现实世界进行巧妙结合，实现足不出户对实体博物馆中的文物进行云上可视化阅览。

本发明实施例提供一种基于AR的数字博物馆展示系统，包括：AR头盔、远程管理平台、远程控制平台和数据库服务器；

所述AR头盔包括：摄像头和视野显示屏；所述摄像头用于采集所述AR头盔前方视野图像；所述AR头盔将所述前方视野图像发送至远程管理平台；

所述远程管理平台，用于根据获取到的所述前方视野图像，输入至图像识别神经网路模型中，输出所述AR头盔前方视野图像的所处方位及尺寸至所述远程控制平台；所述所处方位及尺寸包括：识别出的对象所处方位及尺寸、视野图像的方位及尺寸；

所述远程控制平台，用于从所述数据库服务器中获取相关三维文物模型，并根据所述所处方位及尺寸，调整所述三维文物模型的展示效果，并将调整后的三维文物模型发送至所述AR头盔，并通过所述视野显示屏进行展示。

进一步地，所述AR头盔上还设有语音识别模块、MCU控制器和无线通讯模块；

所述MCU控制器分别与所述摄像头、视野显示屏、语音识别模块和无线通讯模块连接；

所述语音识别模块，用于获取用户的语音信息，并将获取到的语音信息通过所述MCU控制器生成语音识别指令，通过所述无线通讯模块传输至所述远程控制平台；所述语音识别指令为：选择相应的博物馆及相应的展厅；

所述MCU控制器，用于通过所述无线通讯模块接收所述远程控制平台调整后的的三维文物模型，连同实时从所述摄像头获取到的前方视野图像，在所述视野显示屏进行展示。

进一步地，所述远程管理平台包括：

获取模块，用于获取所述AR头盔发送的前方视野图像；

识别模块，用于将所述获取模块获取的前方视野图像，输入至图像识别神经网路模型进行识别；

输出模块，用于输出所述识别模块的识别结果；所述识别结果为所述AR头盔前方视野图像的所处方位及尺寸；

发送模块，用于将所述所处方位及尺寸，发送至所述远程控制平台。

进一步地，所述远程控制平台包括：

选择模块，用于根据从所述AR头盔获取的语音识别指令，从所述数据库服务器中选择并获取相关三维文物模型；

调整模块，用于根据从所述远程管理平台获取的所述所处方位及尺寸，调整所述三维文物模型的展示效果；

传输模块，用于将调整后的三维文物模型发送至所述AR头盔。

进一步地，所述MCU控制器，包括：

提取模块，用于从所述摄像头获取的实时前方视野图像中提取特征区域；

转换模块，用于以所述实时前方视野图像作为背景模板，对从所述远程控制平台获取到的调整后的三维文物模型进行亮度、饱和度、对比度和纹理调整；

轮廓调整模块，用于将风格转换后的三维文物模型进行轮廓调整，使所述三维文物模型与所述提取模块提取出的特征区域的轮廓相适配；

仿射模块，用于对轮廓匹配后的三维文物模型进行仿射变换，使所述三维文物模型的内部特征点与所述特征区域中的内部特征点对齐；

融合模块，用于将仿射变换后的三维文物模型和所述特征区域进行像素融合，生成融合后的图像，并发送至所述视野显示屏进行展示。

进一步地，所述图像识别神经网路模型采用五个卷积层、三个池化层和三个全连接层的网络结构。

进一步地，所述识别模块，包括：

预处理模块，用于将所述获取模块获取的前方视野图像进行预处理，所述预处理包括：对所述前方视野图像进行缩放、中心裁剪、旋转、镜像和直方均衡化；

数据增强模块，用于对预处理后的图像进行数据增强，建立各数据之间的线性关系；

归一化模块，用于对数据增强后的图像进行批量归一化处理，形成标准正态分布；

计算模块，用于将归一化后的图像输入至图像识别神经网路模型中进行计算，获得识别结果。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明实施例提供的一种基于AR的数字博物馆展示系统，包括：AR头盔、远程管理平台、远程控制平台和数据库服务器；AR头盔包括：摄像头和视野显示屏；摄像头用于采集AR头盔前方视野图像；AR头盔将前方视野图像发送至远程管理平台；远程管理平台，用于根据获取到的前方视野图像，输入至图像识别神经网路模型中，输出AR头盔前方视野图像的方位及尺寸至远程控制平台；所处方位及尺寸包括：识别出的对象所处方位及尺寸、视野图像的方位及尺寸；远程控制平台，用于从数据库服务器中获取相关三维文物模型，并根据所处方位及尺寸，调整三维文物模型的展示效果，并将调整后的三维文物模型发送至AR头盔，通过视野显示屏进行展示。可将虚拟信息与现实世界进行巧妙结合，实现足不出户对实体博物馆中的文物进行云上可视化阅览。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的AR头盔外部结构示意图；

图2为本发明实施例提供的基于AR的数字博物馆展示系统工作流程图；

图3为本发明实施例提供的图像识别神经网路模型网络结构图。

附图中：1-AR头盔；2-摄像头；3-视野显示屏；4-语音识别模块；5-MCU控制器；6-无线通讯模块。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例1

本发明实施例提供一种基于AR的数字博物馆展示系统，包括：AR头盔1、远程管理平台、远程控制平台和数据库服务器。

参照图1所示，AR头盔1上设有摄像头2，摄像头2用于采集AR头盔1前方视野图像，AR头盔1并将采集到的前方视野图像发送至远程管理平台。

远程管理平台，用于根据所获取到的前方视野图像，输入至图像识别神经网路模型中，输出AR头盔1前方视野图像的所处方位及尺寸至远程控制平台。该所处方位及尺寸包括：识别出的对象(用户视野中存在的实际存在物体)所处方位及尺寸、视野图像的(用户视野)方位及尺寸。

远程控制平台，用于从数据库服务器中获取相关三维文物模型，并根据从远程管理平台获取到的所处方位及尺寸，调整三维文物模型在前方视野图像中的展示效果，并将调整后的三维文物模型发送至AR头盔1，最后AR头盔1通过视野显示屏3进行展示。

本实施例提供的AR的数字博物馆展示系统，将AR技术与虚拟数字博物馆技术相结合，实现用户足不出户即可对实体博物馆中的文物进行直观可视化阅览，并且将该文物放置于人们日常生活中的物件上，更具有真实性和强烈的视觉体验。使用户戴上AR头盔，即可将日常生活中的场景转变成数字博物馆，将真实与虚拟相结合，实现云上阅览文物，增加趣味性和实用性。

具体地，参照图1所示，AR头盔1上分别设有高清摄像头2(型号HS040000)、AR头盔1视野显示屏3、语音识别模块4(拾音器HN-B-1001)、MCU控制器5(型号STM32F103CBT6)和无线通讯模块6。摄像头2将采集到的AR头盔1前方视野图像通过无线传输模块发送至远程管理平台。语音识别模块4可收集用户发出的语音信息，并将该语音信息通过MCU控制器5，生成语音识别指令，通过无线通讯模块6传递给远程控制平台。后续，当接收到远程控制平台发送的三维文物模型后，MCU控制器5将该三维文物模型连同实时从摄像头2(还可以为陀螺仪、传感器等，本实施例对其不作限定)获取到的实时前方视野图像，进行图像融合，将该三维文物置于实际的生活物品中，并将该融合后的图像传输至AR头盔1视野显示屏3进行展示。

具体地，远程管理平台包括：获取模块、识别模块、输出模块和发送模块。获取模块用于接收从AR头盔1无线通讯模块6所发送的前方视野图像；识别模块用于将该前方视野图像经图像识别神经网路模型进行识别，得到AR头盔1前方视野图像的所处方位及尺寸；输出模块，用于输出该AR头盔1前方视野图像的所处方位及尺寸；发送模块，用于将该所处方位及尺寸，发送至远程控制平台。

具体地，远程控制平台包括：选择模块、调整模块和传输模块。选择模块用于根据从AR头盔1获取的语音识别指令(其中包括博物馆名称、博物馆展厅名称，还可以包括展厅内文物类型)，从数据库服务器中获取相关三维文物模型。调整模块用于根据从远程管理平台获取到的AR头盔1前方视野图像的所处方位及尺寸，调整三维文物模型在前方视野图像中的展示效果。传输模块用于将调整后的三维文物模型发送至AR头盔1的无线通讯模块6。

本实施例中，AR头盔1通过高清摄像头2(型号HS040000)采集当前用户前方视野图像信息，并将该图像信息通过RS-485协议发送至远程服务器(型号QLT-64B)，该远程服务器上架设有远程管理平台和远程控制平台，并连接有数据库服务器。其中，该远程管理平台可连接数据库服务器管理用户登录账号信息、管理博物馆信息、管理博物馆展厅信息(类型、名称、朝代、布局、外观、设施等)、管理各展厅的文物信息(类型、名称、朝代、备注、简介等其他关联信息)；该远程管理平台还根据采集到的用户前方视野图像信息，输入至图像识别神经网络模型中，识别出用户所处方位及尺寸。该远程控制平台可根据用户发出的语音指令(具体什么博物馆、博物馆内的什么展厅以及具体可精确到展厅内的文物类型)，从数据库服务器中获取相关三维文物模型，并根据用户所处方位及尺寸大小(物品对象方位、尺寸以及用户视野方位、尺寸)及变化，自适应调整三维文物模型的展示效果。其中，自适应调整三维文物模型的展示效果，包括：对三维文物模型进行移动、旋转、缩小、放大、放大轴和缩小轴。

进一步地，数据库服务器存储有用户登录账号信息、博物馆信息、博物馆展厅信息、各展厅的文物信息，还存储有三维文物模型，该三维文物模型与博物馆展厅为一一对应的映射关系；该博物馆展厅与博物馆为一一对应的映射关系。该三维文物模型均基于3D引擎(Unity)根据建模指令创建，该建模指令包括根据各展厅的文物信息创建各三维文物模型。

本实施例中具体详细各模块的工作流程如下：

参照图1、图2所示，用户佩戴好AR头盔1，打开开关，发出语音指令(浏览参观哪个博物馆内哪个展厅)，AR头盔1上设置的摄像头2实时采集用户前方视野图像，并将该获取到的图像通过无线通讯模块6传输至远程管理平台，远程管理平台将该图像进行处理，输出用户当前所处方位及尺寸(AR头盔1前方视野图像的所处方位及尺寸)至远程控制平台。远程控制平台根据用户当前所处方位及尺寸的变化(如物品或视野的前后左右移动、用户调整站姿和方向等)，以及想要浏览展厅的语音指令信息，调取数据库服务器中的三维文物模型，并调整三维文物模型的呈现界面；最后远程控制平台将该调整好的三维文物模型传输至AR头盔1，AR头盔1中MCU控制器5将该三维文物模型连同实时从摄像头2获取到的前方视野图像，进行图像融合，并将融合后的图像传输至AR头盔1视野显示屏3进行显示(例如：前方视野图像存在一张桌子，融合后的图像即将一个文物花瓶放在桌子上进行展示)。

进一步地，在用户移动位置、调整站姿和方向后，远程控制平台根据获取到的用户所处方位和尺寸(AR头盔1前方视野图像的所处方位及尺寸)的变化调整三维文物的展示效果，还包括：当用户正对该物体(所处方位不变)移动距离超过预设阈值后(即：当判断出用户所处方位变化，该方位变化方向为正对物品方向，且变化距离超过预设阈值后)，展示该文物三维模型的详细信息(即，数据库服务器中存储的文物信息：类型、名称、朝代、备注、简介等其他关联信息)，远程控制平台将该调整后的三维文物模型(包括三维文物模型以及该文物三维模型的详细信息)发送给AR头盔1无线通讯模块6。

具体地，远程管理平台将获取到的前方视野图像进行识别，输入至图像识别神经网络模型中，识别输出AR头盔1前方视野图像的所处方位及尺寸，该所处方位及尺寸包括：识别出的对象所处方位及尺寸、视野图像的方位及尺寸。该图像识别神经网络模型通过如下方式构建：

首先，对所采集到的用户前方视野图像进行预处理，预处理包括：对前方视野图像进行缩放、中心裁剪、旋转、镜像和直方均衡化。对预处理后的图像进行数据增强，建立各数据之间的线性关系，使待识别图像具有更好的泛化性。其中，数据增强包括：高斯噪声(在原始图像中添加一些高斯噪声)、插值(采用最邻近插值)和中值扰动(通过最近邻中位数扰动)。

其次，对数据增强后的图像的像素点进行批量归一化处理，形成标准正态分布。假设输入为x＝{x₁，x₂，x₃，x₄，x₅，x₆…x_n}，则归一化过程可表示为：

式中，numpy为python的计算科学库，mean为库函数，a为集合x中的最大值，b为集合x中的最小值；取输入x的平均值，输出点X为一个均值为0，方差为1的高斯分布。

最后，参照图3所示的算法，将归一化处理后的数据输入至该网络结构中，采用五个卷积层、三个池化层和三个全连接层的网络结构对训练样本集进行深度网络训练，识别输出得到AR头盔1前方视野图像的所处方位及尺寸(用户视野下的所处方位及尺寸)，完成图像识别神经网络模型的构建，最终输出识别出的对象所处方位及尺寸、视野图像的方位及尺寸(即，用户视野中存在实际物品的方位及尺寸，用户视野的方位及尺寸)。

具体地，MCU控制器5将接收到的远程控制平台调整后的的三维文物模型，连同实时从摄像头2获取到的前方视野图像，在视野显示屏3进行展示，主要通过如下方式实现：

首先，根据预设提取规则在当前前方视野图像中的物体对象中(由摄像头2实时获得)，提取特征区域(用来放置三维文物模型)，设置该特征区域的像素点权重值最高(该权重值对应各个像素点的属性值，包括：像素的颜色参数、亮度值、灰度值等)。

其次，以当前前方视野图像作为背景模板，对调整后的三维文物模型进行亮度、饱和度、对比度和纹理调整，使其三维文物模型与当前前方视野图像的亮度、饱和度、对比度、边缘、纹理、平滑、羽化等均相同；

根据前方视野图像特征区域的边界，对风格转换后的三维文物模型进行轮廓调整，使得三维文物模型与前方视野图像特征区域的轮廓相适配；

对轮廓匹配后的三维文物模型进行仿射变换，使得变换后的三维文物模型的内部特征点与前方视野图像中特征区域中的内部特征点对齐。

最后，将特征点对齐后的三维文物模型和前方视野图像中的物体对象(即特征区域)进行像素融合，使前方视野图像中权重值最高的像素属性值接近三维文物模型的像素的属性值，生成融合后的图像，并传输至视野显示屏3进行展示。

实施例2

本发明实施例提供一种基于AR的数字博物馆展示系统，包括：移动终端、远程管理平台、远程控制平台和数据库服务器；

其中，移动终端包括：摄像头和显示屏；摄像头用于采集移动终端前方视野图像；移动终端将前方视野图像发送至远程管理平台；

远程管理平台，用于根据获取到的前方视野图像，输入至图像识别神经网路模型中，输出移动终端前方视野图像的所处方位及尺寸至远程控制平台；所处方位及尺寸包括：识别出的对象所处方位及尺寸、视野图像的方位及尺寸；

远程控制平台，用于从数据库服务器中获取相关三维文物模型，并根据所处方位及尺寸，调整三维文物模型的展示效果，并将调整后的三维文物模型发送至移动终端，并通过移动终端显示屏进行展示。

进一步地，移动终端上还设有语音识别模块、MCU控制器和无线通讯模块。MCU控制器分别与摄像头、显示屏、语音识别模块和无线通讯模块连接；语音识别模块，用于获取用户的语音信息，并将获取到的语音信息通过MCU控制器生成语音识别指令，通过无线通讯模块传输至远程控制平台；语音识别指令为：选择相应的博物馆及相应的展厅；MCU控制器，用于通过无线通讯模块接收远程控制平台调整后的的三维文物模型，连同实时从摄像头获取到的前方视野图像，在显示屏进行展示。

可选地，可将移动终端设为手机客户端或H5(通过HTML5构建Web内容的方式实现该移动终端的全部内容)，本实施例对其不作限定。

本实施例2与实施例1不同之处在于：将AR头盔替换成移动终端、手机客户端或H5(通过HTML5构建Web内容的方式实现相应的功能)；其他未尽事宜可参照实施例1的描述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例2公开的系统而言，由于其只替换了实施例1公开的系统中的AR头盔，所以描述的比较简单，相关之处参见实施例1系统部分说明即可。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于AR的数字博物馆展示系统，其特征在于，包括：AR头盔(1)、远程管理平台、远程控制平台和数据库服务器；

所述AR头盔(1)包括：摄像头(2)和视野显示屏(3)；所述摄像头(2)用于采集所述AR头盔(1)前方视野图像；所述AR头盔(1)将所述前方视野图像发送至远程管理平台；

所述远程管理平台，用于根据获取到的所述前方视野图像，输入至图像识别神经网路模型中，输出所述AR头盔(1)前方视野图像的所处方位及尺寸至所述远程控制平台；所述所处方位及尺寸包括：识别出的对象所处方位及尺寸、视野图像的方位及尺寸；

所述远程控制平台，用于从所述数据库服务器中获取相关三维文物模型，并根据所述所处方位及尺寸，调整所述三维文物模型的展示效果，并将调整后的三维文物模型发送至所述AR头盔(1)，并通过所述视野显示屏(3)进行展示。

2.如权利要求1所述的一种基于AR的数字博物馆展示系统，其特征在于，所述AR头盔(1)上还设有语音识别模块(4)、MCU控制器(5)和无线通讯模块(6)；

所述MCU控制器(5)分别与所述摄像头(2)、视野显示屏(3)、语音识别模块(4)和无线通讯模块(6)连接；

所述语音识别模块(4)，用于获取用户的语音信息，并将获取到的语音信息通过所述MCU控制器(5)生成语音识别指令，通过所述无线通讯模块(6)传输至所述远程控制平台；所述语音识别指令为：选择相应的博物馆及相应的展厅；

所述MCU控制器(5)，用于通过所述无线通讯模块(6)接收所述远程控制平台调整后的的三维文物模型，连同实时从所述摄像头(2)获取到的前方视野图像，在所述视野显示屏(3)进行展示。

3.如权利要求2所述的一种基于AR的数字博物馆展示系统，其特征在于，所述远程管理平台包括：

获取模块，用于获取所述AR头盔(1)发送的前方视野图像；

识别模块，用于将所述获取模块获取的前方视野图像，输入至图像识别神经网路模型进行识别；

输出模块，用于输出所述识别模块的识别结果；所述识别结果为所述AR头盔(1)前方视野图像的所处方位及尺寸；

发送模块，用于将所述所处方位及尺寸，发送至所述远程控制平台。

4.如权利要求3所述的一种基于AR的数字博物馆展示系统，其特征在于，所述远程控制平台包括：

选择模块，用于根据从所述AR头盔(1)获取的语音识别指令，从所述数据库服务器中选择并获取相关三维文物模型；

调整模块，用于根据从所述远程管理平台获取的所述所处方位及尺寸，调整所述三维文物模型的展示效果；

传输模块，用于将调整后的三维文物模型发送至所述AR头盔(1)。

5.如权利要求4所述的一种基于AR的数字博物馆展示系统，其特征在于，所述MCU控制器，包括：

提取模块，用于从所述摄像头(2)获取的实时前方视野图像中提取特征区域；

转换模块，用于以所述实时前方视野图像作为背景模板，对从所述远程控制平台获取到的调整后的三维文物模型进行亮度、饱和度、对比度和纹理调整；

轮廓调整模块，用于将风格转换后的三维文物模型进行轮廓调整，使所述三维文物模型与所述提取模块提取出的特征区域的轮廓相适配；

仿射模块，用于对轮廓匹配后的三维文物模型进行仿射变换，使所述三维文物模型的内部特征点与所述特征区域中的内部特征点对齐；

融合模块，用于将仿射变换后的三维文物模型和所述特征区域进行像素融合，生成融合后的图像，并发送至所述视野显示屏(3)进行展示。

6.如权利要求3所述的一种基于AR的数字博物馆展示系统，其特征在于，所述图像识别神经网路模型采用五个卷积层、三个池化层和三个全连接层的网络结构。

7.如权利要求6所述的一种基于AR的数字博物馆展示系统，其特征在于，所述识别模块，包括：

预处理模块，用于将所述获取模块获取的前方视野图像进行预处理，所述预处理包括：对所述前方视野图像进行缩放、中心裁剪、旋转、镜像和直方均衡化；

数据增强模块，用于对预处理后的图像进行数据增强，建立各数据之间的线性关系；

归一化模块，用于对数据增强后的图像进行批量归一化处理，形成标准正态分布；

计算模块，用于将归一化后的图像输入至图像识别神经网路模型中进行计算，获得识别结果。

Images