CN112070904A - 应用于博物馆的增强现实展示方法 - Google Patents

Abstract

本发明提供的一种应用于博物馆的增强现实展示方法,包括步骤一，使用成像装置对场景进行成像；步骤二，采用图像处理软件对多张场景图像混合；步骤三，对步骤二所混合后的图像进行处理，生产高度信息和法线信息；步骤四，对场景进行建模；步骤五，将经过步骤二、步骤三处理的对应的图片与场景建模后的模型进行匹配，还原场景原貌构建场景模型；步骤六，采用ARCore平台构建地图实现对步骤五所构建的场景模型的动态跟踪。服现有技术的缺点与不足，提供一种基于ARCore的增强现实的图像方法，实现虚拟漫游效果，降低成本，展示环节广泛趣味性高的应用于博物馆的展示方法。

Description

应用于博物馆的增强现实展示方法

技术领域

本发明涉及一种图像信息处理技术，特别涉及一种基于ARCore的增强现实展示方法应用于博物馆内的展示。

背景技术

AR增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

三维模型：三维模型是物体的多边形表示，通常用计算机或者其它视频设备进行显示。显示的物体可以是现实世界的实体，也可以是虚构的物体。

无缝拼接：无缝拼接技术的发展共经历了纯硬件融合技术、纯软件融合技术和软硬件融合技术三个阶段。纯硬件融合技术是通过光学的遮光处理来融合图像，纯软件融合技术是通过电子线路处理来完成图像的融合，软硬件融合技术是指既有光学遮光融合处理，又有电子融合处理。由于硬件融合能较好地处理融合图像的黑平衡，而软件融合能较好处理图像的白平衡，这两者相结合的软硬件融合技术就能够比较完美地实现融合部分色彩图像的真实再现。从拼接效果上来说，无缝拼接技术也经历了三个发展阶段：硬边拼接、重叠拼接和软边融合拼接。硬边拼接有明显分割线(即物理拼缝)，无法实现全景的一体化显示；重叠拼接是指将两台投影机投出的图像在拼合处以叠加的方式重叠。

混合模式是图像处理技术中的一个技术名词，主要功效是可以用不同的方法将对象颜色与底层对象的颜色混合。当您将一种混合模式应用于某一对象时，在此对象的图层或组下方的任何对象上都可看到混合模式的效果。

增强现实市场的竞争越来越激烈，开发者在AR应用的开发和迭代上已经花费了大量的时间，却还面临着测试工具不足、应用存在潜在性能缺陷、缺少统一的标准、难以满足用户需求等诸多挑战。而且AR行业中尚未形成优秀、全面、标准的应用解决方案。因此，需要一种简便快捷的用户行为分析方法及系统解决上述问题。

ARCore是Google的增强现实体验构建平台，利用ARCore能够让手机感知其环境、理解现实世界并与信息进行交互。ARCore主要通过构建地图实现对模型的动态跟踪，通过创建锚点，可将地图内容进行固定，且可多次设定锚点，以扩大地图覆盖的物理面积，保证环境内容不被丢失，从而提高了系统动态跟踪的鲁棒性。由于ARCore其强大的功能，使用ARCore开发AR应用已经成为了当今的趋势。

发明内容

为解决上述技术问题，本发明提供了一种应用于博物馆的增强现实展示方法，其目的是，克服现有技术的缺点与不足，提供一种基于ARCore的增强现实的图像方法，实现虚拟漫游效果，降低成本，展示环节广泛趣味性高的应用于博物馆的展示方法。

具体的：

一种应用于博物馆的增强现实展示方法，

步骤一，使用成像装置对场景进行成像；

步骤二，采用图像处理软件对多张场景图像混合；

步骤三，对步骤二所混合后的图像进行处理，生产高度信息和法线信息；

步骤四，对场景进行建模；

步骤五，将经过步骤二、步骤三处理的对应的图片与场景建模后的模型进行匹配，还原场景原貌构建场景模型；

步骤六，采用ARCore平台构建地图实现对步骤五所构建的场景模型的动态跟踪。

进一步的，所述的步骤一的方法如下：

实地勘察场景环境，采用激光扫描器对场景中的被测物体进行数据采集，并汇总形成三维数据。

进一步的，所述的步骤二的方法如下：

打开图像处理软件选取文件>自动>Photomerge；

在“Photomerge”对话框的“源文件”下，从“使用”菜单中选取文件夹找到存储在一个文件夹中的所有照片来创建Photomerge合成图像；

选择自动模式，让Photoshop分析源图像并应用“透视”或“圆柱”和“球面”版面，具体取决于哪一种版面能够生成更好的Photomerge。让PS根据每张照片的边缘自动识别是否可以拼合；

Photoshop可从源图像创建一个多图层图像，并根据需要添加图层蒙版以创建图像重叠位置的最佳混合。可以编辑图层蒙版或添加调整图层，以便进一步微调全景图的其它区域。

进一步的，所述的步骤三的方法如下：

选取Diffuse文件，O对应Open打开墙面照片

在Height Map点击C对应Create创建高度贴图，生成壁画的高度信息记录在黑白贴图上；

在NormalMap点击C创建法线贴图，生成壁画的方向位置信息贴图。

进一步的，所述的步骤四的方法如下：

在C4D中进行模型搭建，保证模型完全由四边面构成；

将步骤三所获区的贴图赋予墙面，并把贴图按照实际效果烘焙下来，保证后续在Unity中UV不会出现问题。

进一步的，所述的步骤五的方法如下：

从C4D导出fbx格式的模型再导入到Unity中；

创建材质球Material，贴图分别为Albedo颜色贴图，Height高度贴图和Normal法线贴图；

将创建的材质球赋予对应的墙面就可以还原出墙壁的原貌。

进一步的，所述的步骤六的方法如下：

从C4D导出fbx格式的模型再导入到Unity中；

创建材质球Material，贴图分别为Albedo颜色贴图，Height高度贴图和Normal法线贴图；

将创建的材质球赋予对应的墙面就可以还原出墙壁的原貌。

进一步的，所述的步骤六的方法为：

创建项目，将ARCore包导入到项目中里面，通过调整大小和放置3个box来制作一个简单的门模型，形成一个简单的门户；

删除默认摄像机，将之前搭建好的模型替换默认的Andy模型；

创建Mask遮罩shader，用Plane包围做好的墓室模型，仅保留门口位置不包裹，这样摄像机观察时添加Mask Shader的部分会自动透明显示，而观察门口时可以直接观察到内部的墓室模型。

本发明提供的一种应用于博物馆的增强现实展示方法，其有益效果在于，

1、实现虚拟漫游效果

与现有AR(增强现实)展示技术相比，现有AR(增强现实)展示技术无法实现漫游，本发明可以实现漫游效果，在无虚拟现实设备的情况下实现虚拟现实效果，达到混合现实效果。

2、降低成本

与现有AR(增强现实)展示技术相比，本发明不在需要VR(虚拟现实设备)可以实现虚拟现实效果，与以往相比展示技术相比，设备数减少，展示制作成本降低。

3、展示环节广泛

与现有AR(增强现实)展示技术相比，本发明在实现虚拟现实效果的情况下不受设备束缚，可随时随地进行展示。

4、趣味性高：

与现有AR(增强现实)展示技术相比，本发明呈现的内容全部是3D立体的，可互动的，展示内容生动、直观、形象，有助于理解和记忆。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

附图1为本发明的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明以一种构建墓室增强现实场景为例，介绍本发明的具体实施方式。

一、对墓室照片扫描

1.实地勘察发现打虎亭汉墓一号墓具备手持式三维扫描作业条件，根据文物保护相关规定，作业时不允许接触石画像、石雕门及石门框，现场采用铁丝网贴点配合手持激光扫描仪对石画像、石雕门及石门框刻痕进行数据采集，可确保在不触碰刻痕的情况下，采集到项目所需三维数据。

2.项目采用CREAFORM Handyscan BlackTM|ELITE手持式三维扫描仪可在数十秒内完成校准。

3.手持式三维扫描仪参数设置主要为采集分辨率及曝光参数设置。分辨率即点间距，项目根据刻痕大小及刻痕深度采用不同的分辨率进行数据采集，分辨率大小从0.11毫米至0.30毫米不等；曝光参数即扫描仪相机曝光参数，不同刻痕表面材质、亮度、颜色不一，均需不同的曝光参数与之匹配，以求达到最好的扫描效果。

4.由于铁丝网对扫描仪激光线有遮挡，在扫描采集数据时，需要设备在景深范围内从不同角度对刻痕进行扫描，确保数据的完整性。

二、Photo Merge整合完整墙面

1.选取文件>自动>Photomerge。

2.在“Photomerge”对话框的“源文件”下，从“使用”菜单中选取文件夹找到存储在一个文件夹中的所有照片来创建Photomerge合成图像。

3.选择自动模式，让Photoshop分析源图像并应用“透视”或“圆柱”和“球面”版面，具体取决于哪一种版面能够生成更好的Photomerge。让PS根据每张照片的边缘自动识别是否可以拼合。

4.单击“确定”。Photoshop可从源图像创建一个多图层图像，并根据需要添加图层蒙版以创建图像重叠位置的最佳混合。可以编辑图层蒙版或添加调整图层，以便进一步微调全景图的其它区域。

三、Materialize生成高度和法线

1.选取Diffuse文件，O对应Open打开墙面照片。

2.在Height Map点击C对应Create创建高度贴图，生成壁画的高度信息记录在黑白贴图上。

3.在Normal Map点击C创建法线贴图，生成壁画的方向位置信息贴图。

四、C4D建立墓室模型

1.在C4D中进行模型搭建，保证模型完全由四边面构成

2.将贴图赋予墙面，并把贴图按照实际效果烘焙下来，保证后续在Unity中UV不会出现问题。

五、导入开发引擎复原墓室

1.首先要从C4D导出fbx格式的模型再导入到Unity中

2.创建材质球Material，贴图分别为Albedo颜色贴图，Height高度贴图和Normal法线贴图

3.将创建的材质球赋予对应的墙面就可以还原出墙壁的原貌

六、AR core制作传送门

1.首先，需要通过双击Unity图标来创建项目。将其命名为“Dimension Portal”。之后，将ARCore包导入到项目中里面有两个来自Google的演示场景(ComputerVision和HelloAR)。通过调整大(ComputerVision和HelloAR)。通过调整大小和放置3个box来制作一个简单的门模型，形成一个简单的门户。

2.删除默认摄像机，在HelloAR的Example Controller中将之前搭建好的模型替换默认的Andy模型

3.创建Mask遮罩shader，用Plane包围做好的墓室模型，仅保留门口位置不包裹。这样摄像机观察时添加Mask Shader的部分会自动透明显示，而观察门口时可以直接观察到内部的墓室模型。

七、导出APP

1.打开Unity的Build Setting中选择Android设置

2.点击Player Setting设置APP适用的安卓版本，设置Icon和文件名后打包输出。

(3)各部分的连接关系

新型博物馆用AR(增强现实)展示技术中总共包括7个步骤，每一个步骤都按先后顺序进行，每一个步骤中的技术分点也许按照先后顺序进行。

(4)该产品的工作或使用过程

1.首先通过手机摄像头扫描并识别地面，放置“传送门”

2.看到AR墓室大门后用户可以走入三维墓室模型，达到在其中随意游走的VR效果，实现了混合现实的功能。

本实施例前期首先需要实地拍摄墓室照片(局部)，随后在PS中用Photo Merge功能将局部照片整合成完整的墙面，并用液化工具修复被拉伸的壁画。拼合成一面完整的壁画后用Materialize软件生成高度和法线贴图。这些贴图存储了墙壁的颜色信息，高度信息，包括细节的凹凸和纹理。

在生成贴图后，进入C4D搭建墓室模型并赋予材质，就生成了基础的墓室。将墓室贴图烘焙后再导入Unity3D重新复原墓室。以ARcore为SDK制作“传送门”，其中用到了地面识别技术和ARcore实例以及透明化Shader的使用，通过识别地面并制作“隐形墙壁”实现了扫描地面后在AR环境里呈现墓室大门，并且可以让用户走入三维墓室模型，达到在其中随意游走的VR效果，实现了混合现实的功能。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种应用于博物馆的增强现实展示方法，其特征在于，

步骤一，使用成像装置对场景进行成像；

步骤二，采用图像处理软件对多张场景图像混合；

步骤三，对步骤二所混合后的图像进行处理，生产高度信息和法线信息；

步骤四，对场景进行建模；

步骤五，将经过步骤二、步骤三处理的对应的图片与场景建模后的模型进行匹配，还原场景原貌构建场景模型；

步骤六，采用ARCore平台构建地图实现对步骤五所构建的场景模型的动态跟踪。

2.根据权利要求1所述的一种应用于博物馆的增强现实展示方法，其特征在于，所述的步骤一的方法如下：

实地勘察场景环境，采用激光扫描器对场景中的被测物体进行数据采集，并汇总形成三维数据。

3.根据权利要求1或者2所述的一种用于博物馆的增强现实展示方法，其特征在于，所述的步骤二的方法如下：

打开图像处理软件选取文件>自动>Photomerge；

在“Photomerge”对话框的“源文件”下，从“使用”菜单中选取文件夹找到存储在一个文件夹中的所有照片来创建Photomerge合成图像；

选择自动模式，让Photoshop分析源图像并应用“透视”或“圆柱”和“球面”版面，具体取决于哪一种版面能够生成更好的Photomerge。让PS根据每张照片的边缘自动识别是否可以拼合；

Photoshop可从源图像创建一个多图层图像，并根据需要添加图层蒙版以创建图像重叠位置的最佳混合。可以编辑图层蒙版或添加调整图层，以便进一步微调全景图的其它区域。

4.根据权利要求1或者2所述的一种用于博物馆的增强现实展示方法，其特征在于，所述的步骤三的方法如下：

选取Diffuse文件，O对应Open打开墙面照片

在Height Map点击C对应Create创建高度贴图，生成壁画的高度信息记录在黑白贴图上；

在Normal Map点击C创建法线贴图，生成壁画的方向位置信息贴图。

5.根据权利要求1或者2所述的一种用于博物馆的增强现实展示方法，其特征在于，所述的步骤四的方法如下：

在C4D中进行模型搭建，保证模型完全由四边面构成；

将步骤三所获区的贴图赋予墙面，并把贴图按照实际效果烘焙下来，保证后续在Unity中UV不会出现问题。

6.根据权利要求1或者2所述的一种用于博物馆的增强现实展示方法，其特征在于，所述的步骤五的方法如下：

从C4D导出fbx格式的模型再导入到Unity中；

创建材质球Material，贴图分别为Albedo颜色贴图，Height高度贴图和Normal法线贴图；

将创建的材质球赋予对应的墙面就可以还原出墙壁的原貌。

7.根据权利要求1或者2所述的一种用于博物馆的增强现实展示方法，其特征在于，所述的步骤六的方法如下：

从C4D导出fbx格式的模型再导入到Unity中；

创建材质球Material，贴图分别为Albedo颜色贴图，Height高度贴图和Normal法线贴图；

将创建的材质球赋予对应的墙面就可以还原出墙壁的原貌。

8.根据权利要求1或者2所述的一种用于博物馆的增强现实展示方法，其特征在于，所述的步骤六的方法为：

创建项目，将ARCore包导入到项目中里面，通过调整大小和放置3个box来制作一个简单的门模型，形成一个简单的门户；

删除默认摄像机，将之前搭建好的模型替换默认的Andy模型；

创建Mask遮罩shader，用Plane包围做好的墓室模型，仅保留门口位置不包裹，这样摄像机观察时添加Mask Shader的部分会自动透明显示，而观察门口时可以直接观察到内部的墓室模型。

Images