CN110634178A - 面向数字博物馆的三维场景精细化重建方法 - Google Patents

Abstract

本发明公开了一种面向数字博物馆的三维场景精细化重建方法，包括如下步骤：(1)针对待重建场景中的展品进行相机标定；(2)生成点云模型，然后在点云模型的基础上，借助光能传递与光线追踪构建待重建场景中展品的实时光照渲染模型；(3)利用3Ds Max进行模型和场景的建模；(4)进行模型和场景的整合，得到满足数字博物馆要求的三维重建场景。本发明为数字博物馆事业的发展提供了强有力的技术支持。

Description

面向数字博物馆的三维场景精细化重建方法

技术领域

本发明涉及一种三维场景重建方法，尤其涉及一种面向数字博物馆的三维场景精细化重建方法，属于数字博物馆技术领域。

背景技术

数字博物馆是以内容管理系统(Contents Management System，简称为CMS)为基础平台，以内容为主导，重点提供信息实时发布、展示和互动服务，适当使用多媒体、动画、虚拟现实技术和视频技术等表现手段，具有应用价值和娱乐功能的科普网站。与传统的博物馆相比，数字博物馆更加强调故事性、沉浸性、互动性和体验性。这就要求采用各种数字化技术手段，特别是虚拟现实技术、三维显示技术和特种视效技术等，努力让游客进行互动和体验，从而加深游客对博物馆内涵的理解，提升游客对博物馆游览的兴趣。

在申请号为201810698610.1的中国发明申请中，公开了一种面向对象的馆藏文物渲染方法，包括以下步骤；S1，采集场景及地形的数据信息；S2，将数据信息存储至数据库，并进行处理；S3，获取应用平台发出的请求；S4，根据请求，服务平台从数据生成与维护平台调取集成信息；S5，将集成信息反馈至应用平台。其中，从数据库中调取处理后的数据信息，并对其进行解析渲染索引和解析空间索引，进行三维图像重构，贴图渲染和地理位置，及大小信息，组合为集成信息。

另外，在专利号为ZL 201610173980.4的中国发明专利中，公开了一种三维场景的视觉上的空间分辨率增强方法及系统。该方法包括：对特定的三维场景进行渲染，获取所述三维场景的不同视角的元图，所述不同视角的元图形成光场平面；获取所述光场平面的投射光线的高频部分的渲染信息，获取高分辨率的渲染帧；将所述高分辨率的渲染帧分解为低分辨率的子序列帧；以高刷新频率显示所述低分辨率的子序列帧。该发明通过获取三维场景的高分辨率的渲染帧分解为低分辨率的子序列帧，并以高刷新频率显示所述低分辨率的子序列帧，利用人眼的积分特性实现子序列帧的融合，在不增加硬件开销的条件下，增强了三维场景的视觉上的空间分辨率，提供拟真的3D效果。

但是，现有数字博物馆技术中的三维重建环节仍然存在很多不足，例如分辨率过低导致细节展示不清楚等，亟需本领域技术人员采用技术措施加以解决。

发明内容

本发明所要解决的技术问题在于提供一种面向数字博物馆的三维场景精细化重建方法。

为实现上述发明目的，本发明采用下述的技术方案：

一种面向数字博物馆的三维场景精细化重建方法，包括如下步骤：

(1)针对待重建场景中的展品进行相机标定；

(2)生成点云模型，然后在点云模型的基础上，借助光能传递与光线追踪构建待重建场景中展品的实时光照渲染模型；

(3)利用3Ds Max进行模型和场景的建模；

(4)进行模型和场景的整合，得到满足数字博物馆要求的三维重建场景。

其中较优地，所述步骤(2)中，使用Autodesk Recap将点云数据转换为*.rcs或*.rcp格式，然后导入3Ds Max软件进行使用；在3Ds Max软件中，使用点云切片工具对需要建模应用部分的点云数据进行截取，得到想要使用的部分，然后开启捕捉功能，参照点云数据实现逆向建模。

其中较优地，所述步骤(2)中，采用如下步骤实现光能传递：

步骤1：将场景分割成大量的小多边形，同时使光源处于未出射光的状态；

步骤2：找到未出射光能最大的一个小多边形，把它出射的光能加到其它所有的小多边形上，然后将这个小多边形的未出射光设为零；

步骤3.反复执行步骤2，场景将由暗变亮，逐渐逼近真实效果，然后将结果存储起来。

其中较优地，所述步骤(2)中，采用如下步骤实现光线追踪：

从观察点所在的位置出发，通过一个像素做一条射线，追踪这条射线；如果这条射线和一个物体表面交于一点，记下这一点，再判断是否有镜面反射/折射发生？如果有，从这一点产生新的反射/折射射线，继续追踪过程；重复上述步骤，直至生成一棵二叉树，这个像素的亮度就是该二叉树中所有节点的亮度和；对于图像中的所有其它像素，重复以上步骤得到图像。

其中较优地，所述步骤(3)中，在3Ds Max通过如下步骤使用光线跟踪创建图像：

步骤1：通过监视器上的像素，直到它与一个曲面相交；

步骤2：从相交点开始，跟踪光线到环境中的每个光源；如果到达光源的光线未被其他对象阻挡，则来自光源的灯光用于计算曲面颜色；

步骤3：如果相交的曲面有光泽的或透明，进一步确定在要处理的曲面中或通过这一曲面能看到什么；所述步骤1和所述步骤2在反射方向反复执行，直到遇到另一曲面；后续相交点的颜色也用于计算原始点的颜色；

步骤4：如果第二个曲面也是反光的或透明的，则重复光线跟踪过程，以此类推，直到达到迭代的最大次数或没有更多的相交曲面为止。

其中较优地，所述步骤(3)中，在3Ds Max通过如下步骤使用光能传递：

步骤1：基于对象将场景的副本加载到光能传递引擎；

步骤2：按照对象的单个对象属性细分每个对象；

步骤3：将基于平均场景反射比和多边形的数量发射一定数量的光线；其中，最亮的光源将比最暗的光源发射更多的光线，所述光线围绕场景随机反弹，并在各个面上积蓄能量；

步骤4：通过提取面中的所有能量，并将其扩散到最近的顶点来更新视口。

其中较优地，还包括步骤(5)：

采用超分辨率重建算法，用较低分辨率的模糊图像或视频文件重建出具有较高分辨率的清晰图像或视频文件。

其中较优地，所述超分辨率重建算法包括如下步骤：

将数据集中的原始低分辨率图像按照预定的大小分为若干图像块；

以图像块为输入，基于预设的损失学习哈希函数，在保留最大方差的同时最小化量化误差，通过得到的哈希函数，将任意一个图像块映射为对应的二进制编码；

按照构造多个哈希表中图像块编码的方式，将任意一个目标图像块编码拆分成预设数量的子编码；

对于近邻低分辨率图像块编码，求解它们之间的线性组合系数，将其对应的低分辨率图像块进行线性组合，得到目标低分辨率图像块；

根据线性组合系数，将近邻低分辨率图像块对应的高分辨率图像块进行线性组合，得到目标高分辨率图像块；

按照预定顺序拼合各个目标高分辨率图像块，对重合部分的像素取平均值，合成高分辨率图像。

其中较优地，对于任意一个所述子编码，在多个哈希表中查询与任意一个子编码之间的码距小于预设阈值的所有匹配子编码，将查询到的每个匹配子编码对应的图像块编码作为与任意一个目标低分辨率图像块编码匹配的近邻低分辨率图像块编码。

与现有技术相比较，本发明所提供的三维场景精细化重建方法通过采用光能传递与光线追踪等技术手段，构建了符合实际需要的实时光照渲染模型；结合超分辨率重建算法，用较低分辨率的模糊图像或视频文件重建出具有较高分辨率的清晰图像或视频文件，获得满足数字博物馆要求的三维重建场景。本发明为数字博物馆事业的发展提供了强有力的技术支持。

附图说明

图1为本发明提供的三维场景精细化重建方法的流程图；

图2为图1所示的三维场景精细化重建方法中，实现光能传递的流程图；

图3为图1所示的三维场景精细化重建方法中，实现光线追踪的流程图；

图4为图1所示的三维场景精细化重建方法中，所采用的超分辨率重建算法的流程图；

图5为应用本发明提供的三维场景精细化重建方法生成的某历史场景的模拟效果图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容展开详细具体的说明。

在数字博物馆的建设过程中，经常面临需要重建某些历史场景或者自然场景的需求。为了再现这些历史场景或者自然场景，让游客在互动和体验中产生身临其境的感觉，需要对待重建的场景进行精细化处理，使之尽可能呈现真实的光影效果。因此，本发明中针对单帧的重建场景采用了相机标定、构建实时光照渲染模型、3Ds Max建模、模型整合和场景整合等技术手段，生成尽可能接近真实场景的三维图像。在需要重建连续播放的视频文件时，考虑到逐帧进行纹理映射渲染特别消耗计算资源，因此进一步采取超分辨率重建等技术手段，用较低分辨率的模糊视频重建出具有较高分辨率的清晰视频文件。下面结合图1，对此展开详细具体的说明。

在单帧图像的重建过程中，主要包括如下步骤：

首先，针对待重建场景中的展品进行相机标定。相机标定主要实现以下几个功能：1.畸变校正：经过镜头等成像后，或多或少都有畸变，需要借助畸变矩阵进行校正；2.得到真实空间坐标系和图像坐标系的对应关系。在相机标定过程中，需要在展品上设置多个标志物，并且从不同角度对展品拍摄多张图片。通常情况下，所拍摄的图片数量越多，相机标定的结果越精确。

其次，构建待重建场景中展品的实时光照渲染模型。在完成相机标定之后，需要进一步生成点云模型，然后在点云模型的基础上构建实时光照渲染模型。

在本发明的一个实施例中，利用成熟的商用软件3Ds Max对点云数据进行建模。具体地说，首先使用Autodesk Recap将点云数据转换为*.rcs或*.rcp格式，然后导入3Ds Max软件中进行使用。在3DsMax软件中，使用点云切片工具对需要建模应用部分的点云数据进行截取，得到自己想要使用的部分，然后开启捕捉功能，参照点云数据实现逆向建模。

为了使上述步骤生成的点云模型在待重建场景中具有真实的光影效果，需要借助光能传递与光线追踪等技术手段进一步构建实时光照渲染模型。下面对此展开详细的说明。

光能传递用于计算光线在物体上的传播和反弹，从而得到更为精确和真实的照明结果。在研究光能传递问题时，需要考虑待重建场景中的各个物体在光的照射下，会产生怎样的相互作用。这个问题一般被称为全局照明问题。一般来说，为了解决全局照明问题，渲染过程要分为两个过程：照明过程和采样过程。光能传递属于照明过程，而光线追踪属于采样过程。现有的实时图形库往往只有采样过程，无法自动解决全局照明问题，例如阴影并不是场景设定后就会自动出现，而一定要通过光能传递等方法进行模拟。

全局照明问题从数学上来看是这样一个问题：给定一个场景及其初始亮度分布，求任意表面上任意一点的亮度。这个问题可以写成一个简单的积分方程，称为光的传输方程.但这个方程很难用常规方法解。为此，本发明中针对光能传递采用如下方法进行简化处理，具体包括如下步骤：1.将场景(包括光源)分割成大量的小多边形，例如三角面片或者四边形。此时，使光源处于未出射光的状态；2.找到未出射光能最大的一个小多边形，把它出射的光能加到其它所有的小多边形上，然后将这个小多边形的未出射光设为零；3.反复执行步骤2，场景将由暗变亮，逐渐逼近真实效果，然后将结果存储起来。

针对光线追踪，本发明也采用如下方法进行简化处理，具体包括如下步骤：从观察点所在的位置出发，通过一个像素做一条射线.追踪这条射线；如果这条射线和一个物体表面交于一点，记下这一点，再看看是否有镜面反射/折射发生？如果有，从这一点产生新的反射/折射射线，继续追踪过程；重复上述步骤，直至生成一棵二叉树。这个像素的亮度就是该二叉树中所有节点的亮度和。对于图像中的所有其它像素，重复以上步骤得到图像。需要说明的是，上述追踪过程中的追踪深度需要提前加以限定。

在本发明的一个实施例中，利用商用软件3Ds Max执行光线跟踪和光能传递，建立全局照明模型。具体说明如下：

在3Ds Max中要使用光线跟踪创建图像，需要对计算机屏幕上的每个像素执行下列步骤。

1.光线是通过眼睛的位置反向跟踪的，通过监视器上的像素，直到它与一个曲面相交。我们从材质的描述中可以知道曲面的反射率，但我们仍然不知道到达曲面的灯光量。

2.要确定总体照明，我们从相交点开始跟踪光线到环境中的每个光源(阴影光线)。如果到达光源的光线未被其他对象阻挡，则来自光源的灯光用于计算曲面颜色。

3.如果相交的曲面有光泽的或透明，则我们必须要确定在要处理的曲面中或通过这一曲面能看到什么。第1步和第2步在反射(在透明的情况下，则是透射)方向反复执行，直到遇到另一曲面。后续相交点的颜色也用于计算原始点的颜色。

4.如果第二个曲面也是反光的或透明的，则重复光线跟踪过程，以此类推，直到达到迭代的最大次数或没有更多的相交曲面为止。

在3Ds Max中要使用光能传递，需要执行如下步骤：

1.基于对象将场景的副本加载到光能传递引擎。

2.按照对象的单个对象属性(如果这些属性不同于全局设置)细分每个对象。

3.将基于平均场景反射比和多边形的数量发射一定数量的光线。最亮的光源将比最暗的光源发射更多的光线。这些光线将围绕场景随机反弹，并在各个面上积蓄能量。

4.通过提取面中的所有能量，并将其扩散到最近的顶点来更新视口。

光能传递进程涉及逐步细化的三个阶段，分别是“初始质量”、“细化”和“重聚集”。

在“初始质量”阶段，将通过本质上模拟真正光子的行为计算场景中漫反射照明的分布。统计方法用于选择非常小的一组“光子光线”(此光线在空间中的分布代表实际分布)，而不是用来跟踪本质上无穷多的光子的路径。与使用任何统计采样进程一样，近似使用的光线数量越多，解决方案的精确性就越高。在初始质量阶段，将建立场景照明级别的整个外观。可以在着色视口中交互显示效果。初始质量阶段将执行重复的过程。

由于在初始质量阶段采样的随机特性，场景中一些较小的曲面或网格元素可能缺少足够多的光线投影(或根本没有任何光线)。这些小曲面将保持黑暗，从而导致出现“变形”或黑斑。为了减少不真实感，“细化”阶段将在每个曲面元素上“重新聚集灯光”。

即使在细化阶段之后，由于原始模型的拓扑，场景中仍然可能出现不真实的视觉效果。这些不真实感有时会显示为阴影或“泄露”。为了消除这些基于模型的不真实效果，将在图像渲染时使用第三个可选细化阶段，称为像素重聚集。此阶段涉及图像每个像素的“重聚集”进程。重聚集虽然会为大大延长最终图像的渲染时间，但是此进程将生成尽可能详细的逼真图像。

使用重聚集的优势之一是意味着初始建模和网格分辨率几乎不需要“细化”或“紧”处理，而在其他情况下则需要。

上面对构建实时光照渲染模型的具体过程进行了详细说明。在接下来的操作中，需要利用商用软件3Ds Max进行模型和场景的建模，然后进行模型和场景的整合，得到满足数字博物馆要求的三维重建场景。这些步骤都是本领域技术人员所熟悉的常规步骤，在此就不详细说明了。

在三维场景的精细化重建过程中，往往需要用计算机设备将同一个场景的多幅图像融合在一起，形成模拟复杂场景的图像。在这个过程中，技术人员遇到的一个普遍问题在于视频文件的重建特别消耗计算资源，重建时间漫长而且成本居高不下。在计算资源有限的情况下，人们通常的做法是降低视频文件的清晰度要求和实时光照渲染要求。但这样会显著降低历史场景或者自然场景的重建效果，严重影响游客的互动体验。

针对上述问题，本发明中进一步采用超分辨率重建算法，用较低分辨率的模糊图像或视频文件重建出具有较高分辨率的清晰图像或视频文件。所谓超分辨率重建是指由一些较低分辨率的模糊图像或视频序列来估计具有更高分辨率的图像或视频序列，同时消除噪声等因素产生的模糊。

在本发明的一个实施例中，根据图像块之间的近邻关系来描述低分辨率数据空间与高分辨率数据空间的映射关系。具体地说，首先通过最近邻搜索，检索与目标图像块相似的图像块；然后基于低分辨率空间与高分辨率空间在局部结构上具有相似性的假设，在低分辨率空间中求得使用近邻图像块近似目标图像块的线性组合系数，并应用至高分辨率空间中；最后利用高分辨率图像块合成高分辨率图像。

上述超分辨率重建算法在实施过程中，首先将数据集中的原始低分辨率图像按照预定的大小分为若干图像块；以图像块为输入，基于预设的损失学习哈希函数，在保留最大方差的同时最小化量化误差，通过得到的哈希函数，将任意一个图像块映射为对应的二进制编码。然后，按照构造多个哈希表中图像块编码的方式，将任意一个目标图像块编码拆分成预设数量的子编码。其中，对于任意一个子编码，在多个哈希表中查询与任意一个子编码之间的码距小于预设阈值的所有匹配子编码，将查询到的每个匹配子编码对应的图像块编码作为与任意一个目标低分辨率图像块编码匹配的近邻低分辨率图像块编码。对于近邻低分辨率图像块编码，求解它们之间的线性组合系数，将其对应的低分辨率图像块进行线性组合，得到目标低分辨率图像块。根据线性组合系数，将近邻低分辨率图像块对应的高分辨率图像块进行线性组合，得到目标高分辨率图像块。按照预定顺序拼合各个目标高分辨率图像块，对重合部分的像素取平均值，合成高分辨率图像作为超分辨率重建算法的结果。

本发明所采用的超分辨率重建算法，在图像超分辨的邻域嵌入过程中引入了哈希方法，能够快速从大规模图像块中检索与输入图像相似的图像块，为图像分辨率提升提供有效先验信息。因此，该重建算法能够较好地增加重建图像的分辨率。

图5为应用本发明提供的三维场景精细化重建方法生成的某历史场景的模拟效果图。从该模拟效果图可以看出，天空中漂浮的云彩的细节栩栩如生，地面上呈现的阴影效果也十分逼真，非常接近真实拍摄的照片效果。因此，该三维场景精细化重建方法为数字博物馆事业的发展提供了强有力的技术支持。

上面对本发明提供的面向数字博物馆的三维场景精细化重建方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (10)

1.一种面向数字博物馆的三维场景精细化重建方法，其特征在于包括如下步骤：

(1)针对待重建场景中的展品进行相机标定；

(2)生成点云模型，然后在点云模型的基础上，借助光能传递与光线追踪构建待重建场景中展品的实时光照渲染模型；

(3)利用3Ds Max进行模型和场景的建模；

(4)进行模型和场景的整合，得到满足数字博物馆要求的三维重建场景。

2.如权利要求1所述的三维场景精细化重建方法，其特征在于所述步骤(2)中，使用Autodesk Recap将点云数据转换为*.rcs或*.rcp格式，然后导入3Ds Max软件进行使用；在3Ds Max软件中，使用点云切片工具对需要建模应用部分的点云数据进行截取，得到想要使用的部分，然后开启捕捉功能，参照点云数据实现逆向建模。

3.如权利要求1所述的三维场景精细化重建方法，其特征在于所述步骤(2)中，采用如下步骤实现光能传递：

步骤1：将场景分割成大量的小多边形，同时使光源处于未出射光的状态；

步骤2：找到未出射光能最大的一个小多边形，把它出射的光能加到其它所有的小多边形上，然后将这个小多边形的未出射光设为零；

步骤3.反复执行步骤2，场景将由暗变亮，逐渐逼近真实效果，然后将结果存储起来。

4.如权利要求1所述的三维场景精细化重建方法，其特征在于所述步骤(2)中，采用如下步骤实现光线追踪：

从观察点所在的位置出发，通过一个像素做一条射线，追踪这条射线；如果这条射线和一个物体表面交于一点，记下这一点，再判断是否有镜面反射/折射发生？如果有，从这一点产生新的反射/折射射线，继续追踪过程；重复上述步骤，直至生成一棵二叉树，这个像素的亮度就是该二叉树中所有节点的亮度和；对于图像中的所有其它像素，重复以上步骤得到图像。

5.如权利要求4所述的三维场景精细化重建方法，其特征在于：

在光线追踪中，提前限定追踪过程所需要的深度。

6.如权利要求1所述的三维场景精细化重建方法，其特征在于所述步骤(3)中，在3DsMax通过如下步骤使用光线跟踪创建图像：

步骤1：通过监视器上的像素，直到它与一个曲面相交；

步骤2：从相交点开始，跟踪光线到环境中的每个光源；如果到达光源的光线未被其他对象阻挡，则来自光源的灯光用于计算曲面颜色；

步骤3：如果相交的曲面有光泽的或透明，进一步确定在要处理的曲面中或通过这一曲面能看到什么；所述步骤1和所述步骤2在反射方向反复执行，直到遇到另一曲面；后续相交点的颜色也用于计算原始点的颜色；

步骤4：如果第二个曲面也是反光的或透明的，则重复光线跟踪过程，以此类推，直到达到迭代的最大次数或没有更多的相交曲面为止。

7.如权利要求1所述的三维场景精细化重建方法，其特征在于所述步骤(3)中，在3DsMax通过如下步骤使用光能传递：

步骤1：基于对象将场景的副本加载到光能传递引擎；

步骤2：按照对象的单个对象属性细分每个对象；

步骤3：将基于平均场景反射比和多边形的数量发射一定数量的光线；其中，最亮的光源将比最暗的光源发射更多的光线，所述光线围绕场景随机反弹，并在各个面上积蓄能量；

步骤4：通过提取面中的所有能量，并将其扩散到最近的顶点来更新视口。

8.如权利要求1所述的三维场景精细化重建方法，其特征在于还包括步骤(5)：

采用超分辨率重建算法，用较低分辨率的模糊图像或视频文件重建出具有较高分辨率的清晰图像或视频文件。

9.如权利要求8所述的三维场景精细化重建方法，其特征在于所述超分辨率重建算法包括如下步骤：

将数据集中的原始低分辨率图像按照预定的大小分为若干图像块；

以图像块为输入，基于预设的损失学习哈希函数，在保留最大方差的同时最小化量化误差，通过得到的哈希函数，将任意一个图像块映射为对应的二进制编码；

按照构造多个哈希表中图像块编码的方式，将任意一个目标图像块编码拆分成预设数量的子编码；

对于近邻低分辨率图像块编码，求解它们之间的线性组合系数，将其对应的低分辨率图像块进行线性组合，得到目标低分辨率图像块；

根据线性组合系数，将近邻低分辨率图像块对应的高分辨率图像块进行线性组合，得到目标高分辨率图像块；

按照预定顺序拼合各个目标高分辨率图像块，对重合部分的像素取平均值，合成高分辨率图像。

10.如权利要求9所述的三维场景精细化重建方法，其特征在于：

对于任意一个所述子编码，在多个哈希表中查询与任意一个子编码之间的码距小于预设阈值的所有匹配子编码，将查询到的每个匹配子编码对应的图像块编码作为与任意一个目标低分辨率图像块编码匹配的近邻低分辨率图像块编码。

Images