CN105139445A - 场景重建方法及装置 - Google Patents

Abstract

本发明公开了一种场景重建方法及装置，其中方法包括：获取与待重建场景匹配的第一图片集合；采用特征提取算法提取所述第一图片集合中图片的至少一个特征区域；对所述特征区域进行识别得到图片中的景物特征区域；根据所述图片中的景物特征区域对所述待重建场景进行三维重建，并渲染生成所述待重建场景。本发明实施例的技术方案，滤掉了一些无效不稳定的特征区域，仅根据与所述待重建场景相关联的景物特征区域对所述待重建场景进行三维重建，从而提高了重建效率和准确性。

Description

场景重建方法及装置

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种场景重建方法及装置。

背景技术

一些历史文化古迹，随时间流逝慢慢的被消磨而风采不再，甚至会在自然灾难面前毁于一旦。随着科技发展和旅游业的盛行，普通民众通过消费级别的相机搜集了特定时刻、特定视角下这些历史文化古迹的风采，并且有很多人会选择将拍摄内容传播到互联网上，使每个人都可以领略他/她所看到的美景。

在这一背景下，反过来可通过强大的搜索引擎或特定的搜集方式，可以采集到众多用户拍摄的海量图片，这些图片会分布在一天的不同时刻，也会分布在一年的不同季节，甚至会分布在不同的年份里。基于此，可通过图片筛选和重建，让公众从一个大的时间尺度和空间尺度上领略这些古迹的不同风采。

但是，由于搜集到的图片中存在大量杂图和无效图片，现有技术需要进行人工剔除，这耗费巨大的人力成本。并且，重建过程随图片数据量的增长重建时间呈指数级增长，重建效率较低。

发明内容

本发明实施例提供一种场景重建方法及装置，能够提高重建效率。

第一方面，本发明实施例提供了一种场景重建方法，包括：

获取与待重建场景匹配的第一图片集合；

采用特征提取算法提取所述第一图片集合中图片的至少一个特征区域；

对所述特征区域进行识别得到图片中的景物特征区域；

根据所述图片中的景物特征区域对所述待重建场景进行三维重建，并渲染生成所述待重建场景。

第二方面，本发明实施例还提供一种场景重建装置，包括：

图片获取模块，用于获取与待重建场景匹配的第一图片集合；

特征提取模块，用于采用特征提取算法提取所述第一图片集合中图片的至少一个特征区域；

特征识别模块，用于对所述特征区域进行识别得到图片中的景物特征区域；

重建模块，用于根据所述图片中的景物特征区域对所述待重建场景进行三维重建，并渲染生成所述待重建场景。

本发明实施例的技术方案，滤掉了一些无效不稳定的特征区域，仅根据与所述待重建场景相关联的景物特征区域对所述待重建场景进行三维重建，从而提高了重建效率和准确性。

附图说明

图1为本发明实施例一提供的场景重建方法的流程示意图；

图2为本发明实施例二提供的场景重建装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

本发明实施例提供的场景重建方法的执行主体，可为本发明实施例提供的场景重建装置，或者集成了所述场景重建装置的服务器设备，该场景重建装置可以采用硬件或软件实现。

实施例一

图1为本发明实施例一提供的场景重建方法的流程示意图，如图1所示，具体包括：

S11、获取与待重建场景匹配的第一图片集合；

其中，在本实施例中，所述待重建场景可为一些旅游景点、历史古迹和建筑物等。所述第一图片集合中包含至少一张与所述待重建场景匹配的图片。具体可通过在互联网上输入与所述待重建场景相关的关键字搜索得到，也可从用户生成内容(UserGeneratedContent，UGC)图片库中获取。

其中，UGC图片库中保存了用户在互联网上分享的图片内容，这些图片内容大都来源于用户拍摄的照片，也可以是用户制作的图片。由于市面上相机的多样性，而且由于拍摄时间、地点以及方式的不同，UGC图片库中记录了同一场景在不同的视点、时间(四季变换或早晚交替)、光照条件(阴、晴、雨或雪)下的不同外观，随着用户上传数据量的急速增长，UGC图片库具备覆盖面广，数据获取成本低等特点。因此，从所述UGC图片库中可获取到比较有价值的图片内容。

S12、采用特征提取算法提取所述第一图片集合中图片的至少一个特征区域；

其中，可采用特征提取算法包括角点检测算法和局部不变特征点提取方法等。

另外，为增强图片中特征的独立性和有效性，在对图片特征提取之前，需要对图片进行的前期处理，主要的处理为图片特征分割。即将图片分成若干个特定的、具有独特性质的区域，并提出目标对象(例如，图片中的人物区域、景色区域和景物区域等)。在本实施例中，可采用的图像分割方法主要有基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。

S13、对所述特征区域进行识别得到图片中的景物特征区域；

在上述步骤S12中，提取出图片中的特征区域之后，需要对特征区域进行识别，以便后续区分特征区域，确定所述图片中与所述待重建场景匹配的特征区域，即景物特征区域。在此步骤中可通过以下特征识别算法对图片特征区域进行识别：基于图统计特征的图像识别算法、基于HOG特征的目标识别算法研究和基于局部特征的物体识别算法等。

S14、根据所述图片中的景物特征区域对所述待重建场景进行三维重建，并渲染生成所述待重建场景。

其中，景物特征区域可以是与所述待重建场景中某景点匹配的场景的轮廓。以所述待重建场景中景点为龙门石窟为例，可以从龙门石窟中的佛像的多个对象(例如佛像的脸部、眼部、手部)的轮廓上选取特征区域。

具体三维重建过程可采用现有的一些重建方法，这里不再赘述。通过三维重建，已恢复出每张图片所处空间位置信息，但这些图片是静态离散的不利于场景展示，为保证这些图片空间上具有较好的延续性，更好的展现所述待重建场景的三维特征。本实施例图片渲染技术，通过在待渲染的相邻图片间插入虚拟图片，渲染生成所述待重建场景。

具体的，通过之前的图片特征区域及三维重建技术，可恢复出其中两张图片拍照时的相机的真实位置信息，为实现虚拟的3D过度效果，需要在渲染时插入虚拟的相机位置，同时由于UGC相片的差异性，也需要对相机内置参数进行内插处理。由于两帧图片间存在共有的三维点，这些点可以投影到虚拟的相机成像面上，如此就可以建立两张图片与虚拟图片之间的映射关系。例如，在当某一图片A附近有较多在空间上相关联的图片B时，但图片中的场景的三维结构没有明显前后之分的时候，对于待渲染的两个图片A和B，将它们之间存在的公共三维点投射到虚拟的相机成像面上，而后分别在图片A、B及虚拟的相机成像面上的特征区域进行三角构网，这样图片A、B及虚拟的相机成像面上会形成一一对应的三角形区域，可以认为三角形内部是平面，而后在虚拟的相机成像面上，根据三角形区域的对应关系，分别从图片A、B上取像素点填充到虚拟的相机成像面上的三角形区域中，这样就生成完整的虚拟图片，如此过渡，可以生成三维空间结构较准确且细节丰富的过渡效果。

在渲染过程中，由于虚拟相机在两个真实相机之间移动，当其靠近某一真实相机时，该相机投射到虚拟相机上产生的形变较小，可通过设置不同的权重，使虚拟过度的效果达到最佳。

本实施例滤掉了一些无效不稳定的特征区域，仅根据与所述待重建场景相关联的景物特征区域对所述待重建场景进行三维重建，从而提高了重建效率和准确性。

示例性的，所述特征区域还包括：人物特征区域、物品特征区域和景色特征区域中的至少一种。

具体的，在对所述特征区域进行识别的过程中，可对所述图片包含的特征区域进行分类，采用聚类算法将所述图片包含的特征区域划分为人物特征区域、物品特征区域、景色特征区域和景物特征区域中的至少一种。

其中，人物特征区域是指以人物为主题的特征区域，物品特征区域是指以物品为主题的特征区域，景色特征区域是指以自然景色(例如，天空、云朵和树木等)为主题的特征区域，景物特征区域是指位于所述待重建场景中且与所述待重建场景相关的特征区域，包括景点、建筑物等。

相应的，为减小三维重建的数据量，提高重建效率，在根据所述图片中的景物特征区域对所述待重建场景进行三维重建之前，还包括：

从图片中，将人物特征区域、物品特征区域和景色特征区域删除。

具体的，在提取出图片中的特征区域之后，为减小三维重建的数据量，提高重建效率，需要对提取特征区域进行过滤。具体来说，当图片上存在树木、人物和云朵时，会在树木、云朵、人物对应的像素区域提取大量无效不稳定的特征点，可将这些与所述待重建场景无关的特征去除，以减少三维重建消耗的时间。

示例性的，为进一步减少处理处理数据量，可进一步删除获取的图片集合中的无效图片，具体的，获取与待重建场景匹配的第一图片集合包括：

采用图像识别技术从互联网或用户生成内容UGC图片库中搜索与所述待重建场景相关的第二图片集合；

删除第二图片集合中不符合预设要求的图片，将剩余图片作为与所述待重建场景匹配的第一图片集合。

其中，所述不符合预设要求的图片包括尺寸不符合要求的图片、人物为主体的图片、景色(例如树木、云朵和天空等)为主体的图片、以物品(景区纪念品)为主体的图片、以小卖铺为主体的图片、及与所选景物无关的错误标记图片等。

具体的，采用聚类算法对上述第二图片集合中的图片进行分类，在分类过程中，由于图片中包含场景的复杂性，一张图片中可能包含多类信息，因此一张图片可能会被归为多个类别中。为避免删除一些有用的图片，确保分类的准确性，本实施例首先采用如下文献一中的方法对图片做初步分割，删除不符合预设要求的图片，包括以天空、树木、人物占主体的图片。文献一：ChengMM,ZhengS,LinWY,etal.ImageSpirit:Verbalguidedimageparsing[J].ACMTransactionsonGraphics(TOG),2014,34(1):3.(Ming-MingCheng,ShuaiZheng,Wen-YanLin,VibhavVineet,PaulSturgess,NigelCrook,NiloyMitra,PhilipTorr；ImageSpirit：基于语义指导的图像解析，美国计算机学会图形学报(TOG)；2014)

然后，采用如下文献二中的方法在剩余图片集合的图片上提取特征区域，根据特征区域对剩余图片集合的图片再次做聚类处理，而后从中找出聚类最多的一组图片集合，若该组图片集合中的图片数量超出设定的阈值范围，可以认为这一组图片集合聚集了所述待重建场景的绝大多数图片的内容，可以直接用来做重建图片。文献二：KimE,LiH,HuangX.Ahierarchicalimageclusteringcosegmentationframework[C]//ComputerVisionandPatternRecognition(CVPR),2012IEEEConferenceon.IEEE,2012:686-693.(EdwardKim,HongshengLi,XiaoleiHuang；基于多尺度图像聚类的协同分割框架；计算机视觉与模式识别学术会议；2012)

但也有可能对于同一景物对应多个拍摄视角，也就意味着有可能会出现多个聚类中心，此时需使用特征匹配算法判断类别间的连接性，若某一组图片集合中图片的特征与上述聚类最多的一组图片集合特征匹配的数目多出设定阈值，将该组图片集合也用来做重建图片。

示例性的，根据所述图片中的景物特征区域对所述待重建场景进行三维重建之后，渲染生成所述待重建场景之前，还包括：

选取图片中包括的景物特征区域的数量超过预设数量的图片作为关键帧；

根据关键帧图片中显示场景的空间关系和图片拍摄时间，确定关键帧的邻近关系；

根据确定的邻近关键帧对所述待重建场景进行路径规划。

示例性的，根据确定的邻近关键帧对所述待重建场景进行路径规划，包括：

若相邻关键帧之间存在时间上的差异，则在相邻关键帧之间插入差异时间段内的过渡图片；

若相邻关键帧之间存在空间上的差异，则选取与所述关键帧空间上相关联图片作为过渡图片。

其中，图片拍摄时间可通过解析所述图片，从图片头信息中获取。另外，对于一些图片的原始拍摄信息在传播过程中已经损失掉，无法直接获取图片拍摄时间，本实施例可根据图片亮度变化，通过机器学习方法，将图片划分成早、中、晚三类。

由于上述参与重建的图片集合中的图片，在空间上分布并不均匀，而且这些图片在时间上也没有明确分布规律。

为从大量图片中选取一组在空间上展现最为丰富的图片，本实施例通过计算图片间的渲染代价，使用最短路径规划方法来选取。为此渲染代价不仅包含图片的空间位置、视点方向、光场、形变率、分辨率等内容，同时还计算图片间在时间上的差异性。

具体的，首先需要从第一图片集合中选出一些图片作为关键帧，关键帧的选取规则是：选取图片中包括的景物特征区域的数量超过预设数量的图片，同时关键帧拍摄位置附近有大量的图片，此外，关键帧也要分布在不同时间范围内。

关键帧选取方法具体如下：首先选取一帧图片，该图片上包含的三维点是最多的，而后以此为起始帧搜索下一帧图像，下一帧图像的被选为关键帧的条件是，新增加的三维点足够多，同时需要计算该帧一定空间范围内是否有足够多的其他图片，之后计算该帧图片与上一帧图片在时间上的差异性，如果差异不大，可以尽量从该图片附近找差异性较大的图片替代当前图片作为关键帧，需要指出的是，由于搜集到的图片内容并不一定足够丰富，因此各个约束条件重要性并不相同，其中关键帧需要包含足够多的特征点最为重要。通过上述选取关键帧方法，以此类推，逐步增加关键帧数量，当选取的关键帧数量满足一定阈值后就结束关键帧的选取。

对于选取得到的关键帧，只能大致覆盖重建场景，但相邻关键帧之前并不能直接通过影像渲染技术进行过渡，因此在关键帧之间需要找一组影像以实现关键帧之间的平滑过渡，另外由于关键帧之间有一定的差异性，在选取图片时需尽量使用图片间的差异性。

具体的，假定需要从关键帧A找出一组图片渲染到关键帧B，选取的过渡图片记为p1、p2…pn，首先判断关键帧A与B之间是否存在时间上的差异，假如A属于早上的图片，B属于晚上，则选取的过渡图片p需尽量处于这一段时间内，这样在视觉上可以保持较好的延续性，而不至于白天夜晚切换频繁；而后如果A关键帧附近有足够多图片，则以为着A图片附近可以展示较好的空间信息，因此可以在A图片附近选取较多图片，并使用较好的图像渲染方法，突出场景的三维结构。

示例性的，渲染生成所述待重建场景包括：

根据所述第一图片集合中各图片的拍摄时间，渲染生成不同时间的重建场景。

由于第一图像集合中的图片拍摄于不同时间，甚至于不同的时期，因此可以根据图片的拍摄时间，渲染生成不同时间的重建场景。

上述各实施例同样滤掉了一些无效不稳定的特征区域，仅根据与所述待重建场景相关联的景物特征区域对所述待重建场景进行三维重建，从而提高了重建效率和准确性。

并且通过使用路径规划技术，进一步保证了渲染时图片的连续性，提高视觉效果。

实施例二

图2为本发明实施例二提供的场景重建装置的结构示意图，如图2所示，具体包括：图片获取模块21、特征提取模块22、特征识别模块23和重建模块24；

所述图片获取模块21用于获取与待重建场景匹配的第一图片集合；

所述特征提取模块22用于采用特征提取算法提取所述第一图片集合中图片的至少一个特征区域；

所述特征识别模块23用于对所述特征区域进行识别得到图片中的景物特征区域；

所述重建模块24用于根据所述图片中的景物特征区域对所述待重建场景进行三维重建，并渲染生成所述待重建场景。

本实施例所述的场景重建装置用于执行上述各实施例所述的场景重建方法，其技术原理和产生的技术效果类似，这里不再累述。

示例性的，在上述实施例的基础上，所述特征区域还包括人物特征区域、物品特征区域和景色特征区域中的至少一种，相应的所述装置还包括：特征删除模块25；

所述特征删除模块25用于在所述重建模块24根据所述图片中的景物特征区域对所述待重建场景进行三维重建之前，从图片中，将人物特征区域、物品特征区域和景色特征区域删除。

示例性的，在上述实施例的基础上，所述图片获取模块21具体用于：

采用图像识别技术从互联网或用户生成内容UGC图片库中搜索与所述待重建场景相关的第二图片集合；删除第二图片集合中不符合预设要求的图片，将剩余图片作为与所述待重建场景匹配的第一图片集合。

示例性的，在上述实施例的基础上，所述装置还包括：关键帧选取模块26、邻近关键帧确定模块27和路径规划模块28；

所述关键帧选取模块26用于在所述重建模块24根据所述图片中的景物特征区域对所述待重建场景进行三维重建之后，渲染生成所述待重建场景之前，选取图片中包括的景物特征区域的数量超过预设数量的图片作为关键帧；

所述邻近关键帧确定模块27用于根据关键帧图片中显示场景的空间关系和图片拍摄时间，确定关键帧的邻近关系；

所述路径规划模块28用于根据确定的邻近关键帧对所述待重建场景进行路径规划。

示例性的，在上述实施例的基础上，所述路径规划模块28具体用于：

若相邻关键帧之间存在时间上的差异，则在相邻关键帧之间插入差异时间段内的过渡图片；若相邻关键帧之间存在空间上的差异，则选取与所述关键帧空间上相关联图片作为过渡图片。

示例性的，在上述实施例的基础上，所述重建模块24具体用于：

根据所述第一图片集合中各图片的拍摄时间，渲染生成不同时间的重建场景。

上述各实施例所述的场景重建装置同样用于执行上述各实施例所述的场景重建方法，其技术原理和产生的技术效果类似，这里不再累述。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种场景重建方法，其特征在于，包括：

获取与待重建场景匹配的第一图片集合；

采用特征提取算法提取所述第一图片集合中图片的至少一个特征区域；

对所述特征区域进行识别得到图片中的景物特征区域；

根据所述图片中的景物特征区域对所述待重建场景进行三维重建，并渲染生成所述待重建场景。

2.根据权利要求1所述的方法，其特征在于，所述特征区域还包括：人物特征区域、物品特征区域和景色特征区域中的至少一种，则根据所述图片中的景物特征区域对所述待重建场景进行三维重建之前，还包括：

从图片中，将人物特征区域、物品特征区域和景色特征区域删除。

3.根据权利要求1所述的方法，其特征在于，获取与待重建场景匹配的第一图片集合，包括：

采用图像识别技术从互联网或用户生成内容UGC图片库中搜索与所述待重建场景相关的第二图片集合；

删除第二图片集合中不符合预设要求的图片，将剩余图片作为与所述待重建场景匹配的第一图片集合。

4.根据权利要求1～3任一项所述的方法，其特征在于，根据所述图片中的景物特征区域对所述待重建场景进行三维重建之后，渲染生成所述待重建场景之前，还包括：

选取图片中包括的景物特征区域的数量超过预设数量的图片作为关键帧；

根据关键帧图片中显示场景的空间关系和图片拍摄时间，确定关键帧的邻近关系；

根据确定的邻近关键帧对所述待重建场景进行路径规划。

5.根据权利要求4所述的方法，其特征在于，根据确定的邻近关键帧对所述待重建场景进行路径规划，包括：

若相邻关键帧之间存在时间上的差异，则在相邻关键帧之间插入差异时间段内的过渡图片；

若相邻关键帧之间存在空间上的差异，则选取与所述关键帧空间上相关联图片作为过渡图片。

6.根据权利要求1所述的方法，其特征在于，渲染生成所述待重建场景包括：

根据所述第一图片集合中各图片的拍摄时间，渲染生成不同时间的重建场景。

7.一种场景重建装置，其特征在于，包括：

图片获取模块，用于获取与待重建场景匹配的第一图片集合；

特征提取模块，用于采用特征提取算法提取所述第一图片集合中图片的至少一个特征区域；

特征识别模块，用于对所述特征区域进行识别得到图片中的景物特征区域；

重建模块，用于根据所述图片中的景物特征区域对所述待重建场景进行三维重建，并渲染生成所述待重建场景。

8.根据权利要求7所述的装置，其特征在于，所述特征区域还包括：人物特征区域、物品特征区域和景色特征区域中的至少一种；

相应的，所述装置还包括：

特征删除模块，用于在所述重建模块根据所述图片中的景物特征区域对所述待重建场景进行三维重建之前，从图片中，将人物特征区域、物品特征区域和景色特征区域删除。

9.根据权利要求7所述的装置，其特征在于，所述图片获取模块具体用于：

采用图像识别技术从互联网或用户生成内容UGC图片库中搜索与所述待重建场景相关的第二图片集合；删除第二图片集合中不符合预设要求的图片，将剩余图片作为与所述待重建场景匹配的第一图片集合。

10.根据权利要求7～9任一项所述的装置，其特征在于，还包括：

关键帧选取模块，用于在所述重建模块根据所述图片中的景物特征区域对所述待重建场景进行三维重建之后，渲染生成所述待重建场景之前，选取图片中包括的景物特征区域的数量超过预设数量的图片作为关键帧；

邻近关键帧确定模块，用于根据关键帧图片中显示场景的空间关系和图片拍摄时间，确定关键帧的邻近关系；

路径规划模块，用于根据确定的邻近关键帧对所述待重建场景进行路径规划。

11.根据权利要求10所述的装置，其特征在于，所述路径规划模块具体用于：

若相邻关键帧之间存在时间上的差异，则在相邻关键帧之间插入差异时间段内的过渡图片；若相邻关键帧之间存在空间上的差异，则选取与所述关键帧空间上相关联图片作为过渡图片。

12.根据权利要求7所述的装置，其特征在于，所述重建模块具体用于：

根据所述第一图片集合中各图片的拍摄时间，渲染生成不同时间的重建场景。