CN111935475B - 基于多视图的场景重建方法及系统、服务器及存储介质 - Google Patents

Abstract

本发明公开了一种基于多视图的场景重建方法及系统、服务器及存储介质，其包括获取不同视角的多视图中每一帧图像的灰度图像；根据每一个灰度图像中灰度差别判断每一个灰度图像是否均满足设定要求，是则获取每一帧图像的相机位姿及其灰度图像的灰度特征并构建三维模型，否则获取不同视角的多视图中每一帧图像的高光谱图像数据和相机位姿并构建三维模型。本发明通过不同视角的多视图中每一帧图像的灰度图像的灰度差别来判断待重建场景中某一部分是否需要大量的图像数据才能够完成场景重建，并针对待重建场景不同部分的差异性选择性采用不同的场景重建方式，从而在保证场景重建质量的前提下提高场景重建速度。

Description

基于多视图的场景重建方法及系统、服务器及存储介质

技术领域

本发明涉及三维场景重建技术，尤其是涉及一种基于多视图的场景重建方法及系统、服务器及存储介质。

背景技术

目前，三维场景重建技术已广泛应用于智能机器人、智能导航、虚拟现实、增强现实、地形测量等领域。一般现有技术中多根据获取的图像数据进行三维场景重建，由于待重建场景在不同时间段或区域段存在很大的差异性，尤其是对于实时场景重建，对于一些场景，其可通过少量的图像数据即可完成，而对于另外一些场景，则需要大量的图像数据才能够保证场景重建的质量。实际重建中，获取的图像数据越多则场景重建的质量越高，对应的，其场景重建的速度就越慢，故常见的场景重建要么针对特定的待重建场景采用特定的方式以兼顾质量和速度，要么根据场景重建的需求针对性的选择质量或速度。

发明内容

本发明的目的在于克服上述技术不足，提出一种基于多视图的场景重建方法及系统、服务器及存储介质。

为达到上述技术目的，本发明的技术方案第一方面提供一种基于多视图的场景重建方法，包括如下步骤：

S1、获取不同视角的多视图中每一帧图像的灰度图像；

S2、根据每一个灰度图像中灰度差别判断每一个灰度图像是否均满足设定要求，是则执行S3，否则执行S4；

S3、获取每一帧图像的相机位姿及其灰度图像的灰度特征，根据每一帧图像的相机位姿及其灰度图像的灰度特征构建三维模型；

S4、获取不同视角的多视图中每一帧图像的高光谱图像数据和相机位姿，根据每一帧图像的高光谱图像数据和相机位姿构建三维模型。

本发明第二方面提供一种基于多视图的场景重建系统，包括：

灰度图像获取模块，其用于获取不同视角的多视图中每一帧图像的灰度图像；

判断模块，其用于根据每一个灰度图像中灰度差别判断每一个灰度图像是否均满足设定要求，是则采用第一场景重建单元进行重建，否则采用第二场景重建单元进行重建；

第一场景重建单元，其用于获取每一帧图像的相机位姿及其灰度图像的灰度特征，根据每一帧图像的相机位姿及其灰度图像的灰度特征构建三维模型；

第二场景重建单元，其用于获取不同视角的多视图中每一帧图像的高光谱图像数据和相机位姿，根据每一帧图像的高光谱图像数据和相机位姿构建三维模型。

本发明第三方面提供一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于多视图的场景重建方法的步骤。

本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于多视图的场景重建方法的步骤。

与现有技术相比，本发明通过不同视角的多视图中每一帧图像的灰度图像的灰度差别来判断待重建场景中某一部分是否需要大量的图像数据才能够完成场景重建，并针对待重建场景不同部分的差异性选择性采用不同的场景重建方式，从而在保证场景重建质量的前提下提高场景重建速度。

附图说明

图1是本发明实施例基于多视图的场景重建方法的流程图；

图2是本发明实施例基于多视图的场景重建系统的模块框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的实施例提供了一种基于多视图的场景重建方法，包括如下步骤：

S1、获取不同视角的多视图中每一帧图像的灰度图像；

具体来说，本实施例可通过获取不同视角的多视图中每一帧图像的RGB图像以获取灰度图像，例如，其可通过对RPG图像进行灰度化处理以获取灰度图像。当然，本实施例也可采用其他常规方式获取灰度图像，本实施例不作赘述。其中，本实施例不同视角的多视图指的是待重建场景中部分场景在不同视角下且处于同一时间节点所对应的多个视图，例如，其可以是智能导航过程中多个相机(用于拍摄不同视角)同时拍摄的多个视图。

需要说明的是，本实施例场景重建方法可用于对获取的图像数据进行处理以进行场景重建，也可用于实时场景重建。

S2、根据每一个灰度图像中灰度差别判断每一个灰度图像是否均满足设定要求，是则执行S3，否则执行S4；

本实施例通过每一个灰度图像的灰度差别来判断待重建场景中某一部分是否需要大量的图像数据才能够完成场景重建，当不需要大量数据即可保证重建质量时则采用步骤S3中的方式进行场景重建，而当需要大量数据才能保证重建质量时则采用步骤S4中的方式进行场景重建。

具体来说，其包括如下步骤：

S21、将每一个灰度图像划分为至少一个灰度区域，每个灰度区域由相邻多个像素点组成，且每个灰度区域中的任意两个像素点的灰度差值均小于第一阈值；

本实施例通过灰度图像中像素接近的多个相邻像素点结合形成一个灰度区域，以将灰度图像划分形成若干个灰度区域；在具体进行灰度划分是，可以从灰度图像的边缘向其中心进行聚集式划分，也可由灰度图像的中心向其边缘进行扩散式划分。

S22、计算每一个灰度图像的灰度差别，

G_d为灰度图像的灰度差别，G_v为灰度图像的平均灰度值，G_i为灰度图像的第i个灰度区域的平均灰度值，n为灰度图像划分形成的灰度区域的数量；

本实施例通过计算每一个灰度区域的平均灰度值与灰度图像的平键灰度值之间差值的绝对值之和来判断每一个灰度图像的灰度差别，灰度差别越大则说明该灰度图像的层次性越多、其实体结构则越复杂，而灰度差别越小，则说明该灰度图像层次性越少，对应的实体结构越简单。

S23、判断每一个灰度图像的灰度差别位于第二阈值范围内，是则执行S3，否则执行S4。

由于层次性越多的灰度图像其结构一般会过于复杂，而采用较少的图像数据则无法保证场景重建的质量，而层次性越少的灰度图像则会纹理性过于单一，故采用较少的图像数据也会无法保证场景重建的质量，故本实施例设置第二阈值范围，当灰度图像的灰度差别位于第二阈值范围内时，则说明灰度图像的层次性不至于过多且具有一定的纹理性，其可便于通过少量的图像数据进行场景重建；而对于灰度图像的灰度差别不在第二阈值范围内时，则说明存在层次性过多或纹理性过低的问题，其需要通过较多的图像数据进行场景重建。

S3、获取每一帧图像的相机位姿及其灰度图像的灰度特征，根据每一帧图像的相机位姿及其灰度图像的灰度特征构建三维模型；

对于不需要大量图像数据进行场景重建时，其可通过获取每一帧图像的相机位姿及其灰度图像的灰度特征进行场景重建，对于每一帧图像的相机位姿可通过相机的实际位姿获取，也可通过图像处理的方式，而灰度特征可以是现有技术中灰度图像的图像特征，而采用图像特征和相机位姿进行场景重建也可以采用现有的常规方式实现，本实施例不作赘述。

而为了便于场景重建，提高场景重建速度，当相机的实际位姿能够实时获取时，则通过相机的实际位姿获取每一帧图像的相机位姿，当无法获取相机的实际位姿时，则采用如下方式获取每一帧图像的相机位姿：获取相同视角的相邻三帧图像的RGB图像及其灰度图像的每一个灰度特征，根据同视角的相邻三帧图像的RGB图像及相邻三帧图像的灰度特征的变化确定中间帧图像的相机位姿，也即，本实施例通过相邻三帧图像的RGB图像及其灰度特征的变化判断相机位姿。其中，每一个所述灰度图像的每一个灰度区域均为该灰度图像的其中一个灰度特征，也即，将绘图图像的灰度区域一一对应作为灰度特征，其可便于对比判断相同视角的相邻三帧图像之间的对应灰度特征变化，其也有利于提高相机位姿判断的准确性。

S4、获取不同视角的多视图中每一帧图像的高光谱图像数据和相机位姿，根据每一帧图像的高光谱图像数据和相机位姿构建三维模型。

而对于需要大量图像数据进行场景重建时，则获取不同视角的多视图中每一帧图像的高光谱图像数据，其可利用高光谱图像数据所含有的大量图像数据进行场景重建，有利于提高场景重建的质量，但是采用高光谱图像数据所含有的大量图像数据重建时则会增加计算量，大幅度降低了场景重建的速度。

需要说明的是，本实施例步骤S4中每一帧图像的相机位姿可通过采集相机的实际位姿获取，也可直接通过高光谱图像数据计算获取，本实施例优选采用步骤S3中的方式，即采用同视角的相邻三帧图像的RGB图像及相邻三帧图像的灰度特征的变化确定中间帧图像的相机位姿，该方式在无法采集相机的实际位姿时，相较于通过高光谱图像数据计算获取相机位姿，其可以节省大量的计算过程，从而提高场景重建速度。

在实际应用中，本实施例的步骤S3可能在场景重建的极个别点上出现准确性欠缺的问题，虽然其不影响整体的场景重建，但是其一定程度影响了用于的体验效果，故当发现场景重建过程中存在上述问题时，本实施例所述场景重建方法还包括执行步骤S3后，获取不同视角的多视图中每一帧图像的高光谱图像数据，并将高光谱图像数据与步骤S3构建的三维模型结合并生成高光谱图像三维模型，也即，本实施例可将高光谱图像数据与步骤S3构建的三维模型以得到高光谱图像三维模型，其可一定程度省却利用高光谱图像数据构建三维模型，从而提高最终得到的高光谱图像三维模型的质量。同时，本实施例也可以通过高光谱图像数据中的部分数据对步骤S3构建的三维模型进行修正，以修正步骤S3在场景重建中的极个别点上出现准确性欠缺的问题。

本发明通过不同视角的多视图中每一帧图像的灰度图像的灰度差别来判断待重建场景中某一部分是否需要大量的图像数据才能够完成场景重建，并针对待重建场景不同部分的差异性选择性采用不同的场景重建方式，从而在保证场景重建质量的前提下提高场景重建速度。

如图2所示，本实施例还提供一种基于多视图的场景重建系统，包括：

灰度图像获取模块10，其用于获取不同视角的多视图中每一帧图像的灰度图像；

判断模块20，其用于根据每一个灰度图像中灰度差别判断每一个灰度图像是否均满足设定要求，是则采用第一场景重建单元30进行重建，否则采用第二场景重建单元40进行重建；

第一场景重建单元30，其用于获取每一帧图像的相机位姿及其灰度图像的灰度特征，根据每一帧图像的相机位姿及其灰度图像的灰度特征构建三维模型；

第二场景重建单元40，其用于获取不同视角的多视图中每一帧图像的高光谱图像数据和相机位姿，根据每一帧图像的高光谱图像数据和相机位姿构建三维模型。

本实施例基于多视图的场景重建系统的执行方式与上述基于多视图的场景重建方法基本相同，故不作详细赘述。

本实施例服务器为提供计算服务的设备，通常指具有较高计算能力，通过网络提供给多个客户使用的计算机。该实施例的服务器包括：存储器、处理器以及系统总线，所述存储器包括存储其上的可运行的程序，本领域技术人员可以理解，本实施例的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行终端的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在存储器上包含基于多视图的场景重建方法的可运行程序，所述可运行程序可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器中，并由处理器执行，以完成信息的获取及实现过程，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述服务器中的执行过程。例如，所述计算机程序可以被分割为灰度图像获取模块、判断模块、第一场景重建单元及第二场景重建单元。

处理器是服务器的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器可包括一个或多个处理单元；优选的，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。

系统总线是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如PCI总线、ISA总线、VESA总线等。处理器的指令通过总线传递至存储器，存储器反馈数据给处理器，系统总线负责处理器与存储器之间的数据、指令交互。当然系统总线还可以接入其他设备，例如网络接口、显示设备等。

所述服务器应至少包括CPU、芯片组、内存、磁盘系统等，其他构成部件在此不再赘述。

在本发明实施例中，该终端所包括的处理器执行的可运行程序具体为：一种基于多视图的场景重建方法，其包括如下步骤：

S1、获取不同视角的多视图中每一帧图像的灰度图像；

S2、根据每一个灰度图像中灰度差别判断每一个灰度图像是否均满足设定要求，是则执行S3，否则执行S4；

S3、获取每一帧图像的相机位姿及其灰度图像的灰度特征，根据每一帧图像的相机位姿及其灰度图像的灰度特征构建三维模型；

S4、获取不同视角的多视图中每一帧图像的高光谱图像数据和相机位姿，根据每一帧图像的高光谱图像数据和相机位姿构建三维模型。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于多视图的场景重建方法，其特征在于，包括如下步骤：

S1、获取不同视角的多视图中每一帧图像的灰度图像，所述不同视角的多视图指的是待重建场景中部分场景在不同视角下且处于同一时间节点所对应的多个视图；所述步骤S1包括：获取不同视角的多视图中每一帧图像的RGB图像，并根据RGB图像获取其灰度图像；

S2、根据每一个灰度图像中灰度差别判断每一个灰度图像是否均满足设定要求，是则执行S3，否则执行S4；

S3、获取每一帧图像的相机位姿及其灰度图像的灰度特征，根据每一帧图像的相机位姿及其灰度图像的灰度特征构建三维模型；

S4、获取不同视角的多视图中每一帧图像的高光谱图像数据和相机位姿，根据每一帧图像的高光谱图像数据和相机位姿构建三维模型；

所述步骤S2包括：

S21、将每一个灰度图像划分为至少一个灰度区域，每个灰度区域由相邻多个像素点组成，且每个灰度区域中的任意两个像素点的灰度差值均小于第一阈值；

S22、计算每一个灰度图像的灰度差别，

为灰度图像的灰度差别，

为灰度图像的平均灰度值，

为灰度图像的第i个灰度区域的平均灰度值，n为灰度图像划分形成的灰度区域的数量；

S23、判断每一个灰度图像的灰度差别位于第二阈值范围内，是则执行S3，否则执行S4。

2.根据权利要求1所述的场景重建方法，其特征在于，每一个所述灰度图像的每一个灰度区域均该灰度图像的其中一个灰度特征。

3.根据权利要求2所述的场景重建方法，其特征在于，所述获取每一帧图像的相机位姿包括：

获取相同视角的相邻三帧图像的RGB图像及其灰度图像的每一个灰度特征，根据同视角的相邻三帧图像的RGB图像及相邻三帧图像的灰度特征的变化确定中间帧图像的相机位姿。

4.根据权利要求1所述的场景重建方法，其特征在于，所述场景重建方法还包括执行步骤S3后，获取不同视角的多视图中每一帧图像的高光谱图像数据，并将高光谱图像数据与步骤S3构建的三维模型结合并生成高光谱图像三维模型。

5.采用权利要求1所述的场景重建方法的一种基于多视图的场景重建系统，其特征在于，包括：

灰度图像获取模块，其用于获取不同视角的多视图中每一帧图像的灰度图像；

判断模块，其用于根据每一个灰度图像中灰度差别判断每一个灰度图像是否均满足设定要求，是则采用第一场景重建单元进行重建，否则采用第二场景重建单元进行重建；

第一场景重建单元，其用于获取每一帧图像的相机位姿及其灰度图像的灰度特征，根据每一帧图像的相机位姿及其灰度图像的灰度特征构建三维模型；

第二场景重建单元，其用于获取不同视角的多视图中每一帧图像的高光谱图像数据和相机位姿，根据每一帧图像的高光谱图像数据和相机位姿构建三维模型。

6.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述基于多视图的场景重建方法的步骤。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于多视图的场景重建方法的步骤。

Images