CN115174805A - 全景立体图像的生成方法、装置和电子设备 - Google Patents

Abstract

本发明实施例提供了一种全景立体图像的生成方法、装置和电子设备。该方法包括：根据获取的多个鱼眼图像，生成每个鱼眼图像对应的左眼经纬度图像和右眼经纬度图像；提取多个左眼经纬度图像之间的第一拼接区域得到多个第一拼接区域，对每个所述第一拼接区域进行图像融合以生成左眼全景图像；提取多个右眼经纬度图像之间的第二拼接区域得到多个第二拼接区域，对每个所述第二拼接区域进行图像融合以生成右眼全景图像；根据所述左眼全景图像和所述右眼全景图像，生成全景立体图像，从而消除了断层或重影现象。

Description

全景立体图像的生成方法、装置和电子设备

【技术领域】

本发明实施例涉及图像处理领域，尤其涉及一种全景立体图像的生成方法、装置和电子设备。

【背景技术】

随着3D立体视觉技术和全景相机的发展，用户对3D立体视觉体验要求不断提升，全景立体图像可以记录360°的图像，给用户带来强烈的真实感和立体感，因此在旅游、直播、影视、房地产等多个行业存在广泛的应用前景。

目前，全景立体图像大多是通过多幅图像拼接得到，在图像的拼接区域画面存在较为明显的断层或重影现象，此现象在拼接区域画面存在近景的情况下尤为明显，使得全景立体图像出现画面失真，从而降低了全景立体图像的真实感。

【发明内容】

有鉴于此，本发明实施例提供了一种全景立体图像的生成方法、装置和电子设备，用于消除全景立体图像的拼接区域出现的断层或重影现象，以减少全景立体图像的画面失真。

第一方面，本发明实施例提供了一种全景立体图像的生成方法，所述方法包括：

根据获取的多个鱼眼图像，生成每个鱼眼图像对应的左眼经纬度图像和右眼经纬度图像；

提取多个左眼经纬度图像之间的第一拼接区域得到多个第一拼接区域，对每个所述第一拼接区域进行图像融合以生成左眼全景图像；

提取多个右眼经纬度图像之间的第二拼接区域得到多个第二拼接区域，对每个所述第二拼接区域进行图像融合以生成右眼全景图像；

根据所述左眼全景图像和所述右眼全景图像，生成全景立体图像。

在一种可能的实现方式中，所述根据获取的多个鱼眼图像，生成每个鱼眼图像对应的左眼经纬度图像和右眼经纬度图像，包括：

在设置的左眼空白经纬度图上划分出左眼视角拼接块区域，在所述左眼视角拼接块区域中，根据鱼眼图像到经纬度图的投影关系，对所述鱼眼图像进行经纬度图展开，生成所述鱼眼图像对应的左眼经纬度图像；

在设置的右眼空白经纬度图上划分出右眼视角拼接块区域，在所述右眼视角拼接块区域中，根据鱼眼图像到经纬度图的投影关系，对所述鱼眼图像进行经纬度图展开，生成所述鱼眼图像对应的右眼经纬度图像。

在一种可能的实现方式中，所述在设置的左眼空白经纬度图上划分出左眼视角拼接块区域，包括：

根据鱼眼图像到经纬度图的投影关系，将所述鱼眼图像的中心点投影到所述左眼空白经纬度图上形成中心点的投影，将所述中心点的投影所在的经线定义为左眼空白经纬度图中心线；

将所述左眼空白经纬度图的距离左眼空白经纬度图中心线左侧设定角度值的经线作为左眼视角中心线；

在所述左眼空白经纬度图中以所述左眼视角中心线为视场角中心线取设定视场角的图像区域作为所述左眼视角拼接块区域。

在一种可能的实现方式中，所述在设置的右眼空白经纬度图上划分出右眼视角拼接块区域，包括：

根据鱼眼图像到经纬度图的投影关系，将所述鱼眼图像的中心点投影到所述右眼空白经纬度图上形成中心点的投影，将所述中心点的投影所在的经线定义为右眼空白经纬度图中心线；

将所述右眼空白经纬度图的距离右眼空白经纬度图中心线右侧设定角度值的经线作为右眼视角中心线；

在所述右眼空白经纬度图中以所述右眼视角中心线为视场角中心线取设定视场角的图像区域作为所述右眼视角拼接块区域。

在一种可能的实现方式中，所述对每个所述第一拼接区域进行图像融合以生成左眼视角全景图像，包括：

将多个第一拼接区域投影到单位球面上，得到单位球面上的多个第一待拼接区域；

将单位球面上的多个第一待拼接区域分别映射到单位球面对应的柱面上，得到多个第一待拼接区域对应的柱面区域；

计算多个第一待拼接区域对应的柱面区域的左图像和右图像之间的光流场；

根据每个柱面区域的左图像和右图像之间的光流场，对每个所述第一拼接区域的图像进行融合，以生成所述左眼全景图像。

在一种可能的实现方式中，所述对每个所述第二拼接区域进行图像融合以生成右眼视角全景图像，包括：

将多个第二拼接区域投影到单位球面上，得到单位球面上的多个第二待拼接区域；

将单位球面上的多个第二待拼接区域分别映射到单位球面对应的柱面上，得到多个第二待拼接区域对应的柱面区域；

计算多个第二待拼接区域对应的柱面区域的左图像和右图像之间的光流场；

根据每个柱面区域的左图像和右图像之间的光流场，对每个所述第二拼接区域的图像进行融合，以生成所述右眼全景图像。

在一种可能的实现方式中，所述根据所述左眼全景图像和所述右眼全景图像，生成全景立体图像，包括：

将所述左眼全景图像进行重投影，生成所述左眼可视画面；

将所述右眼全景图像进行重投影，生成所述右眼可视画面；

将所述左眼可视画面和所述右眼可视画面进行同步处理，生成所述全景立体图像。

第二方面，本发明实施例提供了一种全景立体图像的生成装置，包括：

鱼眼图像获取模块，用于获取多个鱼眼图像；

经纬度图像生成模块，用于根据获取的多个鱼眼图像，生成每个鱼眼图像对应的左眼经纬度图像和右眼经纬度图像；

融合模块，用于提取多个左眼经纬度图像之间的第一拼接区域得到多个第一拼接区域，对每个所述第一拼接区域进行图像融合以生成左眼全景图像；提取多个右眼经纬度图像之间的第二拼接区域得到多个第二拼接区域，对每个所述第二拼接区域进行图像融合以生成右眼全景图像；

生成模块，用于根据所述左眼全景图像和所述右眼全景图像，生成全景立体图像。

第三方面，本发明实施例提供了一种电子设备，所述电子设备包括多个用于获取鱼眼图像的鱼眼镜头；所述电子设备还包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时实现第一方面或第一方面任一可能的实现方式中的全景立体图像的生成方法的步骤。

第四方面，本发明实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所存储介质所在电子设备执行第一方面或第一方面任一可能的全景立体图像的生成方法的步骤。

本发明实施例提供的技术方案中，根据获取的多个鱼眼图像，生成每个鱼眼图像对应的左眼经纬度图像和右眼经纬度图像，提取多个左眼经纬度图像之间的第一拼接区域，通过对第一拼接区域进行图像融合生成左眼全景图像，提取多个右眼经纬度图像之间的第二拼接区域，通过对第二拼接区域进行图像融合生成右眼全景图像，根据左眼全景图像和右眼全景图像生成全景立体图像，可消除全景立体图像的拼接区域出现的断层或重影现象，能够减少全景立体图像的画面失真，从而提高了全景立体图像的真实感。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种全景立体图像的生成方法的流程图；

图2为本发明实施例提供的一种左眼经纬度图像和右眼经纬度图像的生成方法的流程图；

图3a至图3b为本发明实施例提供的一种生成左眼经纬度图像的示意图；

图3c至图3d为本发明实施例提供的一种生成右眼经纬度图像的示意图；

图4a至图4b为本发明实施例中将第一拼接区域投影到单位球面的示意图；

图5a至图5c为本发明实施例中将第一拼接区域映射到柱面的示意图；

图6为本发明实施例中生成的全景立体图像的一种呈现方式示意图

图7为本发明实施例提供的一种全景立体图像的生成装置的结构示意图；

图8为本发明实施例提供的一种电子设备的示意图。

【具体实施方式】

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

为解决现有技术中存在的全景立体图像的拼接区域画面存在较为明显的断层或重影现象的技术问题，本发明实施例提供了一种全景立体图像的生成方法。该全景图像的生成方法可应用于电子设备，换言之，全景立体图像的生成方法中的各步骤可以由电子设备执行。其中，电子设备可包括多个鱼眼镜头，鱼眼镜头可以为超广角鱼眼镜头，电子设备中鱼眼镜头的数量可根据产品设计需要进行设置，只要保证所有鱼眼镜头的视场角(Fieldof View，简称FOV)之和能够覆盖整个360°的全景立体图像的画面即可，即鱼眼镜头的数量n需要满足：n*FOV>＝360°，其中，FOV为单个鱼眼镜头的视场角，n为大于或等于2的正整数。当n*FOV与360°的差值(即n*FOV-360°)越大时，相邻鱼眼镜头重合的FOV越大，越有利于全景立体图像生成过程中无缝拼接的进行。当鱼眼镜头的FOV一定时，由于鱼眼镜头成像边缘畸变较大，因此鱼眼镜头的数量越多，每个鱼眼镜头实际用于全景渲染的画面越远离鱼眼镜头的边缘，画面质量越高。本发明实施例中，作为一种可选方案，鱼眼镜头的数量可以为6个或8个，电子设备采用6个或8个鱼眼镜头可以使得n*FOV与360°的差值较大，从而有利于全景立体图像生成过程中无缝拼接的进行。

本发明实施例中，电子设备包括但不限于全景相机，该电子设备可应用于机器人、车辆或无人机等。

图1为本发明实施例提供的一种全景立体图像的生成方法的流程图，如图1所示，该方法包括：

步骤10、根据获取的多个鱼眼图像，生成每个鱼眼图像对应的左眼经纬度图像和右眼经纬度图像。

电子设备中的每个鱼眼镜头均可拍摄一个鱼眼图像，则多个鱼眼镜头可获取多个鱼眼图像，从而使得电子设备可通过设置的多个鱼眼镜头获取到多个鱼眼图像。例如，以电子设备包括6个鱼眼镜头为例，6个鱼眼镜头分别为1号鱼眼镜头至6号鱼眼镜头，获取的多个鱼眼图像包括6个鱼眼图像，则本步骤中需要生成6个鱼眼图像中每个鱼眼图像对应的左眼经纬度图像和右眼经纬度图像。

本发明实施例中，可根据鱼眼镜头的标定参数建立鱼眼图像到经纬度图的投影关系，其中，鱼眼镜头的标定参数可包括相机的内参和外参。

则步骤10具体可包括：通过鱼眼镜头的标定参数，根据获取的多个鱼眼图像，生成每个鱼眼图像对应的左眼经纬度图像和右眼经纬度图像。

作为一种可选方案，图2为本发明实施例提供的一种左眼经纬度图像和右眼经纬度图像的生成方法的流程图，如图2所示，步骤10具体可包括：

步骤S1、在设置的左眼空白经纬度图上划分出左眼视角拼接块区域，在左眼视角拼接块区域中，根据鱼眼图像到经纬度图的投影关系，对鱼眼图像进行经纬度图展开，生成鱼眼图像对应的左眼经纬度图像。

本发明实施例中，为每个鱼眼图像设置对应的左眼空白经纬度图，以6个鱼眼图像为例进行描述，则设置的6个左眼空白经纬度图分别为左眼空白经纬度图I1至I6。

图3a至图3b为本发明实施例提供的一种生成左眼经纬度图像的示意图，如图3a和图3b所示，步骤S1中在设置的左眼空白经纬度图上划分出左眼视角拼接块区域，具体可包括：

步骤S11、根据鱼眼图像到经纬度图的投影关系，将鱼眼图像的中心点投影到左眼空白经纬度图上形成中心点的投影，将中心点的投影所在的经线定义为左眼空白经纬度图中心线。

将鱼眼图像的中心点分别投影至左眼空白经纬度图I1至I6，得出每个左眼空白经纬度图I1至I6的左眼空白经纬度图中心线。

步骤S12、将左眼空白经纬度图的距离左眼空白经纬度图中心线左侧设定角度值的经线作为左眼视角中心线。

作为一种可选方案，设定角度值α＝360°/N/2，其中，N为鱼眼镜头的数量。以N＝6为例，则设定角度值α为30°。

本发明实施例中，图3a和图3b以左眼空白经纬度图I1和左眼空白经纬度图I2为例进行描述。如图3a所示，将左眼空白经纬度图I1的距离左眼空白经纬度图中心线左侧30°的经线作为左眼视角中心线。如图3b所示，将左眼空白经纬度图I2的距离左眼空白经纬度图中心线左侧30°的经线作为左眼视角中心线。以此类推，将左眼空白经纬度图I6的距离左眼空白经纬度图中心线左侧30°的经线作为左眼视角中心线。

步骤S13、在左眼空白经纬度图中以左眼视角中心线为视场角中心线取设定视场角的图像区域作为左眼视角拼接块区域。

本发明实施例中，设定视场角β大于60。作为一种可选方案，设定视场角β大于或等于80°且小于或等于100°。

由于本发明实施例中需要采用无缝拼接方法对拼接块进行拼接融合，该无缝拼接方法要求相邻的拼接块区域具有一定的重合FOV，才能在拼接过程中进行图像匹配和对齐操作，因此FOV要大于60°，只有大于60°时才能保证相邻的拼接块区域具有重合的FOV。例如，拼接块的FOV是80°时，相邻的拼接块区域之间就有20°的重合FOV；拼接块区域的FOV是100°时，相邻的拼接块区域之间就有40°的重合FOV。重合FOV越大，越有利于无缝拼接的实现。如图3a和图3b所示，以设定视场角β为100°为例。

本发明实施例中，如图3a和图3b所示，左眼视角拼接块区域的形状为矩形。在实际应用中，左眼视角拼接块区域的形状还可以采用其它形状，只要满足拼接块区域能够覆盖所需的FOV即可，例如，左眼视角拼接块区域的边界可以为曲线。

如图3a所示，在左眼空白经纬度图I1中以左眼视角中心线为视场角中心线取设定视场角为100°的图像作为左眼视角拼接块区域L1。如图3b所示，在左眼空白经纬度图I2中以左眼视角中心线为视场角中心线取设定视场角为100°的图像作为左眼视角拼接块区域L2。以此类推，在左眼空白经纬度图I6中以左眼视角中心线为视场角中心线取设定视场角为100°的图像作为左眼视角拼接块区域L6。

进而，如图3a所示，在左眼视角拼接块区域L1中对鱼眼图像进行经纬度图展开，生成鱼眼图像对应的左眼经纬度图像A1。如图3b所示，在左眼视角拼接块区域L2中对鱼眼图像进行经纬度图展开，生成鱼眼图像对应的左眼经纬度图像A2。以此类推，在左眼视角拼接块区域L6中对鱼眼图像进行经纬度图展开，生成鱼眼图像对应的左眼经纬度图像A6。

步骤S2、在设置的右眼空白经纬度图上划分出右眼视角拼接块区域，在右眼视角拼接块区域中，根据鱼眼图像到经纬度图的投影关系，对鱼眼图像进行经纬度图展开，生成鱼眼图像对应的右眼经纬度图像。

本发明实施例中，为每个鱼眼图像设置对应的右眼空白经纬度图，以6个鱼眼图像为例进行描述，则设置的6个右眼空白经纬度图分别为右眼空白经纬度图M1至M6。

图3c至图3d为本发明实施例提供的一种生成右眼经纬度图像的示意图，如图3c和图3d所示，步骤S1中在设置的右眼空白经纬度图上划分出右眼视角拼接块区域，具体可包括：

步骤S21、根据鱼眼图像到经纬度图的投影关系，将鱼眼图像的中心点投影到右眼空白经纬度图上形成中心点的投影，将中心点的投影所在的经线定义为右眼空白经纬度图中心线。

将鱼眼图像的中心点分别投影至右眼空白经纬度图M1至M6，得出每个右眼空白经纬度图M1至M6的右眼空白经纬度图中心线。

步骤S22、将右眼空白经纬度图的距离右眼空白经纬度图中心线右侧设定角度值的经线作为右眼视角中心线。

作为一种可选方案，设定角度值α＝360°/N/2，其中，N为鱼眼镜头的数量。以N＝6为例，则设定角度值α为30°。

本发明实施例中，图3c和图3d以右眼空白经纬度图M1和右眼空白经纬度图M2为例进行描述。如图3c所示，将右眼空白经纬度图M1的距离右眼空白经纬度图中心线右侧30°的经线作为右眼视角中心线。如图3d所示，将右眼空白经纬度图M2的距离右眼空白经纬度图中心线右侧30°的经线作为右眼视角中心线。以此类推，将右眼空白经纬度图M6的距离右眼空白经纬度图中心线右侧30°的经线作为右眼视角中心线。

步骤S23、在右眼空白经纬度图中以右眼视角中心线为视场角中心线取设定视场角的图像区域作为右眼视角拼接块区域。

本发明实施例中，设定视场角β大于60。作为一种可选方案，设定视场角β大于或等于80°且小于或等于100°。

由于本发明实施例中需要采用无缝拼接方法对拼接块进行拼接融合，该无缝拼接方法要求相邻的拼接块区域具有一定的重合FOV，才能在拼接过程中进行图像匹配和对齐操作，因此FOV要大于60°，只有大于60°时才能保证相邻的拼接块区域具有重合的FOV。例如，拼接块的FOV是80°时，相邻的拼接块区域之间就有20°的重合FOV；拼接块区域的FOV是100°时，相邻的拼接块区域之间就有40°的重合FOV。重合FOV越大，越有利于无缝拼接的实现。如图3a和图3b所示，以设定视场角β为100°为例。

本发明实施例中，如图3c和图3d所示，右眼视角拼接块区域的形状为矩形。在实际应用中，右眼视角拼接块区域的形状还可以采用其它形状，只要满足拼接块区域能够覆盖所需的FOV即可，例如，右眼视角拼接块区域的边界可以为曲线。

如图3c所示，在右眼空白经纬度图M1中以右眼视角中心线为视场角中心线取设定视场角为100°的图像作为右眼视角拼接块区域R1。如图3d所示，在右眼空白经纬度图M2中以右眼视角中心线为视场角中心线取设定视场角为100°的图像作为右眼视角拼接块区域R2。以此类推，在右眼空白经纬度图M6中以右眼视角中心线为视场角中心线取设定视场角为100°的图像作为右眼视角拼接块区域R6。

进而，如图3c所示，在右眼视角拼接块区域R1中对鱼眼图像进行经纬度图展开，生成鱼眼图像对应的右眼经纬度图像B1。如图3d所示，在右眼视角拼接块区域R2’中对鱼眼图像进行经纬度图展开，生成鱼眼图像对应的右眼经纬度图像B2。以此类推，在右眼视角拼接块区域M6中对鱼眼图像进行经纬度图展开，生成鱼眼图像对应的右眼经纬度图像B6。

步骤12、提取多个左眼经纬度图像之间的第一拼接区域得到多个第一拼接区域，对每个第一拼接区域进行图像融合以生成左眼全景图像。

本发明实施例中，步骤12具体可包括：

步骤122、提取多个左眼经纬度图像之间的第一拼接区域得到多个第一拼接区域。

具体地，分别提取n个左眼经纬度图像A1-An之间的第一拼接区域，得到N个第一拼接区域S1-Sn。其中，相邻两个左眼经纬度图之间的第一拼接区域即是相邻两个左眼视角拼接块区域间的全部或部分重合区域。例如，n＝6，则分别提取6个左眼经纬度图像A1-A6之间的第一拼接区域，得到6个第一拼接区域S1-S6。

步骤124、对每个第一拼接区域进行图像融合以生成左眼全景图像。

本发明实施例中，步骤124具体可包括：

步骤1242、将多个第一拼接区域投影到单位球面上，得到单位球面上的多个第一待拼接区域。

对n个第一拼接区域S1-Sn进行球面投影，将n个第一拼接区域S1-Sn投影到单位球面上，得到单位球面上的n个第一待拼接区域J1-Jn。图4a至图4b为本发明实施例中将第一拼接区域投影到单位球面的示意图，如图4b所示，图4b示出了第一拼接区域Sn，如图4a所示，将第一拼接区域Sn投影至单位球面上得到单位球面上的第一待拼接区域Jn。

步骤1244、将单位球面上的多个第一待拼接区域分别映射到单位球面对应的柱面上，得到多个第一待拼接区域对应的柱面区域。

将单位球面上多个第一待拼接区域J1-Jn分别映射到单位球面对应的柱面上，得到多个第一待拼接区域对应的柱面区域T1-Tn。图5a至图5c为本发明实施例中将第一拼接区域映射到柱面的示意图。如图5a所示，例如，将单位球面上的第一待拼接区域Jn映射到柱面上，得到第一待拼接区域Jn对应的柱面区域Tn。图5b示出了第一待拼接区域Jn对应的柱面区域Tn，图5c示出了处于展开状态的柱面区域Tn。

步骤1246、计算多个第一待拼接区域对应的柱面区域的左图像和右图像之间的光流场。

本步骤中，可分别计算N个柱面区域T1-Tn的左图像和右图像之间的光流场。

其中，计算N个柱面区域T1-Tn的左图像和右图像之间的光流场具体可包括：

计算柱面区域的左图像到右图像的光流场f_L→R(x,y)和右图像到左图像的光流场f_R→L(x,y)；

根据柱面区域的像素点和柱面区域左边界、右边界之间的距离自适应调整左图像到右图像的光流场f_L→R(x,y)的权重值α和右图像到左图像的光流场f_R→L(x,y)的权重值β，得到调整后的柱面区域的左图像和右图像之间的光流场。

f_L→R(x,y)＝α·f_L→R(x,y) 公式1

f_R→L(x,y)＝β·f_R→L(x,y) 公式2

为了实现无缝拼接，对于柱面区域的左图像，应使其越靠近柱面区域左边界的光流场越小；而对于柱面区域的右图像，应使其越靠近柱面区域右边界的光场值越小，因此，设置两个权重值α和β，其中α∈[0,1]，β∈[0,1]。在公式1中，α值随着左图像的区域从左到右逐渐增大；在公式2中，β值随着右图像的区域从左到右逐渐减小。

步骤1248、根据每个柱面区域的左图像和右图像之间的光流场，对每个第一拼接区域的图像进行融合，以生成左眼全景图像。

本发明实施例中，可采用柱面区域的左图像和右图像之间的光流场，对左眼经纬度图像的第一拼接区域的图像进行融合，以实现对第一拼接区域的无缝拼接，从而实现了对左眼经纬度图像的无缝拼接。

作为一种可选方案，步骤1248具体可包括：

步骤A1、在经纬度图上，根据区域内的像素点和区域左边界、右边界之间的距离，自适应调整左图像和右图像融合时左图像对应的权重值λ’和右图像对应的权重值μ’。

步骤A2、根据柱面到经纬度图像的投影关系，将柱面区域的左图像和右图像之间的光流场反投影到经纬度图像上，得到左眼经纬度图像的第一拼接区域的左图像和右图像之间的光流场。

其中，柱面区域的左图像和右图像之间的光流场可包括左图像到右图像的光流场f_L→R(x,y)以及右图像到左图像的光流场f_R→L(x,y)，则反投影后，左眼经纬度图像的第一拼接区域左图像和右图像之间的光流场包括左图像到右图像的光流场f’_L→R(x,y)以及右图像到左图像的光流场f’_R→L(x,y)。

步骤A3、根据左图像对应的权重值λ’和右图像对应的权重值μ’以及第一拼接区域的左图像和右图像之间的光流场，通过公式3对第一待拼接区域的左图像S^L和右图像S^R进行图像融合，获取融合后的融合区域S^B，以得到左眼全景图像。

S^B(x,y)＝λ′·S^L(x+f′_x(L→R)(x,y),y+f′_y(L→R)(x,y))+μ′·S^R(x+f′_x(R→L)(x,y),y+f′_y(R→L)(x,y)) 公式3

其中，S^B(x,y)表示融合区域S^B的像素点(x,y)的值，S^L(x,y)表示左图像S^L中像素点(x,y)的值，S^R(x,y)表示右图像S^R中像素点(x,y)的值，λ’为左图像对应的权重值，μ’为右图像对应的权重值，λ’∈[0,1]，μ’∈[0,1]。对于靠近左图像的融合区域，应使左图像对应像素值占有较大权重，因此λ’值随着距离S^L左边界的距离增大而由大到小变化。而对于靠近右图像的融合区域，应使右图像对应像素值占有较大权重，因此μ’值为随着距离S^R右边界的距离增大而由大到小变化。

至此，在得到所有的融合区域S^B之后，即得到了左眼全景图像，得到的左眼全景图像为无缝拼接的经纬度图。

步骤A1至步骤A3所示的方案中，首先将左图像和右图像之间的光流场反投影至经纬度图像上，而后直接在经纬度图像上对第一待拼接区域的图像进行融合，以得到左眼全景图像。

作为一种可选方案，步骤1248具体可包括：

步骤B1、根据柱面区域的像素点和柱面区域的左边界、右边界之间的距离，自适应调整左图像和右图像融合时左图像对应的权重值λ和右图像对应的权重值μ。

步骤B2、在柱面区域中，根据左图像对应的权重值λ和右图像对应的权重值μ以及第一待拼接区域的左图像和右图像之间的光流场，通过公式4对第一待拼接区域的左图像T^L和右图像T^R进行图像融合，获取融合后的融合区域T^B。

T^B(x，y)＝λ·T^L(X-f_x(L→R)(x，y)，y+f_y(L→R)(x，J’))+μ·T^R(x+f_x(R→L)(x，y)，y+f_y(R→L)(x，y)) 公式4

其中，T^B(x,y)表示融合区域T^B的像素点(x，y)的值，T^L(x，y)表示左图像T^L中像素点的值，T^R(x,y)表示右图像T^R中像素点的值，λ为左图像对应的权重值，μ为右图像对应的权重值，λ∈[0，1]，μ∈[0，1]。对于靠近左图像的融合区域，应使左图像对应像素值占有较大权重，因此λ值随着距离柱面区域左边界的距离增大而由大到小变化。而对于靠近右图像的融合区域，应使右图像对应像素值占有较大权重，因此μ值随着距离柱面区域右边界的距离增大而由大到小变化。

本步骤中，分别对每个第一待拼接区域的图像进行融合，直至对所有第一待拼接区域的图像融合后，得到所有的融合区域T^B为止。

步骤B3、根据柱面到经纬度图像的投影关系，将所有融合区域T^B反投影到经纬度图像中，得到左眼全景图像。

本步骤中，由于柱面的融合区域T^B是无缝的，因此将反投影到经纬度图上后得到的左眼全景图像也是无缝的。

步骤B1至步骤B3所示的方案中，首先在柱面上对第一待拼接区域的图像进行融合，而后再将融合区域反投影到经纬度图像上，以实现对所述第一拼接区域的图像进行融合，从而得到了左眼全景图像。

步骤14、提取多个右眼经纬度图像之间的第二拼接区域得到多个第二拼接区域，对每个第二拼接区域进行图像融合以生成右眼全景图像。

本发明实施例中，步骤14具体可包括：

步骤142、提取多个右眼经纬度图像之间的第二拼接区域得到多个第二拼接区域。

步骤144、对每个第二拼接区域进行图像融合以生成右眼全景图像。

本发明实施例中，步骤144具体可包括：

步骤1442、将多个第二拼接区域投影到单位球面上，得到单位球面上的多个第二待拼接区域。

步骤1444、将单位球面上的多个第二待拼接区域分别映射到单位球面对应的柱面上，得到多个第二待拼接区域对应的柱面区域。

步骤1446、计算多个第二待拼接区域对应的柱面区域的左图像和右图像之间的光流场。

步骤1448、根据每个柱面区域的左图像和右图像之间的光流场，对每个第二拼接区域的图像进行融合，以生成右眼全景图像。

本发明实施例中，对步骤142至步骤144的具体描述可参见上述对步骤122至步骤124的具体描述，此处不再赘述。

步骤16、根据左眼全景图像和右眼全景图像，生成全景立体图像。

本发明实施例中，步骤16具体可包括：

步骤161、将左眼全景图像进行重投影，生成左眼可视画面。

其中，左眼可视画面为全景立体图像左眼可视画面，该左眼可视画面为包含左眼可视范围的图像。

步骤162、将右眼全景图像进行重投影，生成左眼可视画面。

其中，右眼可视画面为全景立体图像右眼可视画面，该右眼可视画面包含右眼可视范围的图像。

在步骤161和步骤162中，重投影可包括平面投影、曲面投影或者球面投影等多种投影方式。

具体地，通过建立的投影模型，根据用户双眼的朝向，将左眼全景图像和右眼全景图像进行重投影，分别生成左眼可视画面和右眼可视画面。

步骤163、将左眼可视画面和右眼可视画面进行同步处理，生成立体全景图像。

图6为本发明实施例中生成的全景立体图像的一种呈现方式示意图，如图6所示，左窗口为左眼全景图像经重投影后得到的左眼可视画面，右窗口为右眼全景图像经重投影后得到的右眼可视画面。左窗口和右窗口中的画面具有真实的视差，从而实现立体显示效果。左窗口和右窗口内的画面可以根据用户双眼朝向实时变化，可呈现原左眼全景图像和右眼全景图像中的每一个角度的画面，从而实现全景立体显示效果。

本发明实施例提供的技术方案中，根据获取的多个鱼眼图像，生成每个鱼眼图像对应的左眼经纬度图像和右眼经纬度图像，提取多个左眼经纬度图像之间的第一拼接区域，通过对第一拼接区域进行图像融合生成左眼全景图像，提取多个右眼经纬度图像之间的第二拼接区域，通过对第二拼接区域进行图像融合生成右眼全景图像，根据左眼全景图像和右眼全景图像生成全景立体图像，可消除全景立体图像的拼接区域出现的断层或重影现象，能够减少全景立体图像的画面失真，从而提高了全景立体图像的真实感。

图7为本发明实施例提供的一种全景立体图像的生成装置的结构示意图，如图7所示，该装置包括：鱼眼图像获取模块11、经纬度图像生成模块12、融合模块13和生成模块14。其中，鱼眼图像获取模块11可包括多个鱼眼镜头。

鱼眼图像获取模块11用于获取多个鱼眼图像。经纬度图像生成模块12用于根据获取的多个鱼眼图像，生成每个鱼眼图像对应的左眼经纬度图像和右眼经纬度图像；融合模块13用于提取多个左眼经纬度图像之间的第一拼接区域得到多个第一拼接区域，对每个所述第一拼接区域进行图像融合以生成左眼全景图像；提取多个右眼经纬度图像之间的第二拼接区域得到多个第二拼接区域，对每个所述第二拼接区域进行图像融合以生成右眼全景图像；生成模块14用于根据所述左眼全景图像和所述右眼全景图像，生成全景立体图像。

本发明实施例中，经纬度图像生成模块12具体用于在设置的左眼空白经纬度图上划分出左眼视角拼接块区域，在所述左眼视角拼接块区域中，根据鱼眼图像到经纬度图的投影关系，对所述鱼眼图像进行经纬度图展开，生成所述鱼眼图像对应的左眼经纬度图像；在设置的右眼空白经纬度图上划分出右眼视角拼接块区域，在所述右眼视角拼接块区域中，根据鱼眼图像到经纬度图的投影关系，对所述鱼眼图像进行经纬度图展开，生成所述鱼眼图像对应的右眼经纬度图像。

本发明实施例中，经纬度图像生成模块12具体用于根据鱼眼图像到经纬度图的投影关系，将所述鱼眼图像的中心点投影到所述左眼空白经纬度图上形成中心点的投影，将所述中心点的投影所在的经线定义为左眼空白经纬度图中心线；将所述左眼空白经纬度图的距离左眼空白经纬度图中心线左侧设定角度值的经线作为左眼视角中心线；在所述左眼空白经纬度图中以所述左眼视角中心线为视场角中心线取设定视场角的图像区域作为所述左眼视角拼接块区域。

本发明实施例中，经纬度图像生成模块12具体用于根据鱼眼图像到经纬度图的投影关系，将所述鱼眼图像的中心点投影到所述右眼空白经纬度图上形成中心点的投影，将所述中心点的投影所在的经线定义为右眼空白经纬度图中心线；将所述右眼空白经纬度图的距离右眼空白经纬度图中心线右侧设定角度值的经线作为右眼视角中心线；在所述右眼空白经纬度图中以所述右眼视角中心线为视场角中心线取设定视场角的图像区域作为所述右眼视角拼接块区域。

本发明实施例中，融合模块13具体用于将多个第一拼接区域投影到单位球面上，得到单位球面上的多个第一待拼接区域；将单位球面上的多个第一待拼接区域分别映射到单位球面对应的柱面上，得到多个第一待拼接区域对应的柱面区域；计算多个第一待拼接区域对应的柱面区域的左图像和右图像之间的光流场；根据每个柱面区域的左图像和右图像之间的光流场，对每个所述第一拼接区域的图像进行融合，以生成所述左眼全景图像。

本发明实施例中，融合模块13具体用于将多个第二拼接区域投影到单位球面上，得到单位球面上的多个第二待拼接区域；将单位球面上的多个第二待拼接区域分别映射到单位球面对应的柱面上，得到多个第二待拼接区域对应的柱面区域；计算多个第二待拼接区域对应的柱面区域的左图像和右图像之间的光流场；根据每个柱面区域的左图像和右图像之间的光流场，对每个所述第二拼接区域的图像进行融合，以生成所述右眼全景图像。

本发明实施例中，生成模块14具体用于将所述左眼全景图像进行重投影，生成所述左眼可视画面；将所述右眼全景图像进行重投影，生成所述右眼可视画面；将所述左眼可视画面和所述右眼可视画面进行同步处理，生成所述全景立体图像。

本发明实施例提供的技术方案中，通过本发明实施例中全景立体图像的生成装置生成全景立体图像，可消除全景立体图像的拼接区域出现的断层或重影现象，能够减少全景立体图像的画面失真，从而提高了全景立体图像的真实感。

本发明实施例提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述全景立体图像的生成方法的实施例的各步骤，具体描述可参见上述全景立体图像的生成方法的实施例。

本发明实施例提供了一种电子设备，电子设备包括多个用于获取鱼眼图像的鱼眼镜头，电子设备还包括存储器和处理器，存储器用于存储包括程序指令的信息，处理器用于控制程序指令的执行，程序指令被处理器加载并执行时实现上述全景立体图像的生成方法的实施例的各步骤，具体描述可参见上述全景立体图像的生成方法的实施例。

图8为本发明实施例提供的一种电子设备的示意图，图8中鱼眼镜头未具体画出。如图8所示，该实施例的电子设备30包括：处理器31、存储器32以及存储在存储器32中并可在处理器31上运行的计算机程序33，该计算机程序33被处理器31执行时实现实施例中的应用于全景立体图像的生成方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器31执行时实现实施例中应用于全景立体图像的生成装置中各模型/单元的功能，为避免重复，此处不一一赘述。

电子设备30包括，但不仅限于，处理器31、存储器32。本领域技术人员可以理解，图8仅仅是电子设备30的示例，并不构成对电子设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备30还可以包括输入输出设备、网络接入设备、总线等。

所称处理器31可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器32可以是电子设备30的内部存储单元，例如电子设备30的硬盘或内存。存储器32也可以是电子设备30的外部存储设备，例如电子设备30上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器32还可以既包括服务器30的内部存储单元也包括外部存储设备。存储器32用于存储计算机程序以及服务器所需的其他程序和数据。存储器32还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种全景立体图像的生成方法，其特征在于，包括：

根据获取的多个鱼眼图像，生成每个鱼眼图像对应的左眼经纬度图像和右眼经纬度图像；

提取多个左眼经纬度图像之间的第一拼接区域得到多个第一拼接区域，对每个所述第一拼接区域进行图像融合以生成左眼全景图像；

提取多个右眼经纬度图像之间的第二拼接区域得到多个第二拼接区域，对每个所述第二拼接区域进行图像融合以生成右眼全景图像；

根据所述左眼全景图像和所述右眼全景图像，生成全景立体图像。

2.根据权利要求1所述的方法，其特征在于，所述根据获取的多个鱼眼图像，生成每个鱼眼图像对应的左眼经纬度图像和右眼经纬度图像，包括：

在设置的左眼空白经纬度图上划分出左眼视角拼接块区域，在所述左眼视角拼接块区域中，根据鱼眼图像到经纬度图的投影关系，对所述鱼眼图像进行经纬度图展开，生成所述鱼眼图像对应的左眼经纬度图像；

在设置的右眼空白经纬度图上划分出右眼视角拼接块区域，在所述右眼视角拼接块区域中，根据鱼眼图像到经纬度图的投影关系，对所述鱼眼图像进行经纬度图展开，生成所述鱼眼图像对应的右眼经纬度图像。

3.根据权利要求2所述的方法，其特征在于，所述在设置的左眼空白经纬度图上划分出左眼视角拼接块区域，包括：

根据鱼眼图像到经纬度图的投影关系，将所述鱼眼图像的中心点投影到所述左眼空白经纬度图上形成中心点的投影，将所述中心点的投影所在的经线定义为左眼空白经纬度图中心线；

将所述左眼空白经纬度图的距离左眼空白经纬度图中心线左侧设定角度值的经线作为左眼视角中心线；

在所述左眼空白经纬度图中以所述左眼视角中心线为视场角中心线取设定视场角的图像区域作为所述左眼视角拼接块区域。

4.根据权利要求1所述的方法，其特征在于，所述在设置的右眼空白经纬度图上划分出右眼视角拼接块区域，包括：

根据鱼眼图像到经纬度图的投影关系，将所述鱼眼图像的中心点投影到所述右眼空白经纬度图上形成中心点的投影，将所述中心点的投影所在的经线定义为右眼空白经纬度图中心线；

将所述右眼空白经纬度图的距离右眼空白经纬度图中心线右侧设定角度值的经线作为右眼视角中心线；

在所述右眼空白经纬度图中以所述右眼视角中心线为视场角中心线取设定视场角的图像区域作为所述右眼视角拼接块区域。

5.根据权利要求1所述的方法，其特征在于，所述对每个所述第一拼接区域进行图像融合以生成左眼视角全景图像，包括：

将多个第一拼接区域投影到单位球面上，得到单位球面上的多个第一待拼接区域；

将单位球面上的多个第一待拼接区域分别映射到单位球面对应的柱面上，得到多个第一待拼接区域对应的柱面区域；

计算多个第一待拼接区域对应的柱面区域的左图像和右图像之间的光流场；

根据每个柱面区域的左图像和右图像之间的光流场，对每个所述第一拼接区域的图像进行融合，以生成所述左眼全景图像。

6.根据权利要求1所述的方法，其特征在于，所述对每个所述第二拼接区域进行图像融合以生成右眼视角全景图像，包括：

将多个第二拼接区域投影到单位球面上，得到单位球面上的多个第二待拼接区域；

将单位球面上的多个第二待拼接区域分别映射到单位球面对应的柱面上，得到多个第二待拼接区域对应的柱面区域；

计算多个第二待拼接区域对应的柱面区域的的左图像和右图像之间的光流场；

根据每个柱面区域的左图像和右图像之间的光流场，对每个所述第二拼接区域的图像进行融合，以生成所述右眼全景图像。

7.根据权利要求1所述的方法，其特征在于，所述根据所述左眼全景图像和所述右眼全景图像，生成全景立体图像，包括：

将所述左眼全景图像进行重投影，生成所述左眼可视画面；

将所述右眼全景图像进行重投影，生成所述右眼可视画面；

将所述左眼可视画面和所述右眼可视画面进行同步处理，生成所述全景立体图像。

8.一种全景立体图像的生成装置，其特征在于，包括：

鱼眼图像获取模块，用于获取多个鱼眼图像；

经纬度图像生成模块，用于根据获取的多个鱼眼图像，生成每个鱼眼图像对应的左眼经纬度图像和右眼经纬度图像；

融合模块，用于提取多个左眼经纬度图像之间的第一拼接区域得到多个第一拼接区域，对每个所述第一拼接区域进行图像融合以生成左眼全景图像；提取多个右眼经纬度图像之间的第二拼接区域得到多个第二拼接区域，对每个所述第二拼接区域进行图像融合以生成右眼全景图像；

生成模块，用于根据所述左眼全景图像和所述右眼全景图像，生成全景立体图像。

9.一种电子设备，其特征在于，所述电子设备包括多个用于获取鱼眼图像的鱼眼镜头；所述电子设备还包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于，所述程序指令被处理器加载并执行时实现权利要求1至7任意一项所述的全景立体图像的生成方法的步骤。

10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所存储介质所在电子设备执行权利要求1至7中任一项所述的全景立体图像的生成方法的步骤。

Images