CN111445416B - 一种高动态范围全景图像的生成方法及其生成装置 - Google Patents

Abstract

本发明公开一种高动态范围全景图像的生成方法，包括如下步骤：S1、获取不同拍摄方向的多曝光序列图像；S2、分别将不同拍摄方向且具有同一曝光参数的图像组分别进行拼接，得到多曝光全景图像序列；S3、根据多曝光全景图像序列的各像素点的曝光优劣程度计算合成权值，得到多曝光权值序列；S4、将多曝光全景图像序列和多曝光权值序列投影到球面坐标系；S5、计算多曝光球面全景图像序列的拉普拉斯金字塔；S6、计算多曝光球面权值序列的高斯金字塔；S7、将全景图像拉普拉斯金字塔和权值高斯金字塔进行合成，重构得到高动态范围的全景图像。本发明生成的高动态范围的全景图像可以同时记录亮部和暗部的细节，图像质量高。

Description

一种高动态范围全景图像的生成方法及其生成装置

技术领域

本发明属于全景图像合成技术领域，具体涉及一种高动态范围全景图像的合成。

背景技术

高动态范围图像(High-Dynamic Range，简称HDR)，相比普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的LDR(Low-Dynamic Range)图像，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，能够更好的反映人真实环境中的视觉效果。高动态范围图像可以同时记录亮部和暗部的细节信息，而一般的图像传感器由于宽容度的限制，只能用8位来表示图像，即不同亮度的光线进入传感器，最终只能映射到0-255的范围，从而会导致亮部或暗部的细节丢失。

对于全景图像而言，视场角达到360度，则画面中有非常大的可能性同时存在亮部和暗部。由于空间全记录的特性，全景图像目前在在线看房、在线看车等领域得到广泛地应用，对于这些空间展示类的应用，全景图像必须清楚地记录环境细节情况，因而当房屋或汽车内部正常曝光时，房屋或汽车的窗户则由于亮度较大而出现过曝，并且有时窗户周围的空间也将受到影响而过曝，因而丢失细节信息，同时亮度过曝也会带给观看者不适的观看体验。

因此，有必要提供一种高动态范围全景图像生成方法，以解决图像传感器宽容度有限的问题。

发明内容

发明目的：本发明目的在于针对现有技术的不足，提供一种高动态范围全景图像生成方法，解决由于图像传感器宽容度有限，并且全景图像视场角大而必然导致的低动态范围的问题，较好地记录亮部和暗部的细节，提高图像质量；

本发明的另一目的在于提供一种利用了上述生成方法的高动态范围全景图像生成装置。

技术方案：本发明所述高动态范围全景图像的生成方法，包括如下步骤：

S1、以拍摄位置为中心，获取不同拍摄方向的多曝光序列图像，不同方向相邻图像之间具有重叠区域；

其中，多曝光序列图像为同一方向上的正常曝光图像、欠曝光图像以及过曝光图像，且正常曝光图像、欠曝光图像以及过曝光图像的数目至少为1；不同方向上采集的多曝光序列图像中各正常曝光图像的曝光参数相同，欠曝光图像的曝光参数相同，过曝光图像的曝光参数相同；

S2、分别将不同拍摄方向且具有同一曝光参数的图像组分别进行拼接，得到多曝光全景图像序列；

S3、根据步骤S2得到的多曝光全景图像序列的各像素点的曝光优劣程度计算合成权值，得到多曝光权值序列；

S4、将多曝光全景图像序列和多曝光权值序列投影到球面坐标系，分别获得多曝光球面全景图像序列和多曝光球面权值序列；

S5、计算多曝光球面全景图像序列的拉普拉斯金字塔L_i，j；

S6、计算多曝光球面权值序列的高斯金字塔G_i，j；

S7、将步骤S5获得的全景图像拉普拉斯金字塔L_i，j和步骤S6获得的权值高斯金字塔G_i，j代入合成公式：

重构得到高动态范围的全景图像。

本发明进一步优选地技术方案为，步骤S3中计算多曝光权值序列的具体方法为：

图像像素亮度的范围在0～255，以中间值128作为基准，图像像素亮度越接近于128，认为该像素点曝光越好，则权值越大，每组曝光参数下计算得到的权值表示为：

公式中I表示像素亮度，σ表示方差；

计算出各组曝光参数下的权值，并进行归一化，使多曝光权值序列的总和为1。

作为优选地，步骤S4中获得多曝光球面全景图像序列和多曝光球面权值序列的方法为：

全景图像宽为width，高为height，全景图像的宽对应球面坐标系中的经度，范围为[180，-180]，全景图像的高对应球面坐标系中的纬度，范围为[90，-90]；

设全景图像上一点坐标为(x，y)，则将该点投影到球面坐标系后的经纬度坐标表示为：

式中，θ表示经度，

表示纬度；

据公式3，将点(x，y)处的图像亮度值填充到球面坐标

处，即可获得球面全景图像，重复上述过程，获得多曝光球面全景图像序列和多曝光球面权值序列。

优选地，步骤S5中计算多曝光球面全景图像序列的拉普拉斯金字塔的具体步骤为：

(1)对原始球面全景图像QI_0，j进行高斯模糊处理，得到QI′_0，j，j∈[1，M]；

a、设高斯模糊核长宽分别为r₁和r₂，获取以球面全景图像上一点为中心的图像投影切面，所属投影切面的长和宽至少分别为r₁和r₂；

b、对所述投影切面进行高斯模糊，投影切面的中心点的模糊值即为对应球面上点的高斯模糊值；

c、对球面全景图像上所有点进行步骤a-b，即可获得球面全景图像的高斯模糊值QI′_0，j；

(2)将QI′_0，j按照公式3的逆运算转换到二维平面坐标系，得到I′_0，j；

(3)将I′_0，j隔行降采样得到I_1，j，然后上采样两倍大小到I″_0，j；

(4)计算第0层拉普拉斯金字塔L_0，j＝I′_0，j-I″_0，j；

(5)将I_1，j按照公式3投影到球面坐标系得到QI_1，j，重复步骤(1)～(4)，可计算得到第一层拉普拉斯金字塔L_1，j＝I′_1，j-I″_1，j；

(6)以此类推，计算得到第2层至第N-2层的拉普拉斯金字塔；

(7)最高层拉普拉斯金字塔即第N-1层L_N-1，j＝I_N-1，j；

计算获得的拉普拉斯金字塔统一表示为L_i，j，i∈[0，N-1]，j∈[1，M]。

优选地，步骤S6中计算多曝光球面权值序列的高斯金字塔的方法为：

多曝光球面权值序列的高斯金字塔层数与步骤S5中多曝光球面全景图像序列的拉普拉斯金字塔的层数相同，均为N，多曝光球面权值的数目也为M，球面权值为QW，权值为W，高斯金字塔为G；生成权值高斯金字塔的步骤如下：

(1)将原始球面权值QW_0，j按照公式3的逆运算转换到二维平面坐标系，得到第0层高斯金字塔G_0，j，j∈[1，M]；

(2)对原始球面权值QW_0，j进行高斯模糊处理，得到QW′_0，j，高斯模糊核长宽与步骤S5中高斯模糊核长宽一致，分别为r₁和r₂；

a、获取以球面权值图上一点为中心的权值投影切面，所属投影切面的长和宽至少分别为r₁和r₂；

b、对权值投影切面进行高斯模糊，投影切面的中心点的模糊值即为对应球面上点的高斯模糊值；

c、对球面权值图上所有点进行步骤a和b，即可获得球面权值图的高斯模糊值QW′_0，j；

(3)将QW′_0，j按照公式3的逆运算转换到二维平面坐标系，得到W′_0，j；

(4)将W′_0，j进行隔行降采样得到第一层高斯金字塔G_1，j；

(5)将G_1，j按照公式3投影到球面坐标系得到QW_1，j，重复步骤(2)～(4)，可计算得到第二层高斯金字塔G_2，j；

(6)以此类推，计算得到第三层至第N-1层的高斯金字塔；

计算获得的高斯金字塔统一表示为G_i，j，i∈[0，N-1]，j∈[1，M]。

本发明所述的高动态范围全景图像生成装置，包括：

多曝光序列图像获取模块，用于执行步骤S1，获取不同拍摄方向的多曝光序列图像；

多曝光序列图像拼接模块，用于执行步骤S2，将不同方向上正常曝光图像、欠曝光图像以及过曝光图像进行拼接，得到多曝光全景图像序列；

多曝光全景图像序列权值计算模块，用于执行步骤S3，根据多曝光全景图像序列的各像素点的曝光优劣程度计算合成权值；

多曝光全景图像序列和多曝光权值序列球面投影模块，用于执行步骤S4，将多曝光全景图像序列和多曝光权值序列投影到球面坐标系上；

多曝光球面全景图像序列的拉普拉斯金字塔计算模块，用于执行步骤S5，计算多曝光球面全景图像序列的拉普拉斯金字塔，将全景图像序列分解到不同尺度下；

多曝光球面权值序列的高斯金字塔计算模块，用于执行步骤S6，计算多曝光球面权值序列的高斯金字塔，将权值序列分解到不同尺度下；

高动态范围全景图像合成模块，用于执行步骤S7，将全景图像拉普拉斯金字塔和权值高斯金字塔进行合成，重构得到高动态范围的全景图像；

多曝光序列图像获取模块、多曝光序列图像拼接模块、多曝光全景图像序列权值计算模块、多曝光全景图像序列和多曝光权值序列球面投影模块、多曝光球面全景图像序列的拉普拉斯金字塔计算模块、多曝光球面权值序列的高斯金字塔计算模块，以及高动态范围全景图像合成模块分别与电源模块连接，由电源模块供电，各模块之间通过数据通道连通，进行数据交换。

有益效果：本发明通过获取多曝光全景图像序列，并根据全景图像像素点的曝光优劣程度计算权值，曝光好的像素点对应的合成权值大，曝光较差的像素点对应的合成权值小，因此最后可合成得到曝光更优的高动态范围全景图像；另外本发明中合成在多尺度下进行，且为避免合成后的全景图像左右存在亮度差，多尺度计算中部分操作在球面坐标系中进行；通过本发明的生成方法可合成得到动态范围高，亮度一致性好的全景图像。

附图说明

图1为本发明的高动态范围全景图像生成方法的流程图。

具体实施方式

下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

实施例：一种高动态范围全景图像生成方法，包括如下步骤：

S1、以拍摄位置为中心，获取不同拍摄方向的多曝光序列图像，不同方向相邻图像之间具有重叠区域；

其中，多曝光序列图像为同一方向上的正常曝光图像、欠曝光图像以及过曝光图像，且正常曝光图像、欠曝光图像以及过曝光图像的数目至少为1；不同方向上采集的多曝光序列图像中各正常曝光图像的曝光参数相同，欠曝光图像的曝光参数相同，过曝光图像的曝光参数相同；

S2、分别将不同拍摄方向且具有同一曝光参数的图像组分别进行拼接，得到多曝光全景图像序列；

S3、根据步骤S2得到的多曝光全景图像序列的各像素点的曝光优劣程度计算合成权值，得到多曝光权值序列；具体方法为：

图像像素亮度的范围在0～255，以中间值128作为基准，图像像素亮度越接近于128，认为该像素点曝光越好，则权值越大，每组曝光参数下计算得到的权值表示为：

公式中I表示像素亮度，σ表示方差；

计算出各组曝光参数下的权值，并进行归一化，使多曝光权值序列的总和为1；

S4、将多曝光全景图像序列和多曝光权值序列投影到球面坐标系，分别获得多曝光球面全景图像序列和多曝光球面权值序列，具体方法为：

全景图像宽为width，高为height，全景图像的宽对应球面坐标系中的经度，范围为[180，-180]，全景图像的高对应球面坐标系中的纬度，范围为[90，-90]；

设全景图像上一点坐标为(x，y)，则将该点投影到球面坐标系后的经纬度坐标表示为：

式中，θ表示经度，

表示纬度；

据公式3，将点(x，y)处的图像亮度值填充到球面坐标

处，即可获得球面全景图像，重复上述过程，获得多曝光球面全景图像序列和多曝光球面权值序列；

S5、计算多曝光球面全景图像序列的拉普拉斯金字塔L_i，j；

(1)对原始球面全景图像QI_0，j进行高斯模糊处理，得到QI′_0，j，j∈[1，M]；

a、设高斯模糊核长宽分别为r₁和r₂，获取以球面全景图像上一点为中心的图像投影切面，所属投影切面的长和宽至少分别为r₁和r₂；

b、对所述投影切面进行高斯模糊，投影切面的中心点的模糊值即为对应球面上点的高斯模糊值；

c、对球面全景图像上所有点进行步骤a-b，即可获得球面全景图像的高斯模糊值QI′_0，j；

(2)将QI′_0，j按照公式3的逆运算转换到二维平面坐标系，得到I′_0，j；

(3)将I′_0，j隔行降采样得到I_1，j，然后上采样两倍大小到I″_0，j；

(4)计算第0层拉普拉斯金字塔L_0，j＝I′_0，j-I″_0，j；

(5)将I_1，j按照公式3投影到球面坐标系得到QI_1，j，重复步骤(1)～(4)，可计算得到第一层拉普拉斯金字塔L_1，j＝I′_1，j-I″_1，j；

(6)以此类推，计算得到第2层至第N-2层的拉普拉斯金字塔；

(7)最高层拉普拉斯金字塔即第N-1层L_N-1，j＝I_N-1，j；

计算获得的拉普拉斯金字塔统一表示为L_i，j，i∈[0，N-1]，j∈[1，M]；

S6、计算多曝光球面权值序列的高斯金字塔G_i，j；

多曝光球面权值序列的高斯金字塔层数与步骤S5中多曝光球面全景图像序列的拉普拉斯金字塔的层数相同，均为N，多曝光球面权值的数目也为M，球面权值为QW，权值为W，高斯金字塔为G；生成权值高斯金字塔的步骤如下：

(1)将原始球面权值QW_0，j按照公式3的逆运算转换到二维平面坐标系，得到第0层高斯金字塔G_0，j，j∈[1，M]；

(2)对原始球面权值QW_0，j进行高斯模糊处理，得到QW′_0，j，高斯模糊核长宽与步骤S5中高斯模糊核长宽一致，分别为r₁和r₂；

a、获取以球面权值图上一点为中心的权值投影切面，所属投影切面的长和宽至少分别为r₁和r₂；

b、对权值投影切面进行高斯模糊，投影切面的中心点的模糊值即为对应球面上点的高斯模糊值；

c、对球面权值图上所有点进行步骤a和b，即可获得球面权值图的高斯模糊值QW′_0，j；

(3)将QW′_0，j按照公式3的逆运算转换到二维平面坐标系，得到W′_0，j；

(4)将W′_0，j进行隔行降采样得到第一层高斯金字塔G_1，j；

(5)将G_1，j按照公式3投影到球面坐标系得到QW_1，j，重复步骤(2)～(4)，可计算得到第二层高斯金字塔G_2，j；

(6)以此类推，计算得到第三层至第N-1层的高斯金字塔；

计算获得的高斯金字塔统一表示为G_i，j，i∈[0，N-1]，j∈[1，M]；

S7、将步骤S5获得的全景图像拉普拉斯金字塔L_i，j和步骤S6获得的权值高斯金字塔G_i，j代入合成公式：

重构得到高动态范围的全景图像。

一种高动态范围全景图像生成装置，包括：

多曝光序列图像获取模块，用于获取不同拍摄方向的多曝光序列图像，不同方向相邻图像之间具有重叠区域，同一方向上的多曝光序列图像包括正常曝光图像、欠曝光图像以及过曝光图像，欠曝光图像和过曝光图像的数目分别大于等于1。

多曝光序列图像拼接模块，用于将不同方向上正常曝光图像、欠曝光图像以及过曝光图像进行拼接，得到多曝光全景图像序列。

多曝光全景图像序列权值计算模块，用于根据多曝光全景图像序列的各像素点的曝光优劣程度计算合成权值。

多曝光全景图像序列和多曝光权值序列球面投影模块，用于将多曝光全景图像序列和多曝光权值序列投影到经度范围为[180，-180]、纬度范围为[90，-90]的球面坐标系上。

多曝光球面全景图像序列的拉普拉斯金字塔计算模块，用于计算多曝光球面全景图像序列的拉普拉斯金字塔，将全景图像序列分解到不同尺度下。

多曝光球面权值序列的高斯金字塔计算模块，用于计算多曝光球面权值序列的高斯金字塔，将权值序列分解到不同尺度下。

高动态范围全景图像合成模块，用于将全景图像拉普拉斯金字塔和权值高斯金字塔进行合成，重构得到高动态范围的全景图像。

多曝光序列图像获取模块、多曝光序列图像拼接模块、多曝光全景图像序列权值计算模块、多曝光全景图像序列和多曝光权值序列球面投影模块、多曝光球面全景图像序列的拉普拉斯金字塔计算模块、多曝光球面权值序列的高斯金字塔计算模块，以及高动态范围全景图像合成模块分别与电源模块连接，由电源模块供电，各模块之间通过数据通道连通，进行数据交换。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (6)

1.一种高动态范围全景图像的生成方法，其特征在于包括如下步骤：

S1、以拍摄位置为中心，获取不同拍摄方向的多曝光序列图像，不同方向相邻图像之间具有重叠区域；

其中，多曝光序列图像为同一方向上的正常曝光图像、欠曝光图像以及过曝光图像，且正常曝光图像、欠曝光图像以及过曝光图像的数目至少为1；不同方向上采集的多曝光序列图像中各正常曝光图像的曝光参数相同，欠曝光图像的曝光参数相同，过曝光图像的曝光参数相同；

S2、分别将不同拍摄方向且具有同一曝光参数的图像组分别进行拼接，得到多曝光全景图像序列；

S3、根据步骤S2得到的多曝光全景图像序列的各像素点的曝光优劣程度计算合成权值，得到多曝光权值序列；

S4、将多曝光全景图像序列和多曝光权值序列投影到球面坐标系，分别获得多曝光球面全景图像序列和多曝光球面权值序列；

S5、计算多曝光球面全景图像序列的拉普拉斯金字塔L_i，j；

S6、计算多曝光球面权值序列的高斯金字塔G_i，j；

S7、将步骤S5获得的全景图像拉普拉斯金字塔L_i，j和步骤S6获得的权值高斯金字塔G_i，j代入合成公式：

其中，M表示多曝光球面全景图像数目，N表示金字塔层数，重构得到高动态范围的全景图像。

2.根据权利要求1所述的高动态范围全景图像的生成方法，其特征在于，步骤S3中计算多曝光权值序列的具体方法为：

图像像素亮度的范围在0～255，以中间值128作为基准，图像像素亮度越接近于128，认为该像素点曝光越好，则权值越大，每组曝光参数下计算得到的权值表示为：

公式中I表示像素亮度，σ表示方差；

计算出各组曝光参数下的权值，并进行归一化，使多曝光权值序列的总和为1。

3.根据权利要求2所述的高动态范围全景图像的生成方法，其特征在于，步骤S4中获得多曝光球面全景图像序列和多曝光球面权值序列的方法为：

全景图像宽为width，高为height，全景图像的宽对应球面坐标系中的经度，范围为[180，-180]，全景图像的高对应球面坐标系中的纬度，范围为[90，-90]；

设全景图像上一点坐标为(x，y)，则将该点投影到球面坐标系后的经纬度坐标表示为：

式中，θ表示经度，

表示纬度；

据公式3，将点(x，y)处的图像亮度值填充到球面坐标

处，即可获得球面全景图像，重复上述过程，获得多曝光球面全景图像序列和多曝光球面权值序列。

4.根据权利要求3所述的高动态范围全景图像的生成方法，其特征在于，步骤S5中计算多曝光球面全景图像序列的拉普拉斯金字塔的具体步骤为：

(1)对原始球面全景图像QI_0，j进行高斯模糊处理，得到QI′_0，j，j∈[1，M]；

a、设高斯模糊核长宽分别为r₁和r₂，获取以球面全景图像上一点为中心的图像投影切面，所属投影切面的长和宽至少分别为r₁和r₂；

b、对所述投影切面进行高斯模糊，投影切面的中心点的模糊值即为对应球面上点的高斯模糊值；

c、对球面全景图像上所有点进行步骤a-b，即可获得球面全景图像的高斯模糊值QI′_0，j；

(2)将QI′_0，j按照公式3的逆运算转换到二维平面坐标系，得到I′_0，j；

(3)将I′_0，j隔行降采样得到I_1，j，然后上采样两倍大小到I″_0，j；

(4)计算第0层拉普拉斯金字塔L_0，j＝I′_0，j-I″_0，j；

(5)将I_1，j按照公式3投影到球面坐标系得到QI_1，j，重复步骤(1)～(4)，可计算得到第一层拉普拉斯金字塔L_1，j＝I′_1，j-I″_1，j；

(6)以此类推，计算得到第2层至第N-2层的拉普拉斯金字塔；

(7)最高层拉普拉斯金字塔即第N-1层L_N-1，j＝I_N-1，j；

计算获得的拉普拉斯金字塔统一表示为L_i，j，i∈[0，N-1]，j∈[1，M]。

5.根据权利要求4所述的高动态范围全景图像的生成方法，其特征在于，步骤S6中计算多曝光球面权值序列的高斯金字塔的方法为：

多曝光球面权值序列的高斯金字塔层数与步骤S5中多曝光球面全景图像序列的拉普拉斯金字塔的层数相同，均为N，多曝光球面权值的数目也为M，球面权值为QW，权值为W，高斯金字塔为G；生成权值高斯金字塔的步骤如下：

(1)将原始球面权值QW_0，j按照公式3的逆运算转换到二维平面坐标系，得到第0层高斯金字塔G_0，j，j∈[1，M]；

(2)对原始球面权值QW_0，j进行高斯模糊处理，得到QW′_0，j，高斯模糊核长宽与步骤S5中高斯模糊核长宽一致，分别为r₁和r₂；

a、获取以球面权值图上一点为中心的权值投影切面，所属投影切面的长和宽至少分别为r₁和r₂；

b、对权值投影切面进行高斯模糊，投影切面的中心点的模糊值即为对应球面上点的高斯模糊值；

c、对球面权值图上所有点进行步骤a和b，即可获得球面权值图的高斯模糊值QW′_0，j；

(3)将QW′_0，j按照公式3的逆运算转换到二维平面坐标系，得到W′_0，j；

(4)将W′_0，j进行隔行降采样得到第一层高斯金字塔G_1，j；

(5)将G_1，j按照公式3投影到球面坐标系得到QW_1，j，重复步骤(2)～(4)，可计算得到第二层高斯金字塔G_2，j；

(6)以此类推，计算得到第三层至第N-1层的高斯金字塔；

计算获得的高斯金字塔统一表示为G_i，j，i∈[0，N-1]，j∈[1，M]。

6.一种运用权利要求1生成方法的高动态范围全景图像生成装置，其特征在于，包括：

多曝光序列图像获取模块，用于执行步骤S1，获取不同拍摄方向的多曝光序列图像；

多曝光序列图像拼接模块，用于执行步骤S2，将不同方向上正常曝光图像、欠曝光图像以及过曝光图像进行拼接，得到多曝光全景图像序列；

多曝光全景图像序列权值计算模块，用于执行步骤S3，根据多曝光全景图像序列的各像素点的曝光优劣程度计算合成权值；

多曝光全景图像序列和多曝光权值序列球面投影模块，用于执行步骤S4，将多曝光全景图像序列和多曝光权值序列投影到球面坐标系上；

多曝光球面全景图像序列的拉普拉斯金字塔计算模块，用于执行步骤S5，计算多曝光球面全景图像序列的拉普拉斯金字塔，将全景图像序列分解到不同尺度下；

多曝光球面权值序列的高斯金字塔计算模块，用于执行步骤S6，计算多曝光球面权值序列的高斯金字塔，将权值序列分解到不同尺度下；

高动态范围全景图像合成模块，用于执行步骤S7，将全景图像拉普拉斯金字塔和权值高斯金字塔进行合成，重构得到高动态范围的全景图像；

多曝光序列图像获取模块、多曝光序列图像拼接模块、多曝光全景图像序列权值计算模块、多曝光全景图像序列和多曝光权值序列球面投影模块、多曝光球面全景图像序列的拉普拉斯金字塔计算模块、多曝光球面权值序列的高斯金字塔计算模块，以及高动态范围全景图像合成模块分别与电源模块连接，由电源模块供电，各模块之间通过数据通道连通，进行数据交换。

Images