CN105469375A - 处理高动态范围全景图的方法和装置 - Google Patents

Abstract

公开了一种处理高动态范围全景图的方法和装置。所述处理高动态范围全景图的方法包括：计算高动态范围(HDR)全景图的亮度图像与和HDR全景图对应的原始全景图的亮度图像之间的差值图像；去除所述差值图像中的亮度值跳变以获得补偿图像；基于补偿图像来获得低动态范围(LDR)全景图。

Description

处理高动态范围全景图的方法和装置

技术领域

本发明涉及处理高动态范围全景图的方法和装置，更具体地说，涉及通过利用原始全景图作为参考值来压缩高动态范围全景图的方法和装置。

背景技术

目前单个相机通常难以捕捉到一个场景的全方位画面，市场上流行的卡片式数码相机通常采用焦距为35-38mm的镜头，这类镜头可以提供62°的画面视角，而较为高端焦距的28mm广角镜头也只能提供76°的视角。虽然6-16mm的短焦距超广角鱼眼镜头视角可以达到220°～230°，但带来的代价是画面的扭曲与变形。为了更容易地获得一个场景的全方位画面，可以采用全景图的拼接技术。将相机进行平移、旋转或角度变换针对一个场景拍摄多幅图像或一段视频，然后通过相应算法进行跟踪、拼接、融合等步骤从而实现针对整个场景的恢复，这个过程被称为全景图拼接。

此外，普通相机无法捕捉到现实场景中的整个亮度变化范围。现实场景中的高低亮度比可以达到10000：1，相比之下通用的图像文件如联合图像专家组(JPEG)能表示的亮度范围仅为[0,255]。在自动曝光模式下相机在不同的光照条件里会通过改变光圈大小和曝光时间来改变曝光值，此时在不同光照下真实场景的亮度范围到图像表示的亮度范围并非线性映射的过程。因此，在全景图拍摄过程中，由于光照不同使得多幅图像之间或视频不同帧之间的曝光值不同，使图像之间的亮度不一致，从而在拼接边缘出现明显的拼接痕迹。

为了解决在全景图的拼接边缘出现明显的拼接痕迹的问题，采用梯度场重建方法来产生高动态范围(HDR)全景图，其中，高动态范围(HDR)全景图指的是全景图中的部分像素的亮度值超过[0,255]的范围的全景图。

然而，由于HDR全景图不能被直接显示或者打印，因此需要将HDR全景图压缩为低动态范围(LDR)全景图，此外，由于HDR全景图到LDR全景图的压缩是非线性的，故可能产生较大失真。因此，需要一种可以去除全景图拼接痕迹并减少全景图失真的全景图处理方法。

发明内容

根据本发明的一方面，提供一种可以去除全景图拼接痕迹并减少全景图失真的全景图的处理方法。

根据本发明的一方面，提供一种一种处理高动态范围(HDR)全景图的方法，所述方法包括：计算高动态范围HDR全景图的亮度图像与和HDR全景图对应的原始全景图的亮度图像之间的差值图像；去除所述差值图像中的亮度值跳变以获得补偿图像；基于补偿图像来获得低动态范围(LDR)全景图。

亮度图像的亮度值可以为RGB颜色空间中的亮度值。

获得LDR全景图的步骤可包括：将HDR全景图的亮度图像减去补偿图像来获得修正亮度图像，并使用修正亮度图像来获得LDR全景图。

使用修正亮度图像来获得LDR全景图的步骤可包括：将所述修正亮度图像中的每个像素或像素块的亮度值与阈值范围进行比较，如果所述修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，则使用所述修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

如果所述修正亮度图像中存在亮度值超过阈值范围的像素或像素块，则可将该像素或像素块的亮度值重新设置为预定值，并使用像素或像素块的亮度值被重新设置后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

如果所述修正亮度图像中存在亮度值超过阈值范围的像素或像素块，则可将所述修正亮度图像中的所有像素或像素块的亮度值范围整体缩小，使得亮度值范围被整体缩小后的修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，并使用亮度值范围被整体缩小后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

去除差值图像中的亮度值跳变的步骤可包括：利用高斯平滑滤波器对所述差值图像进行平滑来去除差值图像中的亮度值跳变，以获得补偿图像。

根据本发明的另一方面，提供一种处理高动态范围(HDR)全景图的装置，所述装置包括：计算单元，计算高动态范围(HDR)全景图的亮度图像与和HDR全景图对应的原始全景图的亮度图像之间的差值图像；图像处理单元，去除所述差值图像中的亮度值跳变以获得补偿图像；低动态范围(LDR)图像获得单元，基于补偿图像来获得LDR全景图。

亮度图像的亮度值可以为RGB颜色空间中的亮度值。

所述LDR图像获得单元可将HDR全景图的亮度图像减去补偿图像来获得修正亮度图像，并使用该修正亮度图像来获得LDR全景图。

所述LDR图像获得单元可将所述修正亮度图像中的每个像素或像素块的亮度值与阈值范围进行比较，如果所述修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，则LDR图像获得单元使用所述修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

如果所述修正亮度图像中存在亮度值超过阈值范围的像素或像素块，则LDR图像获得单元可将该像素或像素块的亮度值重新设置为预定值，并使用像素或像素块的亮度值被重新设置后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

如果所述修正亮度图像中存在亮度值超过阈值范围的像素或块，则LDR图像获得单元可将所述修正亮度图像中的所有像素或像素块的亮度值范围整体缩小，使得亮度值范围被整体缩小后的修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，并使用亮度值范围被整体缩小后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

所述图像处理单元可利用高斯平滑滤波器对所述差值图像进行平滑来去除差值图像中的亮度值跳变，以获得补偿图像。

有益效果

根据本发明，可以在去除全景图拼接痕迹的同时减少全景图的失真，从而获得较好的压缩效果。

附图说明

通过下面结合附图进行的详细描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中：

图1A示出通过拼接相机捕捉的关键帧而获得的全景图的示图；

图1B示出图1A中示出的全景图的拼接边缘；

图2A是示出原始全景图的亮度图像的亮度值的曲线图；

图2B是示出根据梯度场重建生成的HDR全景图的亮度图像的亮度值的曲线图；

图3示出根据本发明实施例的处理HDR全景图的方法的流程图；

图4A示出根据本发明实施例的HDR全景图的亮度图像与原始全景图的亮度图像的亮度值之差的曲线图；

图4B示出根据本发明实施例对图4A示出的曲线进行平滑后获得的补偿量的曲线图；

图5示出根据本发明实施例的基于补偿量曲线压缩HDR全景图而获得的LDR全景图的亮度图像的亮度值的曲线图；

图6示出根据本发明实施例的处理HDR全景图的装置的框图。

具体实施方式

现将详细描述本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号指示相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。然而应理解，所描述的实施例只是本发明的一部分，而不是全部的实施例。示出的具体实施例不将本发明构思限制为特定的公开形式，而是包括本发明构思的精神和技术范围中的各种修改、等同或者替代物。

图1A和图1B示出通过拼接相机捕捉的关键帧来获得全景图的具体操作的示例，其中，图1A示出通过拼接相机捕捉的关键帧而获得的全景图的示图；图1B示出图1A中示出的全景图的拼接边缘。

参照图1A，通过在旋转或平移相机的同时捕捉图像来获得多个关键帧，所述关键帧是用于生成全景图的图像源。优选地，关键帧的选取可覆盖全景图的尽量多的区域，而关键帧的数目又尽可能少，从而减少计算量。因此一般的方法是，当相机的光轴移出当前的全景图范围时，将当前图像添加为关键帧；或者当前帧与上一个关键帧的距离超过预定阈值时添加关键帧。相邻关键帧之间包含有同样事物的图像，即具有重合区域，虽然拍摄内容一样，但由于位移、角度、光照的变化，生成的图像数据并非完全一样，因此需要在相邻关键帧之间进行空间配准。

以下描述空间配准的示例性步骤。可针对获得的关键帧进行特征提取，并对提取的特征进行特征比配，其中，特征比配指的是对两个关键帧上的特征点进行匹配，以确定两个关键帧里的哪些特征点是相同的。在特征匹配之后，估计关键帧的变换模型，并对相应关键帧图像进行形变。图像的变换模型可包括相似变换、仿射变换、透射变换等，不同模型有不同的变换矩阵。举例来说，假设两个关键帧之间的对应点坐标为P1和P2，所求变换矩阵为M，则它们的关系满足P1×M＝P2，通过此关系可以由关键帧的匹配特征点求出变换模型。形变即对特定图像应用求出的变换模型，以获得新的图像。假设特定图像的所有像素点坐标为P，变换矩阵为M，则可以算出形变图像的所有像素点坐标为P'＝P×M，从而将特定图像的相应像素映射到形变图像的新的位置，此时空间配准完成。

由于角度变换以及噪声等原因，形变后的关键帧在重合区域一般是没有完全配准的，通常会有视差的存在，因此可采用分割和缝合的方法来解决视差问题。具体地说，采用代价函数来评估重合区域的图像一致性，根据代价函数来将重合区域分割成多块小区域，其中，所述代价函数可以是计算两个重合区域的像素亮度值之间的差值的函数，如果差值越大则所述两个重合区域越不一致，反之，如果差值越小则所述两个重合区域越一致。之后使用图割(Graphcuts)法将所有区域融合成两块区域，使得两块区域交界部分为一致性最强的位置。这个交界位置即为拼接的缝合位置。图1B示出采用图割法对在图2A示出的全景图进行划分或获得的拼接边缘。图1B中的曲线表示采用图割法划分出的关键帧的缝合边缘，而由该曲线围成的区域即为关键帧中用于拼接的部分。

然后，可基于梯度场从拼接后的原始全景图重建HDR全景图。举例来说，可首先计算原始全景图的梯度场，梯度场包括水平方向梯度和竖直方向梯度，这里，梯度指的是在图像中沿水平方向或竖直方向上的相邻像素之间的亮度值的差。对于在水平方向(或竖直方向)上相邻的两个像素，如果它们处于同一区域(即，同一关键帧)中，则直接使用这两个像素的亮度值计算梯度。如果所述两个像素不属于同一区域，则将这两个像素之间的亮度值的梯度设置为0，即，将这两个像素的亮度值设置为彼此相同。利用被重新设置的梯度场可以重建HDR全景图。

图2A和图2B示出对全景图进行梯度场重建的具体操作的示例。参照图2A和图2B，图2A示出原始全景图的亮度图像的亮度值的曲线图，图2B示出根据梯度场重建生成的HDR全景图的亮度图像的亮度值的曲线图，其中，横轴表示HDR全景图中的像素的索引，竖轴表示像素的亮度值。需要说明的是，图2A和图2B中示出的亮度值曲线只是亮度图像的像素的亮度值一种表示形式。除此之外，亮度图像的像素的亮度值还可以通过亮度曲面、二维矩阵或本领域技术人员公知的其它方式来表示。此外，由于亮度图像由多个像素组成，因此，亮度图像的像素的亮度值可被称为亮度图像的亮度值。从图2A中可以看出，用于拼接原始全景图的关键帧1和关键帧2之间存在边缘跳变，导致最终的原始全景图出现明显的拼接痕迹。可通过将拼接边缘处的梯度设置为零(即如图2B中示出的将关键帧1和关键帧2进行无缝接合)，来去除拼接边缘处的跳变，从而得到没有拼接痕迹的全景图。经过梯度场重建后的HDR全景图包含了整个场景的全部亮度变化信息，同时全景图的拼接边缘的跳变现象也因为梯度置0而被消除。然而，经梯度场重建后的全景图中的部分像素的亮度值超过了[0,255]的范围，也就是说，重建后的全景图成为不能被直接显示或者打印的HDR全景图。为了显示或者打印HDR全景图，需要将HDR全景图压缩为低动态范围(LDR)全景图。

以下说明根据本发明实施例的将HDR全景图压缩为LDR全景图的操作。

图3示出根据本发明实施例的处理HDR全景图的方法的流程图。

参照图3，步骤S301，计算HDR全景图的亮度图像与和所述HDR全景图对应的原始全景图的亮度图像之间的差值图像。HDR全景图是如上参照图2A和图2B所述的通过对原始全景图进行梯度场重建得到的全景图。亮度图像由组成图像的每个像素的亮度值表示。可以通过逐像素或逐块地计算HDR全景图的像素的亮度值与原始全景图中的对应位置的像素的亮度值之间的差来获得差值图像。

在本发明的实施例中，亮度图像的亮度值可以是RGB颜色空间中的亮度值。此外，原始全景图可以是通过对相机旋转360度后捕捉到的整个场景的多个图像进行拼接而获得的全景图。然而，本领域技术人员应该理解，根据本发明实施例的全景图不限于在360度场景下拼接的图像，而可以是在以任何角度的场景下拼接的图像。

为了更清楚地描述本发明的示例性实施例，使用亮度值曲线来表示亮度图像的亮度值。图2A是示出原始全景图的亮度值的曲线图，图2B是示出根据梯度场重建生成的HDR全景图的亮度值的曲线图。图4A示出根据本发明实施例的HDR全景图的亮度图像与对应原始全景图的亮度图像的亮度值之差的曲线图，图4B示出根据本发明实施例对图4A示出的曲线进行平滑后获得的补偿量的曲线图。图5示出根据本发明实施例的基于补偿量曲线压缩HDR全景图而获得的LDR全景图的亮度图像的亮度值的曲线图。图2A、图2B、图4A、图4B和图5中示出的亮度值曲线是通过获得亮度图像中的每个像素的亮度值而得到的曲线，换言之，亮度值曲线是亮度图像的亮度值的一种表示形式。本领域技术人员应理解，除亮度值曲线外，亮度图像的亮度值还可以通过亮度曲面、二维矩阵或本领域技术人员公知的其它方式来表示。

下面将结合图2A、图2B、图4A、图4B和图5详细描述图3中示出的处理全景图的方法。

在全景图的亮度值曲线中，横轴可表示全景图中的像素的索引，纵轴可表示对应像素的亮度值。可选择地，也可将全景图划分为多个预定大小的图像块，在这种情况下，横轴可表示全景图中的图像块(即，像素块)的索引，纵轴可表示对应图像块中的像素的亮度值均值。

由于原始全景图的亮度值在拼接边缘存在跳变，因此HDR全景图的亮度图像与原始全景图的亮度图像之间的差值图像也可能存在亮度值的跳变(如图4A中所示)。

因此，在步骤S302，可去除所述差值图像中的亮度值跳变以获得补偿图像，具体地讲，可对在步骤S301获得的差值图像(由图4A中示出的差值曲线表示)进行平滑来获得补偿图像，图4B通过曲线的形式示出对所述差值图像进行平滑后获得的补偿图像的像素亮度值。在本发明的实施例中，可使用滤波器(例如，高斯平滑滤波器)来对所述差值图像进行平滑以去除所述差值图像中的亮度值跳变。然而，本发明不限于使用高斯平滑滤波器，而是还可以使用可去除差值图像中的亮度值跳变的任何其它平滑滤波器或使用其他各种方法来去除所述差值图像中的跳变。

最后，在步骤S303，可基于在步骤302获得的补偿图像来获得低动态范围(LDR)全景图。

具体地讲，在步骤S303，可将HDR全景图的亮度图像减去补偿图像来获得修正亮度图像，并使用该修正亮度图像来获得LDR全景图。在本发明的实施例中，可通过将所述修正亮度图像中的各个像素的亮度值应用于原始全景图或HDR全景图中的对应像素，来获得亮度值范围被控制在[0,255]之内的LDR全景图。在本发明的实施例中，可使用亮度值曲线来直观地表示亮度图像的亮度值，因此，图5示出将HDR全景图的亮度值曲线减去补偿量曲线而获得的LDR全景图的亮度值的曲线图，其中，点划线表示在步骤S302获得的补偿图像的亮度值曲线，实线表示HDR全景图的亮度值曲线，虚线表示HDR全景图的亮度值曲线减去补偿图像的亮度值曲线之后获得的修正亮度图像的亮度值曲线(即，LDR全景图的亮度值曲线)。

然而，将HDR全景图的亮度图像减去补偿图像而获得的修正亮度图像中可能仍然存在亮度值超过[0,255]的像素或像素块。为了防止修正亮度图像中仍然存在亮度值超过[0,255]的像素或像素块，作为一示例，可以对修正亮度图像中的像素或像素块的亮度值设置阈值范围。具体地说，可将修正亮度图像中的每个像素或像素块的亮度值与阈值范围进行比较，如果修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，则使用所述修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图；如果修正亮度图像中存在亮度值超过阈值范围的像素或像素块，则可将该像素或像素块的亮度值设置为预定值，并使用像素或像素块的亮度值被重新设置后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

举例而言，可以将阈值范围设置为[0,255]，然后将修正亮度图像的亮度值与阈值范围进行比较，如果修正亮度图像中不存在亮度值超过该阈值范围的像素或像素块，则可使用该修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图；相反，如果在修正亮度图像中存在亮度值大于255的像素或像素块，则可将该像素或像素块的亮度值设置为255，如果在修正亮度图像中存在亮度值小于0的像素(或像素块)，则可将该像素或像素块的亮度值设置为0，然后使用像素或像素块的亮度值被重新设置后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

作为另一示例，还可以通过将修正亮度图像中的像素或像素块的亮度值范围整体缩小，来防止修正亮度图像中仍然存在亮度值超过[0,255]的像素或像素块。具体地说，将修正亮度图像中的每个像素或像素块的亮度值与阈值范围进行比较，如果修正亮度图像中存在亮度值超过阈值范围的像素或像素块，则可将修正亮度图像中的所有像素或像素块的亮度值范围整体缩小(例如，乘以预定系数，该预定系数可以是小于1的任何合适的值)，使得亮度值范围被整体缩小后的修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，并使用亮度值范围被整体缩小后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

应理解，在适当情况下，还可以同时使用前述两种方法来防止修正亮度图像中仍然存在亮度值超过[0,255]的像素或像素块。

可选择地，为了获得亮度值满足预设阈值范围内的LDR全景图，除了上述对修正亮度图像的亮度值范围进行控制的方法以外，在步骤S301之前，还可通过对HDR全景图进行预处理(例如，使HDR全景图的亮度值范围整体缩小)，从而获得亮度值满足预设阈值范围内的LDR全景图。具体地说，在HDR全景图的重建过程中，在对原始全景图进行梯度场重建之后，可将重建的全景图的全部像素的亮度值乘以预定系数(例如，0.8或小于1的任意其他正数)来获得亮度值范围整体缩小的HDR全景图。由于生成的HDR全景图的亮度值范围整体缩小，因此通过将HDR全景图的亮度图像减去补偿图像而获得的全景图中的像素的亮度值超过范围[0,255]的可能性也减小。通过进行反复尝试，可最终将HDR全景图压缩到LDR全景图的亮度范围内。

图6示出根据本发明实施例的全景图处理装置的框图。

参照图6，根据本发明实施例的HDR全景图处理装置600包括计算单元610、图像处理单元620、LDR图像获得单元630。计算单元610计算HDR全景图的亮度图像与和所述HDR全景图对应的原始全景图的亮度图像之间的差值图像。HDR全景图是通过对原始全景图进行梯度场重建得到的全景图。亮度图像由组成图像的每个像素的亮度值表示。可以通过逐像素或逐块地计算HDR全景图的像素的亮度值与原始全景图中的对应位置的像素的亮度值之间的差来获得差值图像。此外，亮度图像的亮度值可以是RGB颜色空间中的亮度值。

由于原始全景图的亮度值在拼接边缘存在跳变，因此HDR全景图的亮度图像与原始全景图的亮度图像之间的差值图像也可能存在跳变。图像处理单元620可去除由计算单元610计算的差值图像中的亮度值跳变来获得补偿图像。根据本发明的实施例，图像处理单元620可以利用滤波器(例如，高斯平滑滤波器)来处理所述差值图像，具体地讲，图像处理单元620可以利用高斯滤波器对所述差值图像进行平滑来去除所述差值图像中的亮度值跳变。然而，本发明不限于高斯平滑滤波器，而是还可以使用可去除差值图像中的亮度值跳变的任何其它平滑滤波器。

LDR图像获得单元630可基于在步骤302获得的补偿图像来获得低动态范围(LDR)全景图。具体地讲，LDR图像获得单元630可将HDR全景图的亮度图像减去补偿图像来获得修正亮度图像，并使用该修正亮度图像来获得低动态范围LDR全景图。在本发明的实施例中，LDR图像获得单元630可通过将所述修正亮度图像中的各个像素的亮度值应用于原始全景图或HDR全景图中的对应像素，来获得亮度值范围被控制在[0,255]之内的LDR全景图。

然而，将HDR全景图的亮度图像减去补偿图像而获得的修正亮度图像中可能仍然存在亮度值超过[0,255]的像素或像素块。为了防止修正亮度图像中仍然存在亮度值超过[0,255]的像素或像素块，LDR图像获得单元630还可以对修正亮度图像进行进一步处理。具体地说，LDR图像获得单元630可将修正亮度图像中的每个像素或像素块的亮度值与阈值范围进行比较，如果修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，则使用所述修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图；如果修正亮度图像中存在亮度值超过阈值范围的像素或像素块，则可将该像素或像素块的亮度值设置为预定值，并使用像素或像素块的亮度值被重新设置后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

举例而言，阈值范围可被设置为[0,255]，然后，LDR图像获得单元630将修正亮度图像的亮度值与阈值范围进行比较，如果修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，则LDR图像获得单元630可使用该修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图；相反，如果在修正亮度图像中存在亮度值大于255的像素或像素块，则LDR图像获得单元630可将该像素或像素块的亮度值设置为255，如果在修正亮度图像中存在亮度值小于0的像素或像素块，则LDR图像获得单元630将该像素或像素块的亮度值设置为0，然后使用像素或像素块的亮度值被重新设置后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

作为另一示例，LDR图像获得单元630还可以通过将修正亮度图像中的像素或像素块的亮度值范围整体缩小，来防止修正亮度图像中仍然存在亮度值超过[0,255]的像素或像素块。具体地说，LDR图像获得单元630可将修正亮度图像中的每个像素或像素块的亮度值与阈值范围进行比较，如果修正亮度图像中存在亮度值超过阈值范围的像素或像素块，则LDR图像获得单元630可将修正亮度图像中的所有像素或像素块的亮度值范围整体缩小(例如，乘以预定系数，该预定系数可以是小于1的任何合适的值)，使得亮度值范围被整体缩小后的修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，并使用亮度值范围被整体缩小后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

可选择地，为了获得亮度值满足预设阈值范围内的LDR全景图，可以在计算单元610进行处理之前，通过对HDR全景图进行预处理(例如，使HDR全景图的亮度值范围整体缩小)，从而获得亮度值满足预设阈值范围内的LDR全景图。举例来说，在HDR全景图的重建过程中，在对原始全景图进行梯度场重建之后，将重建的全景图的全部像素的亮度值乘以预定系数(例如，0.8或小于1的任意其他正数)来获得亮度值范围整体缩小的HDR全景图。由于生成的HDR全景图的亮度值范围整体缩小，因此通过将HDR全景图的亮度图像减去补偿图像而获得的全景图中的像素的亮度值超过范围[0,255]的可能性也减小。通过进行反复尝试，可最终将HDR全景图压缩到LDR全景图的亮度范围内。

根据本发明的实施例，可以在去除全景图拼接痕迹的同时减少全景图的失真，从而获得较好的压缩效果。

根据本发明的实施例的上述装置和方法可被实现为计算机程序或计算机可读代码。该计算机程序或计算机可读代码可被记录在计算机可读记录介质上。所述计算机可读记录介质可以是任何可存储其后可以被计算机系统读取的数据的数据存储设备。所述计算机可读记录介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储设备和载波(例如，通过互联网的数据传输)。所述计算机可读记录介质也可以被分布在联网的计算机系统上，从而所述计算机可读代码以分布式方式被存储和执行。

尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (14)

1.一种处理高动态范围HDR全景图的方法，所述方法包括：

计算高动态范围HDR全景图的亮度图像与和HDR全景图对应的原始全景图的亮度图像之间的差值图像；

去除所述差值图像中的亮度值跳变以获得补偿图像；

基于补偿图像来获得低动态范围LDR全景图。

2.如权利要求1所述的方法，其中，亮度图像的亮度值为RGB颜色空间中的亮度值。

3.如权利要求1所述的方法，其中，获得LDR全景图的步骤包括：将HDR全景图的亮度图像减去补偿图像来获得修正亮度图像，并使用修正亮度图像来获得LDR全景图。

4.如权利要求3所述的方法，其中，使用修正亮度图像来获得LDR全景图的步骤包括：将所述修正亮度图像中的每个像素或像素块的亮度值与阈值范围进行比较，如果所述修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，则使用所述修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

5.如权利要求4所述的方法，其中，如果所述修正亮度图像中存在亮度值超过阈值范围的像素或像素块，则将该像素或像素块的亮度值重新设置为预定值，并使用像素或像素块的亮度值被重新设置后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

6.如权利要求4所述的方法，其中，如果所述修正亮度图像中存在亮度值超过阈值范围的像素或像素块，则将所述修正亮度图像中的所有像素或像素块的亮度值范围整体缩小，使得亮度值范围被整体缩小后的修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，并使用亮度值范围被整体缩小后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

7.如权利要求1所述的方法，其中，去除差值图像中的亮度值跳变的步骤包括：利用高斯平滑滤波器对所述差值图像进行平滑来去除差值图像中的亮度值跳变，以获得补偿图像。

8.一种处理高动态范围HDR全景图的装置，所述装置包括：

计算单元，计算高动态范围HDR全景图的亮度图像与和HDR全景图对应的原始全景图的亮度图像之间的差值图像；

图像处理单元，去除所述差值图像中的亮度值跳变以获得补偿图像；

低动态范围LDR图像获得单元，基于补偿图像来获得LDR全景图。

9.如权利要求8所述的装置，其中，亮度图像的亮度值为RGB颜色空间中的亮度值。

10.如权利要求8所述的装置，其中，所述LDR图像获得单元将HDR全景图的亮度图像减去补偿图像来获得修正亮度图像，并使用该修正亮度图像来获得LDR全景图。

11.如权利要求10所述的装置，其中，所述LDR图像获得单元将所述修正亮度图像中的每个像素或像素块的亮度值与阈值范围进行比较，如果所述修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，则LDR图像获得单元使用所述修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

12.如权利要求11所述的装置，其中，如果所述修正亮度图像中存在亮度值超过阈值范围的像素或像素块，则LDR图像获得单元将该像素或像素块的亮度值重新设置为预定值，并使用像素或像素块的亮度值被重新设置后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

13.如权利要求11所述的装置，其中，如果所述修正亮度图像中存在亮度值超过阈值范围的像素或块，则LDR图像获得单元将所述修正亮度图像中的所有像素或像素块的亮度值范围整体缩小，使得亮度值范围被整体缩小后的修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，并使用亮度值范围被整体缩小后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。

14.如权利要求8所述的装置，其中，所述图像处理单元利用高斯平滑滤波器对所述差值图像进行平滑来去除差值图像中的亮度值跳变，以获得补偿图像。