CN109194872B - 全景图像像素亮度校正方法、装置、全景相机和存储介质 - Google Patents

Abstract

本发明涉及一种全景图像的像素亮度值校正方法、装置、全景相机和存储介质，该方法包括：获取全景图像的各重叠区域的亮度均值，确定当前图像的像素点与重叠区域之间的距离，根据该距离和各重叠区域的亮度均值对像素点的亮度值进行非线性校正，各重叠区域的亮度均值可以从整体上反映出不同镜头之间的亮度差异，而且结合像素点与重叠区域之间的距离不同非线性地对各像素点的亮度值进行调节，使得全景图像在整体或单张图像上的亮度变化都是均匀的，减少全景图像在整体和单张图像上的亮度差异，在整体上看不出有亮度层次的差异，实现对全景图像亮度值的有效调节，提高全景相机成像质量，从而提高全景拍摄体验。

Description

全景图像像素亮度校正方法、装置、全景相机和存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种全景图像的像素亮度值校正方法、全景图像的像素亮度值校正装置、全景相机和计算机可读存储介质。

背景技术

全景相机在拍摄图像时通常是利用朝向不同的多个镜头进行拍摄，并将各镜头拍摄的图像拼接成一张水平360度和垂直360度的全景图像，其中，全景相机的镜头数量一般大于或等于两个，在全景相机的使用过程当中，由于各个镜头的朝向不同，所以各个镜头的光照度差异很大，各个镜头拍摄得到的图像之间的曝光差异度也很大，导致拼接生成的全景图像就会出现明暗差异大的情况，视觉上也较为突兀，而且全景相机的镜头个数越多，最后拼接的全景图像上产生的亮度差异层次就越多，全景图像的成像质量就会越差。

传统技术通常在全景相机的镜头成像的前期阶段如ISP(Image SignalProcessor，图像信号处理器)成像处理时，对多个镜头统一曝光来减少后期成像的曝光差异，以达到对全景图像的像素亮度值校正的效果，但这种技术对ISP的成像要求较高，而且在光照环境复杂的情况下仅仅通过ISP的曝光控制也难以有效地减少图像之间的曝光差异，容易导致全景图像的像素亮度值整体差异较大，降低成像质量。

发明内容

基于此，有必要针对传统技术容易导致全景图像的像素亮度值整体差异较大的技术问题，提供一种全景图像的像素亮度值校正方法、全景图像的像素亮度值校正装置、全景相机和计算机可读存储介质。

一种全景图像的像素亮度值校正方法，包括步骤：

获取全景图像的各重叠区域的亮度均值；

确定当前图像的像素点与该当前图像的所述重叠区域之间的距离；

获取所述当前图像的像素点的原始亮度值；

根据各所述重叠区域的亮度均值和所述距离对各所述像素点的原始亮度值进行非线性校正。

一种全景图像的像素亮度值校正装置，包括：

第一获取模块，用于获取全景图像的各重叠区域的亮度均值；

确定模块，用于确定当前图像的像素点与该当前图像的所述重叠区域之间的距离；

第二获取模块，用于获取所述当前图像的像素点的原始亮度值；

校正模块，用于根据各所述重叠区域的亮度均值和所述距离对各所述像素点的原始亮度值进行非线性校正。

一种全景相机，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述全景图像的像素亮度值校正方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述全景图像的像素亮度值校正方法的步骤。

上述全景图像的像素亮度值校正方法、装置、全景相机和存储介质，获取全景图像的各重叠区域的亮度均值，并确定当前图像的像素点与重叠区域之间的距离，获取像素点的原始亮度值，根据各重叠区域的亮度均值和像素点与重叠区域之间的距离对该像素点的原始亮度值进行非线性校正，进而可以实现对全景相机拍摄的多张图像的各像素点的亮度值进行校正，由于各重叠区域的亮度均值可以从整体上反映出不同镜头的重叠区域之间的亮度差异，而且根据像素点与重叠区域之间的距离不同能够非线性地对各像素点的亮度值进行调节，这种将全景图像的各重叠区域的亮度均值和像素点与重叠区域之间的距离相结合的亮度值校正方法，能够使得全景图像无论在整体或单张图像上的亮度变化都是均匀的，减少了全景图像在整体和单张图像上的亮度差异，过渡自然，可以在生成全景图像的后期阶段对全景图像进行再处理，从全景图像的整体上看不出有亮度层次的差异，实现了对各镜头拍摄的图像的亮度值进行有效调节，提高了全景相机的成像质量，从而提高用户的全景拍摄体验。

附图说明

图1为一个实施例中全景图像的像素亮度值校正方法的流程示意图；

图2(a)为一个实施例中第一镜头图像的示意图；

图2(b)为一个实施例中第二镜头图像的示意图；

图3为一个实施例中重叠区域的示意图；

图4为一个实施例中非线性校正曲线模型的示意图；

图5为一个实施例中全景相机曝光差异纠正方法的流程示意图；

图6为一个实施例中全景图像的像素亮度值校正装置的结构框图；

图7为一个实施例中全景相机的内部结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，本发明实施例所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

在一个实施例中，提供了一种全景图像的像素亮度值校正方法，参考图1，图1为一个实施例中全景图像的像素亮度值校正方法的流程示意图，该方法可以通过全景相机或计算机设备进行实现，该全景图像的像素亮度值校正方法可以包括以下步骤：

步骤S101，获取全景图像的各重叠区域的亮度均值。

其中，全景图像是指全景相机拍摄的图像，全景相机在拍摄图像时，首先会通过其配置的多个镜头从不同角度拍摄图像，接着全景相机采集各个镜头拍摄的图像，并使用各镜头标定结果参数对各镜头拍摄的图像进行投影，得到多个投影后的矩形展开图像，这些矩形展开图像两两之间会有固定大小的重叠区域，因此全景图像中的各个镜头拍摄的图像均具有重叠区域，这些重叠区域主要用于将各个镜头的展开图像进行alpha融合处理，使得融合后的全景图像在重叠区域的范围内过渡自然。

由于全景图像的各个重叠区域是分别通过不同的镜头拍摄的，每个镜头的朝向不同，光照度差异很大，因此各个镜头拍摄的图像曝光程度差异很很大，因此该全景图像的每个重叠区域之间一般具有不同的亮度值，本步骤可以在各个重叠区域中分别对各个重叠区域的像素点的亮度值进行求平均值运算，得到各个重叠区域的亮度均值，基于该各个重叠区域的亮度均值对全景图像的亮度进行校正有利于使得全景图像中各镜头拍摄的各图像在通过重叠区域进行融合时在整体上能够过渡自然。

具体的，以配置有两个镜头的全景相机为例对本步骤进行说明，该全景相机在拍摄全景图像时，可以使用两个镜头标定的参数分别对第一镜头以及第二镜头拍摄的图像进行投影得到第一镜头展开图像和第二镜头展开图像，如图2(a)所示，图2(a)为一个实施例中第一图像的示意图，第一图像200a为一张高度为H、宽度为W的矩形展开图，第一图像200a包括高度为H1、宽度为W的有效区域，该有效区域是第一镜头拍摄的图像区域，该有效区域包括高度为h1、宽度为W的非重叠区域210a以及高度为w1、宽度为W的重叠区域220a，第一图像200a还包括非有效区域230a，该非有效区域230a和第一图像200a的重叠区域220a可以用于与第二图像进行后期的拼接处理。在图2(b)中，相应的，第二图像200b的高度H和宽度W均分别与第一图像200a的高度H和宽度W相同，第二图像200b包括高度为H2、宽度为W的有效区域，该有效区域是第二镜头拍摄的图像区域，该有效区域包括高度为h2、宽度为W的非重叠区域210以及高度为w2、宽度为W的重叠区域220b，第二图像200b还包括非有效区域230b，该非有效区域230b和第二图像200b的重叠区域220b可以用于与第一图像进行后期的拼接处理。一般来说，两个镜头的重叠区域的高度大小相同即w1与w2大小相同，两个镜头的非重叠区域的高度大小也相同，即h1与h2大小相同，所以H1与H2也相同。第一图像200a和第二图像200a的重叠区域均包括多个像素点，各像素点可以具有不同的亮度值，将第一图像200a的重叠区域220a的各像素点的亮度值进行平均运算，可以得到第一图像200a的重叠区域220a的亮度均值L3，同理可以得到第二图像200b的重叠区域220b的亮度均值L4。

步骤S102，确定当前图像的像素点与该当前图像的重叠区域之间的距离。

其中，当前图像的像素点与该当前图像的重叠区域之间的距离是指该像素点在当前图像中距离重叠区域的下边界的距离，参考图2(a)，设当前图像为第一图像200a，该第一图像200a的像素点与重叠区域的距离的取值范围为0至H1。

步骤S103，获取当前图像的像素点的原始亮度值。

本步骤主要是获取当前图像的待校正像素点的亮度值，该当前待校正图像包括多个像素点，例如重叠区域的像素点和非重叠区域的像素点，当需要对当前图像的某个像素点进行校正时，获取该像素点的亮度值。

步骤S104，根据各重叠区域的亮度均值和距离对各像素点的原始亮度值进行非线性校正。

本步骤中，各重叠区域的亮度均值能够从整体上反映出全景图像的各镜头拍摄的图像的亮度差异，而待校正的像素点在当前图像上距离重叠区域的距离能够反映出该像素点在单张图像上的位置特征，将各重叠区域的亮度均值和像素点与重叠区域之间的距离能够对该像素点的原始的亮度值进行非线性校正，具体校正的方式有多种，例如通过指数、对数等非线性函数将亮度均值、原始亮度值和距离作为输入参量输入到这些非线性函数当中从而得到非线性函数输出的原始亮度值的校正值；还可以将各重叠区域的亮度均值再进行一次平均，并将平均后的亮度均值作为各像素点的亮度值的初始修正值，并计算初始修正值和原始亮度值的变化量，结合像素点与重叠区域的距离计算一个权重值，越远离重叠区域的像素点的权重值越小，该权重值可以表示为G＝s^0.5，s表示像素点与重叠区域的距离，取值范围可以设为0至1,0表示与重叠区域的距离最远，1表示与重叠区域的距离最近，可以基于该权重值与上述变化量的乘积对原始亮度值进行非线性修正，即随着像素点与重叠区域的距离变化，对像素点的亮度变化进行非线性调整，有利于使得校正后的亮度值更加自然平缓。

上述全景图像的像素亮度值校正方法，获取全景图像的各重叠区域的亮度均值，并确定当前图像的像素点与重叠区域之间的距离，获取像素点的原始亮度值，根据各重叠区域的亮度均值和像素点与重叠区域之间的距离对该像素点的原始亮度值进行非线性校正，进而可以实现对全景相机拍摄的多张图像的各像素点的亮度值进行校正，由于各重叠区域的亮度均值可以从整体上反映出不同镜头的重叠区域之间的亮度差异，而且根据像素点与重叠区域之间的距离不同能够非线性地对各像素点的亮度值进行调节，这种将全景图像的各重叠区域的亮度均值和像素点与重叠区域之间的距离相结合的亮度值校正方法，能够使得全景图像无论在整体或单张图像上的亮度变化都是均匀的，减少了全景图像在整体和单张图像上的亮度差异，过渡自然，可以在生成全景图像的后期阶段对全景图像进行再处理，从全景图像的整体上看不出有亮度层次的差异，实现了对各镜头拍摄的图像的亮度值进行有效调节，提高了全景相机的成像质量，从而提高用户的全景拍摄体验。

在一个实施例中，获取全景图像的各重叠区域的亮度均值的步骤可以包括：

步骤S201，确定各重叠区域的中间区域。

本步骤主要是确定全景图像的各重叠区域的中间区域，该中间区域是指在各个重叠区域中，在计算亮度均值的像素点时，去掉各重叠区域中最左边和最右边的两部分后在各重叠区域中剩余的区域，只取中间区域的像素点进行亮度均值的计算，这样能够排除近景物的干扰。

具体的，参考图3，图3为一个实施例中重叠区域的示意图，该重叠区域220a对应于图2(a)所示的第一图像200a的重叠区域200a，本步骤可以先去掉重叠区域220a的左边部分221a以及右边部分221b的像素点，从而可以得到重叠区域200a的中间区域222，该中间区域222的宽度可以去重叠区域200a的宽度W的三分之二，该中间区域222的像素点可以用于计算该重叠区域200a的亮度值的平均值。

步骤S202，获取中间区域的各像素点的亮度值。

本步骤主要是在各重叠区域中，分别获取其中间区域的各个像素点的亮度值。

步骤S203，根据中间区域中各像素点的亮度值计算亮度均值。

本步骤可以在各重叠区域中，对中间区域中各像素点的亮度值进行求平均值运算，得到各重叠区域的亮度均值。

本实施例通过全景图像中各重叠区域的中间区域的像素亮度的平均值作为各重叠区域的亮度均值，能够排除近景物对亮度均值计算的影响，提高了亮度均值的准确性，而该亮度均值对于校正全景图像的各像素点的亮度值至关重要，提高该亮度均值的准确性有利于进一步准确校正全景图像的各像素点的亮度值，而且先排除了重叠区域的左右两个部分区域的像素点再计算亮度均值还减少了运算量，有利于提高校正效率。

在一个实施例中，根据各重叠区域的亮度均值和距离对各像素点的原始亮度值进行非线性校正的步骤可以包括：

步骤S301，根据各重叠区域的亮度均值获取全景图像的亮度校正参考值。

其中，亮度校正参考值是指作为对全景图像的各个像素点的亮度值进行修正的参考值，主要用于从整体上较平均地反映出各重叠区域的亮度均值大小。该亮度校正参考值可以根据各重叠区域的亮度均值进行设定，例如从各重叠区域的亮度均值中选取其中要给亮度均值作为该亮度校正参考值；也可以取各重叠区域的亮度均值的平均值作为该亮度校正参考值；还可以根据各重叠区域的亮度均值中的最大值和最小值确定该各重叠区域的亮度均值的亮度均值变化范围，该亮度均值变化范围是指重叠区域的亮度均值的变化范围，该变化范围可以由各个重叠区域的亮度均值的最大值和最小值确定，假设亮度均值的最大值为L1和L2，则亮度均值变化范围为L2至L1，各个重叠区域的亮度均值都在该变化范围内，该亮度均值变化范围能够反映出各个重叠区域的亮度均值的整体分布情况，然后在该亮度均值变化范围内选取上述亮度校正参考值，为了使得成像质量更符合用户的主观体验，特别是在多个镜头的亮度值在差异较大时，可以根据亮度均值变化范围取更靠近亮度均值更高的一侧的亮度均值作为亮度校正参考值。具体来说，假设亮度均值变化范围是L1至L2，则可以取

作为亮度校正参考值；还可以取0.6×(L1+L2)作为亮度校正参考值。

步骤S302，获取当前图像的重叠区域的亮度均值。

本步骤主要是获取当前图像的重叠区域的亮度均值，该当前图像是指当前待校正的图像，该图像可以是图2(a)的第一图像200a，也可以是图2(b)的第二图像200b，当对第一图像200a进行校正时，当前图像的重叠区域是指第一图像200a的重叠区域220a，从而可以根据该重叠区域220a的各像素点的亮度值计算出相应的亮度值的平均值，得到该重叠区域220a的亮度均值。

步骤S303，根据亮度校正参考值、亮度均值和距离对各像素点的原始亮度值进行非线性校正。

本步骤可以根据全景图像的亮度校正参考值、当前图像的重叠区域的亮度均值以及待校正的像素点与所在当前图像的重叠区域的距离了对该像素点的原始亮度值进行非线性校正，具体校正的方式有很多种，例如通过指数、对数等非线性函数将全景图像的亮度校正参考值、当前图像的重叠区域的亮度均值、原始亮度值和距离作为输入参量输入到这些非线性函数当中从而得到非线性函数输出的原始亮度值的校正值；还可以将全景图像的亮度校正参考值与当前图像的重叠区域的亮度均值进行平均，将平均后的亮度均值作为该像素点的亮度值的初始修正值，计算初始修正值和原始亮度值的变化量，结合像素点与重叠区域的距离计算一个权重值，越远离重叠区域的像素点的权重值越小，该权重值可以表示为G＝s^0.5，s表示像素点与重叠区域的距离，取值范围可以设为0至1,0表示与重叠区域的距离最远，1表示与重叠区域的距离最近，可以基于该权重值与上述变化量的乘积对原始亮度值进行非线性修正，即随着像素点与重叠区域的距离变化，对像素点的亮度变化进行非线性调整，有利于使得校正后的亮度值更加自然平缓。

本实施例通过全景图像各重叠区域的亮度均值获取用于对全景图像各像素点进行校正的亮度校正参考值，该亮度校正参考值可以从整体上反映出全景图像中各镜头拍摄图像的亮度差异，然后再结合当前图像的重叠区域的亮度均值以及当前图像中待校正的像素点与当前图像的重叠区域的距离对该像素点的原始亮度值进行非线性校正，能够从整体和局部两方面实现对各像素点进行校正，使得该全景图像在整体上和在单张图像上的亮度值都更自然连贯，成像效果更好。

在一个实施例中，进一步的，根据各重叠区域的亮度均值获取全景图像的亮度校正参考值的步骤包括：

步骤S401，根据各重叠区域的亮度均值确定各重叠区域的亮度均值最大值和亮度均值最小值。

本步骤中，可以从各重叠区域的亮度均值中选取最大值和最小值作为各重叠区域的亮度均值最大值和亮度均值最小值。

步骤S402，获取设定的均值调节因子；根据亮度均值最大值、亮度均值最小值和均值调节因子计算亮度校正参考值。

本步骤主要是基于亮度均值最大值、亮度均值最小值和设定的均值调节因子计算全景图像的亮度校正参考值，其中，均值调节因子可以是全景图像被拍摄之前预先设定的，也可以是在对全景图像进行后期编辑时结合实际拍摄环境进行设定的，该均值调节因子主要用于在亮度均值最大值和亮度均值最小值范围内设定一个亮度值作为亮度校正参考值。

具体来说，设均值调节因子为α、亮度均值最小值为L1和亮度均值最大值为L2，则该亮度校正参考值可以表达为L＝α×(L1+L2)，该均值调节因子为α的具体取值可以根据实际情况进行设置，例如当该均值调节因子α取值为0.5时表示将亮度校正参考值设置亮度均值最小值为L1和亮度均值最大值为L2的中间值，可见，通过该均值调节因子α可以在亮度均值最大值和亮度均值最小值范围内设定一个亮度值作为亮度校正参考值。需要说明的是，上述亮度校正参考值的表达式α×(L1+L2)只是其中一种表达形式，还可以表达为如

等形式，若亮度校正参考值表达为

当均值调节因子α取值为2时，亮度校正参考值设置亮度均值最小值为L1和亮度均值最大值为L2的中间值。

本实施例基于均值调节因子能够在亮度均值最大值和亮度均值最小值范围内设定一个亮度值作为亮度校正参考值，通过对该均值调节因子进行调整，可以根据实际拍摄场景需求动态地对亮度校正参考值进行实时调整，对全景图像的亮度值进行校正的灵活性更高。

在一个实施例中，进一步的，根据亮度均值最大值、亮度均值最小值和均值调节因子计算亮度校正参考值的步骤可以包括：

计算亮度均值最大值与亮度均值最小值的差值；根据均值调节因子与差值的乘积获取均值调节值；将均值调节值与亮度均值最小值进行求和得到亮度校正参考值。

本实施例主要是根据均值调节因子与亮度均值最大值与亮度均值最小值的差值的乘积来设置所述亮度校正参考值。具体的，设亮度均值最大值为L1、亮度均值最大值为L2以及均值调节因子为α，则亮度校正参考值的具体表达形式为

其中，(L1,L2)_min表示L1和L2中的较小的值，|L2-L1|表示L1和L2的差的绝对值，

表示均值调节值。为了让亮度校正参考值能够更靠近重叠区域的亮度的较高一侧以使成像质量更高，而靠近重叠区域的亮度均值的较高一侧的比例在0.6至0.8之间较优，也就是说，如果亮度值均值最小值为0，亮度值均值最大值为1，则靠近重叠区域的亮度的较高一侧是指让亮度校正参考值更靠近1，而靠近的比例可以控制在0.6至0.8之间，所以在最小值为0、最大值为1的情况下，设置的亮度校正参考值的范围最好是0.6至0.8，在亮度校正参考值

的情况下，可以将均值调节因子α设置为

在一个实施例中，根据亮度校正参考值、亮度均值和距离对各像素点的原始亮度值进行非线性校正的步骤可以包括：

步骤S501，将原始亮度值、亮度校正参考值和亮度均值输入至非线性校正曲线模型，得到非线性校正曲线模型输出的原始亮度值的第一亮度校正值。

本步骤中，可以将当前图像的待校正像素点的原始亮度值、当前图像的重叠区域的亮度均值以及全景图像的亮度校正参考值输入到预存的校正曲线模型当中，该校正曲线模型可以是在全景图像拍摄之前设置好的，为了确保校正后的各像素亮度值平滑自然，该校正曲线模型可以选取非线性的校正曲线模型，该非线性校正曲线模型可以以像素点的原始亮度值、当前图像的重叠区域的亮度均值以及全景图像的亮度校正参考值作为输入参量，进行非线性校正后，输出第一亮度校正值，该第一亮度校正值就是对当前图像的待校正像素点的亮度值进行校正得到的亮度校正值。

进一步的，为了确保校正后的亮度值最大值和最小值都不会溢出并且确保全局最优的亮度校正效果，可以采用如下非线性校正曲线模型：

其中，Y表示第一亮度校正值，X表示当前图像的待校正像素点的亮度值，Y₀表亮度校正参考值，Y₁表示当前图像的重叠区域的亮度均值。

具体的，参考图4，图4为一个实施例中非线性校正曲线模型的示意图，其中，非线性校正曲线模型400表示上述非线性校正曲线模型

横坐标410a表示像素点的原始亮度值，纵坐标410b表示该像素点的第一亮度校正值，本实施例可以将图4中点K0所示的当前图像的待校正像素的原始亮度值通过非线性校正曲线模型400校正至非线性校正曲线模型400上的点K1所示的第一亮度校正值。

步骤S502，根据第一亮度校正值与原始亮度值计算亮度变化量。

其中，可以将当前图像的待校正像素点的原始亮度值与校正后得到的第一亮度校正值进行作差得到该像素点的亮度变化量，即该像素点在校正前和校正后亮度值的变化量，可以是增加量也可以是减少量。

步骤S503，基于距离对亮度变化量进行非线性校正。

本步骤主要通过像素点与重叠区域的距离对该像素点的亮度变化量进行调整，可以根据像素点与重叠区域的距离计算一个权重值，越远离重叠区域的像素点的权重值越小，该权重值可以表示为G＝s^0.5，s表示像素点与重叠区域的距离，取值范围可以设为0至1,0表示与重叠区域的距离最远，1表示与重叠区域的距离最近，可以通过该权重值与亮度变化量的乘积作为亮度变化量的校正值，使得各像素点的亮度变化自然均匀，而且通过表达式为G＝s^0.5的权重值能够对亮度变化量进行非线性校正，即随着像素点与重叠区域的距离变化，对像素点的亮度变化进行非线性调整，有利于使得校正后的亮度值更加自然平缓。

步骤S504，将校正后的亮度变化量和原始亮度值进行求和得到像素点的亮度值的第二亮度校正值。

其中，将当前图像的像素点的校正后的亮度变化量与该像素点的亮度值进行求和运算，可以得到该像素点的亮度值的第二亮度校正值。

本实施例将原始亮度值、亮度校正参考值和亮度均值输入至非线性校正曲线模型，得到非线性校正曲线模型输出的原始亮度值的第一亮度校正值，在得到第一亮度校正值的基础上，再根据像素点与重叠区域的距离对该像素点在校正前后的亮度值变化量进行校正得到第二亮度校正值，结合像素点与重叠区域之间的距离来再次校正像素点的亮度值，进一步加强了对全景图像亮度值的校正效果。

本发明实施例的技术方案能够应用于配置有两个镜头的全景相机当中以校正全景相机曝光差异，当镜头个数大于两个时，处理流程类似。在一个实施例中，提供了一种全景相机曝光差异纠正方法，参考图5，图5为一个实施例中全景相机曝光差异纠正方法的流程示意图，该全景相机曝光差异纠正方法可以包括如下步骤：

S1，采集全景相机的各镜头拍摄的原始图像。

其中，该全景相机在工作的过程中，首先会采集两个镜头拍摄的原始图像。

S2，根据镜头标定的参数对原始图像进行投影，得到各镜头展开图像。

本步骤主要是使用两个镜头标定的参数对各个镜头的原始图像进行投影，得到多个投影后的矩形展开图像，该两矩形展开图像之间有固定大小的重叠区域，在后期将各个重叠区进行alpha融合处理，能够使得融合后的全景图像在重叠区域的范围内过渡自然。

S3，计算各图像的重叠区域的亮度平均值。

本步骤中，计算全景相机两个镜头各自重叠区域的像素点的亮度值的平均值，可以得到两个亮度平均值。在该亮度平均值的计算过程中，为了排除近景物干扰，在重叠区域中取像素点的时候，可以去掉重叠区域的最左边和最右边的部分，只取重叠区域的中间三分之二的部分。

S4，根据各图像的重叠区域的亮度平均值计算亮度校正参考值。

由于对于标定过的全景相机来说，镜头之间的重叠区域是重合的，不同镜头的重叠区域之间的亮度差异可以反映出各镜头之间的曝光差异，在得到两个镜头的重叠区域的亮度平均值以后，可以根据两个镜头的重叠区域的亮度平均值计算得到一个亮度校正参考值，考虑到各镜头的亮度值差异较大时，亮度值较大的成像质量主观体验更好，所以校正目标值更靠近亮度平均值更高的一侧时最终的整体成像质量更好，亮度校正参考值靠近亮度平均值更高的一侧的比例在0.6至0.8较优。具体的，设两个镜头的重叠区域的所有像素点计算得到的亮度平均值分别为Y1和Y2，则根据Y1和Y2计算得到的目标亮度值为Y0，

S5，对各镜头展开图像的像素点的亮度值进行校正。

本步骤中，可以对两个镜头展开图像中的非重叠区域和重叠区域的所有像素点进行亮度校正，具体方法如下：

参考图2(a)，对于第一镜头的每个像素点来说，得到本像素点的亮度值y，y的取值范围为0至255，纠正后的亮度值Y，Y的取值范围0至255，那么纠正后的亮度值

进一步的，可以看再根据当前像素点与重叠区域的距离计算出一个权重，越远离重叠区的部分权重越小，假设当前像素点的高为h，h取值范围是0至H1，y表示当前像素点的亮度值，那么根据距离对当前像素点的亮度值y进行校正得到纠正后的亮度值

从而可以对第一镜头的非重叠区域和重叠区域的所有像素点进行亮度校正。

参考图2(b)，同理对于第二镜头来说，亮度平均值为Y2，且像素点高h的取值范围是H2至H，所以第二镜头的非重叠区域和重叠区域的各像素点的纠正后的亮度值为：

S6，对校正亮度值后的各镜头展开图像进行重叠区融合，得到校正的全景图像。

其中，可以在得到两个镜头亮度值校正后的有效区域后，再对重叠区域进行alpha融合，得到融合后的重叠区域，最后将各镜头的非重叠区域和融合后的重叠区一起拼成最终的全景图像。

本实施例提供一种全景相机曝光差异纠正的方法，可以不依赖于镜头成像的前期ISP成像处理技术，也可以作为前期ISP成像处理的一个补充，在后期依据多个镜头的重叠区域的亮度差异对各镜头的图像进行再处理，调整每一个镜头的图像的亮度，减少全景图像整体上亮度的差异，使得整体上每一个镜头的图像的变化均匀，过渡自然，全景图像整体上看不出亮度层次的差异，提高全景相机的成像质量，从而提高用户体验。

在一个实施例中，提供了一种全景图像的像素亮度值校正装置，参考图6，图6为一个实施例中全景图像的像素亮度值校正装置的结构框图，该全景图像的像素亮度值校正装置可以包括：

第一获取模块101，用于获取全景图像的各重叠区域的亮度均值；

确定模块102，用于确定当前图像的像素点与该当前图像的所述重叠区域之间的距离；

第二获取模块103，用于获取所述当前图像的像素点的原始亮度值；

校正模块103，用于根据各所述重叠区域的亮度均值和所述距离对各所述像素点的原始亮度值进行非线性校正。

在一个实施例中，第一获取模块101进一步用于：

确定各重叠区域的中间区域；获取中间区域的各像素点的亮度值；根据中间区域中各像素点的亮度值计算亮度均值。

在一个实施例中，校正模块103可以包括：

参考值获取单元，用于根据各重叠区域的亮度均值获取全景图像的亮度校正参考值；

均值获取单元，用于获取当前图像的重叠区域的亮度均值；

第一校正单元，用于根据亮度校正参考值、亮度均值和距离对各像素点的原始亮度值进行非线性校正。

在一个实施例中，参考值获取单元进一步用于：

根据各重叠区域的亮度均值确定各重叠区域的亮度均值最大值和亮度均值最小值；获取设定的均值调节因子；根据亮度均值最大值、亮度均值最小值和均值调节因子计算亮度校正参考值。

在一个实施例中，参考值获取单元进一步用于：

计算亮度均值最大值与亮度均值最小值的差值；根据均值调节因子与差值的乘积获取均值调节值；将均值调节值与亮度均值最小值进行求和得到亮度校正参考值。

在一个实施例中，第一校正单元进一步用于：

将原始亮度值、亮度校正参考值和亮度均值输入至非线性校正曲线模型，得到非线性校正曲线模型输出的原始亮度值的第一亮度校正值；根据第一亮度校正值与原始亮度值计算亮度变化量；基于距离对亮度变化量进行非线性校正；将校正后的亮度变化量和原始亮度值进行求和得到像素点的亮度值的第二亮度校正值。

在一个实施例中，非线性校正曲线模型为：

其中，Y表示所述亮度校正值，X表示所述原始亮度值，Y₀表示所述亮度校正参考值，Y₁表示所述亮度均值。

本发明的全景图像的像素亮度值校正装置与本发明的全景图像的像素亮度值校正方法一一对应，关于全景图像的像素亮度值校正装置的具体限定可以参见上文中对于全景图像的像素亮度值校正方法的限定，在上述全景图像的像素亮度值校正方法的实施例阐述的技术特征及其有益效果均适用于全景图像的像素亮度值校正装置的实施例中，在此不再赘述。上述全景图像的像素亮度值校正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种全景相机，其内部结构图可以如图7所示，图7为一个实施例中全景相机的内部结构图。该全景相机包括通过系统总线连接的处理器和存储器。其中，该全景相机的处理器用于提供计算和控制能力。该全景相机的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有计算机程序。该内存储器为非易失性存储介质中的计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种全景图像的像素亮度值校正方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的全景相机的限定，具体的全景相机可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种全景相机，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取全景图像的各重叠区域的亮度均值；确定当前图像的像素点与该当前图像的重叠区域之间的距离；获取当前图像的像素点的原始亮度值；根据各重叠区域的亮度均值和距离对各像素点的原始亮度值进行非线性校正。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

确定各重叠区域的中间区域；获取中间区域的各像素点的亮度值；根据中间区域中各像素点的亮度值计算亮度均值。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据各重叠区域的亮度均值获取全景图像的亮度校正参考值；获取当前图像的重叠区域的亮度均值；根据亮度校正参考值、亮度均值和距离对各像素点的原始亮度值进行非线性校正。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据各重叠区域的亮度均值确定各重叠区域的亮度均值最大值和亮度均值最小值；获取设定的均值调节因子；根据亮度均值最大值、亮度均值最小值和均值调节因子计算亮度校正参考值。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

计算亮度均值最大值与亮度均值最小值的差值；根据均值调节因子与差值的乘积获取均值调节值；将均值调节值与亮度均值最小值进行求和得到亮度校正参考值。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将原始亮度值、亮度校正参考值和亮度均值输入至非线性校正曲线模型，得到非线性校正曲线模型输出的原始亮度值的第一亮度校正值；根据第一亮度校正值与原始亮度值计算亮度变化量；基于距离对亮度变化量进行非线性校正；将校正后的亮度变化量和原始亮度值进行求和得到像素点的亮度值的第二亮度校正值。

上述全景相机，通过所述处理器上运行的计算机程序，可以实现对拍摄的多张图像的各像素点的亮度值进行校正，由于各重叠区域的亮度均值可以从整体上反映出不同镜头的重叠区域之间的亮度差异，而且根据像素点与重叠区域之间的距离不同能够非线性地对各像素点的亮度值进行调节，这种将全景图像的各重叠区域的亮度均值和像素点与重叠区域之间的距离相结合的亮度值校正方法，能够使得全景图像无论在整体或单张图像上的亮度变化都是均匀的，减少了全景图像在整体和单张图像上的亮度差异，过渡自然，可以在生成全景图像的后期阶段对全景图像进行再处理，从全景图像的整体上看不出有亮度层次的差异，实现了对各镜头拍摄的图像的亮度值进行有效调节，提高了全景相机的成像质量，从而提高用户的全景拍摄体验。

本领域普通技术人员可以理解实现如上任一项实施例所述的全景图像的像素亮度值校正方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

据此，在一个实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取全景图像的各重叠区域的亮度均值；确定当前图像的像素点与该当前图像的重叠区域之间的距离；获取当前图像的像素点的原始亮度值；根据各重叠区域的亮度均值和距离对各像素点的原始亮度值进行非线性校正。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

确定各重叠区域的中间区域；获取中间区域的各像素点的亮度值；根据中间区域中各像素点的亮度值计算亮度均值。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据各重叠区域的亮度均值获取全景图像的亮度校正参考值；获取当前图像的重叠区域的亮度均值；根据亮度校正参考值、亮度均值和距离对各像素点的原始亮度值进行非线性校正。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据各重叠区域的亮度均值确定各重叠区域的亮度均值最大值和亮度均值最小值；获取设定的均值调节因子；根据亮度均值最大值、亮度均值最小值和均值调节因子计算亮度校正参考值。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

计算亮度均值最大值与亮度均值最小值的差值；根据均值调节因子与差值的乘积获取均值调节值；将均值调节值与亮度均值最小值进行求和得到亮度校正参考值。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将原始亮度值、亮度校正参考值和亮度均值输入至非线性校正曲线模型，得到非线性校正曲线模型输出的原始亮度值的第一亮度校正值；根据第一亮度校正值与原始亮度值计算亮度变化量；基于距离对亮度变化量进行非线性校正；将校正后的亮度变化量和原始亮度值进行求和得到像素点的亮度值的第二亮度校正值。

上述计算机可读存储介质，通过其存储的计算机程序，可以实现对全景相机拍摄的多张图像的各像素点的亮度值进行校正，由于各重叠区域的亮度均值可以从整体上反映出不同镜头的重叠区域之间的亮度差异，而且根据像素点与重叠区域之间的距离不同能够非线性地对各像素点的亮度值进行调节，这种将全景图像的各重叠区域的亮度均值和像素点与重叠区域之间的距离相结合的亮度值校正方法，能够使得全景图像无论在整体或单张图像上的亮度变化都是均匀的，减少了全景图像在整体和单张图像上的亮度差异，过渡自然，可以在生成全景图像的后期阶段对全景图像进行再处理，从全景图像的整体上看不出有亮度层次的差异，实现了对各镜头拍摄的图像的亮度值进行有效调节，提高了全景相机的成像质量，从而提高用户的全景拍摄体验。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种全景图像的像素亮度值校正方法，其特征在于，包括步骤：

获取全景图像的各重叠区域的亮度均值；

确定当前图像的像素点与该当前图像的所述重叠区域之间的距离；

获取所述当前图像的像素点的原始亮度值；

根据各所述重叠区域的亮度均值和所述距离对各所述像素点的原始亮度值进行非线性校正；包括：获取各所述重叠区域的亮度均值最大值和亮度均值最小值；根据所述亮度均值最大值、所述亮度均值最小值以及所述距离对各所述像素点的原始亮度值进行非线性校正；进一步包括：根据所述亮度均值最大值、亮度均值最小值获取所述全景图像的亮度校正参考值；获取所述当前图像的重叠区域的亮度均值；根据所述亮度校正参考值、亮度均值和所述距离对各所述像素点的原始亮度值进行非线性校正；包括：将所述原始亮度值、亮度校正参考值和亮度均值输入至非线性校正曲线模型，得到所述非线性校正曲线模型输出的所述原始亮度值的第一亮度校正值；所述非线性校正曲线模型为：

其中，Y表示所述亮度校正值，X表示所述原始亮度值，Y₀表示所述亮度校正参考值，Y₁表示所述亮度均值。

2.根据权利要求1所述的全景图像的像素亮度值校正方法，其特征在于，所述获取全景图像的各重叠区域的亮度均值的步骤包括：

确定各所述重叠区域的中间区域；

获取所述中间区域的各像素点的亮度值；

根据所述中间区域中各像素点的亮度值计算所述亮度均值。

3.根据权利要求2所述的全景图像的像素亮度值校正方法，其特征在于，所述根据各所述重叠区域的亮度均值获取所述全景图像的亮度校正参考值的步骤包括：

获取设定的均值调节因子；根据所述亮度均值最大值、亮度均值最小值和均值调节因子计算所述亮度校正参考值。

4.根据权利要求3所述的全景图像的像素亮度值校正方法，其特征在于，所述根据所述亮度均值最大值、亮度均值最小值和均值调节因子计算所述亮度校正参考值的步骤包括：

计算所述亮度均值最大值与亮度均值最小值的差值；

根据所述均值调节因子与所述差值的乘积获取均值调节值；

将所述均值调节值与亮度均值最小值进行求和得到所述亮度校正参考值。

5.根据权利要求4所述的全景图像的像素亮度值校正方法，其特征在于，所述根据所述亮度校正参考值、亮度均值和所述距离对各所述像素点的原始亮度值进行非线性校正的步骤，还包括：

根据所述第一亮度校正值与所述原始亮度值计算亮度变化量；

基于所述距离对所述亮度变化量进行非线性校正；

将校正后的所述亮度变化量和所述原始亮度值进行求和得到所述像素点的亮度值的第二亮度校正值。

6.一种全景图像的像素亮度值校正装置，其特征在于，包括：

第一获取模块，用于获取全景图像的各重叠区域的亮度均值；

确定模块，用于确定当前图像的像素点与该当前图像的所述重叠区域之间的距离；

第二获取模块，用于获取所述当前图像的像素点的原始亮度值；

校正模块，用于根据各所述重叠区域的亮度均值和所述距离对各所述像素点的原始亮度值进行非线性校正；进一步用于获取各所述重叠区域的亮度均值最大值和亮度均值最小值；根据所述亮度均值最大值、所述亮度均值最小值以及所述距离对各所述像素点的原始亮度值进行非线性校正；所述校正模块，包括均值获取单元，用于获取所述当前图像的重叠区域的亮度均值；第一校正单元，用于根据所述亮度校正参考值、亮度均值和所述距离对各所述像素点的原始亮度值进行非线性校正；所述第一校正单元，进一步用于将所述原始亮度值、亮度校正参考值和亮度均值输入至非线性校正曲线模型，得到所述非线性校正曲线模型输出的所述原始亮度值的第一亮度校正值；所述非线性校正曲线模型为：

其中，Y表示所述亮度校正值，X表示所述原始亮度值，Y₀表示所述亮度校正参考值，Y₁表示所述亮度均值。

7.根据权利要求6所述的全景图像的像素亮度值校正装置，其特征在于，第一获取模块，进一步用于确定各所述重叠区域的中间区域；获取所述中间区域的各像素点的亮度值；根据所述中间区域中各像素点的亮度值计算所述亮度均值。

8.根据权利要求7所述的全景图像的像素亮度值校正装置，其特征在于，所述校正模块，进一步用于获取设定的均值调节因子；根据所述亮度均值最大值、亮度均值最小值和均值调节因子计算所述亮度校正参考值。

9.一种全景相机，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的全景图像的像素亮度值校正方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述的全景图像的像素亮度值校正方法的步骤。

Images