CN105979238B - 一种多摄像头全局成像一致性控制方法 - Google Patents

Abstract

本发明涉及一种多摄像头全局成像一致性控制方法，包括多个图像传感器、与每个所述图像传感器对应的图像处理单元、以及与每个所述图像传感器和/或所述图像处理单元对应的储存有状态信息的控制寄存器，本发明通过获取各路CIS/ISP寄存器和/或各路ISP后处理后的图像的当前状态信息，利用各路CIS/ISP寄存器的当前状态信息和/或各路ISP后处理后的图像，根据全景成像效果最佳的准则，实时更新CIS/ISP的控制寄存器信息；通过图像处理算法，从而解决重合区域，由于多相机拍摄视角不同造成的全局图成像效果不一致的问题。

Description

一种多摄像头全局成像一致性控制方法

技术领域

本发明涉及全景摄像头拼接领域，特别涉及一种多摄像头全局成像一致性控制方法。

背景技术

目前，全景摄像使用排布于空间不同位置的，朝着不同方向的多个摄像头拍摄的照片或视频拼接而成的全景画面。在这类技术中，由于多个摄像头光学特性及所处环境光不同，而镜头采取自动成像参数，使相邻摄像头重合区过度不自然，无法真实还原场景。目前已有的技术解决方案，主要是利用各路成像画面，调整最终全景画面或者各路成像参数。基于各路ISP后处理图像，对伽马曲线、亮度、白平衡、对比度、色度等信息通过图像处理的方法矫正，最终获取个区域亮度、色度一致的全景画面的解决方案，由于在图像处理的过程中丢失了图像的一些原始信息，最后成像效果并不是很理想，同时此种方案基于图像RGB/YUV的整体信息进行处理，处理效率不太乐观，尤其在图像分辨率飞速提高的时代，此类方案实时性能不断降低。另外，基于各路成像画面信息，调整各路成像参数的解决方案，存在调整参数过于单一的情况，因为图像的某个特性是有多个因素相互作用的结果。

发明内容

本发明为了解决上述技术问题，提供了一种多摄像头全局成像一致性控制方法。

一种多摄像头全局成像一致性控制方法，包括多个图像传感器、与每个所述图像传感器对应的图像处理单元、以及与每个所述图像传感器和/或所述图像处理单元对应的储存有状态信息的控制寄存器，所述图像传感器至少包括可获取第一图像的第一图像传感器和可获取第二图像的第二图像传感器，其中所述第一图像和第二图像具有重合区域；具体控制方法如下：

S10.通过标定算法获取第一图像和第二图像的拼接信息，并根据所述拼接信息对所述第一图像传感器和第二图像传感器的成像区域重合部分分割成多个分割区，并将每个分割区的分割参数存入分割区寄存器中；所述分割参数包括分割区的数量、大小以及形状；

S20.初始化所述第一图像传感器和第二图像传感器的控制寄存器参数默认值；

S30.获取各路每个所述图像传感器和所述图像处理单元的控制寄存器当前的状态信息；

S40.调整第一图像和第二图像重合区域内的每个所述控制寄存器的当前状态信息，使所述第一图像和所述第二图像成像效果达到亮度色度无差异。

其中，调整所述分割区寄存器的分割参数的方法包括采用等步长对重合区域进行分割，或根据重合区域特征进行分割。

作为上述方法的进一步补充，步骤S30中的所述状态信息包括每个所述分割区的亮度、色度均值、色度方差、色度直方图、白平衡增益、颜色饱和度参数、颜色矩阵、曝光增益，对比度参数、伽马矫正参数中的至少一种。

作为上述方法的其中一种情况，所述步骤S40中的调整所述控制寄存器分割参数的方法包括：

亮度的均衡化以及色度的均衡化；

所述亮度的均衡化包括：

S401.分别标记所述第一图像传感器成像区域和第二图像传感器成像区域的每个分割区；

S402.分别获取第一图像传感器和第二图像传感器的全局区域的曝光系数，并计算两全局区域的曝光增益差；

S403.根据所述曝光系数增益的差异拟合出所述第一图像传感器和第二图像传感器重合区域的曝光系数的过渡映射关系，并根据所述过渡映射关系分别计算出第一图像和第二图像重合的分割区的曝光增益值，写入对应寄存器中；

S404.根据所述曝光增益值，求出第一图像和第二图像的重合区域的最大曝光值和最小曝光值，对应更新所述第一图像传感器和第二传感器的对比度参数。

作为上述方法的另一种情况，所述步骤S40中的调整所述控制寄存器分割参数的方法包括：

S411.分别标记所述第一图像传感器和第二图像传感器成像区域的每个分割区；

S412.分别获取第一图像传感器和第二图像传感器的每个分隔区的第一图像亮度值、第二图像亮度值、第一图像色度值以及第二图像色度值；

S413.获取特定的亮度乘性因子以及亮度加性因子使第一图像每个分割区的所述第一图像亮度值换算后接近第二图像中对应的所述第二图像亮度值；

S414.获取特定的色度乘性因子以及色度加性因子使第一图像每个分割区的所述第一图像色度值换算后接近第二图像中对应的所述第二图像色度值。

作为上述方法的一种补充，所述步骤S30中还包括图像信息处理步骤，且步骤S40中还结合图像信息调整所述分割区寄存器的分割参数，使所述第一图像和所述第二图像达到亮度色度无差性。

进一步的，所述步骤S40中的调整所述控制寄存器分割参数的方法包括：

亮度的均衡化以及色度的均衡化；

所述亮度的均衡化包括：

S401’.分别标记所述第一图像传感器成像区域和第二图像传感器成像区域的每个分割区；

S402’.分别获取第一图像传感器和第二图像传感器的全局区域的曝光系数，并计算两曝光系数的曝光增益差；

S403’.根据所述曝光增益差拟合出所述第一图像和第二图像重合区域的曝光系数的过渡映射关系，并根据所述过渡映射关系分别计算出第一图像和第二图像重合的分割区的曝光参数值，写入对应寄存器中；

S404’.将第一图像和第二图像重合区域分割成若干图像子区域，并标记；

S405’.计算每个所述图像子区域的亮度值均值；对于某一子重合区域，当第一图像传感器和第二图像传感器曝光参数之比远小于第一图像和第二图像的亮度值均值之比时，如果第二图像的亮度值均值接近零则调整第二图像亮度值均值使之与第一图像亮度值均值之比等于第二图像和第一图像的亮度值均值之比；如果第一图像的亮度值均值接近预设最大值时，则调整第一图像亮度值均值使之与第二图像亮度值均值之比等于第一图像和第二图像的亮度值均值之比；

S406’.拟合计算各重合区域的第一图像传感器曝光参数和第一图像亮度值均值之间的关系，并根据该拟合关系式调整第一图像传感器曝光参数；拟合计算各重合区域的第二图像传感器曝光参数和第二图像亮度值均值之间的关系，并根据该拟合关系式调整第二图像传感器曝光参数。

进一步补充，所述色度均衡化包括如下步骤：

S421.获取各图像传感器的控制寄存器的当前白平衡值并计算各路白平衡均值；

S422.获取每个白平衡值与各路白平衡均值的绝对差，并挑选出所述绝对差较小的一部分白平衡值，再次进行均值计算，获得准确白平衡均值；

S423.根据所述准确白平衡均值调整图像传感器中每个分割区的色度控制参数。

本发明一种多摄像头全局成像一致性控制方法所起到的技术效果是：

1.利用CIS成像参数信息，可以有效的避免因遮挡造成的重合区内非重合点对全景图的成像效果的干扰。

2.利用CIS全局自动曝光增益、白平衡增益寄存器当前信息，根据相邻两路CIS全局自动曝光参数在重合区域的某种过渡映射关系，实时更新CIS分割区的曝光参数，根据各路CIS全局的白平衡增益，同步更新各路摄像头CIS的白平衡参数。

3.利用相邻两路的CIS分割区亮度均值、白平衡增益寄存器信息，根据重构误差最新的原则，更新各路摄像头模块的CIS的自动曝光参数、自动对比度参数、白平衡参数。

4.利用摄像头CIS自动曝光增益结合ISP后处理图像块的亮度，更新各路摄像头CIS的自动曝光参数。根据各路CIS全局白平衡增益信息，同步更新各路摄像头CIS的白平衡参数。

5.利用ISP后处理图像块的亮度/色度信息，更新各路摄像头CIS的自动曝光参数/自动对比度参数/白平衡参数。

附图说明

图1为本发明对重合区域划分分割区的示意图。

图2为本发明实施例一、二中的摄像头模组处理架构图。

图3为本发明实施例三中的摄像头模组处理架构图。

图4为本发明实施例四中的摄像头模组处理架构图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征更易被本领域技术人员理解，从而对本发明的保护范围作出更为清楚的界定。

本发明所描述技术方案的使用范围包含但不仅限于全景摄像领域，主要解决在使用多摄像头同时拍照或同时连续拍摄视频时，因摄像头空间位置、方向角度、所处场景、拍摄对象不一致，每个摄像头内部集成的自动调整模块自动调整成像参数，最终导致重合区域内相同物体成像效果不一致，利用多摄像头成像画面构建全景画面时，画面过度不自然。

同时，本发明的重点是涉及图像亮度、色度等图像或者视频质量的调整，而非在图像拼接整齐度上。及本发明在多个摄像头完成了拼接的基础上进一步的对图像或者视频的画面一致性进行调整。

架构方面则包括多个摄像头模组，如图2所示，其中每个摄像头模组包括图像传感器、图像处理单元、以及与每个摄像头模组对应的储存有状态信息的控制寄存器。为了方便区分，本发明不同摄像头模组中的图像传感器定义为可获取第一图像的第一图像传感器、可获取第二图像的第二图像传感器……，摄像头模组的数量至少为两组，可以根据需要进行增加。在调整图像时主要涉及具有重合区域的相邻两个摄像头模组，因此为了方便描述和定位，我们把第一图像传感器描述为拼接调整时的左侧图像传感器，把第二图像传感器描述为拼接调整时的右侧图像传感器。同时其所对应的图像信号也相应变化描述。具体本发明包括两个阶段。

第一阶段为准备阶段：

S10.通过图像标定算法，获取左右图像拼接信息，如拼接ROI区域(region ofinterest，感兴趣区域)位置信息，或者重合区域位置信息，并将重合区域分割的每个分割区的分割参数存入分割区寄存器中，分割寄存器是用于对存储图像进行分割的分割参数。

因为图像处理单元(Image Signal Processing，下文简称ISP)可以对图像传感器(CMOS Image Sensor，下文简称CIS)成像区域进行自定义分割及相应成像参数配置，所以利用图像拼接信息对CIS成像区域进行自定义分割。

本步骤中，可以采用两种模式对CIS成像区域进行分割。第一种模式，采用等步长对重合区域进行分割。第二种模式，采用重合区域的特征进行划分，包括颜色特征，纹理特征，形状特征，空间关系特征。如图1所示，是利用颜色特征及空间关系特征对CIS成像重合区域分割为4个分割区的示意图。

第二阶段为执行阶段：

首先设置各路摄像头模组的CIS控制寄存器参数默认值。其次获取各路CIS和/或ISP寄存器的当前状态信息。最后分析多路CIS和/或ISP寄存器信息，根据全景成像效果最佳的准则，调整自定义分割区寄存器的值，实时更新CIS和/或ISP的控制寄存器信息。

S20.根据规格书，设置各路摄像头模组的CIS控制寄存器参数默认值。

S30.利用自动调整模块，获取各路CIS和/或ISP控制寄存器的当前状态信息。本步骤中，状态信息包括每个所述分割区的亮度、色度均值、色度方差、色度直方图、白平衡增益、颜色饱和度参数、颜色矩阵、曝光增益，对比度参数、伽马矫正参数中的至少一种。

S40.利用亮度、色度一致性准则，调整自定义分割区寄存器的值，实时更新CIS和/或ISP的控制寄存器信息。本步骤中，一致性准则包括但不局限于：利用图像直方图匹配，使相邻镜头的图像亮度、色度达到视觉无差异；利用CIS成像子区域的均值方差，使相邻镜头的图像亮度、色度达到视觉无差异。

步骤S40中的调整所述控制寄存器分割参数的方法，本发明提供有4个实施例。

实施例一：

包括亮度的均衡化以及色度的均衡化。

亮度的均衡化

S401：根据标定特征点位置信息，把左右相邻摄像头模组的左CIS成像区域和右CIS的成像区域分别分割为为x_L,1,x_L,2…x_L,n分割区和x_R,1,x_R,2…x_R,n分割区。

S402：读取左CIS、右CIS全局成像区域的曝光系数信息E_L和E_R。

S403：根据S402中曝光系数增益的差异，拟合相邻镜头重合区域曝光参数E_L到E_R的过渡映射关系。

根据此关系，获得左右镜头相邻重合区域的CIS分割区的x_L,1,x_L,2…x_L,n和x_R,1,x_R,2…x_R,n的曝光参数值E_L,i和E_R,i，过渡映射关系公式如下所示：

把获得的参数写入对应的控制寄存器中。

S404：根据S403获得CIS各分割区的曝光值，求出左CIS、右CIS分割区的最大、最小曝光系数，根据最值，更新对应CIS成像区域的对比度参数，写入对于的寄存器。

S405：重复S402、S403的流程，完成各路摄像头模组的CIS亮度控制寄存器参数更新。

色度的均衡化

S421：读取m路摄像头模组的CIS的白平衡控制寄存器当前值W₁，W₂…W_m，求W₁，W₂…W_m均值W_avr。

vari[i]＝|W_i-W_avr| (3)

S422：对vari[i]进行从小到大排序，记数组vari前50％的元素和的均值为W。

S423：利用W更新各路摄像头的CIS白平衡控制寄存器的参数。

完成亮度、色度均衡化，从而实现多镜头成像效果的一致性。

实施例2：

本实施例包括如下子步骤：

S411：根据标定特征点位置信息，把左右相邻摄像头模组的左CIS成像区域和右CIS的成像区域分别分割为x_L,1,x_L,2...x_L,n分割区和x_R,1,x_R,2...x_R,n分割区。

S412：分别读取左右摄像头模组重合区域CIS分割区x_L,1,x_L,2...x_L,n和x_R,1,x_{R, 2}...x_R,n的亮度值均值信息I_L,1，I_L,2...I_L,n和I_R,1，I_R,2...I_R,n，读取左右摄像头模组重合区域CIS成像子区域x_L,1,x_L,2...x_L,n和x_R,1,x_R,2...x_R,n的色度均值信息S_L,1，S_L,2...S_L,n和S_R,1，S_R,2...S_R,n。

S413.因为图像亮度和色度差异主要分为乘性差异和加性差异，所以利用公式

进行亮度的调整，其中a、b分别代表乘性因子和加性因子。利用I_L,i＝aI_R,i-b，更新左CIS每个分割区亮度均值控制寄存器的值。

S414：利用公式：

进行色度的调整，其中a、b分别代表乘性因子和加性因子。利用S_L,i＝aS_R,i-b，更新左CIS每个分割区色度均值控制寄存器的值。

从而使相邻镜头的图像亮度、色度达到视觉无差异。

实施例3：

如图3所示，该算法还包括：在步骤S30中还包括图像信息处理步骤，且步骤S40中还结合图像信息调整所述分割区寄存器的分割参数，使所述第一图像和所述第二图像达到亮度色度无差性。具体如下

步骤S40中的调整所述控制寄存器分割参数的方法，

亮度的均衡化以及色度的均衡化；

S401’：根据标定特征点位置信息，把左右相邻摄像头模组的左CIS成像区域和右CIS的成像区域的重合部分分别分割为x_L,1,x_L,2…x_L,n分割区和x_R,1,x_R,2…x_R,n分割区。

S402’：读取左CIS、右CIS全局成像区域的曝光系数信息E_L和E_R。

S403’：根据S402中曝光系数增益的差异，拟合相邻镜头重合区域曝光参数E_L到E_R的过渡映射关系。

根据此关系以及公式(1)、(2)，分别获得左CIS、右CISx_L,1,x_L,2…x_L,n和x_R,1,x_R,2…x_R,n的曝光参数值E_L,1,E_L,2…E_L,n和E_R,1,E_R,2…E_R,n。

S404’：根据标定特征点位置信息，将左右摄像头模组中的左图像和右图像分别标记为x_LL,1,x_LL,2…x_LL,n和x_RR,1,x_RR,2…x_RR,n图像子区域。求出图像子区域的亮度值均值分别为I_LL,1，I_LL,2…I_LL,n和I_RR,1，I_RR,2…I_RR,n。

S405’：如果|E_L,i/E_R,i|＜＜|I_LL,i/I_RR,i|且I_RR,i≈0，则右图i区域可能出现镜头遮挡现象，所以令

如果|E_L,i/E_R,i|＜＜|I_LL,i/I_RR,i|且I_LL,i≈255，则左图i区域可能出现过曝现象，所以令

S406’：分析左CIS成像子区域曝光增益E_L,1,E_L,2…E_L,n和对应图像子区域亮度I_LL,1，I_LL,2...I_LL,n之间的关系。通过参数拟合两者之间的关系为H_L。分析右CIS成像子区域曝光增益E_R,1,E_R,2...E_R,n和对应图像子区域亮度I_RR,1，I_RR,2…I_RR,n之间的关系。通过参数拟合两者之间的关系为H_R。利用如下公式再次更新对应的子区域参数。

S407’：重复S402’、S403’、S404’、S405’、S406’流程，完成各路摄像头的CIS曝光增益控制寄存器参数更新。

色度的均衡化：本实施例中的色度均衡化步骤如实施例一中所述。

最终完成亮度、色度均衡化，从而实现多镜头成像效果的一致性。

实施例4：

本实施例通过分析成像后图像的差异性，架构如图4所示对图像进行调整。

步骤1：根据标定特征点位置信息，把左右相邻镜头中的图像分别为x_LL,1,x_{LL, 2}...x_LL,n和x_RR,1,x_RR,2...x_RR,n图像子区域。

步骤2：求出图像子区域的亮度均值为I_LL,1，I_LL,2...I_LL,n和I_RR,1，I_RR,2...I_RR,n,子区域的色度直方图为S_LL,1，S_LL,2...S_LL,n和S_RR,1，S_RR,2...S_RR,n

步骤3：利用图像亮度和色度差异主要分为乘性差异和加性差异特点，利用公式

获得左右镜头图像重合区域亮度、色度平滑过渡，

步骤4：重复1、2、3步骤，完成各路摄像头图像拼接形成视觉效果一致的全局图像。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (6)

1.一种多摄像头全局成像一致性控制方法，包括多个图像传感器、与每个所述图像传感器对应的图像处理单元、以及与每个所述图像传感器和/或所述图像处理单元对应的储存有状态信息的控制寄存器，所述图像传感器至少包括可获取第一图像的第一图像传感器和可获取第二图像的第二图像传感器，其中所述第一图像和第二图像具有重合区域；其特征在于：具体控制方法如下：

S10. 通过标定算法获取第一图像和第二图像的拼接信息，并根据所述拼接信息对所述第一图像传感器和第二图像传感器成像区域重合部分分割成多个分割区，并将每个分割区的分割参数存入分割区寄存器中；所述分割参数包括分割区的数量、大小以及形状；

S20. 初始化所述第一图像传感器和第二图像传感器的控制寄存器参数默认值；

S30. 获取各路所述图像传感器和所述图像处理单元的控制寄存器当前的状态信息；

S40. 调整第一图像和第二图像重合区域内的每个所述控制寄存器的当前状态信息，使所述第一图像和所述第二图像成像效果达到亮度色度无差异；

所述步骤S30中还包括图像信息处理步骤，且步骤S40中还结合图像信息调整所述分割区寄存器的分割参数，使所述第一图像和所述第二图像达到亮度色度无差性；所述调整分割区控制寄存器分割参数的方法包括：

亮度的均衡化以及色度的均衡化；

所述亮度的均衡化包括：

S401’. 分别标记所述第一图像传感器成像区域和第二图像传感器成像区域的每个分割区；

S402’. 分别获取第一图像传感器和第二图像传感器的全局区域的曝光系数；

S403’. 根据所述曝光系数增益差拟合出所述第一图像和第二图像重合区域的曝光系数的过渡映射关系，并根据所述过渡映射关系分别计算出第一图像和第二图像重合的分割区的曝光参数值，写入对应寄存器中；

S404’. 将第一图像和第二图像重合区域分割成若干图像子区域，并标记；

S405’. 计算每个所述图像子区域的亮度值均值；对于某一子重合区域，当第一图像传感器和第二图像传感器曝光参数之比远小于第一图像和第二图像的亮度值均值之比时，如果第二图像的亮度值均值接近零则调整第二图像亮度值均值使之与第一图像亮度值均值之比等于第二图像和第一图像的亮度值均值之比；如果第一图像的亮度值均值接近预设最大值时，则调整第一图像亮度值均值使之与第二图像亮度值均值之比等于第一图像和第二图像的亮度值均值之比；

S406’. 拟合计算各重合区域的第一图像传感器曝光参数和第一图像亮度值均值之间的关系，并根据该拟合关系式调整第一图像传感器曝光参数；拟合计算各重合区域的第二图像传感器曝光参数和第二图像亮度值均值之间的关系，并根据该拟合关系式调整第二图像传感器曝光参数。

2.根据权利要求1所述的一种多摄像头全局成像一致性控制方法，其特征在于，其中，调整所述分割区寄存器的分割参数的方法包括采用等步长对重合区域进行分割，或根据重合区域特征进行分割。

3.根据权利要求1所述的一种多摄像头全局成像一致性控制方法，其特征在于，步骤S30中的所述状态信息包括每个所述分割区的亮度、色度均值、色度方差、色度直方图、白平衡增益、颜色饱和度参数、颜色矩阵、曝光增益，对比度参数、伽马矫正参数中的至少一种。

4.根据权利要求1所述的一种多摄像头全局成像一致性控制方法，其特征在于，所述步骤S40中的调整所述控制寄存器分割参数的方法包括：

亮度的均衡化以及色度的均衡化；

所述亮度的均衡化包括：

S401. 分别标记所述第一图像传感器成像区域和第二图像传感器成像区域的每个分割区；

S402. 分别获取第一图像传感器和第二图像传感器的全局区域的曝光系数，并计算两全局区域的曝光增益差；

S403. 根据所述曝光增益差拟合出所述第一图像传感器和第二图像传感器重合区域的曝光系数的过渡映射关系，并根据所述过渡映射关系分别计算出第一图像和第二图像重合的分割区的曝光增益值，写入对应寄存器中；

S404. 根据所述曝光增益值，求出第一图像和第二图像的重合区域的最大曝光值和最小曝光值，对应更新所述第一图像传感器和第二传感器的对比度参数。

5.根据权利要求1所述的一种多摄像头全局成像一致性控制方法，其特征在于，所述步骤S40中的调整所述控制寄存器分割参数的方法包括：

S411. 分别标记所述第一图像传感器和第二图像传感器成像区域的每个分割区；

S412. 分别获取第一图像传感器和第二图像传感器的每个分隔区的第一图像亮度值、第二图像亮度值、第一图像色度值以及第二图像色度值；

S413. 获取特定的亮度乘性因子以及亮度加性因子使第一图像每个分割区的所述第一图像亮度值换算后接近第二图像中对应的所述第二图像亮度值；

S414. 取特定的色度乘性因子以及色度加性因子使第一图像每个分割区的所述第一图像色度值换算后接近第二图像中对应的所述第二图像色度值。

6.根据权利要求1或4所述的一种多摄像头全局成像一致性控制方法，其特征在于，所述色度均衡化包括如下步骤：

S421. 获取各图像传感器的控制寄存器的当前白平衡值并计算各路白平衡均值；

S422. 获取每个白平衡值与各路白平衡均值的绝对差，并挑选出所述绝对差较小的一部分白平衡值，再次进行均值计算，获得准确白平衡均值；

S423. 根据所述准确白平衡均值调整图像传感器中每个分割区的色度控制参数。