CN107240126B - 阵列图像的校准方法 - Google Patents

Abstract

本发明公开了一种阵列图像的校准方法，首先以中心图像为参考利用多尺度特征进行特征点匹配，接着引入RANSAC提高匹配精度进行整体校准。然后仍以中心图像为参考图像，利用数学极限原理，进行分块校准，以消除阵列图像由于位置关系不同引起的视差。分块校准也采用多尺度特征，计算校准之后的两图像块的结构相似度，如果相似度值小于设定阈值则采用基于灰度的校准方法，如果相似度值仍然小于阈值则改变图像块的大小，直到相似度达到要求。最后根据两次分块校准结果完成无缝拼接，将阵列相机统一到中心相机视角下。本方法无需进行相机标定，不仅对于提取到特征点的部分有较好的校准效果，对于边界或其它提取不到特征点的部分也有很好的校准效果。

Description

阵列图像的校准方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种阵列图像的校准方法。

背景技术

随着手机摄像摄影的日益普及和人们对手机摄像的越来越高的要求，目前一些手机制造厂商尝试用微阵列相机模组代替目前的单镜头和单焦距相机。然而这种阵列式相机由于位置不同得到的阵列图像之间肯定有位移，这种位置差异将导致图像间有视差，即场景中有的相机能拍到，有的相机由于位置差异可能出现遮挡拍摄不到，但在实现图像超分辨率重建，或者高速摄像，对象置换等功能时需要实现图像的校准。因此如何实现阵列图像的精确校准，使阵列图像统一到同一视角下是阵列相机模组需要解决的关键问题之一。

现有技术一般都是利用特征，灰度值，互信息等或者是此原有基础上改进的方法对图像进行校准，然而这些校准方法阵列图像的视差无法完全消除，尤其是边缘部分，即利用一个校准矩阵无法实现阵列图像的精确校准。

为此，亟需一种对于边缘或其它提取不到特征点的部分也能精确识别的图像校准方法。

发明内容

为了解决上述技术问题，本发明提出了一种阵列图像的校准方法，相对于以前的其他校准方法，本方法无需进行相机标定，校准过程每一小块对应一个校准矩阵，不仅对于提取到特征点的部分有较好的校准效果，对于边缘或其它提取不到特征点的部分也有很好的校准效果。

本发明的技术方案是这样实现的：

一种阵列图像的校准方法，包括如下步骤：

步骤1，提取特征点完成图像匹配：从阵列相机模组获得阵列图像，检测阵列图像中各图像的多尺度特征，以中心图像为参考图像，提取并完成阵列图像与参考图像的特征点匹配；

步骤2，剔除误匹配点：根据RANSAC算法剔除匹配过程中的误匹配点，选取各图像对中特征点均匀分布的匹配点对；

步骤3，完成图像对间的整体校准：根据得到的匹配点对信息求得阵列图像到中心图像的校准矩阵，根据校准矩阵进行投影变换实现整体校准过程；

步骤4，对完成整体校准的图像对分块校准：对整体校准后的各图像对进行分块，且至少分两次大小不同的小块，分块之后同样采用多尺度特征的方法对各小块进行校准，如果校准之后的相似度达不到要求，则采用基于灰度的校准方法对各小块进行校准，如果仍然达不到要求则对此块进行重新分块，直到相似度达到要求，完成分块校准过程；

步骤5，对两次分块校准的结果进行无缝拼接得到校准结果：根据步骤4所得两次分块校准结果，将小块与小块进行无缝拼接得到最终阵列图像的校准结果。

进一步的，步骤1中检测各个阵列图像的多尺度特征，匹配阵列图像与参考图像的特征点的具体步骤如下：

a)构建阵列图像的多尺度空间，利用高斯平滑函数与原图像灰度进行卷积形成图像金字塔，图像金字塔最底层为

图像金字塔更高层为

其中g_δ(x，y)表示标准差为δ的平滑窗口，l为图像金字塔层数；

b)特征点检测，在l层，检测矩阵为

利用此矩阵的特征值λ₁、λ₂的平均检测函数

检测特征点，为了加快速度和使得特征点分布均匀，在不同尺度金字塔图像的一定半径内选取f_HM的局部极值；

c)利用sift特征计算特征点方向，L层特征点邻域(x，y)的方向为

d)特征点匹配，利用近邻法对两图像间提取的特征点进行匹配。

进一步的，步骤3中根据得到的匹配点对信息求得阵列图像到参考图像的校准矩阵，对校准矩阵进行投影变换实现校准过程的具体步骤如下：

a)根据步骤2中得到的匹配点对信息，求得相应图像到中心图像的校准矩阵H，

其中包含有图像的平移、旋转、缩放；

b)根据

J_p为校准后图像，J为相应图像，得到整体校准结果。

进一步的，步骤4中对整体校准后的图像对进行分块校准，其具体步骤如下：

a)将阵列图像中各图像对分成

小块，以中心图像的各小块为参考图像块对阵列图像的各小块分别进行步骤1至3的校准，校准之后计算校准后的小块与参考图像块的相似度值S，即

其中

为亮度相似度，

为对比度相似度，

s(I，J)为结构相似度，

其中

分别表示图像

的均值，

分别表示图像I，J的方差，σ_IJ表示图像I，J的协方差；

b)得到的相似度值S与设定的阈值相比较，如果小于该阈值则利用基于灰度的校准方法对该小块重新校准，校准之后再计算校准后的小块与参考图像块的相似度大小，看是否达到设定阈值，如果仍然达不到设定阈值，则对此块进行重新分块，再进行校准，直到相似度值达到设定阈值；如果重新分块仍然达不到要求，则选取相似度最大的相应的图像块；

c)将阵列图像中各图像对再次均分成

大小的小块，重复步骤a)和步骤b)对小块进行校准，得到两个大小不同的校准后的图像块。

进一步的，步骤5对两次分块校准后的结果进行无缝拼接得到校准结果，其具体步骤如下：

a)将第一次分块校准之后的图像块，按原顺序排列得到初始校准后的阵列图像；

b)初始校准后的阵列图像在校准过程的图像块平移、旋转、缩放会出现裂缝，利用第二次分块校准后的图像块对这些裂缝进行填充得到无裂缝的最终校准结果。

本发明与已有技术比较具有以下突出特点和显著优点：

现有技术一般都是利用特征，灰度值，互信息等或者是一些在原有基础上改进的方法对图像进行校准，这些校准方法无法消除阵列图像的视差，尤其是边缘部分，即利用一个校准矩阵无法实现阵列图像的校准；而本方法首先以中心图像为参考图像，利用多尺度特征对阵列图像进行匹配，接着引入RANSAC提高匹配精度进行整体校准。然后，仍以中心图像为参考图像，利用数学极限原理，进行分块校准，块足够小则可消除阵列图像由于位置关系不同引起的视差。分块校准过程中至少进行两次分块，且块的大小不同，目的是分块后能达到无缝拼接。分块校准首先也采用多尺度特征，计算校准之后的两图像块的结构相似度，如果相似度值小于设定阈值则采用基于灰度的校准方法，如果相似度值仍然小于阈值则改变图像块的大小，直到相似度达到要求，完成校准过程。最后根据两次分块校准结果完成无缝拼接，将阵列相机模组统一到中心相机视角下。本方法无需进行相机标定，校准过程每一小块对应一个校准矩阵,不仅对于提取到特征点的部分有较好的校准效果，对于边界或其它提取不到特征点的部分也有很好的校准效果。

附图说明

图1为本发明阵列图像的校准方法的整体流程图；

图2为图1中分块校准的流程图；

图3为阵列相机模组排列方式示例；

图4为由阵列相机模组得到的图像示例；

图5为原始阵列图像与中心图像叠加结果；

图6为整体校准后阵列图像与中心图像叠加结果；

图7为分块校准后阵列图像与中心图像叠加结果。

具体实施方式

为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明，其目的仅在于更好理解本发明的内容而非限制本发明的保护范围。

阵列相机模组所得阵列图像的校准方法具体步骤如图1流程图所示。在计算机平台编程实现本发明的方法，实现阵列相机模组的自然场景图像校准；参见图1，本发明阵列图像的校准方法为：首先，针对阵列相机模组采集得到的阵列图像提取特征点，并以中心图像为参考图像进行匹配，根据匹配结果得到其它图像到中心图像的校准矩阵，根据校准矩阵对相应图像进行投影变换实现校准过程。仍然以中心图像为参考图像，对得到的校准结果进行分块校准，计算校准之后图像块之间的相似度，如果相似度值小于设定阈值则采用基于灰度的校准方法，如果相似度值仍然小于阈值则改变图像块的大小，直到相似度达到要求，完成的最终校准过程。具体操作步骤为：

步骤1，以中心图像为参考图像提取并完成各阵列图像与中心图像匹配：检测各个阵列图像的多尺度特征，匹配各阵列图像与中心图像的特征点；

步骤2，剔除误匹配点：根据RANSAC算法剔除匹配过程中的误匹配点，选取各图像对中适量的均匀分布的匹配点对；

步骤3，完成图像对间的整体校准：根据得到的匹配点对信息求得阵列图像到中心图像的校准矩阵，根据校准矩阵进行投影变换实现校准过程；

步骤4，对完成整体校准的图像对分块校准：对整体校准后的各图像对进行分块，且至少分两次大小不同的小块，分块之后同样采用多尺度特征的方法对各小块进行校准，如果校准之后的相似度达不到要求，则采用基于灰度的校准方法对各小块进行校准，如果仍然达不到要求则对此块进行重新分块，直到相似度达到要求，完成分块校准过程；

步骤5，对两次分块结果进行无缝拼接完成最终结果：根据步骤4)所得两次分块校准结果，将块与块进行无缝拼接得到最终阵列图像的校准结果。

优选的，步骤1中检测各个阵列图像的多尺度特征，匹配阵列图像与参考图像的特征点的具体步骤如下：

a)、构建阵列图像的多尺度空间，利用高斯平滑函数与原图像灰度图像进行卷积形成图像金字塔。金字塔最底层为

更高层金字塔表示为

其中g_δ(x，y)表示标准差为δ的平滑窗口，l为金字塔层数；

b)、特征点检测，在l层，检测矩阵为

利用此矩阵的特征值λ₁、λ₂的平均检测函数

检测特征点，为了加快速度和使得特征点分布均匀，在不同尺度金字塔图像的一定半径内选取f_HM的局部极值；

c)、利用sift特征计算特征点方向，L层特征点邻域(x，y)的方向为

d)、特征点匹配，利用近邻法对两图像间提取的特征点进行匹配。

优选的，步骤3中根据得到的匹配点对信息求得阵列图像到参考图像的校准矩阵，对校准矩阵进行投影变换实现校准过程的具体步骤如下：

a)、根据上述步骤2中得到的匹配点对信息，求得相应阵列图像到参考图像的校准矩阵H，

其中包含有图像的平移，旋转，缩放；

b)、根据

J_p为校准后图像，J为相应阵列图像，得到整体校准结果。

优选的，参见图2，步骤4中对整体校准后的图像对进行分块校准，其具体步骤如下：

a)、将阵列图像分成

小块，仍然以中心图像为参考对这些小块分别进行上述步骤的校准，校准之后计算校准后的块与参考图像块的相似度值，即

其中

为亮度相似度，

为对比度相似度，

s(I，J)为结构相似度，

其中

分别表示图像

的均值，

分别表示图像

的方差，

表示图像

的协方差；

b)、得到的相似度值S与设定的阈值相比较，如果小于该阈值则利用基于灰度的配准对该块重新校准，校准之后再计算校准后的块与参考块的相似度大小看是否达到设定阈值，如果仍然达不到设定阈值则改变块的大小，再进行校准，直到相似度值达到设定阈值，如果仍然达不到要求，则选取相似度最大的相应的图像块；

c)、为防止图像块校准过程中平移，旋转，缩放，后期拼接过程会有裂缝，将阵列图像再次分成

大小的块，重复上述步骤对图像块进行校准，得到两个大小不同的校准图像块。

优选的，步骤5对两次分块校准后的结果进行无缝拼接得到校准结果，其具体步骤如下：

a)、将第一次分块校准之后的图像块，按原顺序排列得到初始的校准后的阵列图像；

b)、初始校准后的阵列图像在校准过程的图像块平移，旋转，缩放则会出现裂缝，利用第二次分块校准后的图像块对这些裂缝进行填充得到无裂缝的最终校准结果。

图3为阵列相机模组排列方式的一种示例；图4为图3中示例的阵列相机模组得到的图像示例；图5为原始阵列图像与中心图像叠加的结果，图6为阵列图像与中心图像整体校准后叠加的结果，图7为阵列图像与中心图像分块校准后叠加的结果，由图6可以看出阵列图像与中心图像整体校准之后中心位置校准效果较好，由于阵列相机模组位置引起的视差导致边缘部分效果较差，参见图6中画圈部分，证明了一个校准矩阵无法实现阵列图像的校准，由图7可以看出分块校准后阵列图像整体校准效果良好，每一小块对应自己的校准矩阵消除了边缘部分由于位置引起的视差，参见图7中画圈部分，因此验证了本发明的有效性和实用性。

以上实施例是参照附图，对本发明的优选实施例进行详细说明。本领域的技术人员通过对上述实施例进行各种形式上的修改或变更，但不背离本发明的实质的情况下，都落在本发明的保护范围之内。

Claims (3)

1.一种阵列图像的校准方法，其特征在于：包括如下步骤：

步骤1，提取特征点完成图像匹配：从阵列相机模组获得阵列图像，检测阵列图像中各图像的多尺度特征，以中心图像为参考图像，提取并完成阵列图像与参考图像的特征点匹配；

其中，检测各个阵列图像的多尺度特征，匹配阵列图像与参考图像的特征点的具体步骤如下：

1a)构建阵列图像的多尺度空间，利用高斯平滑函数与原图像灰度进行卷积形成图像金字塔，图像金字塔最底层为P₀(x，y)＝I^*(x，y)，图像金字塔更高层为

其中g_δ(x，y)表示标准差为δ的平滑窗口，l为图像金字塔层数；

1b)特征点检测，在l层，检测矩阵为

利用此矩阵的特征值λ₁、λ₂的平均检测函数

检测特征点，为了加快速度和使得特征点分布均匀，在不同尺度金字塔图像的一定半径内选取f_HM的局部极值；

1c)利用sift特征计算特征点方向，L层特征点邻域(x，y)的方向为

1d)特征点匹配，利用近邻法对两图像间提取的特征点进行匹配；

步骤2，剔除误匹配点：根据RANSAC算法剔除匹配过程中的误匹配点，选取各图像对中特征点均匀分布的匹配点对；

步骤3，完成图像对间的整体校准：根据得到的匹配点对信息求得阵列图像到中心图像的校准矩阵，根据校准矩阵进行投影变换实现整体校准过程；

步骤4，对完成整体校准的图像对分块校准：4a)将阵列图像中各图像对分成r*c小块，以中心图像的各小块为参考图像块对阵列图像的各小块分别进行步骤1至3的校准，校准之后计算校准后的小块与参考图像块的相似度值S，即S(I，J)＝l(I，J)*c(I，J)*s(I，J)，其中l(I，J)为亮度相似度，

c(I，J)为对比度相似度，

s(I，J)为结构相似度，

其中u_I、u_J分别表示图像I，J的均值，σ_I、σ_J分别表示图像I，J的方差，σ_IJ表示图像I，J的协方差；

4b)得到的相似度值S与设定的阈值相比较，如果小于该阈值则利用基于灰度的校准方法对该小块重新校准，校准之后再计算校准后的小块与参考图像块的相似度大小，看是否达到设定阈值，如果仍然达不到设定阈值，则对此块进行重新分块，再进行校准，直到相似度值达到设定阈值；如果重新分块仍然达不到要求，则选取相似度最大的相应的图像块；

4c)将阵列图像中各图像对再次均分成a*b大小的小块，重复步骤4a)和步骤4b)对小块进行校准，得到两个大小不同的校准后的图像块；

步骤5，对两次分块校准的结果进行无缝拼接得到校准结果：根据步骤4所得两次分块校准结果，将小块与小块进行无缝拼接得到最终阵列图像的校准结果。

2.根据权利要求1所述的阵列图像的校准方法，其特征在于：步骤3中根据得到的匹配点对信息求得阵列图像到参考图像的校准矩阵，对校准矩阵进行投影变换实现校准过程的具体步骤如下：

a)根据步骤2中得到的匹配点对信息，求得相应图像到中心图像的校准矩阵H，

其中包含有图像的平移、旋转、缩放；

b)根据J_p＝J^#*H，J_p为校准后图像,J^#为相应图像，得到整体校准结果。

3.根据权利要求1所述的阵列图像的校准方法，其特征在于：步骤5对两次分块校准后的结果进行无缝拼接得到校准结果，其具体步骤如下：

a)将第一次分块校准之后的图像块，按原顺序排列得到初始校准后的阵列图像；

b)初始校准后的阵列图像在校准过程的图像块平移、旋转、缩放会出现裂缝，利用第二次分块校准后的图像块对这些裂缝进行填充得到无裂缝的最终校准结果。

Images