CN110070582B - 多摄模组参数自校准系统和校准方法及其电子设备 - Google Patents

Abstract

多摄模组外参校数正系统和校正方法及其电子设备,其中所述摄模组参数自校准系统，用于校准一多摄模组的参数，其包括：一特征点处理单元，用于处理一待校准多摄模组获取的图像信息中的特征点；一代价函数确定单元，用于确定待校准参数的代价函数；和一校准单元，根据所述代价函数校准多摄模组的参数。

Description

多摄模组参数自校准系统和校准方法及其电子设备

技术领域

本发明涉及摄像模组领域，详而言之，涉及一多摄模组外参数自校准系统和校准方法及其电子设备。

背景技术

随着摄像模组近些年的快速发展，双摄像模组或多摄像模组被广泛地应用于不同领域，制成不同电子产品，比如被应用于RGB-D相机、智能电子设备的双摄像头、深度相机等。

RGB-D相机、深度相机以及智能电子设备等应用的双摄模组，这些双摄模组在出厂前都要进行标定，标定结果的准确性和稳定性直接影响影响产品的使用性能。这里的双摄模组包括由多个摄像模组构成的双摄像模组，也包括由投射模组和摄像模组构成的深度模组。

然而，不管是哪一类模组，在使用的过程中，由于撞击外力、热胀冷缩、部件老化、转配间隙等因素的影响，使得标定后的参数发生变化。特别是电子产品被使用的过程中受到撞击外力时，对投射器和摄像模组或者双摄模组之间相对位置的改变尤为严重。而这些都会影响模组中已经被标定过的参数的准确性。也就是说，在受到外部环境的影响后，出厂时被标定的参数，比如外参数，已经不适用改变后的双摄模组。因此，有必要对标定参数进行校准。

针对这种情况，目前已经存在一些算法以及校准方法。最直接的校准方法是重新标定，也就是说，返回生产制造商对双摄模组再次进行标定工序。这种方法对于普通的用户是不可行的。比如，普通大众使用的手机，经常会遇到摔倒地上的情况，严重的可能会影响手机的拍摄效果，这种情况可能就是因为标定参数的误差引起的，但是对于大多数人来说，并不愿意花费大量的时间和精力去返厂维修或标定。

现有的另一种常用的校准方法是光束法平差，需要预先知道三维空间坐标，对于普通用于来说是不容易获取的，因此也不便于进行校准。

发明内容

本发明的一个目的在于提供一多摄模组参数自校准系统和校准方法及其电子设备，其方便用户直接进行校准，而不需要返厂或者获取较多的辅助信息，即可进行自校准。

本发明的一个目的在于提供一多摄模组参数自校准系统和校准方法及其电子设备，其仅需要从被校准的设备获取图像信息即可得到校准结果，方便校准操作。

本发明的一个目的在于提供一多摄模组参数自校准系统和校准方法及其电子设备，其不需要获取空间物体的三维坐标，对校准场景要求较低，同时降低对用户的要求。

本发明的一个目的在于提供一多摄模组参数自校准系统和校准方法及其电子设备，其中在校准的过程中，采用双目视觉中的多个几何关系，比如极线约束和极线矫正误差，相对于单独的极线矫正，对校准变量的约束更加严格，校准结果更加可靠。

本发明的一个目的在于提供一多摄模组参数自校准系统和校准方法及其电子设备，其在校准过程中，对校准变量进行约束，排除模组在严重损坏时引起的内参数变化或外参数变化过大的情况，提高校准的准确性。

本发明的一个目的在于提供一多摄模组参数自校准系统和校准方法及其电子设备，其在校准的过程中，以内参数无变化、外参数变化在预定范围为基准进行校准，更加符合实际双摄模组需要进行校准的情况。

本发明的一个目的在于提供一多摄模组参数自校准系统和校准方法及其电子设备，其可以选择性地校准外参，校准适用范围较广。

本发明的一个目的在于提供一多摄模组参数自校准系统和校准方法及其电子设备，其设定外参数变化量较小或者变化量在预定范围内，在代价函数中限定校准变量的变化，有利于增加收敛速度，提高校准结果的可靠性。

本发明的一个目的在于提供一多摄模组参数自校准系统和校准方法及其电子设备，其中内参设定，选择地优化外参中R和/或T，或者选择性地优化外参R的绕x，绕y，绕z的一个或多个旋转分量，或者外参T中的x、y、z中的三个平移分量中的一个或多个。

本发明的一个目的在于提供一多摄模组参数自校准系统和校准方法及其电子设备，其通过采集多幅图像，用户无需知道不同视角下双摄模组的平移矩阵和旋转矩阵，也不需要知道场景的三维坐标信息，利用出厂标定的内参数，对变化后的外参数进行优化校准。

本发明的一个目的在于提供一多摄模组参数自校准系统和校准方法及其电子设备，其可用于带双摄模组的智能电子设备、RGB-D相机以及深度相机等不同电子设备的外参数校准，应用范围广泛。

本发明的一个目的在于提供一多摄模组参数自校准系统和校准方法及其电子设备，其中所述校准系统可以被设置于电子设备，从而方便用户直接电子设备端操作进行校准。

为了实现以上至少一发明目的，本发明的一方面提供一多摄模组参数自校准系统，用于校准一多摄模组的参数，其包括：

一特征点处理单元，用于处理一待校准多摄模组获取的图像信息中的特征点；

一代价函数确定单元，用于确定待校准参数的代价函数；和

一校准单元，根据所述代价函数校准多摄模组的参数。

根据权利要求1所述的多摄模组参数自校准系统，其中所述代价函数确定单元包括一第一残差模块，所述第一残差模块通过极线约束来确定所述代价函数。

根据一些实施例，所述第一残差模块利用公式(1)来计算第一残差：

residual₁-第一残差，

-右图像中点坐标矩阵的转置，F-基础矩阵，X_l-左图像中点坐标矩阵。

根据一些实施例，所述代价函数确定单元包括一第二残差模块，所述第二残差模块利用极线矫正来确定所述代价函数。

根据一些实施例，所述第二残差模块利用公式(2)来计算第二残差：

residual₂＝Δy(2)；

residual2-第二残差，Δy-特征点对y方向坐标差值。

根据一些实施例，所述代价函数确定单元包括一约束条件模块，所述约束条件模块对待校准变量的变化进行约束。

根据一些实施例，所述约束条件模块利用公式(3)对旋转矩阵R和平移矩阵T变量进行约束，得到第三残差：

residual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)]+λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz)] (3)；

residual₃-第三残差；Δ_Rx、Δ_Ry、Δ_Rz-旋转欧拉角增量；Δ_Tx、Δ_Ty、Δ_Tz-平移矩阵增量，λ_R、λ_T-旋转增量和平移增量的控制系数。

根据一些实施例，所述约束条件模块利用公式(3a)对旋转矩阵R变量进行约束，得到第三残差：

residual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)] (3a)

residual₃-第三残差；Δ_Rx、Δ_Ry、Δ_Rz-旋转欧拉角增量，λ_R-旋转增量控制系数。

根据一些实施例，所述约束条件模块利用公式(3b)对平移矩阵T变量进行约束，得到第三残差：

residual₃＝λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz)] (3b)

residual₃-第三残差；Δ_Tx、Δ_Ty、Δ_Tz-平移矩阵增量；λ_T-平移增量的控制系数。

根据一些实施例，所述代价函数确定单元包括一优化模块，所述优化模块结合极线约束和极线矫正来确定所述代价函数。

根据一些实施例，所述优化模块根据公式(4)得到总残差：

residual为总残差，residual1为第一残差，residual2为第二残差，residual为第三残差。

根据一些实施例，所述第一残差根据公式(5)和(6)来确定：

E＝[t]_×R (5)；

E—本质矩阵；[t]_×--平移矩阵的反对称阵；R--旋转矩阵。

F-基本矩阵；

-右摄模组内参矩阵逆的转置；

--左摄模组内参矩阵的逆。

根据一些实施例，所述第二残差确定过程为：

将外参R和T转化为极线矫正的两个旋转矩阵R_l和R_r，然后确定一个新的内参矩阵K，

式中，K_l、K_r-左摄模组、右摄模组内参矩阵。

极线矫正对应的单应性矩阵H(H_l，H_r)为：

利用公式(8)对获得的特征点进行极线矫正，

式中pl、p_r-提取的角点齐次坐标；ql、q_r-极线校正后角点的齐次坐标，

则综合公式(2)确定第二残差。

根据一些实施例，所述校准单元包括一结果校准模块和一结果验证模块，所述结果校准模块根据所述代价函数校准多摄模组参数，所述结构验证模块用于验证所述校准结果是否满足预定要求。

根据一些实施例，当以校正参数为变量时，直接将校准结果作为最后的校准参数，当以校准参数的变化量为变量时，在离线标定的校准参数基础上加上参数的改变量。

根据一些实施例，所述多摄模组参数自校准系统包括一图像信息获取单元，所述图像获取单元通过所述多摄模组获取图像信息。

根据一些实施例，所述特征点处理单元提取图像中的特征点，并且进行筛选和匹配。

根据一些实施例，所述特征点处理单元提取图像中的特征点，采用RANSAC算法匹配和筛选特征点。

根据一些实施例，所述多摄模组参数自校准系统包括一判断单元，所述判断单元判断所述多摄模组是否需要进行参数校准。

根据一些实施例，当所述多摄模组被应用于RGB-D相机时，所述判断单元根据RGB-D的贴附的准确性来判断。

根据一些实施例，当所述多摄模组被应用于手机双摄模组时，所述判断单元根据极线矫正误差来判断。

本发明的另一方面提供一多摄模组参数自校准方法，其包括步骤：

(A)获取图像信息；

(B)处理图像信息中的特征点；

(C)基于特征点，获取校准变量的代价函数；和

(D)根据代价函数进行校准。

根据一些实施例，所述步骤(C)中包括步骤：(C1)通过极线约束来确定代价函数。

根据一些实施例，所述步骤(C)中包括步骤：(C2)通过极线矫正来确定代价函数。

根据一些实施例，所述步骤(C)中包括步骤：(C3)约束校准变量。

根据一些实施例，所述步骤(C)中包括步骤：(C4)综合多个几何关系，确定代价函数。

根据一些实施例，所述步骤(C)中利用公式(1)来确定一第一残差residual₁：

residual₁-第一残差，

-右图像中点坐标矩阵的转置，F--基础矩阵(Fundamental Matrix)；x_l--左图像中点坐标矩阵，其中F可以根据多摄模组内参、旋转矩阵R、以及平移矩阵T来计算

根据一些实施例，所述步骤(C)中利用公式(2)来确定一第二残差residual2：

residual₂＝Δy (2)

residual₂-第二残差，Δy-特征点对y方向坐标差值。

根据一些实施例，所述步骤(C)中利用公式(3)来确定一第三残差residual3：

residual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)]+λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz)] (3)

residual₃-第三残差；Δ_Rx、Δ_Ry、Δ_Rz-旋转欧拉角增量；Δ_Tx、Δ_Ty、Δ_Tz-平移矩阵增量。λ_R、λ_T--旋转增量和平移增量的控制系数。

根据一些实施例，所述步骤(C)中利用公式(3a)来确定一第三残差residual₃：

residual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)] (3a)；

residual₃-第三残差；Δ_Rx、Δ_Ry、Δ_Rz-旋转欧拉角增量，λ_R-旋转增量控制系数

根据一些实施例，所述步骤(C)中利用公式(3b)来确定一第三残差residual3：

residual₃＝λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz)] (3b)；

residual₃-第三残差；Δ_Tx、Δ_Ty、Δ_Tz-平移矩阵增量；λ_T-平移增量的控制系数。

根据一些实施例，所述步骤(C)中利用公式(4)来确定一总残差residual：

residual为总残差，residual₁为第一残差，residual₂为第二残差，residual₃-第三残差。

根据一些实施例，所述第一残差根据公式(5)和(6)来确定：

E＝[t]_×R (5)；

E—本质矩阵；[t]_×--平移矩阵的反对称阵；R--旋转矩阵。

F-基本矩阵；

--右摄模组内参矩阵逆的转置；

--左摄模组内参矩阵的逆

根据一些实施例，所述第二残差确定过程为：

将外参R和T转化为极线矫正的两个旋转矩阵R_l和R_r，然后确定一个新的内参矩阵K，

式中，K_l、K_r-左摄模组、右摄模组内参矩阵。

极线矫正对应的单应性矩阵H(H_l，H_r)为：

利用公式(8)对获得的特征点进行极线矫正，

式中pl、p_r-提取的角点齐次坐标；ql、q_r-极线校正后角点的齐次坐标，

则综合公式(2)确定第二残差。

根据一些实施例，所述步骤(B)中包括步骤：提取、匹配特征点。

根据一些实施例，所述步骤(B)中根据RANSAC算法筛选、匹配特征点。

根据一些实施例，所述步骤(B)中包括步骤：判断是否需要进行校准。

根据一些实施例，当所述多摄模组被应用于RGB-D相机时，根据RGB-D的贴附的准确性来判断。

根据一些实施例，当所述多摄模组被应用于手机双摄模组时，根据极线矫正误差来判断。

根据一些实施例，所述步骤(D)中包括步骤：

(D1)校准参数；和

(D2)验证校准结果。

本发明的另一方面提供一电子设备，其包括：

一多摄模组；和

一所述多摄模组参数自校准系统，其中所述多摄模组参数自校准系统校准所述多摄模组的参数。

附图说明

图1是根据本发明的一个实施例的多摄模组参数自校准系统框图。

图2是根据本发明的上述实施例的多摄模组参数校准系统的代价函数确定单元框图。

图3是根据本发明的上述实施例的多摄模组参数自校准的校准单元框图。

图4A，4B是根据本发明的上述实施例的多摄模组参数自校准工作流程图。

图5是根据本发明的上述实施例的多摄模组参数自校准系统单元配合工作框图。

图6是根据本发明的上述实施例的多摄模组参数自校准系统方法框图。

图7是根据本发明的上述实施例的多摄模组参数自校准系统方法的步骤三框图。

图8是根据本发明的上述实施例的多摄模组参数自校准系统应用示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

利用散斑结构光进行三维测量或者依据双目视觉原理来获取深度信息等图像信息获取已经越来越广泛的被应用于各种领域，因此双摄模组也变得越来越重要。双摄模组的成像质量(包括平面成像和立体图像)一方面由构成双摄模组的各部件的性能决定，即硬件部分，另一方面由摄像模组系统决定，即软件部分。双摄模组在出厂前都要进行标定工序，即为所述双摄模组系统写入相应的参数，比如内参数、外参数，以保证双摄模组的使用性能。这个参数与摄像模组的结构或性能特征相匹配。

可是在实际使用的过程中，由于各种因素的影响，比如受到严重撞击或者使用时间过久，使得摄像模组的结构特征或者部件的性能发生变化，从而使得出厂时标定的参数不再匹配，使用者在使用过程中获取的图像质量受到影响。正如背景中所述，现有的解决方案中，使用者可以将电子设备返回厂家，通过厂家进行再次标定。或者采用相对复杂的方法，想办法获取空间中三维信息，通过光束法平差来进行校准，这些方法暂时可以被归类为辅助校准方法。可以看到，这些辅助校准方法都相对复杂。可以理解的是，对于大部分使用者，在使用者的产品，如智能手机，没有任何可见的损伤，只是图像质量有影响的情况，都不太愿意花费较多的精力和时间去返厂校准或者自己采用较复杂的方法去校准。但是图像质量的影响，确实降低了用户体验。

而根据本发明提供一多摄模组参数自校准系统和校准方法及其电子设备，藉由本发明，使得用户可以在用户端简单、方便地进行自校准，也就是说，不需要返回制造厂，也不需要自己获取三维空间坐标等复杂的信息，因此提供了解决现有问题的技术方案。更具体地，依据本发明，只需要采集多幅图像信息就可以藉由本发明的多摄模组参数自校准系统、校准方法或者电子设备自行进行校准，从而使得用户一直保护保持良好的用户体验。

值得一提的是，这里的多摄模组包括由两个或多个摄像模组构成的普通双摄像模组，也包括由不同类型摄像模组构成的具有采集深度图像信息的深度双摄模组，也包括由投射模组和图像采集摄像模组构成的深度双摄模组，也包括RGB-D深度相机以及普通深度相机等应用双摄原理进行深度图像的设备。

参照图1至图5，是根据本发明的一个实施例的多摄模组参数自校准系统100。所述多摄模组参数自校准系统100用于校准一待校准对象，如多摄模组的参数。优选地，所述多摄参数自校准系统用于基准一双摄模组的参数，如RGB-D模组、普通双摄模组。优选地，所述多摄模组参数自校准系统100用于校准一多摄模组的标定参数，举例地但不限于，外参数R，外参数T。

本发明以两个模组构成的双摄模组为例进行说明，但是在本发明的其他实施例中，所述多摄模组包括更多所述摄像模组，所述摄像模组的数量并不是本发明的限制。

所述多摄模组参数自校准系统100能够被设置于一电子设备，所述电子设备包括所述多摄模组，以方便用户在所述电子设备终端直接地、自行对所述多摄模组进行校准。

所述多摄模组参数自校准系统100包括一图像信息获取单元10，所述图像信息获取单元10用于获取拍摄目标的图像信息，以供进行校准。更进一步，所述图像信息获取单元10从待校准的所述多摄模组获取图像信息。举例地，在校准的过程中，所述多摄模组拍摄目标的图像信息，并且将拍摄的信息传送至所述多摄模组参数自校准系统100，更具体地，所述多摄模组将拍摄的信息传送至所述图像信息获取单元10。

值得一提的是，在本发明中，只需要所述待校准对象提供图像信息，所述多摄模组参数自校准系统100即可为所述多摄模组进行校准。也就是说，使用者在使用时只需要操作所述多摄模组进行目标拍摄，就可以进行自校准，从而方便用户、简单、快捷地完成多摄模组的校准。

优选地，在校准的过程中，所述图像信息获取单元10获取多组图像信息，比如3组及以上。也就是说，所述多摄模组需要采集多组图像信息传送至所述多摄模组参数自校准系统100。所述图像信息可以根据需求自由选择，比如选择多组图像的场景是否相同，选择所述多摄模组移动的角度和距离。

所述多摄模组参数自校准系统100包括一判断单元30，所述判断单元30用于判断所述待校准对象是否需要进行校准。具体地，所述判断单元30根据预定条件判断所述待校准对象是否已需要进行校准。所述预定条件可以由所述待校准对象的类型来决定，也就是说，所述判断单元30的所述预定条件由所述多摄模组的应用电子设备的类型来决定。举例地但不限于，当所述电子设备是RGB-D相机时，可以根据RGB-D贴附的准确性来判断，即所述预定条件是RGB-D贴附准确性。所述RGB-D贴附性是指RGB-D图像中深度图像和彩色图像对应的像素点对齐程度。当所述电子设备是手机时，可以根据极线矫正误差来判断，即所述预定条件是极线矫正误差。

所述判断单元30可以根据所述图像信息获取单元10获取的图像信息判断是否需要进行校准。更具体地，所述判断单元30根据所述图像信息获取单元10获取的图像信息中提取筛选和匹配后的特征点进行判断。

值得一提的是，并不是所有的多摄模组在每次使用时都需要被校正，只有当环境因素或使用状况导致参数发生变化时，才需要进行校准，因此在校准之前，通过所述判断单元30对所述待校准对象进行预先判断，从而提高校准效率，减少不必要的校准，为使用者节省时间。

进一步，所述多摄模组参数自校准系统100包括一特征点处理单元20，用于处理一待校准多摄模组获取的图像信息中的特征点。所述特征点处理单元20用于将所述图像信息中的特征点进行处理，以便于后续进行校准。进一步，所述判断单元30根据所述特征点处理单元20得到特征点处理信息进行判断，以便于进行准确的判断。也就是说，在本发明的这个实施例中，当所述判断单元30判断所述多摄模组需要进行校准时，所述多摄模组参数自校准系统100继续进行校准，而当所述判断单元30判断所述多摄模组不需要进行参数校准时，所述多摄模组参数自校准系统100停止校准。而在另一实施方式中，所述特征点处理单元20可以直接处理待校准多摄模组获取的图像信息中的特征点进行校准，而不进行判断。具体地，所述特征点处理从所述图像信息中提取特征点，并且用随机抽样一致性方法RANSAC(RANdom SAmple Consensus)对特征点进行筛选和匹配。

值得一提的是，当所述判断单元30判断得到所述待校准对象需要进行校准时，所述多摄模组参数自校准系统根据所述特征点处理单元20处理特征点的信息继续进行校准工作，而当所述判断单元30判断得到所述待校准对象不需要进行校准时，不需要进一步分析所述特征点处理单元20的特征点信息，也就是说，校准过程结束。

所述多摄模组参数自校准系统100包括一代价函数确定单元40，所述代价函数确定单元40用于确定待校准参数的代价函数。也就是说，所述代价函数的目标是确定校准参数的校准量。

在本发明的这个实施例中，所述代价函数确定单元40确定关于所述外参的代价函数，以便于多所述多摄模组的外参进行校准。

在本发明的其他实施例中，所述代价函数单元确定关于所述内参变量的代价函数，以便于对所述多摄模组的内参进行校准。

在本发明的其他实施例中，所述代价函数确定单元40确定关于内参变量和外参变量的代价函数，以便于分别对所述多摄模组的所述内参和外参进行校准。

参照图2，所述代价函数确定单元40包括一第一残差模块41，所述第一残差模块41，所述第一残差模块41用于通过极线约束来确定所述代价函数。

更具体地，所述第一残差模块41利用公式(1)来计算第一残差：

在公式(1)式中：residual₁-第一残差；

-右图像中点坐标矩阵的转置；F--基础矩阵(Fundamental Matrix)；xl--左图像中点坐标矩阵，其中F可以根据相机内参、旋转矩阵R、以及平移矩阵T来计算。由于内参已知，所述残差约束了R和T。也就是说，所述多摄模组包括一左摄模组和一右摄模组，所述左摄模组获取的图像定义为左图像，所述右摄模组获取的图像定义为右图像。所述多摄模组在初始标定时，提供相机内参、旋转矩阵、平移矩阵。在本发明的这个实施例中，以双目原理为基础的双摄模组为例进行说明，因此所述摄像模组包括一所述左摄模组和一所述右摄模组，而在本发明中的其它实施例中，所述双摄模组还可以是其他原理为基础的双摄模组，比如散斑结构光原理的双摄模组，所述双摄模组可以包括一投射模组和一摄像模组。

根据本发明这个实施例，第一残差项residual₁可以根据以下过程来确定：

E＝[t]_×R (5)

式(5)中E—本质矩阵(Essential Matrix)；[t]_×--平移矩阵的反对称阵；R--旋转矩阵。

再利用离线标定的内参计算Fundamental Matrix：

式(6)中：F-基本矩阵；

-右摄模组内参矩阵逆的转置；

-左摄模组内参矩阵的逆。

进而，利用公式(1)确定一个残差项，即，确定第一残差。

进一步，所述代价函数确定单元40包括一第二残差模块42，所述第二残差模块42用于通过极线矫正来确定所述代价函数。即，利用已知的相机内参、变量R和T对特征带点进行极线矫正计算。对于准确匹配的特征点，在极线矫正后，其y方向坐标(基线水平)的差值理论为上0，由于外参R和/或T的变化，校正后的特征点对y方向存在一定差值，将该差值作为第二残差：

residual₂＝Δy (2)

residual₂-第二残差，Δy-特征点对y方向坐标差值。

值得一提的是，此处当只对R校准时，R为变量，T为已知。当对T校准时，R为已知量，T为变量。当同时对R和T校准时，R和T都是变量。

根据本发明这个实施例，所述第二残差可以根据以下过程来确定：

首先将外参R和T转化为极线矫正的两个旋转矩阵R_l和R_r，然后确定一个新的内参矩阵K，

式中，K_l、K_r-左摄模组、右摄模组内参矩阵。

极线矫正对应的单应性矩阵H(H_l，H_r)为：

利用公式(8)对获得的特征点进行极线矫正，

式中p_l、p_r-提取的角点齐次坐标；q_l、q_r-极线校正后角点的齐次坐标，

则利用公式2确定一个残差。

进一步，所述代价函数确定单元40包括一约束条件模块43，所述约束条件模块43用于对待校准的变量的变化进行约束。所述约束过程可以根据实际情况来选择。比如，在一些情况下，考虑到双目摄像模组在使用过程中，外参较大的变化意味着模组破损，需返厂或者更换，所以进行自校准时，外参的变化量级均较小。此时，可以选择对优化变量的变化进行约束，将残值设置为：

residual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)]+λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz)] (3)

式中：residual₃-第三残差；Δ_Rx、Δ_Ry、Δ_Rz-旋转欧拉角增量；Δ_Tx、Δ_Ty、Δ_Tz-平移矩阵增量，λ_R、λ_T--旋转增量和平移增量的控制系数。

即，通过公式(3)来约束变量R，T。

在一些情况下，可以假定T不变，只有R变化，即将残值设置为：

residual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)] (3a)

在一些情况下，可以假定R不变，只有T变化，即将残值设置为：

residual₃＝λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz)] (3b)

值得一提的是，在本发明的校准过程中，对校准变量进行约束，排除模组在严重损坏时引起的内参数变化和外参数变化过大的情况，提高校准的准确性，提高校准效率。即，假设外参变化属于非结构性破坏的情况，使得校准更符合实际情况。其可以选择性地校准外参R或T，校准适用范围较广。在校正的过程中可以设定外参数变化量较小或者变化量在预定范围内，在代价函数中限定校准变量的变化，有利于增加收敛速度，提高校准结果的可靠性。

进一步，所述代价函数确定单元40包括一优化模块44，所述优化模块44用于综合变量的变化，来确定所述代价函数。更具体地，在优化的过程中，同时考虑几何关系和校准变量的变化，将总残差设置为：

公式(4)中，residual为总残差，residual1为第一残差，residual2为第二残差。

值得一提的是，在这个校准过程中，考虑了多摄模组中的多个几何关系，包括极线约束和极线矫正误差。相比于单独的极线矫正，对校准变量的约束更加严格，则优化结果将更加可靠，对系统的鲁棒性更好。

由上，通过公式(3)和(4)结合可以确定校准的代价函数，即得到了参数的校准量。

进一步，所述多摄模组参数自校准系统100包括一校准单元50，所述校准单元50用于根据参数的校准量对待校准的参数进行校准。具体地，所述校准单元50根据所述代价函数确定单元40确定代价函数对R和/或T进行优化校准。

值得一提的是，如果将R和T作为优化变量，可以直接将优化结果作为最终的R和T；如果优化变量为R和T的改变量，则在离线标定的R和T基础上加上改变量即可。需要说明的是，优化过程需将旋转矩阵R转化为Rodrigues形式。

还值得一提的是，本发明的校准过程中，内参设定，可以选择地优化外参R和/或T，或者选择性地优化外参R的绕x，绕y，绕z的一个或多个旋转分量，或者外参T中的x、y、z中的三个平移分量中的一个或多个，优化范围更广。

参照图3，所述校准单元50可以包括一结果校准模块51和一结果验证模块52，所述结果校准模块51用于进行优化校准，所述结果验证模块52用于验证校准后的结果。举例地，所述结果校准模块51根据所述代价函数确定单元40确定校准量对所述多摄模组进行参数校准，所述结果验证模块52验证校准后的结果，验证校准结果是否满足预定要求，如果满足预定要求，则校准过程结束，如果校准结果不满足预定要求，重复校准过程，即返回所述图像获取单元10获取图像信息，重新进行校准。

参照图4A，4B，图6，本发明提供一多摄模组参数校准方法1000，所述方法包括步骤：

1001：获取图像信息；

1002：处理图像信息中的特征点；

1003：基于特征点，获取校准变量的代价函数；

1004：根据代价函数进行校准。

在所述步骤1001中，可以通过所述图像信息获取单元10获取图像信息，比如所述多摄模组采集图像信息，包括一左摄模组采集的左图像和一右摄模组采集的右图像，并且将图像信息传送至所述图像信息获取单元10。换句话说，在所述步骤1001中，通过多摄模组采集图像，从而获取图像信息。

对于图像拍摄场景，原则上应保证光线良好且便于角点提取。移动多摄模组分别采集多组图像，原则上不少于3组。图像场景可不同，双目模组移动的角度和距离任意。

所述步骤1002中可以包括步骤：

10020：判断是否需要进行校准。多摄模组自校准并非每次应用都需要，只有当外力导致外参变化达到一定程度时才进行。其判断原则和多摄模组的应用有关，举例地，对于RGB-D相机，可以根据RGB-D贴附的准确性来判断；对于手机双摄模组，可以根据极线矫正误差等来判断。

所述步骤1002可以包括步骤：

10021：提取图像信息中的特征点；和

10022：筛选、匹配特征点。

优选地，在所述步骤10022中，利用RANSAC算法对特征点进行筛选和匹配。

值得一提的是，参照图4A和4B，在本发明的一些实施例中，在校准的过程中，当进行第一次校准时，在获取图像信息，提取特征点之后，判断是否需要进行自校准，进而根据判断结果进行校准，或者结束校准，当进行第二次校准时，也就是说，在第一次校准得到结果时，判断不满足预定的校准要求，需要进行再次校准时，返回采集图像信息，进而提取特征点信息，进而直接进行校准，而不需要像第一次校准过程中的预判断。

当然，在本发明的其它实施例中，不管是第一次校准还是第二次校准，都可以不设置预判断过程，而直接进行校准，并且直接对校准结果进行判断是否满足校准条件，比如图4B的过程。预判断的标准可以是校正范围符合预定的误差范围，也可以是校正的参量是否超过了可以进行校准的范围，即通过不同的条件，判断是进行下个循环的校正，还是结束校准。

参照图7，所述步骤1003中包括步骤：

10031：通过极线约束来确定代价函数；

10032：通过极线矫正来确定代价函数；

10033：约束校准变量；和

10034：综合多个几何关系，确定代价函数。

所述步骤10031中，利用公式(1)来确定一第一残差residual₁。

在公式(1)式中：residual₁-第一残差；

-右图像中点坐标矩阵的转置；F--基础矩阵(Fundamental Matrix)；x_l--左图像中点坐标矩阵，其中F可以根据多摄模组内参、旋转矩阵R、以及平移矩阵T来计算。由于内参已知，所述残差约束了R和T。左图像，左摄模组采集的图像，右图像，右摄模组采集的图像。

具体地，第一残差residual₁根据以下过程来确定：

E＝[t]_×R (5)

式(5)中E—本质矩阵(Essential Matrix)；[t]_×--平移矩阵的反对称阵；R--旋转矩阵。

再利用离线标定的内参计算基础矩阵F：

式(6)中：F-基础矩阵；

-右摄模组内参矩阵逆的转置；

-左摄模组内参矩阵的逆。

进而，利用公式(1)确定一个残差项，即，确定第一残差。

对于准确匹配的特征点，在极线矫正后，其y方向坐标(基线水平)的差值理论为上0，由于外参R和/或T的变化，校正后的特征点对y方向存在一定差值，将该差值作为第二残差。

在所述步骤10032中，利用公式(2)来确定第二残差residual₂。

residual₂＝Δy (2)

residual₂-第二残差，Δy-特征点对y方向坐标差值。

值得一提的是，此处当只对R校准时，R为变量，T为已知。当对T校准时，R为已知量，T为变量。当同时对R和T校准时，R和T都是变量。

进一步地，所述第二残差可以根据以下过程来确定：

首先将外参R和T转化为极线矫正的两个旋转矩阵R_l和R_r，然后确定一个新的内参矩阵K，

式中，K_l、K_r-左摄模组、右摄模组内参矩阵。

极线矫正对应的单应性矩阵H(H_l，H_r)为：

利用公式(8)对获得的特征点进行极线矫正，

式中pl、p_r-提取的角点齐次坐标；ql、q_r-极线校正后角点的齐次坐标，

则综合公式(2)确定第二残差。

所述步骤10033中约束过程可以根据实际情况来选择。比如，在一些情况下，考虑到双目摄像模组在使用过程中，外参较大的变化意味着模组破损，需返厂或者更换，所以进行自校准时，外参的变化量级均较小。此时，可以选择对优化变量的变化进行约束。

可选地，在所述步骤10033中，对变量R和T进行约束。约束公式为：

residual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)]+λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz)] (3)

式中：residual₃-第三残差；Δ_Rx、Δ_Ry、Δ_Rz-旋转欧拉角增量；Δ_Tx、Δ_Ty、Δ_Tz-平移矩阵增量。λ_R、λ_T--旋转增量和平移增量的控制系数。

可选地，所述步骤10033中，对变量R进行约束，T不变，约束公式为：

residual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)] (3a)；

可选地，所述步骤10033中，对变量T进行约束，R不变，约束公式为：

residual₃＝λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz)] (3b)；

进一步，所述步骤10034中，综合极线约束和极线矫正误差确定代价函数，依据的公式为：

公式(4)中，residual为总残差，residual₁为第一残差，residual₂为第二残差，residual₃-第三残差。

所述步骤1004中包括步骤：

10041：校准参数；和

10042：验证校准结果。

在所述步骤10041中，如果将R和T作为优化变量，可以直接将优化结果作为最终的R和T；如果优化变量为R和T的改变量，则在离线标定的R和T基础上加上改变量即可。需要说明的是，优化过程需将旋转矩阵R转化为Rodrigues形式。

在所述步骤10042中，如果校准结果，满足预定要求，则校准过程结束，如果校准结果不满足预定要求，重复校准过程，即返回图形信息获取，重新进行校准。

参照图8，所述多摄模组参数自校准系统100能够被设置于一电子设备300，所述电子设备300包括所述多摄模组200，以方便用户在所述电子设备300终端直接地、自行对所述多摄模组300进行校准。所述多摄模组包括一左摄模组201和一右摄模组202。也就是说，使用者只需要通过操作所述电子设备300，通过所述多摄模组200采集需要的图像信息，就可以通过设置于所述电子设备300的所述多摄模组参数自校准系统100在所述电子设备300终端对所述多摄模组200进行参数校准。而不需要返回制造厂商，也不需要获取额外的辅助信息，因此可以简单、便利地完成校准过程。

举例地，所述电子设备300选自：智能手机、深度相机、RGB-D相机中的其中一种。当然，所述多摄模组参数自校准系统100也可以用于单独检测，比如将所述多摄模组参数自校准系统100设置于一参数校准设备，将所述多摄模组200通信连接于所述参数校准设备，以便于向所述参数校准设备传送图像信息，并且接收校准信息，从而通过所述参数校准设备校准所述多摄模组。

值得一提的是，在本发明上述实施例中，以校准、优化外参R和T为例进行说明，但是本领域的技术人员应当理解的是，在基于本发明的发明构思的基础上，本发明的校准系统和校准方法可以应用于校准内参，比如对上述实施例中的代价函数进行相对应的调整，以内参作为目标函数，即可得到内参的优化系统和优化方法，优化内参或外参并不是本发明的限制。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (46)

1.多摄模组参数自校准系统，用于校准一多摄模组的参数，其特征在于，包括：

一特征点处理单元，用于处理一待校准多摄模组获取的图像信息中的特征点；

一代价函数确定单元，用于确定待校准参数的代价函数；和

一校准单元，根据所述代价函数校准多摄模组的外参数；

其中所述代价函数确定单元包括一优化模块，所述优化模块结合极线约束和极线矫正来确定所述代价函数，其中所述优化模块根据公式(4)得到总残差：

residual为总残差，residual₁为第一残差，residual₂为第二残差，residual₃为第三残差；

其中所述代价函数确定单元包括一第一残差模块、一第二残差模块以及一约束条件模块，其中所述第一残差模块通过极线约束来确定所述代价函数，以计算该第一残差；其中所述第二残差模块利用极线矫正来确定所述代价函数，以计算该第二残差；其中所述约束条件模块对待校准变量的变化进行约束；

其中所述约束条件模块利用公式(3)对旋转矩阵R和平移矩阵T变量进行约束，得到该第三残差：

residual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)]+λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz)](3)；

residual₃-第三残差；Δ_Rx、Δ_Ry、Δ_Rz-旋转欧拉角增量；Δ_Tx、Δ_Ty、Δ_Tz-平移矩阵增量，λ_R、λ_T-旋转增量和平移增量的控制系数；

或者，其中所述约束条件模块利用公式(3a)对旋转矩阵R变量进行约束，得到该第三残差：

restdual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)] (3a)

residual₃-第三残差；Δ_Rx、Δ_Ry、Δ_Rz-旋转欧拉角增量，λ_R-旋转增量控制系数；

又或者，其中所述约束条件模块利用公式(3b)对平移矩阵T变量进行约束，得到该第三残差：

residual₃＝λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz) (3b)

residual₃-第三残差；Δ_Tx、Δ_Ty、Δ_Tz-平移矩阵增量；λ_T-平移增量的控制系数。

2.根据权利要求1所述的多摄模组参数自校准系统，其中，所述第一残差模块利用公式(1)来计算该第一残差：

residual₁-第一残差，

-右图像中点坐标矩阵的转置，F-基础矩阵，x_l-左图像中点坐标矩阵。

3.根据权利要求2所述的多摄模组参数自校准系统，其中，所述第二残差模块利用公式(2)来计算该第二残差：

residual₂＝Δy (2)；

residual₂-第二残差，Δy-特征点对y方向坐标差值。

4.根据权利要求1-3任一所述的多摄模组参数自校准系统，其中所述第一残差根据公式(5)和(6)来确定：

E＝[t]_×R (5)；

E-本质矩阵；[t]_×-平移矩阵的反对称阵；R-旋转矩阵；

F-基本矩阵；

-右摄模组内参矩阵逆的转置；

-左摄模组内参矩阵的逆。

5.根据权利要求1-3任一所述的多摄模组参数自校准系统，其中所述第二残差确定过程为：

将外参R和T转化为极线矫正的两个旋转矩阵R_l和R_r，然后确定一个新的内参矩阵K，

式中，K_l、K_r-左摄模组、右摄模组内参矩阵；

极线矫正对应的单应性矩阵H(H_l，H_r)为：

利用公式(8)对获得的特征点进行极线矫正，

式中p_l、p_r-提取的角点齐次坐标；q_l、q_r-极线校正后角点的齐次坐标，则综合公式(2)确定该第二残差。

6.根据权利要求1-3任一所述的多摄模组参数自校准系统，其中所述校准单元包括一结果校准模块和一结果验证模块，所述结果校准模块根据所述代价函数校准多摄模组参数，所述结果验证模块用于验证校准结果是否满足预定要求。

7.根据权利要求6所述的多摄模组参数自校准系统，其中当以校正参数为变量时，直接将校准结果作为最后的校准参数，当以校准参数的变化量为变量时，在离线标定的校准参数基础上加上参数的改变量。

8.根据权利要求1-3任一所述的多摄模组参数自校准系统，其中所述特征点处理单元提取图像中的特征点，采用RANSAC算法匹配和筛选特征点。

9.根据权利要求1-3任一所述的多摄模组参数自校准系统，其中所述多摄模组参数自校准系统包括一判断单元，所述判断单元判断所述多摄模组是否需要进行参数校准。

10.根据权利要求9所述的多摄模组参数自校准系统，其中当所述多摄模组被应用于RGB-D相机时，所述判断单元根据RGB-D贴附准确性来判断。

11.根据权利要求9所述的多摄模组参数自校准系统，其中当所述多摄模组被应用于手机双摄模组时，所述判断单元根据极线矫正误差来判断。

12.多摄模组参数自校准方法，其特征在于，包括步骤：

(A)获取图像信息；

(B)处理图像信息中的特征点；

(C)基于特征点，获取校准变量的代价函数；和

(D)根据代价函数进行校准；

其中所述步骤(C)中利用公式(4)来确定一总残差residual：

residual为总残差，residual₁为第一残差，residual₂为第二残差，residual₃为第三残差；

其中所述步骤(C)中包括步骤：(C1)通过极线约束来确定代价函数，以计算该第一残差；(C2)通过极线矫正来确定代价函数，以计算该第二残差；(C3)约束校准变量；

其中所述步骤(C)中利用公式(3)来确定该第三残差residual₃：

residual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)]+λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz)] (3)

residual₃-第三残差；Δ_Rx、Δ_Ry、Δ_Rz-旋转欧拉角增量；Δ_Tx、Δ_Ty、Δ_Tz-平移矩阵增量；λ_R、λ_T-旋转增量和平移增量的控制系数；

或者，其中所述步骤(C)中利用公式(3a)来确定该第三残差residual₃：

restdual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)] (3a)；

residual₃-第三残差；Δ_Rx、Δ_Ry、Δ_Rz-旋转欧拉角增量，λ_R-旋转增量控制系数；

又或者，其中所述步骤(C)中利用公式(3b)来确定该第三残差residual₃：

residual₃＝λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz)] (3b)；

residual₃-第三残差；Δ_Tx、Δ_Ty、Δ_Tz-平移矩阵增量；λ_T-平移增量的控制系数。

13.根据权利要求12所述的多摄模组参数自校准方法，其中所述步骤(C)中包括步骤：(C4)综合多个几何关系，确定代价函数。

14.根据权利要求12或13所述的多摄模组参数自校准方法，其中所述步骤(C)中利用公式(1)来确定该第一残差residual₁：

residual₁-第一残差，

-右图像中点坐标矩阵的转置，F--基础矩阵(FundamentalMartic)；x_l--左图像中点坐标矩阵，其中F可以根据多摄模组内参、旋转矩阵R、以及平移矩阵T来计算。

15.根据权利要求14所述的多摄模组参数自校准方法，其中所述步骤(C)中利用公式(2)来确定该第二残差residual₂：

residual₂＝Δy (2)

residual₂-第二残差，Δy-特征点对y方向坐标差值。

16.根据权利要求14所述的多摄模组参数自校准方法，其中所述第一残差根据公式(5)和(6)来确定：

E＝[t]_×R (5)；

E-本质矩阵；[t]_×-平移矩阵的反对称阵；R-旋转矩阵；

F-基本矩阵；

-右摄模组内参矩阵逆的转置；

-左摄模组内参矩阵的逆。

17.根据权利要求15所述的多摄模组参数自校准方法，其中所述第二残差确定过程为：

将外参R和T转化为极线矫正的两个旋转矩阵R_l和R_r，然后确定一个新的内参矩阵K，

式中，K_l、K_r-左摄模组、右摄模组内参矩阵；

极线矫正对应的单应性矩阵H(H_l，H_r)为：

利用公式(8)对获得的特征点进行极线矫正，

式中p_l、p_r-提取的角点齐次坐标；q_l、q_r-极线校正后角点的齐次坐标，

则综合公式(2)确定该第二残差。

18.根据权利要求12或13所述的多摄模组参数自校准方法，其中所述步骤(B)中包括步骤：提取、匹配特征点。

19.根据权利要求12或13所述的多摄模组参数自校准方法，其中所述步骤(B)中根据RANSAC算法筛选、匹配特征点。

20.根据权利要求12或13所述的多摄模组参数自校准方法，其中所述步骤(B)中包括步骤：判断是否需要进行校准。

21.根据权利要求12或13所述的多摄模组参数自校准方法，其中当所述多摄模组被应用于RGB-D相机时，根据RGB-D的贴附的准确性来判断。

22.根据权利要求12或13所述的多摄模组参数自校准方法，其中当所述多摄模组被应用于手机双摄模组时，根据极线矫正误差来判断。

23.根据权利要求12或13所述的多摄模组参数自校准方法，其中所述步骤(D)中包括步骤：

(D1)校准参数；和

(D2)验证校准结果。

24.一电子设备，其特征在于，包括：

一多摄模组；和

一多摄模组参数自校准系统，其中所述多摄模组参数自校准系统校准所述多摄模组的参数；

其中所述多摄模组参数自校准系统包括：

一特征点处理单元，用于处理一待校准多摄模组获取的图像信息中的特征点；

一代价函数确定单元，用于确定待校准参数的代价函数；和

一校准单元，根据所述代价函数校准多摄模组的外参数；

其中所述代价函数确定单元包括一优化模块，所述优化模块结合极线约束和极线矫正来确定所述代价函数，其中所述优化模块根据公式(4)得到总残差：

residual为总残差，residual₁为第一残差，residual₂为第二残差，residual₃为第三残差；

其中所述代价函数确定单元包括一第一残差模块、一第二残差模块以及一约束条件模块，其中所述第一残差模块通过极线约束来确定所述代价函数，以计算该第一残差；其中所述第二残差模块利用极线矫正来确定所述代价函数，以计算该第二残差；其中所述约束条件模块对待校准变量的变化进行约束；

其中所述约束条件模块利用公式(3)对旋转矩阵R和平移矩阵T变量进行约束，得到该第三残差：

residual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)]+λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz)] (3)；

residual₃-第三残差；Δ_Rx、Δ_Ry、Δ_Rz-旋转欧拉角增量；Δ_Tx、Δ_Ty、Δ_Tz-平移矩阵增量，λ_R、λ_T-旋转增量和平移增量的控制系数；

或者，其中所述约束条件模块利用公式(3a)对旋转矩阵R变量进行约束，得到该第三残差：

residual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)] (3a)

residual₃-第三残差；Δ_Rx、Δ_Ry、Δ_Rz-旋转欧拉角增量，λ_R-旋转增量控制系数；

又或者，其中所述约束条件模块利用公式(3b)对平移矩阵T变量进行约束，得到该第三残差：

residual₃＝λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz) (3b)

residual₃-第三残差；Δ_Tx、Δ_Ty、Δ_Tz-平移矩阵增量；λ_T-平移增量的控制系数。

25.根据权利要求24所述的电子设备，其中，所述第一残差模块利用公式(1)来计算该第一残差：

residual₁-第一残差，

-右图像中点坐标矩阵的转置，F-基础矩阵，x_l-左图像中点坐标矩阵。

26.根据权利要求25所述的电子设备，其中，所述第二残差模块利用公式(2)来计算该第二残差：

residual₂＝Δy (2)；

residual₂-第二残差，Δy-特征点对y方向坐标差值。

27.根据权利要求24-26任一所述的电子设备，其中所述第一残差根据公式(5)和(6)来确定：

E＝[t]_×R (5)；

E-本质矩阵；[t]_×-平移矩阵的反对称阵；R-旋转矩阵；

F-基本矩阵；

-右摄模组内参矩阵逆的转置；

-左摄模组内参矩阵的逆。

28.根据权利要求24-26任一所述的电子设备，其中所述第二残差确定过程为：

将外参R和T转化为极线矫正的两个旋转矩阵R_l和R_r，然后确定一个新的内参矩阵K，

式中，K_l、K_r-左摄模组、右摄模组内参矩阵；

极线矫正对应的单应性矩阵H(H_l，H_r)为：

利用公式(8)对获得的特征点进行极线矫正，

式中p_l、p_r-提取的角点齐次坐标；q_l、q_r-极线校正后角点的齐次坐标，

则综合公式(2)确定该第二残差。

29.根据权利要求24-26任一所述的电子设备，其中所述校准单元包括一结果校准模块和一结果验证模块，所述结果校准模块根据所述代价函数校准多摄模组参数，所述结果验证模块用于验证校准结果是否满足预定要求。

30.根据权利要求29所述的电子设备，其中当以校正参数为变量时，直接将校准结果作为最后的校准参数，当以校准参数的变化量为变量时，在离线标定的校准参数基础上加上参数的改变量。

31.根据权利要求24-26任一所述的电子设备，其中所述特征点处理单元提取图像中的特征点，采用RANSAC算法匹配和筛选特征点。

32.根据权利要求24-26任一所述的电子设备，其中所述多摄模组参数自校准系统包括一判断单元，所述判断单元判断所述多摄模组是否需要进行参数校准。

33.根据权利要求32所述的电子设备，其中当所述多摄模组被应用于RGB-D相机时，所述判断单元根据RGB-D贴附准确性来判断。

34.根据权利要求32所述的电子设备，其中当所述多摄模组被应用于手机双摄模组时，所述判断单元根据极线矫正误差来判断。

35.一摄像模组，其特征在于，根据多摄模组参数自校准方法进行参数校准；其中所述多摄模组参数自校准方法包括步骤：

(A)获取图像信息；

(B)处理图像信息中的特征点；

(C)基于特征点，获取校准变量的代价函数；和

(D)根据代价函数进行校准；

其中所述步骤(C)中利用公式(4)来确定一总残差residual：

residual为总残差，residual₁为第一残差，residual₂为第二残差，residual₃为第三残差；

其中所述步骤(C)中包括步骤：(C1)通过极线约束来确定代价函数，以计算该第一残差；(C2)通过极线矫正来确定代价函数，以计算该第二残差；(C3)约束校准变量；

其中所述步骤(C)中利用公式(3)来确定该第三残差residual₃：

residual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)]+λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz)](3)

residual₃-第三残差；Δ_Rx、Δ_Ry、Δ_Rz-旋转欧拉角增量；Δ_Tx、Δ_Ty、Δ_Tz-平移矩阵增量；λ_R、λ_T-旋转增量和平移增量的控制系数；

或者，其中所述步骤(C)中利用公式(3a)来确定该第三残差residual₃：

restdual₃＝λ_R[abs(Δ_Rx)+abs(Δ_Ry)+abs(Δ_Rz)] (3a)；

residual₃-第三残差；Δ_Rx、Δ_Ry、Δ_Rz-旋转欧拉角增量，λ_R-旋转增量控制系数；

又或者，其中所述步骤(C)中利用公式(3b)来确定该第三残差residual₃：

residual₃＝λ_T[abs(Δ_Tx)+abs(Δ_Ty)+abs(Δ_Tz)] (3b)；

residual₃-第三残差；Δ_Tx、Δ_Ty、Δ_Tz-平移矩阵增量；λ_T-平移增量的控制系数。

36.根据权利要求35所述的摄像模组，其中所述步骤(C)中包括步骤：(C4)综合多个几何关系，确定代价函数。

37.根据权利要求35或36所述的摄像模组，其中所述步骤(C)中利用公式(1)来确定该第一残差residual₁：

residual₁-第一残差，

-右图像中点坐标矩阵的转置，F--基础矩阵(FundamentalMartic)；x_l--左图像中点坐标矩阵，其中F可以根据多摄模组内参、旋转矩阵R、以及平移矩阵T来计算。

38.根据权利要求37所述的摄像模组，其中所述步骤(C)中利用公式(2)来确定该第二残差residual₂：

residual₂＝Δy (2)

residual₂-第二残差，Δy-特征点对y方向坐标差值。

39.根据权利要求37所述的摄像模组，其中所述第一残差根据公式(5)和(6)来确定：

E＝[t]_×R (5)；

E-本质矩阵；[t]_×-平移矩阵的反对称阵；R-旋转矩阵；

F-基本矩阵；

-右摄模组内参矩阵逆的转置；

-左摄模组内参矩阵的逆。

40.根据权利要求38所述的摄像模组，其中所述第二残差确定过程为：

将外参R和T转化为极线矫正的两个旋转矩阵R_l和R_r，然后确定一个新的内参矩阵K，

式中，K_l、K_r-左摄模组、右摄模组内参矩阵；

极线矫正对应的单应性矩阵H(H_l，H_r)为：

利用公式(8)对获得的特征点进行极线矫正，

式中p_l、p_r-提取的角点齐次坐标；q_l、q_r-极线校正后角点的齐次坐标，

则综合公式(2)确定该第二残差。

41.根据权利要求35或36所述的摄像模组，其中所述步骤(B)中包括步骤：提取、匹配特征点。

42.根据权利要求35或36所述的摄像模组，其中所述步骤(B)中根据RANSAC算法筛选、匹配特征点。

43.根据权利要求35或36所述的摄像模组，其中所述步骤(B)中包括步骤：判断是否需要进行校准。

44.根据权利要求35或36所述的摄像模组，其中当所述多摄模组被应用于RGB-D相机时，根据RGB-D的贴附的准确性来判断。

45.根据权利要求35或36所述的摄像模组，其中当所述多摄模组被应用于手机双摄模组时，根据极线矫正误差来判断。

46.根据权利要求35或36所述的摄像模组，其中所述步骤(D)中包括步骤：

(D1)校准参数；和

(D2)验证校准结果。

Images