CN105096296A - 立体相机成像的校正装置、方法及电子设备 - Google Patents

Abstract

本发明实施例提供一种立体相机成像的校正装置、方法及电子设备，该装置包括：提取单元，分别提取立体相机的左侧相机和右侧相机的图像，获得左侧图像和右侧图像；匹配单元，确定左侧图像和右侧图像中的匹配点；优化单元，利用左侧图像和右侧图像中的匹配点的坐标，在满足左侧相机和右侧相机的共轭极线共线、且共轭极线平行于立体相机的基线的约束条件下，对初始的校正参数进行优化；第一校正单元，根据优化后的校正参数对左侧图像和右侧图像进行校正。通过确定提取出的左侧图像和右侧图像中的匹配点，并利用优化后的校正参数进行校正，能够对立体相机的成像进行在线校正，提高校正速度和准确性，从而提高立体相机的成像质量。

Description

立体相机成像的校正装置、方法及电子设备

技术领域

本发明涉及通信技术领域，尤其涉及一种立体相机成像的校正装置、方法及电子设备。

背景技术

随着信息技术的不断发展，立体相机的应用也越来越广泛。在使用立体相机的过程中，例如相机的抖动或振动、环境温度的变化以及相机的循环使用等状况将导致外部参数的变化，因此需要对立体相机的成像进行校正。

现有的校正方法一般在外部参数变化之后，离线计算校正参数并进行立体相机的重新校正。

应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

上述现有的校正方法需要离线进行计算并校正，校正速度较慢且准确性较差，从而影响立体相机的成像质量。

本发明实施例提供一种立体相机成像的校正装置、方法及电子设备，通过确定提取出的左侧图像和右侧图像中的匹配点，利用该匹配点的坐标在约束条件下对校正参数进行优化，并利用优化后的校正参数进行校正，能够对立体相机的成像进行在线校正，提高校正速度和准确性，从而提高立体相机的成像质量。

根据本发明实施例的第一方面，提供一种立体相机成像的校正装置，所述校正装置包括：提取单元，所述提取单元用于分别提取立体相机的左侧相机和右侧相机的图像，获得左侧图像和右侧图像；匹配单元，所述匹配单元用于确定所述左侧图像和右侧图像中的匹配点；优化单元，所述优化单元用于利用所述左侧图像和右侧图像中的匹配点的坐标，在满足左侧相机和右侧相机的共轭极线共线、且所述共轭极线平行于所述立体相机的基线的约束条件下，对初始的校正参数进行优化；第一校正单元，所述第一校正单元用于根据优化后的校正参数对所述左侧图像和右侧图像进行校正。

根据本发明实施例的第二方面，提供一种电子设备，所述电子设备包括根据本发明实施例的第一方面所述的立体相机成像的校正装置。

根据本发明实施例的第三方面，提供一种立体相机成像的校正方法，所述校正方法包括：分别提取立体相机的左侧相机和右侧相机的图像，获得左侧图像和右侧图像；确定所述左侧图像和右侧图像中的匹配点；利用所述左侧图像和右侧图像中的匹配点的坐标，在满足左侧相机和右侧相机的共轭极线共线、且所述共轭极线平行于所述立体相机的基线的约束条件下，对初始的校正参数进行优化；根据优化后的校正参数对所述左侧图像和右侧图像进行校正。

本发明的有益效果在于：通过确定提取出的左侧图像和右侧图像中的匹配点，利用该匹配点的坐标在约束条件下对校正参数进行优化，并利用优化后的校正参数进行校正，能够对立体相机的成像进行在线校正，提高了校正速度和准确性，从而提高了立体相机的成像质量。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明实施例1的立体相机成像的校正装置的结构示意图；

图2是本发明实施例1的左侧相机和右侧相机的位置关系图；

图3是本发明实施例1的匹配单元的结构示意图；

图4是本发明实施例1的确定左侧图像和右侧图像中的匹配点的方法流程图；

图5是本发明实施例1的左侧相机和右侧相机旋转角度的示意图；

图6是本发明实施例2的电子设备的系统构成的一示意框图；

图7是本发明实施例3的立体相机成像的校正方法的流程图；

图8是本发明实施例4的立体相机成像的校正方法的流程图。

具体实施方式

参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。

实施例1

图1是本发明实施例1的立体相机成像的校正装置的结构示意图。如图1所示，该装置100包括：提取单元101、匹配单元102、优化单元103以及第一校正单元104，其中，

提取单元101用于分别提取立体相机的左侧相机和右侧相机的一帧图像，获得左侧图像和右侧图像；

匹配单元102用于确定该左侧图像和右侧图像中的匹配点；

优化单元103用于利用该左侧图像和右侧图像中的匹配点的坐标，在满足左侧相机和右侧相机的共轭极线共线、且该共轭极线平行于该立体相机的基线的约束条件下，对初始的校正参数进行优化；

第一校正单元104用于根据优化后的校正参数对该左侧图像和右侧图像进行校正。

在本实施例中，“立体相机的基线”指的是左侧相机的中心点与右侧相机的中心点的连线，“极线”指的是像面与基线的交点与空间点在该像面上投影点的连线。图2是本实施例的左侧相机和右侧相机的位置关系图。如图2所示，O_L和O_R分别是左侧相机和右侧相机的中心点，O_L和O_R的连线即为立体相机的基线，E_L和E_R分别是基线与左侧相机的像面以及右侧相机的像面的交点，P为空间上任意的点，P_L和P_R分别是该空间点在左侧相机的像面以及右侧相机的像面上的投影点，E_L与P_L的连线为左侧相机的极线，E_R与P_R的连线为右侧相机的极线，E_L与P_L的连线与E_R与P_R的连线构成左侧相机和右侧相机的一对共轭极线。在本实施例中，对立体相机的成像进行校正的目标是使得E_L和E_R位于无穷远处，从而使得该共轭极线共线且与立体相机的基线平行。

由上述实施例可知，通过确定提取出的左侧图像和右侧图像中的匹配点，利用该匹配点的坐标在约束条件下对校正参数进行优化，并利用优化后的校正参数进行校正，能够对立体相机的成像进行在线校正，提高校正速度和准确性，从而提高立体相机的成像质量。

在本实施例中，立体相机可使用现有的结构，其包括左侧相机和右侧相机，且可使用现有的任一种方法进行成像，本发明实施例不对立体相机的结构以及立体相机的成像方法进行限制。

在本实施例中，可使用现有的任一种方法提取左侧相机和右侧相机的一帧图像，本发明实施例不对提取图像的方法进行限制。

在本实施例中，在提取出左侧相机和右侧相机的图像，即左侧图像和右侧图像之后，匹配单元102确定左侧图像和右侧图像中的匹配点。其中，可使用现有的任一种方法确定左侧图像和右侧图像中的匹配点。

以下对本发明实施的确定左侧图像和右侧图像中的匹配点的方法进行示例性的说明。

图3是本实施例的匹配单元的结构示意图。如图3所示，该匹配单元102包括：第二校正单元301、第一计算单元302以及第二计算单元303，其中，

第二校正单元301用于利用初始的校正参数对左侧图像和右侧图像进行校正；

第一计算单元302用于计算左侧图像和右侧图像的尺寸不变特征转换描述符，确定候选匹配点；

第二计算单元303用于检查该候选匹配点的一致性，将满足一致性条件的候选匹配点作为左侧图像和右侧图像的匹配点。

图4是本实施例的确定左侧图像和右侧图像中的匹配点的方法流程图。如图4所示，该方法包括：

步骤401：利用初始的校正参数对左侧图像和右侧图像进行初始校正；

步骤402：计算初始校正后的左侧图像和右侧图像的尺寸不变特征转换描述符，确定候选匹配点；

步骤403：检查该候选匹配点的一致性，将满足一致性条件的候选匹配点作为左侧图像和右侧图像的匹配点。

在本实施例中，该初始的校正参数可根据实际需要预先设定。本发明实施例不对校正参数的类型进行限制。例如，该校正参数是左侧图像在X、Y、Z轴上的旋转角度 $\left[\begin{array}{ccc}{\mathrm{\γ}}_l& {\mathrm{\α}}_l& {\mathrm{\β}}_l\end{array}\right]$ 以及右侧图像在X、Y、Z轴上的旋转角度 $\left[\begin{array}{ccc}{\mathrm{\γ}}_r& {\mathrm{\α}}_r& {\mathrm{\β}}_r\end{array}\right].$

其中，可以由下式(1)定义旋转矩阵：

S＝[R|t](1)

其中，S表示立体相机的外部参数，R表示旋转矩阵，t表示位移向量。在本实施例中，可以用R_l和R_r分别表示左侧相机和右侧相机的旋转矩阵。

假设立体相机具有下式(2)表示的相机矩阵：

$K_k=K_r=\left[\begin{array}{ccc}f& 0& x_0\\ 0& f& y_0\\ 0& 0& 1\end{array}\right]---\left(2\right)$

其中，K_l和K_r分别表示左侧相机和右侧相机的相机矩阵，f表示相机的焦距，x₀和y₀分别表示相机中心的横坐标和纵坐标。

对于校正后的图像，该图像的坐标需要满足下式(3)表示的约束条件：

(x_l,y_l)^T＝(x_r+d,y_r)^T(3)

其中，d表示视差，x_l,y_l表示左侧图像的横坐标和纵坐标，x_r，y_r表示右侧图像的横坐标和纵坐标。

当外部参数S发生变化时，图像的坐标不再满足上式(3)表示的约束条件，因此，需要利用旋转修正参数C_l和C_r对旋转矩阵进行调节，其中，可使用下式(4)进行调节：

$\begin{array}{c}{R_l}^{\text{'}}=C_l^T{R}_l\\ {R_r}^{\text{'}}=C_r^T{R}_r\end{array}---\left(4\right)$

其中，R_l'和R_r'分别表示调节后的左侧相机和右侧相机的旋转矩阵，C_l和C_r分别表示左侧相机和右侧相机的旋转修正参数，R_l和R_r分别表示调节前的左侧相机和右侧相机的旋转矩阵。

而对于C_l和C_r，可用下式(5)表示：

C_l＝R_X(γ_l)R_Y(α_l)R_Z(β_l)

C_r＝R_X(γ_r)R_Y(α_r)R_Z(β_r)(5)

其中，γ_l，α_l，β_l表示左侧图像相对于X、Y、Z轴向右旋转的角度，γ_r，α_r，β_r表示右侧图像相对于X、Y、Z轴向右旋转的角度。

因此，该校正参数可以是左侧图像在X、Y、Z轴上的旋转角度 $\left[\begin{array}{ccc}{\mathrm{\γ}}_l& {\mathrm{\α}}_l& {\mathrm{\β}}_l\end{array}\right]$ 以及右侧图像在X、Y、Z轴上的旋转角度 $\left[\begin{array}{ccc}{\mathrm{\γ}}_r& {\mathrm{\α}}_r& {\mathrm{\β}}_r\end{array}\right].$

在本实施例中，对左侧图像和右侧图像进行初始校正之后，可使用现有的任一种方法计算初始校正后的左侧图像和右侧图像的尺寸不变特征转换(Scale-invariantFeatureTransform,SIFT)描述符并确定候选匹配点。

例如，对于初始校正后的左侧图像和右侧图像，可以获得128位的SIFT描述符及其位置的列表，然后，对于左侧图像的每一个特征点，可以用下式(6)计算该特征点与右侧图像中每一个特征点的角度：

θ＝arccos(d_l·d_r)(6)

其中，d_l和d_r分别表示左侧图像和右侧图像的描述符。

当特征点的上述角度和纵坐标满足以下的式(7)和(8)时，则将该特征点作为候选匹配点；

θ_min1<r_θ·θ_min2(7)

|y_l-y_r|<y_thres(8)

其中，θ_min1和θ_min2表示该特征点的最小的两个角度，y_l和y_r分别表示候选匹配点在左侧图像和右侧图像的纵坐标，r_θ表示作为候选的两个匹配点的差别的阈值，y_thres表示纵坐标变化阈值，该r_θ以及y_thres可以根据实际需要确定。例如，r_θ＝0.6，y_thres＝10。但本发明实施例不限于该取值。

在对左侧图像的每一个特征点进行上述计算后，对右侧图像的每一个特征点进行相同的计算，从而确定初始校正后的左侧图像和右侧图像中的候选匹配点。

在本实施例中，在确定初始校正后的左侧图像和右侧图像中的候选匹配点后，第二计算单元203检查这些候选匹配点的一致性，将满足一致性条件的候选匹配点作为左侧图像和右侧图像的匹配点。其中，可使用现有的任一种方法检查候选匹配点的一致性，本发明实施例不对检查一致性的方法进行限制。

例如，可使用下式(9)表示对候选匹配点进行一致性检查时使用的一致性条件：

m_r(m_l(p_l))＝p_l(9)

其中，p_l表示左侧图像中的一个候选匹配点，m_l表示在右侧图像中寻找与p_l匹配的点，m_r表示在左侧图像中寻找与该匹配的点对应的点。

当候选匹配点p_l满足上式(9)表示的一致性条件时，则将候选该匹配点作为左侧图像和右侧图像的匹配点。

在本实施例中，该装置还可以包括：判断单元105，其用于判断上述匹配点的数量是否大于等于预先设定的阈值。在本实施例中，判断单元105为可选部件，在图1中用虚线表示。

其中，当上述匹配点的数量大于等于该阈值时，优化单元103根据上述匹配点的坐标进行优化；当上述匹配点的数量小于该阈值时，提取单元101提取左侧相机和右侧相机的下一帧图像，匹配单元102确定下一帧左侧图像和右侧图像中的匹配点，直到匹配点的累计数量大于等于该阈值。

在本实施例中，该预先设定的阈值可根据实际需要而设定。例如，该阈值为2000。但本发明实施例不限于该取值。

通过设置判断单元对匹配点的数量进行判断，可以将满足一定数量的匹配点用于校正参数的优化，从而进一步提高成像校正的准确性。

在本实施例中，在获得上述匹配点之后，优化单元103利用这些匹配点的坐标，在满足左侧相机和右侧相机的共轭极线共线、且该共轭极线平行于该立体相机的基线的约束条件下，对初始的校正参数进行优化。其中，可使用现有的任一种方法获得该约束条件，以及利用这些匹配点的坐标和该约束条件对初始的校正参数进行优化。

以下对本发明实施例的获得该约束条件的方法以及对校正参数进行优化的方法进行示例性的说明。

例如，首先对极线误差函数进行定义：

校正后的左侧图像和右侧图像的坐标可以用下式(10)表示：

$\begin{array}{c}{u}_l=K_l{C}_l^T{K}_l^{-1}{x}_l\\ u_r=K_r{C}_r^T{K}_r^{-1}{x}_r\end{array}---\left(10\right)$

其中，K_l和K_r分别表示左侧相机和右侧相机的相机矩阵，C_l和C_r分别表示左侧相机和右侧相机的旋转修正参数，x_l＝[x_l,y_l,1]^T，x_r＝[x_r,y_r,1]^T。

结合上式(2)可以得到下式(11)：

$u_l=\left[\begin{array}{c}{\mathrm{fC}}_{l\left[1\right]}^T{X}_l+x_0{C}_{l\left[3\right]}^T{X}_l\\ {\mathrm{fC}}_{l\left[2\right]}^T{X}_l+y_0{C}_{l\left[3\right]}^T{X}_l\\ C_{l\left[3\right]}^T{X}_l\end{array}\right],u_r=\left[\begin{array}{c}{\mathrm{fC}}_{r\left[1\right]}^T{X}_r+x_0{C}_{r\left[3\right]}^T{X}_r\\ {\mathrm{fC}}_{r\left[3\right]}^T{X}_r+y_0{C}_{r\left[3\right]}^T{X}_r\\ C_{r\left[3\right]}^T{X}_r\end{array}\right]---\left(11\right)$

其中，表示矩阵的第b行，X_l和X_r分别表示左侧图像和右侧图像中的匹配点x_l和x_r关于左侧相机中心和右侧相机中心的世界坐标。其中，X_l和X_r可用下式(12)表示：

$X_l=K_l^{-1}{x}_l,X_r=K_r^{-1}{x}_r---\left(12\right)$

左侧图像和右侧图像的坐标中的不均匀格式可以用下式(13)表示：

$u_l=\left[\begin{array}{c}\frac{{\mathrm{fC}}_{l\left[1\right]}^T{X}_l}{C_{l\left[3\right]}^T{X}_l}+x_0\\ \frac{{\mathrm{fC}}_{l\left[2\right]}^T{X}_l}{C_{l\left[3\right]}^T{X}_l}+y_0\end{array}\right],u_r=\left[\begin{array}{c}\frac{{\mathrm{fC}}_{r\left[1\right]}^T{X}_r}{C_{r\left[3\right]}^T{X}_r}+x_0\\ \frac{{\mathrm{fC}}_{r\left[2\right]}^T{X}_r}{C_{r\left[3\right]}^T{X}_r}+y_0\end{array}\right]---\left(13\right)$

因此，极线误差函数可以用下式(14)表示：

${\mathrm{\&epsiv;}}_i=(\frac{{\mathrm{fC}}_{l\left[2\right]}^T{X}_l}{C_{l\left[3\right]}^T{X}_l}+y_0)-(\frac{{\mathrm{fC}}_{r\left[2\right]}^T{X}_r}{C_{r\left[3\right]}^T{X}_r}+y_0)=\frac{{\mathrm{fC}}_{l\left[2\right]}^T{X}_l}{C_{l\left[3\right]}^T{X}_l}-\frac{{\mathrm{fC}}_{r\left[2\right]}^T{X}_r}{C_{r\left[3\right]}^T{X}_r}---\left(14\right)$

其中，ε_i表示左侧图像和右侧图像中第i个匹配点的极线误差。

在本实施例中，对校正参数进行优化的目标是左侧相机和右侧相机的共轭极线共线、且共轭极线平行于立体相机的基线，即使得校正后的极线误差最小。因此，可以用下式(15)表示优化的约束条件：

$\underset{C_l,C_r}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&epsiv;}}_i^2---\left(15\right)$

其中，ε_i表示左侧图像和右侧图像中第i个匹配点的极线误差，N为所有匹配点的数量，1≤i≤N。

在本实施例中，根据罗德里格斯(Rodrigues)旋转公式，校正后的旋转矩阵可以用下式(16)表示：

C＝R_X(γ)R_Y(α)R_Z(β)＝Icosθ+[ω]_×sinθ+(1-cosθ)ωω^T(16)

其中，θ表示旋转轴的旋转角度，ω表示旋转轴上的单位向量。

其中，θ和ω可以用下式(17)表示：

$\mathrm{\&theta;}=\left|{\left[\begin{array}{ccc}\mathrm{\&gamma;}& \mathrm{\&alpha;}& \mathrm{\&beta;}\end{array}\right]}^T\right|$

$\mathrm{\&omega;}={\left[\begin{array}{ccc}\mathrm{\&gamma;}& \mathrm{\&alpha;}& \mathrm{\&beta;}\end{array}\right]}^T---\left(17\right)$

在本实施例中，可以用下式(18)表示ω的叉积矩阵：

${\left[\mathrm{\&omega;}\right]}_{x0}=\left[\begin{array}{ccc}0& -\mathrm{\&omega;}\left(3\right)& \mathrm{\&omega;}\left(2\right)\\ \mathrm{\&omega;}\left(3\right)& 0& -\mathrm{\&omega;}\left(1\right)\\ -\mathrm{\&omega;}\left(2\right)& \mathrm{\&omega;}\left(1\right)& 2\end{array}\right]---\left(18\right)$

其中，ω(i)表示向量ω的第i个元素。

结合上式(16)，校正后的旋转矩阵可以用下式(19)表示：

$C=\left[\begin{array}{ccc}\cos \mathrm{\&theta;}+(1-\cos \mathrm{\&theta;})\mathrm{\&omega;}{\left(1\right)}^2& -\mathrm{\&omega;}\left(3\right)\sin \mathrm{\&theta;}+(1-\cos \mathrm{\&theta;})\mathrm{\&omega;}\left(1\right)\mathrm{\&omega;}\left(2\right)& \mathrm{\&omega;}\left(2\right)\sin \mathrm{\&theta;}+\mathrm{\&omega;}\left(1\right)\mathrm{\&omega;}\left(3\right)(1-\cos )\\ \mathrm{\&omega;}\left(3\right)\sin \mathrm{\&theta;}+(1-\cos \mathrm{\&theta;})\mathrm{\&omega;}\left(1\right)\mathrm{\&omega;}\left(2\right)& \cos \mathrm{\&theta;}+(1-\cos \mathrm{\&theta;})\mathrm{\&omega;}{\left(2\right)}^2& -\mathrm{\&omega;}\left(1\right)\sin \mathrm{\&theta;}+(1-\cos \mathrm{\&theta;})\mathrm{\&omega;}\left(2\right)\mathrm{\&omega;}\left(3\right)\\ -\mathrm{\&omega;}\left(2\right)\sin \mathrm{\&theta;}+(1-\cos \mathrm{\&theta;})\mathrm{\&omega;}\left(1\right)\mathrm{\&omega;}\left(3\right)& \mathrm{\&omega;}\left(1\right)\sin \mathrm{\&theta;}+(1-\cos \mathrm{\&theta;})\mathrm{\&omega;}\left(2\right)\mathrm{\&omega;}\left(3\right)& \cos \mathrm{\&theta;}+(1-\cos \mathrm{\&theta;})\mathrm{\&omega;}{\left(3\right)}^2\end{array}\right].---\left(19\right)$

根据上式(19)，可以容易的计算下式(20)表示的9×3的矩阵：

$\frac{\mathrm{dC}}{d{\left[\begin{array}{ccc}\mathrm{\&gamma;}& \mathrm{\&alpha;}& \mathrm{\&beta;}\end{array}\right]}^T}=\left[\begin{array}{ccc}{\&PartialD;C}_{11}/\&PartialD;\mathrm{\&gamma;}& \&PartialD;\mathrm{\&gamma;}/\&PartialD;\mathrm{\&alpha;}& {\&PartialD;C}_{11}/\&PartialD;\mathrm{\&beta;}\\ {\&PartialD;C}_{21}/\&PartialD;\mathrm{\&gamma;}& {\&PartialD;C}_{21}/\&PartialD;\mathrm{\&alpha;}& {\&PartialD;C}_{21}/\&PartialD;\mathrm{\&beta;}\\ ...& ...& ...\\ {\&PartialD;C}_{11}/\&PartialD;\mathrm{\&gamma;}& {\&PartialD;C}_{33}/\&PartialD;\mathrm{\&alpha;}& {\&PartialD;C}_{33}/\&PartialD;\mathrm{\&beta;}\end{array}\right]---\left(20\right)$

其中，Ci_j表示矩阵C的第i行、第j列的元素。

在本实施例中，由于经过姿势修正后的左侧相机和右侧相机的主轴是平行的，因此可以将优化的6自由度的外部姿势限制为3自由度的外部姿势。其中，本实施例中的校正参数即旋转角度 $\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_l& {\mathrm{\&alpha;}}_l& {\mathrm{\&beta;}}_l\end{array}\right]$ 和 $\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_r& {\mathrm{\&alpha;}}_r& {\mathrm{\&beta;}}_r\end{array}\right]$ 可以用下式(21)表示：

$\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_1& {\mathrm{\&alpha;}}_1& {\mathrm{\&beta;}}_1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\&gamma;}/2& \mathrm{\&alpha;}/2& \mathrm{\&beta;}/2\end{array}\right],\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_r& {\mathrm{\&alpha;}}_r& {\mathrm{\&beta;}}_r\end{array}\right]=\left[\begin{array}{ccc}-\mathrm{\&gamma;}/2& -\mathrm{\&alpha;}/2& -\mathrm{\&beta;}/2\end{array}\right]---\left(21\right)$

其中， $\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_l& {\mathrm{\&alpha;}}_l& {\mathrm{\&beta;}}_l\end{array}\right]$ 表示左侧图像在X、Y、Z轴上的旋转角度， $\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_r& {\mathrm{\&alpha;}}_r& {\mathrm{\&beta;}}_r\end{array}\right]$ 表示所述右侧图像在X、Y、Z轴上的旋转角度，α,β,γ均大于等于0。

图5是本实施例的左侧相机和右侧相机旋转角度的示意图。如图5所示，左侧相机和右侧相机均使用γ/2，α/2以及β/2表示的3自由度的旋转角度进行姿势的修正。

在本实施例中，可使用现有的任一种优化方法进行优化。例如，可使用最小二乘法进行优化。

例如，可使用最小二乘法中的列文伯格-马夸尔特(Levenberg-Marquardt)法，对上式(15)进行优化。

首先，可利用下式(22)计算ε_i关于γ的导数：

$\begin{array}{c}\frac{{\&PartialD;\mathrm{\&epsiv;}}_i}{\&PartialD;\mathrm{\&gamma;}}=f(\frac{\frac{{\&PartialD;C}_{l\left[2\right]}^T}{\&PartialD;\mathrm{\&gamma;}}{X}_l{C}_{l\left[3\right]}^T{X}_l-C_{l\left[2\right]}^T{X}_l\frac{{\&PartialD;C}_{l\left[3\right]}^T}{\&PartialD;\mathrm{\&gamma;}}{X}_l}{{\left(C_{l\left[3\right]}^T{X}_l\right)}^2}-\frac{\frac{{\&PartialD;C}_{r\left[3\right]}^T}{\&PartialD;\mathrm{\&gamma;}}{X}_r{C}_{r\left[3\right]}^T{X}_r-C_{r\left[2\right]}^T{X}_r\frac{{\&PartialD;C}_{r\left[3\right]}^T}{\&PartialD;\mathrm{\&gamma;}}{X}_r}{{\left(C_{r\left[3\right]}^T{X}_r\right)}^2})\\ =f(\frac{\frac{{\&PartialD;C}_{l\left[2\right]}^T}{{\&PartialD;\mathrm{\&gamma;}}_l}\frac{{\&PartialD;\mathrm{\&gamma;}}_1}{\&PartialD;\mathrm{\&gamma;}}{X}_l{C}_{l\left[3\right]}^T{X}_l-C_{l\left[2\right]}^T{X}_l\frac{{\&PartialD;C}_{l\left[3\right]}^T}{{\&PartialD;\mathrm{\&gamma;}}_1}\frac{{\&PartialD;\mathrm{\&gamma;}}_l}{\&PartialD;\mathrm{\&gamma;}}{X}_l}{{\left(C_{l\left[3\right]}^T{X}_l\right)}^2}-\frac{\frac{{\&PartialD;C}_{l\left[2\right]}^T{\&PartialD;\mathrm{\&gamma;}}_l}{{\&PartialD;\mathrm{\&gamma;}}_l}\frac{{\&PartialD;\mathrm{\&gamma;}}_l}{\&PartialD;\mathrm{\&gamma;}}{X}_r{C}_{r\left[3\right]}^T{X}_r-C_{r\left[2\right]}^T{X}_r\frac{{\&PartialD;C}_{l\left[3\right]}^T}{{\&PartialD;\mathrm{\&gamma;}}_l}\frac{{\&PartialD;\mathrm{\&gamma;}}_l}{\&PartialD;\mathrm{\&gamma;}}{X}_r}{{\left(C_{r\left[3\right]}^T\right)}^2})\\ =\frac{f}{2}(\frac{\frac{{\&PartialD;C}_{l\left[2\right]}^T}{{\&PartialD;\mathrm{\&gamma;}}_1}{X}_l{C}_{l\left[3\right]}^T{X}_l-C_{l\left[3\right]}^T{X}_l\frac{{\&PartialD;C}_{l\left[3\right]}^T}{{\&PartialD;\mathrm{\&gamma;}}_l}{X}_l}{{\left(C_{l\left[3\right]}^T{X}_l\right)}^2}+\frac{\frac{{\&PartialD;C}_{l\left[2\right]}^T}{{\&PartialD;\mathrm{\&gamma;}}_l}{X}_r{C}_{r\left[3\right]}^T{X}_r-C_{r\left[3\right]}^T{X}_r\frac{{\&PartialD;C}_{l\left[3\right]}^T}{{\&PartialD;\mathrm{\&gamma;}}_l}{X}_r}{{\left(C_{r\left[3\right]}^T{X}_r\right)}^2})\end{array}---\left(22\right)$

然后，可利用相同的方法计算ε_i关于α的导数以及ε_i关于β的导数

在本实施例中，在获得上述导数的表达式之后，可以利用现有的列文伯格-马夸尔特(Levenberg-Marquardt)法进行优化，最后获得优化后的校正参数 $\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_l& {\mathrm{\&alpha;}}_l& {\mathrm{\&beta;}}_l\end{array}\right]$ 和 $\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_r& {\mathrm{\&alpha;}}_r& {\mathrm{\&beta;}}_r\end{array}\right].$

在本实施例中，在获得优化后的校正参数之后，第一校正单元104根据优化后的校正参数对左侧图像和右侧图像进行校正。其中，可使用现有的任一种方法根据该优化后的校正参数进行校正。

由上述实施例可知，通过确定提取出的左侧图像和右侧图像中的匹配点，利用该匹配点的坐标在约束条件下对校正参数进行优化，并利用优化后的校正参数进行校正，能够对立体相机的成像进行在线校正，提高校正速度和准确性，从而提高立体相机的成像质量。

实施例2

本发明实施例提供一种电子设备，该电子设备包括如实施例1所述的立体相机成像的校正装置。

图6是本发明实施例2的电子设备600的系统构成的一示意框图。如图6所示，电子设备600可以包括中央处理器601和存储器602；存储器602耦合到中央处理器601。该图是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。

如图6所示，该电子设备600还可以包括：通信模块603、输入单元604、显示器605、电源606、摄像单元607。其中，该摄像单元607具有现有的立体相机的功能，其拍摄图像，并存储在存储器602中。

在一个实施方式中，立体相机成像的校正装置的功能可以被集成到中央处理器601中。其中，中央处理器601可以被配置为：分别提取立体相机的左侧相机和右侧相机的图像，获得左侧图像和右侧图像；确定所述左侧图像和右侧图像中的匹配点；利用所述左侧图像和右侧图像中的匹配点的坐标，在满足左侧相机和右侧相机的共轭极线共线、且所述共轭极线平行于所述立体相机的基线的约束条件下，对初始的校正参数进行优化；根据优化后的校正参数对所述左侧图像和右侧图像进行校正。

其中，中央处理器601还可以被配置为：判断所述匹配点的数量是否大于等于预先设定的阈值；其中，当所述匹配点的数量大于等于所述阈值时，根据所述匹配点的坐标进行所述优化；当所述匹配点的数量小于所述阈值时，提取左侧相机和右侧相机的下一帧图像，确定下一帧左侧图像和右侧图像中的匹配点，直到匹配点的累计数量大于等于所述阈值。

其中，所述确定所述左侧图像和右侧图像中的匹配点，包括：利用所述初始的校正参数对所述左侧图像和右侧图像进行初始校正；计算初始校正后的左侧图像和右侧图像的尺寸不变特征转换描述符，确定候选匹配点；检查所述候选匹配点的一致性，将满足一致性条件的候选匹配点作为所述左侧图像和右侧图像的匹配点。

其中，所述将输入图像的亮度分解为光照成分和反射成分，包括：对所述输入图像的亮度进行边缘保留滤波，获得所述光照成分；根据所述输入图像的亮度以及所述光照成分，确定所述反射成分。

在另一个实施方式中，立体相机成像的校正装置可以与中央处理器601分开配置，例如可以将立体相机成像的校正装置为与中央处理器601连接的芯片，通过中央处理器的控制来实现立体相机成像的校正装置的功能。

在本实施例中电子设备600也并不是必须要包括图6中所示的所有部件

如图6所示，中央处理器601有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，中央处理器601接收输入并控制电子设备600的各个部件的操作。

存储器602，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器601可执行该存储器602存储的该程序，以实现信息存储或处理等。其他部件的功能与现有类似，此处不再赘述。电子设备600的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本发明的范围。

在本实施例中，该电子设备例如是便携式无线电通信设备，包括所有诸如移动电话、智能手机、寻呼机、通信装置、电子记事簿、个人数字助理(PDA)、智能电话、便携式通信装置等的设备。另外，该电子设备还可以是具有摄像功能的设备，该设备可以不具有通信功能，例如包括：照相机、摄像机等。本发明实施例并不对电子设备的种类进行限制。

由上述实施例可知，通过确定提取出的左侧图像和右侧图像中的匹配点，利用该匹配点的坐标在约束条件下对校正参数进行优化，并利用优化后的校正参数进行校正，能够对立体相机的成像进行在线校正，提高校正速度和准确性，从而提高立体相机的成像质量。

实施例3

图7是本发明实施例3的立体相机成像的校正方法的流程图，对应于实施例1的立体相机成像的校正装置。如图7所示，该方法包括：

步骤701：分别提取立体相机的左侧相机和右侧相机的图像，获得左侧图像和右侧图像；

步骤702：确定左侧图像和右侧图像中的匹配点；

步骤703：利用左侧图像和右侧图像中的匹配点的坐标，在满足左侧相机和右侧相机的共轭极线共线、且所述共轭极线平行于立体相机的基线的约束条件下，对初始的校正参数进行优化；

步骤704：根据优化后的校正参数对左侧图像和右侧图像进行校正。

在本实施例中，提取图像的方法、确定左侧图像和右侧图像中的匹配点的方法、在约束条件下对校正参数进行优化的方法以及根据优化后的校正参数进行校正的方法与实施例1的记载相同，此处不再赘述。

由上述实施例可知，通过确定提取出的左侧图像和右侧图像中的匹配点，利用该匹配点的坐标在约束条件下对校正参数进行优化，并利用优化后的校正参数进行校正，能够对立体相机的成像进行在线校正，提高校正速度和准确性，从而提高立体相机的成像质量。

实施例4

图8是本发明实施例4的立体相机成像的校正方法的流程图，对应于实施例1的立体相机成像的校正装置。如图8所示，该方法包括：

步骤801：分别提取立体相机的左侧相机和右侧相机的图像，获得左侧图像和右侧图像；

步骤802：利用所述初始的校正参数对所述左侧图像和右侧图像进行初始校正；

步骤803：计算初始校正后的左侧图像和右侧图像的尺寸不变特征转换描述符，确定候选匹配点；

步骤804：检查所述候选匹配点的一致性，将满足一致性条件的候选匹配点作为所述左侧图像和右侧图像的匹配点；

步骤805：判断匹配点的累计数量是否大于等于预先设定的阈值；其中，当判断结果为“是”时，进入步骤806，当判断结果为“否”时，进入步骤801，提取左侧相机和右侧相机的下一帧图像；

步骤806：利用左侧图像和右侧图像中的匹配点的坐标，在满足左侧相机和右侧相机的共轭极线共线、且共轭极线平行于立体相机的基线的约束条件下，对初始的校正参数进行优化；

步骤807：根据优化后的校正参数对左侧图像和右侧图像进行校正。

在本实施例中，提取图像的方法、进行初始校正的方法、确定候选匹配点的方法、检查所述候选匹配点的一致性的方法、判断匹配点的数量是否大于等于预先设定的阈值的方法、在约束条件下对校正参数进行优化的方法以及根据优化后的校正参数进行校正的方法与实施例1的记载相同，此处不再赘述。

由上述实施例可知，通过确定提取出的左侧图像和右侧图像中的匹配点，利用该匹配点的坐标在约束条件下对校正参数进行优化，并利用优化后的校正参数进行校正，能够对立体相机的成像进行在线校正，提高校正速度和准确性，从而提高立体相机的成像质量。

本发明实施例还提供一种计算机可读程序，其中当在立体相机成像的校正装置或电子设备中执行所述程序时，所述程序使得计算机在所述立体相机成像的校正装置或电子设备中执行实施例3或实施例4所述的立体相机成像的校正方法。

本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在立体相机成像的校正装置或电子设备中执行实施例3或实施例4所述的立体相机成像的校正方法。

本发明以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。

以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。

关于包括以上实施例的实施方式，还公开下述的附记：

附记1、一种立体相机成像的校正装置，所述校正装置包括：

提取单元，所述提取单元用于分别提取立体相机的左侧相机和右侧相机的图像，获得左侧图像和右侧图像；

匹配单元，所述匹配单元用于确定所述左侧图像和右侧图像中的匹配点；

优化单元，所述优化单元用于利用所述左侧图像和右侧图像中的匹配点的坐标，在满足左侧相机和右侧相机的共轭极线共线、且所述共轭极线平行于所述立体相机的基线的约束条件下，对初始的校正参数进行优化；

第一校正单元，所述第一校正单元用于根据优化后的校正参数对所述左侧图像和右侧图像进行校正。

附记2、根据附记1所述的校正装置，其中，所述校正装置还包括：

判断单元，所述判断单元用于判断所述匹配点的数量是否大于等于预先设定的阈值；

其中，当所述匹配点的数量大于等于所述阈值时，所述优化单元根据所述匹配点的坐标进行所述优化；当所述匹配点的数量小于所述阈值时，所述提取单元提取左侧相机和右侧相机的下一帧图像，所述匹配单元确定下一帧左侧图像和右侧图像中的匹配点，直到匹配点的累计数量大于等于所述阈值。

附记3、根据附记1所述的校正装置，其中，所述匹配单元包括：

第二校正单元，所述第二校正单元用于利用所述初始的校正参数对所述左侧图像和右侧图像进行初始校正；

第一计算单元，所述第一计算单元用于计算初始校正后的左侧图像和右侧图像的尺寸不变特征转换描述符，确定候选匹配点；

第二计算单元，所述第二计算单元用于检查所述候选匹配点的一致性，将满足一致性条件的候选匹配点作为所述左侧图像和右侧图像的匹配点。

附记4、根据附记1所述的校正装置，其中，所述校正参数用下式(1)表示：

其中，表示所^述左侧图像在X、Y、Z轴^上的旋转角度，表示所述右侧图像在X、Y、Z轴上的旋转角度，α,β,_γ均大于等于0。

附记5、根据附记1所述的校正装置，其中，所述约束条件用下式(2)表示：

其中，ε_i表示所述左侧图像和右侧图像中第i个匹配点的极线误差，1≤i≤N。

附记6、根据附记1所述的校正装置，其中，所述优化单元使用最小二乘法进行所述优化。

附记7、一种电子设备，所述电子设备包括根据附记1-6任一项所述的校正装置。

附记8、一种立体相机成像的校正方法，所述校正方法包括：

分别提取立体相机的左侧相机和右侧相机的图像，获得左侧图像和右侧图像；

确定所述左侧图像和右侧图像中的匹配点；

利用所述左侧图像和右侧图像中的匹配点的坐标，在满足左侧相机和右侧相机的共轭极线共线、且所述共轭极线平行于所述立体相机的基线的约束条件下，对初始的校正参数进行优化；

根据优化后的校正参数对所述左侧图像和右侧图像进行校正。

附记9、根据附记8所述的校正方法，其中，所述校正方法还包括：

判断所述匹配点的数量是否大于等于预先设定的阈值；

其中，当所述匹配点的数量大于等于所述阈值时，根据所述匹配点的坐标进行所述优化；当所述匹配点的数量小于所述阈值时，提取左侧相机和右侧相机的下一帧图像，确定下一帧左侧图像和右侧图像中的匹配点，直到匹配点的累计数量大于等于所述阈值。

附记10、根据附记8所述的校正方法，其中，所述确定所述左侧图像和右侧图像中的匹配点，包括：

利用所述初始的校正参数对所述左侧图像和右侧图像进行初始校正；

计算初始校正后的左侧图像和右侧图像的尺寸不变特征转换描述符，确定候选匹配点；

检查所述候选匹配点的一致性，将满足一致性条件的候选匹配点作为所述左侧图像和右侧图像的匹配点。

附记11、根据附记8所述的校正方法，其中，所述校正参数用下式(1)表示：

$\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_1& {\mathrm{\&alpha;}}_1& {\mathrm{\&beta;}}_1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\&gamma;}/2& \mathrm{\&alpha;}/2& \mathrm{\&beta;}/2\end{array}\right],\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_r& {\mathrm{\&alpha;}}_r& {\mathrm{\&beta;}}_r\end{array}\right]=\left[\begin{array}{ccc}-\mathrm{\&gamma;}/2& -\mathrm{\&alpha;}/2& -\mathrm{\&beta;}/2\end{array}\right]---\left(1\right)$

其中， $\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_l& {\mathrm{\&alpha;}}_l& {\mathrm{\&beta;}}_l\end{array}\right]$ 表示所述左侧图像在X、Y、Z轴上的旋转角度， $\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_r& {\mathrm{\&alpha;}}_r& {\mathrm{\&beta;}}_r\end{array}\right]$ 表示所述右侧图像在X、Y、Z轴上的旋转角度，α,β,_γ均大于等于0。

附记12、根据附记8所述的校正方法，其中，所述约束条件用下式(2)表示：

$\underset{C_l,C_r}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&epsiv;}}_i^2---\left(2\right)$

其中，ε_i表示所述左侧图像和右侧图像中第i个匹配点的极线误差，1≤i≤N。

附记13、根据附记8所述的校正方法，其中，所述对初始的校正参数进行优化包括：使用最小二乘法进行所述优化。

Claims (10)

1.一种立体相机成像的校正装置，所述校正装置包括：

提取单元，所述提取单元用于分别提取立体相机的左侧相机和右侧相机的图像，获得左侧图像和右侧图像；

匹配单元，所述匹配单元用于确定所述左侧图像和右侧图像中的匹配点；

优化单元，所述优化单元用于利用所述左侧图像和右侧图像中的匹配点的坐标，在满足左侧相机和右侧相机的共轭极线共线、且所述共轭极线平行于所述立体相机的基线的约束条件下，对初始的校正参数进行优化；

第一校正单元，所述第一校正单元用于根据优化后的校正参数对所述左侧图像和右侧图像进行校正。

2.根据权利要求1所述的校正装置，其中，所述校正装置还包括：

判断单元，所述判断单元用于判断所述匹配点的数量是否大于等于预先设定的阈值；

其中，当所述匹配点的数量大于等于所述阈值时，所述优化单元根据所述匹配点的坐标进行所述优化；当所述匹配点的数量小于所述阈值时，所述提取单元提取左侧相机和右侧相机的下一帧图像，所述匹配单元确定下一帧左侧图像和右侧图像中的匹配点，直到匹配点的累计数量大于等于所述阈值。

3.根据权利要求1所述的校正装置，其中，所述匹配单元包括：

第二校正单元，所述第二校正单元用于利用所述初始的校正参数对所述左侧图像和右侧图像进行初始校正；

第一计算单元，所述第一计算单元用于计算初始校正后的左侧图像和右侧图像的尺寸不变特征转换描述符，确定候选匹配点；

第二计算单元，所述第二计算单元用于检查所述候选匹配点的一致性，将满足一致性条件的候选匹配点作为所述左侧图像和右侧图像的匹配点。

4.根据权利要求1所述的校正装置，其中，所述校正参数用下式(1)表示：

$\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_1& {\mathrm{\&alpha;}}_1& {\mathrm{\&beta;}}_1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\&gamma;}/2& \mathrm{\&alpha;}/2& \mathrm{\&beta;}/2\end{array}\right],\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_r& {\mathrm{\&alpha;}}_r& {\mathrm{\&beta;}}_r\end{array}\right]=\left[\begin{array}{ccc}-\mathrm{\&gamma;}/2& -\mathrm{\&alpha;}/2& -\mathrm{\&beta;}/2\end{array}\right]---\left(1\right)$

其中， $\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_l& {\mathrm{\&alpha;}}_l& {\mathrm{\&beta;}}_l\end{array}\right]$ 表示所述左侧图像在X、Y、Z轴上的旋转角度， $\left[\begin{array}{ccc}{\mathrm{\&gamma;}}_r& {\mathrm{\&alpha;}}_r& {\mathrm{\&beta;}}_r\end{array}\right]$ 表示所述右侧图像在X、Y、Z轴上的旋转角度，α,β,γ均大于等于0。

5.根据权利要求1所述的校正装置，其中，所述约束条件用下式(2)表示：

$\underset{C_l,C_r}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&epsiv;}}_i^2---\left(2\right)$

其中，ε_i表示所述左侧图像和右侧图像中第i个匹配点的极线误差，1≤i≤N。

6.根据权利要求1所述的校正装置，其中，所述优化单元使用最小二乘法进行所述优化。

7.一种电子设备，所述电子设备包括根据权利要求1-6任一项所述的校正装置。

8.一种立体相机成像的校正方法，所述校正方法包括：

分别提取立体相机的左侧相机和右侧相机的图像，获得左侧图像和右侧图像；

确定所述左侧图像和右侧图像中的匹配点；

利用所述左侧图像和右侧图像中的匹配点的坐标，在满足左侧相机和右侧相机的共轭极线共线、且所述共轭极线平行于所述立体相机的基线的约束条件下，对初始的校正参数进行优化；

根据优化后的校正参数对所述左侧图像和右侧图像进行校正。

9.根据权利要求8所述的校正方法，其中，所述校正方法还包括：

判断所述匹配点的数量是否大于等于预先设定的阈值；

其中，当所述匹配点的数量大于等于所述阈值时，根据所述匹配点的坐标进行所述优化；当所述匹配点的数量小于所述阈值时，提取左侧相机和右侧相机的下一帧图像，确定下一帧左侧图像和右侧图像中的匹配点，直到匹配点的累计数量大于等于所述阈值。

10.根据权利要求8所述的校正方法，其中，所述确定所述左侧图像和右侧图像中的匹配点，包括：

利用所述初始的校正参数对所述左侧图像和右侧图像进行初始校正；

计算初始校正后的左侧图像和右侧图像的尺寸不变特征转换描述符，确定候选匹配点；

检查所述候选匹配点的一致性，将满足一致性条件的候选匹配点作为所述左侧图像和右侧图像的匹配点。