CN113284195B - 双目立体视觉成像的在线补偿方法及其系统 - Google Patents

Abstract

本申请涉及双目立体视觉成像技术领域，公开了一种双目立体视觉成像的在线补偿方法及其系统。该方法包括：计算双摄模组拍摄的图像中左图和右图之间的行差；将所述左图调整为与所述右图对齐，并记录对应的对焦值和焦距校正值进行存储；重复多次记录对焦值和焦距校正值的过程，获取一组对焦值与焦距校正值，并根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线；根据所述拟合曲线对待补偿图像的左图的等效焦距进行补偿。本发明通过记录一定数量的校正数据，对对焦变化和模型误差进行拟合补偿。

Description

双目立体视觉成像的在线补偿方法及其系统

技术领域

本申请涉及视觉成像技术领域，特别涉及一种双目立体视觉成像的在线补偿方法及其系统。

背景技术

双目立体视觉测量是基于视差原理，图1展示了简单的平视双目立体成像原理图。两摄像机的投影中心连线的距离，即基线距为B。两摄像机在同一时刻观看空间物体的同一特征点P，分别在“左眼”“右眼”上获取了点P的图像。它们的图像坐标分别为P _l =（u _l , v _l ），Pr=（u _r , v _r ），假定两摄像机的图像在同一个平面上，则特征点P的图像坐标的Y坐标相同，即v _l =v _r =v，则由三角几何关系得到公式（1）

(1)

则视差为Disparity =u _l –u _r ，由此可计算出特征点P在摄像机坐标系下的三维坐标。

但实际的双目立体视觉系统很难满足上述理想情况，所以我们将实际图像转换到一个虚拟相机的成像，并保证左右相机的虚拟成像满足上述平视关系，转换后的图像满足行对齐条件，这个过程就是立体校正。

这个虚拟相机参数一般选用焦距较短的焦距为校正后焦距，通过旋转校正至相机为平视条件。在实际手机双摄立体系统的拍摄过程中，副摄一般为定焦，但主摄马达会推动镜头对焦，调节成像至最清晰的状态。对焦的过程等效焦距f _l ’会发生改变f _l ’= f _l + ∆f _l 。进而造成实际矫正出来的图像存在尺寸大小的差异，如图2所示，高度为不同的H和H'。

另外线下标定的摄像机参数有时候会存在误差，不同参数影响机理不同，但总的效果上是会使校正后图像存在行差。并且视差也会存在一定的偏差，这种偏差在深度信息相当的时候基本保持不变。

上述两种偏差都最终会影响视差计算效果。

针对上述两种偏差，算法一般在对校正后的图像，再进行一次行差调整，但是这种调整一般比较耗时，当搜索范围较大时，校正效果稳定性不够好。

发明内容

本申请的目的在于提供一种双目立体视觉成像的在线补偿方法及其系统，通过记录一定数量的校正数据，对对焦变化和模型误差进行拟合补偿。

本申请一实施例中公开了一种双目立体视觉成像的在线补偿方法，包括：

计算双摄模组拍摄的图像中左图和右图之间的行差；

将所述左图调整为与所述右图对齐，并记录对应的对焦值和焦距校正值进行存储；

重复多次记录对焦值和焦距校正值的过程，获取一组对焦值与焦距校正值，并根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线；

根据所述拟合曲线对待补偿图像的左图的等效焦距进行补偿。

优选的，所述行差等于左右两幅图上行差与下行差之间的差值，∆r_1 =∆r₁-∆r₂，其中，∆r_1为行差，∆r₁为上行差，∆r₂为下行差。

优选的，所述焦距校正值

，其中，

为所述右图的等效焦距，

为所述左图的等效焦距，H为所述右图的高度，

为所述行差，所述左图校正后的等效焦距为

。

优选的，所述一组对焦值与焦距校正值包括至少20个对焦值与焦距校正值。

优选的，进行补偿包括：根据所述拟合曲线获得∆r_1进行缩放，记录∆r_2=(∆r ₁ + ∆r ₂ )/2，根据∆r_2进行平移，其中，∆r_2为平移行差，∆r₁为上行差，∆r₂为下行差。

优选的，根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线的步骤之前，还包括：计算

，其中，P _l =（u _l , v _l ），Pr =（u _r , v _r ）分别为任一点

在所述左图和右图中的坐标，B为所述左图和右图的基线距离，计算视差Disparity = u _l - u _r ，当所述视差为0时，根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线。

优选的，还包括：若存在负视差，则为系统误差，记录所述视差的最小值，将图像向视差增长的方向平移对应数值的像素，进行负视差补偿。

本申请还提供一种双目立体视觉成像的在线补偿系统，包括：

行差计算模块，用于计算双摄模组拍摄的图像中左图和右图之间的行差；

调整模块，用于将所述左图调整为与所述右图对齐，并记录对应的对焦值和焦距校正值进行存储；

拟合模块，用于从调整模块中获取一组对焦值与焦距校正值，并根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线；

补偿模块，用于根据所述拟合曲线对待补偿图像的等效焦距进行补偿。

本申请实施方式中，本发明提出一种在线补偿方案，通过记录一定数量的校正数据，对对焦变化和模型误差进行拟合补偿。

附图说明

图1是现有的平视双目立体成像原理图。

图2是双目立体成像的图像示意图。

图3是根据本申请实施例的双目立体视觉成像的在线补偿方法流程示意图。

图4是根据本申请实施例的双目立体视觉成像的在线补偿方法示意图一。

图5是根据本申请实施例的双目立体视觉成像的在线补偿方法示意图二。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。

本申请的第一实施方式涉及一种双目立体视觉成像的在线补偿方法，其流程如图3所示，该方法包括以下步骤：

步骤101，计算双摄模组拍摄的图像中左图和右图之间的行差。

优选的，所述行差等于上行差与下行差之间的差值，∆r_1 =∆r₁-∆r₂，其中，∆r_1为行差，∆r₁为上行差，∆r₂为下行差。

步骤102，将所述左图调整为与所述右图对齐，并记录对应的对焦值和焦距校正值进行存储。

优选的，所述焦距校正值

，其中，f_r为所述右图的等效焦距，f_l为所述左图的等效焦距，H为所述右图的高度，∆r_1为所述行差，所述左图校正后的等效焦距为f_l’ = f_l + ∆f_l。

步骤103，重复多次记录对焦值和焦距校正值的过程，获取一组对焦值与焦距校正值，并根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线。

优选的，所述一组对焦值与焦距校正值包括至少20个对焦值与焦距校正值。

计算

，其中，P _l =（u _l , v _l ），Pr =（u _r , v _r ）分别为任一点P=

在所述左图和右图中的坐标，B为所述左图和右图的基线距离，计算视差Disparity = u _l –u _r ，当所述视差为0时，根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线。

步骤104，根据所述拟合曲线对待补偿图像的左图的等效焦距进行补偿。

优选的，本实施例中的在线补偿方法包括：根据所述拟合曲线获得∆r_1进行缩放，记录∆r_2=(∆r ₁ + ∆r ₂ )/2，根据∆r_2进行平移，其中，∆r_2为平移行差，∆r₁为上行差，∆r₂为下行差。

优选的，本实施例中的在线补偿方法还包括：记录所述视差的最小值，进行负视差补偿。双摄算法会计算出全图的视差，根据视差直方图，排除噪声干扰，记录下来可靠的最小视差，通过在视差方向上（左右）平移，将最小视差由负视差调整为0。

为了能够更好地理解本申请的技术方案，下面结合一个具体的例子来进行说明。

（1）有效焦距补偿

为了补偿有效焦距变化，需要建立马达参数af与f _l 的关系，根据实际对焦af值，对f _l 进行补偿。发明人尝试在条件允许的情况下在出厂前由测试人员通过拍摄不同af值的图像，然后调整f _l ’，到左右图行差最小时即得到了f _l ’在此af下的最优估计，然后通过拟合，得到af与f _l ’的关系。这种方法拟合效果稳定，但是会极大影响手机出厂测试效率。本实施例中采用的是一种在线拟合方法，在用户使用过程中记录必要的数据，根据数据拟合结果，补偿f _l 变化，改善双摄算法效果。

因为是在线算法，镶嵌在现有的手机双摄算法中，必须满足不影响主算法效率的条件。动态调整f _l 搜索左右校正图行差最小的方法，虽然效果最稳定，但耗时太多无法采用。我们重新审视校正过程，将内参数中焦距的校正分离出来，根据摄像机针孔模型（式(2)），可以推导出焦距校正前后图像的关系如式(3)所示。

(2)

(3)

可以看出焦距的校正本质上是一个图像的放缩过程。若设定以f _r 为校正焦距，H为右图的高度，校正后左图的实际图幅高度为Hf _l /f _r 。记对焦后的左摄焦距为f _l ’ = f _l + ∆ f _l ,，此时左图和右图的实际图幅差别为

(4)

∆r是根据左右图比较算法得到图像图幅差，可以通过比较算法得到的图像上下边缘行差∆r_1 = ∆r ₁ - ∆r ₂ 。由上式我们可以推出

(5)

记录下来∆f _l 和af值，拟合的基本信息就具备了，可以获得拟合曲线。∆r_1的计算是主算法流程的结果，∆f _l 的计算消耗非常小，基本可以忽略，不会影响主算法的效率。

具体的，如图4中，进行原理说明：以向上为正方向，以右图为基准，设H为10像素，H’为6像素，∆r ₁ =a2-a1=-1，∆r ₂ =b2-b1=3，∆r_1 = ∆r ₁ - ∆r ₂ =-1-3=-4，则表明左图是高度缩小了4像素，需要上下边缘同时放大∆r_1/2，即2，则修正后上边缘的差为-1+2=1，下边缘的差为3-2=1，由此，上下边缘差一致，修正后的左图在高度上得以正确，如图5所示。

左图宽度的修正可以根据高度的调整而进行调整，例如采用双线性插值等形式进行操作，此处不进行详述。

在用户初始拍摄时，算法采用行差调整算法解决行差和模型偏差问题，计算左右图行差调整左图向右图对齐，并记录下来此时的∆f _l 和af值到加密文件中。当有效数据点数（同af的值与保存值取平均后覆盖）到达一定数量（≥20），且分布达到要求（覆盖af动态范围80%以上），启用估计算法计算出拟合曲线，并将参数写入加密文件，在后续的拍摄中利用曲线对f进行补偿，并关闭数据计算功能，其中，f=F(af)，F为线性函数。

（2）模型偏差补偿

模型偏差造成的行差是与深度有关的，本发明中优选为记录和补偿视差为零时模型偏差造成的行差，这是因为对于大部分应用场景尤其是短基线系统，图像边缘部分都不是关注的前景，而是视差为零的背景，容易得到大量的数据。并且其他视差由模型偏差带来的行差都会大于视差零，对视差零行差进行补偿，可以减小整体偏差，且不会补偿过头。

所以在算法运行中，我们根据af和实际视差计算结果（图像边缘是否视差为零），记录下来图像的上下平移量∆r_2= (∆r ₁ + ∆r ₂ ) / 2，等到满足（1）中类似条件后，启用估计算法拟合曲线，并将参数进行存储。

请继续参考图4，∆r_2= (∆r ₁ + ∆r ₂ ) / 2=（-1+3）/2=1，表明图像中心向上偏移了1个像素（与图5所示匹配），需要向下调整1个像素。

（3）负视差补偿

理论上校正后的图像视差不会存在负视差（式（1）），但由于模型偏差，即系统误差，实际校正后图像会存在负视差。在算法运行中，本方案也同时记录最小视差，在数据点足够多以后，开启负视差补偿，将图像向视差增长的方向平移对应数值的像素。以缩小后续算法视差搜索范围，提高算法效率和正确率。

以上补偿方案在实际运用中可以与动态的行差调整串行使用，这时补偿环节可以缩小动态调整搜索范围，提高算法效率和改善对齐效果; 在平台计算能力受限的情况下，也可以在拟合完成后直接替换动态调整环节，保证算法效率，提高用户流畅度体验。

本发明实施例中以右摄为定焦（副摄）、左摄为变焦（主摄）为例进行的阐述，可以理解的是，左摄为定焦、右摄为变焦同样适用。

本申请的第二实施方式涉及一种双目立体视觉成像的在线补偿系统，该双目立体视觉成像的在线补偿系统包括：

行差计算模块，用于计算双摄模组拍摄的图像中左图和右图之间的行差；

调整模块，用于将所述左图调整为与所述右图对齐，并记录对应的对焦值和焦距校正值至加密文件中；

拟合模块，用于获取一组对焦值与焦距校正值，并根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线；

补偿模块，用于根据所述拟合曲线对所述左图的等效焦距进行补偿。

第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。

在本说明书提及的所有文献都被认为是整体性地包括在本申请的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。

Claims (6)

1.一种双目立体视觉成像的在线补偿方法，其特征在于，包括：

计算双摄模组拍摄的图像中左图和右图之间的行差∆r_1，所述行差等于左右两幅图上行差与下行差之间的差值，∆r_1 =∆r₁-∆r₂，其中，∆r₁为上行差，∆r₂为下行差；

将所述左图调整为与所述右图对齐，并记录对应的对焦值和焦距校正值进行存储；

重复多次记录对焦值和焦距校正值的过程，获取一组对焦值与焦距校正值，并根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线；

根据所述拟合曲线获得行差∆r_1进行缩放，并利用上下平移量∆r_2进行平移，实现对待补偿图像的左图的等效焦距进行补偿，所述上下平移量∆r_2=(∆r ₁ + ∆r ₂ )/2，其中，∆r₁为上行差，∆r₂为下行差。

2.如权利要求1所述的双目立体视觉成像的在线补偿方法，其特征在于，所述焦距校正值

，其中，

为所述右图的等效焦距，

为所述左图的等效焦距，H为所述右图的高度，∆r_1为所述行差，所述左图校正后的等效焦距为

。

3.如权利要求1所述的双目立体视觉成像的在线补偿方法，其特征在于，所述一组对焦值与焦距校正值包括至少20个对焦值与焦距校正值。

4.如权利要求1所述的双目立体视觉成像的在线补偿方法，其特征在于，根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线的步骤之前，还包括：计算

，其中，P _l =（u _l , v _l ），Pr =（u _r , v _r ）分别为任一点

在所述左图和右图中的坐标，v _l =v _r =v，B为所述左图和右图的基线距离，计算视差Disparity = u _l –u _r ，当所述视差为0时，根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线。

5.如权利要求4所述的双目立体视觉成像的在线补偿方法，其特征在于，还包括：若存在负视差，则为系统误差，记录所述视差的最小值，将图像向视差增长的方向平移对应数值的像素，进行负视差补偿。

6.一种双目立体视觉成像的在线补偿系统，其特征在于，包括：

行差计算模块，用于计算双摄模组拍摄的图像中左图和右图之间的行差∆r_1，所述行差等于左右两幅图上行差与下行差之间的差值，∆r_1 =∆r₁-∆r₂，其中，∆r₁为上行差，∆r₂为下行差；

调整模块，用于将所述左图调整为与所述右图对齐，并记录对应的对焦值和焦距校正值进行存储；

拟合模块，用于从调整模块中获取一组对焦值与焦距校正值，并根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线；

补偿模块，用于根据所述拟合曲线获得行差∆r_1进行缩放，并利用上下平移量∆r_2进行平移，实现对待补偿图像的等效焦距进行补偿，所述上下平移量∆r_2=(∆r ₁ + ∆r ₂ )/2，其中，∆r₁为上行差，∆r₂为下行差。

Images