CN113658264B - 基于距离信息的单幅图像相机焦距估计方法 - Google Patents

Abstract

本发明公开了一种基于距离信息的单幅图像相机焦距估计方法，包括：1)从单幅图像当中人工标记距离信息；2)根据简化针孔相机模型，使用距离信息建立非线性方程组，再利用单目标优化问题转化法将非线性方程组转化为基于归一化距离的优化问题；3)使用多随机初始化点的L‑BFGS‑B优化算法求解基于归一化距离的优化问题，得到初步的相机焦距估计值；4)使用深度扰动技术增强初步的相机焦距估计值的稳定性，得到最终的相机焦距估计值。本发明基于距离信息进行单幅图像的相机焦距估计，能够使用图像上普遍存在的距离信息进行相机标定，缓解图像线索难以寻找的问题，同时提高了相机标定的精度，进一步可实现更灵活和精确的下游应用。

Description

基于距离信息的单幅图像相机焦距估计方法

技术领域

本发明涉及相机标定和图像焦距估计的技术领域，尤其是指一种基于距离信息的单幅图像相机焦距估计方法。

背景技术

相机标定是指从单幅或多幅图像当中估计相机的内外参数，在很多计算机视觉任务中有重要作用。在相机的5个内参当中，相机焦距是最重要的，可用于距离估算、视角转换、场景重建等任务。

在典型的实验室场景中，相机标定通常通过拍摄多张标定物的图片完成。这种方法精度高但是无法应用于普通场景的相机标定。随着对任意图像的相机标定的需求增加，有两类方法得到了发展，它们分别是：1、基于图像线索的方法，这类方法使用图像上可见的线索，例如灭点，共面圆，同心圆等等进行标定，需要图像当中出现这种特定的模式才能进行标定；2、基于深度学习的方法，这类方法使用大量的数据进行强监督学习，对任意图片均可进行相机标定，但是受域适应问题的影响，其精度仍然需要改善。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于距离信息的单幅图像相机焦距估计方法，能够使用图像上普遍存在的距离信息进行相机标定，缓解图像线索难以寻找的问题，同时提高了相机标定的精度，进一步可实现更灵活和精确的下游应用。

为实现上述目的，本发明所提供的技术方案为：基于距离信息的单幅图像相机焦距估计方法，包括以下步骤：

1)从单幅图像当中人工标记距离信息，其中包括N个标记点和标记点之间的至少N+1段物理距离；

2)根据简化针孔相机模型，使用距离信息建立非线性方程组，再利用单目标优化问题转化法将非线性方程组转化为基于归一化距离的优化问题；

3)使用多随机初始化点的L-BFGS-B优化算法求解基于归一化距离的优化问题，得到初步的相机焦距估计值；

4)使用深度扰动技术增强初步的相机焦距估计值的稳定性，得到最终的相机焦距估计值。

进一步，在步骤1)中，标记点是指图像上标记出来的像素点，表示为：

式中，m_i是指第i个标记点，u_i和v_i分别是m_i在像素坐标系下的U轴和V轴分量，共有N个点；

标记点之间的物理距离是指标记点所对应的相机坐标系下的三维点之间的物理距离，其中标记点所对应的相机坐标系下的三维点表示为：

式中，M_i是指第i个标记点m_i所对应的相机坐标系下的三维点，x_i、y_i和z_i分别表示M_i在相机坐标系下的X轴、Y轴和Z轴分量；而标记点之间的物理距离则表示为：

d_ij＝||M_i-M_j||,1≤i＜j≤N

式中，d_ij是指标记点所对应的相机坐标系下的三维点M_i和M_j之间的物理距离，也即M_i-M_j的2-范数；N个标记点及标记点之间至少N+1段物理距离需要人工标记，且N≥4。

进一步，所述步骤2)包括以下步骤：

2.1)根据简化针孔相机模型，使用距离信息建立非线性方程组；简化针孔相机模型为：

zm＝AM

式中，z为标记点m的深度，M是标记点m对应的相机坐标系下的三维点，A是图像对应的相机内参矩阵：

式中，f为图像对应的相机焦距，是待求解的；w和h为图像的宽度和高度，是能够从图像上直接获取的；根据简化针孔相机模型，标记点对应的相机坐标系下的三维点能够通过M＝A^-1zm求得；根据标记点所对应的相机坐标系下的三维点M_i和M_j之间的物理距离d_ij的定义：

d_ij＝||M_i-M_j||,1≤i＜j≤N

建立非线性方程组：

d_ij＝||A^-1(z_im_i-z_jm_j)||,1≤i＜j≤N

式中，z_i为第i个标记点的深度值；待求解量为焦距f和标记点的深度值的集合Z＝{z_i}＝{z_i|i＝1,2,...,N}，已知量为d_ij和m_i；

2.2)利用单目标优化问题转化法将非线性方程组转化为基于归一化距离的优化问题，其中单目标优化问题转化法是指将非线性方程组改写为各方程左右两项差的平方和的单目标优化问题；基于归一化距离的优化问题是指将优化问题中的每一项都除以对应的距离d_ij，进行归一化得到的优化问题；基于归一化距离的优化问题最终表示为：

式中，argmin是指求解使得右边求和式取得最小值的参数值，其中待求解的参数值包括相机内参矩阵A和标记点的深度值的集合{z_i}，D_ij是标记点之间的物理距离的指示函数，其定义为：

ε是一个微小的量，用于增加问题求解的稳定性，这里设置为10^-6。

进一步，在步骤3)中，使用多随机初始化点的L-BFGS-B优化算法是指在L-BFGS-B优化算法的初始化阶段，通过多次随机地初始化待求解参数相机内参矩阵A和标记点的深度值的集合{z_i}，比较每次求解基于归一化距离的优化问题的能量值大小，取最小能量值所对应的参数求解值，得到初步的相机焦距估计值。

进一步，在步骤4)中，深度扰动技术是指在距离信息提供的监督信息不足时所采用的一种减少相机焦距估计误差的缓和技术，包括以下步骤：

4.1)通过优化得到的深度值判断距离信息是否提供了足够的监督信息，定义过滤指标r(Z)为：

式中，max(Z)是指求集合Z的最大值，min(Z)是指求集合Z的最小值，Z为标记点m_i的深度值z_i的集合；引入新的距离：

式中，k是在1～N当中随机选取的值，是在相机坐标系下的三维点M_k基础上加上Z轴扰动/>得到的新的相机坐标系下的三维点；

这里η是一个阈值，设置为1.5；λ是一个经验值，设置为0.1；

4.2)应用深度扰动后得到新的距离，再次进行步骤3)优化求解基于归一化距离的优化问题，得到最终的相机焦距估计值。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明首次采用距离信息进行相机标定，突破图像线索难以寻找的缺点，避免了深度学习方法域适应性差的缺点。

2、本发明与其它单幅图像上的相机标定方法相比，提高了标定精度。

3、本发明方法在计算机视觉任务中具有广泛的使用空间，操作简单、适应性强，具有广阔的应用前景。

附图说明

图1为本发明逻辑流程示意图。

图2为本发明所使用的距离信息实例示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1和图2所示，本实施例所提供的基于距离信息的单幅图像相机焦距估计方法，使用了图像距离信息及L-BFGS-B优化算法，其包括以下步骤：

1)输入图像，标记N个标记点和标记点之间的至少N+1段物理距离。标记点是指图像上标记出来的像素点，表示为：

其中m_i是指第i个标记点，u_i和v_i分别是m_i在像素坐标系下的U轴和V轴分量，共有N个点。标记点之间的物理距离是指标记点所对应的相机坐标系下的三维点之间的物理距离，其中标记点所对应的相机坐标系下的三维点表示为：

其中M_i是指第i个标记点m_i所对应的相机坐标系下的三维点，x_i，y_i和z_i分别表示M_i在相机坐标系下的X轴，Y轴和Z轴分量；而标记点之间的物理距离则表示为：

d_ij＝||M_i-M_j||,1≤i＜j≤N,

其中d_ij是指标记点所对应的相机坐标系下的三维点M_i和M_j之间的物理距离，也即M_i-M_j的2-范数。N个标记点及标记点之间至少N+1段物理距离需要人工标记，且N≥4。如图2所示，此时N＝4，人工标记的4个标记点的像素坐标分别为(467,214)，(879,147)，(873,646)和(379,629)，所标记的5段物理距离为80cm，80cm，80cm，80cm和113.14cm。

2)根据简化针孔相机模型，使用距离信息建立非线性方程组，再利用单目标优化问题转化法将非线性方程组转化为基于归一化距离的优化问题，包括以下步骤：

2.1)根据简化针孔相机模型，使用距离信息建立非线性方程组；简化针孔相机模型为

zm＝AM,

其中z为标记点m的深度，M是标记点m对应的相机坐标系下的三维点，A是图像对应的相机内参矩阵，

其中f为图像对应的相机焦距，是待求解的；w和h为图像的宽度和高度，是可以从图像上直接获取的。根据简化针孔相机模型，标记点对应的相机坐标系下的三维点可以通过M＝A^-1zm求得。根据标记点所对应的相机坐标系下的三维点M_i和M_j之间的物理距离d_ij的定义：

d_ij＝||M_i-M_j||,1≤i＜j≤N,

建立非线性方程组：

d_ij＝||A^-1(z_im_i-z_jm_j)||,1≤i＜j≤N,

其中z_i为第i个标记点的深度值；待求解量为焦距f和标记点的深度值的集合Z＝{z_i}＝{z_i|i＝1,2,...,N}，已知量为d_ij,1≤i＜j≤N和m_i,i＝1,2,...,N。例如使用图2的距离信息建立的非线性方程组中的一个方程为

2.2)利用单目标优化问题转化法将非线性方程组转化为基于归一化距离的优化问题，其中单目标优化问题转化法是指将非线性方程组改写为各方程左右两项差的平方和的单目标优化问题；基于归一化距离的优化问题是指将优化问题中的每一项都除以对应的距离d_ij，进行归一化得到的优化问题。基于归一化距离的优化问题最终表示为：

其中argmin是指求解使得右边求和式取得最小值的参数值，其中待求解的参数值包括相机内参矩阵A和标记点的深度值的集合{z_i}，D_ij是标记点之间的物理距离的指示函数，其定义为：

ε是一个微小的量，用于增加问题求解的稳定性，这里设置为10^-6。例如使用图2的距离信息建立的基于归一化距离的优化问题中的一项为：

3)使用多随机初始化点的L-BFGS-B优化算法是指在L-BFGS-B优化算法的初始化阶段，通过多次随机地初始化待求解参数相机内参矩阵和标记点的深度值的集合，比较每次求解基于归一化距离的优化问题的能量值大小，取最小能量值所对应的参数求解值，得到初步的相机焦距估计值。

4)使用深度扰动技术增强初步的相机焦距估计值的稳定性，得到最终的相机焦距估计值。深度扰动技术是指在距离信息提供的监督信息不足够时所采用的一种减少相机焦距估计误差的缓和技术，包括以下步骤：

4.1)通过优化得到的深度值判断距离信息是否提供了足够的监督信息。定义过滤指标r(Z)为：

其中max(Z)是指求集合Z的最大值，min(Z)是指求集合Z的最小值，Z为标记点m_i的深度值z_i的集合。我们引入新的距离：

其中k是在1～N当中随机选取的值，是在相机坐标系下的三维点M_k基础上加上Z轴扰动/>得到的新的相机坐标系下的三维点；

这里η是一个阈值，设置为1.5；λ是一个经验值，设置为0.1。

4.2)应用深度扰动后得到新的距离，再次进行步骤3)优化求解基于归一化距离的优化问题，得到最终的相机焦距估计值。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.基于距离信息的单幅图像相机焦距估计方法，其特征在于，包括以下步骤：

1)从单幅图像当中人工标记距离信息，其中包括N个标记点和标记点之间的至少N+1段物理距离；

2)根据简化针孔相机模型，使用距离信息建立非线性方程组，再利用单目标优化问题转化法将非线性方程组转化为基于归一化距离的优化问题；

3)使用多随机初始化点的L-BFGS-B优化算法求解基于归一化距离的优化问题，得到初步的相机焦距估计值，包括以下步骤：

2.1)根据简化针孔相机模型，使用距离信息建立非线性方程组；简化针孔相机模型为：

zm＝AM

式中，z为标记点m的深度，M是标记点m对应的相机坐标系下的三维点，A是图像对应的相机内参矩阵：

式中，f为图像对应的相机焦距，是待求解的；w和h为图像的宽度和高度，是能够从图像上直接获取的；根据简化针孔相机模型，标记点对应的相机坐标系下的三维点能够通过M＝A^-1zm求得；根据标记点所对应的相机坐标系下的三维点M_i和M_j之间的物理距离d_ij的定义：

d_ij＝||M_i-M_j||,1≤i＜j≤N

建立非线性方程组：

d_ij＝||A^-1(z_im_i-z_jm_j)||,1≤i＜j≤N

式中，z_i为第i个标记点的深度值；待求解量为焦距f和标记点的深度值的集合Z＝{z_i}＝{z_i|i＝1,2,...,N}，已知量为d_ij和m_i；

2.2)利用单目标优化问题转化法将非线性方程组转化为基于归一化距离的优化问题，其中单目标优化问题转化法是指将非线性方程组改写为各方程左右两项差的平方和的单目标优化问题；基于归一化距离的优化问题是指将优化问题中的每一项都除以对应的距离d_ij，进行归一化得到的优化问题；基于归一化距离的优化问题最终表示为：

式中，arg min是指求解使得右边求和式取得最小值的参数值，其中待求解的参数值包括相机内参矩阵A和标记点的深度值的集合{z_i}，D_ij是标记点之间的物理距离的指示函数，其定义为：

ε是一个微小的量，用于增加问题求解的稳定性；

4)使用深度扰动技术增强初步的相机焦距估计值的稳定性，得到最终的相机焦距估计值；其中，深度扰动技术是指在距离信息提供的监督信息不足时所采用的一种减少相机焦距估计误差的缓和技术，包括以下步骤：

4.1)通过优化得到的深度值判断距离信息是否提供了足够的监督信息，定义过滤指标r(Z)为：

式中，max(Z)是指求集合Z的最大值，min(Z)是指求集合Z的最小值，Z为标记点m_i的深度值z_i的集合；引入新的距离：

式中，k是在1～N当中随机选取的值，是在相机坐标系下的三维点M_k基础上加上Z轴扰动/>得到的新的相机坐标系下的三维点；

这里η是一个阈值，λ是一个经验值；

4.2)应用深度扰动后得到新的距离，再次进行步骤3)优化求解基于归一化距离的优化问题，得到最终的相机焦距估计值。

2.根据权利要求1所述的基于距离信息的单幅图像相机焦距估计方法，其特征在于，在步骤1)中，标记点是指图像上标记出来的像素点，表示为：

式中，m_i是指第i个标记点，u_i和v_i分别是m_i在像素坐标系下的U轴和V轴分量，共有N个点；

标记点之间的物理距离是指标记点所对应的相机坐标系下的三维点之间的物理距离，其中标记点所对应的相机坐标系下的三维点表示为：

式中，M_i是指第i个标记点m_i所对应的相机坐标系下的三维点，x_i、y_i和z_i分别表示M_i在相机坐标系下的X轴、Y轴和Z轴分量；而标记点之间的物理距离则表示为：

d_ij＝|M_i-M_j||,1≤i＜j≤N

式中，d_ij是指标记点所对应的相机坐标系下的三维点M_i和M_j之间的物理距离，也即M_i-M_j的2-范数；N个标记点及标记点之间至少N+1段物理距离需要人工标记，且N≥4。

3.根据权利要求1所述的基于距离信息的单幅图像相机焦距估计方法，其特征在于：在步骤3)中，使用多随机初始化点的L-BFGS-B优化算法是指在L-BFGS-B优化算法的初始化阶段，通过多次随机地初始化待求解参数相机内参矩阵A和标记点的深度值的集合{z_i}，比较每次求解基于归一化距离的优化问题的能量值大小，取最小能量值所对应的参数求解值，得到初步的相机焦距估计值。