CN111982072A - 一种基于单目视觉的目标测距方法 - Google Patents

Abstract

本发明公开了一种基于单目视觉的目标测距方法。首先建立驾驶坐标系、像素坐标系和图像坐标系；然后对单目相机进行相机标定，获得相机的内参矩阵；再利用相机采集图像信息，并对目标完成识别，获取目标所在矩形区域信息，以矩形下边框的中点为目标投影测距参考点；根据该点的像素坐标，分别计算出目标与相机的X轴和Y轴方向的距离；根据勾股定理，最后求得目标的距离。该方法在目标识别的基础上，根据目标投影点的像素位置可以在无需知道目标物体高度的前提下，分别计算出X和Y方向上的距离，进而实现单目测距。本方法可移植性高，测距精度理想，操作简便，在实时目标测距方面有很好的表现。

Description

一种基于单目视觉的目标测距方法

技术领域

本发明属于机器视觉领域，具体涉及一种目标测距方法。

背景技术

随着万物互联时代的到来，安全辅助驾驶技术和无人驾驶技术发展势头迅猛，目标测距作为其重要组成部分，有很高的研究价值。机器视觉作为辅助可以帮助我们获取行驶过程中的很多信息，包括距离信息。目前基于机器视觉进行距离测算的方法大致有两种，分别是双目测距和单目测距。双目测距的机器视觉信息处理技术基于人类视觉的视差理论，通过图像物体的特征点进行匹配重构三维坐标系，恢复三维世界中的深度信息。双目测距精度较高，但存在对摄像头安装和协同性要求较高、处理数据过程中计算量大、对处理器性能要求较高以及测距实时性能不好的问题。单目视觉测距系统可以比较好地解决上述问题，其适用范围广、操作简单、安装成本低、计算量较小、处理单幅图像速度快，可以较好地保证处理的实时性。

常见的单目视觉测距模型有三种，分别是小孔成像测距模型、静态图像测距模型和连续多帧图像测距模型。其中小孔相机测距模型是最基本的测距模型，该测距模型与人眼观察物体的光学原理相类似，成像平面到物体的距离与成像平面上虚像大小的乘积等于物体的真实大小和焦距的乘积，只要获得物体的真实高度信息就可以求得目标距离。静态图像测距模型是在小孔成像模型基础上改进得来，其原理是相机将三维坐标内的物体通过投影透视变换，将物体的虚像投影到用来成像的二维平面上，在理想的成像情况下，相机放置角度和地面刚好垂直，成像光轴和路面处于平行状态，此时由相似三角形几何原理可以求得距离。连续多帧图像测距模型基于检测目标连续前后两帧图像间成像关系原理，是静态图像测距模型的改进算法。

上述三种方法的适用场景都有限制。小孔成像测距模型要求得距离就需要已知目标的真实高度，在实时测量时很难满足。静态图像测距模型对摄像机标定的要求比较高，同时要求镜头本身造成的畸变较小。连续多帧图像测距模型要求目标物体处于静止状态，当前距离求解过程依赖于上一帧图像的目标的距离，这就对上一帧距离的精度提出了较高的要求，容易造成误差的累积。

发明内容

为了克服现有技术的不足，本发明提供了一种基于单目视觉的目标测距方法。首先建立驾驶坐标系、像素坐标系和图像坐标系；然后对单目相机进行相机标定，获得相机的内参矩阵；再利用相机采集图像信息，并对目标完成识别，获取目标所在矩形区域信息，以矩形下边框的中点为目标投影测距参考点；根据该点的像素坐标，分别计算出目标与相机的X轴和Y轴方向的距离；根据勾股定理，最后求得目标的距离。该方法在目标识别的基础上，根据目标投影点的像素位置可以在无需知道目标物体高度的前提下，分别计算出X和Y方向上的距离，进而实现单目测距。本方法可移植性高，测距精度理想，操作简便，在实时目标测距方面有很好的表现。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：建立驾驶坐标系、像素坐标系和图像坐标系；

以单目相机光心O投影到地面的点作为驾驶坐标系的原点O′，目标移动的方向为Y轴正方向，相对于目标移动方向的正右方向作为X轴正方向，建立驾驶坐标系O′-XY；

以单目相机成像平面的左上角点作为像素坐标系的原点o″，竖直向下方向为v轴正方向，水平向右方向为u轴正方向，建立像素坐标系o″-uv；

以单目相机光轴所在的直线和单目相机成像平面的交点作为图像坐标系的原点o′，竖直向下方向为y轴正方向，水平向右方向为x轴正方向，建立图像坐标系o′-xy；

步骤2：相机标定；

对单目相机进行标定，获得单目相机内参矩阵：

其中f_x为单目相机在X方向的焦距，f_y为单目相机在Y方向的焦距，u₀、v₀分别是图像坐标系的原点o′在像素坐标系中的横坐标和纵坐标；

步骤3：使用单目相机在成像平面上生成包含目标的图像，对图像中的目标识别并定位，获取包含完整目标的面积最小矩形，连接矩形下边框的中点A′与光心O，并延长A′O与地面交于点A，点A定义为在地面的目标投影点，将目标投影点A作为测距参考点；

步骤4：定义：目标投影点A在驾驶坐标系Y轴上的分量点为P，单目相机的高度为H，单目相机光轴与地面夹角为α；点P和光心O的连线与Y轴的夹角为β，点P和光心O的连线与单目相机光轴的夹角为γ；点P在驾驶坐标系的坐标为P(0,Y)；点P通过单目相机在成像平面上的投影点为P′，点P′在图像坐标系的坐标为(0,y)，点P′在像素坐标系的坐标为(u₀,v)；

定义：目标投影点A在驾驶坐标系X轴上的分量点为Q，点Q在驾驶坐标系的坐标为Q(X,0)；点Q通过单目相机在成像平面上的投影点为Q′，点Q′在图像坐系的坐标为(x,0)，点Q′在像素坐标系的坐标为(u,v₀)；单目相机的光轴与Y轴的交点为O_o(0,Y_O)；

当点P位于O′O_o的延长线上时，有几何关系如下：

β＝α-γ

式中，f为单目相机的焦距；

对y进行坐标变换，将成像平面内用像素数值表示的距离变为实际长度距离：

y＝(v-v₀)d_y

式中的d_y表示成像平面内像素坐标系中v轴上两个像素之间的实际长度距离；

得到：

当点P位于点O′与点O_o之间或点P位与点O_o重合时，得到：

步骤5：由单目相机成像平面与驾驶坐标系的几何关系，得到：

对x进行坐标变换，将成像平面内用像素数值表示的距离变为实际长度距离：

x＝(u-u₀)d_x

式中的d_x表示成像平面内像素坐标系中u轴上两个像素之间的实际长度距离；

得到：

步骤6：计算目标与单目相机的测算距离：

式中，a为单目相机的传感器感光元器件横向尺寸，单位为mm；m为单目相机拍摄图像的横向分辨率，单位为pixel；每个像素的物理大小为m/a，单位为pixel/mm；

步骤7：使用最小二乘法对D_A进行校正；

设定最小二乘法校正模型的回归曲线方程为：

且有：

D_t＝D_A-D_e

其中D_t表示目标与单目相机的真实距离，D_e表示距离误差，a,b,c为校正模型的参数；

将单目相机固定，给出z个不同的设定距离，在每个设定距离上对w个指定目标分别进行拍摄，并计算出单目相机到指定目标的测算距离，将w个测算距离平均，得到在每个设定距离上的平均测算距离；在每个设定距离上，计算平均测算距离与设定距离的差值，得到在每个设定距离上的距离误差；

计算：

式中，D_ei为第i个设定距离下的距离误差，D_Ai为第i个设定距离下的平均测算距离，D_ti为第i个设定距离，i为设定距离序号，i＝1,…,z；

根据求解得到的a,b,c，得到D_e，则最终的校正模型：

使用最终的校正模型计算得到单目相机到目标的真实距离。

优选地,步骤2中对单目相机进行标定的方法为张友正标定法。

由于采用了本发明提出了一种基于单目视觉的目标测距方法，具有以下有益效果：

1、本发明考虑到相机感光元器件尺寸，测距更加科学。

2、本发明分别测量目标与相机在驾驶坐标系中的X轴与Y轴的距离分量，测距更加准确。

3、本发明可以在无需知道目标物体高度的前提下测得目标距离。

4、本发明提供的方法简单易行，计算量适中，满足实时性测距需求。

附图说明

图1是本发明的测距方法流程示意图。

图2是本发明的测距模型示意图。

图3是当点P位于O′O_o的延长线上时，Y轴分量测距模型示意图。

图4是当点P位于点O′与点O_o之间或点P位与点O_o重合时，Y轴分量测距模型示意图；

图5是X轴分量测距模型示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，本发明提供了一种基于单目视觉的目标测距方法，包括以下步骤：

步骤1：建立驾驶坐标系、像素坐标系和图像坐标系；

以单目相机光心O投影到地面的点作为驾驶坐标系的原点O′，目标移动的方向为Y轴正方向，相对于目标移动方向的正右方向作为X轴正方向，建立驾驶坐标系O′-XY；

以单目相机成像平面的左上角点作为像素坐标系的原点o″，竖直向下方向为v轴正方向，水平向右方向为u轴正方向，建立像素坐标系o″-uv；

以单目相机光轴所在的直线和单目相机成像平面的交点作为图像坐标系的原点o′，竖直向下方向为y轴正方向，水平向右方向为x轴正方向，建立图像坐标系o′-xy；

步骤2：相机标定；

对单目相机进行标定，获得单目相机内参矩阵：

其中f_x为单目相机在X方向的焦距，f_y为单目相机在Y方向的焦距，u₀、v₀分别是图像坐标系的原点o′在像素坐标系中的横坐标和纵坐标；

步骤3：使用单目相机在成像平面上生成包含目标的图像，对图像中的目标识别并定位，获取包含完整目标的面积最小矩形，连接矩形下边框的中点A′与光心O，并延长A′O与地面交于点A，点A定义为在地面的目标投影点，将目标投影点A作为测距参考点；

步骤4：定义：目标投影点A在驾驶坐标系Y轴上的分量点为P，单目相机的高度为H，单目相机光轴与地面夹角为α；点P和光心O的连线与Y轴的夹角为β，点P和光心O的连线与单目相机光轴的夹角为γ；点P在驾驶坐标系的坐标为P(0,Y)；点P通过单目相机在成像平面上的投影点为P′，点P′在图像坐标系的坐标为(0,y)，点P′在像素坐标系的坐标为(u₀,v)；

定义：目标投影点A在驾驶坐标系X轴上的分量点为Q，点Q在驾驶坐标系的坐标为Q(X,0)；点Q通过单目相机在成像平面上的投影点为Q′，点Q′在图像坐系的坐标为(x,0)，点Q′在像素坐标系的坐标为(u,v₀)；单目相机的光轴与Y轴的交点为O_o(0,Y_O)；

当点P位于O′O_o的延长线上时，有几何关系如下：

β＝α-γ

式中，f为单目相机的焦距；

对y进行坐标变换，将成像平面内用像素数值表示的距离变为实际长度距离：

y＝(v-v₀)d_y

式中的d_y表示成像平面内像素坐标系中v轴上两个像素之间的实际长度距离；

得到：

当点P位于点O′与点O_o之间或点P位与点O_o重合时，得到：

步骤5：由单目相机成像平面与驾驶坐标系的几何关系，得到：

对x进行坐标变换，将成像平面内用像素数值表示的距离变为实际长度距离：

x＝(u-u₀)d_x

式中的d_x表示成像平面内像素坐标系中u轴上两个像素之间的实际长度距离；

得到：

步骤6：计算目标与单目相机的测算距离：

式中，a为单目相机的传感器感光元器件横向尺寸，单位为mm；m为单目相机拍摄图像的横向分辨率，单位为pixel；每个像素的物理大小为m/a，单位为pixel/mm；

步骤7：使用最小二乘法对D_A进行校正；

设定最小二乘法校正模型的回归曲线方程为：

且有：

D_t＝D_A-D_e

其中D_t表示目标与单目相机的真实距离，D_e表示距离误差，a,b,c为校正模型的参数；

将单目相机固定，给出z个不同的设定距离，在每个设定距离上对w个指定目标分别进行拍摄，并计算出单目相机到指定目标的测算距离，将w个测算距离平均，得到在每个设定距离上的平均测算距离；在每个设定距离上，计算平均测算距离与设定距离的差值，得到在每个设定距离上的距离误差；

计算：

式中，D_ei为第i个设定距离下的距离误差，D_Ai为第i个设定距离下的平均测算距离，D_ti为第i个设定距离，i为设定距离序号，i＝1,…,z；

根据求解得到的a,b,c，得到D_e，则最终的校正模型：

使用最终的校正模型计算得到单目相机到目标的真实距离。

优选地,步骤2中对单目相机进行标定的方法为张友正标定法。

实施例：

1、如图2所示，建立驾驶坐标系、像素坐标系和图像坐标系等三个坐标系；

驾驶坐标系O′-XY表示的是目标真实存在的空间；图像坐标系o′-xy主要用来记录目标成像的位置信息。

2、使用张友正标定法对单目相机进行标定，忽略非线性畸变参数，获得相机内参矩阵：

3、如图2，设定步骤4中的各种参数，然后计算Y值；

如图3所示，当点P位于O′O_o的延长线上时，得到：

当点P位于点O′与点O_o之间或点P位与点O_o重合时，得到：

4、由图5可知，有几何关系Δo′OQ′～ΔO_oOQ：

经过步骤5的计算得到：

5、计算目标与单目相机的测算距离D_A：

其中单目相机参数为：相机传感器的感光元器件尺寸为amm×bmm；相机拍摄到的图像分辨率为mpixel×npixel；每个像素的物理大小为m/a，单位为pixel/mm。

6、对模型的准确性进行检测，在八个设定的距离分别拍摄行人和车辆两组图像，并进行测距实验。静态情况下获得的实验结果如表1所示：

表1目标测距实验统计

经过分析认为，导致误差的原因主要是在相机光学镜头的工业加工误差会导致畸变，从而影响测距的精度。

针对相机镜头成像时产生的畸变情况，对测距模型进行校正。拍摄过程中相机的畸变系数最高为二次，所以可以断定该校正函数应该是一个二次函数。使用最小二乘法来拟合距离校正模型曲线，先假设该曲线的回归曲线的方程表达式为：

且有

D_t＝D_A-D_e

其中D_t表示真实距离，D_A为测算距离，D_e表示距离误差，a,b,c为校正方程的参数，

根据最小二乘法原理可知：

求得a＝0.002,b＝0.0019,c＝0.1692。将所求参数带入，最终求得的测距模型为：

最后所得模型的测距结果如表2所示：

表2：校正后距离表

实验证明，校正后的模型测距准确性得到明显提升，绝对误差不超过0.5m。

Claims (2)

1.一种基于单目视觉的目标测距方法，其特征在于，包括以下步骤：

步骤1：建立驾驶坐标系、像素坐标系和图像坐标系；

以单目相机光心O投影到地面的点作为驾驶坐标系的原点O′，目标移动的方向为Y轴正方向，相对于目标移动方向的正右方向作为X轴正方向，建立驾驶坐标系O′-XY；

以单目相机成像平面的左上角点作为像素坐标系的原点o″，竖直向下方向为v轴正方向，水平向右方向为u轴正方向，建立像素坐标系o″-uv；

以单目相机光轴所在的直线和单目相机成像平面的交点作为图像坐标系的原点o′，竖直向下方向为y轴正方向，水平向右方向为x轴正方向，建立图像坐标系o′-xy；

步骤2：相机标定；

对单目相机进行标定，获得单目相机内参矩阵：

其中f_x为单目相机在X方向的焦距，f_y为单目相机在Y方向的焦距，u₀、v₀分别是图像坐标系的原点o′在像素坐标系中的横坐标和纵坐标；

步骤3：使用单目相机在成像平面上生成包含目标的图像，对图像中的目标识别并定位，获取包含完整目标的面积最小矩形，连接矩形下边框的中点A′与光心O，并延长A′O与地面交于点A，点A定义为在地面的目标投影点，将目标投影点A作为测距参考点；

步骤4：定义：目标投影点A在驾驶坐标系Y轴上的分量点为P，单目相机的高度为H，单目相机光轴与地面夹角为α；点P和光心O的连线与Y轴的夹角为β，点P和光心O的连线与单目相机光轴的夹角为γ；点P在驾驶坐标系的坐标为P(0,Y)；点P通过单目相机在成像平面上的投影点为P′，点P′在图像坐标系的坐标为(0,y)，点P′在像素坐标系的坐标为(u₀,v)；

定义：目标投影点A在驾驶坐标系X轴上的分量点为Q，点Q在驾驶坐标系的坐标为Q(X,0)；点Q通过单目相机在成像平面上的投影点为Q′，点Q′在图像坐系的坐标为(x,0)，点Q′在像素坐标系的坐标为(u,v₀)；单目相机的光轴与Y轴的交点为O_o(0,Y_O)；

当点P位于O′O_o的延长线上时，有几何关系如下：

β＝α-γ

式中，f为单目相机的焦距；

对y进行坐标变换，将成像平面内用像素数值表示的距离变为实际长度距离：

y＝(v-v₀)d_y

式中的d_y表示成像平面内像素坐标系中v轴上两个像素之间的实际长度距离；

得到：

当点P位于点O′与点O_o之间或点P位与点O_o重合时，得到：

步骤5：由单目相机成像平面与驾驶坐标系的几何关系，得到：

对x进行坐标变换，将成像平面内用像素数值表示的距离变为实际长度距离：

x＝(u-u₀)d_x

式中的d_x表示成像平面内像素坐标系中u轴上两个像素之间的实际长度距离；

得到：

步骤6：计算目标与单目相机的测算距离：

式中，a为单目相机的传感器感光元器件横向尺寸，单位为mm；m为单目相机拍摄图像的横向分辨率，单位为pixel；每个像素的物理大小为m/a，单位为pixel/mm；

步骤7：使用最小二乘法对D_A进行校正；

设定最小二乘法校正模型的回归曲线方程为：

且有：

D_t＝D_A-D_e

其中D_t表示目标与单目相机的真实距离，D_e表示距离误差，a,b,c为校正模型的参数；

将单目相机固定，给出z个不同的设定距离，在每个设定距离上对w个指定目标分别进行拍摄，并计算出单目相机到指定目标的测算距离，将w个测算距离平均，得到在每个设定距离上的平均测算距离；在每个设定距离上，计算平均测算距离与设定距离的差值，得到在每个设定距离上的距离误差；

计算：

式中，D_ei为第i个设定距离下的距离误差，D_Ai为第i个设定距离下的平均测算距离，D_ti为第i个设定距离，i为设定距离序号，i＝1,…,z；

根据求解得到的a,b,c，得到D_e，则最终的校正模型：

使用最终的校正模型计算得到单目相机到目标的真实距离。

2.根据权利要求书1所述的一种基于单目视觉的目标测距方法，其特征在于，步骤2中对单目相机进行标定的方法为张友正标定法。

Images