CN112965052A

CN112965052A - 一种单目相机目标测距方法

Info

Publication number: CN112965052A
Application number: CN202110175937.2A
Authority: CN
Inventors: 朱明�; 刘长吉; 郝志成; 聂海涛; 王佳荣
Original assignee: Changchun Institute of Optics Fine Mechanics and Physics of CAS
Current assignee: Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date: 2021-02-07
Filing date: 2021-02-07
Publication date: 2021-06-15

Abstract

本发明属于明涉及三维目标检测、目标测量、深度感知技术领域，提出了一种单目测距方法，只使用普通的摄像头就可以达到测距的功能。该方法首先使用基于深度学习的目标检测算法，获得目标在图像坐标系中的位置。然后寻找一个平行平面作为基准，例如地面。该平面相对于相机的高度不变，并且目标位于地面上，通过相机与平面的距离、目标在图像坐标系中的位置，代入相机成像模型中，就可以准确的计算出目标在相机坐标系中的位置。

Description

一种单目相机目标测距方法

技术领域

本发明属于明涉及三维目标检测、目标测量、深度感知技术领域，具体涉及一种单目相机目标测距方法。

背景技术

目标距离感知是自动驾驶、自动导航、目标检测、无人机器人领域中的关键问题。目前在距离感知领域大多依赖深度感知设备，如激光雷达、深度相机等。但是基于深度感知设备的三维目标检测有如下关键性难题：a)成本，激光雷达价格昂贵，能用在室外的雷达价格通常在20万到70万不等；b)深度相机(如双目相机)作用距离在0.1m-10m之间，其有效距离完全不足以使用在远距离场景下；c)激光雷达帧频不够高，难以应用在高速反应场景；d)三维数据难以获取。基于深度学习的三维目标检测虽然在学术指标上达到了相当高的水准，但是在实际工程应用当中，三维数据训练集难获取，难标注，再一次加大了应用成本。

发明内容

本发明为了解决由于激光雷达等其他测距设备在远距离测距上获取到的信息质量差，价格昂贵，有效作用距离不超过250m，帧数低等问题，提出了一种单目相机目标测距方法，该方法只使用普通的摄像头就可以达到测距的功能，大幅度降低三维物体检测的成本，3基于深度学习的目标检测，准确率可达到99.99％。为实现上述目的，本发明采用以下具体技术方案：

一种单目相机目标测距方法，包括：

S1、通过建立相机成像模型坐标系，获取相机内参M以及像素坐标系(u，v)到相机坐标系(X_c，Y_c，Z_c)的转换公式：

其中，(u₀，v₀)为像素坐标系原点在图像坐标系下的坐标；

d_x，d_y为每个像素点在图像坐标系x轴、y轴方向的尺寸；

f_x，f_y分别为相机在x方向和y方向的焦距；

S2、确定一个平行平面作为基准，相机光心O距离该平面的距离h已知，相机光轴与该平面的夹角α已知，目标与该平面有一接触点P，通过几何关系求取接触点P在相机坐标系中的depth；

S3、将depth值带入式(2)，得到X_c，Y_c，Z_c的值后求取真实距离D：

优选地，步骤S2中，建立单目测距模型如下：

接触点P位于世界坐标系(X_w，Y_w，Z_w)X_w-Y_w平面；O₁为图像坐标系的原点；O₂是O在世界坐标系中X_w-Y_w平面上的投影；Q为接触点P在Y_w轴上的投影且PQ⊥Y_w，D点是Q点在光轴z_c上的投影，QD⊥z_c，Q′、P′分别为Q、P在图像坐标系平面中的投影，且Q′是P′在Y_i轴上的投影；γ为OQ与Y_w夹角；设P′在像素坐标系中的坐标为(u₀，v₀)，则Q′的坐标为(0，v₀)。

优选地，接触点P的选取基于机器视觉领域中的目标检测技术获取目标在图像中的边界框，选择边界框的下端中点，近似的认为该点为目标与平面的接触点P。

优选地，OD的长度通过下式获取：

优选地，选取的平面可以是地面，或者是桌面。

本发明能够取得以下技术效果：

1、只使用单目相机测距，大幅度降低三维物体检测的成本。

2、作用距离不限，取决于相机的性能，使用长焦相机可达1km以上。

3、基于深度学习的目标检测，准确率可达到99.99％。

4、运算成本低，可以在移动嵌入式硬件中使用。

附图说明

图1是本发明一个实施例的一种单目相机目标测距方法模型示意图；

图2是本发明一个实施例的相机成像模型；

图3是本发明一个实施例的流程图；

图4是本发明一个实施例的地面接触点选取示意图；

图5是本发明一个实施例的重投影实验误差对比图；

图6是本发明一个实施例的测量点选取示意图；

图7a是本发明一个实施例的绝对误差散点示意图；

图7b是本发明一个实施例的相对误差散点示意图；

图8是本发明一个实施例的相对误差分布示意图；

图9是本发明一个实施例的误差曲线图。

附图标记：测量点1

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。

本发明的目的是提供一种单目测距方法，只使用普通的摄像头就可以达到测距的功能。下面将对本发明提供的一种单目相机目标测距方法，通过具体实施例来进行详细说明。

本专利提出了一种单目测距方法，只使用普通的摄像头就可以达到测距的功能。如图3所示，该方法首先建立相机成像模型中四个坐标系的转换关系，使用基于深度学习的目标检测算法，获得目标在图像坐标系中的位置，寻找一个平行平面作为基准，例如地面、桌面。该平面相对于相机的高度h不变，并且目标位于该平面上，通过相机与平面的距离、目标在图像坐标系中的位置，代入相机成像模型中，直接求取Z_c轴坐标就可以准确的计算出目标在相机坐标系中的位置，简化计算步骤。

在本发明的一个优选实施例中，建立相机成像模型中四个坐标系的转换关系，如图2所示，世界坐标系中一点P转化到像素坐标系的过程如下：

从世界坐标系到相机坐标系：

其中R为旋转矩阵，T为平移矩阵；

从相机坐标系到图像坐标系：

其中f_x，f_y分别为相机在x方向和y方向的焦距；

假设像素坐标系原点在图像坐标系下的坐标为(u₀，v₀)，每个像素点在图像坐标系X轴、Y轴方向的尺寸为：d_x，d_y，且像点在实际图像坐标系下的坐标为(x_i，y_i)，于是可得到像点在像素坐标系下的坐标为：

从图像坐标系到像素坐标系：

可得到内参矩阵M：

由公式(5)、(6)、(7)可得到图像坐标系到相机坐系的转换公式：

当depth为未知量时，该方程有无穷解，所以位置不可恢复。

因此，本发明提出一种平面平行一致性的先验，该先验内容包括：

a)、相机光心距离某一平面的距离h已知；

b)、光轴与平面夹角α已知；

c)、目标与该平面有一接触点P。

满足以上三条，就可以将该接触点在相机坐标系中的位置求解出来。

在本发明的一个优选实施例中，构建单目测距模型，如图1所示：

相机光心为O，已知图像坐标系到某一平面距离h，相机内参M以及相机焦距f。

接触点P位于世界坐标系(X_w，Y_w，Z_w)X_w-Y_w平面；O₁为图像坐标系的原点，O₂是O在世界坐标系中X_w-Y_w平面上的投影，α是光轴与平面的夹角，求解接触点P在相机坐标系中的位置。

继续参见图1，Q为接触点P在Y_w轴上的投影且PQ⊥Y_w，Q′、P′分别为Q、P在图像坐标系平面中的投影，且Q′是P′在Y_i轴上的投影；γ为OQ与Y_w夹角；设P′在像素坐标系中的坐标为(u₀，v₀)，则Q′的坐标为(0，v₀)，有：

∠γ＝∠α+∠β

∠β＝∠β′

D点是Q点在光轴z_c上的投影，QD⊥z_c，

OD的长度就为接触点P在相机坐标系中的depth

将depth代入式(2)得到X_c，Y_c，Z_c的值，利用公式(3)求得真实距离D：

在本发明的一个优选实施例中，由于室外交通影像当中大部分的目标(车、人)都是在地面上，我们默认地面的法向量一致。基于以上我们采用机器视觉领域中的目标检测技术获取目标在图像中的边界框，并选择边界框的下端中点，近似的认为该点P为目标与地面的接地点(如图4所示)。使用该点P来粗略的估计目标在相机坐标系中的位置。目标接地点P图像坐标系中的位置为(x_i，y_i)，根据相机坐标系的转换关系可由像素坐标系(2d)转换至图像坐标系(2d)，得到在图像坐标系中的位置，根据式(2)，代入单目测距模型中得到X_c，Y_c，Z_c的值。

同样，如在桌面，台面等平面上的目标，均适用此单目测距模型。

在本发明的另一个实施例中，将求解出来的位置重投影回RGB图像对应的雷达点云中，观察其误差，如图5所示白色点是重投影位置。

在本发明的另一个实施例中，为了测试该方法的性能，我们使用了室外交通数据集KITTI进行测试，该数据集中包含10k+的车辆，如图6所示将真值边界框拆分成八个点，八个点中距离相机坐标系最近的点作为测量点1，统计了每个目标的绝对误差与相对误差(Relative error)。

如图7a，蓝色线为y＝x，每一个点代表KITTI中的一个单独目标，在KITTI中有效目标只会出现在80以内。当点准确的压在蓝色线上时，说明检测结果是绝对准确的；

在图7b中，蓝色线代表了误差为0％，当点压在蓝色线上时，此时的误差为0％。从结果中我们可以看出，大部分的点会集中在蓝色线的附近。但是也少量的点误差很大，从结果中可以看出，绝对误差与相对误差都随着距离的增加而增加。

在本发明的另一个实施例中，如图8，我们使用了柱状图与饼状图来表达结果的构成。45.9％的目标相对误差在±10％，74.3％的目标相对误差在±20％，92.9％的目标相对误差在±30％。

在本发明的另一个实施例中，根据实验结果，我们绘制了误差，使用所有的样本作为统计样本。

最终结果如图9。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims

1.一种单目相机目标测距方法，其特征在于，包括：

其中，(u₀，v₀)为像素坐标系原点在图像坐标系下的坐标；

d_x，d_y为每个像素点在图像坐标系x轴、y轴方向的尺寸；

f_x，f_y分别为相机在x方向和y方向的焦距；

S2、确定一个平行平面作为基准，相机光心O距离该平面的距离h已知，相机光轴与该平面的夹角α已知，目标与该平面有一接触点P，通过几何关系求取所述接触点P在所述相机坐标系中的depth；

S3、将所述depth值带入式(2)，得到X_c，Y_c，Z_c的值后求取真实距离D：

2.根据权利要求1所述的单目相机目标测距方法，其特征在于，所述步骤S2中，建立单目测距模型如下：

所述接触点P位于世界坐标系(X_w，Y_w，Z_w)X_w-Y_w平面；O₁为图像坐标系的原点；O₂是O在所述世界坐标系中X_w-Y_w平面上的投影；Q为所述接触点P在Y_w轴上的投影且PQ⊥Y_w，D点是Q点在光轴z_c上的投影，QD⊥z_c，Q′、P′分别为Q、P在所述图像坐标系平面中的投影，且Q′是P′在Y_i轴上的投影；γ为OQ与Y_w夹角；设P′在像素坐标系中的坐标为(u₀，v₀)，则Q′的坐标为(0，v₀)。

3.根据权利要求1所述的单目相机目标测距方法，其特征在于，所述接触点P的选取基于机器视觉领域中的目标检测技术获取目标在图像中的边界框，选择所述边界框的下端中点，近似的认为该点为目标与平面的接触点P。

4.根据权利要求1所述的单目相机目标测距方法，其特征在于，所述OD的长度通过下式获取：

5.根据权利要求1所述的单目相机目标测距方法，其特征在于，所述平面可以是地面，或者是桌面。