CN112683228A - 单目相机测距方法及装置 - Google Patents
单目相机测距方法及装置 Download PDFInfo
- Publication number
- CN112683228A CN112683228A CN202011350408.3A CN202011350408A CN112683228A CN 112683228 A CN112683228 A CN 112683228A CN 202011350408 A CN202011350408 A CN 202011350408A CN 112683228 A CN112683228 A CN 112683228A
- Authority
- CN
- China
- Prior art keywords
- target
- preset
- distance
- image data
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例涉及图像处理技术领域，提供了一种单目相机测距方法及装置，所述方法包括：通过目标相机采集目标场景的原始图像数据；对原始图像数据进行目标检测，获取原始图像数据中的目标对象；对目标对象进行目标跟踪，获取目标对象在原始图像数据上的运动轨迹；将目标对象在原始图像数据上的运动轨迹转换到鸟瞰图，和鸟瞰图像素与真实距离的预设变换比例，获取目标对象与所述目标相机的实际距离。本申请方案成本低，在路口仅仅需要相机即可实现目标检测、目标跟踪与目标测距，由于目标相机在目标路口是静止不动的，通过简易的标定即可实现精确的单目测距效果。
Description
技术领域
本申请涉及图像处理及激光测距技术领域，尤其涉及一种单目相机测距方法及装置。
背景技术
车辆的自动驾驶或者防碰撞(行人保护)场景下，需要测量车辆与目标对象(前车、行人、车道线)的距离，现有技术中常常采用的测距方法有多传感器融合、相机融合、毫米波雷达或者激光雷达等方法。
多传感器信息融合(Multi-sensorInformationFusion，简称MSIF)就是利用计算机技术将来自多传感器或多源的信息和数据，在一定的准则下加以自动分析和综合，以完成所需要的决策和估计而进行的信息处理过程。
传统的多相机融合方法只采用图像传感器的方式，在使用图像传感器获取图像信息的基础上引入了激光扫描测距仪获取场景的点云数据，利用点云数据获取场景的深度信息，根据深度信息进行聚焦深度的选择，减少时间复杂度，从而实现单目相机的测距。
以上的多传感器融合、相机融合、毫米波雷达或者激光雷达实现路口的目标感知和测距的方法，存在成本高，并且各个传感器之间的时间同步不易解决的问题。
发明内容
本申请提供一种单目相机测距方法及装置，以实现低成本的单目测距。
本申请提供一种单目相机测距方法，包括：
通过目标相机采集目标场景的原始图像数据，所述目标相机布置在目标车辆上；
对所述原始图像数据进行目标检测，获取所述原始图像数据中的目标对象；
对所述目标对象进行目标跟踪，获取所述目标对象在所述原始图像数据上的运动轨迹，并转换到鸟瞰图上；
根据所述目标对象在所述鸟瞰图上的运动轨迹和预设变换比例，获取所述目标对象与所述目标相机的实际距离。
根据本申请提供一种的单目相机测距方法，所述预设变换比例包括预设横向变换比例和预设纵向变换比例，所述预设横向变换比例基于所述鸟瞰图上横向像素距离和横向真实距离得到，所述预设纵向变换比例基于所述鸟瞰图上纵向像素距离和纵向真实距离得到，所述横向像素距离为所述鸟瞰图上第一预设采集点和第三预设采集点在X轴方向上的像素距离，所述横向真实距离为所述第一预设采集点和所述第三预设采集点在X轴方向上的实际距离，所述纵向像素距离为所述鸟瞰图上第二预设采集点和所述第三预设采集点在Y轴方向上的像素距离，所述纵向真实距离为所述第二预设采集点和所述第三预设采集点在Y轴方向上的实际距离。
根据本申请提供一种的单目相机测距方法，所述预设变换比例表示所述鸟瞰图和真实世界之间的比例变换关系。
根据本申请提供一种的单目相机测距方法，所述预设横向变换比例基于横向像素距离和横向真实距离得到，计算公式如下：
kx＝X/x，
其中，kx表示所述预设横向变换比例，X表示所述横向真实距离，x表示所述横向像素距离；
所述预设纵向变换比例基于纵向像素距离和纵向真实距离得到，计算公式如下：
ky＝Y/y，
其中，ky表示所述预设纵向变换比例，Y表示所述纵向真实距离，y表示所述纵向像素距离。
根据本申请提供一种的单目相机测距方法，对所述原始图像数据进行目标检测，获取所述原始图像数据中的目标对象，包括：
基于神经网络的对象识别与定位算法，对所述原始图像数据进行目标检测，获取所述原始图像数据中的目标对象。
根据本申请提供一种的单目相机测距方法，对所述目标对象进行目标跟踪，获取所述目标对象在所述原始图像数据上的运动轨迹，包括：
基于多目标跟踪算法，对所述原始图像数据进行目标检测，得到所述原始图像数据中的目标对象。
本申请还提供一种单目相机测距装置，包括：
原始图像获取模块，用于通过目标相机采集目标场景的原始图像数据，所述目标相机布置在目标车辆上；
目标检测模块，用于对所述原始图像数据进行目标检测，获取所述原始图像数据中的目标对象；
目标跟踪模块，用于对所述目标对象进行目标跟踪，获取所述目标对象在所述原始图像数据上的运动轨迹，并转换到鸟瞰图上；
距离测量模块，用于根据所述目标对象在所述鸟瞰图上的运动轨迹和预设变换比例，获取所述目标对象与所述目标相机的实际距离。
根据本申请提供一种的单目相机测距装置，所述预设变换比例包括预设横向变换比例和预设纵向变换比例，所述预设横向变换比例基于所述鸟瞰图上横向像素距离和横向真实距离得到，所述预设纵向变换比例基于所述鸟瞰图上纵向像素距离和纵向真实距离得到，所述横向像素距离为所述鸟瞰图中第一预设采集点和第三预设采集点在X轴方向上的像素距离，所述横向真实距离为所述第一预设采集点和所述第三预设采集点在X轴方向上的实际距离，所述纵向像素距离为所述鸟瞰图中第二预设采集点和所述第三预设采集点在Y轴方向上的像素距离，所述纵向真实距离为所述第二预设采集点和所述第三预设采集点在Y轴方向上的实际距离。
本申请还提供一种车辆，包括上述单目相机测距装置。
本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述单目相机测距方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述单目相机测距方法的步骤。
本申请实施例提供的一种单目相机测距方法及装置，只需要在目标车辆上布置单目相机，并结合单目感知算法，即可实现目标检测、目标跟踪与目标测距，方案成本低。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的一种单目相机测距方法的流程图；
图2为本申请实施例中对鸟瞰图进行离线标定的示意图；
图3为本申请提供的一种单目相机测距方法的流程框图；
图4为本申请提供的一种单目相机测距装置的结构示意图；
图5为本申请提供的一种电子设备的实体结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外一种现有技术为基于视觉单目测距的现有技术，可以通过相机安装高度、角度和相机内参计算目标距离，或者通过神经网络直接估计距离，但是通过相机高度角度和内参计算距离都需要地面平坦，如果出现坡度，那么距离计算会出现偏差，通过深度学习算法可以恢复单目距离，但是计算量比较大，并且数据标注过程比较艰难。
本申请实施例提供的一种单目相机测距方法，如图1所示，该方法包括：
110，通过目标相机采集目标场景的原始图像数据，所述目标相机布置在目标车辆中；
本申请实施例中，目标相机一般固定在目标车辆上，在目标相机固定的情况下，通过目标相机对目标场景进行拍摄，得到关于目标场景的原始图像数据。
此处的目标相机可以是包括各种各样的彩色相机或者黑白相机，比如RGB彩色相机，相应地，获取的原始图像数据就是彩色图像。
120，对所述原始图像数据进行目标检测，获取所述原始图像数据中的目标对象；
对原始图像数据进行目标检测，检测出原始图像数据中的每个目标对象，得到每个目标对象所在的位置，此处的目标对象可以是运动的物体，也可以是静止的物体，包括行人、车辆和行车线。
对于常见的目标检测算法，目前几乎所有的最先进的目标检测算法都是基于深度学习的，这些算法可以被主要分为两类：两阶段(two stage)的目标检测算法以及单阶段(one stage)的目标检测算法。
两阶段的算法也可以叫做基于候选区域(region proposal)的算法。这种算法首先通过对输入图片进行处理，去找到可能包含目标物体的候选区域，然后再使用分类器在这些候选区域上去对目标物体进行分类。
单阶段的目标检测算法不用产生候选区域，可以直接从图片中获得目标检测结果。最早的单阶段目标检测算法从基于神经网络的对象识别与定位算法(You Only LookOnce，简称YOLO)开始，YOLO只需要处理图片一次就可以同时得到目标物体的位置和类别。
130，对所述目标对象进行目标跟踪，获取所述目标对象在所述原始图像数据上的运动轨迹，并转换到鸟瞰图上；
接着对原始图像数据中的每个目标对象进行轨迹跟踪，得到每个目标对象所在原始图像数据上的运动轨迹。
运动目标轨迹跟踪是视频监控系统中不可缺少的环节，目标对象跟踪一般可以分为特征提取和目标跟踪两个部分，其中提取的目标特征大致可以分为以下几个部分：
(1)以目标区域的颜色直方图作为特征，颜色特征具有旋转不变性，且不受目标物大小和形状的变化影响，在颜色空间中分布大致相同。
(2)目标的轮廓特征，算法速度较快，并且在目标有小部分遮挡的情况下同样有较好的效果。
(3)目标的纹理特征，纹理特征较轮廓特征跟踪效果会有所改善。
目标跟踪的算法大致可以分为以下四种：
(1)均值漂移(meanshift)算法，此方法可以通过较少的迭代次数快速找到与目标最相似的位置，效果也挺好的。但是其不能解决目标的遮挡问题并且不能适应目标对象的的形状和大小变化等。对其改进的算法有自适应的均值漂移(camshift)算法，此方法可以适应目标对象的大小形状的改变，具有较好的跟踪效果，但当背景色和目标颜色接近时，容易使目标的区域变大，最终有可能导致目标跟踪丢失。
(2)基于卡尔曼(Kalman)滤波的目标跟踪，该方法是认为物体的运动模型服从高斯模型，来对目标的运动状态进行预测，然后通过与观察模型进行对比，根据误差来更新目标对象的状态，该算法的精度不是特高。
(3)基于粒子滤波的目标跟踪，每次通过当前的跟踪结果重采样粒子的分布，然后根据粒子的分布对粒子进行扩散，再通过扩散的结果来重新观察目标的状态，最后归一化更新目标的状态。此算法的特点是跟踪速度特别快，而且能解决目标的部分遮挡问题，在实际工程应用过程中越来越多的被使用。
(4)基于对目标对象建模的方法。该方法需要提前通过先验知识知道所跟踪的目标对象是什么，比如车辆、行人、人脸等。通过对要跟踪的目标进行建模，然后再利用该模型来进行实际的跟踪。该方法必须提前知道要跟踪的目标对象是什么，然后再去跟踪指定的目标，这是它的局限性，因而其推广性相对比较差。
常用的轨迹跟踪算法可以实现比较好的目标跟踪效果，例如粒子滤波算法和基于轮廓的目标跟踪算法。
本申请实施例中可以采用基于粒子滤波的目标跟踪和基于轮廓的跟踪，基于粒子滤波的目标跟踪包括初始化提取目标对象特征阶段、特征搜索阶段、决策阶段和粒子重采样阶段；基于轮廓的跟踪算法提供了更加准确的形状描述，这种方法的主要思想是利用前一帧建立的目标模型找到当前帧的目标区域，模型可以是目标区域的颜色直方图、边缘或轮廓。基于轮廓的目标跟踪方法大体上可以分为形状匹配、轮廓跟踪。前者搜索目标在当前帧特征,后者通过状态空间模型或直接最小化能量函数推导初始轮廓在当前帧的位置。
本申请实施例中的目标对象跟踪算法可以是基于粒子滤波的目标跟踪算法，也可以是基于轮廓的跟踪算法，具体可以根据实际需求进行选择，本申请实施例在此不做限定。
140，根据所述目标对象在所述鸟瞰图上的运动轨迹和预设变换比例，获取所述目标对象与所述目标相机的实际距离。
获取到每个目标对象在原始图像数据上的跟踪轨迹，将该目标对象在原始图像数据上的跟踪轨迹变换到目标场景对应的鸟瞰图上，即可得到鸟瞰图上目标对象的跟踪轨迹，结合预设变换比例，计算出每个目标对象与目标相机之间的实际距离，此处，预设变换比例表示的是鸟瞰图和真实世界之间的比例对应关系。
本申请实施例解决了车对外界的信息交换场景下目标感知和测距的问题，通过在目标车辆上布置目标相机，并结合单目感知算法实现目标检测、目标跟踪与目标测距，并将感知结果发送给车辆，实现车与外界信息的交互。
本申请实施例提供的一种单目相机测距方法，只需要在目标车辆上布置单目相机，并结合单目感知算法，即可实现目标检测、目标跟踪与目标测距，方案成本低。
在上述实施例的基础上，优选地，所述预设变换比例包括预设横向变换比例和预设纵向变换比例，所述预设横向变换比例基于所述鸟瞰图上横向像素距离和横向真实距离得到，所述预设纵向变换比例基于所述鸟瞰图上纵向像素距离和纵向真实距离得到，所述横向像素距离为所述鸟瞰图上第一预设采集点和第三预设采集点在X轴方向上的像素距离，所述横向真实距离为所述第一预设采集点和所述第三预设采集点在X轴方向上的实际距离，所述纵向像素距离为所述鸟瞰图上第二预设采集点和所述第三预设采集点在Y轴方向上的像素距离，所述纵向真实距离为所述第二预设采集点和所述第三预设采集点在Y轴方向上的实际距离。
具体地，在进行离线标定工作之前，在真实世界中标定出第一预设采集点、第二预设采集点和第三预设采集点，测量出真实世界中第一预设采集点和第三预设采集点之间的实际距离、第二预设采集点和第三预设采集点之间的实际距离。通过这三个采集点作为测量标签，通常情况下，第一预设采集点和第三预设采集点处于一条水平线上，第二预设采集点和第三预设采集点处于一条竖直线上，第一预设采集点、第二预设采集点和第三预设采集点构成一个直角三角形，第二预设采集点为该直角三角形的直角顶点，第一预设采集点和第三预设采集点为剩下两个顶点。
在对应的鸟瞰图中，计算出第一预设采集点和第三预设采集点之间在X轴方向上的横向像素距离，接着再计算出第二预设采集点和第三预设采集点在Y轴方向上的纵向像素距离。
测量出第一预设采集点和第三预设采集点之间的真实距离，即为横向真实距离，测量出第二预设采集点和第三预设采集点之间的真实距离，即为纵向真实距离。
然后基于横向像素距离和横向真实距离，计算出预设横向变换比例。
具体地，本申请实施例中将横向真实距离除以横向像素距离，计算得到预设横向变换比例。
接着基于纵向像素距离和纵向真实距离，计算出预设纵向变换比例。
本申请实施例中将纵向真实距离除以纵向像素距离，得到预设纵向变换比例。
在上述实施例的基础上，优选地，所述预设变换比例表示所述鸟瞰图和真实世界之间的比例变换关系。
具体地，如图2所示，为了方便标定，鸟瞰图是根据透视原理，用高视点透视法从高处某一点俯视地面起伏绘制成的立体图。简单地说，就是在空中俯视某一地区所看到的图像，比平面图更有真实感。
本发明实施例中的预设变换比例表示鸟瞰图和真实世界之间的比例放大或缩小的比例关系。
综上，本申请实施例中通过简单的数据离线标定即可实现精确的单目测距效果。
在上述实施例的基础上，优选地，对所述原始图像数据进行目标检测，获取所述原始图像数据中的目标对象，具体包括：
基于神经网络的对象识别与定位算法，对所述原始图像数据进行目标检测，获取所述原始图像数据中的每一目标对象。
此处的基于神经网络的对象识别与定位算法，是指前面提到的YOLO算法，YOLO最大的优点在于运行速度十分快，相对于之前的两阶段的目标检测算法来说，YOLO的速度有明显优势。
在YOLO基础上，又提出了YOLO v3和YOLO 9000。YOLO 9000可以更快速以及准确的进行目标检测，重点提升了召回率和降低了定位精度方面的误差。针对YOLO系列算法定位精度的问题，2016年提出的单目标检测(single shotmultibox detector，简称SSD)算法将YOLO的回归思想和其它神经网络机制结合在一起。其保证了YOLO的快速运行效率，也保证了与神经网络相近的边界框定位精度。
在上述实施例的基础上，优选地，对所述目标对象进行目标跟踪，获取所述目标对象在所述原始图像数据上的运动轨迹，具体包括：
基于多目标跟踪算法，对所述原始图像数据进行目标检测，得到所述原始图像数据中的目标对象。
具体地，基于多目标跟踪算法，此处的多目标跟踪算法可以是前面提到的基于粒子滤波的目标跟踪算法，也可以是基于轮廓的目标跟踪算法，具体可以根据实际需要进行选择，本申请实施例在此不做具体的限定。
本申请实施例还提供一种单目相机测距方法的流程框图，如图3所示，根据单目相机拍摄的原始图像数据，采用基于神经网络的对象识别与定位算法，对该原始图像数据进行目标检测，得到原始图像数据中的目标对象；基于检测出来的目标对象，采用粒子滤波跟踪算法，对目标对象进行轨迹跟踪，得到目标对象的运动轨迹；基于检测出来的运动轨迹，通过逆透视变换模块，该逆透视变换模块表示的是原始图像数据变换到鸟瞰图，然后根据鸟瞰图中像素距离与真实距离之间的比例变换关系，得到目标对象与相机之间的测量距离，将这个测量距离输入给车，实现车辆与外界的信息交换。
本申请实施例提供的一种单目相机测距装置，如图4所示，该装置包括原始图像获取模块401、目标检测模块402、目标跟踪模块403和距离测量模块404，其中：
原始图像获取模块401用于通过目标相机采集目标场景的原始图像数据，所述目标相机布置在目标车辆上；
目标检测模块402用于对所述原始图像数据进行目标检测，获取所述原始图像数据中的目标对象；
目标跟踪模块403用于对所述目标对象进行目标跟踪，获取所述目标对象在所述原始图像数据上的运动轨迹，并转换到鸟瞰图上；
距离测量模块404用于根据所述目标对象在所述鸟瞰图上的运动轨迹和预设变换比例，获取所述目标对象与所述目标相机的实际距离。
原始图像获取模块401通过目标相机采集目标场景的原始图像数据，并将原始图像数据发送给目标检测模块402，目标检测模块402对原始图像数据进行目标检测，检测出原始图像数据中的目标对象，并将检测出的目标对象发送给目标跟踪模块403，目标跟踪模块403对每个目标对象进行跟踪，得到目标对象的运动轨迹，并将运动轨迹转换到鸟瞰图上，距离测量模块404根据鸟瞰图上目标对象的运动轨迹，结合预设变换比例，得到目标对象和目标相机之间的实际距离。
本实施例为与上述方法对应的装置实施例，详情请参考上述方法实施例，其具体实现方式与方法的实施例中记载的实施方式一致，本装置实施例在此不再赘述。
在上述实施例的基础上，优选地，还包括：所述预设变换比例包括预设横向变换比例和预设纵向变换比例，所述预设横向变换比例基于所述鸟瞰图上横向像素距离和横向真实距离得到，所述预设纵向变换比例基于所述鸟瞰图上纵向像素距离和纵向真实距离得到，所述横向像素距离为所述鸟瞰图中第一预设采集点和第三预设采集点在X轴方向上的像素距离，所述横向真实距离为所述第一预设采集点和所述第三预设采集点在X轴方向上的实际距离，所述纵向像素距离为所述鸟瞰图中第二预设采集点和所述第三预设采集点在Y轴方向上的像素距离，所述纵向真实距离为所述第二预设采集点和所述第三预设采集点在Y轴方向上的实际距离。
具体地，在进行离线标定工作之前，在真实世界中标定出第一预设采集点、第二预设采集点和第三预设采集点，测量出真实世界中第一预设采集点和第三预设采集点之间的实际距离、第二预设采集点和第三预设采集点之间的实际距离。通过这三个采集点作为测量标签，通常情况下，第一预设采集点和第三预设采集点处于一条水平线上，第二预设采集点和第三预设采集点处于一条竖直线上，第一预设采集点、第二预设采集点和第三预设采集点构成一个直角三角形，第二预设采集点为该直角三角形的直角顶点，第一预设采集点和第三预设采集点为剩下两个顶点。
在对应的鸟瞰图中，计算出第一预设采集点和第三预设采集点之间在X轴方向上的横向像素距离，接着再计算出第二预设采集点和第三预设采集点在Y轴方向上的纵向像素距离。
测量出第一预设采集点和第三预设采集点之间的真实距离，即为横向真实距离，测量出第二预设采集点和第三预设采集点之间的真实距离，即为纵向真实距离。
在上述实施例的基础上，优选地，所述预设变换比例表示所述鸟瞰图和真实世界之间的比例变换关系。
为了方便标定，鸟瞰图是根据透视原理，用高视点透视法从高处某一点俯视地面起伏绘制成的立体图。简单地说，就是在空中俯视某一地区所看到的图像，比平面图更有真实感。
本发明实施例中的预设变换比例表示鸟瞰图和真实世界之间的比例放大或缩小的比例关系。
在上述实施例的基础上，优选地，所述预设横向变换比例基于横向像素距离和横向真实距离得到，计算公式如下：
kx＝X/x，
其中，kx表示所述预设横向变换比例，X表示所述横向真实距离，x表示所述横向像素距离；
具体地，通过将横向真实距离除以横向像素距离，就可以得到预设横向变换比例的值。
所述预设纵向变换比例基于纵向像素距离和纵向真实距离得到，计算公式如下：
ky＝Y/y，
其中，ky表示所述预设纵向变换比例，Y表示所述纵向真实距离，y表示所述纵向像素距离。
具体地，通过将纵向真实距离除以纵向像素距离，就可以得到预设纵向变换比例。
在上述实施例的基础上，优选地，对所述原始图像数据进行目标检测，获取所述原始图像数据中的目标对象，具体包括：
基于神经网络的对象识别与定位算法，对所述原始图像数据进行目标检测，获取所述原始图像数据中的每一目标对象。
此处的基于神经网络的对象识别与定位算法，是指前面提到的YOLO算法，YOLO最大的优点在于运行速度十分快，相对于之前的两阶段的目标检测算法来说，YOLO的速度有明显优势。
在上述实施例的基础上，优选地，对所述目标对象进行目标跟踪，获取所述目标对象在所述原始图像数据上的运动轨迹，具体包括：
基于多目标跟踪算法，对所述原始图像数据进行目标检测，得到所述原始图像数据中的目标对象。
具体地，基于多目标跟踪算法，此处的多目标跟踪算法可以是前面提到的基于粒子滤波的目标跟踪算法，也可以是基于轮廓的目标跟踪算法，具体可以根据实际需要进行选择，本申请实施例在此不做具体的限定。
本申请实施例还提供一种车辆，该车辆包括上述单目相机测距装置，通过该单目相机测距装置测量车辆与外面目标对象之间的距离，并将这个距离传输给车辆，车辆根据该距离进行后续的应用，比如自动驾驶或者防止碰撞等操作，实现车辆与外界信息之间的交互。
本申请实施例提供的一种电子设备，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行一种单目相机测距方法，该方法包括：
通过目标相机采集目标场景的原始图像数据，所述目标相机布置在目标车辆上；
对所述原始图像数据进行目标检测，获取所述原始图像数据中的目标对象；
对所述目标对象进行目标跟踪，获取所述目标对象在所述原始图像数据上的运动轨迹，并转换到鸟瞰图上；
根据所述目标对象在所述鸟瞰图上的运动轨迹和预设变换比例，获取所述目标对象与所述目标相机的实际距离。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质，其具体实现方式与方法的实施例中记载的实施方式一致。
另一方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的一种单目相机测距方法，该方法包括：
通过目标相机采集目标场景的原始图像数据，所述目标相机布置在目标车辆上；
对所述原始图像数据进行目标检测，获取所述原始图像数据中的目标对象；
对所述目标对象进行目标跟踪，获取所述目标对象在所述原始图像数据上的运动轨迹，并转换到鸟瞰图上；
根据所述目标对象在所述鸟瞰图上的运动轨迹和预设变换比例，获取所述目标对象与所述目标相机的实际距离。
本计算机程序产品的具体实现方式与方法的实施例中记载的实施方式一致。
又一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的一种单目相机测距方法，该方法包括：
通过目标相机采集目标场景的原始图像数据，所述目标相机布置在目标车辆上；
对所述原始图像数据进行目标检测，获取所述原始图像数据中的目标对象；
对所述目标对象进行目标跟踪，获取所述目标对象在所述原始图像数据上的运动轨迹，并转换到鸟瞰图上；
根据所述目标对象在所述鸟瞰图上的运动轨迹和预设变换比例，获取所述目标对象与所述目标相机的实际距离。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施，其具体实现方式与方法的实施例中记载的实施方式一致。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (11)
1.一种单目相机测距方法，其特征在于，包括：
通过目标相机采集目标场景的原始图像数据，所述目标相机布置在目标车辆上；
对所述原始图像数据进行目标检测，获取所述原始图像数据中的目标对象；
对所述目标对象进行目标跟踪，获取所述目标对象在所述原始图像数据上的运动轨迹，并转换到鸟瞰图上；
根据所述目标对象在所述鸟瞰图上的运动轨迹和预设变换比例，获取所述目标对象与所述目标相机的实际距离。
2.根据权利要求1所述的单目相机测距方法，其特征在于，所述预设变换比例包括预设横向变换比例和预设纵向变换比例，所述预设横向变换比例基于所述鸟瞰图上横向像素距离和横向真实距离得到，所述预设纵向变换比例基于所述鸟瞰图上纵向像素距离和纵向真实距离得到，所述横向像素距离为所述鸟瞰图中第一预设采集点和第三预设采集点在X轴方向上的像素距离，所述横向真实距离为所述第一预设采集点和所述第三预设采集点在X轴方向上的实际距离，所述纵向像素距离为所述鸟瞰图中第二预设采集点和所述第三预设采集点在Y轴方向上的像素距离，所述纵向真实距离为所述第二预设采集点和所述第三预设采集点在Y轴方向上的实际距离。
3.根据权利要求1所述的单目相机测距方法，其特征在于，所述预设变换比例表示所述鸟瞰图和真实世界之间的比例变换关系。
4.根据权利要求2或3所述的单目相机测距方法，其特征在于，所述预设横向变换比例基于横向像素距离和横向真实距离得到，计算公式如下：
kx＝X/x，
其中，kx表示所述预设横向变换比例，X表示所述横向真实距离，x表示所述横向像素距离；
所述预设纵向变换比例基于纵向像素距离和纵向真实距离得到，计算公式如下：
ky＝Y/y，
其中，ky表示所述预设纵向变换比例，Y表示所述纵向真实距离，y表示所述纵向像素距离。
5.根据权利要求1至3任一所述的单目相机测距方法，其特征在于，对所述原始图像数据进行目标检测，获取所述原始图像数据中的目标对象，包括：
基于神经网络的对象识别与定位算法，对所述原始图像数据进行目标检测，获取所述原始图像数据中的目标对象。
6.根据权利要求1至3任一所述的单目相机测距方法，其特征在于，对所述目标对象进行目标跟踪，获取所述目标对象在所述原始图像数据上的运动轨迹，包括：
基于多目标跟踪算法，对所述原始图像数据进行目标检测，得到所述原始图像数据中的目标对象。
7.一种单目相机测距装置，其特征在于，包括：
原始图像获取模块，用于通过目标相机采集目标场景的原始图像数据，所述目标相机布置在目标车辆上；
目标检测模块，用于对所述原始图像数据进行目标检测，获取所述原始图像数据中的目标对象；
目标跟踪模块，用于对所述目标对象进行目标跟踪，获取所述目标对象在所述原始图像数据上的运动轨迹，并转换到鸟瞰图上；
距离测量模块，用于根据所述目标对象在所述鸟瞰图上的运动轨迹和预设变换比例，获取所述目标对象与所述目标相机的实际距离。
8.根据权利要求7所述的单目相机测距装置，其特征在于，还包括：所述预设变换比例包括预设横向变换比例和预设纵向变换比例，所述预设横向变换比例基于所述鸟瞰图上横向像素距离和横向真实距离得到，所述预设纵向变换比例基于所述鸟瞰图上纵向像素距离和纵向真实距离得到，所述横向像素距离为所述鸟瞰图中第一预设采集点和第三预设采集点在X轴方向上的像素距离，所述横向真实距离为所述第一预设采集点和所述第三预设采集点在X轴方向上的实际距离，所述纵向像素距离为所述鸟瞰图中第二预设采集点和所述第三预设采集点在Y轴方向上的像素距离，所述纵向真实距离为所述第二预设采集点和所述第三预设采集点在Y轴方向上的实际距离。
9.一种车辆，其特征在于，包括权利要求7或8所述的单目相机测距装置。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述单目相机测距方法的步骤。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述单目相机测距方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011350408.3A CN112683228A (zh) | 2020-11-26 | 2020-11-26 | 单目相机测距方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011350408.3A CN112683228A (zh) | 2020-11-26 | 2020-11-26 | 单目相机测距方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112683228A true CN112683228A (zh) | 2021-04-20 |
Family
ID=75446794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011350408.3A Pending CN112683228A (zh) | 2020-11-26 | 2020-11-26 | 单目相机测距方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112683228A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113124821A (zh) * | 2021-06-17 | 2021-07-16 | 中国空气动力研究与发展中心低速空气动力研究所 | 一种基于曲面镜和平面镜的结构测量方法 |
| CN113192646A (zh) * | 2021-04-25 | 2021-07-30 | 北京易华录信息技术股份有限公司 | 目标检测模型构建方法及不同目标间距离监控方法、装置 |
| CN114440821A (zh) * | 2022-02-08 | 2022-05-06 | 三一智矿科技有限公司 | 基于单目相机的测距方法及装置、介质、设备 |
| CN114612933A (zh) * | 2022-03-11 | 2022-06-10 | 电子科技大学 | 单目社交距离检测追踪方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609486A (zh) * | 2017-08-16 | 2018-01-19 | 中国地质大学（武汉） | 一种车辆前向防撞预警方法及系统 |
| CN108957024A (zh) * | 2017-05-22 | 2018-12-07 | 阿里巴巴集团控股有限公司 | 一种速度测量的方法、装置以及电子设备 |
| CN110399762A (zh) * | 2018-04-24 | 2019-11-01 | 北京四维图新科技股份有限公司 | 一种基于单目图像的车道线检测的方法及装置 |
-
2020
- 2020-11-26 CN CN202011350408.3A patent/CN112683228A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108957024A (zh) * | 2017-05-22 | 2018-12-07 | 阿里巴巴集团控股有限公司 | 一种速度测量的方法、装置以及电子设备 |
| CN107609486A (zh) * | 2017-08-16 | 2018-01-19 | 中国地质大学（武汉） | 一种车辆前向防撞预警方法及系统 |
| CN110399762A (zh) * | 2018-04-24 | 2019-11-01 | 北京四维图新科技股份有限公司 | 一种基于单目图像的车道线检测的方法及装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192646A (zh) * | 2021-04-25 | 2021-07-30 | 北京易华录信息技术股份有限公司 | 目标检测模型构建方法及不同目标间距离监控方法、装置 |
| CN113192646B (zh) * | 2021-04-25 | 2024-03-22 | 北京易华录信息技术股份有限公司 | 目标检测模型构建方法及不同目标间距离监控方法、装置 |
| CN113124821A (zh) * | 2021-06-17 | 2021-07-16 | 中国空气动力研究与发展中心低速空气动力研究所 | 一种基于曲面镜和平面镜的结构测量方法 |
| CN113124821B (zh) * | 2021-06-17 | 2021-09-10 | 中国空气动力研究与发展中心低速空气动力研究所 | 一种基于曲面镜和平面镜的结构测量方法 |
| CN114440821A (zh) * | 2022-02-08 | 2022-05-06 | 三一智矿科技有限公司 | 基于单目相机的测距方法及装置、介质、设备 |
| CN114440821B (zh) * | 2022-02-08 | 2023-12-12 | 三一智矿科技有限公司 | 基于单目相机的测距方法及装置、介质、设备 |
| CN114612933A (zh) * | 2022-03-11 | 2022-06-10 | 电子科技大学 | 单目社交距离检测追踪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11320833B2 (en) | Data processing method, apparatus and terminal | |
| US20230014874A1 (en) | Obstacle detection method and apparatus, computer device, and storage medium | |
| US10719727B2 (en) | Method and system for determining at least one property related to at least part of a real environment | |
| CN112683228A (zh) | 单目相机测距方法及装置 | |
| KR102530344B1 (ko) | 카메라 캘리브레이션을 위한 방법, 시스템 및 컴퓨터 판독 가능한 매체 | |
| CN113111887A (zh) | 一种基于相机和激光雷达信息融合的语义分割方法及系统 | |
| CN112825192B (zh) | 基于机器学习的对象辨识系统及其方法 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| Li et al. | Road markings extraction based on threshold segmentation | |
| CN111913177A (zh) | 对目标物探测方法、装置以及存储介质 | |
| CN113255444A (zh) | 图像识别模型的训练方法、图像识别方法和装置 | |
| CN114119729A (zh) | 障碍物识别方法及装置 | |
| CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
| CN116643291A (zh) | 一种视觉与激光雷达联合剔除动态目标的slam方法 | |
| CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
| CN115327572A (zh) | 一种车辆前方障碍物检测方法 | |
| Qing et al. | A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation | |
| CN114919584A (zh) | 机动车定点目标测距方法、装置及计算机可读存储介质 | |
| Barua et al. | An Efficient Method of Lane Detection and Tracking for Highway Safety | |
| CN112529011A (zh) | 目标检测方法及相关装置 | |
| Fucen et al. | The object recognition and adaptive threshold selection in the vision system for landing an unmanned aerial vehicle | |
| CN115601435B (zh) | 车辆姿态检测方法、装置、车辆及存储介质 | |
| CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
| Wang et al. | A moving target detection and localization strategy based on optical flow and pin-hole imaging methods using monocular vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210420 |
|
| RJ01 | Rejection of invention patent application after publication |