CN118293884A - 障碍物测距方法、装置、设备及存储介质 - Google Patents
障碍物测距方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN118293884A CN118293884A CN202410135105.1A CN202410135105A CN118293884A CN 118293884 A CN118293884 A CN 118293884A CN 202410135105 A CN202410135105 A CN 202410135105A CN 118293884 A CN118293884 A CN 118293884A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- forward image
- effective
- height
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 79
- 230000000007 visual effect Effects 0.000 claims abstract description 31
- 238000012216 screening Methods 0.000 claims abstract description 8
- 230000004888 barrier function Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000011897 real-time detection Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000005293 physical law Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明涉及智能驾驶技术领域，公开了一种障碍物测距方法、装置、设备及存储介质。障碍物测距方法包括：采用单目相机进行测距，先检测单目相机拍摄的前向图像中的若干障碍物，并从各障碍物中筛选出若干有效障碍物，从而获得视觉线索；然后再根据各有效障碍物的真实高度以及各有效障碍物在前向图像中的检测信息，估算出前向图像中的虚拟地平线位置；最后再根据预定义视觉假设以及估算出的虚拟地平线位置，从而计算出单目相机与前向图像中检测到的各障碍物的真实距离。本发明在保证测距准确度的前提下，进一步降低了障碍物测距的实施成本。
Description
技术领域
本发明涉及智能驾驶技术领域，尤其涉及一种障碍物测距方法、装置、设备及存储介质。
背景技术
随着国内交通领域的快速发展，基于计算机视觉的智能车辆辅助系统逐渐成为各汽车制造厂商和科研机构中的研究热点，智能汽车辅助系统是一个集环境感知、规划决策、自动驾驶等多种功能于一体的综合系统。而物体间的距离是汽车了解周围环境和做出决策的关键信息，但是在图像成像的过程中因为缺失深度信息，无法直接从图像中获取物体的深度信息。因此出现了许多基于测距的传感器和测距技术，如：毫米波雷达测距、激光雷达测距、超声波测距、深度相机测距等。虽然专用的测距传感器在测距精度上高于视觉测距技术，但视觉测距因为其成本低，依然得到了更为广泛地应用。
单目相机是指自动驾驶车辆只安装一个相机来进行前向障碍物检测的方案，相比双目相机需要两个并排相机而言，单目相机的实施成本更加低廉，但是相比双目相机而言，单目相机则比较难以准确获得障碍物和车辆的距离。传统的基于几何关系的单目测距方法由于在真实场景使用时，适应性较差，导致对本车周围的目标测距精度不够。而基于深度学习的单目测距方法则具有较好的适应性，但是基于深度学习的单目测距方法大多是基于监督学习的(如3D目标检测)，这种方法需要大量带标注的数据进行训练，这不仅需要大量的人工成本，而且还需要比较高昂的硬件成本。
发明内容
本发明的主要目的在于解决现有智能驾驶进行障碍物测距存在实施成本过高的技术问题。
本发明第一方面提供了一种障碍物测距方法，所述障碍物测距方法包括：
实时检测单目相机拍摄的前向图像中的若干障碍物，并从各障碍物中筛选出若干有效障碍物；
根据各有效障碍物的真实高度以及各有效障碍物在所述前向图像中的检测信息，估算所述前向图像中的虚拟地平线位置；
根据预定义视觉假设以及所述虚拟地平线位置，分别计算所述单目相机与所述前向图像中检测到的各障碍物的真实距离。
可选的，在本发明第一方面的第一种实现方式中，所述实时检测单目相机拍摄的前向图像中的若干障碍物，并从各障碍物中筛选出若干有效障碍物包括：
实时获取单目相机拍摄的前向图像；
将所述前向图像输入预置目标检测模型进行目标检测，输出所述前向图像中各障碍物的位置与类别；
从各障碍物的类别中，筛选出若干有效障碍物。
可选的，在本发明第一方面的第二种实现方式中，所述根据各有效障碍物的真实高度以及各有效障碍物在所述前向图像中的检测信息，估算所述前向图像中的虚拟地平线位置包括：
根据各有效障碍物的真实高度以及各有效障碍物在所述前向图像中的检测信息，估算所述前向图像中虚拟地平线的纵坐标；
通过指数平均数算法对上一帧前向图像中的虚拟地平线的纵坐标进行融合，得到当前帧前向图像中的虚拟地平线位置。
可选的，在本发明第一方面的第三种实现方式中，所述根据各有效障碍物的真实高度以及各有效障碍物在所述前向图像中的检测信息，估算所述前向图像中虚拟地平线的纵坐标包括：
根据各有效障碍物的真实高度，计算各有效障碍物的真实平均高度以及各有效障碍物的真实高度标准差；
根据所述前向图像中各有效障碍物的位置，分别计算各有效障碍物的目标检测框高度以及在所述前向图像中的下边缘纵坐标；
根据各有效障碍物的目标检测框高度和下边缘纵坐标，分别计算各有效障碍物的目标检测框高度平均值以及下边缘纵坐标平均值；
根据各有效障碍物的真实平均高度、真实高度标准差、目标检测框高度平均值以及下边缘纵坐标平均值，估算所述前向图像中虚拟地平线的纵坐标。
可选的，在本发明第一方面的第四种实现方式中，采用以下公式估算所述前向图像中虚拟地平线的纵坐标：
其中，表示前向图像中虚拟地平线的纵坐标，yb,i表示第i个有效障碍物在前向图像中的下边缘纵坐标，ha,i表示第i个有效障碍物在前向图像中的目标检测框高度，Hc表示单目相机到地面的真实高度，表示各有效障碍物的真实平均高度，ΔHa,i表示第i个有效障碍物的真实高度标准差，表示各有效障碍物在前向图像中的下边缘纵坐标平均值，ha表示各有效障碍物在前向图像中的标检测框高度平均值，i为变量且取正整数，N为有效障碍物的数量。
可选的，在本发明第一方面的第五种实现方式中，所述视觉假设包括：障碍物在前向图像中的高度和障碍物的真实高度之间的比值等于单目相机焦距和单目相机到障碍物的距离之间的比值；
前向图像中障碍物着地点到前向图像中虚拟地平线位置的垂直距离和单目相机到地面的真实高度之间的比值等于障碍物在前向图像中的高度和障碍物的真实高度之间的比值。
可选的，在本发明第一方面的第六种实现方式中，采用以下公式计算所述单目相机与所述前向图像中检测到的各障碍物的真实距离：
其中，dj表示单目相机与前向图像中第j个障碍物的真实距离，Fc表示单目相机焦距，Hc表示单目相机到地面的真实高度，yb,i表示第j个障碍物在前向图像中的下边缘纵坐标，yh表示前向图像中的虚拟地平线位置，j为变量且取正整数。
本发明第二方面提供一种障碍物测距装置，所述障碍物测距装置包括：
检测模块，用于实时检测单目相机拍摄的前向图像中的若干障碍物，并从各障碍物中筛选出若干有效障碍物；
估算模块，用于根据各有效障碍物的真实高度以及各有效障碍物在所述前向图像中的检测信息，估算所述前向图像中的虚拟地平线位置；
计算模块，用于根据预定义视觉假设以及所述虚拟地平线位置，分别计算所述单目相机与所述前向图像中检测到的各障碍物的真实距离。
可选的，在本发明第二方面的第一种实现方式中，所述检测模块具体用于：
实时获取单目相机拍摄的前向图像；
将所述前向图像输入预置目标检测模型进行目标检测，输出所述前向图像中各障碍物的位置与类别；
从各障碍物的类别中，筛选出若干有效障碍物。
可选的，在本发明第二方面的第二种实现方式中，所述估算模块包括：
估算单元，用于根据各有效障碍物的真实高度以及各有效障碍物在所述前向图像中的检测信息，估算所述前向图像中虚拟地平线的纵坐标；
融合单元，用于通过指数平均数算法对上一帧前向图像中的虚拟地平线的纵坐标进行融合，得到当前帧前向图像中的虚拟地平线位置。
可选的，在本发明第二方面的第三种实现方式中，所述估算单元具体用于：
根据各有效障碍物的真实高度，计算各有效障碍物的真实平均高度以及各有效障碍物的真实高度标准差；
根据所述前向图像中各有效障碍物的位置，分别计算各有效障碍物的目标检测框高度以及在所述前向图像中的下边缘纵坐标；
根据各有效障碍物的目标检测框高度和下边缘纵坐标，分别计算各有效障碍物的目标检测框高度平均值以及下边缘纵坐标平均值；
根据各有效障碍物的真实平均高度、真实高度标准差、目标检测框高度平均值以及下边缘纵坐标平均值，估算所述前向图像中虚拟地平线的纵坐标。
可选的，在本发明第二方面的第四种实现方式中，采用以下公式估算所述前向图像中虚拟地平线的纵坐标：
其中，表示前向图像中虚拟地平线的纵坐标，yb,i表示第i个有效障碍物在前向图像中的下边缘纵坐标，ha,i表示第i个有效障碍物在前向图像中的目标检测框高度，Hc表示单目相机到地面的真实高度，表示各有效障碍物的真实平均高度，ΔHa,i表示第i个有效障碍物的真实高度标准差，表示各有效障碍物在前向图像中的下边缘纵坐标平均值，ha表示各有效障碍物在前向图像中的标检测框高度平均值，i为变量且取正整数，N为有效障碍物的数量。
可选的，在本发明第二方面的第五种实现方式中，所述视觉假设包括：障碍物在前向图像中的高度和障碍物的真实高度之间的比值等于单目相机焦距和单目相机到障碍物的距离之间的比值；
前向图像中障碍物着地点到前向图像中虚拟地平线位置的垂直距离和单目相机到地面的真实高度之间的比值等于障碍物在前向图像中的高度和障碍物的真实高度之间的比值。
可选的，在本发明第二方面的第六种实现方式中，采用以下公式计算所述单目相机与所述前向图像中检测到的各障碍物的真实距离：
其中，dj表示单目相机与前向图像中第j个障碍物的真实距离，Fc表示单目相机焦距，Hc表示单目相机到地面的真实高度，yb,i表示第j个障碍物在前向图像中的下边缘纵坐标，yh表示前向图像中的虚拟地平线位置，j为变量且取正整数。
本发明第三方面提供了一种计算机设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述计算机设备执行上述的障碍物测距方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的障碍物测距方法。
本发明提供的技术方案中，采用单目相机进行测距，先检测单目相机拍摄的前向图像中的若干障碍物，并从各障碍物中筛选出若干有效障碍物，从而获得视觉线索；然后再根据各有效障碍物的真实高度以及各有效障碍物在前向图像中的检测信息，估算出前向图像中的虚拟地平线位置；最后再根据预定义视觉假设以及估算出的虚拟地平线位置，从而计算出单目相机与前向图像中检测到的各障碍物的真实距离。本发明基于视觉假设实现测距计算，无需大量标注数据，实施成本低，并且本发明计算流程简单，计算速度快，无需高昂硬件成本，设备运行成本低。本发明在保证测距准确度的前提下，进一步降低了障碍物测距的实施成本。
附图说明
图1为本发明实施例中障碍物测距方法的一个实施例示意图；
图2为本发明实施例中智能驾驶的单目测距场景示意图；
图3为本发明实施例中障碍物测距装置的一个实施例示意图；
图4为本发明实施例中计算机设备的一个实施例示意图。
具体实施方式
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中障碍物测距方法的一个实施例包括：
101、实时检测单目相机拍摄的前向图像中的若干障碍物，并从各障碍物中筛选出若干有效障碍物；
本实施例中，单目相机是指只有一个摄像头的相机，其通常安装在车辆顶部靠前位置。单目相机拍摄是指将三维空间信息存储为二维图像，相当于某个场景在图像上的一个投影，其丢失了深度信息。所谓的深度信息就是单目相机和被测物体之间的距离。
本实施例中，前向图像指单目相机朝向车头正前方拍摄的车辆前进方向上的图像。本实施例的障碍物广义指可能影响车辆行驶安全的物体，比如行人、其他车辆、各类交通设施等。
在一可选实施例中，上述步骤101进一步包括：
实时获取单目相机拍摄的前向图像；
将所述前向图像输入预置目标检测模型进行目标检测，输出所述前向图像中各障碍物的位置与类别；
从各障碍物的类别中，筛选出若干有效障碍物。
本可选实施例中，车辆智能驾驶模式下，通常需要对车辆行进方向上可能存在的影响车辆行车安全的障碍物进行实时检测，因此，需要实时获取单目相机拍摄的前向图像，也即需要对单目相机实时拍摄的每一帧前向图像都进行障碍物检测，进而实现对障碍物距离的实时估算。需要说明的是，如果某一帧前向图像中未检测出障碍物，则无需对该帧前向图像进行有效障碍物的筛选。另外，如无特殊说明，各实施例中默认是对当前帧前向图像中的障碍物进行检测以及对当前帧前向图像中的障碍物进行测距。
本可选实施例对图像进行目标检测使用的目标检测模型不限，具体更加实际应用场景需要进行设置。该目标检测模型可以对每一帧前向图像进行障碍物检测，输出每一帧前向图像中存在的障碍物检测信息，包括障碍物在前线图像中的位置和障碍物的类别，障碍物的类别包括行人、单车、摩托车、轿车、卡车、锥桶等。其中，障碍物在前线图像中的位置可通过目标检测模型输出的目标检测框的坐标进行标识。
本可选实施例中，为便于后续能够准确估算出单目相机与障碍物的距离(相当于车辆与障碍物的距离),因此引入了当前行车环境中可能存在的视觉线索，比如各类轿车、卡车、锥桶等物体，其通常具有大致相同的尺寸，因此可以作为有效障碍物以辅助估算单目相机与障碍物的距离。需要说明的是，如果某一帧前向图像中检测出的障碍物未包含有效障碍物，则跳过对该帧图像的处理，进而对下一帧前向图像进行障碍物的检测与有效障碍物的筛选。
102、根据各有效障碍物的真实高度以及各有效障碍物在所述前向图像中的检测信息，估算所述前向图像中的虚拟地平线位置；
虚拟地平线是自动驾驶、辅助驾驶的重要几何依据。虚拟地平线是指在透视投影中，视野内水平方向的线与地面的交点所形成的水平线。地平线可以提供关于场景的重要信息，例如场景的水平方向、相机的高度、场景的远近等。在计算机视觉中，可以通过检测图像中的虚拟地平线来获得这些信息，并将其用于图像矫正、物体检测、场景重建等应用中。
本实施例中，预先设定各有效障碍物的真实高度，比如常规公路用锥桶高度为0.6米，常规轿车高度为1.5米，常规卡车高度为4.2米。在同一帧前向图像中可以出现任意一种或多种有效障碍物。有效障碍物在前向图像中的检测信息包括目标检测模型输出的有效障碍物的目标检测框的坐标。
本实施例中，在估算单目相机与障碍物的距离之前，需要先估算出虚拟地平线在拍摄的前向图像中的位置，具体根据各有效障碍物的真实高度以及各有效障碍物在前向图像中的检测信息，估算前向图像中的虚拟地平线位置。
在一可选实施例中，上述步骤102进一步包括：
1021、根据各有效障碍物的真实高度以及各有效障碍物在所述前向图像中的检测信息，估算所述前向图像中虚拟地平线的纵坐标；
本可选实施例中，虚拟地平线在拍摄的前向图像中的位置与前向图像中虚拟地平线的纵坐标有关，具体可根据各有效障碍物的真实高度以及各有效障碍物在前向图像中的检测信息，估算前向图像中虚拟地平线的纵坐标。
在一可选实施例中，步骤1021具体通过以下方式估算前向图像中虚拟地平线的纵坐标，包括：
(1)根据各有效障碍物的真实高度，计算各有效障碍物的真实平均高度以及各有效障碍物的真实高度标准差；
本可选实施例中，各有效障碍物的真实高度预先设定，进而可进一步计算出所有的有效障碍物的真实平均高度，根据各有效障碍物的真实高度和真实平均高度，进一步计算出每一有效障碍物的真实高度标准差。
(2)根据所述前向图像中各有效障碍物的位置，分别计算各有效障碍物的目标检测框高度以及在所述前向图像中的下边缘纵坐标；
本可选实施例中，可根据用于标识前向图像中各有效障碍物的位置的目标检测框坐标，计算出各有效障碍物的目标检测框高度以及在前向图像中的下边缘纵坐标(对应为障碍物在前向图像中的着地点)。
(3)根据各有效障碍物的目标检测框高度和下边缘纵坐标，分别计算各有效障碍物的目标检测框高度平均值以及下边缘纵坐标平均值；
(4)根据各有效障碍物的真实平均高度、真实高度标准差、目标检测框高度平均值以及下边缘纵坐标平均值，估算所述前向图像中虚拟地平线的纵坐标。
在一可选实施例中，采用以下公式估算所述前向图像中虚拟地平线的纵坐标：
其中，表示前向图像中虚拟地平线的纵坐标，yb,i表示第i个有效障碍物在前向图像中的下边缘纵坐标，ha,i表示第i个有效障碍物在前向图像中的目标检测框高度，Hc表示单目相机到地面的真实高度，Ha表示各有效障碍物的真实平均高度，ΔHa,i表示第i个有效障碍物的真实高度标准差，表示各有效障碍物在前向图像中的下边缘纵坐标平均值，ha表示各有效障碍物在前向图像中的标检测框高度平均值，i为变量且取正整数，N为有效障碍物的数量。
1022、通过指数平均数算法对上一帧前向图像中的虚拟地平线的纵坐标进行融合，得到当前帧前向图像中的虚拟地平线位置。
本实施例中，在估算出前向图像中的虚拟地平线的纵坐标后，采用指数平均数算法对上一帧前向图像中的虚拟地平线的纵坐标进行融合，即可得到当前帧前向图像中的虚拟地平线位置。需要说明的是，这里的上一帧前向图像与当前帧前向图像为相对值，也即随着时间的变化，任意一帧前向图像相对某一帧前向图像而言都可以是上一帧前向图像或当前帧前向图像。
103、根据预定义视觉假设以及所述虚拟地平线位置，分别计算所述单目相机与所述前向图像中检测到的各障碍物的真实距离。
本实施例中，针对智能驾驶的单目相机测距场景，预先定义了两个视觉假设，需要说明的是，该视觉假设是基于视觉基本原理定义的，是符合客观物理规律的，因此，基于该视觉假设估算出的单目相机与前向图像中检测到的各障碍物的真实距离也是同样符合客观物理规律的。
图2为智能驾驶的单目测距场景示意图。下面基于图2，对本实施例中采用的两个视觉假设分别进行说明，其中障碍物以车辆进行举例说明。
(1)视觉假设1：障碍物真实尺寸与真实距离同比缩放假设
障碍物(车辆)在前向图像中的高度h和障碍物的真实高度H之间的比值等于单目相机焦距Fc和单目相机到障碍物的距离d之间的比值：
(2)视觉假设2：障碍物着地点垂直距离假设
前向图像中障碍物着地点yb到前向图像中虚拟地平线位置yh的垂直距离和单目相机到地面的真实高度Hc之间的比值等于障碍物在前向图像中的高度h和障碍物的真实高度H之间的比值：
本实施例中，基于上述两个视觉假设，可以推导出单目相机到障碍物的距离d的计算公式，具体如下：
在一可选实施例中，采用以下公式计算所述单目相机与所述前向图像中检测到的各障碍物的真实距离：
其中，dj表示单目相机与前向图像中第j个障碍物的真实距离，Fc表示单目相机焦距，Hc表示单目相机到地面的真实高度，yb,i表示第j个障碍物在前向图像中的下边缘纵坐标(表示前向图像中障碍物着地点)，yh表示前向图像中的虚拟地平线位置，j为变量且取正整数。
本实施例采用单目相机进行测距不仅实时成本低廉并且易于实现，同时计算结果具有较高的准确度。基于视觉假设实现测距计算，无需大量标注数据，实施成本低，并且本发明计算流程简单，计算速度快，开销小，无需高昂硬件成本，设备运行成本低，并且在保证测距准确度的前提下，进一步降低了障碍物测距的实施成本。此外，本实施例结合多种视觉线索(有效障碍物)，相进一步提升了测距结果的准确度更。
请参阅图3，本发明实施例中障碍物测距装置的一个实施例包括：
检测模块301，用于实时检测单目相机拍摄的前向图像中的若干障碍物，并从各障碍物中筛选出若干有效障碍物；
估算模块302，用于根据各有效障碍物的真实高度以及各有效障碍物在所述前向图像中的检测信息，估算所述前向图像中的虚拟地平线位置；
计算模块303，用于根据预定义视觉假设以及所述虚拟地平线位置，分别计算所述单目相机与所述前向图像中检测到的各障碍物的真实距离。
可选的，在一实施例中，所述检测模块301具体用于：
实时获取单目相机拍摄的前向图像；
将所述前向图像输入预置目标检测模型进行目标检测，输出所述前向图像中各障碍物的位置与类别；
从各障碍物的类别中，筛选出若干有效障碍物。
可选的，在一实施例中，所述估算模块302包括：
估算单元，用于根据各有效障碍物的真实高度以及各有效障碍物在所述前向图像中的检测信息，估算所述前向图像中虚拟地平线的纵坐标；
融合单元，用于通过指数平均数算法对上一帧前向图像中的虚拟地平线的纵坐标进行融合，得到当前帧前向图像中的虚拟地平线位置。
可选的，在一实施例中，所述估算单元具体用于：
根据各有效障碍物的真实高度，计算各有效障碍物的真实平均高度以及各有效障碍物的真实高度标准差；
根据所述前向图像中各有效障碍物的位置，分别计算各有效障碍物的目标检测框高度以及在所述前向图像中的下边缘纵坐标；
根据各有效障碍物的目标检测框高度和下边缘纵坐标，分别计算各有效障碍物的目标检测框高度平均值以及下边缘纵坐标平均值；
根据各有效障碍物的真实平均高度、真实高度标准差、目标检测框高度平均值以及下边缘纵坐标平均值，估算所述前向图像中虚拟地平线的纵坐标。
可选的，在一实施例中，采用以下公式估算所述前向图像中虚拟地平线的纵坐标：
其中，表示前向图像中虚拟地平线的纵坐标，yb,i表示第i个有效障碍物在前向图像中的下边缘纵坐标，ha,i表示第i个有效障碍物在前向图像中的目标检测框高度，Hc表示单目相机到地面的真实高度，表示各有效障碍物的真实平均高度，ΔHa,i表示第i个有效障碍物的真实高度标准差，表示各有效障碍物在前向图像中的下边缘纵坐标平均值，表示各有效障碍物在前向图像中的标检测框高度平均值，i为变量且取正整数，N为有效障碍物的数量。
可选的，在一实施例中，所述视觉假设包括：障碍物在前向图像中的高度和障碍物的真实高度之间的比值等于单目相机焦距和单目相机到障碍物的距离之间的比值；
前向图像中障碍物着地点到前向图像中虚拟地平线位置的垂直距离和单目相机到地面的真实高度之间的比值等于障碍物在前向图像中的高度和障碍物的真实高度之间的比值。
可选的，在一实施例中，采用以下公式计算所述单目相机与所述前向图像中检测到的各障碍物的真实距离：
其中，dj表示单目相机与前向图像中第j个障碍物的真实距离，Fc表示单目相机焦距，Hc表示单目相机到地面的真实高度，yb,i表示第j个障碍物在前向图像中的下边缘纵坐标，yh表示前向图像中的虚拟地平线位置，j为变量且取正整数。
由于装置部分的实施例与上述方法的实施例相互对应，因此对于本发明提供的障碍物测距装置的介绍请参照上述方法实施例，本发明在此不再赘述，其具有上述障碍物测距方法相同的有益效果。
本实施例采用单目相机进行测距不仅实时成本低廉并且易于实现，同时计算结果具有较高的准确度。基于视觉假设实现测距计算，无需大量标注数据，实施成本低，并且本发明计算流程简单，计算速度快，开销小，无需高昂硬件成本，设备运行成本低，并且在保证测距准确度的前提下，进一步降低了障碍物测距的实施成本。此外，本实施例结合多种视觉线索(有效障碍物)，相进一步提升了测距结果的准确度更。
上面图3从模块化功能实体的角度对本发明实施例中的障碍物测距装置进行详细描述，下面从硬件处理的角度对本发明实施例中计算机设备进行详细描述。
图4是本发明实施例提供的一种计算机设备的结构示意图，该计算机设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对计算机设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在计算机设备500上执行存储介质530中的一系列指令操作。
计算机设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图4示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述障碍物测距方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述障碍物测距方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种障碍物测距方法，其特征在于，所述障碍物测距方法包括：
实时检测单目相机拍摄的前向图像中的若干障碍物，并从各障碍物中筛选出若干有效障碍物；
根据各有效障碍物的真实高度以及各有效障碍物在所述前向图像中的检测信息，估算所述前向图像中的虚拟地平线位置；
根据预定义视觉假设以及所述虚拟地平线位置，分别计算所述单目相机与所述前向图像中检测到的各障碍物的真实距离。
2.根据权利要求1所述的障碍物测距方法，其特征在于，所述实时检测单目相机拍摄的前向图像中的若干障碍物，并从各障碍物中筛选出若干有效障碍物包括：
实时获取单目相机拍摄的前向图像；
将所述前向图像输入预置目标检测模型进行目标检测，输出所述前向图像中各障碍物的位置与类别；
从各障碍物的类别中，筛选出若干有效障碍物。
3.根据权利要求2所述的障碍物测距方法，其特征在于，所述根据各有效障碍物的真实高度以及各有效障碍物在所述前向图像中的检测信息，估算所述前向图像中的虚拟地平线位置包括：
根据各有效障碍物的真实高度以及各有效障碍物在所述前向图像中的检测信息，估算所述前向图像中虚拟地平线的纵坐标；
通过指数平均数算法对上一帧前向图像中的虚拟地平线的纵坐标进行融合，得到当前帧前向图像中的虚拟地平线位置。
4.根据权利要求3所述的障碍物测距方法，其特征在于，所述根据各有效障碍物的真实高度以及各有效障碍物在所述前向图像中的检测信息，估算所述前向图像中虚拟地平线的纵坐标包括：
根据各有效障碍物的真实高度，计算各有效障碍物的真实平均高度以及各有效障碍物的真实高度标准差；
根据所述前向图像中各有效障碍物的位置，分别计算各有效障碍物的目标检测框高度以及在所述前向图像中的下边缘纵坐标；
根据各有效障碍物的目标检测框高度和下边缘纵坐标，分别计算各有效障碍物的目标检测框高度平均值以及下边缘纵坐标平均值；
根据各有效障碍物的真实平均高度、真实高度标准差、目标检测框高度平均值以及下边缘纵坐标平均值，估算所述前向图像中虚拟地平线的纵坐标。
5.根据权利要求4所述的障碍物测距方法，其特征在于，采用以下公式估算所述前向图像中虚拟地平线的纵坐标：
其中，表示前向图像中虚拟地平线的纵坐标，yb,i表示第i个有效障碍物在前向图像中的下边缘纵坐标，ha,i表示第i个有效障碍物在前向图像中的目标检测框高度，Hc表示单目相机到地面的真实高度，表示各有效障碍物的真实平均高度，ΔHa,i表示第i个有效障碍物的真实高度标准差，表示各有效障碍物在前向图像中的下边缘纵坐标平均值，表示各有效障碍物在前向图像中的标检测框高度平均值，i为变量且取正整数，N为有效障碍物的数量。
6.根据权利要求1-5中任一项所述的障碍物测距方法，其特征在于，所述视觉假设包括：障碍物在前向图像中的高度和障碍物的真实高度之间的比值等于单目相机焦距和单目相机到障碍物的距离之间的比值；
前向图像中障碍物着地点到前向图像中虚拟地平线位置的垂直距离和单目相机到地面的真实高度之间的比值等于障碍物在前向图像中的高度和障碍物的真实高度之间的比值。
7.根据权利要求6所述的障碍物测距方法，其特征在于，采用以下公式计算所述单目相机与所述前向图像中检测到的各障碍物的真实距离：
其中，dj表示单目相机与前向图像中第j个障碍物的真实距离，Fc表示单目相机焦距，Hc表示单目相机到地面的真实高度，yb,i表示第j个障碍物在前向图像中的下边缘纵坐标，yh表示前向图像中的虚拟地平线位置，j为变量且取正整数。
8.一种障碍物测距装置，其特征在于，所述障碍物测距装置包括：
检测模块，用于实时检测单目相机拍摄的前向图像中的若干障碍物，并从各障碍物中筛选出若干有效障碍物；
估算模块，用于根据各有效障碍物的真实高度以及各有效障碍物在所述前向图像中的检测信息，估算所述前向图像中的虚拟地平线位置；
计算模块，用于根据预定义视觉假设以及所述虚拟地平线位置，分别计算所述单目相机与所述前向图像中检测到的各障碍物的真实距离。
9.一种计算机设备，其特征在于，所述计算机设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述计算机设备执行如权利要求1-7中任一项所述的障碍物测距方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的障碍物测距方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410135105.1A CN118293884A (zh) | 2024-01-30 | 2024-01-30 | 障碍物测距方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410135105.1A CN118293884A (zh) | 2024-01-30 | 2024-01-30 | 障碍物测距方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118293884A true CN118293884A (zh) | 2024-07-05 |
Family
ID=91683595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410135105.1A Pending CN118293884A (zh) | 2024-01-30 | 2024-01-30 | 障碍物测距方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118293884A (zh) |
-
2024
- 2024-01-30 CN CN202410135105.1A patent/CN118293884A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107272021B (zh) | 使用雷达和视觉定义的图像检测区域的对象检测 | |
| US10466714B2 (en) | Depth map estimation with stereo images | |
| JP3895238B2 (ja) | 障害物検出装置及びその方法 | |
| US10909395B2 (en) | Object detection apparatus | |
| CN106289159B (zh) | 基于测距补偿的车辆测距方法及装置 | |
| Labayrade et al. | In-vehicle obstacles detection and characterization by stereovision | |
| JP3727400B2 (ja) | 横断者の検出装置 | |
| EP2960858B1 (en) | Sensor system for determining distance information based on stereoscopic images | |
| CN108647638A (zh) | 一种车辆位置检测方法及装置 | |
| JP5982298B2 (ja) | 障害物検出装置および障害物検出方法 | |
| CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
| CN102806913A (zh) | 一种新型的车道线偏离检测方法及装置 | |
| CN110220500B (zh) | 一种基于双目相机的无人驾驶用测距方法 | |
| US10832428B2 (en) | Method and apparatus for estimating a range of a moving object | |
| JP6552448B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
| CN116310679A (zh) | 多传感器融合目标检测方法、系统、介质、设备及终端 | |
| KR101030317B1 (ko) | 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법 | |
| CN112633035B (zh) | 一种基于无人驾驶车辆的车道线坐标真值获取方法及装置 | |
| Badino et al. | Stereo-based free space computation in complex traffic scenarios | |
| KR20160125803A (ko) | 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법 | |
| CN111256651B (zh) | 一种基于单目车载摄像头的周车测距方法和装置 | |
| KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
| US20220309776A1 (en) | Method and system for determining ground level using an artificial neural network | |
| CN118293884A (zh) | 障碍物测距方法、装置、设备及存储介质 | |
| Li et al. | The research of vehicle monocular ranging based on YOlOv5 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication |