CN114046769B - 一种基于多维参考信息的单目测距方法 - Google Patents
一种基于多维参考信息的单目测距方法 Download PDFInfo
- Publication number
- CN114046769B CN114046769B CN202210033814.XA CN202210033814A CN114046769B CN 114046769 B CN114046769 B CN 114046769B CN 202210033814 A CN202210033814 A CN 202210033814A CN 114046769 B CN114046769 B CN 114046769B
- Authority
- CN
- China
- Prior art keywords
- vanishing point
- iteration
- vehicle
- pixel position
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/12—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with monocular observation at a single point, e.g. coincidence type
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于多维参考信息的单目测距方法，包括：S1，读取视频帧并进行预处理；S2，检测和跟踪车辆，测量车辆与周围环境的距离；S3，对所有检测对象预设实际车高初始化消失点vp；S4，基于车高的相似三角形方法对所有检测对象测距；S5，推导检测对象的消失点vp，判断消失点vp是否满足迭代停止条件；S6，若消失点vp满足迭代停止条件，则结合前一帧测距结果优化所有检测对象距离，测距后处理，判断本次视频帧是否为最后一帧；若本次视频帧为最后一帧，则结束；若本次视频帧非最后一帧，则回到S1。
Description
技术领域
本发明涉及单目测距领域，更具体的说是，涉及一种基于多维参考信息的单目测距方法。
背景技术
高级驾驶辅助系统ADAS（Advanced Driver Assistance System)）开发要求汽车具备在复杂环境中实时准确地感知周边环境，由于视觉传感器获取信息丰富、价格低廉，大部分环境感知技术都基于视觉实现。对于测距而言，最直接的方法是采用毫米波雷达、激光雷达和双目相机。但是考虑到设备成本和计算成本，单目相机成为了距离控制的重要组成部分。
目前主流的单目测距方法包括基于车辆在图像中的底边中点像素位置的消失点法，基于车辆宽高估计的相似三角形法，基于车道线在车尾处宽度估计的相似三角形法。
消失点法的优点是无需车宽/车高等参照假设，缺点是基于路面水平假设，俯仰角变化对测距结果影响较大；参照图1所示，基于消失点的测距方法：
其中，F_c 表示相机焦距， H_c 表示相机安装高度，y_h 表示消失点在图像上的像素纵坐标，y_b 表示车辆在图像上的底边中点纵坐标，θ 表示相机俯仰角。
基于车宽（车高）的相似三角形法的优点是计算简单，对俯仰角不敏感，对自车运动和姿态鲁棒性高，缺点是车宽或车高的估计复杂，受车辆类型检测结果影响；参照图2所示，基于车宽的测距方法：
其中，f_x 表示相机焦距， W 表示前车实际宽度，w 表示前车在图像上的像素宽度。
基于车道线在车尾处宽度估计的相似三角形法的优点是计算简单，仅需车道实际宽度的假设 依赖车道线检测结果，不适合弯道场景；参照图3所示，基于车道线的测距方法：
其中，f_c 表示相机焦距，L_Wp 表示图像上前车车尾处所在车道线的像素宽度，L_Wr 表示车道线实际宽度。
在动态驾驶场景中，道路颠簸和悬架运动会导致车辆姿态发生变化，摄像机通常以固定的方式安装，因此其俯仰角在驾驶过程中会相应的发生改变。此外，基于车宽或车高的测距在初始假设与实际差距很大的情况下会产生非常大的误差。因此仅依靠以上三种的任意一种很难达到理想的测距精度。
发明内容
本发明的目的是提供一种基于多维参考信息的单目测距方法。
本发明要解决的是现有的单目测距方法存在的问题。
与现有技术相比，本发明技术方案及其有益效果如下：
一种基于多维参考信息的单目测距方法，包括：S1，读取视频帧并进行预处理；S2，检测和跟踪车辆，测量车辆与周围环境的距离；S3，对所有检测对象预设实际车高初始化消失点vp；S4，基于车高的相似三角形方法对所有检测对象测距；S5，推导检测对象的消失点vp，判断消失点vp是否满足迭代停止条件；S6，若消失点vp满足迭代停止条件，则结合前一帧测距结果优化所有检测对象距离，测距后处理，判断本次视频帧是否为最后一帧；若本次视频帧为最后一帧，则结束；若本次视频帧非最后一帧，则回到S1。
作为进一步改进的，步骤S6还包括：若消失点vp不满足迭代停止条件，则对检测对象迭代维护，并判断迭代标记是否满足条件；若迭代标记不满足条件，则利用消失点vp重新测距并计算底边中点像素位置与实际像素位置差值diff；若迭代标记满足条件，则进入步骤S9。
作为进一步改进的，还包括：S7，判断底边中点像素位置与实际像素位置差值diff是否满足迭代停止条件；S8，若底边中点像素位置与实际像素位置差值diff满足迭代停止条件，则停止迭代，进入步骤S9；若底边中点像素位置与实际像素位置差值diff不满足迭代停止条件，则利用diff更新车高，进入步骤S9；S9，判断所有检测对象是否迭代完毕；若所有检测对象迭代完毕，则回到步骤S4；若所有检测对象未迭代完毕，则回到步骤S6的对检测对象迭代维护。
作为进一步改进的，步骤S6中的判断迭代标记是否满足条件，所述条件为is_end==true。
作为进一步改进的，步骤S5中的推导检测对象的消失点vp，其中，推导公式为：
其中，F_c 表示相机焦距， H_c 表示相机安装高度，y_h 表示消失点在图像上的像素纵坐标，y_b 表示车辆在图像上的底边中点纵坐标，θ 表示相机俯仰角。
作为进一步改进的，步骤S5中的推导检测对象的消失点vp，还包括：
消失点vp=（所有消失点均值vp_avg，标定消失点vp_init，上轮迭代消失点vp_prev）加权平均vp_prev=vp。
本发明的有益效果为：
考虑到消失点法与基于车宽（车高）的相似三角形法的局限性和优点，本发明将二者结合，在一个时间序列内动态更新消失点和车尾底部中心点，获得本时间序列内的最优解；同时充分利用视频流时间域信息，联系上下帧，并通过车辆跟踪算法最终实现对检测对象时间和空间域高度融合的测距算法，达到更精准、鲁棒的车辆测距效果；
通过本发明提供的单目测距方法，实现了在0-100米范围测距误差降低30%，100-150米范围测距误差降低40%；大大降低了检测对象测距不稳（车机界面上车辆前后滑动）的现象。
附图说明
图1是背景技术提供的消失点法的测距示意图。
图2是背景技术提供的基于车宽（车高）的相似三角形法的测距示意图。
图3是背景技术提供的基于车道线在车尾处宽度估计的相似三角形法的测距示意图。
图4是本发明实施例提供的一种基于多维参考信息的单目测距方法的示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
参照图4所示，一种基于多维参考信息的单目测距方法，包括：S1，读取视频帧并进行预处理；S2，检测和跟踪车辆，测量车辆与周围环境的距离；S3，对所有检测对象预设实际车高初始化消失点vp；S4，基于车高的相似三角形方法对所有检测对象测距；S5，推导检测对象的消失点vp，判断消失点vp是否满足迭代停止条件；S6，若消失点vp满足迭代停止条件，则结合前一帧测距结果优化所有检测对象距离，测距后处理，判断本次视频帧是否为最后一帧；若本次视频帧为最后一帧，则结束；若本次视频帧非最后一帧，则回到S1。
步骤S5中的推导检测对象的消失点vp，其中，推导公式为：
其中，F_c 表示相机焦距， H_c 表示相机安装高度，y_h 表示消失点在图像上的像素纵坐标，y_b 表示车辆在图像上的底边中点纵坐标，θ 表示相机俯仰角。
其中，步骤S5中的推导检测对象的消失点vp，还包括：
消失点vp=（所有消失点均值vp_avg，标定消失点vp_init，上轮迭代消失点vp_prev）加权平均vp_prev=vp。
步骤S6还包括：若消失点vp不满足迭代停止条件，则对检测对象迭代维护，并判断迭代标记是否满足条件，若迭代标记不满足条件，则利用消失点vp重新测距并计算底边中点像素位置与实际像素位置差值diff；若迭代标记满足条件，则进入步骤S9。
其中，步骤S6中的判断迭代标记是否满足条件，所述条件为is_end==true。
还包括：S7，判断底边中点像素位置与实际像素位置差值diff是否满足迭代停止条件；S8，若底边中点像素位置与实际像素位置差值diff满足迭代停止条件，则停止迭代，进入步骤S9；若底边中点像素位置与实际像素位置差值diff不满足迭代停止条件，则利用diff更新车高，进入步骤S9；S9，判断所有检测对象是否迭代完毕；若所有检测对象迭代完毕，则回到步骤S4；若所有检测对象未迭代完毕，则回到步骤S6的对检测对象迭代维护。
测距算法主要有两个循环完成，第一个循环通过当帧所有检测对象计算的消失点（车高估计）进行“投票”，同时考虑相机标定以及上一次迭代的消失点得出更加精准的消失点位置；接下来在这个循环内以上一步获得的消失点为基准，通过不断优化目标底边中点像素位置来优化每个目标的车高。然后通过维护好的车高进入下一个外循环再次更新消失点，直到消失点达到收敛标准。
在维护好本帧的消失点和所有检测对象的车高后，再根据上一帧的匹配及测距结果进一步优化检测对象的距离。在后处理阶段，我们对距离突变的目标，截断的目标以及切入本车道的目标进行距离修正，达到更加稳定的测距效果。
以上实施例仅用以解释说明本发明的技术方案而非对其限制。本领域技术人员应当理解，未脱离本发明精神和范围的任何修改和等同替换，均应落入本发明权利要求的保护范围中。
Claims (4)
1.一种基于多维参考信息的单目测距方法，其特征在于，包括：
S1，读取视频帧并进行预处理；
S2，检测和跟踪车辆，测量车辆与周围环境的距离；
S3，对所有检测对象预设实际车高初始化消失点vp；
S4，基于车高的相似三角形方法对所有检测对象测距；
S5，推导检测对象的消失点vp，判断消失点vp是否满足迭代停止条件；
S6，若消失点vp满足迭代停止条件，则结合前一帧测距结果优化所有检测对象距离，测距后处理，判断本次视频帧是否为最后一帧；若本次视频帧为最后一帧，则结束；若本次视频帧非最后一帧，则回到S1；若消失点vp不满足迭代停止条件，则对检测对象迭代维护，并判断迭代标记是否满足条件；若迭代标记不满足条件，则利用消失点vp重新测距并计算底边中点像素位置与实际像素位置差值diff；若迭代标记满足条件，则进入步骤S9；
S7，判断底边中点像素位置与实际像素位置差值diff是否满足迭代停止条件；
S8，若底边中点像素位置与实际像素位置差值diff满足迭代停止条件，则停止迭代，进入步骤S9；若底边中点像素位置与实际像素位置差值diff不满足迭代停止条件，则利用diff更新车高，进入步骤S9；
S9，判断所有检测对象是否迭代完毕；若所有检测对象迭代完毕，则回到步骤S4；若所有检测对象未迭代完毕，则回到步骤S6的对检测对象迭代维护。
2.根据权利要求1所述的一种基于多维参考信息的单目测距方法，其特征在于，步骤S6中的判断迭代标记是否满足条件，所述条件为is_end＝＝true？。
3.根据权利要求1所述的一种基于多维参考信息的单目测距方法，其特征在于，步骤S5中的推导检测对象的消失点vp，其中，推导公式为：
距离
其中，Fc表示相机焦距，Hc表示相机安装高度，yh表示消失点在图像上的像素纵坐标，yb表示车辆在图像上的底边中点纵坐标，θ表示相机俯仰角。
4.根据权利要求1所述的一种基于多维参考信息的单目测距方法，其特征在于，步骤S5中的推导检测对象的消失点vp，还包括：
消失点vp＝(所有消失点均值vp_avg，标定消失点vp_init，上轮迭代消失点vp_prev)加权平均vp_prev＝vp。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210033814.XA CN114046769B (zh) | 2022-01-12 | 2022-01-12 | 一种基于多维参考信息的单目测距方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210033814.XA CN114046769B (zh) | 2022-01-12 | 2022-01-12 | 一种基于多维参考信息的单目测距方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114046769A CN114046769A (zh) | 2022-02-15 |
| CN114046769B true CN114046769B (zh) | 2022-05-10 |
Family
ID=80196312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210033814.XA Active CN114046769B (zh) | 2022-01-12 | 2022-01-12 | 一种基于多维参考信息的单目测距方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114046769B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107764233A (zh) * | 2016-08-15 | 2018-03-06 | 杭州海康威视数字技术股份有限公司 | 一种测量方法及装置 |
| CN113160527A (zh) * | 2021-01-20 | 2021-07-23 | 南京林业大学 | 一种道路限高预警系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11338807B2 (en) * | 2019-01-30 | 2022-05-24 | Allstate Insurance Company | Dynamic distance estimation output generation based on monocular video |
| CN110751836A (zh) * | 2019-09-26 | 2020-02-04 | 武汉光庭信息技术股份有限公司 | 车辆行驶预警方法及系统 |
-
2022
- 2022-01-12 CN CN202210033814.XA patent/CN114046769B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107764233A (zh) * | 2016-08-15 | 2018-03-06 | 杭州海康威视数字技术股份有限公司 | 一种测量方法及装置 |
| CN113160527A (zh) * | 2021-01-20 | 2021-07-23 | 南京林业大学 | 一种道路限高预警系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114046769A (zh) | 2022-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109631896B (zh) | 一种基于车辆视觉和运动信息的停车场自主泊车定位方法 | |
| CN108802785B (zh) | 基于高精度矢量地图和单目视觉传感器的车辆自定位方法 | |
| CN110428467B (zh) | 一种相机、imu和激光雷达联合的机器人定位方法 | |
| EP1944734B1 (en) | Distance correcting apparatus of surrounding monitoring system and vanishing point correcting apparatus thereof | |
| CN107305632B (zh) | 基于单目计算机视觉技术的目标对象距离测量方法与系统 | |
| CN112541953B (zh) | 一种基于雷达信号和视频同步坐标映射的车辆检测方法 | |
| CN109471096B (zh) | 多传感器目标匹配方法、装置及汽车 | |
| LU502288B1 (en) | Method and system for detecting position relation between vehicle and lane line, and storage medium | |
| US12008785B2 (en) | Detection, 3D reconstruction and tracking of multiple rigid objects moving in relation to one another | |
| US11151729B2 (en) | Mobile entity position estimation device and position estimation method | |
| CN109410264A (zh) | 一种基于激光点云与图像融合的前方车辆距离测量方法 | |
| CN113327296B (zh) | 基于深度加权的激光雷达与相机在线联合标定方法 | |
| CN110794828A (zh) | 一种融合语义信息的路标定位方法 | |
| CN114550042A (zh) | 一种道路消失点提取方法、车载传感器标定方法及装置 | |
| CN112902911B (zh) | 基于单目相机的测距方法、装置、设备及存储介质 | |
| CN114046769B (zh) | 一种基于多维参考信息的单目测距方法 | |
| CN115388880B (zh) | 一种低成本记忆泊车建图与定位方法、装置及电子设备 | |
| US10643077B2 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program | |
| CN111598177A (zh) | 面向低重叠图像匹配的自适应最大滑动窗口匹配方法 | |
| CN115597550A (zh) | 一种基于消失点和目标接地点的坡道单目测距方法及装置 | |
| CN115457130A (zh) | 一种基于深度关键点回归的电动汽车充电口检测定位方法 | |
| CN113627569A (zh) | 一种用于交通大场景的雷达视频一体机的数据融合方法 | |
| CN114442083A (zh) | 一种基于视觉与多源雷达的自适应加权数据融合方法 | |
| CN114136274A (zh) | 基于计算机视觉的站台限界测量方法 | |
| CN114998849B (zh) | 一种基于路端单目相机的交通流要素感知与定位方法及其应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |