CN114998452B - 一种车载摄像头在线标定方法及系统 - Google Patents

一种车载摄像头在线标定方法及系统 Download PDF

Info

Publication number
CN114998452B
CN114998452B CN202210928855.5A CN202210928855A CN114998452B CN 114998452 B CN114998452 B CN 114998452B CN 202210928855 A CN202210928855 A CN 202210928855A CN 114998452 B CN114998452 B CN 114998452B
Authority
CN
China
Prior art keywords
vehicle
target
frame
vehicle identification
vanishing point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210928855.5A
Other languages
English (en)
Other versions
CN114998452A (zh
Inventor
孙浩
张�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Anngic Technology Co ltd
Original Assignee
Shenzhen Anngic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Anngic Technology Co ltd filed Critical Shenzhen Anngic Technology Co ltd
Priority to CN202210928855.5A priority Critical patent/CN114998452B/zh
Publication of CN114998452A publication Critical patent/CN114998452A/zh
Application granted granted Critical
Publication of CN114998452B publication Critical patent/CN114998452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车载摄像头在线标定方法及系统，方法包括：S1对车载摄像头拍摄的各帧图像进行车辆识别与跟踪获得车辆识别框与车辆识别框变化率；S2采集目标车辆在各帧图像中的车辆识别框；S3根据车辆识别框的位置判断目标车辆的类型，对不同类型的目标车辆使用不同的车辆识别框的端点来拟合直线并获得道路灭点检测样本；S4对所有的道路灭点检测样本进行聚类，取聚类结果中密度最大的簇的质心作为道路灭点的最优估计；S5根据道路灭点的最优估计计算出车载摄像头的偏航角和俯仰角，并获得车载摄像头的外参数。本发明可以使车载摄像头在线标定在不同路况的道路上都能完成，同时计算量小，且对车载摄像头没有额外的算力要求。

Description

一种车载摄像头在线标定方法及系统
技术领域
本发明属于智能辅助驾驶技术领域，更具体地，涉及一种车载摄像头在线标定方法及系统。
背景技术
车载摄像头在线标定方法一般由道路灭点检测模块和摄像头外参数计算模块这两部分组成。道路灭点检测模块用于检测道路灭点，摄像头外参数计算模块根据检测得到的道路灭点来计算车载摄像头的俯仰角和偏航角，再根据其余已知条件来计算车载摄像头的外参数。
车载摄像头在线标定方法的研究重点是道路灭点检测方法。目前，常用的道路灭点检测方法有以下两种：
（1）检测车载摄像头拍摄的图像中的车道线，并根据图像中车道线的交点来计算道路灭点。该方法直观且容易实现，但其必须在具有清晰车道线的道路上才能正常工作。
（2）检测车载摄像头拍摄的连续多帧图像中的特征点，对不同图像中的特征点进行特征点匹配，并对匹配成功的特征点拟合其运动轨迹，最后再根据两两特征点的运动轨迹的交点来计算道路灭点。该方法对道路路况没有特殊要求，适应性更强，但其计算量巨大，而一般的车载摄像头的应用又不需要特征点检测与匹配功能，故该方法会对车载摄像头有额外的算力要求。
发明内容
针对现有技术的缺陷，本发明提供了一种车载摄像头在线标定方法及系统，其目的在于使车载摄像头在线标定能够在不同路况的道路上都能完成，同时计算量小，且对车载摄像头没有额外的算力要求。
本发明提供了一种车载摄像头在线标定方法，包括下述步骤：
S1：对车载摄像头拍摄的各帧图像进行车辆识别与跟踪，获得各车辆在各帧图像中的车辆识别框与车辆识别框变化率；
S2：在满足数据采集开启条件时采集目标车辆在各帧图像中的车辆识别框；
S3：根据车辆识别框的位置判断目标车辆的类型，对不同类型的目标车辆使用不同的车辆识别框的端点来拟合直线并获得道路灭点检测样本；
S4：对所有的道路灭点检测样本进行聚类，取聚类结果中密度最大的簇的质心作为道路灭点的最优估计；
S5：根据道路灭点的最优估计计算出车载摄像头的偏航角和俯仰角，并获得车载摄像头的外参数。
更进一步地，在步骤S1中根据公式
Figure 116528DEST_PATH_IMAGE001
获得车辆
Figure 33668DEST_PATH_IMAGE002
在
Figure 813405DEST_PATH_IMAGE003
时刻的车辆识别框变化率；其中，
Figure 21664DEST_PATH_IMAGE004
和
Figure 836036DEST_PATH_IMAGE005
分别是车辆识别框在图像中的像素宽度和像素高度，
Figure 658499DEST_PATH_IMAGE006
是预设的时间间隔。
更进一步地，在步骤S2中所述数据采集开启条件包括：
（1）自车车速大于预设的数据采集启动速度；
（2）自车未开启左/右转向灯，或者自车横摆角速度小于预设的最大横摆角速度，或者自车方向盘转角小于预设的最大方向盘转角。
更进一步地，在步骤S2中，采集目标车辆在各帧图像中的车辆识别框具体包括：
S21：确定目标车辆：
对于某一车辆，若其车辆识别框变化率大于预设的车辆识别框变化率，则将其视作一个目标车辆；
S22：采集目标车辆的数据：
对于某一个目标车辆，当车满足数据采集开启条件时，采集其在各图像帧中对应的车辆识别框；当车不满足开启条件时，暂停对其的数据采集；当其不再出现在自车的车载摄像头的视野范围内时停止对其数据采集，并记对该目标车辆完成了数据采集；
S23：当已完成数据采集的目标车辆的数量等于预设的目标车辆采集数量时停止数据采集；反之则继续进行数据采集。
更进一步地，步骤S3具体包括：
S31：根据目标车辆的车辆识别框在图像帧中的位置将目标车辆分为第一类目标车辆、第二类目标车辆和第三类目标车辆；
S32：对于每个第一类目标车辆，取其各车辆识别框的左边界的上端点拟合得到第一直线，取其各车辆识别框的左边界的下端点拟合得到第二直线，再求取第一直线与第二直线的交点作为一个道路灭点检测样本；
S33：对于每个第二类目标车辆，取其各车辆识别框的右边界的上端点拟合得到第一直线，取其各车辆识别框的右边界的下端点拟合得到第二直线，再求取第一直线与第二直线的交点作为一个道路灭点检测样本；
S34：对于每个第三类目标车辆，取其各车辆识别框的左边界的上端点拟合得到第一直线，取其各车辆识别框的左边界的下端点拟合得到第二直线，取其各车辆识别框的右边界的上端点拟合得到第三直线，取其各车辆识别框的右边界的下端点拟合得到第四直线，再使用最小二乘法求取第一直线、第二直线、第三直线和第四直线的公共交点作为一个道路灭点检测样本。
其中，所述第一类目标车辆是指目标车辆的车辆识别框主要集中在图像帧的左半部分；所述第二类目标车辆是指目标车辆的车辆识别框主要集中在图像帧的右半部分；所述第三类目标车辆是指目标车辆的车辆识别框主要集中在图像帧的中间部分。
更进一步地，步骤S4具体包括：
S41：使用均值漂移聚类算法对所有道路灭点检测样本进行聚类，以产生一个或多个簇，并给出每个簇对应的质心；
S42：筛选得到聚类结果中密度最大的簇，并以该簇对应的质心作为道路灭点的最优估计。
更进一步地，步骤S5中获得摄像头外参数具体包括：
S51根据公式
Figure 925532DEST_PATH_IMAGE007
计算车载摄像头的偏航角；
S52根据公式
Figure 186749DEST_PATH_IMAGE008
计算车载摄像头的俯仰角；
S53根据公式
Figure 855628DEST_PATH_IMAGE009
计算摄像头旋转矩阵；
S54根据公式
Figure 848992DEST_PATH_IMAGE010
计算摄像头平移向量。
本发明还提供了一种车载摄像头在线标定系统，包括：
车辆识别与跟踪模块，用于对车载摄像头拍摄的各帧图像进行车辆识别与跟踪，获得各车辆在各帧图像中的车辆识别框与车辆识别框变化率；
目标车辆数据采集模块，用于采集目标车辆在各帧图像中的车辆识别框；
道路灭点检测模块，用于根据车辆识别框的位置判断目标车辆的类型，对不同类型的目标车辆使用不同的车辆识别框的端点来拟合直线并获得道路灭点检测样本；
道路灭点最优估计获取模块，用于对所有的道路灭点检测样本进行聚类，取聚类结果中密度最大的簇的质心作为道路灭点的最优估计；
摄像头外参数计算模块，用于根据道路灭点的最优估计计算出车载摄像头的偏航角和俯仰角，并获得车载摄像头的外参数。
更进一步地，道路灭点检测模块包括：目标车辆分类单元和道路灭点检测样本获取单元；
所述目标车辆分类单元用于根据目标车辆的车辆识别框在图像帧中的位置将目标车辆分为第一类目标车辆、第二类目标车辆和第三类目标车辆；
所述道路灭点检测样本获取单元用于根据所述第一类目标车辆、所述第二类目标车辆和所述第三类目标车辆获得道路灭点检测样本。
通过本发明所构思的以上技术方案，与现有技术相比，本发明具备如下技术优点：
（1）本发明根据车辆识别框的左/右边界的上、下端点来检测道路灭点，相比与基于车道线的道路灭点检测方法，其不需要道路具有车道线，因此对道路的适应性更强。
（2）本发明通过车辆识别与跟踪来获得车辆识别框的左/右边界的上、下端点，使得其无需进行复杂的特征点检测与匹配，实现更为简单。
（3）由于市面上的智能驾驶车载摄像头都具有车辆识别与跟踪模块，使得本发明可以直接复用这些模块来作为方法所要求的车辆识别与跟踪模块；因此，相比于基于特征点的道路灭点检测方法，本发明对车载摄像头系统没有额外的算力要求。
附图说明
图1是本发明实施例提供的车载摄像头在线标定方法的实现流程图；
图2是本发明实施例提供的车载摄像头在线标定系统的原理框图；
图3（a）是本发明实施例提供的利用第一类目标车辆获取道路灭点检测样本的示意图；图3（b）是本发明实施例提供的利用第一类目标车辆的车辆检测框左边界获取道路灭点检测样本的原理示意图；图3（c）是本发明实施例提供的道路灭点性质示意图；
图4（a）是本发明实施例提供的第一类目标车辆示意图；图4（b）是本发明实施例提供的第二类目标车辆示意图；图4（c）是本发明实施例提供的第三类目标车辆示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明利用了道路灭点的基本性质，使用目标车辆的车辆检测框的左/右边界的上、下端端点来拟合轨迹直线，并求轨迹直线的交点来作为道路灭点的检测样本。对比现有的基于车道线的车载摄像头在线标定技术，本发明检测道路灭点时不依赖于车道线；对比现有的基于特征点检测的车载摄像头在线标定技术，本发明不需要使用特征点检测算法来提取特征点，而使用车辆检测框的端点来作为特征点。本发明的核心创新点是使用目标车辆的车辆检测框的左/右边界的上、下端点作为特征点来检测道路灭点。本发明的核心创新点带来的技术效果是：（1）使车载摄像头在线标定对道路路况的适应性更强，（2）使车载摄像头在线标定的计算量更小。
图1示出了本发明实施例提供的车载摄像头在线标定方法的实现流程；为了便于说明，仅示出了与本发明相关的部分，详述如下：
本发明实施例提供的一种车载摄像头在线标定方法，包括下述步骤：
S1：对车载摄像头拍摄的各帧图像进行车辆识别与跟踪，得到各车辆在各帧图像中的车辆识别框与车辆识别框变化率；
S2：在满足数据采集开启条件时，采集目标车辆在各帧图像中的车辆识别框；
S3：根据车辆识别框的位置判断目标车辆的类型，对不同类型的目标车辆使用不同的车辆识别框的端点来拟合直线并求直线的交点来作为道路灭点检测样本；
S4：使用均值漂移聚类方法对所有的道路灭点检测样本进行聚类，取聚类结果中密度最大的簇的质心作为道路灭点的最优估计；
S5：根据道路灭点的最优估计计算出车载摄像头的偏航角和俯仰角，并获得车载摄像头的外参数。
在本发明实施例中，步骤S1具体包括：
S11：对车载摄像头所拍摄的图像中的车辆进行识别与跟踪：
首先，使用车辆检测算法对车载摄像头所拍摄的每一帧图像进行车辆检测，给出每一个车辆在每一帧图像中的检测框。其次，使用识别与跟踪算法，根据车辆的检测框进行车辆识别与跟踪，给出每一个车辆在每一帧图像中的车辆识别框。作为本发明的一个实施例，具体可以采用YOLOV5算法结合JPDA算法实现车辆识别与跟踪。
S12：计算每一个车辆的车辆识别框变化率：
对于车辆
Figure 603321DEST_PATH_IMAGE011
，其在
Figure 651917DEST_PATH_IMAGE012
时刻的车辆识别框变化率为：
Figure 175302DEST_PATH_IMAGE013
；其中，
Figure 605147DEST_PATH_IMAGE014
是
Figure 846772DEST_PATH_IMAGE015
时刻车辆
Figure 121896DEST_PATH_IMAGE016
的车辆识别框，
Figure 827684DEST_PATH_IMAGE017
是
Figure 162850DEST_PATH_IMAGE018
的左边界的上端点在图像中的坐标，
Figure 891772DEST_PATH_IMAGE019
和
Figure 970586DEST_PATH_IMAGE020
分别是
Figure 281613DEST_PATH_IMAGE021
在图像中的像素宽度和像素高度，
Figure 53260DEST_PATH_IMAGE022
是预设的时间间隔。
在本发明实施例中，步骤S2中采集目标车辆在各帧图像中的车辆识别框具体包括：
S21：确定目标车辆：
对于某一车辆，若其车辆识别框变化率大于预设的车辆识别框变化率，则将其视作一个目标车辆；
S22：采集目标车辆的数据：
对于某一个目标车辆，当车满足数据采集开启条件时，采集其在各图像帧中对应的车辆识别框；当车不满足开启条件时，暂停对其的数据采集；当其不再出现在自车的车载摄像头的视野范围内时停止对其数据采集，并记对该目标车辆完成了数据采集；
S23：当已完成数据采集的目标车辆的数量等于预设的目标车辆采集数量时停止数据采集；反之则继续进行数据采集。
作为本发明的一个实施例，数据采集是一个持续的过程，
Figure 3898DEST_PATH_IMAGE023
时刻采集数据的步骤如下：
（1）判断
Figure 886404DEST_PATH_IMAGE024
时刻自车是否满足数据采集开启条件，若满足，则进行后续步骤；反之，不进行后续步骤，等待下一数据采集时刻。
其中，数据采集开启条件包括：（a）当车速大于预设的数据采集启动速度时且（b）当车未开启左/右转向灯或车横摆角速度小于预设的最大横摆角速度或车方向盘转角小于预设的最大方向盘转角时。
（2）对于“车辆识别与跟踪模块”在
Figure 238887DEST_PATH_IMAGE025
时刻给出的所有车辆识别与跟踪结果，选择其中的目标车辆，并采集它们在
Figure 243753DEST_PATH_IMAGE025
时刻的车辆识别框。
其中，对于车辆
Figure 681687DEST_PATH_IMAGE026
，判断其在
Figure 102304DEST_PATH_IMAGE027
时刻为目标车辆的条件如下：车辆
Figure 574874DEST_PATH_IMAGE026
在
Figure 2838DEST_PATH_IMAGE028
时刻的车辆识别框变化率
Figure 928068DEST_PATH_IMAGE029
大于预设的车辆识别框变化率
Figure 152376DEST_PATH_IMAGE030
。
（3）更新已完成数据采集的目标车辆的数目
Figure 213873DEST_PATH_IMAGE031
。更新方法如下：对于之前采集过的目标车辆
Figure 560541DEST_PATH_IMAGE032
，若不能在
Figure 973068DEST_PATH_IMAGE033
时刻“车辆识别与跟踪模块”的输出中找到其对应到的车辆识别与跟踪结果，则记对目标车辆
Figure 1066DEST_PATH_IMAGE034
完成了数据采集，并使
Figure 995698DEST_PATH_IMAGE035
加1。
（4）判断已完成数据采集的目标车辆的数目
Figure 185371DEST_PATH_IMAGE036
与预设的最大数据采集目标车辆数目
Figure 85194DEST_PATH_IMAGE037
之间的大小，若
Figure 651305DEST_PATH_IMAGE038
，则不再进行数据采集，并退出“目标车辆数据采集模块”；反之，则继续进行数据采集。
在本发明实施例中，步骤S3具体包括：
S31：根据目标车辆的车辆识别框在图像帧中的位置将目标车辆分为第一类目标车辆、第二类目标车辆和第三类目标车辆；
S32：对于每个第一类目标车辆，取其各车辆识别框的左边界的上端点拟合得到第一直线，取其各车辆识别框的左边界的下端点拟合得到第二直线，再求取第一直线与第二直线的交点作为一个道路灭点检测样本；
S33：对于每个第二类目标车辆，取其各车辆识别框的右边界的上端点拟合得到第一直线，取其各车辆识别框的右边界的下端点拟合得到第二直线，再求取第一直线与第二直线的交点作为一个道路灭点检测样本；
S34：对于每个第三类目标车辆，取其各车辆识别框的左边界的上端点拟合得到第一直线，取其各车辆识别框的左边界的下端点拟合得到第二直线，取其各车辆识别框的右边界的上端点拟合得到第三直线，取其各车辆识别框的右边界的下端点拟合得到第四直线，再使用最小二乘法求取第一直线、第二直线、第三直线和第四直线的公共交点作为一个道路灭点检测样本。
其中，所述第一类目标车辆是指目标车辆的车辆识别框主要集中在图像帧的左半部分；所述第二类目标车辆是指目标车辆的车辆识别框主要集中在图像帧的右半部分；所述第三类目标车辆是指目标车辆的车辆识别框主要集中在图像帧的中间部分。
作为本发明的一个实施例，对目标车辆
Figure 15290DEST_PATH_IMAGE039
进行分类的具体方法如下：
（1）获得车辆
Figure 375864DEST_PATH_IMAGE040
在数据集中像素高度最大的一个车辆识别框
Figure 762983DEST_PATH_IMAGE041
。
（2）若
Figure 132785DEST_PATH_IMAGE042
，则目标车辆
Figure 334965DEST_PATH_IMAGE043
属于第一类目标车辆；若
Figure 132019DEST_PATH_IMAGE044
，则目标车辆
Figure 740855DEST_PATH_IMAGE045
属于第二类目标车辆；若
Figure 914348DEST_PATH_IMAGE046
，则目标车辆
Figure 987346DEST_PATH_IMAGE047
属于第三类目标车辆。其中，
Figure 955302DEST_PATH_IMAGE048
是车载摄像头的主点在图像坐标系下的横坐标。
在本发明实施例中，步骤S4具体包括：
S41：使用均值漂移聚类算法对所有道路灭点检测样本进行聚类，以产生一个或多个簇，并给出每个簇对应的质心；其中，簇是指由若干个道路灭点检测样本组成的点的集合。
S42：筛选得到聚类结果中密度最大的簇，并以该簇对应的质心作为道路灭点的最优估计；其中，密度是指组成一个簇的道路灭点检测样本的个数。
在本发明实施例中，步骤S5中获得摄像头外参数具体包括：
S51根据公式
Figure 51434DEST_PATH_IMAGE049
计算车载摄像头的偏航角
Figure 763038DEST_PATH_IMAGE050
；其中，
Figure 441275DEST_PATH_IMAGE051
是道路灭点最优估计在图像中的坐标，
Figure 580132DEST_PATH_IMAGE052
是车载摄像头主点在图像中的坐标，
Figure 163560DEST_PATH_IMAGE053
是车载摄像头在图像坐标系横坐标轴上的归一化焦距，
Figure 413276DEST_PATH_IMAGE054
是车载摄像头在图像坐标系纵坐标轴上的归一化焦距。
S52根据公式
Figure 460867DEST_PATH_IMAGE055
计算车载摄像头的俯仰角
Figure 770625DEST_PATH_IMAGE056
；
S53根据公式
Figure 841349DEST_PATH_IMAGE057
计算摄像头旋转矩阵；
S54根据公式
Figure 894756DEST_PATH_IMAGE058
计算摄像头平移向量；
其中，
Figure 66628DEST_PATH_IMAGE059
是车载摄像头安装位置在车辆世界坐标系下的三维坐标，
Figure 547288DEST_PATH_IMAGE060
是车载摄像头安装位置在车辆世界坐标系下的
Figure 839729DEST_PATH_IMAGE061
轴坐标值，
Figure 696827DEST_PATH_IMAGE062
是车载摄像头安装位置在车辆世界坐标系下的
Figure 453430DEST_PATH_IMAGE063
轴坐标值，
Figure 104992DEST_PATH_IMAGE064
是车载摄像头安装位置在车辆世界坐标系下的
Figure 150308DEST_PATH_IMAGE065
轴坐标值。
图2示出了本发明实施例提供的车载摄像头在线标定系统的原理框图，如图2所示，本发明实施例提供的车载摄像头在线标定系统包括：车辆识别与跟踪模块100、目标车辆数据采集模块200、道路灭点检测模块300、道路灭点最优估计获取模块400和摄像头外参数计算模块500；车辆识别与跟踪模块100用于对车载摄像头拍摄的各帧图像进行车辆识别与跟踪，获得各车辆在各帧图像中的车辆识别框与车辆识别框变化率；目标车辆数据采集模块200用于采集目标车辆在各帧图像中的车辆识别框；道路灭点检测模块300用于根据车辆识别框的位置判断目标车辆的类型，对不同类型的目标车辆使用不同的车辆识别框的端点来拟合直线并获得道路灭点检测样本；道路灭点最优估计获取模块400用于对所有的道路灭点检测样本进行聚类，取聚类结果中密度最大的簇的质心作为道路灭点的最优估计；摄像头外参数计算模块500用于根据道路灭点的最优估计计算出车载摄像头的偏航角和俯仰角，并获得车载摄像头的外参数。
其中，目标车辆数据采集模块200用于当车满足数据采集开启条件时进行目标车辆的数据采集。其中，数据采集开启条件如下：①当车速大于预设的数据采集启动速度（如35km/h等）。②当车未开启左/右转向灯。
作为本发明的一个实施例，目标车辆数据采集模块200对目标车辆数据采集的方法如下：
（1）确定目标车辆：对于某一车辆，若其车辆识别框变化率大于预设的车辆识别框变化率，则将其视作一个目标车辆。
（2）采集目标车辆的数据：对于某一个目标车辆，当自车满足数据采集开启条件时，采集其在各图像帧中对应的车辆识别框；当自车不满足开启条件时，暂停对其的数据采集；当其不再出现在自车的车载摄像头的视野范围内后，停止对其的数据采集，并记对该目标车辆完成了数据采集。
（3）若已完成数据采集的目标车辆的数量等于预设的目标车辆采集数量时，则停止数据采集；反之，则继续进行数据采集。
在本发明实施例中，道路灭点检测模块300利用目标车辆数据采集模块200采集到的数据来检测道路灭点，并获得若干道路灭点检测样本。其中，道路灭点检测模块300包括：目标车辆分类单元和道路灭点检测样本获取单元；所述目标车辆分类单元用于根据目标车辆的车辆识别框在图像帧中的位置将目标车辆分为第一类目标车辆、第二类目标车辆和第三类目标车辆；所述道路灭点检测样本获取单元用于根据所述第一类目标车辆、所述第二类目标车辆和所述第三类目标车辆获得道路灭点检测样本。
其中，道路灭点检测方法如下：
（1）根据目标车辆的车辆识别框在图像帧中的位置来对目标车辆进行分类：具体地，将目标车辆的车辆识别框主要集中在图像帧的左半部分的作为第一类目标车辆，将目标车辆的车辆识别框主要集中在图像帧的右半部分的分作为第二类目标车辆，将目标车辆的车辆识别框主要集中在图像帧的中间部分的作为第三类目标车辆；
（2）对于每个第一类目标车辆，取其各车辆识别框的左边界的上端点拟合得到第一直线，取其各车辆识别框的左边界的下端点拟合得到第二直线，再求取第一直线与第二直线的交点作为一个道路灭点检测样本。
（3）对于每个第二类目标车辆，取其各车辆识别框的右边界的上端点拟合得到第一直线，取其各车辆识别框的右边界的下端点拟合得到第二直线，再求取第一直线与第二直线的交点作为一个道路灭点检测样本。
（4）对于每个第三类目标车辆，取其各车辆识别框的左边界的上端点拟合得到第一直线，取其各车辆识别框的左边界的下端点拟合得到第二直线，取其各车辆识别框的右边界的上端点拟合得到第三直线，取其各车辆识别框的右边界的下端点拟合得到第四直线，再使用最小二乘法求取第一直线、第二直线、第三直线和第四直线的公共交点作为一个道路灭点检测样本。
在本发明实施例中，道路灭点最优估计获取模块400根据道路灭点检测模块300生成的所有道路灭点检测样本来获得道路灭点的最优估计。
作为本发明的一个实施例，获取道路灭点最优估计的方法如下：
（1）使用均值漂移聚类算法对所有道路灭点检测样本进行聚类，以产生一个或多个簇，并给出每个簇对应的质心。其中，簇是指由若干个道路灭点检测样本组成的点的集合。
（2）筛选得到聚类结果中密度最大的簇，并以该簇对应的质心作为道路灭点的最优估计。其中，密度是指组成一个簇的道路灭点检测样本的个数。
在本发明实施例中，摄像头外参数计算模块500根据道路灭点最优估计、摄像头内参数矩阵、摄像头安装位置向量来计算摄像头外参数；其中摄像头外参数包含摄像头旋转矩阵和摄像头平移向量。
（1）道路灭点最优估计：
Figure 545517DEST_PATH_IMAGE066
，是图像中的一个二维点，对应着图像中道路方向上的灭点。其中，
Figure 907360DEST_PATH_IMAGE067
是灭点在图像坐标系下的横坐标值，
Figure 995401DEST_PATH_IMAGE068
是灭点在图像坐标系下的纵坐标值。
（2）摄像头内参数矩阵：
Figure 262435DEST_PATH_IMAGE069
，由车载摄像头的生产厂商给出，为已知量。其中，
Figure 461335DEST_PATH_IMAGE070
是图像坐标系横坐标轴上的归一化焦距，
Figure 926951DEST_PATH_IMAGE071
是图像坐标系纵坐标值上的归一化焦距，
Figure 185894DEST_PATH_IMAGE072
是图像主点在图像坐标系下的横坐标值，
Figure 940224DEST_PATH_IMAGE073
是图像主点在图像坐标系下的纵坐标值。
（3）摄像头安装位置向量：
Figure 677235DEST_PATH_IMAGE074
，是车载摄像头安装位置在车辆世界坐标系下的三维坐标，为已知量。其中，
Figure 512205DEST_PATH_IMAGE075
是车载摄像头安装位置在车辆世界坐标系下的
Figure 942049DEST_PATH_IMAGE076
轴坐标值，
Figure 918096DEST_PATH_IMAGE077
是车载摄像头安装位置在车辆世界坐标系下的
Figure 458798DEST_PATH_IMAGE078
轴坐标值，
Figure 164586DEST_PATH_IMAGE079
是车载摄像头安装位置在车辆世界坐标系下的
Figure 499753DEST_PATH_IMAGE080
轴坐标值。
（4）摄像头旋转矩阵：
Figure 228674DEST_PATH_IMAGE081
，是需要求解的摄像头外参数之一。其中，
Figure 307489DEST_PATH_IMAGE082
是车载摄像头的俯仰角，
Figure 618515DEST_PATH_IMAGE083
是车载摄像头的偏航角。
（5）摄像头平移向量：
Figure 124583DEST_PATH_IMAGE084
，是需要求解的摄像头外参数之一。
为本发明的一个实施例，摄像头外参数的计算方法如下：
（1）计算车载摄像头的偏航角
Figure 340801DEST_PATH_IMAGE085
；
（2）计算车载摄像头的俯仰角
Figure 223306DEST_PATH_IMAGE086
；
（3）计算摄像头旋转矩阵
Figure 952621DEST_PATH_IMAGE087
；
（4）计算摄像头平移向量
Figure 895169DEST_PATH_IMAGE088
。
为了更进一步的说明本发明实施例提供的车载摄像头在线标定方法及系统，现结合具体实例详述如下：
该具体实例的场景解释说明如下：自车沿道路方向向前做直线行驶。左侧一辆汽车A向自远处驶来，且保持沿道路方向做直线行驶。
其中，图3（a）来源于自车的车载摄像头拍摄的某一帧图像，其上绘制了汽车A在3个不同时刻的车辆位置和车辆识别框，并绘制了2条虚线来分别将此3个车辆识别框的左边界的上、下端点进行连接。显然，汽车A属于“道路灭点检测模块”中定义的第一类目标车辆，而上述2条虚线的交点即为一个道路灭点检测样本。
图3（b）将图3（a）中3个车辆识别框的左边界近似为了3个细杆。显然，这3个细杆在三维世界中的高度与汽车A的高度相等，且据最左侧车道线的横向距离相等（因汽车A沿道路方向做直线行驶）。
图3（c）来源于自车的车载摄像头拍摄的某一帧图像，该图像左侧包含若干规律性排布的高度一致的路灯，这些路灯的最高点和最低点分别被一条直线连接。
对于道路灭点，其以下2个性质是显而易见的：
性质1：当道路上具有至少2条平行的车道线时，在图像中，通过延伸这些车道线而获得的交点即为道路灭点。
性质2：如图3（c）所示，对于道路同一侧规律性排布且高度一致的若干路灯，在图像中，它们的主干的最高点将落在一条直线上，而它们的主干的底部接地点将落在另一条直线上，通过延伸这2条直线而获得的交点即为道路灭点。
在本发明实施例中，依据前述性质2的内部机理，可以推断出图3（b）中两条虚线的交点即为道路灭点。基于此，本发明利用车辆识别框检测道路灭点的方法应运而生。如图3（a）所示，对于“道路灭点检测模块”所定义的第一类目标车辆，该方法的作用原理是：
（1）在图像中，某第一类目标车辆的车辆识别框的左边界可被视为一根满足以下条件的虚拟细杆在图像中的成像：
① 该细杆的高度与该第一类目标车辆的高度相等。
② 该细杆始终竖直于地面，且底部与地面相接。
③若该第一类目标车辆与自车相向而行，则该细杆的底部接地点始终为该车辆车头右前方端点在地面上的竖直投影点；若该第一类目标车辆与自车同向而行，则该细杆的底部接地点始终为该车辆车尾左后方端点在地面上的竖直投影点。
（2）当该第一类目标车辆沿道路方向做直线行驶时，前述虚拟细杆也将沿道路方向做直线行驶，故该虚拟细杆的上端点和下端点在三维世界中的轨迹都将与车道线保持平行。因此在图像中，该虚拟细杆的上端点和下端点的轨迹将是2条不同的直线，且这2条直线的交点是道路灭点。
本发明实施例中，对于“道路灭点检测模块”所定义的第二类目标车辆，该方法的作用原理是：
（1）在图像中，某第二类目标车辆的车辆识别框的右边界可被视为一根满足以下条件的虚拟细杆在图像中的成像：
① 该细杆的高度与该第二类目标车辆的高度相等。
②该细杆始终竖直于地面，且底部与地面相接。
③若该第二类目标车辆与自车相向而行，则该细杆的底部接地点始终为该车辆车头左前方端点在地面上的竖直投影点；若该第二类目标车辆与自车同向而行，则该细杆的底部接地点始终为该车辆车尾右后方端点在地面上的竖直投影点。
（2）当该第二类目标车辆沿道路方向做直线行驶时，前述虚拟细杆也将沿道路方向做直线行驶，故该虚拟细杆的上端点和下端点在三维世界中的轨迹都将与车道线保持平行。因此在图像中，该虚拟细杆的上端点和下端点的轨迹将是2条不同的直线，且这2条直线的交点是道路灭点。
本发明实施例中，对于“道路灭点检测模块”所定义的第三类目标车辆，该方法的作用原理是：
（1）在图像中，某第三类目标车辆的车辆识别框的左、右边界可被分别视为满足以下条件的虚拟细杆1和虚拟细杆2在图像中的成像：
①细杆1和细杆2的高度与该第三类目标车辆的高度相等。
②细杆1和细杆2始终竖直于地面，且底部均与地面相接。
③若该第三类目标车辆与自车相向而行，则细杆1的底部接地点始终为该车辆车头右前方端点在地面上的竖直投影点，细杆2的底部接地点始终为该车辆车头左前方端点在地面上的竖直投影点；若该第三类目标车辆与自车同向而行，则细杆1的底部接地点始终为该车辆车尾左后方端点在地面上的竖直投影点，细杆2的底部接地点始终为该车辆车尾右后方端点在地面上的竖直投影点。
（2）当该第三类目标车辆沿道路方向做直线行驶时，前述虚拟细杆1和虚拟细杆2也将沿道路方向做直线行驶，故这2根细杆的上端点和下端点在三维世界中的轨迹都将与车道线保持平行。因此在图像中，这2根细杆的上端点和下端点的轨迹将是4条不同的直线，且这4条直线的交点是道路灭点。
上述方法成立的限制条件如下：
（一）限制条件1：目标车辆与自车均沿道路方向做直线行驶。针对该限制，本发明提出以下要求：
（1）自车需要达到数据采集开启条件才能开始数据采集。当满足数据采集开启条件时，自车很大概率是沿道路方向做直线行驶的。
（2）目标车辆的车辆识别框变化率需要大于预设的车辆识别框变化率。预设一个较大的车辆识别框变化率，可以保证目标车辆大概率是沿道路方向做直线行驶的。
（二）限制条件2：目标车辆与自车不能保持相对静止。针对该限制，本发明提出以下要求：
（1）目标车辆的车辆识别框变化率需要大于预设的车辆识别框变化率。当某一车辆与自车保持相对静止时，其车辆识别框变化率接近于零。
（三）限制条件3：目标车辆的高度恒定。显然，该限制条件易于满足。
本发明实施例中将目标车辆分成了三类，且每一类使用的车辆识别框的部分不同，之所以这样做的原因如下：
（1）如图4（a）所示，第一类目标车辆主要位于自车的左前方，故其车辆识别框会包含其部分侧面车身，且包含比例不定，即其车辆识别框的右边界相对其车身的位置会发生变化，而其车辆识别框的左边界相对其车身的位置将保持不变，故这类目标车辆仅使用车辆识别框的左边界。
（2）如图4（b）所示，第二类目标车辆主要位于自车的右前方，故其车辆识别框会包含其部分侧面车身，且包含比例不定，即其车辆识别框的左边界相对其车身的位置会发生变化，而其车辆识别框的右边界相对其车身的位置将保持不变，故这类目标车辆仅使用车辆识别框的右边界。
（3）如图4（c）所示，第三类目标车辆主要位于自车的前方，其车辆识别框一般只包含其车尾，很少包含其侧面车身，因此可认为其车辆识别框的左、右边界相对其车身的位置都将保持不变，故这类目标车辆将使用车辆识别框的左、右边界。
综上所述，本发明仅利用目标车辆的车辆检测框的相应端点即可实现车载摄像头的在线标定，其实施不依赖与道路车道线，同时也没有使用到计算量较大的特征点检测算法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种车载摄像头在线标定方法，其特征在于，包括下述步骤：
S1：对车载摄像头拍摄的各帧图像进行车辆识别与跟踪，获得各车辆在各帧图像中的车辆识别框与车辆识别框变化率；
S2：在满足数据采集开启条件时采集目标车辆在各帧图像中的车辆识别框；
S3：根据车辆识别框的位置判断目标车辆的类型，对不同类型的目标车辆使用不同的车辆识别框的端点来拟合直线并获得道路灭点检测样本；
S4：对所有的道路灭点检测样本进行聚类，取聚类结果中密度最大的簇的质心作为道路灭点的最优估计；
S5：根据道路灭点的最优估计计算出车载摄像头的偏航角和俯仰角，并获得车载摄像头的外参数；
其中，步骤S3具体包括：
S31：根据目标车辆的车辆识别框在图像帧中的位置将目标车辆分为第一类目标车辆、第二类目标车辆和第三类目标车辆；
S32：对于每个第一类目标车辆，取其各车辆识别框的左边界的上端点拟合得到第一直线，取其各车辆识别框的左边界的下端点拟合得到第二直线，再求取第一直线与第二直线的交点作为一个道路灭点检测样本；
S33：对于每个第二类目标车辆，取其各车辆识别框的右边界的上端点拟合得到第一直线，取其各车辆识别框的右边界的下端点拟合得到第二直线，再求取第一直线与第二直线的交点作为一个道路灭点检测样本；
S34：对于每个第三类目标车辆，取其各车辆识别框的左边界的上端点拟合得到第一直线，取其各车辆识别框的左边界的下端点拟合得到第二直线，取其各车辆识别框的右边界的上端点拟合得到第三直线，取其各车辆识别框的右边界的下端点拟合得到第四直线，再使用最小二乘法求取第一直线、第二直线、第三直线和第四直线的公共交点作为一个道路灭点检测样本。
2.如权利要求1所述的在线标定方法，其特征在于，在步骤S1中根据公式
Figure 518273DEST_PATH_IMAGE001
获得车辆
Figure 272602DEST_PATH_IMAGE002
在
Figure 9614DEST_PATH_IMAGE003
时刻的车辆识别框变化率；
其中，
Figure 532999DEST_PATH_IMAGE004
和
Figure 900526DEST_PATH_IMAGE005
分别是车辆识别框在图像中的像素宽度和像素高度，
Figure 142152DEST_PATH_IMAGE006
是预设的时间间隔。
3.如权利要求1所述的在线标定方法，其特征在于，在步骤S2中所述数据采集开启条件包括：
（1）自车车速大于预设的数据采集启动速度；
（2）自车未开启左/右转向灯，或者自车横摆角速度小于预设的最大横摆角速度，或者自车方向盘转角小于预设的最大方向盘转角。
4.如权利要求3所述的在线标定方法，其特征在于，在步骤S2中，采集目标车辆在各帧图像中的车辆识别框具体包括：
S21：确定目标车辆：
对于某一车辆，若其车辆识别框变化率大于预设的车辆识别框变化率，则将其视作一个目标车辆；
S22：采集目标车辆的数据：
对于某一个目标车辆，当车满足数据采集开启条件时，采集其在各图像帧中对应的车辆识别框；当车不满足开启条件时，暂停对其的数据采集；当其不再出现在自车的车载摄像头的视野范围内时停止对其数据采集，并记对该目标车辆完成了数据采集；
S23：当已完成数据采集的目标车辆的数量等于预设的目标车辆采集数量时停止数据采集；反之则继续进行数据采集。
5.如权利要求1所述的在线标定方法，其特征在于，所述第一类目标车辆是指目标车辆的车辆识别框主要集中在图像帧的左半部分；所述第二类目标车辆是指目标车辆的车辆识别框主要集中在图像帧的右半部分；所述第三类目标车辆是指目标车辆的车辆识别框主要集中在图像帧的中间部分。
6.如权利要求1-5任一项所述的在线标定方法，其特征在于，步骤S4具体包括：
S41：使用均值漂移聚类算法对所有道路灭点检测样本进行聚类，以产生一个或多个簇，并给出每个簇对应的质心；
S42：筛选得到聚类结果中密度最大的簇，并以该簇对应的质心作为道路灭点的最优估计。
7.如权利要求1-5任一项所述的在线标定方法，其特征在于，步骤S5中获得摄像头外参数具体包括：
S51根据公式
Figure 417275DEST_PATH_IMAGE007
计算车载摄像头的偏航角；
S52根据公式
Figure 434648DEST_PATH_IMAGE008
计算车载摄像头的俯仰角；
S53根据公式
Figure 707497DEST_PATH_IMAGE009
计算摄像头旋转矩阵；
S54根据公式
Figure 436419DEST_PATH_IMAGE010
计算摄像头平移向量；
其中，
Figure 515233DEST_PATH_IMAGE011
是车载摄像头安装位置在车辆世界坐标系下的三维坐标，
Figure 950894DEST_PATH_IMAGE012
是车载摄像头安装位置在车辆世界坐标系下的
Figure 722541DEST_PATH_IMAGE013
轴坐标值，
Figure 109397DEST_PATH_IMAGE014
是车载摄像头安装位置在车辆世界坐标系下的
Figure 991903DEST_PATH_IMAGE015
轴坐标值，
Figure 344387DEST_PATH_IMAGE016
是车载摄像头安装位置在车辆世界坐标系下的
Figure DEST_PATH_IMAGE017
轴坐标值。
8.一种实现权利要求1-7任一项所述的在线标定方法的车载摄像头在线标定系统，其特征在于，包括：
车辆识别与跟踪模块（100），用于对车载摄像头拍摄的各帧图像进行车辆识别与跟踪，获得各车辆在各帧图像中的车辆识别框与车辆识别框变化率；
目标车辆数据采集模块（200），用于采集目标车辆在各帧图像中的车辆识别框；
道路灭点检测模块（300），用于根据车辆识别框的位置判断目标车辆的类型，对不同类型的目标车辆使用不同的车辆识别框的端点来拟合直线并获得道路灭点检测样本；
道路灭点最优估计获取模块（400），用于对所有的道路灭点检测样本进行聚类，取聚类结果中密度最大的簇的质心作为道路灭点的最优估计；
摄像头外参数计算模块（500），用于根据道路灭点的最优估计计算出车载摄像头的偏航角和俯仰角，并获得车载摄像头的外参数；
其中，道路灭点检测模块（300）包括：目标车辆分类单元和道路灭点检测样本获取单元；
所述目标车辆分类单元用于根据目标车辆的车辆识别框在图像帧中的位置将目标车辆分为第一类目标车辆、第二类目标车辆和第三类目标车辆；
所述道路灭点检测样本获取单元用于根据所述第一类目标车辆、所述第二类目标车辆和所述第三类目标车辆获得道路灭点检测样本。
CN202210928855.5A 2022-08-03 2022-08-03 一种车载摄像头在线标定方法及系统 Active CN114998452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210928855.5A CN114998452B (zh) 2022-08-03 2022-08-03 一种车载摄像头在线标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210928855.5A CN114998452B (zh) 2022-08-03 2022-08-03 一种车载摄像头在线标定方法及系统

Publications (2)

Publication Number Publication Date
CN114998452A CN114998452A (zh) 2022-09-02
CN114998452B true CN114998452B (zh) 2022-12-02

Family

ID=83022197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210928855.5A Active CN114998452B (zh) 2022-08-03 2022-08-03 一种车载摄像头在线标定方法及系统

Country Status (1)

Country Link
CN (1) CN114998452B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115236627B (zh) * 2022-09-21 2022-12-16 深圳安智杰科技有限公司 一种基于多帧多普勒速度扩维的毫米波雷达数据聚类方法
CN117036505B (zh) * 2023-08-23 2024-03-29 长和有盈电子科技(深圳)有限公司 车载摄像头在线标定方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714530A (zh) * 2012-09-28 2014-04-09 深圳先进技术研究院 一种灭点检测及图像矫正方法
CN103985252A (zh) * 2014-05-23 2014-08-13 江苏友上科技实业有限公司 一种基于跟踪目标时域信息的多车辆投影定位方法
CN111968103A (zh) * 2020-08-27 2020-11-20 中冶赛迪重庆信息技术有限公司 一种钢卷间距检测方法、系统、介质及电子终端
CN112800986A (zh) * 2021-02-02 2021-05-14 深圳佑驾创新科技有限公司 车载摄像头外参标定方法、装置、车载终端和存储介质
CN114519849A (zh) * 2022-01-27 2022-05-20 中汽创智科技有限公司 一种车辆跟踪数据处理方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949578B (zh) * 2018-12-31 2020-11-24 上海眼控科技股份有限公司 一种基于深度学习的车辆压线违法自动审核方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714530A (zh) * 2012-09-28 2014-04-09 深圳先进技术研究院 一种灭点检测及图像矫正方法
CN103985252A (zh) * 2014-05-23 2014-08-13 江苏友上科技实业有限公司 一种基于跟踪目标时域信息的多车辆投影定位方法
CN111968103A (zh) * 2020-08-27 2020-11-20 中冶赛迪重庆信息技术有限公司 一种钢卷间距检测方法、系统、介质及电子终端
CN112800986A (zh) * 2021-02-02 2021-05-14 深圳佑驾创新科技有限公司 车载摄像头外参标定方法、装置、车载终端和存储介质
CN114519849A (zh) * 2022-01-27 2022-05-20 中汽创智科技有限公司 一种车辆跟踪数据处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN114998452A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN114998452B (zh) 一种车载摄像头在线标定方法及系统
WO2021259344A1 (zh) 车辆检测方法、装置、车辆和存储介质
CN110532896B (zh) 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
US8611585B2 (en) Clear path detection using patch approach
CN104657735B (zh) 车道线检测方法、系统、车道偏离预警方法及系统
JP4624594B2 (ja) 物体認識方法および物体認識装置
CN104778444B (zh) 道路场景下车辆图像的表观特征分析方法
EP3784505A1 (en) Device and method for determining a center of a trailer tow coupler
CN112396650A (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN104751151B (zh) 一种实时多车道识别及跟踪方法
JP2004032460A (ja) 画像処理装置およびその方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
EP2813973B1 (en) Method and system for processing video image
CN105740835A (zh) 夜视环境下基于车载相机的前方车辆检测方法
Liu et al. A novel multi-sensor fusion based object detection and recognition algorithm for intelligent assisted driving
Jiang et al. Target detection algorithm based on MMW radar and camera fusion
CN113781562A (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN111723778B (zh) 基于MobileNet-SSD的车辆测距系统及方法
CN114782729A (zh) 一种基于激光雷达与视觉融合的实时目标检测方法
CN117111055A (zh) 一种基于雷视融合的车辆状态感知方法
Jain et al. Relative vehicle velocity estimation using monocular video stream
CN202911633U (zh) 基于多信息融合的混合动力车车道标识线动态检测装置
CN111414857B (zh) 一种基于视觉的多特征融合的前方车辆检测方法
JPH0973529A (ja) 二輪車監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant