CN111693998A - 一种基于雷达和图像数据检测车辆位置的方法及装置 - Google Patents
一种基于雷达和图像数据检测车辆位置的方法及装置 Download PDFInfo
- Publication number
- CN111693998A CN111693998A CN202010572864.6A CN202010572864A CN111693998A CN 111693998 A CN111693998 A CN 111693998A CN 202010572864 A CN202010572864 A CN 202010572864A CN 111693998 A CN111693998 A CN 111693998A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- radar
- image data
- coordinate system
- vehicle target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 39
- 238000012544 monitoring process Methods 0.000 claims abstract description 28
- 230000001131 transforming effect Effects 0.000 claims abstract description 19
- 230000001360 synchronised effect Effects 0.000 claims abstract description 17
- 238000012937 correction Methods 0.000 claims description 48
- 238000013519 translation Methods 0.000 claims description 17
- 230000004075 alteration Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 9
- 238000001514 detection method Methods 0.000 description 10
- 238000012806 monitoring device Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9314—Parking operations
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提供了一种基于雷达和图像数据检测车辆位置的方法及装置，该方法包括：获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据，确定所述雷达数据中的车辆目标以及所述车辆目标在雷达坐标系中的雷达坐标；对所述雷达坐标进行坐标变换，得到所述车辆目标在相机坐标系中的第一坐标；确定拍摄所述图像数据的摄像机的焦距，对所述第一坐标进行变换，得到所述车辆目标在所述图像数据的图像坐标系中的第二坐标；对所述第二坐标进行矫正，得到所述车辆目标在像素坐标系中的像素坐标；根据所述像素坐标，确定所述车辆目标在预定监控区域内的位置。通过本发明，实现了通过雷达数据和图像数据的空间融合来精确地确定车辆的位置。
Description
技术领域
本发明涉及智能停车管理技术领域，尤其涉及一种基于雷达和图像数据检测车辆位置的方法及装置。
背景技术
在经济快速发展的今天，人民的生活水平和收入都在不断的提高，城市机动车保有量也急速增长，但随之而来，城市停车位缺口也不断扩大，停车位远远无法满足巨大的停车需求，停车位与停车需求之间的矛盾也日益尖锐，尤其在城市道路两侧，由于路侧停车位的稀缺以及较多机动车驾驶人的交通安全意识淡薄，城市路侧停车和路侧违法停车已成为城市管理的痼疾之一，由此带来交通拥堵、车辆乱停乱放等问题严重制约着城市的快速发展，同时，严重影响城市的市容市貌以及居民生活环境，因此，对于城市路侧停车和路侧违法停车的治理，已到刻不容缓的程度。
在路侧停车管理中，通常使用图像监控设备监测目标停车区域，再利用目标检测及识别算法确定目标车辆，对车辆进行停车管理。然而，单纯利用摄像机拍摄的视觉信息易受到环境干扰，强光、大雾、雨雪等都会使得在视频图像中无法准确获得到车辆目标特征，导致停车管理的精度较低。由此，通常引入其他传感器辅助停车管理，如毫米波雷达等。如果使用毫米波雷达对目标区域的车辆进行监测，虽然抗环境干扰能力强，但对于多车辆目标的识别和分割，容易出现误判；且缺乏获取车辆关键身份信息的能力，因此需要将多传感器数据进行融合，得到更精确的目标位置数据。多传感器的空间融合是多传感器目标检测技术的基础，直接关系到目标检测的准确性，也是未来停车管理领域的重要发展方向。
发明内容
本发明实施例提供一种基于雷达和图像数据检测车辆位置的方法及装置，实现了通过雷达数据和图像数据的空间融合来精确地确定车辆的位置。
本发明实施例提供了一种基于雷达和图像数据检测车辆位置的方法，包括：
获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据，确定所述雷达数据中的车辆目标以及所述车辆目标在雷达坐标系中的雷达坐标；
对所述雷达坐标进行坐标变换，得到所述车辆目标在相机坐标系中的第一坐标；
确定拍摄所述图像数据的摄像机的焦距，根据所述焦距对所述第一坐标进行变换，得到所述车辆目标在所述图像数据的图像坐标系中的第二坐标；
对所述第二坐标进行矫正，得到所述车辆目标在像素坐标系中的像素坐标；
根据所述像素坐标，确定所述车辆目标在预定监控区域内的位置。
本发明实施例还提供了一种基于雷达和图像数据检测车辆位置的装置，包括：
获取及确定模块，用于获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据，确定所述雷达数据中的车辆目标以及所述车辆目标在雷达坐标系中的雷达坐标；
第一变换模块，用于对所述雷达坐标进行坐标变换，得到所述车辆目标在相机坐标系中的第一坐标；
第二变换模块，用于确定拍摄所述图像数据的摄像机的焦距，根据所述焦距对所述第一坐标进行变换，得到所述车辆目标在所述图像数据的图像坐标系中的第二坐标；
矫正模块，用于对所述第二坐标进行矫正，得到所述车辆目标在像素坐标系中的像素坐标；
第一确定模块，用于根据所述像素坐标，确定所述车辆目标在预定监控区域内的位置。
上述技术方案具有如下有益效果：通过本发明，根据采集的雷达数据确定车辆目标在雷达坐标系中的雷达坐标，为后续对车辆目标在相机坐标系中的坐标转换提供了必要的前提条件；对雷达坐标进行坐标变换，得到车辆目标在相机坐标系中的第一坐标，实现了通过车辆目标在雷达坐标系的雷达坐标到相机坐标系中的坐标变换；确定拍摄图像数据的摄像机的焦距，根据焦距对第一坐标进行变换，得到车辆目标在图像数据的图像坐标系中的第二坐标，实现了车辆目标在相机坐标系中的坐标到图像坐标系中的坐标转换；对第二坐标进行矫正，得到车辆目标在像素坐标系中的像素坐标，实现了车辆目标在图像坐标系中的坐标到像素坐标系中的像素坐标的精确转换，从而完成了车辆目标从雷达坐标系中的雷达坐标到像素坐标系中的像素坐标的精确、高效地转换，建立了准确的雷达坐标系、图像坐标系和像素坐标系之间的坐标转换矩阵，实现多传感器数据的空间融合，并能够根据数据融合后的像素坐标，提高目标检测和分割的准确率，并能精确地确定车辆目标在预定监控区域内的位置，进一步地，及大地提高了车辆管理的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于雷达和图像数据检测车辆位置的方法的流程图；
图2为本发明一实施例中基于雷达和图像数据检测车辆位置的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明实施例中一种基于雷达和图像数据检测车辆位置的方法的流程图，包括：
110、获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据，确定所述雷达数据中的车辆目标以及所述车辆目标在雷达坐标系中的雷达坐标；
120、对所述雷达坐标进行坐标变换，得到所述车辆目标在相机坐标系中的第一坐标；
130、确定拍摄所述图像数据的摄像机的焦距，根据所述焦距对所述第一坐标进行变换，得到所述车辆目标在所述图像数据的图像坐标系中的第二坐标；
140、对所述第二坐标进行矫正，得到所述车辆目标在像素坐标系中的像素坐标；
150、根据所述像素坐标，确定所述车辆目标在预定监控区域内的位置。
进一步地，在所述获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据的步骤之前，包括：
获取雷达数据采集频率与图像数据采集频率；
将雷达数据采集频率的倒数值与图像数据采集频率的倒数值的最小公倍数的倒数值确定为同步采集频率。
进一步地，所述获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据，包括：
同步雷达数据与图像数据的起始采集点。
进一步地，所述对所述雷达坐标进行坐标变换，得到所述车辆目标在相机坐标系中的第一坐标，包括：
确定车辆目标距雷达坐标系原点的距离，以及车辆目标至雷达坐标系原点的连线与雷达坐标系平面的夹角；
根据所述距离与所述夹角，对所述雷达坐标进行坐标变换；
根据预定平移数值，将变换后的雷达坐标进行平移变换，得到所述车辆目标在相机坐标系中的第一坐标。
进一步地，所述确定拍摄所述图像数据的摄像机的焦距，根据所述焦距对所述第一坐标进行变换，得到所述车辆目标在所述图像数据的图像坐标系中的第二坐标，包括：
确定拍摄所述图像数据的摄像机的焦距，根据所述焦距，通过相似三角形原理对所述第一坐标进行变换，得到所述车辆目标在所述图像数据的图像坐标系中的第二坐标。
进一步地，所述对所述第二坐标进行矫正，得到所述车辆目标在像素坐标系中的像素坐标，包括：
根据所述摄像机的第一预定参数，对所述第二坐标进行畸变矫正，得到畸变矫正后的第三坐标；
确定图像标系原点的像素坐标，并根据所述摄像机的第二预定参数，对第三坐标进行偏离矫正，得到所述车辆目标在像素坐标系中的像素坐标。
进一步地，所述根据所述摄像机的第一预定参数，对所述第二坐标进行畸变矫正，得到畸变矫正后的第三坐标，包括：
根据所述摄像机的第一预定参数，对所述第二坐标进行径向畸变矫正和切向畸变矫正，得到畸变矫正后的第三坐标。
如图2所示，为本发明一实施例中基于雷达和图像数据检测车辆位置的装置结构示意图，包括：
获取及确定模块21，用于获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据，确定所述雷达数据中的车辆目标以及所述车辆目标在雷达坐标系中的雷达坐标；
第一变换模块22，用于对所述雷达坐标进行坐标变换，得到所述车辆目标在相机坐标系中的第一坐标；
第二变换模块23，用于确定拍摄所述图像数据的摄像机的焦距，根据所述焦距对所述第一坐标进行变换，得到所述车辆目标在所述图像数据的图像坐标系中的第二坐标；
矫正模块24，用于对所述第二坐标进行矫正，得到所述车辆目标在像素坐标系中的像素坐标；
第一确定模块25，用于根据所述像素坐标，确定所述车辆目标在预定监控区域内的位置。
进一步地，包括：
获取模块，用于获取雷达数据采集频率与图像数据采集频率；
第二确定模块，用于将雷达数据采集频率的倒数值与图像数据采集频率的倒数值的最小公倍数的倒数值确定为同步采集频率。
进一步地，所述获取及确定模块，包括：
同步单元，用于同步雷达数据与图像数据的起始采集点。
进一步地，所述第一变换模块，具体用于
确定车辆目标距雷达坐标系原点的距离，以及车辆目标至雷达坐标系原点的连线与雷达坐标系平面的夹角；
根据所述距离与所述夹角，对所述雷达坐标进行坐标变换；
根据预定平移数值，将变换后的雷达坐标进行平移变换，得到所述车辆目标在相机坐标系中的第一坐标。
进一步地，所述第二变换模块，具体用于
确定拍摄所述图像数据的摄像机的焦距，根据所述焦距，通过相似三角形原理对所述第一坐标进行变换，得到所述车辆目标在所述图像数据的图像坐标系中的第二坐标。
进一步地，所述矫正模块，包括：
畸变矫正单元，用于根据所述摄像机的第一预定参数，对所述第二坐标进行畸变矫正，得到畸变矫正后的第三坐标；
偏离矫正单元，用于确定图像标系原点的像素坐标，并根据所述摄像机的第二预定参数，对第三坐标进行偏离矫正，得到所述车辆目标在像素坐标系中的像素坐标。
进一步地，所述畸变矫正单元，具体用于
根据所述摄像机的第一预定参数，对所述第二坐标进行径向畸变矫正和切向畸变矫正，得到畸变矫正后的第三坐标。
本发明实施例上述技术方案具有如下有益效果：通过本发明，根据采集的雷达数据确定车辆目标在雷达坐标系中的雷达坐标，为后续对车辆目标在相机坐标系中的坐标转换提供了必要的前提条件；对雷达坐标进行坐标变换，得到车辆目标在相机坐标系中的第一坐标，实现了通过车辆目标在雷达坐标系的雷达坐标到相机坐标系中的坐标变换；确定拍摄图像数据的摄像机的焦距，根据焦距对第一坐标进行变换，得到车辆目标在图像数据的图像坐标系中的第二坐标，实现了车辆目标在相机坐标系中的坐标到图像坐标系中的坐标转换；对第二坐标进行矫正，得到车辆目标在像素坐标系中的像素坐标，实现了车辆目标在图像坐标系中的坐标到像素坐标系中的像素坐标的精确转换，从而完成了车辆目标从雷达坐标系中的雷达坐标到像素坐标系中的像素坐标的精确、高效地转换，建立了准确的雷达坐标系、图像坐标系和像素坐标系之间的坐标转换矩阵，实现多传感器数据的空间融合，并能够根据数据融合后的像素坐标，提高目标检测和分割的准确率，并能精确地确定车辆目标在预定监控区域内的位置，进一步地，及大地提高了车辆管理的效率。
以下结合应用实例对本发明实施例上述技术方案进行详细说明：
本发明应用实例旨在通过雷达数据和图像数据的空间融合精确地确定车辆的位置。
如图1所示，例如，在车辆位置检测系统中，配置有至少一个图像监控设备与至少一个雷达监控设备，用于采集雷达数据和图像数据；首先，获取由雷达数据和图像数据的采集装置，即图像监控设备和雷达监控设备，通过同步采集频率在预定监控区域内采集的雷达数据与图像数据，确定该雷达数据中的车辆目标以及该车辆目标在雷达坐标系中的雷达坐标；随后，对该雷达坐标进行坐标变换，得到该车辆目标在相机坐标系中的第一坐标；确定拍摄该图像数据的摄像机的焦距，根据该焦距对第一坐标进行变换，得到该车辆目标在图像数据的图像坐标系中的第二坐标；随后对第二坐标进行矫正，得到该车辆目标在像素坐标系中的像素坐标；最后，根据该像素坐标，确定该车辆目标在预定监控区域内的位置。
需要说明的是，本发明实施例中，本领域技术人员可以理解，雷达数据采集通常在球极坐标系下进行，而雷达坐标系是原点为雷达发射中心点，x轴与道路方向垂直、与地球平面平行，z轴与雷达中心发射线重合的三维笛卡尔坐标系；基于针孔模型成像原理，图像坐标系为摄像机将真实物体投影成像所在的二维平面。
在一种可能的实现方式中，在步骤110获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据的步骤之前，包括：获取雷达数据采集频率与图像数据采集频率；将雷达数据采集频率的倒数值与图像数据采集频率的倒数值的最小公倍数的倒数值确定为同步采集频率。
其中，步骤110获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据，包括：同步雷达数据与图像数据的起始采集点。
例如，在车辆位置检测系统中，配置有至少一个图像监控设备与至少一个雷达监控设备；获取雷达数据采集频率，如为25Hz，与图像数据采集频率，如为30Hz；将雷达数据采集频率的倒数值即1/25与图像数据采集频率的倒数值即1/30的最小公倍数1/5的倒数值即5确定为同步采集频率，则同步采集频率为即5Hz；随后同步雷达数据与图像数据采集的起始采集点，同步起始采集点后，获取通过同步采集频率5Hz在预定监控区域内采集的雷达数据与图像数据。
通过本实施例，实现了对雷达数据与图像数据在时间采集上的同步，从而能够保证在单位时间内获取到最大数量的同步点，即能够在最短的时间间隔内判断预定监控区域内是否有车辆目标，极大地提高了车辆目标识别的效率。
在一种可能的实现方式中，步骤120对所述雷达坐标进行坐标变换，得到所述车辆目标在相机坐标系中的第一坐标，包括：确定车辆目标距雷达坐标系原点的距离，以及车辆目标至雷达坐标系原点的连线与雷达坐标系平面的夹角；根据所述距离与所述夹角，对所述雷达坐标进行坐标变换；根据预定平移数值，将变换后的雷达坐标进行平移变换，得到所述车辆目标在相机坐标系中的第一坐标。
其中，车辆目标至雷达坐标系原点的连线与雷达坐标系平面的夹角包括车辆目标至雷达坐标系原点的连线与雷达坐标系中平行于X轴平面的夹角和车辆目标至雷达坐标系原点的连线与雷达坐标系中平行于Y轴平面的夹角。
例如，在车辆位置检测系统中，配置有至少一个图像监控设备与至少一个雷达监控设备，用于采集雷达数据和图像数据，其中，图像监控设备与雷达监控设备的安装角度相同；获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据，确定雷达数据中的车辆目标以及车辆目标在雷达坐标系中的雷达坐标；随后，确定车辆目标距雷达坐标系原点的距离，如r，以及车辆目标至雷达坐标系原点的连线与雷达坐标系中平行于X轴平面，即XOZ平面，的夹角，如
和车辆目标至雷达坐标系原点的连线与雷达坐标系中平行于Y轴平面，即YOZ平面，的夹角，如θ；根据距离r与夹角
和θ，通过公式一对该雷达坐标进行的坐标变换，公式一如下：
其中，Xr为变换后的雷达坐标的X轴的值，Yr为变换后的雷达坐标的Y轴的值，Zr为变换后的雷达坐标的Z轴的值；
图像采集设备通常为摄像机，通常摄像机与雷达设备安装的角度相同，则相机坐标系与雷达坐标系的x、y、z轴均平行，即相机坐标系与雷达坐标系仅存在平移关系，随后，根据两坐标系原点的预定平移数值，如原点在X轴方向的预定平移数值为X0，原点在Y轴方向的预定平移数值为Y0，原点在Z轴方向的预定平移数值为Z0，将变换后的雷达坐标进行平移变换，得到车辆目标在相机坐标系中的第一坐标(Xc,Yc,Zc),平移变换公式如下公式二：
为方便推导，可以将公式二写成矩阵形式，如下：
在一种可能的实现方式中，步骤130所述确定拍摄所述图像数据的摄像机的焦距，根据所述焦距对所述第一坐标进行变换，得到所述车辆目标在所述图像数据的图像坐标系中的第二坐标，包括：确定拍摄所述图像数据的摄像机的焦距，根据所述焦距，通过相似三角形原理对所述第一坐标进行变换，得到所述车辆目标在所述图像数据的图像坐标系中的第二坐标。
例如，在车辆位置检测系统中，接上例，确定拍摄图像数据的摄像机的焦距，即成像焦点距离摄像机光心的距离，如焦距f，根据焦距f，通过相似三角形原理得到公式三对所述第一坐标(Xc,Yc,Zc)进行变换，得到该车辆目标在该图像数据的图像坐标系中的第二坐标(x，y)，公式三如下：
在一种可能的实现方式中，步骤140所述对所述第二坐标进行矫正，得到所述车辆目标在像素坐标系中的像素坐标，包括：根据所述摄像机的第一预定参数，对所述第二坐标进行畸变矫正，得到畸变矫正后的第三坐标；确定图像标系原点的像素坐标，并根据所述摄像机的第二预定参数，对第三坐标进行偏离矫正，得到所述车辆目标在像素坐标系中的像素坐标。
其中，所述根据所述摄像机的第一预定参数，对所述第二坐标进行畸变矫正，得到畸变矫正后的第三坐标，包括：根据所述摄像机的第一预定参数，对所述第二坐标进行径向畸变矫正和切向畸变矫正，得到畸变矫正后的第三坐标。
本领域技术人员可以了解到，在相机的实际成像中，图像会产生畸变，距离投影中心越远，畸变越严重，其中，畸变类型主要为径向畸变和切向畸变；径向畸变主要表现为实际成像边缘产生显著的变形，而投影中心通常没有畸变，畸变随实际成像的径向移动越来越严重；而切向畸变表现为在实际成像中，以图像水平中心线为界，一部分图像被压缩，另一部分图像被拉长。因此，在车辆位置检测系统中，接上例，根据图像采集设备的摄像机的第一预定参数，如参数k1、k2、k3、p1、p2，对第二坐标(x，y)进行径向畸变矫正和切向畸变矫正，得到畸变矫正后的第三坐标(x′，y′)，其中，径向畸变的校正公式如下公式四：
其中，切向畸变的校正公式如下公式五：
由此，可以得到径向畸变和切向畸变的统一校正公式，如下公式六：
其中，
第二坐标(x，y)是理想成像下图像的坐标，而第三坐标(x′，y′)是经畸变校正后的图像坐标，k1、k2、k3、p1、p2是相机的内部参数，仅与相机自身属性和结构有关，可通过张正友标定法得到，此处不再赘述。
随后，确定图像标系原点的像素坐标，并根据该摄像机的第二预定参数，如参数fx、fy、u0、v0，对第三坐标(x′，y′)进行偏离矫正，得到该车辆目标在像素坐标系中的像素坐标(u，v)。由于相机制作和安装的过程中存在不精确的情况，相机感光芯片中心通常不与光轴绝对重合，造成了投影中心与光轴之间的偏移，即图像坐标系原点的像素坐标和像素坐标系的中心会产生偏离。由此设定，图像坐标系原点的像素坐标为(u0，v0)，每个像素对应图像坐标系中坐标轴的单位长度为fx/f和fy/f，则对第三坐标(x′，y′)进行偏离矫正的变换矩阵为入下公式七:
其中，u为像素坐标系的横坐标，v为像素坐标系的纵坐标，f为相机焦距，为已知参数，fx、fy、u0、v0同样为相机内部参数，亦可通过张正友标定法得到。
通过本实施例，可得到车辆目标从雷达坐标系到像素坐标系的变换过程，实现了雷达数据和图像数据的空间融合。
本发明实施例提供了一种基于雷达和图像数据检测车辆位置的装置，可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种基于雷达和图像数据检测车辆位置的方法，其特征在于，包括：
获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据，确定所述雷达数据中的车辆目标以及所述车辆目标在雷达坐标系中的雷达坐标；
对所述雷达坐标进行坐标变换，得到所述车辆目标在相机坐标系中的第一坐标；
确定拍摄所述图像数据的摄像机的焦距，根据所述焦距对所述第一坐标进行变换，得到所述车辆目标在所述图像数据的图像坐标系中的第二坐标；
对所述第二坐标进行矫正，得到所述车辆目标在像素坐标系中的像素坐标；
根据所述像素坐标，确定所述车辆目标在预定监控区域内的位置。
2.根据权利要求1所述的方法，其特征在于，在所述获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据的步骤之前，包括：
获取雷达数据采集频率与图像数据采集频率；
将雷达数据采集频率的倒数值与图像数据采集频率的倒数值的最小公倍数的倒数值确定为同步采集频率。
3.根据权利要求2所述的方法，其特征在于，所述获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据，包括：
同步雷达数据与图像数据的起始采集点。
4.根据权利要求3所述的方法，其特征在于，所述对所述雷达坐标进行坐标变换，得到所述车辆目标在相机坐标系中的第一坐标，包括：
确定车辆目标距雷达坐标系原点的距离，以及车辆目标至雷达坐标系原点的连线与雷达坐标系平面的夹角；
根据所述距离与所述夹角，对所述雷达坐标进行坐标变换；
根据预定平移数值，将变换后的雷达坐标进行平移变换，得到所述车辆目标在相机坐标系中的第一坐标。
5.根据权利要求4所述的方法，其特征在于，所述确定拍摄所述图像数据的摄像机的焦距，根据所述焦距对所述第一坐标进行变换，得到所述车辆目标在所述图像数据的图像坐标系中的第二坐标，包括：
确定拍摄所述图像数据的摄像机的焦距，根据所述焦距，通过相似三角形原理对所述第一坐标进行变换，得到所述车辆目标在所述图像数据的图像坐标系中的第二坐标。
6.根据权利要求5所述的方法，其特征在于，所述对所述第二坐标进行矫正，得到所述车辆目标在像素坐标系中的像素坐标，包括：
根据所述摄像机的第一预定参数，对所述第二坐标进行畸变矫正，得到畸变矫正后的第三坐标；
确定图像标系原点的像素坐标，并根据所述摄像机的第二预定参数，对第三坐标进行偏离矫正，得到所述车辆目标在像素坐标系中的像素坐标。
7.根据权利要求6所述的方法，其特征在于，所述根据所述摄像机的第一预定参数，对所述第二坐标进行畸变矫正，得到畸变矫正后的第三坐标，包括：
根据所述摄像机的第一预定参数，对所述第二坐标进行径向畸变矫正和切向畸变矫正，得到畸变矫正后的第三坐标。
8.一种基于雷达和图像数据检测车辆位置的装置，其特征在于，包括：
获取及确定模块，用于获取通过同步采集频率在预定监控区域内采集的雷达数据与图像数据，确定所述雷达数据中的车辆目标以及所述车辆目标在雷达坐标系中的雷达坐标；
第一变换模块，用于对所述雷达坐标进行坐标变换，得到所述车辆目标在相机坐标系中的第一坐标；
第二变换模块，用于确定拍摄所述图像数据的摄像机的焦距，根据所述焦距对所述第一坐标进行变换，得到所述车辆目标在所述图像数据的图像坐标系中的第二坐标；
矫正模块，用于对所述第二坐标进行矫正，得到所述车辆目标在像素坐标系中的像素坐标；
第一确定模块，用于根据所述像素坐标，确定所述车辆目标在预定监控区域内的位置。
9.根据权利要求8所述的装置，其特征在于，包括：
获取模块，用于获取雷达数据采集频率与图像数据采集频率；
第二确定模块，用于将雷达数据采集频率的倒数值与图像数据采集频率的倒数值的最小公倍数的倒数值确定为同步采集频率。
10.根据权利要求9所述的装置，其特征在于，所述获取及确定模块，包括：
同步单元，用于同步雷达数据与图像数据的起始采集点。
11.根据权利要求10所述的装置，其特征在于，所述第一变换模块，具体用于
确定车辆目标距雷达坐标系原点的距离，以及车辆目标至雷达坐标系原点的连线与雷达坐标系平面的夹角；
根据所述距离与所述夹角，对所述雷达坐标进行坐标变换；
根据预定平移数值，将变换后的雷达坐标进行平移变换，得到所述车辆目标在相机坐标系中的第一坐标。
12.根据权利要求11所述的装置，其特征在于，所述第二变换模块，具体用于
确定拍摄所述图像数据的摄像机的焦距，根据所述焦距，通过相似三角形原理对所述第一坐标进行变换，得到所述车辆目标在所述图像数据的图像坐标系中的第二坐标。
13.根据权利要求12所述的装置，其特征在于，所述矫正模块，包括：
畸变矫正单元，用于根据所述摄像机的第一预定参数，对所述第二坐标进行畸变矫正，得到畸变矫正后的第三坐标；
偏离矫正单元，用于确定图像标系原点的像素坐标，并根据所述摄像机的第二预定参数，对第三坐标进行偏离矫正，得到所述车辆目标在像素坐标系中的像素坐标。
14.根据权利要求13所述的装置，其特征在于，所述畸变矫正单元，具体用于
根据所述摄像机的第一预定参数，对所述第二坐标进行径向畸变矫正和切向畸变矫正，得到畸变矫正后的第三坐标。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2020103377274 | 2020-04-26 | ||
| CN202010337727 | 2020-04-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111693998A true CN111693998A (zh) | 2020-09-22 |
Family
ID=72482750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010572864.6A Pending CN111693998A (zh) | 2020-04-26 | 2020-06-22 | 一种基于雷达和图像数据检测车辆位置的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111693998A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239948A (zh) * | 2021-03-12 | 2021-08-10 | 复旦大学 | 一种面向毫米波雷达与视频图像的数据融合方法及系统 |
| CN115019276A (zh) * | 2022-06-30 | 2022-09-06 | 南京慧尔视智能科技有限公司 | 一种目标检测方法、系统及相关设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104637059A (zh) * | 2015-02-09 | 2015-05-20 | 吉林大学 | 基于毫米波雷达和机器视觉的夜间前方车辆检测方法 |
| CN108037505A (zh) * | 2017-12-08 | 2018-05-15 | 吉林大学 | 一种夜间前方车辆检测方法及系统 |
| CN109143241A (zh) * | 2018-07-26 | 2019-01-04 | 清华大学苏州汽车研究院（吴江） | 雷达数据和图像数据的融合方法及系统 |
-
2020
- 2020-06-22 CN CN202010572864.6A patent/CN111693998A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104637059A (zh) * | 2015-02-09 | 2015-05-20 | 吉林大学 | 基于毫米波雷达和机器视觉的夜间前方车辆检测方法 |
| CN108037505A (zh) * | 2017-12-08 | 2018-05-15 | 吉林大学 | 一种夜间前方车辆检测方法及系统 |
| CN109143241A (zh) * | 2018-07-26 | 2019-01-04 | 清华大学苏州汽车研究院（吴江） | 雷达数据和图像数据的融合方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239948A (zh) * | 2021-03-12 | 2021-08-10 | 复旦大学 | 一种面向毫米波雷达与视频图像的数据融合方法及系统 |
| CN115019276A (zh) * | 2022-06-30 | 2022-09-06 | 南京慧尔视智能科技有限公司 | 一种目标检测方法、系统及相关设备 |
| CN115019276B (zh) * | 2022-06-30 | 2023-10-27 | 南京慧尔视智能科技有限公司 | 一种目标检测方法、系统及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111582256B (zh) | 一种基于雷达和视觉信息的停车管理方法及装置 | |
| CN112509333A (zh) | 一种基于多传感器感知的路侧停车车辆轨迹识别方法及系统 | |
| CN110146869A (zh) | 确定坐标系转换参数的方法、装置、电子设备和存储介质 | |
| CN111739335B (zh) | 一种基于视觉差的停车检测方法及装置 | |
| CN113205691B (zh) | 一种识别车辆位置的方法及装置 | |
| CN111739338A (zh) | 一种基于多类型传感器的停车管理方法及系统 | |
| CN110688902B (zh) | 一种检测停车位内车辆区域的方法及装置 | |
| CN111693998A (zh) | 一种基于雷达和图像数据检测车辆位置的方法及装置 | |
| CN111340710B (zh) | 一种基于图像拼接获取车辆信息的方法及系统 | |
| CN112541953A (zh) | 一种基于雷达信号和视频同步坐标映射的车辆检测方法 | |
| CN111553956A (zh) | 拍摄装置的标定方法、装置、电子设备和存储介质 | |
| CN113408454A (zh) | 一种交通目标检测方法、装置、电子设备及检测系统 | |
| CN111931673A (zh) | 一种基于视觉差的车辆检测信息的校验方法及装置 | |
| CN110490117B (zh) | 一种基于图像深度信息的停车事件确定方法及系统 | |
| CN111814769A (zh) | 一种信息采集方法、装置、终端设备及存储介质 | |
| CN115457780B (zh) | 一种基于先验知识集合的车流量流速自动测算方法及系统 | |
| CN111243021A (zh) | 基于多组合相机的车载视觉定位方法、系统及存储介质 | |
| CN113190564A (zh) | 地图更新系统、方法及设备 | |
| CN115015909A (zh) | 一种基于透视变换的雷达数据与视频数据融合方法及系统 | |
| CN111292382A (zh) | 车载图像采集设备标定的方法和装置、电子设备、介质 | |
| CN112766068A (zh) | 一种基于网格化标注的车辆检测方法及系统 | |
| CN111372051A (zh) | 多相机联动盲区检测方法、装置和电子设备 | |
| CN111882883A (zh) | 一种路侧停车管理的方法及装置 | |
| CN116363623B (zh) | 基于毫米波雷达与视觉融合的车辆检测方法 | |
| CN113449624B (zh) | 一种基于行人重识别确定车辆行为的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 075000 ten building, phase 1, airport economic and Technological Development Zone, Zhangjiakou, Hebei Applicant after: Smart intercommunication Technology Co.,Ltd. Address before: 075000 ten building, phase 1, airport economic and Technological Development Zone, Zhangjiakou, Hebei Applicant before: INTELLIGENT INTERCONNECTION TECHNOLOGIES Co.,Ltd. |