CN114550142A - 基于4d毫米波雷达和图像识别融合的车位检测方法 - Google Patents

基于4d毫米波雷达和图像识别融合的车位检测方法 Download PDF

Info

Publication number
CN114550142A
CN114550142A CN202210436683.XA CN202210436683A CN114550142A CN 114550142 A CN114550142 A CN 114550142A CN 202210436683 A CN202210436683 A CN 202210436683A CN 114550142 A CN114550142 A CN 114550142A
Authority
CN
China
Prior art keywords
vehicle
radar
points
image
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210436683.XA
Other languages
English (en)
Inventor
徐焕东
刘国清
杨广
王启程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Minieye Innovation Technology Co Ltd
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN202210436683.XA priority Critical patent/CN114550142A/zh
Publication of CN114550142A publication Critical patent/CN114550142A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Abstract

本发明公开了一种基于4D毫米波雷达和图像识别融合的车位检测方法，该方法包括：获取时间同步的4D毫米波雷达所采集到的雷达图像以及车载摄像头所采集到的环境图像；将雷达图像中的4D毫米波雷达反射点投影至环境图像的图像点上，以获得雷达投影点；在图像坐标系下，将雷达投影点与语义分割所获得的目标像素点进行关联匹配；在车辆坐标系下，对关联匹配的雷达投影点和目标像素点进行融合，以获得融合点；对在车辆坐标系下的融合点进行聚类，并将聚类结果输出为障碍物；若判断两两障碍物之间所形成的空间能够容纳本车，则将空间确定为本车的停车位。本发明的停车位障碍物检测率高，且停车位定位精度高。

Description

基于4D毫米波雷达和图像识别融合的车位检测方法
技术领域
本发明涉及辅助驾驶技术领域，尤其涉及一种基于4D毫米波雷达和图像识别融合的车位检测方法及其装置、车载终端以及计算机可读存储介质。
背景技术
车位检测是自动泊车系统中的一个重要步骤，它给泊车系统提供精准的空车位位置坐标信息，从而实现自动泊车功能。现有的车位检测方法包括基于超声波的停车位检测方法和基于摄像头的停车位检测方法。
其中，基于超声波的停车位检测方法一般利用超声波的飞行时间，计算与障碍物的距离，因超声波不具有方向性，有三角定位法和多次反射法得到障碍物检测点，但检测率不高，且较难检测三角锥、栅栏、路肩等物体，以致不能检测到有效停车位。
基于摄像头的停车位检测方法包含多种方式。如在检测到停车线的前提下，拟合直线或矩形，从而构造出空车位，此种方法不能有效应对无停车线的场景，应用场景有限。又如基于深度学习的语义分割方法，识别出图像上的每个像素是否为空车位的边界障碍物，如相邻车位的车辆底部、车轮，又如栅栏和路肩的接地点处等。在图像上检测到车位后，还需通过摄像头测距方法得到泊车位的距离位置，但摄像头测距存在误差大的缺点。
发明内容
本发明实施例提供一种基于4D毫米波雷达和图像识别融合的车位检测方法及其装置、车载终端以及计算机可读存储介质，能有效解决现有技术停车位障碍物检测率不高，定位精度低的问题。
本发明一实施例提供一种基于4D毫米波雷达和图像识别融合的车位检测方法，包括：
获取时间同步的4D毫米波雷达所采集到的雷达图像以及车载摄像头所采集到的环境图像；
将所述雷达图像中的4D毫米波雷达反射点投影至所述环境图像的图像点上，以获得雷达投影点；
在图像坐标系下，将所述雷达投影点与语义分割所获得的目标像素点进行关联匹配；其中，所述目标像素点为基于语义分割方法从所述环境图像中获取的可行驶区域的像素点；
在车辆坐标系下，对关联匹配的所述雷达投影点和所述目标像素点进行融合，以获得融合点；
对在车辆坐标系下的所述融合点进行聚类，并将聚类结果输出为障碍物；
若判断两两所述障碍物之间所形成的空间能够容纳本车，则将所述空间确定为本车的停车位。
在其中一个实施例中，所述将所述雷达图像中的4D毫米波雷达反射点投影至所述环境图像的图像点上，以获得雷达投影点，包括：
根据所述4D毫米波雷达的安装参数以及所述车载摄像头的安装参数和内外参数，将车辆坐标系下的4D毫米波雷达反射点转换成图像坐标系下的图像点，则所述图像点为雷达投影点。
在其中一个实施例中，所述在图像坐标系下，将所述雷达投影点与语义分割所获得的目标像素点进行关联匹配，包括：
在图像坐标系下，构造所述雷达投影点与所述目标像素点的代价矩阵；
基于匈牙利分配算法，获得分配结果代价总和最小时所关联匹配的所述雷达投影点和所述目标像素点。
在其中一个实施例中，所述对在车辆坐标系下的所述融合点进行聚类，并将聚类结果输出为障碍物，包括：
对在车辆坐标系下的所述融合点进行DBSCAN聚类；
对聚类结果进行矩形框拟合，将能够拟合为矩形框且满足预设尺寸的障碍物识别为车辆障碍物，将不能拟合矩形框或不满足所述预设尺寸的障碍物识别为其他障碍物。
在其中一个实施例中，所述若判断两两所述障碍物之间所形成的空间能够容纳本车，则将所述空间确定为本车的停车位，包括：
判断识别到的两两所述车辆障碍物之间所形成的空间是否能够容纳本车；
若是，则将所述空间确定为本车的停车位。
本发明另一实施例对应提供了一种基于4D毫米波雷达和图像识别融合的车位检测装置，包括：
获取模块，用于获取时间同步的4D毫米波雷达所采集到的雷达图像以及车载摄像头所采集到的环境图像；
投影模块，用于将所述雷达图像中的4D毫米波雷达反射点投影至所述环境图像的图像点上，以获得雷达投影点；
关联匹配模块，用于在图像坐标系下，将所述雷达投影点与语义分割所获得的目标像素点进行关联匹配；其中，所述目标像素点为基于语义分割方法从所述环境图像中获取的可行驶区域的像素点；
融合模块，用于在车辆坐标系下，对关联匹配的所述雷达投影点和所述目标像素点进行融合，以获得融合点；
聚类模块，用于对在车辆坐标系下的所述融合点进行聚类，并将聚类结果输出为障碍物；
确定模块，用于若判断两两所述障碍物之间所形成的空间能够容纳本车，则将所述空间确定为本车的停车位。
在其中一个实施例中，所述投影模块具体用于：
根据所述4D毫米波雷达的安装参数以及所述车载摄像头的安装参数和内外参数，将车辆坐标系下的4D毫米波雷达反射点转换成图像坐标系下的图像点，则所述图像点为雷达投影点。
在其中一个实施例中，所述融合模块具体用于：
在图像坐标系下，构造所述雷达投影点与所述目标像素点的代价矩阵；
基于匈牙利分配算法，获得分配结果代价总和最小时所关联匹配的所述雷达投影点和所述目标像素点。
本发明另一实施例提供了一种车载终端，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的基于4D毫米波雷达和图像识别融合的车位检测方法。
本发明另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的基于4D毫米波雷达和图像识别融合的车位检测方法。
上述基于4D毫米波雷达和图像识别融合的车位检测方法、装置、车载终端以及计算机可读存储介质，通过将所述雷达图像中的4D毫米波雷达反射点投影至所述环境图像的图像点上，以获得雷达投影点；然后在图像坐标系下，将所述雷达投影点与语义分割所获得的目标像素点进行关联匹配；其中，所述目标像素点为基于语义分割方法从所述环境图像中获取的可行驶区域的像素点；接着在车辆坐标系下，对关联匹配的所述雷达投影点和所述目标像素点进行融合，以获得融合点；再接着对在车辆坐标系下的所述融合点进行聚类，并将聚类结果输出为障碍物；最后若判断两两所述障碍物之间所形成的空间能够容纳本车，则将所述空间确定为本车的停车位。相较于现有技术，本发明具有如下有益效果：
将雷达图像中的4D毫米波雷达反射点与环境图像中的目标像素点在同一图像坐标系下进行关联匹配，并在同一车辆坐标系下进行融合，然后基于融合点来识别障碍物，并判断两两障碍物之间所形成的空间是否能够容纳本车，从而确定本车的停车位，既可以克服毫米波雷达的误检，有效识别各种障碍物，提高了车位的检测率，同时又克服摄像头测距存在误差大的问题，提高了停车位的定位精度。
附图说明
图1是本发明一实施例提供的一种基于4D毫米波雷达和图像识别融合的车位检测方法的流程示意图；
图2是本发明一实施例提供的4D毫米波雷达和车载摄像头的安装示意图；
图3是本发明一实施例提供的通过两两障碍物之间所形成的空间来确定停车位的场景示意图；
图4是本发明一实施例提供的一种基于4D毫米波雷达和图像识别融合的车位检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明一实施例提供的一种基于4D毫米波雷达和图像识别融合的车位检测方法的流程示意图，该方法包括以下步骤：
S10、获取时间同步的4D毫米波雷达所采集到的雷达图像以及车载摄像头所采集到的环境图像。
传统毫米波雷达只能获得速度、距离和方位角三个维度的信息，仅能判断出前方是否有障碍物。而4D毫米波雷达作为一种77Ghz的毫米波雷达，具有丰富的信道，除了能输出目标横纵向位置、径向速度外，还能输出高度这一维度信息，具有横向角度分辨率高、能检测目标高度的特点，能够进一步探测出物体的形状。
在本实施例中，4D毫米波雷达因角度分辨率高，可以得到较密集的具有高度信息的回波反射点，特别是汽车等由铁构成的雷达散射截面(Radar Cross Section, RCS)大的障碍物，回波密度较大，经过数字信号处理后，可得到障碍物的位置、高度、速度、方位角等信息，且精度高。
在一个实施例中，请参见图2，车载4D毫米波雷达可以包括多个，分别设置在本车的前方、后方以及两个侧面，以获取本车的前方雷达图像、后方雷达图像、左侧雷达图像以及右侧雷达图像。雷达图像可以指示在本车周围存在的目标的位置，并且该目标可以包括诸如车辆和人等的动态对象、或者诸如护栏和交通信号灯等的静止或背景对象。
在一个实施例中，请参见图2，车载摄像头可以包括多个，分别设置在本车的前方、后方以及两个侧面，以获取本车的前方环境图像、后方环境图像、左侧环境图像以及右侧环境图像。环境图像也可以指示在本车周围存在的目标的位置，并且该目标可以包括诸如车辆和人等的动态对象、或者诸如护栏和交通信号灯等的静止或背景对象。
需要说明的是，雷达图像的时间与对应方位的环境图像的时间需同步，即前方雷达图像需与前方环境图像时间同步，后方雷达图像需与后方环境图像时间同步，左侧雷达图像需与左侧环境图像时间同步，右侧雷达图像需与右侧环境图像时间同步。
例如，从CAN总线上获取到前方4D毫米波雷达扫描帧的时刻为t，则在车载前置摄像头输出中寻找距离t时刻最近且时间差dt小于500毫秒的前方环境图像，以使前方雷达图像的时间与前方环境图像的时间同步。
S20、将所述雷达图像中的4D毫米波雷达反射点投影至所述环境图像的图像点上，以获得雷达投影点。
在本实施例中，为了实现雷达图像与环境图像关联匹配，需将雷达图像中的4D毫米波雷达反射点投影至环境图像的图像点上，以获得雷达投影点。
在其中一个实施例中，上述步骤S20包括以下步骤：
S21、根据所述4D毫米波雷达的安装参数以及所述车载摄像头的安装参数和内外参数，将车辆坐标系下的4D毫米波雷达反射点转换成图像坐标系下的图像点，则所述图像点为雷达投影点。
具体的，请结合图3，假设4D毫米波雷达的安装参数以及车载摄像头的安装参数和内外参数分别为：
4D毫米波雷达设备到车载摄像头设备的纵向距离为
Figure 393436DEST_PATH_IMAGE001
，雷达设备到车辆左边的距离为
Figure 626709DEST_PATH_IMAGE002
，到右边的距离为
Figure 235545DEST_PATH_IMAGE003
，车载摄像头设备到车辆左边的距离为
Figure 409038DEST_PATH_IMAGE004
，到右边的距离为
Figure 357402DEST_PATH_IMAGE005
，到车头距离为
Figure 325358DEST_PATH_IMAGE006
，安装高度为
Figure 359173DEST_PATH_IMAGE007
，内参矩阵为
Figure 70777DEST_PATH_IMAGE008
，外参矩阵为：
Figure 935965DEST_PATH_IMAGE009
其中，
Figure 12505DEST_PATH_IMAGE010
为车载摄像头的滚转角roll，y为方位角yaw，p为俯仰角pitch，内参矩阵和外参矩阵可以通过张正友标定获取，则4D毫米波雷达反射点
Figure 595933DEST_PATH_IMAGE011
投影到环境图像的图像坐标系上的像素坐标点
Figure 281868DEST_PATH_IMAGE012
过程公式如下：
Figure 267141DEST_PATH_IMAGE013
其中，
Figure 514583DEST_PATH_IMAGE014
为3*1的向量,
Figure 585307DEST_PATH_IMAGE015
为
Figure 576397DEST_PATH_IMAGE014
的第一个取值，
Figure 416177DEST_PATH_IMAGE016
为
Figure 896837DEST_PATH_IMAGE014
的第二个取值，
Figure 126961DEST_PATH_IMAGE017
为
Figure 984058DEST_PATH_IMAGE018
的第三个取值。
如此，则可将雷达图像中的各个4D毫米波雷达反射点
Figure 678345DEST_PATH_IMAGE019
投影至环境图像的图像点上，从而获得雷达投影点
Figure 766124DEST_PATH_IMAGE020
。
S30、在图像坐标系下，将所述雷达投影点与语义分割所获得的目标像素点进行关联匹配；其中，所述目标像素点为基于语义分割方法从所述环境图像中获取的可行驶区域的像素点。
在本实施例中，在获得环境图像后，可通过语义分割方法对环境图像进行语义分割，通过观测变量，推理出潜变量的对应类别标签，即为环境图像中的每个像素赋予分类结果信息，从而分类出环境图像中的可行驶区域和非行驶区域，进而获得可行驶区域的目标像素点。
其中，车辆可行驶区域(freespace)包括避开其他汽车、行人、马路边的区域。语义分割方法不仅用到了图像识别算法，还涉及了计算机视觉中的几何测量算法，即获取目标区域在相机坐标系下的距离。常用的手段包括单目和双目，其中单目的测距简单有效，不需要很大的计算量，功耗低，而双目测距具有结构复杂，匹配时间长的特点。就目前现有的车辆状况而言，低端车大都不具备前装adas(汽车辅助驾驶)功能，也就是说成熟度较高的双目测距方案并不能普遍的应用到现有的汽车上。而基于单目的语义分割算法只需要一个摄像头采集数据，很容易嵌入到行车记录仪等车载设备上，应用范围广泛。
在其中一个实施例中，上述步骤S30包括以下步骤：
S31、在图像坐标系下，构造所述雷达投影点与所述目标像素点的代价矩阵；
S32、基于匈牙利分配算法，获得分配结果代价总和最小时所关联匹配的所述雷达投影点和所述目标像素点。
具体的，在图像坐标系下，构造雷达投影点
Figure 811441DEST_PATH_IMAGE021
与目标像素点
Figure 144333DEST_PATH_IMAGE022
的代价矩阵：
Figure 630809DEST_PATH_IMAGE023
其中，
Figure 718851DEST_PATH_IMAGE024
所有雷达投影点
Figure 923567DEST_PATH_IMAGE025
的集合，N为雷达投影点的总数，
Figure 122468DEST_PATH_IMAGE026
所有目标像素点的集合，M为目标像素点的总数，
Figure 961985DEST_PATH_IMAGE027
为雷达投影点
Figure 220928DEST_PATH_IMAGE028
与目标像素点
Figure 975258DEST_PATH_IMAGE029
在图像坐标系上的代价：
Figure 649953DEST_PATH_IMAGE030
Figure 173338DEST_PATH_IMAGE031
、
Figure 540865DEST_PATH_IMAGE032
分别为
Figure 516912DEST_PATH_IMAGE033
点在图像坐标系上的横纵向距离，
Figure 57614DEST_PATH_IMAGE034
分别为
Figure 638768DEST_PATH_IMAGE035
点在图像坐标系上的横纵向距离，
Figure 410153DEST_PATH_IMAGE036
为横向距离的归一化权重，其值为0.3，
Figure 139075DEST_PATH_IMAGE037
为纵向距离的归一化权重，其值为0.6，若
Figure 217889DEST_PATH_IMAGE038
，则强制不匹配，若
Figure 653550DEST_PATH_IMAGE039
，则进行匹配。
然后基于匈牙利分配算法得到关联匹配结果：在一个雷达投影点最多只能分配一个目标像素点，且一个目标像素点最多只能分配到一个雷达投影点的约束下，分配结果的代价总和应是最小的，从而获得关联匹配的雷达投影点和目标像素点。
S40、在车辆坐标系下，对关联匹配的所述雷达投影点和所述目标像素点进行融合，以获得融合点。
在本实施例中，将图像坐标系的处理步骤转换为车辆坐标系的处理步骤，通过采用车辆坐标系下的坐标，可以更直观地获取融合点与本车的距离以及融合点的自身尺寸。
在车辆坐标系下，对关联匹配的雷达投影点
Figure 159617DEST_PATH_IMAGE040
和目标像素点
Figure 375835DEST_PATH_IMAGE041
进行融合，融合的方式如下：融合点
Figure 196023DEST_PATH_IMAGE042
的横向距离
Figure 548507DEST_PATH_IMAGE043
，纵向距离
Figure 428739DEST_PATH_IMAGE044
。其中，
Figure 866673DEST_PATH_IMAGE045
和
Figure 723509DEST_PATH_IMAGE046
分别为雷达投影点和目标像素点在车辆坐标系下的横向距离，
Figure 196078DEST_PATH_IMAGE047
和
Figure 43949DEST_PATH_IMAGE048
分别为雷达投影点和目标像素点在车辆坐标系下的纵向距离，
Figure 906862DEST_PATH_IMAGE049
和
Figure 68853DEST_PATH_IMAGE050
均为权重系数。
可以理解，融合点
Figure 333613DEST_PATH_IMAGE051
的横向距离
Figure 54182DEST_PATH_IMAGE052
和纵向距离
Figure 404392DEST_PATH_IMAGE053
的权重可根据实际情况调整：
在预设距离范围内，调高雷达投影点的权重系数
Figure 166811DEST_PATH_IMAGE054
和
Figure 348394DEST_PATH_IMAGE056
，降低目标像素点的权重系数
Figure 741329DEST_PATH_IMAGE057
和
Figure 641152DEST_PATH_IMAGE050
；
在超过预设距离范围时，降低雷达投影点的权重系数
Figure 144946DEST_PATH_IMAGE054
和
Figure 181035DEST_PATH_IMAGE056
，调高目标像素点的权重系数
Figure 807188DEST_PATH_IMAGE057
和
Figure 630525DEST_PATH_IMAGE050
。
具体的，设定一个预设距离D，在D范围以内，认为4D毫米波雷达的可靠性和精度更高，即调整雷达投影点的权重系数高于目标像素点的权重系数，因此融合点
Figure 734748DEST_PATH_IMAGE059
的精度以雷达投影点为准。当超出设定阈值D时，认为车载摄像头的可靠性更高，即调整目标像素点的权重系数高于雷达投影点的权重系数，因此融合点
Figure 828606DEST_PATH_IMAGE051
的精度以目标像素点为准。如此，确保在本车的探测范围内，融合点
Figure 625660DEST_PATH_IMAGE060
均能保持较高的可靠性和精度。
在一个实施例中，融合点
Figure 234496DEST_PATH_IMAGE061
的横向距离
Figure 345672DEST_PATH_IMAGE062
，纵向距离
Figure 356353DEST_PATH_IMAGE063
。
本实施例通过构造代价矩阵得到4D毫米波雷达和车载摄像头检测结果的匹配关系，从而既可以克服毫米波雷达的误检，又可以提高车位的检测率，并通过设计融合权重，提高了停车位的定位精度。
S50、对在车辆坐标系下的所述融合点进行聚类，并将聚类结果输出为障碍物。
在本实施例中，障碍物包括车辆障碍物以及其他障碍物，聚类的目的是识别现实环境中的障碍物是车辆障碍物，还是行人、栅栏和路肩等非车辆障碍物，然后在障碍物间构造足够空间的位置，即可得到停车位。
在其中一个实施例中，上述步骤S50包括以下步骤：
S51、对在车辆坐标系下的所述融合点进行DBSCAN聚类；
S52、对聚类结果进行矩形框拟合，将能够拟合为矩形框且满足预设尺寸的障碍物识别为车辆障碍物，将不能拟合矩形框或不满足所述预设尺寸的障碍物识别为其他障碍物。
其中，DBSCAN是一种基于密度的无监督聚类算法，由于同一类别的样本内部结构之间的紧密相连的，具有相同或相近的雷达散射截面(RCS),通过将紧密相连的样本划为一类，这样就得到了一个聚类类别，然后通过将所有各组紧密相连的样本划为各个不同的类别，就得到了最终的所有聚类类别结果。在一个具体实施例中，将DBSCAN的最大半径设置为0.1米，最小聚类点个数为3。
本实施例对车辆坐标系下的融合点进行DBSCAN聚类，然后对聚类结果拟合矩形框，符合条件的矩形框即为车辆障碍物，不能拟合的聚类点为其他障碍物。
在一个具体实施例中，分别使用opencv的boundingRect与minAreaRect算法得到包覆每种聚类结果的最小正矩形和最小斜矩形，取其面积最小的矩形即为障碍物轮廓，记其长宽分别为
Figure 261992DEST_PATH_IMAGE064
，
Figure 358124DEST_PATH_IMAGE065
，当满足条件
Figure 240367DEST_PATH_IMAGE066
，则判断此障碍物为车辆障碍物，否则为其他障碍物。
在其他实施例中，也可采用其他的算法对车辆坐标系下的融合点进行聚类，例如K-means算法。
S60、若判断两两所述障碍物之间所形成的空间能够容纳本车，则将所述空间确定为本车的停车位。
在一个实施例中，通过聚类算法仅输出车辆障碍物。在判断障碍物仅为车辆障碍物时，进一步判断两两车辆障碍物之间是否有足够空间容纳本车大小，若是，则可得到停车位位置，若否，则发出该可行驶区域暂无停车位，建议本车继续移动直至找到本车的停车位的提示。
在一个实施例中，通过聚类算法不仅输出车辆障碍物，还可以输出其他障碍物。在判断障碍物为车辆障碍物和其他障碍物时，进一步判断车辆障碍物与其他障碍物之间是否有足够空间容纳本车大小，若是，则可得到停车位位置，若否，则发出该可行驶区域暂无停车位，建议本车继续移动直至找到本车的停车位的提示。
示例性的，请参阅图3，本车通过执行上述步骤识别到车辆障碍物1、车辆障碍物2和栅栏4，现需判断各个障碍物之间所形成的空间3是否能够容纳本车。若车辆障碍物1与车辆障碍物2之间所形成的空间3能够容纳本车，则进一步判断车辆障碍物1或车辆障碍物2与栅栏4之间所形成的空间3是否能够容纳本车，若是，则将该空间3确定为本车的停车位。若否，则发出本区域无停车位的提示。
本发明实施例提供的一种基于4D毫米波雷达和图像识别融合的车位检测方法通过将所述雷达图像中的4D毫米波雷达反射点投影至所述环境图像的图像点上，以获得雷达投影点；然后在图像坐标系下，将所述雷达投影点与语义分割所获得的目标像素点进行关联匹配；其中，所述目标像素点为基于语义分割方法从所述环境图像中获取的可行驶区域的像素点；接着在车辆坐标系下，对关联匹配的所述雷达投影点和所述目标像素点进行融合，以获得融合点；再接着对在车辆坐标系下的所述融合点进行聚类，并将聚类结果输出为障碍物；最后若判断两两所述障碍物之间所形成的空间能够容纳本车，则将所述空间确定为本车的停车位。
相较于现有技术，该方法将雷达图像中的4D毫米波雷达反射点与环境图像中的目标像素点在同一图像坐标系下进行关联匹配，并在同一车辆坐标系下进行融合，然后基于融合点来识别障碍物，并判断两两障碍物之间所形成的空间是否能够容纳本车，从而确定本车的停车位，既可以克服毫米波雷达的误检，有效识别各种障碍物，提高了车位的检测率，同时又克服摄像头测距存在误差大的问题，提高了停车位的定位精度。
请参见图4，图4是本发明一实施例提供的一种基于4D毫米波雷达和图像识别融合的车位检测装置的结构示意图，该装置包括：
获取模块101，用于获取时间同步的4D毫米波雷达所采集到的雷达图像以及车载摄像头所采集到的环境图像；
投影模块102，用于将所述雷达图像中的4D毫米波雷达反射点投影至所述环境图像的图像点上，以获得雷达投影点；
关联匹配模块103，用于在图像坐标系下，将所述雷达投影点与语义分割所获得的目标像素点进行关联匹配；其中，所述目标像素点为基于语义分割方法从所述环境图像中获取的可行驶区域的像素点；
融合模块104，用于在车辆坐标系下，对关联匹配的所述雷达投影点和所述目标像素点进行融合，以获得融合点；
聚类模块105，用于对在车辆坐标系下的所述融合点进行聚类，并将聚类结果输出为障碍物；
确定模块106，用于若判断两两所述障碍物之间所形成的空间能够容纳本车，则将所述空间确定为本车的停车位。
本发明实施例提供的一种基于4D毫米波雷达和图像识别融合的车位检测装置通过将所述雷达图像中的4D毫米波雷达反射点投影至所述环境图像的图像点上，以获得雷达投影点；然后在图像坐标系下，将所述雷达投影点与语义分割所获得的目标像素点进行关联匹配；其中，所述目标像素点为基于语义分割方法从所述环境图像中获取的可行驶区域的像素点；接着在车辆坐标系下，对关联匹配的所述雷达投影点和所述目标像素点进行融合，以获得融合点；再接着对在车辆坐标系下的所述融合点进行聚类，并将聚类结果输出为障碍物；最后若判断两两所述障碍物之间所形成的空间能够容纳本车，则将所述空间确定为本车的停车位。
相较于现有技术，该装置将雷达图像中的4D毫米波雷达反射点与环境图像中的目标像素点在同一图像坐标系下进行关联匹配，并在同一车辆坐标系下进行融合，然后基于融合点来识别障碍物，并判断两两障碍物之间所形成的空间是否能够容纳本车，从而确定本车的停车位，既可以克服毫米波雷达的误检，有效识别各种障碍物，提高了车位的检测率，同时又克服摄像头测距存在误差大的问题，提高了停车位的定位精度。
在其中一个实施例中，所述投影模块102具体用于：
根据所述4D毫米波雷达的安装参数以及所述车载摄像头的安装参数和内外参数，将车辆坐标系下的4D毫米波雷达反射点转换成图像坐标系下的图像点，则所述图像点为雷达投影点。
在其中一个实施例中，所述融合模块104具体用于：
在图像坐标系下，构造所述雷达投影点与所述目标像素点的代价矩阵；
基于匈牙利分配算法，获得分配结果代价总和最小时所关联匹配的所述雷达投影点和所述目标像素点。
关于基于4D毫米波雷达和图像识别融合的车位检测装置的具体限定可以参见上文中对于基于4D毫米波雷达和图像识别融合的车位检测方法的限定，在此不再赘述。上述基于4D毫米波雷达和图像识别融合的车位检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本发明另一实施例提供了一种车载终端。该实施例的车载终端包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个基于4D毫米波雷达和图像识别融合的车位检测方法实施例中的步骤，例如图1所示的步骤S10-S60。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
本发明另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行执行上述各个基于4D毫米波雷达和图像识别融合的车位检测方法实施例中的步骤，例如图1所示的步骤S10-S60。
示例性地，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述车载终端中的执行过程。例如，所述计算机程序可以被分割成获取模块101、投影模块102、关联匹配模块103、融合模块104、聚类模块105和确定模块106，各模块具体功能如下：获取模块101，用于获取时间同步的4D毫米波雷达所采集到的雷达图像以及车载摄像头所采集到的环境图像；投影模块102，用于将所述雷达图像中的4D毫米波雷达反射点投影至所述环境图像的图像点上，以获得雷达投影点；关联匹配模块103，用于在图像坐标系下，将所述雷达投影点与语义分割所获得的目标像素点进行关联匹配；其中，所述目标像素点为基于语义分割方法从所述环境图像中获取的可行驶区域的像素点；融合模块104，用于在车辆坐标系下，对关联匹配的所述雷达投影点和所述目标像素点进行融合，以获得融合点；聚类模块105，用于对在车辆坐标系下的所述融合点进行聚类，并将聚类结果输出为障碍物；确定模块106，用于若判断两两所述障碍物之间所形成的空间能够容纳本车，则将所述空间确定为本车的停车位。
所述车载终端可以是车载智能联网终端及云端服务器等计算设备。所述车载终端可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是车载终端的示例，并不构成对车载终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述车载终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述车载终端的控制中心，利用各种接口和线路连接整个车载终端的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述车载终端的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述车载终端集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于4D毫米波雷达和图像识别融合的车位检测方法，其特征在于，包括：
获取时间同步的4D毫米波雷达所采集到的雷达图像以及车载摄像头所采集到的环境图像；
将所述雷达图像中的4D毫米波雷达反射点投影至所述环境图像的图像点上，以获得雷达投影点；
在图像坐标系下，将所述雷达投影点与语义分割所获得的目标像素点进行关联匹配；其中，所述目标像素点为基于语义分割方法从所述环境图像中获取的可行驶区域的像素点；
在车辆坐标系下，对关联匹配的所述雷达投影点和所述目标像素点进行融合，以获得融合点；
对在车辆坐标系下的所述融合点进行聚类，并将聚类结果输出为障碍物；
若判断两两所述障碍物之间所形成的空间能够容纳本车，则将所述空间确定为本车的停车位。
2.如权利要求1所述的基于4D毫米波雷达和图像识别融合的车位检测方法，其特征在于，所述将所述雷达图像中的4D毫米波雷达反射点投影至所述环境图像的图像点上，以获得雷达投影点，包括：
根据所述4D毫米波雷达的安装参数以及所述车载摄像头的安装参数和内外参数，将车辆坐标系下的4D毫米波雷达反射点转换成图像坐标系下的图像点，则所述图像点为雷达投影点。
3.如权利要求1所述的基于4D毫米波雷达和图像识别融合的车位检测方法，其特征在于，所述在图像坐标系下，将所述雷达投影点与语义分割所获得的目标像素点进行关联匹配，包括：
在图像坐标系下，构造所述雷达投影点与所述目标像素点的代价矩阵；
基于匈牙利分配算法，获得分配结果代价总和最小时所关联匹配的所述雷达投影点和所述目标像素点。
4.如权利要求1所述的基于4D毫米波雷达和图像识别融合的车位检测方法，其特征在于，所述对在车辆坐标系下的所述融合点进行聚类，并将聚类结果输出为障碍物，包括：
对在车辆坐标系下的所述融合点进行DBSCAN聚类；
对聚类结果进行矩形框拟合，将能够拟合为矩形框且满足预设尺寸的障碍物识别为车辆障碍物，将不能拟合矩形框或不满足所述预设尺寸的障碍物识别为其他障碍物。
5.如权利要求4所述的基于4D毫米波雷达和图像识别融合的车位检测方法，其特征在于，所述若判断两两所述障碍物之间所形成的空间能够容纳本车，则将所述空间确定为本车的停车位，包括：
判断识别到的两两所述车辆障碍物之间所形成的空间是否能够容纳本车；
若是，则将所述空间确定为本车的停车位。
6.一种基于4D毫米波雷达和图像识别融合的车位检测装置，其特征在于，包括：
获取模块，用于获取时间同步的4D毫米波雷达所采集到的雷达图像以及车载摄像头所采集到的环境图像；
投影模块，用于将所述雷达图像中的4D毫米波雷达反射点投影至所述环境图像的图像点上，以获得雷达投影点；
关联匹配模块，用于在图像坐标系下，将所述雷达投影点与语义分割所获得的目标像素点进行关联匹配；其中，所述目标像素点为基于语义分割方法从所述环境图像中获取的可行驶区域的像素点；
融合模块，用于在车辆坐标系下，对关联匹配的所述雷达投影点和所述目标像素点进行融合，以获得融合点；
聚类模块，用于对在车辆坐标系下的所述融合点进行聚类，并将聚类结果输出为障碍物；
确定模块，用于若判断两两所述障碍物之间所形成的空间能够容纳本车，则将所述空间确定为本车的停车位。
7.如权利要求6所述的基于4D毫米波雷达和图像识别融合的车位检测装置，其特征在于，所述投影模块具体用于：
根据所述4D毫米波雷达的安装参数以及所述车载摄像头的安装参数和内外参数，将车辆坐标系下的4D毫米波雷达反射点转换成图像坐标系下的图像点，则所述图像点为雷达投影点。
8.如权利要求6所述的基于4D毫米波雷达和图像识别融合的车位检测装置，其特征在于，所述融合模块具体用于：
在图像坐标系下，构造所述雷达投影点与所述目标像素点的代价矩阵；
基于匈牙利分配算法，获得分配结果代价总和最小时所关联匹配的所述雷达投影点和所述目标像素点。
9.一种车载终端，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的基于4D毫米波雷达和图像识别融合的车位检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至5中任意一项所述的基于4D毫米波雷达和图像识别融合的车位检测方法。
CN202210436683.XA 2022-04-25 2022-04-25 基于4d毫米波雷达和图像识别融合的车位检测方法 Pending CN114550142A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210436683.XA CN114550142A (zh) 2022-04-25 2022-04-25 基于4d毫米波雷达和图像识别融合的车位检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210436683.XA CN114550142A (zh) 2022-04-25 2022-04-25 基于4d毫米波雷达和图像识别融合的车位检测方法

Publications (1)

Publication Number Publication Date
CN114550142A true CN114550142A (zh) 2022-05-27

Family

ID=81667350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210436683.XA Pending CN114550142A (zh) 2022-04-25 2022-04-25 基于4d毫米波雷达和图像识别融合的车位检测方法

Country Status (1)

Country Link
CN (1) CN114550142A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147809A (zh) * 2022-06-30 2022-10-04 阿波罗智能技术(北京)有限公司 一种障碍物检测方法、装置、设备以及存储介质
CN115376358A (zh) * 2022-07-18 2022-11-22 英博超算(南京)科技有限公司 基于有限状态机的超声波车位探测

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN113060131A (zh) * 2021-04-16 2021-07-02 中国第一汽车股份有限公司 一种障碍物地图生成方法、装置、车辆及存储介质
EP3885794A1 (en) * 2018-11-20 2021-09-29 CRRC Zhuzhou Locomotive Co., Ltd Track and road obstacle detecting method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3885794A1 (en) * 2018-11-20 2021-09-29 CRRC Zhuzhou Locomotive Co., Ltd Track and road obstacle detecting method
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN113060131A (zh) * 2021-04-16 2021-07-02 中国第一汽车股份有限公司 一种障碍物地图生成方法、装置、车辆及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
甘耀东 等: "融合毫米波雷达与深度视觉的多目标检测与跟踪", 《汽车工程》 *
邓伟文 等: "《智能汽车新能源汽车方向普通高等教育新工科汽车类系列教材 汽车智能驾驶模拟仿真技术》", 30 April 2021 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147809A (zh) * 2022-06-30 2022-10-04 阿波罗智能技术(北京)有限公司 一种障碍物检测方法、装置、设备以及存储介质
CN115147809B (zh) * 2022-06-30 2023-09-22 阿波罗智能技术(北京)有限公司 一种障碍物检测方法、装置、设备以及存储介质
CN115376358A (zh) * 2022-07-18 2022-11-22 英博超算(南京)科技有限公司 基于有限状态机的超声波车位探测
CN115376358B (zh) * 2022-07-18 2023-12-05 英博超算(南京)科技有限公司 基于有限状态机的超声波车位探测

Similar Documents

Publication Publication Date Title
CN112639821B (zh) 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
EP0747870B1 (en) An object observing method and device with two or more cameras
US7046822B1 (en) Method of detecting objects within a wide range of a road vehicle
CN114550142A (zh) 基于4d毫米波雷达和图像识别融合的车位检测方法
CN110555407B (zh) 路面车辆空间识别方法及电子设备
KR101163042B1 (ko) 차량 검출 장치 및 방법
CN113874927A (zh) 停车检测方法、系统、处理设备和存储介质
CN110008891B (zh) 一种行人检测定位方法、装置、车载计算设备及存储介质
WO2023221566A1 (zh) 一种基于多视角融合的3d目标检测方法及装置
CN113743171A (zh) 目标检测方法及装置
Liu et al. Vehicle detection and ranging using two different focal length cameras
CN112799091A (zh) 算法评估方法、装置及存储介质
CN115147333A (zh) 一种目标检测方法及装置
CN115729245A (zh) 用于矿区坡道的障碍物融合检测方法、芯片和终端
US11861914B2 (en) Object recognition method and object recognition device
CN112990049A (zh) 用于车辆自动驾驶的aeb紧急制动方法、装置
CN117452410A (zh) 一种基于毫米波雷达的车辆检测系统
CN111105465B (zh) 一种摄像装置校准方法、装置、系统电子设备及存储介质
EP4287137A1 (en) Method, device, equipment, storage media and system for detecting drivable space of road
CN116215520A (zh) 基于超声波和3d环视的车辆碰撞预警及处理方法、装置
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN113128264A (zh) 一种车辆区域确定方法、装置及电子设备
CN116206483B (zh) 停车位置的确定方法、电子设备及计算机可读存储介质
CN116189116B (zh) 一种交通状态感知方法及系统
CN115063772B (zh) 一种车辆编队后车检测方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220527

RJ01 Rejection of invention patent application after publication