CN117590371A - 基于4d毫米波成像雷达实现全局车位状态检测的方法 - Google Patents

基于4d毫米波成像雷达实现全局车位状态检测的方法 Download PDF

Info

Publication number
CN117590371A
CN117590371A CN202410075903.XA CN202410075903A CN117590371A CN 117590371 A CN117590371 A CN 117590371A CN 202410075903 A CN202410075903 A CN 202410075903A CN 117590371 A CN117590371 A CN 117590371A
Authority
CN
China
Prior art keywords
parking space
point
point cloud
global
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410075903.XA
Other languages
English (en)
Other versions
CN117590371B (zh
Inventor
赵映重
陆新飞
薛旦
史颂华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Geometry Partner Intelligent Driving Co ltd
Original Assignee
Shanghai Geometry Partner Intelligent Driving Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Geometry Partner Intelligent Driving Co ltd filed Critical Shanghai Geometry Partner Intelligent Driving Co ltd
Priority to CN202410075903.XA priority Critical patent/CN117590371B/zh
Publication of CN117590371A publication Critical patent/CN117590371A/zh
Application granted granted Critical
Publication of CN117590371B publication Critical patent/CN117590371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种基于4D毫米波成像雷达实现全局车位状态检测的方法，包括：根据获取到的前后两帧4D毫米波成像雷达点云之间的相对变换，进行自车位置估计；获取自车周围预设范围内的子图；在生成的子图中进行ROI点云的提取；对提取出的点云依次进行滤波、聚类以及点云轮廓提取处理点；基于获取到的各个边界点，进行车位边界点的拟合处理；将当前在子图点云中检测到的车位边界点与全局车位点云地图进行车位关联，得到子图点云车位和全局车位关联对；基于车位关联状态进行车位状态的判断。本发明还涉及一种相应的装置、处理器及其存储介质。采用了本发明的该方法、装置、处理器及其存储介质，在AVP等自动驾驶应用场景下鲁棒性更为突出，更易量产落地。

Description

基于4D毫米波成像雷达实现全局车位状态检测的方法
技术领域
本发明涉及4D毫米波成像雷达技术领域，尤其涉及自动驾驶领域，具体是指一种基于4D毫米波成像雷达实现全局车位状态检测的方法、装置、处理器及其计算机可读存储介质。
背景技术
在自动驾驶AVP自主代客泊车应用中，车位检测是至关重要的一个步骤。目前，车位检测一般使用视觉和非视觉传感器。视觉检测方法主要使用单目相机，双目相机以及RGDB相机通过实时抓取停车场的图像，提取车位角点特征，实现车位检测；而视觉传感器易受光照条件影响，尤其是在夜晚，视觉车位检测功能失效。非视觉检测的方法，一般基于超声波，短距雷达以及激光雷达进行检测。对于超声波和短距雷达虽然车位检测速度快，但是探测距离短，没有车位的方向信息，精度低；激光雷达车位检测方法虽然精度高、可靠，但是激光雷达的成本高，且在雨雪雾等恶劣天气下探测性能下降，导致车位检测精度下降甚至检测不到车位。目前这些传感器无法实现全天时全天候鲁棒的车位检测。
车位检测算法中基于free-space方法常用在非视觉传感器中；基于车位标记点方法常用在视觉传感器中。基于free-space方法通常根据当前超声波或者短距雷达探测周围停车场环境中车辆的位置，利用前后车辆之间的空间距离检测空闲车位，这种方法无法探测到垂直车位并且检测精度低；还有将停车场环境划分为固定大小的二维栅格，计算每个栅格占据的概率值，非占据栅格为可停车位，这种方法检测的精度受划分栅格大小的影响。基于车位标记的方法在输入的图像上提取车位的特征，比如角点，车位线等，推断车位信息，这种提取特征的车位检测方法，具有一定的局限性，只能提取预设形状的车位，无法检测到不同类型的车位。此外，以上方法均在自车局部坐标下进行车位检测，而无法得到车位在全局参考坐标下的位置信息，无法直接用到后续的泊车应用中。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种基于4D毫米波成像雷达实现全局车位状态检测的方法、装置、处理器及其计算机可读存储介质。
为了实现上述目的，本发明的基于4D毫米波成像雷达实现全局车位状态检测的方法、装置、处理器及其计算机可读存储介质如下：
该基于4D毫米波成像雷达实现全局车位状态检测的方法，其主要特点是，所述的方法包括以下步骤：
（1）根据获取到的前后两帧4D毫米波成像雷达点云之间的相对变换，进行当前车辆自车位置的估计处理；
（2）基于获取到的自车位置估计信息，得到自车周围预设范围内的子图；
（3）在生成的子图中进行感兴趣区域ROI点云的提取；
（4）对提取出的点云依次进行滤波、聚类以及点云轮廓提取处理，得到每个类别的边界点；
（5）基于获取到的各个边界点，进行车位边界点的拟合处理；
（6）将当前在子图点云中检测到的车位边界点与全局车位点云地图进行车位关联，得到子图点云车位和全局车位关联对；
（7）基于车位关联结果，以获取当前车位位置的状态。
较佳地，所述的步骤（1）具体包括以下步骤：
（1.1）输入当前时刻i的4D毫米波成像雷达点云以及上一时刻i-1的4D毫米波成像雷达点云/>；其中，m为当前雷达点云个数，n为上一时刻点云个数；
（1.2）将和/>进行匹配，找到两帧之间的相对变换/>，其中，求解方式具体如下：
；
其中，和/>分别为当前时刻和上一时刻对应点的位置，R为3×3自车位姿的旋转矩阵，t为3×1自车位姿的平移矩阵；
（1.3）将每个时刻获取到的雷达点云帧都与上一时刻雷达点云帧按照上述方式进行匹配，得到在全局参考坐标下的自车位姿，其中，/>为全局参考坐标原点。
较佳地，所述的步骤（2）具体为：
基于获取到的自车位姿，得到当前时刻i自车周围一定范围内的第一子图点云/>，其中，/>，所述的第一子图点云按照以下方式求取：
；
其中，为第S帧点云对应的自车位姿，/>为第S帧点云中第t个点的位置。
较佳地，所述的步骤（3）具体为：
从生成的第一子图点云中选取（x,y,z）方向上一定范围内的值作为后续处理的第二子图点云/>，其中，j为提取感兴趣区域ROI后的点数个数，即所述的第二子图点云/>需要满足如下条件：
；
其中，，/>，/>分别为x,y,z方向上的筛选范围阈值。
较佳地，所述的步骤（4）按照以下方式进行子图点云滤波处理：
（4.1.1）对所述的第二子图点云中的某个点/>按照以下方式进行半径滤波处理：
；
其中，N为以半径展开搜索到的点云个数，α为设定的半径滤波搜索点云个数的阈值，即该点如果满足判断条件，则认为该点为一个离群点，将其将点云子图中删除；如果不满足判断条件，则继续保留，得到经过半径滤波后的第三子图点云/>，其中，m<j，m为经过半径滤波后得到的点云个数。
较佳地，所述的子图点云滤波还包括按照以下方式进行统计滤波处理：
（4.1.2）从所述的第三子图点云中找到每个点/>周围搜索近邻个数K个最近的点云/>，计算/>到K个近邻点云/>的平均距离/>和标准差/>，具体如下：
；
；
其中，为K个近邻点云/>中第i帧第j个点云，/>为/>到其近邻点/>的距离；
（4.1.3）如果所述的满足以下条件则认为/>为噪点，将其从所述的第三子图点云/>中删除：
；
其中，为/>到近邻点/>距离和到K个近邻点云/>的平均距离/>的距离差，即：
；
（4.1.4）将所述的第三子图点云中所有的点/>均按照上述方式做统计滤波，得到第四子图点云/>，其中，n为统计滤波后得到的点云个数。
较佳地，所述的步骤（4）按照以下方式进行子图点云聚类处理：
（4.2.1）对于所述的第四子图点云中的每个点/>，找到其附近半径/>的所有点/>，/>为设定的半径阈值；对于每个近邻点/>，检查每个点/>在搜索半径附近时，是否被查找过，如果否，则将该点加入到类别/>中；
（4.2.2）当所述的第四子图点云中的每个点/>均被查找过时，则得到所有的点云类别/>，j为提取到类别的个数。
较佳地，所述的步骤（4）按照以下方式进行子图点云轮廓提取处理：
（4.3.1）将所述的点云类别进行如下处理：
；
（4.3.2）计算每个类别中的每个点的法线/>；
（4.3.3）计算每个点附近的N个近邻点/>以及法向量/>；
（4.3.4）如果得到的法线以及法向量满足以下条件，则该点为边界点：
；
（4.3.5）按照以上步骤进行轮廓提取，得到每个类别的边界点，其中，t为每个类别边界点的个数，/>为该类别的第t个边界点。
较佳地，所述的步骤（5）具体为：
按照以下方式从所述的边界点中计算拟合车位边界点的x，y坐标的最大值/>和最小值/>：
；
其中，为车位4个边界点的坐标。
较佳地，所述的步骤（6）具体包括以下步骤：
（6.1）输入全局车位地图：
；
其中，为车位/>在全局车位地图中的位姿，/>分别为第l个全局车位/>在全局坐标系下的4个边界点的坐标；
（6.2）从所述的全局车位地图中获取距离当前位姿/>附近距离/>内所有的车位/>，即满足
；
其中，为车位l对应的全局位姿，/>为探测车位的距离阈值；
（6.3）将检测到的车位边界点与所述的车位/>进行关联，遍历/>中的每个车位/>，并计算/>到/>的位置距离/>，判断是否满足以下条件：
；
其中，为关联距离阈值；
（6.4）如果满足，则直接获取子图点云车位和全局车位关联对，其中，i为最后关联成功的车位个数，/>为点云子图中检测到的车位，/>为车位全局地图中关联成功的车位。
较佳地，所述的步骤（7）具体包括以下步骤：
（7.1）对于中每一个车位/>，如果该车位与/>关联成功，则说明当前车位为占据状态；否则该车位为空闲状态；
（7.2）最后将当前时刻中每个车位/>的位置状态信息与关联成功的车位在全局位置坐标中进行可视化标示。
该基于4D毫米波成像雷达实现全局车位状态检测的装置，其主要特点是，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的基于4D毫米波成像雷达实现全局车位状态检测的方法的步骤。
该基于4D毫米波成像雷达实现全局车位状态检测的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的基于4D毫米波成像雷达实现全局车位状态检测的方法的步骤。
该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的基于4D毫米波成像雷达实现全局车位状态检测的方法的步骤。
采用了本发明的该基于4D毫米波成像雷达实现全局车位状态检测的方法、装置、处理器及其计算机可读存储介质，由于使用4D毫米波雷达，其成本更低，具有全天时全天候工作的特性，因此在AVP等自动驾驶应用场景下更加具有鲁棒性、更易量产落地；除此之外，本技术方案是基于4D毫米波雷达子图进行车位检测，其探测距离更远，能在相同时间内检测到更多的车位，检测效率更高；同时，本技术方案参考了全局的车位地图，得到的是全局坐标的车位位置，其检测精度更为精准，能直接供AVP泊车使用，不需要额外将自车的定位信息转化到全局坐标，具有一定的便捷性。
附图说明
图1为本发明的该基于4D毫米波成像雷达实现全局车位状态检测的方法的流程图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
在详细说明根据本发明的实施例前，应该注意到的是，在下文中，术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、物品或者设备所固有的要素。
请参阅图1所示，该基于4D毫米波成像雷达实现全局车位状态检测的方法，其中，所述的方法包括以下步骤：
（1）根据获取到的前后两帧4D毫米波成像雷达点云之间的相对变换，进行当前车辆自车位置的估计处理；
（2）基于获取到的自车位置估计信息，得到自车周围预设范围内的子图；
（3）在生成的子图中进行感兴趣区域ROI点云的提取；
（4）对提取出的点云依次进行滤波、聚类以及点云轮廓提取处理，得到每个类别的边界点；
（5）基于获取到的各个边界点，进行车位边界点的拟合处理；
（6）将当前在子图点云中检测到的车位边界点与全局车位点云地图进行车位关联，得到子图点云车位和全局车位关联对；
（7）基于车位关联结果，以获取当前车位位置的状态。
作为本发明的优选实施方式，所述的步骤（1）具体包括以下步骤：
（1.1）输入当前时刻i的4D毫米波成像雷达点云以及上一时刻i-1的4D毫米波成像雷达点云/>；其中，m为当前雷达点云个数，n为上一时刻点云个数；
（1.2）将和/>进行匹配，找到两帧之间的相对变换/>，其中，求解方式具体如下：
；
其中，和/>分别为当前时刻和上一时刻对应点的位置，R为3×3自车位姿的旋转矩阵，t为3×1自车位姿的平移矩阵；
（1.3）将每个时刻获取到的雷达点云帧都与上一时刻雷达点云帧按照上述方式进行匹配，得到在全局参考坐标下的自车位姿，其中，/>为全局参考坐标原点。
在实际应用当中，上述自车位置估计的方式如下：
输入当前时刻i4D毫米波成像雷达点云，m为当前雷达点云个数和上一时刻i-1的雷达点云/>，n为上一时刻点云个数，/>和/>进行匹配，即找到两帧之间的相对变换/>，使得两帧对应点云之间的距离误差达到最小，R为3*3的旋转矩阵，t为3*1的平移矩阵，求解如下公式：
；
其中和/>为当前时刻和上一时刻对应点的位置，R为自车位姿的旋转，t为自车位姿的平移。每个时刻雷达点云帧都和上一时刻点云帧进行如上的匹配，得到在全局参考坐标下的自车位姿/>，/>为即为全局参考坐标原点。
作为本发明的优选实施方式，所述的步骤（2）具体为：
基于获取到的自车位姿，得到当前时刻i自车周围一定范围内的第一子图点云/>，其中，/>，所述的第一子图点云按照以下方式求取：
；
其中，为第S帧点云对应的自车位姿，/>为第S帧点云中第t个点的位置。
作为本发明的优选实施方式，所述的步骤（3）具体为：
从生成的第一子图点云中选取（x,y,z）方向上一定范围内的值作为后续处理的第二子图点云/>，其中，j为提取感兴趣区域ROI后的点数个数，即所述的第二子图点云/>需要满足如下条件：
；
其中，，/>，/>分别为x,y,z方向上的筛选范围阈值，上式中，s.j.为subject的缩写，表示满足…条件的意思。
作为本发明的优选实施方式，所述的步骤（4）按照以下方式进行子图点云滤波处理：
（4.1.1）对所述的第二子图点云中的某个点/>按照以下方式进行半径滤波处理：
；
其中，N为以半径展开搜索到的点云个数，α为设定的半径滤波搜索点云个数的阈值，即该点如果满足判断条件，则认为该点为一个离群点，将其将点云子图中删除；如果不满足判断条件，则继续保留，得到经过半径滤波后的第三子图点云/>，其中，m<j，m为经过半径滤波后得到的点云个数。
作为本发明的优选实施方式，所述的子图点云滤波还包括按照以下方式进行统计滤波处理：
（4.1.2）从所述的第三子图点云中找到每个点/>周围搜索近邻个数K个最近的点云/>，计算/>到K个近邻点云/>的平均距离/>和标准差/>，具体如下：
；
；
其中，为K个近邻点云/>中第i帧第j个点云，/>为/>到其近邻点/>的距离；
（4.1.3）如果所述的满足以下条件则认为/>为噪点，将其从所述的第三子图点云/>中删除：
；
其中，为/>到近邻点/>距离和到K个近邻点云/>的平均距离/>的距离差，即：
；
（4.1.4）将所述的第三子图点云中所有的点/>均按照上述方式做统计滤波，得到第四子图点云/>，其中，n为统计滤波后得到的点云个数。
在实际应用当中，本技术方案的该子图点云滤波方式如下：
从提取ROI后的点云中将一些离群的独立点和噪声点删除，为接下来的点云聚类提供一个良好的输入，具体是对子图点云做半径滤波和统计滤波；半径滤波就是对于子图点云中的某个点/>周围半径R附近搜索到的N个点云，如果满足以下条件则认为/>为一个离群点，将其将点云子图中删除。
；
α为设定的半径滤波搜索点云个数的阈值。对点云子图中每个点都做半径滤波，得到半径滤波后的子图点云，m<j，m为半径滤波后得到的点云个数。
作为本发明的优选实施方式，所述的步骤（4）按照以下方式进行子图点云聚类处理：
对经过滤波处理后的子图点云进行聚类，即根据点云在空间的分布关系，将点云划分为几个类别/>，j为当前子图点云/>提取到类别的个数。具体聚类的过程如下：
（4.2.1）对于所述的第四子图点云中的每个点/>，找到其附近半径/>的所有点/>，/>为设定的半径阈值；对于每个近邻点/>，检查每个点/>在搜索半径附近时，是否被查找过，如果否，则将该点加入到类别/>中；
（4.2.2）当所述的第四子图点云中的每个点/>均被查找过时，则得到所有的点云类别/>，j为提取到类别的个数。
作为本发明的优选实施方式，所述的步骤（4）按照以下方式进行子图点云轮廓提取处理：
（4.3.1）将3D点云2D化，即将所述的点云类别进行如下处理：
；
（4.3.2）计算每个类别中的每个点的法线/>，法线计算为空间几何中最基础的处理方法；
（4.3.3）计算每个点附近的N个近邻点/>以及法向量，法向量计算为空间几何最基础的处理方法；
（4.3.4）如果得到的法线以及法向量满足以下条件，则该点为边界点：
；
（4.3.5）按照以上步骤进行轮廓提取，得到每个类别的边界点，其中，t为每个类别边界点的个数，/>为该类别的第t个边界点。
作为本发明的优选实施方式，所述的步骤（5）具体为：
按照以下方式从所述的边界点中计算拟合车位边界点的x，y坐标的最大值/>和最小值/>：
；
其中，为车位4个边界点的坐标。
作为本发明的优选实施方式，所述的步骤（6）具体包括以下步骤：
（6.1）输入全局车位地图：
；
其中，为车位/>在全局车位地图中的位姿，/>分别为第l个全局车位/>在全局坐标系下的4个边界点的坐标；
（6.2）从所述的全局车位地图中获取距离当前位姿/>附近距离/>内所有的车位/>，即满足
；
其中，为车位l对应的全局位姿，/>为探测车位的距离阈值；
（6.3）将检测到的车位边界点与所述的车位/>进行关联，遍历/>中的每个车位/>，并计算/>到/>的位置距离/>，判断是否满足以下条件：
；
其中，为关联距离阈值；
（6.4）如果满足，则直接获取子图点云车位和全局车位关联对，其中，i为最后关联成功的车位个数，/>为点云子图中检测到的车位，/>为车位全局地图中关联成功的车位。
作为本发明的优选实施方式，所述的步骤（7）具体包括以下步骤：
（7.1）对于中每一个车位/>，如果该车位与/>关联成功，则说明当前车位为占据状态；否则该车位为空闲状态；
（7.2）最后将当前时刻中每个车位/>的位置状态信息与关联成功的车位在全局位置坐标中进行可视化标示。
该基于4D毫米波成像雷达实现全局车位状态检测的装置，其中，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的基于4D毫米波成像雷达实现全局车位状态检测的方法的步骤。
该基于4D毫米波成像雷达实现全局车位状态检测的处理器，其中，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的基于4D毫米波成像雷达实现全局车位状态检测的方法的步骤。
该计算机可读存储介质，其中，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的基于4D毫米波成像雷达实现全局车位状态检测的方法的步骤。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成的，程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一实施例”、“一些实施例”、“示例”、“具体示例”、或“实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
采用了本发明的该基于4D毫米波成像雷达实现全局车位状态检测的方法、装置、处理器及其计算机可读存储介质，由于使用4D毫米波雷达，其成本更低，具有全天时全天候工作的特性，因此在AVP等自动驾驶应用场景下更加具有鲁棒性、更易量产落地；除此之外，本技术方案是基于4D毫米波雷达子图进行车位检测，其探测距离更远，能在相同时间内检测到更多的车位，检测效率更高；同时，本技术方案参考了全局的车位地图，得到的是全局坐标的车位位置，其检测精度更为精准，能直接供AVP泊车使用，不需要额外将自车的定位信息转化到全局坐标，具有一定的便捷性。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (14)

1.一种基于4D毫米波成像雷达实现全局车位状态检测的方法，其特征在于，所述的方法包括以下步骤：
（1）根据获取到的前后两帧4D毫米波成像雷达点云之间的相对变换，进行当前车辆自车位置的估计处理；
（2）基于获取到的自车位置估计信息，得到自车周围预设范围内的子图；
（3）在生成的子图中进行感兴趣区域ROI点云的提取；
（4）对提取出的点云依次进行滤波、聚类以及点云轮廓提取处理，得到每个类别的边界点；
（5）基于获取到的各个边界点，进行车位边界点的拟合处理；
（6）将当前在子图点云中检测到的车位边界点与全局车位点云地图进行车位关联，得到子图点云车位和全局车位关联对；
（7）基于车位关联结果，以获取当前车位位置的状态。
2.根据权利要求1所述的基于4D毫米波成像雷达实现全局车位状态检测的方法，其特征在于，所述的步骤（1）具体包括以下步骤：
（1.1）输入当前时刻i的4D毫米波成像雷达点云以及上一时刻i-1的4D毫米波成像雷达点云/>；其中，m为当前雷达点云个数，n为上一时刻点云个数；
（1.2）将和/>进行匹配，找到两帧之间的相对变换/>，其中，求解方式具体如下：
；
其中，和/>分别为当前时刻和上一时刻对应点的位置，R为3×3自车位姿的旋转矩阵，t为3×1自车位姿的平移矩阵；
（1.3）将每个时刻获取到的雷达点云帧都与上一时刻雷达点云帧按照上述方式进行匹配，得到在全局参考坐标下的自车位姿，其中，/>为全局参考坐标原点。
3.根据权利要求2所述的基于4D毫米波成像雷达实现全局车位状态检测的方法，其特征在于，所述的步骤（2）具体为：
基于获取到的自车位姿，得到当前时刻i自车周围一定范围内的第一子图点云/>，其中，/>，所述的第一子图点云按照以下方式求取：
；
其中，为第S帧点云对应的自车位姿，/>为第S帧点云中第t个点的位置。
4.根据权利要求3所述的基于4D毫米波成像雷达实现全局车位状态检测的方法，其特征在于，所述的步骤（3）具体为：
从生成的第一子图点云中选取（x,y,z）方向上一定范围内/>的值作为后续处理的第二子图点云/>，其中，j为提取感兴趣区域ROI后的点数个数，即所述的第二子图点云/>需要满足如下条件：
；
其中，，/>，/>分别为x,y,z方向上的筛选范围阈值。
5.根据权利要求4所述的基于4D毫米波成像雷达实现全局车位状态检测的方法，其特征在于，所述的步骤（4）按照以下方式进行子图点云滤波处理：
（4.1.1）对所述的第二子图点云中的某个点/>按照以下方式进行半径滤波处理：
；
其中，N为以半径展开搜索到的点云个数，α为设定的半径滤波搜索点云个数的阈值，即该点如果满足判断条件，则认为该点为一个离群点，将其将点云子图中删除；如果不满足判断条件，则继续保留，得到经过半径滤波后的第三子图点云/>，其中，m<j，m为经过半径滤波后得到的点云个数。
6.根据权利要求5所述的基于4D毫米波成像雷达实现全局车位状态检测的方法，其特征在于，所述的子图点云滤波还包括按照以下方式进行统计滤波处理：
（4.1.2）从所述的第三子图点云中找到每个点/>周围搜索近邻个数K个最近的点云/>，计算/>到K个近邻点云/>的平均距离/>和标准差，具体如下：
；
；
其中，为K个近邻点云/>中第i帧第j个点云，/>为/>到其近邻点/>的距离；
（4.1.3）如果所述的满足以下条件则认为/>为噪点，将其从所述的第三子图点云中删除：
；
其中，为/>到近邻点/>距离和到K个近邻点云/>的平均距离/>的距离差，即：
；
（4.1.4）将所述的第三子图点云中所有的点/>均按照上述方式做统计滤波，得到第四子图点云/>，其中，n为统计滤波后得到的点云个数。
7.根据权利要求6所述的基于4D毫米波成像雷达实现全局车位状态检测的方法，其特征在于，所述的步骤（4）按照以下方式进行子图点云聚类处理：
（4.2.1）对于所述的第四子图点云中的每个点/>，找到其附近半径的所有点/>，/>为设定的半径阈值；对于每个近邻点/>，检查每个点/>在搜索半径附近时，是否被查找过，如果否，则将该点加入到类别/>中；
（4.2.2）当所述的第四子图点云中的每个点/>均被查找过时，则得到所有的点云类别/>，j为提取到类别的个数。
8.根据权利要求7所述的基于4D毫米波成像雷达实现全局车位状态检测的方法，其特征在于，所述的步骤（4）按照以下方式进行子图点云轮廓提取处理：
（4.3.1）将所述的点云类别进行如下处理：
；
（4.3.2）计算每个类别中的每个点的法线/>；
（4.3.3）计算每个点附近的N个近邻点/>以及法向量/>；
（4.3.4）如果得到的法线以及法向量满足以下条件，则该点为边界点：
；
（4.3.5）按照以上步骤进行轮廓提取，得到每个类别的边界点，其中，t为每个类别边界点的个数，/>为该类别的第t个边界点。
9.根据权利要求8所述的基于4D毫米波成像雷达实现全局车位状态检测的方法，其特征在于，所述的步骤（5）具体为：
按照以下方式从所述的边界点中计算拟合车位边界点的x，y坐标的最大值/>和最小值/>：
；
其中，为车位4个边界点的坐标。
10.根据权利要求9所述的基于4D毫米波成像雷达实现全局车位状态检测的方法，其特征在于，所述的步骤（6）具体包括以下步骤：
（6.1）输入全局车位地图：
；
其中，为车位/>在全局车位地图中的位姿，/>分别为第l个全局车位/>在全局坐标系下的4个边界点的坐标；
（6.2）从所述的全局车位地图中获取距离当前位姿/>附近距离/>内所有的车位/>，即满足
；
其中，为车位l对应的全局位姿，/>为探测车位的距离阈值；
（6.3）将检测到的车位边界点与所述的车位/>进行关联，遍历/>中的每个车位/>，并计算/>到/>的位置距离/>，判断是否满足以下条件：
；
其中，为关联距离阈值；
（6.4）如果满足，则直接获取子图点云车位和全局车位关联对，其中，i为最后关联成功的车位个数，/>为点云子图中检测到的车位，/>为车位全局地图中关联成功的车位。
11.根据权利要求10所述的基于4D毫米波成像雷达实现全局车位状态检测的方法，其特征在于，所述的步骤（7）具体包括以下步骤：
（7.1）对于中每一个车位/>，如果该车位与/>关联成功，则说明当前车位为占据状态；否则该车位为空闲状态；
（7.2）最后将当前时刻中每个车位/>的位置状态信息与关联成功的车位在全局位置坐标中进行可视化标示。
12.一种基于4D毫米波成像雷达实现全局车位状态检测的装置，其特征在于，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现权利要求1～11中任一项所述的基于4D毫米波成像雷达实现全局车位状态检测的方法的步骤。
13.一种基于4D毫米波成像雷达实现全局车位状态检测的处理器，其特征在于，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现权利要求1～11中任一项所述的基于4D毫米波成像雷达实现全局车位状态检测的方法的步骤。
14.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现权利要求1～11中任一项所述的基于4D毫米波成像雷达实现全局车位状态检测的方法的步骤。
CN202410075903.XA 2024-01-18 2024-01-18 基于4d毫米波成像雷达实现全局车位状态检测的方法 Active CN117590371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410075903.XA CN117590371B (zh) 2024-01-18 2024-01-18 基于4d毫米波成像雷达实现全局车位状态检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410075903.XA CN117590371B (zh) 2024-01-18 2024-01-18 基于4d毫米波成像雷达实现全局车位状态检测的方法

Publications (2)

Publication Number Publication Date
CN117590371A true CN117590371A (zh) 2024-02-23
CN117590371B CN117590371B (zh) 2024-03-29

Family

ID=89910313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410075903.XA Active CN117590371B (zh) 2024-01-18 2024-01-18 基于4d毫米波成像雷达实现全局车位状态检测的方法

Country Status (1)

Country Link
CN (1) CN117590371B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200258385A1 (en) * 2019-02-11 2020-08-13 Byton North America Corporation Advanced detection of parking spot for vehicle
CN111710040A (zh) * 2020-06-03 2020-09-25 纵目科技（上海）股份有限公司 一种高精度地图的构建方法、系统、终端和存储介质
CN112967516A (zh) * 2021-02-03 2021-06-15 芜湖泊啦图信息科技有限公司 快速停车场端关键参数与整车匹配全局动态路径规划方法
CN113819914A (zh) * 2020-06-19 2021-12-21 北京图森未来科技有限公司 一种地图构建方法及装置
WO2022007776A1 (zh) * 2020-07-07 2022-01-13 长沙智能驾驶研究院有限公司 目标场景区域的车辆定位方法、装置、设备和存储介质
CN114488026A (zh) * 2022-01-30 2022-05-13 重庆长安汽车股份有限公司 基于4d毫米波雷达的地下停车库可通行空间检测方法
US20220155432A1 (en) * 2020-11-19 2022-05-19 Xidian University Method of target feature extraction based on millimeter-wave radar echo
WO2022138123A1 (en) * 2020-12-21 2022-06-30 Sony Semiconductor Solutions Corporation Available parking space identification device, available parking space identification method, and program
CN114706070A (zh) * 2022-02-22 2022-07-05 惠州市德赛西威智能交通技术研究院有限公司 一种基于4d毫米波雷达的自动泊车车位搜索方法和系统
CN115273028A (zh) * 2022-07-14 2022-11-01 清华大学 一种基于全域感知的智慧停车场语义地图构建方法及系统
CN115423972A (zh) * 2022-08-20 2022-12-02 北京航空航天大学 一种基于车载多激光雷达融合的封闭场景三维重建方法
CN115685185A (zh) * 2022-12-30 2023-02-03 苏州尚同墨方智能科技有限公司 一种4d毫米波雷达与视觉融合感知方法
CN116359905A (zh) * 2023-05-11 2023-06-30 上海交通大学 基于4d毫米波雷达的位姿图slam计算方法及系统
CN116359873A (zh) * 2023-03-29 2023-06-30 上海几何伙伴智能驾驶有限公司 结合鱼眼相机实现车端4d毫米波雷达slam处理的方法、装置、处理器及其存储介质
WO2023129856A1 (en) * 2021-12-31 2023-07-06 Qualcomm Incorporated Boundary estimation apparatus and method
WO2023207845A1 (zh) * 2022-04-28 2023-11-02 上海高德威智能交通系统有限公司 车位检测方法、装置、电子设备及机器可读存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200258385A1 (en) * 2019-02-11 2020-08-13 Byton North America Corporation Advanced detection of parking spot for vehicle
CN111710040A (zh) * 2020-06-03 2020-09-25 纵目科技（上海）股份有限公司 一种高精度地图的构建方法、系统、终端和存储介质
CN113819914A (zh) * 2020-06-19 2021-12-21 北京图森未来科技有限公司 一种地图构建方法及装置
WO2022007776A1 (zh) * 2020-07-07 2022-01-13 长沙智能驾驶研究院有限公司 目标场景区域的车辆定位方法、装置、设备和存储介质
US20220155432A1 (en) * 2020-11-19 2022-05-19 Xidian University Method of target feature extraction based on millimeter-wave radar echo
WO2022138123A1 (en) * 2020-12-21 2022-06-30 Sony Semiconductor Solutions Corporation Available parking space identification device, available parking space identification method, and program
CN112967516A (zh) * 2021-02-03 2021-06-15 芜湖泊啦图信息科技有限公司 快速停车场端关键参数与整车匹配全局动态路径规划方法
WO2023129856A1 (en) * 2021-12-31 2023-07-06 Qualcomm Incorporated Boundary estimation apparatus and method
CN114488026A (zh) * 2022-01-30 2022-05-13 重庆长安汽车股份有限公司 基于4d毫米波雷达的地下停车库可通行空间检测方法
CN114706070A (zh) * 2022-02-22 2022-07-05 惠州市德赛西威智能交通技术研究院有限公司 一种基于4d毫米波雷达的自动泊车车位搜索方法和系统
WO2023207845A1 (zh) * 2022-04-28 2023-11-02 上海高德威智能交通系统有限公司 车位检测方法、装置、电子设备及机器可读存储介质
CN115273028A (zh) * 2022-07-14 2022-11-01 清华大学 一种基于全域感知的智慧停车场语义地图构建方法及系统
CN115423972A (zh) * 2022-08-20 2022-12-02 北京航空航天大学 一种基于车载多激光雷达融合的封闭场景三维重建方法
CN115685185A (zh) * 2022-12-30 2023-02-03 苏州尚同墨方智能科技有限公司 一种4d毫米波雷达与视觉融合感知方法
CN116359873A (zh) * 2023-03-29 2023-06-30 上海几何伙伴智能驾驶有限公司 结合鱼眼相机实现车端4d毫米波雷达slam处理的方法、装置、处理器及其存储介质
CN116359905A (zh) * 2023-05-11 2023-06-30 上海交通大学 基于4d毫米波雷达的位姿图slam计算方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PHILIP A K，SACKEY M，OWUSU-ANSAH P，ET AL: "2015 IEEE 18th International Conference on Intelligent Transportation Systems", ON-STREET PARKING STATISTICS USING LIDAR MOBILE MAPPING, 31 December 2015 (2015-12-31), pages 2812 - 2818 *
张成涛， 覃立仁， 杨航， 赵浙栋， 谭泽旦: "自动泊车关键技术研究进展综述", 汽车工程学报, vol. 13, no. 5, 30 September 2023 (2023-09-30), pages 603 - 614 *
赵翔;杨明;王春香;王冰;: "基于视觉和毫米波雷达的车道级定位方法", 上海交通大学学报, no. 01, 28 January 2018 (2018-01-28), pages 33 - 38 *

Also Published As

Publication number Publication date
CN117590371B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
WO2021223368A1 (zh) 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN111882612B (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
WO2021012254A1 (zh) 目标检测方法、系统及可移动平台
CN113192091B (zh) 一种基于激光雷达与相机融合的远距离目标感知方法
EP3293669A1 (en) Enhanced camera object detection for automated vehicles
JP3367170B2 (ja) 障害物検出装置
CN110988912A (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
KR102029850B1 (ko) 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법
US10867403B2 (en) Vehicle external recognition apparatus
CN112997187A (zh) 基于鸟瞰图点云的二维对象边界框信息估计
US20100074473A1 (en) System and method of extracting plane features
Chen et al. A visual method tor the detection of available parking slots
JP4102885B2 (ja) 駐車車両検知方法及び駐車車両検知システム
JP2011048485A (ja) 物標検出装置および物標検出方法
JP4674179B2 (ja) 影認識方法及び影境界抽出方法
WO2016059643A1 (en) System and method for pedestrian detection
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
CN108629225B (zh) 一种基于多幅子图与图像显著性分析的车辆检测方法
CN115327572A (zh) 一种车辆前方障碍物检测方法
KR101645322B1 (ko) 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템 및 그 방법
JP2006090957A (ja) 移動体の周囲物体検出装置及び移動体の周囲物体検出方法
CN114779276A (zh) 一种障碍物检测方法和装置
CN115424233A (zh) 基于信息融合的目标检测方法以及目标检测装置
JP7418476B2 (ja) 運転可能な領域情報を決定するための方法及び装置
Nitsch et al. 3d ground point classification for automotive scenarios

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant