CN117470254A - 一种基于雷达服务的车载导航系统和方法 - Google Patents

一种基于雷达服务的车载导航系统和方法 Download PDF

Info

Publication number
CN117470254A
CN117470254A CN202311827848.7A CN202311827848A CN117470254A CN 117470254 A CN117470254 A CN 117470254A CN 202311827848 A CN202311827848 A CN 202311827848A CN 117470254 A CN117470254 A CN 117470254A
Authority
CN
China
Prior art keywords
radar
vehicle
identification data
data
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311827848.7A
Other languages
English (en)
Other versions
CN117470254B (zh
Inventor
汪洋
孙晨阳
郭俊琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202311827848.7A priority Critical patent/CN117470254B/zh
Publication of CN117470254A publication Critical patent/CN117470254A/zh
Application granted granted Critical
Publication of CN117470254B publication Critical patent/CN117470254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种基于雷达服务的车载导航系统和方法，首先获取车载导航数据和雷达标识数据，并通过车载图像获取单元获取该车辆视角的周围图像数据；然后应用一预设的多感知融合算法，依据周围图像数据和雷达标识数据建立周围图像数据中成像的移动物体与雷达标识数据中该移动物体的空间三维信息建立对应关系，以识别出该车辆在雷达标识数据中对应的空间三维信息；再图形化显示车载导航数据以获取实时导航界面；最后依据雷达标识数据模型化显示该车辆周边的移动物体，并将其加载到实时导航界面中。由于将车路协同感知技术应用到车载导航系统中，使得车载导航界面信息更丰富、更准确。

Description

一种基于雷达服务的车载导航系统和方法
技术领域
本发明涉及车载辅助驾驶技术领域，具体涉及一种基于雷达服务的车载导航系统和方法。
背景技术
车载导航是利用车载GPS（全球定位系统）配合电子地图来实现的，它能方便且准确地告诉驾驶者去往目的地的最短或者最快路径，已经被广泛应用。但现有的车载导航软件只提供路径导航服务，以及提供路径拥堵程度信息，而行驶车辆在路上的路况状态信息（周边车辆的位置信息）需要由车载传感器（视频图像和雷达信号）去实时获取，驾驶人员需要同时运行两个不同的辅助驾驶软件，在实际应用中，驾驶人员需要同时开启两个不同的智能辅助驾驶终端分别显示，这样容易分散驾驶人员的注意力，不利于行车安全。
在智能交通系统和智能驾驶技术不断发展的背景下，车路协同感知技术的重要性日益凸显。在车路协同的过程中，车辆和道路基础设施配备了各种传感器，如摄像头、激光雷达和GPS等，用于感知周围环境和获取交通信息。通过传感器数据的交互协同，车辆上的传感器可以感知到周围交通目标和障碍物等信息，并通过车载通信设备将这些数据传输给道路基础设施，反之亦然。这种协同机制的应用可以提高交通安全性、交通效率和驾驶体验。如何将车路协同感知技术与车载导航系统相结合，成为现阶段车载辅助驾驶系统的重要研究方向。
发明内容
本发明主要解决的技术问题是如何将车路协同感知技术应用到车载导航系统中。
根据第一方面，一种实施例中提供一种基于雷达服务的车载导航系统，包括：
导航数据获取单元，用于通过无线通讯方式获取车载导航数据；
雷达数据获取单元，用于通过无线通讯方式获取雷达标识数据，所述雷达标识数据为车外雷达获取的在一预设空间范围内所有移动物体的空间三维信息和/或二维边界信息；所述车外雷达为未装载在该车辆上的雷达设备；
车载图像获取单元，用于获取该车辆视角的周围图像数据；
多感知融合单元，用于应用一预设的多感知融合算法，依据所述周围图像数据和所述雷达标识数据建立所述周围图像数据中成像的移动物体与所述雷达标识数据中该移动物体的空间三维信息建立对应关系，以识别出该车辆在所述雷达标识数据中对应的空间三维信息；
导航显示单元，用于图形化显示所述车载导航数据，以获取用于该车辆路径导航服务的实时导航界面；
模型化处理单元，用于依据所述雷达标识数据，以该车辆在所述雷达标识数据中对应的空间三维信息为中心，模型化显示所述预设空间范围内的移动物体，并将模型化显示获取的周边模型数据加载到所述实时导航界面中，以用于实时模型化显示该车辆周边的移动物体。
一实施例中，所述车外雷达设置在其它车辆、路侧和/或无人机上；所述车外雷达的种类包括微波雷达、毫米波雷达和/或激光雷达。
一实施例中，所述雷达标识数据只包括所述预设空间范围内的所有移动物体的空间三维信息和二维边界信息，所述空间三维信息包括移动物体的大小、位置和方向，所述二维边界信息为所述移动物体相对一预设平面上的投影边界信息。
一实施例中，预设的所述多感知融合算法包括双阶段度量匹配融合算法，应用所述双阶段度量匹配融合算法的过程包括：
提取所述周围图像数据中成像的移动物体的图像目标特征集合A；
提取所述雷达标识数据中的移动物体的雷达目标特征集合B；
通过对图像目标特征集合A和雷达目标特征集合B中每个元素的相似度，筛选出所述周围图像数据中成像移动物体与所述雷达标识数据中移动物体的共同移动目标对集合S；
在共同移动目标对集合S中提取在所述周围图像数据中满足一预设顶点提取条件的图像目标特征集合A中元素a_v_m的图像八个顶点集合v_m_d；
在共同移动目标对集合S中提取对应元素a_v_m的雷达目标特征集合B中的元素b_r_θ的雷达八个顶点集r_θ_d；
应用点云配准方法计算获取元素a_v_m的图像八个顶点集合v_m_d与元素b_r_θ的雷达八个顶点集r_θ_d之间相互转换的旋转平移刚性变换矩阵；
依据所述旋转平移刚性变换矩阵获取所述周围图像数据中成像的移动物体与所述雷达标识数据中对应的移动物体之间的三维坐标对应关系。
一实施例中，所述预设顶点提取条件包括：
对应图像目标特征集合A中元素a_v_m的移动物体在所述周围图像数据的一预设居中区域内，且与该车辆的距离不大于一预设值。
根据第二方面，一种实施例中提供一种基于雷达服务的车载导航方法，包括：
通过无线通讯方式获取车载导航数据；
通过无线通讯方式获取雷达标识数据，所述雷达标识数据为车外雷达获取的在一预设空间范围内所有移动物体的空间三维信息和二维边界信息；所述车外雷达为未装载在该车辆上的雷达设备；
获取该车辆视角的周围图像数据；
应用一预设的多感知融合算法，依据所述周围图像数据和所述雷达标识数据建立所述周围图像数据中成像的移动物体与所述雷达标识数据中该移动物体的空间三维信息建立对应关系，以识别出该车辆在所述雷达标识数据中对应的空间三维信息；
图形化显示所述车载导航数据，以获取用于该车辆路径导航服务的实时导航界面；
依据所述雷达标识数据，以该车辆在所述雷达标识数据中对应的空间三维信息为中心，模型化显示所述预设空间范围内的移动物体，并将模型化显示获取的周边模型数据加载到所述实时导航界面中，以用于实时模型化显示该车辆周边的移动物体。
一实施例中，预设的所述多感知融合算法包括双阶段度量匹配融合算法，应用所述双阶段度量匹配融合算法的过程包括：
提取所述周围图像数据中成像的移动物体的图像目标特征集合A；
提取所述雷达标识数据中的移动物体的雷达目标特征集合B；
通过对图像目标特征集合A和雷达目标特征集合B中每个元素的相似度，筛选出所述周围图像数据中成像移动物体与所述雷达标识数据中移动物体的共同移动目标对集合S；
在共同移动目标对集合S中提取在所述周围图像数据中满足一预设顶点提取条件的图像目标特征集合A中元素a_v_m的图像八个顶点集合v_m_d；
在共同移动目标对集合S中提取对应元素a_v_m的雷达目标特征集合B中的元素b_r_θ的雷达八个顶点集r_θ_d；
应用点云配准方法计算获取元素a_v_m的图像八个顶点集合v_m_d与元素b_r_θ的雷达八个顶点集r_θ_d之间相互转换的旋转平移刚性变换矩阵；
依据所述旋转平移刚性变换矩阵获取所述周围图像数据中成像的移动物体与所述雷达标识数据中对应的移动物体之间的三维坐标对应关系。
一实施例中，所述预设顶点提取条件包括：
对应图像目标特征集合A中元素a_v_m的移动物体在所述周围图像数据的一预设居中区域内，且与该车辆的距离不大于一预设值。
一实施例中，所述雷达标识数据只包括所述预设空间范围内包括该车辆的所有移动物体的空间三维信息和/或二维边界信息，所述空间三维信息包括移动物体的大小、位置和方向，所述二维边界信息为所述移动物体相对一预设平面上的投影边界信息。
根据第三方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如第二方面所述的车载导航方法。
依据上述实施例的车载导航系统，由于应用多感知融合将车外雷达数据与车载图像数据进行融合，将车路协同感知技术应用到车载导航系统中，使得车载导航界面信息更丰富、更准确，进而提高车辆驾驶的安全性。
附图说明
图1为一种实施例中雷达数据处理系统的结构框图；
图2为一种实施例中双阶段度量匹配融合算法的算法流程示意图；
图3为一种实施例中车载导航方法的流程示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
将车路协同数据应用在车载导航系统中，其核心问题是如何在车路协同数据中标识出自己车辆的位置信息，在本申请实施例中，通过应用多感知融合算法将车外雷达数据与车载图像数据进行融合，使得车路协同感知技术应用到车载导航系统中，增加车载导航界面的信息量和准确性，无需高精度地图和高精度GPS定位辅助，就能实现车辆驾驶的精确制导，进而提高车辆行驶的安全性。
实施例一：
请参考图1，为一种实施例中车载导航系统的结构框图，该车载导航系统包括导航数据获取单元10、雷达数据获取单元20、车载图像获取单元30、多感知融合单元40、导航显示单元50和模型化处理单元60。导航数据获取单元10用于通过无线通讯方式获取车载导航数据。雷达数据获取单元20用于通过无线通讯方式获取雷达标识数据，其中，雷达标识数据为车外雷达获取的在一预设空间范围内所有移动物体的空间三维信息和二维边界信息，车外雷达为未装载在该车辆上的雷达设备。车载图像获取单元30用于获取该车辆视角的周围图像数据。多感知融合单元40用于应用一预设的多感知融合算法，依据周围图像数据和雷达标识数据建立周围图像数据中成像的移动物体与雷达标识数据中该移动物体的空间三维信息建立对应关系，以识别出该车辆在雷达标识数据中对应的空间三维信息。一实施例中，周围图像数据中成像的移动物体是以本车为参照的移动物体，该移动物体包括周围车辆、道路标志物（例如，路牌或路灯）和/或预先设定的可识别标识物。导航显示单元50用于图形化显示车载导航数据，以获取用于该车辆路径导航服务的实时导航界面。模型化处理单元50用于依据雷达标识数据，以该车辆在雷达标识数据中对应的空间三维信息为中心，模型化显示预设空间范围内的移动物体，并将模型化显示获取的周边模型数据加载到实时导航界面中，以用于实时模型化显示该车辆周边的移动物体。
一实施例中，车外雷达设置在其它车辆、路侧和/或无人机上。一实施例中，车外雷达的种类包括微波雷达、毫米波雷达和/或激光雷达。一实施例中，雷达标识数据由一云服务器通过无线网络发送给该车辆。一实施例中，雷达标识数据由路侧监控单元通过无线通讯方式发送给该车辆。一实施例中，雷达标识数据只包括预设空间范围内的所有移动物体的空间三维信息和二维边界信息，空间三维信息包括移动物体的大小、位置和方向，二维边界信息为移动物体相对一预设平面上的投影边界信息。
车载图像数据与车外雷达数据实现融合，核心问题就是如何在车外雷达数据中标识出自己车辆的位置信息，下面通过一简单实施例论述下其融合原理，具体包括：
1）车载端周围图像数据的获取。
车载图像获取装置一般就是摄像头，通过单目三维目标感知网络对周围图像数据中的三维目标进行提取和检测，保留目标车辆的三维信息（大小、位置和/或方向），同时也保留了目标在图像上的二维包围框信息，可以定义为二维边界信息，即为移动物体相对一预设平面（车辆视角面或预设车辆行驶面）上的投影边界信息。
2）雷达数据转换为雷达标识数据。
雷达数据中包含信息比较多，为了降低数据传输量，可只提取移动目标的三维信息（大小、位置和/或方向），同时也可保留了目标在感知平面（与预设车辆行驶面对应）上的二维包围框信息。
3）依据公共感知范围内的物体空间距离和尺寸一致，进行图像校验以建立对应关系。
一实施例中，分别对两类数据（一个图像数据和一个雷达数据）中的目标空间尺寸和相互之间距离特征进行提取，由于图像数据和雷达数据有公共空间，且在同一公共空间内，都能对同一移动目标进行提取，且提取的特征数据一定相近或相同，因此就可以依据各个移动目标的特征数据相似度来建立对应关系，进而实现在雷达标识数据中标识出自己车辆的位置，从而实现车载图像数据与车外雷达数据的融合。
一实施例中，预设的多感知融合算法包括双阶段度量匹配融合算法，请参考图2，为一种实施例中双阶段度量匹配融合算法的算法流程示意图，应用双阶段度量匹配融合算法的过程包括：
步骤101，获取图像目标特征集合。
提取周围图像数据中成像的移动物体的图像目标特征集合A={a_v_1,a_v_2,...a_v_n}。
步骤102，获取雷达目标特征集合。
提取所述雷达标识数据中的移动物体的雷达目标特征集合B={b_r_α,b_r_β,...b_r_λ}。
步骤103，获取共同移动目标对集合。
通过对图像目标特征集合A和雷达目标特征集合B中每个元素的相似度，筛选出周围图像数据中成像移动物体与雷达标识数据中移动物体的共同移动目标对集合S={(v_1,r_α),(v_2,r_β),...(v_m,r_θ)}。
步骤104，获取图像八个顶点集合。
在共同移动目标对集合S中提取在周围图像数据中满足一预设顶点提取条件的图像目标特征集合A中元素a_v_m的图像八个顶点集合v_m_d={d1,d2,d3,d4,d5,d6,d7,d8}。其中，预设顶点提取条件包括：
对应图像目标特征集合A中元素a_v_m的移动物体在周围图像数据的一预设居中区域内，且与该车辆的距离不大于一预设值。
步骤105，获取雷达八个顶点集。
在共同移动目标对集合S中提取对应元素a_v_m的雷达目标特征集合B中的元素b_r_θ的雷达八个顶点集r_θ_d={dα,dβ,dγ,dδ,dε.dζ,dη,dθ}。
步骤106，获取旋转平移刚性变换矩阵。
应用点云配准方法计算获取元素a_v_m的图像八个顶点集合v_m_d与元素b_r_θ的雷达八个顶点集r_θ_d之间相互转换的旋转平移刚性变换矩阵。
步骤107，获取三维坐标对应关系。
依据旋转平移刚性变换矩阵获取周围图像数据中成像的移动物体与雷达标识数据中对应的移动物体之间的三维坐标对应关系。
本申请一实施例中公开了基于雷达服务的车载导航系统，包括导航数据获取单元、雷达数据获取单元、车载图像获取单元、多感知融合单元、导航显示单元和模型化处理单元。首先获取车载导航数据和雷达标识数据，并通过车载图像获取单元获取该车辆视角的周围图像数据；然后应用一预设的多感知融合算法，依据周围图像数据和雷达标识数据建立周围图像数据中成像的移动物体与雷达标识数据中该移动物体的空间三维信息建立对应关系，以识别出该车辆在雷达标识数据中对应的空间三维信息；再图形化显示车载导航数据以获取实时导航界面；最后依据雷达标识数据模型化显示该车辆周边的移动物体，并将其加载到实时导航界面中。由于将车路协同感知技术应用到车载导航系统中，使得车载导航界面信息更丰富、更准确。
请参考图3，为一种实施例中车载导航方法的流程示意图，该车载导航方法具体包括：
步骤201，获取导航数据。
通过无线通讯方式获取车载导航数据。
步骤202，获取雷达标识数据。
通过无线通讯方式获取雷达标识数据，其中，雷达标识数据为车外雷达获取的在一预设空间范围内所有移动物体的空间三维信息和二维边界信息，车外雷达为未装载在该车辆上的雷达设备。一实施例中，雷达标识数据只包括预设空间范围内包括该车辆的所有移动物体的空间三维信息和/或二维边界信息，空间三维信息包括移动物体的大小、位置和方向，二维边界信息为移动物体相对一预设平面上的投影边界信息。雷达标识数据只包括空间三维信息和/或二维边界信息是为了最大化减少雷达标识数据的数据量，以提高雷达标识数据的无线传输效率。
步骤203，获取图像数据。
通过车载图像传感器获取该车辆视角的周围图像数据。
步骤204，多感知融合。
应用一预设的多感知融合算法，依据周围图像数据和雷达标识数据建立周围图像数据中成像的移动物体与雷达标识数据中该移动物体的空间三维信息建立对应关系，以识别出该车辆在雷达标识数据中对应的空间三维信息。
步骤205，图形化显示。
图形化显示车载导航数据，以获取用于该车辆路径导航服务的实时导航界面。
步骤206，加载移动物体模型。
依据雷达标识数据，以该车辆在雷达标识数据中对应的空间三维信息为中心，模型化显示预设空间范围内的移动物体，并将模型化显示获取的周边模型数据加载到实时导航界面中，以用于实时模型化显示该车辆周边的移动物体。
下面通过一具体实施例描述双阶段度量匹配融合算法（Hamming RegistrationHamming Fusion ，HRHF）的应用方式，具体包括：
为了提升车侧感知的效果，仅仅通过车路协同视域内的共同目标的快速关联是不够的，还需要根据车侧感知目标的特性进行优化。特别是对车辆的单目三维感知（周围图像数据），近处靠近视野中央的三维目标感知精确，远处的感知精度较低。基于这一特点，本申请公开了双阶段度量匹配融合算法，在该算法中，利用了车外多传感器生成的高精度感知结果和车侧感知特征的特性。
首先，从车侧传感器检测到的车辆目标图像（周围图像数据）中提取车辆重识别特征，并与路侧生成的雷达标识数据的列表中的车辆重识别特征利用汉明距离进行相似度计算。
然后，基于重识别相似度和车侧检测到的车辆目标三维信息的距离信息，选择相似度排名靠前并且距离车侧传感器较近的车辆目标的三维包围框顶点，使用迭代最近点计算车辆侧和道路侧两侧传感器下同一个车辆三维包围框的顶点之间的旋转平移刚性变换矩阵，利用得到的变换矩阵，将路侧检测到的所有三维目标信息转换到车侧坐标系。
再，针对车侧检测到的车辆三维目标，再次利用汉明距离与周围3米处的车辆（路侧转换到车侧的三维包围框）进行相似度计算（这里计算的是重识别特征），相似度最高的路侧车辆的三维包围框替代车侧检测到的三维包围框。
最后，可以得到融合后的三维交通环境，展现车路协同感知的结果。
通过如上这种先利用汉明距离计算相似度关联车路两侧目标，再利用配准算法计算平移变换矩阵，再进行每个车侧检测到的目标周围的相似度计算并替换包围框的方式进行融合，最终可以实现车路协同感知的融合。这种双阶段度量匹配融合算法的应用不仅计算量小、速度快，同时也可以有效增强车侧的感知能力。
一实施例中，预先设定车侧检测到的目标集合为{v_1,v_2,...v_n},路侧检测到的目标集合为{r_α,r_β,...r_λ}，HRHF算法的具体步骤包括：
1）一次汉明计算：从车侧传感器检测到的车辆目标的图像中提取车辆重识别特征集合A={a_v_1,a_v_2,...a_v_n}，使用汉明距离计算与路侧生成的车辆重识别特征集合B={b_r_α,b_r_β,...b_r_λ}中每个元素的相似度，筛选出车辆和路侧视野中的共同车辆目标对的集合S={(v_1,r_α),(v_2,r_β),...(v_m,r_θ)}。
2）进行对应顶点配准：在集合S中选择靠近车载传感器视野中央的车辆并且与车载传感器空间距离较近的车辆目标v_m的三维包围框八个顶点集合v_m_d={d1,d2,d3,d4,d5,d6,d7,d8}，使用点云配准方法计算道路侧视野中的共同车辆目标r_θ的包围框的八个顶点集r_θ_d={dα,dβ,dγ,dδ,dε.dζ,dη,dθ}之间的旋转平移刚性变换矩阵。利用得到的变换矩阵，将路侧检测到的所有目标{r_α,r_β,...r_λ}的三维信息转换到车侧坐标系{vr_α,vr_β,...vr_λ}。
3）二次汉明计算：针对车侧检测到的目标{v_1,v_2,...v_n}的三维信息，再次利用汉明距离计算其中每个元素v_i与周围3米范围内的车辆（{vr_α,vr_β,...vr_λ}中与元素v_i三维距离小于3米的元素）的重识别特征的相似度。相似度最高的路侧转换过来的车辆三维包围框替代车侧检测到的车辆三维包围框（其他三维目标也是类似的替代方式），形成最后的三维目标融合结果{v_r_α,v_r_β,...v_r_λ,v_δ,...,v_η}。
通过HRHF算法可以得到融合的三维交通环境，展现车路协同感知的结果。通过先利用汉明距离计算相似度关联车路两侧目标，然后使用配准算法计算平移变换矩阵，并进行每个车侧检测到的目标周围的相似度计算并替换包围框的方式进行融合，最终可以实现车路协同感知的融合。HRHF算法不仅计算量小且速度快，而且还能有效增强车侧感知能力。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种基于雷达服务的车载导航系统，其特征在于，包括：
导航数据获取单元，用于通过无线通讯方式获取车载导航数据；
雷达数据获取单元，用于通过无线通讯方式获取雷达标识数据，所述雷达标识数据为车外雷达获取的在一预设空间范围内所有移动物体的空间三维信息和/或二维边界信息；所述车外雷达为未装载在该车上的雷达设备；
车载图像获取单元，用于获取该车视角的周围图像数据；
多感知融合单元，用于应用一预设的多感知融合算法，依据所述周围图像数据和所述雷达标识数据建立所述周围图像数据中成像的移动物体与所述雷达标识数据中该移动物体的空间三维信息建立对应关系，以识别出该车在所述雷达标识数据中对应的空间三维信息；
导航显示单元，用于图形化显示所述车载导航数据，以获取用于该车路径导航服务的实时导航界面；
模型化处理单元，用于依据所述雷达标识数据，以该车在所述雷达标识数据中对应的空间三维信息为中心，模型化显示所述预设空间范围内的移动物体，并将模型化显示获取的周边模型数据加载到所述实时导航界面中，以用于实时模型化显示该车周边的移动物体。
2.如权利要求1所述的车载导航系统，其特征在于，所述车外雷达设置在其它车辆、路侧和/或无人机上；所述车外雷达的种类包括微波雷达、毫米波雷达和/或激光雷达。
3.如权利要求1所述的车载导航系统，其特征在于，所述雷达标识数据只包括所述预设空间范围内的所有移动物体的空间三维信息和二维边界信息，所述空间三维信息包括移动物体的大小、位置和方向，所述二维边界信息为所述移动物体相对一预设平面上的投影边界信息。
4.如权利要求1所述的车载导航系统，其特征在于，预设的所述多感知融合算法包括双阶段度量匹配融合算法，应用所述双阶段度量匹配融合算法的过程包括：
提取所述周围图像数据中成像的移动物体的图像目标特征集合A；
提取所述雷达标识数据中的移动物体的雷达目标特征集合B；
通过对图像目标特征集合A和雷达目标特征集合B中每个元素的相似度，筛选出所述周围图像数据中成像移动物体与所述雷达标识数据中移动物体的共同移动目标对集合S；
在共同移动目标对集合S中提取在所述周围图像数据中满足一预设顶点提取条件的图像目标特征集合A中元素a_v_m的图像八个顶点集合v_m_d；
在共同移动目标对集合S中提取对应元素a_v_m的雷达目标特征集合B中的元素b_r_θ的雷达八个顶点集r_θ_d；
应用点云配准方法计算获取元素a_v_m的图像八个顶点集合v_m_d与元素b_r_θ的雷达八个顶点集r_θ_d之间相互转换的旋转平移刚性变换矩阵；
依据所述旋转平移刚性变换矩阵获取所述周围图像数据中成像的移动物体与所述雷达标识数据中对应的移动物体之间的三维坐标对应关系。
5.如权利要求1所述的车载导航系统，其特征在于，所述预设顶点提取条件包括：
对应图像目标特征集合A中元素a_v_m的移动物体在所述周围图像数据的一预设居中区域内，且与该车的距离不大于一预设值。
6.一种基于雷达服务的车载导航方法，其特征在于，包括：
通过无线通讯方式获取车载导航数据；
通过无线通讯方式获取雷达标识数据，所述雷达标识数据为车外雷达获取的在一预设空间范围内所有移动物体的空间三维信息和二维边界信息；所述车外雷达为未装载在该车上的雷达设备；
获取该车视角的周围图像数据；
应用一预设的多感知融合算法，依据所述周围图像数据和所述雷达标识数据建立所述周围图像数据中成像的移动物体与所述雷达标识数据中该移动物体的空间三维信息建立对应关系，以识别出该车在所述雷达标识数据中对应的空间三维信息；
图形化显示所述车载导航数据，以获取用于该车路径导航服务的实时导航界面；
依据所述雷达标识数据，以该车在所述雷达标识数据中对应的空间三维信息为中心，模型化显示所述预设空间范围内的移动物体，并将模型化显示获取的周边模型数据加载到所述实时导航界面中，以用于实时模型化显示该车周边的移动物体。
7.如权利要求6所述的车载导航方法，其特征在于，预设的所述多感知融合算法包括双阶段度量匹配融合算法，应用所述双阶段度量匹配融合算法的过程包括：
提取所述周围图像数据中成像的移动物体的图像目标特征集合A；
提取所述雷达标识数据中的移动物体的雷达目标特征集合B；
通过对图像目标特征集合A和雷达目标特征集合B中每个元素的相似度，筛选出所述周围图像数据中成像移动物体与所述雷达标识数据中移动物体的共同移动目标对集合S；
在共同移动目标对集合S中提取在所述周围图像数据中满足一预设顶点提取条件的图像目标特征集合A中元素a_v_m的图像八个顶点集合v_m_d；
在共同移动目标对集合S中提取对应元素a_v_m的雷达目标特征集合B中的元素b_r_θ的雷达八个顶点集r_θ_d；
应用点云配准方法计算获取元素a_v_m的图像八个顶点集合v_m_d与元素b_r_θ的雷达八个顶点集r_θ_d之间相互转换的旋转平移刚性变换矩阵；
依据所述旋转平移刚性变换矩阵获取所述周围图像数据中成像的移动物体与所述雷达标识数据中对应的移动物体之间的三维坐标对应关系。
8.如权利要求7所述的车载导航方法，其特征在于，所述预设顶点提取条件包括：
对应图像目标特征集合A中元素a_v_m的移动物体在所述周围图像数据的一预设居中区域内，且与该车的距离不大于一预设值。
9.如权利要求6所述的车载导航方法，其特征在于，所述雷达标识数据只包括所述预设空间范围内包括该车的所有移动物体的空间三维信息和/或二维边界信息，所述空间三维信息包括移动物体的大小、位置和方向，所述二维边界信息为所述移动物体相对一预设平面上的投影边界信息。
10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求6-9中任一项所述的车载导航方法。
CN202311827848.7A 2023-12-28 2023-12-28 一种基于雷达服务的车载导航系统和方法 Active CN117470254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311827848.7A CN117470254B (zh) 2023-12-28 2023-12-28 一种基于雷达服务的车载导航系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311827848.7A CN117470254B (zh) 2023-12-28 2023-12-28 一种基于雷达服务的车载导航系统和方法

Publications (2)

Publication Number Publication Date
CN117470254A true CN117470254A (zh) 2024-01-30
CN117470254B CN117470254B (zh) 2024-03-08

Family

ID=89633402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311827848.7A Active CN117470254B (zh) 2023-12-28 2023-12-28 一种基于雷达服务的车载导航系统和方法

Country Status (1)

Country Link
CN (1) CN117470254B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109556615A (zh) * 2018-10-10 2019-04-02 吉林大学 基于自动驾驶的多传感器融合认知的驾驶地图生成方法
CN110949395A (zh) * 2019-11-15 2020-04-03 江苏大学 一种基于多传感器融合的弯道acc目标车辆识别方法
WO2020108647A1 (zh) * 2018-11-30 2020-06-04 杭州海康威视数字技术股份有限公司 车载摄像头和车载雷达联动的目标检测方法、装置及系统
WO2020216316A1 (zh) * 2019-04-26 2020-10-29 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
CN111912419A (zh) * 2020-08-28 2020-11-10 清华大学苏州汽车研究院（吴江） 基于激光雷达的高精度语义导航地图构建方法和装置
CN115943439A (zh) * 2021-03-01 2023-04-07 杜豫川 一种基于雷视融合的多目标车辆检测及重识别方法
CN116433737A (zh) * 2023-04-26 2023-07-14 吉林大学 一种激光雷达点云与图像配准的方法、装置及智能终端
CN117111055A (zh) * 2023-06-19 2023-11-24 山东高速集团有限公司 一种基于雷视融合的车辆状态感知方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109556615A (zh) * 2018-10-10 2019-04-02 吉林大学 基于自动驾驶的多传感器融合认知的驾驶地图生成方法
WO2020108647A1 (zh) * 2018-11-30 2020-06-04 杭州海康威视数字技术股份有限公司 车载摄像头和车载雷达联动的目标检测方法、装置及系统
WO2020216316A1 (zh) * 2019-04-26 2020-10-29 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
CN110949395A (zh) * 2019-11-15 2020-04-03 江苏大学 一种基于多传感器融合的弯道acc目标车辆识别方法
CN111912419A (zh) * 2020-08-28 2020-11-10 清华大学苏州汽车研究院（吴江） 基于激光雷达的高精度语义导航地图构建方法和装置
CN115943439A (zh) * 2021-03-01 2023-04-07 杜豫川 一种基于雷视融合的多目标车辆检测及重识别方法
CN116433737A (zh) * 2023-04-26 2023-07-14 吉林大学 一种激光雷达点云与图像配准的方法、装置及智能终端
CN117111055A (zh) * 2023-06-19 2023-11-24 山东高速集团有限公司 一种基于雷视融合的车辆状态感知方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陆峰 等: "基于信息融合的智能车障碍物检测方法", 计算机应用, no. 2, 20 December 2017 (2017-12-20), pages 115 - 119 *

Also Published As

Publication number Publication date
CN117470254B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
US11217012B2 (en) System and method for identifying travel way features for autonomous vehicle motion control
US20210004013A1 (en) Lane-centric road network model for navigation
US11531348B2 (en) Method and apparatus for the detection and labeling of features of an environment through contextual clues
CN110415550B (zh) 基于视觉的自动泊车方法
US10928819B2 (en) Method and apparatus for comparing relevant information between sensor measurements
CN111595357B (zh) 可视化界面的显示方法、装置、电子设备和存储介质
CN113792566A (zh) 一种激光点云的处理方法及相关设备
WO2020057406A1 (zh) 一种辅助驾驶方法和系统
US10984552B2 (en) Method, apparatus, and system for recommending ground control points for image correction
CN114375467A (zh) 紧急车辆的检测
CN111354214B (zh) 一种辅助停车方法和系统
CN111353453B (zh) 用于车辆的障碍物检测方法和装置
CN111354222A (zh) 一种辅助驾驶方法和系统
WO2022021982A1 (zh) 可行驶区域判定的方法、智能驾驶系统和智能汽车
US10949707B2 (en) Method, apparatus, and system for generating feature correspondence from camera geometry
CN114518122A (zh) 行车导航方法、装置、计算机设备、存储介质和计算机程序产品
WO2023179028A1 (zh) 一种图像处理方法、装置、设备及存储介质
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN114842075A (zh) 数据标注方法、装置、存储介质及车辆
WO2021175119A1 (zh) 用于获取车辆3d信息的方法和装置
CN117470254B (zh) 一种基于雷达服务的车载导航系统和方法
CN115729228A (zh) 利用可驾驶区域检测来导航的方法和系统以及存储介质
CN117452392B (zh) 一种用于车载辅助驾驶系统的雷达数据处理系统和方法
CN117452407B (zh) 一种用于车载辅助驾驶系统的雷达数据服务系统和方法
CN117471461B (zh) 一种用于车载辅助驾驶系统的路侧雷达服务装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant