CN116594002A - 一种错时发波的多雷达数据融合方法、装置、设备及介质 - Google Patents

一种错时发波的多雷达数据融合方法、装置、设备及介质 Download PDF

Info

Publication number
CN116594002A
CN116594002A CN202310476278.5A CN202310476278A CN116594002A CN 116594002 A CN116594002 A CN 116594002A CN 202310476278 A CN202310476278 A CN 202310476278A CN 116594002 A CN116594002 A CN 116594002A
Authority
CN
China
Prior art keywords
wave
time
vehicle
key frame
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310476278.5A
Other languages
English (en)
Inventor
宋伟杰
王宇
林崇浩
张林灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faw Nanjing Technology Development Co ltd
FAW Group Corp
Original Assignee
Faw Nanjing Technology Development Co ltd
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faw Nanjing Technology Development Co ltd, FAW Group Corp filed Critical Faw Nanjing Technology Development Co ltd
Priority to CN202310476278.5A priority Critical patent/CN116594002A/zh
Publication of CN116594002A publication Critical patent/CN116594002A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/282—Transmitters

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开一种错时发波的多雷达数据融合方法、装置、设备和介质。包括：根据各发波时间中最早发波时间和最晚发波时间确定当前发波周期，并从当前发波周期内的车辆数据帧中确定当前候选关键帧；根据当前候选关键帧和历史候选关键帧确定目标关键帧，并根据目标关键帧对应的车身数据对应的车身数据和车辆运动模型确定从第一帧目标关键帧到最晚发波时间段内的车辆运动轨迹；根据各毫米波雷达的发波时间确定各毫米波雷达在车辆运动轨迹上的发波轨迹点；根据各毫米波雷达的发波轨迹点和转换关系，将各毫米波雷达的点云数据转换到最晚发波的毫米波雷达发波时的车辆坐标系下，并进行数据融合。本发明可以提高原始点云数据的准确性。

Description

一种错时发波的多雷达数据融合方法、装置、设备及介质
技术领域
本发明涉及点云数据处理技术领域，尤其涉及一种错时发波的多雷达数据融合方法、装置、设备及介质。
背景技术
为了满足辅助驾驶、自动避障等新兴需求，通常汽车上会搭载多个毫米波雷达，来实现对车辆周围环境的识别。一前四角是一种较为典型的车载毫米波雷达布置方案，采用一前四角的布置方案中，通常前雷达检测距离更远，角雷达检测角度更大，以便兼顾前向远距离检测和环视全向检测。但是这些毫米波雷达之间的视场FOV有重叠。
在一些情况下，为了避免多个毫米波雷达一起工作时，相互之间产生干扰，会选择错时发波策略，即FOV不重叠的雷达同时发波进行检测，FOV有重叠的雷达错开一定时间发波，以尽量将多个雷达之间的相互干扰降到最低，以“一前四角”的布置方案为例，按照前雷达、左前雷达和右后雷达、左后雷达和右前雷达的顺序进行发波，错时发波有效降低了多雷达之间的相互干扰。
但是由于发波时间不一致，在进行多个雷达的数据融合时，雷达发波时的位置会存在一定偏差，在低速时，此类由于发波时间不一致导致的偏差影响十分有限，但在车辆速度较高时，会对数据融合和最终的目标检测造成比较大的影响，因此需要对此类情况进行处理，以提升检测结果的准确性。
发明内容
本发明提供了一种错时发波的多雷达数据融合方法、装置、设备及介质，以提高原始点云数据的准确性。
根据本发明的一方面，提供了一种错时发波的多雷达数据融合方法，包括：
获取错时发波的至少两个毫米波雷达的发波时间和点云数据；
根据各发波时间中最早发波时间和最晚发波时间确定当前发波周期，并从所述当前发波周期内的车辆数据帧中确定当前候选关键帧；
根据所述当前候选关键帧和历史候选关键帧确定目标关键帧，并根据所述目标关键帧对应的车身数据和车辆运动模型确定从第一帧目标关键帧到所述最晚发波时间段内的车辆运动轨迹；
根据各毫米波雷达的发波时间确定各毫米波雷达在所述车辆运动轨迹上的发波轨迹点；
根据各毫米波雷达的发波轨迹点和转换关系，将各毫米波雷达的点云数据转换到最晚发波的毫米波雷达发波时的车辆坐标系下，并进行数据融合。
根据本发明的另一方面，提供了一种错时发波的多雷达数据融合装置，包括：
雷达数据获取模块，用于获取错时发波的至少两个毫米波雷达的发波时间和点云数据；
候选关键帧确定模块，用于根据各发波时间中最早发波时间和最晚发波时间确定当前发波周期，并从所述当前发波周期内的车辆数据帧中确定当前候选关键帧；
运动轨迹确定模块，用于根据所述当前候选关键帧和历史候选关键帧确定目标关键帧，并根据所述目标关键帧对应的车身数据和车辆运动模型确定从第一帧目标关键帧到所述最晚发波时间段内的车辆运动轨迹；
发波轨迹点确定模块，用于根据各毫米波雷达的发波时间确定各毫米波雷达在所述车辆运动轨迹上的发波轨迹点；
雷达数据融合模块，用于根据各毫米波雷达的发波轨迹点和转换关系，将各毫米波雷达的点云数据转换到最晚发波的毫米波雷达发波时的车辆坐标系下，并进行数据融合。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的错时发波的多雷达数据融合方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的错时发波的多雷达数据融合方法。
本发明实施例通过车身数据计算车辆运动轨迹，并根据毫米波雷达的发波时间，获取对应的发波迹点和轨迹点到车辆当前位置的转换关系，基于转换关系，将所有毫米波雷达的点云数据转换到相同时刻的车身坐标系下，有效降低了因毫米波雷达发波时间不同时，车辆运动导致的原始点云数据的偏差，提升了原始点云数据的准确性。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明一实施例提供的一种错时发波的多雷达数据融合方法的流程图；
图2是根据本发明又一实施例提供的一种错时发波的多雷达数据融合方法的流程图；
图3是根据本发明又一实施例提供的一种错时发波的多雷达数据融合装置的结构示意图；
图4是实现本发明实施例的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1为本发明一实施例提供的一种错时发波的多雷达数据融合方法的流程图，本实施例可适用于车辆上的多个毫米波雷达在车辆运动过程中错时发波，并对错时发波得到的点云数据进行融合转化的情况，该方法可以由错时发波的多雷达数据融合装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于具备相应数据处理能力的电子设备中，例如车载设备。如图1所示，该方法包括：
S110、获取错时发波的至少两个毫米波雷达的发波时间和点云数据。
S120、根据各发波时间中最早发波时间和最晚发波时间确定当前发波周期，并从所述当前发波周期内的车辆数据帧中确定当前候选关键帧。
其中，车辆上部署的毫米波雷达至少有两个，优选的可以是通过一前四角方式部署的前雷达、左前雷达和右后雷达、左后雷达和右前雷达。各个雷达按照一定的时间间隔错时发波，发波时间有先后之分。车辆数据帧存储车辆运动状态和对应时间戳的数据帧。
具体的，依次获取车辆上所有毫米波雷达的发波时间和点云数据，根据雷达相对于车辆的标定关系，将雷达的原始点云，转换到车身坐标系下。将获取到的最早发波时间和最晚发波时间分别作为周期起始时间，确定当前发波周期。雷达工作过程中车辆可能会剧烈运动，导致相应部分车辆数据帧内的车辆数据不稳定，因此对当前发波周期中不稳定的车辆数据帧进行剔除，剩下稳定的车辆数据帧作为当前候选关键帧。
S130、根据所述当前候选关键帧和历史候选关键帧确定目标关键帧，并根据所述目标关键帧对应的车身数据和车辆运动模型，确定从第一帧目标关键帧到所述最晚发波时间段内的车辆运动轨迹。
其中，历史候选关键帧为时间戳在最早发波时间之前的稳定的车辆关键帧。
具体的，仅参考当前候选关键帧难以得到一个有效、稳定的车辆运动轨迹，本发明参考历史候选关键帧，并对历史候选关键帧和当前候选关键帧融合和过滤得到目标关键帧。将目标关键帧对应的车身数据输入车辆的CTRV(ConstantTurnRateandVelocity，恒定转弯率和速度)运动模型，得到车辆在对应时刻(时间戳)内的运动点迹，将各时刻的运动点迹转换到最晚发波时间的雷达对应的车辆坐标系下，并进行拟合得到车辆运动轨迹。需要说明的是，第一帧目标关键帧的时间戳对应时刻早于最早发波时间对应时刻，这样可以得到数量更多的关键帧，以避免当前发波周期太短，难以在周期内收集到数量足够的关键帧，从而影响后续拟合轨迹点得到车辆运动轨迹。对于CTRV运动模型的建立过程具体如下：
建立车辆的CTRV(ConstantTurnRateandVelocity，恒定转弯率和速度)运动模型，则车辆的状态变量为：
其中，px表示横坐标，py表示纵坐标，v表示速度，θ表示航向角，ω表示横摆角速度，则有
其中，k+1表示当前时刻，k表示上一时刻，Xk+1和Xk分别表示在Xk+1和Xk+1时刻车辆的状态变量，T表示k+1时刻与k时刻之间的时间差，则相邻两个时刻车辆的运动量为
由此在获取车辆的速度、横摆角速度等车身数据后，可以通过模型将对应历史时刻的车辆运动点迹转换到最晚发波时间时刻的车辆坐标系下。
S140、根据各毫米波雷达的发波时间确定各毫米波雷达在所述车辆运动轨迹上的发波轨迹点。
S150、根据各毫米波雷达的发波轨迹点和转换关系，将各毫米波雷达的点云数据转换到最晚发波的毫米波雷达发波时的车辆坐标系下，并进行数据融合。
其中，本周期中最后一个错时发波的雷达通常就是最晚发波的雷达。发波轨迹点为雷达发波时在车辆运动轨迹上的点位，实际是雷达发波时的车辆位置。
具体的，根据各毫米波雷达的发波时间，确定各雷达在发波时，在拟合出的车辆运动轨迹上对应的轨迹点，作为发波轨迹点。根据车辆运动轨迹上，雷达发波时的发波轨迹点，获取由于雷达发波时间不同，导致的车身位置变化的转换矩阵，根据转换矩阵，将所有雷达的原始点云转换至最后发波雷达发波时的车身坐标系下，将转换后的各点云数据进行融合，作为后续处理步骤的输入，例如根据转换后的点云数据进行辅助驾驶。
本发明实施例通过车身数据计算车辆运动轨迹，并根据毫米波雷达的发波时间，获取对应的发波迹点和轨迹点到车辆当前位置的转换关系，基于转换关系，将所有毫米波雷达的点云数据转换到相同时刻的车身坐标系下，有效降低了因毫米波雷达发波时间不同时，车辆运动导致的原始点云数据的偏差，提升了原始点云数据的准确性。
可选的，所述根据各毫米波雷达的发波时间确定各毫米波雷达在所述车辆运动轨迹上的发波轨迹点之后，还包括：
根据各毫米波雷达的发波轨迹点和所述车辆运动轨迹，确定各毫米波雷达的发波时间对应的车辆运动速度和运动方向；根据所述车辆的运动速度和运动方向，筛选出各原始点云中的静态点云和动态点云。
其中，被成像毫米波雷达探测到以后对地点云信息没有发生变化就可以归类为静态点云，包括墙壁、栏杆和停驻的车辆，都是在后期规划行进路线时需要避开的障碍物；连续点云被成像毫米波雷达探测到以后，对地点云信息发生变化则可以归类为动态点云，在后期规划行进路线时可能还要结合动态点云来决策具体动作，比如在判定动态点云对应的目标会经过本车规划线路时可能要停车等待其经过或绕行。
具体的，获取经过发波轨迹点的车辆运动轨迹的切线，以切线方向作为车辆运动方向，获取雷达发波时间对应的车辆运动速度，根据车辆的运动速度、运动方向，与毫米波雷达检测到的各原始点云的速度大小和方向进行对比，筛选出各原始点云中的静态和动态点云。
图2为本发明又一实施例提供的一种错时发波的多雷达数据融合方法的流程图，本实施例在上述实施例的基础上进行了优化改进。如图2所示，该方法包括：
S210、获取错时发波的至少两个毫米波雷达的发波时间和点云数据。
S220、根据各发波时间中最早发波时间和最晚发波时间确定当前发波周期。
S230、获取当前发波周期内的车辆数据帧，若任一车辆数据帧对应的车身数据满足稳定性要求，则将该车辆数据帧确定为当前候选关键帧。
具体的，获取车身数据和时间戳等信息，并对车身数据数据进行平滑滤波处理，降低车身数据因各种因素而发生突变造成的影响，根据平滑滤波处理后的车身数据和对应时间戳生成车辆数据帧。对各车辆数据帧中的车身数据进行稳定性判断，将车身数据数据满足稳定性要求的车辆数据帧作为当前候选关键帧。
可选的，所述稳定性要求包括车身数据稳定且处于设定范围内，所述车身数据包括车辆速度和车辆横摆角速度。
具体的，若车辆速度、横摆角速度等车身数据较为稳定(变化速率低于阈值)，且处于设定的阈值范围内，则将对应的车身数据帧标记为候选关键帧。
S240、获取最早发波时间之前参考时间内的第一历史候选关键帧；若所述第一历史候选关键帧的数量大于设定数量，则将所述第一历史候选关键帧和所述当前候选关键帧进行合并，并通过均值偏差过滤合并后的候选关键帧得到目标关键帧。
其中，参考时间根据车辆当前速度动态调整，车辆速度越快，参考时间越短；车辆速度越慢，参考时间越长。
具体的，获取最早发波时间之前参考时间段内的潜在关键帧数量，若潜在关键帧的数量大于设定数量阈值，则将参考时间段内的历史候选关键帧和当前发波周期新产生的当前候选关键帧合并。获取合并后，从第一个候选关键帧到最后一个候选关键帧之间，所有的候选关键帧，以计算候选关键帧中车身数据数据的均值，若某一候选关键帧的车身数据数据相对于均值的偏差超过一定阈值，则过滤该候选关键帧，剩下未被过滤的车辆数据帧即为目标关键帧。根据过滤后的目标关键帧，拟合出车辆在当前发波周期内的车辆运动轨迹。
可选的，所述获取最早发波时间之前参考时间内的第一历史候选关键帧之后,还包括：
若所述第一历史候选关键帧的数量小于设定数量，则获取最早发波时间之前参考平滑轨迹内的第二历史候选关键帧；若所述第二历史候选关键帧的数量大于设定数量，则将所述第二历史候选关键帧和所述当前候选关键帧进行合并，并通过均值偏差过滤合并后的候选关键帧得到目标关键帧。
其中，参考平滑轨迹同样根据车辆当前速度确定，车辆速度越快，参考平滑轨迹越短；车辆速度越慢，参考平滑轨迹越长。
具体的，若参考时间内的历史候选帧数量不满足要求，则获取车辆在之前某一段平滑轨迹内(轨迹的系数方程满足阈值，且距离车辆当前位置小于阈值)的潜在关键帧数量，若满足设定数量阈值，则按照上述流程处理，进行轨迹拟合。
可选的，所述所述当前发波周期内的车辆数据帧中确定当前候选关键帧之后，还包括：
若第一历史候选关键帧和第二历史候选关键帧的数量均不大于设定数量，则获取最早发波时间之前最近时间内的历史运动轨迹；根据所述历史运动轨迹的时间距离时刻满足参考时间阈值要求，则将根据所述历史运动轨迹滤波预测得到的车辆轨迹方程，确定为从第一帧目标关键帧到所述最晚发波时间段内的车辆运动轨迹。
可选的，若参考时间和参考平滑轨迹内的历史候选关键帧数量均仍无法满足设定数量要求，则获取距离当前时刻最近的历史轨迹，若拟合历史轨迹的时间距离时刻满足阈值要求，则对历史轨迹进行卡尔曼滤波，将卡尔曼滤波预测出的车辆轨迹方程，作为车辆运动轨迹。
S250、根据所述目标关键帧对应的车身数据和车辆运动模型确定从第一帧目标关键帧到所述最晚发波时间段内的车辆运动轨迹。
S260、根据各毫米波雷达的发波时间确定各毫米波雷达在所述车辆运动轨迹上的发波轨迹点。
S270、根据各毫米波雷达的发波轨迹点和转换关系，将各毫米波雷达的点云数据转换到最晚发波的毫米波雷达发波时的车辆坐标系下，并进行数据融合。
本发明实施例通过参考车辆历史运动数据，提高对本发波周期内车辆运动轨迹的计算准确性。
图3为本发明又一实施例提供的一种错时发波的多雷达数据融合装置的结构示意图。如图3所示，该装置包括：
雷达数据获取模块310，用于获取错时发波的至少两个毫米波雷达的发波时间和点云数据；
候选关键帧确定模块320，用于根据各发波时间中最早发波时间和最晚发波时间确定当前发波周期，并从所述当前发波周期内的车辆数据帧中确定当前候选关键帧；
运动轨迹确定模块330，用于根据所述当前候选关键帧和历史候选关键帧确定目标关键帧，并目标关键帧根据所述目标关键帧对应的车身数据和车辆运动模型确定从第一帧目标关键帧到所述最晚发波时间段内的车辆运动轨迹；
发波轨迹点确定模块340，用于根据各毫米波雷达的发波时间确定各毫米波雷达在所述车辆运动轨迹上的发波轨迹点；
雷达数据融合模块350，用于根据各毫米波雷达的发波轨迹点和转换关系，将各毫米波雷达的点云数据转换到最晚发波的毫米波雷达发波时的车辆坐标系下，并进行数据融合
本发明实施例所提供的错时发波的多雷达数据融合装置可执行本发明任意实施例所提供的错时发波的多雷达数据融合方法，具备执行方法相应的功能模块和有益效果
可选的，候选关键帧确定模块320包括：
车辆数据帧获取单元，用于获取当前发波周期内的车辆数据帧，
候选关键帧确定单元，用于若任一车辆数据帧对应的车身数据满足稳定性要求，则将该车辆数据帧确定为当前候选关键帧。
可选的，所述稳定性要求包括车身数据稳定且处于设定范围内，所述车身数据包括车辆速度和车辆横摆角速度。
可选的，运动轨迹确定模块330包括：
第一历史帧获取单元，用于获取最早发波时间之前参考时间内的第一历史候选关键帧；
第一目标帧确定单元，用于若所述第一历史候选关键帧的数量大于设定数量，则将所述第一历史候选关键帧和所述当前候选关键帧进行合并，并通过均值偏差过滤合并后的候选关键帧得到目标关键帧。
可选的，运动轨迹确定模块330还包括：
第一历史帧获取单元，用于若所述第一历史候选关键帧的数量小于设定数量，则获取最早发波时间之前参考平滑轨迹内的第二历史候选关键帧；
第一目标帧确定单元，用于若所述第二历史候选关键帧的数量大于设定数量，则将所述第二历史候选关键帧和所述当前候选关键帧进行合并，并通过均值偏差过滤合并后的候选关键帧得到目标关键帧。
可选的，所述装置还包括历史轨迹参考模块，用于若第一历史候选关键帧和第二历史候选关键帧的数量均不大于设定数量，则获取最早发波时间之前最近时间内的历史运动轨迹；根据所述历史运动轨迹的时间距离时刻满足参考时间阈值要求，则将根据所述历史运动轨迹滤波预测得到的车辆轨迹方程，确定为从第一帧目标关键帧到所述最晚发波时间段内的车辆运动轨迹
可选的，所述装置还包括：
运动信息确定模块，用于根据各毫米波雷达的发波轨迹点和所述车辆运动轨迹，确定各毫米波雷达的发波时间对应的车辆运动速度和运动方向；
原始点云筛选模块，用于根据所述车辆的运动速度和运动方向，筛选出各原始点云中的静态点云和动态点云。
进一步说明的错时发波的多雷达数据融合装置也可执行本发明任意实施例所提供的错时发波的多雷达数据融合方法，具备执行方法相应的功能模块和有益效果。
图4示出了可以用来实施本发明的实施例的电子设备40的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备40包括至少一个处理器41，以及与至少一个处理器41通信连接的存储器，如只读存储器(ROM)42、随机访问存储器(RAM)43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序，来执行各种适当的动作和处理。在RAM43中，还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM42以及RAM43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。
电子设备40中的多个部件连接至I/O接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如错时发波的多雷达数据融合方法。
在一些实施例中，错时发波的多雷达数据融合方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由ROM42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM43并由处理器41执行时，可以执行上文描述的错时发波的多雷达数据融合方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行错时发波的多雷达数据融合方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种错时发波的多雷达数据融合方法，其特征在于，所述方法包括：
获取错时发波的至少两个毫米波雷达的发波时间和点云数据；
根据各发波时间中最早发波时间和最晚发波时间确定当前发波周期，并从所述当前发波周期内的车辆数据帧中确定当前候选关键帧；
根据所述当前候选关键帧和历史候选关键帧确定目标关键帧，并根据所述目标关键帧对应的车身数据和车辆运动模型确定从第一帧目标关键帧到所述最晚发波时间段内的车辆运动轨迹；
根据各毫米波雷达的发波时间确定各毫米波雷达在所述车辆运动轨迹上的发波轨迹点；
根据各毫米波雷达的发波轨迹点和转换关系，将各毫米波雷达的点云数据转换到最晚发波的毫米波雷达发波时的车辆坐标系下，并进行数据融合。
2.根据权利要求1所述的方法，其特征在于，所述从所述当前发波周期内的车辆数据帧中确定当前候选关键帧包括；
获取当前发波周期内的车辆数据帧，
若任一车辆数据帧对应的车身数据满足稳定性要求，则将该车辆数据帧确定为当前候选关键帧。
3.根据权利要求2所述的方法，其特征在于，所述稳定性要求包括车身数据稳定且处于设定范围内，所述车身数据包括车辆速度和车辆横摆角速度。
4.根据权利要求2所述的方法，其特征在于，所述根据所述当前候选关键帧和历史候选关键帧确定目标关键帧包括：
获取最早发波时间之前参考时间内的第一历史候选关键帧；
若所述第一历史候选关键帧的数量大于设定数量，则将所述第一历史候选关键帧和所述当前候选关键帧进行合并，并通过均值偏差过滤合并后的候选关键帧得到目标关键帧。
5.根据权利要求4所述的方法，其特征在于，所述获取最早发波时间之前参考时间内的第一历史候选关键帧之后,还包括：
若所述第一历史候选关键帧的数量小于设定数量，则获取最早发波时间之前参考平滑轨迹内的第二历史候选关键帧；
若所述第二历史候选关键帧的数量大于设定数量，则将所述第二历史候选关键帧和所述当前候选关键帧进行合并，并通过均值偏差过滤合并后的候选关键帧得到目标关键帧。
6.根据权利要求5所述的方法，其特征在于，所述所述当前发波周期内的车辆数据帧中确定当前候选关键帧之后，还包括：
若第一历史候选关键帧和第二历史候选关键帧的数量均不大于设定数量，则获取最早发波时间之前最近时间内的历史运动轨迹；
根据所述历史运动轨迹的时间距离时刻满足参考时间阈值要求，则将根据所述历史运动轨迹滤波预测得到的车辆轨迹方程，确定为从第一帧目标关键帧到所述最晚发波时间段内的车辆运动轨迹。
7.根据权利要求1所述的方法，其特征在于，所述根据各毫米波雷达的发波时间确定各毫米波雷达在所述车辆运动轨迹上的发波轨迹点之后，还包括：
根据各毫米波雷达的发波轨迹点和所述车辆运动轨迹，确定各毫米波雷达的发波时间对应的车辆运动速度和运动方向；
根据所述车辆的运动速度和运动方向，筛选出各原始点云中的静态点云和动态点云。
8.一种错时发波的多雷达数据融合装置，其特征在于，所述装置包括：
雷达数据获取模块，用于获取错时发波的至少两个毫米波雷达的发波时间和点云数据；
候选关键帧确定模块，用于根据各发波时间中最早发波时间和最晚发波时间确定当前发波周期，并从所述当前发波周期内的车辆数据帧中确定当前候选关键帧；
运动轨迹确定模块，用于根据所述当前候选关键帧和历史候选关键帧确定目标关键帧，并根据所述目标关键帧对应的车身数据和车辆运动模型确定从第一帧目标关键帧到所述最晚发波时间段内的车辆运动轨迹；
发波轨迹点确定模块，用于根据各毫米波雷达的发波时间确定各毫米波雷达在所述车辆运动轨迹上的发波轨迹点；
雷达数据融合模块，用于根据各毫米波雷达的发波轨迹点和转换关系，将各毫米波雷达的点云数据转换到最晚发波的毫米波雷达发波时的车辆坐标系下，并进行数据融合。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的错时发波的多雷达数据融合方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的错时发波的多雷达数据融合方法。
CN202310476278.5A 2023-04-27 2023-04-27 一种错时发波的多雷达数据融合方法、装置、设备及介质 Pending CN116594002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310476278.5A CN116594002A (zh) 2023-04-27 2023-04-27 一种错时发波的多雷达数据融合方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310476278.5A CN116594002A (zh) 2023-04-27 2023-04-27 一种错时发波的多雷达数据融合方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116594002A true CN116594002A (zh) 2023-08-15

Family

ID=87599959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310476278.5A Pending CN116594002A (zh) 2023-04-27 2023-04-27 一种错时发波的多雷达数据融合方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116594002A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117672007A (zh) * 2024-02-03 2024-03-08 福建省高速公路科技创新研究院有限公司 一种基于雷视融合的道路施工区域安全预警系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117672007A (zh) * 2024-02-03 2024-03-08 福建省高速公路科技创新研究院有限公司 一种基于雷视融合的道路施工区域安全预警系统
CN117672007B (zh) * 2024-02-03 2024-04-26 福建省高速公路科技创新研究院有限公司 一种基于雷视融合的道路施工区域安全预警系统

Similar Documents

Publication Publication Date Title
US10474908B2 (en) Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
EP3859596B1 (en) Object collision prediction method and device
CN113392794B (zh) 车辆跨线识别方法、装置、电子设备和存储介质
CN116594002A (zh) 一种错时发波的多雷达数据融合方法、装置、设备及介质
CN115903831A (zh) 一种车辆驾驶控制方法、装置、车辆及存储介质
CN115451901A (zh) 一种路面不平度的分类识别方法、装置、车辆及存储介质
CN113177980B (zh) 用于自动驾驶的目标对象速度确定方法、装置及电子设备
CN117636307A (zh) 基于语义信息的目标检测方法、设备及自动驾驶车辆
CN111596086B (zh) 一种自动驾驶中障碍物的速度估计方法、装置和电子设备
CN113313654A (zh) 激光点云滤波去噪方法、系统、设备及存储介质
CN114834447B (zh) 基于自动泊车轨迹的碰撞风险预测方法及装置
CN117125057B (zh) 一种基于车辆变道的碰撞检测方法、装置、设备及存储介质
CN114407916B (zh) 车辆控制及模型训练方法、装置、车辆、设备和存储介质
CN117444982B (zh) 机器人舵轮自动标定方法和装置
CN117934528A (zh) 一种基于帧卸载调度加速的dnn 3d边缘检测推理方法
CN118035788A (zh) 一种目标车辆相对位置分类方法、装置、设备及存储介质
CN116468607A (zh) 一种车底盲区填充方法、装置、设备和存储介质
CN114966668A (zh) 一种车辆数据处理方法、装置、设备及介质
CN116520837A (zh) 车辆实时轨迹预测方法、装置、设备及存储介质
CN117799614A (zh) 应用于车辆中的智能变道方法
CN116013109A (zh) 一种通行提示方法、装置、设备及介质
CN116749965A (zh) 一种车速规划方法、装置、电子设备及存储介质
CN116674551A (zh) 一种换道途中紧急退出的路径规划方法、装置和设备
CN116552517A (zh) 一种车辆碰撞预测方法、装置、电子设备和存储介质
CN118135793A (zh) 车道线后处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination