CN116047496A - 基于车载雷视动态加权融合结构模块的道路目标跟踪方法 - Google Patents

基于车载雷视动态加权融合结构模块的道路目标跟踪方法 Download PDF

Info

Publication number
CN116047496A
CN116047496A CN202310037703.0A CN202310037703A CN116047496A CN 116047496 A CN116047496 A CN 116047496A CN 202310037703 A CN202310037703 A CN 202310037703A CN 116047496 A CN116047496 A CN 116047496A
Authority
CN
China
Prior art keywords
track
local
target
state
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310037703.0A
Other languages
English (en)
Inventor
赵晨馨
邵建文
赵存彬
王凯
石东豪
张昕
沈晓敏
方舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Province Institute of Metrology
Original Assignee
Zhejiang Province Institute of Metrology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Province Institute of Metrology filed Critical Zhejiang Province Institute of Metrology
Priority to CN202310037703.0A priority Critical patent/CN116047496A/zh
Publication of CN116047496A publication Critical patent/CN116047496A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40215—Controller Area Network CAN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40267—Bus for use in transportation systems
    • H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了基于车载雷视动态加权融合结构模块的道路目标跟踪方法，属于智能网联汽车环境感知领域。本发明首先从车辆控制器区域网路总线中提取车载毫米波雷达与视觉的道路目标检测数据。其次将道路目标检测数据分别输入到各自的跟踪处理模块进行处理，获取各传感器对应检测目标的局部航迹信息。然后将局部航迹信息输入到融合中心模块，获取融合后的全局航迹信息。最后基于全局航迹信息结合检测目标的ID和类别，对道路目标进行有效地持续跟踪。本发明具备目标级的协作融合感知和环境自适应能力，能够对道路检测目标进行有效地持续跟踪，为智能车自动驾驶提供更加可靠准确的环境感知信息。

Description

基于车载雷视动态加权融合结构模块的道路目标跟踪方法
技术领域
本发明属于智能网联汽车环境感知技术领域，涉及一种基于车载毫米波雷达与视觉多模态动态加权融合结构模块的道路目标跟踪方法。
背景技术
道路目标检测与跟踪是智能网联汽车(以下简称智能车)驾驶环境感知系统中的核心问题。现阶段车辆环境感知系统中应用最广泛的传感器是毫米波雷达和视觉传感器(摄像头)，这两种传感器的应用技术较为成熟且相比于激光雷达成本低廉，易于工程化和产品化，已成为国内外车辆道路目标检测与跟踪领域研究的重点。然而这两种传感器在单独用于目标感知时均具有较为明显的局限性，很难满足全天候、高精度的车辆环境感知需求，例如：毫米波雷达的横向空间分辨率较低，且易受路面物体噪声干扰，导致道路多目标漏检误检严重；视觉传感器的纵向空间分辨率较低，对光照和天气条件敏感，且要求较高的计算强度来保证高精度，无法满足实时性需求。考虑到这些局限性以及传感器间的互补特性，在车辆环境感知系统中通常将毫米波雷达与视觉传感器进行融合感知，这样能够弥补单一传感器目标感知算法中存在的效果差、环境敏感等缺陷，被认为是提高检测精度、降低检测噪声的一种有效手段。
然而，虽然多传感器融合弥补了单一传感器检测精度不足的问题，但是多传感器融合之后信息的决策和控制仍是一个难点。同时，目前的融合方法并没有考虑环境(光照、天气等)因素的影响，导致感知算法在不同环境下的感知效果参差不齐，无法适应复杂多变的智能车驾驶环境。尤其是对于毫米波雷达与视觉传感器这类的异构传感器融合场景，如何在兼顾感知精度、速度及鲁棒性的同时，基于传感器间的互补特性，建立具备感知环境自适应能力的多模态融合感知网络，对智能车驾驶环境道路目标进行有效可靠的检测与跟踪，是一项技术挑战。
发明内容
为了实现车载异构传感器间的目标级协作融合感知和感知环境自适应，同时兼顾智能车驾驶环境准确性、鲁棒性和实时性的道路目标感知需求，优化现有的技术架构。本发明提供了基于车载雷视动态加权融合结构模块的道路目标跟踪方法，用于智能车驾驶环境道路目标跟踪，实现车载异构传感器间的目标级协作融合感知和感知环境自适应，同时兼顾智能车驾驶环境准确性、鲁棒性和实时性的道路目标感知需求，对促进智能车环境感知技术的发展以及加快智能车产业的应用落地具有十分重大的社会价值和工程意义。
本发明的技术方案为一种基于车载毫米波雷达与视觉多模态动态加权融合结构模块的道路目标跟踪方法，采用分布式结构作为毫米波雷达与视觉数据融合算法的基本框架，将融合算法分为两个跟踪处理模块(分别为毫米波雷达跟踪处理模块和视觉跟踪处理模块)和一个融合中心模块，引入动态加权融合结构，输出道路目标的状态跟踪信息，具体包括以下步骤：
步骤1、从车辆控制器区域网路(Controller Area Network,CAN)总线中提取车载毫米波雷达与视觉的道路目标检测数据。
步骤2、将车载毫米波雷达与视觉的道路目标检测数据分别输入到各自的跟踪处理模块，车载毫米波雷达和视觉的道路目标检测数据分别为对应车载毫米波雷达与视觉传感器的局部传感器数据，对各局部传感器数据进行处理，以获取各传感器对应检测目标的局部航迹信息。
2.1对输入到跟踪处理模块的局部传感器数据进行预处理：
结合自车的状态信息筛选出对自车驾驶状态有影响的道路目标检测数据，对于不影响自车驾驶状态的道路目标检测数据进行剔除。
2.2对预处理后的局部传感器数据进行局部航迹信息的数据关联：
引入新息向量的加权范数平方，作为局部航迹的测量预测信息与测量目标之间的统计距离。
采用匈牙利算法，以统计距离作为代价量度，根据全局最近邻思想完成检测目标局部航迹信息与传感器测量值之间的关联。
2.3对数据关联后的目标局部航迹信息进行航迹管理：
将数据关联后的航迹分为三种情形：a.航迹与传感器测量值成功关联；b.传感器测量值不关联航迹；c.航迹不关联传感器测量值。
为了管理航迹的生成、维护和消失，解决虚假测量和目标检测缺失的问题，设计航迹管理的规则如下：定义未与任何航迹关联的测量目标为生成的临时航迹；对于连续n帧成功关联的临时航迹，则可以被视为生成一条真实确认的航迹，也就局部航迹；对于已确认的局部航迹，如果在连续m帧中没有关联测量目标，则该航迹可被视为死的航迹并被丢弃。
2.4对航迹管理后的局部航迹信息进行状态评估：
为了获得航迹信息的最佳状态估计，在以上航迹管理规则判断后，需要更新确认的局部航迹和临时航迹的状态。对于确定为死的航迹，它将从航迹列表中删除，而不进行任何状态更新。
步骤3、将经过跟踪处理模块处理后的车载毫米波雷达和视觉检测目标的局部航迹信息输入到融合中心模块，对不同传感器的局部航迹进行融合，以获取融合后的全局航迹信息。
3.1对车载毫米波雷达和视觉的局部航迹信息进行时空对齐：
选择车载毫米波雷达运动坐标系作为融合航迹坐标系，将视觉的局部航迹信息坐标转换到毫米波雷达运动坐标系中；选择视觉检测周期作为融合时间节点，当视觉每输出一组车辆CAN信息时，根据最小二乘法将前N个周期从毫米波雷达获得的航迹信息拟合为二次曲线，然后将拟合曲线外推到视觉的当前时间节点，以获得毫米波雷达局部航迹信息在融合时间节点下的估计值。
3.2对时空对齐后的毫米波雷达和视觉的局部航迹信息进行航迹关联：
基于加权航迹关联方法对毫米波雷达和视觉的局部航迹信息进行航迹关联。
3.3对航迹关联后的毫米波雷达和视觉的局部航迹信息进行航迹融合及融合状态估计：
构建非复位联合滤波器结构：由两个子滤波器和一个主滤波器组成，其中两个子滤波器分别对应着毫米波雷达与视觉的跟踪处理模块中的卡尔曼滤波器，将两个子滤波器的输出与主滤波器的输入级联。定义Zr和Zc分别为与检测目标信息相关的毫米波雷达测量值和视觉测量值，
Figure BDA0004047022740000031
Pr和
Figure BDA0004047022740000032
Pc分别为两个子滤波器的状态估计输出，
Figure BDA0004047022740000033
Pg为主滤波器的状态估计输出，也就是融合后的全局航迹状态信息。
初始时刻的融合航迹状态估计误差协方差
Figure BDA0004047022740000034
和系统过程噪声
Figure BDA0004047022740000035
可由下式计算得到：
Figure BDA0004047022740000036
Figure BDA0004047022740000037
其中，
Figure BDA0004047022740000041
和
Figure BDA0004047022740000042
分别为初始时刻毫米波雷达和视觉的局部航迹状态估计误差协方差，
Figure BDA0004047022740000043
和
Figure BDA0004047022740000044
分别为初始时刻毫米波雷达和视觉的局部航迹状态系统过程噪声。
为了实现融合算法的环境自适应能力，进一步提高道路目标跟踪的准确性及鲁棒性，引入动态加权融合结构，设计毫米波雷达和视觉的动态初始信息分配权重如下：
Figure BDA0004047022740000045
Figure BDA0004047022740000046
其中，
Figure BDA0004047022740000047
和
Figure BDA0004047022740000048
分别表示毫米波雷达和视觉局部航迹的初始信息分配权重，满足
Figure BDA0004047022740000049
a为环境光照系数，定义如下：
Figure BDA00040470227400000410
其中，δ为环境照度值(单位：lux)。
b为环境天气系数，定义如下：
Figure BDA00040470227400000411
则，子滤波器的初始信息分配更新如下：
Figure BDA00040470227400000412
其中，i＝r表示毫米波雷达，i＝c表示视觉。
Figure BDA00040470227400000413
和
Figure BDA00040470227400000414
分别为初始时刻两个子滤波器的航迹状态估计，
Figure BDA00040470227400000415
为时刻k时主滤波器的航迹状态估计。
在主滤波器部分，对两个独立子滤波器获得的局部航迹状态估计信息进行融合，融合后的全局航迹状态最优估计信息可由下式计算得到：
Figure BDA0004047022740000051
其中，
Figure BDA0004047022740000052
和
Figure BDA0004047022740000053
分别为时刻k时两个子滤波器的航迹状态估计误差协方差，
Figure BDA0004047022740000054
和
Figure BDA0004047022740000055
分别为时刻k时两个子滤波器的航迹状态估计，
Figure BDA0004047022740000056
为时刻k时主滤波器的航迹状态估计误差协方差。
步骤4、基于融合中心模块获取的检测目标全局航迹信息，结合检测目标的ID和类别，对道路目标进行有效地持续跟踪，并同步输出道路目标的时空状态跟踪信息。
本发明的有益效果是：提供了一种基于车载毫米波雷达与视觉多模态动态加权融合结构模块的道路目标跟踪方法，用于智能车驾驶环境道路目标跟踪，具备目标级的协作融合感知和环境自适应能力，能够对道路检测目标进行有效地持续跟踪，同时兼顾智能车驾驶环境准确性、鲁棒性和实时性的道路目标感知需求，从而为智能车自动驾驶提供更加可靠准确的环境感知信息。
附图说明
图1是本发明的车载毫米波雷达与视觉数据分布式模块结构融合框架图；
图2是本发明的跟踪处理模块数据处理流程图；
图3是本发明的非复位联合滤波器结构图；
图4是本发明的基于车载毫米波雷达与视觉多模态动态加权融合结构模块的道路目标状态跟踪信息输出流程图。
具体实施方式
以下结合附图对本发明作进一步描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
参照图1～图4，本发明的技术方案为一种基于车载毫米波雷达与视觉多模态动态加权融合结构模块的道路目标跟踪方法。采用分布式结构作为毫米波雷达与视觉数据融合算法的基本框架，如图1所示，将融合算法分为两个跟踪处理模块(分别为毫米波雷达跟踪处理模块和视觉跟踪处理模块)和一个融合中心模块，引入动态加权融合结构，输出道路目标的状态跟踪信息，具体包括以下步骤：
步骤1、从车辆控制器区域网路(Controller Area Network,CAN)总线中提取车载毫米波雷达与视觉的道路目标检测数据。
步骤2、将毫米波雷达数据与视觉数据分别输入到各自的跟踪处理模块，定义上述毫米波雷达数据和视觉数据分别为对应车载毫米波雷达与视觉传感器的局部传感器数据，对各局部传感器数据进行处理，以获取各传感器对应检测目标的局部航迹信息，跟踪处理模块的数据处理流程如图2所示，主要包括预处理、数据关联、航迹管理和状态估计四部分。
2.1对输入到跟踪处理模块的局部传感器数据进行预处理：
结合自车的状态信息筛选出对自车驾驶状态有(潜在)影响的道路目标检测数据，对于不影响自车驾驶状态的道路目标检测数据进行剔除。
2.2对预处理后的局部传感器数据进行局部航迹信息的数据关联：
引入新息向量的加权范数平方，作为局部航迹的测量预测信息与测量目标之间的统计距离。假设有一条局部航迹i，时刻k时的测量预测值zi(k|k-1)，定义：
Figure BDA0004047022740000061
其中，zo(k)表示在k时刻目标o的传感器测量值，Sio为新息协方差矩阵，
Figure BDA0004047022740000062
为新息向量的加权范数平方，可以理解为局部航迹的测量预测信息i与测量目标o之间的统计(归一化)距离。
采用匈牙利算法，以统计距离
Figure BDA0004047022740000063
作为代价量度(Cost Metric)，根据全局最近邻思想完成检测目标局部航迹信息与传感器测量值之间的关联。
2.3对数据关联后的局部航迹信息进行航迹管理：
将数据关联后的航迹分为三种情形：a.航迹与传感器测量值成功关联；b.传感器测量值不关联航迹；c.航迹不关联传感器测量值。
为了管理航迹的生成、维护和消失，解决虚假测量和目标检测缺失的问题，设计航迹管理的规则如下：定义未与任何航迹关联的测量目标为生成的临时航迹；对于连续n帧成功关联的临时航迹，则可以被视为生成一条真实确认的航迹，也就局部航迹；对于已确认的局部航迹，如果在连续m帧中没有关联测量目标，则该航迹可被视为死的航迹并被丢弃。一般情况下，n取3，m取5。
2.4对航迹管理后的局部航迹信息进行状态评估：
为了获得航迹信息的最佳状态估计，在以上航迹管理规则判断后，需要更新确认的局部航迹和临时航迹的状态。对于确定为死的航迹，它将从航迹列表中删除，而不进行任何状态更新。建立局部航迹信息的状态估计模型如下。
假设目标的加速度在短时间内是恒定的，则可以建立具有恒定加速度的运动模型。目标状态向量为：
Figure BDA0004047022740000071
其中，(x,y)表示位置向量，
Figure BDA0004047022740000072
表示速度向量，
Figure BDA0004047022740000073
表示加速度向量。
则其运动状态模型可以表示为：
X(k+1)＝diag[F,F]X(k)+diag[G,G]Wk    (3)
其中，
Figure BDA0004047022740000074
为离散模型中的白噪声序列，ωx和ωy分别对应于目标沿x轴和y轴的振动噪声，T1为离散模型中的单位时间。
毫米波雷达可以检测目标距离S、方位角θ和相对速度v，其测量矢量表示如下：
Zr＝[S θ v]T    (4)
相应的观测模型如下：
Figure BDA0004047022740000075
其中，vr＝[vs vθ vv]T表示毫米波雷达测量的白噪声序列。由于毫米波雷达的观测模型是非线性的，采用扩展卡尔曼滤波器对毫米波雷达的航迹状态进行估计。
视觉可以检测目标位置，其测量矢量可以表示为：
Zc＝[x y]T    (6)
对应的观测模型可以表示为：
Zc(k)＝HCX(k)+vc(k)    (7)
其中，vc＝[vx vy]T表示视觉测量的白噪声序列，
Figure BDA0004047022740000081
为测量矩阵。由于视觉的观测模型是线性的，采用线性卡尔曼滤波器对视觉的航迹状态进行估计。
步骤3、将经过跟踪处理模块处理后的毫米波雷达和视觉检测目标的局部航迹信息输入到融合中心模块，对不同传感器的局部航迹进行融合，以获取融合后的全局航迹信息。
3.1对车载毫米波雷达和视觉的局部航迹信息进行时空对齐：
选择车载毫米波雷达运动坐标系作为融合航迹坐标系，将视觉的局部航迹信息坐标转换到毫米波雷达运动坐标系中；选择视觉检测周期作为融合时间节点，当视觉每输出一组车辆CAN信息时，根据最小二乘法将前N个周期从毫米波雷达获得的航迹信息拟合为二次曲线，然后将拟合曲线外推到视觉的当前时间节点，以获得毫米波雷达局部航迹信息在融合时间节点下的估计值。
3.2对时空对齐后的毫米波雷达和视觉的局部航迹信息进行航迹关联：
基于加权航迹关联方法对毫米波雷达和视觉的局部航迹信息进行航迹关联，具体过程如下：
假设对于毫米波雷达和视觉，分别存在局部航迹i和j。通过前面的跟踪处理模块，两个局部航迹的状态估计分别为
Figure BDA0004047022740000082
它们的状态协方差分别为Pi(k|k)和Pj(k|k)。两个航迹的状态估计差异表示如下：
Figure BDA0004047022740000083
建立原假设H0和备择假设H1，将航迹关联问题转化为假设检验问题。
Figure BDA0004047022740000091
是同一目标的航迹状态估计，即航迹i和航迹j关联；
Figure BDA0004047022740000092
和
Figure BDA0004047022740000093
不是同一目标的航迹状态估计，即航迹i和航迹j不关联。
假设同一目标局部航迹的状态误差在统计上是独立的。
在H0假设下，航迹i和j的状态估计差异的协方差可以表示为：
Figure BDA0004047022740000094
则加权航迹关联的统计值如下：
Figure BDA0004047022740000095
在H0假设下，状态估计差
Figure BDA0004047022740000096
服从高斯分布，统计值αij(k)服从卡方分布。根据卡方分布表，设置卡方分布关联阈值γ。当αij(k)小于γ时，原假设H0被接受，航迹i和j被认为是相关的。否则，接受航迹i和j被认为是不相关的备择假设H1。
设置L表征融合航迹的稳定性。初始形成融合航迹(即临时融合航迹)时，L值为0。如果后续连续帧的时间段内，该融合航迹对应的局部航迹都被关联，则L值累加如下：
L＝L+1    (11)
设置阈值Lmax，当L达到设定的阈值Lmax时，表示融合航迹相对稳定(即稳定融合航迹)。然后，在随后的融合时间节点中，可以直接使用不需要参与关联算法的相应局部航迹来更新融合航迹的状态。如果某个融合时间节点L小于Lmax，并且相应的两个局部航迹没有关联，则融合航迹将消失。
3.3对航迹关联后的毫米波雷达和视觉的局部航迹信息进行航迹融合及融合状态估计：
为了实现融合算法的环境自适应能力，进一步提高道路目标跟踪的准确性及鲁棒性，基于非复位联合滤波器原理，引入动态加权融合结构，设计航迹融合及融合状态估计方法如下。
构建非复位联合滤波器结构，如图3所示：由两个子滤波器和一个主滤波器组成，其中两个子滤波器分别对应着毫米波雷达与视觉的跟踪处理模块中的卡尔曼滤波器，将两个子滤波器的输出与主滤波器的输入级联。定义Zr和Zc分别为与检测目标信息相关的毫米波雷达测量值和视觉测量值，
Figure BDA0004047022740000101
Pr和
Figure BDA0004047022740000102
Pc分别为两个子滤波器的状态估计输出，
Figure BDA0004047022740000103
Pg为主滤波器的状态估计输出，也就是融合后的全局航迹状态信息。
由于毫米波雷达和视觉采用相同的目标运动模型，两个子滤波器输出的目标状态格式相同。因此，两个子滤波器的输出状态估计信息可以集成到主滤波器中。在融合的初始时间，系统需要确定初始信息。初始时刻的融合航迹状态估计误差协方差
Figure BDA0004047022740000104
和系统过程噪声
Figure BDA0004047022740000105
可由下式计算得到：
Figure BDA0004047022740000106
Figure BDA0004047022740000107
其中，
Figure BDA0004047022740000108
和
Figure BDA0004047022740000109
分别为初始时刻毫米波雷达和视觉的局部航迹状态估计误差协方差，
Figure BDA00040470227400001010
和
Figure BDA00040470227400001011
分别为初始时刻毫米波雷达和视觉的局部航迹状态系统过程噪声。
联合过滤器的工作流程包括初始信息确定、信息分配、时间更新、测量更新和信息融合。其中，两个子滤波器的时间更新和测量更新属于跟踪处理模块的状态估计部分，故这里就不再赘述。对于非复位联合滤波器，仅在初始时间分配信息。初始信息通常均匀分布。然而，由于毫米波雷达和视觉在不同光照和天气环境下的感知特性不同，如果初始信息均匀分布，则全局估计精度将会降低。为了实现融合算法的环境自适应能力，进一步提高道路目标跟踪的准确性及鲁棒性，引入动态加权融合结构，设计毫米波雷达和视觉的动态初始信息分配权重如下：
Figure BDA00040470227400001012
Figure BDA00040470227400001013
其中，
Figure BDA00040470227400001014
和
Figure BDA00040470227400001015
分别表示毫米波雷达和视觉局部航迹的初始信息分配权重，满足
Figure BDA00040470227400001016
a为环境光照系数，定义如下：
Figure BDA0004047022740000111
其中，δ为环境照度值(单位：lux)。
b为环境天气系数，定义如下：
Figure BDA0004047022740000112
则，子滤波器的初始信息分配更新如下：
Figure BDA0004047022740000113
其中，i＝r表示毫米波雷达，i＝c表示视觉。
Figure BDA0004047022740000114
和
Figure BDA0004047022740000115
分别为初始时刻两个子滤波器的航迹状态估计，
Figure BDA0004047022740000116
为时刻k时主滤波器的航迹状态估计。
在主滤波器部分，对两个独立子滤波器获得的局部航迹状态估计信息进行融合，融合后的全局航迹状态最优估计信息可由下式计算得到：
Figure BDA0004047022740000117
Figure BDA0004047022740000118
其中，
Figure BDA0004047022740000119
和
Figure BDA00040470227400001110
分别为时刻k时两个子滤波器的航迹状态估计误差协方差，
Figure BDA00040470227400001111
和
Figure BDA00040470227400001112
分别为时刻k时两个子滤波器的航迹状态估计，
Figure BDA00040470227400001113
为时刻k时主滤波器的航迹状态估计误差协方差。
步骤4、基于融合中心模块获取的检测目标全局航迹信息，结合检测目标的ID和类别，对道路目标进行有效地持续跟踪，并同步输出道路目标的时空状态跟踪信息。
以上的基于车载毫米波雷达与视觉多模态动态加权融合结构模块的道路目标状态跟踪信息输出流程如图4所示。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (5)

1.基于车载雷视动态加权融合结构模块的道路目标跟踪方法，其特征在于，具体包括以下步骤：
步骤1、从车辆控制器区域网路CAN总线中提取车载毫米波雷达与视觉的道路目标检测数据；
步骤2、车载毫米波雷达与视觉的道路目标检测数据分别为对应车载毫米波雷达与视觉传感器的局部传感器数据，将局部传感器数据输入到各自的跟踪处理模块，进行处理，获取各传感器对应检测目标的局部航迹信息；
步骤3、将经过跟踪处理模块处理后的车载毫米波雷达和视觉检测目标的局部航迹信息输入到融合中心模块，对不同传感器的局部航迹进行融合，获取融合后的全局航迹信息；
步骤4、基于融合中心模块获取的检测目标全局航迹信息，结合检测目标的ID和类别，对道路目标进行持续跟踪，并同步输出道路目标的时空状态跟踪信息。
2.根据权利要求1所述的基于车载雷视动态加权融合结构模块的道路目标跟踪方法，其特征在于，步骤2具体过程如下：
2.1、对输入到跟踪处理模块的局部传感器数据进行预处理；
结合自车的状态信息筛选出对自车驾驶状态有影响的道路目标检测数据，对于不影响自车驾驶状态的道路目标检测数据进行剔除；
2.2、对预处理后的局部传感器数据进行局部航迹信息的数据关联；
引入新息向量的加权范数平方，作为局部航迹的测量预测信息与测量目标之间的统计距离；
假设有一条局部航迹i，时刻k时的测量预测值zi(k|k-1)，定义：
Figure FDA0004047022730000011
其中，zo(k)表示在k时刻目标o的传感器测量值，即传感器数据；Sio为新息协方差矩阵；
Figure FDA0004047022730000012
为新息向量的加权范数平方，理解为局部航迹的测量预测信息i与测量目标o之间的统计距离；
采用匈牙利算法，以统计距离
Figure FDA0004047022730000013
作为代价量度，根据全局最近邻思想完成检测目标局部航迹信息与传感器测量值之间的关联；
2.3、对数据关联后的目标局部航迹信息进行航迹管理；
将数据关联后的航迹分为三种情形：a.局部航迹信息与传感器测量值成功关联；b.传感器测量值不关联局部航迹信息；c.局部航迹信息不关联传感器测量值；
设计航迹管理的规则如下：未与任何航迹关联的测量目标为生成的临时航迹；对于连续n帧成功关联的临时航迹，则被视为生成一条真实确认的航迹，也就局部航迹；对于已确认的局部航迹，如果在连续m帧中没有关联测量目标，则该航迹被视为死的航迹并被丢弃；
2.4、对航迹管理后的局部航迹信息进行状态评估：
在航迹管理的规则判断后，更新确认的局部航迹和临时航迹的状态，对于确定为死的航迹，它将从航迹列表中删除，而不进行任何状态更新。
3.根据权利要求2所述的基于车载雷视动态加权融合结构模块的道路目标跟踪方法，其特征在于，步骤2.4中所述更新确认的局部航迹和临时航迹的状态，包括建立局部航迹信息的状态估计模型如下：
假设目标的加速度在短时间内是恒定的，则建立具有恒定加速度的运动模型，目标状态向量为：
Figure FDA0004047022730000021
其中，(x,y)表示位置向量，
Figure FDA0004047022730000022
表示速度向量，
Figure FDA0004047022730000023
表示加速度向量；
则其运动状态模型表示为：
X(k+1)＝diag[F,F]X(k)+diag[G,G]Wk
其中，
Figure FDA0004047022730000024
为离散模型中的白噪声序列，ωx和ωy分别对应于目标沿x轴和y轴的振动噪声，T1为离散模型中的单位时间；
毫米波雷达检测目标距离S、方位角θ和相对速度v，其测量矢量表示如下：
Zr＝[S θ v]T
相应的观测模型如下：
Figure FDA0004047022730000031
其中，vr＝[vs vθ vv]T表示毫米波雷达测量的白噪声序列；由于毫米波雷达的观测模型是非线性的，采用扩展卡尔曼滤波器对毫米波雷达的航迹状态进行估计；
视觉检测目标位置，其测量矢量表示为：
Zc＝[x y]T
对应的观测模型表示为：
Zc(k)＝HCX(k)+vc(k)
其中，vc＝[vx vy]T表示视觉测量的白噪声序列，
Figure FDA0004047022730000032
为测量矩阵；由于视觉的观测模型是线性的，采用线性卡尔曼滤波器对视觉的航迹状态进行估计。
4.根据权利要求2所述的基于车载雷视动态加权融合结构模块的道路目标跟踪方法，其特征在于，步骤3所述对不同传感器的局部航迹进行融合，获取融合后的全局航迹信息具体过程如下：
3.1、对车载毫米波雷达和视觉的局部航迹信息进行时空对齐；
选择车载毫米波雷达运动坐标系作为融合航迹坐标系，将视觉的局部航迹信息坐标转换到毫米波雷达运动坐标系中；
选择视觉检测周期作为融合时间节点，当视觉每输出一组车辆CAN信息时，根据最小二乘法将前N个周期从毫米波雷达获得的航迹信息拟合为二次曲线，然后将拟合曲线外推到视觉的当前时间节点，获得毫米波雷达局部航迹信息在融合时间节点下的估计值；
3.2、对时空对齐后的毫米波雷达和视觉的局部航迹信息进行航迹关联；
基于加权航迹关联方法对毫米波雷达和视觉的局部航迹信息进行航迹关联；
3.3、对航迹关联后的毫米波雷达和视觉的局部航迹信息进行航迹融合及融合状态估计：
构建非复位联合滤波器结构：由两个子滤波器和一个主滤波器组成，其中两个子滤波器分别对应着毫米波雷达与视觉的跟踪处理模块中的卡尔曼滤波器，将两个子滤波器的输出与主滤波器的输入级联；
定义Zr和Zc分别为与检测目标信息相关的毫米波雷达测量值和视觉测量值，
Figure FDA0004047022730000041
Pr和
Figure FDA0004047022730000042
Pc分别为两个子滤波器的状态估计输出；
初始时刻的融合航迹状态估计误差协方差
Figure FDA0004047022730000043
和系统过程噪声
Figure FDA0004047022730000044
由下式计算得到：
Figure FDA0004047022730000045
Figure FDA0004047022730000046
其中，
Figure FDA0004047022730000047
和
Figure FDA0004047022730000048
分别为初始时刻毫米波雷达和视觉的局部航迹状态估计误差协方差，
Figure FDA0004047022730000049
和
Figure FDA00040470227300000415
分别为初始时刻毫米波雷达和视觉的局部航迹状态系统过程噪声；
引入动态加权融合结构，设计毫米波雷达和视觉的动态初始信息分配权重如下：
Figure FDA00040470227300000410
Figure FDA00040470227300000411
其中，
Figure FDA00040470227300000412
和
Figure FDA00040470227300000413
分别表示毫米波雷达和视觉局部航迹的初始信息分配权重，满足
Figure FDA00040470227300000414
a为环境光照系数，定义如下：
Figure FDA0004047022730000051
其中，δ为环境照度值，单位：lux；
b为环境天气系数，定义如下：
Figure FDA0004047022730000052
则，子滤波器的初始信息分配更新如下：
Figure FDA0004047022730000053
其中，i＝r表示毫米波雷达，i＝c表示视觉，
Figure FDA0004047022730000054
和
Figure FDA0004047022730000055
分别为初始时刻两个子滤波器的航迹状态估计，
Figure FDA0004047022730000056
为时刻k时主滤波器的航迹状态估计；
在主滤波器部分，对两个独立子滤波器获得的局部航迹状态估计信息进行融合，融合后的全局航迹状态最优估计信息由下式计算得到：
Figure FDA0004047022730000057
Figure FDA0004047022730000058
其中，
Figure FDA0004047022730000059
和
Figure FDA00040470227300000510
分别为时刻k时两个子滤波器的航迹状态估计误差协方差，
Figure FDA00040470227300000511
和
Figure FDA00040470227300000512
分别为时刻k时两个子滤波器的航迹状态估计，
Figure FDA00040470227300000513
为时刻k时主滤波器的航迹状态估计误差协方差。
5.根据权利要求4所述的基于车载雷视动态加权融合结构模块的道路目标跟踪方法，其特征在于，在步骤3.2中进行航迹关联，具体过程如下：
假设对于毫米波雷达和视觉，分别存在局部航迹i和j，通过跟踪处理模块，两个局部航迹的状态估计分别为
Figure FDA00040470227300000514
和
Figure FDA00040470227300000515
它们的状态协方差分别为Pi(k|k)和Pj(k|k)，两个航迹的状态估计差异表示如下：
Figure FDA00040470227300000516
建立原假设H0和备择假设H1：
H0：
Figure FDA0004047022730000061
和
Figure FDA0004047022730000062
是同一目标的航迹状态估计，即航迹i和航迹j关联；
H1：
Figure FDA0004047022730000063
和
Figure FDA0004047022730000064
不是同一目标的航迹状态估计，即航迹i和航迹j不关联；
假设同一目标局部航迹的状态误差在统计上是独立的；
在H0假设下，航迹i和j的状态估计差异的协方差表示为：
Figure FDA0004047022730000065
则加权航迹关联的统计值如下：
Figure FDA0004047022730000066
在H0假设下，状态估计差
Figure FDA0004047022730000067
服从高斯分布，统计值αij(k)服从卡方分布；根据卡方分布表，设置卡方分布关联阈值γ；当αij(k)小于γ时，原假设H0被接受，航迹i和j被认为是相关的，否则，接受航迹i和j被认为是不相关的备择假设H1；
设置L表征融合航迹的稳定性，初始形成融合航迹时，L值为0，如果后续连续帧的时间段内，该融合航迹对应的局部航迹都被关联，则L值累加如下：
L＝L+1
设置阈值Lmax，当L达到设定的阈值Lmax时，表示融合航迹相对稳定，然后，在随后的融合时间节点中，直接使用不参与关联算法的相应局部航迹更新融合航迹的状态，如果某个融合时间节点L小于Lmax，并且相应的两个局部航迹没有关联，则融合航迹将消失。
CN202310037703.0A 2023-01-10 2023-01-10 基于车载雷视动态加权融合结构模块的道路目标跟踪方法 Pending CN116047496A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310037703.0A CN116047496A (zh) 2023-01-10 2023-01-10 基于车载雷视动态加权融合结构模块的道路目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310037703.0A CN116047496A (zh) 2023-01-10 2023-01-10 基于车载雷视动态加权融合结构模块的道路目标跟踪方法

Publications (1)

Publication Number Publication Date
CN116047496A true CN116047496A (zh) 2023-05-02

Family

ID=86116047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310037703.0A Pending CN116047496A (zh) 2023-01-10 2023-01-10 基于车载雷视动态加权融合结构模块的道路目标跟踪方法

Country Status (1)

Country Link
CN (1) CN116047496A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116243610A (zh) * 2023-05-12 2023-06-09 青岛大学 一种数据驱动车辆队列容错跟踪控制追踪方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116243610A (zh) * 2023-05-12 2023-06-09 青岛大学 一种数据驱动车辆队列容错跟踪控制追踪方法及系统

Similar Documents

Publication Publication Date Title
CN101075376B (zh) 基于多视点的智能视频交通监控系统及方法
CN108320510A (zh) 一种基于无人机航拍视频交通信息统计方法及系统
WO2022205942A1 (zh) 基于数据共享的多智能车辆协同定位追踪方法及装置
CN112991391A (zh) 一种基于雷达信号和视觉融合的车辆检测与跟踪方法
CN200990147Y (zh) 基于多视点的智能视频交通监控系统
CN110929796B (zh) 基于多源传感器决策层数据融合方法、系统及存储介质
CN114758504B (zh) 一种基于滤波校正的网联车超速预警方法及系统
CN109905847A (zh) Gnss盲区智能车辅助定位系统累积误差的协同校正系统及方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN111681259A (zh) 基于无Anchor机制检测网络的车辆跟踪模型建立方法
CN116047496A (zh) 基于车载雷视动态加权融合结构模块的道路目标跟踪方法
Zheng et al. Background noise filtering and clustering with 3D LiDAR deployed in roadside of urban environments
Yaghoobi Ershadi et al. Vehicle tracking and counting system in dusty weather with vibrating camera conditions
CN113985405A (zh) 障碍物检测方法、应用于车辆的障碍物检测设备
CN115690713A (zh) 一种基于双目相机的雷视融合事件检测方法
CN114137562B (zh) 一种基于改进全局最邻近的多目标跟踪方法
Zhang et al. Tracking multi-vehicles with reference points switches at the intersection using a roadside LiDAR sensor
CN112036422A (zh) 一种基于多传感器信息融合的航迹管理方法、系统及计算机可读介质
CN115512542B (zh) 一种基于路侧激光雷达的考虑遮挡的轨迹复原方法及系统
CN116699602A (zh) 一种基于毫米波雷达和相机融合的目标检测系统及方法
CN115937810A (zh) 一种基于双目相机引导的传感器融合方法
CN112257750B (zh) 一种面向复合式探测节点的分布式融合系统
CN112883846A (zh) 一种用于检测车辆前方目标的三维数据采集成像系统
CN112798020A (zh) 一种用于评估智能汽车定位精度的系统及方法
CN113219452B (zh) 未知视域下的分布式多雷达联合配准与多目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination